「デジタルなカメラ」のしくみ ~ ISとISPとAPと ~

2023年03月20日

  • LSI設計
画像を電子データで扱う「デジタルなカメラ」は、幅広いアプリケーション(用途)で世の中に広がり続けています。デジタルカメラやデジタル一眼レフカメラといった民生用は、皆さんもよくご存じかと思います。それ以外にも、産業用、防犯/監視用、車載用、医療用、そしてスマホなどのモバイル用といった分野にも広がっています。

アプリケーション例:
コンパクトデジタルカメラ、ウェブカメラ、ワイヤレス防犯カメラ、車載フロントカメラ、X線カメラ、距離画像カメラ、サーマルカメラ、タブレット
 
本稿では、この「デジタルなカメラ」の、主に電子系の基本構造を説明します。その中で、半導体設計やソフトウエア設計を基幹事業とする当社の、「デジタルなカメラ」との関わりもご紹介します。
 
※カメラの使い方をここではアプリケーションとします。

「デジタルなカメラ」の大まかな仕組み

下図は、「デジタルなカメラ」の基本構造です。
  1. レンズやフィルターやシャッターといった光学系を通して取り込まれた光を、イメージセンサー(IS)で電子画像に変換します。
  2. イメージシグナルプロセッサ([ISP)は、イメージセンサーから受け取った電子画像に、イメージセンサーに固有な補正や調整を行います。
  3. アプリケーションプロセッサ(AP)は、ISPから受け取った電子画像に、用途(アプリケーション)に沿った処理を施します。処理したデータは、アプリケーションに合わせて外部へ出力します。画像データとしてSDカード等へ保存したり、電子データとしてUSBなどのインターフェースへ出力したり、などです。


一昔前のフィルムカメラと比較して、メカの要素が少なく、多くは光学系と電子系でできていることが特徴です。
 

  • 日本が得意とするメカの技術が少ないということは、部品を買ってくれば、どこでも作れる製品であることを意味しています。ビデオテープからHDDレコーダーへの進化と同じ類いです。
  • 光学系(メカ系)シャッターは、ミラーレス一眼カメラなどの一部の「デジタルなカメラ」に使われています。スマホやタブレットなどには使われていません。

IS・ISP・APの基本機能

イメージセンサー(IS)とイメージシグナルプロセッサ(ISP)とアプリケーションプロセッサ(AP)の基本機能について解説します。

イメージセンサー(IS : Image Sensor)

イメージセンサーとは、光を電気信号へ変換する素子です。

イメージセンサーの開発は、20世紀初頭のメカ式から始まりました。撮像管の時代を経て、半導体による固体撮像素子CCD イメージセンサーやCMOS イメージセンサーと続きます。現在でも、医療用のX線撮像素子といった、さまざまな素子の開発が続いています。

ここでは、現在主流となっているCCDイメージセンサーとCMOSイメージセンサーの特徴を簡単にまとめます。

CCDイメージセンサー

CCDとは、Charge Coupled Device(電荷結合素子)の略です。

光電変換で蓄積された画素ごとの電荷を、一行ずつ順送りで転送する構造です。画質が優れている特徴を持っています。

CMOSイメージセンサー

LSIの主流であるCMOS構造の半導体素子上にイメージセンサーを構築します。小型化、低消費電力化、低価格化に優れた特徴を持っています。イメージセンサー上にISPやマイコンなどを搭載するシステムオンチップ(SoC)も可能です。
当社の、主なセンサー開発実績です。
モバイル機器やマイコン向け各種センサーの信号処理部を設計。一貫した設計により、小型化や低ノイズ化などを実現しています。
 
当社の、CMOSイメージセンサー開発における、デジタルブロック設計事例です。
監視カメラ、車載、医療向けなどのCMOSイメージセンサー開発における、デジタルブロック設計事例です。
 

イメージシグナルプロセッサ(ISP : Image Signal Proceessor)

ISPは、イメージセンサーから受け取った電子画像に対して、次のようなレンズなど光学系の補正処理や、イメージセンサーに固有な特性の補正や調整を、デジタルで処理します。

レンズなど光学系の補正処理

歪曲収差補正 レンズのひずみを補正する
シェーディング補正 レンズにより不均一な光量になってしまう現象を均一に補正する

ISに固有な特性の補正や調整

ISインターフェース ISの制御や画像の取り込み
露光/ゲイン制御 ISに入る光の量と感度を調整する
欠陥補正 壊れた画素を補う
ノイズ除去 IS固有の画像ノイズを除去する
黒レベル補正/調整 このISでは「この輝度が黒」という基準を決める
デモザイク処理 カラー画像に変換する
クロッピング IS面の有効領域を切り取る

アプリケーション(用途)に沿った制御や補正や変換

※ APで処理する場合もある
ホワイトバランス調整 周囲環境(蛍光灯等)によって白色に見えなくなったものを白色として再現する
色補正 理想の色に近づける
ガンマ補正 人の目に近づける輝度へ変換する
シャープネス補正 輪郭強調で画像をシャキッとさせる
コントラスト補正 暗い画像や白飛び画像を補正する
画像合成 画像を合成して高いダイナミックレンジ(HDR)を実現するなど
フラッシュ制御 光量不足を補完する
YUV変換やRGB変換 画素フォーマットを変換する
APインターフェース USB、MIPI、LVDSなど

アプリケーションプロセッサ(AP : Application Processor)

アプリケーションにより、APで処理する内容はさまざまです。主に下記のような機能を持ちます。

機能

画像変換 JPEG、RAW など
ビデオコーデック H.264、H.265 など

インターフェース

カメラ USB、HDMI、CameraLink、CoaXPress、GigEVision など
ストレージ SDカード、USBメモリ、SSDなど
制御 I2C、SPI、CAN、LIN、RS232-Cなど
カメラ機能以外では、無線、通信系ベースバンド機能、電源制御、バッテリー制御などがあります。

アプリケーションとカメラの構造

序文で述べたように、「デジタルなカメラ」は民生用、産業用、防犯/監視用、車載用、医療用、モバイル用など、幅広いアプリケーション(用途)で使われています。

アプリケーションによって、ISとISPとAPは、例えば次のような構造をとります。

IS+ISP+AP

  • 汎用品の組み合わせでコストを下げる。APのソフトウエアで差別化を図る。
    アプリケーション例:デジタルカメラ、車載カメラ、防犯カメラ、温度カメラ
 
  • 専用品で、高機能で高価なカメラを提供する。
    アプリケーション例:デジタル一眼レフカメラ、医療カメラ
当社では、専用ISP+APをFPGAで開発した実績があります(試作または少量品向け)。
既存のカメラシステムをベースに、カスタム開発した事例です。
 

(IS+ ISP)+AP

ISとISPをひとつの専用ICにする。サイズを小さくしてコストを下げる。
アプリケーション例:スマホ/タブレット

IS+ISP

ISとISPだけの組み合わせで、画像生成以降のほとんどを外部で処理する。
アプリケーション例:webカメラ
このように、民生用、産業用などの幅広いアプリケーションで広がり続ける「デジタルなカメラ」は、それぞれの分野で進歩していくと共に、新たな技術との融合も進んでいくでしょう。
例えば、AIと融合したコンピュータービジョンでは、顔認証や歩行者検知、セマンテックセグメンテーション といった画像認識の中で、視覚センサーとして機能しています。
当社では、AI開発にも取り組んでいます。
教師データの作成からエッジデバイス実装まで、AI開発に不可欠なソリューションを展開できます。異常検知へのAI応用など多様な分野へも対応します。