「デジタルなカメラ」のしくみ ~ ISとISPとAPと ~
2023年03月20日
- LSI設計
画像を電子データで扱う「デジタルなカメラ」は、幅広いアプリケーション(用途)で世の中に広がり続けています。デジタルカメラやデジタル一眼レフカメラといった民生用は、皆さんもよくご存じかと思います。それ以外にも、産業用、防犯/監視用、車載用、医療用、そしてスマホなどのモバイル用といった分野にも広がっています。
アプリケーション例:
コンパクトデジタルカメラ、ウェブカメラ、ワイヤレス防犯カメラ、車載フロントカメラ、X線カメラ、距離画像カメラ、サーマルカメラ、タブレット
本稿では、この「デジタルなカメラ」の、主に電子系の基本構造を説明します。その中で、半導体設計やソフトウエア設計を基幹事業とする当社の、「デジタルなカメラ」との関わりもご紹介します。
※カメラの使い方をここではアプリケーションとします。
アプリケーション例:
コンパクトデジタルカメラ、ウェブカメラ、ワイヤレス防犯カメラ、車載フロントカメラ、X線カメラ、距離画像カメラ、サーマルカメラ、タブレット
本稿では、この「デジタルなカメラ」の、主に電子系の基本構造を説明します。その中で、半導体設計やソフトウエア設計を基幹事業とする当社の、「デジタルなカメラ」との関わりもご紹介します。
※カメラの使い方をここではアプリケーションとします。
「デジタルなカメラ」の大まかな仕組み
下図は、「デジタルなカメラ」の基本構造です。

- レンズやフィルターやシャッターといった光学系を通して取り込まれた光を、イメージセンサー(IS)で電子画像に変換します。
- イメージシグナルプロセッサ([ISP)は、イメージセンサーから受け取った電子画像に、イメージセンサーに固有な補正や調整を行います。
- アプリケーションプロセッサ(AP)は、ISPから受け取った電子画像に、用途(アプリケーション)に沿った処理を施します。処理したデータは、アプリケーションに合わせて外部へ出力します。画像データとしてSDカード等へ保存したり、電子データとしてUSBなどのインターフェースへ出力したり、などです。
一昔前のフィルムカメラと比較して、メカの要素が少なく、多くは光学系と電子系でできていることが特徴です。
- 日本が得意とするメカの技術が少ないということは、部品を買ってくれば、どこでも作れる製品であることを意味しています。ビデオテープからHDDレコーダーへの進化と同じ類いです。
- 光学系(メカ系)シャッターは、ミラーレス一眼カメラなどの一部の「デジタルなカメラ」に使われています。スマホやタブレットなどには使われていません。
IS・ISP・APの基本機能
イメージセンサー(IS)とイメージシグナルプロセッサ(ISP)とアプリケーションプロセッサ(AP)の基本機能について解説します。
イメージセンサー(IS : Image Sensor)
イメージセンサーとは、光を電気信号へ変換する素子です。
イメージセンサーの開発は、20世紀初頭のメカ式から始まりました。撮像管の時代を経て、半導体による固体撮像素子CCD イメージセンサーやCMOS イメージセンサーと続きます。現在でも、医療用のX線撮像素子といった、さまざまな素子の開発が続いています。
ここでは、現在主流となっているCCDイメージセンサーとCMOSイメージセンサーの特徴を簡単にまとめます。
イメージセンサーの開発は、20世紀初頭のメカ式から始まりました。撮像管の時代を経て、半導体による固体撮像素子CCD イメージセンサーやCMOS イメージセンサーと続きます。現在でも、医療用のX線撮像素子といった、さまざまな素子の開発が続いています。
ここでは、現在主流となっているCCDイメージセンサーとCMOSイメージセンサーの特徴を簡単にまとめます。
CCDイメージセンサー
CCDとは、Charge Coupled Device(電荷結合素子)の略です。
光電変換で蓄積された画素ごとの電荷を、一行ずつ順送りで転送する構造です。画質が優れている特徴を持っています。
光電変換で蓄積された画素ごとの電荷を、一行ずつ順送りで転送する構造です。画質が優れている特徴を持っています。
CMOSイメージセンサー
LSIの主流であるCMOS構造の半導体素子上にイメージセンサーを構築します。小型化、低消費電力化、低価格化に優れた特徴を持っています。イメージセンサー上にISPやマイコンなどを搭載するシステムオンチップ(SoC)も可能です。
当社の、CMOSイメージセンサー開発における、デジタルブロック設計事例です。
監視カメラ、車載、医療向けなどのCMOSイメージセンサー開発における、デジタルブロック設計事例です。
イメージシグナルプロセッサ(ISP : Image Signal Proceessor)
ISPは、イメージセンサーから受け取った電子画像に対して、次のようなレンズなど光学系の補正処理や、イメージセンサーに固有な特性の補正や調整を、デジタルで処理します。
レンズなど光学系の補正処理
歪曲収差補正 | レンズのひずみを補正する |
---|---|
シェーディング補正 | レンズにより不均一な光量になってしまう現象を均一に補正する |
ISに固有な特性の補正や調整
ISインターフェース | ISの制御や画像の取り込み |
---|---|
露光/ゲイン制御 | ISに入る光の量と感度を調整する |
欠陥補正 | 壊れた画素を補う |
ノイズ除去 | IS固有の画像ノイズを除去する |
黒レベル補正/調整 | このISでは「この輝度が黒」という基準を決める |
デモザイク処理 | カラー画像に変換する |
クロッピング | IS面の有効領域を切り取る |
アプリケーション(用途)に沿った制御や補正や変換
※ APで処理する場合もある
ホワイトバランス調整 | 周囲環境(蛍光灯等)によって白色に見えなくなったものを白色として再現する |
---|---|
色補正 | 理想の色に近づける |
ガンマ補正 | 人の目に近づける輝度へ変換する |
シャープネス補正 | 輪郭強調で画像をシャキッとさせる |
コントラスト補正 | 暗い画像や白飛び画像を補正する |
画像合成 | 画像を合成して高いダイナミックレンジ(HDR)を実現するなど |
フラッシュ制御 | 光量不足を補完する |
YUV変換やRGB変換 | 画素フォーマットを変換する |
APインターフェース | USB、MIPI、LVDSなど |
アプリケーションプロセッサ(AP : Application Processor)
アプリケーションにより、APで処理する内容はさまざまです。主に下記のような機能を持ちます。
機能
画像変換 | JPEG、RAW など |
---|---|
ビデオコーデック | H.264、H.265 など |
インターフェース
カメラ | USB、HDMI、CameraLink、CoaXPress、GigEVision など |
---|---|
ストレージ | SDカード、USBメモリ、SSDなど |
制御 | I2C、SPI、CAN、LIN、RS232-Cなど |
カメラ機能以外では、無線、通信系ベースバンド機能、電源制御、バッテリー制御などがあります。
アプリケーションとカメラの構造
序文で述べたように、「デジタルなカメラ」は民生用、産業用、防犯/監視用、車載用、医療用、モバイル用など、幅広いアプリケーション(用途)で使われています。
アプリケーションによって、ISとISPとAPは、例えば次のような構造をとります。
アプリケーションによって、ISとISPとAPは、例えば次のような構造をとります。
IS+ISP+AP
- 汎用品の組み合わせでコストを下げる。APのソフトウエアで差別化を図る。
アプリケーション例:デジタルカメラ、車載カメラ、防犯カメラ、温度カメラ
- 専用品で、高機能で高価なカメラを提供する。
アプリケーション例:デジタル一眼レフカメラ、医療カメラ
(IS+ ISP)+AP
ISとISPをひとつの専用ICにする。サイズを小さくしてコストを下げる。
アプリケーション例:スマホ/タブレット
アプリケーション例:スマホ/タブレット
IS+ISP
ISとISPだけの組み合わせで、画像生成以降のほとんどを外部で処理する。
アプリケーション例:webカメラ
アプリケーション例:webカメラ

このように、民生用、産業用などの幅広いアプリケーションで広がり続ける「デジタルなカメラ」は、それぞれの分野で進歩していくと共に、新たな技術との融合も進んでいくでしょう。
例えば、AIと融合したコンピュータービジョンでは、顔認証や歩行者検知、セマンテックセグメンテーション といった画像認識の中で、視覚センサーとして機能しています。
例えば、AIと融合したコンピュータービジョンでは、顔認証や歩行者検知、セマンテックセグメンテーション といった画像認識の中で、視覚センサーとして機能しています。
当社では、AI開発にも取り組んでいます。
教師データの作成からエッジデバイス実装まで、AI開発に不可欠なソリューションを展開できます。異常検知へのAI応用など多様な分野へも対応します。