映像系まとめ

完成するのかなコレ…

基本的な考え方

※勝手な推察も多分に含まれてます
※完全にデジタル処理が大前提です

イメージセンサについて

用語集

  • フォトダイオード
    • 光を当てると電荷が移動する（光電効果を持つ）素子
      • pn接合されたダイオードなのでそう呼ばれる
      • 入射した光がバンドギャップより大きいエネルギーを持つ場合，価電子帯にあった電子が飛び出して正孔が生成され，電子はn層・正孔はp層にそれぞれ集められ電荷として機能し始める（光電効果）
    • 発生する電荷の量（=出力，電流）は入射する光子の量（=入力，光量）に比例する
    • 大抵はシリコンに不純物を混ぜて作られるが，2族〜6族の原子を組み合わせて作るものもある
      • シリコンは波長に応じて光を吸収し，すなわち波長によって出力が異なる
      • また不純物の種類や量によっては，対応できる波長やその特性が変化する
      • これ以上は量子論とかそこら辺の話になるらしいので追求しません，というよりはディスプレイを用いて加法混色で映像を再現するのが最終的な目的だと思います，イメージセンサのメーカーさんなら何らかの基準によって定められるRGB信号を算出する手法などを仕込んでそうですね…
    • 厚さを考えたら薄膜と言ってもいい
  • 有機光電変換薄膜
    • 従来のフォトダイオードよりも（光電変換部分に限って言えば）薄い
      • さらに感度や色分解能も向上している
    • 特定の波長の光をよく吸収する有機分子は，エネルギーとして自分の電子を励起させて電荷を発生させる
      • これを有機光電変換と呼び，次世代太陽電池である有機薄膜太陽電池での電子供与体でもある
      • 電子受容体と隣り合わせにしてやると電位が発生して電池になるが…
      • 有機分子の構造レパートリーが豊富なのでこの辺りの研究は非常に盛んだが，波長の関係で供与体はある程度に定まる…？
    • さらに薄膜に非常に高いバイアス電圧をかけることで，最終的に移動する電荷の量を増倍させられる
      • これをアヴァランシェ・ブレークダウンと呼び，感度の向上が期待できる理由となる
      • 空気中にプラズマが発生するのも似たような電子雪崩のおかげ，うーん面白いね
      • 実際はいかに良い特性でこれを促せるかがセンサそのものの品質に関わる，暗電流も起こりかねないので…
  • CCD
    • 和訳「電荷結合素子」
    • MOSキャパシタを結合して横に並べているからそう呼ばれる
      • これによって電荷のバケツリレーが行える
  • CCDイメージセンサ
    • CCDを利用したイメージセンサ
    • カメラで「CCD」と呼称すればこれを指す？が，「CCDイメージセンサ」と呼称する
  • CMOS
    • pMOSとnMOSを1つずつ使って出力を入力に対して相補的にする，という特徴をどこかに持つ回路の総称
    • あくまで総称であり，種々の論理回路などがCMOSを元に作成される
      • しかし例えばロジックICだとNANDとNORを組み合わせるのがメインになる…？
  • CMOSイメージセンサ
    • COMSの特徴を持つイメージセンサ
    • カメラで「CMOS」と呼称すればこれを指す？が，「CMOSイメージセンサ」と呼称する
  • 有機CMOSイメージセンサ
  • MOSFET
    • トランジスタの一種
    • 「バイポーラ」「電界効果」のうちの「電界効果」タイプ
      • の中で更に「ゲートが絶縁されている」タイプ
    • 論理回路を作る上で最も重要な素子ではないか？
    • 高周波で動作できて駆動電流も小さいが大電流化には不向き
  • SN比
    • シグナル÷ノイズ
    • 高ければ高いほど高性能，マイクとかそうだもんね

フォトダイオードの説明 https://www.hamamatsu.com/resources/pdf/ssd/01_handbook.pdf https://www.hamamatsu.com/resources/pdf/ssd/02_handbook.pdf https://www.hamamatsu.com/resources/pdf/ssd/03_handbook.pdf （基盤一体化タイプがあるらしい） https://www.hamamatsu.com/resources/pdf/ssd/04_handbook.pdf

一般的なイメージセンサの説明 https://www.hamamatsu.com/resources/pdf/ssd/05_handbook.pdf

非Si系受光素子の説明 https://www.hamamatsu.com/resources/pdf/ssd/06_handbook.pdf

いずれも参考元，浜松ホトニクス株式会社のハンドブック資料
これはなんと11番まであるらしい…

Panasonicと富士フィルムの勇姿 news.panasonic.com 有機CMOSセンサーについて https://www.panasonic.com/jp/corporate/technology-design/ptj/pdf/v6301/p0107.pdf

CCDイメージセンサとは

縦方向にセルが並んだ転送用CCDに隣接する形でフォトダイオードが配置され， それが横方向に並んで2次元のプレーンを形成している．

  1. フォトダイオード・キャパシタと転送用CCDの間のゲートを閉じる
  2. フォトダイオードに撮影光を当て，その強度に応じた電荷を発生させ，キャパシタに蓄積させる
  3. キャパシタと転送用CCDの間のゲートを開き，電荷に流入させたら，直ちにそのゲートを閉じる
  4. 転送用CCD上で最上辺の電荷を上方向に押し出し，サンプル回路に接続する
  5. サンプル回路は電荷を測定し電圧に変換して出力する
  6. 空いた最上辺のセルに1つ下のセルの電荷を押し出し，さらに空いたセルに1つ下のセルの電荷を押し出し…以下略
  7. 上2つを繰り返し，転送用CCD上の全てのセルから電荷が取り出せたら終わり
  8. 回路上の電荷を全てリリースした後，待機状態へ

1段階の読み出しにかかる所要時間が走査線（後述）1行程の所要時間に相当し， 全ての読み出しにかかる時間がフレーム（後述）1行程の所要時間に相当する．
実際の基盤ではフォトダイオードそのものが容量を持つので，キャパシタとしても動作すると考えて良さそう…？

特徴

  • 全てのセルにおいて露光が同時に終わる
    • 基盤への漏れ電流はあるのか？フォトダイオード→転送用CCD→サンプル回路で電荷が完全に移動すると考えて良いのか？
    • サンプル回路はアンプ関係で漏れ電流がありそうだけど，それは露光には関係しないのでちょっとの遅延はセーフ？
  • 転送用CCDがもたらす特有のノイズがある
    • スミア：転送用CCDに当たってしまった光がそこに電荷を発生させ，それを出力だと誤認してしまうケース
      • 極端に強い光を撮影したりするとそうなる，確かにあえてそういうエフェクトを入れたい時もあるが
      • どんな風に映るのかはやってみなきゃわからんが，大抵は転送用CCDの方向で白飛びする
      • 当然だが物理シャッターなら軽減が可能になる，写真ならこれでいける
      • フォトダイオードの転送用CCDの間にストレージを設置し，電位の操作を用いて余分に発生した電子を逃がすことで，電子シャッターが実現できる，連続して撮影を行う必要がある動画にはそもそもの必須技術である
    • ブルーミング：フォトダイオードが想定を超える量の電荷を発生させ，回路に溢れたり出力として扱い切れなくなるケース
      • 大体スミアと似たようなことが起きる
      • また同様にストレージの設置によって回路への悪影響が軽減できる

CCD上で電子シャッターを実装する事例 https://www.hamamatsu.com/resources/pdf/ssd/resistive_gate_ccd_kmpd9005j.pdf

CMOSイメージセンサとは

フォトダイオードとCMOSを並列して設置することで，撮影光から得られた電荷を電圧に変換する機能， およびそれを制御する機能を同時に実装でき，そのセルを並べることで2次元のプレーンを形成する．
ただしトランジスタは多ければ多いほどコスパが悪くなりがちなので，複数のセルが乗り合うような工夫をする場合が多い．

  1. フォトダイオードとキャパシタ，およびキャパシタとサンプル回路の間のゲートを閉じる
  2. 直後からフォトダイオードに撮影光を当て，その強度に応じた電荷を発生させ，フォトダイオードに蓄積させる
  3. キャパシタ内の余計な電荷をリリースした後，フォトダイオードとキャパシタの間のゲートを開き電荷を流し込む
  4. フォトダイオードとキャパシタの間のゲートを閉じた後，サンプル回路のアンプ部分にキャパシタを接続する
  5. サンプル回路が電荷を測定し電圧に変換して送信する，その裏でフォトダイオードの電荷をリリースして待機状態にする
  6. キャパシタとサンプル回路の電荷をリリースして待機状態にする
  7. 全てのセルから電荷が取り出せたら終わり（セルの順番やタイミングには種類がある）

実は上記のパターンを実現する回路は4Tr（4トランジスタ）画素と呼ばれ，それぞれに以下のような役目が与えられる．

  • 電荷移動用トランジスタ
  • 増幅用トランジスタ
    • 供給される電源を利用して電荷の量を電圧に変換する
    • ここの精度が画質を決めると考えても過言ではない，超重要
  • 選択用
    • 増幅用トランジスタの出力を信号線に流すスイッチとなる
    • 選択パルスが流される
  • リセット用
    • 諸々の電荷をリリースしてリセットするためのスイッチとなる
    • リセットパルスが流される

参考 https://www.jstage.jst.go.jp/article/itej/68/3/68_216/_pdf/-char/ja

電圧変換アンプの位置ついて

素子の微細化に伴いフォトダイオードによる電荷の発生量そのものも減少するため， そこから適切な電圧を得るにはサンプル回路に精度の良いアンプが必要になるが， それを設置する場所によって違いがある．

  • PPS方式
    • セルの外側に共用するアンプがある
    • 電荷を移動させるだけなので構造は単純だし消費電力は少ない
      • ただそ電荷がそもそも少ないので移動させる際の損失や誤差が無視できなくなる
    • ぶっちゃけ後者に劣る面も多いし，身近な商品にはもう採用されてなさそう
      • さっきの動作順序は後者を前提にしているしなぁ…
  • APS方式
    • それぞれのセルにアンプがある
    • こっちの方が末端で得られる精度が高い
    • キャパシタの容量も小さい方が良いし，基盤に組み込みで作れてしまう
      • ただし配線もトランジスタも量や複雑さが増えるし消費電力も高い
      • が別に致命的に高いわけではなさそう，これは間違いなく技術の進歩の賜物

照射型の違いについて

基盤を作成するときに表裏のどちらに撮影光を当てるかによって変わる．
ちなみにフォトダイオード側が裏で配線の側が表となる，シリコン基盤に不純物を入れてフォトダイオードを形成してから配線すれば，確かに配線側が表になる…

  • 表面照射型
    • 配線が邪魔をするので乱反射を引き起こし，映像にノイズが発生する
  • 裏面照射型
    • 配線が邪魔をしないので映像のノイズが減る，SN比が向上できると期待される
      • しかし形成が難しく逆にSN比が下がったこともあり，開発が断念することも…
    • しかしSONYが2008年に開発して2009年にデジカメに搭載したセンサーが世に出回った（世界初）
      • これに関する特許は2006年に取得しているので，それまでに雛形の開発は完了していた…？

SONY広報 www.sony.com 特許詳細 http://www.conceptsengine.com/patent/grant/0003759435

取り出し方式について

転送用CCDによって取り出し方式が大まかに定まるCCDイメージセンサと異なり， こちらはCMOS回路を用いてセルを選択してから出力の取得を行う．
この装置はアナログデジタル変換器（ADC）と呼称され，今現在の開発競争が熾烈を極めている（スマホの進歩が早すぎる） ほか，ADCそのものに限らずCMOSイメージセンサにおける取り出し方法としても差異が見られる．

  • 逐次型
    • 画素を1つずつ選択して走査する
      • ブラウン管と同じ
    • 別にサンプル回路の制御部が1個とは限らない
      • 動作速度を上げるために複数を同時に動かす場合もある
      • その分だけ配線は複雑になるし値段も高くなる
    • ぶっちゃけ今時のカメラにはあんまりなさそう
  • 並列型
    • 1列にADCを1個ずつ配置する
      • 走査は実質的にCCDと同じ感じになる
    • 動作速度は跳ね上がるし配線も単純になる
      • しかし制御回路の精密さが問われる
    • 一般的なデジカメは大体これ？
    • 俗称「ローリングシャッター」（後述）
  • グローバル型
    • 全てのセルを同時に露光させて同時に読み出す
      • ぶっちゃけCCDの完全上位互換とまで言えそう
      • セルの裏や素子の他のエリアにDRAMを仕込む必要がある
    • ADCの機構を全てのセルに実装して一気に出力を読み出す
      • そのおかげでおのずと高価格帯の製品になりがち
      • でも最近のスマホにも搭載され始めてて恐怖を感じる
    • 俗称「グローバルシャッター」（後述）
  • 擬似グローバル型…？
    • 「露光はほぼ同時に終わるが，その後で電荷を画素の中の別の場所に移して，後から並列型で読み出せば良いのでは？」
    • でもこれ「最初からそうすれば良くね」案件だと思うけど…
      • これは考察ですが，キャパシタと接続されるMOSFETのリーク電流が，得られる電荷の量に比べて（相対的に）デカすぎるため，通常では長時間キャパシタに電荷を蓄積すると映像品質が担保できないのではないでしょうか…
      • つまり転送用CCDのように電界の変化のみで電荷を選択的に移動する手段を用意すれば実現できる，というのが私の直感による考察です，フォトダイオード→キャパシタとキャパシタ→サンプル回路の電荷の移動をCCDのようにやれば良いと思います…

参考
ADCによる違い ednjapan.com SONYがグローバル型のCMOSイメージセンサを実装した事例 eetimes.itmedia.co.jp 擬似グローバル型？について imager.no-mania.com

特徴

  • MOSFETのオンオフがあるため消費電力が大きい
  • 工業製品である以上，素子が増えるにつれて出力値が不均一になる
    • 特にAPS方式だとオフセットもゲインもズレる
      • なので補正ソフトが処理側に必要となる
    • 4Tr画素の採用で品質はだいぶ向上したらしいが…
  • フォトダイオードが光を受け取れる面積が狭い
    • 技術で解決しつつあるよ，裏面照射型だと尚更に強い
  • ローリングシャッター（後述）は辛い
    • グローバルシャッター（後述）は高い
      • が，庶民の手にも届くようになった
  • 既存のCMOS論理回路のノウハウが既にある
    • 開発という観点ではとても強い
  • CCDイメージセンサに比べても構造が（生産の場面において）単純になる
    • あと量産体制が整いやすいので比較的に安くなる

有機CMOSイメージセンサとは

セルの上方の全面に展開した有機光電変換膜において，有機分子の光電効果とバイアス電圧による増倍機構で得られた電荷を， セルの下方にあるキャパシタに蓄積し，それをCMOSイメージセンサと同様の機構で読み出す．
動作順序は（おそらく）フォトダイオードを用いたCMOSイメージセンサを同じ．

特徴

  • 扱える電子の量が増えたので，そもそもの感度が向上している．
    • 何よりスペースに余裕ができて，キャパシタの容量が大きくなった
  • フォトダイオードのような飽和も起きにくくなり，ダイナミックレンジが大きくなる
    • 照射→励起→増幅→流出を繰り返せばいいので
    • 暗くて何も映らない・眩しくて白飛びする，といった現象が起こりづらくなる
      • でも逆にこれ再現できるディスプレイを用意する方が大変なんじゃないんですかね…
  • キャパシタを実質DRAMとして扱えるようになる
    • 自然とグローバルシャッターの下地ができちゃったねぇ…
    • なんなら従来の読み出し回路で擬似グローバルシャッターができる
  • 太陽電池になるための受容体がないということは，バイアス電圧をかけなければ電荷は移動しない
    • 露光の時間や感度がバイアス電圧によって制御できるのでグローバルシャッターができる
  • しかも当初から裏面照射型が前提になってる…
    • 自然と遮光も出来てしまうので誤差の発生も抑えられるね
  • 有機分子の波長特性によっては有機光電変換薄膜だけで色の選択ができてしまう
    • フィルタや分光器が抱える問題がなくなる

加法混色の実現

人間の眼は光の感覚受容期器官であるが，RGBの3つの色にそれぞれ強く反応する錐体細胞によって撮影光の強度を測定し， そこから得られる電気信号の強度比によって色を認識している，加法混色を採用している．
ということはイメージセンサも同様にRGBの3つで認識すればよく，そのためには以下の方法がある．

ベイヤー型

RGGB（赤緑緑青）のみを透過させる装置を敷き詰め，その下に4つのフォトダイオードをそれぞれ配置する．

カラーフィルタか分光器か

そうでなくてもシリコン基盤ですら光を吸収するのに，カラーフィルタで光を吸収するならばさらにロスが増える． そのため分光器を採用することで，対応する波長の光を無駄なくフォトダイオードに完全に導通させられる．
ちなみにSi基盤で最も減衰しない色は赤で，青はその100分の1程度のゲインしか得られない．

3層分光型

2019年，SONYが有機光電変換薄膜を3つ重ねたイメージセンサを開発，2020年にはNHKも追随した．
減衰しやすい青が上層・減衰しにくい赤が下層，という構造を取り，エネルギーロスが減り感度向上につながる． 分光器やフィルタが不要な有機薄膜だからできることでは？

SONYの勇姿 xtech.nikkei.com

まとめ

CCD CMOS CMOS
フォトダイオード CCDイメージセンサ CMOSイメージセンサ
有機光電変換薄膜 有機CMOSイメージセンサ

解像度関係

正方形の画素1つ分を1px（ピクセル），1インチあたりのピクセル数をdpi（ドット・パー・インチ）と呼称する．

縦方向について

画面を左から右に走りながら上から下へと順番に辿っていく，と捜査線が定義されている． この本数が映像の精細さを決めており，縦方向の画素数とほぼ同じ意味を持つ．
これは一般的な理工学用（横書き）ノートと同じ．

規格上72の倍数になりがち

標準的な規格はだいたいこれになる．
従来ディスプレイ上にデジタル画像を表示する際に72dpiになっているのが関係していそう（今はもっと高密度化してるけど）． またサイズが小さい場合この限りではない（ガラケーで使われていた画質とか）．

横方向について

この大きさによってアスペクト比率（画素が正方形の時，横の画素数：縦の画素数）を定めることができる．

（ITU系）規格上128の倍数になりがち

72に16/9をかけたら128になる，というかアスペクト比が16:9である． 民生用デジタルコンテンツの大概がこれに基づいている．
ちなみに「〇〇/30/p」「〇〇/60/i」などの記載が動画のプロパティなどで見受けられるが， その〇〇は縦の画素数（捜査線の本数）を意味するので注意，決して横の画素数ではない．
またサイズが小さい場合この限りではない（ガラケーで使われていた画質とか）．

（DCI系）規格上2の累乗になりがち

「○K画質」に対して「2の累乗である横の画素数の最大値」「72の倍数である縦の画素数の最大値」を先に設定し， そこから必要なアスペクト比に合わせて切り出す方針を取っている．
電器系のITUと映画系のDCIとでは色々と異なるようで，そっち系の撮影に用いるカメラ・ディスプレイ・プロジェクターはDCI系に準拠し始めている，特にDCI 4Kの標準化が進む．
ほぼ1.9:1となるが，シネマスコープでは逆に縦の画素数を削減することで，おおよそ2.39:1になる．
2の累乗だとメモリやレジスタ的な都合が良かったりしそうだけど，どうなのだろうか…？

シネマスコープの種類

「1.9:1」より広いとシネマスコープと呼んでも良さそう， しかし「2.2:1」「2.35:1」「2.39:1」「2.66:1」「2.77:1」などの様々なサイズが使用されており， 例えばエヴァQとシンエヴァは「2.35:1」の「カラースコープ」（独自規格らしい）を採用していた．
一方で昔からある著名なフィルム映画は「2.39:1」をよく採用していたという歴史があり， これは主にアナモフィックレンズを用いたカメラによる撮影で得られる形式であったが， そのためにDCIも同じものを採用したのではないだろうか．
参考 https://www.nacinc.jp/creative/cine-lens/anamorphic-lens/
ところで個人的には「212 : 33×43」=「4096×1728」の「2.370:1」が良いと思います，覚えやすいし美しいので… 誰か流行らせろコレ

フレームレート関係

1秒間に表示する画像の枚数をfps（フレーム・パー・セコンド）と呼称する．除算すればフレーム1つあたりの表示時間になる．

インターレースとプログレッシブ

1枚の画像を常に表示し続ける（すなわち走査線が必ず画面を一巡する）プログレッシブ方式が現在の主流になりつつあるが， 機器の性能が確保できない場合は1枚の半分の画像を交互に表示する（すなわち走査線が1つ飛ばしになりながら移動する） インターレース方式が利用される場合もあり，同じフレームレートでも「p」「i」の有無で区別がなされる．
例えば「1080/60/p」は必ず「60fps」であるが，「1080/60/i」はデータ量を見れば「30fps」である， そして「1080/30/p」も「30fps」であり，方式を変えれば同じデータ量でもスムーズな映像を表示できる可能性がある．

テレビ放送

諸事情あって

  • 29.97fps（30-0.03）
  • 59.94fps（60-0.06）

が採用されている．

アナログ放送時代

前者はアナログ放送用のNTSC規格で策定されたもので，モノクロ放送ではちゃんと30fpsだったものの， カラー放送にするあたり帯域に載せたい情報，すなわち輝度情報と音声情報に加え新たに色度情報が必要となった． 入力する映像データそのものは加法混色における三原色のRGBで構成されるが， そこから輝度情報を与える輝度信号Yと2つの色差信号I（橙との色差）・Q（緑との色差）を新たに算出し， 輝度信号はモノクロ放送と同様に扱いつつ， 色差信号は搬送波に対する位相差（色相）と振幅（彩度）を用いて表現されることとなった．
この状況においては，与えられる帯域が6MHzに対して

  • 音声信号
    • FM（周波数変調）
    • 搬送波の周波数faが定義される
      • この搬送波は音声サブキャリアとも
      • チャンネル周波数 + 0.25MHz（ガード帯域） + 1MHz（輝度信号の中心まで） + 4.5MHz（音声信号の中心まで）
    • だいたい±0.25MHzでBPF（バンドパスフィルタ）がかけられている
  • 輝度信号
    • 全搬送波
      • 搬送波を全て出力する
      • そういや日本だと抑圧搬送波とは区別しないみたいな話を聞いたことがあるけど…
    • 残留側帯波 +単側波帯がメインだが直流付近も使いたいのでちょっとだけはみ出る +負極性
      • 最大の入力で最小の信号を出力する
    • 搬送波の周波数fbが定義される
      • この搬送波は映像キャリアとも
      • チャンネル周波数 + 0.25MHz（ガード帯域） + 1MHz（輝度信号の中心まで）
    • AM（振幅変調）
    • さらに同期周波数fhが定義される
      • スペクトルで山状になる部分の間隔のこと
      • fa / 286 ≒ 15.734kHz
      • 白黒時代は15.75kHzなのでまぁ誤差の範囲に入るよねという判断がされた
    • 下は-1.25MHz・上は4.2MHzでBPFがかけられてる
  • 色差信号
    • 全搬送波
    • 搬送波の周波数fscが定義される
      • この搬送波はカラーサブキャリアとも
      • チャンネル周波数 + 0.25MHz（ガード帯域） + 1MHz（輝度信号の中心まで） + 455 fh / 2 = 4.83MHz（4.829 5454...）
    • 両側波帯
      • 定義上そうなる…？
    • アナログQAM（直角位相振幅変調）
      • I信号とQ信号を振幅変調して位相90°ズラして足すとこうなる
      • これをすると位相差（色相）と振幅（彩度）が同時に得られる
    • I信号の方がQ信号よりも帯域が大きい（人間の目が敏感なので）
      • どうもI信号の方がQ信号よりもBPF（バンドパスフィルタ）の幅がデカく，前者は2MHz〜4.2MHz，後者は2MHz〜4.2MHz
      • これがどう影響するのかよくわかりませんね…
      • 変調前の時点でQ信号には0.5MHz．I信号には1.5MHzのLPF（ローパスフィルタ）がかかってるっぽい
    • インターリープ式を採用している
      • スペクトル上では輝度信号と色差信号の山が半分ずつズレる形になる
      • すなわち色差信号の中心周波数がfscであり，ここから輝度信号と同じくfhだけ同期周波数が存在する

参考 www.wdic.org https://www.jstage.jst.go.jp/article/itej1997/57/9/57_9_1090/_pdf slidesplayer.net

色空間関係

規格一覧

8K

呼称 解像度 縦横比 俗称
ITU-8K 7680×4320 1.78:1 4320p, 8K UHD

4K

呼称 解像度 縦横比 俗称
DCI-4K 4096×2160 1.9:1
ITU-4K 3840×2160 1.78:1 2160p, 4K UHD

2K

呼称 解像度 縦横比 俗称 備考
DCI-2K 2048×1080 1.9:1 映写機は