Jeffrey Cross
Jeffrey Cross

ライトフィールド写真の理解

動的ライトフィールド画像再フォーカスするクリック/ドラッグして遠近感をシフトします。

デジタルであろうとアナログであろうと、伝統的なカメラは単一の視点からシーンを捉えます。Photoshop(および同様のプログラム)を使用すると、これらの画像を使って驚くべきことを行うことができますが、後処理によって元のデバイスによってエンコードされた情報が増加することはありません。そのための明らかな方法の1つは、イメージセンサーのサイズを大きくすることです。実際、デジタル写真が進歩するにつれて、このかなり明白な理由から、ますます大きなセンサーへの着実な進歩が見られます。

実際、CMOSイメージセンサーの達成可能なサイズは、現在ではほとんどすべての実用的なアプリケーションのニーズを大きく上回っています。後で説明するように、センサーピクセルの "余剰"は "光"の普及への道を開く重要な進歩の1つです。フィールド」(または「プレノプティック」)イメージング。この新しい種類の写真撮影の大きな可能性は、シーンに関するより多くの情報だけでなく、より多くの情報を取り込むことができることです。 情報の種類。これらの新しい「データタイプ」にアクセスすると、従来のカメラでは不可能だった一連のソフトウェア後処理オプション(ダイナミックリフォーカス、遠近感シフト、さらには3Dスキャンなど)が可能になります。

使い方

ライトフィールドは、フィルムやセンサーに焦点が合っている光線だけでなく、カメラに入る光線すべてを表します。従来のカメラでは、シーンからの光線はレンズによってフィルムまたはセンサ上に集束される。デジタル写真では、各ピクセルは明るさを示す数値を持っています。 シーンのすべての部分からのすべての光線の合計 レンズによって、センサーのその部分に焦点を合わせます。しかし、ライトフィールドカメラでは、各ピクセルを構成するさまざまな光線が合計されるのではなく、それらの明るさとそれらが由来する方向の両方に関して別々に測定され記録される。

ハードウェア

ライトフィールドは、実際には物理学からマシンビジョン、そしてコンピュータグラフィックスまで、幅広い分野で応用されている数学的抽象概念です。光照射野のある部分を捕らえる装置は多くの形態で存在する。 Lytroはメインレンズに入る光線を10万以上のマイクロレンズのアレイに向けることによってライトフィールドを捕らえます。マイクロレンズは、3280 x 3280のグリッドに配置された1,100万本の光線を捉えることができ、光線を6.5 x 4.5 mmのCMOSセンサーに送ります。保存されている情報には、色、強度、方向、距離などがあります。各マイクロレンズは、CMOSセンサのおよそ10×10画素部分を使用する。

Lytroのコンシューマーライトフィールドは数年間使用されてきましたが、ほとんどの人が話していると思われる機能は、撮影後に写真の焦点を固定または変更する機能です。しかし、それだけではありません。実際、それは氷山の一角にすぎません。

上の画像は、右からカメラに入射し、マイクロレンズアレイによってCMOSセンサーに向けられている光線を示しています。

ソフトウェア

ライトフィールドを捉えることは最初のステップにすぎません。次のステップは見ることができるイメージを生成することです。これを意味することを説明するために、ピンホールカメラがどのように機能するかを説明し、レイトレーシングを通して簡単にトラバースし、そして最後にLytroレンダリングプロセスを説明します。 3つすべてに共通点が2つあります。第一に、そのシーンを見る観察者がいて、第二に、そのシーンはどういうわけかスクリーン上にレンダリングされなければならない。

ピンホールカメラでは、光線はカメラ前面の穴を通過し、反対側の面には上下が反転した画像として表示されます。後壁は本質的にスクリーンです。あなたがピンホールレンズに背を向けてカメラの中にいたならば、あなたはあなたの前に投影されたイメージを見るでしょう。 (「シーンオブジェクト」はサボテンであると思われます。それは何でも構いません。理想的にはすべてのダイアグラムは疑似3Dパースペクティブからのものですが、それは私の描画スキルを超えています。)

レイトレーシングでは、シーンは幾何学的形状、テクスチャ、および光源を使用して数学的に記述されます。観察者の位置を表すシーンの外側の点が選択され、その観察者の視点から画像が生成される。光線追跡は、ピンホールカメラの例とは3つの点で異なります。まず、シーンは現実の世界には存在しないため、レンダリングする必要があります。次に、「実際の」シーンは後ろではなく観察者の前にあり、最後にシーンが仮想であるため、画面上のイメージをレンダリングする必要があります。これは、ピクセルごとに行われます。 「ビュー」光線は各ピクセルごとにシーンに投影され、ピクセルの色はシーンを横断する間に各ビュー光線が当たるオブジェクトと光源に基づいて計算されます。観察者からビュー光線を送信すると、レンダリング時間が大幅に短縮されます。

Lytroの場合、写真が撮られたときに捉えられたシーンを記述する保存された光線があります。私たちのスクリーンに画像を投影するためには焦点を選択する必要があります。選択された焦点が与えられると、Lytroソフトウェアは保存されている光線を使用して画像をレンダリングします。これは、画像を生成するためにスクリーンに投射された光線が、観察者からスクリーンを通ってシーンに投射されたのではなく、シーン内に原点を有するという点で逆の光線追跡である。

概説すると、光線追跡では、観察者から画面を通して光線を発射することによってシーンがレンダリングされ、Lytroでは、シーン内に取り込まれた光線をスクリーンに戻すことによってシーンがレンダリングされます。

未来

Lytroライブラリソフトウェアに最近追加されたのは、3D画像を作成する機能です。この能力は、ライトフィールドを捉えることのもう一つの利点を実証します。カメラ内で左または右、上または下にスクーティングすると、少し違った見方または遠近感が得られます。これらのトランジションをレンダリングするために必要なデータは、キャプチャされたライトフィールドの一部であり、キャプチャされたシーンの3Dレンダリングを生成するために使用できます。安価なアナグリフメガネはあなたが必要とするすべてです。アナグリフメガネをかけて誰でも見ることができるように、画像をJPGとしてエクスポートするのは簡単です。

Lytroカメラの1つの欠点は、画像操作用の公開されたAPIがないことです。 Lytroは独自の画像フォーマットを使用しており、それをリバースエンジニアリングして画像を操作するためのソフトウェアを作成するための多くの作業が行われていますが、LFPを扱うための包括的なクロスプラットフォームAPIやソフトウェアはありません。 )私が見つけた最良のリソースは「Lytro Meltdown」です。これはWindows中心である傾向がありますが、多くの有用な情報が含まれています。

ライトフィールド写真はまだ始まったばかりです。価格は当初高かったし、結果は圧倒的だが物事は両方の面で変わり始めている。ベースの8GB Lytroカメラは最近200ドルから300ドルで販売されていることが多く、カメラファームウェアとLytro Libraryの写真管理ソフトウェアの両方に定期的に新しい機能が追加されています。

私が一番見たいのは、LFPファイルを操作し管理するために使用できる包括的なクロスプラットフォームのオープンソースライブラリです。聖杯は生のLytroファイルを撮って画像をレンダリングすることができるソフトウェアであろう。

シェア

コメントを残します