ニューヨークのコーネル工科大学の研究者は、「プレノプティック機能のクラウドサンプリング」と呼ばれる研究を発表しました。これは、8月23日から28日までバーチャルで開催されたコンピュータビジョンに関するヨーロッパ会議で発表され、そこでいくつかの観光名所の4D画像が実証されました。世界で最も有名です。 画像はを持ち、時間の変化に応じて視覚的な変化を示します。
脾機能
画像で 4D 効果を実現するために、研究者はプレノティック機能アプローチを使用します。これは、空間と時間のあらゆる可能な視点から何かの外観を記述するアクションです。これは、現場の周囲に数百台のカメラを固定して配置し、昼夜を問わず画像の変化を記録すれば、より簡単に実現できるでしょう。ただし、この解決策は実用的ではありません (また、安価ではありません)。
したがって、研究者らは、1930 年代にによって作成されたアニメーション技術にインスピレーションを受けました。この技術は、シーン内のすべてのオブジェクトを再描画することなく、透明度のレイヤーを重ねて 3D 効果を作成します。違いは、この技術が図面ではなく実際の写真に適用されたことです。
外観を 4 次元で補間するこの新しいシーン表現は、「ディープ マルチプレーン イメージ」と呼ばれました。
公開されている画像を使用する
4D 画像を作成するには、研究者は同じシーンの何千もの画像を重ね合わせて、4 次元の画像を 1 つだけ作成する必要があります。これを行うために、彼らはやなどのサイトで公開されている観光名所の画像を使用しました。
深層学習技術を使用することで、観光客が撮影した何万枚もの写真をカタログ化し、まるで記念碑を直接見ているかのように、さまざまな視点や 1 日のさまざまな時間から見ることができる最終画像を作成することができました。 。
この研究には、 の元CEOである慈善家エリック・シュミット氏とその妻が資金の一部を提供した。
経由で 4D 画像を作成します
ソース