訂閱電子報

智慧生活報

訂閱文章

Plurk

使用者登入

[技術論壇] 3D影像製作與轉換技術

Post by Emily

3D熱潮從阿凡達開始延燒至今,各家面板廠商紛紛投入3D顯視器的開發,其應用範圍從電視、電腦,擴增到掌上型電玩與手機,未來待裸視3D顯示的技術發展成熟,可以顯見未來無處不是3D畫面,甚至有專家學者將2010年定為「3D元年」。然而,無論是電影、電玩或電視節目,除了終端的3D顯示器之外,節目內容也必須是3D的,才能完全顯示出3D的立體效果。

3D影像製作

目前的3D拍攝技術主要可以分為兩種。第一種為「陣列式攝影」,先前的文章中提過,3D效果主要是利用雙眼的視差,讓兩眼分別看到不同的畫面建構出立體感。

此方法即利用此原理,同時以兩台以上的攝影機,模擬人類的雙眼視覺拍攝左右眼的畫面(也可使用單一攝影機進行多次不同角度的拍攝),兩台攝影機的距離必須等同於雙眼間的距離(約6-7公分)。播出時透過3D顯示器分別顯示左右眼的畫面,即可營造出立體影像的效果。此種拍攝方式所得到的影像格式稱為「傳統立體視訊」(Conventional Stereo Video, CSV)。

但由於必須同時透過兩台以上的攝影機進行拍攝,因此必須事先進行畫面大小、角度、光影等校正,避免拍攝出來的畫面大小不一、角度無法符合視差、或是具有色差,而影響到3D成像時的立體效果,在事前的準備工作上相當費時費力。考量到這些拍攝上的困難,有廠商研發出專門做為3D攝影使用的3D攝影機,本身即具有兩個鏡頭,分別捕捉左右眼的畫面,可以解決兩台攝影機難以同時操作,以及畫面校正上的麻煩。

第二種方式為「深度攝影」,除了傳統攝影機之外,同時以「深度攝影機」進行拍攝,除了2D畫面之外,深度攝影機會發出紅外線光源,透過紅外線光源碰到拍攝物體反射的時間,判斷物體與攝影機之間的距離,而得出畫面中物體遠近的「深度圖」(depth image/depth map),深度圖為一灰階值0~255的影像,顏色愈深表示距離鏡頭愈近,使用深度圖的距離資料,將所對應的2D畫面立體化。此種方式也是目前最常用的立體影像格式之一,稱為「2D+D」(2D+Depth)。然而,目前深度攝影機的費用仍昂貴,此3D製作方式尚無法普及。

2D/3D視訊轉換

3D熱潮沸騰之後,各家廠商投入各種3D顯示器與應用不遺餘力,內容製作商如電影、遊戲業者也紛紛祭出3D版遊戲吸引消費者目光,然而,3D影像製作成本仍較一般2D製做方式高出許多,以電影為例,3D電影的製作成本至少為一般電影的數十倍以上。因此雖然3D設備琳瑯滿目,3D內容產出的速度卻遠遠不及終端設備的發展速度。在這樣的情況下,為解決目前3D內容不足的困境,發展出將傳統2D影像轉換為3D影像的技術。

影像深度推估

要將已經拍攝完成的2D影像,轉換為3D影像,目前主要的方法為透影像處理、畫面與動作辨識、影像特徵分類等影像相關技術,推估拍攝場景的樣貌,製作出對應該影像的深度圖,再將深度圖搭配2D畫面轉換為3D影像。因此在2D/3D影像轉換技術中,最核心的技術莫過於將2D影像繪製成深度圖的影像深度估算技術。

目前常用的影像深度估算方法主要有以下幾種。第一種為「移動估算法」(Structure from motion, SFM),捕捉畫面中的點、線條與平面等主要特徵,在連續畫面中透過這些畫面特徵的變動,來估算物體與攝影機之間的相對運動關係,計算出場景的結構,並描繪出深度圖。但由於是利用畫面變動的資訊進行演算,因此若是靜止畫面的拍攝,會因資訊不足而無法進行場景深度的演算,或是計算結果高度失真。

第二種為「深度線索估算法」(Depth from cues, DFC)。除了雙眼視差建構的立體視覺之外,人類具有單眼即能感受場景深度的「深度感知」,人類會透過一些深度感知線索來判斷物體的遠近,例如距離近的物體看起來較大、較低、較清楚,移動速度也較快;較遠的東西看起來較小、較高、較模糊,移動速度也較慢等。此方法利用人類的深度感知線索,將畫面切割成數塊分別進行深度推估,例如依據物體大小與清晰程度切割為近景及遠景;依據色彩將顏色相近的部分化分在相同區塊;依據線條的角度與位儀的大小來區分遠近。將畫面切割為許多不同區塊之後,分別計算區塊的深度,再綜合整個畫面得出整體的深度圖。

線索深度估算法較不受影像靜/動態的限制,但深度線索與場景的實際深度並非絕對相關,誤判的可能性高。為提高判斷的正確度,必須使用較多的深度感知線索來進行估算,但同時也會提高計算的困難程度與演算速度。

第三種常用的深度估算法為「電腦學習估算法」(Machine learning algorithm, MLA),其原理與深度線索估算法雷同,均是透過畫面中的特徵與深度感知線索進行場景深度的估算,但為降低誤判的可能性,此方法先以人工指派的方式進行線索與實際深度的媒合,經過數次(數張影像)的「訓練」之後,可以得到「分類器」,再以此分類器進行後續影像的深度估算。此方法亦不受場景特性的限制,並且若事先對電腦進行訓練,可即時進行影像轉換。但其估算正確度目前仍在評估中,若要提高判斷的正確度,則必須進行較多線索的媒合訓練,且若畫面較為複雜,需要訓練的特徵也就愈多,所需投注的人力成本也就愈高。

2D/3D轉換困難

目前已有多家廠商推出2D/3D影像轉換的軟體,使用軟體即可將2D的影像/視訊轉換為3D版本,然而此技術目前仍有諸多困難等待克服。

卡內基美隆大學開發的2D/3D轉換技術影片
 

1. 估算誤差

若製作過程及採用3D拍攝,可以蒐集到完整的場景資訊,但若採用2D拍攝再後製成3D影像,則被遮蔽住的場景資訊(例如桌子後面)只能夠以深度推估的方式計算補足資訊遺漏的部分,會造成一定程度的場景資訊遺失。由於必須從不完整的2D場景資訊推估出立體的3D場景,在運算上一定會產生誤差,導致畫面深度、物體比例、形狀的扭曲或變形,而失去原先3D視覺所希望達成的「身歷其境」的效果。

2. 製作成本

雖然2D後製為3D可以省去高昂的設備費用,但事實上,電腦並無法完整的轉換場景資訊,為避免場景資訊的遺漏導致場景失真,在處理過程中必須耗費大量人力協助判斷或訓練電腦,因此實際上2D後製為3D的製作成本,並沒有想像中的低廉。

3. 轉換速度

由於目前的2D/3D影像轉換需要大量運算資源或人力協助處理,因此2D的影像轉換為3D影像仍須經過一段時間,而無法如目前廠商所宣稱,在電視/電腦上立即轉換為3D影像,對於有及時轉換需求的節目(例如即時轉播)或內容(例如廣告),困難度較高。

雖然2D/3D影像轉換看似非常方便且無須花費大量製作成本的技術,然而其終究是為因應2D/3D時代接軌的過渡技術,未來在設備技術發展成熟的情況下,勢必仍會從製作端到終端顯視器全面3D化。因此在此過渡期中,如何在運算資源、人力耗費最小的情況下,使「假3D」的效果達到最好,吸引人們使用並接受,為技術開發廠商與內容供應商迎接3D元年所要面臨的首要問題。

發表新回應

這個欄位的內容會保密,不會公開顯示。
  • 自動將網址與電子郵件位址轉變為連結。
  • 可使用的 HTML 標籤:<a> <em> <strong> <cite> <code> <ul> <ol> <li> <dl> <dt> <dd>
  • 自動斷行和分段。

更多關於格式選項的資訊