專利名稱：增強(qiáng)內(nèi)容觀看體驗(yàn)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于增強(qiáng)內(nèi)容觀看體驗(yàn)的系統(tǒng)和方法。
背景技術(shù)：
隨著計(jì)算能力，數(shù)字多媒體和沉浸式顯示的快速發(fā)展，觀看者目前能夠享受和沉浸在高質(zhì)量視聽媒體中。特別地在廣播顯示的區(qū)域中，技術(shù)進(jìn)步已經(jīng)目的在于向觀看者提供更多的沉浸式體驗(yàn)，其使得現(xiàn)實(shí)和顯示的場(chǎng)景之間的界限模糊，從而支持“在那里”，或者存在的印象。例如，采用高清晰度(HD)視頻的寬屏顯示器提供寬視場(chǎng)，以防止觀看者被真實(shí)的環(huán)境干擾，并且三維電視(3D-TV)支持自然觀看體驗(yàn)，以使得觀看者能夠以真實(shí)的尺寸和自然的顏色來察覺(perceive)對(duì)象。此外,3D聲系統(tǒng)提供方向性音頻,進(jìn)一步有助于增加在觀看場(chǎng)景中存在的感覺。
近來，也已經(jīng)設(shè)想通過使用觸感技術(shù)來提供觸覺反饋的應(yīng)用。WO 2009/136345公開了一種向暴露于多媒體信息(例如，媒體剪輯)的人傳達(dá)的情感的方法，其經(jīng)由使用緊靠人體布置的多個(gè)致動(dòng)器的觸覺刺激。方法包括以下步驟提供用于控制多個(gè)致動(dòng)器的觸覺刺激信息，其中，多個(gè)致動(dòng)器適于刺激身體區(qū)域中的多個(gè)身體部位。觸覺刺激信息包括一連串的觸覺刺激樣式,并且每個(gè)觸覺刺激樣式在時(shí)間和空間中控制多個(gè)致動(dòng)器，以實(shí)現(xiàn)身體區(qū)域的觸覺刺激。觸覺刺激信息與媒體剪輯同步。因此，在正確的時(shí)間，情感可以被減少或者增強(qiáng)，即，與媒體剪輯中的特定情形同步。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種系統(tǒng)和方法，其進(jìn)一步地使內(nèi)容觀看體驗(yàn)更加沉浸式。為了更好地解決該關(guān)心的問題，根據(jù)本發(fā)明的第一方面，提供一種用于增強(qiáng)內(nèi)容觀看體驗(yàn)的系統(tǒng)，其包括觸覺反饋提供器，用于基于至少一個(gè)運(yùn)動(dòng)對(duì)象在內(nèi)容的視頻中的運(yùn)動(dòng)方向和/或基于音頻在內(nèi)容的音頻軌跡中的運(yùn)動(dòng)方向來提供觸覺(觸感)反饋。因此，觀看者可以被提供有適于(電影)場(chǎng)景的合適的個(gè)人觸感反饋(S卩，觸摸的感覺)。這可以更好地使得觀察體驗(yàn)更加沉浸式。根據(jù)實(shí)施例，系統(tǒng)進(jìn)一步地包括運(yùn)動(dòng)方向確定器，用于借助于內(nèi)容分析來確定至少一個(gè)運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)方向?？梢韵蚱涫褂矛F(xiàn)存的產(chǎn)品或者算法。至少一個(gè)運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)方向可以通過分析視頻或者通過分析音頻軌跡來確定。在視頻是3D視頻和/或音頻軌跡是3D或者環(huán)繞音頻的情況下，內(nèi)容觀看體驗(yàn)特別地是沉浸式的。根據(jù)另一個(gè)實(shí)施例，觸覺反饋提供器被配置用于以與至少一個(gè)運(yùn)動(dòng)對(duì)象和/或音頻的運(yùn)動(dòng)方向基本上相同的方向來運(yùn)動(dòng)觸覺反饋。通過將觸覺反饋的方向和運(yùn)動(dòng)對(duì)象和/或音頻的方向相匹配，觀看者被提供有合適的觸感效果。這種合適的個(gè)人的觸感效果大大地改進(jìn)了(3D) TV體驗(yàn)。根據(jù)又一個(gè)實(shí)施例，觸覺反饋提供器被配置成模仿由至少一個(gè)運(yùn)動(dòng)對(duì)象所引起的觸覺效果。例如，在運(yùn)動(dòng)對(duì)象爆炸的情況中，觸覺反饋可能是震動(dòng)。此外，觀看者被提供有合適的觸感效果。觸覺反饋提供器可以包括用于提供力反饋的多個(gè)致動(dòng)器。觸覺反饋提供器可以由一個(gè)或者多個(gè)觸感設(shè)備構(gòu)成，例如，手套、沙發(fā)上的坐墊、墊子、等等。這種設(shè)備很好地適用于在家庭或者電影院觀看環(huán)境中使用。它們應(yīng)當(dāng)制成對(duì)于觀看者是容易使用、穿上或者戴上。設(shè)備的每一個(gè)可以具有多個(gè)嵌入式振動(dòng)馬達(dá)。它們可以被制成基于由系統(tǒng)所提供的觸發(fā)事件而振動(dòng)。根據(jù)又一個(gè)實(shí)施例，沿著振動(dòng)馬達(dá)嵌入多個(gè)微加熱器。通過使用熱反饋加上觸覺反饋，可以提供更加多的沉浸式觀看體驗(yàn)。根據(jù)本發(fā)明的第二方面，提供一種增強(qiáng)內(nèi)容觀看體驗(yàn)的方法，其包括以下步驟基于至少一個(gè)運(yùn)動(dòng)對(duì)象在內(nèi)容的視頻中的運(yùn)動(dòng)方向和/或基于音頻在內(nèi)容的音頻軌跡中的運(yùn)動(dòng)方向來提供觸覺反饋。參考以下所述的實(shí)施例，本發(fā)明的這些和其它方面將是清楚的并且被闡述。


進(jìn)一步地參考經(jīng)由以下說明書中示例所描述的實(shí)施例和參考附圖，本發(fā)明的這些和其它方面將是顯然的并且被闡述，其中
圖1是根據(jù)本發(fā)明實(shí)施例的系統(tǒng)的框圖。圖2示出了根據(jù)本發(fā)明實(shí)施例的運(yùn)動(dòng)方向的估計(jì)。圖3示出了根據(jù)本發(fā)明實(shí)施例的用于提供觸覺反饋的設(shè)備的示例。圖4示出了根據(jù)本發(fā)明實(shí)施例的包括振動(dòng)馬達(dá)陣列的墊子。圖5示出了根據(jù)圖4的墊子，其中，微加熱器與振動(dòng)馬達(dá)位于一處。圖6-8示出了根據(jù)本發(fā)明的實(shí)施例，其中，墊子的振動(dòng)馬達(dá)被觸發(fā)，其與運(yùn)動(dòng)方向相聯(lián)系。圖9-12示出了根據(jù)本發(fā)明的又一個(gè)實(shí)施例，其中，墊子的振動(dòng)馬達(dá)被觸發(fā)，以便于模仿運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)。圖13-14示出了基于3D音頻效果的觸覺反饋。圖15-16示出了設(shè)置在單個(gè)墊子上的多個(gè)觸覺反饋效果。圖17示出了給出合適的個(gè)人觸覺反饋。在全部圖中，相似的附圖標(biāo)記代表相似的元件。
具體實(shí)施例方式圖1是根據(jù)本發(fā)明的示例性系統(tǒng)100的框圖。系統(tǒng)包括一種用于呈現(xiàn)(render)3D觀看內(nèi)容的裝置。內(nèi)容包括由設(shè)備110所呈現(xiàn)的3D視頻以及由揚(yáng)聲器115所提供的3D的音頻軌跡或者環(huán)繞音頻。用于提供3D觀看內(nèi)容的設(shè)備是眾所周知的，例如，根據(jù)2007 年的 PRESENCE 2007 的會(huì)議錄中，P. Seuntiens,1. Vogels,和 A. van Keersop 的論文 “Visual experience of 3D-TV with pixilated ambilight，，，以及，R. G. Kaptein,A. Kuijsters, M. T. M. Lambooij, ff. A.1Jsselsteijn,和1. Heynderickx 的“Performance evaluation of 3D-TV systems，，，S. P. Farnand 和 F. Gaykema, Eds.,2008年I月，美國(guó)，加利福尼亞，圣何塞，SPIE會(huì)議錄的vol. 6808，pp.1-1l0系統(tǒng)包括功能120，以確定什么對(duì)象顯示在3D TV上。這種功能在現(xiàn)有技術(shù)中是眾所周知的，它可以例如使用商業(yè)上可得到的內(nèi)容分析技術(shù)。而且，系統(tǒng)包括功能122，以實(shí)時(shí)地估計(jì)每個(gè)運(yùn)動(dòng)對(duì)象(例如，戰(zhàn)斗機(jī)或者發(fā)射的導(dǎo)彈)的運(yùn)動(dòng)方向。同時(shí)，該功能在現(xiàn)有技術(shù)中也是眾所周知的。正如圖2中所示出的，每個(gè)飛行的對(duì)象存在多個(gè)觀察點(diǎn)202、204，并且根據(jù)多個(gè)觀察點(diǎn)的幾何坐標(biāo)，可以估計(jì)對(duì)象的運(yùn)動(dòng)方向。附加地，系統(tǒng)包括功能124，以確定音頻的方向。這種功能從例如以下的論文中是已知的
—Aki Harma, Steven van de Par, Werner de Bruijn (2007),在Spatial audiorendering using sparse and distributed arrays, AES (美國(guó)電化學(xué)協(xié)會(huì))第 122 次大會(huì),維也納,奧地利，
-Aki Harma, Steven van de Par, Werner de Bruijn (2008), On the use ofdirectional speakers to create a sound source close to the listener,在AES 第124次大會(huì)，阿姆斯特丹，荷蘭，
-Timo Haapsaari, Werner De Bruijn, Aki Harma (2007), Comparison ofDifferent Sound Capture and Reproduction Techniques in a Virtual AcousticWindow，在AES第122次大會(huì) ，維也納，奧地利，以及
-F. Hamidi,和 B. Kapralos., “A review of spatial sound for virtualenvironments and games with graphics processing units，，,Open Virtual Reality 期刊，2009。音頻可以由運(yùn)動(dòng)對(duì)象來相關(guān)(引起)，例如，由運(yùn)動(dòng)的摩托車引起的聲音。然而，還可以與任何運(yùn)動(dòng)對(duì)象不相關(guān)，例如，在爆炸的情況中。控制器130基于什么對(duì)象顯示在3D TV上，以及其運(yùn)動(dòng)方向和/或3D音頻的運(yùn)動(dòng)方向來確定合適的觸覺反饋或者觸感效果(即，觸摸的感覺)。在該說明書中，術(shù)語“觸覺的”和“觸感的”用作同義詞，它們與相同的概念相關(guān)?？刂破飨蛴|覺反饋提供器無線發(fā)射控制信號(hào)(命令)，所述觸覺反饋提供器包括若干個(gè)設(shè)備300、302、304。正如圖3中所示出的，這些設(shè)備可以是墊子、手套、沙發(fā)上的坐墊、等等。設(shè)備易于使用、穿上或者戴上。每個(gè)觸感設(shè)備使用觸感致動(dòng)器來向用戶提供觸感感覺(力反饋)。每個(gè)設(shè)備可以具有多個(gè)嵌入式振動(dòng)馬達(dá)。圖4示出了可以在系統(tǒng)中使用的觸感(觸覺的)反饋設(shè)備的示例。它是在其中嵌入許多微振動(dòng)馬達(dá)400來提供觸感反饋的墊子300。微馬達(dá)基于來自控制器130的命令而振動(dòng)?？梢栽O(shè)計(jì)和編程不同的觸感樣式。例如，在第一個(gè)10毫秒中，最左邊的馬達(dá)振動(dòng)，然后，對(duì)于第二個(gè)10毫秒，在其右邊的馬達(dá)振動(dòng)，等等。除了觸覺反饋外，可以給出熱反饋?？赡艿膶?shí)現(xiàn)方式是沿著振動(dòng)馬達(dá)400嵌入多個(gè)微加熱器500，正如圖5中所示出的。現(xiàn)在參考圖6-8，將解釋示例性的系統(tǒng)概念。當(dāng)僅僅存在一個(gè)被顯示的運(yùn)動(dòng)對(duì)象時(shí)，其后的過程將如圖6中所示出的來運(yùn)行。為了適當(dāng)?shù)毓ぷ?，觸感設(shè)備(該實(shí)例中的墊子)將以某種方式相對(duì)于呈現(xiàn)設(shè)備來放置。在一個(gè)變型中，用戶通過例如使用用戶界面通知系統(tǒng)他們的存在而注冊(cè)觸感設(shè)備。然后，系統(tǒng)可以然后將由用戶界面教導(dǎo)用戶如何以某種方式相對(duì)于呈現(xiàn)設(shè)備來適當(dāng)?shù)胤胖脡|子、坐墊和手套。在另一個(gè)實(shí)施例中，觸感設(shè)備可以設(shè)置有具有發(fā)送應(yīng)答器的便攜式設(shè)備，并且數(shù)字電視機(jī)自動(dòng)地識(shí)別它們的存在。在TV系統(tǒng)中的所檢測(cè)的觸感設(shè)備的位置不必非常精確地將墊子中的馬達(dá)和運(yùn)動(dòng)方向相聯(lián)系。首先，系統(tǒng)估計(jì)運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)方向600。然后，系統(tǒng)檢測(cè)墊子中的哪個(gè)馬達(dá)與該運(yùn)動(dòng)方向相聯(lián)系?？赡艿姆绞绞穷A(yù)先限定在區(qū)域602中與可能方向相聯(lián)系的一些馬達(dá)。例如，當(dāng)對(duì)象的運(yùn)動(dòng)方向被檢測(cè)是右邊，設(shè)定與右邊相聯(lián)系的一些馬達(dá)被觸發(fā)。圖7示出了來自不同視角的相似情景。對(duì)象704的運(yùn)動(dòng)方向700與觸感方向702基本上平行，并且表面706內(nèi)沿著觸感方向的馬達(dá)708被觸發(fā)以振動(dòng)。以這種方式，個(gè)人效果被提供給用戶。當(dāng)然，相同的方法可以被應(yīng)用到多物體情景。圖8描繪了第二運(yùn)動(dòng)對(duì)象在方向800中運(yùn)動(dòng)的情況中的情景，從而使得在區(qū)域802中與方向800相聯(lián)系的馬達(dá)的觸發(fā)被觸發(fā)以振動(dòng)。還可以設(shè)計(jì)和應(yīng)用一些觸感樣式，以模仿對(duì)象的運(yùn)動(dòng)。其示例在圖9-12中被示出。當(dāng)運(yùn)動(dòng)方向900被檢測(cè)從左到右時(shí)，振動(dòng)馬達(dá)按照左到右的次序((902) - > (1002)- >(1102)- >(1202))被觸發(fā)，從而從3D TV顯示器到起居室延伸運(yùn)動(dòng)。還可以提供基于3D音頻效果的觸感反饋。圖13-14圖示了用于此目的的示例性系統(tǒng)概念，由本發(fā)明所描述的可能的產(chǎn)品概念。因?yàn)橛蓳P(yáng)聲器115播放出的聲束1300、1400的方向可以被控制，所以控制器130包括必要的信息，以確定其方向。以上參考圖6-8的本文所描述的相同方法用來觸發(fā)個(gè)人的觸感效果。因此，聲束的區(qū)域中的馬達(dá)1302、1402被觸發(fā)，以振動(dòng)。圖15-16示出了基于3D視頻和3D音頻效果的觸感反饋。各個(gè)觸感效果可以在相同的墊子上被觸發(fā)。圖16示出了視頻方向900和音頻方向1600基本上垂直并且馬達(dá)沿這些方向中的每一個(gè)接著被觸發(fā)的情形。圖16示出了馬達(dá)1202被觸發(fā)，因?yàn)楦鶕?jù)兩個(gè)反饋算法，一個(gè)遵循視頻方向以及一個(gè)遵循音頻方向，輪到該馬達(dá)被觸發(fā)。圖17是使用系統(tǒng)100的另一個(gè)示例。僅僅用戶1702由“落下的牛奶1700”來“擴(kuò)展”，例如，他得到觸感效果1704，因?yàn)槠渌俗诟踩奈恢?。墊子和3D對(duì)象及它們的軌跡之間的映射可以通過以下步驟來執(zhí)行
-將TV屏幕和墊子分成相等數(shù)量的象限。-使用多幀上的對(duì)象軌跡來識(shí)別視頻中的對(duì)象。-使用3D深度圖來確定對(duì)象是否朝向用戶運(yùn)動(dòng)或者遠(yuǎn)離他們運(yùn)動(dòng)。如果對(duì)象朝向用戶運(yùn)動(dòng)，在大量幀上識(shí)別對(duì)象的X和y坐標(biāo)，以找到物體從屏幕的哪個(gè)象限離開，以及在什么角度下其到達(dá)屏幕上的哪個(gè)終點(diǎn)象限。在毯子的象限上呈現(xiàn)觸感效果，其對(duì)應(yīng)于屏幕上物體到達(dá)的終點(diǎn)象限。以此方式，就從屏幕上出來的對(duì)象在他們希望的地方擊中他們而言，用戶可以利用對(duì)象建立模擬。例如，如果球從屏幕出來并且朝向TV屏幕的左側(cè)下落，那么，正確象限中的墊子的對(duì)應(yīng)底側(cè)將呈現(xiàn)觸感效果。要指出的是，以上所述的實(shí)施例說明而不是限制本發(fā)明，并且本領(lǐng)域普通技術(shù)人員將能夠設(shè)計(jì)許多可替代的實(shí)施例，而不脫離所附權(quán)利要求的范圍。在相互不同的從屬權(quán)利要求中詳述某些方法的僅有事實(shí)不表明這些方法的結(jié)合不能被被使用以獲益。單詞“包括”不排除存在不同于所列出的元件或者步驟的其它元件或者步驟，以及在元件之前的單詞“一”不排除存在多個(gè)這種元件。任何附圖標(biāo)記不限制權(quán)利要求的范圍。本發(fā)明可以借助于硬件和軟件來實(shí)施，并且若干個(gè)元件可以由相同項(xiàng)的硬件或者軟件來表示，并且處理器可能與硬件元件相配合，可以實(shí)現(xiàn)一個(gè)或者多個(gè)元件的功能。
權(quán)利要求
1.用于增強(qiáng)內(nèi)容觀看體驗(yàn)的系統(tǒng)(100)，其包括觸覺反饋提供器(300，302，304)，用于基于至少一個(gè)運(yùn)動(dòng)對(duì)象(704)在內(nèi)容的視頻中的運(yùn)動(dòng)方向和/或基于音頻在內(nèi)容的音頻軌跡中的運(yùn)動(dòng)方向來提供觸覺反饋。
2.根據(jù)權(quán)利要求1的系統(tǒng)，進(jìn)一步包括運(yùn)動(dòng)方向確定器(122，124)，用于借助于內(nèi)容分析確定至少一個(gè)運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)方向。
3.根據(jù)權(quán)利要求2的系統(tǒng)，其中，運(yùn)動(dòng)方向確定器被配置用于確定至少一個(gè)運(yùn)動(dòng)對(duì)象在視頻中的運(yùn)動(dòng)方向和/或確定至少一個(gè)運(yùn)動(dòng)對(duì)象在音頻軌跡中的運(yùn)動(dòng)方向。
4.根據(jù)權(quán)利要求1的系統(tǒng)，其中，視頻是3D視頻，和/或音頻軌跡是3D或者環(huán)繞音頻。
5.根據(jù)權(quán)利要求1的系統(tǒng)，其中，觸覺反饋提供器被配置用于在與至少一個(gè)運(yùn)動(dòng)對(duì)象和/或音頻的運(yùn)動(dòng)方向(900)基本上相同的方向上運(yùn)動(dòng)觸覺反饋。
6.根據(jù)權(quán)利要求1的系統(tǒng)，其中，觸覺反饋提供器被配置成模仿由至少一個(gè)運(yùn)動(dòng)對(duì)象所引起的觸覺效果。
7.根據(jù)權(quán)利要求1的系統(tǒng)，其中，觸覺反饋提供器包括用于提供力反饋的多個(gè)致動(dòng)器(400)。
8.根據(jù)權(quán)利要求7的系統(tǒng)，其中，觸覺反饋提供器包括一個(gè)或者多個(gè)設(shè)備，每個(gè)設(shè)備具有多個(gè)嵌入式振動(dòng)馬達(dá)。
9.根據(jù)權(quán)利要求8的系統(tǒng)，其中，沿著振動(dòng)馬達(dá)嵌入多個(gè)微加熱器(500)。
10.根據(jù)權(quán)利要求1的系統(tǒng)，其中，觸覺反饋提供器被配置用于還提供熱反饋。
11.一種用于增強(qiáng)內(nèi)容觀看體驗(yàn)的方法，包括以下步驟基于至少一個(gè)運(yùn)動(dòng)對(duì)象在內(nèi)容的視頻中的運(yùn)動(dòng)方向和/或基于音頻在內(nèi)容的音頻軌跡中的運(yùn)動(dòng)方向來提供觸覺反饋。
12.根據(jù)權(quán)利要求11的方法，其中，至少一個(gè)運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)方向通過使用內(nèi)容分析、通過確定至少一個(gè)運(yùn)動(dòng)對(duì)象在視頻中的運(yùn)動(dòng)方向，和/或通過確定至少一個(gè)運(yùn)動(dòng)對(duì)象在音頻軌跡中的運(yùn)動(dòng)方向來確定。
13.根據(jù)權(quán)利要求11的方法，其中，視頻是3D視頻和/或音頻軌跡是3D或者環(huán)繞音頻。
14.根據(jù)權(quán)利要求11的方法，其中，觸覺反饋在與至少一個(gè)運(yùn)動(dòng)對(duì)象和/或音頻的運(yùn)動(dòng)方向基本上相同的方向上運(yùn)動(dòng)。
15.根據(jù)權(quán)利要求11的方法,其中,觸覺反饋模仿由至少一個(gè)運(yùn)動(dòng)對(duì)象所引起的觸覺效果。
全文摘要
提出一種系統(tǒng)和方法，用于基于一個(gè)或者多個(gè)對(duì)象在觀看內(nèi)容的場(chǎng)景中的運(yùn)動(dòng)方向?qū)崿F(xiàn)個(gè)人的觸覺或者觸感反饋。內(nèi)容分析技術(shù)用來計(jì)算每個(gè)對(duì)象在顯示器上的運(yùn)動(dòng)方向。而且，沿著(多個(gè))對(duì)象的方向(600)的致動(dòng)器被觸發(fā)，以提供合適的觸感反饋。
文檔編號(hào)A61H23/02GK103003775SQ201180032509
公開日2013年3月27日 申請(qǐng)日期2011年6月22日 優(yōu)先權(quán)日2010年6月28日
發(fā)明者X.周, M.A.維弗斯-阿爾布 申請(qǐng)人:Tp視覺控股有限公司