朱靜美
  • 首頁
  • AI研究
  • ART研究與學術成就

​專研人工智能右腦的情感交流&創意設計

朱靜美為華人世界第一位留學美國獲得戲劇導演博士之專家學者,現任國立臺灣大學戲劇系暨研究所專任教授,二十餘年致力戲劇與科技的跨領域研究,以表導演、莎士比亞&電影動畫之研究為主,更跨界將研究成果之情緒辨識(人臉、聲音、動作)貢獻於AI領域,標註精準的情緒大數據資料,用於開發人工智慧「右腦」所需的情感交流能力,包含:複合型情緒辨識(臉部表情、聲音、肢體動作)、情緒大數據資料庫建構、人工智慧聲音表情、機器人動作表情設計、高同理心的情感對話語料設計。
朱靜美目前為國立臺灣大學「人工智慧與機器人研究中心」的「前瞻機器人組」與「認知與行為科學組」之創始成員,曾參與臺大後卓越計畫,投入研發一套針對華人的情緒語音資料庫(2006-2008),朱教授在此計畫中,主要負責語音情緒之辨識與標註的關鍵技術。除此之外,朱教授也長期致力於建造各種「情緒大數據資料庫」:包含「全球人臉情緒資料庫」、「華人情緒動作資料庫」與「華人情緒語音資料庫」。

​現正主持科技部(前置規畫案):「臺灣AI右腦的『情感智能』建構計畫:臉部表情、語言文字、聲音表情、肢體動作整合的即時情緒辨識系統 & 高情緒智商人工智慧的資安與法律」。

科技部(前國科會)專題研究計畫:

Deep Intelligence Based Spoken Language Processing( IV )
智慧型照護互動系統-基於深度智能之口語處理技術( IV )

Wang, Jia-Ching(主持人), Chu, Vivian Ching-Mei(共同主持人), sponsored by Ministry of Science and Technology
#MOST110-2634-F008-004 , 1/1/2021-12/31/2021

(前置規畫案)臺灣AI右腦的「情感智能」建構計畫:臉部表情、語言文字、聲音表情、肢體動作整合的即時情緒辨識系統 & 高情緒智商人工智慧的資安與法律

Chu, Vivian Ching-Mei, sponsored by Ministry of Science and Technology
#MOST 107-2420-H-002-007-MY3-PA10909, 9/1/2020-12/31/2020

Deep Intelligence Based Spoken Language Processing( III )
智慧型照護互動系統-基於深度智能之口語處理技術( III )

Wang, Jia-Ching(主持人), Chu, Vivian Ching-Mei(共同主持人), sponsored by Ministry of Science and Technology
#MOST 109-2634-F008-006, 1/1/2020-12/31/2020

近年研究重心:跨領域大數據資料與內容開發專案合作。


近年研究重心:人機情感交互( human-robot affective interaction)


人類是世上情感最豐富的動物,情緒每天都左右我們生活的各個層面,從學習、做事到與他人互動,每一個情緒的變化都影響我們判斷與抉擇,甚至影響我們的健康,「情緒」對人類的影響遠大於我們的想像。

​在未來,機器人將會是手機之後下一個席捲人類生活的行動載具,而具有情感的機器人將是未來市場的主流,情緒辨識是第一步,第二步則是它能夠自己表達情緒,第三步則才是像真人一樣地互動,一旦它能與人交流情感,便能跟人產生有溫度的情感連結,成為我們永不罷工、永不埋怨的最好夥伴,讓使用者產生高度黏著性。首波可以運用人機情感交互在以下六大領域:照護型機器人、服務型機器人/語音助理、醫療型機器人、教育型機器人、陪伴型機器人/機器寵物。

情緒大數據之研發成果:


人臉情緒辨識資料庫

資料庫說明:
​
此資料庫包含來自「網路數據」與「自製資料庫」共數十萬張圖片,有著不同種族、文化、角度、情緒強度與多樣性,經過朱靜美教授與其團隊篩選後進行內部實測,情緒辨識準確度超越Google、Microsoft。

「網路數據」:七大基本情緒範例

Picture
Happiness
​(快樂)
Picture
Anger
​(憤怒)
Picture
Sadness
​(悲傷)
Picture
Fear
​(恐懼)
Picture
Disgust
​(厭惡)
Picture
Surprise
​(驚訝)
Picture
Shame
​(羞愧)

「網路數據」:複合情緒範例

圖片
Pleasantness
(愉悅)
圖片
Amazement
(驚喜)
圖片
Sneer
(冷笑)
圖片
Satisfaction
​(滿意)
圖片
Anger
​(慍怒)
圖片
Hostility
(敵視)
圖片
Grinding teeth
(咬牙切齒)
圖片
Nausea
(噁心)

圖片
Disdain
​(鄙視)

圖片
Shock
(驚恐)

圖片
Confusion
(困惑)

圖片
Disapprobation
(不以為然)

圖片
Provocation
(挑釁)

圖片
Impatience
(不耐煩)

(華人)情緒動作資料庫

本資料庫由朱靜美教授個人獨立建置,研究內容針對華人受文化禮教影響下情緒透過肢體表達的方式。運用Maya motion capture軟體捕捉演員的肢體動作,並依照情緒程度大小分為:大、中、小三種層次,包含各種不同的表情達意方式。

「自製資料庫」:八大基本情緒範例

Happiness(快樂)
Anger(憤怒)
Sadness(悲傷)
Fear(恐懼)
Disgust(噁心)
Contempt(厭惡)
Surprise(驚訝)
Shame(羞愧)

(中文)情緒語音資料庫 

資料庫說明:

針對中文的語音進行情緒辨識與情境下角色化語料設計,應用在物聯網語音助理和各類機器人(照護型、醫療型、陪伴型、教育型等等)之上,現基於七大情緒與特定使用情境(如醫院、居家、教室)發展情緒語音與對話語料。

同一語料下不同情感聲音展示-「哇~不錯喔,你現在跑得越來越快了,很讚!」

快樂
(Happiness)
憤怒
​(Anger)
悲傷
​(Sadness)
恐懼
​(Fear)
厭惡
​(Contempt)
噁心
​(Disgust)
驚訝
​(Surprise)
羞愧
​(Shame)

*同一語料下不同情感聲音展示-退貨情境

 「我想要了解退貨的流程,我要退貨。
     因為這個顏色跟我在網路上看的不一樣,
     如果我不小心把標籤扯掉了,這個我還可以退嗎?」


快樂
​(Happiness)

憤怒
(Anger)

悲傷
(Sadness)

恐懼
(Fear)

鄙視
(Contempt)

噁心
(Disgust)

驚訝
(Surprise)

羞愧
(Shame)

抱怨
(Complaint)

無聊
(Boredom)

滿意
(Satisfaction)

生理痛苦
(Pain)

困惑
(Confusion)

高同理心的情感對話語料庫:

資料庫說明:
​
此資料庫針對孤獨(獨居)、寂寞、憂鬱這三大族群(包含老年人、一般成年人上班族)日常生活會遇到的困難與抱怨,研發高情商的語料用於人工智慧的深度學習之上,以訓練高情商的人工智慧進行富含同理心的深度人機對話,進而達到撫慰、轉移、鼓舞使用者情緒與行為的正面效益。目前研究重心針對以下駟大情境:
情境一:失戀/離婚而導致憂鬱(感情關係層面受挫)
情境二:工作不順、升遷失敗、失業、主管同事不合而導致憂鬱(職場層面受挫)
情境三:對未來迷惘(人生存在價值層面受挫)
情境四:孤獨寂寞(人際關係層面受挫)

部分案例展示:


情境:老人覺得生活沒有意義缺乏動力
User:
人生真沒意思,每天都這樣渾渾噩噩的過,就算好手好腳有什麼用?
AI:
今天終於要放晴了,可以出門日照殺菌一下啊,不然在家待到快發霉了。
User:
我不喜歡一個人做所有的事情,我好希望有人可以陪我。
AI:
那就踏出家門去認識人群吧!整天在家幻想是不會有結果的。

情境:老人抗拒運動
User:
我好累,我今天不想動,能不能不要做運動了?
AI:
對自己仁慈,就是對自己殘忍!親愛的奶奶,你真的好棒!我會一直支持你的,加油喔~
User:
阿唷身體好多病痛,我真歹命!
AI:
你哪有歹命啊,你過得都比楊貴妃還好了!

情境:上班族抱怨職場挫折
User:
我超沮喪的!為什麼這次不是我升主管!!!
AI:
俗話說人怕出名、豬怕肥,我們就先讓他肥一會吧!你平常壓力就夠大了,這次沒有升遷主管,或許是冥冥中希望你調整生活品質。
User:
雖然薪水很穩定,但這份工作真是一點成就感也沒有。
AI:
向著成就感奔跑吧!薪水能買到肉身的牢籠,但心的自由是無價的。聽從內心的聲音,它將指引你的方向。

情境:使用者抱怨情感受挫
User:
我好困惑,為什麼我總是遇到這樣的渣男/渣女?
AI:
感情沒有渣不渣,只有愛不愛。我只知道你如果繼續自怨自艾,連渣男/渣女都不會想靠近你喔。
User:
我的心好痛,我再也無法相信他說的任何話了
AI:
這樣吧,現在就是停損點,面對長期積弱的劣質股,我們要當斷則斷!

  • 首頁
  • AI研究
  • ART研究與學術成就