朱靜美
  • 首頁
  • AI研究
  • ART研究與學術成就

​專研人工智能右腦的情感交流&創意設計

朱靜美為華人世界第一位留學美國獲得戲劇導演博士之專家學者,現任國立臺灣大學戲劇系暨研究所專任教授,二十餘年致力戲劇與科技的跨領域研究,以表導演、莎士比亞&電影動畫之研究為主,更跨界將研究成果之情緒辨識(人臉、聲音、動作)貢獻於AI領域,標註精準的情緒大數據資料,用於開發人工智慧「右腦」所需的情感交流能力,包含:複合型情緒辨識(臉部表情、聲音、肢體動作)、情緒大數據資料庫建構、人工智慧聲音表情、機器人動作表情設計、高同理心的情感對話語料設計。
朱靜美目前為國立臺灣大學「人工智慧與機器人研究中心」的「前瞻機器人組」與「認知與行為科學組」之創始成員,曾參與臺大後卓越計畫,投入研發一套針對華人的情緒語音資料庫(2006-2008),朱教授在此計畫中,主要負責語音情緒之辨識與標註的關鍵技術。除此之外,朱教授也長期致力於建造各種「情緒大數據資料庫」:包含「全球人臉情緒資料庫」、「華人情緒動作資料庫」與「華人情緒語音資料庫」。

​現正主持科技部(前置規畫案):「臺灣AI右腦的『情感智能』建構計畫:臉部表情、語言文字、聲音表情、肢體動作整合的即時情緒辨識系統 & 高情緒智商人工智慧的資安與法律」。

科技部(前國科會)專題研究計畫:

Deep Intelligence Based Spoken Language Processing( IV )
智慧型照護互動系統-基於深度智能之口語處理技術( IV )

Wang, Jia-Ching(主持人), Chu, Vivian Ching-Mei(共同主持人), sponsored by Ministry of Science and Technology
#MOST110-2634-F008-004 , 1/1/2021-12/31/2021

(前置規畫案)臺灣AI右腦的「情感智能」建構計畫:臉部表情、語言文字、聲音表情、肢體動作整合的即時情緒辨識系統 & 高情緒智商人工智慧的資安與法律

Chu, Vivian Ching-Mei, sponsored by Ministry of Science and Technology
#MOST 107-2420-H-002-007-MY3-PA10909, 9/1/2020-12/31/2020

Deep Intelligence Based Spoken Language Processing( III )
智慧型照護互動系統-基於深度智能之口語處理技術( III )

Wang, Jia-Ching(主持人), Chu, Vivian Ching-Mei(共同主持人), sponsored by Ministry of Science and Technology
#MOST 109-2634-F008-006, 1/1/2020-12/31/2020

近年研究重心:跨領域大數據資料與內容開發專案合作。


近年研究重心:人機情感交互( human-robot affective interaction)


人類是世上情感最豐富的動物,情緒每天都左右我們生活的各個層面,從學習、做事到與他人互動,每一個情緒的變化都影響我們判斷與抉擇,甚至影響我們的健康,「情緒」對人類的影響遠大於我們的想像。

​在未來,機器人將會是手機之後下一個席捲人類生活的行動載具,而具有情感的機器人將是未來市場的主流,情緒辨識是第一步,第二步則是它能夠自己表達情緒,第三步則才是像真人一樣地互動,一旦它能與人交流情感,便能跟人產生有溫度的情感連結,成為我們永不罷工、永不埋怨的最好夥伴,讓使用者產生高度黏著性。首波可以運用人機情感交互在以下六大領域:照護型機器人、服務型機器人/語音助理、醫療型機器人、教育型機器人、陪伴型機器人/機器寵物。

情緒大數據之研發成果:


人臉情緒辨識資料庫

資料庫說明:
​
此資料庫包含來自「網路數據」與「自製資料庫」共數十萬張圖片,有著不同種族、文化、角度、情緒強度與多樣性,經過朱靜美教授與其團隊篩選後進行內部實測,情緒辨識準確度超越Google、Microsoft。

(華人)情緒動作資料庫

本資料庫由朱靜美教授個人獨立建置,研究內容針對華人受文化禮教影響下情緒透過肢體表達的方式。運用Maya motion capture軟體捕捉各式情緒肢體動作,包含各種不同的表情達意方式。

(中文)情緒語音資料庫 

資料庫說明:

針對中文的語音進行情緒辨識與情境下角色化語料設計,應用在物聯網語音助理和各類機器人(照護型、醫療型、陪伴型、教育型等等)之上,現基於七大情緒與特定使用情境(如醫院、居家、教室)發展情緒語音與對話語料。

同一語料下不同情感聲音展示-「哇~不錯喔,你現在跑得越來越快了,很讚!」

*同一語料下不同情感聲音展示-退貨情境

 「我想要了解退貨的流程,我要退貨。
     因為這個顏色跟我在網路上看的不一樣,
     如果我不小心把標籤扯掉了,這個我還可以退嗎?」


高同理心的情感對話語料庫:

資料庫說明:
​
此資料庫針對孤獨(獨居)、寂寞、憂鬱這三大族群(包含老年人、一般成年人上班族)日常生活會遇到的困難與抱怨,研發高情商的語料用於人工智慧的深度學習之上,以訓練高情商的人工智慧進行富含同理心的深度人機對話,進而達到撫慰、轉移、鼓舞使用者情緒與行為的正面效益。目前研究重心針對以下四大情境:
情境一:失戀/離婚而導致憂鬱(感情關係層面受挫)
情境二:工作不順、升遷失敗、失業、主管同事不合而導致憂鬱(職場層面受挫)
情境三:對未來迷惘(人生存在價值層面受挫)
情境四:孤獨寂寞(人際關係層面受挫)
  • 首頁
  • AI研究
  • ART研究與學術成就