​專研人工智能右腦的情感交流＆創意設計

朱靜美為華人世界第一位留學美國獲得戲劇導演博士之專家學者，現任國立臺灣大學戲劇系暨研究所專任教授，二十餘年致力戲劇與科技的跨領域研究，以表導演、莎士比亞＆電影動畫之研究為主，更跨界將研究成果之情緒辨識（人臉、聲音、動作）貢獻於AI領域，標註精準的情緒大數據資料，用於開發人工智慧「右腦」所需的情感交流能力，包含：複合型情緒辨識（臉部表情、聲音、肢體動作）、情緒大數據資料庫建構、人工智慧聲音表情、機器人動作表情設計、高同理心的情感對話語料設計。
朱靜美目前為國立臺灣大學「人工智慧與機器人研究中心」的「前瞻機器人組」與「認知與行為科學組」之創始成員，曾參與臺大後卓越計畫，投入研發一套針對華人的情緒語音資料庫（2006-2008），朱教授在此計畫中，主要負責語音情緒之辨識與標註的關鍵技術。除此之外，朱教授也長期致力於建造各種「情緒大數據資料庫」：包含「全球人臉情緒資料庫」、「華人情緒動作資料庫」與「華人情緒語音資料庫」。

​現正主持科技部（前置規畫案）：「臺灣AI右腦的『情感智能』建構計畫：臉部表情、語言文字、聲音表情、肢體動作整合的即時情緒辨識系統 ＆ 高情緒智商人工智慧的資安與法律」。

科技部（前國科會）專題研究計畫：

Deep Intelligence Based Spoken Language Processing( IV )
智慧型照護互動系統-基於深度智能之口語處理技術( IV )
Wang, Jia-Ching（主持人）, Chu, Vivian Ching-Mei（共同主持人）, sponsored by Ministry of Science and Technology
#MOST110-2634-F008-004 , 1/1/2021-12/31/2021

（前置規畫案）臺灣AI右腦的「情感智能」建構計畫：臉部表情、語言文字、聲音表情、肢體動作整合的即時情緒辨識系統 ＆ 高情緒智商人工智慧的資安與法律
Chu, Vivian Ching-Mei, sponsored by Ministry of Science and Technology
#MOST 107-2420-H-002-007-MY3-PA10909, 9/1/2020-12/31/2020

Deep Intelligence Based Spoken Language Processing( III )
智慧型照護互動系統-基於深度智能之口語處理技術( III )
Wang, Jia-Ching（主持人）, Chu, Vivian Ching-Mei（共同主持人）, sponsored by Ministry of Science and Technology
#MOST 109-2634-F008-006, 1/1/2020-12/31/2020

近年研究重心：跨領域大數據資料與內容開發專案合作。

近年研究重心：人機情感交互（ human-robot affective interaction）


人類是世上情感最豐富的動物，情緒每天都左右我們生活的各個層面，從學習、做事到與他人互動，每一個情緒的變化都影響我們判斷與抉擇，甚至影響我們的健康，「情緒」對人類的影響遠大於我們的想像。

​在未來，機器人將會是手機之後下一個席捲人類生活的行動載具，而具有情感的機器人將是未來市場的主流，情緒辨識是第一步，第二步則是它能夠自己表達情緒，第三步則才是像真人一樣地互動，一旦它能與人交流情感，便能跟人產生有溫度的情感連結，成為我們永不罷工、永不埋怨的最好夥伴，讓使用者產生高度黏著性。首波可以運用人機情感交互在以下六大領域：照護型機器人、服務型機器人/語音助理、醫療型機器人、教育型機器人、陪伴型機器人/機器寵物。

情緒大數據之研發成果：

人臉情緒辨識資料庫

資料庫說明：
​
此資料庫包含來自「網路數據」與「自製資料庫」共數十萬張圖片，有著不同種族、文化、角度、情緒強度與多樣性，經過朱靜美教授與其團隊篩選後進行內部實測，情緒辨識準確度超越Google、Microsoft。

「網路數據」：七大基本情緒範例

Happiness
​（快樂）
Anger
​（憤怒）
Sadness
​（悲傷）
Fear
​（恐懼）
Disgust
​（厭惡）
Surprise
​（驚訝）
Shame
​（羞愧）

「網路數據」：複合情緒範例

Pleasantness
（愉悅）
Amazement
（驚喜）
Sneer
（冷笑）
Satisfaction
​（滿意）
Anger
​（慍怒）
Hostility
（敵視）
Grinding teeth
（咬牙切齒)
Nausea
（噁心）
Disdain
​（鄙視）
Shock
（驚恐）
Confusion
（困惑）
Disapprobation
（不以為然）
Provocation
（挑釁）
Impatience
（不耐煩）

（華人）情緒動作資料庫
本資料庫由朱靜美教授個人獨立建置，研究內容針對華人受文化禮教影響下情緒透過肢體表達的方式。運用Maya motion capture軟體捕捉演員的肢體動作，並依照情緒程度大小分為：大、中、小三種層次，包含各種不同的表情達意方式。

「自製資料庫」：八大基本情緒範例

Happiness（快樂）
Anger（憤怒）
Sadness（悲傷）
Fear（恐懼）
Disgust（噁心）
Contempt（厭惡）
Surprise（驚訝）
Shame（羞愧）

（中文）情緒語音資料庫 

資料庫說明：

針對中文的語音進行情緒辨識與情境下角色化語料設計，應用在物聯網語音助理和各類機器人（照護型、醫療型、陪伴型、教育型等等）之上，現基於七大情緒與特定使用情境（如醫院、居家、教室）發展情緒語音與對話語料。

同一語料下不同情感聲音展示-「哇～不錯喔，你現在跑得越來越快了，很讚！」

快樂
（Happiness）
憤怒
​（Anger）
悲傷
​（Sadness）
恐懼
​（Fear）
厭惡
​（Contempt）
噁心
​（Disgust）
驚訝
​（Surprise）
羞愧
​（Shame）

＊同一語料下不同情感聲音展示-退貨情境

 「我想要了解退貨的流程，我要退貨。
     因為這個顏色跟我在網路上看的不一樣，
     如果我不小心把標籤扯掉了，這個我還可以退嗎？」

快樂
​（Happiness）

憤怒
（Anger）

悲傷
（Sadness）

恐懼
（Fear）

鄙視
（Contempt）

噁心
（Disgust）

驚訝
（Surprise）

羞愧
（Shame）

抱怨
（Complaint）

無聊
（Boredom）

滿意
（Satisfaction）

生理痛苦
（Pain）

困惑
（Confusion）

高同理心的情感對話語料庫：

資料庫說明：
​
此資料庫針對孤獨（獨居）、寂寞、憂鬱這三大族群（包含老年人、一般成年人上班族）日常生活會遇到的困難與抱怨，研發高情商的語料用於人工智慧的深度學習之上，以訓練高情商的人工智慧進行富含同理心的深度人機對話，進而達到撫慰、轉移、鼓舞使用者情緒與行為的正面效益。目前研究重心針對以下駟大情境：
情境一：失戀/離婚而導致憂鬱（感情關係層面受挫）
情境二：工作不順、升遷失敗、失業、主管同事不合而導致憂鬱（職場層面受挫）
情境三：對未來迷惘（人生存在價值層面受挫）
情境四：孤獨寂寞（人際關係層面受挫）

部分案例展示：

情境：老人覺得生活沒有意義缺乏動力
User:
人生真沒意思，每天都這樣渾渾噩噩的過，就算好手好腳有什麼用？
AI：
今天終於要放晴了，可以出門日照殺菌一下啊，不然在家待到快發霉了。
User:
我不喜歡一個人做所有的事情，我好希望有人可以陪我。
AI：
那就踏出家門去認識人群吧！整天在家幻想是不會有結果的。
情境：老人抗拒運動
User:
我好累，我今天不想動，能不能不要做運動了？
AI：
對自己仁慈，就是對自己殘忍！親愛的奶奶，你真的好棒！我會一直支持你的，加油喔～
User:
阿唷身體好多病痛，我真歹命！
AI：
你哪有歹命啊，你過得都比楊貴妃還好了！
情境：上班族抱怨職場挫折
User:
我超沮喪的！為什麼這次不是我升主管！！！
AI：
俗話說人怕出名、豬怕肥，我們就先讓他肥一會吧！你平常壓力就夠大了，這次沒有升遷主管，或許是冥冥中希望你調整生活品質。
User:
雖然薪水很穩定，但這份工作真是一點成就感也沒有。
AI：
向著成就感奔跑吧！薪水能買到肉身的牢籠，但心的自由是無價的。聽從內心的聲音，它將指引你的方向。
情境：使用者抱怨情感受挫
User:
我好困惑，為什麼我總是遇到這樣的渣男/渣女？
AI：
感情沒有渣不渣，只有愛不愛。我只知道你如果繼續自怨自艾，連渣男/渣女都不會想靠近你喔。
User:
我的心好痛，我再也無法相信他說的任何話了
AI：
這樣吧，現在就是停損點，面對長期積弱的劣質股，我們要當斷則斷！