About
Works
Publications

Taste Colorizer 

2024/02/28

既存の映像メディアを「味わえる映像」にするシステム

人類は映像技術が発明されて以来,様々な映像を記録してきた.近年,味覚メディアの発達により,映像とともに味を記録し再生することが可能になったが,これまで記録されてきた映像に対して味を付与することはできない.本稿では,白黒映像をカラー化する技術のように,味が記録されていない映像に対しても,味を推定し付与するシステムを提案する.味はGPT4-Vision により映像の全シーンに対して推定される.プロンプトでは,飲食物の名前,材料とその量をまず推測し,その後に味を推定するように指示しており,段階的な推論によって精度の高い推定が可能である.また,推定された味データは映像の各ピクセルに対応する形でファイルに記録される.視聴者は,映像上の飲食物を指定して,対応する味を出力し味わうことができる.本システムによって,既存の映像メディアを「味わえる映像」にすることができる.

上リンクのGitHubでは,味覚も記録可能なFlavMP4の読み込み書き込みライブラリを公開している.

引用

本間大一優, 宮下芳明. TasteColorizer: 既存の映像メディアを「味わえる映像」にするシステム. インタラクション2024論文集, pp.1260-1265, 2024.

受賞歴

    インタラクション2024 プレミアム発表&インタラクティブ発表賞

メディア掲載

  • 「動画の飲食物シーン、味を再現ー明治大学宮下研究室ーAIで映像判定して推定 粘性や香りの再現も目指す」「五感を創る コンテンツ制作の今④」情報通信.電波新聞日刊.2024年12月11日
  • 【「五感」を創る コンテンツ制作の今】<3> アニメの食事シーン、味を再現 過去映像も 「味わえる映像」研究進む.デジタル版オリジナル情報通信.電波新聞.2024年11月18日
  • アニメの食事シーン、味を再現 過去映像も 「味わえる映像」研究進む.Yahoo!ニュース.2024年11月18日
  • 「10年後の未来はどうなっている? 新企画 ミステリー2034」「世界の何だコレ!?ミステリー2時間SP 新企画:ミステリー2034」フジテレビ.2024年5月15日(水)19:00-.
  • 「味覚の疑似体験 自在に ―電流・AI応用 身近な装置で―.Chronospoon・TasteColorizer」読売新聞 夕刊「みんなのカガク」「サイエンスルポ」.2024年3月21日
  • 「味わい、自在に作り出す…電流・AI応用し多様に」イグ・ノーベル賞を受賞の研究者、「味覚の科学」応用したシンデバイス開発.読売新聞オンライン.ニュース.科学・IT.サイエンスルポ.2024年3月28日

PDF プレビュー

PDFを開く

使用言語

Python
TypeScript

タグ

#味覚メディア#研究#味覚