論文の概要: A New Type of Foundation Model Based on Recordings of People's Emotions and Physiology
- arxiv url: http://arxiv.org/abs/2408.00030v1
- Date: Wed, 31 Jul 2024 11:14:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-05 00:36:46.221934
- Title: A New Type of Foundation Model Based on Recordings of People's Emotions and Physiology
- Title（参考訳）: 人々の感情と生理の記録に基づく新しい基礎モデル
- Authors: David Gamez, Dionis Barcari, Aliya Grig,
- Abstract要約: ファースト・パーソン・ファンデーション・モデル(英語版)は、環境刺激を人の感情的および生理的状態にマッピングする。
我々は、着用者が見ているもの、聴いているもの、感情的、生理的状態をキャプチャする記録リグを開発した。
この新たなデータソースは、次世代のファンデーションモデルを構築するための新しいデータ不足に対処するのに役立ちます。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Foundation models have had a big impact in recent years and billions of dollars are being invested in them in the current AI boom. The more popular ones, such as Chat-GPT, are trained on large amounts of data from the Internet, and then reinforcement learning, RAG, prompt engineering and cognitive modelling are used to fine-tune and augment their behavior. This technology has been used to create models of individual people, such as Caryn Marjorie. However, these chatbots are not based on people's actual emotional and physiological responses to their environment, so they are, at best, surface-level approximations to the characters they are imitating. This paper describes how a new type of foundation model - a first-person foundation model - could be created from recordings of what a person sees and hears as well as their emotional and physiological reactions to these stimuli. A first-person foundation model would map environmental stimuli to a person's emotional and physiological states, and map a person's emotional and physiological states to their behavior. First-person foundation models have many exciting applications, including a new type of recommendation engine, personal assistants, generative adversarial networks, dating and recruitment. To obtain training data for a first-person foundation model, we have developed a recording rig that captures what the wearer is seeing and hearing as well as their emotional and physiological states. This novel source of data could help to address the shortage of new data for building the next generation of foundation models.
- Abstract（参考訳）: 近年、ファンデーションモデルは大きな影響を与えており、現在のAIブームに何十億ドルも投資されている。
より一般的なChat-GPTは、インターネットから大量のデータをトレーニングし、強化学習(RAG)、迅速なエンジニアリングと認知モデリングを使用して、その振る舞いを微調整し、強化する。
この技術は、カーリン・マージョリー(Caryn Marjorie)のような個人のモデルを作成するために使われてきた。
しかし、これらのチャットボットは、人々の実際の環境に対する感情的・生理的反応に基づいていないため、せいぜい、彼らが模倣しているキャラクターに対する表面的な近似である。
本論では,その刺激に対する感情的・生理的反応だけでなく,ある人が何を見たかの録音から,新しいタイプの基礎モデル(一人称基礎モデル)を作成する方法について述べる。
ファースト・パーソン・ファンデーション・モデルは、環境刺激を人の感情的・生理的状態にマッピングし、人の感情的・生理的状態と行動にマッピングする。
ファウンデーションモデルは、新しいタイプのレコメンデーションエンジン、パーソナルアシスタント、生成的敵ネットワーク、デートと採用など、多くのエキサイティングな応用がある。
初対人基礎モデルのトレーニングデータを得るため,装着者が見ているもの,聴いているもの,感情的,生理的状態をキャプチャする記録リグを開発した。
この新たなデータソースは、次世代のファンデーションモデルを構築するための新しいデータ不足に対処するのに役立ちます。
関連論文リスト
- MimicTalk: Mimicking a personalized and expressive 3D talking face in minutes [74.82911268630463]
トーキングフェース生成(TFG)は、ターゲットアイデンティティーの顔をアニメーション化し、リアルなトーキングビデオを作成することを目的としている。
MimicTalkは、個人別TFGの効率性と堅牢性を改善するために、NeRFベースの個人非依存のジェネリックモデルから豊富な知識を活用する。
私たちのMimicTalkは、ビデオの品質、効率、表現性に関して、これまでのベースラインを超えていることが実験によって示されています。
論文 参考訳（メタデータ） (2024-10-09T10:12:37Z) - Human-like Affective Cognition in Foundation Models [28.631313772625578]
基礎モデルにおける感情認知テストのための評価フレームワークを提案する。
評価,感情,表現,結果の関係を探求する1,280の多様なシナリオを生成する。
以上の結果から,基礎モデルは人間の直感と一致しがちであることが明らかとなった。
論文 参考訳（メタデータ） (2024-09-18T06:42:13Z) - Deep Generative Models in Robotics: A Survey on Learning from Multimodal Demonstrations [52.11801730860999]
近年、ロボット学習コミュニティは、大規模なデータセットの複雑さを捉えるために、深層生成モデルを使うことへの関心が高まっている。
本稿では,エネルギーベースモデル,拡散モデル,アクションバリューマップ,生成的敵ネットワークなど,コミュニティが探求してきたさまざまなモデルについて述べる。
また,情報生成から軌道生成,コスト学習に至るまで,深層生成モデルを用いた様々なアプリケーションについて述べる。
論文 参考訳（メタデータ） (2024-08-08T11:34:31Z) - Recording First-person Experiences to Build a New Type of Foundation Model [0.0]
我々は,装着者の視線や聴力,肌のコンダクタンスを計測する記録リグを開発した。
AIアルゴリズムは、このデータを対象の環境と内部状態のリッチな図として処理するために使用される。
この種のモデルには、推薦、個人支援、GANシステム、デート、採用など、多くの潜在的な応用がある。
論文 参考訳（メタデータ） (2024-07-31T11:51:26Z) - On the Stability of Iterative Retraining of Generative Models on their own Data [56.153542044045224]
混合データセットに対する生成モデルの訓練が与える影響について検討する。
まず、初期生成モデルがデータ分布を十分に近似する条件下で反復学習の安定性を実証する。
我々は、正規化フローと最先端拡散モデルを繰り返し訓練することにより、合成画像と自然画像の両方に関する我々の理論を実証的に検証する。
論文 参考訳（メタデータ） (2023-09-30T16:41:04Z) - Diffused Heads: Diffusion Models Beat GANs on Talking-Face Generation [54.68893964373141]
顔の生成は、これまで、追加の参照ビデオからのガイダンスなしで、頭の動きや自然な表情を作り出すのに苦労してきた。
拡散に基づく生成モデルの最近の発展は、より現実的で安定したデータ合成を可能にする。
本稿では,現実的な人間の頭部の映像を生成するために,1つのアイデンティティ画像と音声シーケンスのみを必要とする自己回帰拡散モデルを提案する。
論文 参考訳（メタデータ） (2023-01-06T14:16:54Z) - PAL: Persona-Augmented Emotional Support Conversation Generation [54.069321178816686]
メンタルヘルス支援のための人的資源が不足しているため、サポートのために会話エージェントを採用する必要性が高まっている。
近年の研究では、感情支援のための対話モデルの有効性が実証されている。
本研究では,探索者のペルソナを動的に推論・モデル化する枠組みを提案する。
論文 参考訳（メタデータ） (2022-12-19T04:12:54Z) - SOMOS: The Samsung Open MOS Dataset for the Evaluation of Neural
Text-to-Speech Synthesis [50.236929707024245]
SOMOSデータセットは、単にニューラルテキスト音声(TTS)サンプルからなる最初の大規模平均世論スコア(MOS)データセットである。
パブリックドメイン音声データセットであるLJ音声の合成発話20Kから成っている。
論文 参考訳（メタデータ） (2022-04-06T18:45:20Z) - Emotion Recognition of the Singing Voice: Toward a Real-Time Analysis
Tool for Singers [0.0]
現在の計算感情研究は、感情が数学的に知覚される方法を分析するために音響特性を適用することに焦点を当てている。
本稿は,関連する研究の知見を反映し,拡張し,この目標に向けての一歩を踏み出す。
論文 参考訳（メタデータ） (2021-05-01T05:47:15Z) - The BIRAFFE2 Experiment. Study in Bio-Reactions and Faces for
Emotion-based Personalization for AI Systems [0.0]
異なる人物の感情的反応を捉えるための統一パラダイムを提案する。
機械学習手法のために、簡単に使用・開発できるフレームワークを提供する。
論文 参考訳（メタデータ） (2020-07-29T18:35:34Z) - End-to-end Deep Prototype and Exemplar Models for Predicting Human
Behavior [10.361297404586033]
我々は古典的なプロトタイプと模範モデルを拡張し、生入力から刺激とカテゴリー表現を併用して学習する。
この新しいモデルのクラスは、ディープニューラルネットワーク(DNN)とトレーニングされたエンドツーエンドによってパラメータ化できる。
典型的なDNNと比較して、認知にインスパイアされた両者が、人間の行動により良い本質的な適応と、地道的分類の改善をもたらすことがわかった。
論文 参考訳（メタデータ） (2020-07-17T02:32:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。