Fugu-MT 論文翻訳(概要): Visual Response to Emotional State of User Interaction

論文の概要: Visual Response to Emotional State of User Interaction

arxiv url: http://arxiv.org/abs/2303.17608v1
Date: Mon, 27 Mar 2023 20:23:18 GMT
ステータス: 処理完了
システム内更新日: 2023-04-09 05:53:14.450422
Title: Visual Response to Emotional State of User Interaction
Title（参考訳）: ユーザインタラクションの感情状態に対する視覚的反応
Authors: Nina Marhamati, Sena Clara Creston
Abstract要約: Mood spRingは、シーズンの没入型3Dアニメーションを制御するAIプログラムで構成されている。もしAIプログラムがユーザーの言語とトーンを心地よいと認識すれば、アニメーションは季節の理想化された修正を通じて進行する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This work proposes an interactive art installation "Mood spRing" designed to reflect the mood of the environment through interpretation of language and tone. Mood spRing consists of an AI program that controls an immersive 3D animation of the seasons. If the AI program perceives the language and tone of the users as pleasant, the animation progresses through idealized renditions of seasons. Otherwise, it slips into unpleasant weather and natural disasters of the season. To interpret the language and tone of the user interaction, hybrid state-of-the-art emotion detection methods are applied to the user audio and text inputs. The emotional states detected separately from tone and language are fused by a novel approach that aims at minimizing the possible model disparity across diverse demographic groups.
Abstract（参考訳）: 本研究では,言語やトーンの解釈を通じて環境の雰囲気を反映したインタラクティブなアートインスタレーション"Mood spRing"を提案する。 Mood spRingは、シーズンの没入型3Dアニメーションを制御するAIプログラムで構成されている。 aiプログラムがユーザーの言語とトーンを心地よいと認識すると、アニメーションは季節の理想化によって進行する。そうでなければ、季節の悪天候や自然災害に陥る。ユーザインタラクションの言語やトーンを解釈するために、ユーザ音声やテキスト入力にハイブリッドな感情検出手法を適用する。トーンと言語から分離して検出された感情状態は、多様な集団間でのモデル格差を最小化することを目的とした新しいアプローチによって融合される。

関連論文リスト

DEEPTalk: Dynamic Emotion Embedding for Probabilistic Speech-Driven 3D Face Animation [14.07086606183356]
音声駆動の3D顔アニメーションは、幅広い応用によって多くの注目を集めている。現在の方法では、音声を通して伝達されるニュアンスな感情のアンダートーンを捉えることができず、単調な顔の動きを生成する。音声入力から直接多様で感情的に豊かな表情を生成する新しいアプローチであるDEEPTalkを紹介する。
論文参考訳（メタデータ） (2024-08-12T08:56:49Z)
CSTalk: Correlation Supervised Speech-driven 3D Emotional Facial Animation Generation [13.27632316528572]
音声駆動の3D顔アニメーション技術は長年開発されてきたが、実用的応用には期待できない。主な課題は、データ制限、唇のアライメント、表情の自然さである。本稿では,顔の動きの異なる領域間の相関をモデル化し,生成モデルの訓練を監督し,現実的な表現を生成するCSTalkという手法を提案する。
論文参考訳（メタデータ） (2024-04-29T11:19:15Z)
Humane Speech Synthesis through Zero-Shot Emotion and Disfluency Generation [0.6964027823688135]
現代の会話システムは、人間の相互作用の感情的な深さと非流動的な特徴を欠いている。この欠点に対処するため、我々は革新的な音声合成パイプラインを設計した。このフレームワーク内では、最先端の言語モデルが、ゼロショット設定で人間のような感情と分散の両方を導入する。
論文参考訳（メタデータ） (2024-03-31T00:38:02Z)
Emotion Rendering for Conversational Speech Synthesis with Heterogeneous Graph-Based Context Modeling [50.99252242917458]
会話音声合成(CSS)は,会話環境の中で適切な韻律と感情のインフレクションで発話を正確に表現することを目的としている。データ不足の問題に対処するため、私たちはカテゴリと強度の点で感情的なラベルを慎重に作成します。我々のモデルは感情の理解と表現においてベースラインモデルよりも優れています。
論文参考訳（メタデータ） (2023-12-19T08:47:50Z)
Emotional Speech-driven 3D Body Animation via Disentangled Latent Diffusion [45.081371413693425]
音声から3次元人間のジェスチャーを合成する既存の手法は有望な結果を示した。本稿では,潜在拡散に基づく感情音声駆動体アニメーションモデルAMUSEを提案する。
論文参考訳（メタデータ） (2023-12-07T17:39:25Z)
Emotional Theory of Mind: Bridging Fast Visual Processing with Slow Linguistic Reasoning [0.6749750044497732]
本研究では,感情認知に関連する「物語キャプション」を構築することで,感情的推論機能を組み込む手法を提案する。ゼロショット分類器 (CLIP) と微調整型視覚言語モデル (LLaVA) を用いて, 人間の生成した記述子上でのキャプションを構築する2つの方法を提案する。実験の結果,「最強」の物語記述子と言語モデルの「スロー」推論を組み合わせることは,心の感情理論を実現するための有望な方法であることがわかった。
論文参考訳（メタデータ） (2023-10-30T20:26:12Z)
Emotional Listener Portrait: Realistic Listener Motion Simulation in Conversation [50.35367785674921]
リスナーヘッドジェネレーションは、話者から提供される情報を参照して、リスナーの非言語行動を生成することに集中する。このような反応を生成する上で重要な課題は、会話中のきめ細かい表情の非決定論的性質である。本稿では,複数の個別な動きコーパスの合成として,各顔の動きを微粒化処理する情緒的リスナー・ポートレート(ELP)を提案する。 ELPモデルは,学習分布からのサンプリングにより,与えられた話者に対する自然な,多様な応答を自動的に生成するだけでなく,所定の姿勢で制御可能な応答を生成することができる。
論文参考訳（メタデータ） (2023-09-29T18:18:32Z)
Emotional Speech-Driven Animation with Content-Emotion Disentanglement [51.34635009347183]
本研究では,感情表現の明示的な制御を可能にしつつ,音声からリップシンクを維持する3次元音声アバターを生成するEMOTEを提案する。 EmOTEは、同じデータでトレーニングされた最先端の方法よりも、リップシンクで音声駆動の顔アニメーションを生成する。
論文参考訳（メタデータ） (2023-06-15T09:31:31Z)
Speech Synthesis with Mixed Emotions [77.05097999561298]
異なる感情の音声サンプル間の相対的な差を測定する新しい定式化を提案する。次に、私たちの定式化を、シーケンスからシーケンスまでの感情的なテキストから音声へのフレームワークに組み込む。実行時に、感情属性ベクトルを手動で定義し、所望の感情混合を生成するためにモデルを制御する。
論文参考訳（メタデータ） (2022-08-11T15:45:58Z)
Triangular Character Animation Sampling with Motion, Emotion, and Relation [78.80083186208712]
本稿では,キャラクターの身体の動き,表情,社会的関係を関連づけることで,アニメーションのサンプリングと合成を行う新しい枠組みを提案する。本手法は,3次元キャラクタアニメーションの自動生成,非プレーヤキャラクタ(NPC)間のインタラクションの合成,バーチャルリアリティ(VR)におけるマシン感情インテリジェンスの向上を支援するアニメーターを提供する。
論文参考訳（メタデータ） (2022-03-09T18:19:03Z)
SOLVER: Scene-Object Interrelated Visual Emotion Reasoning Network [83.27291945217424]
画像から感情を予測するために,SOLVER(Scene-Object Interrelated Visual Emotion Reasoning Network)を提案する。異なるオブジェクト間の感情関係を掘り下げるために、まずセマンティックな概念と視覚的特徴に基づいて感情グラフを構築します。また、シーンとオブジェクトを統合するScene-Object Fusion Moduleを設計し、シーンの特徴を利用して、提案したシーンベースのアテンションメカニズムでオブジェクトの特徴の融合プロセスを導出する。
論文参考訳（メタデータ） (2021-10-24T02:41:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。