論文の概要: LLM-Based Selection of Incongruent Verbal and Nonverbal Behavior for Virtual Humans
- arxiv url: http://arxiv.org/abs/2608.22731v1
- Date: Mon, 24 Aug 2026 02:38:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.873546
- Title: LLM-Based Selection of Incongruent Verbal and Nonverbal Behavior for Virtual Humans
- Title（参考訳）: 仮想人間に対するLLMによる言語・非言語行動の選択
- Abstract要約: 仮想エージェントの非言語行動生成システムは、入力として発話を受け取り、非言語行動を生成する。
本稿では,言語行動と非言語行動のミスマッチが生じるカテゴリーの分類法を提案する。
仮想人間に具体化した場合の文脈駆動型非言語行動がオブザーバーに意図した効果をもたらすかどうかを評価する。
- 参考スコア（独自算出の注目度）: 1.1953667687230771
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Nonverbal behavior generation systems for virtual agents often take an utterance as input and generate nonverbal behaviors that emphasize or illustrate the content of the verbal channel. However, human nonverbal behavior is shaped by more than the content of the speech. It is also influenced by speaker roles, interpersonal relationships, social context, and the cognitive and emotional states of the interactants. As a result, the nonverbal channel may reinforce, weaken, qualify, or even contradict the verbal channel. It may also reveal internal states that are hidden or only indirectly implied in speech, including emotional "leakage" that may be incidental to the immediate interaction. Modeling this richer relationship between verbal and nonverbal behavior is important for designing virtual agents that exhibit realistic, human-like behavior. It is especially critical in training contexts that require nuanced social interpretation, such as counseling simulations involving virtual patients. Drawing on Ekman's framework of verbal nonverbal relationships, we propose a taxonomy of categories in which mismatches between verbal and nonverbal behavior can occur. We then examine alternative approaches for realizing these behaviors using large language models, focusing on whether LLMs can select contextually appropriate mismatched verbal and nonverbal behaviors from a given dialogue and social interaction context. Finally, we evaluate the resulting behaviors in a human-subject study, assessing whether context-driven nonverbal behavior, when embodied in a virtual human, produces the intended effects on observers.
- Abstract（参考訳）: 仮想エージェントの非言語行動生成システムは、しばしば音声を入力として受け取り、言語チャンネルの内容を強調したり説明したりする非言語行動を生成する。
しかしながら、人間の非言語行動は、音声の内容以上の形で形成される。
また、話者の役割、対人関係、社会的文脈、および相互作用者の認知的および感情的状態にも影響される。
その結果、非言語チャンネルは強化、弱体化、予選化、あるいは矛盾する可能性がある。
また、即時相互作用に付随する感情的な「発声」を含む、会話中に隠されたり、間接的にのみ示唆された内部状態を明らかにすることもできる。
この言語的行動と非言語的行動のより豊かな関係をモデル化することは、現実的な人間的な行動を示す仮想エージェントを設計する上で重要である。
特に、バーチャル患者を巻き込んだカウンセリングシミュレーションのような、曖昧な社会的解釈を必要とする訓練コンテキストにおいて重要である。
Ekmanの非言語関係の枠組みに基づいて,言語行動と非言語行動のミスマッチが生じるカテゴリーの分類法を提案する。
次に、大規模言語モデルを用いてこれらの行動を実現するための代替手法について検討し、所与の対話や社会的相互作用の文脈から、LLMが文脈的に適切な言語的・非言語的行動を選択することができるかどうかに焦点を当てた。
最後に、仮想人間に具体化した場合の文脈駆動型非言語行動が観察者に意図した効果をもたらすかどうかを評価する。
関連論文リスト
- Sympatheia: Emotionally Adaptive Voice Assistant with Continuous Affect Conditioning [17.756766677106388]
共感型音声対話システムは、ユーザの感情状態を適切に推測する必要がある。
本稿では,ユーザの音声から推測される影響を条件とした音声対話フレームワークであるSymphatheiaを紹介する。
論文 参考訳（メタデータ） (2026-05-30T18:53:35Z) - On the Emotion Understanding of Synthesized Speech [63.13411068766772]
感情は音声対話における中核的なパラ言語的特徴である。
現在の音声感情認識(SER)モデルは、合成音声に一般化できない。
生成音声言語モデル(SLM)は、パラ言語的手がかりを無視しながら、テキスト意味論から感情を推測する傾向がある。
論文 参考訳（メタデータ） (2026-03-17T13:11:14Z) - Personality Expression Across Contexts: Linguistic and Behavioral Variation in LLM Agents [6.123697959900301]
本研究は, 同一の性格が, 4つの会話環境において, 言語的, 行動的, 感情的な結果にどのように寄与するかを検討する。
発見は、同じ特徴が社会的・情緒的な要求によって異なることを示唆している。
論文 参考訳（メタデータ） (2026-02-01T07:14:00Z) - A Unified Spoken Language Model with Injected Emotional-Attribution Thinking for Human-like Interaction [50.05919688888947]
本稿では,感情的インテリジェンスのための統一言語モデルを提案する。
IEATは、ユーザーの感情状態とその根本原因をモデルの内部推論プロセスに組み込んでおり、明示的な監督として扱われるのではなく、感情を意識した推論を内部化することができる。
HumDial(Human-like Spoken Dialogue Systems Challenge)Emotional Intelligenceベンチマークの実験は、提案手法が感情軌道モデリング、感情的推論、共感的応答生成にまたがるトップランクのパフォーマンスを達成することを示した。
論文 参考訳（メタデータ） (2026-01-08T14:07:30Z) - Nonverbal Interaction Detection [83.40522919429337]
この研究は、社会的文脈における人間の非言語的相互作用を理解するという新たな課題に対処する。
我々はNVIと呼ばれる新しい大規模データセットを寄贈し、人間とそれに対応する社会グループのための境界ボックスを含むように細心の注意を払ってアノテートする。
第2に,非言語的インタラクション検出のための新たなタスクNVI-DETを構築し,画像から三つ子を識別する。
第3に,非言語相互作用検出ハイパーグラフ (NVI-DEHR) を提案する。
論文 参考訳（メタデータ） (2024-07-11T02:14:06Z) - Dyadic Interaction Modeling for Social Behavior Generation [6.626277726145613]
ダイアディックインタラクションにおける3次元顔の動きを効果的に生成するための枠組みを提案する。
私たちのフレームワークの中心は、事前トレーニングアプローチであるDydic Interaction Modeling(DIM)です。
実験は、リスナー動作の生成において、我々のフレームワークが優れていることを示す。
論文 参考訳（メタデータ） (2024-03-14T03:21:33Z) - Attention-based Interactive Disentangling Network for Instance-level
Emotional Voice Conversion [81.1492897350032]
感情音声変換(Emotional Voice Conversion)は、非感情成分を保存しながら、与えられた感情に応じて音声を操作することを目的とする。
本稿では,音声変換にインスタンスワイドな感情知識を活用する,意図に基づく対話型ディスタングネットワーク(AINN)を提案する。
論文 参考訳（メタデータ） (2023-12-29T08:06:45Z) - Emotional Listener Portrait: Realistic Listener Motion Simulation in
Conversation [50.35367785674921]
リスナーヘッドジェネレーションは、話者から提供される情報を参照して、リスナーの非言語行動を生成することに集中する。
このような反応を生成する上で重要な課題は、会話中のきめ細かい表情の非決定論的性質である。
本稿では,複数の個別な動きコーパスの合成として,各顔の動きを微粒化処理する情緒的リスナー・ポートレート(ELP)を提案する。
ELPモデルは,学習分布からのサンプリングにより,与えられた話者に対する自然な,多様な応答を自動的に生成するだけでなく,所定の姿勢で制御可能な応答を生成することができる。
論文 参考訳（メタデータ） (2023-09-29T18:18:32Z) - Passing a Non-verbal Turing Test: Evaluating Gesture Animations
Generated from Speech [6.445605125467574]
本稿では,音声から直接ジェスチャーを生成する新しいデータ駆動手法を提案する。
本手法は,音声とジェスチャーの因果関係をモデル化するためのGAN(Generative Adversarial Neural Networks)の適用に基づく。
本研究では,仮想キャラクタ上で生成されたジェスチャをアニメーション化し,ユーザが生成したジェスチャと記録したジェスチャを区別できないことを示す。
論文 参考訳（メタデータ） (2021-07-01T19:38:43Z) - Disambiguating Affective Stimulus Associations for Robot Perception and
Dialogue [67.89143112645556]
知覚された聴覚刺激と感情表現の関連性を学ぶことができるNICOロボットを提供します。
NICOは、感情駆動対話システムの助けを借りて、個人と特定の刺激の両方でこれを行うことができる。
ロボットは、実際のHRIシナリオにおいて、被験者の聴覚刺激の楽しさを判断するために、この情報を利用することができる。
論文 参考訳（メタデータ） (2021-03-05T20:55:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。