論文の概要: FACES: Fine-grained Gated Semantic Alignment for Multimodal Emotional Support Conversation
- arxiv url: http://arxiv.org/abs/2610.20051v1
- Date: Wed, 14 Oct 2026 11:54:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:16.130761
- Title: FACES: Fine-grained Gated Semantic Alignment for Multimodal Emotional Support Conversation
- Title（参考訳）: FACES:マルチモーダル感情支援のためのきめ細かいセマンティックアライメント
- Abstract要約: 本稿では,MESC のセマンティックアライメントフレームワークである FACES を提案する。
制御された応答長プロトコルの下で、FACESは平均MLLMベースの評価スコアを3.61から4.04に改善し、SOTAに対する80.22%の対の勝利率を達成する。
3つの外部データセットの結果は、転送可能性をさらにサポートする。
- 参考スコア（独自算出の注目度）: 18.81332500464911
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, with advances in multimodal interaction technologies and the growing demand for intelligent emotional support, Multimodal Emotional Support Conversation (MESC) has emerged as an important task. However, existing systems still suffer from shallow responses and inappropriate support strategies due to weak semantic feedback, cross-dimension reward compensation, and coarse reasoning supervision. To address these challenges, we propose FACES, a fine-grained gated semantic alignment framework for MESC. Specifically, FACES integrates multi-source rewards to construct multidimensional semantic and functional alignment signals, employs a non-compensatory gated fusion mechanism to reduce cross-dimension reward offset, and leverages structured Chain-of-Thought (CoT) anchors to perform token-level credit assignment. Under a controlled response-length protocol, FACES improves the average MLLM-based evaluation score from 3.61 to 4.04 and achieves an 80.22% pairwise win rate over SOTA. Human evaluation under the same protocol yields a 75.3% preference rate. Results on three external datasets further support transferability. The code and dataset are available at https://github.com/OCT-ARR/arr.
- Abstract（参考訳）: 近年,マルチモーダルインタラクション技術の進歩と知的感情支援の需要の高まりに伴い,マルチモーダル感情支援対話(MESC)が重要な課題となっている。
しかし、既存のシステムは、弱いセマンティックフィードバック、クロスディメンション報酬の補償、粗い推論の監督などにより、依然として浅い応答と不適切なサポート戦略に悩まされている。
これらの課題に対処するため、我々は、MESCのためのきめ細かなゲートセマンティックアライメントフレームワークであるFACESを提案する。
具体的には、多次元のセマンティックなアライメント信号と機能的なアライメント信号を構築するためにマルチソース報酬を統合し、クロスディメンション報酬オフセットを減らすために非補償ゲート融合機構を使用し、トークンレベルのクレジット割り当てを実行するために構造化されたChain-of-Thought(CoT)アンカーを活用する。
制御された応答長プロトコルの下で、FACESは平均MLLMベースの評価スコアを3.61から4.04に改善し、SOTAに対する80.22%の対の勝利率を達成する。
同じプロトコルによる人間の評価は75.3%である。
3つの外部データセットの結果は、転送可能性をさらにサポートする。
コードとデータセットはhttps://github.com/OCT-ARR/arr.orgで公開されている。
関連論文リスト
- ReDiS: Reasoning-Diagnosis Self-Evolution for Multimodal Reasoning in Remote Sensing [53.65780048695954]
我々は、推論探索と候補評価を分離するフレームワークである textbfReasoning-Diagnosis-Self-Evolution (ReDiS) を導入する。
多様な視覚的証拠を探索するtextbfReasoner と、完全な候補セットを共同で評価する textbfDiagnoser である。
LHRS-Bench, MME-RS, CHOICEの実験では、Qwen3.5バックボーンを0.8B, 2B, 4Bスケールで一貫した改善が見られた。
論文 参考訳（メタデータ） (2026-10-13T13:38:02Z) - Complementarity-Supervised Spectral-Band Routing for Multimodal Emotion Recognition [60.20529806857076]
マルチモーダル感情認識は、テキスト、ビデオ、音声などの手がかりを融合させ、個人の感情状態を理解する。
従来の手法では、機械的に独立な単調なパフォーマンスに依存することと、感情タスクで要求されるきめ細かい表現と相反する粗粒の融合という2つの主な制限に直面していた。
我々は,マルチスケールバンド分解とエキスパートコラボレーションを通じて,微細な相補的特徴をモデル化するために,Atsukoという名前のComplementarity-Supervised Multi-Band Expert Networkを提案する。
論文 参考訳（メタデータ） (2026-03-07T03:58:48Z) - Affective Flow Language Model for Emotional Support Conversation [35.75344257149862]
本稿では感情支援会話(AFlow)のための感情フロー言語モデルを提案する。
AFlowは、マルチターン軌道に沿った継続的な情動フローをモデル化することで、対話プレフィックスのきめ細かい監督を導入するフレームワークである。
実験結果から, 多様な情緒的文脈において, 競争ベースラインよりも一貫した, 顕著な改善が見られた。
論文 参考訳（メタデータ） (2026-02-09T15:58:50Z) - Refer-Agent: A Collaborative Multi-Agent System with Reasoning and Reflection for Referring Video Object Segmentation [50.22481337087162]
Referring Video Object (RVOS) は、テキストクエリに基づくビデオ内のオブジェクトのセグメンテーションを目的としている。
Refer-Agent (Refer-Agent) は、共用多エージェントシステムである。
論文 参考訳（メタデータ） (2026-02-03T14:48:12Z) - The End of Reward Engineering: How LLMs Are Redefining Multi-Agent Coordination [0.9099663022952496]
大規模言語モデルの最近の進歩は、手作りの数値報酬から言語に基づく客観的仕様へのシフトをめざしていると論じる。
我々は,この遷移を,意味的報酬仕様,動的報酬適応,人間の意図との整合性の改善という3つの側面に沿って概念化する。
論文 参考訳（メタデータ） (2026-01-13T05:47:18Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - InfoRM: Mitigating Reward Hacking in RLHF via Information-Theoretic Reward Modeling [66.3072381478251]
Reward Hacking(報酬の過度な最適化)は依然として重要な課題だ。
本稿では,報奨モデル,すなわちInfoRMのためのフレームワークを提案する。
InfoRMの過度な最適化検出機構は、有効であるだけでなく、幅広いデータセットにわたって堅牢であることを示す。
論文 参考訳（メタデータ） (2024-02-14T17:49:07Z) - A Semantic-Aware Multiple Access Scheme for Distributed, Dynamic 6G-Based Applications [14.51946231794179]
本稿では,無線スペクトルへの多重アクセス問題に対する新しい定式化を提案する。
その目的は、$alpha$-fairnessメトリックを使用して、使い勝手のトレードオフを最適化することにある。
Semantic-Aware Multi-Agent Double and Dueling Deep Q-Learning (SAMA-D3QL) 手法を提案する。
論文 参考訳（メタデータ） (2024-01-12T00:32:38Z) - Multi-Content Interaction Network for Few-Shot Segmentation [37.80624074068096]
Few-Shot COCOは、サポート画像の制限とクラス内における大きな相違に挑戦している。
この問題を解決するために,MCINet(Multi-Content Interaction Network)を提案する。
MCINetは、他のクエリブランチから低レベルの構造情報を高レベルのセマンティック機能に組み込むことで、FSSを改善している。
論文 参考訳（メタデータ） (2023-03-11T04:21:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。