論文の概要: FaithAct: Faithfulness Planning and Acting in MLLMs
- arxiv url: http://arxiv.org/abs/2511.08409v1
- Date: Wed, 12 Nov 2025 01:57:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-12 20:17:03.801994
- Title: FaithAct: Faithfulness Planning and Acting in MLLMs
- Title(参考訳): FaithAct: MLLMにおける忠実な計画と行動
- Authors: Junxian Li, Xinyue Xu, Sai Ma, Sichao Li,
- Abstract要約: 不信心は依然として、大きな言語モデルにとって永続的な課題である。
本稿では,各主張対象が視覚的に支持されているか否かを評価することによって,ステップレベルとチェーンレベルの忠実度を定量化するFithEvalを提案する。
我々は、すべての推論ステップにおいて明らかな根拠を強制する忠実第一の計画と行動の枠組みであるFaithActを提案する。
- 参考スコア(独自算出の注目度): 12.08093899815684
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Unfaithfulness remains a persistent challenge for large language models (LLMs), which often produce plausible yet ungrounded reasoning chains that diverge from perceptual evidence or final conclusions. We distinguish between behavioral faithfulness (alignment between reasoning and output) and perceptual faithfulness (alignment between reasoning and input), and introduce FaithEval for quantifying step-level and chain-level faithfulness by evaluating whether each claimed object is visually supported by the image. Building on these insights, we propose FaithAct, a faithfulness-first planning and acting framework that enforces evidential grounding at every reasoning step. Experiments across multiple reasoning benchmarks demonstrate that FaithAct improves perceptual faithfulness by up to 26% without degrading task accuracy compared to prompt-based and tool-augmented baselines. Our analysis shows that treating faithfulness as a guiding principle not only mitigates hallucination but also leads to more stable reasoning trajectories. This work thereby establishes a unified framework for both evaluating and enforcing faithfulness in multimodal reasoning.
- Abstract(参考訳): 不信感は大きな言語モデル(LLM)にとって永続的な課題であり続けており、しばしば知覚的証拠や最終的な結論から分岐するプラウシブルで根拠のない推論連鎖を生成する。
我々は、行動的忠実度(推論と出力の一致)と知覚的忠実度(推論と入力の一致)を区別し、各主張対象が画像によって視覚的に支持されているかどうかを評価することによって、ステップレベルとチェーンレベルの忠実度を定量化するFithEvalを導入する。
これらの知見に基づいて、我々は、すべての推論ステップにおいて明らかな根拠を強制する忠実度優先の計画と行動の枠組みであるFaithActを提案する。
複数の推論ベンチマークによる実験によると、FithActは、プロンプトベースやツール拡張ベースラインと比較して、タスクの精度を低下させることなく、知覚の忠実度を最大26%改善する。
分析の結果, 忠実性は幻覚を緩和するだけでなく, より安定した推論軌道へと導くことが示唆された。
この研究は、マルチモーダル推論における忠実さを評価し、強制するための統一的な枠組みを確立する。
関連論文リスト
- FaithCoT-Bench: Benchmarking Instance-Level Faithfulness of Chain-of-Thought Reasoning [62.452350134196934]
FaithCoT-Benchは、インスタンスレベルのCoT不信検出のための統一ベンチマークである。
我々の枠組みは差別的な決定問題として不誠実検出を定式化している。
FaithCoT-Bench は LLM のより解釈可能で信頼性の高い推論に向けた将来の研究の基盤となる。
論文 参考訳(メタデータ) (2025-10-05T05:16:54Z) - Compose and Fuse: Revisiting the Foundational Bottlenecks in Multimodal Reasoning [49.17801010041155]
MLLM(Multimodal large language model)は、テキスト、ビジョン、オーディオなどの多様な入力を統合することで推論を強化することを約束する。
しかし、追加のモダリティがパフォーマンスを損なうかどうかについての報告は相反する。
我々は、多モーダル推論を6つの相互作用パターンに分類し、事実がどのようにモダリティに分散され、論理的に組み合わせられるかを決定する。
論文 参考訳(メタデータ) (2025-09-28T08:46:11Z) - Faithful, Unfaithful or Ambiguous? Multi-Agent Debate with Initial Stance for Summary Evaluation [29.44609627447293]
本稿では,複数のエージェントに初期スタンスを割り当てた忠実度評価を要約する手法を提案する。
我々は、このような特殊な事例を特定するために、新しい次元、曖昧さ、詳細な分類を導入します。
実験により、我々のアプローチはあいまいさの識別に役立ち、曖昧でない要約でもより強力なパフォーマンスが得られることが示された。
論文 参考訳(メタデータ) (2025-02-12T15:46:50Z) - Towards Faithful Natural Language Explanations: A Study Using Activation Patching in Large Language Models [29.67884478799914]
大きな言語モデル(LLM)は、その答えを正当化するために説得力のある自然言語説明(NLE)を生成することができる。
近年,NLEの忠実度を測定するための様々な手法が提案されている。
これらのアプローチは、確立された忠実性の定義に従って包括的でも正しくも設計されていない、と我々は主張する。
論文 参考訳(メタデータ) (2024-10-18T03:45:42Z) - FaithLM: Towards Faithful Explanations for Large Language Models [60.45183469474916]
大規模言語モデルの忠実度を評価し改善するモデルに依存しないフレームワークであるFaithLMを紹介した。
FaithLMは一貫して忠実度を高め、強い自己説明ベースラインよりも人間の合理性に整合した説明を生成する。
論文 参考訳(メタデータ) (2024-02-07T09:09:14Z) - Towards CausalGPT: A Multi-Agent Approach for Faithful Knowledge Reasoning via Promoting Causal Consistency in LLMs [55.66353783572259]
Causal-Consistency Chain-of-Thoughtは、基礎モデルの忠実さと因果性を強化するために、マルチエージェントコラボレーションを活用する。
我々のフレームワークは、広範囲かつ包括的な評価を通じて、最先端の手法よりも大きな優位性を示す。
論文 参考訳(メタデータ) (2023-08-23T04:59:21Z) - Logical Satisfiability of Counterfactuals for Faithful Explanations in
NLI [60.142926537264714]
本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。
これは、説明に表される論理述語に基づいて、反実仮説を生成する。
そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
論文 参考訳(メタデータ) (2022-05-25T03:40:59Z) - Towards Faithfully Interpretable NLP Systems: How should we define and
evaluate faithfulness? [58.13152510843004]
ディープラーニングベースのNLPモデルの普及に伴い、解釈可能なシステムの必要性が高まっている。
解釈可能性とは何か、そして高品質な解釈を構成するものは何か?
我々は、解釈が満たすべき異なる望ましい基準をより明確に区別し、忠実度基準に焦点を合わせることを求めている。
論文 参考訳(メタデータ) (2020-04-07T20:15:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。