論文の概要: Towards Faithful Sentimental Image Captioning via Evidence-Aware Multi-Agent Reasoning
- arxiv url: http://arxiv.org/abs/2607.25789v1
- Date: Tue, 28 Jul 2026 14:42:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-29 20:50:42.871336
- Title: Towards Faithful Sentimental Image Captioning via Evidence-Aware Multi-Agent Reasoning
- Title（参考訳）: Evidence-Aware Multi-Agent Reasoningによる忠実感性イメージキャプションの実現に向けて
- Abstract要約: 感性エビデンスを意識したマルチエージェントシステムSEA-Capを提案する。
SEA-Capは、グローバル属性から検証可能なオブジェクトレベルの証拠に移行するために、構造化された局所的な感情的手がかりを抽出するセンチメントエビデンスマイナーを組み込んでいる。
マイニングされた視覚的証拠に対して生成されたコンテンツを明示的に監査することにより、SEA-Capは感情の正確性と事実の整合性の両方を保証する。
- 参考スコア（独自算出の注目度）: 6.568013145947241
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sentimental Image Captioning (SIC) requires balancing emotional expression with visual fidelity. Existing methods often struggle with this trade-off, leading to hallucinations due to insufficient local grounding and the lack of sentimental verification mechanisms. To address these limitations, we propose SEA-Cap, a Sentiment-Evidence-Aware Multi-Agent System for faithful and evidence-grounded sentimental image captioning. SEA-Cap incorporates a Sentiment Evidence Miner that extracts structured, local affective cues to shift sentiment control from global attributes to verifiable object-level evidence. Leveraging this evidence, our framework orchestrates a collaborative workflow where a Generator, Hallucination Checker, and Arbitrator iteratively refine captions via a shared blackboard. By explicitly auditing generated content against mined visual evidence, SEA-Cap ensures both sentiment accuracy and factual consistency. Extensive experiments on two benchmark datasets demonstrate that SEA-Cap effectively mitigates hallucinations and achieves state-of-the-art performance.
- Abstract（参考訳）: SIC(Sentimental Image Captioning)は、感情表現と視覚的忠実さのバランスを必要とする。
既存の方法は、しばしばこのトレードオフに苦慮し、局所的な根拠の不足と感情的検証機構の欠如による幻覚につながった。
これらの制約に対処するため,感性エビデンスを意識したマルチエージェントシステムSEA-Capを提案する。
SEA-Capは、グローバル属性から検証可能なオブジェクトレベルの証拠に移行するために、構造化された局所的な感情的手がかりを抽出するセンチメントエビデンスマイナーを組み込んでいる。
この証拠を活用して、我々のフレームワークは、共有ブラックボードを介して、ジェネレータ、Halucination Checker、Arbitratorが反復的にキャプションを洗練するコラボレーティブワークフローを編成する。
マイニングされた視覚的証拠に対して生成されたコンテンツを明示的に監査することにより、SEA-Capは感情の正確性と事実の整合性の両方を保証する。
2つのベンチマークデータセットに対する大規模な実験は、SEA-Capが幻覚を効果的に緩和し、最先端のパフォーマンスを達成することを示した。
関連論文リスト
- Navigating Sparse Evidence: Agentic Visual RAG via Explicit Context Selection and Consolidation [50.92223196290564]
明示的な証拠選択と統合のための統一エージェントループを提案する。
探索中、SCoREはクエリ関連観測とソースポインタのみを保守されたテキスト台帳に保持する。
終了時には、参照された元のイメージを再ロードし、答えの視覚的証拠を統合し、論理的なシーケンスにアレンジする。
論文 参考訳（メタデータ） (2026-09-14T16:11:35Z) - Mixture of Cognitive Experts in Large Vision-Language Models [21.733069302081528]
大規模視覚言語モデル(LVLM)は、視覚とテキストの両方の入力に対して強い推論を必要とする。
最近の研究は、認知要素、特に多様な表現とメタ認知が、より良いパフォーマンスと相関していることを示唆している。
鍵となる課題は、これらのマルチエンコーダの専門家を信頼できる、解釈可能な、一貫性のある表現に統合することである。
論文 参考訳（メタデータ） (2026-07-12T15:09:03Z) - Interpreting and Enhancing Emotional Circuits in Large Vision-Language Models via Cross-Modal Information Flow [12.059256609530294]
LVLMの内部メカニズムは、抽象的な視覚刺激をコヒーレントな感情的物語へと変換する。
説明的感情的推論に適したステアリングベクターに基づく因果帰属フレームワークを提案する。
我々は、感情情報ルーティングを規制し、注意の流れを強化し、セマンティックアクティベーションを増幅し、表現を統合する。
論文 参考訳（メタデータ） (2026-05-21T04:20:12Z) - Mitigating Entangled Steering in Large Vision-Language Models for Hallucination Reduction [49.96701537295129]
LVLM(Large Vision-Language Models)は、モーダルなタスク間で大きな成功を収めてきたが、幻覚によって妨げられている。
既存の方法は幻覚を緩和するが、しばしば生成行動を変化させ、結果として出力が短くなり、トークンの分布がシフトする。
幻覚緩和のための制御および選択的な潜伏介入を行う効果的なプラグアンドプレイフレームワークであるMESAを提案する。
論文 参考訳（メタデータ） (2026-04-09T07:31:27Z) - SAGE: Sink-Aware Grounded Decoding for Multimodal Hallucination Mitigation [33.381194425912234]
視覚言語モデル(VLM)はしばしば幻覚に悩まされ、視覚入力と矛盾するコンテンツを生成する。
SAGE, Sink-Aware Grounded Decoding frameworkは, 生成中の自己注意を動的に調節することで幻覚を緩和する。
本手法は,MSCOCOでは10.65%,AMBERでは7.19%の相対的改善を実現している。
論文 参考訳（メタデータ） (2026-03-29T22:52:03Z) - Imagination Helps Visual Reasoning, But Not Yet in Latent Space [65.80396132375571]
因果関係分析を用いた潜伏推論の有効性について検討した。
潜在トークンが限られた視覚情報を符号化し、高い類似性を示すことを示す。
CapImagineという簡単な代替案を提案し、テキストを明示的に想像するようにモデルに教える。
論文 参考訳（メタデータ） (2026-02-26T08:56:23Z) - D-SECURE: Dual-Source Evidence Combination for Unified Reasoning in Misinformation Detection [9.049034101566642]
マルチモーダルな誤報は、現実的な即興編集と、流動的だが誤解を招くテキストを混在させ、検証が難しい説得的な投稿を生み出している。
D-SECUREは、内部操作検出と外部エビデンスに基づくニューススタイル投稿の推論を組み合わせたフレームワークである。
論文 参考訳（メタデータ） (2026-02-16T03:51:49Z) - ADEPT: RL-Aligned Agentic Decoding of Emotion via Evidence Probing Tools -- From Consensus Learning to Ambiguity-Driven Emotion Reasoning [67.22219034602514]
ADEPT(Agentic Decoding of Emotion via Evidence Probing Tools)は,感情認識をマルチターン探索プロセスとして再構成するフレームワークである。
ADEPTはSLLMを進化する候補感情を維持するエージェントに変換し、専用のセマンティックおよび音響探査ツールを適応的に呼び出す。
ADEPTは、ほとんどの設定において主感情の精度を向上し、微妙な感情の特徴を著しく改善することを示した。
論文 参考訳（メタデータ） (2026-02-13T08:33:37Z) - Look As You Think: Unifying Reasoning and Visual Evidence Attribution for Verifiable Document RAG via Reinforcement Learning [55.232400251303794]
Look As You Think (LAT)は、モデルをトレーニングし、一貫した帰属性を持った検証可能な推論パスを生成するための強化学習フレームワークである。
LATはシングルイメージとマルチイメージの両方でバニラモデルを一貫して改善し、平均ゲインは8.23%、IoU@0.5では47.0%となる。
論文 参考訳（メタデータ） (2025-11-15T02:50:23Z) - SHALE: A Scalable Benchmark for Fine-grained Hallucination Evaluation in LVLMs [52.03164192840023]
LVLM(Large Vision-Language Models)は、いまだ幻覚に悩まされている。
本稿では,スケーラブルで制御可能で多様な評価データを生成する自動データ構築パイプラインを提案する。
我々は,忠実度と事実性幻覚の両方を評価するためのベンチマークであるSHALEを構築した。
論文 参考訳（メタデータ） (2025-08-13T07:58:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。