Fugu-MT 論文翻訳(概要): Tri-PvP: Exposing Modality Bias in Omni-Modal Large Language Models through Perceptual-Propositional Evidence Conflicts

論文の概要: Tri-PvP: Exposing Modality Bias in Omni-Modal Large Language Models through Perceptual-Propositional Evidence Conflicts

arxiv url: http://arxiv.org/abs/2609.06011v1
Date: Sat, 05 Sep 2026 10:33:58 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-10 19:44:08.18027
Title: Tri-PvP: Exposing Modality Bias in Omni-Modal Large Language Models through Perceptual-Propositional Evidence Conflicts
Title（参考訳）: Tri-PvP:知覚的証拠紛争によるOmni-Modal Large Language Modelのモダリティバイアスの抽出
Abstract要約: 既存のベンチマークでは、知覚信号と命題信号の2つの形態の証拠が記述されている。本稿では,視覚,音声,テキストを交叉するベンチマークであるTri-PvPを紹介する。多くのモデルとエビデンス型条件で頑健な視覚バイアスが見つかり、重要なことはエビデンス型バイアスの系統的な非対称性を明らかにすることである。
参考スコア（独自算出の注目度）: 49.97842835825998
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Omni-modal large language models (OLLMs) jointly process vision, audio, and text, yet their modality bias under cross-modal conflict remains underexplored. Existing benchmarks conflate two distinct forms of evidence within a single modality: perceptual signals (e.g., a photograph or recording of a dog) and propositional signals (e.g., the declarative claim "this is a dog"), such that any measured modality bias is inherently confounded with evidence-form bias, precluding clean attribution to either source. To address this, we introduce Tri-PvP, an 8,000-sample tri-modal conflict benchmark crossing vision, audio, and text, where vision and audio each take perceptual or propositional form. Evaluating five OLLMs, we find robust visual bias across most models and evidence-type conditions. Crucially, we reveal a systematic asymmetry in evidence-form bias: models exhibit a stronger bias toward perceptual signal in vision but propositional in audio. Further analyses via layer-wise linear probing and contrastive decoding reveal that modality bias is already linearly decodable from early representation layers and can only be partially mitigated, calling for mitigation strategies beyond surface-level interventions.
Abstract（参考訳）: Omni-Modal Large Language Model (OLLM) は、視覚、音声、テキストを共同で処理するが、それらのモダリティバイアスは、クロスモーダルな競合の下では未解明のままである。既存のベンチマークでは、知覚的信号(例えば、犬の写真や記録)と命題的信号(例えば、宣言的クレーム「これは犬だ」)の2つの異なる形態の証拠を記述している。この問題を解決するために,8,000サンプルの3モーダルコンフリクトベンチマークであるTri-PvPを紹介した。 5つのOLLMを評価すると、ほとんどのモデルとエビデンス型条件に頑健な視覚バイアスが生じる。モデルでは視覚において知覚的信号に対して強いバイアスを示すが、音声では命題を示す。さらに、レイヤワイド線形探索とコントラッシブ復号による解析により、モダリティバイアスは初期表現層から既に線形デオード可能であり、部分的に緩和できるだけであり、表面レベルの介入を超えて緩和戦略を要求することが判明した。

関連論文リスト

Clearer Sight, Fewer Lies: Oriented Pickup Preference Optimization for Multimodal Hallucination Mitigation [41.3823869123186]
マルチモーダル大言語モデル (MLLM) は, 視覚的証拠を十分に調整できないため, 幻覚の傾向が強い。視覚的証拠の強度よりも好みを学習するエビデンスを意識したアライメントアライメント目標である、オリエント・ピック・プライス・オプティマイズ(textttOPPO)を提案する。
論文参考訳（メタデータ） (2026-06-29T05:33:22Z)
Separate First, Fuse Later: Mitigating Cross-Modal Interference in Audio-Visual LLMs Reasoning with Modality-Specific Chain-of-Thought [49.53567098922619]
モーダル間干渉を低減するための音声・視覚的推論フレームワークとして, 分離ファースト, ファウズ・レイト (SFFL) を提案する。 SFFLは、モーダリティ固有の連鎖推論を強制し、別々の音声および視覚的推論トレースを生成し、答えのエビデンスを統合する。実験では精度と頑健さの両面で一貫した改善が示され、一般的なAVQAベンチマークでは5.16%、クロスモーダル幻覚ベンチマークでは11.17%の平均的な相対的な増加が得られた。
論文参考訳（メタデータ） (2026-05-11T02:50:27Z)
PRIMED: Adaptive Modality Suppression for Referring Audio-Visual Segmentation via Biased Competition [9.145417637255651]
Referring Audio-Visual (Ref-AVS)は、視覚的、聴覚的、テキスト的参照キューに基づいて、ターゲットオブジェクトをビデオフレームにローカライズし、セグメント化する。本稿では,認知神経科学における偏りのある競合理論に着想を得たPRIMEDを提案する。
論文参考訳（メタデータ） (2026-05-08T02:40:34Z)
Integrating Fine-Grained Audio-Visual Evidence for Robust Multimodal Emotion Reasoning [9.470507126417292]
本稿では,ロバストなマルチモーダル推論のためのフレームワークであるSABER-LLMを紹介する。まず,600Kビデオクリップからなる大規模感情推論データセットであるSABERを構築した。第2に,エビデンス抽出と推論を「知覚的推論」に分離する構造的エビデンス分解パラダイムを提案する。
論文参考訳（メタデータ） (2026-01-26T10:03:26Z)
DIVER: Dynamic Iterative Visual Evidence Reasoning for Multimodal Fake News Detection [6.225860651499494]
多モーダル偽ニュース検出は、敵対的誤報の軽減に不可欠である。進化的,エビデンス駆動推論パラダイムに基づくフレームワークであるDIVER(Dynamic Iterative Visual Evidence Reasoning)を提案する。 Weibo、Weibo21、GossipCopの実験では、DIVERは最先端のベースラインを平均2.72%上回っている。
論文参考訳（メタデータ） (2026-01-12T04:01:33Z)
Analyzing Reasoning Consistency in Large Multimodal Models under Cross-Modal Conflicts [74.47786985522762]
テキスト慣性(textual inertia)と呼ばれる重要な障害モードを特定し、矛盾する視覚的証拠を無視しながら、モデルは間違ったテキストに盲目的に固執する傾向がある。本稿では,多種多様なLMMの推論連鎖に摂動を構造的に注入するLogicGraph摂動プロトコルを提案する。その結果,10%未満の症例で自己修正が成功し,主に視覚的テキスト誤りの伝播に寄与することが判明した。
論文参考訳（メタデータ） (2026-01-07T16:39:34Z)
Towards Unification of Hallucination Detection and Fact Verification for Large Language Models [31.407333541614296]
大規模言語モデル(LLM)は、しばしば幻覚を示し、流動的に見えるコンテンツを生成するが、実際には正しくない。この課題に対処するために、モデル中心の幻覚検出(HD)とテキスト中心のFact Verification(FV)という、2つの異なる研究パラダイムが登場した。我々は,FVとHDの直接,インスタンスレベルの比較を可能にする統一評価フレームワークUniFactを紹介する。
論文参考訳（メタデータ） (2025-12-02T13:51:01Z)
RoboView-Bias: Benchmarking Visual Bias in Embodied Agents for Robotic Manipulation [67.38036090822982]
ロボット操作における視覚バイアスの定量化を目的とした,最初のベンチマークであるRoboView-Biasを提案する。我々は、個々の視覚的要因とその相互作用によって引き起こされるバイアスの堅牢な測定を可能にする2,127のタスクインスタンスを作成します。本研究は,視覚バイアスの系統的解析が,安全で信頼性の高い汎用的なエンボディエージェントの開発に必須であることを示す。
論文参考訳（メタデータ） (2025-09-26T13:53:25Z)
A Closer Look at Bias and Chain-of-Thought Faithfulness of Large (Vision) Language Models [58.32070787537946]
思考の連鎖(CoT)推論は、大きな言語モデルの性能を高める。大規模視覚言語モデルにおけるCoT忠実度に関する最初の総合的研究について述べる。
論文参考訳（メタデータ） (2025-05-29T18:55:05Z)
Debiasing Multimodal Large Language Models via Penalization of Language Priors [38.97645845493758]
MLLM(Multimodal Large Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。生成されたコンテンツは、入力画像よりも、基礎となるLarge Language Models (LLMs) の本質的な先行性によって駆動されることが多い。本稿では、これらのバイアスを補正し、視覚情報に対するモデルの焦点をリダイレクトするための、単純でトレーニングのない2つの戦略を提案する。
論文参考訳（メタデータ） (2024-03-08T12:35:07Z)
A Study of Dropout-Induced Modality Bias on Robustness to Missing Video Frames for Audio-Visual Speech Recognition [53.800937914403654]
AVSR(Advanced Audio-Visual Speech Recognition)システムは、欠落したビデオフレームに敏感であることが観察されている。ビデオモダリティにドロップアウト技術を適用することで、フレーム不足に対するロバスト性が向上する一方、完全なデータ入力を扱う場合、同時に性能損失が発生する。本稿では,MDA-KD(Multimodal Distribution Approximation with Knowledge Distillation)フレームワークを提案する。
論文参考訳（メタデータ） (2024-03-07T06:06:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。