論文の概要: Interpreting Social Bias in LVLMs via Information Flow Analysis and Multi-Round Dialogue Evaluation

• arxiv url: http://arxiv.org/abs/2505.21106v1
• Date: Tue, 27 May 2025 12:28:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.640014
• Title: Interpreting Social Bias in LVLMs via Information Flow Analysis and Multi-Round Dialogue Evaluation
• Title（参考訳）: 情報フロー解析と多言語対話によるLVLMの社会的バイアスの解釈
• Authors: Zhengyang Ji, Yifan Jia, Shang Gao, Yutao Yue,
• Abstract要約: 大規模視覚言語モデル (LVLM) はマルチモーダルタスクにおいて顕著な進歩を遂げているが、社会的偏見も顕著である。 本稿では,情報フロー解析と多ラウンド対話評価を組み合わせた説明フレームワークを提案する。 実験により、LVLMは異なる人口集団の画像を処理する際に、情報利用の体系的な差異を示すことが明らかとなった。
• 参考スコア（独自算出の注目度）: 1.7997395646080083
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Vision Language Models (LVLMs) have achieved remarkable progress in multimodal tasks, yet they also exhibit notable social biases. These biases often manifest as unintended associations between neutral concepts and sensitive human attributes, leading to disparate model behaviors across demographic groups. While existing studies primarily focus on detecting and quantifying such biases, they offer limited insight into the underlying mechanisms within the models. To address this gap, we propose an explanatory framework that combines information flow analysis with multi-round dialogue evaluation, aiming to understand the origin of social bias from the perspective of imbalanced internal information utilization. Specifically, we first identify high-contribution image tokens involved in the model's reasoning process for neutral questions via information flow analysis. Then, we design a multi-turn dialogue mechanism to evaluate the extent to which these key tokens encode sensitive information. Extensive experiments reveal that LVLMs exhibit systematic disparities in information usage when processing images of different demographic groups, suggesting that social bias is deeply rooted in the model's internal reasoning dynamics. Furthermore, we complement our findings from a textual modality perspective, showing that the model's semantic representations already display biased proximity patterns, thereby offering a cross-modal explanation of bias formation.
• Abstract（参考訳）: 大規模視覚言語モデル (LVLM) はマルチモーダルタスクにおいて顕著な進歩を遂げているが、社会的偏見も顕著である。 これらのバイアスはしばしば中立概念と敏感な人間の属性の間の意図しない関連として現れ、人口集団間で異なるモデル行動を引き起こす。 既存の研究は主にそのようなバイアスを検出し定量化することに焦点を当てているが、モデル内の基盤となるメカニズムについて限定的な洞察を与えている。 このギャップに対処するため,情報フロー分析と多ラウンド対話評価を組み合わせた説明枠組みを提案し,不均衡な内部情報利用の観点から,社会的バイアスの起源を理解することを目的とした。 具体的には、まず、情報フロー解析により中立質問に対するモデルの推論過程に関わる高コントリビューション画像トークンを同定する。 そして、これらのキートークンが機密情報をエンコードする範囲を評価するために、マルチターン対話機構を設計する。 大規模な実験により、LVLMは異なる階層群の画像を処理する際に、情報利用の体系的な差異を示すことが明らかとなり、社会的バイアスがモデルの内部推論力学に深く根ざしていることが示唆された。 さらに,本研究の結果をテキストモダリティの観点から補完し,モデルのセマンティック表現がすでにバイアスパターンを呈示していることを示す。

関連論文リスト

• VERIFY: A Benchmark of Visual Explanation and Reasoning for Investigating Multimodal Reasoning Fidelity [34.29409506366145]
  VERIFYは最先端MLLMの視覚的推論能力を分離し、厳格に評価するために設計されたベンチマークである。 それぞれの問題には人手による推論パスが伴い、モデル決定プロセスの詳細な評価を初めて提供する。 本稿では,従来のモデル推論パターンにおける重要な不均衡を浮き彫りにして,単なる精度を超える視覚的推論の忠実さを評価する新しい指標を提案する。
  論文  参考訳（メタデータ） (2025-03-14T16:26:11Z)
• Fine-Grained Bias Detection in LLM: Enhancing detection mechanisms for nuanced biases [0.0]
  本研究では,Large Language Models (LLMs) におけるニュアンスバイアス検出フレームワークを提案する。 このアプローチは、コンテキスト分析、注意機構による解釈可能性、および反ファクトデータ拡張を統合して、隠れたバイアスをキャプチャする。 その結果,従来の方法に比べて微妙な偏見の検出精度が向上した。
  論文  参考訳（メタデータ） (2025-03-08T04:43:01Z)
• Measuring Agreeableness Bias in Multimodal Models [0.3529736140137004]
  本稿では,複数モーダル言語モデルにおける画像に対する事前マーク付きオプションがモデル応答に影響を及ぼす現象について検討する。 複数選択質問の画像付きモデルを提示し、まず最初に正解し、次に予めマークされたオプションで同じモデルをバージョンに公開する。 この結果から,中立条件下での回答に矛盾する場合でも,事前マーク付きオプションに対するモデルの反応が著しく変化していることが判明した。
  論文  参考訳（メタデータ） (2024-08-17T06:25:36Z)
• Towards Context-Aware Emotion Recognition Debiasing from a Causal Demystification Perspective via De-confounded Training [14.450673163785094]
  文脈認識感情認識(CAER)は、対象者の感情を認識するための貴重な意味的手がかりを提供する。 現在のアプローチは、コンテキストから知覚的に重要な表現を抽出する洗練された構造を設計することに集中している。 共同設立者を非難するためのCCIM(Contextual Causal Intervention Module)を提案する。
  論文  参考訳（メタデータ） (2024-07-06T05:29:02Z)
• Images Speak Louder than Words: Understanding and Mitigating Bias in Vision-Language Model from a Causal Mediation Perspective [13.486497323758226]
  広範囲なデータセットで事前訓練された視覚言語モデルは、性情報とオブジェクトやシナリオを関連付けることによって、必然的にバイアスを学習することができる。 本稿では,因果媒介分析を取り入れた枠組みを提案し,バイアス発生と伝播の経路を計測・マッピングする。
  論文  参考訳（メタデータ） (2024-07-03T05:19:45Z)
• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。