論文の概要: Melange: A Synthetic Visual Bias Benchmark for Multi-modal Large Language Models

• arxiv url: http://arxiv.org/abs/2610.29537v1
• Date: Wed, 21 Oct 2026 10:25:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.313375
• Title: Melange: A Synthetic Visual Bias Benchmark for Multi-modal Large Language Models
• Title（参考訳）: Melange: マルチモーダル大規模言語モデルのための合成ビジュアルバイアスベンチマーク
• Abstract要約: MLLMにおける社会的バイアスを評価するための7つのカテゴリを網羅した,広範囲なビジュアル・ベンチマークであるMelangeを紹介した。 これはBigBenchの広く使われている言語のみのBBQデータセット(Bias Benchmark for Question Answering)に基づいている。 23個のオープンソースMLLMを、一致した3つの評価設定 – テキストのみ、画像のみ、画像付きコンテキスト – に対して体系的に評価することにより、入力モードの公平性効果を分離する。
• 参考スコア（独自算出の注目度）: 1.7067233821643395
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-modal Large Language Models (MLLMs) have seen broad adoption, but their biases are still far less examined than those of standard LLMs, creating possible social harms when deployed in real-world settings. Prior efforts to extend bias analyses from LLMs into the multi-modal space either cover only a few bias categories or do not ensure that the groups being compared are clearly addressed by visual cues in the images. To overcome these limitations, we introduce Melange, a wide-ranging synthetic visual benchmark covering seven categories for assessing social biases in MLLMs. It is grounded in the widely used language-only BBQ dataset (Bias Benchmark for Question Answering) from BigBench, carefully extending its constructed contexts via controlled generation of visual scenarios so the target attributes appear visually and clearly. To maximize reliability, our generated images pass through two stages of validation: automated screening using visual question answering (VQA) and subsequent manual inspection by human annotators. By systematically evaluating 23 open-source MLLMs across three matched evaluation settings---text-only, image-only, and image-with-context---Melange isolates the fairness effect of the input modality. Switching from text to vision reduces fairness by 0.291 on average, a gap that varies by model family rather than by scale alone. A perception control confirms that this gap is not an artifact of visual comprehension: models identify the depicted attributes at 90--95\% accuracy yet still fail to abstain. When models do commit to a biased answer, polarity-aware stereotype alignment shows they choose the human-stereotypical response roughly three-quarters of the time.
• Abstract（参考訳）: MLLM(Multi-modal Large Language Models)は広く採用されているが、そのバイアスは標準のLLMよりもはるかに少ないため、現実世界の環境にデプロイすると社会的な害が生じる可能性がある。 LLMからマルチモーダル空間へのバイアス分析を拡張しようとする以前の試みは、いくつかのバイアスカテゴリのみをカバーするか、比較対象の群が画像の視覚的手がかりによって明確に対処されないかのどちらかであった。 これらの制約を克服するために,MLLMの社会的偏見を評価するための7つのカテゴリを網羅した広範囲なビジュアル・ベンチマークであるMelangeを紹介した。 BigBenchの広く使われている言語のみのBBQデータセット(Bias Benchmark for Question Answering)に基盤を置いており、ターゲット属性が視覚的かつ明確に見えるように制御された視覚シナリオの生成を通じて、構築されたコンテキストを慎重に拡張している。 信頼性を最大化するために、生成した画像は、視覚的質問応答(VQA)を用いた自動スクリーニングと、人間のアノテータによる手動検査という2つの検証段階を通過した。 テキストのみ、画像のみ、画像を伴う3つの評価設定の23のオープンソースMLLMを体系的に評価することにより、入力モダリティの公正性効果を分離する。テキストから視覚への切り替えは、スケール単独でではなくモデルファミリによって異なるギャップを平均0.291に減少させる。知覚制御は、このギャップが視覚的理解の成果ではないことを確認する。モデルは、表現された属性を90～95%の精度で識別するが、まだ達成できない。 モデルがバイアスのある回答にコミットすると、極性を考慮したステレオタイプアライメントが、その時間の約4分の3の人間のステレオタイプ応答を選択することを示す。

関連論文リスト

• DiCoBench: Benchmarking Multi-Image Fine-Grained Perception via Differential and Commonality Visual Cues [54.31138496553705]
  DiCoBenchは、きめ細かい知覚のための包括的でマルチイメージの高解像度のベンチマークである。 評価の結果,人的精度 (98.3%) と比較して顕著な性能差がみられた。 DiCoBenchは、自律的で高解像度のマルチイメージ知覚における将来の研究を促進するための、挑戦的なテストベッドとして機能すると考えています。
  論文  参考訳（メタデータ） (2026-06-25T05:02:38Z)
• Blind to the Human Touch: Overlap Bias in LLM-Based Summary Evaluation [89.52571224447111]
  大規模言語モデル(LLM)の判断は、要約のようなタスクのために、伝統的なアルゴリズムベースのメトリクスと併用されることが多い。 要約領域における人書き応答と重なる関数としてLLM判定バイアス分析を提案する。
  論文  参考訳（メタデータ） (2026-02-07T19:39:28Z)
• Bias in the Picture: Benchmarking VLMs with Social-Cue News Images and LLM-as-Judge Assessment [8.451522319478512]
  各種コンセントから抽出された1,343枚の画像検索ペアからなるニューズ画像ベンチマークを導入する。 我々は、最先端のVLMの評価を行い、人間の検証を伴って、大きな言語モデル(LLM)を判断に用いた。 その結果, (i) 視覚的文脈は, モデル出力をオープンエンド設定で体系的に変化させる; (ii) バイアスの頻度は属性やモデルによって異なり, 特に性別や職業のリスクが高い; (iii) より高い忠実度は必ずしも低いバイアスに対応しないことがわかった。
  論文  参考訳（メタデータ） (2025-09-24T00:33:58Z)
• Measuring Epistemic Humility in Multimodal Large Language Models [17.490955813494693]
  HumbleBench は,MLLM が正解ではないが誤解を拒否する能力を評価するために設計された,新しい幻覚ベンチマークである。 我々は、微粒なシーングラフアノテーションを利用して、地中構造体と関係を抽出し、GPT-4-Turboに多重選択質問を生成する。 HumbleBenchは、現在の評価スイートにおける重要なギャップを埋め、安全クリティカルな設定におけるMLLMの信頼性をより現実的に測定する。
  論文  参考訳（メタデータ） (2025-09-11T17:54:00Z)
• Revisiting LLM Value Probing Strategies: Are They Robust and Expressive? [81.49470136653665]
  広範に利用されている3つの探索戦略における値表現の頑健さと表現性を評価する。 人口統計学的文脈は自由テキスト生成にはほとんど影響を与えず、モデルの値は値に基づく行動の好みと弱い相関しか示さない。
  論文  参考訳（メタデータ） (2025-07-17T18:56:41Z)
• SB-Bench: Stereotype Bias Benchmark for Large Multimodal Models [42.54907891780377]
  大規模マルチモーダルモデル(LMM)におけるステレオ型バイアスは有害な社会的偏見を持続させる。 LMMにおけるステレオタイプバイアスを評価する既存のデータセットは、しばしば多様性に欠け、合成画像に依存している。 我々は、ステレオタイプバイアスを評価するための最も包括的なフレームワークであるStereotype Bias Benchmark(SB-bench)を紹介する。
  論文  参考訳（メタデータ） (2025-02-12T20:41:53Z)
• VLBiasBench: A Comprehensive Benchmark for Evaluating Bias in Large Vision-Language Model [72.13121434085116]
  我々は、LVLM(Large Vision-Language Models)におけるバイアスを評価するベンチマークであるVLBiasBenchを紹介する。 VLBiasBenchは、年齢、障害ステータス、性別、国籍、身体的外観、人種、宗教、職業、社会経済ステータスを含む9つの異なる社会バイアスのカテゴリを含むデータセットと、人種x性別と人種x社会経済ステータスの2つの交叉バイアスのカテゴリを含む。 15のオープンソースモデルと2つの高度なクローズドソースモデルに対して広範な評価を行い、これらのモデルに存在するバイアスに関する新たな洞察を得る。
  論文  参考訳（メタデータ） (2024-06-20T10:56:59Z)
• Debiasing Multimodal Large Language Models via Penalization of Language Priors [38.97645845493758]
  MLLM(Multimodal Large Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 生成されたコンテンツは、入力画像よりも、基礎となるLarge Language Models (LLMs) の本質的な先行性によって駆動されることが多い。 本稿では、これらのバイアスを補正し、視覚情報に対するモデルの焦点をリダイレクトするための、単純でトレーニングのない2つの戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。