論文の概要: Guardrail-Agnostic Societal Bias Evaluation in Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2608.29590v1
• Date: Sun, 30 Aug 2026 06:22:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.014292
• Title: Guardrail-Agnostic Societal Bias Evaluation in Large Vision-Language Models
• Title（参考訳）: 大規模視覚言語モデルにおけるガードレール非依存的社会バイアス評価
• Abstract要約: 大規模視覚言語モデル(LVLM)のための社会的バイアス評価手法を提案する。 本手法はガードレール付きLVLMであっても拒絶を回避し,信頼性の高いバイアス測定を可能にする。 最新の20のLVLMに適用すると、すべてのモデルが、人間に関係のないタスクにおいて、ユーザー人口統計情報を好ましくは使わないことが分かる。
• 参考スコア（独自算出の注目度）: 46.12812175336961
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a societal bias evaluation method for large vision-language models (LVLMs) in the era of strong safety guardrails. Existing benchmarks rely on prompts that ask models to infer attributes of people in images (e.g., "Is this person a CEO or a secretary?"). However, we find that LVLMs with strong guardrails, such as GPT and Claude, often refuse these prompts, making evaluations unreliable. To address this, we change the prior evaluation paradigm by decoupling the task from the depicted person: instead of inferring person's attributes, we use prompts that do not ask about the person (e.g., "Write a fictional story about an imaginary person.") and attach the image as provisional user information to implicitly provide demographic cues, then compare outputs across user demographics. Instantiated across three tasks --- story generation, term explanation, and exam-style QA --- our method avoids refusals even in guardrailed LVLMs, enabling reliable bias measurement. Applying it to 20 recent LVLMs, both open-source and proprietary, we find that all models undesirably use user demographic information in person-irrelevant tasks; for instance, characters in stories are often portrayed as mechanic for male users and nurse for female users. Although still biased, proprietary models like GPT-5 show lower bias than open-source ones. We analyze potential factors behind this gap, discussing continuous model monitoring and improvement as a possible contributor for reducing bias.
• Abstract（参考訳）: 安全ガードレール時代における大規模視覚言語モデル(LVLM)の社会的バイアス評価手法を提案する。 既存のベンチマークでは、画像中の人物の属性を推測するようモデルに求めるプロンプトに依存している(例: "この人物はCEOか秘書か? しかし、GPTやClaudeのような強力なガードレールを持つLVLMは、これらのプロンプトをしばしば拒否し、信頼性の低い評価を行う。 そこで我々は,人物の属性を推測する代わりに,人物について質問しないプロンプト(例:「想像上の人物に関する架空の物語を書く」)を用いて,そのイメージを仮のユーザ情報として付加し,人口統計学的手がかりを暗黙的に提供し,ユーザ人口層間でのアウトプットを比較する。 提案手法は,3つのタスク – ストーリー生成,用語説明,試験スタイルのQA – にまたがって,ガードレール付きLVLMにおいても拒否を回避し,信頼性の高いバイアス測定を可能にする。 オープンソースかつプロプライエタリな20のLVLMに適用すると、すべてのモデルが人関係のないタスクでユーザ人口統計情報を好ましくは使わないことが分かる。 まだバイアスがあるものの、GPT-5のようなプロプライエタリなモデルは、オープンソースよりもバイアスが低い。 このギャップの背後にある潜在的な要因を分析し、バイアスを減らすためのコントリビュータとして、継続的モデル監視と改善について議論します。

関連論文リスト

• Analyzing and Correcting Benevolence Bias in Large Language Models [25.94213078450494]
  大規模言語モデル(LLM)は、人間の回答者のスタンドインとしてますます使われています。 ここでは、評価バイアス(benevolence bias)を識別し、測定する。これは、LLMがより親切で、より安全で、より社会的に認められた質問に対する回答に傾く傾向の小さいが、一貫性のある傾向である。 バイアスは安定なモデル特性であり、どのシステムにおいてもクォークではないことが分かる。
  論文  参考訳（メタデータ） (2026-07-26T08:37:58Z)
• Scale Can't Overcome Pragmatics: The Impact of Reporting Bias on Vision-Language Reasoning [79.95774256444956]
  ビジョンランゲージモデルにおける推論能力の欠如は研究談話の最前線に留まっている。 実用理論のレンズを用いて, 一般的なVLMのOpenCLIP, LLaVA-1.5, Molmoの基盤となるデータについて検討した。
  論文  参考訳（メタデータ） (2026-02-26T18:54:06Z)
• Biases in the Blind Spot: Detecting What LLMs Fail to Mention [13.599496385950983]
  大型言語モデル (LLM) は、しばしばチェーン・オブ・シント (CoT) 推論のトレースを提供するが、内部バイアスを隠蔽する可能性がある。 タスク固有の非言語バイアスを検出するために,完全に自動化されたブラックボックスパイプラインを導入する。
  論文  参考訳（メタデータ） (2026-02-10T18:59:56Z)
• Bias in the Picture: Benchmarking VLMs with Social-Cue News Images and LLM-as-Judge Assessment [8.451522319478512]
  各種コンセントから抽出された1,343枚の画像検索ペアからなるニューズ画像ベンチマークを導入する。 我々は、最先端のVLMの評価を行い、人間の検証を伴って、大きな言語モデル(LLM)を判断に用いた。 その結果, (i) 視覚的文脈は, モデル出力をオープンエンド設定で体系的に変化させる; (ii) バイアスの頻度は属性やモデルによって異なり, 特に性別や職業のリスクが高い; (iii) より高い忠実度は必ずしも低いバイアスに対応しないことがわかった。
  論文  参考訳（メタデータ） (2025-09-24T00:33:58Z)
• Robustly Improving LLM Fairness in Realistic Settings via Interpretability [0.16843915833103415]
  現実的な文脈の詳細が導入されたとき、アンチバイアスプロンプトは失敗する。 企業名や公的キャリアページからの文化記述などの現実的なコンテキストの追加,選択的な雇用制限は,人種的および性別的偏見を著しく引き起こすことが判明した。 我々の内部バイアス緩和は人種や性別に関連する方向を特定し、推論時にアフィンの概念を編集する。
  論文  参考訳（メタデータ） (2025-06-12T17:34:38Z)
• Surface Fairness, Deep Bias: A Comparative Study of Bias in Language Models [45.41676783204022]
  大規模言語モデル(LLM)におけるバイアスの様々なプロキシ尺度について検討する。 MMLU (Multi-subject benchmark) を用いた人格評価モデルでは, スコアの無作為かつ大半がランダムな差が生じることがわかった。 LLMアシスタントメモリとパーソナライゼーションの最近の傾向により、これらの問題は異なる角度から開かれている。
  論文  参考訳（メタデータ） (2025-06-12T08:47:40Z)
• Where Fact Ends and Fairness Begins: Redefining AI Bias Evaluation through Cognitive Biases [77.3489598315447]
  事実と公正の境界を識別することは有意義な公正性評価に不可欠である,と我々は主張する。 Fact-or-Fair は (i) 客観的なクエリを記述的, 事実に基づく判断, (ii) 主観的クエリを規範的, 公平性に基づく判断に整合させたベンチマークである。
  論文  参考訳（メタデータ） (2025-02-09T10:54:11Z)
• GenderBias-\emph{VL}: Benchmarking Gender Bias in Vision Language Models via Counterfactual Probing [72.0343083866144]
  本稿では,GenderBias-emphVLベンチマークを用いて,大規模視覚言語モデルにおける職業関連性バイアスの評価を行う。 ベンチマークを用いて15のオープンソースLVLMと最先端の商用APIを広範囲に評価した。 既存のLVLMでは男女差が広くみられた。
  論文  参考訳（メタデータ） (2024-06-30T05:55:15Z)
• Self-Debiasing Large Language Models: Zero-Shot Recognition and Reduction of Stereotypes [73.12947922129261]
  ステレオタイピングを減らすために,大規模言語モデルのゼロショット機能を活用している。 自己嫌悪は、9つの異なる社会集団におけるステレオタイピングの度合いを著しく低下させることが示される。 この研究が、バイアス軽減のための他のゼロショット技術に関する調査をオープンにすることを願っている。
  論文  参考訳（メタデータ） (2024-02-03T01:40:11Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。