論文の概要: Demographic and Linguistic Bias Evaluation in Omnimodal Language Models

• arxiv url: http://arxiv.org/abs/2604.10014v1
• Date: Sat, 11 Apr 2026 03:58:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:15.790845
• Title: Demographic and Linguistic Bias Evaluation in Omnimodal Language Models
• Title（参考訳）: Omnimodal Language Modelにおける復行的・言語的バイアス評価
• Authors: Alaa Elobaid,
• Abstract要約: 人口属性推定,アイデンティティ検証,活動認識,多言語音声の書き起こし,言語識別の4つのタスクについて,一様モデルの評価を行った。 その結果,画像理解タスクや映像理解タスクは,人口格差が小さいほど,パフォーマンスが向上することがわかった。 対照的に、音声理解タスクは、年齢グループ、性別、言語間の大きな精度の違いを含む、パフォーマンスと実質的なバイアスが著しく低く、狭いカテゴリに対してしばしば予測が崩壊する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper provides a comprehensive evaluation of demographic and linguistic biases in omnimodal language models that process text, images, audio, and video within a single framework. Although these models are being widely deployed, their performance across different demographic groups and modalities is not well studied. Four omnimodal models are evaluated on tasks that include demographic attribute estimation, identity verification, activity recognition, multilingual speech transcription, and language identification. Accuracy differences are measured across age, gender, skin tone, language, and country of origin. The results show that image and video understanding tasks generally exhibit better performance with smaller demographic disparities. In contrast, audio understanding tasks exhibit significantly lower performance and substantial bias, including large accuracy differences across age groups, genders, and languages, and frequent prediction collapse toward narrow categories. These findings highlight the importance of evaluating fairness across all supported modalities as omnimodal language models are increasingly used in real-world applications.
• Abstract（参考訳）: 本稿では, テキスト, 画像, 音声, 動画を1つのフレームワークで処理する一様言語モデルにおいて, 人口統計学的および言語学的バイアスを包括的に評価する。 これらのモデルは広くデプロイされているが、異なる階層群やモダリティにわたるパフォーマンスは十分に研究されていない。 人口属性推定,アイデンティティ検証,活動認識,多言語音声の書き起こし,言語識別の4つのタスクについて,一様モデルの評価を行った。 年齢、性別、肌の色、言語、起源の国で正確な違いが測定される。 その結果、画像と映像の理解タスクは、人口格差が小さいほど、パフォーマンスが向上することがわかった。 対照的に、音声理解タスクは、年齢グループ、性別、言語間の大きな精度の違いを含む、パフォーマンスと実質的なバイアスが著しく低く、狭いカテゴリに対してしばしば予測が崩壊する。 これらの知見は,全モダリティの公平性を評価することの重要性を浮き彫りにした。

関連論文リスト

• On the Fallacy of Global Token Perplexity in Spoken Language Model Evaluation [88.77441715819366]
  大規模生音声で事前訓練された生成音声言語モデルは、適切な内容で音声プロンプトを継続することができる。 本稿では,グローバルトークンの難易度に代えて,多種多様な可能性・生成的評価手法を提案する。
  論文  参考訳（メタデータ） (2026-01-09T22:01:56Z)
• Experiential Semantic Information and Brain Alignment: Are Multimodal Models Better than Language Models? [5.412335160966597]
  計算言語学における一般的な仮定は、マルチモーダルモデルによって学習されたテキスト表現が言語のみのモデルよりも豊かで人間的なものであるということである。 コントラッシブなマルチモーダルモデルからの単語表現と、それらが情報を取得する範囲における言語のみの表現を比較した。 その結果,言語のみのモデルは両面でマルチモーダルモデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2025-04-01T16:28:38Z)
• Data Matters Most: Auditing Social Bias in Contrastive Vision Language Models [28.944990804599893]
  CLIPとOpenCLIPを比較することで、モデルサイズ、トレーニングデータスケール、トレーニングデータソースの3つの設計要素を分離します。 また、Bias Prompts、Prompt Array、SANERの3つのポストホック、テストタイムのデバイアス戦略を評価します。
  論文  参考訳（メタデータ） (2025-01-22T21:08:30Z)
• Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
  本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。 多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。 これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
  論文  参考訳（メタデータ） (2024-08-14T16:55:06Z)
• Sonos Voice Control Bias Assessment Dataset: A Methodology for Demographic Bias Assessment in Voice Assistants [10.227469020901232]
  本稿ではSonos Voice Control Bias Assessmentデータセットを紹介する。 1,038人のスピーカー、166時間、170kのオーディオサンプル、9,040のユニークなラベル付き文字起こし。 その結果、年齢、方言、民族によって統計的に有意な差が見られた。
  論文  参考訳（メタデータ） (2024-05-14T12:53:32Z)
• Multilingual Text-to-Image Generation Magnifies Gender Stereotypes and Prompt Engineering May Not Help You [64.74707085021858]
  多言語モデルは、モノリンガルモデルと同様に、有意な性別バイアスに悩まされていることを示す。 多言語モデルにおけるジェンダーバイアスの研究を促進するための新しいベンチマークMAGBIGを提案する。 以上の結果から,モデルが強い性バイアスを示すだけでなく,言語によって異なる行動を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2024-01-29T12:02:28Z)
• Analyzing the Limits of Self-Supervision in Handling Bias in Language [52.26068057260399]
  我々は、言語モデルが、認識、識別、抽出、言い換えの4つのタスクのセマンティクスをいかにうまく捉えているかを評価する。 分析の結果,言語モデルでは,ジェンダーや政治的アフィリエイトなど,様々なバイアス次元にまたがって,これらのタスクを広範囲にわたって実行することが可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-12-16T05:36:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。