論文の概要: See It from My Perspective: How Language Affects Cultural Bias in Image Understanding

• arxiv url: http://arxiv.org/abs/2406.11665v2
• Date: Fri, 28 Feb 2025 20:03:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-04 17:04:19.299509
• Title: See It from My Perspective: How Language Affects Cultural Bias in Image Understanding
• Title（参考訳）: 言語がイメージ理解の文化的バイアスにどのように影響するか
• Authors: Amith Ananthram, Elias Stengel-Eskin, Mohit Bansal, Kathleen McKeown,
• Abstract要約: 視覚言語モデル(VLM)は、多くの言語における画像に関するクエリに応答することができる。 画像理解におけるVLMの西洋的偏見を特徴付け,この格差の中で言語が果たす役割について検討する。
• 参考スコア（独自算出の注目度）: 60.70852566256668
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models (VLMs) can respond to queries about images in many languages. However, beyond language, culture affects how we see things. For example, individuals from Western cultures focus more on the central figure in an image while individuals from East Asian cultures attend more to scene context. In this work, we characterize the Western bias of VLMs in image understanding and investigate the role that language plays in this disparity. We evaluate VLMs across subjective and objective visual tasks with culturally diverse images and annotations. We find that VLMs perform better on the Western split than on the East Asian split of each task. Through controlled experimentation, we trace one source of this bias in image understanding to the lack of diversity in language model construction. While inference in a language nearer to a culture can lead to reductions in bias, we show it is much more effective when that language was well-represented during text-only pre-training. Interestingly, this yields bias reductions even when prompting in English. Our work highlights the importance of richer representation of all languages in building equitable VLMs.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、多くの言語における画像に関するクエリに応答することができる。 しかし、言語以外では、文化は物事を見る方法に影響を与えます。 例えば、西洋文化の個人はイメージの中心的な人物に注目する一方で、東アジア文化の個人はシーン・コンテクストにより参加する。 本研究では、画像理解におけるVLMの西洋的偏見を特徴付け、この格差の中で言語が果たす役割について検討する。 我々は、文化的に多様な画像やアノテーションを用いて、主観的、客観的な視覚的タスクにまたがるVLMを評価する。 VLMは各タスクの東アジアスプリットよりも西部スプリットの方が優れていることが分かりました。 制御された実験を通して、画像理解におけるこのバイアスの1つの源は、言語モデル構築における多様性の欠如である。 文化に近い言語での推論はバイアスの低減につながるが、テキストのみの事前学習中にその言語が十分に表現された場合、より効果的であることが示される。 興味深いことに、英語で発音してもバイアスが減少する。 我々の研究は、公平なVLMを構築する上で、全ての言語のより豊かな表現の重要性を強調している。

関連論文リスト

• CARE: Aligning Language Models for Regional Cultural Awareness [28.676469530858924]
  既存の言語モデル(LM)はしばしば西洋中心のバイアスを示し、多様な文化的知識を表現するのに苦労する。 これに対処する以前の試みは、合成データに頼り、文化的な知識を英語でのみ表現するものだった。 まず、中国文化とアラブ文化に関する2,580の質問に対して、人選好による24.1k応答の多言語リソースであるCAREを紹介した。
  論文  参考訳（メタデータ） (2025-04-07T14:57:06Z)
• Multilingual != Multicultural: Evaluating Gaps Between Multilingual Capabilities and Cultural Alignment in LLMs [2.5212698425008377]
  大規模言語モデル(LLM)は、グローバル言語全体でますます能力を高めつつある。 しかし、言語間のコミュニケーション能力が必ずしも適切な文化的表現に変換されるとは限らない。 GoogleのGemmaモデルとOpenAIのターボシリーズの2つのモデルを比較します。 言語能力と文化的アライメントの間には、一貫した関係は見つからない。
  論文  参考訳（メタデータ） (2025-02-23T11:02:41Z)
• Analyzing Cultural Representations of Emotions in LLMs through Mixed Emotion Survey [2.9213203896291766]
  本研究では,大規模言語モデル(LLM)における感情の文化的表現の分析に焦点をあてる。 本手法は,日本人とアメリカ人の反応に特徴的な感情指標を同定した宮本らの研究に基づいている。 モデルが文献の証拠と限定的に一致していることがわかりました。
  論文  参考訳（メタデータ） (2024-08-04T20:56:05Z)
• Vision-Language Models under Cultural and Inclusive Considerations [53.614528867159706]
  視覚言語モデル(VLM)は、日常生活の画像を記述することで視覚障害者を支援する。 現在の評価データセットは、多様な文化的ユーザ背景や、このユースケースの状況を反映していない可能性がある。 我々は、字幕の好みを決定するための調査を作成し、視覚障害者によって撮影された画像を含む既存のデータセットであるVizWizをフィルタリングすることで、文化中心の評価ベンチマークを提案する。 次に,複数のVLMを評価し,その信頼性を文化的に多様な環境で視覚アシスタントとして検証した。
  論文  参考訳（メタデータ） (2024-07-08T17:50:00Z)
• CVLUE: A New Benchmark Dataset for Chinese Vision-Language Understanding Evaluation [49.41531871253317]
  我々は、新しい中国語ビジョン言語理解評価ベンチマークデータセットを提案する。 オブジェクトカテゴリとイメージの選択は、完全に中国のネイティブスピーカーによって駆動される。 中国文化関連VLデータセットの微調整により,VLMの中国文化理解が効果的に向上することが確認された。
  論文  参考訳（メタデータ） (2024-07-01T08:35:37Z)
• CVQA: Culturally-diverse Multilingual Visual Question Answering Benchmark [68.21939124278065]
  言語と文化の豊富なセットをカバーするために設計された、文化的に多言語なビジュアル質問回答ベンチマーク。 CVQAには文化的に駆動されたイメージと、4大陸30カ国の質問が含まれ、31の言語と13のスクリプトをカバーし、合計10万の質問を提供する。 CVQA上で複数のマルチモーダル大言語モデル (MLLM) をベンチマークし、現在の最先端モデルではデータセットが困難であることを示す。
  論文  参考訳（メタデータ） (2024-06-10T01:59:00Z)
• An Introduction to Vision-Language Modeling [128.6223984157515]
  視覚言語モデル(VLM)の応用は、我々の技術との関係に大きな影響を与えるだろう。 VLMとは何か、どのように動作するのか、どのようにトレーニングするかを紹介します。 本研究は,主に画像から言語へのマッピングに焦点を当てるが,ビデオへのVLMの拡張についても論じる。
  論文  参考訳（メタデータ） (2024-05-27T15:01:23Z)
• The Echoes of Multilinguality: Tracing Cultural Value Shifts during LM Fine-tuning [23.418656688405605]
  本研究では, 異なるテスト言語で符号化された文化的価値に言語がどのように影響するかを, 微調整時にどのように修正されるかを検討する。 最後に、トレーニングデータ属性法を用いて、微調整の例やそれらが生み出す言語にパターンを見つける。
  論文  参考訳（メタデータ） (2024-05-21T12:55:15Z)
• Computer Vision Datasets and Models Exhibit Cultural and Linguistic Diversity in Perception [28.716435050743957]
  異なる文化的背景を持つ人々が、同じ視覚刺激を視る場合でも、いかに異なる概念を観察するかを考察する。 同じ画像に対して7つの言語で生成されたテキスト記述を比較することで,意味内容と言語表現に有意な差が認められた。 私たちの研究は、コンピュータビジョンコミュニティにおける人間の知覚の多様性を考慮し、受け入れる必要性に注目しています。
  論文  参考訳（メタデータ） (2023-10-22T16:51:42Z)
• Not All Countries Celebrate Thanksgiving: On the Cultural Dominance in Large Language Models [89.94270049334479]
  本稿では,大規模言語モデル(LLM)における文化的優位性について述べる。 LLMは、ユーザーが非英語で尋ねるときに期待する文化とは無関係な、不適切な英語文化関連の回答を提供することが多い。
  論文  参考訳（メタデータ） (2023-10-19T05:38:23Z)
• Can Vision-Language Models be a Good Guesser? Exploring VLMs for Times and Location Reasoning [23.33600235294496]
  VLM(Vision-Language Models)は、人間としての常識的な知識を推論できると期待されている。 これにより、視覚的な手がかりに基づいて、Vision-Language Modelsは、時間と位置の推論において、人間の能力を達成し、さらに上回ることができるのだろうか、と疑問に思う。 本稿では,2段階の認識空間と推論空間探索タスクを提案する。
  論文  参考訳（メタデータ） (2023-07-12T13:46:28Z)
• Multi-lingual and Multi-cultural Figurative Language Understanding [69.47641938200817]
  図形言語は人間のコミュニケーションに浸透するが、NLPでは比較的過小評価されている。 Hindi, Indonesian, Javanese, Kannada, Sundanese, Swahili, Yorubaの7つの多様な言語に関するデータセットを作成しました。 我々のデータセットから,各言語は,同じ領域から派生した言語間で最も高い重なり合いを持つ,図形表現の文化的・地域的概念に依存していることが明らかとなった。 全ての言語は、事前学習データと微調整データの可用性を反映した性能の変化により、英語と比較して大きな欠陥がある。
  論文  参考訳（メタデータ） (2023-05-25T15:30:31Z)
• Having Beer after Prayer? Measuring Cultural Bias in Large Language Models [25.722262209465846]
  多言語およびアラビア語のモノリンガルLMは、西洋文化に関連する実体に対して偏見を示すことを示す。 アラブ文化と西洋文化を対比する8つのタイプにまたがる628個の自然発生プロンプトと20,368個のエンティティからなる新しい資源であるCAMeLを紹介した。 CAMeLを用いて、物語生成、NER、感情分析などのタスクにおいて、16の異なるLMのアラビア語における異文化間性能について検討した。
  論文  参考訳（メタデータ） (2023-05-23T18:27:51Z)
• Comparing Biases and the Impact of Multilingual Training across Multiple Languages [70.84047257764405]
  ダウンストリーム感情分析タスクにおいて,イタリア語,中国語,英語,ヘブライ語,スペイン語のバイアス分析を行う。 我々は、既存の感情バイアスのテンプレートを、人種、宗教、国籍、性別の4つの属性で、イタリア語、中国語、ヘブライ語、スペイン語に適応させる。 以上の結果から,各言語の文化に支配的な集団の嗜好など,バイアス表現の類似性を明らかにした。
  論文  参考訳（メタデータ） (2023-05-18T18:15:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。