論文の概要: Multimodal Cultural Safety: Evaluation Frameworks and Alignment Strategies

• arxiv url: http://arxiv.org/abs/2505.14972v1
• Date: Tue, 20 May 2025 23:20:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:58.790384
• Title: Multimodal Cultural Safety: Evaluation Frameworks and Alignment Strategies
• Title（参考訳）: マルチモーダル文化安全 : 評価枠組みとアライメント戦略
• Authors: Haoyi Qiu, Kung-Hsiang Huang, Ruichen Zheng, Jiao Sun, Nanyun Peng,
• Abstract要約: 大規模視覚言語モデル(LVLM)は、観光アシスタントのようなグローバルに分散したアプリケーションにますます導入されている。 CROSSは、LVLMの文化的安全性推論能力を評価するために設計されたベンチマークである。 実験モデルと推論モデルを含む21種類のLVLMを評価した。
• 参考スコア（独自算出の注目度）: 58.88053690412802
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large vision-language models (LVLMs) are increasingly deployed in globally distributed applications, such as tourism assistants, yet their ability to produce culturally appropriate responses remains underexplored. Existing multimodal safety benchmarks primarily focus on physical safety and overlook violations rooted in cultural norms, which can result in symbolic harm. To address this gap, we introduce CROSS, a benchmark designed to assess the cultural safety reasoning capabilities of LVLMs. CROSS includes 1,284 multilingual visually grounded queries from 16 countries, three everyday domains, and 14 languages, where cultural norm violations emerge only when images are interpreted in context. We propose CROSS-Eval, an intercultural theory-based framework that measures four key dimensions: cultural awareness, norm education, compliance, and helpfulness. Using this framework, we evaluate 21 leading LVLMs, including mixture-of-experts models and reasoning models. Results reveal significant cultural safety gaps: the best-performing model achieves only 61.79% in awareness and 37.73% in compliance. While some open-source models reach GPT-4o-level performance, they still fall notably short of proprietary models. Our results further show that increasing reasoning capacity improves cultural alignment but does not fully resolve the issue. To improve model performance, we develop two enhancement strategies: supervised fine-tuning with culturally grounded, open-ended data and preference tuning with contrastive response pairs that highlight safe versus unsafe behaviors. These methods substantially improve GPT-4o's cultural awareness (+60.14%) and compliance (+55.2%), while preserving general multimodal capabilities with minimal performance reduction on general multimodal understanding benchmarks.
• Abstract（参考訳）: 大規模視覚言語モデル(LVLM)は、観光アシスタントのようなグローバルに分散したアプリケーションにますます導入されているが、文化的に適切な応答を生み出す能力はいまだ研究されていない。 既存のマルチモーダル安全ベンチマークは、主に文化的規範に根ざした物理的な安全と見落とし違反に焦点を当てており、象徴的な害をもたらす可能性がある。 このギャップに対処するために,LVLMの文化的安全性推論能力を評価するベンチマークであるCROSSを導入する。 CROSSには、16の国、3つの日常的なドメイン、14の言語からの1,284の多言語的な視覚的根拠のあるクエリが含まれており、そこでは、画像がコンテキストで解釈された場合にのみ、文化的な規範違反が発生する。 CROSS-Evalは,文化意識,規範教育,コンプライアンス,援助の4つの重要な側面を測る,異文化間理論に基づく枠組みである。 このフレームワークを用いて,実験用混合モデルや推論モデルを含む21種類のLVLMを評価した。 最高のパフォーマンスモデルは61.79%の意識と37.73%のコンプライアンスを達成している。 いくつかのオープンソースモデルはGPT-4oレベルのパフォーマンスに到達しているが、プロプライエタリなモデルには相変わらず不足している。 さらに, 推論能力の向上は文化的整合性を向上させるが, 完全な解決には至らないことを示す。 モデル性能を向上させるために、文化的な基盤を持つ微調整と、安全かつ安全でない振る舞いを強調する対照的な応答ペアによる選好調整の2つの強化戦略を開発した。 これらの手法は、GPT-4oの文化的認識(+60.14%)とコンプライアンス(+55.2%)を大幅に改善し、一般的なマルチモーダル理解ベンチマークの性能を最小限に抑えながら、一般的なマルチモーダル能力を維持する。

関連論文リスト

• RAVENEA: A Benchmark for Multimodal Retrieval-Augmented Visual Culture Understanding [79.44246283490665]
  本稿では,検索による視覚文化理解の促進を目的とした新しいベンチマークであるRAVENEAを紹介する。 RAVENEAは、文化中心の視覚的質問応答(cVQA)と文化インフォームドイメージキャプション(cIC)の2つのタスクに焦点を当てている。 画像クエリ毎に7つのマルチモーダルレトリバーを訓練・評価し、14の最先端の視覚言語モデルにおける検索強化入力の下流への影響を計測する。
  論文  参考訳（メタデータ） (2025-05-20T14:57:16Z)
• CAReDiO: Cultural Alignment of LLM via Representativeness and Distinctiveness Guided Data Optimization [50.90288681622152]
  大規模言語モデル(LLM)は、より深く様々な地域における人間の生活に統合される。 既存のアプローチは、文化固有のコーパスを微調整することで、文化的に整合したLCMを開発する。 本稿では,新しい文化データ構築フレームワークであるCAReDiOを紹介する。
  論文  参考訳（メタデータ） (2025-04-09T13:40:13Z)
• GIMMICK -- Globally Inclusive Multimodal Multitask Cultural Knowledge Benchmarking [29.664707739055068]
  GIMMICKは144か国にまたがる幅広い文化的知識を評価するために設計された広範囲なベンチマークである。 GIMMICKは、728のユニークな文化イベントやファセットにまたがる3つの新しいデータセット上に構築された6つのタスクで構成されている。 本研究では,(1)地域文化バイアス,(2)モデルサイズの影響,(3)入力モダリティ,(4)外部手がかりについて検討する。
  論文  参考訳（メタデータ） (2025-02-19T14:27:40Z)
• CultureVLM: Characterizing and Improving Cultural Understanding of Vision-Language Models for over 100 Countries [63.00147630084146]
  視覚言語モデル(VLM)は高度な人間とAIの相互作用を持つが、文化的な理解に苦慮している。 CultureVerseは大規模なマルチモーダルベンチマークで、682の文化的概念、188の国/地域、15の文化的概念、3の質問タイプをカバーしている。 本稿では,文化理解の大幅な向上を実現するために,我々のデータセットを微調整したVLMのシリーズであるCultureVLMを提案する。
  論文  参考訳（メタデータ） (2025-01-02T14:42:37Z)
• SafeWorld: Geo-Diverse Safety Alignment [107.84182558480859]
  大規模言語モデル(LLM)を評価するために特別に設計された新しいベンチマークであるSafeWorldを紹介する。 SafeWorldには2,342のユーザクエリが含まれており、それぞれ50か国と493のリージョン/ラストから、高品質で人間認証された文化規範と法的ポリシーを基礎としている。 トレーニングされたSafeWorldLMは、GPT-4oを含む競合モデルの3つの評価次元を大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2024-12-09T13:31:46Z)
• Navigating the Cultural Kaleidoscope: A Hitchhiker's Guide to Sensitivity in Large Language Models [4.771099208181585]
  LLMはますますグローバルなアプリケーションにデプロイされ、さまざまなバックグラウンドを持つユーザが尊敬され、理解されることが保証される。 文化的な害は、これらのモデルが特定の文化的規範と一致しないときに起こり、文化的な価値観の誤った表現や違反をもたらす。 潜在的な文化的不感を露呈するシナリオを通じて、異なる文化的文脈におけるモデルアウトプットを評価するために作成された文化的調和テストデータセットと、多様なアノテータからのフィードバックに基づいた微調整による文化的感受性の回復を目的とした、文化的に整合した選好データセットである。
  論文  参考訳（メタデータ） (2024-10-15T18:13:10Z)
• Not All Countries Celebrate Thanksgiving: On the Cultural Dominance in Large Language Models [89.94270049334479]
  本稿では,大規模言語モデル(LLM)における文化的優位性について述べる。 LLMは、ユーザーが非英語で尋ねるときに期待する文化とは無関係な、不適切な英語文化関連の回答を提供することが多い。
  論文  参考訳（メタデータ） (2023-10-19T05:38:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。