論文の概要: Crossroads of Continents: Automated Artifact Extraction for Cultural Adaptation with Large Multimodal Models

• arxiv url: http://arxiv.org/abs/2407.02067v2
• Date: Fri, 18 Oct 2024 15:39:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 18:13:53.564613
• Title: Crossroads of Continents: Automated Artifact Extraction for Cultural Adaptation with Large Multimodal Models
• Title（参考訳）: 大陸横断:大規模マルチモーダルモデルによる文化的適応のための自動人工物抽出
• Authors: Anjishnu Mukherjee, Ziwei Zhu, Antonios Anastasopoulos,
• Abstract要約: DALL-E 3によって生成され、人間によって検証される大規模なデータセットであるDalleStreetを紹介する。 我々は,オープンソース(LLaVA)とクローズドソース(GPT-4V)の両方のモデルを用いて,地理的サブリージョンレベルでの文化的理解の相違を見出した。 以上の結果から,LMMの文化的能力の微妙なイメージが浮かび上がっており,文化認識システムの開発の必要性が浮かび上がっている。
• 参考スコア（独自算出の注目度）: 22.92083941222383
• License:
• Abstract: We present a comprehensive three-phase study to examine (1) the cultural understanding of Large Multimodal Models (LMMs) by introducing DalleStreet, a large-scale dataset generated by DALL-E 3 and validated by humans, containing 9,935 images of 67 countries and 10 concept classes; (2) the underlying implicit and potentially stereotypical cultural associations with a cultural artifact extraction task; and (3) an approach to adapt cultural representation in an image based on extracted associations using a modular pipeline, CultureAdapt. We find disparities in cultural understanding at geographic sub-region levels with both open-source (LLaVA) and closed-source (GPT-4V) models on DalleStreet and other existing benchmarks, which we try to understand using over 18,000 artifacts that we identify in association to different countries. Our findings reveal a nuanced picture of the cultural competence of LMMs, highlighting the need to develop culture-aware systems. Dataset and code are available at https://github.com/iamshnoo/crossroads
• Abstract（参考訳）: 本稿では,DALL-E 3 が生成し,人間によって検証された大規模データセットである DalleStreet の導入による大規模マルチモーダルモデル (LMM) の文化的理解の総合的な3段階的研究,(2) 文化的アーティファクト抽出タスクによる暗黙的かつ潜在的にステレオタイプ的な文化的関連性,(3) モジュールパイプラインを用いた抽出された関連性に基づく画像への文化的適応へのアプローチについて述べる。 DalleStreetや他の既存のベンチマーク上で,オープンソース(LLaVA)とクローズドソース(GPT-4V)モデルの両方を用いて,地理的サブリージョンレベルでの文化的理解の相違を見出した。 以上の結果から,LMMの文化的能力の微妙なイメージが浮かび上がっており,文化認識システム開発の必要性が浮かび上がっている。 データセットとコードはhttps://github.com/iamshnoo/crossroadsで入手できる。

関連論文リスト

• How Well Do LLMs Identify Cultural Unity in Diversity? [12.982460687543952]
  本稿では,概念の文化的統一性を理解するために,デコーダのみの大規模言語モデル(LLM)を評価するためのベンチマークデータセットを提案する。 CUNITは、10か国で285の伝統的な文化的概念に基づいて構築された1,425の評価例で構成されている。 高い関連性を持つ異文化のコンセプトペアを識別するLLMの能力を評価するために,コントラストマッチングタスクを設計する。
  論文  参考訳（メタデータ） (2024-08-09T14:45:22Z)
• Beyond Aesthetics: Cultural Competence in Text-to-Image Models [34.98692829036475]
  CUBEは、テキスト・ツー・イメージ・モデルの文化的能力を評価するための最初のベンチマークである。 CUBEは、異なる地理的文化圏の8か国に関連する文化的アーティファクトをカバーしている。 CUBE-CSpaceは、文化的多様性を評価する基盤となる文化的アーティファクトのより大きなデータセットである。
  論文  参考訳（メタデータ） (2024-07-09T13:50:43Z)
• Extrinsic Evaluation of Cultural Competence in Large Language Models [53.626808086522985]
  本稿では,2つのテキスト生成タスクにおける文化能力の評価に焦点をあてる。 我々は,文化,特に国籍の明示的なキューが,そのプロンプトに乱入している場合のモデル出力を評価する。 異なる国におけるアウトプットのテキスト類似性とこれらの国の文化的価値との間には弱い相関関係がある。
  論文  参考訳（メタデータ） (2024-06-17T14:03:27Z)
• CulturePark: Boosting Cross-cultural Understanding in Large Language Models [63.452948673344395]
  本稿では,LLMを利用した文化データ収集のためのマルチエージェント通信フレームワークであるCultureParkを紹介する。 人間の信念、規範、習慣をカプセル化した高品質な異文化対話を生成する。 我々はこれらのモデルを,コンテンツモデレーション,文化的アライメント,文化教育という3つの下流課題にまたがって評価する。
  論文  参考訳（メタデータ） (2024-05-24T01:49:02Z)
• Understanding the Capabilities and Limitations of Large Language Models for Cultural Commonsense [98.09670425244462]
  大規模言語モデル(LLM)は、かなりの常識的理解を示している。 本稿では,文化的コモンセンスタスクの文脈におけるいくつかの最先端LCMの能力と限界について検討する。
  論文  参考訳（メタデータ） (2024-05-07T20:28:34Z)
• CULTURE-GEN: Revealing Global Cultural Perception in Language Models through Natural Language Prompting [73.94059188347582]
  110か国・地域での3つのSOTAモデルの文化認識を,文化条件付き世代を通して8つの文化関連トピックについて明らかにした。 文化条件付き世代は、デフォルトの文化と区別される余分な文化を区別する言語的な「マーカー」から成り立っていることが判明した。
  論文  参考訳（メタデータ） (2024-04-16T00:50:43Z)
• Massively Multi-Cultural Knowledge Acquisition & LM Benchmarking [48.21982147529661]
  本稿では,多文化知識獲得のための新しいアプローチを提案する。 本手法は,文化トピックに関するウィキペディア文書からリンクページの広範囲なネットワークへ戦略的にナビゲートする。 私たちの仕事は、AIにおける文化的格差のギャップを深く理解し、橋渡しするための重要なステップです。
  論文  参考訳（メタデータ） (2024-02-14T18:16:54Z)
• On the Cultural Gap in Text-to-Image Generation [75.69755281031951]
  テキスト・トゥ・イメージ(T2I)生成における課題のひとつは、トレーニングデータに存在する文化ギャップの意図しない反映である。 クロスカルチャー画像を生成するT2Iモデルの能力を体系的に評価するベンチマークは存在しない。 本稿では,モデルが対象文化にどの程度適しているかを評価するため,包括的評価基準付きChallenging Cross-Cultural (C3)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-07-06T13:17:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。