論文の概要: CultureCLIP: Empowering CLIP with Cultural Awareness through Synthetic Images and Contextualized Captions
- arxiv url: http://arxiv.org/abs/2507.06210v2
- Date: Wed, 16 Jul 2025 07:01:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-17 12:30:11.735893
- Title: CultureCLIP: Empowering CLIP with Cultural Awareness through Synthetic Images and Contextualized Captions
- Title（参考訳）: CultureCLIP: 合成画像とコンテクスト化キャプションによるCLIPの文化的認識の強化
- Authors: Yuchen Huang, Zhiyuan Fan, Zhitao He, Sandeep Polisetty, Wenyan Li, Yi R. Fung,
- Abstract要約: 事前訓練された視覚言語モデル(VLM)は、一般的なマルチモーダル理解において優れているが、しばしばニュアンス付き、文脈に依存した視覚的手がかりを捉えるのに苦労する。
我々は,人工文化データセットCulTwinを構築するために,オープンソースのVLMとテキスト・ツー・イメージモデルを活用したデータキュレーションパイプラインを設計する。
CulTwin上でCLIPを微調整し,文化的な概念を文脈的に拡張されたキャプションや合成画像と整合させるCuctureCLIPを開発する。
- 参考スコア（独自算出の注目度）: 4.149285362505653
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pretrained vision-language models (VLMs) such as CLIP excel in general multimodal comprehension but often struggle to capture nuanced, context-dependent visual cues. This makes it difficult to distinguish between similar-looking concepts with potentially different cultural meanings. Such deficiencies are mainly due to a limited amount of high-quality cultural data, contextual information, and the lack of negative examples that highlight subtle differences. To mitigate this, we design a data curation pipeline leveraging open-sourced VLMs and text-to-image models to construct CulTwin, a synthetic cultural dataset. This dataset consists of paired concept-caption-image triplets, where concepts visually resemble each other but are culturally different. Then, we fine-tune CLIP on CulTwin to develop CultureCLIP, which aligns cultural concepts with contextually enhanced captions and synthetic images through tailored contrastive learning. Experiments on culture-specific benchmarks show that CultureCLIP outperforms the base CLIP, achieving up to a notable 5.49% improvement in fine-grained concept recognition on certain tasks while preserving CLIP's original generalization ability, validating the effectiveness of our data synthesis and VLM backbone training paradigm in capturing subtle cultural distinctions.
- Abstract（参考訳）: CLIPのような事前訓練された視覚言語モデル(VLM)は、一般的なマルチモーダル理解において優れているが、しばしばニュアンス付きコンテキスト依存の視覚的手がかりを捉えるのに苦労する。
このため、文化的意味の異なる類似した概念を区別することは困難である。
このような欠陥は主に、高品質な文化データ、文脈情報、微妙な違いを浮き彫りにするネガティブな例の欠如によるものである。
これを軽減するために、我々は、オープンソースのVLMとテキスト・ツー・イメージモデルを活用したデータキュレーションパイプラインを設計し、合成文化データセットであるCulTwinを構築する。
このデータセットは、概念が視覚的に似ているが文化的に異なる、ペアのコンセプト・キャプション・イメージの三つ子で構成されている。
CulTwin上でCLIPを微調整し,文化的な概念を文脈的に強化されたキャプションや合成画像と整合させるCuctureCLIPを開発する。
CLIPの本来の一般化能力を保ちながら、特定のタスクにおけるきめ細かい概念認識を最大5.49%改善し、微妙な文化的特徴を捉えたデータ合成とVLMバックボーントレーニングパラダイムの有効性を検証する。
関連論文リスト
- CAIRe: Cultural Attribution of Images by Retrieval-Augmented Evaluation [61.130639734982395]
本稿では,画像の文化的関連度を評価する新しい評価指標であるCAIReを紹介する。
本フレームワークは,イメージ内の実体と概念を知識ベースに基盤として,実情報を用いて各文化ラベルに対して独立した評価を行う。
論文 参考訳（メタデータ） (2025-06-10T17:16:23Z) - CulFiT: A Fine-grained Cultural-aware LLM Training Paradigm via Multilingual Critique Data Synthesis [41.261808170896686]
CulFiTは、多言語データと微粒な報酬モデリングを利用して、文化的感受性と傾きを高める新しいトレーニングパラダイムである。
本手法は,文化関連諸質問を合成し,文化関連言語における批判データを構築し,文化文献を検証可能な知識単位に分解するために,きめ細かい報酬を用いる。
論文 参考訳（メタデータ） (2025-05-26T04:08:26Z) - RAVENEA: A Benchmark for Multimodal Retrieval-Augmented Visual Culture Understanding [79.44246283490665]
本稿では,検索による視覚文化理解の促進を目的とした新しいベンチマークであるRAVENEAを紹介する。
RAVENEAは、文化中心の視覚的質問応答(cVQA)と文化インフォームドイメージキャプション(cIC)の2つのタスクに焦点を当てている。
画像クエリ毎に7つのマルチモーダルレトリバーを訓練・評価し、14の最先端の視覚言語モデルにおける検索強化入力の下流への影響を計測する。
論文 参考訳（メタデータ） (2025-05-20T14:57:16Z) - CAReDiO: Cultural Alignment of LLM via Representativeness and Distinctiveness Guided Data Optimization [50.90288681622152]
大規模言語モデル(LLM)は、より深く様々な地域における人間の生活に統合される。
既存のアプローチは、文化固有のコーパスを微調整することで、文化的に整合したLCMを開発する。
本稿では,新しい文化データ構築フレームワークであるCAReDiOを紹介する。
論文 参考訳（メタデータ） (2025-04-09T13:40:13Z) - Cultural Learning-Based Culture Adaptation of Language Models [70.1063219524999]
大きな言語モデル(LLM)をさまざまな文化的価値に適用することは難しい課題です。
文化的学習に基づくLLMと文化的価値との整合性を高めるための新しい枠組みであるCLCAについて述べる。
論文 参考訳（メタデータ） (2025-04-03T18:16:26Z) - CultureVLM: Characterizing and Improving Cultural Understanding of Vision-Language Models for over 100 Countries [63.00147630084146]
視覚言語モデル(VLM)は高度な人間とAIの相互作用を持つが、文化的な理解に苦慮している。
CultureVerseは大規模なマルチモーダルベンチマークで、682の文化的概念、188の国/地域、15の文化的概念、3の質問タイプをカバーしている。
本稿では,文化理解の大幅な向上を実現するために,我々のデータセットを微調整したVLMのシリーズであるCultureVLMを提案する。
論文 参考訳（メタデータ） (2025-01-02T14:42:37Z) - CROPE: Evaluating In-Context Adaptation of Vision and Language Models to Culture-Specific Concepts [45.77570690529597]
文化固有の概念の知識を探索するための視覚的質問応答ベンチマークであるCROPEを紹介する。
いくつかの最先端のオープンビジョンと言語モデルの評価は、文化固有の概念と共通の概念の相違が大きいことを示す。
文脈知識を用いた実験は、モデルがマルチモーダル情報を効果的に活用し、文化固有の概念を描写に結びつけるのに苦労していることを示している。
論文 参考訳（メタデータ） (2024-10-20T17:31:19Z) - Self-Pluralising Culture Alignment for Large Language Models [36.689491885394034]
本稿では,大規模言語モデルと多言語文化との整合性を実現するフレームワークであるCultureSPAを提案する。
カルチャー・アウェア/アウェアアウトプットを比較することで、カルチャー関連インスタンスを検出し、収集することができる。
広範囲な実験により、CultureSPAは、一般の能力を損なうことなく、多様な文化へのLCMのアライメントを著しく改善することが示された。
論文 参考訳（メタデータ） (2024-10-16T19:06:08Z) - How Well Do LLMs Identify Cultural Unity in Diversity? [12.982460687543952]
本稿では,概念の文化的統一性を理解するために,デコーダのみの大規模言語モデル(LLM)を評価するためのベンチマークデータセットを提案する。
CUNITは、10か国で285の伝統的な文化的概念に基づいて構築された1,425の評価例で構成されている。
高い関連性を持つ異文化のコンセプトペアを識別するLLMの能力を評価するために,コントラストマッチングタスクを設計する。
論文 参考訳（メタデータ） (2024-08-09T14:45:22Z) - CulturePark: Boosting Cross-cultural Understanding in Large Language Models [63.452948673344395]
本稿では,LLMを利用した文化データ収集のためのマルチエージェント通信フレームワークであるCultureParkを紹介する。
人間の信念、規範、習慣をカプセル化した高品質な異文化対話を生成する。
我々はこれらのモデルを,コンテンツモデレーション,文化的アライメント,文化教育という3つの下流課題にまたがって評価する。
論文 参考訳（メタデータ） (2024-05-24T01:49:02Z) - Cultural Alignment in Large Language Models: An Explanatory Analysis Based on Hofstede's Cultural Dimensions [10.415002561977655]
本研究は,ホフステデの文化次元の枠組みを用いて文化的アライメントを定量化する文化アライメントテスト (Hoftede's CAT) を提案する。
我々は、米国、中国、アラブ諸国といった地域の文化的側面に対して、大規模言語モデル(LLM)を定量的に評価する。
その結果, LLMの文化的アライメントを定量化し, 説明的文化的次元におけるLCMの差異を明らかにすることができた。
論文 参考訳（メタデータ） (2023-08-25T14:50:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。