論文の概要: The Culture Funnel: You Can't Align What isn't in the Data
- arxiv url: http://arxiv.org/abs/2606.13808v1
- Date: Thu, 11 Jun 2026 18:21:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-15 16:00:42.571247
- Title: The Culture Funnel: You Can't Align What isn't in the Data
- Title(参考訳): 文化のファンネル: データにないものは無視できない
- Authors: Ananya Sahu, Mehrnaz Mofakhami, Daniel D'Souza, Thomas Euyang, Julia Kreutzer, Marzieh Fadaee,
- Abstract要約: 地理的に集中したタスク特化データが支配的でありながら、訓練後の明確な文化的信号の減少は顕著である。
私たちのタグは、下流の文化ベンチマークのパフォーマンスを改善し、データパイプラインのトレーニングに重点を移す必要があることを実証します。
- 参考スコア(独自算出の注目度): 13.124454342678055
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Current cultural alignment approaches focus on inference-time interventions, assuming models already contain sufficient cultural knowledge. We argue modern LLM pipelines suffer from a cultural data funnel. Using a multidimensional tagging framework across pretraining, fine-tuning, alignment, and reasoning datasets, we show explicit cultural signals decline sharply during post-training, while geographically concentrated, task-specialized data dominates. Multilinguality enhances geographic diversity of cultural knowledge but does not ensure balanced representation. Our tags improve downstream cultural benchmark performance, demonstrating that advances require shifting focus in training data pipelines. To facilitate future research, we release our culturally tagged dataset with 5.6M samples at https://huggingface.co/datasets/CohereLabs/CultureMarkers.
- Abstract(参考訳): 現在の文化的アライメントアプローチは、モデルに既に十分な文化的知識が含まれていると仮定して、推論時の介入に焦点を当てている。
現代のLSMパイプラインは文化的なデータ漏えいに悩まされていると我々は主張する。
事前学習,微調整,アライメント,推論データセットにまたがる多次元タギングフレームワークを用いて,学習後の文化的信号が急激に減少し,地理的に集中したタスク特化データが支配的であることを示す。
多言語性は文化的知識の地理的多様性を高めるが、バランスの取れた表現は保証しない。
私たちのタグは、下流の文化ベンチマークのパフォーマンスを改善し、データパイプラインのトレーニングに重点を移す必要があることを実証します。
今後の研究を容易にするため、文化的なタグ付きデータセットをhttps://huggingface.co/datasets/CohereLabs/CultureMarkers.comで5.6Mサンプルで公開しています。
関連論文リスト
- Appear2Meaning: A Cross-Cultural Benchmark for Structured Cultural Metadata Inference from Images [28.09239790313765]
我々は,この課題に対する多カテゴリ・異文化間ベンチマークを導入し,視覚言語モデル(VLM)を評価する。
文化的推論を評価するため,文化地域全体での正確なマッチング,部分マッチング,属性レベルの精度について報告する。
その結果、モデルは断片化された信号をキャプチャし、文化やメタデータのタイプ間で大きなパフォーマンス変化を示し、一貫性がなく、基盤の弱い予測に繋がることがわかった。
論文 参考訳(メタデータ) (2026-04-08T17:53:26Z) - CultureScope: A Dimensional Lens for Probing Cultural Understanding in LLMs [57.653830744706305]
CultureScopeは、大規模な言語モデルにおける文化的理解を評価するための、これまでで最も包括的な評価フレームワークである。
文化的な氷山理論に触発されて、文化知識分類のための新しい次元スキーマを設計する。
実験結果から,文化的理解を効果的に評価できることが示唆された。
論文 参考訳(メタデータ) (2025-09-19T17:47:48Z) - From Surveys to Narratives: Rethinking Cultural Value Adaptation in LLMs [62.9861554207279]
LLM(Large Language Models)における文化的価値の適応は大きな課題である。
これまでの作業は主に、World Values Survey (WVS)データを使用して、LLMをさまざまな文化的価値と整合させる。
我々は,文化価値適応のためのWVSベースのトレーニングについて検討し,調査データのみに頼って文化規範を実践し,事実知識に干渉することを発見した。
論文 参考訳(メタデータ) (2025-05-22T09:00:01Z) - CulturePark: Boosting Cross-cultural Understanding in Large Language Models [63.452948673344395]
本稿では,LLMを利用した文化データ収集のためのマルチエージェント通信フレームワークであるCultureParkを紹介する。
人間の信念、規範、習慣をカプセル化した高品質な異文化対話を生成する。
我々はこれらのモデルを,コンテンツモデレーション,文化的アライメント,文化教育という3つの下流課題にまたがって評価する。
論文 参考訳(メタデータ) (2024-05-24T01:49:02Z) - CultureLLM: Incorporating Cultural Differences into Large Language Models [36.66184989869121]
CultureLLMは、大きな言語モデルに文化的差異を組み込むためのコスト効率の良いソリューションである。
我々は、リッチで低リソースな言語をカバーする9つの文化に対して、文化固有のLLMと1つの統一モデル(CultureLLM-One)を微調整する。
我々の人間による研究は、生成されたサンプルが元のサンプルと意味的に等価であることを示している。
論文 参考訳(メタデータ) (2024-02-09T04:02:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。