論文の概要: ALIGN: Word Association Learning for Cross-Cultural Generalization in Large Language Models

• arxiv url: http://arxiv.org/abs/2508.13426v1
• Date: Tue, 19 Aug 2025 00:55:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-20 15:36:31.752577
• Title: ALIGN: Word Association Learning for Cross-Cultural Generalization in Large Language Models
• Title（参考訳）: ALIGN:大規模言語モデルにおける異文化間一般化のための単語アソシエーション学習
• Authors: Chunhua Liu, Kabir Manandhar Shrestha, Sukai Huang,
• Abstract要約: 文化的な知識が限られているため、文化をモデル化し、調整することは依然として課題である。 本稿では,母語話者の自由な単語連想規範をパラメータ効率で微調整する手法を提案する。 私たちの研究は、数百万の文化に根ざした協会が、コストのかかる再トレーニングなしに価値アライメントを組み込むことができることを示している。
• 参考スコア（独自算出の注目度）: 0.8999666725996975
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: As large language models (LLMs) increasingly mediate cross-cultural communication, their behavior still reflects the distributional bias of the languages and viewpoints that are over-represented in their pre-training corpora. Yet, it remains a challenge to model and align culture due to limited cultural knowledge and a lack of exploration into effective learning approaches. We introduce a cost-efficient, cognitively grounded remedy: parameter-efficient fine-tuning on native speakers' free word-association norms, which encode implicit cultural schemas. Leveraging English-US and Mandarin associations from the Small-World-of-Words project, we adapt Llama-3.1-8B and Qwen-2.5-7B via supervised fine-tuning (SFT) and PPO-based preference optimization. SFT boosts held-out association Precision at 5 by 16-20% in English and 43-165% in Mandarin, lifts median concreteness by +0.20, and attains human-level valence and arousal. These lexical gains transfer: on World-Values-Survey questions, fine-tuned models shift answer distributions toward the target culture, and on a 50-item high-tension subset, Qwen's Chinese-aligned responses double while Llama's US bias drops by one-third. Our 7-8B models rival or beat vanilla 70B baselines, showing that a few million culture-grounded associations can instill value alignment without costly retraining. Our work highlights both the promise and the need for future research grounded in human cognition in improving cultural alignment in AI models.
• Abstract（参考訳）: 大規模言語モデル(LLM)が異文化間コミュニケーションを媒介するようになるにつれて、その行動は依然として、事前学習のコーパスで過剰に表現される言語や視点の分布バイアスを反映している。 しかし、限られた文化知識と効果的な学習アプローチの探求の欠如のために、文化をモデル化し、調整することは依然として課題である。 暗黙的な文化スキーマをエンコードする、母語話者の自由単語連想規範をパラメータ効率で微調整する。 Llama-3.1-8B と Qwen-2.5-7B を教師付き微調整 (SFT) と PPO に基づく選好最適化により適用する。 SFTは、英語で5-20%、マンダリンで43-165%の精度で保持された協会の精度を高め、中央値の比重を+0.20に引き上げ、人間レベルの原子価と覚醒を達成する。 これらの語彙的な利得は、世界価値とサーベイの質問では、微調整されたモデルが回答の分布をターゲット文化にシフトさせ、50itemの高圧力サブセットでは、Qwenの中国語対応のレスポンスが倍になり、Llamaの米国のバイアスは3分の1減少する。 われわれの7-8Bモデルはバニラ70Bのベースラインに匹敵するか、打ち負かしている。 我々の研究は、AIモデルにおける文化的整合性を改善するための人間の認知に根ざした将来の研究の約束と必要性の両方を強調している。

関連論文リスト

• CAReDiO: Cultural Alignment of LLM via Representativeness and Distinctiveness Guided Data Optimization [50.90288681622152]
  大規模言語モデル(LLM)は、より深く様々な地域における人間の生活に統合される。 既存のアプローチは、文化固有のコーパスを微調整することで、文化的に整合したLCMを開発する。 本稿では,新しい文化データ構築フレームワークであるCAReDiOを紹介する。
  論文  参考訳（メタデータ） (2025-04-09T13:40:13Z)
• Can LLMs Grasp Implicit Cultural Values? Benchmarking LLMs' Metacognitive Cultural Intelligence with CQ-Bench [37.63947763066401]
  CQ-Benchは、大きな言語モデルの暗黙の文化的価値を推測する能力を評価するために設計されたベンチマークである。 我々は、World Value SurveyとGlobalOpinionsデータセットの値を用いて、マルチ文字の会話ベースのストーリーデータセットを生成する。 o1モデルとDeepseek-R1モデルは、値選択において人間レベルのパフォーマンスに達するが、それでもニュアンスな姿勢検出では不足している。 GPT-4o-miniとo3-miniのスコア0.602と0.598は、オープンエンドの文化的推論の難しさを浮き彫りにした。
  論文  参考訳（メタデータ） (2025-04-01T18:54:47Z)
• Multilingual != Multicultural: Evaluating Gaps Between Multilingual Capabilities and Cultural Alignment in LLMs [2.5212698425008377]
  大規模言語モデル(LLM)は、グローバル言語全体でますます能力を高めつつある。 しかし、言語間のコミュニケーション能力が必ずしも適切な文化的表現に変換されるとは限らない。 GoogleのGemmaモデルとOpenAIのターボシリーズの2つのモデルを比較します。 言語能力と文化的アライメントの間には、一貫した関係は見つからない。
  論文  参考訳（メタデータ） (2025-02-23T11:02:41Z)
• CulturePark: Boosting Cross-cultural Understanding in Large Language Models [63.452948673344395]
  本稿では,LLMを利用した文化データ収集のためのマルチエージェント通信フレームワークであるCultureParkを紹介する。 人間の信念、規範、習慣をカプセル化した高品質な異文化対話を生成する。 我々はこれらのモデルを,コンテンツモデレーション,文化的アライメント,文化教育という3つの下流課題にまたがって評価する。
  論文  参考訳（メタデータ） (2024-05-24T01:49:02Z)
• CultureLLM: Incorporating Cultural Differences into Large Language Models [36.66184989869121]
  CultureLLMは、大きな言語モデルに文化的差異を組み込むためのコスト効率の良いソリューションである。 我々は、リッチで低リソースな言語をカバーする9つの文化に対して、文化固有のLLMと1つの統一モデル(CultureLLM-One)を微調整する。 我々の人間による研究は、生成されたサンプルが元のサンプルと意味的に等価であることを示している。
  論文  参考訳（メタデータ） (2024-02-09T04:02:43Z)
• Not All Countries Celebrate Thanksgiving: On the Cultural Dominance in Large Language Models [89.94270049334479]
  本稿では,大規模言語モデル(LLM)における文化的優位性について述べる。 LLMは、ユーザーが非英語で尋ねるときに期待する文化とは無関係な、不適切な英語文化関連の回答を提供することが多い。
  論文  参考訳（メタデータ） (2023-10-19T05:38:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。