論文の概要: Cultural Binding Heads in Language Models

• arxiv url: http://arxiv.org/abs/2605.28543v1
• Date: Wed, 27 May 2026 14:35:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:56.120008
• Title: Cultural Binding Heads in Language Models
• Title（参考訳）: 言語モデルにおける文化的結合頭
• Authors: Avrile Floro, Luca Benedetto,
• Abstract要約: 8つのモデルにまたがる文化的結合に因果的に寄与する2～3つの中層アテンションヘッドを同定する。 文化的結合とは、文化的要素を適切なアイデンティティに関連付ける過程である。 知識探索タスクは、モデルが行動するよりも3～5倍多く知っていることを示し、ボトルネックはルーティングにあり、知識ではないことを示している。
• 参考スコア（独自算出の注目度）: 0.2864713389096699
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLMs often default to equal treatment across cultural groups, even though context warrants differentiation: this is a lack of difference awareness. Using mechanistic interpretability and a factorial design on the N4 cultural appropriation benchmark from Wang et al. (2025), we identify 2-3 mid-layer attention heads per model that contribute causally to cultural binding across eight models (four architectures, base and instruct). Cultural binding is the process of associating cultural items with the appropriate identity. Knockout of the identity-to-item edges on these heads lowers the binding strength by 9-23%. The identified heads transfer from instruct to base models, suggesting that cultural binding is created at pre-training. An $α$-scaling shows a graded dose-response and moderate amplification steering at generation ($α= 2-3$) increases cultural differentiation accuracy by 1-3 pp while leaving neutral reasoning mostly intact. A knowledge probing task shows that models know 3-5 times more than they act upon it, indicating that the bottleneck lies in routing and not knowledge.
• Abstract（参考訳）: LLMは、文脈が差別化を保証しているにもかかわらず、文化的グループ間で平等に扱われることがしばしばある:これは違いの認識の欠如である。 Wang et al (2025)のN4文化予算ベンチマークの機械的解釈可能性と要因設計を用いて,8つのモデル(4つのアーキテクチャ,ベース,インストラクション)の文化的結合に因果的に寄与する2～3つの中層アテンションヘッドを同定する。 文化的結合とは、文化的要素を適切なアイデンティティに関連付ける過程である。 これらのヘッド上のアイデンティティ・ツー・イテムエッジのノックアウトは、結合強度を9-23%低下させる。 同定された頭部はインストラクションからベースモデルへ移動し、事前学習時に文化的結合が生成されることを示唆している。 α$-scalingは、世代毎のグレードドドレポンスと適度な増幅ステアリング(α=2-3$)により、文化的分化の精度が1-3pp上昇し、中性推論はほとんど無傷であることを示している。 知識探索タスクは、モデルが行動するよりも3～5倍多く知っていることを示し、ボトルネックはルーティングにあり、知識ではないことを示している。

関連論文リスト

• AlignCultura: Towards Culturally Aligned Large Language Models? [19.134202394422285]
  アリン・カルチュラ(Align-Cultura)は、文化的アライメントのための2段階のパイプラインである。 CulTURAXはユネスコの文化分類に基づくHHH- Englishデータセットである。 Stage IIはCULTURAXを、汎用モデル、文化的に微調整されたモデル、オープンウェイトLLMでベンチマークする。 実証的に、文化的に微調整されたモデルは、関節HHHを4%-6%改善し、文化的な失敗を18%削減し、10%-12%の効率向上を実現し、漏れを0.3%に制限した。
  論文  参考訳（メタデータ） (2026-04-21T03:06:50Z)
• CALM: Culturally Self-Aware Language Models [22.309957211042597]
  CALMは、文化的自己認識を持つ言語モデルを支援するために設計された新しいフレームワークである。 タスクのセマンティクスを、明示的な文化的概念や潜伏した文化的シグナルから切り離す。 結果として得られた統一表現は、文化的に根ざした内的アイデンティティ状態を構築するためのモデル本来の知識と融合する。
  論文  参考訳（メタデータ） (2026-01-07T00:28:33Z)
• The American Ghost in the Machine: How language models align culturally and the effects of cultural prompting [0.0]
  我々は、VSM13国際サーベイとホフステデの文化的側面を用いて、人気のある大言語モデル(LLM)の文化的アライメントを特定する。 次に、これらのモデルの他の文化、すなわち中国、フランス、インド、イラン、日本、米国への適応性をテストするために、文化的なプロンプトを使用します。 テスト対象となった8つのLSMの大多数は、その文化が特定されていない場合に米国を好んでおり、他の文化に刺激された場合の結果は様々である。
  論文  参考訳（メタデータ） (2025-12-13T23:11:41Z)
• Where Culture Fades: Revealing the Cultural Gap in Text-to-Image Generation [43.352493955825736]
  現在のT2Iモデルは、多言語的なプロンプトの下で、文化的に中立な結果や英語に偏った結果をもたらすことが多い。 本稿では,培養感受性シグナルを少数の固定層内の小さなニューロン群に局在させる探索法を提案する。
  論文  参考訳（メタデータ） (2025-11-21T14:40:50Z)
• CAIRe: Cultural Attribution of Images by Retrieval-Augmented Evaluation [61.130639734982395]
  本稿では,画像の文化的関連度を評価する新しい評価指標であるCAIReを紹介する。 本フレームワークは,イメージ内の実体と概念を知識ベースに基盤として,実情報を用いて各文化ラベルに対して独立した評価を行う。
  論文  参考訳（メタデータ） (2025-06-10T17:16:23Z)
• CulturalFrames: Assessing Cultural Expectation Alignment in Text-to-Image Models and Evaluation Metrics [23.567641319277943]
  テキスト・ツー・イメージ(T2I)モデルと評価指標のアライメントを定量化する。 文化フレームは、文化的表現の厳格な評価のための新しいベンチマークである。 モデルや国全体では、平均して44%の文化的な期待が失われていることが分かっています。
  論文  参考訳（メタデータ） (2025-06-10T14:21:46Z)
• CulturePark: Boosting Cross-cultural Understanding in Large Language Models [63.452948673344395]
  本稿では,LLMを利用した文化データ収集のためのマルチエージェント通信フレームワークであるCultureParkを紹介する。 人間の信念、規範、習慣をカプセル化した高品質な異文化対話を生成する。 我々はこれらのモデルを,コンテンツモデレーション,文化的アライメント,文化教育という3つの下流課題にまたがって評価する。
  論文  参考訳（メタデータ） (2024-05-24T01:49:02Z)
• Not All Countries Celebrate Thanksgiving: On the Cultural Dominance in Large Language Models [89.94270049334479]
  本稿では,大規模言語モデル(LLM)における文化的優位性について述べる。 LLMは、ユーザーが非英語で尋ねるときに期待する文化とは無関係な、不適切な英語文化関連の回答を提供することが多い。
  論文  参考訳（メタデータ） (2023-10-19T05:38:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。