論文の概要: Similarity All The Way Up: Multilingual Generalization in LLMs Relies on Language-Level Similarity Structures

• arxiv url: http://arxiv.org/abs/2607.22699v1
• Date: Sat, 18 Jul 2026 11:49:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:14.829573
• Title: Similarity All The Way Up: Multilingual Generalization in LLMs Relies on Language-Level Similarity Structures
• Title（参考訳）: 類似性:LLMにおける多言語一般化は言語レベル類似性構造に関係する
• Abstract要約: 大規模言語モデル(LLM)は、英語以外の言語への多言語一般化に苦慮していることが知られている。 LLMの表現が、異なる言語間の階層的類似構造をいかにうまく捉えているかを示す。 これは、類似性駆動の大規模一般化に関する古典的な研究を拡張し、類似言語を表すモデルが、類似言語から別の言語へどのようにより良く一般化されるかを示す。
• 参考スコア（独自算出の注目度）: 3.1931511014508533
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As Large Language Models (LLMs) grow more capable across diverse tasks, their (in)ability to generalize remains difficult to quantify and poorly understood beyond limited domains. In particular, LLMs are known to struggle generalizing multilingually, to languages outside of English, and that are poorly attested in their training data. To understand why this may be, and what enables some models to perform better than others, we turn to a long history of work across the cognitive sciences, arguing that successful generalization derives from appropriate representations in similarity space. We look at how well LLMs' representations capture the hierarchical similarity structure between distinct languages. Strikingly, we show LLMs' latent representations largely recover the hierarchical structure of the Indo-European language family tree -- grouping languages that are members of the same subfamily closely together in representation space. Furthermore, we show that the degree to which models reflect the similarity structure of languages correlates with their performance on XNLI, a multilingual natural language inference benchmark. This extends classic work on similarity-driven generalization at scale, showing how models that represent similar languages similarly generalize better from one language to another.
• Abstract（参考訳）: 大規模言語モデル(LLM)は様々なタスクにまたがって能力が向上するにつれて、その一般化能力は依然として定量化が困難であり、限られた領域を超えて理解されていないままである。 特に、LLMは英語以外の言語に多言語で一般化するのに苦労していることが知られている。 これがなぜあるモデルが他のモデルよりも優れているのかを理解するために、私たちは認知科学における長い研究の歴史に目を向け、成功の一般化は類似した空間における適切な表現から導かれると主張した。 LLMの表現が、異なる言語間の階層的類似構造をいかにうまく捉えているかを検討する。 興味深いことに、LLMの潜在表現は、インド・ヨーロッパ語族木(英語版)の階層構造を概ね回復させ、同じサブファミリーに属する言語を表現空間内で密接に結合させる。 さらに,モデルが言語類似性構造を反映する程度は,多言語自然言語推論ベンチマークであるXNLIの性能と相関することを示した。 これは、類似性駆動の大規模一般化に関する古典的な研究を拡張し、類似言語を表すモデルが、類似言語から別の言語へどのようにより良く一般化されるかを示す。

関連論文リスト

• When Language Representations Interact: Separability and Cross-Lingual Effects in LLMs [20.39151103511549]
  大規模言語モデルは強い多言語能力を示すが、その内部表現は解釈が難しい。 近年の研究では、因果幾何学構造が、どのようにある概念がほぼ線形かつ分離可能な方向としてエンコードされているかを説明することができることが示されている。 因果幾何学的解析を多言語LLMに適用し、3つのモデル間の28の両言語コントラストについて検討した。
  論文  参考訳（メタデータ） (2026-06-12T11:00:59Z)
• Multilinguality of Large Language Models From a Structural Perspective [55.097821802807566]
  大規模言語モデル(LLM)は、多言語データに対する事前および後訓練によって複数の言語を処理するのに優れている。 その結果,低リソース言語は高水準言語や中級言語と構造的に異なることが明らかとなった。
  論文  参考訳（メタデータ） (2026-06-01T07:18:09Z)
• Shaping Schema via Language Representation as the Next Frontier for LLM Intelligence Expanding [88.11781604392606]
  本稿では,言語表現を実世界の地図化とモデル化に使用される言語的・象徴的構造として定義する。 我々は、高度な言語表現によるスキーマ形成が、大規模言語モデルの拡張の次のフロンティアであると主張している。
  論文  参考訳（メタデータ） (2026-05-10T02:42:29Z)
• When Less Language is More: Language-Reasoning Disentanglement Makes LLMs Better Multilingual Reasoners [111.50503126693444]
  言語固有のアブレーションは多言語推論性能を継続的に向上させることを示す。 トレーニング後のアブレーションと比較して、トレーニング不要のアブレーションは、計算オーバーヘッドを最小限に抑えながら、同等または優れた結果が得られる。
  論文  参考訳（メタデータ） (2025-05-21T08:35:05Z)
• Language-Specific Latent Process Hinders Cross-Lingual Performance [38.36668133949413]
  大規模言語モデル(LLM)は言語間移動が可能なが、異なる言語で書かれたのと同じクエリで入力されたときに一貫性のない出力を生成することができる。 言語間の表現類似度を測定し,LLMの暗黙的なステップを解釈するためにロジットレンズを適用し,多言語多選択推論問題の解法を提案する。 分析の結果,LLMは共通意味空間で作業するのではなく,言語間で異なる表現に依存しているため,不整合性を予測でき,精度が低いことが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-19T14:10:15Z)
• High-Dimensional Interlingual Representations of Large Language Models [65.77317753001954]
  大規模言語モデル(LLM)は、多言語データセットに基づいて訓練され、言語間構造の形成を示唆する。 資源レベル, 類型, 地理的地域によって異なる31の多様な言語を探索する。 多言語 LLM は非一貫性な言語間アライメントを示す。
  論文  参考訳（メタデータ） (2025-03-14T10:39:27Z)
• How Proficient Are Large Language Models in Formal Languages? An In-Depth Insight for Knowledge Base Question Answering [52.86931192259096]
  知識ベース質問回答(KBQA)は,知識ベースにおける事実に基づいた自然言語質問への回答を目的としている。 最近の研究は、論理形式生成のための大規模言語モデル(LLM)の機能を活用して性能を向上させる。
  論文  参考訳（メタデータ） (2024-01-11T09:27:50Z)
• Probing LLMs for Joint Encoding of Linguistic Categories [10.988109020181563]
  大規模言語モデル(LLM)における言語カテゴリーの合同符号化をテストするためのフレームワークを提案する。 関連音声(POS)クラスと異なる(POSクラスと関連する構文依存関係)言語階層の双方で共同符号化の証拠を見いだした。
  論文  参考訳（メタデータ） (2023-10-28T12:46:40Z)
• Are Structural Concepts Universal in Transformer Language Models? Towards Interpretable Cross-Lingual Generalization [27.368684663279463]
  本稿では,言語間の概念対応を明確に整合させ,言語間の一般化を促進する可能性について検討する。 言語構文の側面をテストベッドとして,43言語を解析した結果,高い整合性を示した。 本稿では,メタラーニングに基づく概念空間の整合学習手法を提案する。
  論文  参考訳（メタデータ） (2023-10-19T14:50:51Z)
• GL-CLeF: A Global-Local Contrastive Learning Framework for Cross-lingual Spoken Language Understanding [74.39024160277809]
  この問題に対処するために,グローバルローカルコントラスト学習フレームワーク(GL-CLeF)を提案する。 具体的には、比較学習を採用し、二言語辞書を活用して、同じ発話の多言語ビューを構築する。 GL-CLeFは最高のパフォーマンスを達成し、言語間の類似した文の表現をうまくプルする。
  論文  参考訳（メタデータ） (2022-04-18T13:56:58Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。