論文の概要: A Shared Geometry of Difficulty in Multilingual Language Models

• arxiv url: http://arxiv.org/abs/2601.12731v1
• Date: Mon, 19 Jan 2026 05:21:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.763914
• Title: A Shared Geometry of Difficulty in Multilingual Language Models
• Title（参考訳）: 多言語言語モデルにおける難易度の共有幾何
• Authors: Stefano Civelli, Pietro Bernardelle, Nicolò Brunello, Gianluca Demartini,
• Abstract要約: 大規模言語モデル(LLM)における問題微分の多言語幾何学について検討する。 モデル内部の2つの異なる段階に難易度関連信号が出現することを発見した。
• 参考スコア（独自算出の注目度）: 3.8439345751986913
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Predicting problem-difficulty in large language models (LLMs) refers to estimating how difficult a task is according to the model itself, typically by training linear probes on its internal representations. In this work, we study the multilingual geometry of problem-difficulty in LLMs by training linear probes using the AMC subset of the Easy2Hard benchmark, translated into 21 languages. We found that difficulty-related signals emerge at two distinct stages of the model internals, corresponding to shallow (early-layers) and deep (later-layers) internal representations, that exhibit functionally different behaviors. Probes trained on deep representations achieve high accuracy when evaluated on the same language but exhibit poor cross-lingual generalization. In contrast, probes trained on shallow representations generalize substantially better across languages, despite achieving lower within-language performance. Together, these results suggest that LLMs first form a language-agnostic representation of problem difficulty, which subsequently becomes language-specific. This closely aligns with existing findings in LLM interpretability showing that models tend to operate in an abstract conceptual space before producing language-specific outputs. We demonstrate that this two-stage representational process extends beyond semantic content to high-level meta-cognitive properties such as problem-difficulty estimation.
• Abstract（参考訳）: 大規模言語モデル(LLMs)における問題拡散の予測(英: Predicting problem-difficulty)とは、内部表現の線形プローブを訓練することによって、モデル自体によるタスクの難しさを推定することである。 本研究では,21言語に翻訳されたEasy2HardベンチマークのAMCサブセットを用いて線形プローブを訓練することにより,LLMにおける問題微分の多言語的幾何について検討する。 モデル内部の2つの異なる段階において,機能的に異なる動作を示す浅層(初期層)と深層(後期層)の内部表現に対応する困難関連信号が出現することを発見した。 深層表現を訓練したプローブは同じ言語で評価すると高い精度が得られるが、言語間の一般化は不十分である。 対照的に、浅い表現で訓練されたプローブは、言語内での性能が低いにもかかわらず、言語間でかなり良く一般化される。 これらの結果は、LLMがまず言語に依存しない問題難度表現を形成し、後に言語固有のものとなることを示唆している。 これは、言語固有の出力を生成する前に抽象的な概念空間でモデルが動作する傾向があることを示すLLM解釈可能性における既存の知見と密接に一致している。 この2段階の表現過程は、意味的内容を超えて、問題微分推定のような高レベルなメタ認知特性にまで拡張されていることを実証する。

関連論文リスト

• Multilingual Routing in Mixture-of-Experts [45.90403983668531]
  並列多言語データセットを用いて、専門家のルーティングパターンを分析する。 MoEモデルは、初期および後期のデコーダ層において、言語固有の方法でトークンをルーティングする。 本稿では,英語で頻繁に活性化される中層タスクエキスパートの促進により,ルータを操る手法を提案する。
  論文  参考訳（メタデータ） (2025-10-06T11:09:20Z)
• Your Pretrained Model Tells the Difficulty Itself: A Self-Adaptive Curriculum Learning Paradigm for Natural Language Understanding [53.63482987410292]
  本稿では,事前学習言語モデルにより予測される難易度に基づいて,微調整例を優先する自己適応型カリキュラム学習パラダイムを提案する。 本手法は,4つの自然言語理解(NLU)データセットを用いて,二項分類と多項分類の両方を対象とする手法について検討した。
  論文  参考訳（メタデータ） (2025-07-13T19:36:17Z)
• IMPACT: Inflectional Morphology Probes Across Complex Typologies [0.0]
  IMPACTは、屈折形態学に焦点を当てた、合成的に生成された評価フレームワークである。 アラビア語、ロシア語、フィンランド語、トルコ語、ヘブライ語という5つの形態学的に豊かな言語のパフォーマンスを評価するように設計されている。 英語のパフォーマンスが強いにもかかわらず、他の言語と競合する8つの多言語LLMと、一般的でない形態素パターンを評価した。
  論文  参考訳（メタデータ） (2025-06-30T14:58:23Z)
• Language Surgery in Multilingual Large Language Models [39.66404344691661]
  大規模言語モデル(LLM)はタスクや言語にまたがる顕著な一般化機能を示している。 本稿では, LLMにおける自然に出現する表現アライメント, 特に中層における表現アライメントについて検討する。 Inference-Time Language Control (ITLC) を提案する。
  論文  参考訳（メタデータ） (2025-06-14T11:09:50Z)
• Cross-Lingual Pitfalls: Automatic Probing Cross-Lingual Weakness of Multilingual Large Language Models [55.14276067678253]
  本稿では,Large Language Models (LLMs) における言語間関係の弱点を効率的に同定するための新しい手法を提案する。 この手法を用いて16言語で6,000以上のバイリンガルペアからなる新しいデータセットを構築し、最先端のモデルにおいても弱点を明らかにする効果を実証した。 さらに,言語的類似性と言語間の弱点との関係について検討し,言語的関連言語が類似した演奏パターンを共有することを明らかにした。
  論文  参考訳（メタデータ） (2025-05-24T12:31:27Z)
• Mechanistic Understanding and Mitigation of Language Confusion in English-Centric Large Language Models [56.61984030508691]
  言語混乱に関する最初の機械論的解釈可能性研究について述べる。 混乱点(CP)がこの現象の中心であることを示す。 比較分析によって同定された少数の臨界ニューロンを多言語で調整したニューロンで編集すると、混乱が著しく軽減されることがわかった。
  論文  参考訳（メタデータ） (2025-05-22T11:29:17Z)
• Enhancing Non-English Capabilities of English-Centric Large Language Models through Deep Supervision Fine-Tuning [42.166438218926274]
  本稿では、モデルの内部層にさらなる監視を取り入れ、ワークフローをガイドする深層監視微調整法(DFT)を提案する。 提案手法は,非英語入力処理における最終生成結果だけでなく,内部表現の精度も保証する。
  論文  参考訳（メタデータ） (2025-03-03T07:59:32Z)
• Mitigating Data Imbalance and Representation Degeneration in Multilingual Machine Translation [103.90963418039473]
  Bi-ACLは、MNMTモデルの性能を向上させるために、ターゲット側モノリンガルデータとバイリンガル辞書のみを使用するフレームワークである。 Bi-ACLは、長い尾の言語でも、高リソースの言語でも、より効果的であることを示す。
  論文  参考訳（メタデータ） (2023-05-22T07:31:08Z)
• Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of Multilingual Language Models [73.11488464916668]
  本研究では,多言語事前学習プロセスのダイナミクスについて検討する。 我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。 分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-05-24T03:35:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。