論文の概要: The Geometry of Low-Resource Language Representations

• arxiv url: http://arxiv.org/abs/2608.23358v1
• Date: Mon, 24 Aug 2026 15:06:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:44.163859
• Title: The Geometry of Low-Resource Language Representations
• Title（参考訳）: 低リソース言語表現の幾何学
• Abstract要約: LLMにおける低リソース言語と高リソース言語のパフォーマンスギャップは広く知られているが、どの内部モデル要素がこれらの違いを駆動しているのかは定かではない。 隠れ表現の幾何学的性質を30言語で比較する。 9基のLDMを10のアフリカ言語に単言語で適応させる実験は、幾何学的正規化が表現退化を効果的に減少させることを示した。
• 参考スコア（独自算出の注目度）: 11.09360259927697
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The performance gap between low- and high-resource languages in LLMs is widely known, but it remains unclear which internal model factors drive these disparities. In this paper, we characterise this gap through the lens of representational geometry. Comparing the geometric properties of hidden representations across 30 languages reveals that LLM geometry is systematically related to language data availability. The most consistent effect is in final layers, where low-resource languages exhibit representational degeneration. To counter this, we investigate the effectiveness of regularisation terms to penalise degeneration during continued pretraining (CPT). Experiments monolingually adapting 9 base LLMs to 10 African languages show that geometric regularisation successfully reduces representational degeneration during CPT. For larger models, cosine similarity-based regularisation marginally improves performance over vanilla CPT, with more consistent gains on the most challenging tasks. We establish that the representational geometry of low- and high-resource languages in LLMs is measurably distinct, and that targeted geometric intervention is a viable strategy for improving CPT for low-resource languages.
• Abstract（参考訳）: LLMにおける低リソース言語と高リソース言語のパフォーマンスギャップは広く知られているが、どの内部モデル要素がこれらの違いを駆動しているのかは定かではない。 本稿では,このギャップを表現幾何学のレンズを通して特徴づける。 30言語にまたがる隠れ表現の幾何学的性質を比較すると、LLM幾何は言語データの可用性に体系的に関連していることがわかる。 最も一貫した効果は、低リソース言語が表現退化を示す最終層にある。 そこで本研究は,CPT(Continuous Pretraining)における変性抑制のための正則化条件の有効性について検討した。 9基のLDMを10のアフリカ言語に単言語で適応させる実験は、幾何学的正規化がCPT中の表現退化をうまく減少させることを示した。 大型モデルでは、コサイン類似性に基づく正規化はバニラCPTよりもパフォーマンスを極端に向上させ、最も困難なタスクではより一貫した利得を得る。 我々は,低リソース言語における低リソース言語と高リソース言語の表現幾何学が著しく異なることを証明し,低リソース言語におけるCPTを改善するための有効な手法であることを示す。

関連論文リスト

• GAP-MLLM: Geometry-Aligned Pre-training for Activating 3D Spatial Perception in Multimodal Large Language Models [70.61152292499737]
  このギャップは、幾何学的事前の不足から生じるものではなく、訓練パラダイムの誤った調整から生じるものである、と我々は主張する。 既存のアプローチでは、通常、特徴の結合を示唆し、幾何学的な監督なしに下流のタスクを直接最適化する。 本稿では,下流適応前の構造知覚を明示的に活性化する幾何学的事前学習パラダイムであるGAP-MLLMを提案する。
  論文  参考訳（メタデータ） (2026-03-17T12:43:48Z)
• SpatialGeo:Boosting Spatial Reasoning in Multimodal LLMs via Geometry-Semantics Fusion [23.86761713752287]
  MLLM(Multimodal large language model)は、画像および言語タスクにおいて大きな進歩を遂げている。 ほとんどのMLLMは、空間的配置を3次元空間で解釈し推論する限られた空間的推論能力に悩まされている。 幾何学と意味論の階層的融合に基づく新しい視覚エンコーダを提案し,空間認識型視覚埋め込みを生成する。
  論文  参考訳（メタデータ） (2025-11-21T15:24:33Z)
• Low-Resource Dialect Adaptation of Large Language Models: A French Dialect Case-Study [0.043496401697112684]
  タイトなデータと計算予算に基づく方言学習における継続事前学習(CPT)の利用について検討した。 我々は、非常に小さなデータセットを使用してQu'ebecフランス語方言に3つの大きな言語モデルを適用し、それらをCOLEスイートでベンチマークする。 実験では, モデルパラメータの1%以下を更新した名声言語ベンチマークにおいて, 最小回帰によるマイノリティ弁証法の改良を実証した。
  論文  参考訳（メタデータ） (2025-10-26T16:49:06Z)
• Are the LLMs Capable of Maintaining at Least the Language Genus? [5.748049484273442]
  種レベルの効果は存在するが、訓練資源の可用性によって強く条件付けされていることを示す。 以上の結果から,LLMは属レベルの構造をコードするが,学習データの不均衡が多言語的性能を形作る主要な要因であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-24T15:20:40Z)
• The Emergence of Abstract Thought in Large Language Models Beyond Any Language [95.50197866832772]
  大規模言語モデル(LLM)は様々な言語で効果的に機能する。 予備的研究では、LLMの隠れた活性化は、英語以外のプロンプトに反応してもしばしば英語に類似している。 近年の結果は多言語のパフォーマンスが強く、他の言語での特定のタスクにおける英語のパフォーマンスを超えている。
  論文  参考訳（メタデータ） (2025-06-11T16:00:54Z)
• HELM: Hyperbolic Large Language Models via Mixture-of-Curvature Experts [29.365614317331932]
  我々はHypErbolic Large Language ModelsのファミリーであるHELMを紹介する。 HELM-MICEでは,双曲型マルチヘッド潜在注意法を開発した。 両方のモデルに対して、回転位置符号化と RMS 正規化の本質的な双曲的等価性を開発する。
  論文  参考訳（メタデータ） (2025-05-30T15:42:42Z)
• Enhancing Code Generation for Low-Resource Languages: No Silver Bullet [55.39571645315926]
  大規模言語モデル(LLM)は、プログラミング言語の構文、意味論、使用パターンを学ぶために、大規模で多様なデータセットに依存している。 低リソース言語では、そのようなデータの限られた可用性は、モデルを効果的に一般化する能力を損なう。 本稿では,低リソース言語におけるLLMの性能向上のためのいくつかの手法の有効性を実証研究する。
  論文  参考訳（メタデータ） (2025-01-31T12:23:28Z)
• Bridging the Language Gaps in Large Language Models with Inference-Time Cross-Lingual Intervention [71.12193680015622]
  大規模言語モデル(LLM)は自然言語処理において顕著な能力を示している。 LLMは異なる言語間で大きな性能差を示す。 Inference-Time Cross-Lingual Intervention (INCLINE) を提案する。
  論文  参考訳（メタデータ） (2024-10-16T11:23:03Z)
• Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
  大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。 モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
  論文  参考訳（メタデータ） (2024-02-28T04:56:21Z)
• Unveiling Linguistic Regions in Large Language Models [49.298360366468934]
  大規模言語モデル (LLM) は言語間アライメントと一般化能力を示す。 本稿では,LLMの言語能力に関するいくつかの調査を行う。
  論文  参考訳（メタデータ） (2024-02-22T16:56:13Z)
• Evaluating the Effectiveness of Large Language Models in Representing Textual Descriptions of Geometry and Spatial Relations [2.8935588665357086]
  本研究では,大規模言語モデル(LLM)の空間的関係の表現能力を評価することに焦点を当てた。 我々は GPT-2 や BERT などの LLM を用いて、よく知られたジオメトリのテキスト (WKT) フォーマットを符号化し、それらの埋め込みを分類器や回帰器に入力する。 実験では、LLMが生成した埋め込みは幾何型を保存し、いくつかの空間的関係(精度は73%まで)を捉えることができるが、数値を推定し、空間的関連オブジェクトを検索する際の課題が残っている。
  論文  参考訳（メタデータ） (2023-07-05T03:50:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。