Fugu-MT 論文翻訳(概要): Informational Antilocality and the Locality Bias in LLMs

論文の概要: Informational Antilocality and the Locality Bias in LLMs

arxiv url: http://arxiv.org/abs/2608.27760v1
Date: Thu, 27 Aug 2026 22:49:08 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-31 17:16:04.16081
Title: Informational Antilocality and the Locality Bias in LLMs
Title（参考訳）: LLMにおける情報的アンチローカリティと局所バイアス
Abstract要約: 我々は、$k$連続シンボルのあらゆる範囲で相互情報を持たない言語を考える。我々は、これらの言語を$k$の増加とともに構築し、LLMが非局所性によらず、同等のクロスエントロピー損失を達成することを発見した。この発見は,非ローカル依存関係の学習が困難であるという考えを支持するものだが,このバイアスの証拠は,学習の成功よりも学習速度に起因している。
参考スコア（独自算出の注目度）: 7.344561350888161
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We consider the ability of transformer-based language models (LLMs) to learn what we call k-antilocal languages, i.e., languages that have no mutual information across any span of $k$ contiguous symbols. We construct such languages with increasing $k$, finding that LLMs trained on them achieve comparable cross-entropy loss regardless of antilocality, but converge more slowly on more antilocal languages. Our findings support the idea that non-local dependencies are more difficult to learn, but the evidence for this bias comes from learning speed rather than learning success.
Abstract（参考訳）: 我々はトランスフォーマーベースの言語モデル(LLM)が、k-antilocal言語と呼ばれるもの、すなわち、$k$contiguous symbolsの任意の範囲で相互情報を持たない言語を学ぶことができると考えている。我々は、これらの言語を$k$の増加とともに構築し、その上で訓練されたLLMが、非局所性に関係なく同等のクロスエントロピー損失を達成するが、よりゆっくりと、より非局所性言語に収束する。この発見は,非ローカル依存関係の学習が困難であるという考えを支持するものだが,このバイアスの証拠は,学習の成功よりも学習速度に起因している。

関連論文リスト

Multilingual Unlearning in LLMs: Transfer, Dynamics, and Reversibility [27.073886293710945]
我々はTOFUベンチマークを5言語に拡張し,多言語アンラーニングについて検討した。未学習の言語以外の言語で事実を“忘れる”能力である未学習のトランスファーが、非常に可変であることに気付きました。
論文参考訳（メタデータ） (2026-06-02T07:55:52Z)
Multilinguality of Large Language Models From a Structural Perspective [55.097821802807566]
大規模言語モデル(LLM)は、多言語データに対する事前および後訓練によって複数の言語を処理するのに優れている。その結果,低リソース言語は高水準言語や中級言語と構造的に異なることが明らかとなった。
論文参考訳（メタデータ） (2026-06-01T07:18:09Z)
Multilingual Large Language Models do not comprehend all natural languages to equal degrees [3.1312895682585595]
大規模言語モデル(LLM)は、人間が情報にアクセスする方法において重要な役割を果たす。ほとんどのベンチマークでは、西洋語、教育語、工業化語、リッチ語、民主語(WEIRD)の言語でLLMを評価する。言語理解タスクにおいて,12言語にまたがる3つの人気モデルを提案する。以上の結果から,類型的に多様な言語にまたがって,言語学的精度が著しく向上していることが示唆された。
論文参考訳（メタデータ） (2026-02-23T17:22:46Z)
Tracing Multilingual Representations in LLMs with Cross-Layer Transcoders [51.380449540006985]
大規模言語モデル(LLM)は多くの言語を処理できるが、どのようにして内部的にこの多様性を表現しているのかは不明だ。言語固有のデコーディングと多言語表現を共有できるのでしょうか? 層間トランスコーダ(CLT)と属性グラフを用いて内部メカニズムを解析する。
論文参考訳（メタデータ） (2025-11-13T22:51:06Z)
When Less Language is More: Language-Reasoning Disentanglement Makes LLMs Better Multilingual Reasoners [111.50503126693444]
言語固有のアブレーションは多言語推論性能を継続的に向上させることを示す。トレーニング後のアブレーションと比較して、トレーニング不要のアブレーションは、計算オーバーヘッドを最小限に抑えながら、同等または優れた結果が得られる。
論文参考訳（メタデータ） (2025-05-21T08:35:05Z)
Explicit Learning and the LLM in Machine Translation [23.7663178803576]
本研究は,文法書に記載された説明を用いて,LLMが新しい言語を学ぶ能力について考察する。しかし、この能力は、学習する言語現象の複雑さが増加するにつれて低下する。
論文参考訳（メタデータ） (2025-03-12T14:57:08Z)
Can Language Models Learn Typologically Implausible Languages? [62.823015163987996]
人間の言語にまたがる文法的特徴は、人間の学習バイアスに起因する興味深い相関関係を示している。言語モデル(LM)が言語普遍性におけるドメイン一般学習バイアスの役割をよりよく決定する方法について論じる。本研究は,英語(頭初期)と日本語(頭最終)の超自然主義的だが反実的なバージョンを用いて,LMを試験する。
論文参考訳（メタデータ） (2025-02-17T20:40:01Z)
Randomly Sampled Language Reasoning Problems Elucidate Limitations of In-Context Learning [9.75748930802634]
機械学習の性能を向上させるために,テキスト内学習の能力について検討する。非常に単純なドメインを考える: 単純な言語タスクにおける次のトークン予測。この課題において LLM は n-gram モデルに一様に劣ることがわかった。
論文参考訳（メタデータ） (2025-01-06T07:57:51Z)
Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
論文参考訳（メタデータ） (2024-06-28T17:03:51Z)
Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
論文参考訳（メタデータ） (2024-06-23T15:15:17Z)
Could We Have Had Better Multilingual LLMs If English Was Not the Central Language? [4.655168524016426]
大規模言語モデル(LLM)は、トレーニング対象の言語に対して強力な機械翻訳能力を示す。我々の研究は、Llama2の翻訳能力について論じている。実験の結果,7B Llama2モデルはこれまでに見たすべての言語に翻訳すると10 BLEU以上になることがわかった。
論文参考訳（メタデータ） (2024-02-21T16:32:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。