論文の概要: Language Re-generation: An investigation into information locality effects on reconstruction
- arxiv url: http://arxiv.org/abs/2607.10268v1
- Date: Sat, 11 Jul 2026 11:55:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 15:40:48.366352
- Title: Language Re-generation: An investigation into information locality effects on reconstruction
- Title（参考訳）: 言語再生:情報局所性が再建に与える影響に関する研究
- Abstract要約: 本研究では,不可能な言語から自然言語を復元できる言語モデルについて検討する。
本研究により, 復元された構造体は, 原文よりも短い依存長を示すことが明らかとなった。
回復困難は摂動型をまたいだ学習可能性の難しさを追跡し、情報の局所性はどちらも共有制約であることを示唆する。
- 参考スコア（独自算出の注目度）: 4.0516133398654555
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Information locality, the tendency for syntactically related words to appear close together, shapes both human language processing and language model learning. While prior work has examined whether language models can acquire impossible languages, it remains unclear whether they can recover natural language from such input and what this reveals about their inductive biases. We address this by complementing learnability-based approaches with a reconstruction framework: fine-tuning GPT-2 models pre-trained on impossible languages to reconstruct natural English from three perturbation types. Our findings show that the recovered structures exhibit shorter dependency lengths than the original text, mirroring the locality preference observed in unconstrained language model generation and providing a quantitative signature of an architectural bias that learnability experiments alone do not reveal. Recovery difficulty increases with the degree of locality disruption. Structural recovery (dependency Triple F1) dissociates from surface recovery (Exact Match), while fluency dissociates from faithful reconstruction under global shuffling. Sentence length further modulates performance: longer sentences facilitate recovery when local structure is preserved but lead to complete collapse under global shuffling. Finally, recovery difficulty tracks learnability difficulty across perturbation types, suggesting that information locality is the shared constraint governing both.
- Abstract（参考訳）: 情報局所性(英: information locality)とは、人間の言語処理と言語モデル学習の両方を形作っている。
これまでの研究では、言語モデルが不可能な言語を習得できるかどうかを検討したが、そのような入力から自然言語を回復できるかどうかや、それが帰納的バイアスに何をもたらすのかは不明だ。
3つの摂動型から自然英語を再構築するために、不可能な言語で事前訓練されたGPT-2モデルを微調整することで、学習可能性に基づくアプローチを再構築フレームワークで補完することで、この問題に対処する。
得られた構造は原文よりも短い依存関係長を示し,非制約言語モデル生成における局所性嗜好を反映し,学習可能性実験だけでは明らかでないアーキテクチャバイアスの定量的なシグネチャを提供する。
回復困難は、局地性破壊の程度によって増大する。
構造回復(dependency Triple F1)は表面回復(Exact Match)から解離し,拡散はグローバルシャッフルによる忠実な再構築から解離する。
より長い文は局所構造が保存されているときに回復を促進するが、グローバルシャッフルの下では完全に崩壊する。
最後に、回復困難は摂動型間での学習可能性の難しさを追跡し、情報の局所性はどちらも共有制約であることを示唆する。
関連論文リスト
- Lost in Reordering: Structural Sensitivity of Multilingual LLMs under Semantics-Preserving Perturbations [19.00420862366793]
大規模言語モデル(LLM)は、多言語推論性能を示すが、セマンティクスの保存構造的変動に対する頑健さは未解明のままである。
ヒンディー語とマラヤラム語における2つの言語基盤摂動設定を用いた多言語LLMの構造感度について検討した。
我々は、構造的摂動入力下での数学的推論性能の一貫性と顕著な劣化を観察する。
論文 参考訳（メタデータ） (2026-09-03T08:10:43Z) - Improving Lexical Difficulty Prediction with Context-Aligned Contrastive Learning and Ridge Ensembling [0.08007292130604839]
語彙難易度予測は、言語学習と可読性評価の基本的な問題である。
既存のアプローチは、スカラーの監督を伴う回帰のみのトレーニングに依存している。
本稿では,リッジ回帰アンサンブルを2つの相補的目的と統合したコンテキストアラインなコントラスト回帰を提案する。
論文 参考訳（メタデータ） (2026-05-09T13:43:54Z) - Compensating Visual Insufficiency with Stratified Language Guidance for Long-Tail Class Incremental Learning [50.795452298625996]
ロングテールクラスのインクリメンタルラーニング(LT CIL)は、テールクラスのサンプルの不足が学習を妨げているため、依然として非常に困難である。
これらの問題に対処するために、言語知識の情報性とスケーラビリティを活用します。
階層化適応型言語指導を導入し、学習可能な重みを利用してマルチスケールの意味表現をマージする。
論文 参考訳（メタデータ） (2026-03-23T08:50:00Z) - Correlation Dimension of Auto-Regressive Large Language Models [11.183390901786659]
大規模言語モデル(LLM)は、自然言語生成において顕著な進歩を遂げた。
彼らは、低難易度を示すときでさえ、繰り返しや不整合のようなファジィな行動を示し続けている。
本稿では,テキストの複雑さを定量化するために,自己相似性のフラクタル幾何学的尺度である相関次元を導入する。
論文 参考訳（メタデータ） (2025-10-24T08:42:23Z) - Understanding the Dilemma of Unlearning for Large Language Models [50.54260066313032]
Unlearningは、大きな言語モデル(LLM)から特定の知識を取り除こうとしている。
提案するunPactは,帰納的帰属とコントリビューショントラッキングによるアンラーニングのための解釈可能なフレームワークである。
論文 参考訳（メタデータ） (2025-09-29T12:15:19Z) - Weight Factorization and Centralization for Continual Learning in Speech Recognition [55.63455095283984]
リハーサルのない多言語、言語に依存しない状態でモデルを継続的に訓練することは、破滅的な忘れを招きかねない。
人間の脳が覚醒サイクルを通じて知識を学習・統合する能力に着想を得て,継続的な学習手法を提案する。
論文 参考訳（メタデータ） (2025-06-19T19:59:24Z) - Mechanistic Understanding and Mitigation of Language Confusion in English-Centric Large Language Models [56.61984030508691]
言語混乱に関する最初の機械論的解釈可能性研究について述べる。
混乱点(CP)がこの現象の中心であることを示す。
比較分析によって同定された少数の臨界ニューロンを多言語で調整したニューロンで編集すると、混乱が著しく軽減されることがわかった。
論文 参考訳（メタデータ） (2025-05-22T11:29:17Z) - For GPT-4 as with Humans: Information Structure Predicts Acceptability of Long-Distance Dependencies [0.8062201442038958]
標準文の情報構造に関する英語話者の判断は、独立して収集された受容可能性評価を予測する。
我々はGPT-4を人間と新しい拡張で使用するのと同じタスクで探索する。
その結果,情報構造と受容可能性に関する信頼性の高いメタ言語的スキルが明らかにされた。
論文 参考訳（メタデータ） (2025-05-13T22:41:13Z) - Punctuation Restoration Improves Structure Understanding Without Supervision [5.925894224649895]
学習目的としての句読点復元が構造関連タスクの性能を向上させることを示す。
その結果,句読点復元は構造理解を向上する効果的な学習目標であることが示唆された。
論文 参考訳（メタデータ） (2024-02-13T11:22:52Z) - Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。
自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
論文 参考訳（メタデータ） (2022-10-14T02:35:19Z) - Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning [57.4036085386653]
文ペア分類タスクのプロンプトベースモデルでは,語彙重なりに基づく推論の一般的な落とし穴が依然として残っていることを示す。
そこで,プレトレーニングウェイトを保存する正規化を加えることは,この破壊的な微調整の傾向を緩和するのに有効であることを示す。
論文 参考訳（メタデータ） (2021-09-09T10:10:29Z) - Learning Music Helps You Read: Using Transfer to Study Linguistic
Structure in Language Models [27.91397366776451]
遅延構造(MIDI音楽またはJavaコード)上でのLSTMのトレーニングは、自然言語でのテストパフォーマンスを改善する。
語彙重なりに制御される自然言語間の移動実験により,試験言語におけるゼロショット性能は,訓練言語とタイプ的類似性に強く相関していることが示された。
論文 参考訳（メタデータ） (2020-04-30T06:24:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。