論文の概要: The Information Shadow: Measuring Structural Limits on What Language Models Can Learn

• arxiv url: http://arxiv.org/abs/2607.18305v1
• Date: Fri, 17 Jul 2026 06:04:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-22 19:05:05.1746
• Title: The Information Shadow: Measuring Structural Limits on What Language Models Can Learn
• Title（参考訳）: 情報シャドウ - 言語モデルが学べる構造的限界を計測する
• Abstract要約: 情報シャドー: テキスト学習者がスケールに関係なく取得できない現象。 Type Iでは、Language Compression Residualsは、信号が失われるテキストライクなエンコーディングしか見ないテキスト学習者と、信号を直接見るフルシグナル学習者を比較する。 II型では、非現実的識別テストは2つの非互換なルールと完全に一致したデータでモデルを訓練する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Some limits on what language models know are not gaps in data coverage but structural properties of learning from text. We introduce the information shadow: the region of phenomena that a text-trained learner cannot acquire regardless of scale, comprising (I) structures language cannot express, (II) functions that are statistically non-identifiable from the training distribution, and (III) functions that are representable but unreachable by gradient-based training. We give each type a probe that is decisive because the premise of the shadow is, in that setting, provable. For Type I, Language Compression Residuals compare a text learner, which sees only a lossy text-like encoding of the signal, against a full-signal learner, which sees the underlying signal directly. The text learner sits at a computable expressibility ceiling while the full-signal learner pulls away by a gap that stays flat across 300x more data, so the deficit is a property of the channel, not of training. For Type II, the Counterfactual Distinction Test trains models on data exactly consistent with two incompatible rules. Across a provable string task and a language-like agreement task, behavior on counterfactuals is set by the model's inductive bias, while 5% disambiguating data steers the learned rule bidirectionally to either target (r = +/-1.0, p < 1e-10). For Type III, Basin Escape Mapping exhibits a function that is representable at 100% (by hand construction) yet reached 0% of the time by standard training and instantly from a nearby initialization, with width scaling providing no help (p = 1.6 x 10^-14). Each effect is isolated by a control that rules out a capacity or modality artifact. We release the probe suite and discuss implications for benchmark design, capability auditing, and shadow-aware uncertainty.
• Abstract（参考訳）: 言語モデルが知っていることのいくつかの制限は、データカバレッジのギャップではなく、テキストから学習する際の構造的特性である。 本稿では,テキスト学習者がスケールに関係なく取得できない現象の領域,(I)構造言語では表現できない機能,(II)学習分布から統計的に識別できない機能,(III)勾配に基づく訓練では表現できない機能,について紹介する。 それぞれのタイプに決定的なプローブを与えます。なぜなら、シャドーの前提は、その設定で証明可能であるからです。 Type Iでは、Language Compression Residualsは、信号が失われるテキストライクなエンコーディングしか見ないテキスト学習者と、信号を直接見るフルシグナル学習者を比較する。 テキスト学習者は計算可能な表現性天井に座り、フルシグナル学習者は300倍以上のデータにまたがって平坦なギャップに引っ掛かる。 II型では、非現実的識別テストは2つの非互換なルールと完全に一致したデータでモデルを訓練する。 証明可能な文字列タスクと言語ライクな合意タスク全体では、逆ファクトの動作はモデルの帰納バイアスによって設定され、5%の曖昧なデータでは、学習されたルールを目的(r = +/-1.0, p < 1e-10)に双方向に制御する。 タイプIIIでは、ベースラインエスケープマッピングは100%(手作りで)で表現できるが、標準訓練で0%に達し、近くの初期化から即座に到達する機能を示し、幅のスケーリングは助けにならない(p = 1.6 x 10^-14)。 それぞれの効果は、キャパシティやモダリティのアーティファクトを規定するコントロールによって分離される。 調査スイートを公開し、ベンチマーク設計、機能監査、シャドウアウェアの不確実性について論じる。

関連論文リスト

• Not All Synthetic Data Is Yours to Learn From [68.13136636413601]
  弱い自己学習は、事前訓練モデルにすでに存在する能力を増幅できることを示す。 我々はこれを、プロンプトフリーな無条件自己学習の最小設定で研究する。
  論文  参考訳（メタデータ） (2026-05-29T10:34:11Z)
• Learning the Signature of Memorization in Autoregressive Language Models [3.6048665052465663]
  我々は,任意のコーパス上の任意のモデルを微調整することで,ラベル付きデータを無制限に生成する,最初のトランスファー可能な学習攻撃を導入する。 これにより、シャドーモデルボトルネックが取り除かれ、深層学習時代へのメンバシップ推論がもたらされる。
  論文  参考訳（メタデータ） (2026-04-03T17:17:51Z)
• Fresh in memory: Training-order recency is linearly encoded in language model activations [27.40847212269813]
  学習中に学習した情報に対して,言語モデルのアクティベーションが線形に符号化されることを示す。 その結果、6つのトレーニングデータセットに対応するテストサンプルの平均的なアクティベーションがトレーニング順序を符号化していることがわかった。
  論文  参考訳（メタデータ） (2025-09-17T17:54:22Z)
• Erasing Without Remembering: Implicit Knowledge Forgetting in Large Language Models [81.62767292169225]
  我々は,その一般化に着目して,大規模言語モデルにおける知識の忘れについて検討する。 確率摂動に基づく新しいアンラーニングパラダイムであるPerMUを提案する。 TOFU、Harry Potter、ZsRE、WMDP、MUSEなど、さまざまなデータセットで実験が行われている。
  論文  参考訳（メタデータ） (2025-02-27T11:03:33Z)
• Acquiring Linguistic Knowledge from Multimodal Input [10.965306219502303]
  子どもとは対照的に、言語モデル(LM)は言語習得時のデータ効率が著しく劣っている。 我々は、このデータ効率ギャップは、典型的な言語モデルの学習環境におけるマルチモーダル入力の欠如と基礎化によって生じるという仮説を検証した。
  論文  参考訳（メタデータ） (2024-02-27T23:29:10Z)
• Transparency at the Source: Evaluating and Interpreting Language Models With Access to the True Distribution [4.01799362940916]
  人工的な言語のようなデータを用いて、ニューラルネットワークモデルのトレーニング、評価、解釈を行う。 データは、巨大な自然言語コーパスから派生した巨大な確率文法を用いて生成される。 基礎となる真の情報源にアクセスすることで、異なる単語のクラス間の動的学習における顕著な違いと結果が示される。
  論文  参考訳（メタデータ） (2023-10-23T12:03:01Z)
• SignBERT+: Hand-model-aware Self-supervised Pre-training for Sign Language Understanding [132.78015553111234]
  手の動きは手話の表現において重要な役割を担っている。 現在,手話理解(SLU)の深層学習手法は,手話データ資源の不足により過度に適合する傾向にある。 モデル認識ハンドを組み込んだ初の自己教師型事前学習型SignBERT+フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-08T17:16:38Z)
• Discovering Latent Knowledge in Language Models Without Supervision [72.95136739040676]
  既存の言語モデルをトレーニングするテクニックは、真実と正しく一致していない可能性がある。 本稿では,言語モデルの内部アクティベーション内部の潜伏知識を,純粋に教師なしの方法で直接見つけることを提案する。 本手法は, 教師なし, モデル出力がないにもかかわらず, 大規模言語モデルで表される多様な知識を復元できることを示す。
  論文  参考訳（メタデータ） (2022-12-07T18:17:56Z)
• Visually Grounded Compound PCFGs [65.04669567781634]
  言語理解のための視覚的基盤の爆発は、最近多くの注目を集めている。 本研究では,視覚的な文法誘導について検討し,未ラベルテキストとその視覚的キャプションから選挙区を学習する。
  論文  参考訳（メタデータ） (2020-09-25T19:07:00Z)
• Predicting What You Already Know Helps: Provable Self-Supervised Learning [60.27658820909876]
  自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。 本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。 複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
  論文  参考訳（メタデータ） (2020-08-03T17:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。