論文の概要: Learning through Internalization

• arxiv url: http://arxiv.org/abs/2606.20937v1
• Date: Thu, 18 Jun 2026 21:01:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 11:46:02.401687
• Title: Learning through Internalization
• Title（参考訳）: 内部化による学習
• Authors: Nikolaos Tsilivis, Nirmit Joshi, Marko Medvedev, Julia Kempe, Nati Srebro,
• Abstract要約: 本稿では、ニューラルネットワークに基づくシステムが明示的な計算手順を自身の重みに吸収する内部化過程について検討する。 本研究では,半オートマタのシミュレーションを,CoTトークンの内部化によって内部化する方法について検討する。 単純化された一層変圧器は、まず明らかにCoTを監督して目標を学習し、CoTトークンが徐々に除去されるにつれて自己回帰生成を内部化することを示す。
• 参考スコア（独自算出の注目度）: 34.00603055182392
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study internalization processes, by which neural-network-based systems absorb an explicit computational procedure into their own weights, and how they facilitate learning. We investigate how transformers internalize the simulation of semiautomata by internalizing chain-of-thought (CoT) tokens, which classes of semiautomata are harder to internalize, and expose the flip side of internalization, that is, a progressive degradation of out-of-distribution performance. We then provide the first provable analysis of successful internalization: for the task of learning parities, we show that a simplified one-layer transformer provably first learns the target with explicit CoT supervision and then internalizes the autoregressive generation as CoT tokens are progressively removed, learning to directly compute the parity. This task is computationally hard to learn from data without CoT supervision. Finally, we discuss how learning through internalization relates to the \textit{Positive Distribution Shift} phenomenon recently introduced by~\citet{Med+26}.
• Abstract（参考訳）: 本研究では、ニューラルネットワークに基づくシステムが明示的な計算手順を自分たちの重みに吸収し、学習を促進する内部化プロセスについて研究する。 本研究では,半オートマタのクラスが内部化が困難であるCoTトークンを内在化することで,半オートマタのシミュレーションを内部化する方法について検討する。 パリティを学習するタスクにおいて、単純化された一層トランスフォーマーは、まず明示的にCoTを監督してターゲットを学習し、CoTトークンを段階的に除去し、直接パリティを計算することで自己回帰生成を内部化することを示す。 このタスクは、CoTの監督なしにデータから学ぶのが困難である。 最後に, 内部化による学習が, 近頃~\citet{Med+26} によって導入された \textit{Positive Distribution Shift} 現象とどのように関係するかを論じる。

関連論文リスト

• Tracing the Thought of a Grandmaster-level Chess-Playing Transformer [62.403498221631715]
  本稿では,Leela Chess Zeroの内部計算を解釈するスパース分解フレームワークを提案する。 これらの経路が豊富で解釈可能な考察を露呈することを示す詳細なケーススタディを行う。 我々の知る限りでは、これは計算モジュールと注意モジュールの両方で変換器の内部計算を分解する最初の試みである。
  論文  参考訳（メタデータ） (2026-04-11T11:11:06Z)
• The Kinetics of Reasoning: How Chain-of-Thought Shapes Learning in Transformers? [25.29458951592086]
  チェーン・オブ・シント(CoT)の監督はトランスフォーマーの性能を大幅に向上させることができる。 シンボリック推論タスクにおけるトランスフォーマーの事前学習により、これらの学習ダイナミクスをグラクキングのレンズを通して検討する。
  論文  参考訳（メタデータ） (2025-10-28T20:14:26Z)
• (How) Do Language Models Track State? [52.03388573068501]
  トランスフォーマー言語モデル(LM)は、進化する世界の未観測状態を追跡する必要があるように見える振る舞いを示す。 順列を構成するために訓練された、あるいは微調整されたLMにおける状態追跡について検討した。 LMは2つの状態追跡機構のうちの1つを一貫して学習していることを示す。
  論文  参考訳（メタデータ） (2025-03-04T18:31:02Z)
• A distributional simplicity bias in the learning dynamics of transformers [50.91742043564049]
  自然言語データに基づいてトレーニングされたトランスフォーマーは、単純さのバイアスも示している。 具体的には、入力トークン間の多体相互作用を逐次学習し、低次相互作用の予測誤差において飽和点に達する。 このアプローチは、自然言語処理などにおいて、データ内の異なる順序の相互作用が学習にどのように影響するかを研究する可能性を開く。
  論文  参考訳（メタデータ） (2024-10-25T15:39:34Z)
• Interpreting Affine Recurrence Learning in GPT-style Transformers [54.01174470722201]
  インコンテキスト学習により、GPTスタイルのトランスフォーマーは、重みを変更することなく推論中に一般化できる。 本稿では,ICLタスクとしてアフィンの再発を学習し,予測する能力に着目する。 実験的手法と理論的手法の両方を用いてモデルの内部動作を分析する。
  論文  参考訳（メタデータ） (2024-10-22T21:30:01Z)
• Progress measures for grokking via mechanistic interpretability [27.35925102247588]
  モジュール付加タスクを訓練した小型変圧器による「グルーキング」現象について検討した。 以上の結果から,グラッキングは突然のシフトではなく,重みに符号化された構造機構の段階的な増幅から生じることが示唆された。
  論文  参考訳（メタデータ） (2023-01-12T18:56:49Z)
• Understanding Learning Dynamics for Neural Machine Translation [53.23463279153577]
  ロス・チェンジ・アロケーション (LCA)citeplan 2019-loss-change-allocation を用いてNMTの学習力学を理解することを提案する。 LCAは更新毎にデータセット全体の勾配を計算する必要があるため、NMTシナリオで実際に実施するための近似を提示する。 シミュレーション実験により, 近似計算は効率的であり, 実験により一貫した結果が得られることを示した。
  論文  参考訳（メタデータ） (2020-04-05T13:32:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。