論文の概要: Pretraining Latent Information Feedback Transformers with Teacher Supervision

• arxiv url: http://arxiv.org/abs/2609.38149v1
• Date: Tue, 29 Sep 2026 17:57:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.82343
• Title: Pretraining Latent Information Feedback Transformers with Teacher Supervision
• Title（参考訳）: 教師監督による潜時情報フィードバック変換器の事前学習
• Abstract要約: 本稿では、LIFT(Latent Information Feedback Transformer)アーキテクチャとトレーニング手法を紹介する。 そこで我々は,リカレント・ステート・ラーニングを教師による予測問題に転換し,これを実現した。 135Mから1Bパラメータの事前訓練モデルによる実験は、LIFTが標準トランスフォーマーより一貫して優れていることを示している。
• 参考スコア（独自算出の注目度）: 25.353789004521946
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer language models (LMs) are feed-forward: deep-layer representations are never fed back to shallower layers, and the only pathway for information to flow downward across generation steps is the decoded token. This narrow channel forces models to recompute intermediate results and to discard alternative continuations. In this work, we remove this bottleneck during pretraining, introducing the LIFT (Latent Information Feedback Transformer) architecture and training method which enable LMs to propagate state across generation. We achieve this by turning recurrent-state learning into a teacher-forced prediction problem: each input token is paired with an information-dense state, derived from the next-token distribution of an off-the-shelf pretrained LM. The model, extended with a small number of additional parameters, is then trained to predict both the next token and the next state. As the input states are precomputed, pretraining remains fully parallel across positions. At inference, the model's own predicted states are fed back, with a minor computational overhead that decreases with model size. Experiments with pretrained models ranging from 135M to 1B parameters show that LIFT consistently outperforms standard Transformers and baselines on language modeling, downstream reasoning tasks, and procedural tasks under token-matched budget, while being on par with or ahead of compute-matched Transformers. Moreover, a controlled study on a state-tracking task shows that a tiny LIFT outperforms same-size Transformers trained on 8x more data, even when trained with the states of a Transformer that fails the task. Overall, we show that LMs can learn to exploit deep-to-shallow feedback during pretraining via scalable teacher supervision.
• Abstract（参考訳）: トランスフォーマー言語モデル(LM)はフィードフォワードであり、深層表現はより浅い層にフィードバックされることはない。 この狭いチャネルは、モデルに中間結果を再計算し、代替の継続を破棄するよう強制する。 本研究では、このボトルネックを事前学習中に排除し、世代間でLMが状態を伝播できるLIFTアーキテクチャとトレーニング手法を導入する。 本研究では,再帰状態学習を教師が強制する予測問題に転換することで,各入力トークンと情報密度状態のペア化を実現する。 モデルは、少数の追加パラメータで拡張され、次のトークンと次の状態の両方を予測するように訓練される。 入力状態が事前計算されているため、プリトレーニングは位置にわたって完全に並列である。 推測では、モデル自身の予測状態がフィードバックされ、小さな計算オーバーヘッドがモデルサイズによって減少する。 135Mから1Bパラメータの事前トレーニングモデルによる実験では、LIFTは標準のトランスフォーマーとベースラインを一貫して上回り、トークンマッチングされた予算の下での言語モデリング、ダウンストリーム推論タスク、手続きタスクで上回り、計算マッチングされたトランスフォーマーと同程度である。 さらに、状態追跡タスクに関する制御された研究は、小さなLIFTが8倍のデータでトレーニングされた同一サイズのトランスフォーマーよりも優れていることを示している。 総じて、LMは、スケーラブルな教師の指導を通じて、事前学習中に深層から浅層へのフィードバックを活用できることが示される。

関連論文リスト

• PriFT: Prior-Support Guided Supervised Fine-Tuning [74.65198014829393]
  Supervised Fine-tuning (SFT) は、下流タスク適応のための効率的なアプローチである。 SFTはトークン単位で固定されたデモトークンに適合する。 凍結した事前訓練参照からトークン重みを導出し、微調整の影響を受けない安定した再重み付け信号を得るPriFTを提案する。
  論文  参考訳（メタデータ） (2026-06-08T12:14:06Z)
• Introspective X Training: Feedback Conditioning Improves Scaling Across all LLM Training Stages [51.86479668480496]
  私たちは、現在のLLMトレーニングパイプラインの、成長を続ける多くのステージに対して、どのようにより効率的にスケールするかという問題に取り組みます。 オフライン報酬条件強化学習に触発されたイントロスペクティブトレーニング(IXT)を提案する。 IXTは思考報酬モデルを使用して、自然言語の批判に基づくフィードバックでデータを注釈付けし、パイプラインの初期段階から品質に配慮したトレーニングを可能にする。
  論文  参考訳（メタデータ） (2026-05-19T06:04:08Z)
• Abrupt Learning in Transformers: A Case Study on Matrix Completion [15.210510215283882]
  マスク付き言語モデリング(MLM)タスクとして低ランク行列補完問題を定式化する。 BERTモデルをトレーニングして,この課題を低誤差で解決できることが示される。 また、個々のモデルコンポーネントのトレーニングダイナミクスを分析し、突然の損失の減少を理解する。
  論文  参考訳（メタデータ） (2024-10-29T17:08:06Z)
• On Mesa-Optimization in Autoregressively Trained Transformers: Emergence and Capability [34.43255978863601]
  いくつかの説では、トランスフォーマーはオートレアトレーニング中にmesa-optimizerを学習する。 データモーメントに関する強い仮定は、学習されたメザ最適化器が実行可能な十分な必要条件であることを示す。
  論文  参考訳（メタデータ） (2024-05-27T05:41:06Z)
• Supervised Pretraining Can Learn In-Context Reinforcement Learning [96.62869749926415]
  本稿では,意思決定問題における変換器の文脈内学習能力について検討する。 本稿では,変換器が最適動作を予測する教師付き事前学習法であるDPT(Decision-Pretrained Transformer)を導入,研究する。 事前学習した変換器は、オンラインと保守主義の両方をオフラインで探索することで、コンテキスト内における様々なRL問題の解決に利用できる。
  論文  参考訳（メタデータ） (2023-06-26T17:58:50Z)
• Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
  簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。 単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-26T00:43:02Z)
• On the Effect of Pre-training for Transformer in Different Modality on Offline Reinforcement Learning [0.0]
  本研究は,トランスフォーマーモデルからムジョコのオフライン強化学習タスクへの微調整に,言語や視覚などの異なるモーダルデータの事前学習がどのような影響を及ぼすかを検討する。
  論文  参考訳（メタデータ） (2022-11-17T13:34:08Z)
• On the Transferability of Pre-trained Language Models: A Study from Artificial Datasets [74.11825654535895]
  大規模未ラベルテキストデータ上での事前学習言語モデル(LM)により、ダウンストリームのパフォーマンスが極めて容易になる。 我々は,事前学習データに含まれる特定の特徴について,セマンティクス以外では,下流タスクのスクラッチからトレーニングしたデータよりも,事前学習したLMを優れているか検討した。
  論文  参考訳（メタデータ） (2021-09-08T10:39:57Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。