論文の概要: Thinking into the Future: Latent Lookahead Training for Transformers
- arxiv url: http://arxiv.org/abs/2603.20219v1
- Date: Tue, 03 Mar 2026 17:15:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-06 02:36:12.902499
- Title: Thinking into the Future: Latent Lookahead Training for Transformers
- Title（参考訳）: 未来を考える:変圧器のラテンダヘッドトレーニング
- Abstract要約: 次トーケン予測で訓練された自己回帰言語モデルは、一度に1つの離散トークンをサンプリングすることでテキストを生成する。
我々は、モデルが生成前に"考える"ことができるトレーニング戦略である潜在ルックアヘッドを紹介します。
本研究では,潜在ルックアヘッドが,迷路解決やスドク,ProsQAといった計画課題において,自己回帰的,非自己回帰的ベースラインを著しく上回っていることを示す。
- 参考スコア（独自算出の注目度）: 34.73973224120233
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Autoregressive language models trained with next-token prediction generate text by sampling one discrete token at a time. Although very scalable, this objective forces the model to commit at every step, preventing it from exploring or reflecting upon multiple plausible continuations. Furthermore, the compute allocation across tokens is uniform; every token is formed based on a single forward-pass, potentially limiting the model's expressiveness in cases where difficult tokens require inherently more compute. Towards addressing these limitations, we introduce latent lookahead, a training strategy that enables models to "think" before generating: at selected positions in the sequence, before committing to the next token, the model performs a multi-step lookahead in latent space. More precisely, instead of sampling future tokens, we leverage the network's latent space by recursively feeding its hidden states back into the context for $τ$ steps, investing more compute on predicting that token. This produces $τ$ latent predictions that are supervised against the next $τ$ ground-truth tokens, encouraging the model to "lookahead" and refine its prediction. We show that latent lookahead substantially outperforms both autoregressive and non-autoregressive baselines on planning tasks such as maze solving, Sudoku, and ProsQA, where foresight is essential.
- Abstract（参考訳）: 次トーケン予測で訓練された自己回帰言語モデルは、一度に1つの離散トークンをサンプリングすることでテキストを生成する。
非常にスケーラブルだが、この目的はモデルをあらゆるステップでコミットさせ、複数のもっともらしい継続を探索したり、反映したりするのを防ぐ。
さらに、トークン間の計算割り当ては均一であり、すべてのトークンは単一のフォワードパスに基づいて形成され、難解なトークンが本質的により多くの計算を必要とする場合、モデルの表現性を制限する可能性がある。
これらの制限に対処するために、我々は、列内の選択された位置において、次のトークンにコミットする前に、潜在空間で多段階のルックアヘッドを実行する、モデルを生成前に"考える"ことができるトレーニング戦略であるLatent Lookaheadを導入する。
より正確には、将来のトークンをサンプリングする代わりに、隠れた状態をコンテキストに再帰的にフィードバックし、そのトークンを予測するためにより多くの計算に投資することで、ネットワークの潜伏空間を活用します。
これにより、次の$τ$グランドトルーストークンに対して教師される遅延予測が$τ$で作成され、モデルが"注目"し、予測を洗練するように促される。
本研究は, 目視が不可欠である迷路解決, スドク, ProsQAなどの計画課題において, 自己回帰ベースラインと非自己回帰ベースラインの両方を著しく上回っていることを示す。
関連論文リスト
- Learn from your own latents and not from tokens: A sample-complexity theory [53.5821824211418]
本研究では,関連するビューやマスキング領域の潜在表現を予測するために訓練されたネットワークについて検討する。
潜在予測は、対数的要因まで、多くのサンプルを$L$で表すことでこれを達成できることを示す。
これは、H-JEPAのような明示的な積み重ねがほとんど冗長であることを示している。
論文 参考訳（メタデータ） (2026-05-26T22:16:42Z) - What's Holding Back Latent Visual Reasoning? [23.63938540988447]
近年のモデルでは、連続した潜伏トークンを中間的な視覚的想像力のステップとして活用している。
驚くべきことに、潜在トークンが非形式的ダミートークンに置き換えられたとき、モデル精度は影響を受けない。
我々の実験は、潜伏した視覚的推論を抑える2つの重要な問題を明らかにした。
論文 参考訳（メタデータ） (2026-05-18T14:14:49Z) - Efficient Training-Free Multi-Token Prediction via Embedding-Space Probing [3.861463840588074]
大規模言語モデル(LLM)は、次世代にのみ訓練されているにもかかわらず、潜在マルチトークン予測(MTP)能力を示す。
本研究では,その埋め込み空間から引き出されたオンザフライマスクトークンを用いてLCMを探索するトレーニングフリーMPP手法を提案する。
マスクトケロジットからトップK候補を抽出して投機的トークンツリーを構築し,高確率継続を維持するために軽量プルーニング戦略を適用した。
論文 参考訳（メタデータ） (2026-03-18T17:14:01Z) - Continuous Autoregressive Language Models [56.49239051750678]
我々はCALM(Continuous Autoregressive Language Models)を紹介する。
CALMは高忠実度オートエンコーダを使用して、Kトークンの塊を1つの連続ベクトルに圧縮する。
我々は、堅牢なトレーニング、評価、および制御可能なサンプリングを可能にする包括的可能性のないフレームワークを開発する。
論文 参考訳（メタデータ） (2025-10-31T17:58:11Z) - Catch Your Breath: Adaptive Computation for Self-Paced Sequence Production [55.76222360698305]
我々は,言語モデルが入力トークン毎に使用する計算ステップの数を動的かつ自律的に拡張できるような,教師付きトレーニング目標のクラスを探索する。
任意のトークンに対して、モデルは don't know> 出力を出力することで、追加の計算ステップを要求できる。
CYBモデルでは精度が向上し,トークンレベルの複雑性とコンテキストに処理時間を適用することができる。
論文 参考訳（メタデータ） (2025-10-13T21:07:05Z) - PonderLM-2: Pretraining LLM with Latent Thoughts in Continuous Space [44.24277388571869]
我々は、新しい事前学習手法を提案する:潜在思考を用いた言語モデル(PonderLM-2)
我々のアプローチでは、まず言語モデル(LM)を事前訓練して、現在位置の最後の隠れ状態である中間潜在思考を生成し、その後、実際のトークンを予測するために入力として使用される。
実験により、同一の推論コストでトークンごとに1つの追加の潜在的思考を生成するLMが、パラメータの2倍の標準モデルより優れていることが示された。
論文 参考訳（メタデータ） (2025-09-27T08:38:08Z) - Your LLM Knows the Future: Uncovering Its Multi-Token Prediction Potential [12.719829360337833]
本稿では,バニラ自己回帰言語モデルにおける未来のトークンに関する固有知識を活用する新しいフレームワークを提案する。
本手法は,事前学習モデルの教師付き微調整により,大幅な高速化を実現する。
論文 参考訳（メタデータ） (2025-07-16T02:31:40Z) - Bridging Continuous and Discrete Tokens for Autoregressive Visual Generation [85.82112629564942]
本稿では,離散トークンのモデリングをシンプルに保ちながら,連続トークンの強力な表現能力を維持するTokenBridgeを提案する。
本稿では,各特徴次元を独立に離散化し,軽量な自己回帰予測機構と組み合わせた次元ワイド量子化戦略を提案する。
提案手法は,標準的なカテゴリー予測を用いて,連続的手法と同等に再現および生成品質を実現する。
論文 参考訳（メタデータ） (2025-03-20T17:59:59Z) - FIRP: Faster LLM inference via future intermediate representation prediction [54.897493351694195]
FIRPはデコードステップ毎に1つではなく複数のトークンを生成する。
いくつかのモデルとデータセットで1.9x-3xのスピードアップ比を示す広範な実験を行った。
論文 参考訳（メタデータ） (2024-10-27T15:53:49Z) - Semformer: Transformer Language Models with Semantic Planning [18.750863564495006]
次世代の予測は、現在のニューラルネットワークモデルの主要なコンポーネントである。
本稿では,応答のセマンティックプランニングを明示的にモデル化したトランスフォーマー言語モデルのトレーニング手法であるSemformerを紹介する。
論文 参考訳（メタデータ） (2024-09-17T12:54:34Z) - Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion [61.03681839276652]
拡散強制(Diffusion Forcing)は、拡散モデルをトレーニングし、トークンの集合に独立した音レベルを付与する、新たなトレーニングパラダイムである。
因果的次トーケン予測モデルを訓練して1つまたは複数の未来のトークンを生成することで、シーケンス生成モデルに拡散強制を適用する。
論文 参考訳（メタデータ） (2024-07-01T15:43:25Z) - TokenUnify: Scaling Up Autoregressive Pretraining for Neuron Segmentation [65.65530016765615]
本稿では,3つの相補的な学習目標を通じて,大規模依存関係をキャプチャする階層型予測コーディングフレームワークを提案する。
TokenUnifyは、ランダムトークン予測、次のトークン予測、およびすべてのトークン予測を統合して、包括的な表現空間を作成する。
また,120億個の注釈付きボクセルを付加した大規模EMデータセットを導入し,空間連続性を持つ理想的な長周期視覚データを提供する。
論文 参考訳（メタデータ） (2024-05-27T05:45:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。