論文の概要: ECHO: Efficient Causal Self-Recursion Beyond Auxiliary Multi-Token Prediction

• arxiv url: http://arxiv.org/abs/2610.24766v1
• Date: Sat, 17 Oct 2026 16:18:15 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 11:42:22.518949
• Title: ECHO: Efficient Causal Self-Recursion Beyond Auxiliary Multi-Token Prediction
• Title（参考訳）: ECHO: 補助的マルチトークン予測を超える効率的な因果自己再帰
• Abstract要約: マルチトークン予測法は設計上補助的である。 両コストを削減した効率的な因果自己再帰(ECHO)を提案する。 利点は2倍のトークン予算、繰り返し事前訓練、監督された微調整である。
• 参考スコア（独自算出の注目度）: 22.443547472496245
• License:
• Abstract: Existing Multi-token prediction (MTP) methods are auxiliary by design: the multi-horizon loss mostly trains modules attached to the backbone, and each added horizon costs another module and another pass. We propose Efficient Causal Self-Recursion (ECHO), which removes both costs. The backbone's own final layer predicts every horizon, so the supervision lands on the parameters that generate the next token, and Dynamic Depth Sampling (DDS) keeps deeper horizons affordable by drawing the training depth with probabilities that decay along depth. Future prediction thus becomes part of the autoregressive objective rather than a task attached to it, and the gains follow on both sides of it. In pretraining, added depth converts into downstream accuracy where auxiliary modules saturate, concentrating on reasoning and code at half the MTP training overhead of training every depth. At inference, the pretrained model is its own drafter: it drafts beyond the depth it was trained for, and keeps its draft-target alignment on the open-ended, high-entropy generation where post-hoc drafters lose theirs. The advantage survives a doubled token budget, a repeated pretraining run, and supervised finetuning.
• Abstract（参考訳）: 既存のMTP(Multi-token Prediction)手法は設計上補助的であり、多軸損失は主にバックボーンに取り付けられた列車モジュールであり、それぞれ追加の水平線は別のモジュールと別のパスを消費する。 両コストを削減した効率的な因果自己再帰(ECHO)を提案する。 バックボーンの最終的な層はあらゆる地平線を予測するので、監督は次のトークンを生成するパラメータに着地し、ダイナミック深度サンプリング(DDS)は深度に沿って崩壊する確率でトレーニング深度を描画することで、より深い地平線を安価に維持する。 したがって、将来の予測は、それに取り付けられたタスクではなく、自己回帰目標の一部となり、利得はその両側で従うことになる。 事前トレーニングでは、追加の深度は、補助モジュールが飽和した下流の精度に変換され、深度をトレーニングするMPPトレーニングオーバーヘッドの半分の推論とコードに集中する。 推論では、事前訓練されたモデルは独自のドラフトアライメントであり、トレーニング対象の深さを超えてドラフトをドラフトし、ポストホックのドラフトアライメントが失われるオープンエンドでハイエントロピーな世代にドラフトターゲットアライメントを維持する。 利点は2倍のトークン予算、繰り返し事前訓練、監督された微調整である。

関連論文リスト

• One Block, Multiple Depths: Recurrent Vision Transformers with Depth-Programmed Experts [52.62368406036621]
  reViTは、FFNを各繰り返し深さで、小さな共有専門家バンクの凸結合として表現することで、深さ固有の変換を復元する。 reViT-B/16では,約70%の保存パラメータでDeiT IIIの精度が得られた。
  論文  参考訳（メタデータ） (2026-10-08T17:58:36Z)
• Shallow Queries, Mature Values: Depth-Asynchronous Self-Speculation for Looped Transformers [51.96830872563455]
  Looped Transformerは、再帰的な深さにわたって共有ブロックを再利用し、自動回帰デコーディングを高価にする。 自己投機的デコーダは、早期の深さでドラフトし、完全な深さで検証することで、このコストを削減する。 本稿では,Depth-Asynchronous Self-Speculation (DAS)を導入し,検証された表現の深さからドラフト計算の深さを分離する。
  論文  参考訳（メタデータ） (2026-09-28T08:04:19Z)
• AdaMTP: An Adaptive Training Paradigm for Multi-Token Prediction [32.62594861280837]
  MTP(Multi-Token Prediction)は,大規模言語モデルのバックボーンを補助的ヘッドで拡張する,効果的なパラダイムとして登場した。 本稿では,適応学習パラダイムであるAdaMTPを提案する。 AdaMTPは3つのバックボーン上の数学的推論、コード生成、一般的なベンチマークを通じて、タスクパフォーマンスと推論スピードアップの両方において、標準のMPPよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-08-01T04:18:49Z)
• Adaptive Compute in Latent World Models: When Depth Helps, Hurts, or Doesn't Matter [0.0]
  内在的,6/9タスク,rhoが8倍まで)、奥行きが活発に痛む(逆転,2/9,rhoが0.87倍まで)、あるいは奥行きがほとんど問題にならない(平ら)。 インバージョンは、トランスフォーマー予測子の下で再現されるが、そのマニフェストは構成に依存し、メトリック空間、水平線、エンコーダ、バックボーン、そして最も強い -- トレーニングデータでシフトする。 より多くの計算が世界モデルに役立つかどうかはタスクの特性ではない。
  論文  参考訳（メタデータ） (2026-07-11T08:27:33Z)
• Depth Exploration for LLM Decoding [0.920033202445524]
  LLM復号は、中間深度で多くのトークンが予測可能であるにもかかわらず、すべての生成されたトークンをフル層スタックを通して評価する。 深度探索復号法 (DEX) を提案し, 単一深度選択を複数の候補深度での並列探索に置き換える。 DEXは、代表的な深さ選択ベースラインより優れ、投機的および分散復号法と競合するエンドツーエンドスループットを実現する。
  論文  参考訳（メタデータ） (2026-06-28T06:22:09Z)
• Deeper is Not Always Better: Mitigating the Alignment Tax via Confident Layer Decoding [92.1521161575198]
  我々は、最も信頼性の高いニアファイナル層を動的に選択する、トレーニング不要なデコーディング戦略であるConfident Decodingを紹介する。 密集型および混合型LLMの実験は、挑戦的推論ベンチマークにおいて一貫した利得を示す。
  論文  参考訳（メタデータ） (2026-06-20T07:03:26Z)
• Depth-Entropy Guided Sampling for Training-Free LLM Reasoning [7.057431471793534]
  強化学習(Reinforcement Learning, RL)は, 大規模言語モデルの推論能力向上のための主要なパラダイムとなっている。 固有品質信号として層ワイドエントロピー崩壊を利用するトレーニング不要なテスト時間法であるDepth-Entropy Guided Sampling (DEGS)を紹介する。
  論文  参考訳（メタデータ） (2026-06-19T12:36:23Z)
• Taming the Long-Tail: Efficient Reasoning RL Training with Adaptive Drafter [52.111923076688505]
  強力な推論能力を持つ大規模言語モデル(LLM)のトレーニングは、複雑な問題解決において新たなフロンティアを解放する重要なマイルストーンとなる。 本稿では,適応的投機的復号化を組み込むことで,RL学習の無作為に推論を高速化するシステムであるTLTを提案する。
  論文  参考訳（メタデータ） (2025-11-20T18:59:25Z)
• Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
  大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。 早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。 ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
  論文  参考訳（メタデータ） (2025-09-19T04:51:41Z)
• Tree-Guided Diffusion Planner [31.664192839205608]
  事前訓練された拡散を伴う計画がテストタイム誘導制御問題に対する有望なアプローチとして浮上した。 本研究では、構造化軌道生成による探索と利用のバランスをとるゼロ時間テストタイム計画フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-29T17:27:44Z)
• Reward Tweaking: Maximizing the Total Reward While Planning for Short Horizons [66.43848057122311]
  Reward tweakingは、元の有限水平全報酬タスクに対して最適な振る舞いを誘導する代理報酬関数を学習する。 報酬の調整は、短い地平線を計画しているにもかかわらず、エージェントがより長い水平方向のリターンに導くことを示す。
  論文  参考訳（メタデータ） (2020-02-09T09:50:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。