論文の概要: Trajectory-Retrieval Speculative Decoding: When Does a Model's Own History Help?

• arxiv url: http://arxiv.org/abs/2610.07350v1
• Date: Mon, 05 Oct 2026 20:19:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.648605
• Title: Trajectory-Retrieval Speculative Decoding: When Does a Model's Own History Help?
• Title（参考訳）: Trajectory-Retrieval Speculative Decoding: モデル独自の履歴はいつ役に立つのか?
• Abstract要約: 制御されたソース比較は、軌跡固有の再利用を明らかにする。 Trajectory-Local Adaptive Retrieval (TLAR) は約一致した継続を検索する。 Findingsは、アダプティブ推論のためのランタイムメモリとして生成されたトラジェクトリをサポートする。
• 参考スコア（独自算出の注目度）: 18.206416214896652
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Long chain-of-thought reasoning increases sequential decoding cost while creating a growing history of potentially reusable continuations. We investigate when this history supplies useful drafts and complements an existing drafter. Controlled source comparisons reveal trajectory-specific reuse, motivating our method Trajectory-Local Adaptive Retrieval (TLAR). TLAR retrieves approximately matched continuations from the current trajectory and uses recent verification outcomes to adapt retrieval activation and candidate width. TLAR combines retrieved continuations with model-generated drafts in a shared candidate tree, preserving the target model's output distribution through exact verification. Across code debugging, mathematics, and open-ended writing, our evaluation connects source reuse, incremental acceptance, and execution cost. Combining TLAR with strong retrieval baselines improves token acceptance under matched verification budgets and increases end-to-end throughput over the draft-model baseline. These findings support generated trajectories as runtime memory for adaptive inference.
• Abstract（参考訳）: 長い連鎖推論は、潜在的に再利用可能な継続の歴史を増大させながら、シーケンシャルな復号コストを増大させる。 この歴史が有用な草案をいつ提供し、既存の草案を補完するかを考察する。 制御されたソース比較では、トラジェクトリ固有の再利用が示され、トラジェクトリ-局所適応検索 (TLAR) 法が動機となっている。 TLARは、現在の軌道からほぼ一致した連続を検索し、最近の検証結果を用いて、再生アクティベーションと候補幅を適応する。 TLARは、検索された継続とモデル生成したドラフトを共有候補ツリーに組み合わせ、正確な検証を通じてターゲットモデルの出力分布を保存する。 コードデバッギング、数学、オープンな書き込みなどを通じて、我々の評価は、ソースの再利用、インクリメンタルな受け入れ、実行コストを結びつける。 TLARと強力な検索ベースラインを組み合わせることで、一致した検証予算の下でトークンの受け入れが向上し、ドラフトモデルベースラインのエンドツーエンドスループットが向上する。 これらの知見は、適応推論のためのランタイムメモリとして生成されたトラジェクトリをサポートする。

関連論文リスト

• RepoReasoner: Evaluating Repository-Level Code Reasoning Ability of Long-Context Language Models [54.53236295237077]
  リポジトリレベルのコード推論を評価するベンチマークであるRepoReasonerを紹介します。 出力予測は、ファイル間でのきめ細かいステートフルな実行推論を計測します。 Call Chain Predictionは、ノイズの多いコンテキスト下での高レベルのアーキテクチャ依存性の理解を評価する。
  論文  参考訳（メタデータ） (2026-07-28T17:12:41Z)
• RecRec: Recursive Refinement for Sequential Recommendation [2.134948383299948]
  逐次リコメンデータシステムは、通常、反復的な洗練を伴わずに、インタラクション履歴のシングルパス符号化を通じて、ユーザの好みを推測する。 本稿では,コンパクトな潜伏状態を維持する軽量モデルRecRecを提案する。 実験の結果、RecRecは3.9Mから14Mのパラメータしか使用せず、最先端のシーケンシャル、グラフベース、推論強化のレコメンデータと一致または性能を向上することが示された。
  論文  参考訳（メタデータ） (2026-07-12T02:53:17Z)
• ReContext: Recursive Evidence Replay as LLM Harness for Long-Context Reasoning [78.94047086588078]
  長文推論のための LLM Harness として再帰的証拠を提案する。 長文推論を改善するための訓練不要推論法である。 128Kのコンテキスト長を持つ8つの長文データセットの実験は、エビデンスの利用を一貫して改善していることを示している。
  論文  参考訳（メタデータ） (2026-07-02T17:59:26Z)
• DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
  DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。 ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
  論文  参考訳（メタデータ） (2025-09-28T07:00:15Z)
• RASD: Retrieval-Augmented Speculative Decoding [5.3926068062773895]
  投機的復号化は大規模言語モデル(LLM)における推論を加速する 本稿では,モデルに基づく投機的復号化を促進する検索手法を採用したRASD(Retrieval-Augmented Speculative Decoding)を提案する。
  論文  参考訳（メタデータ） (2025-03-05T12:10:14Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• End-to-End Trainable Retrieval-Augmented Generation for Relation Extraction [7.613942320502336]
  ETRAG(End-to-end Trainable Retrieval-Augmented Generation)を提案する。 ETRAGは、関係抽出の目的のために、レトリバーを含むモデル全体のエンドツーエンドの最適化を可能にする。 我々は,関係抽出の標準ベンチマークであるTACREDデータセット上でのETRAGの関係抽出性能を評価する。
  論文  参考訳（メタデータ） (2024-06-06T07:01:50Z)
• Repoformer: Selective Retrieval for Repository-Level Code Completion [30.706277772743615]
  検索強化生成(RAG)の最近の進歩は、リポジトリレベルのコード補完の新たな時代が始まった。 本稿では,不要な場合の検索を回避するため,選択的なRAGフレームワークを提案する。 我々のフレームワークは、異なる世代モデル、レトリバー、プログラミング言語に対応できることを示します。
  論文  参考訳（メタデータ） (2024-03-15T06:59:43Z)
• DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
  本稿では,既存のDocREモデルの根本原因について検討する。 本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2022-10-28T11:18:10Z)
• Does Recommend-Revise Produce Reliable Annotations? An Analysis on Missing Instances in DocRED [60.39125850987604]
  テキスト修正方式は, 偽陰性サンプルと, 人気エンティティや関係性に対する明らかな偏見をもたらすことを示す。 より信頼性の高いドキュメントREモデルのテストセットとして機能するように、relabeledデータセットがリリースされている。
  論文  参考訳（メタデータ） (2022-04-17T11:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。