論文の概要: Speculative Acceptance Does Not Decay with Position: A Full-Length Diagnostic on Long Chain-of-Thought with Independent Drafts
- arxiv url: http://arxiv.org/abs/2610.30644v1
- Date: Thu, 22 Oct 2026 03:05:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.196333
- Title: Speculative Acceptance Does Not Decay with Position: A Full-Length Diagnostic on Long Chain-of-Thought with Independent Drafts
- Title（参考訳）: 投機的受容は位置と一致しない:独立ドラフトによる長鎖のフル長診断
- Abstract要約: 考えの連鎖が長くなるにつれて、投機的復号化の受け入れ率は崩壊する、という主張は、事実上の業界物語となった。
我々は、MATH-500(全500問題)における生成位置の関数として、最初の体系的、フル長の受入率の測定を行う。
本研究は, 強弱復号繰り返し病理を分離した後, 支持範囲内の4つの構成のいずれにおいても, 受容率は低下しないことを示した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The claim that speculative-decoding acceptance rate decays as a chain-of-thought grows longer has become a de facto industry narrative, motivating draft-model co-design and position-aware training. Nearly all direct evidence comes from trained drafters whose offline training length is far shorter than inference, so a purely positional law has never been isolated. We present the first systematic, full-length measurement of acceptance rate as a function of generation position on MATH-500 (all 500 problems), under greedy and sampling decoding, with two independent drafts against DeepSeek-R1-Distill-Qwen-7B: a same-family draft (DeepSeek-R1-Distill-Qwen-1.5B) and a cross-family draft (Qwen2.5-1.5B-Instruct), yielding about 1.78M verification rounds. Using within-problem paired tests, we find that after isolating a greedy-decoding repetition pathology, acceptance rate does not decay with position in any of the four configurations within the supported ranges (greedy 0-8K, sampling 0-12K); the second half of each trajectory is slightly but significantly higher than the first. A controlled temperature sweep shows that the apparent sampling-mode degradation of high-entropy reflection tokens is a visibility artifact of argmax agreement, not a drop in expected acceptance probability. Rejections concentrate with high precision on reflection trigger tokens such as "wait", "however" and "check", an entropy-selective failure that a lightweight three-arm LoRA trajectory-alignment intervention (uniform, reflection-marked, entropy-weighted) fails to improve in mean accepted length. We thus supply the positional baseline that independent draft-target pairs were missing, and localize the residual failure to decision-point entropy rather than position.
- Abstract（参考訳）: 思考の連鎖が長くなるにつれて投機的復号化が減少するという主張は、デファクトな業界物語となり、ドラフトモデルの共同設計と位置認識トレーニングを動機付けている。
ほぼ全ての直接的な証拠は、オフラインのトレーニング期間が推論よりもはるかに短い訓練済みのドラフト作成者から来ており、純粋な位置法は孤立していない。
我々は,MATH-500(全500問題)における生成位置の関数として,DepSeek-R1-Distill-Qwen-7Bに対する独立した2つのドラフト(DeepSeek-R1-Distill-Qwen-1.5B)とクロスグループドラフト(Qwen2.5-1.5B-Instruct)を作成した。
In-problem paired tests, we found that after a conolating a greedy-decoding repetition pathology, accept rate does not decay in any positions in the four configurations in the supported ranges (greedy 0-8K, sample 0-12K), the second half of each trajectory is slightly but significantly higher than the first。
高エントロピー反射トークンの明らかなサンプリングモード劣化は、予測される受容確率の低下ではなく、argmax合意の可視的アーティファクトであることを示す。
反射は、"wait"、"however"、"check"などの反射トリガトークンに高い精度で集中するが、これは、軽量な3本腕のLoRA軌道アライメント介入(一様、反射マーク付き、エントロピー重み付き)が平均許容長を改善できないエントロピー選択的故障である。
そこで我々は、独立したドラフトターゲットペアが欠落している位置ベースラインを供給し、位置ではなく、決定ポイントエントロピーに対する残差を局所化する。
関連論文リスト
- Trajectory-Triggered Sparse Collaborative Decoding [8.203270998896624]
本稿では,ほとんどのトークンを生成するドラフトモデルと,短い修正セグメントに対してのみターゲットモデルが呼び出されるスパース協調復号法について検討する。
局所的不確実性は、エントロピー、負の対数類似性、対数マージン、対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数不確実性である。
論文 参考訳（メタデータ） (2026-10-16T15:24:05Z) - Characterizing a Configuration Where Inference-Time PRM-Pruned Fragment Grafting Is Inert: Evidence from Three Reasoning LMs [0.0]
PRM-Pruned Fragment Graftingは、クロス軌道ステップレベルの転送の最小化である。
322回のステージング・ルール・インジェクション・イベントの4ビット分類では、真に苦闘しているチェーンを標的にしたのはわずか14%であった。
後近のオラクルは、独立な +0.13 pp で PPFG を選択することで、プロブレム当たりの利得を制限している。
論文 参考訳（メタデータ） (2026-09-03T11:06:07Z) - The Ignition Is Real, and It Lives at the Readout: Latent composition, difficulty-clocked ignition, and the interface-constituted commit in a recurrent-depth reasoner [0.0]
我々は、潜時推論モデルで報告される「複合点火」が実計算なのか、楽器の人工物なのか、あるいは言語訓練データから継承されるのかを検証する。
到着時刻は問題深度とともに合法的に上昇し、解像度は鋭く保たれ、シグネチャは2つの同じシードの実現を通して再現される。
論文 参考訳（メタデータ） (2026-08-04T07:35:38Z) - Entropy in Conversational AI: Structured Unpredictability as Inferrable Interiority [0.0]
選択層は、容量制限されたストリームから低次元のスタイル・アンド・アテンション状態を更新し、固定ベースモデルで複数の応答を生成し、新規性及び状態親和性を選択する。
合成実装はパイプラインを検証し、ポイントレベルでの4つの前向きな急速凍結分岐特徴と一致する。
論文 参考訳（メタデータ） (2026-07-20T23:03:28Z) - The SIGReg Objective as Variational Free Energy: A Theoretical Active-Inference Account of JEPA World Models [47.471225029744424]
JEPA(Joint-Embedding Predictive Architectures)は、潜在世界モデルの主要な設計である。
本稿では,JEPAのトレーニング目標である予測損失と重み付き埋め込み正規化の選択肢が,有効能動推論(AIF)変動自由エネルギーであるか否かを判定する。
論文 参考訳（メタデータ） (2026-07-15T08:59:36Z) - Margins, Not Windows: Training-Free Per-Step Lossy Speculative Decoding [14.191111229515654]
本稿では,AdaptiveSpecを紹介した。
復号時に生成した内部信号から、両方の決定を適応させる。
最先端の自己回帰的投機的復号法よりもスループットを向上させる。
論文 参考訳（メタデータ） (2026-07-03T20:43:49Z) - What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility [48.10132234701036]
本稿では,3つのチェック(スケール安定性,参照妥当性,深度ユーティリティ)に基づく診断評価プロトコルを提案する。
複数のアーキテクチャや手法にまたがって、我々のプロトコルは広い校正マージンを持つ全ての障害を識別する。
論文 参考訳（メタデータ） (2026-06-19T06:04:17Z) - Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。
本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。
8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
論文 参考訳（メタデータ） (2026-06-02T06:51:15Z) - D-PACE: Dynamic Position-Aware Cross-Entropy for Parallel Speculative Drafting [59.204113363599994]
投機的復号化は、小さなドラフト作成者がより大きなターゲットモデルが並列に検証するトークンを提案することによって推論を加速する。
最近の拡散ベースの並列ドラフトア(DFlashなど)は、1つの前方パスで完全なB-tokenブロックを予測し、より深いドラフトアとより長い許容ブロックを可能にする。
各位置の重みと、その対数確率の寄与とを一致させて、期待されるドラフト長の相違可能なサロゲートから、位置毎のトレーニングウェイトを導出する。
6つのベンチマークと2つのQwen3-4Bドラフト深度、2つの復号温度、2つの追加ターゲットモデル、D-PACEは一貫してウォールクロックのスピードアップと平均の両方を改善している。
論文 参考訳（メタデータ） (2026-05-12T06:27:57Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z) - TARG: Training-Free Adaptive Retrieval Gating for Efficient RAG [46.122203287541005]
トレーニングフリーのAdaptive Retrieval Gating (TARG) は、ベースモデルからの短い非遅延ドラフトのみを使用していつ取得するかを決定する、単発のポリシーである。
NQ-Open、TriviaQA、PopQAでは、TARGは一貫して精度と効率のフロンティアをシフトさせる。
論文 参考訳（メタデータ） (2025-11-12T23:09:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。