論文の概要: Trajectory-Triggered Sparse Collaborative Decoding

• arxiv url: http://arxiv.org/abs/2610.23613v1
• Date: Fri, 16 Oct 2026 15:24:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.988228
• Title: Trajectory-Triggered Sparse Collaborative Decoding
• Title（参考訳）: 軌道トリガー型スパース協調復号法
• Abstract要約: 本稿では,ほとんどのトークンを生成するドラフトモデルと,短い修正セグメントに対してのみターゲットモデルが呼び出されるスパース協調復号法について検討する。 局所的不確実性は、エントロピー、負の対数類似性、対数マージン、対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数不確実性である。
• 参考スコア（独自算出の注目度）: 8.203270998896624
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dense assistance methods such as speculative decoding repeatedly verify draft tokens with a target model, keeping target computation coupled to generation. We study sparse collaborative decoding, where a draft model generates most tokens and a target model is invoked only for short corrective segments. The key problem is deciding when to call the target. We show that local uncertainty is a weak trigger: entropy, negative log-likelihood, logit margin, top-$k$ mass, and velocity features give near-chance failure prediction, with AUC 0.50-0.53. In contrast, aggregate trajectory-shape features over the draft confidence path reach AUC 0.86 using a lightweight logistic predictor trained only from draft correctness labels. This induces a trigger-timing tradeoff: early calls have more leverage but weaker evidence, while later calls have stronger evidence but less ability to redirect the trajectory. Used online, learned sparse collaborative decoding improves over the best open-loop schedule by +5.3 to +20.0 accuracy points across five GSM8K draft-target pairs. On MATH-500, it gains 7.0-13.5 points when early prediction and target competence align, but loses when either is weak. On StrategyQA, it improves over open-loop by 5.0-8.3 points, showing transfer beyond arithmetics.
• Abstract（参考訳）: 投機的復号化などの難読化支援手法は、ターゲットモデルで繰り返しドラフトトークンを検証し、ターゲット計算を生成に結び付ける。 本稿では,ほとんどのトークンを生成するドラフトモデルと,短い修正セグメントに対してのみターゲットモデルが呼び出されるスパース協調復号法について検討する。 鍵となる問題は、いつターゲットを呼び出すかを決めることである。 AUC 0.50-0.53で、エントロピー、負の対数、対数マージン、対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数対数、対数対数対数対数対数対数対数対数対数対数対数、対数対数対数対数対数対数対数対数対数 対照的に、ドラフト信頼パス上の集合軌道形状は、ドラフト正当性ラベルからのみ訓練された軽量なロジスティック予測器を用いてAUC 0.86に達する。 初期の呼び出しはよりレバレッジがあるが、より弱いエビデンスを持つ一方、後の呼び出しはより強いエビデンスを持つが、軌道をリダイレクトする能力は低い。 オンラインでは、学習された疎結合の復号化により、5つのGSM8Kドラフト・ターゲット・ペアのうち、+5.3から+20.0の精度ポイントが最高のオープンループスケジュールよりも改善される。 MATH-500では、早期予測と目標能力調整で7.0-13.5ポイントを獲得するが、どちらかが弱い場合は負ける。 StrategyQAでは、オープンループよりも5.0-8.3ポイント改善され、算術を超えて転送される。

関連論文リスト

• ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
  大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。 SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。 モデル自身の失敗から両方を得るReDraftを紹介します。
  論文  参考訳（メタデータ） (2026-09-15T04:59:03Z)
• From Positionwise Confidence to Prefix Scheduling: Verifier Skipping in Speculative Decoding [41.41611499810411]
  投機拡散復号(SDD)は、離散拡散モデルと並行してドラフトブロック内のすべての位置を生成する。 本稿では,これが新しい制御ハンドルを生成することを認識している。
  論文  参考訳（メタデータ） (2026-08-14T18:00:08Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• LYNX: Learning Dynamic Exits for Confidence-Controlled Reasoning [15.597220136913258]
  LYNXはオンラインのアーリーエグジットメカニズムで、モデル自身の隠れ状態の認識を信頼性制御による停止決定に変換する。 一般的な数学的コーパスで一度このプローブをトレーニングして校正し、ベンチマーク、復号化温度、さらには非数学的なタスクで再利用します。
  論文  参考訳（メタデータ） (2025-12-05T00:04:42Z)
• Training-Free Loosely Speculative Decoding: Accepting Semantically Correct Drafts Beyond Exact Match [21.810129153556044]
  訓練不要な投機的復号法(FLy)は、厳密な検証基準を緩める新しい手法である。 FLyは目標モデルの精度の99%以上を維持し,平均2.81倍の高速化を実現している。
  論文  参考訳（メタデータ） (2025-11-28T08:23:30Z)
• TARG: Training-Free Adaptive Retrieval Gating for Efficient RAG [46.122203287541005]
  トレーニングフリーのAdaptive Retrieval Gating (TARG) は、ベースモデルからの短い非遅延ドラフトのみを使用していつ取得するかを決定する、単発のポリシーである。 NQ-Open、TriviaQA、PopQAでは、TARGは一貫して精度と効率のフロンティアをシフトさせる。
  論文  参考訳（メタデータ） (2025-11-12T23:09:52Z)
• SEAL: Steerable Reasoning Calibration of Large Language Models for Free [58.931194824519935]
  大規模言語モデル(LLM)は、拡張チェーン・オブ・ソート(CoT)推論機構を通じて複雑な推論タスクに魅力的な機能を示した。 最近の研究では、CoT推論トレースにかなりの冗長性が示されており、これはモデル性能に悪影響を及ぼす。 我々は,CoTプロセスをシームレスに校正し,高い効率性を示しながら精度を向上する,トレーニング不要なアプローチであるSEALを紹介した。
  論文  参考訳（メタデータ） (2025-04-07T02:42:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。