論文の概要: To Copy or Not to Copy: Controlling Speculative Decoding via Intrinsic Model Signals

• arxiv url: http://arxiv.org/abs/2609.20186v1
• Date: Thu, 17 Sep 2026 12:51:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.277279
• Title: To Copy or Not to Copy: Controlling Speculative Decoding via Intrinsic Model Signals
• Title（参考訳）: コピーするかどうか:本質的なモデル信号による投機的復号制御
• Abstract要約: 投機的復号法 (SD) はLarge Language Model (LLM) の推論を著しく加速した。 既存のアプローチは、ニューラルドラフトとコンテキストベースのコピーという2つのドラフト戦略の根本的なトレードオフに直面している。 既存のコピーベース手法を解析し、それらが偶然に繰り返される傾向があることを確認する。 本稿では,LLMの遅延制御信号としてコピー処理を扱う適応型フレームワークであるSwitchSDを紹介する。
• 参考スコア（独自算出の注目度）: 53.517661959543894
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speculative Decoding (SD) has significantly accelerated Large Language Model (LLM) inference, yet existing approaches face a fundamental tradeoff between two drafting strategies: neural drafting and context-based copying. Neural drafts (e.g., EAGLE3) provide robust performance across diverse text settings, while copy-based methods achieve higher speedups in copy-intensive regimes by generating candidates faster and exploiting long repetition spans for near-perfect speculation. We analyze existing copy-based methods and find that they are prone to accidental repetitions where surface-level n-gram overlap does not reflect a structural intent to copy, leading to false-positive triggers that ultimately degrade throughput. We introduce SwitchSD, an adaptive framework that treats copying as a latent control signal of the LLM. By training lightweight probes on the target model's internal representations, SwitchSD identifies genuine copy-intent with high precision (AUC > 0.99). This allows the system to dynamically switch between neural drafting (e.g., EAGLE) and context-based copying. Our results across Llama and Qwen families demonstrate throughput gains of up to 15% over state-of-the-art baselines like EAGLE3, effectively turning copying from a noisy heuristic into a principled, model-aware decoding regime.
• Abstract（参考訳）: 投機的デコーディング(SD)は、Large Language Model(LLM)推論を大幅に加速したが、既存のアプローチは、ニューラルドラフトとコンテキストベースのコピーという2つのドラフト戦略の根本的なトレードオフに直面している。 ニューラルドラフト(例:EAGLE3)は、さまざまなテキスト設定で堅牢なパフォーマンスを提供する一方、コピーベースのメソッドは、より高速な候補を生成し、ほぼ完璧な推測のために長い繰り返しスパンを活用することで、コピー集約型レシエーションにおけるより高いスピードアップを実現する。 既存のコピーベース手法を解析した結果,表面レベルのn-gram重なり合いがコピーする構造的意図を反映しないような偶発的な繰り返しが生じやすいことが判明し,最終的にはスループットを低下させる偽陽性トリガが生じる。 本稿では,LLMの遅延制御信号としてコピー処理を扱う適応型フレームワークであるSwitchSDを紹介する。 ターゲットモデルの内部表現に対する軽量プローブのトレーニングにより、SwitchSDは、本物のコピーインテントを高精度に識別する(AUC > 0.99)。 これによりシステムは、ニューラルネットワークのドラフト(例えばEAGLE)とコンテキストベースのコピーを動的に切り替えることが可能になる。 EAGLE3のような最先端のベースラインよりも最大15%のスループット向上を示し、ノイズの多いヒューリスティックからのコピーを原則化されたモデル認識復号システムに効果的に変換した。

関連論文リスト

• Mitigating Memorization in Text-to-Image Diffusion via Region-Aware Prompt Augmentation and Multimodal Copy Detection [53.789057575175065]
  領域認識型prompt Augmentation(RAPTA)とAttention-Driven Multimodal Copy Detection(ADMCD)を示す。 RAPTAはオブジェクト検出器を使用して、正常な領域を見つけ、それらを意味論的に接地したプロンプトの変種に変換する。 ADMCDは、ローカルパッチ、グローバルセマンティック、テクスチャキューを軽量トランスフォーマーで集約し、融合表現を生成する。 実験により、RAPTAは高い合成品質を維持しながら過度な適合を減少させ、ADMCDはコピーを確実に検出し、単一モードの指標より優れることが示された。
  論文  参考訳（メタデータ） (2026-03-13T15:16:27Z)
• TriSpec: Ternary Speculative Decoding via Lightweight Proxy Verification [63.65902785448346]
  投機的復号化は、その軽量なドラフトと並列検証機構を通じて、大幅なスピードアップを提供する。 計算コストを大幅に削減する軽量なプロキシを新たに導入した3次SDフレームワークであるTriSpecを提案する。 Qwen3およびDeepSeek-R1-Distill-Qwen/LLaMAファミリーの実験は、TriSpecが標準SDよりも最大35%のスピードアップを達成したことを示している。
  論文  参考訳（メタデータ） (2026-01-30T17:04:18Z)
• To Copy or Not to Copy: Copying Is Easier to Induce Than Recall [5.057026826740146]
  言語モデルは、重みに格納されたパラメトリック知識と、プロンプトの文脈情報とを仲裁しなければならない。 本研究は, モデルアクティベーションから慣性ベクトルを抽出し, その選択に関する力学的検討を行う。
  論文  参考訳（メタデータ） (2026-01-17T14:46:29Z)
• Self Speculative Decoding for Diffusion Large Language Models [21.955478721386953]
  拡散に基づく大規模言語モデル (dLLMs) は自己回帰モデルに代わる競合モデルとして登場した。 textbfSelf textbfSpeculative textbfDecoding (SSD) を提案する。 SSDは最大3.46$times$ Speedupを実現し、出力はLLaDAやDreamのようなオープンソースのモデルで段階的に復号化される。
  論文  参考訳（メタデータ） (2025-10-05T10:52:28Z)
• Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
  本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。 本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
  論文  参考訳（メタデータ） (2025-10-02T06:25:10Z)
• Frame-Stacked Local Transformers For Efficient Multi-Codebook Speech Generation [13.289870835946347]
  大規模言語モデル(LLM)に基づく音声生成モデルは、テキストトークンと基本的に異なる離散音響符号で動作する。 各段階において、モデルはNのコードブックエントリを共同で予測し、単純な並列予測アプローチに挑戦する依存関係を導入する必要がある。 これを解決するために階層戦略では、ローカルトランスフォーマー(LT)を使用して予測を洗練し、タイムステップ内依存関係をキャプチャする。 本稿では,計算効率や合成忠実度などのデプロイメントの優先順位に基づいて,デコード戦略を選択するための実践的ガイドラインを提案する。
  論文  参考訳（メタデータ） (2025-09-23T21:31:00Z)
• Language Models "Grok" to Copy [36.50007948478452]
  本稿では,先行する文脈からテキストをコピーする能力に着目し,言語モデルの事前学習のダイナミクスについて検討する。 本稿では,トランスフォーマーをベースとした言語モデルが,グルーキングと同様の模倣能力を発達させる,という新たな視点を提案する。 グラッキングとコンテキストコピーの関連性は、より効果的な言語モデルトレーニングに有用な洞察をもたらすと我々は主張する。
  論文  参考訳（メタデータ） (2024-09-14T03:11:00Z)
• Repetition Improves Language Model Embeddings [86.71985212601258]
  「echo Embeddings」は、自動回帰言語モデルをアーキテクチャの変更や微調整を必要とせず、強力なテキスト埋め込みモデルに変換する。 我々のゼロショット埋め込みは、マスク付き言語モデリングトレーニングを施した双方向変換LMで得られたものとほぼ一致します。
  論文  参考訳（メタデータ） (2024-02-23T17:25:10Z)
• On the Copying Behaviors of Pre-Training for Neural Machine Translation [63.914940899327966]
  これまでの研究で、ニューラルネットワーク翻訳(NMT)モデルを事前訓練言語モデル(LM)で初期化することは、モデルのトレーニングを高速化し、モデル性能を向上させることが示されている。 本研究では,NMTのトレーニング目標とNMTの訓練目標との相違から,NMTの事前訓練における重要な副作用を同定する。 本稿では,復号における複写動作を制御するために,複写ペナルティ(copying penalty)というシンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2021-07-17T10:02:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。