論文の概要: Copy-as-Decode: Grammar-Constrained Parallel Prefill for LLM Editing

• arxiv url: http://arxiv.org/abs/2604.18170v1
• Date: Mon, 20 Apr 2026 12:29:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.861945
• Title: Copy-as-Decode: Grammar-Constrained Parallel Prefill for LLM Editing
• Title（参考訳）: コピー・アズ・デコード:LLM編集のための文法制約付き並列プリフィル
• Abstract要約: LLMは、入力中にほとんどのトークンが冗長に見える場合でも、全出力を自動回帰的に再生することでテキストとコードを編集する。 Copy-as-Decodeは、2プリミティブ文法上の構造化復号化として生成を再キャストする復号化機構である。
• 参考スコア（独自算出の注目度）: 2.6382975801439836
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLMs edit text and code by autoregressively regenerating the full output, even when most tokens appear verbatim in the input. We study Copy-as-Decode, a decoding-layer mechanism that recasts edit generation as structured decoding over a two-primitive grammar: <copy lines="i-j"/> references an input line range, <gen>...</gen> emits new content. A token-level FSM guarantees syntactic validity, and a serving-layer primitive updates the KV cache for each copy span via a single parallel-prefill forward rather than $N$ autoregressive steps -- sharing the parallel-forward kernel of speculative decoding but with input tokens as the draft and program-enforced acceptance replacing probabilistic verification. We report an upper-bound analysis that requires no end-to-end training. (i) Kernel speedup: on Qwen2.5-{1.5B, 7B}, copying $N$ tokens via parallel prefill is $6.8\times$--$303\times$ faster than autoregressive ($N \in [8, 512]$, A100 80GB bf16). (ii) Copy ceiling: on ProbeEdit and HumanEvalPack-Fix (Py/JS), $74$--$98\%$ of gold tokens are reachable under the line-level primitive; composed with the empirical kernel over each corpus's span histogram this yields a closed-form wall-clock bound of $29.0\times / 3.4\times / 4.2\times$ ($13.0\times$ pooled). A token-level extension reaches $91$--$99\%$ coverage with $4.5\times$--$6.5\times$ floors. (iii) Pipeline losslessness: oracle programs round-trip through the deterministic resolver on all $482$ cases, localizing any downstream failure to span selection rather than the mechanism. A perturbation study shows pooled EM drops from $100\%$ to $15.48\%$ under off-by-one noise. A fine-tuning pilot on Qwen2.5-Coder-1.5B lifts HEvalFix-Py EM from $0/33$ (untrained) to $12$--$17\%$, a learnability signal, not a production selector. Batched-serving integration and multi-file coverage are scoped as follow-up.
• Abstract（参考訳）: LLMは、入力中にほとんどのトークンが冗長に見える場合でも、全出力を自動回帰的に再生することでテキストとコードを編集する。 Copy line="i-j"/> は入力行範囲を参照し、<gen>...</gen> は新しいコンテンツを出力する。 トークンレベルのFSMは構文上の妥当性を保証し、各コピーに対するKVキャッシュは、$N$の自己回帰ステップではなく、単一の並列プリフィルによって更新される。 エンドツーエンドのトレーニングを必要としない上行分析を報告する。 (i)カーネルスピードアップ: Qwen2.5-{1.5B, 7B}では、パラレルプリフィルを介してN$トークンをコピーすると、オートレグレッシブ(N \in [8, 512]$, A100 80GB bf16)よりも高速な6.8\times$--303\times$である。 (ii)コピー天井:ProbeEditとHumanEvalPack-Fix (Py/JS)では、ラインレベルのプリミティブの下で7,4$--98\%の金メダルが到達可能で、各コーパスのスパンヒストグラム上の経験的カーネルで構成され、閉じた形の壁時計が29.0\times / 3.4\times / 4.2\times$$$13.0\times$ pooledとなる。 トークンレベルの拡張は、$4.5\times$-$6.5\times$ floorsで、911$-$99\%$カバレッジに達する。 3) パイプライン損失性: オラクルプログラムは、すべての482ドルのケースで決定論的リゾルバを往復し、下流の障害をメカニズムよりも選択に分散させる。 摂動調査によると、プールされたEMは1対1のノイズの下で100\%から15.48\%に値下げされた。 Qwen2.5-Coder-1.5Bの微調整パイロットはHEvalFix-Py EMを0/33ドル(トレーニングなし)から12ドル--17\%ドルに引き上げる。 バッチサービス統合とマルチファイルカバレッジは、フォローアップとしてスコープされる。

関連論文リスト

• Fixed-order postselected CHSH reference acquisition for parity-constrained spatial-mode qubits on a commercial cloud photonic processor [0.0]
  我々は,Quandelaの商用クラウドアクセス可能なベレノスプロセッサ上で,2つの符号化されたフォトニックキュービットに対して,Clauser-Horne-Shimony-Holt (CHSH) の取得と報告を行う。 各論理キュービットは、8モードの単一光子レジスタの7次元ゼロサムセクターにおける2次元空間モード部分空間である。
  論文  参考訳（メタデータ） (2026-08-13T01:08:02Z)
• ForgettingOT: Certified Speculative Batching from Sinkhorn's Projective Forgetting [0.0]
  固定点ヤコビアン$J_tstar=QP=Pstar P$ の固有モードが厳密な補正テールを制御することを示す。 ForgettingOTは、この非線形ペロン-フロベニウスの事実をシンクホーン問題のストリームの認定執行者に変える。
  論文  参考訳（メタデータ） (2026-07-27T17:59:36Z)
• Concurrent Image Understanding and Generation: Self-Correcting Coupled Markov Jump Processes [70.61868608402723]
  我々は$textbfSelf-Correcting Coupled Markov Jump Processes (SC-CMJP)を紹介する。 SC-CMJPと組み合わせて、共同マルチモーダルジェネレーションのための新しいトレーニングフリーシングルパスサンプリングであるtextttCO_texttt2textttJump$を紹介する。 トレーニングと評価のために,我々は3つの大規模ジョイントマルチモーダル生成コーパスを作成し,リリースする。
  論文  参考訳（メタデータ） (2026-07-14T18:39:29Z)
• ShortOPD: Recovering Pruned LLMs with Short-to-Long On-Policy Distillation [72.54604107217669]
  textscpass@$k$は圧縮後にほぼ消滅するが、textscpass@$k$は繰り返しサンプリングの下でほぼ回復する。 回復は、密集したトークンレベルの監督の下で、圧縮されたモデル自身のオン政治状態で訓練すべきである。 我々は,教師が確認した反復接尾辞を検知する短時間のOPDスケジュールであるtextbfshortopdを提案する。
  論文  参考訳（メタデータ） (2026-07-14T17:50:50Z)
• Isolating LLM Alignment from Regex: Zero Coverage and Metric-Dependent Divergence Under Adversarial Mutation [51.56484100374058]
  以前の作業では、アクティブフィルタの背後にライブのGeminiバックエンドを追加することで、測定可能なカバレッジが得られなかった。 L_4$-real(Gemini-2.5-flash, token-budget cap, rate limit, output scrub)と同様の$L_5$-no-regexを導入するが、9パターンフィルタは無効である。 3つのサブ言語にまたがる敵対的プローブに対して評価を行った。
  論文  参考訳（メタデータ） (2026-06-12T18:54:24Z)
• The Security Budget of Code-LLM Prompt Hardening: Provable Limits Under Pass-Only Acceptance [0.0]
  本稿では,emphTri-Audit Protocolとしてフロアを運用する。このプロトコルは,プロンプト側推論レジストリ属性をモデル側実証ログから分離する2軸レポーティングプロトコルである。 CodeLlama-7B, Qwen2.5-Coder-7B/1.5B and DeepSeek-Coder-6.7B at $n=164$ yields the emphCross-Model Tri-Audit Invariance: of 28 pass-serving rows, 12-changed-of-record learned-can
  論文  参考訳（メタデータ） (2026-06-02T08:22:14Z)
• DualKV: Shared-Prompt Flash Attention for Efficient RL Training with Large Rollouts and Long Contexts [32.57334288518084]
  GRPOやDAPOのような現代のRLポストトレーニングメソッドは、共有プロンプトからサンプリングされた$R$トークンの$N$レスポンスシーケンスでトレーニングする。 標準FlashAttentionは、すべての$P$プロンプトトークンを前方と後方の両方で$N回複製する。 トレーニング中に共有プロンプトレプリケーションを排除した最初のFlashカーネルである textDualAttention を提案する。
  論文  参考訳（メタデータ） (2026-05-14T21:11:32Z)
• SURGE: SuperBatch Unified Resource-efficient GPU Encoding for Heterogeneous Partitioned Data [3.1624024957575982]
  SURGEは,4万の論理パーティションに8億以上のテキストの埋め込みを生成するために,本番環境にデプロイされたストリーミングエンコーディングシステムである。 4つのNVIDIA L4768を持つ10Mテキストでは、SURGEは26,413のテキスト/sを提供する。
  論文  参考訳（メタデータ） (2026-05-01T19:51:50Z)
• RACER: Retrieval-Augmented Contextual Rapid Speculative Decoding [80.12789199134511]
  大規模言語モデル(LLM)における自己回帰デコーディングは、ステップ毎に1つのトークンを生成し、高い推論遅延を引き起こす。 我々は,検索した正確なパターンとロジット駆動の将来の手がかりを統合する軽量でトレーニング不要な $textbfRACER を提案する。 Spec-Bench、HumanEval、MGSM-ZHの実験では、RACERは推論を継続的に加速し、自動回帰デコーディングよりも2倍以上のスピードアップを達成した。
  論文  参考訳（メタデータ） (2026-04-16T11:23:55Z)
• Learning to Parallel: Accelerating Diffusion Large Language Models via Learnable Parallel Decoding [21.609237262034636]
  大規模言語モデル(LLM)における自己回帰復号には、$n$トークンに対して$mathcalO(n)$シーケンシャルステップが必要である。 本稿では,並列デコード学習(Learn2PD)を提案する。これは軽量かつ適応的なフィルタモデルをトレーニングし,各トークン位置に対して,現在の予測が最終出力と一致するかどうかを予測するフレームワークである。 この学習されたフィルタは、正しく予測された場合にのみトークンをアンマスクするオラクル並列復号法を近似する。
  論文  参考訳（メタデータ） (2025-09-29T17:59:54Z)
• Superposed Decoding: Multiple Generations from a Single Autoregressive Inference Pass [72.07642648108849]
  Superposed Decodingは、1つの自己回帰推論パスのコストで$k$のドラフトを生成する新しい復号アルゴリズムである。 Superposed Decodingは、他のデコード戦略と組み合わせることで、推論時間計算のスケーリング時に普遍的なカバレッジが向上する。
  論文  参考訳（メタデータ） (2024-05-28T17:40:48Z)
• SpecTr: Fast Speculative Decoding via Optimal Transport [30.18181671899423]
  このアルゴリズムはデコーディングの高速化を図り、デコードされた出力に品質劣化がないことを保証します。 提案手法は,最先端の大規模言語モデルに対して,標準的なベンチマーク上での投機的復号化よりもさらに1.37倍の高速化である2.13Xのウォールクロック高速化を実現することを実験的に実証した。
  論文  参考訳（メタデータ） (2023-10-23T17:47:34Z)
• Deep Learning Meets Projective Clustering [66.726500395069]
  NLPネットワークを圧縮するための一般的なアプローチは、埋め込み層を行列 $AinmathbbRntimes d$ としてエンコードすることである。 計算幾何学から遠射的クラスタリングに着想を得て、この部分空間を$k$部分空間の集合で置き換えることを提案する。
  論文  参考訳（メタデータ） (2020-10-08T22:47:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。