論文の概要: When Copying Is Hard: Copy-Constrained Decoding for Exact Span Reproduction

• arxiv url: http://arxiv.org/abs/2610.28393v1
• Date: Tue, 20 Oct 2026 15:40:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.891063
• Title: When Copying Is Hard: Copy-Constrained Decoding for Exact Span Reproduction
• Title（参考訳）: コピーが難しいとき:コピーに制約のあるデコード
• Abstract要約: 我々は、契約、科学文献、コード、ランダムシーケンスにまたがる再現能力を正確に検証するベンチマークを開発する。 私たちのキーとなる考え方はコピーを、いつコピーするか、どれくらいコピーするか、いつ停止するかという3つの異なる決定に分解することです。 CopyGenはモデル微調整なしで平均的な正確なマッチングを35%改善し、SFTとシームレスに統合する。
• 参考スコア（独自算出の注目度）: 42.825137701193974
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Precisely reproducing a target span verbatim within a long context is a fundamental capability test for LLMs: even when the target string is present in context, models often still drift within the span or fail to stop correctly, revealing limitations in source grounding and boundary control. This capability has broad practical relevance. For instance, code generation often requires embedding sensitive strings such as API keys exactly as they appear in context. In this work, we construct a benchmark to test exact span reproduction ability across contracts, scientific literature, code, and random sequences, and find that current models still make surprisingly frequent errors. To address this, we propose CopyGen, a lightweight copy-constrained plugin for frozen LLMs that turns copying from a byproduct of next-token prediction into a controlled process. Our key idea is to decompose copying into three distinct decisions: when to copy, how far to copy, and when to stop. Concretely, CopyGen first determines whether to enter copy mode, then predicts a tentative copy length, and finally verifies the generated span token by token. During verification, we adaptively adjust the logits of copy continuation tokens to incentivize or suppress continuation, and emit only the longest valid prefix. Across three LLM backbones and four benchmark tasks, CopyGen improves average exact match by 35% relative without model finetuning, and integrates seamlessly with SFT to further improve it by 4%, while substantially accelerating generation. These results suggest that reliable exact copying is not something LLMs obtain for free, but a decoding-time control problem that requires explicit modeling. Code is available at https://github.com/mbzuai-nlp/CopyGen.
• Abstract（参考訳）: ターゲット文字列がコンテキスト内に存在しても、モデルがスパン内でドリフトしたり、正しく停止しなかったりして、ソースグラウンドやバウンダリコントロールの制限が明らかになる。 この能力は幅広い実用性を持っている。 例えば、コード生成には、コンテキストに現れるようにAPIキーなどのセンシティブな文字列を埋め込む必要があることが多い。 本研究では,契約,科学文献,コード,乱数列の再現性を正確に検証するためのベンチマークを構築し,現在のモデルが驚くほど頻繁にエラーを発生していることを確認した。 そこで本研究では,次世代予測の副産物から制御プロセスに変換する,凍結LDM用の軽量コピー制約プラグインであるCopyGenを提案する。 私たちのキーとなる考え方はコピーを、いつコピーするか、どれくらいコピーするか、いつ停止するかという3つの異なる決定に分解することです。 具体的には、CopyGenはまずコピーモードを入力するかどうかを決定し、次に仮コピー長を予測し、最後に生成されたスパントークンをトークンで検証する。 検証中、コピー継続トークンのロジットを適応的に調整し、継続をインセンティブまたは抑制し、最も長い有効なプレフィックスのみを出力する。 3つのLCMバックボーンと4つのベンチマークタスクで、CopyGenはモデル微調整なしで平均的な正確なマッチングを35%改善し、SFTとシームレスに統合することで、さらに4%改善し、生成を大幅に加速する。 これらの結果は、信頼性の高い正確なコピーはLLMが無償で得るものではなく、明示的なモデリングを必要とする復号時間制御の問題であることを示している。 コードはhttps://github.com/mbzuai-nlp/CopyGen.comで入手できる。

関連論文リスト

• To Copy or Not to Copy: Controlling Speculative Decoding via Intrinsic Model Signals [53.517661959543894]
  投機的復号法 (SD) はLarge Language Model (LLM) の推論を著しく加速した。 既存のアプローチは、ニューラルドラフトとコンテキストベースのコピーという2つのドラフト戦略の根本的なトレードオフに直面している。 既存のコピーベース手法を解析し、それらが偶然に繰り返される傾向があることを確認する。 本稿では,LLMの遅延制御信号としてコピー処理を扱う適応型フレームワークであるSwitchSDを紹介する。
  論文  参考訳（メタデータ） (2026-09-17T12:51:20Z)
• Copy-Paste to Mitigate Large Language Model Hallucinations [28.490445724463864]
  本研究では,2段階のハイコピー応答選好トレーニングにより得られたCopyPasteLLMを提案する。 FaithEval、ConFiQA、PubMedQAでは、CopyPasteLLMは、デファクトとオリジナルの両方のコンテキストで最高のパフォーマンスを達成する。 CopyPasteLLMの有効性を解明するために、コンテキストコピーキャプチャーアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-10-01T04:40:04Z)
• LLM-driven Constrained Copy Generation through Iterative Refinement [8.297656135501395]
  本稿では,反復的改良を用いた拡張性のあるコピー生成のためのエンドツーエンドフレームワークを提案する。 これらの制約の例としては、長さ、話題、キーワード、好みの語彙順応、声のトーンがある。 以上の結果から, 反復改良により, 複写成功率が16.25-35.91$%向上することが示唆された。
  論文  参考訳（メタデータ） (2025-04-14T16:38:28Z)
• CopyBench: Measuring Literal and Non-Literal Reproduction of Copyright-Protected Text in Language Model Generation [132.00910067533982]
  LM世代におけるリテラルコピーと非リテラルコピーの両方を測定するために設計されたベンチマークであるCopyBenchを紹介する。 リテラル複写は比較的稀であるが、イベント複写と文字複写という2種類の非リテラル複写は、7Bパラメータのモデルでも発生する。
  論文  参考訳（メタデータ） (2024-07-09T17:58:18Z)
• Let the Code LLM Edit Itself When You Edit the Code [50.46536185784169]
  underlinetextbfPositional textbfIntegrity textbfEncoding (PIE) PIEは、標準的な完全再計算手法に比べて計算オーバーヘッドを85%以上削減する。 その結果、PIEは計算オーバーヘッドを標準の完全再計算手法に比べて85%以上削減することを示した。
  論文  参考訳（メタデータ） (2024-07-03T14:34:03Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• CopyNext: Explicit Span Copying and Alignment in Sequence to Sequence Models [31.832217465573503]
  明示的なトークンレベルのコピー操作を持つモデルを示し、それを全スパンのコピーに拡張する。 我々のモデルは入力と出力のスパン間のハードアライメントを提供し、情報抽出のような非伝統的なセq2seqの応用を可能にする。
  論文  参考訳（メタデータ） (2020-10-28T22:45:16Z)
• Copy that! Editing Sequences by Copying Spans [40.23377412674599]
  1ステップで入力のスパン全体を出力にコピーできるSeq2seqモデルの拡張を提案する。 自然言語とソースコードの様々な編集タスクの実験において、我々の新しいモデルはより単純なベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2020-06-08T17:42:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。