論文の概要: Let the Code LLM Edit Itself When You Edit the Code

• arxiv url: http://arxiv.org/abs/2407.03157v1
• Date: Wed, 3 Jul 2024 14:34:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 13:56:35.277869
• Title: Let the Code LLM Edit Itself When You Edit the Code
• Title（参考訳）: コードを編集するとき、LLMが自分で編集する
• Authors: Zhenyu He, Jun Zhang, Shengjie Luo, Jingjing Xu, Zhi Zhang, Di He,
• Abstract要約: underlinetextbfPositional textbfIntegrity textbfEncoding (PIE) PIEは、標準的な完全再計算手法に比べて計算オーバーヘッドを85%以上削減する。 その結果、PIEは計算オーバーヘッドを標準の完全再計算手法に比べて85%以上削減することを示した。
• 参考スコア（独自算出の注目度）: 50.46536185784169
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we investigate a typical scenario in code generation where a developer edits existing code in real time and requests a code assistant, e.g., a large language model, to re-predict the next token or next line on the fly. Naively, the LLM needs to re-encode the entire KV cache to provide an accurate prediction. However, this process is computationally expensive, especially when the sequence length is long. Simply encoding the edited subsequence and integrating it to the original KV cache meets the temporal confusion problem, leading to significantly worse performance. We address this efficiency and accuracy trade-off by introducing \underline{\textbf{Positional \textbf{I}ntegrity \textbf{E}ncoding} (PIE). Building upon the rotary positional encoding, PIE first removes the rotary matrices in the Key cache that introduce temporal confusion and then reapplies the correct rotary matrices. This process ensures that positional relationships between tokens are correct and requires only a single round of matrix multiplication. We validate the effectiveness of PIE through extensive experiments on the RepoBench-C-8k dataset, utilizing DeepSeek-Coder models with 1.3B, 6.7B, and 33B parameters. Our evaluation includes three real-world coding tasks: code insertion, code deletion, and multi-place code editing. Results demonstrate that PIE reduces computational overhead by over 85% compared to the standard full recomputation approach across all model sizes and tasks while well approximating the model performance.
• Abstract（参考訳）: 本研究では、開発者が既存のコードをリアルタイムで編集し、コードアシスタント(例えば、大きな言語モデル)に次のトークンや次の行をオンザフライで予測するように要求するコード生成の典型的なシナリオについて検討する。 一般的に、LLMは正確な予測を提供するために、KVキャッシュ全体を再エンコードする必要がある。 しかし、このプロセスは特にシーケンス長が長い場合、計算コストがかかる。 編集されたサブシーケンスを単純にエンコードして元のKVキャッシュに統合するだけで、時間的混乱の問題が解決し、パフォーマンスが大幅に悪化する。 本稿では、この効率性と精度のトレードオフを、PIE(Shaunderline{\textbf{Positional \textbf{I}ntegrity \textbf{E}ncoding})を導入することによって解決する。 回転位置符号化に基づいて、PIEはまず、時間的混乱をもたらすキーキャッシュ内の回転行列を除去し、次に正しい回転行列を再適用する。 このプロセスはトークン間の位置関係が正しいことを保証し、1ラウンドの行列乗法しか必要としない。 我々は,RepoBench-C-8kデータセットの広範な実験を通じて,1.3B,6.7B,33BパラメータのDeepSeek-Coderモデルを用いてPIEの有効性を検証する。 私たちの評価には、コード挿入、コード削除、複数箇所のコード編集という3つの実世界のコーディングタスクが含まれています。 その結果、PIEは、モデル性能をよく評価しながら、すべてのモデルサイズとタスクにわたる標準的な完全再計算手法と比較して、計算オーバーヘッドを85%以上削減することを示した。

関連論文リスト

• Multi-Token Joint Speculative Decoding for Accelerating Large Language Model Inference [41.93955876156331]
  大規模言語モデル (LLM) は様々なタスクにおいてそのパワーを実証しているが、その推論にはかなりの時間とエネルギーコストがかかる。 投機的復号法は、より小さなモデルを用いて1つのトークン列を提案し、その後ターゲットの大モデルによってバッチで検証される。 自己回帰復号法と比較すると、投機的復号法は同じ数のトークンを生成し、大きなモデルの実行量は少ない。 投機的復号化よりも出力の難易度と効率性が良いアルゴリズムは、実際より有用である。
  論文  参考訳（メタデータ） (2024-07-12T23:29:54Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• Progressive-Proximity Bit-Flipping for Decoding Surface Codes [9.801253635315636]
  トリックやサーフェスコードのようなトポロジカル量子コードは、ハードウェア実装の優れた候補である。 既存のデコーダは、計算複雑性の低いような要求を満たすのに不足することが多い。 トリックおよび表面符号に適した新しいビットフリップ(BF)デコーダを提案する。
  論文  参考訳（メタデータ） (2024-02-24T22:38:05Z)
• Fast Chain-of-Thought: A Glance of Future from Parallel Decoding Leads to Answers Faster [61.83949316226113]
  FastCoTは並列デコーディングに基づくモデルに依存しないフレームワークである。 我々は、FastCoTが通常のアプローチと比較して、無視できる性能低下だけで、推論時間を20%近く削減できることを示します。
  論文  参考訳（メタデータ） (2023-11-14T15:56:18Z)
• Regress Before Construct: Regress Autoencoder for Point Cloud Self-supervised Learning [18.10704604275133]
  Masked Autoencoders (MAE) は、2Dおよび3Dコンピュータビジョンのための自己教師型学習において有望な性能を示した。 我々は、ポイントクラウド自己教師型学習のための回帰オートエンコーダの新しいスキーム、Point Regress AutoEncoder (Point-RAE)を提案する。 本手法は, 各種下流タスクの事前学習において効率よく, 一般化可能である。
  論文  参考訳（メタデータ） (2023-09-25T17:23:33Z)
• Accelerating Transformer Inference for Translation via Parallel Decoding [2.89306442817912]
  自動回帰復号化は機械翻訳(MT)における変圧器の効率を制限する 並列デコーディングアルゴリズムを3つ提示し、異なる言語やモデルでテストする。
  論文  参考訳（メタデータ） (2023-05-17T17:57:34Z)
• CLAWSAT: Towards Both Robust and Accurate Code Models [74.57590254102311]
  比較学習(CL)と逆学習を統合して、コードモデルの堅牢性と精度を協調的に最適化する。 私たちの知る限りでは、これはコードモデルにおける(マルチビュー)コードの難読化の堅牢性と正確性について調査し、活用する最初の体系的な研究です。
  論文  参考訳（メタデータ） (2022-11-21T18:32:50Z)
• Sparsifying Parity-Check Matrices [60.28601275219819]
  パリティチェック行列における1項目数を最小化する問題を考える。 最大型(ML)復号法では、PCMの復号に要する時間と直接関連している。 コード自体ではなく,PCMを変更する単純な行列行操作を提案する。
  論文  参考訳（メタデータ） (2020-05-08T05:51:40Z)
• Pruning Neural Belief Propagation Decoders [77.237958592189]
  本稿では,機械学習を用いたBPデコードに対して,過剰完全パリティチェック行列を調整する手法を提案する。 我々は,デコーダの複雑さを低減しつつ,0.27dB,1.5dBのML性能を実現する。
  論文  参考訳（メタデータ） (2020-01-21T12:05:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。