論文の概要: EffiPair: Improving the Efficiency of LLM-generated Code with Relative Contrastive Feedback
- arxiv url: http://arxiv.org/abs/2604.05137v1
- Date: Mon, 06 Apr 2026 19:56:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-08 17:42:09.473602
- Title: EffiPair: Improving the Efficiency of LLM-generated Code with Relative Contrastive Feedback
- Title(参考訳): EffiPair: 相対的コントラストフィードバックによるLLM生成コードの効率向上
- Authors: Samira Hajizadeh, Suman Jana,
- Abstract要約: EffiPairは推論時の反復的改善フレームワークで、テスト時に完全に動作する。
EffiPairは、正確性を維持しながら、常に効率を改善します。
DeepSeek-Chat V3.2では、EffiPairはパフォーマンスフィードバックなしで1.5倍の高速化を実現している。
- 参考スコア(独自算出の注目度): 9.090479141002605
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) often generate code that is functionally correct but inefficient in runtime and memory. Prior approaches to improving code efficiency typically rely on absolute execution feedback, such as profiling a single program's runtime or memory usage, which is costly and provides weak guidance for refinement. We propose Relative Contrastive Feedback (RCF), an inference-time feedback mechanism that requires no model fine-tuning or parameter updates. RCF compares two structurally similar programs for the same task and highlights the differences associated with better efficiency. Building on this idea, we introduce EffiPair, an inference-time iterative refinement framework that operates entirely at test time by generating multiple candidate solutions, identifying informative program pairs with large efficiency gaps, summarizing their execution differences into lightweight feedback, and using this signal to produce more efficient solutions. By replacing isolated scalar feedback with pairwise contrastive comparisons, EffiPair provides more direct guidance while reducing profiling and prompting overhead. Experiments on code-efficiency benchmarks show that EffiPair consistently improves efficiency while preserving correctness. For instance, with DeepSeek-Chat V3.2, EffiPair achieves up to 1.5x speedup over generation without performance feedback, while reducing token usage by more than 90% compared to prior work.
- Abstract(参考訳): 大規模言語モデル(LLM)は、しばしば機能的には正しいが実行時とメモリでは非効率なコードを生成する。
コード効率を改善する以前のアプローチは、通常、単一のプログラムのランタイムやメモリ使用量のプロファイリングのような絶対的な実行フィードバックに依存しており、コストがかかり、改善のための弱いガイダンスを提供する。
モデル微調整やパラメータ更新を必要としない推論時フィードバック機構であるRelative Contrastive Feedback (RCF)を提案する。
RCFは、同じタスクに対して2つの構造的に類似したプログラムを比較し、より良い効率に関する違いを強調します。
このアイデアに基づいて、複数の候補解を生成し、情報的プログラムペアを大きな効率ギャップで識別し、実行差を軽量なフィードバックに要約し、この信号を用いてより効率的な解を生成する、推論時反復改善フレームワークであるEffiPairを紹介した。
分離されたスカラーフィードバックをペアのコントラスト比較に置き換えることで、EffiPairはプロファイリングの削減とオーバーヘッドの促進を図りながら、より直接的なガイダンスを提供する。
コード効率ベンチマークの実験では、EffiPairは正確性を保ちながら、常に効率を向上している。
例えば、DeepSeek-Chat V3.2では、EffiPairはパフォーマンスフィードバックなしで生成よりも1.5倍のスピードアップを実現し、トークンの使用量を以前の作業と比べて90%以上削減している。
関連論文リスト
- SimpleMem: Efficient Lifelong Memory for LLM Agents [73.74399447715052]
セマンティックロスレス圧縮に基づく効率的なメモリフレームワークSimpleMemを紹介する。
本稿では,情報密度とトークン利用量の最大化を目的とした3段階パイプラインを提案する。
ベンチマークデータセットを用いた実験により,提案手法は精度,検索効率,推論コストにおいて,ベースラインアプローチを一貫して上回っていることがわかった。
論文 参考訳(メタデータ) (2026-01-05T21:02:49Z) - Towards Better Correctness and Efficiency in Code Generation [47.06216040246783]
本稿では,新しい性能報酬によって導かれる効率指向の強化学習フレームワークを提案する。
オンライン探索は、高精度ベースラインから始める際に最も効果的である。
実験では、コード精度を10.18%向上し、実行効率を7Bモデルで7.75%向上させる手法の有効性が示されている。
論文 参考訳(メタデータ) (2025-08-24T16:47:19Z) - Afterburner: Reinforcement Learning Facilitates Self-Improving Code Efficiency Optimization [46.33639431414019]
大規模言語モデルは機能的に正しいソリューションを生成するが、コード効率が不足することが多い。
この問題に対処する新しいテストタイム反復最適化フレームワークを導入する。
論文 参考訳(メタデータ) (2025-05-29T12:14:29Z) - Evaluating Language Models for Efficient Code Generation [13.175840119811]
大規模言語モデル(LLM)を確実に評価するための微分性能評価(DPE)を導入する。
DPEは、効率を要求するプログラミングタスクに焦点を当て、パフォーマンス評価のための洞察に富んだ複合メトリクスを確立する。
概念実証として、私たちはDPEを使用して、121のコードタスクのパフォーマンスを満足させるベンチマークであるEvalPerfを作成します。
論文 参考訳(メタデータ) (2024-08-12T18:59:13Z) - Federated Learning of Large Language Models with Parameter-Efficient
Prompt Tuning and Adaptive Optimization [71.87335804334616]
フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。
LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。
本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
論文 参考訳(メタデータ) (2023-10-23T16:37:59Z) - Building an Efficiency Pipeline: Commutativity and Cumulativeness of
Efficiency Operators for Transformers [68.55472265775514]
モデルに適用した演算子として効率性を考える。
本稿では,このアイデアの妥当性と,効率作用素の可換性と累積性について検討する。
論文 参考訳(メタデータ) (2022-07-31T18:01:06Z) - FastRE: Towards Fast Relation Extraction with Convolutional Encoder and
Improved Cascade Binary Tagging Framework [13.4666880421568]
本稿では,畳み込みエンコーダと改良されたカスケードバイナリタグフレームワークに基づく高速関係抽出モデル(FastRE)を提案する。
FastREは、最先端モデルと比較して3~10倍のトレーニング速度、7~15倍の推論速度、1/100のパラメータを実現している。
論文 参考訳(メタデータ) (2022-05-05T07:59:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。