論文の概要: Optimizing Token Consumption in LLMs: A Nano Surge Approach for Code Reasoning Efficiency
- arxiv url: http://arxiv.org/abs/2504.15989v2
- Date: Thu, 29 May 2025 18:29:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-02 15:03:34.750678
- Title: Optimizing Token Consumption in LLMs: A Nano Surge Approach for Code Reasoning Efficiency
- Title（参考訳）: LLMにおけるトークン消費の最適化:コード推論効率のためのナノサージアプローチ
- Authors: Junwei Hu, Weicheng Zheng, Yihan Liu, Yan Liu,
- Abstract要約: Chain of Thought (CoT)推論は、コードの自動修復に欠かせないアプローチとなっている。
CoTはトークン消費を大幅に増加させ、推論効率を低下させ、計算コストを上昇させる。
本稿では,コンテキスト認識,責任調整,コスト感の3つの最適化手法を提案する。
- 参考スコア（独自算出の注目度）: 5.044393644778693
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the increasing adoption of large language models (LLMs) in software engineering, the Chain of Thought (CoT) reasoning paradigm has become an essential approach for automated code repair. However, the explicit multi-step reasoning in CoT leads to substantial increases in token consumption, reducing inference efficiency and raising computational costs, especially for complex code repair tasks. Most prior research has focused on improving the correctness of code repair while largely overlooking the resource efficiency of the reasoning process itself. To address this challenge, this paper proposes three targeted optimization strategies: Context Awareness, Responsibility Tuning, and Cost Sensitive. Context Awareness guides the model to focus on key contextual information, Responsibility Tuning refines the structure of the reasoning process through clearer role and responsibility assignment, and Cost Sensitive incorporates resource-awareness to suppress unnecessary token generation during inference. Experiments across diverse code repair scenarios demonstrate that these methods can significantly reduce token consumption in CoT-based reasoning without compromising repair quality. This work provides novel insights and methodological guidance for enhancing the efficiency of LLM-driven code repair tasks in software engineering.
- Abstract（参考訳）: ソフトウェア工学における大規模言語モデル (LLMs) の採用の増加に伴い、Chain of Thought (CoT) 推論パラダイムは、コードの自動修復に欠かせないアプローチとなっている。
しかし、CoTの明示的な多段階推論はトークン消費を大幅に増加させ、推論効率を低下させ、特に複雑なコード修復タスクにおいて計算コストを増大させる。
これまでのほとんどの研究は、推論プロセス自体のリソース効率を概ね見落としながら、コード修復の正確性を改善することに重点を置いてきた。
この課題に対処するため,本稿では,コンテキスト認識,責任調整,コスト感という3つの最適化手法を提案する。
コンテキスト認識(Context Awareness)は、重要なコンテキスト情報にフォーカスするようモデルに誘導し、責任調整(Responsibility Tuning)は、より明確な役割と責任割り当てを通じて推論プロセスの構造を洗練し、コスト知覚(Cost Sensitive)は、推論中に不要なトークン生成を抑制するためにリソース認識を組み込む。
多様なコード修復シナリオに対する実験は、これらの手法が修理品質を損なうことなく、CoTベースの推論におけるトークン消費を大幅に削減できることを示した。
この研究は、ソフトウェア工学におけるLLM駆動のコード修復タスクの効率を高めるための、新しい洞察と方法論のガイダンスを提供する。
関連論文リスト
- LLM4EFFI: Leveraging Large Language Models to Enhance Code Efficiency and Correctness [38.399282089600284]
大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを示している。
ulineLarge ulineLanguage ulineModel for Code ulineEfficiencyは、LLMが効率性と正確性の両方のバランスをとるコードを生成することができる新しいフレームワークである。
論文 参考訳（メタデータ） (2025-02-17T07:01:18Z) - Enhancing Large Language Model Efficiencyvia Symbolic Compression: A Formal Approach Towards Interpretability [3.9122242678047456]
大規模言語モデル(LLM)は、コード生成と論理的推論タスクにおいて重要なトークン効率のボトルネックに直面します。
本稿では,記号圧縮,論理の統合,情報理論の最適符号化,文脈認識推論技術に基づく形式的フレームワークを提案する。
論文 参考訳（メタデータ） (2025-01-30T06:40:52Z) - Generating refactored code accurately using reinforcement learning [3.179831861897336]
そこで本研究では,Javaソースコードの自動抽出を行うために,プログラム言語モデルを微調整・整合化するための強化学習に基づく新しい手法を提案する。
提案手法は,PPO(Proximal Policy Optimization)アルゴリズムを用いて,シーケンス・ツー・シーケンス生成モデルを微調整する。
我々の実験は、我々のアプローチがコードにおける大きな言語モデルの性能を大幅に向上させることを示した。
論文 参考訳（メタデータ） (2024-12-23T23:09:48Z) - Less is More: Towards Green Code Large Language Models via Unified Structural Pruning [27.428983811427827]
語彙, 層, フィードフォワードネットワーク(FFN)プルーニングを組み合わせた, 革新的な統一的構造解析手法であるFlap-Prunerを提案する。
その結果、Flap-Prunerはパラメータの22%をプルーニングした後、元のパフォーマンスの97%を維持し、トレーニング後と同じあるいはそれ以上のパフォーマンスを達成していることがわかった。
論文 参考訳（メタデータ） (2024-12-20T14:13:09Z) - A Theoretical Perspective for Speculative Decoding Algorithm [60.79447486066416]
EmphSpeculative Decodingは、小さなモデルを使用して、ドラフトトークンのシーケンスと、検証のための大きなモデルをサンプリングする。
本稿では,マルコフ連鎖抽象化による復号化問題を概念化し,理論的な観点から,鍵特性,エファンアウトプットの品質,推論加速度について考察する。
論文 参考訳（メタデータ） (2024-10-30T01:53:04Z) - SwiftCoder: Enhancing Code Generation in Large Language Models through Efficiency-Aware Fine-tuning [17.355845751737423]
現在の手法は主に正確さに重点を置いており、しばしば効率性を見落としている。
データセットは、AI駆動のコード生成を進めるためのスケーラブルで効果的なソリューションを提供する。
論文 参考訳（メタデータ） (2024-10-14T07:05:51Z) - COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。
我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。
当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
論文 参考訳（メタデータ） (2024-10-12T23:56:19Z) - CodeDPO: Aligning Code Models with Self Generated and Verified Source Code [52.70310361822519]
我々は、コード生成に好み学習を統合するフレームワークであるCodeDPOを提案し、コードの正確性と効率性という2つの重要なコード優先要因を改善した。
CodeDPOは、コードとテストケースを同時に生成、評価するセルフジェネレーション・アンド・バリデーションメカニズムを利用して、新しいデータセット構築方法を採用している。
論文 参考訳（メタデータ） (2024-10-08T01:36:15Z) - Measuring Code Efficiency Optimization Capabilities with ACEOB [7.4056083791645495]
モデルトレーニングデータセットの「コードパターン」を詳細に分析し、人間の手書きコードを慎重に探索する。
95,359組の効率非効率コードからなる自動コード効率最適化ベンチマーク(ACEOB)を導入する。
私たちの知る限り、ACEOBはPythonコードの効率最適化に特化した最初のデータセットです。
論文 参考訳（メタデータ） (2024-08-23T10:10:37Z) - Factor Graph Optimization of Error-Correcting Codes for Belief Propagation Decoding [62.25533750469467]
低密度パリティ・チェック (LDPC) コードは、他の種類のコードに対していくつかの利点がある。
提案手法は,既存の人気符号の復号性能を桁違いに向上させる。
論文 参考訳（メタデータ） (2024-06-09T12:08:56Z) - Comments as Natural Logic Pivots: Improve Code Generation via Comment Perspective [85.48043537327258]
本稿では, MANGO (comMents As Natural loGic pivOts) を提案する。
その結果、MANGOは強いベースラインに基づいてコードパス率を大幅に改善することがわかった。
論理的なコメントの復号化戦略の堅牢性は、考えの連鎖よりも顕著に高い。
論文 参考訳（メタデータ） (2024-04-11T08:30:46Z) - A Transformer-based Approach for Source Code Summarization [86.08359401867577]
コードトークン間のペア関係をモデル化することにより,要約のためのコード表現を学習する。
アプローチは単純であるにもかかわらず、最先端技術よりもかなりの差があることが示される。
論文 参考訳（メタデータ） (2020-05-01T23:29:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。