論文の概要: Optimizing Token Consumption in LLMs: A Nano Surge Approach for Code Reasoning Efficiency

• arxiv url: http://arxiv.org/abs/2504.15989v2
• Date: Thu, 29 May 2025 18:29:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 15:03:34.750678
• Title: Optimizing Token Consumption in LLMs: A Nano Surge Approach for Code Reasoning Efficiency
• Title（参考訳）: LLMにおけるトークン消費の最適化:コード推論効率のためのナノサージアプローチ
• Authors: Junwei Hu, Weicheng Zheng, Yihan Liu, Yan Liu,
• Abstract要約: Chain of Thought (CoT)推論は、コードの自動修復に欠かせないアプローチとなっている。 CoTはトークン消費を大幅に増加させ、推論効率を低下させ、計算コストを上昇させる。 本稿では,コンテキスト認識,責任調整,コスト感の3つの最適化手法を提案する。
• 参考スコア（独自算出の注目度）: 5.044393644778693
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the increasing adoption of large language models (LLMs) in software engineering, the Chain of Thought (CoT) reasoning paradigm has become an essential approach for automated code repair. However, the explicit multi-step reasoning in CoT leads to substantial increases in token consumption, reducing inference efficiency and raising computational costs, especially for complex code repair tasks. Most prior research has focused on improving the correctness of code repair while largely overlooking the resource efficiency of the reasoning process itself. To address this challenge, this paper proposes three targeted optimization strategies: Context Awareness, Responsibility Tuning, and Cost Sensitive. Context Awareness guides the model to focus on key contextual information, Responsibility Tuning refines the structure of the reasoning process through clearer role and responsibility assignment, and Cost Sensitive incorporates resource-awareness to suppress unnecessary token generation during inference. Experiments across diverse code repair scenarios demonstrate that these methods can significantly reduce token consumption in CoT-based reasoning without compromising repair quality. This work provides novel insights and methodological guidance for enhancing the efficiency of LLM-driven code repair tasks in software engineering.
• Abstract（参考訳）: ソフトウェア工学における大規模言語モデル (LLMs) の採用の増加に伴い、Chain of Thought (CoT) 推論パラダイムは、コードの自動修復に欠かせないアプローチとなっている。 しかし、CoTの明示的な多段階推論はトークン消費を大幅に増加させ、推論効率を低下させ、特に複雑なコード修復タスクにおいて計算コストを増大させる。 これまでのほとんどの研究は、推論プロセス自体のリソース効率を概ね見落としながら、コード修復の正確性を改善することに重点を置いてきた。 この課題に対処するため,本稿では,コンテキスト認識,責任調整,コスト感という3つの最適化手法を提案する。 コンテキスト認識(Context Awareness)は、重要なコンテキスト情報にフォーカスするようモデルに誘導し、責任調整(Responsibility Tuning)は、より明確な役割と責任割り当てを通じて推論プロセスの構造を洗練し、コスト知覚(Cost Sensitive)は、推論中に不要なトークン生成を抑制するためにリソース認識を組み込む。 多様なコード修復シナリオに対する実験は、これらの手法が修理品質を損なうことなく、CoTベースの推論におけるトークン消費を大幅に削減できることを示した。 この研究は、ソフトウェア工学におけるLLM駆動のコード修復タスクの効率を高めるための、新しい洞察と方法論のガイダンスを提供する。

関連論文リスト

• Is Quantization a Deal-breaker? Empirical Insights from Large Code Models [7.182449176083625]
  我々は、広く使われている2つのコードモデル、CodeLlamaとDeepSeekCoderにActivation-Aware Weight Quantization (AWQ)を適用し、JavaとPythonコードを生成する。 この結果から,量子化は機能的正当性を保持するだけでなく,開発者が求める重要な定性的なコード属性も保持する,堅牢な手法であることが判明した。
  論文  参考訳（メタデータ） (2025-07-13T14:58:19Z)
• $T^3$: Multi-level Tree-based Automatic Program Repair with Large Language Models [9.334654320797975]
  本研究では,APRタスクにおけるいくつかのコモンCoT技術の性能を体系的に評価する。 これは、LLMの強力な推論機能とツリー検索を統合した革新的なフレームワークであるT3$を提案する。
  論文  参考訳（メタデータ） (2025-06-26T13:04:28Z)
• ORMind: A Cognitive-Inspired End-to-End Reasoning Framework for Operations Research [53.736407871322314]
  ORMindは認知にインスパイアされたフレームワークで、反ファクト推論を通じて最適化を強化する。 提案手法は,要求を数学的モデルや実行可能なコードに変換するエンド・ツー・エンドのワークフローを実装し,人間の認識をエミュレートする。 現在はLenovoのAIアシスタントで内部でテストされており、ビジネスとコンシューマの両方の最適化機能を強化する予定である。
  論文  参考訳（メタデータ） (2025-06-02T05:11:21Z)
• Towards Effective Code-Integrated Reasoning [89.47213509714578]
  モデルが必要に応じてコードを生成するコード統合推論について検討し、コードインタプリタを通じてそれを実行することによってフィードバックを統合する。 ツール強化強化学習は、学習力学における潜在的な不安定さに悩まされる可能性がある。 我々は、探索と安定性のバランスをとるための強化されたトレーニング戦略を開発し、推論性能を改善しながら、ツールの利用能力を徐々に構築する。
  論文  参考訳（メタデータ） (2025-05-30T11:30:18Z)
• AKD : Adversarial Knowledge Distillation For Large Language Models Alignment on Coding tasks [4.757470449749877]
  本稿では, 大規模モデルの能力を, より小さく, より効率的なものに蒸留するために, AKD (Adversarial Knowledge Distillation) を導入する。 AKDはモデルの堅牢性、信頼性、セキュリティを向上し、パラメータ効率を向上させるためのフレームワークを提供する。
  論文  参考訳（メタデータ） (2025-05-05T22:41:19Z)
• Code to Think, Think to Code: A Survey on Code-Enhanced Reasoning and Reasoning-Driven Code Intelligence in LLMs [53.00384299879513]
  大規模言語モデル(LLM)では、コードと推論が互いに強化される。 コードは検証可能な実行パスを提供し、論理的な分解を強制し、実行時の検証を可能にする。 我々は,このシナジーを強化するために,重要な課題を特定し,今後の研究方向性を提案する。
  論文  参考訳（メタデータ） (2025-02-26T18:55:42Z)
• LLM4EFFI: Leveraging Large Language Models to Enhance Code Efficiency and Correctness [38.399282089600284]
  大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを示している。 ulineLarge ulineLanguage ulineModel for Code ulineEfficiencyは、LLMが効率性と正確性の両方のバランスをとるコードを生成することができる新しいフレームワークである。
  論文  参考訳（メタデータ） (2025-02-17T07:01:18Z)
• Enhancing Large Language Model Efficiencyvia Symbolic Compression: A Formal Approach Towards Interpretability [3.9122242678047456]
  大規模言語モデル(LLM)は、コード生成と論理的推論タスクにおいて重要なトークン効率のボトルネックに直面します。 本稿では,記号圧縮,論理の統合,情報理論の最適符号化,文脈認識推論技術に基づく形式的フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-30T06:40:52Z)
• Generating refactored code accurately using reinforcement learning [3.179831861897336]
  そこで本研究では,Javaソースコードの自動抽出を行うために,プログラム言語モデルを微調整・整合化するための強化学習に基づく新しい手法を提案する。 提案手法は,PPO(Proximal Policy Optimization)アルゴリズムを用いて,シーケンス・ツー・シーケンス生成モデルを微調整する。 我々の実験は、我々のアプローチがコードにおける大きな言語モデルの性能を大幅に向上させることを示した。
  論文  参考訳（メタデータ） (2024-12-23T23:09:48Z)
• Less is More: Towards Green Code Large Language Models via Unified Structural Pruning [27.428983811427827]
  語彙, 層, フィードフォワードネットワーク(FFN)プルーニングを組み合わせた, 革新的な統一的構造解析手法であるFlap-Prunerを提案する。 その結果、Flap-Prunerはパラメータの22%をプルーニングした後、元のパフォーマンスの97%を維持し、トレーニング後と同じあるいはそれ以上のパフォーマンスを達成していることがわかった。
  論文  参考訳（メタデータ） (2024-12-20T14:13:09Z)
• A Theoretical Perspective for Speculative Decoding Algorithm [60.79447486066416]
  EmphSpeculative Decodingは、小さなモデルを使用して、ドラフトトークンのシーケンスと、検証のための大きなモデルをサンプリングする。 本稿では,マルコフ連鎖抽象化による復号化問題を概念化し,理論的な観点から,鍵特性,エファンアウトプットの品質,推論加速度について考察する。
  論文  参考訳（メタデータ） (2024-10-30T01:53:04Z)
• SwiftCoder: Enhancing Code Generation in Large Language Models through Efficiency-Aware Fine-tuning [17.355845751737423]
  現在の手法は主に正確さに重点を置いており、しばしば効率性を見落としている。 データセットは、AI駆動のコード生成を進めるためのスケーラブルで効果的なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-10-14T07:05:51Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• CodeDPO: Aligning Code Models with Self Generated and Verified Source Code [52.70310361822519]
  我々は、コード生成に好み学習を統合するフレームワークであるCodeDPOを提案し、コードの正確性と効率性という2つの重要なコード優先要因を改善した。 CodeDPOは、コードとテストケースを同時に生成、評価するセルフジェネレーション・アンド・バリデーションメカニズムを利用して、新しいデータセット構築方法を採用している。
  論文  参考訳（メタデータ） (2024-10-08T01:36:15Z)
• Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
  大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。 本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T05:21:48Z)
• Unlocking Reasoning Potential in Large Langauge Models by Scaling Code-form Planning [94.76546523689113]
  CodePlanは、テキストコード形式の計画を生成し、追跡するフレームワークで、高いレベルの構造化された推論プロセスの概要を擬似コードで示します。 CodePlanは、洗練された推論タスク固有のリッチなセマンティクスと制御フローを効果的にキャプチャする。 反応を直接生成するのに比べて25.1%の相対的な改善が達成されている。
  論文  参考訳（メタデータ） (2024-09-19T04:13:58Z)
• Retrieval-Augmented Instruction Tuning for Automated Process Engineering Calculations : A Tool-Chaining Problem-Solving Framework with Attributable Reflection [0.0]
  オープンでカスタマイズ可能な小型コード言語モデル(SLM)を強化するためにRAIT(Retrieval-Augmented Instruction-Tuning)を活用する新しい自律エージェントフレームワークを提案する。 命令チューニングされたコードSLMと外部ツールを使用してRACG(Retrieval-Augmented Code Generation)を組み合わせることで、エージェントは自然言語仕様からコードを生成し、デバッグし、最適化する。 我々のアプローチは、専門的なプロセスエンジニアリングタスクのための基礎的AIモデルの欠如の限界に対処し、説明可能性、知識編集、費用対効果の利点を提供する。
  論文  参考訳（メタデータ） (2024-08-28T15:33:47Z)
• Measuring Code Efficiency Optimization Capabilities with ACEOB [7.4056083791645495]
  モデルトレーニングデータセットの「コードパターン」を詳細に分析し、人間の手書きコードを慎重に探索する。 95,359組の効率非効率コードからなる自動コード効率最適化ベンチマーク(ACEOB)を導入する。 私たちの知る限り、ACEOBはPythonコードの効率最適化に特化した最初のデータセットです。
  論文  参考訳（メタデータ） (2024-08-23T10:10:37Z)
• Agent-Driven Automatic Software Improvement [55.2480439325792]
  本提案は,Large Language Models (LLMs) を利用したエージェントの展開に着目して,革新的なソリューションの探求を目的とする。 継続的学習と適応を可能にするエージェントの反復的性質は、コード生成における一般的な課題を克服するのに役立ちます。 我々は,これらのシステムにおける反復的なフィードバックを用いて,エージェントの基盤となるLLMをさらに微調整し,自動化されたソフトウェア改善のタスクに整合性を持たせることを目指している。
  論文  参考訳（メタデータ） (2024-06-24T15:45:22Z)
• Factor Graph Optimization of Error-Correcting Codes for Belief Propagation Decoding [62.25533750469467]
  低密度パリティ・チェック (LDPC) コードは、他の種類のコードに対していくつかの利点がある。 提案手法は,既存の人気符号の復号性能を桁違いに向上させる。
  論文  参考訳（メタデータ） (2024-06-09T12:08:56Z)
• Comments as Natural Logic Pivots: Improve Code Generation via Comment Perspective [85.48043537327258]
  本稿では, MANGO (comMents As Natural loGic pivOts) を提案する。 その結果、MANGOは強いベースラインに基づいてコードパス率を大幅に改善することがわかった。 論理的なコメントの復号化戦略の堅牢性は、考えの連鎖よりも顕著に高い。
  論文  参考訳（メタデータ） (2024-04-11T08:30:46Z)
• Static Code Analysis in the AI Era: An In-depth Exploration of the Concept, Function, and Potential of Intelligent Code Analysis Agents [2.8686437689115363]
  我々は、AIモデル、エンジニアリングプロセス設計、従来の非AIコンポーネントを組み合わせた新しい概念である、Intelligent Code Analysis Agent (ICAA)を紹介する。 我々は、バグ検出精度を大幅に改善し、偽陽性率は基準値の85%から66%まで減少し、60.8%の有望なリコール率を得た。 この課題にもかかわらず、ICAAはソフトウェアの品質保証に革命をもたらす可能性を示唆している。
  論文  参考訳（メタデータ） (2023-10-13T03:16:58Z)
• A Transformer-based Approach for Source Code Summarization [86.08359401867577]
  コードトークン間のペア関係をモデル化することにより,要約のためのコード表現を学習する。 アプローチは単純であるにもかかわらず、最先端技術よりもかなりの差があることが示される。
  論文  参考訳（メタデータ） (2020-05-01T23:29:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。