論文の概要: Token-Aware Coding Flow: A Study with Nano Surge in Reasoning Model
- arxiv url: http://arxiv.org/abs/2504.15989v1
- Date: Tue, 22 Apr 2025 15:51:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-30 17:40:02.792035
- Title: Token-Aware Coding Flow: A Study with Nano Surge in Reasoning Model
- Title（参考訳）: Token-Aware Coding Flow:Reasoning Modelにおけるナノサージによる検討
- Authors: Junwei Hu, Weicheng Zheng, Yan Liu, Yihan Liu,
- Abstract要約: 推論プロセス中のトーケンインフレーションは、パフォーマンスと効率をモデル化する上で、依然として非常に難しい課題である。
本稿では,パターン・オブ・シント(CoT)プロセスにおいて,臭いコードによるトークンのインフレーションに対処することを目的とした,革新的なトークン認識符号化手法を提案する。
- 参考スコア（独自算出の注目度）: 5.044393644778693
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the widespread application of large-scale language models (LLMs) in software engineering, the Chain of Thought (CoT) approach has emerged as a crucial tool for driving automated code generation and optimization. However, despite the significant success of CoT methods in generating high-quality code, the issue of token inflation during the reasoning process remains a formidable challenge to model performance and efficiency, particularly when dealing with complex code smells. Code smells not only affect the maintainability and scalability of code but also significantly increase the computational burden during LLM inference, leading to excessive token consumption and, consequently, reduced reasoning efficiency. This paper introduces an innovative Token-Aware Coding Flow method, aimed at addressing the token inflation problem caused by smelly code in the CoT process. Through experimentation, we validate the synergistic effect of code refactoring and prompt engineering strategies, demonstrating that after eliminating code smells, token consumption during model inference is significantly reduced. The experimental results show that refactored code, while maintaining functional consistency, can reduce token consumption by up to 50\%. Additionally, by explicitly prompting the type of code smells in the prompt and incorporating strategies such as context awareness and role constraints, we further optimize the reasoning process, achieving a 24.5\% to 30\% reduction in token consumption. These optimizations not only significantly enhance the model's reasoning efficiency and improve code generation quality but also provide new insights for addressing performance bottlenecks in complex code generation tasks.
- Abstract（参考訳）: ソフトウェア工学における大規模言語モデル(LLM)の普及に伴い、Chain of Thought(CoT)アプローチは、自動コード生成と最適化を駆動するための重要なツールとして登場した。
しかし、高品質なコード生成におけるCoT法の成功にもかかわらず、推論過程におけるトークンのインフレーションの問題は、特に複雑なコードの臭いを扱う場合、パフォーマンスと効率をモデル化する上で非常に難しい課題である。
コードの臭いはコードの保守性とスケーラビリティに影響を与えるだけでなく、LLM推論時の計算負担を大幅に増加させ、過剰なトークン消費を招き、結果として推論効率を低下させる。
本稿では,CoTプロセスの臭いによるトークンのインフレーション問題に対処することを目的とした,革新的なトークン認識符号化手法を提案する。
実験により,コードのリファクタリングによる相乗効果を検証し,コードの臭いを除去した後,モデル推論時のトークン消費が著しく減少することを示す。
実験の結果、リファクタリングされたコードは、機能一貫性を維持しながら、トークンの消費を最大50%削減できることがわかった。
さらに、プロンプト内のコードの臭いの種類を明示的に促し、コンテキスト認識や役割制約といった戦略を取り入れることで、さらに推論プロセスを最適化し、24.5\%から30\%のトークン消費削減を実現します。
これらの最適化によって、モデルの推論効率が大幅に向上し、コード生成品質が向上するだけでなく、複雑なコード生成タスクのパフォーマンスボトルネックに対処するための新たな洞察を提供する。
関連論文リスト
- Is Quantization a Deal-breaker? Empirical Insights from Large Code Models [7.182449176083625]
我々は、広く使われている2つのコードモデル、CodeLlamaとDeepSeekCoderにActivation-Aware Weight Quantization (AWQ)を適用し、JavaとPythonコードを生成する。
この結果から,量子化は機能的正当性を保持するだけでなく,開発者が求める重要な定性的なコード属性も保持する,堅牢な手法であることが判明した。
論文 参考訳（メタデータ） (2025-07-13T14:58:19Z) - $T^3$: Multi-level Tree-based Automatic Program Repair with Large Language Models [9.334654320797975]
本研究では,APRタスクにおけるいくつかのコモンCoT技術の性能を体系的に評価する。
これは、LLMの強力な推論機能とツリー検索を統合した革新的なフレームワークであるT3$を提案する。
論文 参考訳（メタデータ） (2025-06-26T13:04:28Z) - ORMind: A Cognitive-Inspired End-to-End Reasoning Framework for Operations Research [53.736407871322314]
ORMindは認知にインスパイアされたフレームワークで、反ファクト推論を通じて最適化を強化する。
提案手法は,要求を数学的モデルや実行可能なコードに変換するエンド・ツー・エンドのワークフローを実装し,人間の認識をエミュレートする。
現在はLenovoのAIアシスタントで内部でテストされており、ビジネスとコンシューマの両方の最適化機能を強化する予定である。
論文 参考訳（メタデータ） (2025-06-02T05:11:21Z) - Towards Effective Code-Integrated Reasoning [89.47213509714578]
モデルが必要に応じてコードを生成するコード統合推論について検討し、コードインタプリタを通じてそれを実行することによってフィードバックを統合する。
ツール強化強化学習は、学習力学における潜在的な不安定さに悩まされる可能性がある。
我々は、探索と安定性のバランスをとるための強化されたトレーニング戦略を開発し、推論性能を改善しながら、ツールの利用能力を徐々に構築する。
論文 参考訳（メタデータ） (2025-05-30T11:30:18Z) - AKD : Adversarial Knowledge Distillation For Large Language Models Alignment on Coding tasks [4.757470449749877]
本稿では, 大規模モデルの能力を, より小さく, より効率的なものに蒸留するために, AKD (Adversarial Knowledge Distillation) を導入する。
AKDはモデルの堅牢性、信頼性、セキュリティを向上し、パラメータ効率を向上させるためのフレームワークを提供する。
論文 参考訳（メタデータ） (2025-05-05T22:41:19Z) - Code to Think, Think to Code: A Survey on Code-Enhanced Reasoning and Reasoning-Driven Code Intelligence in LLMs [53.00384299879513]
大規模言語モデル(LLM)では、コードと推論が互いに強化される。
コードは検証可能な実行パスを提供し、論理的な分解を強制し、実行時の検証を可能にする。
我々は,このシナジーを強化するために,重要な課題を特定し,今後の研究方向性を提案する。
論文 参考訳（メタデータ） (2025-02-26T18:55:42Z) - LLM4EFFI: Leveraging Large Language Models to Enhance Code Efficiency and Correctness [38.399282089600284]
大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを示している。
ulineLarge ulineLanguage ulineModel for Code ulineEfficiencyは、LLMが効率性と正確性の両方のバランスをとるコードを生成することができる新しいフレームワークである。
論文 参考訳（メタデータ） (2025-02-17T07:01:18Z) - Enhancing Large Language Model Efficiencyvia Symbolic Compression: A Formal Approach Towards Interpretability [3.9122242678047456]
大規模言語モデル(LLM)は、コード生成と論理的推論タスクにおいて重要なトークン効率のボトルネックに直面します。
本稿では,記号圧縮,論理の統合,情報理論の最適符号化,文脈認識推論技術に基づく形式的フレームワークを提案する。
論文 参考訳（メタデータ） (2025-01-30T06:40:52Z) - Generating refactored code accurately using reinforcement learning [3.179831861897336]
そこで本研究では,Javaソースコードの自動抽出を行うために,プログラム言語モデルを微調整・整合化するための強化学習に基づく新しい手法を提案する。
提案手法は,PPO(Proximal Policy Optimization)アルゴリズムを用いて,シーケンス・ツー・シーケンス生成モデルを微調整する。
我々の実験は、我々のアプローチがコードにおける大きな言語モデルの性能を大幅に向上させることを示した。
論文 参考訳（メタデータ） (2024-12-23T23:09:48Z) - Less is More: Towards Green Code Large Language Models via Unified Structural Pruning [27.428983811427827]
語彙, 層, フィードフォワードネットワーク(FFN)プルーニングを組み合わせた, 革新的な統一的構造解析手法であるFlap-Prunerを提案する。
その結果、Flap-Prunerはパラメータの22%をプルーニングした後、元のパフォーマンスの97%を維持し、トレーニング後と同じあるいはそれ以上のパフォーマンスを達成していることがわかった。
論文 参考訳（メタデータ） (2024-12-20T14:13:09Z) - A Theoretical Perspective for Speculative Decoding Algorithm [60.79447486066416]
EmphSpeculative Decodingは、小さなモデルを使用して、ドラフトトークンのシーケンスと、検証のための大きなモデルをサンプリングする。
本稿では,マルコフ連鎖抽象化による復号化問題を概念化し,理論的な観点から,鍵特性,エファンアウトプットの品質,推論加速度について考察する。
論文 参考訳（メタデータ） (2024-10-30T01:53:04Z) - SwiftCoder: Enhancing Code Generation in Large Language Models through Efficiency-Aware Fine-tuning [17.355845751737423]
現在の手法は主に正確さに重点を置いており、しばしば効率性を見落としている。
データセットは、AI駆動のコード生成を進めるためのスケーラブルで効果的なソリューションを提供する。
論文 参考訳（メタデータ） (2024-10-14T07:05:51Z) - COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。
我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。
当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
論文 参考訳（メタデータ） (2024-10-12T23:56:19Z) - CodeDPO: Aligning Code Models with Self Generated and Verified Source Code [52.70310361822519]
我々は、コード生成に好み学習を統合するフレームワークであるCodeDPOを提案し、コードの正確性と効率性という2つの重要なコード優先要因を改善した。
CodeDPOは、コードとテストケースを同時に生成、評価するセルフジェネレーション・アンド・バリデーションメカニズムを利用して、新しいデータセット構築方法を採用している。
論文 参考訳（メタデータ） (2024-10-08T01:36:15Z) - Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。
LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。
本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
論文 参考訳（メタデータ） (2024-10-05T05:21:48Z) - Unlocking Reasoning Potential in Large Langauge Models by Scaling Code-form Planning [94.76546523689113]
CodePlanは、テキストコード形式の計画を生成し、追跡するフレームワークで、高いレベルの構造化された推論プロセスの概要を擬似コードで示します。
CodePlanは、洗練された推論タスク固有のリッチなセマンティクスと制御フローを効果的にキャプチャする。
反応を直接生成するのに比べて25.1%の相対的な改善が達成されている。
論文 参考訳（メタデータ） (2024-09-19T04:13:58Z) - Retrieval-Augmented Instruction Tuning for Automated Process Engineering Calculations : A Tool-Chaining Problem-Solving Framework with Attributable Reflection [0.0]
オープンでカスタマイズ可能な小型コード言語モデル(SLM)を強化するためにRAIT(Retrieval-Augmented Instruction-Tuning)を活用する新しい自律エージェントフレームワークを提案する。
命令チューニングされたコードSLMと外部ツールを使用してRACG(Retrieval-Augmented Code Generation)を組み合わせることで、エージェントは自然言語仕様からコードを生成し、デバッグし、最適化する。
我々のアプローチは、専門的なプロセスエンジニアリングタスクのための基礎的AIモデルの欠如の限界に対処し、説明可能性、知識編集、費用対効果の利点を提供する。
論文 参考訳（メタデータ） (2024-08-28T15:33:47Z) - Measuring Code Efficiency Optimization Capabilities with ACEOB [7.4056083791645495]
モデルトレーニングデータセットの「コードパターン」を詳細に分析し、人間の手書きコードを慎重に探索する。
95,359組の効率非効率コードからなる自動コード効率最適化ベンチマーク(ACEOB)を導入する。
私たちの知る限り、ACEOBはPythonコードの効率最適化に特化した最初のデータセットです。
論文 参考訳（メタデータ） (2024-08-23T10:10:37Z) - Agent-Driven Automatic Software Improvement [55.2480439325792]
本提案は,Large Language Models (LLMs) を利用したエージェントの展開に着目して,革新的なソリューションの探求を目的とする。
継続的学習と適応を可能にするエージェントの反復的性質は、コード生成における一般的な課題を克服するのに役立ちます。
我々は,これらのシステムにおける反復的なフィードバックを用いて,エージェントの基盤となるLLMをさらに微調整し,自動化されたソフトウェア改善のタスクに整合性を持たせることを目指している。
論文 参考訳（メタデータ） (2024-06-24T15:45:22Z) - Factor Graph Optimization of Error-Correcting Codes for Belief Propagation Decoding [62.25533750469467]
低密度パリティ・チェック (LDPC) コードは、他の種類のコードに対していくつかの利点がある。
提案手法は,既存の人気符号の復号性能を桁違いに向上させる。
論文 参考訳（メタデータ） (2024-06-09T12:08:56Z) - Comments as Natural Logic Pivots: Improve Code Generation via Comment Perspective [85.48043537327258]
本稿では, MANGO (comMents As Natural loGic pivOts) を提案する。
その結果、MANGOは強いベースラインに基づいてコードパス率を大幅に改善することがわかった。
論理的なコメントの復号化戦略の堅牢性は、考えの連鎖よりも顕著に高い。
論文 参考訳（メタデータ） (2024-04-11T08:30:46Z) - Static Code Analysis in the AI Era: An In-depth Exploration of the
Concept, Function, and Potential of Intelligent Code Analysis Agents [2.8686437689115363]
我々は、AIモデル、エンジニアリングプロセス設計、従来の非AIコンポーネントを組み合わせた新しい概念である、Intelligent Code Analysis Agent (ICAA)を紹介する。
我々は、バグ検出精度を大幅に改善し、偽陽性率は基準値の85%から66%まで減少し、60.8%の有望なリコール率を得た。
この課題にもかかわらず、ICAAはソフトウェアの品質保証に革命をもたらす可能性を示唆している。
論文 参考訳（メタデータ） (2023-10-13T03:16:58Z) - A Transformer-based Approach for Source Code Summarization [86.08359401867577]
コードトークン間のペア関係をモデル化することにより,要約のためのコード表現を学習する。
アプローチは単純であるにもかかわらず、最先端技術よりもかなりの差があることが示される。
論文 参考訳（メタデータ） (2020-05-01T23:29:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。