論文の概要: Uncertainty-Guided Chain-of-Thought for Code Generation with LLMs

• arxiv url: http://arxiv.org/abs/2503.15341v1
• Date: Wed, 19 Mar 2025 15:40:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:24:44.786878
• Title: Uncertainty-Guided Chain-of-Thought for Code Generation with LLMs
• Title（参考訳）: LLMを用いたコード生成における不確実性ガイド型整合性
• Authors: Yuqi Zhu, Ge Li, Xue Jiang, Jia Li, Hong Mei, Zhi Jin, Yihong Dong,
• Abstract要約: 大規模言語モデル(LLM)の問題解決能力向上に有効な手法として,チェーン・オブ・ソート(CoT)推論が実証されている。 我々は、不確実性を認識したCoT推論機構を組み込むことで、コード生成を向上させるためのUnCert-CoTを導入する。
• 参考スコア（独自算出の注目度）: 45.33160999781074
• License:
• Abstract: Chain-of-Thought (CoT) reasoning has been demonstrated as an effective technique for improving the problem-solving capabilities of large language models (LLMs) in the context of code generation. However, existing CoT methods often exhibit a tendency toward "overthinking", where the LLM consistently applies reasoning strategies without adequately considering the task's underlying complexity. This results in the LLMs allocating excessive computational resources, in terms of tokens, to relatively simple tasks or problems where the correct answer is already evident. Additionally, this overthinking may lead LLMs down incorrect reasoning paths, resulting in incorrect code generation. In this paper, we introduce UnCertainty-Aware Chain-of-Thought (UnCert-CoT), an LLM-based approach designed to enhance code generation by incorporating an uncertainty-aware CoT reasoning mechanism, which focuses computational resources on targeting points where LLMs are more prone to error. We propose two confidence-based uncertainty measures: Entropy-based and Probability Differential-based methods. When uncertainty is high, UnCert-CoT activates CoT-decoding to generate multiple reasoning paths and selects the final code that exhibits the highest likelihood of correctness. In contrast, LLM directly generates the code when uncertainty is low. This uncertainty judgment mechanism allows LLMs to prioritize complex tasks and avoid unnecessary steps in simpler cases, thereby improving overall efficiency and accuracy in code generation. Our experimental results demonstrate that UnCert-CoT significantly enhances code generation accuracy on challenging benchmark MHPP(Mostly Hard Python Problems), it achieves improvements up to 6.1% on PassRate accuracy, particularly in situations where traditional LLMs are prone to errors.
• Abstract（参考訳）: CoT(Chain-of-Thought)推論は、コード生成の文脈において、大規模言語モデル(LLM)の問題解決能力を改善する効果的な手法として実証されている。 しかしながら、既存のCoT手法は、LLMがタスクの根底にある複雑さを適切に考慮せずに推論戦略を一貫して適用する「過小評価」の傾向を示すことが多い。 この結果、LLMはトークンの観点で過剰な計算資源を、正しい解が既に明らかであるような比較的単純なタスクや問題に割り当てる。 さらに、この過度な考えは、LLMを誤った推論経路に導き、誤ったコード生成をもたらす可能性がある。 本稿では,不確実性を考慮したCoT推論機構を組み込んだLLMベースの手法であるUnCertainty-Aware Chain-of-Thought(UnCert-CoT)を提案する。 本稿では,信頼度に基づく不確実性対策として,エントロピーに基づく手法と確率微分に基づく手法を提案する。 不確実性が高ければ、UnCert-CoTはCoTデコーディングを起動して複数の推論パスを生成し、最も高い正確性を示す最終コードを選択する。 対照的に、LCMは不確実性が低い場合には直接コードを生成する。 この不確実性判定機構により、LCMは複雑なタスクを優先順位付けし、単純なケースでは不要なステップを回避し、コード生成の全体的な効率と精度を向上させることができる。 実験の結果、UnCert-CoTは、挑戦的なベンチマークMHPP(Mostly Hard Python Problems)上でコード生成精度を大幅に向上し、PassRateの精度が最大6.1%向上することを示した。

関連論文リスト

• SoftCoT: Soft Chain-of-Thought for Efficient Reasoning with LLMs [48.28847964704554]
  CoT(Chain-of-Thought)推論により、LLM(Large Language Models)は複雑な推論タスクを解くことができる。 本稿では,LLMの変更を必要としない連続空間推論のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:52:29Z)
• ROCODE: Integrating Backtracking Mechanism and Program Analysis in Large Language Models for Code Generation [31.363781211927947]
  大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを達成した。 LLMはコード生成時にエラーの蓄積に影響を受けやすい。 コード生成のためのLLMにバックトラック機構とプログラム解析を統合したROCODEを提案する。
  論文  参考訳（メタデータ） (2024-11-11T16:39:13Z)
• Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
  大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。 本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T05:21:48Z)
• Understanding Defects in Generated Codes by Language Models [0.669087470775851]
  本研究では,大規模言語モデルによって生成されたコードスニペットの367の欠陥を分類,解析する。 エラーカテゴリは、LLMが頻繁に失敗する重要な領域を示し、目標とする改善の必要性を強調している。 本稿では,スクラッチパッド・プロンプト・プログラム・オブ・ソート・プロンプト・チェーン・オブ・ソート・プロンプト・チェーン・オブ・ソート・プロンプト・ストラクテッド・オブ・ソート・プロンプト・オブ・ソート・プロンプト・プログラム・オブ・ソート・プロンプト・プログラム・オブ・ソート・プロンプト・プログラム・オブ・ソート・プロンプト・オブ・ソート・プロンプト・プログラム・オブ・ソート・プロンプト・オブ・ソート・プロンプト・プログラム・オブ・ソート・プロンプト・プログラム・オブ・オブ・ソート・プロンプト・プロンプト・アンド・ストラクテッド・オブ・フォーンティング(Structued Chain-of-Thought Prompting)の5つの迅速な技術技術
  論文  参考訳（メタデータ） (2024-08-23T21:10:09Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• Chain of Preference Optimization: Improving Chain-of-Thought Reasoning in LLMs [37.147529569445396]
  Tree-of- Thought (ToT) 法では、ツリー探索を用いて推論空間を広範囲に探索し、CoTデコーディングが見落としてしまうかもしれない推論経路をよりよく見つける。 ToTで構築された検索ツリーを利用した細調整言語モデル(LLMs)により、CoTは同様のあるいはより良いパフォーマンスを実現することができる。 これはCPO(Chain of Preference Optimization)によって実現され、LLMはCoT推論パスの各ステップをToTのステップと整列するように微調整される。
  論文  参考訳（メタデータ） (2024-06-13T14:07:02Z)
• Fixing Large Language Models' Specification Misunderstanding for Better Code Generation [13.494822086550604]
  muFiXは、大きな言語モデル(LLM)のコード生成性能を改善する新しいプロンプト技術である。 まず、テストケース分析を利用して仕様の理解を得、自己改善プロセスを可能にする。 muFiXはさらに、提供された理解と実際の理解の間のギャップを減らす方向に向けた仕様理解を修正している。
  論文  参考訳（メタデータ） (2023-09-28T02:58:07Z)
• RCOT: Detecting and Rectifying Factual Inconsistency in Reasoning by Reversing Chain-of-Thought [56.558892336235914]
  Reversing Chain-of-Thought (RCoT) は、大規模言語モデルの推論能力を改善する新しい手法である。 RCoTは生成したソリューションにおける事実の不整合を自動的に検出し、修正する。 手書きのきめ細かいフィードバックがLLMの推論能力を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-19T08:02:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。