論文の概要: CHORUS: Zero-shot Hierarchical Retrieval and Orchestration for Generating Linear Programming Code

• arxiv url: http://arxiv.org/abs/2505.01485v1
• Date: Fri, 02 May 2025 16:36:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-06 18:49:35.147377
• Title: CHORUS: Zero-shot Hierarchical Retrieval and Orchestration for Generating Linear Programming Code
• Title（参考訳）: CHORUS: 線形プログラミングコード生成のためのゼロショット階層検索とオーケストレーション
• Authors: Tasnim Ahmed, Salimur Choudhury,
• Abstract要約: 本研究では,Large Language Models (LLMs) のLinear Programming (LP) コード生成における効率性について検討する。 自然言語問題文からGurobiベースのLPコードを合成する検索拡張生成フレームワークCHORUSを提案する。 NL4-Codeベンチマークの実験では、CHORUSはベースラインや従来のRAGに比べて大きなマージンでオープンソースのLLMの性能を改善している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Linear Programming (LP) problems aim to find the optimal solution to an objective under constraints. These problems typically require domain knowledge, mathematical skills, and programming ability, presenting significant challenges for non-experts. This study explores the efficiency of Large Language Models (LLMs) in generating solver-specific LP code. We propose CHORUS, a retrieval-augmented generation (RAG) framework for synthesizing Gurobi-based LP code from natural language problem statements. CHORUS incorporates a hierarchical tree-like chunking strategy for theoretical contents and generates additional metadata based on code examples from documentation to facilitate self-contained, semantically coherent retrieval. Two-stage retrieval approach of CHORUS followed by cross-encoder reranking further ensures contextual relevance. Finally, expertly crafted prompt and structured parser with reasoning steps improve code generation performance significantly. Experiments on the NL4Opt-Code benchmark show that CHORUS improves the performance of open-source LLMs such as Llama3.1 (8B), Llama3.3 (70B), Phi4 (14B), Deepseek-r1 (32B), and Qwen2.5-coder (32B) by a significant margin compared to baseline and conventional RAG. It also allows these open-source LLMs to outperform or match the performance of much stronger baselines-GPT3.5 and GPT4 while requiring far fewer computational resources. Ablation studies further demonstrate the importance of expert prompting, hierarchical chunking, and structured reasoning.
• Abstract（参考訳）: 線形プログラミング(LP)問題は、制約の下での目的に対する最適解を見つけることを目的としている。 これらの問題は通常、ドメイン知識、数学的スキル、プログラミング能力を必要とし、非専門家に重大な課題を提示する。 本研究では,Large Language Models (LLMs) のソルバ固有LPコード生成における効率性について検討する。 自然言語問題文からGurobiベースのLPコードを合成するための検索拡張生成(RAG)フレームワークであるCHORUSを提案する。 CHORUSは、理論的内容に階層的なツリーのようなチャンキング戦略を導入し、ドキュメントからコード例に基づいたメタデータを生成し、自己完結的でセマンティックな一貫性のある検索を容易にする。 CHORUSの2段階の検索手法とクロスエンコーダの更新により、文脈的関連性がさらに高められる。 最後に、推論ステップを備えたプロンプトと構造化パーサを専門的に作成することで、コード生成のパフォーマンスが大幅に向上する。 NL4Opt-Codeベンチマークの実験によると、CHORUSはLlama3.1 (8B)、Llama3.3 (70B)、Phi4 (14B)、Deepseek-r1 (32B)、Qwen2.5-coder (32B)といったオープンソースのLLMのパフォーマンスを、ベースラインや従来のRAGと比較して大幅に改善している。 また、これらのオープンソース LLM はより強力なベースライン-GPT3.5 と GPT4 の性能よりも優れ、計算資源もはるかに少ない。 アブレーション研究は、専門家のプロンプト、階層的チャンキング、構造化推論の重要性をさらに示している。

関連論文リスト

• CoT-RAG: Integrating Chain of Thought and Retrieval-Augmented Generation to Enhance Reasoning in Large Language Models [14.784841713647682]
  CoT-RAGは3つの重要な設計を持つ新しい推論フレームワークである。 知識グラフ駆動のCoT生成、学習可能な知識ケース対応RAG、擬似プログラム実行などを備えている。 最先端の方法と比較すると、CoT-RAGは4.0%から23.0%の精度で大幅に改善されている。
  論文  参考訳（メタデータ） (2025-04-18T07:55:09Z)
• Guided Code Generation with LLMs: A Multi-Agent Framework for Complex Code Tasks [1.9198713957364215]
  大規模言語モデル(LLM)は、コード生成タスクにおいて顕著な機能を示している。 複雑な、長いコンテキストプログラミングの課題に対処する上で、それらは重大な制限に直面します。 「案内コード生成のための新しいエージェント・フレームワーク」について紹介する。
  論文  参考訳（メタデータ） (2025-01-11T19:21:53Z)
• Chain-of-Programming (CoP) : Empowering Large Language Models for Geospatial Code Generation [2.6026969939746705]
  本稿では,コード生成プロセスを5段階に分解するプログラミングフレームワークを提案する。 このフレームワークには、共有情報プール、知識ベース検索、ユーザフィードバック機構が含まれている。 生成されたコードの論理的明確性、構文的正確性、実行可能性を大幅に改善する。
  論文  参考訳（メタデータ） (2024-11-16T09:20:35Z)
• OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [76.59316249991657]
  コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。 オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。 トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
  論文  参考訳（メタデータ） (2024-11-07T17:47:25Z)
• CodeTree: Agent-guided Tree Search for Code Generation with Large Language Models [106.11371409170818]
  大規模言語モデル(LLM)は、生成されたコードを自己定義し、自律的に改善する機能を持つエージェントとして機能する。 コード生成プロセスの異なる段階における探索空間を効率的に探索するLLMエージェントのためのフレームワークであるCodeTreeを提案する。 具体的には、異なるコーディング戦略を明示的に探求し、対応するコーディングソリューションを生成し、その後、ソリューションを洗練するために統合されたツリー構造を採用しました。
  論文  参考訳（メタデータ） (2024-11-07T00:09:54Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• Benchmarking and Explaining Large Language Model-based Code Generation: A Causality-Centric Approach [12.214585409361126]
  大規模言語モデル(LLM)ベースのコード生成は複雑で強力なブラックボックスモデルである。 本稿では,プロンプトと生成されたコードの因果グラフに基づく新しい表現を提案する。 我々は,12以上の迅速な調整戦略で3つの人気のあるLCMを研究することで,我々のフレームワークが提供できる洞察について説明する。
  論文  参考訳（メタデータ） (2023-10-10T14:56:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。