論文の概要: ReaComp: Compiling LLM Reasoning into Symbolic Solvers for Efficient Program Synthesis
- arxiv url: http://arxiv.org/abs/2605.05485v1
- Date: Wed, 06 May 2026 22:08:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-08 22:27:11.433123
- Title: ReaComp: Compiling LLM Reasoning into Symbolic Solvers for Efficient Program Synthesis
- Title（参考訳）: ReaComp:効率的なプログラム合成のためのシンボリック・ソリューションへのLLM推論のコンパイル
- Abstract要約: LLMはプログラム合成タスクを解くことができるが、大規模な検索を必要とするハードインスタンスでは非効率で信頼性に欠ける。
符号化エージェントを用いて、制約付きDSL上で再利用可能なシンボリックプログラムシンセサイザーに推論トレースをコンパイルする。
結果として得られるソルバは、テスト時にLLMコールを必要とせず、強力なスタンドアロンシステムである。
- 参考スコア（独自算出の注目度）: 5.1817559908145565
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLMs can solve program synthesis tasks but remain inefficient and unreliable on hard instances requiring large combinatorial search. Given a small set of reasoning traces, we use coding agents to compile them into reusable symbolic program synthesizers over constrained DSLs. The resulting solvers require no LLM calls at test time and are strong standalone systems: symbolic solver ensembles reach 91.3% accuracy on PBEBench-Lite and 84.7% on PBEBench-Hard, outperforming LLMs with test-time scaling for the latter by +16.3 percentage points at zero LLM inference cost. They also complement LLM search, improving PBEBench-Hard accuracy from 68.4% to 85.8% while reducing reported token usage by 78%, and raising SLR-Bench hard-tier accuracy from 34.4% to 58.0% in a neuro-symbolic hybrid setting. Compared to directly using coding agents as per-instance solvers, induced solvers are substantially more Pareto-efficient, amortizing a small one-time construction cost over many zero-token executions. Finally, most solvers transfer zero-shot to a real historical linguistics task - predicting sound changes in natural language data - reaching 80.1% accuracy under ensembling and recovering some plausible linguistic rules. Together, these results show that reasoning traces can be compiled into reusable symbolic solvers that solve many tasks directly, complement LLM inference on hard cases, and provide a scalable route to domain-general solver induction. We release code and data for reproducibility.
- Abstract（参考訳）: LLMはプログラム合成タスクを解くことができるが、大きな組合せ探索を必要とするハードインスタンスでは非効率で信頼性に欠ける。
少量の推論トレースが与えられた場合、制約付きDSL上で再利用可能なシンボリックプログラムシンセサイザーにコンパイルするために、コーディングエージェントを使用します。
シンボリック・ソルバ・アンサンブルは PBEBench-Lite で91.3%、PBEBench-Hard で84.7% に達し、テスト時間スケーリングで LLM を+16.3 % 上回った。
また、LSM検索を補完し、PBEBench-Hardの精度を68.4%から85.8%に改善し、報告されたトークンの使用量を78%削減し、SLR-Benchのハード層の精度を34.4%から58.0%に引き上げた。
符号化エージェントをインスタンスごとの解法として直接使用するのに対し、誘導解法はパレート効率がかなり高く、ゼロトーケンの実行よりも小さなワンタイム建設コストを減らしている。
最後に、ほとんどの解決者はゼロショットを実際の歴史的言語タスク(自然言語データの健全な変化を予測する)に転送し、80.1%の精度に達した。
これらの結果から,推理トレースを再利用可能なシンボリック・ソルバにコンパイルし,多くのタスクを直接解き,ハードケースにおけるLSM推論を補完し,ドメイン一般ソルバ帰納法へのスケーラブルな経路を提供することができた。
再現性のためのコードとデータをリリースします。
関連論文リスト
- Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。
このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。
Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
論文 参考訳（メタデータ） (2026-07-08T05:48:57Z) - LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。
追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。
いくつかのベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-07-06T17:59:35Z) - Formalize, Don't Optimize: The Heuristic Trap in LLM-Generated Combinatorial Solvers [52.23061619664667]
大規模言語モデル(LLM)は直接推論によって複雑な問題を解くのに苦慮しているため、近年のニューロシンボリックシステムは、それを実行可能な解法を合成するためにますます利用している。
我々は,100の問題をベンチマークしたCP-SynC-XL(4,577インスタンス)を導入し,ネイティブアルゴリズム検索(Python),PythonソルバAPI(Python + OR-Tools)による制約モデリング,宣言的制約モデリングという3つのコンストラクションパラダイムを評価した。
論文 参考訳（メタデータ） (2026-05-12T17:15:45Z) - Evaluating Prompting and Execution-Based Methods for Deterministic Computation in LLMs [1.2957535240267326]
大規模言語モデル(LLM)は、自然言語の理解と推論において強力な能力を示している。
CoT(Chain-of-Thought)、Last-to-Most(Least-to-Most)、Program-of-Thought(PoT)、Self-Consistency(SC)など、複数のプロンプト戦略を体系的に評価する。
提案手法は, 逐次的タスクにおいて, 適度な精度しか達成できないことを示す。
論文 参考訳（メタデータ） (2026-05-04T23:32:37Z) - Assessing Coherency and Consistency of Code Execution Reasoning by Large Language Models [5.692204231573854]
本稿では,プログラム実行をシミュレーションし,その推論をプログラミングタスクで活用する上で,LLMの能力を評価するタスクであるCESを提案する。
CESでは、シミュレーションがコモンセンスの実行ロジックに準拠するかどうかを判断するために、コヒーレンスの概念を紹介している。
CESはまた、スペクトルにおいて同じまたは異なる素路カバレッジを持つテスト間での推論整合性を測定するための新しいメトリクスも導入している。
論文 参考訳（メタデータ） (2025-10-16T18:48:12Z) - SLR: Automated Synthesis for Scalable Logical Reasoning [23.14914698597022]
大規模言語モデル(LLM)の体系的評価と訓練のためのエンドツーエンドフレームワークであるSLRを紹介する。
ユーザのタスク仕様を前提として、SLRは帰納的推論タスクの命令プロンプトを自動で生成する。
SLRを用いて、20のカリキュラムレベルに分類した19kプロンプトからなるベンチマークであるSLR-Benchを作成する。
論文 参考訳（メタデータ） (2025-06-18T18:10:30Z) - Scalable LLM Math Reasoning Acceleration with Low-rank Distillation [57.922185576872444]
資源効率の高い蒸留法を提案し, 効率的な推論手法の展開から損失能力を回収する。
もともとの重みは未成熟で、パラメータの約1%、合成トレーニングサンプルは20Kに過ぎなかった。
論文 参考訳（メタデータ） (2025-05-08T17:51:24Z) - BigCodeBench: Benchmarking Code Generation with Diverse Function Calls and Complex Instructions [72.56339136017759]
BigCodeBenchは、大規模言語モデル(LLM)に対して、139のライブラリと7つのドメインから1140のきめ細かいタスクに対して、複数の関数呼び出しをツールとして呼び出すためのベンチマークである。
評価の結果,LLMは機能コールを正確に使用するための複雑な指示に従うことができず,スコアは最大60%,人的性能は97%と極めて低いことがわかった。
そこで本研究では,BigCodeBench-Instructという自然言語指向の変種を提案する。
論文 参考訳（メタデータ） (2024-06-22T15:52:04Z) - MEIC: Re-thinking RTL Debug Automation using LLMs [18.964523115622928]
本研究は,新しいフレームワーク,Make each Iteration Count(MEIC)を紹介する。
MEICは、構文と関数のエラーを識別し、修正するのに適している。
フレームワークを評価するため、178の共通RTLプログラミングエラーからなるオープンソースデータセットを提供する。
論文 参考訳（メタデータ） (2024-05-10T22:32:39Z) - PAL: Program-aided Language Models [112.94785609781503]
自然言語問題を理解するために,プログラム支援言語モデル(PaL)を提案する。
PaLはソリューションステップをPythonインタプリタのようなプログラムランタイムにオフロードする。
私たちは12のベンチマークで新しい最先端の結果を設定しました。
論文 参考訳（メタデータ） (2022-11-18T18:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。