論文の概要: AlgoPilot: Cross-Paradigm Reasoning in Language Models via Strategy Selection and Guidance
- arxiv url: http://arxiv.org/abs/2611.04079v1
- Date: Mon, 02 Nov 2026 23:41:45 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-04 17:21:50.077888
- Title: AlgoPilot: Cross-Paradigm Reasoning in Language Models via Strategy Selection and Guidance
- Title(参考訳): AlgoPilot: 戦略選択とガイダンスによる言語モデルにおけるクロスパラダイム推論
- Abstract要約: AlgoPilotはクロスパラダイムな推論フレームワークで、実行前に解決アプローチと構造化された問題の定式化を適応的に選択できる。
Qwen3-8B上にAlgoPilotを構築し、66のユニークなドメインを持つ5つの問題カテゴリと13のベンチマークを評価します。
AlgoPilotは、同じモデルの平均精度を38.4%から72.9%に改善し、ベースラインのGLM-5を11.7%向上させた。
- 参考スコア(独自算出の注目度): 31.760739051543155
- License:
- Abstract: Real-world problems span diverse domains, including program synthesis, symbolic reasoning, planning, and optimization, and often require fundamentally different solution paradigms. A central challenge for LLM-based reasoning is twofold: identifying an appropriate problem-solving approach and formulating it correctly. In this paper, we propose AlgoPilot, a cross-paradigm reasoning framework that enables adaptive selection of the solving approaches and structured problem formulation prior to execution. The AlgoPilot framework contains three components: 1) a SteerLM, trained via supervised fine-tuning (SFT) and reinforcement learning (RL), that adaptively selects the solving strategy (paradigm and modes) based on input problems, 2) the corresponding expert GuideLM, trained via SFT, that generates structured formulation guidance tailored to the selected strategy, and 3) an ExecutionLM that generates solutions conditioned on both the selected strategy and its formulation. Unlike prompting-based methods that rely on fixed reasoning templates, our approach learns to adaptively choose and structure problem-solving strategies based on the input. We build AlgoPilot on Qwen3-8B and evaluate across 5 problem categories and 13 benchmarks with 66 unique domains, comparing against both the latest similarly scaled small models and large LLMs. AlgoPilot significantly improves average accuracy for the same model from 38.4% to 72.9%, outperforming the best large LLM prompting baseline GLM-5 by 11.7%. Ablation studies confirm the effectiveness of each component. Notably, we show that the learned steering and formulation modules can transfer across execution models, suggesting their potential to improve other LLMs. Project page: https://sites.google.com/view/algopilot.
- Abstract(参考訳): 実世界の問題は、プログラム合成、シンボリック推論、計画、最適化など様々な領域にまたがっており、しばしば根本的に異なる解パラダイムを必要とする。
LLMベースの推論における中心的な課題は2つある: 適切な問題解決アプローチを特定し、それを正しく定式化することである。
本稿では,AlgoPilotを提案する。AlgoPilotは,実行前に解決手法と構造化問題の定式化を適応的に選択できる,パラダイム横断推論フレームワークである。
AlgoPilotフレームワークには3つのコンポーネントが含まれている。
1) 教師付き微調整(SFT)と強化学習(RL)によって訓練されたSteerLMは,入力問題に基づいて問題解決戦略(パラダイムとモード)を適応的に選択する。
2 SFTにより訓練を受けた対応する専門家ガイドLMは、選択した戦略に適合した構造化定式化指導を生成する。
3)選択した戦略と定式化の両方に条件付きソリューションを生成する実行膜。
固定推論テンプレートに依存するプロンプトベースの手法とは異なり、我々の手法は入力に基づいて適応的に問題解決戦略を選択し、構成することを学ぶ。
我々は、Qwen3-8B上にAlgoPilotを構築し、5つの問題カテゴリと66のユニークなドメインを持つ13のベンチマークを評価し、最新の同様のスケールの小さなモデルと大きなLLMを比較した。
AlgoPilotは、同じモデルの平均精度を38.4%から72.9%に改善し、ベースラインのGLM-5を11.7%向上させた。
アブレーション研究は各成分の有効性を確認している。
特に、学習したステアリングおよび定式化モジュールが実行モデル間で転送可能であることを示し、他のLLMを改善する可能性を示唆している。
プロジェクトページ: https://sites.google.com/view/algopilot.com
関連論文リスト
- You're Hired: Strategic Model Selection for LLM Collaboration [50.666814272202224]
本稿では,モデル記述の多様性,能力を考慮した行動多様性,LLMに基づく採用者など,9つの選抜アルゴリズムの分類法を提案する。
10モデルと32モデルの2つの候補プールにまたがって実験を行い、4つのモデルコラボレーションアルゴリズムで展開し、数学、コーディング、QA、推論にまたがるタスクで評価する。
論文 参考訳(メタデータ) (2026-09-30T02:44:01Z) - FrontierOR: Benchmarking LLMs' Capacity for Efficient Algorithm Design in Large-Scale Optimization [61.43300970020897]
大規模言語モデル(LLM)は、最適化モデリングとソルバコード生成にますます使われている。
既存のベンチマークは、実際のスケールと複雑さよりもはるかに低い、小さな、あるいは単純化された例に限られている。
現実的な大規模最適化問題に対して,LLMに基づく効率的なアルゴリズム設計を評価するための最初のベンチマークとしてFrontierORを紹介した。
論文 参考訳(メタデータ) (2026-05-24T20:10:42Z) - Constraint-aware Path Planning from Natural Language Instructions Using Large Language Models [1.4180331276028664]
本稿では,自然言語入力から直接制約付き経路計画問題を解くフレキシブルなフレームワークを提案する。
中心となる考え方は、LLMが問題を解釈して解決できるようにしながら、ユーザーが会話でルーティングタスクを記述できるようにすることである。
この方法は、人間の介入を最小限に抑えて現実世界のルーティングタスクを解決するために、スケーラブルで一般化可能なアプローチを提供する。
論文 参考訳(メタデータ) (2026-02-26T09:01:42Z) - Reasoning Distillation and Structural Alignment for Improved Code Generation [0.6933020649563103]
この研究は、大規模言語モデルの推論能力を、より速く、より安価にデプロイできる、より小さく、より効率的なモデルに蒸留する。
提案手法は,正解経路の同定を学習することで,VLLMの推論能力と問題解決能力をエミュレートするためにモデルを訓練する。
実験結果から,我々の微調整モデルは,安価で簡単な実装プロセスによって開発され,パス@1,平均データフロー,平均構文がメトリクスにマッチする点において,ベースラインモデルよりも大幅に優れていることがわかった。
論文 参考訳(メタデータ) (2025-10-20T14:47:47Z) - Plan before Solving: Problem-Aware Strategy Routing for Mathematical Reasoning with LLMs [49.995906301946]
既存の手法は通常、数学的推論を行うためにLLM(Large Language Models)をガイドするための固定戦略を利用する。
分析の結果,単一戦略は問題固有の要件に適応できず,有効性と効率性のトレードオフを見落としていることが明らかとなった。
本稿では,PRISM(Planning and Routing through Instance-Specific Modeling)を提案する。
論文 参考訳(メタデータ) (2025-09-29T07:22:41Z) - Teaching LLM to Reason: Reinforcement Learning from Algorithmic Problems without Code [76.80306464249217]
本稿では,LLMにより良い理性を教えることを目的としたTeaRを提案する。
TeaRは、注意深いデータキュレーションと強化学習を活用して、コード関連のタスクを通じて最適な推論パスを発見するモデルをガイドする。
我々は、2つのベースモデルと3つの長いCoT蒸留モデルを用いて広範な実験を行い、モデルのサイズは15億から32億のパラメータから、Math、Knowledge、Code、Logical Reasoningにまたがる17のベンチマークにまたがる。
論文 参考訳(メタデータ) (2025-07-10T07:34:05Z) - Collab: Controlled Decoding using Mixture of Agents for LLM Alignment [90.6117569025754]
人間のフィードバックからの強化学習は、大規模言語モデルを整合させる効果的な手法として現れてきた。
制御された復号化は、再訓練せずに推論時にモデルを整列するメカニズムを提供する。
本稿では,既存の既成のLCMポリシを活用するエージェントベースのデコーディング戦略の混合を提案する。
論文 参考訳(メタデータ) (2025-03-27T17:34:25Z) - Autoformulation of Mathematical Optimization Models Using LLMs [50.030647274271516]
本稿では,自然言語問題記述から解法対応最適化モデルを自動生成する,$textitautoformulation$の問題にアプローチする。
オートフォーミュレーションの3つの主要な課題を識別する: $textit(1)$ 巨大で問題に依存した仮説空間、および$textit(2)$ 不確実性の下でこの空間を効率的かつ多様に探索する。
我々は,$textitLarge Language Models$と$textitMonte-Carlo Tree Search$を併用した新しい手法を提案する。
論文 参考訳(メタデータ) (2024-11-03T20:41:38Z) - Improving Large Language Model Fine-tuning for Solving Math Problems [20.417053742869403]
大きな言語モデルのパス・アット・ワン(pass-at-one)とパス・アット・N(pass-at-N)のパフォーマンスの間には大きなギャップがある。
挑戦的なMATHデータセットを用いて3つの微調整戦略を検討する。
我々は、微調整されたPaLM 2-Lモデルを用いて、MATHデータセット上で約58.8%の精度が得られる微調整レシピを設計する。
論文 参考訳(メタデータ) (2023-10-16T04:11:19Z) - Adaptive-Solver Framework for Dynamic Strategy Selection in Large Language Model Reasoning [31.643337118330944]
大きな言語モデル(LLM)は、推論タスクを扱う素晴らしい能力を示している。
LLMベースのほとんどの手法はワンサイズ・オールアプローチを採用している。
これらの手法の柔軟性は不要な計算オーバーヘッドや準最適性能をもたらす可能性がある。
論文 参考訳(メタデータ) (2023-10-01T12:28:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。