論文の概要: Compiling Expert Procedures into Verified Programs: When a Small Model Is Enough

• arxiv url: http://arxiv.org/abs/2610.19148v1
• Date: Tue, 13 Oct 2026 20:12:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.784912
• Title: Compiling Expert Procedures into Verified Programs: When a Small Model Is Enough
• Title（参考訳）: 専門家の手続きを検証プログラムにコンパイルする - 小さなモデルで十分であれば
• Abstract要約: 手続きツール利用のドメインでは、基本モデル間のギャップのどれ程が、能力よりも手続きであるのか? 教師のトレースから明示的なプログラムを構築し、8Bモデルを含む、変化のない小さなモデルの前で実行します。
• 参考スコア（独自算出の注目度）: 3.364675515170497
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In procedural tool-use domains, how much of the gap between base models is procedure rather than capability? We build an explicit program from a teacher's traces and run it in front of unchanged small models, including an 8B model. The construction, PLVR , takes the reasoning traces of a teacher, Kimi-K3, clusters their segments to locate recurring operations, has a frontier model author one typed primitive per operation, each run by a small frozen model and assembles the program by A* search over a mined rule library, under a reference-action objective. At inference the program takes one of two forms: for troubleshooting and tool search it produces the chain of thought the student would otherwise generate for itself, and the student acts on it; for multi-turn tool matching the student proposes each action and the program checks, repairs, or retries it before it goes out. On the official tau2-Bench Retail and Telecom test sets and on LiveMCPBench, with three Nemotron base models and the same program for each, the answer depends on the domain. On Telecom, Granite-4.2-8B as the student goes from 43.0% to 91.2% under the program, and every Nemotron student reaches 93.3-94.4%, against at most 58.2% for fine-tuning on the same traces, prompt optimisation of the student, or two token-matched baselines. With Granite-4.2-8B as the student, the program is within 2 to 3 points of the Nemotron students on Telecom and within 3 on Retail, and 3 to 13 points below them on LiveMCPBench: where the domain is procedural an 8B student is enough, and on tool search the student still matters. On Retail and LiveMCPBench the program is competitive with the best baseline. The spread between base models shrinks from about 7 points to about 2, averaged over the suites, with no weights changed.
• Abstract（参考訳）: 手続きツール利用のドメインでは、基本モデル間のギャップのどれ程が、能力よりも手続きであるのか? 教師のトレースから明示的なプログラムを構築し、8Bモデルを含む、変化のない小さなモデルの前で実行します。 PLVRは、教師のKim-K3の推論トレースを取り込み、そのセグメントをクラスタ化して繰り返し操作を検知し、フロンティアモデル作者に1つの操作毎に1つの型付けプリミティブを入力し、それぞれが小さな凍結モデルによって実行され、参照アクションの目的のもと、マイニングされたルールライブラリ上でA*検索によってプログラムを組み立てる。 推論において、プログラムは2つの形態の1つである: トラブルシューティングとツール検索は、学生がそれ自身で生成する思考の連鎖を生成し、学生がそれに対して行動する。 公式のtau2-Bench RetailとTelecomのテストセットとLiveMCPBenchでは、Nemotronベースモデルが3つあり、それぞれ同じプログラムがある。 Telecomでは、Granite-4.2-8Bがプログラムの43.0%から91.2%に増加し、すべてのNemotronの学生は93.3-94.4%に達し、同じトレースを58.2%まで微調整し、学生を最適化する。 Granite-4.2-8Bを学生として、このプログラムはTelecomのNemotron学生の2～3ポイント、Retailの3ポイント、LiveMCPBenchの3～13ポイント以内である。 RetailとLiveMCPBenchでは、このプログラムは最高のベースラインと競合する。 ベースモデル間の拡散は、平均で7点程度から2点程度に縮小したが、重みは変更されなかった。

関連論文リスト

• Beyond the Leaderboard: Multi-Dimensional Evaluation of Dense and Mixture-of-Experts Models for Automated Program Repair [0.0]
  本稿では,重み付け方式における機能的正当性,保守性,セキュリティ,生成効率を組み合わせた重み付き品質指標を提案する。 Qwen2.5-Coderモデル(3B, 7B, 14B)と16BパラメータのDeepSeek-Coder-V2-Lite Mixture-of-Experts(MoE)モデル(2.4Bアクティブパラメータ)を40QuixBugsおよび90Defects4Jバグに対して評価した。
  論文  参考訳（メタデータ） (2026-10-06T11:27:12Z)
• On-Premises Multi-Course RAG Tutoring for Business Education: Hardware-Software Trade-offs in a Campus AI Tutor [0.0]
  CourseChatは、キャンパスのWebゲートウェイの後ろに展開された学部ビジネス教育のためのオンプレミスのマルチコースRAGチューターである。 本報告では,第2世代Bake-offラウンド,第2世代Bake-offラウンド,第2世代Bake-offラウンド,第2世代Bake-offラウンド,第2世代Bake-offラウンドについて報告する。 結果は、モデル選択、エビデンス選択、サービス互換性、製品設計を共同エンジニアリング決定として扱うことを支援する。
  論文  参考訳（メタデータ） (2026-10-01T21:33:46Z)
• Joint Optimization of Tool Creation and Use for Large Language Model Agents [69.07066297088187]
  SMITH (-grounded Multi-task Iterative Tool Honing) は、単一のポリシー内でツールの作成とツールの使用を訓練する。 SMITHで訓練された4B Qwen3は、正確に検証された13の手続き的推論タスクで、保持されたタスクで平均79.8のマクロ平均精度に達する。 また、TabMWP-Hardでは40.4、ドメイン外のGQAでは42.6に到達している。
  論文  参考訳（メタデータ） (2026-08-25T13:59:34Z)
• PairCoder++: Pair Programming as a Universal Paradigm for Verified Code-Driven Multimodal and Structured-Artifact Generation [51.92442051257354]
  PairCoderは、実行のみではなく、完全な公式メトリックスイート上で、アーティファクトが検証可能なすべてのベンチマークを本質的に改善する。 TikZのコンパイルレートは、各モデルで10から30ポイント、シングルモデルの2.9から9.2倍である。
  論文  参考訳（メタデータ） (2026-07-02T08:36:02Z)
• Mellum2 Technical Report [1.1239988514721222]
  Mellum 2は、ソフトウェア工学に特化した汎用言語モデルである。 完成中心の4B高密度メルロンモデルの後継である。 Mellum 2 は 4B-14B の範囲でオープンウェイトベースラインと競合し、2.5B の高密度モデルのトーケン毎の計算で実行される。
  論文  参考訳（メタデータ） (2026-05-29T13:01:11Z)
• CrackMeBench: Binary Reverse Engineering for Agents [3.93181912653522]
  CrackMeBenchは、言語モデルエージェントを教育のリバースエンジニアリングタスクで評価するためのベンチマークである。 v0ベンチマークでは、8つのパブリックキャリブレーションCrackMesと、シードされたC、Rust、Goテンプレートから構築された12のメインスコアタスクを組み合わせる。 CrackMeBenchは pass@1 と pass@3 を記録し、リクエスト、ウォールクロック時間、コマンドトレース、ツールカテゴリ、プロバイダがレポートしたトークンの使用状況、推定コスト、定性的な障害ラベルを記録している。
  論文  参考訳（メタデータ） (2026-05-11T14:01:36Z)
• How2Everything: Mining the Web for How-To Procedures to Evaluate and Improve LLMs [49.61011897610774]
  How2Everythingは、ゴール条件ドプロシージャの生成を評価し改善するフレームワークである。 私たちのフレームワークには、14トピックにわたる980KのWebページから351KのプロシージャをマイニングするHow2Mineが含まれています。 How2Score(ハウ2スコア)は、LLMジャッジを使用して、世代が目標達成を阻止する重要な障害を含むかどうかを検出する評価プロトコルである。
  論文  参考訳（メタデータ） (2026-02-09T15:47:14Z)
• SCRIBE: Structured Chain Reasoning for Interactive Behaviour Explanations using Tool Calling [9.113268651219187]
  SCRIBEは、フィードバックレポートに関する学生の質問に対する有効な応答を生成するために、マルチホップでツール強化された推論のためのフレームワークである。 GPT-Judgeによる評価と108人の学生によるユーザスタディは、8B-SCRIBEモデルがより大きなモデルに匹敵する品質または優れた品質を達成していることを示している。
  論文  参考訳（メタデータ） (2025-10-30T10:17:05Z)
• SuperCorrect: Advancing Small LLM Reasoning with Thought Template Distillation and Self-Correction [89.56181323849512]
  SuperCorrectは、大きな教師モデルを使用して、より小さな学生モデルの推論と反映の両方を監督し、修正する新しい2段階のフレームワークである。 第1段階では、教師モデルから階層的な高レベルかつ詳細な思考テンプレートを抽出し、よりきめ細かい推論思考を導き出す学生モデルを指導する。 第2段階では、学生モデルの自己補正能力を高めるために、クロスモデル協調直接選好最適化(DPO)を導入する。
  論文  参考訳（メタデータ） (2024-10-11T17:25:52Z)
• Tool-Augmented Reward Modeling [58.381678612409]
  本稿では,外部環境へのアクセスによるRMの強化により,制約に対処するツール拡張された嗜好モデリング手法であるThemisを提案する。 我々の研究は、外部ツールをRMに統合し、様々な外部ソースとの相互作用を可能にすることを目的としている。 人間の評価では、テミスで訓練されたRLHFはベースラインと比較して平均32%の勝利率を得る。
  論文  参考訳（メタデータ） (2023-10-02T09:47:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。