論文の概要: ABACUS: Program-Guided Multistep Reasoning over Frozen Judgment Models

• arxiv url: http://arxiv.org/abs/2610.25963v1
• Date: Mon, 19 Oct 2026 07:57:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 03:20:16.667818
• Title: ABACUS: Program-Guided Multistep Reasoning over Frozen Judgment Models
• Title（参考訳）: ABACUS: 凍結判断モデルによるプログラムガイド型マルチステップ推論
• Abstract要約: そこで本研究では,凍結判定モデルのための判定スキーマと合成プログラムを共同構築する手法を提案する。 生成教師は、手順をオフラインに設計し、判断モデルは、ローカルな意味論をオンラインで解決し、保存されたプログラムはその決定を解答に構成する。 本稿では,プログラムの再利用可能なプログラムが,パラメータを固定しつつ,コンパクトな判断モデルの推論能力を大幅に拡張できることを示す。
• 参考スコア（独自算出の注目度）: 11.653486580391103
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Judgment models answer semantic questions by scoring a finite set of candidate outcomes. Can reusable programs turn these local decisions into powerful multistep reasoning? We introduce \method, a framework that jointly constructs judgment schemas and composition programs for frozen judgment models. A generative teacher designs the procedure offline; the judgment model resolves local semantic questions online, and the saved program composes its decisions into an answer. We study three allocations of design effort between humans and the teacher, focusing on construction through a shared interface. We instantiate the framework with Kev. On three selected BIG-Bench Hard tasks, nine independently constructed programs solve all 450 executions of 150 development inputs. A separate deployment study freezes three programs after development-set reference-agreement refinement and evaluates them on 600 held-out questions. These programs achieve near-perfect 99.67\% macro accuracy, versus 64.00\% for direct Kev and 68.80\% for final-answer-only Qwen3.5-4B. They attain comparable observed accuracy to Qwen's unrestricted response policy (99.07\%) with an \textbf{8.43-fold online speedup}: 0.255 versus 2.150 seconds per question. These results show how reusable programs can substantially expand the reasoning capability of a compact judgment model while keeping its parameters fixed.
• Abstract（参考訳）: 判断モデルは、有限個の候補結果の集合を採点することで意味的な疑問に答える。 再利用可能なプログラムは、これらのローカル決定を強力なマルチステップ推論に変換することができるか? 本稿では,凍結判定モデルのための判定スキーマと合成プログラムを共同構築するフレームワークであるShamethodを紹介する。 生成教師は、手順をオフラインに設計し、判断モデルは、ローカルな意味論をオンラインで解決し、保存されたプログラムはその決定を解答に構成する。 本研究では,人間と教師によるデザイン作業の3つのアロケーションについて検討し,共有インタフェースによる構築に焦点を当てた。 私たちはフレームワークをKevでインスタンス化する。 3つの選択されたBIG-Bench Hardタスクでは、独立に構築された9つのプログラムが150個の開発入力の450個の実行をすべて解決している。 開発段階のリファレンス・アグリメントの改善後に3つのプログラムをフリーズし、600の質問で評価する。 これらのプログラムは99.67.%のマクロ精度を達成しているが、直接ケブでは64.00.%、最終回答のみのQwen3.5-4Bでは68.80.%である。 彼らはQwenの制限なしのレスポンスポリシー(99.07\%)に匹敵する精度を達成し、オンラインのスピードアップであるtextbf{8.43-fold}: 0.255対2.150秒である。 これらの結果は,再利用可能なプログラムがパラメータを固定しつつ,コンパクトな判断モデルの推論能力を大幅に拡張できることを示す。

関連論文リスト

• Large Decision Models: Repurposing Large Language Models as Single-Pass Decision Makers [11.47184779374245]
  本研究では,実行時に指定されたラベルよりも明確な確率を返すために,言語モデルを再購入する大規模決定モデルを提案する。 まず、DDS(Diverse Decision Supervision)を通じて、さまざまなドメイン、ルール、ラベルをカバーし、このインターフェースにモデルを適用する。 推論モデルに対するパフォーマンスギャップをさらに狭めるため、SPRD(Self-Posed Reasoning Distillation)では、凍結教師が生成したタスクを追加し、回答整合性をフィルタし、繰り返し教師の推論から得られたラベル分布をトレーニングする。
  論文  参考訳（メタデータ） (2026-10-11T10:04:59Z)
• Semi-Automatic Quantification of Bayesian Networks for Software Decision Support: Comparing WSA and RNM in a Software R&D Organization [1.723850585687833]
  半自動的手法は直接の推論を減少させるが、実践者は運用上の決定プロセスから比較した証拠はほとんどない。 我々は、重み付きSum Algorithm (WSA) と Ranked Nodes Method (RNM) を2つの文脈で完全なElicitation-and-quantificationパイプラインとして比較する。
  論文  参考訳（メタデータ） (2026-09-25T13:49:10Z)
• An Empirical Evaluation of Cost-Efficient Large Language Models on Algorithmic Programming Tasks [0.0]
  38.4%のメソッドは返却した値を計算せず、返却された回答の12.9%のみが正しい。 結果クラスの条件は、応答の信頼性と正しさが逆関係であることを示しているが、真の計算方法が最も多く答えられ、19.3%が正しかった。
  論文  参考訳（メタデータ） (2026-09-16T02:55:03Z)
• Check The Scoreboard: An Analysis of Scoring Schemes on Multiple-Choice Evaluation [52.58737865652009]
  NLPにおけるMultiple-choice Question answering (MCQA)ベンチマークは、数右スコアリング(精度)を用いる。 教育試験において、スコアリング方式は、応答モードモデルが従うこと、および応答のグレーディングルールの組み合わせであり、どの能力に報酬を与えるかを規定する重要な設計選択である。 我々は、MCQAが6つの教育にインスパイアされた6つのスキームで、正確性を超えた能力を評価することで、数字右の代替手段がどのように変化するかを検討する。
  論文  参考訳（メタデータ） (2026-08-30T16:35:22Z)
• Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
  シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。 我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。 GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
  論文  参考訳（メタデータ） (2026-06-04T05:43:12Z)
• CAKE: Cloud Architecture Knowledge Evaluation of Large Language Models [1.1140384738063094]
  CAKEは、ブルームの改訂された分類学の4つの認知レベルに関する188人の専門家による検証された質問で構成されている。 マルチチョイス質問(MCQ)とフリーレスポンス(FR)のためのLCM-as-a-judgeスコア(FR)を併用した22種類のモデル構成の評価を行った。
  論文  参考訳（メタデータ） (2026-04-07T11:56:43Z)
• Classroom Final Exam: An Instructor-Tested Reasoning Benchmark [28.348498400526967]
  CFE-Benchは、大規模言語モデルの推論能力を評価するためのベンチマークである。 新しくリリースされたGemini-3.1-pro-previewは59.69%の精度を達成した。 第2のモデルであるジェミニ-3-フラッシュ・プレヴューは55.46%に達し、改善の余地を残している。
  論文  参考訳（メタデータ） (2026-02-23T05:17:41Z)
• Encyclo-K: Evaluating LLMs with Dynamically Composed Knowledge Statements [78.87065404966002]
  既存のベンチマークは、主に質問レベルで質問をキュレートする。 ベンチマーク構築をゼロから再考するステートメントベースのベンチマークであるEncyclo-Kを提案する。
  論文  参考訳（メタデータ） (2025-12-31T13:55:54Z)
• EquiBench: Benchmarking Large Language Models' Reasoning about Program Semantics via Equivalence Checking [58.15568681219339]
  大規模言語モデル(LLM)を評価するための新しいベンチマークであるEquiBenchを紹介する。 このタスクは、プログラムのセマンティクスについて推論するモデルの能力を直接テストする。 19の最先端LCMを評価し、最も難しいカテゴリでは、最高の精度は63.8%と76.2%であり、50%のランダムベースラインよりわずかに高い。
  論文  参考訳（メタデータ） (2025-02-18T02:54:25Z)
• DCR: Divide-and-Conquer Reasoning for Multi-choice Question Answering with LLMs [9.561022942046279]
  大規模言語モデル(LLM)の推論能力を高めるため,DCR(Divide and Conquer Reasoning)を提案する。 まず、信頼性スコア(mathcalCS$)に基づいて質問を2つのサブセットに分類する。 特に,質問を信頼性スコア(mathcalCS$)に基づいて2つのサブセットに分類する。
  論文  参考訳（メタデータ） (2024-01-10T14:38:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。