論文の概要: Route-Verify-Vote: Procedure-Conditioned Self-Consistency for Mixed-Domain Reasoning
- arxiv url: http://arxiv.org/abs/2610.08814v1
- Date: Wed, 23 Sep 2026 16:14:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-11 16:33:44.541435
- Title: Route-Verify-Vote: Procedure-Conditioned Self-Consistency for Mixed-Domain Reasoning
- Title(参考訳): Route-Verify-Vote:Mixed-Domain Reasoningのための手続き型自己整合性
- Abstract要約: Route-Verify-Vote (RVV) は手続き条件付き自己整合性のためのフレームワークである。
RVVは完全な回答セットを集約し、質問に追加のサンプルを割り当てる。
公式なテストセットでは、質問毎に16以上のサンプリングされた回答セットが74.6%の正確なセットの精度を達成する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Compositional generalization remains challenging when language models must combine familiar reasoning operations in unfamiliar ways. The Scenario-Based Commonsense Reasoning Evaluation (SCoRE) 2026 tests this ability on three mixed domains absent from training and requires models to identify the complete set of correct options for each question. We introduce Route-Verify-Vote (RVV), a framework for procedure-conditioned self-consistency that uses language models without parameter updates. Route uses the provided domain label to select a reasoning procedure that guides the model in representing and applying the relevant constraints. Verify prompts the model to assess each option against those constraints. Vote aggregates complete answer sets and allocates additional samples to questions with a small vote-count margin between the two most frequent sets. Samples for each question follow the same domain-specific procedure. On the official test set, voting over 16 sampled answer sets per question achieves an exact-set accuracy of 74.6%. Adaptive RVV reaches 77.3%, and combining models on selected domain routes raises accuracy to 79.4%. The final system ranked second among participating systems. These results support domain-specific reasoning procedures and answer-set disagreement as useful tools for allocating inference-time computation in mixed-domain reasoning.
- Abstract(参考訳): 構成的一般化は、言語モデルが慣れ親しんだ推論操作を慣れ親しんだ方法で組み合わせなければならない場合、依然として困難である。
シナリオベースのCommonsense Reasoning Evaluation (SCoRE) 2026は、トレーニングに欠席している3つの混合ドメインでこの能力をテストし、各質問に対する正しいオプションの完全なセットを特定するモデルを必要とする。
Route-Verify-Vote(RVV)は,パラメータを更新せずに言語モデルを使用するプロシージャ条件の自己整合性を実現するフレームワークである。
Routeは提供されたドメインラベルを使用して、関連する制約を表現および適用する際にモデルをガイドする推論手順を選択する。
Verifyはモデルに対して、これらの制約に対して各オプションを評価するように促します。
投票は完全な回答セットを集約し、最も頻繁な2つのセット間の票数差が小さい質問に追加のサンプルを割り当てる。
各質問のサンプルは同じドメイン固有の手順に従う。
公式なテストセットでは、質問毎に16以上のサンプリングされた回答セットが74.6%の正確なセットの精度を達成する。
アダプティブRVVは77.3%に達し、選択されたドメインルートのモデルを組み合わせると、精度は79.4%向上する。
最終システムは参加システムの中で2位にランクインした。
これらの結果は、混合ドメイン推論における推論時間計算を割り当てるための有用なツールとして、ドメイン固有の推論手順と回答セットの不一致を支持する。
関連論文リスト
- Pinning Decisions Before Failure: Executable Records of Underspecified Choices in AI-Assisted Code Generation [0.0]
自然言語の要件は質問をオープンにし、それを実装するよう要求されたモデルが静かに解決する。
3つのモデルから600以上のテストスイートが生成され、42.7%は競合するリードを区別するテストを含んでいない。
要件の未特定点を名前で列挙し、それぞれのコンストラクタに対して、そのポイントでのみ異なる2つの捨てられた実装を列挙します。
結果は、名前付きポイント、確認された入力、および2つの結果の中から選択した値の判定ピンとして記録される。
論文 参考訳(メタデータ) (2026-10-02T12:46:07Z) - Likelihood Ranking doesn't Scale Like Prompting in LLMs [91.56564968539271]
多重選択QAでは、質問セットと回答セットに標準確率ベースのスコアがまだ条件付けられている。
我々は,同じ質問対から構築された宣言文の確率ランキングに基づく補完的プロトコルについて検討する。
論文 参考訳(メタデータ) (2026-09-24T11:16:53Z) - Token Utility Is Selection-Conditioned: Coupled Selection of Prompt Context and Response Supervision for Efficient Instruction Tuning [11.796634827510323]
BRIDGEは、共有バリデーション指向のインタラクションサロゲートを通じて選択条件付きトークンユーティリティをキャプチャする。
構造認識プロジェクションは条件応答スコアをコヒーレントな監視スパンに変換する。
BRIDGEは、数学的推論、コード生成、命令フォローにおける全体的な選択方法の比較を導く。
論文 参考訳(メタデータ) (2026-09-19T10:46:58Z) - Disagree to Explore, Agree to Commit: Routing-Guided Test-Time Scaling for Software Agents [60.650808962786364]
外部判断や選択時間テストの実行なしに,ネイティブなMoEルータトレースがステアリングと選択をガイドできるかどうかを検討する。
我々の分析は、ルーティングが堅牢な行動的役割シグナルを提供することを示している。トークン・グラニュラ・リードアウトと決定整合比較セットは、ルーティングを効果的に制御する。
オープンウェイトスパースMOEエージェントを用いたSWEベンチ検証を行い,評価を行った。
論文 参考訳(メタデータ) (2026-08-23T03:07:03Z) - SEER: A Self-Grounded Evidence Interface for Controlled Spatial Relation Classification [71.9783246097687]
SEERは、ペアローカライゼーション中の候補関係を隠蔽し、明示的な主観的/対象的役割を持つクエリ固有ビューを構築し、補完的な証拠として完全なイメージとスパースボックス幾何学を保持する。
正確な逆サポートを持つ関係選択プロトコルでは、オプションリファインメントがエンティティロールを交換し、正確に1つの視覚状態が対応する逆関係に従う場合にのみ前方決定を変更する。
変更されていないプロトコルは、3つのモデルにまたがる2,434個のフィルター付きEmbSpatialペア関係質問に対して +4.35 から +11.79 を得る。
論文 参考訳(メタデータ) (2026-08-04T13:16:15Z) - A Consensus-Based Framework for Relative Preference Evaluation of Large Language Models [0.0]
本稿では,絶対的正当性ではなく,モデル生成応答間の相対的嗜好を測定する,コンセンサスに基づく評価フレームワークを提案する。
我々は、プログラミング、一般知識、安全性、論理的推論、数学を含む、複数の領域にわたる最先端のLLMを用いて、制御された研究を行う。
スコアはリレーショナルインテリジェンス指数(RII)に集約され、モデルの反応が他のモデルでどれだけ頻繁に好まれるかを表す。
論文 参考訳(メタデータ) (2026-07-19T08:59:19Z) - CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。
数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。
我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
論文 参考訳(メタデータ) (2025-08-05T17:55:24Z) - Robust Question Answering Through Sub-part Alignment [53.94003466761305]
我々はアライメント問題として質問応答をモデル化する。
私たちは、SQuAD v1.1でモデルをトレーニングし、いくつかの逆および外ドメインデータセットでそれをテストします。
論文 参考訳(メタデータ) (2020-04-30T09:10:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。