論文の概要: Reasoning Jury: Multi-Model Consensus for Evaluating Reasoning Traces

• arxiv url: http://arxiv.org/abs/2608.12585v1
• Date: Wed, 12 Aug 2026 21:00:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.324211
• Title: Reasoning Jury: Multi-Model Consensus for Evaluating Reasoning Traces
• Title（参考訳）: Reasoning Jury: Reasoning Tracesの評価のためのマルチモデル合意
• Abstract要約: Reasoning Jury は、単一の裁判官を LLM の陪審員に置き換えるシステムである。 Reasoning Juryでは、推論の痕跡とその重大さの欠陥は、熟考を通して表面化される。 オープンウェイトモデルの陪審員によるReasoning Juryは、フロンティアモデルを大幅に上回っていることを示す。
• 参考スコア（独自算出の注目度）: 8.727904788574602
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Improving reasoning LLMs requires the ability to judge the quality of long reasoning traces for effective reasoning data curation, strong training signals during reinforcement learning, and an in-depth understanding of reasoning behaviors during model performance evaluation. Additionally, surfacing reasoning mistakes that the model makes would enable improving the model's performance at runtime through providing feedback. Due to the difficulty of this complex task on long reasoning traces, single-model judges (even frontier models) do not do well at identifying reasoning defects. Additionally, leveraging frontier models during online training of reasoning LLMs is generally prohibited due to guardrails in terms of use. In this work, we introduce Reasoning Jury, a system that replaces the single judge with a jury of LLMs and a moderated consensus mechanism, to improve the fidelity of judgments for identifying reasoning defects. In reasoning jury, defects of a reasoning trace and their severity are surfaced through a deliberation where a moderator conducts a discussion amongst the jury where the jurors critique each other's judgments and get to modify their initial votes. The moderator derives a consensus through deliberation amongst jurors or consolidation of judgements. We show that Reasoning Jury with a jury of open-weight models (e.g., gpt-oss-120b) is able to significantly outperform frontier models (opus-4.6, sonnet-4.6, and gemini-3.1-pro) at correctly identifying reasoning defects. Besides accuracy performance improvements, the aggregated cost of the jury (initial verdicts, deliberations, consolidation, etc.) is a fraction (8 to 15%) of the cost of running frontier models in LLM-as-a-judge setup. We also show how these judgements can be leveraged to understand failure modes of reasoning LLMs on benchmarks, which allows much deeper understanding of a model's performance.
• Abstract（参考訳）: LLMの改善には、効果的な推論データキュレーション、強化学習中の強い訓練信号、モデル性能評価中の推論動作の深い理解のための、長い推論トレースの品質を判断する能力が必要である。 さらに、モデルが犯す推論ミスに直面すると、フィードバックを提供することで、実行時のモデルのパフォーマンスを改善することができる。 長い推論トレースにおけるこの複雑なタスクの難しさのため、単一モデル判断者(フロンティアモデルでさえ)は推論欠陥を特定するのにうまくいかない。 また、LLMの推論におけるオンライントレーニングにおけるフロンティアモデルの利用は、一般的にはガードレールの使用に関して禁止されている。 本研究では,単一審査員を LLM の陪審員に置き換えるシステムである Reasoning Jury を導入する。 審査員は、審査員がお互いの判断を批判し、最初の投票を変更できるような審査員の間で議論を行う。 モデレーターは陪審員の審理や判決の合理を通じて合意を導き出す。 オープンウェイトモデル(例: gpt-oss-120b)の陪審員による推論ジャリー(Reasoning Jury)がフロンティアモデル(opus-4.6, sonnet-4.6, gemini-3.1-pro)を大幅に上回っていることを示す。 精度の向上に加えて、陪審員の集計コスト(最初の評決、審議、統合など)は、LLM-as-a-judgeセットアップにおけるフロンティアモデルの実行コストの8～15%である。 また、これらの判断がどのようにして、ベンチマーク上でLLMを推論する失敗モードを理解することができるかを示し、モデルの性能をより深く理解することができる。

関連論文リスト

• AffectOmni: RL-Verifiable People-Centric Grounded Affective Reasoning for Social and Art-Related Scenes [59.134503227559634]
  マルチモーダル大言語モデル(MLLM)は,VQAとシーン理解において高い性能を発揮する。 モデルは、マイクロ表現やボディランゲージのような人中心の手がかりを無視しながら、正しい答えを予測できる。 本稿では、感情的推論を検証可能なフレームワークであるAffect Omniを提案する。
  論文  参考訳（メタデータ） (2026-08-24T11:25:04Z)
• How Long Reasoning Chains Influence LLMs' Judgment of Answer Factuality [9.19183567561999]
  大規模言語モデル(LLM)は、人間の評価のためのスケーラブルなサロゲートとして広く採用されているが、そのような判断は依然として不完全であり、表面レベルの偏見に影響を受けやすい。 推論可能なモデルの増加に伴い、ジェネレータの推論内容を判断者に公開することで、よりリッチな情報を提供し、判定精度を向上させるための自然な候補となる。 弱い裁判官は存在を推論することで容易に揺れるが、強い裁判官は情報的証拠として推論を部分的に活用できる。
  論文  参考訳（メタデータ） (2026-04-08T07:21:18Z)
• Examining Reasoning LLMs-as-Judges in Non-Verifiable LLM Post-Training [75.98427023288052]
  LLM(Reasoning LLMs-as-Judges)は、推論モデルの成功を検証不可能な領域に拡張するための有望な道を提供する。 本研究では、強化学習に基づくLLMアライメントにおける非推論および推論判断の実際の影響について検討した。 我々は,高い効率の対向出力を生成することを学ぶことによって,理性判断訓練された政策が,そのような高い性能を達成することを見出した。
  論文  参考訳（メタデータ） (2026-03-12T17:57:06Z)
• Adversarial Yet Cooperative: Multi-Perspective Reasoning in Retrieved-Augmented Language Models [72.4149653187766]
  本稿ではAdrialversa Reasoning RAG(ARR)というReasoner-Verifierフレームワークを提案する。 ReasonerとVerifierは、回収された証拠を推論し、プロセス認識の利点によってガイドされながら、互いの論理を批判する。 複数のベンチマーク実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2026-01-08T06:57:03Z)
• Who Judges the Judge? LLM Jury-on-Demand: Building Trustworthy LLM Evaluation Systems [2.9141470183751674]
  スケーラブルでコンテキスト対応な評価のための動的学習ベースのフレームワークを提案する。 本手法は,LLM審査員が人間専門家といつ一致するかを評価するために,信頼度予測器のセットを訓練する。 要約およびRAGベンチマーク実験により,我々の動的陪審法は,単一判定基準と静的判定基準の両方よりも,人間の判断との相関が著しく高いことを示した。
  論文  参考訳（メタデータ） (2025-12-01T15:26:20Z)
• Thinking Longer, Not Always Smarter: Evaluating LLM Capabilities in Hierarchical Legal Reasoning [11.255428720705204]
  本稿では,ケース間の重要な区別を3段階の推論タスクに分解する枠組みを提案する。 我々のフレームワークは、要因と呼ばれる事実的述語を使用してケースをモデル化し、それらを法的知識階層に整理し、区別を識別するための検証可能なルールを定義します。 我々は、モデルが正しい応答よりも間違った応答について、常に多くの計算資源を消費していることを発見し、「より長く考えることは、必ずしも「より賢く考える」という意味ではないことを示唆している。
  論文  参考訳（メタデータ） (2025-10-09T18:15:28Z)
• J4R: Learning to Judge with Equivalent Initial State Group Relative Policy Optimization [69.23273504123941]
  私たちは、より複雑な評価設定で生じる位置バイアスに対して堅牢であるように、裁判官を訓練します。 我々はReasoningJudgeBenchというベンチマークを紹介します。 EIS-GRPOで訓練を受けた7B判事であるReasoning判事(J4R)は、GPT-4oを6.7%、そして9%で上回ります。
  論文  参考訳（メタデータ） (2025-05-19T16:50:35Z)
• Reasoning Court: Combining Reasoning, Action, and Judgment for Multi-Hop Reasoning [17.829990749622496]
  Reasoning Court(RC)は、ReActのような反復的推論と検索の手法を拡張した新しいフレームワークである。 RCはタスク固有の微調整なしで、最先端のショットプロンプト手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-04-14T00:56:08Z)
• JudgeLRM: Large Reasoning Models as a Judge [80.07261839142548]
  判断指向大規模言語モデル(LLM)のファミリーであるジャッジLRMを紹介する。 SFTの性能向上と推論要求サンプルの比率との間には負の相関が見られ、これらのシナリオにおけるSFTの限界が明らかになる。 判定LRMは、他のRLおよびSFTの変種と同様に、同じサイズでSFTチューニングベースラインを一貫して上回り、最先端の推論モデルを超えていることを示す。
  論文  参考訳（メタデータ） (2025-03-31T02:18:51Z)
• Judge as A Judge: Improving the Evaluation of Retrieval-Augmented Generation through the Judge-Consistency of Large Language Models [68.92020689188887]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) に対する幻覚を緩和する効果を証明している。 既存の自動評価メトリクスは、トレーニングと評価の間にRAGモデルによって生成されたアウトプットを正確に評価することはできない。 本稿では,RAGモデルのより正確な評価を実現するため,LCMの強化を目的とした判断一貫性(ConsJudge)手法を提案する。
  論文  参考訳（メタデータ） (2025-02-26T04:50:43Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)
• From Calculation to Adjudication: Examining LLM judges on Mathematical Reasoning Tasks [11.01213914485374]
  数学的推論タスクにおいて,大規模言語モデル (LLM) について検討する。 本分析により,判定性能と候補モデルタスク性能との間に強い相関関係が明らかになった。 その結果、音声の一部タグのような単純な特徴を用いて、LLM判断者の行動を予測することができるかどうかを検証した。
  論文  参考訳（メタデータ） (2024-09-06T10:09:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。