論文の概要: Let LLMs Judge Each Other: Multi-Agent Peer-Reviewed Reasoning for Medical Question Answering

• arxiv url: http://arxiv.org/abs/2606.15419v1
• Date: Sat, 13 Jun 2026 18:09:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.558774
• Title: Let LLMs Judge Each Other: Multi-Agent Peer-Reviewed Reasoning for Medical Question Answering
• Title（参考訳）: LLMを相互に判断する: 医療質問応答のためのマルチエージェントピアレビュー推論
• Abstract要約: 医学質問応答(MedQA)における大規模言語モデル(LLM)の精度、解釈可能性、堅牢性を高めることを目的とする。 我々は、複数のLLMエージェントが独立して、候補解の連鎖推論を生成するマルチエージェントピアレビュー推論法を設計した。 最上位の推論チェーンが選択され、最終回答が生成される。
• 参考スコア（独自算出の注目度）: 7.55821284331926
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Objective: To enhance the accuracy, interpretability, and robustness of large language models (LLMs) in medical question answering (MedQA). Method: We designed a multi-agent peer-reviewed reasoning method in which multiple LLM agents independently generate chain-of-thought reasoning with candidate answers, then act as peer reviewers to evaluate each other's reasoning for factual correctness and logical soundness. The highest-rated reasoning chain is selected to produce the final answer. Experiments were conducted with five state-of-the-art LLMs (Llama-3.1-8B, Qwen2.5-7B, Phi-4, DeepSeek-LLM-7B, GPT-oss-20B) on three benchmark datasets: HeadQA, MedQA-USMLE, and PubMedQA. Performance was compared against single-model chain-of-thought reasoning and chain-of-thought-based majority voting. Results: Peer-reviewed reasoning consistently outperformed both baselines. The best model combination achieved an average accuracy of 0.820 across datasets, exceeding the strongest single model (0.777) and majority voting ensembles (up to 0.789). The method also scaled effectively with more participating models, while peer assessments reliably distinguished high- from low-quality reasoning chains. Conclusion: The proposed multi-agent peer-reviewed reasoning method enables LLMs to act as both solvers and evaluators, yielding superior performance in MedQA. By emphasizing reasoning quality rather than answer agreement alone, this approach improves accuracy, interpretability, and robustness, offering a promising direction for trustworthy biomedical AI systems.
• Abstract（参考訳）: 目的:医学質問応答(MedQA)における大規模言語モデル(LLM)の精度,解釈可能性,堅牢性を高めること。 提案手法は,複数のLLMエージェントが個別に仮説の連鎖的推論を生成できるマルチエージェントピアレビュー推論法を設計し,その上でピアレビュアとして機能し,事実の正しさと論理的健全性を評価する。 最上位の推論チェーンが選択され、最終回答が生成される。 実験は、HeadQA、MedQA-USMLE、PubMedQAの3つのベンチマークデータセット上で、5つの最先端LCM(Llama-3.1-8B、Qwen2.5-7B、Phi-4、DeepSeek-LLM-7B、GPT-oss-20B)を用いて行われた。 シングルモデル・チェーン・オブ・シークリングやチェーン・オブ・シークレット・オブ・シークレットの多数投票と比較された。 結果: ピアレビューによる推論は両ベースラインを一貫して上回る結果となった。 最高のモデルの組み合わせはデータセットの平均0.820の精度を達成し、最強のシングルモデル(0.777)と多数決アンサンブル(0.789まで)を上回った。 この手法は、より多くの参加モデルで効果的にスケールし、ピアアセスメントは高品質な推論チェーンと低品質な推論チェーンを確実に区別した。 結論: 提案手法により, LLM は解法と評価器の両方として機能し, MedQA において優れた性能が得られる。 回答合意のみではなく推論品質を強調することで、このアプローチは正確性、解釈可能性、堅牢性を改善し、信頼できるバイオメディカルAIシステムのための有望な方向性を提供する。

関連論文リスト

• Reasoning Consensus: Structural Ensembling of LLM Reasoning via Weighted DAG Aggregation [17.1797342726399]
  我々は,複数の大規模言語モデル(LLM)の回答だけでなく,推論構造を組み込むフレームワークを提案する。 我々は「合意推論」を返すために、何つのトレースが独立して証明されているかによって各ステップを重み付けする。 法解釈、大学院レベルの科学、物語的マルチホップ推論、一階述語論理にまたがる6つのベンチマークで、我々のアンサンブルは一致した予算の多数決投票基準よりも優れています。
  論文  参考訳（メタデータ） (2026-07-30T07:14:50Z)
• Learning When to Sample: Confidence-Aware Self-Consistency for Efficient LLM Chain-of-Thought Reasoning [7.8668388431725695]
  大規模言語モデル(LLM)は、チェーン・オブ・ソート(CoT)推論によって強い推論性能を達成する。 最近の自己整合性に基づくアプローチは、精度をさらに向上するが、複数の推論軌道のサンプリングと集約が必要である。 本稿では,単一経路と複数経路の推論を適応的に選択するための単一経路推論軌道を解析する信頼度対応決定フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-09T22:34:06Z)
• MentorCollab: Selective Large-to-Small Inference-Time Guidance for Efficient Reasoning [85.05204262206296]
  大きな推論モデル(LRM)は、長い思考の連鎖を生成することによって、強い性能を達成するが、その推論コストは高い。 小型言語モデル(SLM)はより効率的であるが、多段階推論タスクでは困難である。 本研究では, LRM が SLM を選択的かつ簡潔にガイドする推論時協調手法である MentorCollab を提案する。
  論文  参考訳（メタデータ） (2026-02-05T04:58:16Z)
• Scaling Trends for Multi-Hop Contextual Reasoning in Mid-Scale Language Models [0.0]
  大規模言語モデルにおけるマルチホップ文脈推論の制御に関する研究について述べる。 マルチエージェントシステムは逆パターンを示し、ルールベースのメソッドが失敗する推論タスクを最大80%達成する。
  論文  参考訳（メタデータ） (2026-01-06T20:18:55Z)
• Scoring, Reasoning, and Selecting the Best! Ensembling Large Language Models via a Peer-Review Process [58.265053900416895]
  LLM-PeerReviewは、ピアレビューに触発された新しいフレームワークの上に構築されている。 スコアリングには、新たなLCM-as-a-Judgeテクニックを使用します。 推論にはグラフィカルモデルに基づく真理推論アルゴリズムを適用する。 最後に、最高スコア応答をベストアンサンブル出力として選択する。
  論文  参考訳（メタデータ） (2025-12-29T05:25:49Z)
• Beyond Majority Voting: LLM Aggregation by Leveraging Higher-Order Information [57.397381631496906]
  最適重み(OW)と逆サプライシング人気度(ISP)という2つの新しいアグリゲーションアルゴリズムを開発した。 我々の理論的分析は、これらの手法が軽微な仮定の下での多数決の本質的な制限を確実に緩和することを示している。 我々は,我々のアルゴリズムを人工データセット,UltraFeedbackやMMLUなどのLLMファインチューニングベンチマーク,実世界の医療環境ARMMAN上で実証的に検証した。
  論文  参考訳（メタデータ） (2025-10-01T22:21:50Z)
• Internalizing Self-Consistency in Language Models: Multi-Agent Consensus Alignment [22.305033366660187]
  言語モデル(LM)は矛盾する推論子であり、しばしば同じプロンプトに対する矛盾した応答を生成する。 適切に整合した推論モデルの本質的な性質として自己整合性を定式化し、MACA(Multi-Agent Consensus Alignment)を導入する。 MACAは、エージェントが自分自身をより決定的かつ簡潔に教えることを可能にし、外部の監督なしにマルチエージェント設定におけるピアインサイトをより活用する。
  論文  参考訳（メタデータ） (2025-09-18T17:27:28Z)
• ReasonMed: A 370K Multi-Agent Generated Dataset for Advancing Medical Reasoning [54.30630356786752]
  ReasonMedは、これまでで最大の医療推論データセットで、370万の高品質な例がある。 マルチエージェント生成、検証、改善プロセスを通じて構築される。 ReasonMedを用いて、簡潔な答えの要約と詳細なCoT推論を統合することで、最も堅牢な微調整結果が得られる。
  論文  参考訳（メタデータ） (2025-06-11T08:36:55Z)
• Language Model Preference Evaluation with Multiple Weak Evaluators [89.90733463933431]
  PGEDは,複数のモデルに基づく評価器を用いて嗜好グラフを構築し,非循環的非競合性評価結果に対してこれらのグラフをアンサンブルし,デノテーズする手法である。 1)評価のためのモデルランキング、2)テスト時間スケーリングのための応答選択、3)モデル微調整のためのデータ選択である。
  論文  参考訳（メタデータ） (2024-10-14T01:57:25Z)
• ReConcile: Round-Table Conference Improves Reasoning via Consensus among Diverse LLMs [61.07130026622437]
  大規模言語モデル(LLM)は、まだ自然言語推論タスクに苦戦している。 心の社会に動機づけられて、我々はReConcileを提案する。 LLMエージェント間のラウンドテーブル会議として設計されたマルチモデルマルチエージェントフレームワーク。
  論文  参考訳（メタデータ） (2023-09-22T17:12:45Z)
• PRD: Peer Rank and Discussion Improve Large Language Model based Evaluations [10.709365940160685]
  現代の大規模言語モデル(LLM)は、自動評価と比較が難しい。 本稿では,全ての解答対に対するLLMのペアワイズ選好を考慮に入れたピアランク(PR)アルゴリズムを提案する。 我々のアプローチは高い精度を実現し、人間の判断とよく一致していることがわかりました。
  論文  参考訳（メタデータ） (2023-07-06T04:05:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。