論文の概要: Beyond Correctness: Validity-Oriented Evaluation of Biomedical LLM Judges
- arxiv url: http://arxiv.org/abs/2608.29127v1
- Date: Sat, 29 Aug 2026 08:09:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:30.857237
- Title: Beyond Correctness: Validity-Oriented Evaluation of Biomedical LLM Judges
- Title（参考訳）: 正確性を超えて:生物医学的LLM審査の妥当性を指向した評価
- Abstract要約: 高品質な人的判断が乏しい場合に, バイオメディカルLLM判定器を評価するための, スケーラブルで妥当性を重視したパイプラインを提案する。
我々は、評価可能な選好ペアを生成する決定論的、メートル法に基づく突然変異を用いて、既存の人間ラベル付きベンチマークを拡張した。
我々は、3つの展開関連次元、すなわちメートル法由来のゴールドラベルに対する正当性、繰り返しサンプリングの下での正当性、要求された出力フォーマットへの適合性を用いて、集合的正当性以上の判断を評価する。
- 参考スコア（独自算出の注目度）: 0.7373060295520485
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a scalable, validity-oriented pipeline for evaluating biomedical LLM judges when high-quality human judgments are scarce. First, we augment existing human-labelled biomedical benchmarks with deterministic, metric-grounded mutations that produce auditable preference pairs. Second, we evaluate judges beyond aggregate correctness using three deployment-relevant dimensions: correctness against metric-derived gold labels, robustness under repeated stochastic sampling, and compliance with the requested output format. We use this pipeline to assess Llama-3.1-8B-Instruct under four regimes: (1) base, using the instruct model as is; (2) SFT, distillation-based supervised fine-tuning only; (3) RL, GRPO-based reinforcement learning only; and (4) SFT$\rightarrow$RL, SFT followed by RL. The base and single-stage regimes struggle on structured medical discrimination such as PICO extraction and clinical calculations, whereas SFT$\rightarrow$RL performs best across correctness, compliance, and robustness; gains concentrate on decomposable tasks (PICO, MedCalc), at times matching or outperforming frontier models.
- Abstract（参考訳）: 高品質な人的判断が乏しい場合に, バイオメディカルLLM判定器を評価するための, スケーラブルで妥当性を重視したパイプラインを提案する。
まず,従来のヒト標識型バイオメディカル・ベンチマークを決定論的・計量的変異で拡張し,聴覚的嗜好のペアを生成する。
第2に, 3つの展開関連次元, メートル法由来のゴールドラベルに対する正当性, 繰り返し確率的サンプリングによる頑健性, 要求された出力フォーマットへの適合性, を用いて, 集合的正当性以上の判定値を評価する。
このパイプラインを用いてLlama-3.1-8B-インストラクトを,(1)ベース,(2)蒸留法に基づく教師付き微調整のみ,(3)RL,GRPOに基づく強化学習のみ,(4)SFT$\rightarrow$RL,SFTとRLの4つの条件下で評価する。
一方、SFT$\rightarrow$RLは正当性、コンプライアンス、ロバスト性に優れており、整合性タスク(PICO、MedCalc)に焦点が当てられている。
関連論文リスト
- EHRBench: An Automated and Reliable EHR-based Benchmark for Clinical Decision Making with LLMs [51.129595320595094]
臨床意思決定 (CDM) は、臨床医が診断を推測し、治療を選択し、不完全な証拠の下で将来の健康結果を予測する、現実的な臨床の中心である。
LLMモデルは、強力な言語能力、幅広い生物医学的知識、効率性のために、これらの決定をサポートするためにますます使われています。
LLMの実際の臨床決定タスクに対する信頼性は、まだ十分に理解されていない。
論文 参考訳（メタデータ） (2026-05-28T22:38:26Z) - DISA: Offline Importance Sampling for Distribution-Matching LLM-RL [56.9445657766829]
本稿では、このキャリブレーション問題をRLループの外に移動させるdisAを紹介する。
DISAは提案トラジェクトリをオフラインに描画し、重要サンプリングによってパーティション関数を推定し、結果として発生するパーティション関数の推定を凍結する。
6つの数学と3つのコードベンチマークにまたがる2つのオープンウェイトなバックボーンでは、DisdisAはオンラインに結合した分散マッチングベースラインフローにマッチするか、超えている。
論文 参考訳（メタデータ） (2026-05-17T07:14:44Z) - PREBA: Surgical Duration Prediction via PCA-Weighted Retrieval-Augmented LLMs and Bayesian Averaging Aggregation [51.96735866702332]
PreBAはPCA重み付き検索とベイズ平均アグリゲーションを統合した検索拡張フレームワークである。
例えば、PreBAはパフォーマンスを大幅に改善し、MAEを最大40%削減し、ゼロショット推論でR2を-0.13から0.62に引き上げる。
論文 参考訳（メタデータ） (2026-02-27T07:19:23Z) - PRIME: A Process-Outcome Alignment Benchmark for Verifiable Reasoning in Mathematics and Engineering [71.15346406323827]
本稿では,プロセス・アウトカム・アライメント・アライメント・検証における検証結果を評価するベンチマークであるPRIMEを紹介する。
現在の検証器は、しばしば導出欠陥を検出するのに失敗する。
本稿では,PRIMEで選択した検証手法を利用したプロセス認識型RLVRトレーニングパラダイムを提案する。
論文 参考訳（メタデータ） (2026-02-12T04:45:01Z) - Save the Good Prefix: Precise Error Penalization via Process-Supervised RL to Enhance LLM Reasoning [59.76691952347156]
強化学習(RL)は,大規模言語モデル(LLM)の推論能力向上のための強力なフレームワークとして登場した。
既存のRLアプローチの多くは疎結果報酬に依存しており、部分的に成功した解では正しい中間段階を信用できない。
本稿では、PRMを用いてRL中の最初のエラーをローカライズする検証済み事前修正ポリシー最適化(VPPO)を提案する。
論文 参考訳（メタデータ） (2026-01-26T21:38:20Z) - Scalably Enhancing the Clinical Validity of a Task Benchmark with Physician Oversight [5.202988483354374]
本研究では,複雑なタスクの監視ベンチマークを,定期的に再評価すべき 'in-progress living document'' として提案する。
我々は,先進的なエージェント検証を利用して,MedCalc-Benchを監査し,レラベル化する,系統的,内科的・内科的パイプラインを提案する。
検査の結果,抽出ミス,電卓論理ミスマッチ,臨床曖昧さなどにより,原著ラベルの顕著な部分が医学的根拠の真相から逸脱していることが判明した。
論文 参考訳（メタデータ） (2025-12-22T18:59:34Z) - OncoReason: Structuring Clinical Reasoning in LLMs for Robust and Interpretable Survival Prediction [2.904892426557913]
大規模言語モデル (LLM) は, バイオメディカルNLPにおいて高い性能を示した。
本稿では,自己回帰型LPMと結果予測のための臨床推論を整合させる,統合型マルチタスク学習フレームワークを提案する。
マルチタスク・クリニカル・モデリングにおける推論・アライメントの重要性について検討した。
論文 参考訳（メタデータ） (2025-10-20T13:35:12Z) - The Thinking Therapist: Training Large Language Models to Deliver Acceptance and Commitment Therapy using Supervised Fine-Tuning and Odds Ratio Policy Optimization [0.0]
アクセプタンス・アンド・コミット・セラピー(Acceptance and Commitment Therapy、ACT)は、認知行動療法の一種で、いくつかの精神疾患において効果の出現を示す。
本研究では,学習後方法論と明示的推論が小規模なオープンウェイト大規模言語モデル(LLM)のACT提供能力に与える影響について検討した。
論文 参考訳（メタデータ） (2025-09-08T02:30:12Z) - mFARM: Towards Multi-Faceted Fairness Assessment based on HARMs in Clinical Decision Support [10.90604216960609]
大規模言語モデル(LLM)の高度な医療環境への展開は、AIアライメントの重要な課題である。
既存の公正性評価手法は、医療被害の多次元的な性質を無視する単純な指標を使用するため、これらの文脈では不十分である。
本稿では,hARMs(mFARM$)に基づく多面的公正度評価(マルチメトリック・フェアネス・アセスメント)を提案する。
提案した$mFARM$のメトリクスは、さまざまな設定下でより効果的に微妙なバイアスをキャプチャします。
論文 参考訳（メタデータ） (2025-09-02T06:47:57Z) - Beyond Distillation: Pushing the Limits of Medical LLM Reasoning with Minimalist Rule-Based RL [26.138061467729212]
第1回AlphaMedは,強化学習(RL)によって推論能力が純粋に現れることを示す最初の医学的LLMである。
AlphaMedは、従来のSFT+RLパイプラインでトレーニングされたモデルよりも優れた6つの医学的QAベンチマークで最先端の結果を達成する。
以上の結果から,データセットの有意性は推論性能の重要な要因であり,複数選択QAデータに対する最小限のRLは,CoTの監督なしに推論を誘導する上で有効であることが示唆された。
論文 参考訳（メタデータ） (2025-05-23T14:27:37Z) - Scaling Test-Time Compute Without Verification or RL is Suboptimal [70.28430200655919]
RL法や検索法に基づく検証器ベース (VB) 手法による微調整は, 一定量の計算・データ予算を条件として, 蒸留・クローニングに基づく検証器フリー (VF) 手法よりもはるかに優れていることを示す。
我々は,3/8Bの事前学習型LLMのドクティクスと数学推論の両問題に対して,我々の理論を実証的に相関させ,テスト時間計算のスケーリングには検証が不可欠であることを確認した。
論文 参考訳（メタデータ） (2025-02-17T18:43:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。