論文の概要: One-Sided Verification Under Limited Expert Review

• arxiv url: http://arxiv.org/abs/2610.18089v1
• Date: Tue, 13 Oct 2026 10:10:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.586481
• Title: One-Sided Verification Under Limited Expert Review
• Title（参考訳）: 専門家の限定審査による一面検証
• Abstract要約: 我々は、稀な有効な解決策を優先する必要がある、限定された人間の努力の下で検証を研究する。 我々は、エラー提案とエラー検証を分離するアルゴリズムフレームワークであるOSVerifyを紹介した。 実験によると、OSVerifyは、無効なソリューションの人間レビューの数を平均46%削減している。
• 参考スコア（独自算出の注目度）: 81.81806589083486
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI has become increasingly helpful in scientific discovery, yet human expert review remains essential for those problems without reliable automated evaluation, posing a fundamental challenge as candidate generation scales beyond available review capacity. This paper studies verification under limited human effort, where rare valid solutions need to be prioritized while invalid candidates should be filtered out to reduce human workload. We adopt the one-sided verification objective that maximizes the rejection rate of invalid solutions (TNR) under a constraint on the false-rejection rate of valid ones (FNR), making human review cost an explicit term to minimize. Drawing on the intuition that verifying a specific error can be easier than discovering one, we introduce OSVerify, an algorithmic framework that decouples error proposal from error validation. The error proposer searches for errors in solutions across different granularities by hierarchical decomposition, while the validator distinguishes substantial errors from minor or hallucinated ones. Experiments on competition- and research-level benchmarks show that OSVerify reduces the number of human reviews of invalid solutions by 46% on average compared to voting baselines under the same empirical low FNR constraint. Our post-training of the validator further improves the reduction to 57%. As high-impact real-world use cases, we apply OSVerify to identify errors in published research papers that are subsequently confirmed by the original authors and help resolve three Langlands open conjectures that are confirmed by experts, demonstrating its utility to facilitate human-AI research collaboration.
• Abstract（参考訳）: AIは科学的な発見においてますます有用になっているが、人間の専門家によるレビューは、信頼性の高い自動評価なしにこれらの問題に必須であり、候補生成が利用可能なレビュー能力を超えてスケールするため、根本的な課題となっている。 本稿では,人間の作業量を減らすために,不適切な候補をフィルタリングする一方で,稀な有効解を優先する必要がある,限定された人的努力の下での検証について検討する。 本研究では,有効解(FNR)の虚退率の制約の下で,無効解(TNR)の拒絶率を最大化する一方的な検証目標を採用し,人間のレビューコストを最小化するための明示的な用語とした。 特定のエラーの検証は発見するよりも容易であるという直感に基づいて,エラーの検証からエラー提案を分離するアルゴリズムフレームワークであるOSVerifyを導入する。 誤差プロジェクタは階層的な分解によって異なる粒度にわたる解の誤差を探索し、バリケータはマイナーまたは幻覚的なものとかなりの誤差を区別する。 競合レベルおよび研究レベルのベンチマーク実験により、OSVerifyは、同じ実証的低FNR制約下での投票ベースラインと比較して、無効なソリューションの人間レビューを平均で46%削減することが示された。 評価器のポストトレーニングにより, さらに57%の削減が可能となった。 高インパクトの現実世界のユースケースとして、OSVerifyを適用して、オリジナルの著者によって後に確認された公開研究論文の誤りを特定し、専門家によって確認されたラングランズオープンな3つの予想を解決し、人間とAIの研究協力を促進するためのその有用性を実証する。

関連論文リスト

• Beyond the Verdict: Agentic Code Judging with Verifiable Feedback [54.72977295521153]
  我々は,人間の専門家による受諾プログラムと受諾プログラムを用いて,USACO 2026コンテストからUSACO-JUDGEを構築した。 次に、35Bのエージェント検証器であるARBITERを、汎用的な実行サンドボックスで強化学習して訓練する。 トレーニングは、不正なプログラムを40.61%から62.67%に、二分判定の精度を71.41%から87.41%に引き上げる。
  論文  参考訳（メタデータ） (2026-10-13T17:22:58Z)
• A Tale of Two Error Categories: Exploring Concealed Trade-Offs in the Errors of Automated Judges in Evaluation of Uncertainty Quantifiers [3.4992474047816184]
  NLGアプリケーションでは、信頼性の高い正当性判定を得ることは、特に人間の介入なしには簡単ではない。 自動判断の誤りはほとんど避けられず、評価プロトコルの信頼性を低下させることが知られている。 疑問に答える実験では、4つのLLM、人間と自動化された判断、そして7つの人気UQを用いて、審査員のパフォーマンスは、UQ評価の信頼性に対する誤差の観測結果の影響を予測できるのみであり、また、i)判定誤差は最も情報に富むUQを表現する傾向にある。
  論文  参考訳（メタデータ） (2026-10-07T08:52:32Z)
• NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
  大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。 既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。 本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T08:34:56Z)
• BadScientist: Can a Research Agent Write Convincing but Unsound Papers that Fool LLM Reviewers? [21.78901120638025]
  製造指向の紙生成エージェントがマルチモデルLCMレビューシステムを欺くことができるかどうかを考察する。 我々のジェネレータは、実際の実験を必要としないプレゼンテーション操作戦略を採用している。 健全な集約数学にもかかわらず、整合性検査は体系的に失敗する。
  論文  参考訳（メタデータ） (2025-10-20T18:37:11Z)
• Critique to Verify: Accurate and Honest Test-Time Scaling with RL-Trained Verifiers [63.99316853136304]
  ミラー・クリティク(Mirror-Critique)は、情報的批評で検証者を訓練する枠組みである。 我々は、高品質な批判データを合成するために、小さな命令調整モデルを展開する。 結果として得られるミラー検証は、ソリューション毎に複数の批判を生成することで、候補ソリューションを評価するためにデプロイされる。
  論文  参考訳（メタデータ） (2025-09-27T06:50:24Z)
• Scaling Flaws of Verifier-Guided Search in Mathematical Reasoning [16.824343439487617]
  大規模言語モデル(LLM)は、推論時間スケーリングがパフォーマンス改善のための有望な戦略として現れている、多段階推論に苦しむ。 検証者誘導探索は、有効な推論経路を選択して優先順位付けすることにより、サンプリングサイズが制限されたときに繰り返しサンプリングより優れる。 サンプルサイズが大きくなるにつれて、検証者誘導探索は利点を減らし、最終的には繰り返しサンプリングを過小評価する。
  論文  参考訳（メタデータ） (2025-02-01T02:08:49Z)
• Validating GWAS Findings through Reverse Engineering of Contingency Tables [2.107610564835429]
  本稿では,データセット共有を必要とせずに意図しない誤りを検出するGWAS検証手法を提案する。 提案手法は, GWAS結果から得られるp値を利用して, 単一ヌクレオチド多型(SNP)の一致度を推定する。 信頼性の高いしきい値に該当する結果を検証し、しきい値を超える結果を警告し、さらなる検査を行う。
  論文  参考訳（メタデータ） (2024-11-17T20:35:05Z)
• A New Benchmark and Reverse Validation Method for Passage-level Hallucination Detection [63.56136319976554]
  大きな言語モデル(LLM)は幻覚を発生させ、ミッションクリティカルなタスクにデプロイすると大きなダメージを与える可能性がある。 本稿では,逆検証に基づく自己チェック手法を提案し,ゼロリソース方式で事実誤りを自動的に検出する。 提案手法と既存のゼロリソース検出手法を2つのデータセット上で実証的に評価した。
  論文  参考訳（メタデータ） (2023-10-10T10:14:59Z)
• Factual Error Correction for Abstractive Summaries Using Entity Retrieval [57.01193722520597]
  本稿では,エンティティ検索後処理に基づく効率的な事実誤り訂正システムRFECを提案する。 RFECは、原文と対象要約とを比較して、原文から証拠文を検索する。 次に、RFECは、エビデンス文を考慮し、要約中のエンティティレベルのエラーを検出し、エビデンス文から正確なエンティティに置換する。
  論文  参考訳（メタデータ） (2022-04-18T11:35:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。