論文の概要: Do AI Scientists Know What's New?

• arxiv url: http://arxiv.org/abs/2610.36511v1
• Date: Tue, 27 Oct 2026 02:16:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.465013
• Title: Do AI Scientists Know What's New?
• Title（参考訳）: AI科学者は、何が新しいのかを知っていますか?
• Abstract要約: 本稿では,提案とクレームレベルの両面において,時間的根拠に基づく新規性チェックの評価のための分析的枠組みを提案する。 ノーベル作品に対する拒絶率の高いチェックは、後に人間の研究者によって実現されたアイデアに対して高い誤報を与える傾向にある。 ClaimNovは、きめ細かな、解釈可能なクレームレベルのノベルティモジュールである。
• 参考スコア（独自算出の注目度）: 19.51630524780137
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A major challenge facing AI scientific discovery pipelines is how to determine when a generated idea is meaningfully novel. Ideally, novelty checks in these pipelines must be able to reject non-novel ideas while not rejecting too many novel ideas, and they should also be able to distinguish which parts of a proposal are non-novel, as opposed to opaquely discarding entire proposals. We design an analytical framework for evaluation of novelty checks with temporal ground truth at both the proposal- and claim-level, using four datasets of 1,060 proposals built from published papers, reviewer disputes, and generated ideas matching ones the field went on to publish. Auditing existing novelty checks with this framework, we find that checks with high rejection rates on non-novel work also tend to have high false alarms on ideas that are later realized by human researchers, and observe that checks built to evaluate proposals as a whole can point to claim-level prior art only by rejecting the whole proposal. We therefore introduce ClaimNov, a fine-grained, interpretable claim-level novelty module. ClaimNov catches 97% of disguised papers at a 1.5% false-alarm rate, and its claim-level novelty profile cuts the LLM judge's false alarms from 11.8% to 1.5%. Because its verdict rests on claim-level evidence, ClaimNov also keeps proposals that build on established contributions, rejecting only 3% of ICLR-accepted proposals with a reviewer-disputed contribution and keeping 91 of 100 novel proposals with one spliced prior contribution, against 76 for the strongest existing check. Code and data are available at https://github.com/emmatliu/claimnov.
• Abstract（参考訳）: AIの科学的発見パイプラインが直面する大きな課題は、生成したアイデアが有意義に新規であるかどうかを決定する方法だ。 理想的には、これらのパイプラインの新規性チェックは、あまりにも多くの新しいアイデアを拒絶することなく、ノーベルでないアイデアを拒否できなければならない。 提案とクレームレベルでの時間的根拠真理による新規性チェックを評価するための分析枠組みを,出版論文から構築された1,060件の提案データセット,レビュアー論争,およびフィールドが出版した提案と一致するアイデアを生成することによって設計する。 この枠組みで既存のノベルティチェックを検証した結果、非ノーベル作品に対する拒絶率の高いチェックは、後に人間の研究者によって実現されたアイデアに高い誤報を与える傾向にあり、提案を全体として評価するために構築されたチェックは、提案全体を拒否することで、クレームレベルの先行技術を示すことができる。 そこで我々は, きめ細かい, 解釈可能なクレームレベルのノベルティモジュールである ClaimNov を紹介した。 ClaimNov は偽造書類の 97% を 1.5% の偽アラームレートでキャッチし、その主張レベルのノベルティプロファイルは LLM 判事の誤報を 11.8% から 1.5% に減らす。 その判決はクレームレベルの証拠に依存しているため、ClaumNovは確立されたコントリビューションに基づく提案も維持しており、レビュー担当者が提出したコントリビューションでICLRが承認した提案のわずか3%を拒絶し、100件の新規提案のうち91件を1件の事前のコントリビューションで、76件に対して最強の既存チェックで提供した。 コードとデータはhttps://github.com/emmatliu/claimnov.comで公開されている。

関連論文リスト

• AlphaIdeaBench: Benchmarking Automated Research Idea Generation under Feasibility Constraints with Peer Review Alignment [22.132610448972276]
  AlphaIdeaBenchは、明示的なリソース予算と共有提案スキーマを組み合わせた100のタスクのベンチマークである。 LLM審査員は、妥当性、ノベルティ、実現可能性に関する12の次元で各提案をスコアする。 ICLR 2026, NeurIPS 2025, ICML 2025の600論文のレビュアーコメントから得られたスコアと, 4つの新奇な軸(確率, 方法, シナリオ, 洞察)のスコアを比較した。
  論文  参考訳（メタデータ） (2026-10-24T12:52:49Z)
• One-Sided Verification Under Limited Expert Review [81.81806589083486]
  我々は、稀な有効な解決策を優先する必要がある、限定された人間の努力の下で検証を研究する。 我々は、エラー提案とエラー検証を分離するアルゴリズムフレームワークであるOSVerifyを紹介した。 実験によると、OSVerifyは、無効なソリューションの人間レビューの数を平均46%削減している。
  論文  参考訳（メタデータ） (2026-10-13T10:10:11Z)
• Valid Stopping in Adaptive Generator-Verifier Loops [53.28176049547449]
  本研究では,提案提案の誤り発見率を制御しながら,ジェネレータ検証ループをいつ停止させるかを検討する。 提案手法は,分布自由な統計テストと共形リスク制御に独立して関心を持つツールを導入している。
  論文  参考訳（メタデータ） (2026-10-05T14:42:26Z)
• RINI: Seeing the Prior Is Not Enough [29.227230384889065]
  3つの実験では、コントリビューションを持つ事前と同一のトピック制御で生成された提案を比較した。 175件の解釈可能な公開提案の人間の分析では、137件が事前の関連性を認識しているが、61件は確立された貢献を正しく評価している。 本稿では,証拠に対する拠出請求を監査する研究思想ノベルティ検査(RINI)を紹介する。
  論文  参考訳（メタデータ） (2026-09-27T06:42:35Z)
• What Proves You Wrong: Benchmarking Language Models on Falsifiable Research Ideation [23.50765366373648]
  Lit2Testベンチマークは、falsifyingの結果を中心に構成された6フィールドの契約に基づいています。 Lit2Testは200のリアルペーパー地区から将来的に構築され、4つのフロンティアモデルから提案を抽出し、両者の提示順序で視覚障害者と判断された1200のペアワイド比較によって比較する。 このプロトコルは、診断制御と人間キャリブレーションによって独自の信頼性を監査し、3つのアノテータが明示的に記述された信頼性境界内で結論を裏付ける。
  論文  参考訳（メタデータ） (2026-08-24T08:17:01Z)
• Reconstruction: A Blind Benchmark for Recovering Research Ideas from Pre-Publication Bibliographies [5.8079638399400375]
  レコンストラクション(Reコンストラクション)は、種紙とすべての同時または将来の文献を無視するブラインド・アイデア・リカバリのベンチマークである。 我々は,独立系大規模言語モデル裁判官が持たない根本真理に一致するという仮説をモデルに提案する。
  論文  参考訳（メタデータ） (2026-08-17T14:44:30Z)
• SoundnessBench: Can Your AI Scientist Really Tell Good Research Ideas from Bad Ones? [51.154921661608675]
  我々は、ICLRの投稿から再構成された1,099の機械学習研究提案のキュレートされたベンチマークであるSoundnessBenchを紹介する。 SoundnessBenchは、完全なレビュー結果の正確な予測よりも、復元可能な提案段階の音質のベンチマークとして解釈されるべきである。
  論文  参考訳（メタデータ） (2026-05-28T17:57:37Z)
• Learning to Predict Future-Aligned Research Proposals with Language Models [59.79457676644722]
  我々は目標から得られた17,771の論文とそれらの事前カットオフ引用の時間一貫性のあるデータセットを構築した。 モデルをトレーニングするために、ターゲットとそれらのカットオフ前の引用から17,771枚のタイム一貫性のあるデータセットを構築します。 Llama-3.1 と Qwen2.5 のモデル全体で、将来のアライメントチューニングは、非アライメントベースラインに対する将来のアライメントを改善する。
  論文  参考訳（メタデータ） (2026-03-28T05:41:15Z)
• The Decisive Power of Indecision: Low-Variance Risk-Limiting Audits and Election Contestation via Marginal Mark Recording [51.82772358241505]
  リスクリミット監査(リスクリミット監査、RLA)は、大規模な選挙の結果を検証する技術である。 我々は、効率を改善し、統計力の進歩を提供する監査の新たなファミリーを定めている。 新しい監査は、複数の可能なマーク解釈を宣言できるように、キャストボイトレコードの標準概念を再考することで実現される。
  論文  参考訳（メタデータ） (2024-02-09T16:23:54Z)
• Has the Machine Learning Review Process Become More Arbitrary as the Field Has Grown? The NeurIPS 2021 Consistency Experiment [86.77085171670323]
  2014年のNeurIPS実験では、2つの独立した委員会によって10%の会議の提出をレビューし、レビュープロセスにおけるランダム性を定量化した。 両委員会が論文の23%の勧告を受理・棄却することに反対し、審査プロセスがランダムに再実行された場合、2014年度の結果と一致して、受理された論文のリストの約半数が変更されることを観察する。
  論文  参考訳（メタデータ） (2023-06-05T21:26:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。