論文の概要: Enabling AI Scientists to Recognize Innovation: A Domain-Agnostic Algorithm for Assessing Novelty

• arxiv url: http://arxiv.org/abs/2503.01508v2
• Date: Mon, 10 Mar 2025 06:21:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 13:36:29.407072
• Title: Enabling AI Scientists to Recognize Innovation: A Domain-Agnostic Algorithm for Assessing Novelty
• Title（参考訳）: AIサイエンティストにイノベーションを認識させる: ノベルティを評価するためのドメインに依存しないアルゴリズム
• Authors: Yao Wang, Mingxuan Cui, Arthur Jiang,
• Abstract要約: 相対近傍密度(Relative Neighbor density)は、研究思想における新規性評価のための領域に依存しないアルゴリズムである。 RNDは、コンピュータ科学と生物医学研究領域における最先端のSOTA(State-of-the-art)のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 3.6950556061419655
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the pursuit of Artificial General Intelligence (AGI), automating the generation and evaluation of novel research ideas is a key challenge in AI-driven scientific discovery. This paper presents Relative Neighbor Density (RND), a domain-agnostic algorithm for novelty assessment in research ideas that overcomes the limitations of existing approaches by comparing an idea's local density with its adjacent neighbors' densities. We first developed a scalable methodology to create test set without expert labeling, addressing a fundamental challenge in novelty assessment. Using these test sets, we demonstrate that our RND algorithm achieves state-of-the-art (SOTA) performance in computer science (AUROC=0.820) and biomedical research (AUROC=0.765) domains. Most significantly, while SOTA models like Sonnet-3.7 and existing metrics show domain-specific performance degradation, RND maintains consistent accuracies across domains by its domain-invariant property, outperforming all benchmarks by a substantial margin (0.795 v.s. 0.597) on cross-domain evaluation. These results validate RND as a generalizable solution for automated novelty assessment in scientific research.
• Abstract（参考訳）: AGI(Artificial General Intelligence)の追求において、新しい研究アイデアの生成と評価を自動化することは、AIによる科学的発見における重要な課題である。 本稿では, 既存のアプローチの限界を克服し, 隣人の密度とアイデアの局所密度を比較することで, 新規性評価の領域依存アルゴリズムであるRelative Neighbor Density(RND)を提案する。 私たちはまず、専門家のラベル付けなしでテストセットを作成するためのスケーラブルな方法論を開発し、ノベルティアセスメントにおける根本的な課題に対処しました。 これらのテストセットを用いて、我々のRNDアルゴリズムは、コンピュータサイエンス(AUROC=0.820)および生物医学研究(AUROC=0.765)領域における最先端(SOTA)性能を達成することを示した。 最も重要なことに、Sonnet-3.7や既存のメトリクスのようなSOTAモデルはドメイン固有のパフォーマンス低下を示すが、RNDはそのドメイン不変性によってドメイン間の一貫した精度を維持し、ドメイン間の評価において全てのベンチマークを実質的なマージン(0.795対0.597)で上回っている。 これらの結果は、RNDを科学研究における自動新規性評価の一般化可能なソリューションとして評価する。

関連論文リスト

• A simple algorithm for output range analysis for deep neural networks [0.0]
  本稿では,Deep Neural Networks (DNN) における出力範囲推定問題に対して,Simulated Annealing (SA) アルゴリズムを統合した新しい手法を提案する。 この方法はResNetsに固有の幾何学的情報や非線形性の欠如による課題に効果的に対処する。
  論文  参考訳（メタデータ） (2024-07-02T22:47:40Z)
• CANDY: A Benchmark for Continuous Approximate Nearest Neighbor Search with Dynamic Data Ingestion [8.036012885171166]
  我々は、動的データ取り込みを伴う連続近似Nearest Neighbor Searchに適したベンチマークであるCANDYを紹介する。 CANDYは幅広いAKNNアルゴリズムを包括的に評価し、機械学習駆動推論のような高度な最適化を統合する。 多様なデータセットに対する評価では、より単純なAKNNベースラインが、リコールやレイテンシの点で、より複雑な選択肢を上回ることが示されている。
  論文  参考訳（メタデータ） (2024-06-28T04:46:11Z)
• Are we making progress in unlearning? Findings from the first NeurIPS unlearning competition [70.60872754129832]
  アンラーニングに関する最初のNeurIPSコンペティションは、新しいアルゴリズムの開発を刺激しようとした。 世界中から約1200チームが参加した。 トップソリューションを分析し、アンラーニングのベンチマークに関する議論を掘り下げます。
  論文  参考訳（メタデータ） (2024-06-13T12:58:00Z)
• A Survey of Artificial Intelligence in Gait-Based Neurodegenerative Disease Diagnosis [51.07114445705692]
  神経変性疾患(神経変性疾患、ND)は、伝統的に医学的診断とモニタリングのために広範囲の医療資源と人的努力を必要とする。 重要な疾患関連運動症状として、ヒトの歩行を利用して異なるNDを特徴づけることができる。 人工知能(AI)モデルの現在の進歩は、NDの識別と分類のための自動歩行分析を可能にする。
  論文  参考訳（メタデータ） (2024-05-21T06:44:40Z)
• Deep Unsupervised Domain Adaptation for Time Series Classification: a Benchmark [3.618615996077951]
  Unsupervised Domain Adaptation (UDA)は、ラベル付きソースデータを利用してラベルなしターゲットデータのモデルをトレーニングすることを目的としている。 本稿では,時系列分類のためのUDA手法の評価ベンチマークを提案する。 さまざまなドメインシフトと時間的ダイナミクスをカバーする7つの新しいベンチマークデータセットを提供する。
  論文  参考訳（メタデータ） (2023-12-15T15:03:55Z)
• Activate and Reject: Towards Safe Domain Generalization under Category Shift [71.95548187205736]
  カテゴリーシフト(DGCS)下における領域一般化の実践的問題について検討する。 未知のクラスサンプルを同時に検出し、ターゲットドメイン内の既知のクラスサンプルを分類することを目的としている。 従来のDGと比較すると,1)ソースクラスのみを用いたトレーニングにおいて,未知の概念を学習する方法,2)ソーストレーニングされたモデルを未知の環境に適応する方法,の2つの新しい課題に直面している。
  論文  参考訳（メタデータ） (2023-10-07T07:53:12Z)
• GLUECons: A Generic Benchmark for Learning Under Constraints [102.78051169725455]
  本研究では,自然言語処理とコンピュータビジョンの分野における9つのタスクの集合であるベンチマークを作成する。 外部知識を制約としてモデル化し、各タスクの制約のソースを特定し、これらの制約を使用するさまざまなモデルを実装します。
  論文  参考訳（メタデータ） (2023-02-16T16:45:36Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• On the Challenges of Open World Recognitionunder Shifting Visual Domains [23.999211737485812]
  本研究では,Open World Recognition (OWR)アルゴリズムがドメインシフトの下で有効かどうかを検討する。 OWRは、初期トレーニングセットに存在するセマンティック制限を破ることのできるシステムを開発することを目標としている。 解析の結果, この劣化は領域一般化手法とOWRの結合によってわずかに緩和されることがわかった。
  論文  参考訳（メタデータ） (2021-07-09T14:25:45Z)
• Model-Based Domain Generalization [96.84818110323518]
  本稿では,モデルベースドメイン一般化問題に対する新しいアプローチを提案する。 我々のアルゴリズムは、最新のwildsベンチマークの最先端手法を最大20ポイント上回った。
  論文  参考訳（メタデータ） (2021-02-23T00:59:02Z)
• Cross-Domain Facial Expression Recognition: A Unified Evaluation Benchmark and Adversarial Graph Learning [85.6386289476598]
  我々は,クロスドメイン全体的特徴共適応のための新しい逆グラフ表現適応(AGRA)フレームワークを開発した。 我々は,いくつかの一般的なベンチマークで広範囲かつ公平な評価を行い,提案したAGRAフレームワークが従来の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-03T15:00:31Z)
• In Search of Lost Domain Generalization [25.43757332883202]
  ドメインの一般化のためのテストベッドであるDomainBedを実装します。 DomainBedを用いて広範な実験を行い、慎重に実装すると、経験的リスク最小化が最先端のパフォーマンスを示すことを確かめる。
  論文  参考訳（メタデータ） (2020-07-02T23:08:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。