Fugu-MT 論文翻訳(概要): An Axiomatic Benchmark for Evaluation of Scientific Novelty Metrics

論文の概要: An Axiomatic Benchmark for Evaluation of Scientific Novelty Metrics

arxiv url: http://arxiv.org/abs/2604.15145v1
Date: Thu, 16 Apr 2026 15:19:58 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-17 21:29:31.981685
Title: An Axiomatic Benchmark for Evaluation of Scientific Novelty Metrics
Title（参考訳）: 科学的ノベルティ指標の評価のための軸性ベンチマーク
Authors: Miri Liu, ChengXiang Zhai,
Abstract要約: 本稿では,科学的ノベルティ指標の公理的ベンチマークを提案する。まず,人間の科学的規範と実践を基礎として,優れたノベルティ計量が満たすべき公理の集合を定義する。以上の結果から,既存の測度が全ての公理を一貫して満たすものはなく,その測度は体系的に異なる公理で失敗することが明らかとなった。
参考スコア（独自算出の注目度）: 23.961724862932854
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: The rigorous evaluation of the novelty of a scientific paper is, even for human scientists, a challenging task. With the increasing interest in AI scientists and AI involvement in scientific idea generation and paper writing, it also becomes increasingly important that this task be automatable and reliable, lest both human attention and compute tokens be wasted on ideas that have already been explored. Due to the challenge of quantifying ground-truth novelty, however, existing novelty metrics for scientific papers generally validate their results against noisy, confounded signals such as citation counts or peer review scores. These proxies can conflate novelty with impact, quality, or reviewer preference, which in turn makes it harder to assess how well a given metric actually evaluates novelty. We therefore propose an axiomatic benchmark for scientific novelty metrics. We first define a set of axioms that a well-behaved novelty metric should satisfy, grounded in human scientific norms and practice, then evaluate existing metrics across ten tasks spanning three domains of AI research. Our results reveal that no existing metric satisfies all axioms consistently, and that metrics fail on systematically different axioms, reflecting their underlying architectures. Additionally, we show that combining metrics of complementary architectures leads to consistent improvements on the benchmark, with per-axiom weighting achieving 90.1% versus 71.5% for the best individual metric, suggesting that developing architecturally diverse metrics is a promising direction for future work. We release the benchmark code as supplementary material to encourage the development of more robust scientific literature novelty metrics.
Abstract（参考訳）: 科学的論文の斬新さを厳格に評価することは、人間科学者にとっても難しい課題である。 AI科学者への関心が高まり、科学的なアイデア生成や論文執筆にAIが関与するようになり、このタスクが自動化可能で信頼性が高くなり、人間の注意と計算トークンが既に探求されているアイデアに無駄にされるようになる。しかし、地道な新奇さを定量化することの難しさから、科学論文の既存の新奇性指標は一般的に、引用数やピアレビュースコアなどの確立された信号のノイズに対して結果を検証する。これらのプロキシは、ノベルティを影響、品質、あるいはレビュアーの好みと説明できるため、ある指標が実際にノベルティを評価するのが困難になる。そこで我々は,科学的ノベルティ指標の公理的ベンチマークを提案する。まず、人間の科学的規範と実践に基づいて、よく知られたノベルティメトリックが満足すべき公理のセットを定義し、AI研究の3つの領域にまたがる10のタスクにわたる既存のメトリクスを評価します。我々の結果は、既存のメトリクスが全ての公理を一貫して満たさないこと、そしてメトリクスが体系的に異なる公理で失敗し、その基盤となるアーキテクチャを反映していることを明らかにする。さらに、補完的なアーキテクチャのメトリクスを組み合わせることで、ベンチマークが一貫した改善がもたらされることを示し、最高の個々のメトリクスに対して、公理ごとの重み付けは90.1%対71.5%と達成され、アーキテクチャ的に多様なメトリクスの開発が将来の作業にとって有望な方向であることを示唆している。我々は、より堅牢な科学文献のノベルティ指標の開発を促進するために、ベンチマークコードを補助材料としてリリースする。

関連論文リスト

Is this Idea Novel? An Automated Benchmark for Judgment of Research Ideas [5.4020309622966325]
RINoBenchは、研究アイデアの新規性判断を大規模に評価するための最初の総合的なベンチマークである。人間の専門家によって導かれ、判断される1,381件の研究アイデアと、9つの自動評価指標で構成されている。このベンチマークを用いて、研究アイデアの新規性を判断する能力について、最先端の大規模言語モデルをいくつか評価する。
論文参考訳（メタデータ） (2026-03-11T00:54:10Z)
The Story is Not the Science: Execution-Grounded Evaluation of Mechanistic Interpretability Research [56.80927148740585]
我々は、動的に進化し、研究評価者としてAIエージェントを開発することで、スケーラビリティと厳密さの課題に対処する。我々は,機械的解釈可能性の研究をテストベッドとして使用し,標準化された研究成果を構築し,MechEvalAgentを開発した。我々の研究は、AIエージェントが研究評価を変革し、厳格な科学的実践の道を開く可能性を実証している。
論文参考訳（メタデータ） (2026-02-05T19:00:02Z)
Reward Modeling for Scientific Writing Evaluation [50.33952894976367]
多様なオープンエンドの科学的記述タスクを評価するために、確実にデプロイできるモデルを開発することが重要である。本稿では,科学的執筆評価に適した費用効率の高いオープンソース報酬モデルを提案する。
論文参考訳（メタデータ） (2026-01-16T15:32:58Z)
The illusion of a perfect metric: Why evaluating AI's words is harder than it looks [0.0]
自然言語生成(NLG)は、AIの実用化に不可欠である。人間の評価はデファクトスタンダードと考えられているが、高価でスケーラビリティに欠ける。決定的な解として単一の計量が現れることはなく、結果として、完全に含意を考慮せずに異なる計量を用いた研究が行われる。
論文参考訳（メタデータ） (2025-08-19T13:22:41Z)
SciArena: An Open Evaluation Platform for Foundation Models in Scientific Literature Tasks [87.29946641069068]
我々は,学術文献タスクの基礎モデルを評価するための,オープンで協調的なプラットフォームであるSciArenaを紹介する。集合的知性を活用することで、SciArenaはコミュニティ主導の、オープンな科学的タスクにおけるモデルパフォーマンスの評価を提供する。収集した嗜好データに基づいたメタ評価ベンチマークであるSciArena-Evalをリリースする。
論文参考訳（メタデータ） (2025-07-01T17:51:59Z)
XtraGPT: Context-Aware and Controllable Academic Paper Revision [43.263488839387584]
本稿では,基準誘導型意図アライメントと文脈認識モデリングを中心とした学術論文改訂のための人間-AI協調フレームワークを提案する。 XtraGPTは,コンテクスト対応,命令誘導型書き込み支援のためのオープンソースのLLMスイートである。
論文参考訳（メタデータ） (2025-05-16T15:02:19Z)
Cobra Effect in Reference-Free Image Captioning Metrics [58.438648377314436]
視覚言語事前学習モデル(VLM)を活用した参照フリー手法の普及が出現している。本稿では,基準自由度に欠陥があるかどうかを考察する。 GPT-4Vは生成した文を評価するための評価ツールであり,提案手法がSOTA(State-of-the-art)の性能を達成することを示す。
論文参考訳（メタデータ） (2024-02-18T12:36:23Z)
A Content-Based Novelty Measure for Scholarly Publications: A Proof of Concept [9.148691357200216]
学術出版物にノベルティの情報理論尺度を導入する。この尺度は、学術談話の単語分布を表す言語モデルによって知覚される「サプライズ」の度合いを定量化する。
論文参考訳（メタデータ） (2024-01-08T03:14:24Z)
The Glass Ceiling of Automatic Evaluation in Natural Language Generation [60.59732704936083]
ステップバックして、既存の自動メトリクスと人的メトリクスのボディを比較して、最近の進歩を分析します。古いものや新しいものといった自動メトリクスは、人間よりもずっと似ています。
論文参考訳（メタデータ） (2022-08-31T01:13:46Z)
GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。 10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
論文参考訳（メタデータ） (2020-10-24T08:30:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。