論文の概要: NoveltyScope: A Multi-Agent Research Assistant for Evidence-Grounded Novelty Assessment of Scientific Papers
- arxiv url: http://arxiv.org/abs/2610.22703v1
- Date: Thu, 15 Oct 2026 22:09:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.687418
- Title: NoveltyScope: A Multi-Agent Research Assistant for Evidence-Grounded Novelty Assessment of Scientific Papers
- Title（参考訳）: NoveltyScope: 科学論文の実証的ノベルティ評価のためのマルチエージェント研究アシスタント
- Abstract要約: NoveltyScopeは、科学論文と回収された先行研究を比較するプロトタイプである。
システムはコアタスクを抽出し、少なくとも2つの著者によるコントリビューションを行い、クローズドなローカルコーパスを検索する。
4つのスコアリングロール(検察官、弁護人、裁判官、批評家)は、その結果の証拠を使用する。
- 参考スコア（独自算出の注目度）: 1.2232326171442904
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: NoveltyScope is a prototype that compares a scientific paper with retrieved prior work and produces a structured report and a five-level novelty score. The system extracts the core task and at most two author-claimed contributions, then searches a closed local corpus using BM25 and dense retrieval with reciprocal rank fusion. Contribution comparisons request paired passages for potential refutations, and quotations are checked against cached source text. Four scoring roles (Prosecutor, Defender, Judge, and Critic) use the resulting evidence, with at most one revision of the Judge's score. Evaluation uses 50 class-balanced RINoBench samples whose idea-level labels are retained for full-paper input. Mean absolute error is 1.48 and 1.26 for single-LLM and multi-agent scoring with Gemini, respectively, and 1.22 and 1.16 with Qwen3. The vector-similarity baseline has an error of 1.68. A HiCLIP case study illustrates the contribution comparisons and paired evidence passages. Overall, the results demonstrate the feasibility of evidence-grounded novelty assessment and show that the multi-agent configurations achieve lower scoring errors than their single-LLM counterparts across both evaluated models.
- Abstract（参考訳）: NoveltyScopeは、科学論文と得られた先行研究を比較し、構造化されたレポートと5段階のノベルティスコアを生成するプロトタイプである。
このシステムはコアタスクを抽出し、少なくとも2つの著者が作成したコントリビューションを抽出し、BM25と相互の階数融合による密集検索を用いてクローズドローカルコーパスを検索する。
Contribution Comparisons request paired passages for potential refutations, and quotations are checked source text。
4つのスコアリングロール(検察官、弁護人、裁判官、批評家)は結果の証拠を使用し、審査員のスコアの少なくとも1つのリビジョンがある。
評価には50のクラスバランスのRINoBenchサンプルを使用し、その概念レベルラベルをフルペーパー入力に保持する。
絶対誤差はシングルLLMでは1.48、マルチエージェントでは1.26、Qwen3では1.22、Qwen3では1.16である。
ベクトル類似性ベースラインの誤差は1.68である。
HiCLIPケーススタディでは、コントリビューション比較とペアのエビデンスパスが説明されている。
その結果,エビデンス・グラウンドド・ノベルティ・アセスメントの実現可能性を示し,マルチエージェント構成は両モデルで評価されたシングルLLMよりも低いスコアリング誤差を達成できた。
関連論文リスト
- Benchmarking Neural Defend ARCAS 1B: A Foundational Multimodal Deepfake Detection Model [1.8241268937128006]
本稿では,ベンチマーク固有のパラメータを更新することなく,ベンチマークファミリ間のニューラルデペンドARCAS 1Bを評価する。
ベンチマークネイティブの結果をプールされたサマリーと区別することにより、テスト人口、クラスバランス、記録の欠如を可視化する。
論文 参考訳（メタデータ） (2026-09-21T09:15:02Z) - Parser, Chunking, and Embedding Interactions in Retrieval-Augmented Generation over Indian Government Regulatory Documents [0.42303492200814446]
800の質問項目に対して評価した3s,3チャンキング戦略,5つの密埋モデルの因子分析を行った。
MPNet-baseは、テーブル由来の質問に対して深刻な障害モードを持つ一貫したアンダーパフォーマーである。
コーパスは98%以上のほぼ飽和したエビデンス保存天井を示しており、検索の違いは、摂取時の情報損失よりも、主にランキング品質によって引き起こされていることを示している。
論文 参考訳（メタデータ） (2026-09-15T07:32:06Z) - NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - Benchmark Contamination: A Taxonomy Organized by Defeated Mitigation [0.0]
ベンチマークスコアは、モデルのジョイント特性、評価ハーネス、エレケーション予算、サンプル集団、汚染状態である。
我々は,各タイプの敗北の緩和によって組織された分類を紹介した。
2つの変数は、予め登録された有病率-ロバスト閾値を下回る。
論文 参考訳（メタデータ） (2026-08-29T23:04:09Z) - SurveyReview: A Reviewer-Aligned Benchmark for Survey Evaluators [50.129606229339146]
SurveyReviewは、調査評価のためのレビューアラインで多次元のベンチマークとデータセットである。
我々は、自由形式のコメントを4次元のスコアに変換することによって、ピアレビューレポートを構築する。
我々は,自動評価器と人間レビュアーのアライメントを測定するための,標準化された列車/テスト分割と評価プロトコルをリリースする。
論文 参考訳（メタデータ） (2026-08-07T16:11:46Z) - AgentBeats: Agentifying Agent Assessment for Openness, Standardization, and Reproducibility [104.46861849039357]
エージェントシステムはドメイン間で急速に進歩しているが、その評価は断片化されている。
根本的問題は、オープンでエージェントに依存しないアセスメントインタフェースがないことである。
我々は、審査員が評価を行い、すべての参加者が標準化されたプロトコルを介して対話するエージェントエージェントアセスメント(AAA)を提唱する。
論文 参考訳（メタデータ） (2026-06-11T17:23:54Z) - RIGOURATE: Quantifying Scientific Exaggeration with Evidence-Aligned Claim Evaluation [29.44948404858214]
RIGOURATEは、紙の本体から証拠を回収し、各クレームにオーバーステートメントスコアを割り当てる。
このフレームワークは、ICLRとNeurIPSの論文から10K以上のクレームエビデンスセットのデータセットで構成されている。
論文 参考訳（メタデータ） (2026-01-07T19:36:08Z) - OpenNovelty: An LLM-powered Agentic System for Verifiable Scholarly Novelty Assessment [63.662126457336534]
OpenNoveltyは、透明で証拠に基づく新規性分析のためのエージェントシステムである。
回収された実論文のすべての評価を根拠にし、検証可能な判断を確実にする。
OpenNoveltyは、公正で一貫性があり、エビデンスに支えられたピアレビューを促進するスケーラブルなツールで、研究コミュニティに力を与えることを目指している。
論文 参考訳（メタデータ） (2026-01-04T15:48:51Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - JudgeRank: Leveraging Large Language Models for Reasoning-Intensive Reranking [81.88787401178378]
本稿では,文書関連性を評価する際に,人間の認知過程をエミュレートする新しいエージェント・リランカであるJiceRankを紹介する。
我々は,推論集約型BRIGHTベンチマークを用いて判定Rankを評価し,第1段階の検索手法よりも性能が大幅に向上したことを示す。
さらに、JiceRankは、人気の高いBEIRベンチマークの細調整された最先端リランカと同等に動作し、ゼロショットの一般化能力を検証している。
論文 参考訳（メタデータ） (2024-10-31T18:43:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。