論文の概要: MUSES: A Benchmark for Prospective Intellectual-Roots Retrieval
- arxiv url: http://arxiv.org/abs/2609.00313v1
- Date: Mon, 31 Aug 2026 20:05:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-02 16:31:36.042532
- Title: MUSES: A Benchmark for Prospective Intellectual-Roots Retrieval
- Title（参考訳）: MUSES: 先進的な知的ルート検索のためのベンチマーク
- Abstract要約: textbfMUSESは、固定された2.33Mペーパーコーパス上での知的ルーツ検索のための100万インスタンスベンチマークである。
textbfCiteRootsは、局所的な引用テキスト上の修辞層と紙レベルの著者層とをペアリングする。
MUSESは、CiteNext、CiteNew、CiteNew-IsolatedにまたがるEmphfamiliarity軸と、広義の引用、修辞の根、著者が支持する根にまたがるEmphfunction軸の2つの軸に沿って困難を整理する。
- 参考スコア（独自算出の注目度）: 6.572091819435388
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Scientific discovery depends on finding prior literature that shapes what comes next. Existing retrieval systems optimize for relevance and popularity, often favoring central papers over less familiar works that later prove generative. We introduce \textbf{MUSES}, a million-instance benchmark for prospective intellectual-roots retrieval over a fixed 2.33M-paper corpus, with roughly 140K test instances per familiarity tier. To our knowledge, it is the first prospective benchmark at this scale with a shared retrieval task and author-confirmed paper-level root labels. Alongside it, \textbf{CiteRoots} pairs a scalable rhetorical layer over local citation text (LLM judge $κ= 0.896$ versus human gold) with a paper-level author-endorsed layer ($n = 1{,}518$ generative-inspiration pairs from 753 focal papers). MUSES organizes difficulty along two axes: a \emph{familiarity} axis spanning CiteNext, CiteNew, and CiteNew-Isolated, and a \emph{functional} axis spanning broad citations, rhetorical roots, and author-endorsed roots. Across 9 method classes, a lean multi-centroid retriever built on SPECTER2 is strongest. Hit@100 falls from 0.534 on CiteNext to 0.424 on CiteNew, 0.205 on rhetorical CiteNew, and 0.171 on author-endorsed CiteNew, a $3.1\times$ decline. In a registered eight-lens full-test audit, roughly half of broad-tier test instances remain unsolved at K=1{,}000. Rhetorical role and author endorsement are distinct: the same judge agrees with endorsement at $κ= 0.037$. We release MUSES, both CiteRoots layers, and a distilled open companion judge for future work on prospective retrieval and intellectual roots.
- Abstract（参考訳）: 科学的発見は、次に来るものを形作る先行文献を見つけることに依存する。
既存の検索システムは、関連性と人気を最適化し、しばしば、後に生成的であることが証明される、あまり知られていない作品よりも中央の論文を好んでいる。
固定された2.33Mペーパーコーパス上での予測知的ルーツ検索のための100万インスタンスベンチマークである \textbf{MUSES} を紹介した。
我々の知る限り、これは、共有検索タスクと著者確認紙レベルのルートラベルを持つ、この規模で最初の予測ベンチマークである。
また、ローカルな引用テキスト(LLM judge $κ= 0.896$ vs human Gold)の上にスケーラブルな修辞層をペアリングし、紙レベルの著者承認層(n = 1{,}518$)をペアリングする。
MUSESは、CiteNext、CiteNew、CiteNew-Isolatedにまたがる \emph{familiarity} 軸と、幅広い引用、修辞的な根、著者が支持する根にまたがる \emph{functional} 軸の2つの軸に沿って困難を整理する。
9つのメソッドクラスにまたがって、SPECTER2上に構築されたリーンマルチセントロイドレトリバーが最強である。
Hit@100 は CiteNext の0.534 から CiteNew の 0.424 へ、CiteNew の 0.205 へ、CiteNew の 0.171 へ。
登録された8レンズフルテスト監査では、広層テストインスタンスの約半数がK=1{,}000で未解決のままである。
同じ裁判官は、$κ= 0.037$の支持に同意する。
我々はMUSES、CiteRoots層、および将来的な検索と知的なルーツに関する研究のための蒸留されたオープン・コンパニオン・ジャッジをリリースする。
関連論文リスト
- An Interactive Agent for Requirement-Driven Candidate Sourcing [75.63902836826038]
最初の要件駆動型候補ソーシングエージェントであるsysを提示する。
それは、あいまいな人々の要求を正当化されたスレートに導き、検証し、回収し、検証する。
広さ (100%$カバレッジ 2.5times$ the yield) を支配し、フィールドに直交する。
論文 参考訳（メタデータ） (2026-08-24T17:04:16Z) - VisDocAgentBench: Benchmarking Agents for Visually Rich Document Retrieval [65.89247522243959]
VisDocAgentBenchは、静的検索とエージェント検索を比較したクローズドコーパスベンチマークである。
100の文書から2,375ページ、120のユニークなターゲットクエリが直接、一橋、二橋のエビデンス構造でバランスを取っている。
強力な遅延対話型ビジュアルレトリバーは、直接アイテムで97.50%のRecall@1に達するが、2ブリッジアイテムでは2.50%に達し、関連性がコーパスコンテキストに依存する場合のクエリ-ターゲットマッチングの限界を明らかにする。
論文 参考訳（メタデータ） (2026-08-18T15:23:06Z) - Structure-Aware Semantic Chunking with Title-Chain Prefixes: A 1600-Query Evaluation and the Measurement Trap in Text-Transform Ablations [4.342406076796542]
3段階のチャンク側のみのセマンティックチャンクパイプラインを提示する。
タイトルチェーンは、生成された要約ではなく、文書のヘッダ階層を再利用する。
パイプラインは完全なセットでMRR@5を0.374から0.463に、答え可能なサブセットで0.828から0.925に改善する。
論文 参考訳（メタデータ） (2026-08-01T19:01:46Z) - Catalyst Papers in Artificial Intelligence Research: A Landscape on ICLR from 2017 to 2025 [5.523132953818281]
OpenReviewは、ICLRの提出ごとに数値レビュアーのスコアを公開し、決定を受理/拒否する。
我々は,4つの破壊性指標(CD指数,ノード2vec,方向認識型エンベディング破壊性尺度(EDM))を比較し,5種類の触媒分類を定義した。
論文 参考訳（メタデータ） (2026-05-24T05:52:10Z) - MasterSet: A Large-Scale Benchmark for Must-Cite Citation Recommendation in the AI/ML Literature [14.082854604879572]
MasterSetは、AI/MLドメインで必須のレコメンデーションを評価するために設計された大規模なベンチマークである。
15の主要な会場の公的な会議手続きやWebサイトから収集された15万以上の論文が組み込まれている。
ベンチマークタスクでは、クエリペーパーのタイトルと抽象性のみを考慮すれば、候補プールから必須論文を取得する必要がある。
論文 参考訳（メタデータ） (2026-04-20T00:34:28Z) - Claudini: Autoresearch Discovers State-of-the-Art Adversarial Attack Algorithms for LLMs [75.62489398666644]
我々は,Claude Codeをベースとしたemphautoresearchスタイルのパイプライン citepkarpathy2026autoresearch が,新しいホワイトボックス対逆攻撃を発見できることを示した。
textbfsignantは、jailbreakで既存のすべての(30以上のメソッド)を著しく上回り、インジェクション評価を促します。
論文 参考訳（メタデータ） (2026-03-25T16:50:56Z) - ClaimFlow: Tracing the Evolution of Scientific Claims in NLP [67.23189226608389]
NLP文献のクレーム中心のビューである$texttClaimFlow$を紹介します。
新しいタスク $-$$textitClaim Relation Classification$$-$を定義する。
我々の分析によると、63.5$%の請求は決して再利用されない。
論文 参考訳（メタデータ） (2026-03-17T02:43:36Z) - HindSight: Evaluating LLM-Generated Research Ideas via Future Impact [5.647839536820347]
提案手法は,創発的アイデアと現実の出版物とをマッチングすることで,アイデアの質を評価するための時間分割評価フレームワークであるHindSightを紹介する。
時間的カットオフ$T$を用いて、アイデア生成システムをT$前の文献に制限し、その後30ヶ月で発行された論文に対して出力を評価する。
LLM-as-Judgeは、検索強化されたアイデア生成とバニラのアイデア生成の間に大きな違いは見つからない。
論文 参考訳（メタデータ） (2026-03-16T11:59:24Z) - CiteAudit: You Cited It, But Did You Read It? A Benchmark for Verifying Scientific References in the LLM Era [51.63024682584688]
大規模言語モデル (LLM) は新たなリスクを導入している。
本稿では,科学文献における幻覚的引用のための総合的なベンチマークおよび検出フレームワークについて紹介する。
我々のフレームワークは、精度と解釈可能性の両方において、先行手法を著しく上回っている。
論文 参考訳（メタデータ） (2026-02-26T19:17:39Z) - Can Deep Research Agents Find and Organize? Evaluating the Synthesis Gap with Expert Taxonomies [57.11324429385405]
72のコンピュータサイエンスサーベイから得られた診断ベンチマークであるTaxoBenchを紹介する。
我々は,3,815個の引用を根本的真理として正確に分類した分類木を手作業で抽出した。
ベストエージェントは、専門家が選択した論文の20.9%しかリコールせず、完璧なインプットであっても、最高のモデルは組織の0.31 ARIしか達成していない。
論文 参考訳（メタデータ） (2026-01-18T11:57:09Z) - HLM-Cite: Hybrid Language Model Workflow for Text-based Scientific Citation Prediction [14.731720495144112]
本稿では,表面的な言及を超越した批判的参照を識別する,コア引用という新しい概念を紹介する。
我々は、引用予測のための$textbfH$ybrid $textbfL$anguage $textbfM$odelワークフローである$textbfHLM-Citeを提案する。
我々はHLM-Citeを19分野にわたって評価し,SOTA法と比較して17.6%の性能向上を示した。
論文 参考訳（メタデータ） (2024-10-10T10:46:06Z) - DAPR: A Benchmark on Document-Aware Passage Retrieval [57.45793782107218]
我々は,このタスクemphDocument-Aware Passage Retrieval (DAPR)を提案する。
State-of-The-Art(SoTA)パスレトリバーのエラーを分析しながら、大きなエラー(53.5%)は文書コンテキストの欠如に起因する。
提案するベンチマークにより,検索システムの開発・比較を今後行うことができる。
論文 参考訳（メタデータ） (2023-05-23T10:39:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。