Fugu-MT 論文翻訳(概要): Navigating Through Paper Flood: Advancing LLM-based Paper Evaluation through Domain-Aware Retrieval and Latent Reasoning

論文の概要: Navigating Through Paper Flood: Advancing LLM-based Paper Evaluation through Domain-Aware Retrieval and Latent Reasoning

arxiv url: http://arxiv.org/abs/2508.05129v1
Date: Thu, 07 Aug 2025 08:08:13 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-08 18:59:39.755931
Title: Navigating Through Paper Flood: Advancing LLM-based Paper Evaluation through Domain-Aware Retrieval and Latent Reasoning
Title（参考訳）: ペーパーフラッドをナビゲートする:ドメイン認識検索と潜時推論によるLCMによる紙評価の促進
Authors: Wuqiang Zheng, Yiyan Xu, Xinyu Lin, Chongming Gao, Wenjie Wang, Fuli Feng,
Abstract要約: 大規模言語モデル(LLM)を用いた論文自動評価のための新しいフレームワークPaperEvalを提案する。 PaperEvalには,1)新規性とコントリビューションの文脈的評価を支援するために,関連業務を検索するドメイン対応紙検索モジュール,2)複雑なモチベーションと方法論の深い理解を可能にする潜時推論機構,の2つの重要な要素がある。 2つのデータセットの実験により、PaperEvalは、学術的影響と紙の品質評価の両方において、既存の手法を一貫して上回っていることが示された。
参考スコア（独自算出の注目度）: 30.92327406304362
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: With the rapid and continuous increase in academic publications, identifying high-quality research has become an increasingly pressing challenge. While recent methods leveraging Large Language Models (LLMs) for automated paper evaluation have shown great promise, they are often constrained by outdated domain knowledge and limited reasoning capabilities. In this work, we present PaperEval, a novel LLM-based framework for automated paper evaluation that addresses these limitations through two key components: 1) a domain-aware paper retrieval module that retrieves relevant concurrent work to support contextualized assessments of novelty and contributions, and 2) a latent reasoning mechanism that enables deep understanding of complex motivations and methodologies, along with comprehensive comparison against concurrently related work, to support more accurate and reliable evaluation. To guide the reasoning process, we introduce a progressive ranking optimization strategy that encourages the LLM to iteratively refine its predictions with an emphasis on relative comparison. Experiments on two datasets demonstrate that PaperEval consistently outperforms existing methods in both academic impact and paper quality evaluation. In addition, we deploy PaperEval in a real-world paper recommendation system for filtering high-quality papers, which has gained strong engagement on social media -- amassing over 8,000 subscribers and attracting over 10,000 views for many filtered high-quality papers -- demonstrating the practical effectiveness of PaperEval.
Abstract（参考訳）: 学術出版物の急激かつ継続的な増加に伴い、高品質な研究の特定はますます困難になっている。論文の自動評価にLarge Language Models(LLMs)を利用した最近の手法は大きな可能性を秘めているが、時代遅れのドメイン知識と限定的な推論能力によって制約されることが多い。本稿では,2つの主要コンポーネントを通じてこれらの制約に対処する,新しいLCMベースの自動紙評価フレームワークPaperEvalを提案する。 1)新規性及び貢献の文脈的評価を支援するために、関連業務を検索するドメイン対応紙検索モジュール 2)複雑なモチベーションや方法論を深く理解し,同時に関連する作業との総合的な比較を可能とし,より正確かつ信頼性の高い評価を支援する,潜在的推論機構。推論プロセスの指針として,相対比較に重点を置き,LLMの予測を反復的に洗練させるプログレッシブランキング最適化戦略を導入する。 2つのデータセットの実験により、PaperEvalは、学術的影響と紙の品質評価の両方において、既存の手法を一貫して上回っていることが示された。また、高品質な論文をフィルタリングする現実世界の論文推薦システムにPaperEvalを配置し、ソーシャルメディアに強い関心を抱き、8000人以上の購読者を集め、多くの高品質な論文に1万件以上のビューを惹きつけ、PaperEvalの実用性を実証した。

関連論文リスト

PRISM: Fine-Grained Paper-to-Paper Retrieval with Multi-Aspect-Aware Query Optimization [61.783280234747394]
PRISMは文書から文書への検索手法であり、クエリと候補文書の両方に対して、複数のきめ細かい表現を導入している。 SciFullBenchは、クエリと候補の両方のフルペーパーの完全かつセグメンテーションされたコンテキストが利用できる新しいベンチマークである。実験の結果、PRISMは既存の検索基準よりも平均4.3%性能が向上した。
論文参考訳（メタデータ） (2025-07-14T08:41:53Z)
Literature-Grounded Novelty Assessment of Scientific Ideas [23.481266336046833]
LLMに基づく検索拡張生成フレームワークであるIdean Novelty Checkerを提案する。実験の結果,新規性チェッカーは既存手法よりも約13%高い一致を達成できた。
論文参考訳（メタデータ） (2025-06-27T08:47:28Z)
AutoRev: Automatic Peer Review System for Academic Research Papers [9.269282930029856]
AutoRevは学術研究論文の自動ピアレビューシステムである。私たちのフレームワークは学術文書をグラフとして表現し、最も重要なパスの抽出を可能にします。レビュー生成に適用すると、平均58.72%のSOTAベースラインを上回ります。
論文参考訳（メタデータ） (2025-05-20T13:59:58Z)
XtraGPT: Context-Aware and Controllable Academic Paper Revision via Human-AI Collaboration [41.44785777328187]
XtraGPTはオープンソースの大規模言語モデル(LLM)の最初のスイートである。我々は140,000以上の命令-応答ペアで注釈付けされたトップレベルの会場から7,040件の研究論文のデータセットを紹介した。 XtraGPTは、同じスケールのベースラインを著しく上回り、プロプライエタリなシステムの品質にアプローチする。
論文参考訳（メタデータ） (2025-05-16T15:02:19Z)
Can LLMs Generate Tabular Summaries of Science Papers? Rethinking the Evaluation Protocol [83.90769864167301]
文献レビュー表は、科学論文の集合を要約し比較するために欠かせないものである。学術論文の収集にあたり,ユーザの情報ニーズを最大限に満たす表を作成するタスクについて検討する。我々の貢献は、現実世界で遭遇する3つの重要な課題に焦点を当てている: (i)ユーザープロンプトは、しばしば未特定である; (ii)検索された候補論文は、しばしば無関係な内容を含む; (iii)タスク評価は、浅いテキスト類似性技術を超えて進むべきである。
論文参考訳（メタデータ） (2025-04-14T14:52:28Z)
Taxonomy Tree Generation from Citation Graph [15.188580557890942]
HiGTLは、人為的な指示や好みのトピックによってガイドされる、新しいエンドツーエンドフレームワークである。我々は,各クラスタに中心的な概念を反復的に生成する,新しい分類ノード言語化戦略を開発した。実験により、HiGTLはコヒーレントで高品質な概念を効果的に生成することが示された。
論文参考訳（メタデータ） (2024-10-02T13:02:03Z)
RelevAI-Reviewer: A Benchmark on AI Reviewers for Survey Paper Relevance [0.8089605035945486]
本稿では,調査論文レビューの課題を分類問題として概念化するシステムであるRelevAI-Reviewerを提案する。 25,164のインスタンスからなる新しいデータセットを導入する。各インスタンスには1つのプロンプトと4つの候補論文があり、それぞれがプロンプトに関連している。我々は,各論文の関連性を判断し,最も関連性の高い論文を識別できる機械学習(ML)モデルを開発した。
論文参考訳（メタデータ） (2024-06-13T06:42:32Z)
Peer Review as A Multi-Turn and Long-Context Dialogue with Role-Based Interactions [62.0123588983514]
大規模言語モデル(LLM)は様々な分野にまたがる幅広い応用を実証してきた。我々は、ピアレビュープロセスを多ターン長文対話として再構築し、著者、レビュアー、意思決定者に対して異なる役割を担っている。複数の情報源から収集された92,017件のレビューを含む26,841件の論文を含む包括的データセットを構築した。
論文参考訳（メタデータ） (2024-06-09T08:24:17Z)
Tag-Aware Document Representation for Research Paper Recommendation [68.8204255655161]
本稿では,ユーザによって割り当てられたソーシャルタグに基づいて,研究論文の深い意味表現を活用するハイブリッドアプローチを提案する。提案手法は,評価データが極めて少ない場合でも研究論文の推薦に有効である。
論文参考訳（メタデータ） (2022-09-08T09:13:07Z)
Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文参考訳（メタデータ） (2021-09-02T19:41:47Z)
What's New? Summarizing Contributions in Scientific Literature [85.95906677964815]
本稿では,論文のコントリビューションと作業状況について,個別の要約を生成するために,論文要約のアンタングル化という新たなタスクを導入する。本稿では,学術論文のS2ORCコーパスを拡張し,コントリビューション・コントリビューション・コントリビューション・レファレンス・ラベルを付加する。本稿では, 生成した出力の関連性, 新規性, 絡み合いを報告する総合的自動評価プロトコルを提案する。
論文参考訳（メタデータ） (2020-11-06T02:23:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。