論文の概要: RWGBench: Evaluating Scholarly Positioning in Related Work Generation

• arxiv url: http://arxiv.org/abs/2606.24894v1
• Date: Sat, 30 May 2026 16:53:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-28 23:46:52.323312
• Title: RWGBench: Evaluating Scholarly Positioning in Related Work Generation
• Title（参考訳）: RWGBench: 関連作業生成におけるScholarly Positioningの評価
• Abstract要約: テキスト類似性ではなく引用判断の観点からRWGを評価するベンチマークである textbfRWGBench を導入する。 RWGBenchは40,108のコンピュータサイエンス論文の大規模なコレクションと1.09百万のドキュメントの検索コーパスから構築されている。 実験では、標準的な評価によって隠蔽されている現在のシステムの体系的な制限が示され、Oracleは検索レベルとジェネレーションレベルのボトルネックをさらに歪めている。
• 参考スコア（独自算出の注目度）: 43.26813089097539
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models have shown strong fluency in scientific writing, yet the evaluation of related work generation (RWG) remains limited. Existing RWG evaluations largely inherit summarization-oriented metrics, using lexical or semantic similarity to reference sections as proxies for quality. However, related work writing is fundamentally a citation-level scholarly positioning task: it requires selecting, organizing, and framing prior work to clarify how a target paper relates to, differs from, and contributes beyond existing research.As a result, models may generate coherent and semantically-relevant text while exhibiting academically critical failures, such as inappropriate citation selection or misplaced references, that conventional metrics do not capture.To this end, we introduce \textbf{RWGBench}, a benchmark that evaluates RWG from the perspective of citation decision-making rather than text similarity. RWGBench is constructed from a large-scale collection of 40,108 computer science papers and a retrieval corpus of 1.09 million documents, with a carefully curated test set comprising 100 papers and their corresponding published related work sections.We propose a multi-dimensional evaluation framework that assesses citation selection, contextual appropriateness, organization, and discourse structure.Experiments reveal systematic limitations in current systems that are obscured by standard evaluations, while Oracle studies further disentangle retrieval-level and generation-level bottlenecks. Human evaluation further shows that our citation-centric metrics align substantially better with expert judgment than surface-level text metrics. RWGBench offers a citation-centric testbed for developing and evaluating related work generation systems that are better aligned with scholarly writing practices.
• Abstract（参考訳）: 大規模言語モデルは、科学的執筆において強い流布を示してきたが、関連する作業生成(RWG)の評価は依然として限られている。 既存のRWG評価は、参照セクションに対する語彙的または意味的類似性を品質のプロキシとして用いて、要約指向のメトリクスをほとんど継承している。 しかし、関連書の執筆は基本的には引用レベルの学術的位置づけの課題であり、対象の論文がどのように関連し、どのように異なるかを明らかにし、既存の研究を超えて貢献するかを明らかにするために、事前作業の選択、整理、フレーミングが必要である。その結果、モデルは、不適切な引用選択や誤配置参照のような学術的に重要な失敗を呈しながら、一貫性と意味的な関連性のあるテキストを生成することができ、従来の指標は捉えられていない。この結果、引用決定の観点からRWGを評価するベンチマークである「textbf{RWGBench}」を導入する。 RWGBenchは、40,108のコンピュータサイエンス論文と1.09万の文書検索コーパスからなる大規模なコレクションから構築され、100の論文とそれに対応する関連作業セクションからなる精巧にキュレーションされたテストセットである。我々は、引用選択、文脈的適切性、組織、言論構造を評価する多次元評価フレームワークを提案する。実験は、標準的な評価で隠蔽されている現在のシステムにおいて、体系的な制限を明らかにし、Oracleは、検索レベルと世代レベルのボトルネックをさらに歪めている。 さらに人的評価は、引用中心のメトリクスが、表面レベルのテキストメトリクスよりも、専門家の判断とほぼ一致していることを示している。 RWGBenchは、学術的な筆記の実践に適合した、関連する作業生成システムの開発と評価のための、引用中心のテストベッドを提供する。

関連論文リスト

• Deep Academic Survey: Stateful Agentic Closed-Loop Paradigm for Academic Survey Automation [60.151050016855834]
  DASは出版指向の学術調査を作成するためのステートフルなエージェント・フレームワークである。 その鍵となる考え方は、再利用可能な紙分析とトピック固有の原稿構築を分離することである。 DASは4つの次元で最高点に達し、総合スコアは4.34であり、最強の競争相手は4.03である。
  論文  参考訳（メタデータ） (2026-08-18T17:29:00Z)
• Benchmarking and Enhancing LLMs for Rule-Intensive Review of National Standard Documents [7.397429318828859]
  大規模言語モデル(LLM)は、複雑なプロフェッショナルタスクをますますサポートしているが、ルール集約型文書レビューにおけるそれらの能力は、十分に評価されていない。 既存のベンチマークはドメイン知識と質問応答に重点を置いており、プロのドキュメントの品質レビューをほとんど見落としている。 GB/T-Benchは,全国標準文書の構造化レビューのための最初のベンチマークである。
  論文  参考訳（メタデータ） (2026-08-06T17:27:23Z)
• Reading Between the Citations: A Typed Claim Network for Scientific Literature [6.6267663941512005]
  学術的な相互参照文書のコーパスに適用可能な建設パイプラインを提供する。 我々はこれを3Dポイントクラウドセマンティックセマンティックセグメンテーションで127の論文のコーパスでインスタンス化し、8,260の型付きクレームのネットワークを生成する。 標準の検索・拡張生成(RAG)ベースラインに対するヘッド・ツー・ヘッド評価は、フラット検索よりも利得が、間違ったものよりも正しい中間表現から得ていることを示している。
  論文  参考訳（メタデータ） (2026-05-29T08:02:45Z)
• RPC-Bench: A Fine-grained Benchmark for Research Paper Comprehension [65.81339691942757]
  RPC-Bench(RPC-Bench)は、高品質なコンピュータサイエンス論文のレビュー・リビューの交換から構築された大規模質問応答ベンチマークである。 我々は、科学研究の流れに沿ったきめ細かい分類を設計し、モデルがなぜ、何、どのように学術的な文脈で質問するかを理解し、答える能力を評価する。
  論文  参考訳（メタデータ） (2026-01-14T11:37:00Z)
• Expert Preference-based Evaluation of Automated Related Work Generation [54.29459509574242]
  本稿では,従来の作業評価基準と専門家固有の嗜好を統合したマルチターン評価フレームワークGREPを提案する。 より優れたアクセシビリティを実現するため、我々はGREPの2つの変種を設計する: プロプライエタリなLLMを評価対象とするより正確な変種と、オープンウェイトなLLMをより安価な代替品である。
  論文  参考訳（メタデータ） (2025-08-11T13:08:07Z)
• SciSage: A Multi-Agent Framework for High-Quality Scientific Survey Generation [2.985620880452744]
  SciSageはリフレクション・ワン・ユー・ライト・パラダイムを使ったマルチエージェント・フレームワークである。 アウトライン、セクション、ドキュメントレベルでのドラフトを批判的に評価し、クエリの解釈、コンテンツ検索、洗練のための特別なエージェントと協調する。 また、11のコンピュータサイエンス領域にわたる46のハイインパクト論文(2020-2025)のベンチマークであるSurveyScopeをリリースしています。
  論文  参考訳（メタデータ） (2025-06-15T02:23:47Z)
• XtraGPT: Context-Aware and Controllable Academic Paper Revision [43.263488839387584]
  本稿では,基準誘導型意図アライメントと文脈認識モデリングを中心とした学術論文改訂のための人間-AI協調フレームワークを提案する。 XtraGPTは,コンテクスト対応,命令誘導型書き込み支援のためのオープンソースのLLMスイートである。
  論文  参考訳（メタデータ） (2025-05-16T15:02:19Z)
• PROXYQA: An Alternative Framework for Evaluating Long-Form Text Generation with Large Language Models [72.57329554067195]
  ProxyQAは、長文生成を評価するための革新的なフレームワークである。 さまざまなドメインにまたがる詳細なヒューマンキュレートされたメタクエストで構成されており、それぞれに事前にアノテートされた回答を持つ特定のプロキシクエストが伴っている。 プロキシクエリに対処する際の評価器の精度を通じて、生成されたコンテンツの品質を評価する。
  論文  参考訳（メタデータ） (2024-01-26T18:12:25Z)
• Quantitative Discourse Cohesion Analysis of Scientific Scholarly Texts using Multilayer Networks [10.556468838821338]
  本研究の目的は,多層ネットワーク表現を用いた学術文献における談話の凝集度を計算学的に解析することである。 テキストにおける語彙的凝集度を評価するために,セクションレベルおよび文書レベルのメトリクスを設計する。 本稿では、著者に原稿の潜在的な改善のためのポインタを提供するための分析フレームワークCHIAA(CHeck It Again, Author)を提案する。
  論文  参考訳（メタデータ） (2022-05-16T09:10:41Z)
• Author Clustering and Topic Estimation for Short Texts [69.54017251622211]
  同じ文書中の単語間の強い依存をモデル化することにより、遅延ディリクレ割当を拡張できる新しいモデルを提案する。 同時にユーザをクラスタ化し、ホック後のクラスタ推定の必要性を排除しています。 我々の手法は、短文で生じる問題に対する従来のアプローチよりも、-または----------- で機能する。
  論文  参考訳（メタデータ） (2021-06-15T20:55:55Z)
• SPECTER: Document-level Representation Learning using Citation-informed Transformers [51.048515757909215]
  SPECTERは、Transformer言語モデルの事前学習に基づいて、科学文書の文書レベルの埋め込みを生成する。 SciDocsは、引用予測から文書分類、レコメンデーションまでの7つの文書レベルのタスクからなる新しい評価ベンチマークである。
  論文  参考訳（メタデータ） (2020-04-15T16:05:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。