論文の概要: Beyond Single-shot Writing: Deep Research Agents are Unreliable at Multi-turn Report Revision
- arxiv url: http://arxiv.org/abs/2601.13217v1
- Date: Mon, 19 Jan 2026 16:48:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-21 22:47:22.974524
- Title: Beyond Single-shot Writing: Deep Research Agents are Unreliable at Multi-turn Report Revision
- Title（参考訳）: シングルショットの執筆を超えて: ディープリサーチエージェントはマルチターンレポートリビジョンでは信頼できない
- Abstract要約: Deep Research Agents (DRAs) の既存のベンチマークでは、レポート生成を単一ショットの書き込みタスクとして扱う。
我々は,DRAの新たな評価軸として,マルチターンレポートリビジョンを確立する評価スイートであるMr Dreを紹介する。
- 参考スコア（独自算出の注目度）: 31.91310124834185
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing benchmarks for Deep Research Agents (DRAs) treat report generation as a single-shot writing task, which fundamentally diverges from how human researchers iteratively draft and revise reports via self-reflection or peer feedback. Whether DRAs can reliably revise reports with user feedback remains unexplored. We introduce Mr Dre, an evaluation suite that establishes multi-turn report revision as a new evaluation axis for DRAs. Mr Dre consists of (1) a unified long-form report evaluation protocol spanning comprehensiveness, factuality, and presentation, and (2) a human-verified feedback simulation pipeline for multi-turn revision. Our analysis of five diverse DRAs reveals a critical limitation: while agents can address most user feedback, they also regress on 16-27% of previously covered content and citation quality. Over multiple revision turns, even the best-performing agents leave significant headroom, as they continue to disrupt content outside the feedback's scope and fail to preserve earlier edits. We further show that these issues are not easily resolvable through inference-time fixes such as prompt engineering and a dedicated sub-agent for report revision.
- Abstract（参考訳）: 既存のDeep Research Agents(DRA)のベンチマークでは、レポート生成を単一ショットの書き込みタスクとして扱う。
DRAがユーザーからのフィードバックでレポートを確実に修正できるかどうかはまだ不明だ。
我々は,DRAの新たな評価軸として,マルチターンレポートリビジョンを確立する評価スイートであるMr Dreを紹介する。
Dre氏は(1)包括性、事実性、プレゼンテーションにまたがる統一された長期レポート評価プロトコルと、(2)マルチターンリビジョンのための人間検証されたフィードバックシミュレーションパイプラインから構成される。
エージェントはユーザからのフィードバックのほとんどに対処できるが、以前はカバーされていたコンテンツと引用品質の16～27%を抑えることができる。
複数のリビジョンを重ねると、最高のパフォーマンスのエージェントでさえ、フィードバックの範囲外のコンテンツを中断し続け、初期の編集を保存できないため、大きなヘッドルームを離れる。
さらに,これらの問題は,プロンプトエンジニアリングやレポートリビジョン専用のサブエージェントなど,推論時の修正によって容易には解決できないことを示す。
関連論文リスト
- ActReview: Rebuttal-Guided Training Data and Rubric Rewards for Actionable Peer Review Generation [54.82704239643649]
本稿では, 紙固有の診断と具体的, 基礎的なリビジョン計画とを結びつける, 反感に満ちたポストトレーニングフレームワークである ActReview を紹介する。
我々の中心的な洞察は、著者の反論は、レビュアーの懸念に対処するための妥当な行動を明らかにし、それゆえ、リビジョン指向のフィードバックに対する潜在的な監督を提供することができるということである。
またActReview-Benchは、診断品質とリビジョンの有用性を評価するために、1,000インスタンスの人為的なベンチマークである。
論文 参考訳（メタデータ） (2026-09-08T17:30:16Z) - More Criticism Does Not Make a Better Review: EquiReview-R [5.8331781561663645]
我々は、AI支援レビューを、構造化された関心事セットのエビデンスガイダンスによる洗練として再考した。
EquiReview-Rを導入し、局所的な証拠に対する既存の懸念を解決する。
未確認論文の凍結コホート上では、EquiReview-R は未定の非不等式基準を満たす。
論文 参考訳（メタデータ） (2026-09-03T14:49:24Z) - Redesigning and Auditing Deep Research Writing for Faithful Reports [35.59245587969539]
CLAIMPROBE(クレームレベル監査)は、DRレポートを、幻覚、誤帰、引用衛生、必要なファクトリコールに分解するクレームレベル監査である。
そこで我々は,階層的なクレームベースライターであるCLAIMWRITERを提案し,ソース事実を抽出し,それらをクエリアウトラインにマップし,ソースリンクされたクレーム表現から各セクションをドラフトする。
論文 参考訳（メタデータ） (2026-08-12T18:01:55Z) - AutoSupervision: Closing the Feedback Loop in Scientific Workflows with Grounded Revision Verification [26.43951827696846]
本稿では,論文の改訂がレビュアーの懸念に真に対処するかどうかを評価するAutoSupervisionを紹介する。
我々は56,000のNature Communications記事とそれに対応するレビュー記録からAutoSupervisionを構築した。
以上の結果から,LLMはレビュアーの関心事の特徴として優れているが,エビデンスに基づく検証が主要なボトルネックであることが示唆された。
論文 参考訳（メタデータ） (2026-07-30T08:24:58Z) - From Passive Generation to Investigation: A Proactive Scientific Peer Review Agent [52.42081442204093]
我々は、紙の不審な部分を積極的に調査する柔軟性の欠如が、重要な制限であると主張している。
本稿では,保守的かつ構造化されたレビューログによってガイドされた論文を積極的にレビューする,科学的ピアレビューエージェントであるProReviewerを提案する。
実験の結果,8Bバックボーンを持つProReviewerは教師付き微調整によって訓練され,強化学習によって最適化され,5つの品質次元で最高の平均スコアが得られることがわかった。
論文 参考訳（メタデータ） (2026-06-11T13:38:23Z) - Multi-Turn Evaluation of Deep Research Agents Under Process-Level Feedback [22.73903507349779]
既存のDRA(Deep Research Agent)のベンチマークでは、シングルショットアウトプットのみを評価し、重要な疑問を無視している。
自己回帰とプロセスレベルのフィードバックという2つのフィードバック設定の下で,DRAのマルチターン評価を行う。
分析の結果, (i) 自己反射下では, エージェントがほぼ等しい速度でルーブリック基準を組み込んで回帰し, 無視できる純改善をもたらすこと, (ii) プロセスレベルのフィードバックの1ラウンドでかなりの利得が得られること, (ii) 正規化スコアを約8～15ドル引き上げ, 約35ドルとした。
論文 参考訳（メタデータ） (2026-06-08T17:08:36Z) - ReviewGrounder: Improving Review Substantiveness with Rubric-Guided, Tool-Integrated Agents [50.27474750319121]
公式ガイドライン、論文の内容、人間によるレビューから派生した、紙固有のルーリックに従ってテキストをレビューする。
本稿では、公式ガイドライン、論文の内容、人手によるレビューに基づいて、レビューテキストを評価するベンチマークであるREVIEWBENCHを紹介する。
本稿では,レビューを起草段階と接地段階に分解するルーリック誘導ツール統合マルチエージェントフレームワークであるREVIEWGROUNDERを提案する。
論文 参考訳（メタデータ） (2026-04-15T16:33:04Z) - RbtAct: Rebuttal as Supervision for Actionable Review Feedback Generation [47.274230235946625]
多くのAI生成レビューは表面的で不十分な実行可能であり、著者は具体的で実装可能なガイダンスを残さず、この作業が抱えるギャップを動機付けている。
本稿では,行動可能なレビューフィードバック生成を目的としたRbtActを提案し,既存のピアレビューを学習の中心に配置する。
論文 参考訳（メタデータ） (2026-03-10T14:30:55Z) - AgentCPM-Report: Interleaving Drafting and Deepening for Open-Ended Deep Research [85.51475655916026]
AgentCPM-Reportは軽量だが高性能なローカルソリューションで、人間の記述プロセスを反映したフレームワークで構成されている。
我々のフレームワークは、モデルがアウトラインを動的に修正できるWARP(Writeing As Reasoning Policy)を使用している。
DeepResearch Bench、DeepConsult、DeepResearch Gymの実験は、AgentCPM-Reportが主要なクローズドソースシステムより優れていることを示した。
論文 参考訳（メタデータ） (2026-02-06T09:45:04Z) - Author-in-the-Loop Response Generation and Evaluation: Integrating Author Expertise and Intent in Responses to Peer Review [53.99984738447279]
最近の作業は、このタスクを著者の専門知識と意図を活かした自動テキスト生成として捉えている。
本稿では,著者の明示的な入力,多属性制御,評価誘導による改良を統合したREspGenについて紹介する。
この定式化をサポートするために、アライメントされたレビュー-レスポンス-リビジョン三つ子の最初の大規模データセットであるRe$3$Alignを構築した。
論文 参考訳（メタデータ） (2026-01-19T14:07:10Z) - How Far Are We from Genuinely Useful Deep Research Agents? [48.596990593729]
Deep Research Agents (DRA) は、反復的な情報検索と合成によってアナリストレベルのレポートを自動的に生成することを目的としている。
レポート合成の現在のベンチマークは、タスクの複雑さと主観的なメトリクスに悩まされている。
我々は,100個の人為的な研究タスクからなる改良されたベンチマークであるFINDER(FinDER)について述べる。
論文 参考訳（メタデータ） (2025-12-01T17:58:59Z) - Learning to Summarize by Learning to Quiz: Adversarial Agentic Collaboration for Long Document Summarization [86.98098988779809]
SummQは長期文書要約のための新しい逆多重エージェントフレームワークである。
提案手法では,包括的な要約を作成し,評価するために協調作業を行う要約ジェネレータとレビュアーを用いる。
広範に使用されている3つの文書要約ベンチマーク上でSummQを評価する。
論文 参考訳（メタデータ） (2025-09-25T08:36:19Z) - Re$^2$: A Consistency-ensured Dataset for Full-stage Peer Review and Multi-turn Rebuttal Discussions [2.5226834810382113]
一貫性に保証された最大のピアレビューと、Re2というリビューデータセットを紹介します。
このデータセットは、最初の投稿19,926件、レビューコメント70,668件、OpenReviewに関する24のカンファレンスと21のワークショップからの53,818件からなる。
論文 参考訳（メタデータ） (2025-05-12T16:02:52Z) - On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。
推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。
本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
論文 参考訳（メタデータ） (2025-04-02T17:40:47Z) - Reviewer2: Optimizing Review Generation Through Prompt Generation [28.050468098801872]
本稿では、Reviewer2と呼ばれる効率的な2段階レビュー生成フレームワークを提案する。
従来の作業とは異なり、このアプローチは、レビューが対処する可能性のある側面の分布を明示的にモデル化する。
アスペクトプロンプトでアノテートした27k論文と99kレビューの大規模なレビューデータセットを生成します。
論文 参考訳（メタデータ） (2024-02-16T18:43:10Z) - To Revise or Not to Revise: Learning to Detect Improvable Claims for
Argumentative Writing Support [20.905660642919052]
特定の修正が必要な議論的クレームを特定するための主な課題について検討する。
本稿では,リビジョン距離に基づく新しいサンプリング戦略を提案する。
文脈情報とドメイン知識を用いることで、予測結果をさらに改善できることを示す。
論文 参考訳（メタデータ） (2023-05-26T10:19:54Z) - Read, Revise, Repeat: A System Demonstration for Human-in-the-loop
Iterative Text Revision [11.495407637511878]
本稿では,リピート・リバイス・リピート・リピート・リピート (R3) によるヒューマン・イン・ザ・ループ・イテレーティブ・テキスト・リフレクションシステムを提案する。
R3は、モデル生成のリビジョンとユーザからのフィードバックを読み、文書を改訂し、人間と機械の相互作用を繰り返すことで、人間の最小限の努力で高品質なテキストリビジョンを実現することを目的としている。
論文 参考訳（メタデータ） (2022-04-07T18:33:10Z) - How Useful are Reviews for Recommendation? A Critical Review and
Potential Improvements [8.471274313213092]
本稿では,レビューテキストを用いてレコメンデーションシステムの改善を目指す,新たな作業体系について検討する。
実験条件やデータ前処理に変化はあるものの, 論文間で結果がコピーされていることから, 報告結果にいくつかの相違点がみられた。
さらなる調査では、リコメンデーションのためのユーザレビューの"重要"に関して、はるかに大きな問題に関する議論が求められている。
論文 参考訳（メタデータ） (2020-05-25T16:30:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。