論文の概要: Does Multi-Agent Debate Improve AI Feedback on Research Papers?
- arxiv url: http://arxiv.org/abs/2607.14713v1
- Date: Thu, 16 Jul 2026 08:24:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:33.043355
- Title: Does Multi-Agent Debate Improve AI Feedback on Research Papers?
- Title（参考訳）: マルチエージェント議論は研究論文のAIフィードバックを改善するか?
- Abstract要約: 44のメタアナリシスの著者は、自身の論文で3つのAIレポートを、改善に有用性でランク付けした。
完成した論文に対する知覚的有用性を測定し,AIが論文を参照すべきかどうかを別途問う。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Probably not, at least for meta-analyses in economics. In a pre-registered, identity-masked, within-paper experiment, the authors of 44 meta-analyses ranked three AI reports on their own paper by usefulness for improving it: a single pass by a frontier model against two multi-agent debate tools we built and expected to win. All reports were held to a common length and template. The authors preferred the single pass, by 0.66 rank points over mad-research (95% CI 0.32 to 1.00) and 0.57 over paper-workshop (0.16 to 0.95), though paper-workshop spent roughly thirty times the tokens. Authors who recalled their journal referee report usually placed it first and never last; in a separate exercise, three AI judges almost always placed the real journal referee report last. Among the three AI reports, Gemini (the judge whose model family wrote none of the reports) would have ranked paper-workshop first in the authors' place, reversing the single-pass preference. The reversal warns against substituting an AI judge for the author. We measure perceived usefulness for finished papers; whether AI should referee papers is a separate question.
- Abstract（参考訳）: 少なくとも経済学におけるメタ分析については、おそらくそうではない。
44のメタアナリシス(メタアナリシス)の著者らは、登録済みの、IDをベースとした、ペーパー内の実験で、自身の論文に3つのAIレポートをランク付けした。
全ての報告は共通の長さとテンプレートにまとめられた。
著者らは、マッドリサーチよりも0.66ランク(95% CI 0.32 - 1.00)、ペーパーワークショップよりも0.57ランク(0.16 - 0.95)のシングルパスを好んだが、ペーパーワークショップはトークンの約30倍に費やした。
ジャーナリズムレフェリーレポートをリコールした著者は、通常はそれを第一に据え、決して長くは続かなかった。
3つのAIレポートの中で、ジェミニ(モデル家族がどのレポートも書いていない審査員)は、著者の立場で最初にペーパーワークショップをランク付けし、シングルパスの好みを逆転させた。
逆転は、著者のためにAI判事を代行することを警告する。
完成した論文に対する知覚的有用性を測定し,AIが論文を参照すべきかどうかを別途問う。
関連論文リスト
- PaperDoctor: Evidence-Grounded and Actionable Feedback for Scientific Papers in Progress [130.58520199343707]
PaperDoctorは,3つの重要なイノベーションを備えた,サブミッション前のフィードバックのためのエージェントフレームワークである。
まず、全体論的階層的なフレームワークは、書き込み、レイアウト、参照、コード、理論、先行作業、実験を評価します。
第二に、各発見には、観察、文、方程式、コードラインなどの特定の証拠へのポインタ、修正提案が含まれる。
第3に、PaperDoctorはクレームの重要性と計算予算に基づいて実験を選択的に再構築し、再実行する。
論文 参考訳（メタデータ） (2026-09-15T11:08:11Z) - Does AI Reviewer See the Full Picture? Attacking and Defending Multimodal Peer Review [48.61205783234013]
PaperGuardは、AI生成のピアレビューをドメイン固有のクロスモーダル攻撃に対して評価し、防御するために設計された最初の包括的なベンチマークである。
本フレームワークは,(1)複数の科学的領域にまたがる新たなマルチモーダル・ピア・レビューデータセット,(2)ブラックボックス・プロンプト・インジェクションやホワイトボックス・インジェクションを含む一貫した攻撃スイート,(3)有害な指示を効率的に局所化し緩和するためにチャンクベースの埋め込み探索を利用する学術論文の長期的課題に動機づけられた実践的防御,という3つの柱上に構築されている。
論文 参考訳（メタデータ） (2026-06-10T22:06:35Z) - PaperMentor: A Human-Centered Multi-Agent Writing Tutor for AI Research Papers on Overleaf [51.79108552674703]
We present PaperMentor, a human-centered writing assistant system that delivers actionable suggestions as Overleaf-native inline comments。
PaperMentorは、既存の研究者の執筆アドバイスから慎重にキュレートされた専門的なスキルライブラリを、論文執筆のさまざまな側面をカバーする12の専門エージェントに統合する。
ユーザ調査では、生成したコメントの90.6%が実行可能であり、67.5%が有効であると評価され、GPT-5.2のベースラインをスキルライブラリを使用せずに大幅に上回った。
論文 参考訳（メタデータ） (2026-06-07T22:17:15Z) - Can AI Review Improve Paper Drafting? An Empirical Study on 20 Computer Architecture Submissions [4.04252733799147]
我々は、AIレビューが人間のレビューとどのように一致しているかを明らかにするために、さまざまなレベルの提出系統を持つ20のコンピュータアーキテクチャー論文を調査する。
このケーススタディを実行するために、Web UI統合ツールであるemphAI-Paper-Reviewを構築し、ドラフトペーパーの構造化AIレビューを生成する。
論文 参考訳（メタデータ） (2026-05-31T05:05:26Z) - On the limits and opportunities of AI reviewers: Reviewing the reviews of Nature-family papers with 45 expert scientists [113.03797263688519]
多くの科学者は、AIレビュアーを研究を評価する専門知識のない確率的システムと見なしている。
既存のAIレビュアーの評価では、評決が人間の評決に合致するかどうかに焦点が当てられている。
論文 参考訳（メタデータ） (2026-05-20T03:33:55Z) - How Far Are We From True Auto-Research? [20.195549933333222]
ResearchArenaは最小限の足場で、市販のエージェント自身が完全な研究ループを実行できる。
13のコンピュータサイエンスシードとエージェントドメインペア当たりのトライアルで、ResearchArenaは117のエージェント生成論文を生成する。
エージェント生成された117の論文のうち、トップレベルの会場の受け入れバーには到達しない。
論文 参考訳（メタデータ） (2026-05-18T22:20:33Z) - Stop Automating Peer Review Without Rigorous Evaluation [51.53099943385505]
このポジションペーパーは、今日のAIシステムは、論文レビューの作成に使用すべきではない、と論じている。
1)AIレビュアーは、視点の多様性を低下させる論文内および新聞内における過剰な合意の隠れた効果を示す。
ピアレビューの危機に対処するには、ピアレビューの自動化の科学が必要です。
論文 参考訳（メタデータ） (2026-05-04T22:41:04Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z) - How do Authors' Perceptions of their Papers Compare with Co-authors'
Perceptions and Peer-review Decisions? [87.00095008723181]
著者は論文の受理確率をおよそ3倍過大評価している。
女性作家は、男性作家よりも極端に高い(統計的に重要な)誤校正を示す。
受理された論文と受理された論文の回答者の少なくとも30%は、レビュープロセス後に自身の論文に対する認識が改善したと述べている。
論文 参考訳（メタデータ） (2022-11-22T15:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。