論文の概要: Discuss More, Comment Less: Boosting Automated Research via Multi-Perspective Collaborative Review
- arxiv url: http://arxiv.org/abs/2610.24050v1
- Date: Fri, 16 Oct 2026 16:17:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-26 11:21:35.8061
- Title: Discuss More, Comment Less: Boosting Automated Research via Multi-Perspective Collaborative Review
- Title(参考訳): マルチパースペクティブ・コラボレーティブ・レビューによる自動研究の促進
- Abstract要約: 本稿では、ピアレビュー機構の計算モデル問題として論文レビューを定式化する。
本稿では,自動研究を促進するための検討型マルチエージェントフレームワークである RoundtableReview を提案する。
- 参考スコア(独自算出の注目度): 13.59233539344028
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As automated research is increasingly adopted for writing papers, automated review has become a critical link between paper generation and quality control. However, existing methods largely rely on single-model feedback or simple review aggregation, failing to explicitly model expert responsibilities or collective deliberation in actual peer reviews, which limits effective cross-examination and reliable decision-making. Therefore, we formulate paper review as a computational modeling problem of peer review mechanisms and propose RoundtableReview, a deliberative multi-agent framework for enhancing automated research. RoundtableReview structures each paper into eight semantic slots and coordinates six academic and industry reviewers with complementary perspectives, retrieval sources, and specialized responsibilities. Through independent assessment, cross-examination, roundtable deliberation, dynamically weighted voting, and chair synthesis, the framework generates evidence-based and traceable feedback. Experiments on two automated research backbones show that the method improves paper quality in both backbones and outperforms baselines in automatic and human evaluations with fewer comments.
- Abstract(参考訳): 論文作成に自動化研究が採用されるにつれて、自動レビューは紙生成と品質管理の間に重要なリンクとなっている。
しかし、既存の手法は主に単一モデルフィードバックや単純なレビューアグリゲーションに依存しており、実際のピアレビューにおいて専門家の責任や集合的な議論を明示的にモデル化することができない。
そこで我々は,論文レビューをピアレビュー機構の計算モデル問題として定式化し,自動研究の高度化を目的とした議論型マルチエージェントフレームワークである RoundtableReview を提案する。
RoundtableReviewは、各論文を8つのセマンティックスロットに構成し、補完的な視点、検索ソース、専門的な責任を6つの学術および産業レビュアーに調整する。
独立した評価、相互審査、ラウンドテーブルの審議、動的に重み付けされた投票、および椅子合成を通じて、このフレームワークはエビデンスベースのトレーサブルなフィードバックを生成する。
2つの自動研究バックボーンの実験は、この手法が背骨の紙質を改善し、コメントの少ない自動評価と人的評価においてベースラインを上回ることを示した。
関連論文リスト
- Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review [13.984869867080606]
大規模言語モデル(LLM)は自動レビューアシスタントとして提案されている。
LLM支援ピアレビューにおける検証中心の視点を紹介する。
本稿では,論理的矛盾を識別するレビューシステムの能力を評価するベンチマークを提案する。
論文 参考訳(メタデータ) (2026-10-08T01:57:31Z) - NoveltyAgent: Autonomous Novelty Reporting Agent with Point-wise Novelty Analysis and Self-Validation [34.18769961207746]
包括的で忠実なノベルティレポートを生成するために設計されたマルチエージェントシステムであるNovetyAgentを紹介する。
写本を細かな検索と比較のために離散的な新規点に分解し、総合的な関連論文データベースを構築する。
実験の結果、NovetyAgentは最先端のパフォーマンスを達成し、GPT-5 DeepResearchを10.15%上回った。
論文 参考訳(メタデータ) (2026-03-21T17:19:11Z) - The Story is Not the Science: Execution-Grounded Evaluation of Mechanistic Interpretability Research [56.80927148740585]
我々は、動的に進化し、研究評価者としてAIエージェントを開発することで、スケーラビリティと厳密さの課題に対処する。
我々は,機械的解釈可能性の研究をテストベッドとして使用し,標準化された研究成果を構築し,MechEvalAgentを開発した。
我々の研究は、AIエージェントが研究評価を変革し、厳格な科学的実践の道を開く可能性を実証している。
論文 参考訳(メタデータ) (2026-02-05T19:00:02Z) - Author-in-the-Loop Response Generation and Evaluation: Integrating Author Expertise and Intent in Responses to Peer Review [53.99984738447279]
最近の作業は、このタスクを著者の専門知識と意図を活かした自動テキスト生成として捉えている。
本稿では,著者の明示的な入力,多属性制御,評価誘導による改良を統合したREspGenについて紹介する。
この定式化をサポートするために、アライメントされたレビュー-レスポンス-リビジョン三つ子の最初の大規模データセットであるRe$3$Alignを構築した。
論文 参考訳(メタデータ) (2026-01-19T14:07:10Z) - PaperAudit-Bench: Benchmarking Error Detection in Research Papers for Critical Automated Peer Review [54.141490756509306]
本稿では、エラーデータセットであるPaperAudit-Datasetと、自動レビューフレームワークであるPaperAudit-Reviewの2つのコンポーネントからなるPaperAudit-Benchを紹介する。
PaperAudit-Benchの実験では、モデルと検出深さの誤差検出可能性に大きなばらつきが示された。
本研究では,SFTおよびRLによる軽量LLM検出器のトレーニングをサポートし,計算コストの削減による効率的な誤り検出を実現する。
論文 参考訳(メタデータ) (2026-01-07T04:26:12Z) - AutoBench: Automating LLM Evaluation through Reciprocal Peer Assessment [12.9569411072262]
AutoBenchは、大規模言語モデル(LLM)を評価するための、完全に自動化され、自己持続的なフレームワークである
本稿では,eZecute S.R.L によるオープンソースプロジェクトとして開発された AutoBench 方法論の厳密な科学的検証を行う。
論文 参考訳(メタデータ) (2025-10-26T09:20:39Z) - Learning to Summarize by Learning to Quiz: Adversarial Agentic Collaboration for Long Document Summarization [86.98098988779809]
SummQは長期文書要約のための新しい逆多重エージェントフレームワークである。
提案手法では,包括的な要約を作成し,評価するために協調作業を行う要約ジェネレータとレビュアーを用いる。
広範に使用されている3つの文書要約ベンチマーク上でSummQを評価する。
論文 参考訳(メタデータ) (2025-09-25T08:36:19Z) - Paper Quality Assessment based on Individual Wisdom Metrics from Open Peer Review [4.35783648216893]
従来のクローズドピアレビューシステムは遅く、コストがかかり、透明ではない。
我々は、オープンなボトムアッププロセスを通じて、科学的ピアレビューの代替形態の有効性と正確性を提案し、検証する。
論文 参考訳(メタデータ) (2025-01-22T17:00:27Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳(メタデータ) (2022-11-07T16:19:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。