論文の概要: Judgment-Grounded Expansion for Peer Review Generation

• arxiv url: http://arxiv.org/abs/2606.23233v1
• Date: Mon, 22 Jun 2026 12:20:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 23:09:29.112061
• Title: Judgment-Grounded Expansion for Peer Review Generation
• Title（参考訳）: ピアレビュー生成のための判断範囲の拡張
• Abstract要約: 我々は、評価的クレームを提供する人間とAIの協調モードである判断基盤の拡張を定式化し、レビューコメント候補に拡張する(s)。 本研究は,スケーラブルな評価と候補セットのキュレーションの2つの実践的課題について検討する。 本研究は,具体的な課題として判断基盤の拡大を確立し,今後の共同レビュー生成システムの設計のための実証的,方法論的基盤を提供する。
• 参考スコア（独自算出の注目度）: 68.04679314462481
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic review generation is a promising direction for accelerating scientific progress. While most work adopts an end-to-end setup, its fully automated nature makes it less suitable for settings that demand accountability. To better balance automation and accountability, we formalize judgment-grounded expansion, a human-AI collaboration mode where a reviewer provides an evaluative claim and the system expands it into review comment candidate(s). We model it as a structured generate-check-refine process and conduct a user study to collect human-model interaction data. We study two practical challenges for judgment-grounded expansion: scalable evaluation and candidate set curation. We develop methods to simulate the process for large-scale evaluation, and show that conformal prediction is well suited to balancing candidate set size and target coverage. Our work establishes judgment-grounded expansion as a concrete task and provides empirical and methodological foundations for the design of future collaborative review generation systems.
• Abstract（参考訳）: 自動レビュー生成は、科学的進歩を加速するための有望な方向である。 ほとんどの作業ではエンドツーエンドのセットアップを採用しているが、完全に自動化されているため、説明責任を必要とする設定には適していない。 自動化と説明責任のバランスを改善するため,審査員が評価クレームを提供し,システムがレビューコメント候補に拡張する人間とAIの協調モードである判断基盤の拡張を定式化する。 我々は、構造化された生成-チェック-リファインプロセスとしてモデル化し、ユーザー研究を行い、人-モデル相互作用データを収集する。 本研究は,スケーラブルな評価と候補セットのキュレーションの2つの実践的課題について検討する。 大規模評価の過程をシミュレートする手法を開発し,適合性予測が候補設定サイズと対象範囲のバランスに適していることを示す。 本研究は,具体的な課題として判断基盤の拡大を確立し,今後の共同レビュー生成システムの設計のための実証的,方法論的基盤を提供する。

関連論文リスト

• Reality Is the Final Verifier: On Two Key Gaps in Agentic Software Engineering [78.51705689800838]
  本稿では, 要求, モデル, 評価器の見直しに, 展開証拠を用いた保証・修正ループを提案する。 そこで我々は,人的判断,エージェント能力,計算能力に対する資源配分問題としてエージェント開発を保証した。
  論文  参考訳（メタデータ） (2026-09-10T17:58:48Z)
• Can AI Be a Good Peer Reviewer? A Survey of Peer Review Process, Evaluation, and the Future [50.89292049215399]
  大規模言語モデル(LLM)は、ピアレビュープロセスの異なる段階を支援または自動化する動機付けの手法である。 我々は、(i)ピアレビュー生成のためのテクニックを合成し、微調整戦略、エージェントベースシステム、RLベースの手法、そして生成を強化する新しいパラダイムを合成する。 データセットをカタログ化し、モデリングの選択を比較し、制限、倫理的懸念、今後の方向性について議論します。
  論文  参考訳（メタデータ） (2026-04-30T14:28:21Z)
• Pitfalls in Evaluating Interpretability Agents [91.49742416116635]
  我々は,実験を反復的に設計し,仮説を洗練するエージェントシステムを構築した。 我々の研究は、複雑な自動解釈可能性システムを評価する上での根本的な課題を実証している。
  論文  参考訳（メタデータ） (2026-03-20T16:27:17Z)
• PaperRepro: Automated Computational Reproducibility Assessment for Social Science Papers [33.12402746591649]
  PaperReproは、自動評価のための新しい2段階のマルチエージェントアプローチである。 実行段階では、エージェントが複製パッケージを実行し、コードを編集して再生結果を明示的な成果物としてキャプチャする。 評価段階では、エージェントは明確な証拠を用いてエージェントを評価する。
  論文  参考訳（メタデータ） (2026-02-10T09:04:59Z)
• Beyond Static Evaluation: Rethinking the Assessment of Personalized Agent Adaptability in Information Retrieval [12.058221341033835]
  適応型パーソナライゼーションにおける評価を再考するための概念レンズを提案する。 このレンズは,(1)時間的に進化する嗜好モデルを用いたペルソナベースユーザシミュレーション,(2)参照インタビューに触発されてコンテキスト内での嗜好を抽出する構造化エリケーションプロトコル,(3)エージェントの行動がセッションやタスク間でどのように改善されるかを測定する適応型評価メカニズムの3つを中心に構成されている。
  論文  参考訳（メタデータ） (2025-10-05T00:35:37Z)
• AI Agents-as-Judge: Automated Assessment of Accuracy, Consistency, Completeness and Clarity for Enterprise Documents [0.0]
  本研究では,AIエージェントを用いた高度に構造化された企業文書の自動レビューのためのモジュール型マルチエージェントシステムを提案する。 LangChain、CrewAI、TruLens、Guidanceといった現代的なオーケストレーションツールを使用して、文書のセクション単位での評価を可能にする。 99%の情報一貫性(人間の場合は92%)を実現し、エラーとバイアス率を半減させ、1文書あたりの平均レビュー時間を30分から2.5分に短縮する。
  論文  参考訳（メタデータ） (2025-06-23T17:46:15Z)
• Socio-Emotional Response Generation: A Human Evaluation Protocol for LLM-Based Conversational Systems [9.101091541480434]
  本稿では、応答生成の前に社会情緒戦略を計画する中間段階を含むニューラルアーキテクチャを提案する。 本研究は, 予測された戦略ラベルの列を予測し, このシーケンスを用いて応答を生成することにより, 直接的なエンドツーエンド生成方式よりも優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-11-26T08:15:36Z)
• Test-time Collective Prediction [73.74982509510961]
  マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。 エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。 我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
  論文  参考訳（メタデータ） (2021-06-22T18:29:58Z)
• SummEval: Re-evaluating Summarization Evaluation [169.622515287256]
  総合的かつ一貫した方法で14の自動評価指標を再評価する。 上記の自動評価指標を用いて,最近の要約モデル23をベンチマークした。 我々は、CNN/DailyMailニュースデータセットでトレーニングされたモデルによって生成された最大の要約コレクションを組み立てる。
  論文  参考訳（メタデータ） (2020-07-24T16:25:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。