論文の概要: Author-in-the-loop Agentic Reproducibility Auditing for a Machine Learning Conference

• arxiv url: http://arxiv.org/abs/2610.22465v1
• Date: Thu, 15 Oct 2026 17:28:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.602932
• Title: Author-in-the-loop Agentic Reproducibility Auditing for a Machine Learning Conference
• Title（参考訳）: 機械学習会議におけるオーサリング・イン・ザ・ループエージェントの再現性監査
• Abstract要約: 本稿では,著者がAIエージェントの調査と評価に対して明示的な入力を宣言する,ループ上での著者共同監査について述べる。 GitHubの2段階ワークフローは、エージェントチェックを作者の明確化、修正、エージェントの再評価に接続する。 このシステムを36の会議論文と133の実験表と数字に展開し、人間によるレビュー後に20の問題を提起した。
• 参考スコア（独自算出の注目度）: 16.823598747041608
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reproducibility checks during peer review require a shared understanding of what authors' code is expected to reproduce. We present an author-in-the-loop collaborative audit that makes author declarations explicit inputs to an AI agent's investigation and assessment. A structured checklist records reproduction instructions and limitations; a two-stage workflow on GitHub connects agent checks to author clarification, revision, and agent reassessment. The agent separately assesses whether results have been reproduced and whether authors need to provide clarification or make repairs, while human reviewers approve requests and decide whether concerns are resolved. We deployed the system across 36 conference papers and 133 experimental tables and figures, raising 20 issues after human review. Further checks supported closing all the issues, although full reproduction remained unverified in some cases. We further compared repeated audits with complete and blank checklists to examine how author declarations shaped the agent's investigation and assessment. Our work contributes a collaborative workflow and agent design that use author knowledge to guide reproducibility auditing. The conference deployment provides empirical evidence that this approach can help identify and address reproducibility problems through collaboration among authors, agents, and reviewers.
• Abstract（参考訳）: ピアレビュー中の再現性チェックでは、著者のコードが再現されることを共有理解する必要がある。 本稿では,著者がAIエージェントの調査と評価に対して明示的な入力を宣言する,ループ上での著者共同監査について述べる。 GitHub上の2段階のワークフローは、エージェントチェックを作者の明確化、修正、エージェントの再評価に接続する。 エージェントは、結果が再現されたか、著者が明確化をする必要があるか、あるいは修復する必要があるかを別々に評価する一方、人間レビュアーは要求を承認し、懸念が解決されるかどうかを判断する。 このシステムを36の会議論文と133の実験表と数字に展開し、人間によるレビュー後に20の問題を提起した。 さらなる検査で全ての問題が解決できたが、一部では完全な再現は未検証のままであった。 さらに、著者の宣言がエージェントの調査と評価をどう形作ったかを調べるために、チェックリストの完全と空白のチェックリストと繰り返し監査を比較した。 我々の研究は、著者の知識を使って再現性監査をガイドする協調的なワークフローとエージェント設計に貢献している。 カンファレンスの展開は、このアプローチが著者、エージェント、レビュアー間のコラボレーションを通じて再現性の問題を特定し、対処するのに役立つという実証的な証拠を提供する。

関連論文リスト

• NarrativeSteward: Coordinating Delegation, Guidance, and Verification in Agent-Assisted Interactive Narrative Authoring [13.159080542424809]
  我々はNarrativeStewardというオーサリング環境について紹介する。これはエージェントの実装と著者指導のためのリンクされたアーティファクトとして,ワールドビルディングとナラティブグラフを整理する。 エージェント対話とプロジェクト全体の構造的レビューは、著者が進化する作業を理解し、ローカルとクロスレイヤのリビジョンをガイドするのに役立ちます。 技術的テストでは、システムの変更記録、回復メカニズム、実行診断が検証された。
  論文  参考訳（メタデータ） (2026-09-30T09:04:28Z)
• CALLIOPE: A Source-Grounded Oral Assessment System and Synthetic Readiness Evaluation [0.0]
  CALLIOPEは、バージョン付き指導資料、学習者のターン記録と書き起こし、適応的質問、二者評価、教育者レビュー、輸出可能な証拠を統合する、ソース・グラウンドド・オーラルアセスメントシステムである。 本技術報告では,CALLIOPEについて述べる。CALLIOPEは,バージョン付き指導資料,学習者ターン記録と転写,適応的質問,2段階のスコアリング,教育者レビュー,輸出可能なエビデンスを統合した,ソースグラウンドによる口頭評価システムである。
  論文  参考訳（メタデータ） (2026-09-25T12:01:25Z)
• PaperDoctor: Evidence-Grounded and Actionable Feedback for Scientific Papers in Progress [130.58520199343707]
  PaperDoctorは,3つの重要なイノベーションを備えた,サブミッション前のフィードバックのためのエージェントフレームワークである。 まず、全体論的階層的なフレームワークは、書き込み、レイアウト、参照、コード、理論、先行作業、実験を評価します。 第二に、各発見には、観察、文、方程式、コードラインなどの特定の証拠へのポインタ、修正提案が含まれる。 第3に、PaperDoctorはクレームの重要性と計算予算に基づいて実験を選択的に再構築し、再実行する。
  論文  参考訳（メタデータ） (2026-09-15T11:08:11Z)
• Peerify: Benchmarking Peer-Review Claim Verification [11.93456759575797]
  我々は、ピアレビュークレームの原稿ベース検証のためのパイプラインであるPeerifyを提示する。 原稿とレビューのコメントが与えられた後、Peerifyパイプラインはレビューをアトミックなクレームに分解し、関連する原稿証拠を取得し、各クレームが論文によって支持されているかどうかを決定する。 我々はPierifyパイプラインにおける最先端言語モデルと検索戦略を,詳細なベースラインとともに評価する。
  論文  参考訳（メタデータ） (2026-09-02T20:35:02Z)
• SWE-Review: Closing the Loop on Issue Resolution with Agentic Code Review [47.72392142544407]
  コーディングエージェントは、現実世界のソフトウェア問題に対するプルリクエスト(PR)をますます生成します。 PRは、体系的なレビュー、診断、修正なしに提案される。 エージェントコードレビューでこのループを閉じるためのフレームワークである textbfSWE-Review を導入する。
  論文  参考訳（メタデータ） (2026-07-07T09:37:45Z)
• Review the Code, Not the Story: A Vision and Protocol for Code-First Peer Review [2.531440973296736]
  このビジョンとプロトコルペーパーは、コードファーストピアレビューを提案する。 著者は、実行可能な研究成果物と最小限のクレームマニフェストを提出する。 会場に制御されたAIシステムは環境を構築し、実験を実行し、コードパスを監査し、証拠のクレームをマップし、人間レビュアーのための標準化されたレビューパッケージを生成する。
  論文  参考訳（メタデータ） (2026-06-05T01:26:07Z)
• Author-in-the-Loop Response Generation and Evaluation: Integrating Author Expertise and Intent in Responses to Peer Review [53.99984738447279]
  最近の作業は、このタスクを著者の専門知識と意図を活かした自動テキスト生成として捉えている。 本稿では,著者の明示的な入力,多属性制御,評価誘導による改良を統合したREspGenについて紹介する。 この定式化をサポートするために、アライメントされたレビュー-レスポンス-リビジョン三つ子の最初の大規模データセットであるRe$3$Alignを構築した。
  論文  参考訳（メタデータ） (2026-01-19T14:07:10Z)
• Learning to Summarize by Learning to Quiz: Adversarial Agentic Collaboration for Long Document Summarization [86.98098988779809]
  SummQは長期文書要約のための新しい逆多重エージェントフレームワークである。 提案手法では,包括的な要約を作成し,評価するために協調作業を行う要約ジェネレータとレビュアーを用いる。 広範に使用されている3つの文書要約ベンチマーク上でSummQを評価する。
  論文  参考訳（メタデータ） (2025-09-25T08:36:19Z)
• Mitigating Manipulation in Peer Review via Randomized Reviewer Assignments [96.114824979298]
  コンファレンスピアレビューにおける3つの重要な課題は、特定の論文に割り当てられる悪意のある試みであり、"Torpedo reviewing"である。 我々は、これらの課題を共通の傘の下にまとめ、レビュアーの割り当てのための(ランダム化された)アルゴリズムを示すフレームワークを提案する。 我々のアルゴリズムは、悪意のあるレビュアーが希望する論文に割り当てられる確率を50%に抑えつつ、完全な最適類似性の90%以上を割り当てることができます。
  論文  参考訳（メタデータ） (2020-06-29T23:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。