論文の概要: Governing AI Research Through Peer Review: A Mixed-Methods Study of the Longitudinal Effects of Ethics Flags Across Resubmissions
- arxiv url: http://arxiv.org/abs/2609.10740v1
- Date: Wed, 09 Sep 2026 18:34:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.111115
- Title: Governing AI Research Through Peer Review: A Mixed-Methods Study of the Longitudinal Effects of Ethics Flags Across Resubmissions
- Title（参考訳）: ピアレビューを通じてAI研究を統治する: 再提出された倫理的フラッグの縦方向効果に関する混合手法による研究
- Abstract要約: 著者は、研究や構築よりも、出版したものを簡単に変更できる。
著者は、研究や構築よりも、出版したものを簡単に変更できる。
- 参考スコア（独自算出の注目度）: 2.4149105714758545
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Selective AI conferences have recently begun enforcing ethics flags and related review requirements, with the goal being to steer research towards safer and more responsible practices before publication. But do these requirements actually steer research as intended? In this paper, we show that authors more often revise how projects are presented following ethics flags than redirect their underlying research agendas. We first study the longitudinal effects of ethics flags by following rejected and withdrawn ICLR submissions with ethics flags into later public resubmissions, tracking manuscript changes after the ICLR review ends, when the original reviewers no longer oversee the project. We qualitatively code these resubmissions into five categories based on what changed after review and find that in 83% of 446 cases, authors leave the flagged concern unaddressed or revise the paper without changing the implicated methods or procedures. Then, we ask: if authors rarely change the research in response to ethics flags, what do they change instead? To answer this, we manually read reviews and rebuttals from 25 cases and directly interview authors about their rebuttal processes and resubmission decisions. We find that authors often concede concerns during rebuttal when reviewers can update their assessments, but drop those concessions after rejection when they do not regard the criticism as a sound reason to change the research. Interview participants describe publication changes as separate from changes to research direction, calling review an "editorial process" that shapes "what stories get seen" and, in another case, saying peer reviews are "mostly to filter out papers." Authors more readily change what they publish than what they study or build; we therefore recommend policy changes, especially disclosure of prior ethics flags upon resubmission so accountability carries over.
- Abstract（参考訳）: 選択型AIカンファレンスは先頃,倫理旗と関連するレビュー要件の実施を開始した。
しかし、これらの要件は実際に意図した研究を支えているのだろうか?
本稿では,研究課題を整理するよりも,倫理旗に従ってプロジェクトがどのように提示されるかを,著者がよりよく再考することを示す。
まず,ICLR レビュー終了後の原稿変更の追跡において,ICLR の再提出を拒否し,削除した ICLR の提出を後回しにすることで,倫理フラグの長手的効果について検討した。
446件のうち83%では、著者が関連する方法や手順を変更することなく、フラグ付きの関心事や修正を残さずに、これらの再提出を質的に5つのカテゴリに分類する。
著者が倫理旗に反応して研究を変更することはめったにないならば、代わりに何を変えるのか?
これに答えるために、25件のレビューとリビューを手作業で読み、著者に彼らのリビューのプロセスと再提出決定について直接インタビューする。
著者らは、レビュアーが評価を更新できるが、批判が研究を変える健全な理由とみなさない場合、拒絶後、その譲歩を断る場合、反感を抱くことが多い。
インタビュー参加者は、出版の変更は研究方向の変更とは別のものだと説明し、レビューを「ストーリーが何を見るか」を形作る「編集過程」と呼び、また別のケースでは、ピアレビューは「主に論文をフィルタリングする」と述べている。
そのため、我々は政策の変更を推奨し、特に、説明責任が引き継がれるように、再提出時に事前の倫理的フラグを公開することを推奨します。
関連論文リスト
- PaperDoctor: Evidence-Grounded and Actionable Feedback for Scientific Papers in Progress [130.58520199343707]
PaperDoctorは,3つの重要なイノベーションを備えた,サブミッション前のフィードバックのためのエージェントフレームワークである。
まず、全体論的階層的なフレームワークは、書き込み、レイアウト、参照、コード、理論、先行作業、実験を評価します。
第二に、各発見には、観察、文、方程式、コードラインなどの特定の証拠へのポインタ、修正提案が含まれる。
第3に、PaperDoctorはクレームの重要性と計算予算に基づいて実験を選択的に再構築し、再実行する。
論文 参考訳（メタデータ） (2026-09-15T11:08:11Z) - AppliedScientist: Automated Scientific Revision Through Iterative AI Reviewing [10.712519962597604]
我々は、自律的なAI科学者とAIレビュアーを結合するクローズドループシステムであるAppliedScientistを紹介する。
我々は、さまざまな研究分野から削除された論文を反復的に改訂して評価する。
論文 参考訳（メタデータ） (2026-09-13T18:59:10Z) - ActReview: Rebuttal-Guided Training Data and Rubric Rewards for Actionable Peer Review Generation [54.82704239643649]
本稿では, 紙固有の診断と具体的, 基礎的なリビジョン計画とを結びつける, 反感に満ちたポストトレーニングフレームワークである ActReview を紹介する。
我々の中心的な洞察は、著者の反論は、レビュアーの懸念に対処するための妥当な行動を明らかにし、それゆえ、リビジョン指向のフィードバックに対する潜在的な監督を提供することができるということである。
またActReview-Benchは、診断品質とリビジョンの有用性を評価するために、1,000インスタンスの人為的なベンチマークである。
論文 参考訳（メタデータ） (2026-09-08T17:30:16Z) - 3100 Opinions on Code Review in an AI World: Building Causal Theory from Practitioner Discourse [15.948323546029714]
コーディングエージェントがプルリクエスト全体を作成できるようになった。
コードレビューにどう影響するか 実践者は強く反対します
エージェントによるプルリクエストは、頻繁にレビューされ、数倍早くマージされ、人間によるプルリクエストよりも議論される。
論文 参考訳（メタデータ） (2026-07-08T23:11:46Z) - Review the Code, Not the Story: A Vision and Protocol for Code-First Peer Review [2.531440973296736]
このビジョンとプロトコルペーパーは、コードファーストピアレビューを提案する。
著者は、実行可能な研究成果物と最小限のクレームマニフェストを提出する。
会場に制御されたAIシステムは環境を構築し、実験を実行し、コードパスを監査し、証拠のクレームをマップし、人間レビュアーのための標準化されたレビューパッケージを生成する。
論文 参考訳（メタデータ） (2026-06-05T01:26:07Z) - Stop Automating Peer Review Without Rigorous Evaluation [51.53099943385505]
このポジションペーパーは、今日のAIシステムは、論文レビューの作成に使用すべきではない、と論じている。
1)AIレビュアーは、視点の多様性を低下させる論文内および新聞内における過剰な合意の隠れた効果を示す。
ピアレビューの危機に対処するには、ピアレビューの自動化の科学が必要です。
論文 参考訳（メタデータ） (2026-05-04T22:41:04Z) - When AI reviews science: Can we trust the referee? [73.47745294608072]
私たちは、トレーニングとデータ検索、デスクレビュー、深いレビュー、反論、システムレベルといった、レビューライフサイクル全体のアタックをマップします。
評価スコアに高名度フレーミング, 断定力, 反抗薬効, 文脈中毒の因果効果を分離するために, 2つの高度なLCMベースの審判を用いた。
論文 参考訳（メタデータ） (2026-04-26T08:03:32Z) - Is Peer Review Really in Decline? Analyzing Review Quality across Venues and Time [55.756345497678204]
本稿では,エビデンスに基づくレビュー品質の比較研究のための新しいフレームワークを提案する。
ICLR、NeurIPS、*ACLといった主要なAIおよび機械学習のカンファレンスに適用します。
レビュー品質の測定値と時間経過に伴うその進化の関係について検討する。
論文 参考訳（メタデータ） (2026-01-21T16:48:29Z) - Commitment Checklist: Auditing Author Commitments in Peer Review [55.67642089544162]
本稿では,大規模言語モデル(LLM)を用いた著者のコミットメントの大規模監査を行い,カメラ対応バージョンとの比較を行う。
約束された変更の大多数が実装されているが、かなりのシェア(約25%)は提供されていない。
我々は、著者やオーガナイザに未承認の約束を通知する、著者コミットチェックリストのアイデアを提案する。
論文 参考訳（メタデータ） (2026-01-08T05:37:09Z) - What Drives Paper Acceptance? A Process-Centric Analysis of Modern Peer Review [2.9282248958475345]
ICLR 2017-2025の大規模な実証研究を行い、28,000件以上の提出書を提出した。
以上の結果から,科学的新奇性以外の要因が受容結果を著しく形作っていることが示唆された。
著者,レビュアー,メタレビュアーに対して,ピアレビューにおける透明性と公正性を高めるためのデータ駆動ガイドラインを提案する。
論文 参考訳（メタデータ） (2025-09-30T03:00:10Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [51.26815896167173]
本稿では,3つの相補的な側面からPAMIレビューを総合的に分析する。
我々の分析は、現在のレビューの実践において、独特の組織パターンと永続的なギャップを明らかにします。
最後に、最先端のAI生成レビューの評価は、コヒーレンスと組織の進歩を奨励していることを示している。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z) - When Reviewers Lock Horn: Finding Disagreement in Scientific Peer
Reviews [24.875901048855077]
本稿では,ある記事のレビュアー間での矛盾を自動的に識別する新しいタスクを紹介する。
我々の知識を最大限に活用するために、ピアレビュアー間での意見の不一致を自動的に識別する最初の試みを行う。
論文 参考訳（メタデータ） (2023-10-28T11:57:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。