論文の概要: Change the Funnel, Not Who May Submit: Engineering Peer Review for the Flood

• arxiv url: http://arxiv.org/abs/2611.01076v1
• Date: Sat, 31 Oct 2026 16:14:52 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:31:23.398823
• Title: Change the Funnel, Not Who May Submit: Engineering Peer Review for the Flood
• Title（参考訳）: 洪水のエンジニアリング・ピアレビュー:ファンネルを変えるのは誰なのか?
• Abstract要約: NeurIPSは2026年に30,709件の応募を受け、2021年には3倍以上の数の応募を受け、レビューには184,000人の専門家が費やした。 ステージ化されたファンネルでは、自動品質チェックがまず、準備が整っていない書類を返します。 ファイナリストだけが完全な読み取りを受け取り、クレームをチェックして最終ランキングに着目する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Every reviewer knows the feeling: more papers each cycle, three full reviews for each of them, and a suspicion that near the accept line the outcome is luck. The numbers bear it out. NeurIPS received 30,709 submissions in 2026, more than three times as many as in 2021, and reviewing them took some 184,000 expert hours, or 92 years of researchers' time. Three-quarters of those hours went to papers that were rejected. And when NeurIPS twice had the same papers reviewed by two committees, the second rejected half of what the first accepted. Conferences are responding by limiting who may submit. We simulated that answer, and an alternative, in a model calibrated to the NeurIPS experiments. The limits save little and select no better, and those based on a past acceptance fall mostly on new authors. The alternative changes how papers are judged, spending full reads only where a decision turns on them. In a staged funnel, an automated quality check first turns back papers that are not ready. The rest are ranked by their value, from short summaries, by readers that each submission brings. Only the finalists get a full read, which checks their claims and settles the final ranking. The staged funnel needs a little over half of today's expert hours, accepts 95.5% of papers in the top 3-10% (against 74% today), and makes nearly every top-0.5% paper a spotlight or oral. And because every paper brings its own reader, the funnel keeps pace with the flood.
• Abstract（参考訳）: すべてのレビュアーは、それぞれのサイクルごとに多くの論文、それぞれのサイクルについて3つの完全なレビュー、そして、受け入れラインに近い結果が幸運である、という感覚を知っています。 数字に当てはまる。 NeurIPSは2026年に30,709件の応募を受け、2021年には3倍以上の数の応募を受け、専門家の184,000時間、研究者の92年を要した。 その時間の4分の3は、却下された書類に費やされた。 そしてNeurIPSが2回同じ論文を2つの委員会でレビューしたとき、2回目は最初の委員会が受け入れた論文の半分を拒絶した。 会議は、誰が提出できるかを制限することで対応している。 我々は、NeurIPS実験を校正したモデルで、その答えと代替案をシミュレートした。 制限はわずかに節約され、選択は改善されず、過去の受け入れに基づくものは、主に新しい著者に委ねられる。 代替案は、論文の判断方法を変え、決定が効く場所のみを全読する。 ステージ化されたファンネルでは、自動品質チェックがまず、準備が整っていない書類を返します。 残りは、各投稿がもたらす短い要約から、その価値によってランク付けされる。 ファイナリストだけが完全な読み取りを受け取り、クレームをチェックして最終ランキングに着目する。 舞台化されたファンネルは、今日の専門家時間の半分以上を必要とし、上位3～10%(現在は74%)で95.5%の論文を受け入れ、上位0.5%の紙をスポットライトや口頭で飾る。 そして各紙が独自のリーダーを持ってくるので、ファンネルは洪水に合わせてペースを保ちます。

関連論文リスト

• ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New Research [142.20765121870303]
  我々はScholarCatalystを構築し、207のコンピュータサイエンス論文の184人のリード著者に、候補者がプロジェクトを進めたか、あるいは前進させたかのラベルを付ける。 最初の研究課題として,プロジェクト開始時に利用可能な文献のみから,これらの論文を検索する。 クロード・ファブル 5.1 上に作られたエージェントでさえ、訓練中に完成した書類を見たかもしれないが、わずか 0.51 R@20 である。
  論文  参考訳（メタデータ） (2026-10-01T17:59:47Z)
• Science or Slop?: Benchmarking and Mitigating Scientific Slop in AI-Generated Papers [59.059012465617634]
  しかし、AIが生成する科学論文には、既存のトークンベースのAI検出器では容易に検出できない、より複雑なパターンがある。 これらの失敗を、構造、論証、アーティファクトの6つの尺度を通じて科学的にスロープしたものとして評価する。 本研究では,SciSlopHarnessを提案する。SciSlopHarnessは,実験記録が変更をサポートする場合にのみスロープを修正するための固定LDMをガイドするフレームワークである。
  論文  参考訳（メタデータ） (2026-09-30T18:16:42Z)
• Does Multi-Agent Debate Improve AI Feedback on Research Papers? [0.0]
  44のメタアナリシスの著者は、自身の論文で3つのAIレポートを、改善に有用性でランク付けした。 完成した論文に対する知覚的有用性を測定し,AIが論文を参照すべきかどうかを別途問う。
  論文  参考訳（メタデータ） (2026-07-16T08:24:27Z)
• Publishing Without Journals: An Open, Forkable Archive with Attributed Review [0.0]
  私たちは、普及と認定をひとつの強制的な行為にまとめることは、パッチを当てるべき欠陥ではないと論じています。 著者は文書を公開アーカイブに保管する; 認証は、著者が返信する可能性のある、属性付きまたは上書きされた、あるいは下書きされた公開コメントを通じて、継続的に行われる。 ペーパーは、任意の資格を持つ読者がエンフォークできるバージョン管理されたオブジェクトであり、アイデアの系統(つまりそのクレジット)が自動的に記録される。
  論文  参考訳（メタデータ） (2026-07-05T20:57:36Z)
• Stop Automating Peer Review Without Rigorous Evaluation [51.53099943385505]
  このポジションペーパーは、今日のAIシステムは、論文レビューの作成に使用すべきではない、と論じている。 1)AIレビュアーは、視点の多様性を低下させる論文内および新聞内における過剰な合意の隠れた効果を示す。 ピアレビューの危機に対処するには、ピアレビューの自動化の科学が必要です。
  論文  参考訳（メタデータ） (2026-05-04T22:41:04Z)
• Has the Machine Learning Review Process Become More Arbitrary as the Field Has Grown? The NeurIPS 2021 Consistency Experiment [86.77085171670323]
  2014年のNeurIPS実験では、2つの独立した委員会によって10%の会議の提出をレビューし、レビュープロセスにおけるランダム性を定量化した。 両委員会が論文の23%の勧告を受理・棄却することに反対し、審査プロセスがランダムに再実行された場合、2014年度の結果と一致して、受理された論文のリストの約半数が変更されることを観察する。
  論文  参考訳（メタデータ） (2023-06-05T21:26:12Z)
• How do Authors' Perceptions of their Papers Compare with Co-authors' Perceptions and Peer-review Decisions? [87.00095008723181]
  著者は論文の受理確率をおよそ3倍過大評価している。 女性作家は、男性作家よりも極端に高い(統計的に重要な)誤校正を示す。 受理された論文と受理された論文の回答者の少なくとも30%は、レビュープロセス後に自身の論文に対する認識が改善したと述べている。
  論文  参考訳（メタデータ） (2022-11-22T15:59:30Z)
• Inconsistency in Conference Peer Review: Revisiting the 2014 NeurIPS Experiment [26.30237757653724]
  コンファレンスピアレビューにおいて不整合性を検討した2014 NeurIPS 実験を再検討した。 強調された論文では,品質スコアと紙の影響には相関がないことがわかった。
  論文  参考訳（メタデータ） (2021-09-20T18:06:22Z)
• Can We Automate Scientific Reviewing? [89.50052670307434]
  我々は、最先端自然言語処理(NLP)モデルを用いて、科学論文の第一パスピアレビューを生成する可能性について論じる。 我々は、機械学習領域で論文のデータセットを収集し、各レビューでカバーされているさまざまなコンテンツに注釈を付け、レビューを生成するために論文を取り込み、ターゲットの要約モデルを訓練する。 総合的な実験結果から、システム生成レビューは、人間によるレビューよりも、論文の多くの側面に触れる傾向にあることが示された。
  論文  参考訳（メタデータ） (2021-01-30T07:16:53Z)
• Prior and Prejudice: The Novice Reviewers' Bias against Resubmissions in Conference Peer Review [35.24369486197371]
  現代の機械学習とコンピュータサイエンスのカンファレンスは、ピアレビューの品質に挑戦する応募の数が急増している。 いくつかのカンファレンスは、著者が論文の以前の提出履歴を宣言するよう促したり、要求したりし始めた。 本研究は、レビュー対象の提出が以前、類似の会場で拒否されたという知識から生じる偏見について検討する。
  論文  参考訳（メタデータ） (2020-11-30T09:35:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。