論文の概要: State-of-Art-Reviewing: A Radical Proposal to Improve Scientific Publication

• arxiv url: http://arxiv.org/abs/2003.14415v1
• Date: Tue, 31 Mar 2020 17:58:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-18 01:07:50.655443
• Title: State-of-Art-Reviewing: A Radical Proposal to Improve Scientific Publication
• Title（参考訳）: state-of-art-reviewing: 科学的出版を改善するための急進的な提案
• Authors: Samuel Albanie, Jaime Thewmore, Robert McCraith, Joao F. Henriques
• Abstract要約: State-Of-the-Art Review (SOAR)は、ピアレビューの'plug-and-play'代替として機能する新奇なレビューパイプラインである。 私たちのアプローチの核心は、レビュープロセスが多目的で、大規模に分散し、非常に高いレイテンシの最適化である、という解釈です。
• 参考スコア（独自算出の注目度）: 19.10668029301668
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Peer review forms the backbone of modern scientific manuscript evaluation. But after two hundred and eighty-nine years of egalitarian service to the scientific community, does this protocol remain fit for purpose in 2020? In this work, we answer this question in the negative (strong reject, high confidence) and propose instead State-Of-the-Art Review (SOAR), a neoteric reviewing pipeline that serves as a 'plug-and-play' replacement for peer review. At the heart of our approach is an interpretation of the review process as a multi-objective, massively distributed and extremely-high-latency optimisation, which we scalarise and solve efficiently for PAC and CMT-optimal solutions. We make the following contributions: (1) We propose a highly scalable, fully automatic methodology for review, drawing inspiration from best-practices from premier computer vision and machine learning conferences; (2) We explore several instantiations of our approach and demonstrate that SOAR can be used to both review prints and pre-review pre-prints; (3) We wander listlessly in vain search of catharsis from our latest rounds of savage CVPR rejections.
• Abstract（参考訳）: ピアレビューは現代の科学的写本評価のバックボーンを形成する。 しかし、科学界に200年と80年にわたる平等主義的奉仕を経て、このプロトコルは2020年にも適用できるのだろうか? 本稿では,この疑問に否定的(強い拒絶,高い信頼)で答え,ピアレビューの'プラグ・アンド・プレイ'代替として機能するネオテリックレビューパイプラインであるsoar(state-of-the-art review)を提案する。 我々のアプローチの核心は、レビュープロセスを多目的、大規模に分散し、非常に高いレイテンシの最適化であると解釈し、PACおよびCMT最適化ソリューションに対して効率的に解決する。 1) 評価のための高度にスケーラブルで完全自動化された方法論を提案し, コンピュータビジョンと機械学習のカンファレンスから最高の実践からインスピレーションを得た。2) アプローチのいくつかのインスタンスを探索し, 印刷物レビューとプレレビューのプレプリントの両方にsearが利用できることを実証する。

関連論文リスト

• Deep Transfer Learning Based Peer Review Aggregation and Meta-review Generation for Scientific Articles [2.0778556166772986]
  論文の受理決定とメタレビュー生成という2つのピアレビューアグリゲーション課題に対処する。 まず,従来の機械学習アルゴリズムを適用し,受理決定のプロセスを自動化することを提案する。 メタレビュー生成では,T5モデルに基づく移動学習モデルを提案する。
  論文  参考訳（メタデータ） (2024-10-05T15:40:37Z)
• Analysis of the ICML 2023 Ranking Data: Can Authors' Opinions of Their Own Papers Assist Peer Review in Machine Learning? [52.00419656272129]
  我々は2023年の国際機械学習会議(ICML)で実験を行った。 我々はそれぞれ2,592件の応募書を含む1,342件のランク付けを受けた。 著者によるランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
  論文  参考訳（メタデータ） (2024-08-24T01:51:23Z)
• What Can Natural Language Processing Do for Peer Review? [173.8912784451817]
  現代の科学ではピアレビューが広く使われているが、それは難しく、時間がかかり、エラーを起こしやすい。 ピアレビューに関わるアーティファクトは大部分がテキストベースであるため、自然言語処理はレビューを改善する大きな可能性を秘めている。 筆者らは、原稿提出からカメラ対応リビジョンまでの各工程について詳述し、NLP支援の課題と機会について論じる。
  論文  参考訳（メタデータ） (2024-05-10T16:06:43Z)
• Unveiling the Sentinels: Assessing AI Performance in Cybersecurity Peer Review [4.081120388114928]
  サイバーセキュリティの分野では、ダブルブラインドピアレビューの実践がデファクトスタンダードである。 本稿では、ピアレビューの聖杯に触れ、学術的セキュリティカンファレンスのレビューにおけるAIのパフォーマンスについて光を当てることを目的としている。 本研究では,人間レビュアーと機械学習モデルから得られた結果を比較し,評価結果の予測可能性について検討する。
  論文  参考訳（メタデータ） (2023-09-11T13:51:40Z)
• Has the Machine Learning Review Process Become More Arbitrary as the Field Has Grown? The NeurIPS 2021 Consistency Experiment [86.77085171670323]
  2014年のNeurIPS実験では、2つの独立した委員会によって10%の会議の提出をレビューし、レビュープロセスにおけるランダム性を定量化した。 両委員会が論文の23%の勧告を受理・棄却することに反対し、審査プロセスがランダムに再実行された場合、2014年度の結果と一致して、受理された論文のリストの約半数が変更されることを観察する。
  論文  参考訳（メタデータ） (2023-06-05T21:26:12Z)
• Towards a Standardised Performance Evaluation Protocol for Cooperative MARL [2.2977300225306583]
  マルチエージェント強化学習(MARL)は,分散型意思決定問題を大規模に解く上で有用な手法である。 本研究は,MARLにおける大規模研究機関にまたがる評価手法に焦点をあてて,この迅速な開発についてより詳しく考察する。 協調型MARLのための標準化された性能評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2022-09-21T16:40:03Z)
• Automated scholarly paper review: Concepts, technologies, and challenges [5.431798850623952]
  近年、ピアレビュープロセスを支援するために人工知能(AI)が応用されている。 人間の関与により、このような制限は避けられないままである。
  論文  参考訳（メタデータ） (2021-11-15T04:44:57Z)
• Towards Explainable Scientific Venue Recommendations [0.09668407688201358]
  本稿では,この領域における最先端の手法を提案する。 まず,非負行列分解に基づくトピックモデルを用いて,推薦の解釈可能性を高める。 第二に、より単純な学習方法を用いて、驚くほど競争力のあるレコメンデーション性能を得ることができる。
  論文  参考訳（メタデータ） (2021-09-21T10:25:26Z)
• Ranking Scientific Papers Using Preference Learning [48.78161994501516]
  我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。 ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-02T19:41:47Z)
• Can We Automate Scientific Reviewing? [89.50052670307434]
  我々は、最先端自然言語処理(NLP)モデルを用いて、科学論文の第一パスピアレビューを生成する可能性について論じる。 我々は、機械学習領域で論文のデータセットを収集し、各レビューでカバーされているさまざまなコンテンツに注釈を付け、レビューを生成するために論文を取り込み、ターゲットの要約モデルを訓練する。 総合的な実験結果から、システム生成レビューは、人間によるレビューよりも、論文の多くの側面に触れる傾向にあることが示された。
  論文  参考訳（メタデータ） (2021-01-30T07:16:53Z)
• Hierarchical Bi-Directional Self-Attention Networks for Paper Review Rating Recommendation [81.55533657694016]
  本稿では,階層型双方向自己注意ネットワークフレームワーク(HabNet)を提案する。 具体的には、文エンコーダ(レベル1)、レビュー内エンコーダ(レベル2)、レビュー間エンコーダ(レベル3)の3つのレベルで、論文レビューの階層構造を利用する。 我々は、最終的な受理決定を行う上で有用な予測者を特定することができ、また、数値的なレビュー評価とレビュアーが伝えるテキストの感情の不整合を発見するのに役立てることができる。
  論文  参考訳（メタデータ） (2020-11-02T08:07:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。