論文の概要: State-of-Art-Reviewing: A Radical Proposal to Improve Scientific
Publication
- arxiv url: http://arxiv.org/abs/2003.14415v1
- Date: Tue, 31 Mar 2020 17:58:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-18 01:07:50.655443
- Title: State-of-Art-Reviewing: A Radical Proposal to Improve Scientific
Publication
- Title(参考訳): state-of-art-reviewing: 科学的出版を改善するための急進的な提案
- Authors: Samuel Albanie, Jaime Thewmore, Robert McCraith, Joao F. Henriques
- Abstract要約: State-Of-the-Art Review (SOAR)は、ピアレビューの'plug-and-play'代替として機能する新奇なレビューパイプラインである。
私たちのアプローチの核心は、レビュープロセスが多目的で、大規模に分散し、非常に高いレイテンシの最適化である、という解釈です。
- 参考スコア(独自算出の注目度): 19.10668029301668
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Peer review forms the backbone of modern scientific manuscript evaluation.
But after two hundred and eighty-nine years of egalitarian service to the
scientific community, does this protocol remain fit for purpose in 2020? In
this work, we answer this question in the negative (strong reject, high
confidence) and propose instead State-Of-the-Art Review (SOAR), a neoteric
reviewing pipeline that serves as a 'plug-and-play' replacement for peer
review. At the heart of our approach is an interpretation of the review process
as a multi-objective, massively distributed and extremely-high-latency
optimisation, which we scalarise and solve efficiently for PAC and CMT-optimal
solutions. We make the following contributions: (1) We propose a highly
scalable, fully automatic methodology for review, drawing inspiration from
best-practices from premier computer vision and machine learning conferences;
(2) We explore several instantiations of our approach and demonstrate that SOAR
can be used to both review prints and pre-review pre-prints; (3) We wander
listlessly in vain search of catharsis from our latest rounds of savage CVPR
rejections.
- Abstract(参考訳): ピアレビューは現代の科学的写本評価のバックボーンを形成する。
しかし、科学界に200年と80年にわたる平等主義的奉仕を経て、このプロトコルは2020年にも適用できるのだろうか?
本稿では,この疑問に否定的(強い拒絶,高い信頼)で答え,ピアレビューの'プラグ・アンド・プレイ'代替として機能するネオテリックレビューパイプラインであるsoar(state-of-the-art review)を提案する。
我々のアプローチの核心は、レビュープロセスを多目的、大規模に分散し、非常に高いレイテンシの最適化であると解釈し、PACおよびCMT最適化ソリューションに対して効率的に解決する。
1) 評価のための高度にスケーラブルで完全自動化された方法論を提案し, コンピュータビジョンと機械学習のカンファレンスから最高の実践からインスピレーションを得た。2) アプローチのいくつかのインスタンスを探索し, 印刷物レビューとプレレビューのプレプリントの両方にsearが利用できることを実証する。
関連論文リスト
- What Constitutes a Faithful Summary? Preserving Author Perspectives in
News Summarization [60.051007575540595]
既存のアプローチは、要約の50%以上でニュース記事の政治的意見やスタンスを変えている。
政治視点分類器によって制御される拡散モデルに基づく要約手法であるP3Sumを提案する。
3つのニュース要約データセットの実験により、P3Sumは最先端の要約システムより優れていることが示された。
論文 参考訳(メタデータ) (2023-11-16T10:14:28Z) - Unveiling the Sentinels: Assessing AI Performance in Cybersecurity Peer
Review [4.081120388114928]
サイバーセキュリティの分野では、ダブルブラインドピアレビューの実践がデファクトスタンダードである。
本稿では、ピアレビューの聖杯に触れ、学術的セキュリティカンファレンスのレビューにおけるAIのパフォーマンスについて光を当てることを目的としている。
本研究では,人間レビュアーと機械学習モデルから得られた結果を比較し,評価結果の予測可能性について検討する。
論文 参考訳(メタデータ) (2023-09-11T13:51:40Z) - Has the Machine Learning Review Process Become More Arbitrary as the
Field Has Grown? The NeurIPS 2021 Consistency Experiment [86.77085171670323]
2014年のNeurIPS実験では、2つの独立した委員会によって10%の会議の提出をレビューし、レビュープロセスにおけるランダム性を定量化した。
両委員会が論文の23%の勧告を受理・棄却することに反対し、審査プロセスがランダムに再実行された場合、2014年度の結果と一致して、受理された論文のリストの約半数が変更されることを観察する。
論文 参考訳(メタデータ) (2023-06-05T21:26:12Z) - Scientific Opinion Summarization: Meta-review Generation with
Checklist-guided Iterative Introspection [61.99041542129813]
本稿では,論文レビューをメタレビューに合成する,科学的意見要約の課題を提案する。
39のカンファレンスから10,989のペーパーメタレビューと40,903のペーパーレビューをカバーする新しいORSUMデータセットを紹介した。
結論として,(1) 人書き要約はガイドラインに従わないものが多いため,必ずしも信頼できないものであって,(2) 課題分解と反復的自己調整の組み合わせは,有望な議論参加能力を示している。
論文 参考訳(メタデータ) (2023-05-24T02:33:35Z) - Towards a Standardised Performance Evaluation Protocol for Cooperative
MARL [2.2977300225306583]
マルチエージェント強化学習(MARL)は,分散型意思決定問題を大規模に解く上で有用な手法である。
本研究は,MARLにおける大規模研究機関にまたがる評価手法に焦点をあてて,この迅速な開発についてより詳しく考察する。
協調型MARLのための標準化された性能評価プロトコルを提案する。
論文 参考訳(メタデータ) (2022-09-21T16:40:03Z) - Automated scholarly paper review: Concepts, technologies, and challenges [5.431798850623952]
近年、ピアレビュープロセスを支援するために人工知能(AI)が応用されている。
人間の関与により、このような制限は避けられないままである。
論文 参考訳(メタデータ) (2021-11-15T04:44:57Z) - Generating Summaries for Scientific Paper Review [29.12631698162247]
機械学習とNLPにおけるトップの会場への応募の増加は、レビュアーに過剰な負担を課す問題を引き起こしている。
レビュープロセスを支援する自動システムは、問題を改善するための解決策になり得る。
本稿では,学術論文の自動レビュー要約生成について検討する。
論文 参考訳(メタデータ) (2021-09-28T21:43:53Z) - Towards Explainable Scientific Venue Recommendations [0.09668407688201358]
本稿では,この領域における最先端の手法を提案する。
まず,非負行列分解に基づくトピックモデルを用いて,推薦の解釈可能性を高める。
第二に、より単純な学習方法を用いて、驚くほど競争力のあるレコメンデーション性能を得ることができる。
論文 参考訳(メタデータ) (2021-09-21T10:25:26Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-02T19:41:47Z) - Can We Automate Scientific Reviewing? [89.50052670307434]
我々は、最先端自然言語処理(NLP)モデルを用いて、科学論文の第一パスピアレビューを生成する可能性について論じる。
我々は、機械学習領域で論文のデータセットを収集し、各レビューでカバーされているさまざまなコンテンツに注釈を付け、レビューを生成するために論文を取り込み、ターゲットの要約モデルを訓練する。
総合的な実験結果から、システム生成レビューは、人間によるレビューよりも、論文の多くの側面に触れる傾向にあることが示された。
論文 参考訳(メタデータ) (2021-01-30T07:16:53Z) - Hierarchical Bi-Directional Self-Attention Networks for Paper Review
Rating Recommendation [81.55533657694016]
本稿では,階層型双方向自己注意ネットワークフレームワーク(HabNet)を提案する。
具体的には、文エンコーダ(レベル1)、レビュー内エンコーダ(レベル2)、レビュー間エンコーダ(レベル3)の3つのレベルで、論文レビューの階層構造を利用する。
我々は、最終的な受理決定を行う上で有用な予測者を特定することができ、また、数値的なレビュー評価とレビュアーが伝えるテキストの感情の不整合を発見するのに役立てることができる。
論文 参考訳(メタデータ) (2020-11-02T08:07:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。