論文の概要: COMPARE: A Taxonomy and Dataset of Comparison Discussions in Peer
Reviews
- arxiv url: http://arxiv.org/abs/2108.04366v1
- Date: Mon, 9 Aug 2021 21:24:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-12 01:28:36.676463
- Title: COMPARE: A Taxonomy and Dataset of Comparison Discussions in Peer
Reviews
- Title（参考訳）: COMPARE: ピアレビューにおける比較検討の分類とデータセット
- Authors: Shruti Singh, Mayank Singh and Pawan Goyal
- Abstract要約: 本稿では,実験深層学習分野における研究論文のピアレビューにおける比較議論のデータセットについて述べる。
比較議論においてカテゴリ分類を構築し,これを分析するための詳細なアノテーションスキームを提示する。
全体として、1,800文をカバーする117のレビューを注釈し、F1スコアの最大0.49を報告します。
- 参考スコア（独自算出の注目度）: 9.838034994804124
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Comparing research papers is a conventional method to demonstrate progress in
experimental research. We present COMPARE, a taxonomy and a dataset of
comparison discussions in peer reviews of research papers in the domain of
experimental deep learning. From a thorough observation of a large set of
review sentences, we build a taxonomy of categories in comparison discussions
and present a detailed annotation scheme to analyze this. Overall, we annotate
117 reviews covering 1,800 sentences. We experiment with various methods to
identify comparison sentences in peer reviews and report a maximum F1 Score of
0.49. We also pretrain two language models specifically on ML, NLP, and CV
paper abstracts and reviews to learn informative representations of peer
reviews. The annotated dataset and the pretrained models are available at
https://github.com/shruti-singh/COMPARE .
- Abstract（参考訳）: 研究論文の比較は実験研究の進展を示す従来の方法である。
本稿では,実験深層学習領域の研究論文のピアレビューにおける比較,分類,比較議論のデータセットについて述べる。
大量のレビュー文の徹底的な観察から,比較議論においてカテゴリの分類を構築し,これを分析するための詳細なアノテーションスキームを提案する。
概して、1,800文をカバーする117のレビューに注釈を付けます。
ピアレビューで比較文を識別する様々な手法を試し,最大f1スコア0.49を報告する。
また,2つの言語モデル,特にml,nlp,cv論文の要約とレビューを事前学習し,ピアレビューのインフォメーション表現を学ぶ。
アノテーション付きデータセットと事前トレーニングされたモデルはhttps://github.com/shruti-singh/COMPARE で公開されている。
関連論文リスト
- GLIMPSE: Pragmatically Informative Multi-Document Summarization for Scholarly Reviews [25.291384842659397]
本稿では,学術レビューの簡潔かつ包括的概要を提供するための要約手法であるsysを紹介する。
従来のコンセンサスに基づく手法とは異なり、sysは共通の意見とユニークな意見の両方をレビューから抽出する。
論文 参考訳（メタデータ） (2024-06-11T15:27:01Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [58.6354685593418]
本稿では, レビューを評価するために, 記事レベル, フィールド正規化, 大規模言語モデルを用いた書誌指標を提案する。
新たに登場したAI生成の文献レビューも評価されている。
この研究は、文学レビューの現在の課題についての洞察を与え、彼らの開発に向けた今後の方向性を思い起こさせる。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳（メタデータ） (2022-11-07T16:19:42Z) - A Bibliographic View on Constrained Clustering [4.705291741591329]
本稿では,制約付きクラスタリング領域とそのサブトピックの一般的な傾向について述べる。
利用可能なソフトウェアをリストアップし、参照コレクションの実験的なセクションを分析します。
私たちがレビューしたトピックの中で、アプリケーション研究は近年最も豊富でした。
論文 参考訳（メタデータ） (2022-09-22T16:11:47Z) - Near-Optimal Reviewer Splitting in Two-Phase Paper Reviewing and
Conference Experiment Design [76.40919326501512]
総割り当ての類似性を最大化するために、レビュアーを段階または条件に分けるにはどうすればいいのか?
実会議データに関連する複数のデータセットに対して、ランダムに位相/条件を均一に分割することで、オラクルの最適割り当てとほぼ同等の割り当てが可能であることを実証的に示す。
論文 参考訳（メタデータ） (2021-08-13T19:29:41Z) - ConvoSumm: Conversation Summarization Benchmark and Improved Abstractive
Summarization with Argument Mining [61.82562838486632]
我々は、さまざまなオンライン会話形式のニュースコメント、ディスカッションフォーラム、コミュニティ質問応答フォーラム、電子メールスレッドに関する4つの新しいデータセットをクラウドソースする。
我々は、データセットの最先端モデルをベンチマークし、データに関連する特徴を分析します。
論文 参考訳（メタデータ） (2021-06-01T22:17:13Z) - Hierarchical Bi-Directional Self-Attention Networks for Paper Review
Rating Recommendation [81.55533657694016]
本稿では,階層型双方向自己注意ネットワークフレームワーク(HabNet)を提案する。
具体的には、文エンコーダ(レベル1)、レビュー内エンコーダ(レベル2)、レビュー間エンコーダ(レベル3)の3つのレベルで、論文レビューの階層構造を利用する。
我々は、最終的な受理決定を行う上で有用な予測者を特定することができ、また、数値的なレビュー評価とレビュアーが伝えるテキストの感情の不整合を発見するのに役立てることができる。
論文 参考訳（メタデータ） (2020-11-02T08:07:50Z) - A Disentangled Adversarial Neural Topic Model for Separating Opinions
from Plots in User Reviews [35.802290746473524]
本稿では,ニューラルトピックモデルと敵対的トレーニングを組み合わせることで,プロットと中立的トピックから意見トピックを分離する手法を提案する。
本研究は,新たな映画・書評の収集とプロットの併用による評価を実験的に実施する。
改善されたコヒーレンスと多種多様なトピック、一貫した絡み合い率、および他の教師付きトピックモデルよりも優れた感情分類性能を示す。
論文 参考訳（メタデータ） (2020-10-22T02:15:13Z) - A Survey on Text Classification: From Shallow to Deep Learning [83.47804123133719]
過去10年は、ディープラーニングが前例のない成功を収めたために、この分野の研究が急増している。
本稿では,1961年から2021年までの最先端のアプローチを見直し,そのギャップを埋める。
特徴抽出と分類に使用されるテキストとモデルに基づいて,テキスト分類のための分類を作成する。
論文 参考訳（メタデータ） (2020-08-02T00:09:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。