論文の概要: A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence
- arxiv url: http://arxiv.org/abs/2402.12928v5
- Date: Sat, 14 Dec 2024 14:04:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-17 13:51:53.394801
- Title: A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence
- Title（参考訳）: パターン分析とマシンインテリジェンスにおける文献レビュー
- Authors: Penghai Zhao, Xin Zhang, Jiayue Cao, Ming-Ming Cheng, Jian Yang, Xiang Li,
- Abstract要約: パターン分析とマシンインテリジェンス(PAMI)は、情報の収集と断片化を目的とした多くの文献レビューにつながっている。
本稿では、PAMI分野におけるこれらの文献レビューの徹底的な分析について述べる。
1)PAMI文献レビューの構造的・統計的特徴は何か,(2)レビューの増大するコーパスを効率的にナビゲートするために研究者が活用できる戦略は何か,(3)AIが作成したレビューの利点と限界は人間によるレビューと比較するとどのようなものか,という3つの主要な研究課題に対処しようとする。
- 参考スコア（独自算出の注目度）: 55.33653554387953
- License:
- Abstract: The rapid advancements in Pattern Analysis and Machine Intelligence (PAMI) have led to an overwhelming expansion of scientific knowledge, spawning numerous literature reviews aimed at collecting and synthesizing fragmented information. This paper presents a thorough analysis of these literature reviews within the PAMI field, and tries to address three core research questions: (1) What are the prevalent structural and statistical characteristics of PAMI literature reviews? (2) What strategies can researchers employ to efficiently navigate the growing corpus of reviews? (3) What are the advantages and limitations of AI-generated reviews compared to human-authored ones? To address the first research question, we begin with a narrative overview to highlight common preferences in composing PAMI reviews, followed by a statistical analysis to quantitatively uncover patterns in these preferences. Our findings reveal several key insights. First, fewer than 20% of PAMI reviews currently comply with PRISMA standards, although this proportion is gradually increasing. Second, there is a moderate positive correlation between the quality of references and the scholarly impact of reviews, emphasizing the importance of reference selection. To further assist researchers in efficiently managing the rapidly growing number of literature reviews, we introduce four novel, real-time, article-level bibliometric indicators that facilitate the screening of numerous reviews. Finally, our comparative analysis reveals that AI-generated reviews currently fall short of human-authored ones in accurately evaluating the academic significance of newly published articles and integrating rich visual elements, which limits their practical utility. Overall, this study provides a deeper understanding of PAMI literature reviews by uncovering key trends, evaluating current practices, and highlighting areas for future improvement.
- Abstract（参考訳）: パターン分析とマシンインテリジェンス(PAMI)の急速な進歩は、科学的知識の圧倒的な拡大をもたらし、断片化された情報の収集と合成を目的とした多くの文献レビューを生み出した。
本稿は、PAMI分野におけるこれらの文献レビューを徹底的に分析し、(1)PAMI文献レビューの構造的特徴と統計的特徴について、3つの中核的な研究課題に対処しようとするものである。
2) 研究者は、増大するレビューコーパスを効率的にナビゲートするために、どのような戦略を採ることができるか。
(3)人間によるレビューと比べ、AIによるレビューの利点と限界は何か。
最初の研究課題に対処するために、我々はPAMIレビューの作成において共通の嗜好を強調する物語概要から始め、続いてこれらの選好のパターンを定量的に解明する統計分析を行った。
我々の発見はいくつかの重要な洞察を浮き彫りにした。
まず、PAMIレビューの20%未満がPRISMA標準に準拠しているが、この割合は徐々に増加している。
第2に、参照の質とレビューの学術的影響との間には適度な正の相関関係があり、参照選択の重要性を強調している。
本研究は, 論文レビューの迅速化を支援するために, 多数の文献レビューのスクリーニングを容易にする4つの新しい, リアルタイム, 記事レベルの文献指標を導入する。
最後に、我々の比較分析により、AIが作成したレビューは、新しく公開された記事の学術的重要性を正確に評価し、リッチな視覚要素を統合することで、人間によるレビューに不足していることが明らかになった。
本研究は、PAMI文献レビューの理解を深め、重要なトレンドを明らかにし、現在の実践を評価し、今後の改善に向けての領域を明らかにする。
関連論文リスト
- LLMs Assist NLP Researchers: Critique Paper (Meta-)Reviewing [106.45895712717612]
大規模言語モデル(LLM)は、様々な生成タスクにおいて顕著な汎用性を示している。
本研究は,NLP研究者を支援するLLMの話題に焦点を当てる。
私たちの知る限りでは、このような包括的な分析を提供するのはこれが初めてです。
論文 参考訳（メタデータ） (2024-06-24T01:30:22Z) - RelevAI-Reviewer: A Benchmark on AI Reviewers for Survey Paper Relevance [0.8089605035945486]
本稿では,調査論文レビューの課題を分類問題として概念化するシステムであるRelevAI-Reviewerを提案する。
25,164のインスタンスからなる新しいデータセットを導入する。各インスタンスには1つのプロンプトと4つの候補論文があり、それぞれがプロンプトに関連している。
我々は,各論文の関連性を判断し,最も関連性の高い論文を識別できる機械学習(ML)モデルを開発した。
論文 参考訳（メタデータ） (2024-06-13T06:42:32Z) - CASIMIR: A Corpus of Scientific Articles enhanced with Multiple Author-Integrated Revisions [7.503795054002406]
本稿では,学術論文の執筆過程の改訂段階について,原文資料を提案する。
この新しいデータセットはCASIMIRと呼ばれ、OpenReviewの15,646の科学論文の改訂版とピアレビューを含んでいる。
論文 参考訳（メタデータ） (2024-03-01T03:07:32Z) - Scientific Opinion Summarization: Paper Meta-review Generation Dataset, Methods, and Evaluation [55.00687185394986]
本稿では,論文レビューをメタレビューに合成する,科学的意見要約の課題を提案する。
ORSUMデータセットは、47のカンファレンスから15,062のメタレビューと57,536の論文レビューをカバーしている。
実験の結果,(1)人間による要約は,議論の深みや特定の領域に対するコンセンサスや論争の特定など,必要な基準をすべて満たしていないこと,(2)タスクの分解と反復的自己調整の組み合わせは,意見の強化に強い可能性を示唆している。
論文 参考訳（メタデータ） (2023-05-24T02:33:35Z) - Hierarchical Catalogue Generation for Literature Review: A Benchmark [36.22298354302282]
本稿では,7.6kの文献レビューカタログと389kの参考論文を収録した,新しい英語階層カタログ・オブ・文学レビューデータセットを構築した。
モデルの性能を正確に評価するために,2つの評価指標を設計する。
論文 参考訳（メタデータ） (2023-04-07T07:13:35Z) - Artificial intelligence technologies to support research assessment: A
review [10.203602318836444]
この文献レビューは、記事のテキストから、より高いインパクトやより高い品質の研究に関連する指標を特定する。
論文やカンファレンス論文の引用数や品質スコアを予測するために機械学習技術を使用した研究が含まれている。
論文 参考訳（メタデータ） (2022-12-11T06:58:39Z) - NLPeer: A Unified Resource for the Computational Study of Peer Review [58.71736531356398]
NLPeer - 5万以上の論文と5つの異なる会場からの1万1千件のレビューレポートからなる、初めて倫理的にソースされたマルチドメインコーパス。
従来のピアレビューデータセットを拡張し、解析および構造化された論文表現、豊富なメタデータ、バージョニング情報を含む。
我々の研究は、NLPなどにおけるピアレビューの体系的、多面的、エビデンスに基づく研究への道のりをたどっている。
論文 参考訳（メタデータ） (2022-11-12T12:29:38Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳（メタデータ） (2022-11-07T16:19:42Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-02T19:41:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。