論文の概要: State-of-the-art generalisation research in NLP: A taxonomy and review

• arxiv url: http://arxiv.org/abs/2210.03050v4
• Date: Fri, 12 Jan 2024 13:11:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-15 21:53:42.182336
• Title: State-of-the-art generalisation research in NLP: A taxonomy and review
• Title（参考訳）: nlpにおける最新技術一般化研究:分類とレビュー
• Authors: Dieuwke Hupkes, Mario Giulianelli, Verna Dankers, Mikel Artetxe, Yanai Elazar, Tiago Pimentel, Christos Christodoulopoulos, Karim Lasri, Naomi Saphra, Arabella Sinclair, Dennis Ulmer, Florian Schottmann, Khuyagbaatar Batsuren, Kaiser Sun, Koustuv Sinha, Leila Khalatbari, Maria Ryskina, Rita Frieske, Ryan Cotterell, Zhijing Jin
• Abstract要約: NLPにおける一般化研究の特徴付けと理解のための分類法を提案する。 我々の分類学は、一般化研究の広範な文献レビューに基づいている。 私たちは、一般化をテストする400以上の論文を分類するために分類を使います。
• 参考スコア（独自算出の注目度）: 87.1541712509283
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ability to generalise well is one of the primary desiderata of natural language processing (NLP). Yet, what 'good generalisation' entails and how it should be evaluated is not well understood, nor are there any evaluation standards for generalisation. In this paper, we lay the groundwork to address both of these issues. We present a taxonomy for characterising and understanding generalisation research in NLP. Our taxonomy is based on an extensive literature review of generalisation research, and contains five axes along which studies can differ: their main motivation, the type of generalisation they investigate, the type of data shift they consider, the source of this data shift, and the locus of the shift within the modelling pipeline. We use our taxonomy to classify over 400 papers that test generalisation, for a total of more than 600 individual experiments. Considering the results of this review, we present an in-depth analysis that maps out the current state of generalisation research in NLP, and we make recommendations for which areas might deserve attention in the future. Along with this paper, we release a webpage where the results of our review can be dynamically explored, and which we intend to update as new NLP generalisation studies are published. With this work, we aim to take steps towards making state-of-the-art generalisation testing the new status quo in NLP.
• Abstract（参考訳）: 良く一般化する能力は自然言語処理(NLP)の主要なデシラタの一つである。 しかし、「よい一般化」と、それがどのように評価されるべきかは、よく理解されておらず、また、一般化のための評価基準も存在しない。 本稿では,これら2つの問題に対処する基礎となる課題について述べる。 NLPにおける一般化研究の特徴付けと理解のための分類法を提案する。 我々の分類学は、一般化研究の広範な文献レビューに基づいており、その主な動機、調査対象とする一般化の種類、検討対象とするデータシフトの種類、データシフトの源泉、モデリングパイプライン内のシフトの軌跡の5つの軸を含む。 分類法を用いて、一般化をテストする400以上の論文を分類し、合計600以上の実験を行った。 本レビューの結果を踏まえて,nlpにおける一般化研究の現状を概説する詳細な分析を行い,今後どの分野が注目に値するかを推薦する。 本稿では,本論文とともに,レビューの結果を動的に探索するWebページを公開し,新たなNLP一般化研究の公開とともに更新する。 本研究は,NLPにおける新しいステータスクオを最先端の一般化テストに活用することを目的としている。

関連論文リスト

• RelevAI-Reviewer: A Benchmark on AI Reviewers for Survey Paper Relevance [0.8089605035945486]
  本稿では,調査論文レビューの課題を分類問題として概念化するシステムであるRelevAI-Reviewerを提案する。 25,164のインスタンスからなる新しいデータセットを導入する。各インスタンスには1つのプロンプトと4つの候補論文があり、それぞれがプロンプトに関連している。 我々は,各論文の関連性を判断し,最も関連性の高い論文を識別できる機械学習(ML)モデルを開発した。
  論文  参考訳（メタデータ） (2024-06-13T06:42:32Z)
• A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [58.6354685593418]
  本稿では, レビューを評価するために, 記事レベル, フィールド正規化, 大規模言語モデルを用いた書誌指標を提案する。 新たに登場したAI生成の文献レビューも評価されている。 この研究は、文学レビューの現在の課題についての洞察を与え、彼らの開発に向けた今後の方向性を思い起こさせる。
  論文  参考訳（メタデータ） (2024-02-20T11:28:50Z)
• This Prompt is Measuring <MASK>: Evaluating Bias Evaluation in Language Models [12.214260053244871]
  言語モデルのバイアスを評価するためにプロンプトとテンプレートを使用する作業の本体を分析します。 我々は、バイアステストが測定する目的を捉える属性の分類を作成するために、測定モデリングフレームワークを設計する。 我々の分析は、フィールドが測定できる可能性のあるバイアスタイプの範囲を照らし、まだ調査されていないタイプを明らかにします。
  論文  参考訳（メタデータ） (2023-05-22T06:28:48Z)
• Investigating Fairness Disparities in Peer Review: A Language Model Enhanced Approach [77.61131357420201]
  我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。 我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。 我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
  論文  参考訳（メタデータ） (2022-11-07T16:19:42Z)
• Square One Bias in NLP: Towards a Multi-Dimensional Exploration of the Research Manifold [88.83876819883653]
  我々は、最近のNLP研究論文のマニュアル分類を通して、これが事実であることを示す。 NLP研究は正方形ではなく、精度だけでなく、公平性や解釈可能性にも焦点をあてる。
  論文  参考訳（メタデータ） (2022-06-20T13:04:23Z)
• Towards Out-Of-Distribution Generalization: A Survey [46.329995334444156]
  アウト・オブ・ディストリビューションの一般化は、機械学習研究の新たなトピックである。 本論文は,OODの一般化に関する総合的,体系的な最初のレビューである。
  論文  参考訳（メタデータ） (2021-08-31T05:28:42Z)
• Domain Generalization: A Survey [146.68420112164577]
  ドメイン一般化(DG)は、モデル学習にソースドメインデータを使用するだけでOOD一般化を実現することを目的としています。 初めて、DGの10年の開発をまとめるために包括的な文献レビューが提供されます。
  論文  参考訳（メタデータ） (2021-03-03T16:12:22Z)
• Automatic generation of reviews of scientific papers [1.1999555634662633]
  本稿では,ユーザ定義クエリに対応するレビューペーパーの自動生成手法を提案する。 第1部では、共引用グラフなどの文献パラメータによって、この領域における重要な論文を識別する。 第2段階では、BERTベースのアーキテクチャを使用して、これらの重要な論文の抽出要約のために既存のレビューをトレーニングします。
  論文  参考訳（メタデータ） (2020-10-08T17:47:07Z)
• A Survey on Text Classification: From Shallow to Deep Learning [83.47804123133719]
  過去10年は、ディープラーニングが前例のない成功を収めたために、この分野の研究が急増している。 本稿では,1961年から2021年までの最先端のアプローチを見直し,そのギャップを埋める。 特徴抽出と分類に使用されるテキストとモデルに基づいて,テキスト分類のための分類を作成する。
  論文  参考訳（メタデータ） (2020-08-02T00:09:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。