論文の概要: State-of-the-art generalisation research in NLP: A taxonomy and review

• arxiv url: http://arxiv.org/abs/2210.03050v4
• Date: Fri, 12 Jan 2024 13:11:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-15 21:53:42.182336
• Title: State-of-the-art generalisation research in NLP: A taxonomy and review
• Title（参考訳）: nlpにおける最新技術一般化研究:分類とレビュー
• Authors: Dieuwke Hupkes, Mario Giulianelli, Verna Dankers, Mikel Artetxe, Yanai Elazar, Tiago Pimentel, Christos Christodoulopoulos, Karim Lasri, Naomi Saphra, Arabella Sinclair, Dennis Ulmer, Florian Schottmann, Khuyagbaatar Batsuren, Kaiser Sun, Koustuv Sinha, Leila Khalatbari, Maria Ryskina, Rita Frieske, Ryan Cotterell, Zhijing Jin
• Abstract要約: NLPにおける一般化研究の特徴付けと理解のための分類法を提案する。 我々の分類学は、一般化研究の広範な文献レビューに基づいている。 私たちは、一般化をテストする400以上の論文を分類するために分類を使います。
• 参考スコア（独自算出の注目度）: 87.1541712509283
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ability to generalise well is one of the primary desiderata of natural language processing (NLP). Yet, what 'good generalisation' entails and how it should be evaluated is not well understood, nor are there any evaluation standards for generalisation. In this paper, we lay the groundwork to address both of these issues. We present a taxonomy for characterising and understanding generalisation research in NLP. Our taxonomy is based on an extensive literature review of generalisation research, and contains five axes along which studies can differ: their main motivation, the type of generalisation they investigate, the type of data shift they consider, the source of this data shift, and the locus of the shift within the modelling pipeline. We use our taxonomy to classify over 400 papers that test generalisation, for a total of more than 600 individual experiments. Considering the results of this review, we present an in-depth analysis that maps out the current state of generalisation research in NLP, and we make recommendations for which areas might deserve attention in the future. Along with this paper, we release a webpage where the results of our review can be dynamically explored, and which we intend to update as new NLP generalisation studies are published. With this work, we aim to take steps towards making state-of-the-art generalisation testing the new status quo in NLP.
• Abstract（参考訳）: 良く一般化する能力は自然言語処理(NLP)の主要なデシラタの一つである。 しかし、「よい一般化」と、それがどのように評価されるべきかは、よく理解されておらず、また、一般化のための評価基準も存在しない。 本稿では,これら2つの問題に対処する基礎となる課題について述べる。 NLPにおける一般化研究の特徴付けと理解のための分類法を提案する。 我々の分類学は、一般化研究の広範な文献レビューに基づいており、その主な動機、調査対象とする一般化の種類、検討対象とするデータシフトの種類、データシフトの源泉、モデリングパイプライン内のシフトの軌跡の5つの軸を含む。 分類法を用いて、一般化をテストする400以上の論文を分類し、合計600以上の実験を行った。 本レビューの結果を踏まえて,nlpにおける一般化研究の現状を概説する詳細な分析を行い,今後どの分野が注目に値するかを推薦する。 本稿では,本論文とともに,レビューの結果を動的に探索するWebページを公開し,新たなNLP一般化研究の公開とともに更新する。 本研究は,NLPにおける新しいステータスクオを最先端の一般化テストに活用することを目的としている。

関連論文リスト

• Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
  大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。 生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。 我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
  論文  参考訳（メタデータ） (2024-10-02T20:48:28Z)
• A Comprehensive Survey of Bias in LLMs: Current Landscape and Future Directions [0.0]
  大規模言語モデル(LLM)は、前例のないテキスト生成、翻訳、理解能力を提供することで、自然言語処理(NLP)の様々な応用に革命をもたらした。 彼らの広範な展開は、これらのモデルに埋め込まれたバイアスに関して、重大な懸念をもたらしました。 本稿では, LLMにおけるバイアスの包括的調査を行い, これらのバイアスに関するタイプ, ソース, 影響, 緩和戦略について, 広範なレビューを行うことを目的としている。
  論文  参考訳（メタデータ） (2024-09-24T19:50:38Z)
• A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [58.6354685593418]
  本稿では, レビューを評価するために, 記事レベル, フィールド正規化, 大規模言語モデルを用いた書誌指標を提案する。 新たに登場したAI生成の文献レビューも評価されている。 この研究は、文学レビューの現在の課題についての洞察を与え、彼らの開発に向けた今後の方向性を思い起こさせる。
  論文  参考訳（メタデータ） (2024-02-20T11:28:50Z)
• This Prompt is Measuring <MASK>: Evaluating Bias Evaluation in Language Models [12.214260053244871]
  言語モデルのバイアスを評価するためにプロンプトとテンプレートを使用する作業の本体を分析します。 我々は、バイアステストが測定する目的を捉える属性の分類を作成するために、測定モデリングフレームワークを設計する。 我々の分析は、フィールドが測定できる可能性のあるバイアスタイプの範囲を照らし、まだ調査されていないタイプを明らかにします。
  論文  参考訳（メタデータ） (2023-05-22T06:28:48Z)
• Square One Bias in NLP: Towards a Multi-Dimensional Exploration of the Research Manifold [88.83876819883653]
  我々は、最近のNLP研究論文のマニュアル分類を通して、これが事実であることを示す。 NLP研究は正方形ではなく、精度だけでなく、公平性や解釈可能性にも焦点をあてる。
  論文  参考訳（メタデータ） (2022-06-20T13:04:23Z)
• Towards Out-Of-Distribution Generalization: A Survey [46.329995334444156]
  アウト・オブ・ディストリビューションの一般化は、機械学習研究の新たなトピックである。 本論文は,OODの一般化に関する総合的,体系的な最初のレビューである。
  論文  参考訳（メタデータ） (2021-08-31T05:28:42Z)
• Domain Generalization: A Survey [146.68420112164577]
  ドメイン一般化(DG)は、モデル学習にソースドメインデータを使用するだけでOOD一般化を実現することを目的としています。 初めて、DGの10年の開発をまとめるために包括的な文献レビューが提供されます。
  論文  参考訳（メタデータ） (2021-03-03T16:12:22Z)
• Automatic generation of reviews of scientific papers [1.1999555634662633]
  本稿では,ユーザ定義クエリに対応するレビューペーパーの自動生成手法を提案する。 第1部では、共引用グラフなどの文献パラメータによって、この領域における重要な論文を識別する。 第2段階では、BERTベースのアーキテクチャを使用して、これらの重要な論文の抽出要約のために既存のレビューをトレーニングします。
  論文  参考訳（メタデータ） (2020-10-08T17:47:07Z)
• A Survey on Text Classification: From Shallow to Deep Learning [83.47804123133719]
  過去10年は、ディープラーニングが前例のない成功を収めたために、この分野の研究が急増している。 本稿では,1961年から2021年までの最先端のアプローチを見直し,そのギャップを埋める。 特徴抽出と分類に使用されるテキストとモデルに基づいて,テキスト分類のための分類を作成する。
  論文  参考訳（メタデータ） (2020-08-02T00:09:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。