論文の概要: State-of-the-art generalisation research in NLP: a taxonomy and review

• arxiv url: http://arxiv.org/abs/2210.03050v1
• Date: Thu, 6 Oct 2022 16:53:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 15:24:41.376561
• Title: State-of-the-art generalisation research in NLP: a taxonomy and review
• Title（参考訳）: nlpにおける最新技術一般化研究:分類とレビュー
• Authors: Dieuwke Hupkes, Mario Giulianelli, Verna Dankers, Mikel Artetxe, Yanai Elazar, Tiago Pimentel, Christos Christodoulopoulos, Karim Lasri, Naomi Saphra, Arabella Sinclair, Dennis Ulmer, Florian Schottmann, Khuyagbaatar Batsuren, Kaiser Sun, Koustuv Sinha, Leila Khalatbari, Rita Frieske, Ryan Cotterell, Zhijing Jin
• Abstract要約: NLPにおける一般化研究の特徴付けと理解のための分類法を提案する。 我々は、その分類学を用いて、公表された一般化研究の包括的な地図を提示する。 今後どの地域が注目に値するかを推奨する。
• 参考スコア（独自算出の注目度）: 68.55813052128597
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ability to generalise well is one of the primary desiderata of natural language processing NLP). Yet, what `good generalisation' entails and how it should be evaluated is not well understood, nor are there any common standards to evaluate it. In this paper, we aim to lay the ground-work to improve both of these issues. We present a taxonomy for characterising and understanding generalisation research in NLP, we use that taxonomy to present a comprehensive map of published generalisation studies, and we make recommendations for which areas might deserve attention in the future. Our taxonomy is based on an extensive literature review of generalisation research, and contains five axes along which studies can differ: their main motivation, the type of generalisation they aim to solve, the type of data shift they consider, the source by which this data shift is obtained, and the locus of the shift within the modelling pipeline. We use our taxonomy to classify over 400 previous papers that test generalisation, for a total of more than 600 individual experiments. Considering the results of this review, we present an in-depth analysis of the current state of generalisation research in NLP, and make recommendations for the future. Along with this paper, we release a webpage where the results of our review can be dynamically explored, and which we intend to up-date as new NLP generalisation studies are published. With this work, we aim to make steps towards making state-of-the-art generalisation testing the new status quo in NLP.
• Abstract（参考訳）: うまく一般化する能力は自然言語処理における主要なデシラタの1つである。 しかし、「良い一般化」とは何か、どのように評価されるべきなのかはよく理解されておらず、評価する共通の基準もない。 本稿では,これら2つの課題を改善するための土台を整備することを目的としている。 我々は,nlpにおける一般化研究を特徴付け,理解するための分類法を提示し,その分類法を用いて一般化研究の包括的な地図を提示し,今後注目すべき分野を推薦する。 我々の分類学は、一般化研究の広範な文献レビューに基づいており、研究内容に違いがある5つの軸を含む:彼らの主な動機、解決しようとする一般化の種類、彼らが考えるデータシフトの種類、このデータシフトが得られた源、モデリングパイプライン内のシフトの軌跡。 分類学を用いて、一般化をテストする400以上の以前の論文を分類し、合計600以上の実験を行った。 本研究の結果を踏まえ,NLPにおける一般化研究の現状を詳細に分析し,今後の課題について提言する。 本稿では,本論文とともに,レビューの結果を動的に探索できるWebページを公開し,新たなNLP一般化研究の公開とともに最新化を目指す。 本研究は,NLPにおける新しいステータスクオを最先端の一般化テストに活用することを目的としている。

関連論文リスト

• Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
  大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。 生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。 我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
  論文  参考訳（メタデータ） (2024-10-02T20:48:28Z)
• A Comprehensive Survey of Bias in LLMs: Current Landscape and Future Directions [0.0]
  大規模言語モデル(LLM)は、前例のないテキスト生成、翻訳、理解能力を提供することで、自然言語処理(NLP)の様々な応用に革命をもたらした。 彼らの広範な展開は、これらのモデルに埋め込まれたバイアスに関して、重大な懸念をもたらしました。 本稿では, LLMにおけるバイアスの包括的調査を行い, これらのバイアスに関するタイプ, ソース, 影響, 緩和戦略について, 広範なレビューを行うことを目的としている。
  論文  参考訳（メタデータ） (2024-09-24T19:50:38Z)
• A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [58.6354685593418]
  本稿では, レビューを評価するために, 記事レベル, フィールド正規化, 大規模言語モデルを用いた書誌指標を提案する。 新たに登場したAI生成の文献レビューも評価されている。 この研究は、文学レビューの現在の課題についての洞察を与え、彼らの開発に向けた今後の方向性を思い起こさせる。
  論文  参考訳（メタデータ） (2024-02-20T11:28:50Z)
• This Prompt is Measuring <MASK>: Evaluating Bias Evaluation in Language Models [12.214260053244871]
  言語モデルのバイアスを評価するためにプロンプトとテンプレートを使用する作業の本体を分析します。 我々は、バイアステストが測定する目的を捉える属性の分類を作成するために、測定モデリングフレームワークを設計する。 我々の分析は、フィールドが測定できる可能性のあるバイアスタイプの範囲を照らし、まだ調査されていないタイプを明らかにします。
  論文  参考訳（メタデータ） (2023-05-22T06:28:48Z)
• Square One Bias in NLP: Towards a Multi-Dimensional Exploration of the Research Manifold [88.83876819883653]
  我々は、最近のNLP研究論文のマニュアル分類を通して、これが事実であることを示す。 NLP研究は正方形ではなく、精度だけでなく、公平性や解釈可能性にも焦点をあてる。
  論文  参考訳（メタデータ） (2022-06-20T13:04:23Z)
• Towards Out-Of-Distribution Generalization: A Survey [46.329995334444156]
  アウト・オブ・ディストリビューションの一般化は、機械学習研究の新たなトピックである。 本論文は,OODの一般化に関する総合的,体系的な最初のレビューである。
  論文  参考訳（メタデータ） (2021-08-31T05:28:42Z)
• Domain Generalization: A Survey [146.68420112164577]
  ドメイン一般化(DG)は、モデル学習にソースドメインデータを使用するだけでOOD一般化を実現することを目的としています。 初めて、DGの10年の開発をまとめるために包括的な文献レビューが提供されます。
  論文  参考訳（メタデータ） (2021-03-03T16:12:22Z)
• Automatic generation of reviews of scientific papers [1.1999555634662633]
  本稿では,ユーザ定義クエリに対応するレビューペーパーの自動生成手法を提案する。 第1部では、共引用グラフなどの文献パラメータによって、この領域における重要な論文を識別する。 第2段階では、BERTベースのアーキテクチャを使用して、これらの重要な論文の抽出要約のために既存のレビューをトレーニングします。
  論文  参考訳（メタデータ） (2020-10-08T17:47:07Z)
• A Survey on Text Classification: From Shallow to Deep Learning [83.47804123133719]
  過去10年は、ディープラーニングが前例のない成功を収めたために、この分野の研究が急増している。 本稿では,1961年から2021年までの最先端のアプローチを見直し,そのギャップを埋める。 特徴抽出と分類に使用されるテキストとモデルに基づいて,テキスト分類のための分類を作成する。
  論文  参考訳（メタデータ） (2020-08-02T00:09:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。