論文の概要: State-of-the-art generalisation research in NLP: a taxonomy and review
- arxiv url: http://arxiv.org/abs/2210.03050v1
- Date: Thu, 6 Oct 2022 16:53:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-07 15:24:41.376561
- Title: State-of-the-art generalisation research in NLP: a taxonomy and review
- Title(参考訳): nlpにおける最新技術一般化研究:分類とレビュー
- Authors: Dieuwke Hupkes, Mario Giulianelli, Verna Dankers, Mikel Artetxe, Yanai
Elazar, Tiago Pimentel, Christos Christodoulopoulos, Karim Lasri, Naomi
Saphra, Arabella Sinclair, Dennis Ulmer, Florian Schottmann, Khuyagbaatar
Batsuren, Kaiser Sun, Koustuv Sinha, Leila Khalatbari, Rita Frieske, Ryan
Cotterell, Zhijing Jin
- Abstract要約: NLPにおける一般化研究の特徴付けと理解のための分類法を提案する。
我々は、その分類学を用いて、公表された一般化研究の包括的な地図を提示する。
今後どの地域が注目に値するかを推奨する。
- 参考スコア(独自算出の注目度): 68.55813052128597
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The ability to generalise well is one of the primary desiderata of natural
language processing NLP). Yet, what `good generalisation' entails and how it
should be evaluated is not well understood, nor are there any common standards
to evaluate it. In this paper, we aim to lay the ground-work to improve both of
these issues. We present a taxonomy for characterising and understanding
generalisation research in NLP, we use that taxonomy to present a comprehensive
map of published generalisation studies, and we make recommendations for which
areas might deserve attention in the future. Our taxonomy is based on an
extensive literature review of generalisation research, and contains five axes
along which studies can differ: their main motivation, the type of
generalisation they aim to solve, the type of data shift they consider, the
source by which this data shift is obtained, and the locus of the shift within
the modelling pipeline. We use our taxonomy to classify over 400 previous
papers that test generalisation, for a total of more than 600 individual
experiments. Considering the results of this review, we present an in-depth
analysis of the current state of generalisation research in NLP, and make
recommendations for the future. Along with this paper, we release a webpage
where the results of our review can be dynamically explored, and which we
intend to up-date as new NLP generalisation studies are published. With this
work, we aim to make steps towards making state-of-the-art generalisation
testing the new status quo in NLP.
- Abstract(参考訳): うまく一般化する能力は自然言語処理における主要なデシラタの1つである。
しかし、「良い一般化」とは何か、どのように評価されるべきなのかはよく理解されておらず、評価する共通の基準もない。
本稿では,これら2つの課題を改善するための土台を整備することを目的としている。
我々は,nlpにおける一般化研究を特徴付け,理解するための分類法を提示し,その分類法を用いて一般化研究の包括的な地図を提示し,今後注目すべき分野を推薦する。
我々の分類学は、一般化研究の広範な文献レビューに基づいており、研究内容に違いがある5つの軸を含む:彼らの主な動機、解決しようとする一般化の種類、彼らが考えるデータシフトの種類、このデータシフトが得られた源、モデリングパイプライン内のシフトの軌跡。
分類学を用いて、一般化をテストする400以上の以前の論文を分類し、合計600以上の実験を行った。
本研究の結果を踏まえ,NLPにおける一般化研究の現状を詳細に分析し,今後の課題について提言する。
本稿では,本論文とともに,レビューの結果を動的に探索できるWebページを公開し,新たなNLP一般化研究の公開とともに最新化を目指す。
本研究は,NLPにおける新しいステータスクオを最先端の一般化テストに活用することを目的としている。
関連論文リスト
- Generative Judge for Evaluating Alignment [84.09815387884753]
本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。
我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。
実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
論文 参考訳(メタデータ) (2023-10-09T07:27:15Z) - This Prompt is Measuring <MASK>: Evaluating Bias Evaluation in Language
Models [12.214260053244871]
言語モデルのバイアスを評価するためにプロンプトとテンプレートを使用する作業の本体を分析します。
我々は、バイアステストが測定する目的を捉える属性の分類を作成するために、測定モデリングフレームワークを設計する。
我々の分析は、フィールドが測定できる可能性のあるバイアスタイプの範囲を照らし、まだ調査されていないタイプを明らかにします。
論文 参考訳(メタデータ) (2023-05-22T06:28:48Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳(メタデータ) (2022-11-07T16:19:42Z) - Square One Bias in NLP: Towards a Multi-Dimensional Exploration of the
Research Manifold [88.83876819883653]
我々は、最近のNLP研究論文のマニュアル分類を通して、これが事実であることを示す。
NLP研究は正方形ではなく、精度だけでなく、公平性や解釈可能性にも焦点をあてる。
論文 参考訳(メタデータ) (2022-06-20T13:04:23Z) - Towards Out-Of-Distribution Generalization: A Survey [46.329995334444156]
アウト・オブ・ディストリビューションの一般化は、機械学習研究の新たなトピックである。
本論文は,OODの一般化に関する総合的,体系的な最初のレビューである。
論文 参考訳(メタデータ) (2021-08-31T05:28:42Z) - BERT: A Review of Applications in Natural Language Processing and
Understanding [0.0]
本稿では,最も人気のあるディープラーニングベースの言語モデルであるBERTの応用について述べる。
このレビューの準備では、科学界で最も注目を集めた過去数年間に発表された数十のオリジナルの科学論文のデータが体系化されました。
論文 参考訳(メタデータ) (2021-03-22T15:34:39Z) - Domain Generalization: A Survey [146.68420112164577]
ドメイン一般化(DG)は、モデル学習にソースドメインデータを使用するだけでOOD一般化を実現することを目的としています。
初めて、DGの10年の開発をまとめるために包括的な文献レビューが提供されます。
論文 参考訳(メタデータ) (2021-03-03T16:12:22Z) - Automatic generation of reviews of scientific papers [1.1999555634662633]
本稿では,ユーザ定義クエリに対応するレビューペーパーの自動生成手法を提案する。
第1部では、共引用グラフなどの文献パラメータによって、この領域における重要な論文を識別する。
第2段階では、BERTベースのアーキテクチャを使用して、これらの重要な論文の抽出要約のために既存のレビューをトレーニングします。
論文 参考訳(メタデータ) (2020-10-08T17:47:07Z) - A Survey on Text Classification: From Shallow to Deep Learning [83.47804123133719]
過去10年は、ディープラーニングが前例のない成功を収めたために、この分野の研究が急増している。
本稿では,1961年から2021年までの最先端のアプローチを見直し,そのギャップを埋める。
特徴抽出と分類に使用されるテキストとモデルに基づいて,テキスト分類のための分類を作成する。
論文 参考訳(メタデータ) (2020-08-02T00:09:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。