論文の概要: A Survey on Out-of-Distribution Evaluation of Neural NLP Models
- arxiv url: http://arxiv.org/abs/2306.15261v1
- Date: Tue, 27 Jun 2023 07:44:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-28 14:20:08.956425
- Title: A Survey on Out-of-Distribution Evaluation of Neural NLP Models
- Title(参考訳): 神経nlpモデルのアウトオブディストリビューション評価に関する調査
- Authors: Xinzhe Li, Ming Liu, Shang Gao and Wray Buntine
- Abstract要約: 敵対的ロバスト性、ドメインの一般化、データセットバイアスは、ニューラルNLPモデルにおけるアウト・オブ・ディストリビューション評価に寄与する3つの研究の活発なラインである。
本調査では,1)統一的な定義の下での3つの研究行を比較し,2)研究行ごとのデータ生成プロセスと評価プロトコルを要約し,3)今後の研究の課題と機会を強調する。
- 参考スコア(独自算出の注目度): 8.346304805498988
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Adversarial robustness, domain generalization and dataset biases are three
active lines of research contributing to out-of-distribution (OOD) evaluation
on neural NLP models. However, a comprehensive, integrated discussion of the
three research lines is still lacking in the literature. In this survey, we 1)
compare the three lines of research under a unifying definition; 2) summarize
the data-generating processes and evaluation protocols for each line of
research; and 3) emphasize the challenges and opportunities for future work.
- Abstract(参考訳): 敵対的ロバスト性、ドメインの一般化、データセットバイアスは、ニューラルNLPモデルにおけるアウト・オブ・ディストリビューション(OOD)評価に寄与する3つの研究の活発なラインである。
しかし、3つの研究ラインの総合的な総合的な議論は、まだ文献に欠けている。
この調査では、
1) 統一的定義に基づく研究の3つの行を比較する。
2) 研究の各行について,データ生成プロセス及び評価プロトコルを要約する。
3) 今後の仕事の課題と機会を強調します。
関連論文リスト
- A Survey on Interpretable Cross-modal Reasoning [64.37362731950843]
マルチメディア分析から医療診断に至るまで、クロスモーダル推論(CMR)が重要な分野として浮上している。
この調査は、解釈可能なクロスモーダル推論(I-CMR)の領域を掘り下げる
本調査では,I-CMRの3段階分類法について概説する。
論文 参考訳(メタデータ) (2023-09-05T05:06:48Z) - A Comprehensive Survey on Deep Learning for Relation Extraction: Recent
Advances and New Frontiers [64.30476057955852]
関係抽出(RE)は、非構造化テキストからエンティティ間の関係を識別する。
ディープニューラルネットワークはREの分野を支配しており、顕著な進歩を遂げている。
この調査は、リアルタイムREシステムの課題に取り組む研究者の協力活動を促進することが期待されている。
論文 参考訳(メタデータ) (2023-06-03T08:39:25Z) - A Survey on Out-of-Distribution Detection in NLP [119.80687868012393]
現実世界における機械学習システムの信頼性と安全なデプロイには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。
本稿では,OOD検出の最近の進歩について,特に自然言語処理に焦点をあてて概説する。
論文 参考訳(メタデータ) (2023-05-05T01:38:49Z) - On the Explainability of Natural Language Processing Deep Models [3.0052400859458586]
これらの課題に対処し,自然言語処理(NLP)モデルについて十分な説明を行う手法が開発されている。
本研究は,NLP分野におけるExAI手法の民主化を目的として,NLPモデルにおけるモデル非依存およびモデル固有の説明可能性手法について調査する。
論文 参考訳(メタデータ) (2022-10-13T11:59:39Z) - Artificial Text Detection via Examining the Topology of Attention Maps [58.46367297712477]
トポロジカルデータ分析(TDA)に基づく3種類の解釈可能なトポロジカル特徴を提案する。
BERTモデルから派生した特徴が3つの共通データセットにおいて、カウントベースとニューラルベースベースラインを最大10%上回っていることを実証的に示す。
特徴の探索解析は表面に対する感度と構文的性質を明らかにしている。
論文 参考訳(メタデータ) (2021-09-10T12:13:45Z) - A Survey on Low-Resource Neural Machine Translation [106.51056217748388]
我々は、関連する作品を、使用した補助データに基づいて3つのカテゴリに分類する。
私たちの調査は、研究者がこの分野をよりよく理解し、より良いアルゴリズムを設計するきっかけになることを期待しています。
論文 参考訳(メタデータ) (2021-07-09T06:26:38Z) - A Discussion on Practical Considerations with Sparse Regression
Methodologies [0.0]
統計科学に掲載された2つの論文は、いくつかのスパース回帰法の比較性能について研究している。
この2つの研究を要約して比較し,ユーザへの明快さと価値の提供を目指す。
論文 参考訳(メタデータ) (2020-11-18T15:58:35Z) - Evaluation of Text Generation: A Survey [107.62760642328455]
本稿は,ここ数年で開発された自然言語生成システムの評価手法について調査する。
我々は,NLG評価手法を,(1)人間中心評価指標,(2)訓練を必要としない自動評価指標,(3)機械学習指標の3つのカテゴリに分類した。
論文 参考訳(メタデータ) (2020-06-26T04:52:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。