Fugu-MT 論文翻訳(概要): A Survey on Out-of-Distribution Evaluation of Neural NLP Models

論文の概要: A Survey on Out-of-Distribution Evaluation of Neural NLP Models

arxiv url: http://arxiv.org/abs/2306.15261v1
Date: Tue, 27 Jun 2023 07:44:25 GMT
ステータス: 処理完了
システム内更新日: 2023-06-28 14:20:08.956425
Title: A Survey on Out-of-Distribution Evaluation of Neural NLP Models
Title（参考訳）: 神経nlpモデルのアウトオブディストリビューション評価に関する調査
Authors: Xinzhe Li, Ming Liu, Shang Gao and Wray Buntine
Abstract要約: 敵対的ロバスト性、ドメインの一般化、データセットバイアスは、ニューラルNLPモデルにおけるアウト・オブ・ディストリビューション評価に寄与する3つの研究の活発なラインである。本調査では,1)統一的な定義の下での3つの研究行を比較し,2)研究行ごとのデータ生成プロセスと評価プロトコルを要約し,3)今後の研究の課題と機会を強調する。
参考スコア（独自算出の注目度）: 8.346304805498988
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Adversarial robustness, domain generalization and dataset biases are three active lines of research contributing to out-of-distribution (OOD) evaluation on neural NLP models. However, a comprehensive, integrated discussion of the three research lines is still lacking in the literature. In this survey, we 1) compare the three lines of research under a unifying definition; 2) summarize the data-generating processes and evaluation protocols for each line of research; and 3) emphasize the challenges and opportunities for future work.
Abstract（参考訳）: 敵対的ロバスト性、ドメインの一般化、データセットバイアスは、ニューラルNLPモデルにおけるアウト・オブ・ディストリビューション(OOD)評価に寄与する3つの研究の活発なラインである。しかし、3つの研究ラインの総合的な総合的な議論は、まだ文献に欠けている。この調査では、 1) 統一的定義に基づく研究の3つの行を比較する。 2) 研究の各行について,データ生成プロセス及び評価プロトコルを要約する。 3) 今後の仕事の課題と機会を強調します。

関連論文リスト

AAAR-1.0: Assessing AI's Potential to Assist Research [34.88341605349765]
AAAR-1.0は,大規模言語モデル(LLM)の性能を評価するためのベンチマークデータセットである。 AAAR-1.0は、以前のベンチマークと大きく異なる2つの主要な方法である: 第一に、明らかに研究指向で、深いドメインの専門知識を必要とするタスク、第二に、研究者が日々従事する主要なアクティビティを反映する研究者指向である。
論文参考訳（メタデータ） (2024-10-29T17:58:29Z)
Systematic Exploration of Dialogue Summarization Approaches for Reproducibility, Comparative Assessment, and Methodological Innovations for Advancing Natural Language Processing in Abstractive Summarization [0.0]
本稿では,対話要約モデルの再現と評価について述べる。本研究は、AMIデータセットを用いた対話要約モデルの徹底的な検討を含む。主な目的は、人的評価を通じて、これらのモデルによって生成された要約の有意性と品質を評価することである。
論文参考訳（メタデータ） (2024-10-21T12:47:57Z)
A Systematic Survey of Text Summarization: From Statistical Methods to Large Language Models [43.37740735934396]
テキスト要約研究は、ディープニューラルネットワーク、事前学習言語モデル(PLM)、最近の大規模言語モデル(LLM)の出現により、いくつかの重要な変換が行われた。この調査は、これらのパラダイムシフトのレンズを通して、テキスト要約における研究の進展と進化を包括的にレビューする。
論文参考訳（メタデータ） (2024-06-17T07:52:32Z)
A Survey on Interpretable Cross-modal Reasoning [64.37362731950843]
マルチメディア分析から医療診断に至るまで、クロスモーダル推論(CMR)が重要な分野として浮上している。この調査は、解釈可能なクロスモーダル推論(I-CMR)の領域を掘り下げる本調査では,I-CMRの3段階分類法について概説する。
論文参考訳（メタデータ） (2023-09-05T05:06:48Z)
A Comprehensive Survey on Relation Extraction: Recent Advances and New Frontiers [76.51245425667845]
関係抽出(RE)は、基礎となるコンテンツからエンティティ間の関係を識別する。ディープニューラルネットワークはREの分野を支配しており、顕著な進歩を遂げている。この調査は、現実世界のREシステムの課題に対処するための研究者の協力的な取り組みを促進することが期待されている。
論文参考訳（メタデータ） (2023-06-03T08:39:25Z)
A Survey on Out-of-Distribution Detection in NLP [119.80687868012393]
現実世界における機械学習システムの信頼性と安全なデプロイには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。本稿では,OOD検出の最近の進歩について,特に自然言語処理に焦点をあてて概説する。
論文参考訳（メタデータ） (2023-05-05T01:38:49Z)
Artificial Text Detection via Examining the Topology of Attention Maps [58.46367297712477]
トポロジカルデータ分析(TDA)に基づく3種類の解釈可能なトポロジカル特徴を提案する。 BERTモデルから派生した特徴が3つの共通データセットにおいて、カウントベースとニューラルベースベースラインを最大10%上回っていることを実証的に示す。特徴の探索解析は表面に対する感度と構文的性質を明らかにしている。
論文参考訳（メタデータ） (2021-09-10T12:13:45Z)
A Survey on Low-Resource Neural Machine Translation [106.51056217748388]
我々は、関連する作品を、使用した補助データに基づいて3つのカテゴリに分類する。私たちの調査は、研究者がこの分野をよりよく理解し、より良いアルゴリズムを設計するきっかけになることを期待しています。
論文参考訳（メタデータ） (2021-07-09T06:26:38Z)
A Discussion on Practical Considerations with Sparse Regression Methodologies [0.0]
統計科学に掲載された2つの論文は、いくつかのスパース回帰法の比較性能について研究している。この2つの研究を要約して比較し,ユーザへの明快さと価値の提供を目指す。
論文参考訳（メタデータ） (2020-11-18T15:58:35Z)
Evaluation of Text Generation: A Survey [107.62760642328455]
本稿は,ここ数年で開発された自然言語生成システムの評価手法について調査する。我々は,NLG評価手法を,(1)人間中心評価指標,(2)訓練を必要としない自動評価指標,(3)機械学習指標の3つのカテゴリに分類した。
論文参考訳（メタデータ） (2020-06-26T04:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。