論文の概要: Robust Natural Language Processing: Recent Advances, Challenges, and Future Directions

• arxiv url: http://arxiv.org/abs/2201.00768v1
• Date: Mon, 3 Jan 2022 17:17:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-04 13:03:38.006140
• Title: Robust Natural Language Processing: Recent Advances, Challenges, and Future Directions
• Title（参考訳）: ロバストな自然言語処理:最近の進歩、課題、今後の方向性
• Authors: Marwan Omar, Soohyeon Choi, DaeHun Nyang, and David Mohaisen
• Abstract要約: 文献を様々な次元にわたって体系的に要約することで,NLPロバストネス研究の構造化概要を述べる。 次に、テクニック、メトリクス、埋め込み、ベンチマークなど、堅牢性のさまざまな側面を深く掘り下げます。
• 参考スコア（独自算出の注目度）: 4.409836695738517
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent natural language processing (NLP) techniques have accomplished high performance on benchmark datasets, primarily due to the significant improvement in the performance of deep learning. The advances in the research community have led to great enhancements in state-of-the-art production systems for NLP tasks, such as virtual assistants, speech recognition, and sentiment analysis. However, such NLP systems still often fail when tested with adversarial attacks. The initial lack of robustness exposed troubling gaps in current models' language understanding capabilities, creating problems when NLP systems are deployed in real life. In this paper, we present a structured overview of NLP robustness research by summarizing the literature in a systemic way across various dimensions. We then take a deep-dive into the various dimensions of robustness, across techniques, metrics, embeddings, and benchmarks. Finally, we argue that robustness should be multi-dimensional, provide insights into current research, identify gaps in the literature to suggest directions worth pursuing to address these gaps.
• Abstract（参考訳）: 最近の自然言語処理(NLP)技術は、主にディープラーニングの性能が大幅に向上したため、ベンチマークデータセット上で高いパフォーマンスを実現している。 研究コミュニティの進歩は、バーチャルアシスタント、音声認識、感情分析など、nlpタスクの最先端生産システムの大幅な強化につながった。 しかしながら、このようなNLPシステムは敵攻撃でテストしても失敗することが多い。 初期の堅牢性の欠如は、現在のモデルの言語理解能力の厄介なギャップを露呈し、NLPシステムが実環境にデプロイされる際の問題を生み出した。 本稿では,様々な次元にまたがる体系的な方法で文献を要約し,nlpロバストネス研究の構造化概要を示す。 次に、テクニック、メトリクス、埋め込み、ベンチマークなど、堅牢性のさまざまな側面を深く掘り下げます。 最後に、ロバスト性は多次元であり、現在の研究への洞察を提供し、文献のギャップを特定し、これらのギャップに取り組むべき方向を提案するべきだと論じる。

関連論文リスト

• Deep Learning Approaches for Improving Question Answering Systems in Hepatocellular Carcinoma Research [0.0]
  近年,自然言語処理(NLP)の進歩は,ディープラーニング技術によって加速されている。 膨大な量のデータに基づいてトレーニングされたBERTとGPT-3は、言語理解と生成に革命をもたらした。 本稿では,大規模モデルベースNLPの現状と今後の展望について述べる。
  論文  参考訳（メタデータ） (2024-02-25T09:32:17Z)
• Natural Language Processing for Dialects of a Language: A Survey [56.93337350526933]
  最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。 この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。 方言データセットに対するNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
  論文  参考訳（メタデータ） (2024-01-11T03:04:38Z)
• Beyond Turing: A Comparative Analysis of Approaches for Detecting Machine-Generated Text [1.919654267936118]
  従来の浅層学習,言語モデル(LM)微調整,多言語モデル微調整の評価を行った。 結果は、メソッド間でのパフォーマンスにかなりの違いが示される。 この研究は、堅牢で差別性の高いモデルを作成することを目的とした将来の研究の道を開くものである。
  論文  参考訳（メタデータ） (2023-11-21T06:23:38Z)
• Meta Learning for Natural Language Processing: A Survey [88.58260839196019]
  ディープラーニングは自然言語処理(NLP)分野において主要な技術である。 ディープラーニングには多くのラベル付きデータが必要です。 メタ学習は、より良いアルゴリズムを学ぶためのアプローチを研究する機械学習の分野である。
  論文  参考訳（メタデータ） (2022-05-03T13:58:38Z)
• Faithfulness in Natural Language Generation: A Systematic Survey of Analysis, Evaluation and Optimization Methods [48.47413103662829]
  自然言語生成(NLG)は,事前学習型言語モデルなどの深層学習技術の発展により,近年大きく進歩している。 しかし、生成したテキストが通常不信または非実情報を含むという忠実性問題は、最大の課題となっている。
  論文  参考訳（メタデータ） (2022-03-10T08:28:32Z)
• Measure and Improve Robustness in NLP Models: A Survey [23.515869499536237]
  堅牢性は視覚やNLPなどのアプリケーションで別々に研究されており、様々な定義、評価、緩和戦略が研究の複数のラインで行われている。 まず、ロバスト性の定義を複数結合し、その後、ロバスト性障害を特定し、モデルのロバスト性を評価する様々な作業ラインを統一します。 我々は、NLPモデルの堅牢性を効果的に改善する方法をより体系的な視点で、データ駆動型、モデル駆動型、インダクティブプライオリベースである緩和戦略を提案する。
  論文  参考訳（メタデータ） (2021-12-15T18:02:04Z)
• Learning to Selectively Learn for Weakly-supervised Paraphrase Generation [81.65399115750054]
  弱監督データを用いた高品質なパラフレーズを生成するための新しい手法を提案する。 具体的には、弱制御されたパラフレーズ生成問題に以下のように取り組む。 検索に基づく擬似パラフレーズ展開により、豊富なラベル付き並列文を得る。 提案手法は,既存の教師なしアプローチよりも大幅に改善され,教師付き最先端技術と同等の性能を示す。
  論文  参考訳（メタデータ） (2021-09-25T23:31:13Z)
• Artificial Text Detection via Examining the Topology of Attention Maps [58.46367297712477]
  トポロジカルデータ分析(TDA)に基づく3種類の解釈可能なトポロジカル特徴を提案する。 BERTモデルから派生した特徴が3つの共通データセットにおいて、カウントベースとニューラルベースベースラインを最大10%上回っていることを実証的に示す。 特徴の探索解析は表面に対する感度と構文的性質を明らかにしている。
  論文  参考訳（メタデータ） (2021-09-10T12:13:45Z)
• The NLP Cookbook: Modern Recipes for Transformer based Deep Learning Architectures [0.0]
  自然言語処理モデルは言語的および意味的なタスクにおいて驚くべき成功を収めた。 最近のNLPアーキテクチャは、中程度のモデルサイズを達成するために、トランスファーラーニング、プルーニング、量子化、知識蒸留の概念を活用している。 知識レトリバーは、より大きなデータベースのコーパスから、より効率と正確さで明示的なデータドキュメントを抽出するために構築されている。
  論文  参考訳（メタデータ） (2021-03-23T22:38:20Z)
• Continual Learning for Natural Language Generation in Task-oriented Dialog Systems [72.92029584113676]
  自然言語生成(NLG)はタスク指向対話システムにおいて重要な要素である。 我々は,NLGの知識を新たなドメインや機能に段階的に拡張する"継続的学習"環境で研究する。 この目標に対する大きな課題は、破滅的な忘れことであり、継続的に訓練されたモデルは、以前に学んだ知識を忘れがちである。
  論文  参考訳（メタデータ） (2020-10-02T10:32:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。