論文の概要: A Short Survey of Pre-trained Language Models for Conversational AI-A NewAge in NLP

• arxiv url: http://arxiv.org/abs/2104.10810v1
• Date: Thu, 22 Apr 2021 01:00:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-23 14:06:02.198889
• Title: A Short Survey of Pre-trained Language Models for Conversational AI-A NewAge in NLP
• Title（参考訳）: 対話型AIのための事前学習言語モデルに関する短い調査-NLPの新しい展開
• Authors: Munazza Zaib and Quan Z. Sheng and Wei Emma Zhang
• Abstract要約: 最近導入された事前学習言語モデルは、データ不足の問題に対処する可能性がある。 これらのモデルは、階層的関係、長期依存、感情など、異なる言語の側面を捉えることを実証している。 本論文では,これらの事前学習モデルが対話システムに関連する課題を克服できるかどうかを明らかにする。
• 参考スコア（独自算出の注目度）: 17.10418053437171
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Building a dialogue system that can communicate naturally with humans is a challenging yet interesting problem of agent-based computing. The rapid growth in this area is usually hindered by the long-standing problem of data scarcity as these systems are expected to learn syntax, grammar, decision making, and reasoning from insufficient amounts of task-specific dataset. The recently introduced pre-trained language models have the potential to address the issue of data scarcity and bring considerable advantages by generating contextualized word embeddings. These models are considered counterpart of ImageNet in NLP and have demonstrated to capture different facets of language such as hierarchical relations, long-term dependency, and sentiment. In this short survey paper, we discuss the recent progress made in the field of pre-trained language models. We also deliberate that how the strengths of these language models can be leveraged in designing more engaging and more eloquent conversational agents. This paper, therefore, intends to establish whether these pre-trained models can overcome the challenges pertinent to dialogue systems, and how their architecture could be exploited in order to overcome these challenges. Open challenges in the field of dialogue systems have also been deliberated.
• Abstract（参考訳）: 人間と自然にコミュニケーションできる対話システムを構築することは、エージェントベースのコンピューティングでは難しいが興味深い問題である。 この領域の急速な成長は、これらのシステムが、不十分なタスク固有のデータセットから構文、文法、意思決定、推論を学ぶことを期待されているため、データ不足の長期的問題によって妨げられる。 最近導入された事前学習言語モデルは、データ不足の問題に対処する可能性があり、文脈化された単語の埋め込みを生成することで大きな利点をもたらす。 これらのモデルは、NLPにおけるImageNetに匹敵すると考えられており、階層関係、長期依存、感情など、さまざまな言語の側面を捉えている。 本稿では,事前学習された言語モデルの分野における最近の進歩について述べる。 また、これらの言語モデルの強みが、より魅力的で雄弁な会話エージェントの設計にどのように活用できるかを慎重に検討する。 そこで本研究では,これらの事前学習モデルが対話システムに関係する課題を克服できるかどうか,それらの課題を克服するためにアーキテクチャをどのように活用できるかを確かめる。 対話システムの分野でのオープンチャレンジも検討されている。

関連論文リスト

• Data Augmentation for Conversational AI [17.48107304359591]
  データ拡張(DA)は、会話システムにおけるデータ不足問題を軽減するための感情的なアプローチである。 このチュートリアルは、会話システムのコンテキストにおけるDAアプローチの包括的で最新の概要を提供する。
  論文  参考訳（メタデータ） (2023-09-09T09:56:35Z)
• Neural Conversation Models and How to Rein Them in: A Survey of Failures and Fixes [17.489075240435348]
  最近の条件付き言語モデルは、しばしば流動的な方法で、あらゆる種類のテキストソースを継続することができる。 言語の観点から言えば、会話への貢献は高い。 最近のアプローチでは、基礎となる言語モデルを様々な介入ポイントでテームしようと試みている。
  論文  参考訳（メタデータ） (2023-08-11T12:07:45Z)
• Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
  視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。 モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。 このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
  論文  参考訳（メタデータ） (2023-07-25T17:59:18Z)
• Pre-training Multi-party Dialogue Models with Latent Discourse Inference [85.9683181507206]
  我々は、多人数対話の会話構造、すなわち、各発話が応答する相手を理解するモデルを事前訓練する。 ラベル付きデータを完全に活用するために,談話構造を潜在変数として扱い,それらを共同で推論し,談話認識モデルを事前学習することを提案する。
  論文  参考訳（メタデータ） (2023-05-24T14:06:27Z)
• Stabilized In-Context Learning with Pre-trained Language Models for Few Shot Dialogue State Tracking [57.92608483099916]
  大規模事前学習言語モデル(PLM)は、多くのNLPタスクにまたがる優れた性能を示している。 対話状態追跡(DST)のようなより複雑なタスクでは、望ましい意図を確実に伝達するプロンプトを設計するのは簡単ではない。 対話文の長さを制限するためのサリエンシモデルを導入し、クエリ毎に多くの例を含めることができます。
  論文  参考訳（メタデータ） (2023-02-12T15:05:10Z)
• Opportunities and Challenges in Neural Dialog Tutoring [54.07241332881601]
  言語学習のための2つの対話学習データセットを用いて、様々な生成言語モデルを厳密に分析する。 現在のアプローチでは、制約のある学習シナリオでチューリングをモデル化できますが、制約の少ないシナリオではパフォーマンスが悪くなります。 人的品質評価では, モデルと接地木アノテーションの両方が, 同等のチュータリングの点で低い性能を示した。
  論文  参考訳（メタデータ） (2023-01-24T11:00:17Z)
• Robustness Testing of Language Understanding in Dialog Systems [33.30143655553583]
  自然言語理解モデルの頑健性に関して総合的な評価と分析を行う。 本稿では,実世界の対話システムにおける言語理解に関連する3つの重要な側面,すなわち言語多様性,音声特性,雑音摂動について紹介する。 対話システムにおける堅牢性問題をテストするための自然摂動を近似するモデル非依存型ツールキットLAUGを提案する。
  論文  参考訳（メタデータ） (2020-12-30T18:18:47Z)
• Neurosymbolic AI for Situated Language Understanding [13.249453757295083]
  我々は,これらの学習課題に対する解法として,計算位置定位法が有効であると主張している。 我々のモデルは、古典的なAIの考えをニューロシンボリックインテリジェンス(英語版)の枠組みに再組み入れている。 我々は、さまざまなAI学習課題に対して、位置情報が多様なデータと複数のレベルのモデリングを提供する方法について論じる。
  論文  参考訳（メタデータ） (2020-12-05T05:03:28Z)
• Knowledge Injection into Dialogue Generation via Language Models [85.65843021510521]
  InjKは対話生成モデルに知識を注入するための2段階のアプローチである。 まず、大規模言語モデルをトレーニングし、テキスト知識としてクエリする。 次に、対話生成モデルを作成し、テキスト知識と対応する応答を逐次生成する。
  論文  参考訳（メタデータ） (2020-04-30T07:31:24Z)
• Low-Resource Knowledge-Grounded Dialogue Generation [74.09352261943913]
  我々は、限られた訓練例しか利用できないという自然な仮定のもと、知識基底による対話生成を考察する。 生成モデル全体から知識基底の対話に依存するパラメータを分離するために,不整合応答デコーダを考案する。 1/8のトレーニングデータだけで、我々のモデルは最先端のパフォーマンスを達成でき、ドメイン外の知識をうまく一般化できる。
  論文  参考訳（メタデータ） (2020-02-24T16:20:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。