論文の概要: Dual Inference for Improving Language Understanding and Generation

• arxiv url: http://arxiv.org/abs/2010.04246v2
• Date: Thu, 15 Oct 2020 02:10:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 12:15:44.401830
• Title: Dual Inference for Improving Language Understanding and Generation
• Title（参考訳）: 言語理解と生成を改善するためのデュアル推論
• Authors: Shang-Yu Su, Yung-Sung Chuang, Yun-Nung Chen
• Abstract要約: 自然言語理解(NLU)と自然言語生成(NLG)のタスクは、強い二重関係を持つ。 NLUは自然言語の発話に基づいて意味ラベルを予測することを目的としており、NLGはその逆を行う。 本稿では,再学習を必要とせず,推論段階における双対性を活用することを提案する。
• 参考スコア（独自算出の注目度）: 35.251935231914366
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural language understanding (NLU) and Natural language generation (NLG) tasks hold a strong dual relationship, where NLU aims at predicting semantic labels based on natural language utterances and NLG does the opposite. The prior work mainly focused on exploiting the duality in model training in order to obtain the models with better performance. However, regarding the fast-growing scale of models in the current NLP area, sometimes we may have difficulty retraining whole NLU and NLG models. To better address the issue, this paper proposes to leverage the duality in the inference stage without the need of retraining. The experiments on three benchmark datasets demonstrate the effectiveness of the proposed method in both NLU and NLG, providing the great potential of practical usage.
• Abstract（参考訳）: 自然言語理解(NLU)と自然言語生成(NLG)のタスクは強い二重関係を持ち、NLUは自然言語の発話に基づいて意味ラベルを予測し、NLGは反対する。 先行研究は主に、より優れたモデルを得るために、モデルトレーニングにおける双対性の利用に重点を置いていた。 しかし,現在のNLP領域におけるモデルの急速な拡大については,NLUモデルとNLGモデル全体の再訓練が困難になる場合がある。 そこで本研究では,推論段階における双対性を,再学習を必要とせずに活用することを提案する。 3つのベンチマークデータセットを用いた実験は,NLUとNLGの両方において提案手法の有効性を実証し,実用化の可能性を示した。

関連論文リスト

• A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
  我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。 NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。 NLGのKE-PLMは、KGベースと検索ベースに分類される。
  論文  参考訳（メタデータ） (2022-11-11T04:29:02Z)
• Near-Negative Distinction: Giving a Second Life to Human Evaluation Datasets [95.4182455942628]
  本研究では,従来のアノテーションをNNDテストに再利用するNear-Negative Distinction(NND)を提案する。 NNDテストでは、NLGモデルは既知の誤りのあるほぼ負の候補よりも高品質な出力候補に高い確率で配置しなければならない。 NND は標準的な NLG 評価指標よりも,人間の判断との相関性が高いことを示す。
  論文  参考訳（メタデータ） (2022-05-13T20:02:53Z)
• A Survey of Knowledge-Intensive NLP with Pre-Trained Language Models [185.08295787309544]
  我々は、事前訓練された言語モデルに基づく知識強化モデル(PLMKEs)の現在の進歩を要約することを目的としている。 本論では,3つの要素に関する議論に基づくPLMKEの課題について述べるとともに,NLP実践者にさらなる研究の道筋を示そうとしている。
  論文  参考訳（メタデータ） (2022-02-17T17:17:43Z)
• AdaPrompt: Adaptive Model Training for Prompt-based NLP [77.12071707955889]
  PLMの継続事前学習のための外部データを適応的に検索するAdaPromptを提案する。 5つのNLPベンチマークの実験結果から、AdaPromptは数ショット設定で標準PLMよりも改善可能であることが示された。 ゼロショット設定では、標準のプロンプトベースの手法を26.35%の相対誤差削減で上回ります。
  論文  参考訳（メタデータ） (2022-02-10T04:04:57Z)
• Towards More Robust Natural Language Understanding [0.0]
  自然言語理解(NLU)は自然言語処理(NLP)の分野である 近年、深層学習技術を用いた様々なNLUタスクが目覚ましい進歩を遂げている。 自然言語を理解する人間の能力は柔軟で堅牢です。
  論文  参考訳（メタデータ） (2021-12-01T17:27:19Z)
• A Generative Model for Joint Natural Language Understanding and Generation [9.810053382574017]
  本研究では,NLUとNLGを結合した生成モデルを提案する。 本モデルでは,2つの対話データセットに対して,フラットおよびツリー構造の両方の形式表現を用いて,最先端のパフォーマンスを実現する。 また,モデルの性能向上のために,ラベルのないデータを活用することで,半教師付きでモデルを訓練できることも示す。
  論文  参考訳（メタデータ） (2020-06-12T22:38:55Z)
• Towards Unsupervised Language Understanding and Generation by Joint Dual Learning [40.730699588561805]
  モジュール型対話システムでは、自然言語理解(NLU)と自然言語生成(NLG)が重要な要素である。 本稿では,このような双対性を効果的に活用するための一般学習フレームワークを提案する。 提案手法はNLUとNLGの両方の性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-30T12:02:33Z)
• Boosting Naturalness of Language in Task-oriented Dialogues via Adversarial Training [29.468502787886813]
  我々は、より人間的な反応を生み出すために、敵の訓練を統合することを提案する。 RNN-LGレストランデータセットでは、我々のモデルAdvNLGは、BLEUの3.6%で過去の最先端結果を上回っている。
  論文  参考訳（メタデータ） (2020-04-30T03:35:20Z)
• Dual Learning for Semi-Supervised Natural Language Understanding [29.692288627633374]
  自然言語理解(NLU)は、文を構造化意味形式に変換する。 NLU, semantic-to-sentence generation (SSG) の2つのタスクを導入する。 本稿では,対応する2つのモデルを用いた半教師付きNLUのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-26T07:17:48Z)
• Logical Natural Language Generation from Open-Domain Tables [107.04385677577862]
  本稿では,その事実に関連付けられた自然言語文をモデルで生成するタスクを提案する。 提案した論理的 NLG 問題の研究を容易にするために,幅広い論理的・記号的推論を特徴とする既存の TabFact データセットcitechen 2019tabfact を用いる。 新しいタスクは、シーケンス順序と論理順序のミスマッチのため、既存のモノトニック生成フレームワークに課題をもたらす。
  論文  参考訳（メタデータ） (2020-04-22T06:03:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。