論文の概要: Learning Locality and Isotropy in Dialogue Modeling

• arxiv url: http://arxiv.org/abs/2205.14583v1
• Date: Sun, 29 May 2022 06:48:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-31 14:39:34.598625
• Title: Learning Locality and Isotropy in Dialogue Modeling
• Title（参考訳）: 対話モデリングにおける局所性学習と等方性
• Authors: Han Wu, Haochen Tan, Mingjie Zhan, Gangming Zhao, Shaoqing Lu, Ding Liang and Linqi Song
• Abstract要約: 異方性と対話性のある特徴空間を構築するための単純な対話表現キャリブレーション法,すなわちSimDRCを提案する。 実験の結果,本手法は3つの対話課題における現在の最先端モデルよりも優れていた。
• 参考スコア（独自算出の注目度）: 28.743212772593335
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Existing dialogue modeling methods have achieved promising performance on various dialogue tasks with the aid of Transformer and the large-scale pre-trained language models. However, some recent studies revealed that the context representations produced by these methods suffer the problem of anisotropy. In this paper, we find that the generated representations are also not conversational, losing the conversation structure information during the context modeling stage. To this end, we identify two properties in dialogue modeling, i.e., locality and isotropy, and present a simple method for dialogue representation calibration, namely SimDRC, to build isotropic and conversational feature spaces. Experimental results show that our approach significantly outperforms the current state-of-the-art models on three dialogue tasks across the automatic and human evaluation metrics. More in-depth analyses further confirm the effectiveness of our proposed approach.
• Abstract（参考訳）: 既存の対話モデリング手法は、トランスフォーマーと大規模事前学習言語モデルを用いて、様々な対話タスクにおいて有望な性能を達成している。 しかし、近年の研究により、これらの手法によって生成された文脈表現は異方性の問題に苦しむことが明らかになった。 本稿では,生成した表現も会話的ではなく,文脈モデリング段階における会話構造情報を失うことを見出した。 この目的のために,対話モデリングにおける2つの特性,すなわち局所性と等方性を特定し,対話表現のキャリブレーションであるsimdrcを用いて等方的・対話的特徴空間を構築する方法を提案する。 実験結果から,本手法は,3つの対話課題における現状のモデルよりも,自動評価指標と人的評価指標で有意に優れていた。 さらに詳細な分析を行い,提案手法の有効性を確認した。

関連論文リスト

• SPECTRUM: Speaker-Enhanced Pre-Training for Long Dialogue Summarization [48.284512017469524]
  マルチターン対話は、その長さとターンテイクな会話の存在によって特徴づけられる。 伝統的な言語モデルは、しばしばそれらの対話の特徴を通常のテキストとして扱うことによって見落としている。 長文対話要約のための話者強化事前学習手法を提案する。
  論文  参考訳（メタデータ） (2024-01-31T04:50:00Z)
• Evaluating Robustness of Dialogue Summarization Models in the Presence of Naturally Occurring Variations [13.749495524988774]
  実生活変動が最先端の対話要約モデルに与える影響を系統的に検討する。 発話レベルの摂動は、誤りや言語の変化によって個々の発話を変更するもので、対話レベルの摂動は非形式的交換を加えるものである。 細調整モデルと命令調整モデルの両方が入力のバリエーションの影響を受けており、後者はより感受性が高い。
  論文  参考訳（メタデータ） (2023-11-15T05:11:43Z)
• STRUDEL: Structured Dialogue Summarization for Dialogue Comprehension [42.57581945778631]
  抽象的な対話要約は、自然言語処理における重要なスタンドアロンタスクとみなされてきた。 本稿では,新たな対話要約タスクであるSTRUctured DiaLoguE Summarizationを提案する。 変換器エンコーダ言語モデルの対話理解性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-12-24T04:39:54Z)
• Modeling Coreference Relations in Visual Dialog [18.926582410644375]
  ダイアログにおけるコア参照関係の発生は、視覚的質問応答よりも難しい課題となる。 教師なしの方法でダイアログにおけるコア参照を解消するモデルの能力を改善する2つのソフト制約を提案する。
  論文  参考訳（メタデータ） (2022-03-06T15:22:24Z)
• Language Model as an Annotator: Exploring DialoGPT for Dialogue Summarization [29.887562761942114]
  本稿では,対話応答生成のための事前学習モデルであるDialoGPTを,教師なし対話アノテータとして開発する方法を示す。 ダイアロGPTを用いて、2つの対話要約データセット(SAMSumとAMI)に3種類の特徴をラベル付けし、事前学習モデルと非訓練モデルを用いて要約する。
  論文  参考訳（メタデータ） (2021-05-26T13:50:13Z)
• Dialogue Response Selection with Hierarchical Curriculum Learning [52.3318584971562]
  対話応答選択のためのマッチングモデルの学習について検討する。 近年,ランダムなネガティブは信頼度の高いモデルを学習するには自明すぎることが判明し,階層的なカリキュラム学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-12-29T14:06:41Z)
• I like fish, especially dolphins: Addressing Contradictions in Dialogue Modeling [104.09033240889106]
  DialoguE Contradiction Detection Task(DECODE)と、人間とロボットの矛盾した対話の両方を含む新しい会話データセットを紹介します。 次に、事前学習したトランスフォーマーモデルを用いて、定型的非構造的アプローチと矛盾検出を行う構造的発話に基づくアプローチを比較する。
  論文  参考訳（メタデータ） (2020-12-24T18:47:49Z)
• Filling the Gap of Utterance-aware and Speaker-aware Representation for Multi-turn Dialogue [76.88174667929665]
  マルチターン対話は、2つ以上の異なる話者の役割から複数の発話からなる。 既存の検索に基づくマルチターン対話モデルでは、事前訓練された言語モデル(PrLM)をエンコーダとして、対話を粗く表現する。 本稿では,対話履歴に係わる効果的な発話認識表現と話者認識表現をモデル化することにより,そのようなギャップを埋める新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-09-14T15:07:19Z)
• Modeling Long Context for Task-Oriented Dialogue State Generation [51.044300192906995]
  本稿では,シンプルで効果的な発話タグ付け手法と双方向言語モデルを用いたマルチタスク学習モデルを提案する。 提案手法は,入力対話コンテキストシーケンスが長い場合に,ベースラインの性能が著しく低下する,という問題を解決する。 本実験では,MultiWOZ 2.0データセットにおいて,ベースラインに対して7.03%の相対的改善を実現し,新しい最先端のジョイントゴール精度を52.04%に設定した。
  論文  参考訳（メタデータ） (2020-04-29T11:02:25Z)
• Dialogue-Based Relation Extraction [53.2896545819799]
  本稿では,人間による対話型関係抽出(RE)データセットDialogREを提案する。 我々は,対話型タスクと従来のREタスクの類似点と相違点の分析に基づいて,提案課題において話者関連情報が重要な役割を担っていると論じる。 実験結果から,ベストパフォーマンスモデルにおける話者認識の拡張が,標準設定と会話評価設定の両方において向上することが示された。
  論文  参考訳（メタデータ） (2020-04-17T03:51:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。