論文の概要: AutoReply: Detecting Nonsense in Dialogue Introspectively with Discriminative Replies

• arxiv url: http://arxiv.org/abs/2211.12615v1
• Date: Tue, 22 Nov 2022 22:31:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 13:57:17.112777
• Title: AutoReply: Detecting Nonsense in Dialogue Introspectively with Discriminative Replies
• Title（参考訳）: autoreply: 差別的応答を伴う対話におけるナンセンスの検出
• Authors: Weiyan Shi, Emily Dinan, Adi Renduchintala, Daniel Fried, Athul Paul Jacob, Zhou Yu, Mike Lewis
• Abstract要約: 対話モデルは、不適切なメッセージを示す応答の確率を計算し、内観的に自分のメッセージの誤りを検出することができることを示す。 まず、手作りの返信は外交と同じくらい複雑なアプリケーションにおけるナンセンスを検出するタスクに有効であることを示す。 AutoReplyの生成した応答は手作りの応答よりも優れており、慎重に調整された大規模な教師付きモデルと同等に動作することがわかった。
• 参考スコア（独自算出の注目度）: 71.62832112141913
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing approaches built separate classifiers to detect nonsense in dialogues. In this paper, we show that without external classifiers, dialogue models can detect errors in their own messages introspectively, by calculating the likelihood of replies that are indicative of poor messages. For example, if an agent believes its partner is likely to respond "I don't understand" to a candidate message, that message may not make sense, so an alternative message should be chosen. We evaluate our approach on a dataset from the game Diplomacy, which contains long dialogues richly grounded in the game state, on which existing models make many errors. We first show that hand-crafted replies can be effective for the task of detecting nonsense in applications as complex as Diplomacy. We then design AutoReply, an algorithm to search for such discriminative replies automatically, given a small number of annotated dialogue examples. We find that AutoReply-generated replies outperform handcrafted replies and perform on par with carefully fine-tuned large supervised models. Results also show that one single reply without much computation overheads can also detect dialogue nonsense reasonably well.
• Abstract（参考訳）: 既存のアプローチでは、対話におけるナンセンスを検出するために別々の分類器を構築した。 本稿では,外部分類器がなければ,不適切なメッセージを示す応答の確率を計算することで,対話モデルが自身のメッセージ中のエラーをイントロスペクションで検出できることを示す。 例えば、あるエージェントがパートナーが候補者のメッセージに「私は理解できない」と答える可能性が高いと信じている場合、そのメッセージは意味をなさない可能性があるため、別のメッセージを選ぶべきである。 我々は,既存のモデルが多くの誤りを犯すゲーム状態に富んだ長い対話を含むゲーム外交(Diplomacy)のデータセットに対するアプローチを評価する。 まず、手作りの返信は外交と同じくらい複雑なアプリケーションにおけるナンセンスを検出するタスクに有効であることを示す。 次に、少数の注釈付き対話例から、このような識別的応答を自動的に検索するアルゴリズムであるAutoReplyを設計する。 AutoReplyの生成した応答は手作りの応答よりも優れており、慎重に調整された大規模な教師付きモデルと同等に動作する。 また,計算オーバーヘッドを伴わない単一応答が,対話を合理的に検出できることを示した。

関連論文リスト

• Prompting for a conversation: How to control a dialog model? [9.268682116424518]
  ダイアログモデルは大量のテキストでトレーニングされるが、その応答はダイアログエージェントの望ましいスコープとスタイルに制限される必要がある。 前者を達成するために使用されるデータセットには後者と互換性のない言語が含まれているため、事前訓練されたダイアログモデルは、より小さなキュレートされたデータセットで微調整される。 本稿では,上記のトレードオフを緩和できるかどうかを検討する。
  論文  参考訳（メタデータ） (2022-09-22T14:59:55Z)
• What is wrong with you?: Leveraging User Sentiment for Automatic Dialog Evaluation [73.03318027164605]
  本稿では,次のユーザの発話から自動的に抽出できる情報をプロキシとして利用して,前のシステム応答の質を測定することを提案する。 本モデルは,実際のユーザおよび有償ユーザから収集した音声と書面の両方のオープンドメインダイアログコーパスを一般化する。
  論文  参考訳（メタデータ） (2022-03-25T22:09:52Z)
• WeaSuL: Weakly Supervised Dialogue Policy Learning: Reward Estimation for Multi-turn Dialogue [17.663449579168297]
  エージェントとユーザ(教師付き学習目標を持つエージェントに類似したモデル化)の対話をシミュレートし、相互に対話する。 エージェントは動的ブロッキングを使用して、ランク付けされた多様な応答と探索-探索を生成し、トップK応答の中から選択する。 2つのベンチマークによる実証研究は、我々のモデルが応答品質を著しく上回り、会話の成功につながることを示唆している。
  論文  参考訳（メタデータ） (2021-08-01T08:00:45Z)
• Generating Dialogue Responses from a Semantic Latent Space [75.18449428414736]
  語彙のエンドツーエンド分類に代わる方法を提案する。 潜在空間上の回帰タスクとして,プロンプトと応答のペア関係を学習する。 人間の評価は、連続した空間でタスクを学習すると、関連性と情報性の両方を持つ応答が生成されることを示した。
  論文  参考訳（メタデータ） (2020-10-04T19:06:16Z)
• Learning an Effective Context-Response Matching Model with Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
  我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。 我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。 実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-09-14T08:44:46Z)
• Controlling Dialogue Generation with Semantic Exemplars [55.460082747572734]
  本稿では,経験的応答に現れる意味的フレームを用いて生成をガイドする,経験的対話生成モデルEDGEを提案する。 単語自体の単語ではなく、経験者の意味的フレームに基づく対話生成の制御により、生成した応答の一貫性が向上することを示す。
  論文  参考訳（メタデータ） (2020-08-20T17:02:37Z)
• Speaker Sensitive Response Evaluation Model [17.381658875470638]
  本稿では,生成した応答と会話コンテキストとの類似性に基づく自動評価モデルを提案する。 ラベルのない会話コーパスからモデルパラメータを学習する。 我々のモデルは、追加の訓練なしに映画対話に適用できることが示される。
  論文  参考訳（メタデータ） (2020-06-12T08:59:10Z)
• Learning an Unreferenced Metric for Online Dialogue Evaluation [53.38078951628143]
  本稿では,大規模な事前学習言語モデルを用いて発話の潜在表現を抽出する非参照自動評価指標を提案する。 提案手法は,オンライン環境でのアノテーションと高い相関性を実現すると同時に,推論時に比較に真の応答を必要としないことを示す。
  論文  参考訳（メタデータ） (2020-05-01T20:01:39Z)
• "Wait, I'm Still Talking!" Predicting the Dialogue Interaction Behavior Using Imagine-Then-Arbitrate Model [24.560203199376478]
  実際の人間と人間の会話では、1ターンで長いメッセージではなく、可読性のためのいくつかの短いメッセージが順次送信されることが多い。 本稿では,エージェントが待機するか,直接応答するかを決定するのに役立つ,新しいImagine-then-Arbitrate(ITA)ニューラルダイアログモデルを提案する。
  論文  参考訳（メタデータ） (2020-02-22T04:05:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。