論文の概要: Semantic Diversity in Dialogue with Natural Language Inference
- arxiv url: http://arxiv.org/abs/2205.01497v1
- Date: Tue, 3 May 2022 13:56:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-04 17:31:51.714643
- Title: Semantic Diversity in Dialogue with Natural Language Inference
- Title(参考訳): 自然言語推論と対話における意味的多様性
- Authors: Katherine Stasaski and Marti A. Hearst
- Abstract要約: 本稿では,対話生成における多様性向上に2つの重要な貢献をする。
まず、自然言語推論(NLI)を用いて、会話に対するモデル応答の集合のセマンティック多様性を測定する新しいメトリクスを提案する。
第2に,多様性閾値生成と呼ばれる新世代の手法を用いて,サンプル化された応答集合のセマンティック多様性を反復的に改善する方法を実証する。
- 参考スコア(独自算出の注目度): 19.74618235525502
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generating diverse, interesting responses to chitchat conversations is a
problem for neural conversational agents. This paper makes two substantial
contributions to improving diversity in dialogue generation. First, we propose
a novel metric which uses Natural Language Inference (NLI) to measure the
semantic diversity of a set of model responses for a conversation. We evaluate
this metric using an established framework (Tevet and Berant, 2021) and find
strong evidence indicating NLI Diversity is correlated with semantic diversity.
Specifically, we show that the contradiction relation is more useful than the
neutral relation for measuring this diversity and that incorporating the NLI
model's confidence achieves state-of-the-art results. Second, we demonstrate
how to iteratively improve the semantic diversity of a sampled set of responses
via a new generation procedure called Diversity Threshold Generation, which
results in an average 137% increase in NLI Diversity compared to standard
generation procedures.
- Abstract(参考訳): chitchat会話に対する多様な興味深い応答を生成することは、神経会話エージェントの問題である。
本稿では,対話生成における多様性向上に2つの大きな貢献をする。
まず,自然言語推論(NLI)を用いて,会話に対するモデル応答の集合の意味的多様性を測定する手法を提案する。
この指標を確立されたフレームワーク(tevet and berant, 2021)を用いて評価し,nli多様性が意味的多様性と相関していることを示す強い証拠を見出した。
具体的には,この多様性を測定するための中立関係よりも矛盾関係の方が有用であり,nliモデルの信頼度を組み込むことで最先端の結果が得られることを示す。
第2に,NLIの多様性を標準生成法と比較して平均137%向上する「多様性閾値生成」と呼ばれる新しい生成法を用いて,サンプル集合のセマンティック多様性を反復的に改善する方法を示す。
関連論文リスト
- The Factuality Tax of Diversity-Intervened Text-to-Image Generation: Benchmark and Fact-Augmented Intervention [61.80236015147771]
我々は多様性の介入とT2Iモデルにおける人口統計学的事実性とのトレードオフを定量化する。
DoFaiRの実験では、多様性指向の指示によって、性別や人種の異なる集団の数が増加することが明らかになった。
本研究では,歴史における世代ごとのジェンダーや人種構成について,言語化された事実情報を反映したFact-Augmented Intervention (FAI)を提案する。
論文 参考訳(メタデータ) (2024-06-29T09:09:42Z) - Improving Diversity of Commonsense Generation by Large Language Models via In-Context Learning [28.654890118684957]
生成コモンセンス推論 (Generative Commonsense Reasoning, GCR) は、コモンセンス知識を用いて状況を理解するためのモデルを必要とする。
生成の多様性は、モデルが様々な常識的知識事実を使用する能力を反映しているため、同様に重要である。
そこで本研究では,LLMの世代を多様化し,その品質を保ちながら簡便な手法を提案する。
論文 参考訳(メタデータ) (2024-04-25T17:52:39Z) - Scaling Data Diversity for Fine-Tuning Language Models in Human Alignment [84.32768080422349]
人間の好みの調整は、大きな言語モデルが誤解を招くか有害なコンテンツを生成するのを防ぐ。
本研究では, 微調整後のLLMの最終性能と線形相関を示唆し, 即時多様性の新たな定式化を提案する。
論文 参考訳(メタデータ) (2024-03-17T07:08:55Z) - Improving Diversity of Demographic Representation in Large Language
Models via Collective-Critiques and Self-Voting [19.79214899011072]
本稿では,生成的大言語モデルにおける表現の多様性を形式化する。
評価データセットを提示し、人や文化軸に沿って生成された反応の多様性を測定する指標を提案する。
LLMは多様性の概念を理解し、その目標に対して自身の反応を推論し、批判することができる。
論文 参考訳(メタデータ) (2023-10-25T10:17:17Z) - Diversify Question Generation with Retrieval-Augmented Style Transfer [68.00794669873196]
本稿では,検索型スタイル転送のためのフレームワーク RAST を提案する。
本研究の目的は,多様なテンプレートのスタイルを質問生成に活用することである。
多様性報酬と一貫性報酬の重み付けを最大化する新しい強化学習(RL)ベースのアプローチを開発する。
論文 参考訳(メタデータ) (2023-10-23T02:27:31Z) - Diverse and Faithful Knowledge-Grounded Dialogue Generation via
Sequential Posterior Inference [82.28542500317445]
本稿では,知識の選択と対話生成が可能な,逐次後推論(Sequential Posterior Inference, SPI)と呼ばれるエンドツーエンド学習フレームワークを提案する。
他の方法とは異なり、SPIは推論ネットワークを必要とせず、後部分布の単純な幾何学を仮定する。
論文 参考訳(メタデータ) (2023-06-01T21:23:13Z) - Pragmatically Appropriate Diversity for Dialogue Evaluation [19.74618235525502]
言語プラグマティクス(英語版)は、会話の根底にある音声は、会話の各ターンに適切な応答のタイプを制限できると述べている。
本稿では,対話が多種多様な応答を生成・制約する程度に定義された,実用的に適切な多様性の概念を提案する。
論文 参考訳(メタデータ) (2023-04-06T01:24:18Z) - Exploring Diversity in Back Translation for Low-Resource Machine
Translation [85.03257601325183]
バックトランスフォーメーションは、ニューラルマシントランスフォーメーションシステムの性能を改善するために最も広く使われている手法の1つである。
近年の研究では、生成された翻訳の「多様性」を増大させることにより、この手法の有効性を高めることを目指している。
この研究は、トレーニングデータの多様性を理解し、それを語彙的多様性と構文的多様性に分割する、より微妙なフレームワークを推し進めている。
論文 参考訳(メタデータ) (2022-06-01T15:21:16Z) - Pushing Paraphrase Away from Original Sentence: A Multi-Round Paraphrase
Generation Approach [97.38622477085188]
パラフレーズの多様性を向上させるためにBTmPG(Back-Translation Guided Multi-round Paraphrase Generation)を提案する。
2つのベンチマークデータセット上でBTmPGを評価する。
論文 参考訳(メタデータ) (2021-09-04T13:12:01Z) - Informed Sampling for Diversity in Concept-to-Text NLG [8.883733362171034]
本稿では,言語生成モデルが確実に生成できる多様性のレベルを探索するために,Imitation Learningアプローチを提案する。
具体的には、任意のタイミングでどの単語が高品質な出力につながるかを識別するように訓練されたメタ分類器を用いて復号処理を強化する。
論文 参考訳(メタデータ) (2020-04-29T17:43:24Z) - Evaluating the Evaluation of Diversity in Natural Language Generation [43.05127848086264]
本稿では,自然言語生成システムにおける多様性指標を評価するためのフレームワークを提案する。
当社のフレームワークは,NLGシステムの改善に向けた重要なステップである,さまざまな多様性指標の理解を促進することができる。
論文 参考訳(メタデータ) (2020-04-06T20:44:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。