論文の概要: Rome was built in 1776: A Case Study on Factual Correctness in Knowledge-Grounded Response Generation

• arxiv url: http://arxiv.org/abs/2110.05456v1
• Date: Mon, 11 Oct 2021 17:48:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 15:15:30.080049
• Title: Rome was built in 1776: A Case Study on Factual Correctness in Knowledge-Grounded Response Generation
• Title（参考訳）: ローマは1776年に建設され、知識基盤応答生成における事実の正確性に関する事例研究
• Authors: Sashank Santhanam, Behnam Hedayatnia, Spandana Gella, Aishwarya Padmakumar, Seokhwan Kim, Yang Liu, Dilek Hakkani-Tur
• Abstract要約: 3つの異なる応答タイプを識別するために,人間のアノテーション設定を提案する。 私たちは、ウィザード・オブ・ウィキペディアのデータセットから適応したConv-FEVERという新しいコーパスを自動生成します。
• 参考スコア（独自算出の注目度）: 18.63673852470077
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently neural response generation models have leveraged large pre-trained transformer models and knowledge snippets to generate relevant and informative responses. However, this does not guarantee that generated responses are factually correct. In this paper, we examine factual correctness in knowledge-grounded neural response generation models. We present a human annotation setup to identify three different response types: responses that are factually consistent with respect to the input knowledge, responses that contain hallucinated knowledge, and non-verifiable chitchat style responses. We use this setup to annotate responses generated using different stateof-the-art models, knowledge snippets, and decoding strategies. In addition, to facilitate the development of a factual consistency detector, we automatically create a new corpus called Conv-FEVER that is adapted from the Wizard of Wikipedia dataset and includes factually consistent and inconsistent responses. We demonstrate the benefit of our Conv-FEVER dataset by showing that the models trained on this data perform reasonably well to detect factually inconsistent responses with respect to the provided knowledge through evaluation on our human annotated data. We will release the Conv-FEVER dataset and the human annotated responses.
• Abstract（参考訳）: 近年、ニューラルレスポンス生成モデルでは、大きな事前学習されたトランスフォーマーモデルと知識スニペットを活用して、関連性および情報的応答を生成する。 しかし、これは生成された応答が事実正しいことを保証しません。 本稿では,知識接地神経応答生成モデルにおける事実的正確性について検討する。 入力知識に関して事実上一貫性のある応答,幻覚的な知識を含む応答,検証不能なchitchatスタイルの応答という,3つの異なる応答タイプを識別するためのヒューマンアノテーションのセットアップを提案する。 私たちはこの設定を使って、さまざまな最先端モデル、知識スニペット、デコード戦略を使って生成された応答を注釈付けします。 さらに、事実整合性検知器の開発を容易にするため、ウィキペディアのウィザードデータセットから適応し、事実整合性と一貫性のない応答を含むConv-FEVERと呼ばれる新しいコーパスを自動生成する。 このデータに基づいてトレーニングしたモデルが、人間の注釈付きデータの評価を通じて提供された知識に対して、実際に一貫性のない応答を検出するのに適していることを示すことにより、当社のconv-feverデータセットのメリットを実証する。 我々は、Conv-FEVERデータセットと人間の注釈付きレスポンスをリリースする。

関連論文リスト

• Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
  ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。 我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。 データセットの精度は6%向上した。
  論文  参考訳（メタデータ） (2024-10-07T00:09:50Z)
• Evidence-Driven Retrieval Augmented Response Generation for Online Misinformation [18.18205773056388]
  オンライン誤報(RARG)のための検索強化応答生成を提案する。 RARGは科学的情報源から証拠を収集し、証拠に基づいて反情報応答を生成する。 得られた証拠の質を維持しつつ,得られた証拠の有効利用を最大化する報奨関数を提案する。
  論文  参考訳（メタデータ） (2024-03-22T05:05:45Z)
• R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
  大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。 事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。 我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。 実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-16T08:45:44Z)
• Promoting Open-domain Dialogue Generation through Learning Pattern Information between Contexts and Responses [5.936682548344234]
  本稿では,学習サンプルの文脈と応答の間の暗黙的なパターン情報を学ぶことにより,生成した応答の品質を向上させる。 また、文脈と応答間の暗黙的パターン情報をマイニングする応答認識機構を設計し、生成した応答をより多様でヒトの応答に近似するようにした。
  論文  参考訳（メタデータ） (2023-09-06T08:11:39Z)
• RECKONING: Reasoning through Dynamic Knowledge Encoding [51.076603338764706]
  言語モデルは、文脈の一部として提供される知識について推論することで、質問に答えることができることを示す。 これらの状況では、モデルは質問に答えるために必要な知識を区別することができない。 我々は、与えられた文脈知識をモデルのパラメータに折り畳み、より堅牢に推論するようにモデルに教えることを提案する。
  論文  参考訳（メタデータ） (2023-05-10T17:54:51Z)
• Reinforcement Learning-based Counter-Misinformation Response Generation: A Case Study of COVID-19 Vaccine Misinformation [19.245814221211415]
  非熟練の一般ユーザーは、偽情報に対して積極的に対応している。 本研究では、誤情報と反誤情報応答のペアの2つの新しいデータセットを作成する。 我々は,反情報応答を学習する強化学習に基づくフレームワークであるMisinfoCorrectを提案する。
  論文  参考訳（メタデータ） (2023-03-11T15:55:01Z)
• Visual Question Answering with Prior Class Semantics [50.845003775809836]
  候補解のセマンティクスに関連する追加情報を利用する方法を示す。 セマンティック空間における回帰目標を用いて解答予測プロセスを拡張する。 提案手法は,様々な質問タイプに対して,一貫性と精度の向上をもたらす。
  論文  参考訳（メタデータ） (2020-05-04T02:46:31Z)
• A Controllable Model of Grounded Response Generation [122.7121624884747]
  現在のエンドツーエンドのニューラルネットワークモデルは、応答生成プロセスにセマンティックコントロールを課す柔軟性を本質的に欠いている。 我々は制御可能な接地応答生成(CGRG)と呼ばれるフレームワークを提案する。 このフレームワークを用いることで、会話のようなRedditデータセットでトレーニングされた、新しいインダクティブアテンション機構を備えたトランスフォーマーベースのモデルが、強力な生成ベースラインを上回っていることを示す。
  論文  参考訳（メタデータ） (2020-05-01T21:22:08Z)
• Improving Factual Consistency Between a Response and Persona Facts [64.30785349238619]
  応答生成のためのニューラルネットワークは、意味論的に妥当であるが、必ずしも話者のペルソナを記述する事実と矛盾しない応答を生成する。 我々は,これらのモデルを強化学習により微調整し,応答とペルソナ事実の一貫性と意味的妥当性を明確に把握する効率的な報酬関数を提案する。
  論文  参考訳（メタデータ） (2020-04-30T18:08:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。