論文の概要: The Dangers of trusting Stochastic Parrots: Faithfulness and Trust in
Open-domain Conversational Question Answering
- arxiv url: http://arxiv.org/abs/2305.16519v1
- Date: Thu, 25 May 2023 22:54:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 17:46:56.049515
- Title: The Dangers of trusting Stochastic Parrots: Faithfulness and Trust in
Open-domain Conversational Question Answering
- Title（参考訳）: 確率的パロットを信頼する危険--オープンドメイン会話質問回答における信条と信頼-
- Authors: Sabrina Chiesurin, Dimitris Dimakopoulos, Marco Antonio Sobrevilla
Cabezudo, Arash Eshghi, Ioannis Papaioannou, Verena Rieser, Ioannis Konstas
- Abstract要約: 語彙アライメントなど,ある種の高度な言語対話行動を示すタスクベースシステムは,実際より好まれ,信頼されている。
この結果から,不誠実な応答を提供しながらユーザの入力を傍受することで,信頼に値するシステムの可能性を強調した。
- 参考スコア（独自算出の注目度）: 20.439568097395995
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large language models are known to produce output which sounds fluent and
convincing, but is also often wrong, e.g. "unfaithful" with respect to a
rationale as retrieved from a knowledge base. In this paper, we show that
task-based systems which exhibit certain advanced linguistic dialog behaviors,
such as lexical alignment (repeating what the user said), are in fact preferred
and trusted more, whereas other phenomena, such as pronouns and ellipsis are
dis-preferred. We use open-domain question answering systems as our test-bed
for task based dialog generation and compare several open- and closed-book
models. Our results highlight the danger of systems that appear to be
trustworthy by parroting user input while providing an unfaithful response.
- Abstract（参考訳）: 大規模言語モデルは、流動的で説得力のある出力を生成することが知られているが、知識ベースから得られる理性に関して「不信」などはしばしば誤りである。
本稿では,語彙的アライメント(ユーザが言ったことを繰り返す)など,ある種の高度な言語対話行動を示すタスクベースシステムの方が,実際に望ましいこと,信頼度が高いこと,代名詞やエリプシスなどの現象が好ましくないこと,などを示す。
我々は,タスクベースダイアログ生成のためのテストベッドとしてオープンドメイン質問応答システムを使用し,オープンドメインとクローズドブックのモデルを比較した。
この結果から,不誠実な応答を提供しながらユーザの入力を傍受することで,信頼に値するシステムの可能性を強調した。
関連論文リスト
- Trustworthy Alignment of Retrieval-Augmented Large Language Models via Reinforcement Learning [84.94709351266557]
検索強化に関して,言語モデルの信頼性に焦点をあてる。
検索強化言語モデルには,文脈的知識とパラメトリック的知識の両方に応じて応答を供給できる本質的な能力があると考えられる。
言語モデルと人間の嗜好の整合性に着想を得て,検索強化言語モデルを外部証拠にのみ依存する状況に整合させるための第一歩を踏み出した。
論文 参考訳（メタデータ） (2024-10-22T09:25:21Z) - RELIC: Investigating Large Language Model Responses using Self-Consistency [58.63436505595177]
LLM(Large Language Models)は、フィクションと事実を混同し、幻覚として知られる非事実コンテンツを生成することで有名である。
本稿では,ユーザが生成したテキストの信頼性を把握できる対話型システムを提案する。
論文 参考訳（メタデータ） (2023-11-28T14:55:52Z) - Improving Factual Consistency for Knowledge-Grounded Dialogue Systems
via Knowledge Enhancement and Alignment [77.56326872997407]
事前訓練言語モデル(PLM)に基づく知識基底対話システムは、提供された知識源と実際に矛盾しない応答を生成する傾向にある。
トランスフォーマー内のフィードフォワードネットワーク(FFN)が事実知識表現の責任を負っていると判断する以前の研究から着想を得て,事実表現能力を効率的に改善するための2つの方法を検討した。
論文 参考訳（メタデータ） (2023-10-12T14:44:05Z) - PICK: Polished & Informed Candidate Scoring for Knowledge-Grounded
Dialogue Systems [59.1250765143521]
現在の知識接地対話システムは、生成された応答を人間に好まれる品質に合わせるのに失敗することが多い。
我々は,世代別再描画フレームワークであるPolseed & Informed Candidate Scoring (PICK)を提案する。
対話履歴に関連性を維持しつつ,より忠実な応答を生成するためのPICKの有効性を示す。
論文 参考訳（メタデータ） (2023-09-19T08:27:09Z) - PK-Chat: Pointer Network Guided Knowledge Driven Generative Dialogue
Model [79.64376762489164]
PK-Chatは、知識グラフ上のポインタネットワークと、事前訓練された言語モデルを組み合わせた、ポインタネットワーク誘導生成対話モデルである。
PK-Chatが対話で生成した単語は、単語リストの予測と外部知識グラフ知識の直接予測から導かれる。
PK-Chatに基づく対話システムは、地球科学の学術シナリオ向けに構築されている。
論文 参考訳（メタデータ） (2023-04-02T18:23:13Z) - KPT: Keyword-guided Pre-training for Grounded Dialog Generation [82.68787152707455]
KPT(Guided Pre-Training)は,グラウンドドダイアログ生成のための自己教師付き事前学習手法である。
具体的には、事前訓練された言語モデルを用いて、ダイアログ内の最も不確実なトークンをキーワードとして抽出する。
我々は,対話行為,知識グラフ,ペルソナ記述,ウィキペディアの文節など,数発の知識ベース生成タスクについて広範な実験を行った。
論文 参考訳（メタデータ） (2022-12-04T04:05:01Z) - Grounding in social media: An approach to building a chit-chat dialogue
model [9.247397520986999]
豊かな人間のような会話能力を持つオープンドメイン対話システムを構築することは、言語生成における根本的な課題の1つである。
知識に基づく対話生成に関する現在の研究は、主にウィキペディアのような事実に基づく構造化知識ソースを法人化または検索することに焦点を当てている。
本手法は,ソーシャルメディア上での人間の反応行動の模倣によって,システムの生会話能力を向上させることを目的とした,より広範かつシンプルなアプローチである。
論文 参考訳（メタデータ） (2022-06-12T09:01:57Z) - Saying No is An Art: Contextualized Fallback Responses for Unanswerable
Dialogue Queries [3.593955557310285]
ほとんどの対話システムは、ランク付けされた応答を生成するためのハイブリッドアプローチに依存している。
ユーザクエリに対して文脈的に認識された応答を生成するニューラルネットワークを設計する。
我々の単純なアプローチでは、依存関係解析のルールと、質問応答ペアの合成データに基づいて微調整されたテキストからテキストへの変換を行う。
論文 参考訳（メタデータ） (2020-12-03T12:34:22Z) - NUANCED: Natural Utterance Annotation for Nuanced Conversation with
Estimated Distributions [36.00476428803116]
本研究では,ユーザ中心の対話システムの構築を試みる。
まず,ユーザの好みをシステムオントロジー上の推定分布としてモデル化し,ユーザの発話をそのような分布にマッピングする。
我々は、会話レコメンデーションのための現実的な設定に焦点を当てたNUANCEDという新しいデータセットを構築した。
論文 参考訳（メタデータ） (2020-10-24T03:23:14Z) - Context-Sensitive Generation Network for Handing Unknown Slot Values in
Dialogue State Tracking [38.96838255645715]
語彙外単語の表現を容易にする新しい文脈知覚生成ネットワーク(CSG)を提案する。
提案手法は最先端のベースラインよりも優れている。
論文 参考訳（メタデータ） (2020-05-08T09:22:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。