論文の概要: Dr ChatGPT, tell me what I want to hear: How prompt knowledge impacts
health answer correctness
- arxiv url: http://arxiv.org/abs/2302.13793v1
- Date: Thu, 23 Feb 2023 22:14:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-28 15:29:10.670263
- Title: Dr ChatGPT, tell me what I want to hear: How prompt knowledge impacts
health answer correctness
- Title（参考訳）: ChatGPT博士、私が聞きたいことを教えてください。知識の速さが健康にどんな影響を及ぼすか
- Authors: Guido Zuccon, Bevan Koopman
- Abstract要約: ChatGPTのような生成的事前学習言語モデルは、事前学習フェーズ中にモデルが観察するパラメータの知識を符号化する。
この知識は、ユーザがプロンプトで指定したタスクに対処するために、推論で使用される。
提案手法では, モデルに符号化された知識を逆転させることが可能であることを示し, 実験では, 答えの正しさを損なうことが示唆された。
- 参考スコア（独自算出の注目度）: 27.60133652134339
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative pre-trained language models (GPLMs) like ChatGPT encode in the
model's parameters knowledge the models observe during the pre-training phase.
This knowledge is then used at inference to address the task specified by the
user in their prompt. For example, for the question-answering task, the GPLMs
leverage the knowledge and linguistic patterns learned at training to produce
an answer to a user question. Aside from the knowledge encoded in the model
itself, answers produced by GPLMs can also leverage knowledge provided in the
prompts. For example, a GPLM can be integrated into a retrieve-then-generate
paradigm where a search engine is used to retrieve documents relevant to the
question; the content of the documents is then transferred to the GPLM via the
prompt. In this paper we study the differences in answer correctness generated
by ChatGPT when leveraging the model's knowledge alone vs. in combination with
the prompt knowledge. We study this in the context of consumers seeking health
advice from the model. Aside from measuring the effectiveness of ChatGPT in
this context, we show that the knowledge passed in the prompt can overturn the
knowledge encoded in the model and this is, in our experiments, to the
detriment of answer correctness. This work has important implications for the
development of more robust and transparent question-answering systems based on
generative pre-trained language models.
- Abstract（参考訳）: ChatGPTのような生成事前学習言語モデル(GPLM)は、事前学習フェーズ中にモデルが観察するパラメータの知識を符号化する。
この知識は、ユーザがプロンプトで指定したタスクに対処するために推論で使用される。
例えば、質問応答タスクでは、GPLMは学習時に学んだ知識と言語パターンを活用して、ユーザ質問に対する回答を生成する。
モデル自体にエンコードされた知識とは別に、gplmsが生成する回答はプロンプトで提供される知識を活用できる。
例えば、GPLMは検索-then-generateパラダイムに統合され、検索エンジンが質問に関連する文書を検索するために使用され、文書の内容はプロンプトを介してGPLMに転送される。
本稿では,ChatGPTが生成した解の正当性の違いを,モデル知識と素早い知識との組み合わせで比較する。
我々は、モデルから健康アドバイスを求める消費者の文脈でこれを研究する。
この文脈におけるChatGPTの有効性の測定は別として、プロンプトに渡された知識がモデルに符号化された知識を覆すことができることを示す。
この研究は、生成事前学習言語モデルに基づくより堅牢で透明な質問応答システムの開発に重要な意味を持つ。
関連論文リスト
- Enhancing Contextual Understanding in Large Language Models through Contrastive Decoding [9.2433070542025]
大規模言語モデル(LLM)は、テキスト生成時に入力コンテキストを不適切に統合する傾向がある。
本稿では, 逆無関係なパスを負のサンプルとして, コントラストデコーディングを統合する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-05-04T20:38:41Z) - Self-Bootstrapped Visual-Language Model for Knowledge Selection and Question Answering [11.183845003492964]
私たちはPassage Retrieval(DPR)を使って関連する知識を取得し、モデルが質問に答える手助けをします。
DPRは自然言語空間における検索を行うが、画像情報の総合的な取得は保証されない。
本稿では、視覚言語モデルを利用して、DPRが検索した重要な知識を選択し、質問に答える新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-04-22T07:44:20Z) - Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。
既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
論文 参考訳（メタデータ） (2024-03-26T06:57:23Z) - FreshLLMs: Refreshing Large Language Models with Search Engine
Augmentation [92.43001160060376]
本研究では,現在の世界知識をテストする質問に答える文脈において,大規模言語モデル(LLM)の事実性について検討する。
多様な質問や回答のタイプを含む新しい動的QAベンチマークであるFreshQAを紹介する。
我々は,2モード評価法により,閉じたLLMとオープンソースのLLMの多種多様な配列をベンチマークし,その正しさと幻覚の両面を計測する。
これらの結果に触発されたFreshPromptは、FreshQA上でのLLMの性能を大幅に向上させる単純な数ショットプロンプトである。
論文 参考訳（メタデータ） (2023-10-05T00:04:12Z) - Knowledge-Augmented Language Model Prompting for Zero-Shot Knowledge
Graph Question Answering [7.888547093390469]
大言語モデル(LLM)は、ゼロショットのクローズドブック質問応答タスクを実行することができる。
我々は,LSMの入力において,その知識を直接拡張することを提案する。
我々のフレームワークであるKAPING(Knowledge-Augmented Language Model Prompting)は、モデルトレーニングを必要としないため、完全にゼロショットである。
論文 参考訳（メタデータ） (2023-06-07T04:15:21Z) - RECKONING: Reasoning through Dynamic Knowledge Encoding [51.076603338764706]
言語モデルは、文脈の一部として提供される知識について推論することで、質問に答えることができることを示す。
これらの状況では、モデルは質問に答えるために必要な知識を区別することができない。
我々は、与えられた文脈知識をモデルのパラメータに折り畳み、より堅牢に推論するようにモデルに教えることを提案する。
論文 参考訳（メタデータ） (2023-05-10T17:54:51Z) - TSGP: Two-Stage Generative Prompting for Unsupervised Commonsense
Question Answering [4.965306353273393]
教師なしのコモンセンス質問応答には、ラベル付きタスクデータに頼らずに効果的なコモンセンス知識をマイニングする必要がある。
2段階のプロンプトに基づく教師なしコモンセンス質問応答フレームワーク(TSGP)を提案する。
CommonsenseQA、OpenBookQA、SocialIQAの3つの異なる共通センス推論タスクに関する実験結果と分析により、TSGPは教師なし設定における言語モデルの推論能力を大幅に改善することを示した。
論文 参考訳（メタデータ） (2022-11-24T10:19:24Z) - Editing Factual Knowledge in Language Models [51.947280241185]
本稿では,この知識を編集する手法であるKnowledgeEditorを提案する。
knowledgeeditorは計算効率が高いだけでなく、lm事前トレーニングの修正も必要としない。
2つの一般的なアーキテクチャと知識集約型タスクで、KnowledgeEditorの有効性を示します。
論文 参考訳（メタデータ） (2021-04-16T15:24:42Z) - BERTese: Learning to Speak to BERT [50.76152500085082]
本論文では,より良い知識抽出に向けて直接最適化されたパラフレーズクエリ"BERTese"に自動書き換える手法を提案する。
私たちのアプローチが競合するベースラインを上回ることを実証的に示し、複雑なパイプラインの必要性を回避します。
論文 参考訳（メタデータ） (2021-03-09T10:17:22Z) - Retrieve, Program, Repeat: Complex Knowledge Base Question Answering via
Alternate Meta-learning [56.771557756836906]
本稿では,弱い監督からプログラマと交互に検索モデルを自動的に学習する手法を提案する。
本システムでは,知識ベースに対する複雑な質問応答を行う大規模タスクにおいて,最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2020-10-29T18:28:16Z) - How Much Knowledge Can You Pack Into the Parameters of a Language Model? [44.81324633069311]
構造化されていないテキストでトレーニングされたニューラルネットワークモデルは、自然言語クエリを使用して暗黙的に知識を格納し、取得することができる。
我々は、事前学習したモデルを微調整して、外部の文脈や知識にアクセスせずに質問に答えることにより、このアプローチの実用性を測定する。
論文 参考訳（メタデータ） (2020-02-10T18:55:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。