論文の概要: Understanding the Effects of Iterative Prompting on Truthfulness
- arxiv url: http://arxiv.org/abs/2402.06625v1
- Date: Fri, 9 Feb 2024 18:57:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-12 15:38:45.046241
- Title: Understanding the Effects of Iterative Prompting on Truthfulness
- Title(参考訳): イテレーティブ・プロンプティングが真実性に及ぼす影響を理解する
- Authors: Satyapriya Krishna, Chirag Agarwal, Himabindu Lakkaraju
- Abstract要約: 本稿では,反復的プロンプトが大規模言語モデル(LLM)の真偽に及ぼす影響について検討する。
特定された問題に対処するために設計されたいくつかのプロンプト変種を導入する。
我々の研究は、反復的プロンプトの微妙な理解を提供し、LLMの真理性を高めるための新しいアプローチを導入している。
- 参考スコア(独自算出の注目度): 36.022674676543126
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The development of Large Language Models (LLMs) has notably transformed
numerous sectors, offering impressive text generation capabilities. Yet, the
reliability and truthfulness of these models remain pressing concerns. To this
end, we investigate iterative prompting, a strategy hypothesized to refine LLM
responses, assessing its impact on LLM truthfulness, an area which has not been
thoroughly explored. Our extensive experiments delve into the intricacies of
iterative prompting variants, examining their influence on the accuracy and
calibration of model responses. Our findings reveal that naive prompting
methods significantly undermine truthfulness, leading to exacerbated
calibration errors. In response to these challenges, we introduce several
prompting variants designed to address the identified issues. These variants
demonstrate marked improvements over existing baselines, signaling a promising
direction for future research. Our work provides a nuanced understanding of
iterative prompting and introduces novel approaches to enhance the truthfulness
of LLMs, thereby contributing to the development of more accurate and
trustworthy AI systems.
- Abstract(参考訳): 大規模言語モデル(llms)の開発は、多くの分野に変化をもたらし、印象的なテキスト生成能力を提供している。
しかし、これらのモデルの信頼性と真実性は依然として懸念されている。
そこで本研究では, LLM応答を洗練させる戦略である反復的プロンプトについて検討し, LLM応答がLLMの真性に与える影響を検証した。
モデル応答の精度とキャリブレーションに与える影響を検証し,反復的プロンシングの複雑さを詳細に検討した。
以上の結果から,ナイーブ・プロンプト法が真偽を著しく損なうことが判明し,校正誤差が悪化した。
これらの課題に対応するために,我々は,特定された問題に対処するためのプロンプト型をいくつか紹介する。
これらの変異は、既存のベースラインよりも顕著な改善を示しており、将来の研究に有望な方向性を示している。
私たちの研究は反復的プロンプトの微妙な理解を提供し、llmの真実性を高める新しいアプローチを導入し、より正確で信頼できるaiシステムの開発に寄与します。
関連論文リスト
- LITO: Learnable Intervention for Truthfulness Optimization [19.69104070561701]
大きな言語モデル(LLM)は長文で一貫性のあるテキストを生成することができるが、事実を幻覚させることが多い。
真性最適化のための学習可能なインターベンション手法であるLITOを提案する。
論文 参考訳(メタデータ) (2024-05-01T03:50:09Z) - Rejection Improves Reliability: Training LLMs to Refuse Unknown Questions Using RL from Knowledge Feedback [14.120154004011084]
LLM(Large Language Models)はしばしば幻覚と呼ばれる誤った出力を生成する。
知識フィードバックによる強化学習(Reinforcement Learning from Knowledge Feedback, RLKF)と呼ばれる新しいアライメントフレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-27T08:39:56Z) - SPUQ: Perturbation-Based Uncertainty Quantification for Large Language
Models [9.817185255633758]
大規模言語モデル(LLM)がますます普及し、顕著なテキスト生成機能を提供している。
プレッシャーの課題は、自信を持って間違った予測をする傾向にある。
本稿では,浮腫とてんかんの両不確実性に対処するために,新しいUQ法を提案する。
その結果,モデルキャリブレーションは大幅に改善し,予測誤差(ECE)は平均50%減少した。
論文 参考訳(メタデータ) (2024-03-04T21:55:22Z) - Fact-and-Reflection (FaR) Improves Confidence Calibration of Large
Language Models [89.20169610517381]
ファクト・アンド・リフレクション(FaR)プロンプトを提案し,LLMキャリブレーションを2ステップで改善する。
実験の結果、FaRはキャリブレーションが大幅に向上し、期待される誤差を23.5%下げた。
FaRは、信頼性の低いシナリオにおいて、言語的に関心を表現できる能力さえも持っています。
論文 参考訳(メタデータ) (2024-02-27T01:37:23Z) - RELIC: Investigating Large Language Model Responses using Self-Consistency [58.63436505595177]
LLM(Large Language Models)は、フィクションと事実を混同し、幻覚として知られる非事実コンテンツを生成することで有名である。
本稿では,ユーザが生成したテキストの信頼性を把握できる対話型システムを提案する。
論文 参考訳(メタデータ) (2023-11-28T14:55:52Z) - A Survey of Confidence Estimation and Calibration in Large Language Models [86.692994151323]
大規模言語モデル(LLM)は、様々な領域において幅広いタスクにまたがる顕著な機能を示している。
印象的なパフォーマンスにもかかわらず、彼らは世代内の事実上の誤りのために信頼できない。
信頼度を評価し、異なるタスクで調整することで、リスクを軽減し、LLMがより良い世代を創出できるようになります。
論文 参考訳(メタデータ) (2023-11-14T16:43:29Z) - Self-RAG: Learning to Retrieve, Generate, and Critique through
Self-Reflection [74.51523859064802]
我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。
自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。
様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
論文 参考訳(メタデータ) (2023-10-17T18:18:32Z) - Self-Convinced Prompting: Few-Shot Question Answering with Repeated
Introspection [13.608076739368949]
本稿では,大規模事前学習型言語モデルの可能性を活用する新しいフレームワークを提案する。
我々のフレームワークは、典型的な数発の連鎖プロンプトの出力を処理し、応答の正しさを評価し、回答を精査し、最終的には新しい解を生成する。
論文 参考訳(メタデータ) (2023-10-08T06:36:26Z) - Large Language Models Cannot Self-Correct Reasoning Yet [78.16697476530994]
LLM(Large Language Models)は、非並列テキスト生成機能を備えた画期的な技術として登場した。
生成したコンテンツの正確性と適切性に関する懸念が続いている。
現代の方法論である自己補正がこれらの問題に対する対策として提案されている。
論文 参考訳(メタデータ) (2023-10-03T04:56:12Z) - Towards Reliable and Fluent Large Language Models: Incorporating
Feedback Learning Loops in QA Systems [10.58737969057445]
我々は,大規模な言語モデルによって生成された応答の引用,正しさ,および流布性を評価することができる評論家モデルを訓練するためのデータセットを構築した。
本稿では,批判モデルを利用して生成したテキストの異質な側面をリアルタイムにフィードバックする自動フィードバック機構を提案する。
提案手法の有効性を実験的に検証し,4%の精度向上とMAUVE測定値の約8%の精度向上を図った。
論文 参考訳(メタデータ) (2023-09-08T09:39:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。