論文の概要: Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning

• arxiv url: http://arxiv.org/abs/2310.04782v1
• Date: Sat, 7 Oct 2023 12:06:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 15:35:38.933363
• Title: Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning
• Title（参考訳）: 不確実性を考慮したインコンテキスト学習による大規模言語モデルの信頼性向上
• Authors: Yuchen Yang, Houqiang Li, Yanfeng Wang and Yu Wang
• Abstract要約: 大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 76.98542249776257
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, large-scale language models (LLMs) have gained attention for their impressive text generation capabilities. However, these models often face the challenge of "hallucination," which undermines their reliability. In this study, we introduce an uncertainty-aware in-context learning framework to empower the model to enhance or reject its output in response to uncertainty. Human-defined methods for estimating uncertainty typically assume that "uncertainty is lower when the model's response is correct compared to when it is incorrect." However, setting a precise threshold to distinguish correctness is challenging. Therefore, we introduce uncertainty information as an intermediary variable that implicitly influences the model's behavior. Our innovative uncertainty-aware in-context learning framework involves fine-tuning the LLM using a calibration dataset. Our aim is to improve the model's responses by filtering out answers with high uncertainty while considering the model's knowledge limitations. We evaluate the model's knowledge by examining multiple responses to the same question for the presence of a correct answer. When the model lacks relevant knowledge, the response should indicate that the question cannot be answered. Conversely, when the model has relevant knowledge, the response should provide the correct answer. Extensive experiments confirm the effectiveness of our framework, leading to two key findings. First, the logit output values of the LLM partly reflect inherent uncertainty. Second, our model autonomously recognizes uncertainty, resulting in improved responses.
• Abstract（参考訳）: 近年、大規模言語モデル(llm)は、その印象的なテキスト生成機能で注目を集めている。 しかし、これらのモデルは、信頼性を損なう「幻覚」の課題に直面することが多い。 本研究では,不確実性に応答してモデルが出力を増強あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。 人間の定義した不確実性を推定する手法は、一般に「不確かさはモデルの反応が正しいときよりも低い」と仮定する。 しかし、正確さを区別するために正確な閾値を設定することは困難である。 そこで,モデル行動に暗黙的に影響を及ぼす中間変数として不確実性情報を導入する。 我々の革新的な不確実性を考慮したインコンテキスト学習フレームワークは、キャリブレーションデータセットを使用してLLMを微調整する。 本研究の目的は,モデルの知識制限を考慮しつつ,不確実性の高い回答をフィルタリングすることで,モデルの応答を改善することである。 我々は,同じ質問に対する複数の応答を正解の有無で検証することにより,モデルの知識を評価する。 モデルに関連する知識がない場合、応答は質問に答えられないことを示すべきである。 逆に、モデルが関連する知識を持っている場合、応答は正しい答えを提供するべきである。 大規模な実験により,本フレームワークの有効性が確認された。 まず、LLMのロジット出力値は、固有の不確実性を部分的に反映する。 第2に,モデルが不確実性を自律的に認識することで,応答性が向上する。

関連論文リスト

• Testing Uncertainty of Large Language Models for Physics Knowledge and Reasoning [0.0]
  大規模言語モデル(LLM)は、近年、様々な分野の質問に答える能力で大きな人気を集めている。 本稿では,オープンソースLLMの性能評価のための解析手法を提案する。 我々は,物理に関する話題における解答精度と変数の関係に注目した。
  論文  参考訳（メタデータ） (2024-11-18T13:42:13Z)
• Gradual Learning: Optimizing Fine-Tuning with Partially Mastered Knowledge in Large Language Models [51.20499954955646]
  大規模言語モデル(LLM)は、事前学習期間中に大量のテキストコーパスから膨大な量の知識を取得する。 微調整や推論のような後段では、モデルは初期訓練でカバーされていない知識に遭遇する可能性がある。 本稿では,モデル全体のテスト精度と知識保持性を改善するための2段階の微調整戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-08T08:35:16Z)
• Unconditional Truthfulness: Learning Conditional Dependency for Uncertainty Quantification of Large Language Models [96.43562963756975]
  対象変数が条件と非条件生成信頼度のギャップである回帰モデルを訓練する。 この学習条件依存モデルを用いて、前のステップの不確実性に基づいて、現在の生成ステップの不確かさを変調する。
  論文  参考訳（メタデータ） (2024-08-20T09:42:26Z)
• Understanding the Relationship between Prompts and Response Uncertainty in Large Language Models [55.332004960574004]
  大規模言語モデル(LLM)は意思決定に広く使用されているが、特に医療などの重要なタスクにおける信頼性は十分に確立されていない。 本稿では,LSMが生成する応答の不確実性が,入力プロンプトで提供される情報とどのように関連しているかを検討する。 本稿では,LLMが応答を生成する方法を説明し,プロンプトと応答の不確実性の関係を理解するためのプロンプト応答の概念モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-20T11:19:58Z)
• Rejection Improves Reliability: Training LLMs to Refuse Unknown Questions Using RL from Knowledge Feedback [14.120154004011084]
  LLM(Large Language Models)はしばしば幻覚と呼ばれる誤った出力を生成する。 知識フィードバックによる強化学習(Reinforcement Learning from Knowledge Feedback, RLKF)と呼ばれる新しいアライメントフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-27T08:39:56Z)
• Uncertainty-aware Language Modeling for Selective Question Answering [107.47864420630923]
  本稿では,不確実性を考慮したLLMを生成するLLM変換手法を提案する。 我々のアプローチはモデルとデータに依存しず、計算効率が高く、外部モデルやシステムに依存しない。
  論文  参考訳（メタデータ） (2023-11-26T22:47:54Z)
• R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
  大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。 事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。 我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。 実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-16T08:45:44Z)
• Knowledge of Knowledge: Exploring Known-Unknowns Uncertainty with Large Language Models [44.117620571329596]
  我々は,不確定な回答がないことによる不確実性の高さを特徴とする,未知の疑問に対処することに注力する。 研究を容易にするために,Known-Unknown Questions (KUQ) を用いた新しいデータセットを収集した。 本稿では、このデータセットを用いて微調整したオープンソースのLLMの性能について検討し、未知のクエリと未知のクエリを区別する。
  論文  参考訳（メタデータ） (2023-05-23T05:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。