論文の概要: When to Trust LLMs: Aligning Confidence with Response Quality

• arxiv url: http://arxiv.org/abs/2404.17287v1
• Date: Fri, 26 Apr 2024 09:42:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-29 13:24:47.125371
• Title: When to Trust LLMs: Aligning Confidence with Response Quality
• Title（参考訳）: LLMを信頼する時 - 信頼性と応答品質の整合性
• Authors: Shuchang Tao, Liuyi Yao, Hanxing Ding, Yuexiang Xie, Qi Cao, Fei Sun, Jinyang Gao, Huawei Shen, Bolin Ding,
• Abstract要約: 大規模言語モデル(LLM)は、誤りまたは非意味なテキストを生成する。 信頼を言葉で表現して信頼性を伝える既存の手法は、しばしば失敗する。 我々はconfidence-Quality-ORDerserving alignment approach (CONQORD)を提案する。
• 参考スコア（独自算出の注目度）: 49.371218210305656
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the success of large language models (LLMs) in natural language generation, much evidence shows that LLMs may produce incorrect or nonsensical text. This limitation highlights the importance of discerning when to trust LLMs, especially in safety-critical domains. Existing methods, which rely on verbalizing confidence to tell the reliability by inducing top-k responses and sampling-aggregating multiple responses, often fail, due to the lack of objective guidance of confidence. To address this, we propose CONfidence-Quality-ORDerpreserving alignment approach (CONQORD), leveraging reinforcement learning with a tailored dual-component reward function. This function encompasses quality reward and orderpreserving alignment reward functions. Specifically, the order-preserving reward incentivizes the model to verbalize greater confidence for responses of higher quality to align the order of confidence and quality. Experiments demonstrate that our CONQORD significantly improves the alignment performance between confidence levels and response accuracy, without causing the model to become over-cautious. Furthermore, the aligned confidence provided by CONQORD informs when to trust LLMs, and acts as a determinant for initiating the retrieval process of external knowledge. Aligning confidence with response quality ensures more transparent and reliable responses, providing better trustworthiness.
• Abstract（参考訳）: 自然言語生成における大きな言語モデル(LLM)の成功にもかかわらず、多くの証拠はLLMが誤った、あるいは非意味なテキストを生成する可能性があることを示している。 この制限は、特に安全クリティカルな領域において、LLMを信頼する時を識別することの重要性を強調している。 既存の手法は、トップk応答を誘導し、複数の応答をサンプリング・集約することで、信頼性を示すために言語化の信頼性に依存するが、信頼の客観的ガイダンスが欠如しているため、しばしば失敗する。 これを解決するために,2成分報酬関数を調整した強化学習を利用するconfidence-Quality-ORDerserving alignment approach (CONQORD)を提案する。 この機能は品質報酬と整列報酬関数を含む。 具体的には、注文保存報酬は、より高い品質の応答に対する高い信頼を言葉で表し、信頼と品質の順序を一致させるモデルにインセンティブを与える。 実験により, 信頼性レベルと応答精度のアライメント性能は, モデルが過度に安全になることなく, 大幅に向上することが示された。 さらに、CONQORDが提供する一致した信頼度は、いつLLMを信頼するかを知らせ、外部知識の検索プロセスを開始するための決定要因として機能する。 応答品質に対する信頼性の調整により、透明性と信頼性が向上し、信頼性が向上する。

関連論文リスト

• Fostering Trust and Quantifying Value of AI and ML [0.0]
  AIとML推論の信頼について多くの議論がなされているが、それが何を意味するのかを定義するためにはほとんど行われていない。 より信頼できる機械学習推論を生み出すことは、製品の価値を高めるための道です。
  論文  参考訳（メタデータ） (2024-07-08T13:25:28Z)
• TRACE: TRansformer-based Attribution using Contrastive Embeddings in LLMs [50.259001311894295]
  TRACE と呼ばれるコントラスト埋め込みを用いた新しいTRansformer-based Attribution フレームワークを提案する。 TRACEは情報源の属性を精度良く改善し,大規模言語モデルの信頼性と信頼性を高める貴重なツールであることを示す。
  論文  参考訳（メタデータ） (2024-07-06T07:19:30Z)
• SaySelf: Teaching LLMs to Express Confidence with Self-Reflective Rationales [29.33581578047835]
  SaySelfは、大規模言語モデルに、より正確なきめ細かな信頼推定を表現するためのトレーニングフレームワークである。 さらに、SaySelf は LLM に対して、パラメトリック知識のギャップを明確に識別する自己反射的合理性を生成するよう指示する。 生成した自己反射的理性は合理的であり、キャリブレーションにさらに貢献できることを示す。
  論文  参考訳（メタデータ） (2024-05-31T16:21:16Z)
• Confidence Under the Hood: An Investigation into the Confidence-Probability Alignment in Large Language Models [14.5291643644017]
  信頼性・確率アライメントの概念を紹介します。 モデルの内部と信頼感の一致を調査する。 分析したモデルのうち、OpenAIのGPT-4は信頼性と信頼性のアライメントが最強であった。
  論文  参考訳（メタデータ） (2024-05-25T15:42:04Z)
• Fact-and-Reflection (FaR) Improves Confidence Calibration of Large Language Models [89.20169610517381]
  ファクト・アンド・リフレクション(FaR)プロンプトを提案し,LLMキャリブレーションを2ステップで改善する。 実験の結果、FaRはキャリブレーションが大幅に向上し、期待される誤差を23.5%下げた。 FaRは、信頼性の低いシナリオにおいて、言語的に関心を表現できる能力さえも持っています。
  論文  参考訳（メタデータ） (2024-02-27T01:37:23Z)
• TrustScore: Reference-Free Evaluation of LLM Response Trustworthiness [58.721012475577716]
  大規模言語モデル(LLM)は、様々な領域にまたがる印象的な能力を示しており、その実践的応用が急増している。 本稿では,行動整合性の概念に基づくフレームワークであるTrustScoreを紹介する。
  論文  参考訳（メタデータ） (2024-02-19T21:12:14Z)
• The Calibration Gap between Model and Human Confidence in Large Language Models [14.539888672603743]
  大規模言語モデル(LLM)は、その予測がどの程度正確であるかを正確に評価し、伝達できるという意味で、十分に校正される必要がある。 最近の研究は、内部LCMの信頼性評価の品質に焦点を当てている。 本稿では,LLMの応答における外部人間の信頼度とモデルの内部信頼度との相違について検討する。
  論文  参考訳（メタデータ） (2024-01-24T22:21:04Z)
• TrustLLM: Trustworthiness in Large Language Models [446.5640421311468]
  本稿では,大規模言語モデル(LLM)における信頼度に関する総合的研究であるTrustLLMを紹介する。 まず、8つの異なる次元にまたがる信頼性の高いLCMの原則を提案する。 これらの原則に基づいて、真理性、安全性、公正性、堅牢性、プライバシ、機械倫理を含む6つの次元にわたるベンチマークを確立します。
  論文  参考訳（メタデータ） (2024-01-10T22:07:21Z)
• An evaluation of word-level confidence estimation for end-to-end automatic speech recognition [70.61280174637913]
  エンドツーエンド自動音声認識(ASR)における信頼度推定の検討 4つのよく知られた音声データセットにおける信頼度手法の広範なベンチマークを提供する。 以上の結果から,ロジットを学習温度でスケーリングすることで,強いベースラインが得られることが示唆された。
  論文  参考訳（メタデータ） (2021-01-14T09:51:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。