論文の概要: Just rephrase it! Uncertainty estimation in closed-source language models via multiple rephrased queries

• arxiv url: http://arxiv.org/abs/2405.13907v1
• Date: Wed, 22 May 2024 18:28:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 20:43:22.428937
• Title: Just rephrase it! Uncertainty estimation in closed-source language models via multiple rephrased queries
• Title（参考訳）: 簡単に言い換えなさい!複数のリフレーズクエリによるクローズドソース言語モデルの不確かさ推定
• Authors: Adam Yang, Chen Chen, Konstantinos Pitas,
• Abstract要約: 元のベースクエリの複数の言い換えにより,クローズドソースの大規模言語モデルの不確かさを推定する。 本手法は, ベースラインと比較して不確実性推定の校正精度が著しく向上したことを示す。
• 参考スコア（独自算出の注目度）: 6.249216559519607
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State-of-the-art large language models are sometimes distributed as open-source software but are also increasingly provided as a closed-source service. These closed-source large-language models typically see the widest usage by the public, however, they often do not provide an estimate of their uncertainty when responding to queries. As even the best models are prone to ``hallucinating" false information with high confidence, a lack of a reliable estimate of uncertainty limits the applicability of these models in critical settings. We explore estimating the uncertainty of closed-source LLMs via multiple rephrasings of an original base query. Specifically, we ask the model, multiple rephrased questions, and use the similarity of the answers as an estimate of uncertainty. We diverge from previous work in i) providing rules for rephrasing that are simple to memorize and use in practice ii) proposing a theoretical framework for why multiple rephrased queries obtain calibrated uncertainty estimates. Our method demonstrates significant improvements in the calibration of uncertainty estimates compared to the baseline and provides intuition as to how query strategies should be designed for optimal test calibration.
• Abstract（参考訳）: 最先端の大規模言語モデルは、時にはオープンソースソフトウェアとして配布されるが、クローズド・ソース・サービスとして提供されることも多い。 これらのクローズドソースの大規模言語モデルは一般に最も広く使われているが、クエリに応答する際の不確かさを見積もらないことが多い。 最高のモデルでさえ、信頼度の高い偽情報を‘ハロシン化’する傾向にあるため、信頼性の高い不確実性評価の欠如は、これらのモデルの適用性をクリティカルな設定で制限する。 本稿では,元となるベースクエリの複数の言い換えにより,クローズドソース LLM の不確かさを推定する。 具体的には、モデルを複数の言い換えた質問に問うとともに、解の類似性を不確実性の推定として利用する。 私たちは以前の仕事から分岐する 一 暗記し、実際に使用するのが簡単である言い換えの規則 二 複数のリフレッシュクエリがキャリブレーションされた不確実性推定値を取得する理由に関する理論的枠組みを提案すること。 提案手法は, ベースラインと比較して不確実性推定のキャリブレーションを著しく改善し, 最適なテストキャリブレーションのためのクエリ戦略の設計方法に関する直観を提供する。

関連論文リスト

• Large Language Models Must Be Taught to Know What They Don't Know [97.90008709512921]
  正解と誤解の小さなデータセットを微調整すると、高い一般化と計算オーバーヘッドの少ない不確実性推定が得られることを示す。 また,確実な不確実性推定を可能にする機構についても検討し,多くのモデルを汎用的不確実性推定器として利用することができることを示した。
  論文  参考訳（メタデータ） (2024-06-12T16:41:31Z)
• Out-Of-Context Prompting Boosts Fairness and Robustness in Large Language Model Predictions [17.758735680493917]
  我々は,Frontier Large Language Modelsの信頼性を向上させるためのテストタイム戦略を開発する。 我々は因果性を利用して、LLMにおける信頼の2つの側面、すなわち公正性と堅牢性を公式にエンコードする。 文外処理により,フロンティアLLMの公平性と堅牢性は一貫して向上することを示す。
  論文  参考訳（メタデータ） (2024-06-11T20:05:15Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Uncertainty-aware Language Modeling for Selective Question Answering [107.47864420630923]
  本稿では,不確実性を考慮したLLMを生成するLLM変換手法を提案する。 我々のアプローチはモデルとデータに依存しず、計算効率が高く、外部モデルやシステムに依存しない。
  論文  参考訳（メタデータ） (2023-11-26T22:47:54Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Fine-tuning Language Models for Factuality [96.5203774943198]
  大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。 しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。 本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-11-14T18:59:15Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)
• Conformal Prediction with Large Language Models for Multi-Choice Question Answering [7.049780432343948]
  共形予測からの不確実性推定は予測精度と密接に相関していることがわかった。 この研究は、安全クリティカルな状況において、より信頼性が高く信頼性の高い大規模言語モデルの活用に寄与する。
  論文  参考訳（メタデータ） (2023-05-28T15:26:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。