論文の概要: Do Not Design, Learn: A Trainable Scoring Function for Uncertainty Estimation in Generative LLMs

• arxiv url: http://arxiv.org/abs/2406.11278v2
• Date: Fri, 18 Oct 2024 02:28:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 18:13:58.856201
• Title: Do Not Design, Learn: A Trainable Scoring Function for Uncertainty Estimation in Generative LLMs
• Title（参考訳）: 設計するな, 学習する: 生成LDMの不確かさ推定のための訓練可能なスコーリング関数
• Authors: Duygu Nur Yaldiz, Yavuz Faruk Bakman, Baturalp Buyukates, Chenyang Tao, Anil Ramakrishna, Dimitrios Dimitriadis, Jieyu Zhao, Salman Avestimehr,
• Abstract要約: Learnable Response Scoring (LARS)は、トークンと確率の間の複雑な依存関係をキャプチャするために教師付きデータを活用する、新しいスコアリング機能である。 実験の結果,LARSは既存のスコアリング機能よりも優れており,最大16%のAUROCスコアが向上した。
• 参考スコア（独自算出の注目度）: 32.672370840879616
• License:
• Abstract: Uncertainty estimation (UE) of generative large language models (LLMs) is crucial for evaluating the reliability of generated sequences. A significant subset of UE methods utilize token probabilities to assess uncertainty, aggregating multiple token probabilities into a single UE score using a scoring function. Existing scoring functions for probability-based UE, such as length-normalized scoring and semantic contribution-based weighting, are designed to solve certain aspects of the problem but exhibit limitations, including the inability to handle biased probabilities and complex semantic dependencies between tokens. To address these issues, in this work, we propose Learnable Response Scoring (LARS) function, a novel scoring function that leverages supervised data to capture complex dependencies between tokens and probabilities, thereby producing more reliable and calibrated response scores in computing the uncertainty of LLM generations. Our comprehensive experiments across question-answering and arithmetical reasoning tasks with various datasets demonstrate that LARS significantly outperforms existing scoring functions, achieving improvements of up to 16\% AUROC score.
• Abstract（参考訳）: 生成型大規模言語モデル(LLM)の不確実性推定(UE)は、生成されたシーケンスの信頼性を評価する上で重要である。 UE法のかなりの部分集合は、トークン確率を利用して不確実性を評価し、スコアリング関数を用いて複数のトークン確率を単一のUEスコアに集約する。 確率に基づくUEの既存のスコアリング機能、例えば、長さ正規化スコアリングや意味貢献に基づく重み付けは、問題の特定の側面を解決するために設計されているが、バイアス付き確率を扱うことができないことやトークン間の複雑な意味的依存関係など、制限がある。 そこで本研究では,トークンと確率の間の複雑な依存関係を捉えるために教師付きデータを活用する新しいスコアリング機能であるLearningable Response Scoring (LARS) 関数を提案する。 様々なデータセットを用いた質問応答および算術的推論タスクの総合的な実験により、LARSは既存のスコアリング関数よりも大幅に優れ、最大16\%のAUROCスコアの改善が達成された。

関連論文リスト

• Statistical Test for Auto Feature Engineering by Selective Inference [12.703556860454565]
  オートフィーチャーエンジニアリング(AFE)は、実用的な機械学習パイプラインの開発において重要な役割を果たす。 選択推論というフレームワークをベースとした,AFEアルゴリズムによる特徴量生成のための新しい統計的テストを提案する。 提案試験では, 生成した特徴の統計的意義を$p$-valuesの形で定量化し, 誤検出のリスクを理論的に保証する。
  論文  参考訳（メタデータ） (2024-10-13T12:26:51Z)
• Contextualized Sequence Likelihood: Enhanced Confidence Scores for Natural Language Generation [37.63939774027709]
  種々のトークンに異なる重みを割り当てることで予測シーケンス確率を向上させることを提案する。 我々はこの新しいスコアを文脈化シーケンス類似度(CSL)と呼ぶ。
  論文  参考訳（メタデータ） (2024-06-03T21:55:07Z)
• BIRD: A Trustworthy Bayesian Inference Framework for Large Language Models [52.46248487458641]
  予測モデルは、現実世界のタスクで不完全な情報を扱う必要があることが多い。 現在の大規模言語モデル(LLM)は、そのような正確な推定には不十分である。 本稿では,新しい確率的推論フレームワークBIRDを提案する。
  論文  参考訳（メタデータ） (2024-04-18T20:17:23Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Toward Robust Uncertainty Estimation with Random Activation Functions [3.0586855806896045]
  本稿では,ランダムアクティベーション関数(RAF)アンサンブルを用いた不確実性定量化手法を提案する。 RAF アンサンブルは、合成データセットと実世界のデータセットの両方において、最先端のアンサンブル不確実性定量化手法より優れている。
  論文  参考訳（メタデータ） (2023-02-28T13:17:56Z)
• Bayesian sequential design of computer experiments for quantile set inversion [0.0]
  複素数値シミュレータのようなシステムを表現する未知の多変量関数を考える。 我々の目的は、確率が与えられた閾値未満の出力につながる決定論的入力のセットを推定することである。
  論文  参考訳（メタデータ） (2022-11-02T10:14:05Z)
• Diversity Enhanced Active Learning with Strictly Proper Scoring Rules [4.81450893955064]
  テキスト分類のための能動学習(AL)のための獲得関数について検討する。 我々は、期待損失削減法(ELR)を、ログ確率や負平均二乗誤差などの(厳密な)スコアの増加を推定するために変換する。 BEMPSを用いた平均二乗誤差とログ確率を用いることで、ロバストな取得関数が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-27T05:02:11Z)
• Deconfounding Scores: Feature Representations for Causal Effect Estimation with Weak Overlap [140.98628848491146]
  推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。 分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。 特に,この手法が標準正規化の魅力的な代替となることを示す。
  論文  参考訳（メタデータ） (2021-04-12T18:50:11Z)
• Estimating Structural Target Functions using Machine Learning and Influence Functions [103.47897241856603]
  統計モデルから特定可能な関数として生じる対象関数の統計的機械学習のための新しい枠組みを提案する。 このフレームワークは問題とモデルに依存しないものであり、応用統計学における幅広い対象パラメータを推定するのに使用できる。 我々は、部分的に観測されていない情報を持つランダム/二重ロバストな問題において、いわゆる粗大化に特に焦点をあてた。
  論文  参考訳（メタデータ） (2020-08-14T16:48:29Z)
• Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
  データ管理の統合コンポーネントにおける公平性について検討する。 本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
  論文  参考訳（メタデータ） (2020-06-10T20:20:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。