論文の概要: Do Not Design, Learn: A Trainable Scoring Function for Uncertainty Estimation in Generative LLMs

• arxiv url: http://arxiv.org/abs/2406.11278v1
• Date: Mon, 17 Jun 2024 07:30:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 17:54:42.286655
• Title: Do Not Design, Learn: A Trainable Scoring Function for Uncertainty Estimation in Generative LLMs
• Title（参考訳）: 設計するな, 学習する: 生成LDMの不確かさ推定のための訓練可能なスコーリング関数
• Authors: Duygu Nur Yaldiz, Yavuz Faruk Bakman, Baturalp Buyukates, Chenyang Tao, Anil Ramakrishna, Dimitrios Dimitriadis, Salman Avestimehr,
• Abstract要約: 生成型大規模言語モデル(LLM)における不確実性推定(UE)のための学習可能な応答スコア機能(LARS) トークンと確率の間の複雑な依存関係をキャプチャするために,教師付きデータを活用するスコアリング関数LARSを提案する。 複数のデータセットにまたがる実験により,LARSは様々な確率に基づくUE法を考慮し,既存のスコアリング関数を著しく上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 25.609536415522854
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we introduce the Learnable Response Scoring Function (LARS) for Uncertainty Estimation (UE) in generative Large Language Models (LLMs). Current scoring functions for probability-based UE, such as length-normalized scoring and semantic contribution-based weighting, are designed to solve specific aspects of the problem but exhibit limitations, including the inability to handle biased probabilities and under-performance in low-resource languages like Turkish. To address these issues, we propose LARS, a scoring function that leverages supervised data to capture complex dependencies between tokens and probabilities, thereby producing more reliable and calibrated response scores in computing the uncertainty of generations. Our extensive experiments across multiple datasets show that LARS substantially outperforms existing scoring functions considering various probability-based UE methods.
• Abstract（参考訳）: 本稿では,Learningable Response Scoring Function (LARS) for Uncertainty Estimation (UE) in Generative Large Language Models (LLMs)を紹介する。 確率に基づくUEの現在のスコアリング機能(例えば、長さ正規化スコアリングや意味貢献に基づく重み付けなど)は、問題の特定の側面を解決するために設計されているが、トルコ語のような低リソース言語では、バイアス付き確率や低パフォーマンスを扱うことができないといった制限がある。 これらの問題に対処するため、LARSは、教師付きデータを利用してトークンと確率の間の複雑な依存関係をキャプチャし、世代の不確実性の計算においてより信頼性が高く校正された応答スコアを生成する。 複数のデータセットにまたがる広範な実験により、LARSは様々な確率ベースUE法を考慮し、既存のスコアリング関数を大幅に上回ることを示した。

関連論文リスト

• Statistical Test for Auto Feature Engineering by Selective Inference [12.703556860454565]
  オートフィーチャーエンジニアリング(AFE)は、実用的な機械学習パイプラインの開発において重要な役割を果たす。 選択推論というフレームワークをベースとした,AFEアルゴリズムによる特徴量生成のための新しい統計的テストを提案する。 提案試験では, 生成した特徴の統計的意義を$p$-valuesの形で定量化し, 誤検出のリスクを理論的に保証する。
  論文  参考訳（メタデータ） (2024-10-13T12:26:51Z)
• Contextualized Sequence Likelihood: Enhanced Confidence Scores for Natural Language Generation [37.63939774027709]
  種々のトークンに異なる重みを割り当てることで予測シーケンス確率を向上させることを提案する。 我々はこの新しいスコアを文脈化シーケンス類似度(CSL)と呼ぶ。
  論文  参考訳（メタデータ） (2024-06-03T21:55:07Z)
• BIRD: A Trustworthy Bayesian Inference Framework for Large Language Models [52.46248487458641]
  予測モデルは、現実世界のタスクで不完全な情報を扱う必要があることが多い。 現在の大規模言語モデル(LLM)は、そのような正確な推定には不十分である。 本稿では,新しい確率的推論フレームワークBIRDを提案する。
  論文  参考訳（メタデータ） (2024-04-18T20:17:23Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Toward Robust Uncertainty Estimation with Random Activation Functions [3.0586855806896045]
  本稿では,ランダムアクティベーション関数(RAF)アンサンブルを用いた不確実性定量化手法を提案する。 RAF アンサンブルは、合成データセットと実世界のデータセットの両方において、最先端のアンサンブル不確実性定量化手法より優れている。
  論文  参考訳（メタデータ） (2023-02-28T13:17:56Z)
• Bayesian sequential design of computer experiments for quantile set inversion [0.0]
  複素数値シミュレータのようなシステムを表現する未知の多変量関数を考える。 我々の目的は、確率が与えられた閾値未満の出力につながる決定論的入力のセットを推定することである。
  論文  参考訳（メタデータ） (2022-11-02T10:14:05Z)
• Diversity Enhanced Active Learning with Strictly Proper Scoring Rules [4.81450893955064]
  テキスト分類のための能動学習(AL)のための獲得関数について検討する。 我々は、期待損失削減法(ELR)を、ログ確率や負平均二乗誤差などの(厳密な)スコアの増加を推定するために変換する。 BEMPSを用いた平均二乗誤差とログ確率を用いることで、ロバストな取得関数が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-27T05:02:11Z)
• Deconfounding Scores: Feature Representations for Causal Effect Estimation with Weak Overlap [140.98628848491146]
  推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。 分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。 特に,この手法が標準正規化の魅力的な代替となることを示す。
  論文  参考訳（メタデータ） (2021-04-12T18:50:11Z)
• Estimating Structural Target Functions using Machine Learning and Influence Functions [103.47897241856603]
  統計モデルから特定可能な関数として生じる対象関数の統計的機械学習のための新しい枠組みを提案する。 このフレームワークは問題とモデルに依存しないものであり、応用統計学における幅広い対象パラメータを推定するのに使用できる。 我々は、部分的に観測されていない情報を持つランダム/二重ロバストな問題において、いわゆる粗大化に特に焦点をあてた。
  論文  参考訳（メタデータ） (2020-08-14T16:48:29Z)
• Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
  データ管理の統合コンポーネントにおける公平性について検討する。 本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
  論文  参考訳（メタデータ） (2020-06-10T20:20:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。