Fugu-MT 論文翻訳(概要): Ensemble based approach to quantifying uncertainty of LLM based classifications

論文の概要: Ensemble based approach to quantifying uncertainty of LLM based classifications

arxiv url: http://arxiv.org/abs/2502.08631v2
Date: Wed, 19 Feb 2025 03:09:59 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-20 13:56:25.866798
Title: Ensemble based approach to quantifying uncertainty of LLM based classifications
Title（参考訳）: LLMに基づく分類の不確実性の定量化のためのアンサンブルに基づくアプローチ
Authors: Srijith Rajamohan, Ahmed Salhin, Josh Frazier, Rohit Kumar, Yu-Cheng Tsai, Todd Cook,
Abstract要約: モデルを微調整すると、語彙入力のバリエーションに対するモデル出力の感度が低下する。予測クラスの確実性を推定する確率的手法を提案する。
参考スコア（独自算出の注目度）: 1.6231286831423648
License:
Abstract: The output of Large Language Models (LLMs) are a function of the internal model's parameters and the input provided into the context window. The hypothesis presented here is that under a greedy sampling strategy the variance in the LLM's output is a function of the conceptual certainty embedded in the model's parametric knowledge, as well as the lexical variance in the input. Finetuning the model results in reducing the sensitivity of the model output to the lexical input variations. This is then applied to a classification problem and a probabilistic method is proposed for estimating the certainties of the predicted classes.
Abstract（参考訳）: LLM(Large Language Models)の出力は、内部モデルのパラメータとコンテキストウィンドウに提供される入力の関数である。ここでの仮説は、グリーディサンプリング戦略の下で、LLMの出力の分散は、モデルのパラメトリック知識に埋め込まれた概念的確実性の関数であり、入力の語彙的分散である、というものである。モデルを微調整すると、語彙入力のバリエーションに対するモデル出力の感度が低下する。これは分類問題に適用され、予測クラスの確実性を推定するための確率的手法が提案される。

関連論文リスト

Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
論文参考訳（メタデータ） (2025-02-11T19:24:09Z)
Quantifying perturbation impacts for large language models [49.1574468325115]
本稿では、頻繁な仮説テスト問題として摂動解析を再構成するフレームワークDBPAを紹介する。摂動影響評価におけるDBPAの有効性を示すとともに,摂動解析の汎用性を示す。
論文参考訳（メタデータ） (2024-12-01T16:13:09Z)
Influence Functions for Scalable Data Attribution in Diffusion Models [52.92223039302037]
拡散モデルは、生成的モデリングに大きな進歩をもたらした。しかし、彼らの普及はデータ属性と解釈可能性に関する課題を引き起こす。これらの課題に対処するための影響関数フレームワークを開発する。
論文参考訳（メタデータ） (2024-10-17T17:59:02Z)
Variance-based sensitivity analysis in the presence of correlated input variables [0.0]
分散に基づく感度指標の推定のための古典的ソボ推定器の拡張を提案する。この手法は、入力変数の寄与を相関部と非相関部に分解するために用いられる線形相関モデルを仮定する。
論文参考訳（メタデータ） (2024-08-09T08:32:58Z)
Variational Bayesian surrogate modelling with application to robust design optimisation [0.9626666671366836]
サロゲートモデルは複雑な計算モデルに対して素早く評価できる近似を提供する。入力の不確かさと次元減少を伴う統計的代理を構築するためのベイズ推定について考察する。コスト関数がモデル出力の平均および標準偏差の重み付け和に依存するような本質的で頑健な構造最適化問題を示す。
論文参考訳（メタデータ） (2024-04-23T09:22:35Z)
Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。本稿では,LLMのための不確実性分解フレームワークについて述べる。提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
論文参考訳（メタデータ） (2023-11-15T05:58:35Z)
Uncertainty Quantification for Rule-Based Models [0.03807314298073299]
ルールベースの分類モデルは、確率をモデル化し、統計モデルのように予測に変換するのではなく、直接値を予測する。本稿では,二項出力を持つ二項分類器をブラックボックスとして扱うメタモデルの形で不確実な定量化フレームワークを提案し,その推定に対する信頼度とともに,与えられた入力におけるそのベースモデルの予測精度を推定する。
論文参考訳（メタデータ） (2022-11-03T15:50:09Z)
Locally Interpretable Model Agnostic Explanations using Gaussian Processes [2.9189409618561966]
LIME(Local Interpretable Model-Agnostic Explanations)は、単一インスタンスの予測を説明する一般的なテクニックである。局所的解釈可能なモデルのガウス過程(GP)に基づくバリエーションを提案する。提案手法は,LIMEに比べてはるかに少ないサンプルを用いて忠実な説明を生成可能であることを示す。
論文参考訳（メタデータ） (2021-08-16T05:49:01Z)
MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood Inference from Sampled Trajectories [61.3299263929289]
シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
論文参考訳（メタデータ） (2021-06-03T12:59:16Z)
Control as Hybrid Inference [62.997667081978825]
本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
論文参考訳（メタデータ） (2020-07-11T19:44:09Z)
A Modified Perturbed Sampling Method for Local Interpretable Model-agnostic Explanation [35.281127405430674]
LIME(Local Interpretable Model-Agnostic Explanation)は、任意の分類器の予測を忠実に説明する手法である。本稿では,LIME (MPS-LIME) のための改良型摂動サンプリング操作を提案する。画像分類において、MPS-LIMEはスーパーピクセル画像を非方向グラフに変換する。
論文参考訳（メタデータ） (2020-02-18T09:03:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。