論文の概要: Uncertainty Quantification in Large Language Models Through Convex Hull Analysis
- arxiv url: http://arxiv.org/abs/2406.19712v1
- Date: Fri, 28 Jun 2024 07:47:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-01 17:29:51.690842
- Title: Uncertainty Quantification in Large Language Models Through Convex Hull Analysis
- Title（参考訳）: 凸ハル解析による大言語モデルの不確かさの定量化
- Authors: Ferhat Ozgur Catak, Murat Kuzlu,
- Abstract要約: 本研究では凸船体解析を用いた不確実性定量化のための新しい幾何学的手法を提案する。
提案手法は, 応答埋め込みの空間特性を利用して, モデル出力の分散と可変性を計測する。
- 参考スコア（独自算出の注目度）: 0.36832029288386137
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Uncertainty quantification approaches have been more critical in large language models (LLMs), particularly high-risk applications requiring reliable outputs. However, traditional methods for uncertainty quantification, such as probabilistic models and ensemble techniques, face challenges when applied to the complex and high-dimensional nature of LLM-generated outputs. This study proposes a novel geometric approach to uncertainty quantification using convex hull analysis. The proposed method leverages the spatial properties of response embeddings to measure the dispersion and variability of model outputs. The prompts are categorized into three types, i.e., `easy', `moderate', and `confusing', to generate multiple responses using different LLMs at varying temperature settings. The responses are transformed into high-dimensional embeddings via a BERT model and subsequently projected into a two-dimensional space using Principal Component Analysis (PCA). The Density-Based Spatial Clustering of Applications with Noise (DBSCAN) algorithm is utilized to cluster the embeddings and compute the convex hull for each selected cluster. The experimental results indicate that the uncertainty of the model for LLMs depends on the prompt complexity, the model, and the temperature setting.
- Abstract（参考訳）: 不確かさの定量化アプローチは、大規模言語モデル(LLM)、特に信頼性の高い出力を必要とする高リスクアプリケーションにおいてより重要になっている。
しかし、確率モデルやアンサンブル手法のような従来の不確実性定量化手法は、LLM生成出力の複雑で高次元的な性質に適用した場合、課題に直面している。
本研究では凸船体解析を用いた不確実性定量化のための新しい幾何学的手法を提案する。
提案手法は, 応答埋め込みの空間特性を利用して, モデル出力の分散と可変性を計測する。
プロンプトは「easy」、「moderate」、そして「confusing」の3つのタイプに分類され、異なるLLMを用いて異なる温度設定で複数の応答を生成する。
応答はBERTモデルを介して高次元埋め込みに変換され、その後主成分分析(PCA)を用いて二次元空間に投影される。
密度に基づくノイズ付きアプリケーションの空間クラスタリング(DBSCAN)アルゴリズムを用いて、埋め込みをクラスタ化し、選択したクラスタ毎に凸殻を計算する。
実験結果から, LLMのモデルの不確実性は, 迅速な複雑性, モデル, 温度設定に依存することが明らかとなった。
関連論文リスト
- Variational Bayesian surrogate modelling with application to robust design optimisation [0.9626666671366836]
サロゲートモデルは複雑な計算モデルに対して素早く評価できる近似を提供する。
入力の不確かさと次元減少を伴う統計的代理を構築するためのベイズ推定について考察する。
論文 参考訳（メタデータ） (2024-04-23T09:22:35Z) - Latent Semantic Consensus For Deterministic Geometric Model Fitting [109.44565542031384]
我々はLSC(Latent Semantic Consensus)と呼ばれる効果的な方法を提案する。
LSCは、モデルフィッティング問題をデータポイントとモデル仮説に基づく2つの潜在意味空間に定式化する。
LSCは、一般的な多構造モデルフィッティングのために、数ミリ秒以内で一貫した、信頼性の高いソリューションを提供することができる。
論文 参考訳（メタデータ） (2024-03-11T05:35:38Z) - Characterizing Truthfulness in Large Language Model Generations with
Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。
モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文 参考訳（メタデータ） (2024-02-28T04:56:21Z) - Data-freeWeight Compress and Denoise for Large Language Models [101.53420111286952]
パラメータ行列を圧縮する手法として,データフリーなジョイントランクk近似を提案する。
キャリブレーションデータなしで、元の性能の93.43%を維持しながら80%のパラメータのモデルプルーニングを実現する。
論文 参考訳（メタデータ） (2024-02-26T05:51:47Z) - Distributionally Robust Model-based Reinforcement Learning with Large
State Spaces [55.14361269378122]
強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。
広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。
本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
論文 参考訳（メタデータ） (2023-09-05T13:42:11Z) - Robust scalable initialization for Bayesian variational inference with
multi-modal Laplace approximations [0.0]
フル共分散構造を持つ変分混合は、パラメータ数による変動パラメータによる二次的な成長に苦しむ。
本稿では,変分推論のウォームスタートに使用できる初期ガウスモデル近似を構築する方法を提案する。
論文 参考訳（メタデータ） (2023-07-12T19:30:04Z) - A survey of unsupervised learning methods for high-dimensional
uncertainty quantification in black-box-type problems [0.0]
複素偏微分方程式(PPDE)上の量子化不確実性(UQ)のための代理モデルを構築する。
次元性の呪いは、適切な教師なし学習技術で使用される事前次元の部分空間である。
我々は,m-PCEモデルの利点と限界を実証し,m-PCEモデルが深部部分空間に対するコスト効率の良いアプローチを提供すると結論付けた。
論文 参考訳（メタデータ） (2022-02-09T16:33:40Z) - Inverting brain grey matter models with likelihood-free inference: a
tool for trustable cytoarchitecture measurements [62.997667081978825]
脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。
我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。
次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
論文 参考訳（メタデータ） (2021-11-15T09:08:27Z) - Heterogeneous Tensor Mixture Models in High Dimensions [5.656785831541303]
我々は,不均質な共分散を持つ柔軟高次元テンソル混合モデルを導入する問題を考える。
本手法は,実パラメータの統計的近傍に幾何学的に収束することを示す。
自閉症スペクトラム障害の診断に重要な脳領域を明らかにする。
論文 参考訳（メタデータ） (2021-04-15T21:06:16Z) - Generalized Matrix Factorization: efficient algorithms for fitting
generalized linear latent variable models to large data arrays [62.997667081978825]
一般化線形潜在変数モデル(GLLVM)は、そのような因子モデルを非ガウス応答に一般化する。
GLLVMのモデルパラメータを推定する現在のアルゴリズムは、集約的な計算を必要とし、大規模なデータセットにスケールしない。
本稿では,GLLVMを高次元データセットに適用するための新しい手法を提案する。
論文 参考訳（メタデータ） (2020-10-06T04:28:19Z) - Stochastic spectral embedding [0.0]
確率スペクトル埋め込み(SSE)に基づく新しい逐次適応サロゲートモデリング法を提案する。
本手法は,複雑性と入力次元の異なるモデルの集合上で,最先端のスパースカオス展開に対して,どのように好意的に比較されるかを示す。
論文 参考訳（メタデータ） (2020-04-09T11:00:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。