論文の概要: On the Importance of Uncertainty in Decision-Making with Large Language Models
- arxiv url: http://arxiv.org/abs/2404.02649v1
- Date: Wed, 3 Apr 2024 11:21:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 17:40:49.833095
- Title: On the Importance of Uncertainty in Decision-Making with Large Language Models
- Title(参考訳): 大規模言語モデルを用いた意思決定における不確実性の重要性について
- Authors: Nicolò Felicioni, Lucas Maystre, Sina Ghiassian, Kamil Ciosek,
- Abstract要約: 自然言語を入力とする意思決定問題における不確実性の役割について検討する。
我々は、Laplace Approximation、Dropout、Epinetsなどの不確実性推定に異なる手法を採用する。
- 参考スコア(独自算出の注目度): 16.960086222920488
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We investigate the role of uncertainty in decision-making problems with natural language as input. For such tasks, using Large Language Models as agents has become the norm. However, none of the recent approaches employ any additional phase for estimating the uncertainty the agent has about the world during the decision-making task. We focus on a fundamental decision-making framework with natural language as input, which is the one of contextual bandits, where the context information consists of text. As a representative of the approaches with no uncertainty estimation, we consider an LLM bandit with a greedy policy, which picks the action corresponding to the largest predicted reward. We compare this baseline to LLM bandits that make active use of uncertainty estimation by integrating the uncertainty in a Thompson Sampling policy. We employ different techniques for uncertainty estimation, such as Laplace Approximation, Dropout, and Epinets. We empirically show on real-world data that the greedy policy performs worse than the Thompson Sampling policies. These findings suggest that, while overlooked in the LLM literature, uncertainty plays a fundamental role in bandit tasks with LLMs.
- Abstract(参考訳): 自然言語を入力とする意思決定問題における不確実性の役割について検討する。
このようなタスクでは、エージェントとしてLarge Language Modelを使用するのが一般的になっている。
しかし、近年のアプローチでは、意思決定作業中にエージェントが世界に対して持つ不確実性を推定するために追加のフェーズは採用されていない。
本稿では,自然言語を入力とする基本的意思決定フレームワークに焦点をあてる。
不確実性推定のないアプローチの代表として、最も予測された最大の報酬に対応するアクションを選択する欲求ポリシーを持つLCMバンディットを考える。
我々はこのベースラインをトンプソンサンプリングポリシーに不確実性を統合することで不確実性推定を積極的に活用するLLMバンドと比較する。
我々は、Laplace Approximation、Dropout、Epinetsなどの不確実性推定に異なる手法を採用する。
我々は、現実のデータに対して、欲求政策がトンプソンサンプリング政策よりも悪いことを実証的に示す。
これらの結果は, LLMの文献で見過ごされているが, LLMのバンドイットタスクにおいて不確実性が基本的な役割を担っていることを示唆している。
関連論文リスト
- Uncertainty Estimation and Quantification for LLMs: A Simple Supervised Approach [6.209293868095268]
大規模言語モデル(LLM)は多くのタスクに対して高い能力を持つが、信頼できないあるいは不正確な出力を生成することがある。
本稿では,LLMの不確実性推定と校正の問題について検討する。
実際、我々の手法は実装が容易であり、異なるレベルのモデルの透明性に適応できる。
論文 参考訳(メタデータ) (2024-04-24T17:10:35Z) - Uncertainty in Language Models: Assessment through Rank-Calibration [65.10149293133846]
言語モデル(LM)は、自然言語生成において有望な性能を示している。
与えられた入力に応答する際の不確実性を正確に定量化することは重要である。
我々は、LMの確実性と信頼性を評価するために、Rank$-$Calibration$と呼ばれる斬新で実用的なフレームワークを開発する。
論文 参考訳(メタデータ) (2024-04-04T02:31:05Z) - Prejudice and Caprice: A Statistical Framework for Measuring Social
Discrimination in Large Language Models [0.0]
大規模言語モデル(LLM)における識別を包括的に計測するPCF(Prejudice-Caprice Framework)を提案する。
我々は,LLMの集合的文脈的識別リスクを,LLMの持続的偏見から生じる偏見リスクと,それらの世代的矛盾から生じるキャプライスリスクに数学的に分解する。
識別測定の枠組みを12の共通LLMに適用し,興味深い結果を得た。
論文 参考訳(メタデータ) (2024-02-23T18:15:56Z) - Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。
両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。
提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
論文 参考訳(メタデータ) (2024-02-15T18:46:24Z) - Decomposing Uncertainty for Large Language Models through Input
Clarification Ensembling [74.00331519233026]
大規模言語モデル(LLM)のための不確実性分解フレームワークを提案する。
我々のフレームワークは入力の一連の明確化を生成し、それらを固定LLMに入力し、対応する予測をアンサンブルする。
実験により,提案手法は様々なタスクに対して正確かつ確実な不確実性定量化を提供することを示した。
論文 参考訳(メタデータ) (2023-11-15T05:58:35Z) - Quantifying Uncertainty in Natural Language Explanations of Large
Language Models [29.34960984639281]
大規模言語モデル (LLM) は、高スループット自然言語処理 (NLP) アプリケーションのための強力なツールとして、ますます使われている。
生成された説明の不確かさを定量化するために、$textitVerbalized Uncertainty$と$textitProbing Uncertainty$という2つの新しいメトリクスを提案します。
ベンチマークデータセットの実証分析により、言語化された不確実性は説明の信頼性の信頼できる見積りではないことが判明した。
論文 参考訳(メタデータ) (2023-11-06T21:14:40Z) - Shifting Attention to Relevance: Towards the Uncertainty Estimation of
Large Language Models [28.67546891608135]
大規模言語モデル (LLMs) は, 自然言語生成や命令の追従において, 顕著な可能性を示している。
不確実性定量化(UQ)は有望なソリューションであり、LLMのコンテキスト内での正確な実装は依然として大きなハードルである。
我々は,より関連性の高いコンポーネントへの注意をトークンレベルと文レベルの両方で協調的にシフトし,正確な不確かさを推定する。
論文 参考訳(メタデータ) (2023-07-03T22:17:16Z) - Uncertainty in Natural Language Processing: Sources, Quantification, and
Applications [56.130945359053776]
NLP分野における不確実性関連作業の総合的なレビューを行う。
まず、自然言語の不確実性の原因を、入力、システム、出力の3つのタイプに分類する。
我々は,NLPにおける不確実性推定の課題について論じ,今後の方向性について論じる。
論文 参考訳(メタデータ) (2023-06-05T06:46:53Z) - Risk-Constrained Thompson Sampling for CVaR Bandits [82.47796318548306]
CVaR(Conditional Value at Risk)として知られる量的ファイナンスにおける一般的なリスク尺度について考察する。
本稿では,トンプソンサンプリングに基づくCVaR-TSアルゴリズムの性能について検討する。
論文 参考訳(メタデータ) (2020-11-16T15:53:22Z) - Temporal Difference Uncertainties as a Signal for Exploration [76.6341354269013]
強化学習における探索の効果的なアプローチは、最適な政策に対するエージェントの不確実性に依存することである。
本稿では,評価値のバイアスや時間的に矛盾する点を強調した。
本稿では,時間差誤差の分布の導出に依存する値関数の不確かさを推定する手法を提案する。
論文 参考訳(メタデータ) (2020-10-05T18:11:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。