論文の概要: Efficient Non-Parametric Uncertainty Quantification for Black-Box Large Language Models and Decision Planning

• arxiv url: http://arxiv.org/abs/2402.00251v1
• Date: Thu, 1 Feb 2024 00:23:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-02 17:01:34.129301
• Title: Efficient Non-Parametric Uncertainty Quantification for Black-Box Large Language Models and Decision Planning
• Title（参考訳）: ブラックボックス大言語モデルの効率的な非パラメトリック不確実性定量化と決定計画
• Authors: Yao-Hung Hubert Tsai, Walter Talbott, Jian Zhang
• Abstract要約: 本稿では,不確実性を考慮した意思決定計画に焦点をあて,言語モデルにおける問題に対処する。 我々の不確実性評価と意思決定エージェント設計は、AIエージェント開発にコスト効率のよいアプローチを提供する。
• 参考スコア（独自算出の注目度）: 17.752461521448236
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Step-by-step decision planning with large language models (LLMs) is gaining attention in AI agent development. This paper focuses on decision planning with uncertainty estimation to address the hallucination problem in language models. Existing approaches are either white-box or computationally demanding, limiting use of black-box proprietary LLMs within budgets. The paper's first contribution is a non-parametric uncertainty quantification method for LLMs, efficiently estimating point-wise dependencies between input-decision on the fly with a single inference, without access to token logits. This estimator informs the statistical interpretation of decision trustworthiness. The second contribution outlines a systematic design for a decision-making agent, generating actions like ``turn on the bathroom light'' based on user prompts such as ``take a bath''. Users will be asked to provide preferences when more than one action has high estimated point-wise dependencies. In conclusion, our uncertainty estimation and decision-making agent design offer a cost-efficient approach for AI agent development.
• Abstract（参考訳）: 大規模言語モデル(LLM)によるステップバイステップの決定計画がAIエージェント開発で注目を集めている。 本稿では,言語モデルにおける幻覚問題に対処するため,不確実性推定を伴う意思決定に焦点をあてる。 既存のアプローチはホワイトボックスまたは計算要求であり、予算内でブラックボックスのプロプライエタリなllmの使用を制限している。 本論文の最初のコントリビューションは, LLMの非パラメトリック不確実性定量化手法であり, トークンロジットにアクセスすることなく, 単一推論でフライ時の入力-決定間のポイントワイド依存性を効率的に推定する。 この推定器は、決定の信頼性の統計的解釈を知らせる。 第2の貢献は、意思決定エージェントの体系的な設計を概説し、ユーザのプロンプトである「風呂に入る」に基づいて「浴室の光に向ける」などのアクションを生成する。 複数のアクションが高い見積もりのポイントサイド依存性を持つ場合、ユーザは好みを尋ねられる。 結論として,不確実性推定と意思決定エージェント設計は,aiエージェント開発にコスト効率の高いアプローチを提供する。

関連論文リスト

• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Modeling Boundedly Rational Agents with Latent Inference Budgets [56.24971011281947]
  エージェントの計算制約を明示的にモデル化する潜在推論予算モデル(L-IBM)を導入する。 L-IBMは、最適なアクターの多様な集団のデータを使ってエージェントモデルを学ぶことができる。 我々は,L-IBMが不確実性の下での意思決定のボルツマンモデルに適合しているか,あるいは上回っていることを示す。
  論文  参考訳（メタデータ） (2023-12-07T03:55:51Z)
• Uncertainty-aware Language Modeling for Selective Question Answering [107.47864420630923]
  本稿では,不確実性を考慮したLLMを生成するLLM変換手法を提案する。 我々のアプローチはモデルとデータに依存しず、計算効率が高く、外部モデルやシステムに依存しない。
  論文  参考訳（メタデータ） (2023-11-26T22:47:54Z)
• Rational Decision-Making Agent with Internalized Utility Judgment [91.80700126895927]
  大規模言語モデル(LLM)は目覚ましい進歩を示し、従来のNLPアプリケーションを超えて複雑な多段階決定タスクを実行できるエージェントにLLMを開発するための重要な努力を惹きつけている。 本稿では,RadAgentを提案する。このRadAgentは,経験探索とユーティリティ学習を含む反復的なフレームワークを通じて,合理性の発展を促進する。 ToolBenchデータセットの実験結果は、RadAgentがベースラインよりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-08-24T03:11:45Z)
• A Meta-heuristic Approach to Estimate and Explain Classifier Uncertainty [0.4264192013842096]
  本研究は,人間と機械学習の双方の意思決定に相互に関係する因子の観点から,インスタンスの複雑性を特徴付けるクラス非依存型メタヒューリスティックスを提案する。 提案された測度とフレームワークは、より複雑なインスタンスのモデル開発を改善するとともに、モデルの棄却と説明の新しい手段を提供するという約束を持っている。
  論文  参考訳（メタデータ） (2023-04-20T13:09:28Z)
• Double Fuzzy Probabilistic Interval Linguistic Term Set and a Dynamic Fuzzy Decision Making Model based on Markov Process with tts Application in Multiple Criteria Group Decision Making [0.0]
  与えられた言語評価において,確率分布を扱うための言語用語が提案されている。 ウェイト情報は、動的情報融合と意思決定プロセスにおいて重要な役割を果たす。 二重ファジィ確率区間言語用語集合(DFPILTS)の概念を提案する。
  論文  参考訳（メタデータ） (2021-11-30T10:17:08Z)
• Ensemble Quantile Networks: Uncertainty-Aware Reinforcement Learning with Applications in Autonomous Driving [1.6758573326215689]
  強化学習は、自律運転のための意思決定エージェントを作成するために使用できる。 これまでのアプローチではブラックボックスソリューションのみを提供しており、エージェントがその決定に対する自信について情報を提供していない。 本稿では,分布RLとアンサンブルアプローチを組み合わせて完全不確実性推定を行うEnsemble Quantile Networks (EQN)法を提案する。
  論文  参考訳（メタデータ） (2021-05-21T10:36:16Z)
• Leveraging Expert Consistency to Improve Algorithmic Decision Support [62.61153549123407]
  建設のギャップを狭めるために観測結果と組み合わせることができる情報源として,歴史専門家による意思決定の利用について検討する。 本研究では,データ内の各ケースが1人の専門家によって評価された場合に,専門家の一貫性を間接的に推定する影響関数に基づく手法を提案する。 本研究は, 児童福祉領域における臨床現場でのシミュレーションと実世界データを用いて, 提案手法が構成ギャップを狭めることに成功していることを示す。
  論文  参考訳（メタデータ） (2021-01-24T05:40:29Z)
• Uncertainty as a Form of Transparency: Measuring, Communicating, and Using Uncertainty [66.17147341354577]
  我々は,モデル予測に関連する不確実性を推定し,伝達することにより,相補的な透明性の形式を考えることについて議論する。 モデルの不公平性を緩和し、意思決定を強化し、信頼できるシステムを構築するために不確実性がどのように使われるかを説明する。 この研究は、機械学習、可視化/HCI、デザイン、意思決定、公平性にまたがる文学から引き出された学際的レビューを構成する。
  論文  参考訳（メタデータ） (2020-11-15T17:26:14Z)
• Value of Information Analysis via Active Learning and Knowledge Sharing in Error-Controlled Adaptive Kriging [7.148732567427574]
  本稿では,情報の価値(VoI)分析のための最初のサロゲートベースのフレームワークを提案する。 複数の関心事の可能性を更新するために、サロゲートモデル間の観測から平等な情報を共有することができる。 トラスブリッジの負荷試験を含む最適決定問題に対して,提案手法を適用した。
  論文  参考訳（メタデータ） (2020-02-06T16:58:27Z)
• Dirichlet uncertainty wrappers for actionable algorithm accuracy accountability and auditability [0.5156484100374058]
  本研究では,不確実性の尺度を用いて出力予測を充実させるラッパーを提案する。 結果の不確実性に基づいて、より確実な予測を選択する拒絶制度を提唱する。 その結果,ラッパーが計算した不確実性の有効性が示された。
  論文  参考訳（メタデータ） (2019-12-29T11:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。