論文の概要: BIRD: A Trustworthy Bayesian Inference Framework for Large Language Models
- arxiv url: http://arxiv.org/abs/2404.12494v1
- Date: Thu, 18 Apr 2024 20:17:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-22 16:44:29.245646
- Title: BIRD: A Trustworthy Bayesian Inference Framework for Large Language Models
- Title(参考訳): BIRD:大規模言語モデルのための信頼できるベイズ推論フレームワーク
- Authors: Yu Feng, Ben Zhou, Weidong Lin, Dan Roth,
- Abstract要約: 大規模言語モデルに対するBIRDと呼ばれるベイズ推論フレームワークを提案する。
BIRDはモデル決定のための制御可能かつ解釈可能な確率推定を提供する。
実験の結果、BIRDは65%以上の人の判断と一致した確率推定を生成することがわかった。
- 参考スコア(独自算出の注目度): 52.46248487458641
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models primarily rely on inductive reasoning for decision making. This results in unreliable decisions when applied to real-world tasks that often present incomplete contexts and conditions. Thus, accurate probability estimation and appropriate interpretations are required to enhance decision-making reliability. In this paper, we propose a Bayesian inference framework called BIRD for large language models. BIRD provides controllable and interpretable probability estimation for model decisions, based on abductive factors, LLM entailment, as well as learnable deductive Bayesian modeling. Experiments show that BIRD produces probability estimations that align with human judgments over 65% of the time using open-sourced Llama models, outperforming the state-of-the-art GPT-4 by 35%. We also show that BIRD can be directly used for trustworthy decision making on many real-world applications.
- Abstract(参考訳): 大規模言語モデルは、主に意思決定の帰納的推論に依存している。
これは、しばしば不完全なコンテキストや条件を示す現実世界のタスクに適用された場合、信頼できない決定をもたらす。
したがって、意思決定の信頼性を高めるためには、正確な確率推定と適切な解釈が必要である。
本稿では,大規模言語モデルに対するBIRDというベイズ推論フレームワークを提案する。
BIRDは、帰納的要因に基づくモデル決定のための制御可能かつ解釈可能な確率推定、LLMエンテーメント、および学習可能な導出的ベイズモデルを提供する。
実験の結果、BIRDはオープンソースのLlamaモデルを用いて、人間の判断と一致した確率を65%以上生成し、最先端のGPT-4を35%上回った。
また,BIRDは実世界の多くのアプリケーションにおいて信頼性の高い意思決定に利用できることを示す。
関連論文リスト
- Deep Bayes Factors [0.0]
本稿では,2つの競合モデルのシミュレーションデータに基づいてベイズ係数のディープラーニング推定手法を提案する。
我々の推定器は要約統計を欠き、ABCモデル選択の難しさのいくつかを排除している。
論文 参考訳(メタデータ) (2023-12-08T23:47:50Z) - Llamas Know What GPTs Don't Show: Surrogate Models for Confidence
Estimation [70.27452774899189]
大規模言語モデル(LLM)は、ユーザを誤解させるのではなく、不正な例に対して低い信頼を示さなければならない。
2023年11月現在、最先端のLLMはこれらの確率へのアクセスを提供していない。
言語的信頼度と代理モデル確率を構成する最良の方法は、12データセットすべてに対して最先端の信頼度推定を与える。
論文 参考訳(メタデータ) (2023-11-15T11:27:44Z) - Prototype-based Aleatoric Uncertainty Quantification for Cross-modal
Retrieval [139.21955930418815]
クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。
しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。
本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-29T09:41:19Z) - How to Estimate Model Transferability of Pre-Trained Speech Models? [84.11085139766108]
事前学習音声モデルの伝達可能性推定のためのスコアベースアセスメントフレームワーク
ベイズ確率推定と最適輸送という2つの表現理論を利用して、PSM候補のランクスコアを生成する。
本フレームワークは,候補モデルやレイヤを実際に微調整することなく,転送可能性スコアを効率的に計算する。
論文 参考訳(メタデータ) (2023-06-01T04:52:26Z) - Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。
言語生成に適用するための実践的境界を開発する。
本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
論文 参考訳(メタデータ) (2023-02-26T16:32:52Z) - Uncertainty Quantification for Rule-Based Models [0.03807314298073299]
ルールベースの分類モデルは、確率をモデル化し、統計モデルのように予測に変換するのではなく、直接値を予測する。
本稿では,二項出力を持つ二項分類器をブラックボックスとして扱うメタモデルの形で不確実な定量化フレームワークを提案し,その推定に対する信頼度とともに,与えられた入力におけるそのベースモデルの予測精度を推定する。
論文 参考訳(メタデータ) (2022-11-03T15:50:09Z) - Towards Interpretable and Reliable Reading Comprehension: A Pipeline
Model with Unanswerability Prediction [6.524831776235361]
我々は、解釈不能なクエリを予測できるパイプラインモデルとして、解釈可能な読解理解(IRC)モデルを定義する。
IRCモデルは、予測された支持事実と解釈可能性の実際の理論的根拠との整合性を確立することにより、回答予測を正当化する。
我々のエンドツーエンドのトレーニング可能なパイプラインモデルは、修正されたHotpotQAデータセットで非解釈可能なモデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2021-11-17T10:47:47Z) - Financial Data Analysis Using Expert Bayesian Framework For Bankruptcy
Prediction [0.0]
本稿では,エキスパートベイズフレームワークを用いた生成モデリングの新たな手法を提案する。
提案フレームワークの最大の利点は、モデリングプロセスに専門家の判断を明示的に取り入れることである。
提案手法は、金融や医療診断など、高度に規制された、あるいは安全性の高い応用に適している。
論文 参考訳(メタデータ) (2020-10-19T19:09:02Z) - Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。
これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。
おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
論文 参考訳(メタデータ) (2020-02-17T19:23:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。