論文の概要: Estimating the Hallucination Rate of Generative AI

• arxiv url: http://arxiv.org/abs/2406.07457v2
• Date: Sun, 13 Oct 2024 21:23:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-15 15:04:36.791819
• Title: Estimating the Hallucination Rate of Generative AI
• Title（参考訳）: 生成AIの幻覚率の推定
• Authors: Andrew Jesson, Nicolas Beltran-Velez, Quentin Chu, Sweta Karlekar, Jannik Kossen, Yarin Gal, John P. Cunningham, David Blei,
• Abstract要約: この研究は、生成AIを用いて、文脈内学習(ICL)の幻覚率を推定することを目的としている。 ICLでは、条件生成モデル(CGM)がデータセットでトリガーされ、そのデータセットに基づいて予測問題に答えるように要求される。 我々は、ICL問題に対処し、CGMが幻覚を発生させる確率を推定する新しい方法を開発した。
• 参考スコア（独自算出の注目度）: 44.854771627716225
• License:
• Abstract: This work is about estimating the hallucination rate for in-context learning (ICL) with generative AI. In ICL, a conditional generative model (CGM) is prompted with a dataset and asked to answer a prediction question based on that dataset. Formally, an ICL problem is a tuple containing a CGM, a dataset, and a prediction question. One interpretation of ICL assumes that the CGM computes the posterior predictive of an unknown Bayesian model. The Bayesian model defines a joint distribution over observable datasets and latent mechanisms, which factorizes into the model likelihood over datasets given a mechanism and the model prior over mechanisms. It is assumed that an ICL dataset comprises independent samples from the model likelihood indexed by a specific mechanism. Moreover, that the prediction question and any valid response are distributed according to the same likelihood. With this perspective, we define a \textit{hallucination} as a generated response to the prediction question that has low-probability under the model likelihood indexed by the mechanism. We develop a new method that takes an ICL problem and estimates the probability that a CGM will generate a hallucination. Our method only requires generating prediction questions and responses from the CGM and evaluating its response log probability. We empirically evaluate our method on synthetic regression and natural language ICL tasks using large language models.
• Abstract（参考訳）: この研究は、生成AIを用いて、文脈内学習(ICL)の幻覚率を推定することを目的としている。 ICLでは、条件生成モデル(CGM)がデータセットでトリガーされ、そのデータセットに基づいて予測問題に答えるように要求される。 形式的には、ICL問題はCGM、データセット、予測質問を含むタプルである。 ICLの解釈の一つは、CGMが未知のベイズモデルの後方予測を計算すると仮定している。 ベイズモデルでは、観測可能なデータセットと潜伏メカニズムの結合分布を定義し、メカニズムとメカニズムよりも前のモデルが与えられたデータセットのモデル可能性に分解する。 ICLデータセットは、特定のメカニズムによってインデックスされたモデル確率から独立したサンプルからなると仮定する。 さらに、予測問題と有効な応答は、同じ確率で分配される。 この観点から、このメカニズムによってインデックス付けされたモデル確率の下で、確率の低い予測問題に対する生成応答として、 \textit{hallucination} を定義する。 我々は、ICL問題に対処し、CGMが幻覚を発生させる確率を推定する新しい方法を開発した。 提案手法では,CGMから予測質問や応答を生成し,応答ログの確率を評価する。 我々は,大規模な言語モデルを用いて,合成回帰および自然言語ICLタスクの手法を実証的に評価した。

関連論文リスト

• Estimating Causal Effects from Learned Causal Networks [56.14597641617531]
  本稿では、離散可観測変数に対する因果影響クエリに応答する代替パラダイムを提案する。 観測データから直接因果ベイズネットワークとその共起潜伏変数を学習する。 本手法は, 推定手法よりも有効であることを示す。
  論文  参考訳（メタデータ） (2024-08-26T08:39:09Z)
• What and How does In-Context Learning Learn? Bayesian Model Averaging, Parameterization, and Generalization [111.55277952086155]
  In-Context Learning (ICL) をいくつかのオープンな質問に答えることによって研究する。 ニューラルネットワークパラメータを更新せずに、ICLはベイズモデル平均化アルゴリズムを暗黙的に実装している。 事前学習されたモデルの誤差は近似誤差と一般化誤差の和で有界であることを示す。
  論文  参考訳（メタデータ） (2023-05-30T21:23:47Z)
• Correcting Model Bias with Sparse Implicit Processes [0.9187159782788579]
  SIP(Sparse Implicit Processes)は,データ生成機構がモデルによって入力されるものと強く異なる場合,モデルバイアスを補正できることを示す。 合成データセットを用いて、SIPは、初期推定モデルの正確な予測よりもデータをよりよく反映する予測分布を提供することができることを示す。
  論文  参考訳（メタデータ） (2022-07-21T18:00:01Z)
• Provable concept learning for interpretable predictions using variational inference [7.0349768355860895]
  安全クリティカルなアプリケーションでは、解釈可能な説明が得られない場合、実践者はニューラルネットワークを信頼することを避けます。 我々は(C)概念(L)アーニングと(P)ディディクション(CLAP)を導出する確率論的モデリングフレームワークを提案する。 本手法は最適な分類精度を保ちながら同定できることを実証する。
  論文  参考訳（メタデータ） (2022-04-01T14:51:38Z)
• Multi-modality fusion using canonical correlation analysis methods: Application in breast cancer survival prediction from histology and genomics [16.537929113715432]
  2つのモードの融合にカノニカル相関解析(CCA)とCCAのペナル化変種を用いて検討した。 モデルパラメータが既知の場合,両モードを併用した後進平均推定器は,潜時変動予測における単一モード後進推定器の任意の線形混合よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-27T21:18:01Z)
• Inverting brain grey matter models with likelihood-free inference: a tool for trustable cytoarchitecture measurements [62.997667081978825]
  脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。 我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。 次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
  論文  参考訳（メタデータ） (2021-11-15T09:08:27Z)
• Discovering Latent Causal Variables via Mechanism Sparsity: A New Principle for Nonlinear ICA [81.4991350761909]
  ICA(Independent component analysis)は、この目的を定式化し、実用的な応用のための推定手順を提供する手法の集合を指す。 潜伏変数は、潜伏機構をスパースに正則化すれば、置換まで復元可能であることを示す。
  論文  参考訳（メタデータ） (2021-07-21T14:22:14Z)
• Continual Learning with Fully Probabilistic Models [70.3497683558609]
  機械学習の完全確率的(または生成的)モデルに基づく継続的学習のアプローチを提案する。 生成器と分類器の両方に対してガウス混合モデル(GMM)インスタンスを用いた擬似リハーサル手法を提案する。 我々は,GMRが,クラス増分学習問題に対して,非常に競合的な時間とメモリの複雑さで,最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2021-04-19T12:26:26Z)
• Gaussian Function On Response Surface Estimation [12.35564140065216]
  メタモデリング手法によるブラックボックス機械学習モデルの解釈(機能とサンプル)のための新しいフレームワークを提案する。 メタモデルは、興味のある領域のデータサンプルでコンピュータ実験を実行することによって、訓練された複雑なモデルによって生成されたデータから推定することができる。
  論文  参考訳（メタデータ） (2021-01-04T04:47:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。