論文の概要: Estimating the Hallucination Rate of Generative AI

• arxiv url: http://arxiv.org/abs/2406.07457v1
• Date: Tue, 11 Jun 2024 17:01:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 14:55:29.181302
• Title: Estimating the Hallucination Rate of Generative AI
• Title（参考訳）: 生成AIの幻覚率の推定
• Authors: Andrew Jesson, Nicolas Beltran-Velez, Quentin Chu, Sweta Karlekar, Jannik Kossen, Yarin Gal, John P. Cunningham, David Blei,
• Abstract要約: 条件付き生成モデル(CGM)はデータセットでトリガーされ、そのデータセットに基づいて予測を行うように要求される。 我々は、ICL問題(すなわち、CGM、データセット、予測問題)をとる新しい方法を開発し、CGMが幻覚を発生させる確率を推定する。
• 参考スコア（独自算出の注目度）: 44.854771627716225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work is about estimating the hallucination rate for in-context learning (ICL) with Generative AI. In ICL, a conditional generative model (CGM) is prompted with a dataset and asked to make a prediction based on that dataset. The Bayesian interpretation of ICL assumes that the CGM is calculating a posterior predictive distribution over an unknown Bayesian model of a latent parameter and data. With this perspective, we define a \textit{hallucination} as a generated prediction that has low-probability under the true latent parameter. We develop a new method that takes an ICL problem -- that is, a CGM, a dataset, and a prediction question -- and estimates the probability that a CGM will generate a hallucination. Our method only requires generating queries and responses from the model and evaluating its response log probability. We empirically evaluate our method on synthetic regression and natural language ICL tasks using large language models.
• Abstract（参考訳）: この研究は、生成AIを用いて、コンテキスト内学習(ICL)の幻覚率を推定することを目的としている。 ICLでは、条件生成モデル(CGM)がデータセットでトリガーされ、そのデータセットに基づいて予測を行うように要求される。 ICLのベイズ解釈は、CGMが潜在パラメータとデータの未知ベイズモデル上の後方予測分布を計算していると仮定する。 この観点から、真潜在パラメータの下での確率の低い生成予測として \textit{hallucination} を定義する。 我々は、ICL問題(すなわち、CGM、データセット、予測問題)をとる新しい方法を開発し、CGMが幻覚を発生させる確率を推定する。 提案手法では,モデルからクエリと応答を生成し,応答ログの確率を評価する。 我々は,大規模な言語モデルを用いて,合成回帰および自然言語ICLタスクの手法を実証的に評価した。

関連論文リスト

• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• Conformal Language Modeling [61.94417935386489]
  生成言語モデル(LM)の共形予測のための新しい手法を提案する。 標準共形予測は厳密で統計的に保証された予測セットを生成する。 我々は,オープンドメイン質問応答,テキスト要約,ラジオロジーレポート生成において,複数のタスクに対するアプローチの約束を実証する。
  論文  参考訳（メタデータ） (2023-06-16T21:55:08Z)
• What and How does In-Context Learning Learn? Bayesian Model Averaging, Parameterization, and Generalization [111.55277952086155]
  In-Context Learning (ICL) をいくつかのオープンな質問に答えることによって研究する。 ニューラルネットワークパラメータを更新せずに、ICLはベイズモデル平均化アルゴリズムを暗黙的に実装している。 事前学習されたモデルの誤差は近似誤差と一般化誤差の和で有界であることを示す。
  論文  参考訳（メタデータ） (2023-05-30T21:23:47Z)
• Performative Prediction with Neural Networks [22.66295224352892]
  パフォーマンス予測は、予測するデータに影響を与えるモデルを学習するためのフレームワークである。 繰り返しリスク最小化法を用いて、性能的に安定な分類器を見つけるための標準収束結果は、データの分布がモデルのパラメータに連続であることを仮定する。 この研究では、データ分布はモデルの予測に関してリプシッツ連続であると仮定する。
  論文  参考訳（メタデータ） (2023-04-14T01:12:48Z)
• Correcting Model Bias with Sparse Implicit Processes [0.9187159782788579]
  SIP(Sparse Implicit Processes)は,データ生成機構がモデルによって入力されるものと強く異なる場合,モデルバイアスを補正できることを示す。 合成データセットを用いて、SIPは、初期推定モデルの正確な予測よりもデータをよりよく反映する予測分布を提供することができることを示す。
  論文  参考訳（メタデータ） (2022-07-21T18:00:01Z)
• Probabilistic Conformal Prediction Using Conditional Random Samples [73.26753677005331]
  PCPは、不連続な予測セットによって対象変数を推定する予測推論アルゴリズムである。 効率的で、明示的または暗黙的な条件生成モデルと互換性がある。
  論文  参考訳（メタデータ） (2022-06-14T03:58:03Z)
• Inverting brain grey matter models with likelihood-free inference: a tool for trustable cytoarchitecture measurements [62.997667081978825]
  脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。 我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。 次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
  論文  参考訳（メタデータ） (2021-11-15T09:08:27Z)
• Inference in Stochastic Epidemic Models via Multinomial Approximations [2.28438857884398]
  疫病モデルに新しい推論法を導入する。 この方法は離散時間有限人口構成モデルのクラスに適用できる。 本手法は,中国武漢で発生した新型コロナウイルスの再現数の経時変化を推定するために,シークエンシャルモンテカルロ法に組み込むことができることを示す。
  論文  参考訳（メタデータ） (2020-06-24T13:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。