論文の概要: Can Generative AI Solve Your In-Context Learning Problem? A Martingale Perspective

• arxiv url: http://arxiv.org/abs/2412.06033v1
• Date: Sun, 08 Dec 2024 19:03:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:59:21.391701
• Title: Can Generative AI Solve Your In-Context Learning Problem? A Martingale Perspective
• Title（参考訳）: 生成AIはコンテキスト内学習問題を解決することができるか?Martingale氏の見解
• Authors: Andrew Jesson, Nicolas Beltran-Velez, David Blei,
• Abstract要約: 我々は、CGMの予測分布からの祖先サンプリングが、仮定されたベイズモデルの後方予測からのデータセットのサンプリングと等価であることを示す。 生成予測の$p$-valueは、ICL問題に対してモデルが適切なタイミングを決定するための統計的決定手順で使用できる。
• 参考スコア（独自算出の注目度）: 3.759959474986743
• License:
• Abstract: This work is about estimating when a conditional generative model (CGM) can solve an in-context learning (ICL) problem. An in-context learning (ICL) problem comprises a CGM, a dataset, and a prediction task. The CGM could be a multi-modal foundation model; the dataset, a collection of patient histories, test results, and recorded diagnoses; and the prediction task to communicate a diagnosis to a new patient. A Bayesian interpretation of ICL assumes that the CGM computes a posterior predictive distribution over an unknown Bayesian model defining a joint distribution over latent explanations and observable data. From this perspective, Bayesian model criticism is a reasonable approach to assess the suitability of a given CGM for an ICL problem. However, such approaches -- like posterior predictive checks (PPCs) -- often assume that we can sample from the likelihood and posterior defined by the Bayesian model, which are not explicitly given for contemporary CGMs. To address this, we show when ancestral sampling from the predictive distribution of a CGM is equivalent to sampling datasets from the posterior predictive of the assumed Bayesian model. Then we develop the generative predictive $p$-value, which enables PPCs and their cousins for contemporary CGMs. The generative predictive $p$-value can then be used in a statistical decision procedure to determine when the model is appropriate for an ICL problem. Our method only requires generating queries and responses from a CGM and evaluating its response log probability. We empirically evaluate our method on synthetic tabular, imaging, and natural language ICL tasks using large language models.
• Abstract（参考訳）: この研究は、条件付き生成モデル(CGM)が文脈内学習(ICL)問題を解くことができるときの予測についてである。 文脈内学習(ICL)問題は、CGM、データセット、予測タスクを含む。 CGMはマルチモーダル基礎モデルであり、データセット、患者の履歴の収集、検査結果、記録された診断、そして新しい患者に診断を伝えるための予測タスクである。 ICLのベイズ解釈は、CGMが潜在説明と観測可能なデータに対する共同分布を定義する未知のベイズモデル上の後続予測分布を計算していると仮定する。 この観点から、ベイズモデル批判は、ICL問題に対する所定のCGMの適合性を評価するための合理的なアプローチである。 しかしながら、後部予測チェック(英語版)(PPC)のようなそのようなアプローチは、現代のCGMに明示的に与えられていないベイズモデルによって定義された可能性と後部からサンプリングできると仮定することが多い。 これを解決するために、CGMの予測分布からの祖先サンプリングが、仮定されたベイズモデルの後部予測からのデータセットのサンプリングと等価であることを示す。 次に、同時代のCGMに対して、PPCとその従兄弟が利用できる生成予測値の$p$-valueを開発する。 生成予測の$p$-valueは、ICL問題に対してモデルが適切なタイミングを決定するための統計的決定手順で使用できる。 提案手法では,CGMからクエリと応答を生成し,応答ログの確率を評価する。 我々は,大規模言語モデルを用いて,合成表紙,画像,自然言語ICLタスクについて実験的に評価した。

関連論文リスト

• Considerations for Distribution Shift Robustness of Diagnostic Models in Healthcare [10.393967785465536]
  健康のための応用MLの分野では、患者に関する情報を考慮せずに$X$から$Y$を予測することが一般的である。 本研究では,医療環境に共通するデータ生成機構を強調し,因果関係の文献による最近の理論的結果を用いて,堅牢な予測モデルを構築する方法について論じる。
  論文  参考訳（メタデータ） (2024-10-25T14:13:09Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• What and How does In-Context Learning Learn? Bayesian Model Averaging, Parameterization, and Generalization [111.55277952086155]
  In-Context Learning (ICL) をいくつかのオープンな質問に答えることによって研究する。 ニューラルネットワークパラメータを更新せずに、ICLはベイズモデル平均化アルゴリズムを暗黙的に実装している。 事前学習されたモデルの誤差は近似誤差と一般化誤差の和で有界であることを示す。
  論文  参考訳（メタデータ） (2023-05-30T21:23:47Z)
• Inductive Conformal Prediction: A Straightforward Introduction with Examples in Python [0.0]
  Inductive Conformal Prediction (ICP) は、ユーザ定義の信頼性とカバレッジを保証するために考案された、分布自由かつモデルに依存しないアルゴリズムのセットである。 ICPは、真の出力が高い確率で設定された予測セットに属することを望んでおり、リスクの高い設定において特に重要である。 本論文は実演であり,本論を紹介する際に例を挙げる。
  論文  参考訳（メタデータ） (2022-06-23T16:35:43Z)
• Multi-modality fusion using canonical correlation analysis methods: Application in breast cancer survival prediction from histology and genomics [16.537929113715432]
  2つのモードの融合にカノニカル相関解析(CCA)とCCAのペナル化変種を用いて検討した。 モデルパラメータが既知の場合,両モードを併用した後進平均推定器は,潜時変動予測における単一モード後進推定器の任意の線形混合よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-27T21:18:01Z)
• Inverting brain grey matter models with likelihood-free inference: a tool for trustable cytoarchitecture measurements [62.997667081978825]
  脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。 我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。 次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
  論文  参考訳（メタデータ） (2021-11-15T09:08:27Z)
• Approximate Bayesian Computation for an Explicit-Duration Hidden Markov Model of COVID-19 Hospital Trajectories [55.786207368853084]
  新型コロナウイルス(COVID-19)のパンデミックの中、病院の資源をモデル化する問題に取り組んでいます。 幅広い適用性のために、関心のある領域の患者レベルデータが利用できない、一般的なが困難なシナリオに注目します。 本稿では,ACED-HMM(ACED-HMM)と呼ばれる集合数正規化隠れマルコフモデルを提案する。
  論文  参考訳（メタデータ） (2021-04-28T15:32:42Z)
• Continual Learning with Fully Probabilistic Models [70.3497683558609]
  機械学習の完全確率的(または生成的)モデルに基づく継続的学習のアプローチを提案する。 生成器と分類器の両方に対してガウス混合モデル(GMM)インスタンスを用いた擬似リハーサル手法を提案する。 我々は,GMRが,クラス増分学習問題に対して,非常に競合的な時間とメモリの複雑さで,最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2021-04-19T12:26:26Z)
• Inference in Stochastic Epidemic Models via Multinomial Approximations [2.28438857884398]
  疫病モデルに新しい推論法を導入する。 この方法は離散時間有限人口構成モデルのクラスに適用できる。 本手法は,中国武漢で発生した新型コロナウイルスの再現数の経時変化を推定するために,シークエンシャルモンテカルロ法に組み込むことができることを示す。
  論文  参考訳（メタデータ） (2020-06-24T13:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。