論文の概要: Exchangeable Sequence Models Can Naturally Quantify Uncertainty Over Latent Concepts
- arxiv url: http://arxiv.org/abs/2408.03307v2
- Date: Mon, 11 Nov 2024 20:23:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-13 13:18:44.796990
- Title: Exchangeable Sequence Models Can Naturally Quantify Uncertainty Over Latent Concepts
- Title（参考訳）: 交換可能なシーケンスモデルは、潜在概念に対する不確かさを自然に定量化できる
- Authors: Naimeng Ye, Hanming Yang, Andrew Siah, Hongseok Namkoong,
- Abstract要約: 事前学習されたシーケンスモデルは、交換可能なデータポイントよりも確率論的推論が可能であることを示す。
シーケンスモデルは、典型的なベイズモデルとは異なる観測間の関係を学習する。
シーケンス予測損失が不確実性定量化の品質を制御することを示す。
- 参考スコア（独自算出の注目度）: 5.095571791233068
- License:
- Abstract: Intelligent agents must be able to articulate its own uncertainty. In this work, we show that pre-trained sequence models are naturally capable of probabilistic reasoning over exchangeable data points -- forming informed beliefs and sharpening them as it gathers more information. A sequence model learns the relationship between observations, which differs from typical Bayesian models that quantify uncertainty over latent parameters through priors and likelihoods (e.g., topic models). Despite the apparent difference, we illustrate how exchangeable sequence modeling provides a valid Bayesian model by going back to De Finetti's classical predictive view of probabilistic reasoning: uncertainty comes from data that has not been observed yet, rather than latent parameters. From this perspective, pre-training autoregressive models is equivalent to formulating informed beliefs based on prior observations ("empirical Bayes"), and forward generation is equivalent to simulating instantiations of an environment ("posterior inference"). In particular, exchangeable sequence models can explicitly perform statistical inference; epistemic uncertainty over latent environments is captured by variation in predicted future observations. Formally, we show the sequence prediction loss controls the quality of uncertainty quantification, and propose several approaches for encoding exchangeability in sequence model architectures: data augmentation, regularization, and causal masking.
- Abstract（参考訳）: 知的エージェントは、自身の不確実性を明確化できなければならない。
本研究では、事前学習されたシーケンスモデルが、交換可能なデータポイントよりも確率論的に推論できることを示す。
シーケンスモデルは、先行と可能性(トピックモデルなど)を通じて潜在パラメータに対する不確実性を定量化する典型的なベイズモデルとは異なる、観測間の関係を学習する。
明らかな違いにもかかわらず、交換可能なシーケンスモデリングが、デ・フィネッティの古典的な確率論的推論の予測的見解(不確実性は、潜在パラメータではなく、まだ観測されていないデータから生じる)に遡ることで、有効なベイズモデルを提供する方法を説明する。
この観点から、事前学習された自己回帰モデルは、事前の観察(「経験的ベイズ」)に基づいて情報的信念を定式化することと等価であり、前方生成は環境のインスタンス化をシミュレートすることと等価である(「後述推論」)。
特に、交換可能なシーケンスモデルは、統計的推測を明示的に行うことができ、潜在環境に対する疫学的な不確実性は、予測される将来の観測の変動によって捉えられる。
形式的には、シーケンス予測損失は不確実性定量化の品質を制御し、データ拡張、正規化、因果マスキングといったシーケンスモデルアーキテクチャにおける交換可能性の符号化のためのいくつかのアプローチを提案する。
関連論文リスト
- On the Efficient Marginalization of Probabilistic Sequence Models [3.5897534810405403]
この論文は、複雑な確率的クエリに答えるために自己回帰モデルを使うことに焦点を当てている。
我々は,モデルに依存しない逐次モデルにおいて,境界化のための新しい,効率的な近似手法のクラスを開発する。
論文 参考訳（メタデータ） (2024-03-06T19:29:08Z) - Predictive Churn with the Set of Good Models [64.05949860750235]
近似機械学習モデルの集合に対する競合予測の効果について検討する。
ラーショモン集合内のモデル間の係り受けに関する理論的結果を示す。
当社のアプローチは、コンシューマ向けアプリケーションにおいて、より予測し、削減し、混乱を避けるためにどのように使用できるかを示します。
論文 参考訳（メタデータ） (2024-02-12T16:15:25Z) - Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳（メタデータ） (2023-09-02T01:27:53Z) - Towards Out-of-Distribution Sequential Event Prediction: A Causal
Treatment [72.50906475214457]
シーケンシャルなイベント予測の目標は、一連の歴史的なイベントに基づいて次のイベントを見積もることである。
実際には、次のイベント予測モデルは、一度に収集されたシーケンシャルなデータで訓練される。
文脈固有の表現を学習するための階層的な分岐構造を持つフレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-24T07:54:13Z) - Finding Islands of Predictability in Action Forecasting [7.215559809521136]
将来のアクションシーケンスは1つの抽象化レベルではなく、変数でより正確にモデル化されていることを示す。
本稿では,ベイズニューラルネットワークと階層的畳み込みセグメンテーションモデルを組み合わせて,将来の行動を正確に予測し,抽象化レベルを最適に選択する手法を提案する。
論文 参考訳（メタデータ） (2022-10-13T21:01:16Z) - Why Did This Model Forecast This Future? Closed-Form Temporal Saliency
Towards Causal Explanations of Probabilistic Forecasts [20.442850522575213]
我々は、人間の知覚に基づく情報理論の一般的な定義の上に構築する。
本稿では, 将来の予測分布の差分エントロピーの観点から, 観測窓の塩分濃度を表現することを提案する。
筆者らは,本フレームワークを用いて,発話方向予測のサンプルタスクにおいて,頭部ポーズ機能から有意な窓を復元する方法を実証的に実証した。
論文 参考訳（メタデータ） (2022-06-01T18:00:04Z) - Transforming Autoregression: Interpretable and Expressive Time Series
Forecast [0.0]
本稿では,様々な研究方向からインスパイアされたモデルクラスである自己回帰変換モデル(ATM)を提案する。
ATMは半パラメトリック分布仮定と解釈可能なモデル仕様を用いて表現的分布予測を統一する。
ATMの理論的および実証的な評価により,複数のシミュレーションおよび実世界の予測データセット上でATMの特性を実証する。
論文 参考訳（メタデータ） (2021-10-15T17:58:49Z) - Complex Event Forecasting with Prediction Suffix Trees: Extended
Technical Report [70.7321040534471]
複合イベント認識(CER)システムは、イベントのリアルタイムストリーム上のパターンを"即時"検出する能力によって、過去20年間に人気が高まっている。
このような現象が実際にCERエンジンによって検出される前に、パターンがいつ発生するかを予測する方法が不足している。
複雑なイベント予測の問題に対処しようとする形式的なフレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-01T09:52:31Z) - When in Doubt: Neural Non-Parametric Uncertainty Quantification for
Epidemic Forecasting [70.54920804222031]
既存の予測モデルは不確実な定量化を無視し、誤校正予測をもたらす。
不確実性を考慮した時系列予測のためのディープニューラルネットワークの最近の研究にもいくつかの制限がある。
本稿では,予測タスクを確率的生成過程としてモデル化し,EPIFNPと呼ばれる機能的ニューラルプロセスモデルを提案する。
論文 参考訳（メタデータ） (2021-06-07T18:31:47Z) - Learning Interpretable Deep State Space Model for Probabilistic Time
Series Forecasting [98.57851612518758]
確率的時系列予測は、その歴史に基づいて将来の分布を推定する。
本稿では,非線形エミッションモデルと遷移モデルとをネットワークによってパラメータ化した,確率的時系列予測のための深部状態空間モデルを提案する。
実験では,我々のモデルが正確かつ鋭い確率予測を生成することを示す。
論文 参考訳（メタデータ） (2021-01-31T06:49:33Z) - Predictive Complexity Priors [3.5547661483076998]
本稿では,モデルの予測と参照モデルの予測を比較して定義する機能的先行モデルを提案する。
もともとはモデル出力で定義されていたが、変数の変更によってモデルパラメータの前の値を転送する。
我々は,高次元回帰,ニューラルネットワーク深度の推論,数ショット学習における統計的強度の共有に先立って,予測複雑性を適用した。
論文 参考訳（メタデータ） (2020-06-18T18:39:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。