論文の概要: Predictive Querying for Autoregressive Neural Sequence Models

• arxiv url: http://arxiv.org/abs/2210.06464v2
• Date: Thu, 13 Oct 2022 17:35:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 11:38:35.642039
• Title: Predictive Querying for Autoregressive Neural Sequence Models
• Title（参考訳）: 自己回帰型ニューラルシーケンスモデルの予測クエリ
• Authors: Alex Boyd, Sam Showalter, Stephan Mandt, Padhraic Smyth
• Abstract要約: 本稿では,ニューラル自己回帰シーケンスモデルにおける予測クエリの汎用型について紹介する。 このようなクエリは,基本構造ブロックの集合によって体系的に表現可能であることを示す。 我々はこの型を利用して新しいクエリ推定手法を開発した。
• 参考スコア（独自算出の注目度）: 23.85426261235507
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In reasoning about sequential events it is natural to pose probabilistic queries such as "when will event A occur next" or "what is the probability of A occurring before B", with applications in areas such as user modeling, medicine, and finance. However, with machine learning shifting towards neural autoregressive models such as RNNs and transformers, probabilistic querying has been largely restricted to simple cases such as next-event prediction. This is in part due to the fact that future querying involves marginalization over large path spaces, which is not straightforward to do efficiently in such models. In this paper we introduce a general typology for predictive queries in neural autoregressive sequence models and show that such queries can be systematically represented by sets of elementary building blocks. We leverage this typology to develop new query estimation methods based on beam search, importance sampling, and hybrids. Across four large-scale sequence datasets from different application domains, as well as for the GPT-2 language model, we demonstrate the ability to make query answering tractable for arbitrary queries in exponentially-large predictive path-spaces, and find clear differences in cost-accuracy tradeoffs between search and sampling methods.
• Abstract（参考訳）: シーケンシャルなイベントの推論では、ユーザモデリング、医療、金融といった分野で応用される"いつAが起こるか"や"Bの前にAが起こる確率"といった確率論的クエリを、自然に表現する。 しかしながら、機械学習がRNNやトランスフォーマーなどの神経自己回帰モデルにシフトするにつれ、確率的クエリは、次のイベント予測のような単純なケースに大きく制限されている。 これは、将来的なクエリが、そのようなモデルで効率的に行うことが簡単ではない、大きなパス空間上の余分化を伴うためである。 本稿では,ニューラルオートレグレッシブシーケンスモデルにおける予測クエリの一般型について紹介し,そのようなクエリを基本構造ブロックの集合で体系的に表現できることを示す。 本研究では,ビーム探索,重要サンプリング,ハイブリッドに基づく新しいクエリ推定手法を開発する。 GPT-2言語モデルと同様に、異なるアプリケーションドメインからの大規模シーケンスデータセット4つにまたがって、指数関数的に大きい予測パス空間における任意のクエリに対してクエリ応答を抽出できることを示し、探索とサンプリングの手法間のコスト-精度のトレードオフを明確にする。

関連論文リスト

• Estimating Causal Effects from Learned Causal Networks [56.14597641617531]
  本稿では、離散可観測変数に対する因果影響クエリに応答する代替パラダイムを提案する。 観測データから直接因果ベイズネットワークとその共起潜伏変数を学習する。 本手法は, 推定手法よりも有効であることを示す。
  論文  参考訳（メタデータ） (2024-08-26T08:39:09Z)
• Towards a Path Dependent Account of Category Fluency [2.66269503676104]
  本研究は, モデルを配列生成器として再構成することにより, 捕食状況の相違を解消する証拠を提示する。 また,Hills et al. (2012) モデルが生成品質の向上に用いた追加バイアスが要求されるため,カテゴリスイッチ予測器は必ずしも人間のようなシーケンスを生成しないことがわかった。
  論文  参考訳（メタデータ） (2024-05-09T16:36:56Z)
• On the Efficient Marginalization of Probabilistic Sequence Models [3.5897534810405403]
  この論文は、複雑な確率的クエリに答えるために自己回帰モデルを使うことに焦点を当てている。 我々は,モデルに依存しない逐次モデルにおいて,境界化のための新しい,効率的な近似手法のクラスを開発する。
  論文  参考訳（メタデータ） (2024-03-06T19:29:08Z)
• Probabilistic Modeling for Sequences of Sets in Continuous-Time [14.423456635520084]
  設定値データを連続的にモデリングするための一般的なフレームワークを開発する。 また,そのようなモデルを用いて確率的クエリに答える推論手法も開発している。
  論文  参考訳（メタデータ） (2023-12-22T20:16:10Z)
• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• User-defined Event Sampling and Uncertainty Quantification in Diffusion Models for Physical Dynamical Systems [49.75149094527068]
  拡散モデルを用いて予測を行い,カオス力学系に対する不確かさの定量化が可能であることを示す。 本研究では,雑音レベルが低下するにつれて真の分布に収束する条件付きスコア関数の確率的近似法を開発する。 推論時に非線形ユーザ定義イベントを条件付きでサンプリングすることができ、分布の尾部からサンプリングした場合でもデータ統計と一致させることができる。
  論文  参考訳（メタデータ） (2023-06-13T03:42:03Z)
• Autoregressive Quantile Flows for Predictive Uncertainty Estimation [7.184701179854522]
  高次元変数上の確率モデルの柔軟なクラスである自己回帰量子フローを提案する。 これらのモデルは、適切なスコアリングルールに基づいて、新しい目的を用いて訓練された自己回帰フローの例である。
  論文  参考訳（メタデータ） (2021-12-09T01:11:26Z)
• Complex Event Forecasting with Prediction Suffix Trees: Extended Technical Report [70.7321040534471]
  複合イベント認識(CER)システムは、イベントのリアルタイムストリーム上のパターンを"即時"検出する能力によって、過去20年間に人気が高まっている。 このような現象が実際にCERエンジンによって検出される前に、パターンがいつ発生するかを予測する方法が不足している。 複雑なイベント予測の問題に対処しようとする形式的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-01T09:52:31Z)
• Probabilistic Gradient Boosting Machines for Large-Scale Probabilistic Regression [51.770998056563094]
  PGBM(Probabilistic Gradient Boosting Machines)は、確率的予測を生成する手法である。 既存の最先端手法と比較してPGBMの利点を実証的に示す。
  論文  参考訳（メタデータ） (2021-06-03T08:32:13Z)
• Ambiguity in Sequential Data: Predicting Uncertain Futures with Recurrent Models [110.82452096672182]
  逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。 また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
  論文  参考訳（メタデータ） (2020-03-10T09:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。