論文の概要: Non-stationary and Sparsely-correlated Multi-output Gaussian Process with Spike-and-Slab Prior

• arxiv url: http://arxiv.org/abs/2409.03149v1
• Date: Thu, 5 Sep 2024 00:56:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 22:33:03.248813
• Title: Non-stationary and Sparsely-correlated Multi-output Gaussian Process with Spike-and-Slab Prior
• Title（参考訳）: スパイク・アンド・スラブ前の非定常・疎相関多出力ガウス過程
• Authors: Wang Xinming, Li Yongxiang, Yue Xiaowei, Wu Jianguo,
• Abstract要約: 多出力ガウス過程(MGP)は転写学習法として一般的に用いられている。 本研究では,出力間の動的相関とスパース相関を捉えることができる非定常MGPモデルを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-output Gaussian process (MGP) is commonly used as a transfer learning method to leverage information among multiple outputs. A key advantage of MGP is providing uncertainty quantification for prediction, which is highly important for subsequent decision-making tasks. However, traditional MGP may not be sufficiently flexible to handle multivariate data with dynamic characteristics, particularly when dealing with complex temporal correlations. Additionally, since some outputs may lack correlation, transferring information among them may lead to negative transfer. To address these issues, this study proposes a non-stationary MGP model that can capture both the dynamic and sparse correlation among outputs. Specifically, the covariance functions of MGP are constructed using convolutions of time-varying kernel functions. Then a dynamic spike-and-slab prior is placed on correlation parameters to automatically decide which sources are informative to the target output in the training process. An expectation-maximization (EM) algorithm is proposed for efficient model fitting. Both numerical studies and a real case demonstrate its efficacy in capturing dynamic and sparse correlation structure and mitigating negative transfer for high-dimensional time-series data. Finally, a mountain-car reinforcement learning case highlights its potential application in decision making problems.
• Abstract（参考訳）: 多出力ガウス過程 (MGP) は、複数の出力間の情報を活用する伝達学習法として一般的に用いられる。 MGPの重要な利点は、予測のための不確実な定量化を提供することであり、これはその後の意思決定タスクにとって非常に重要である。 しかし、従来のMGPは、特に複雑な時間的相関を扱う場合、動的特性を持つ多変量データを扱うのに十分な柔軟性がないかもしれない。 さらに、いくつかの出力は相関が欠如している可能性があるため、それらの間の情報転送は負の転送につながる可能性がある。 これらの問題に対処するため,本研究では,出力間の動的相関とスパース相関の両方を捉えることができる非定常MGPモデルを提案する。 具体的には、MGPの共分散関数は、時間変化したカーネル関数の畳み込みを用いて構成される。 そして、動的スパイク・アンド・スラブ先行を相関パラメータ上に配置し、トレーニングプロセスにおいて、目標出力に対してどのソースが情報であるかを自動決定する。 効率的なモデルフィッティングのための予測最大化(EM)アルゴリズムを提案する。 数値解析と実例の両方が、動的およびスパース相関構造を捕捉し、高次元時系列データに対する負の移動を緩和する効果を実証している。 最後に、マウンテンカーの強化学習ケースは、意思決定問題における潜在的な応用を浮き彫りにする。

関連論文リスト

• Scalable Multi-Output Gaussian Processes with Stochastic Variational Inference [2.1249213103048414]
  遅延可変MOGP (LV-MOGP) は、データポイントが少ない新しい出力への効率的な一般化を可能にする。 LV-MOGPの複雑性は出力数とともに線形に増加する。 本稿では,LV-MOGPに対して,入力と出力の両方にミニバッチを適用可能な変分推論手法を提案する。
  論文  参考訳（メタデータ） (2024-07-02T17:53:56Z)
• Causal Feature Selection via Transfer Entropy [59.999594949050596]
  因果発見は、観察データによる特徴間の因果関係を特定することを目的としている。 本稿では,前向きと後向きの機能選択に依存する新たな因果的特徴選択手法を提案する。 精度および有限サンプルの場合の回帰誤差と分類誤差について理論的に保証する。
  論文  参考訳（メタデータ） (2023-10-17T08:04:45Z)
• Heterogeneous Multi-Task Gaussian Cox Processes [61.67344039414193]
  異種相関タスクを共同でモデル化するためのマルチタスクガウスコックスプロセスの新たな拡張を提案する。 MOGPは、分類、回帰、ポイントプロセスタスクの専用可能性のパラメータに先行して、異種タスク間の情報の共有を容易にする。 モデルパラメータを推定するための閉形式反復更新を実現する平均場近似を導出する。
  論文  参考訳（メタデータ） (2023-08-29T15:01:01Z)
• Automatic Data Augmentation via Invariance-Constrained Learning [94.27081585149836]
  下位のデータ構造は、しばしば学習タスクのソリューションを改善するために利用される。 データ拡張は、入力データに複数の変換を適用することで、トレーニング中にこれらの対称性を誘導する。 この作業は、学習タスクを解決しながらデータ拡張を自動的に適応することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2022-09-29T18:11:01Z)
• Adaptive Discrete Communication Bottlenecks with Dynamic Vector Quantization [76.68866368409216]
  入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。 コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-02-02T23:54:26Z)
• Scalable Gaussian Processes for Data-Driven Design using Big Data with Categorical Factors [14.337297795182181]
  ガウス過程(GP)は、大きなデータセット、カテゴリ入力、および複数の応答を調節するのに困難である。 本稿では,変分推論によって得られた潜伏変数と関数を用いて,上記の課題を同時に解決するGPモデルを提案する。 本手法は三元系酸化物材料の機械学習と多スケール対応機構のトポロジー最適化に有用である。
  論文  参考訳（メタデータ） (2021-06-26T02:17:23Z)
• Bayesian Inference in High-Dimensional Time-Serieswith the Orthogonal Stochastic Linear Mixing Model [2.7909426811685893]
  現代の時系列データセットの多くは、長期間にわたってサンプリングされた大量の出力応答変数を含んでいる。 本稿では,多種多様な大規模時系列データセット解析のための新しいマルコフ連鎖モンテカルロフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-25T01:12:54Z)
• Collaborative Nonstationary Multivariate Gaussian Process Model [2.362467745272567]
  我々は、協調非定常ガウス過程モデル(CNMGP)と呼ばれる新しいモデルを提案する。 CNMGPは、出力が共通の入力セットを共有していないデータを、入力と出力のサイズに依存しない計算複雑性でモデル化することができる。 また,本モデルでは,出力毎に異なる時間変化相関を推定し,予測性能の向上を図っている。
  論文  参考訳（メタデータ） (2021-06-01T18:25:22Z)
• Transformer Hawkes Process [79.16290557505211]
  本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。 THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。 本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
  論文  参考訳（メタデータ） (2020-02-21T13:48:13Z)
• Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
  本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。 これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。 この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-02-21T05:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。