論文の概要: Compressible Spectral Mixture Kernels with Sparse Dependency Structures
for Gaussian Processes
- arxiv url: http://arxiv.org/abs/1808.00560v9
- Date: Wed, 26 Jul 2023 04:30:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-27 16:56:46.030702
- Title: Compressible Spectral Mixture Kernels with Sparse Dependency Structures
for Gaussian Processes
- Title(参考訳): ガウス過程のスパース依存構造を持つ圧縮可能なスペクトル混合カーネル
- Authors: Kai Chen, Yijue Dai, Feng Yin, Elena Marchiori, and Sergios
Theodoridis
- Abstract要約: スペクトル混合(SM)カーネルはガウス過程(GP)のための強力な一般化されたカーネルのクラスを構成する
本稿では、GPの一般化を改善するために、モデル圧縮と時間と位相(TP)変調依存構造を元の(SM)カーネルに導入する。
- 参考スコア(独自算出の注目度): 12.607271901002452
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spectral mixture (SM) kernels comprise a powerful class of generalized
kernels for Gaussian processes (GPs) to describe complex patterns. This paper
introduces model compression and time- and phase (TP) modulated dependency
structures to the original (SM) kernel for improved generalization of GPs.
Specifically, by adopting Bienaym\'es identity, we generalize the dependency
structure through cross-covariance between the SM components. Then, we propose
a novel SM kernel with a dependency structure (SMD) by using cross-convolution
between the SM components. Furthermore, we ameliorate the expressiveness of the
dependency structure by parameterizing it with time and phase delays. The
dependency structure has clear interpretations in terms of spectral density,
covariance behavior, and sampling path. To enrich the SMD with effective
hyperparameter initialization, compressible SM kernel components, and sparse
dependency structures, we introduce a novel structure adaptation (SA) algorithm
in the end. A thorough comparative analysis of the SMD on both synthetic and
real-life applications corroborates its efficacy.
- Abstract(参考訳): スペクトル混合(SM)カーネルは、複雑なパターンを記述するためにガウス過程(GP)のための強力な一般化されたカーネルのクラスを構成する。
本稿では、GPの一般化を改善するために、モデル圧縮と時間と位相(TP)変調依存構造を元の(SM)カーネルに導入する。
具体的には、bienaym\のアイデンティティを採用することで、smコンポーネント間の相互分散を通じて依存関係構造を一般化します。
そこで我々は,SMコンポーネント間の相互畳み込みを利用して,依存関係構造を持つ新しいSMカーネルを提案する。
さらに,時間と位相の遅延をパラメータ化することで,依存構造の表現性を改善する。
依存構造はスペクトル密度、共分散挙動、サンプリング経路の点で明確な解釈を持つ。
実効的なハイパーパラメータ初期化、圧縮可能なSMカーネルコンポーネント、スパース依存構造でSMDを強化するために、最後に新しい構造適応(SA)アルゴリズムを導入する。
合成および現実の応用におけるSMDの徹底的な比較分析は、その効果を裏付けるものである。
関連論文リスト
- Dependency-Aware Semi-Structured Sparsity of GLU Variants in Large Language Models [15.56145303022529]
Dependency-Aware Semi-structured Sparsity (DASS) は、最近普及しているSwiGLUベースの非教師なしプルーニングのための新しい手法である。
DaSSは、非構造化プルーニングによって提供される適応性と、依存性ベースの構造化プルーニングに固有の構造的一貫性との間のバランスを促進する。
Mistral と LLaMA2 モデルファミリの実証評価により,DaSS は SparseGPT と Wanda の両モデルでハードウェアフレンドリーな N:M スペーサ性パターンを実現している。
論文 参考訳(メタデータ) (2024-05-03T09:13:13Z) - iSCAN: Identifying Causal Mechanism Shifts among Nonlinear Additive
Noise Models [48.33685559041322]
本稿では,同一変数集合上の2つ以上の関連するデータセットにおける因果メカニズムシフトの同定に焦点をあてる。
提案手法を実装したコードはオープンソースであり、https://github.com/kevinsbello/iSCAN.comで公開されている。
論文 参考訳(メタデータ) (2023-06-30T01:48:11Z) - PAC-Chernoff Bounds: Understanding Generalization in the Interpolation Regime [6.645111950779666]
本稿では,補間器の完全密度を示す分布依存型PAC-Chernoff境界を提案する。
我々は、ある補間子がなぜ例外的な一般化を示すのかを示す統一的な理論的枠組みを提示する。
論文 参考訳(メタデータ) (2023-06-19T14:07:10Z) - Disentangling Structured Components: Towards Adaptive, Interpretable and
Scalable Time Series Forecasting [52.47493322446537]
本研究では,時空間パターンの各コンポーネントを個別にモデル化する適応的,解釈可能,スケーラブルな予測フレームワークを開発する。
SCNNは、空間時間パターンの潜在構造を算術的に特徴づける、MSSの事前定義された生成プロセスで動作する。
SCNNが3つの実世界のデータセットの最先端モデルよりも優れた性能を達成できることを示すため、大規模な実験が行われた。
論文 参考訳(メタデータ) (2023-05-22T13:39:44Z) - DepGraph: Towards Any Structural Pruning [68.40343338847664]
我々は、CNN、RNN、GNN、Transformersのような任意のアーキテクチャの一般的な構造解析について研究する。
本稿では,階層間の依存関係を明示的にモデル化し,包括的にグループ化してプルーニングを行う汎用かつ完全自動な手法であるemphDependency Graph(DepGraph)を提案する。
本研究では,画像用ResNe(X)t,DenseNet,MobileNet,Vision Transformer,グラフ用GAT,3Dポイントクラウド用DGCNN,言語用LSTMなど,さまざまなアーキテクチャやタスクに関する手法を広範囲に評価し,言語用LSTMと並行して示す。
論文 参考訳(メタデータ) (2023-01-30T14:02:33Z) - Investigation of Machine Learning-based Coarse-Grained Mapping Schemes
for Organic Molecules [0.0]
粗粒化(CG)により、異なるシステム解像度間のリンクを確立することができる。
本稿では,変分オートエンコーダに基づく機械学習戦略を適用し,適切なマッピング手法の開発について検討する。
論文 参考訳(メタデータ) (2022-09-26T18:30:51Z) - Efficient Micro-Structured Weight Unification and Pruning for Neural
Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。
既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。
ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文 参考訳(メタデータ) (2021-06-15T17:22:59Z) - Data-Driven Multiscale Design of Cellular Composites with Multiclass
Microstructures for Natural Frequency Maximization [14.337297795182181]
本稿では,データ駆動型トポロジ最適化(TO)手法を提案する。
このフレームワークは、熱コンプライアンスや動的応答最適化など、他のマルチスケールTO問題にも容易に拡張できる。
論文 参考訳(メタデータ) (2021-06-11T15:59:33Z) - ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。
我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
論文 参考訳(メタデータ) (2020-09-04T20:41:47Z) - Approximate Inference for Spectral Mixture Kernel [25.087829816206813]
スペクトル混合核に対する近似ベイズ推定を提案する。
抽出されたエビデンス下界(ELBO)推定器にサンプリングベース変分推定を適用することにより,変分パラメータを最適化する。
提案した推論と2つの戦略が組み合わさってパラメータの収束を加速し、より良いパラメータをもたらす。
論文 参考訳(メタデータ) (2020-06-12T09:39:29Z) - Repulsive Mixture Models of Exponential Family PCA for Clustering [127.90219303669006]
指数関数型家族主成分分析(EPCA)の混合拡張は、従来のEPCAよりもデータ分布に関する構造情報を符号化するように設計された。
従来のEPCAの混合は、モデルの冗長性、すなわち混合成分間の重なりが問題であり、データクラスタリングの曖昧さを引き起こす可能性がある。
本稿では, 混合成分間での反発性増感前処理を導入し, ベイズ式に分散EPCA混合(DEPCAM)モデルを開発した。
論文 参考訳(メタデータ) (2020-04-07T04:07:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。