論文の概要: Deep Q-Exponential Processes

• arxiv url: http://arxiv.org/abs/2410.22119v1
• Date: Tue, 29 Oct 2024 15:21:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:41:40.906070
• Title: Deep Q-Exponential Processes
• Title（参考訳）: 深部Q-指数過程
• Authors: Zhi Chang, Chukwudi Obite, Shuang Zhou, Shiwei Lan,
• Abstract要約: ディープニューラルネットワークによって動機付けられたディープガウス過程(DGP)は、GPの複数の層を積み重ねることで標準GPを一般化する。 Q-指数過程 (Q-EP) はGPへの$L_q$緩和として提案され、より望ましい正規化特性を持つことを示した。 本稿では,Q-EPを深いQ-EPに一般化し,適切な正規化と表現性の向上を両立させる。
• 参考スコア（独自算出の注目度）: 2.9293915193120155
• License:
• Abstract: Motivated by deep neural networks, the deep Gaussian process (DGP) generalizes the standard GP by stacking multiple layers of GPs. Despite the enhanced expressiveness, GP, as an $L_2$ regularization prior, tends to be over-smooth and sub-optimal for inhomogeneous subjects, such as images with edges. Recently, Q-exponential process (Q-EP) has been proposed as an $L_q$ relaxation to GP and demonstrated with more desirable regularization properties through a parameter $q>0$ with $q=2$ corresponding to GP. Sharing the similar tractability of posterior and predictive distributions with GP, Q-EP can also be stacked to improve its modeling flexibility. In this paper, we generalize Q-EP to deep Q-EP to enjoy both proper regularization and improved expressiveness. The generalization is realized by introducing shallow Q-EP as a latent variable model and then building a hierarchy of the shallow Q-EP layers. Sparse approximation by inducing points and scalable variational strategy are applied to facilitate the inference. We demonstrate the numerical advantages of the proposed deep Q-EP model by comparing with multiple state-of-the-art deep probabilistic models.
• Abstract（参考訳）: ディープニューラルネットワークによって動機付けられたディープガウス過程(DGP)は、GPの複数の層を積み重ねることで標準GPを一般化する。 表現性の向上にもかかわらず、GPは前回の$L_2$正規化と同様に、エッジを持つ画像のような不均一な対象に対して過度に滑らかで準最適である傾向にある。 近年、Q-指数過程(Q-EP)は、GPに対する$L_q$緩和として提案され、GPに対応する$q=2$のパラメータ$q>0$でより望ましい正規化特性を持つことを示した。 GPで後部および予測分布の類似のトラクタビリティを共有できるため、Q-EPはモデリングの柔軟性を向上させるために積み重ねることもできる。 本稿では,Q-EPを深いQ-EPに一般化し,適切な正規化と表現性の向上を両立させる。 この一般化は、潜伏変数モデルとして浅いQ-EPを導入し、浅いQ-EP層の階層を構築することによって実現される。 点の誘導によるスパース近似とスケーラブルな変分戦略を適用して推論を容易にする。 提案した深部Q-EPモデルの数値的利点を,複数の最先端の深部確率モデルと比較することによって示す。

関連論文リスト

• Deep Transformed Gaussian Processes [0.0]
  変換ガウス過程(英: Transformed Gaussian Processs、TGP)は、可逆変換を用いて、前者のプロセス(典型的にはGP)からサンプルを共分散から変換することによって定義される過程である。 本稿では,プロセスの階層化の傾向に従い,DTGP(Deep Transformed Gaussian Processs)と呼ばれるTGPの一般化を提案する。 実験では、提案したDTGPを複数の回帰データセットで評価し、優れたスケーラビリティと性能を実現した。
  論文  参考訳（メタデータ） (2023-10-27T16:09:39Z)
• Thin and Deep Gaussian Processes [43.22976185646409]
  本研究は,ThinとDeep GP(TDGP)の両アプローチの新しい合成法を提案する。 また,TDGPが入力データ中の低次元多様体を特異的に検出するように調整されていること,TDGPが層数を増やすとうまく振る舞うこと,TDGPが標準ベンチマークデータセットで良好に動作すること,などを理論的および実験的に示す。
  論文  参考訳（メタデータ） (2023-10-17T18:50:24Z)
• Rethinking Model Selection and Decoding for Keyphrase Generation with Pre-trained Sequence-to-Sequence Models [76.52997424694767]
  キーフレーズ生成(英: Keyphrase Generation, KPG)は、NLPにおける長年の課題である。 Seq2seq 事前訓練言語モデル (PLM) は KPG に転換期を迎え、有望な性能改善をもたらした。 本稿では, PLM に基づく KPG におけるモデル選択と復号化戦略の影響について, 系統解析を行った。
  論文  参考訳（メタデータ） (2023-10-10T07:34:45Z)
• Interactive Segmentation as Gaussian Process Classification [58.44673380545409]
  クリックベースのインタラクティブセグメンテーション(IS)は、ユーザインタラクション下で対象オブジェクトを抽出することを目的としている。 現在のディープラーニング(DL)ベースの手法のほとんどは、主にセマンティックセグメンテーションの一般的なパイプラインに従っている。 本稿では,各画像上でガウス過程(GP)に基づく画素単位のバイナリ分類モデルとしてISタスクを定式化することを提案する。
  論文  参考訳（メタデータ） (2023-02-28T14:01:01Z)
• Deep Variational Implicit Processes [0.0]
  入射過程(IPs)はガウス過程(GPs)の一般化である 本稿では,DVIP(Deep Variational Implicit Process)と呼ばれるIPの多層一般化を提案する。
  論文  参考訳（メタデータ） (2022-06-14T10:04:41Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)
• Scaling Gaussian Process Optimization by Evaluating a Few Unique Candidates Multiple Times [119.41129787351092]
  GPに基づく逐次ブラックボックス最適化は,複数の評価ステップの候補解に固執することで効率よく行うことができることを示す。 GP-UCB と GP-EI の2つのよく確立されたGP-Opt アルゴリズムを改良し,バッチ化された GP-Opt の規則を適応させる。
  論文  参考訳（メタデータ） (2022-01-30T20:42:14Z)
• Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
  乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。 NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2021-10-26T10:45:25Z)
• Incremental Ensemble Gaussian Processes [53.3291389385672]
  本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。 各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。 新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
  論文  参考訳（メタデータ） (2021-10-13T15:11:25Z)
• Convolutional Normalizing Flows for Deep Gaussian Processes [40.10797051603641]
  本稿では、柔軟で任意に複雑でスケーラブルな後方分布を特定するための新しいアプローチを提案する。 新しい畳み込み正規化フロー(CNF)が開発され、時間効率を改善し、層間の依存性を捉える。 経験的評価は、CNF DGPがDGPの最先端近似法より優れていることを示している。
  論文  参考訳（メタデータ） (2021-04-17T07:25:25Z)
• Conditional Deep Gaussian Processes: multi-fidelity kernel learning [6.599344783327053]
  固定された低忠実度データにより遅延GPを直接支持する条件付きDGPモデルを提案する。 合成および高次元データを用いた実験は、他の多次元回帰法と同等の性能を示す。 低忠実度データと階層DGP構造により、実効カーネルは真関数の帰納バイアスを符号化する。
  論文  参考訳（メタデータ） (2020-02-07T14:56:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。