論文の概要: PYPM-GGD: Pitman-Yor Process Mixture with Generalized Gaussian Density using ADAM
- arxiv url: http://arxiv.org/abs/2607.24583v1
- Date: Mon, 27 Jul 2026 15:50:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.485614
- Title: PYPM-GGD: Pitman-Yor Process Mixture with Generalized Gaussian Density using ADAM
- Title（参考訳）: PYPM-GGD:ADAMを用いた一般化ガウス密度とピットマン-Yor過程の混合
- Abstract要約: 大規模ベイズ非パラメトリック(BNP)は、大規模なクラス番号と大規模なトレーニングサイズを持つデータセットを、分別的なコストで処理することができる。
本稿では,非共役後部における大規模学習を可能にするため,最近提案された定常段差勾配上昇に基づく新しい手法を提案する。
提案手法は,MIT67 や SUN397 などの大規模クラス数データセットに適用した場合,ResNet の機能と互換性があることが示されている。
- 参考スコア（独自算出の注目度）: 0.20305676256390928
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large scale Bayesian nonparametrics (BNP) learner such as Stochastic Variational Inference (SVI) can handle datasets with large class number and large training size at fractional cost. Like its predecessor, SVI rely on the assumption of conjugate variational posterior to approximate the true posterior. A more challenging problem is to consider large scale learning on non-conjugate posterior. Recent works in this direction are mostly associated with using Monte Carlo methods for approximating the learner. However, these works are usually demonstrated on non-BNP related task and less complex models such as logistic regression, due to higher computational complexity. In order to overcome the issue faced by SVI, we develop a novel approach based on the recently proposed constant stepsize stochastic gradient ascent to allow large scale learning on non-conjugate posterior. Unlike SVI, our new learner does not require closed- form expression for the variational posterior expectatations. Our only requirement is that the variational posterior is differentiable. In order to ensure convergence in stochastic settings, SVI rely on decaying step-sizes to slow its learning. Inspired by SVI and Adam, we propose the novel use of adaptive stepsizes in our method to significantly improve its learning. We show that our proposed methods is compatible with ResNet features when applied to large class number datasets such as MIT67 and SUN397. Finally, we compare our proposed learner with several recent works such as deep clustering algorithms and showed we were able to produce on-par or outperform the state-of-the-art methods in terms of clustering measures.
- Abstract（参考訳）: Stochastic Variational Inference (SVI) のような大規模ベイズ非パラメトリックス(BNP)学習者は、大きなクラス番号と大きなトレーニングサイズを持つデータセットを、分別的なコストで処理することができる。
前者と同様に、SVIは真の後部を近似するために共役変分後部の仮定に依存する。
より難しい問題は、非共役後部における大規模学習を検討することである。
この方向の最近の研究は、主にモンテカルロ法による学習者の近似に関係している。
しかしながら、これらの研究は通常、非BNP関連のタスクやロジスティック回帰のようなより複雑なモデルで示される。
SVIが直面している問題を克服するため、我々は最近提案された定常段階確率勾配に基づく新しいアプローチを開発し、非共役後部における大規模学習を可能にした。
SVIとは異なり、新しい学習者は変分後述の予測に対してクローズドフォームの表現を必要としない。
我々の唯一の要件は変分後部が微分可能であることである。
確率的セッティングにおける収束を保証するため、SVIは学習を遅くするために減衰するステップサイズに依存している。
SVIとAdamにインスパイアされた本研究では,適応段階の新たな利用法を提案する。
提案手法は,MIT67 や SUN397 などの大規模クラス数データセットに適用した場合,ResNet の機能と互換性があることが示されている。
最後に,提案した学習者と,深層クラスタリングアルゴリズムなどの最近のいくつかの研究を比較し,クラスタリングの手法として最先端の手法を立案し,性能を向上できることを示した。
関連論文リスト
- Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning [57.514786046966265]
textbfPerturb-and-Merge(P&M)は,モデルマージをCLパラダイムに統合し,忘れを緩和する新しい連続学習フレームワークである。
提案手法は,複数の連続学習ベンチマークデータセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2025-05-28T14:14:19Z) - Generalization Guarantees for Representation Learning via Data-Dependent Gaussian Mixture Priors [14.453654853392619]
我々は、表現学習型アルゴリズムの一般化誤差に基づいて、予測内およびテール境界を確立する。
本稿では,データ依存型ガウス混合を同時に学習し,それを正規化器として用いるための体系的アプローチを提案する。
論文 参考訳（メタデータ） (2025-02-21T15:43:31Z) - LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。
モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。
深度スケールアップのための新しい学習方法である textbfLESA を提案する。
論文 参考訳（メタデータ） (2025-02-19T14:58:48Z) - Posterior Approximation using Stochastic Gradient Ascent with Adaptive Stepsize [24.464140786923476]
後続近似により、ディリクレプロセスの混合のような非パラメトリックは、分数的なコストでより大きなデータセットにスケールアップできる。
勾配上昇は機械学習の現代的なアプローチであり、ディープニューラルネットワークのトレーニングに広く利用されている。
本研究では,ディリクレプロセス混合物の後部近似のための高速アルゴリズムとして勾配上昇法について検討する。
論文 参考訳（メタデータ） (2024-12-12T05:33:23Z) - A Bayesian Approach to Data Point Selection [24.98069363998565]
データポイントの選択(DPS)は、ディープラーニングにおいて重要なトピックになりつつある。
既存のDPSへのアプローチは、主にバイレベル最適化(BLO)の定式化に基づいている。
DPSに対する新しいベイズ的アプローチを提案する。
論文 参考訳（メタデータ） (2024-11-06T09:04:13Z) - Variational Learning of Gaussian Process Latent Variable Models through Stochastic Gradient Annealed Importance Sampling [22.256068524699472]
本研究では,これらの問題に対処するために,Annealed Importance Smpling (AIS)アプローチを提案する。
シークエンシャルモンテカルロサンプリング器とVIの強度を組み合わせることで、より広い範囲の後方分布を探索し、徐々にターゲット分布に接近する。
実験結果から,本手法はより厳密な変動境界,高い対数類似度,より堅牢な収束率で最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2024-08-13T08:09:05Z) - PAVI: Plate-Amortized Variational Inference [55.975832957404556]
数百人の被験者のコホート上で何百万もの計測が行われる大集団研究において、推論は困難である。
この大きな濃度は、オフザシェルフ変分推論(VI)を計算的に非現実的である。
本研究では,大集団研究に効率よく取り組む構造VIファミリーを設計する。
論文 参考訳（メタデータ） (2023-08-30T13:22:20Z) - Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。
本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。
MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
論文 参考訳（メタデータ） (2022-10-26T10:12:31Z) - Training Discrete Deep Generative Models via Gapped Straight-Through
Estimator [72.71398034617607]
再サンプリングのオーバーヘッドを伴わずに分散を低減するため, GST (Gapped Straight-Through) 推定器を提案する。
この推定子は、Straight-Through Gumbel-Softmaxの本質的な性質に着想を得たものである。
実験により,提案したGST推定器は,2つの離散的な深部生成モデリングタスクの強いベースラインと比較して,優れた性能を享受できることが示された。
論文 参考訳（メタデータ） (2022-06-15T01:46:05Z) - Generalised Gaussian Process Latent Variable Models (GPLVM) with
Stochastic Variational Inference [9.468270453795409]
ミニバッチ学習が可能なBayesianVMモデルの2倍の定式化について検討する。
このフレームワークが、異なる潜在変数の定式化とどのように互換性を持つかを示し、モデルの組を比較する実験を行う。
我々は、膨大な量の欠落データの存在下でのトレーニングと、高忠実度再構築の実施を実証する。
論文 参考訳（メタデータ） (2022-02-25T21:21:51Z) - Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise
Learning [65.54757265434465]
ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。
オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。
本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
論文 参考訳（メタデータ） (2021-11-23T18:10:48Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。