Fugu-MT 論文翻訳(概要): Gaussian Joint Embeddings For Self-Supervised Representation Learning

論文の概要: Gaussian Joint Embeddings For Self-Supervised Representation Learning

arxiv url: http://arxiv.org/abs/2603.26799v1
Date: Thu, 26 Mar 2026 00:54:54 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-31 23:18:44.625622
Title: Gaussian Joint Embeddings For Self-Supervised Representation Learning
Title（参考訳）: 自己教師付き表現学習のためのガウス合同埋め込み
Authors: Yongchao Huang,
Abstract要約: 自己パラメトリック表現学習は、しばしば決定論的予測アーキテクチャに頼り、潜在空間におけるコンテキストとターゲットビューを整列させる。生成的関節モデルに基づく確率的代替案を提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Self-supervised representation learning often relies on deterministic predictive architectures to align context and target views in latent space. While effective in many settings, such methods are limited in genuinely multi-modal inverse problems, where squared-loss prediction collapses towards conditional averages, and they frequently depend on architectural asymmetries to prevent representation collapse. In this work, we propose a probabilistic alternative based on generative joint modeling. We introduce Gaussian Joint Embeddings (GJE) and its multi-modal extension, Gaussian Mixture Joint Embeddings (GMJE), which model the joint density of context and target representations and replace black-box prediction with closed-form conditional inference under an explicit probabilistic model. This yields principled uncertainty estimates and a covariance-aware objective for controlling latent geometry. We further identify a failure mode of naive empirical batch optimization, which we term the Mahalanobis Trace Trap, and develop several remedies spanning parametric, adaptive, and non-parametric settings, including prototype-based GMJE, conditional Mixture Density Networks (GMJE-MDN), topology-adaptive Growing Neural Gas (GMJE-GNG), and a Sequential Monte Carlo (SMC) memory bank. In addition, we show that standard contrastive learning can be interpreted as a degenerate non-parametric limiting case of the GMJE framework. Experiments on synthetic multi-modal alignment tasks and vision benchmarks show that GMJE recovers complex conditional structure, learns competitive discriminative representations, and defines latent densities that are better suited to unconditional sampling than deterministic or unimodal baselines.
Abstract（参考訳）: 自己教師付き表現学習は、しばしば決定論的予測アーキテクチャに頼り、潜在空間におけるコンテキストとターゲットビューを整列させる。多くの環境では有効であるが、これらの手法は正方形空間の予測が条件平均に向かって崩壊する真のマルチモーダル逆問題において制限されており、表現の崩壊を防ぐためにしばしばアーキテクチャの対称性に依存する。本研究では,生成的関節モデルに基づく確率論的代替案を提案する。本稿では,GJE(Gaussian Joint Embeddings)とその多モード拡張であるGMJE(Gaussian Mixture Joint Embeddings)を紹介する。これにより、原理化された不確実性推定と、潜在幾何学を制御するための共分散を意識した目的が得られる。さらに,Mahalanobis Trace Trap(マハラノビス・トレース・トラップ)と呼ばれ,プロトタイプベースGMJE,条件混合密度ネットワーク(GMJE-MDN),トポロジ適応成長ニューラルガス(GMJE-GNG),シーケンシャルモンテカルロ(SMC)メモリバンクなど,パラメトリック,適応,非パラメトリック設定にまたがるいくつかの対策を開発した。さらに、標準的なコントラスト学習は、GMJEフレームワークの縮退した非パラメトリック制限ケースとして解釈できることを示す。合成マルチモーダルアライメントタスクとビジョンベンチマークの実験により、GMJEは複雑な条件構造を復元し、競合する識別表現を学習し、決定論的あるいは単調なベースラインよりも無条件サンプリングに適している潜在密度を定義する。

関連論文リスト

Energy Score-Guided Neural Gaussian Mixture Model for Predictive Uncertainty Quantification [11.86700614076245]
予測の不確実性の定量化は、現実世界の機械学習アプリケーションにとって不可欠である。本稿では,予測不確実性を定量化するニューラルエネルギーガウス混合モデル(NE-GMM)を提案する。
論文参考訳（メタデータ） (2026-03-29T12:46:43Z)
GTS: Inference-Time Scaling of Latent Reasoning with a Learnable Gaussian Thought Sampler [54.10960908347221]
我々は、学習可能な密度から条件付きサンプリングとして潜在思考探索をモデル化し、このアイデアをガウス思想サンプリング(GTS)としてインスタンス化する。 GTSは、連続的推論状態における文脈依存摂動分布を予測し、バックボーンを凍結させながらGRPOスタイルのポリシー最適化を訓練する。
論文参考訳（メタデータ） (2026-02-15T09:57:47Z)
Joint Embedding Variational Bayes [0.08594140167290097]
変分ジョイント・エンベディング(VJE)は、関節埋め込みと変分推論を合成するフレームワークである。 VJEは、再構成のない非競合的な環境で確率的表現の自己教師付き学習を可能にする。
論文参考訳（メタデータ） (2026-02-05T13:18:53Z)
SIGMA: Scalable Spectral Insights for LLM Collapse [51.863164847253366]
SIGMA(Spectral Inequalities for Gram Matrix Analysis)は,モデル崩壊のための統一的なフレームワークである。行列のスペクトル上の決定論的境界を導出するベンチマークを利用することで、SIGMAは表現空間の収縮を追跡するために数学的に基底化された計量を提供する。我々は、SIGMAが状態への遷移を効果的に捉え、崩壊のメカニズムに関する理論的知見の両方を提供することを示した。
論文参考訳（メタデータ） (2026-01-06T19:47:11Z)
Causal Inference as Distribution Adaptation: Optimizing ATE Risk under Propensity Uncertainty [0.0]
我々は、分散シフトの下で、ATE推定をテキストドメイン適応問題として再フレーミングする。結果モデルの共同学習を行うためのtextbfJoint Robust Estimator (JRE) を提案する。
論文参考訳（メタデータ） (2025-12-19T21:40:46Z)
Dendrograms of Mixing Measures for Softmax-Gated Gaussian Mixture of Experts: Consistency without Model Sweeps [41.371172458797524]
ゲーティングパラメータの共通翻訳、固有のゲート-エキスパート相互作用、およびタイトな数値-デノミネータ結合までの不特定性に対処する。モデル選択には, 最適なパラメータ率を得る専門家の数を一貫したスイープフリーセレクタとして, デンドログラム誘導SGMoEを適応させる。干ばつを識別できるトウモロコシの形質のデータセット上で、私たちのデンドログラム誘導SGMoEは2人の専門家を選別し、明確な混合階層を公開し、確率を早期に安定化し、解釈可能な遺伝子型フェノタイプマップを生成する。
論文参考訳（メタデータ） (2025-10-14T17:23:44Z)
Robust Optimization with Diffusion Models for Green Security [49.68562792424776]
グリーンセキュリティでは、効果的パトロールを計画するためには、密猟、違法伐採、違法漁などの敵の行動を予測する必要がある。本稿では,その強い分布適合性を利用した逆挙動モデリングのための条件付き拡散モデルを提案する。混合戦略の混合戦略を導入し, 正確なサンプリングを行うために, ツイスト型シークエンシャルモンテカルロ (SMC) サンプリング装置を用いる。
論文参考訳（メタデータ） (2025-02-19T05:30:46Z)
Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems [53.03951222945921]
我々はスムーズな(摂動された)ポリシーを解析し、線形オラクルが使用する方向に対して制御されたランダムな摂動を付加する。我々の主な貢献は、過剰リスクを摂動バイアス、統計的推定誤差、最適化誤差に分解する一般化境界である。車両のスケジューリングやスムーズ化がトラクタブルトレーニングと制御された一般化の両方を可能にしていることを示す。
論文参考訳（メタデータ） (2024-07-24T12:00:30Z)
Convex Parameter Estimation of Perturbed Multivariate Generalized Gaussian Distributions [18.95928707619676]
本稿では,MGGDパラメータの確立された特性を持つ凸定式化を提案する。提案するフレームワークは, 精度行列, 平均, 摂動の様々な正規化を組み合わせ, 柔軟である。実験により, 平均ベクトルパラメータに対して, 同様の性能でより正確な精度と共分散行列推定を行うことができた。
論文参考訳（メタデータ） (2023-12-12T18:08:04Z)
Federated Conformal Predictors for Distributed Uncertainty Quantification [83.50609351513886]
コンフォーマル予測は、機械学習において厳密な不確実性定量化を提供するための一般的なパラダイムとして現れつつある。本稿では,共形予測を連邦学習環境に拡張する。本稿では、FL設定に適した部分交換可能性の弱い概念を提案し、それをフェデレート・コンフォーマル予測フレームワークの開発に利用する。
論文参考訳（メタデータ） (2023-05-27T19:57:27Z)
Autoregressive Score Matching [113.4502004812927]
自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
論文参考訳（メタデータ） (2020-10-24T07:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。