論文の概要: Does Mapping Non-Maximal Probabilities to GMM Components Matter for S-JEPA Encoder Representations?
- arxiv url: http://arxiv.org/abs/2608.19084v1
- Date: Wed, 19 Aug 2026 16:32:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.462395
- Title: Does Mapping Non-Maximal Probabilities to GMM Components Matter for S-JEPA Encoder Representations?
- Title（参考訳）: S-JEPAエンコーダ表現におけるGMM成分への非最大確率のマッピングは可能か?
- Authors: Wenxuan He, Yunpeng Li, Shan Liang,
- Abstract要約: S-JEPAは硬いクラスタラベルの代わりに軟ガウス混合モデル(GMM)の後部モデルを用いて不確実性を保っている。
確率値だけで十分かどうか、GMM成分が最大でない確率を受け取るかどうかについても、まだ不明である。
これらの結果は,ソフトターゲットの数値的確率構造が学習された表現を完全に決定できないことを示している。
- 参考スコア（独自算出の注目度）: 4.800699479159071
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: S-JEPA uses soft Gaussian mixture model (GMM) posteriors instead of hard cluster labels to preserve uncertainty. It remains unclear whether the probability values alone are sufficient, or whether it also matters which GMM components receive the non-maximal probabilities. We test this with two matched controls. FIXED-RANDPERM keeps the top-1 component and probability together with the multiset of non-maximal probability values, but reassigns those non-maximal values using a mapping fixed for each physical frame. UNIFORM-TAIL keeps the top-1 component, its probability, and total non-maximal mass but distributes that mass uniformly. Across three independent seeds, REAL SOFT outperforms both controls on two frozen Encoder readouts. It provides better recovery of the original GMM tail and greater accessibility of spectral dynamics over short time scales after controlling for the complete spectrum of the current frame. In two exposure experiments, both readouts improved overall as more frames retained the original mapping. We also descriptively follow one Phase 2 trajectory after the switch to the online GMM. These results show that the numerical probability structure of the soft target does not fully determine the learned Encoder representation. The mapping of non-maximal probabilities to GMM components also matters.
- Abstract（参考訳）: S-JEPAは硬いクラスタラベルの代わりに軟ガウス混合モデル(GMM)の後部モデルを用いて不確実性を保っている。
確率値だけで十分かどうか、GMM成分が最大でない確率を受け取るかどうかについても、まだ不明である。
これを2つの整合制御でテストします。
FIXED-RANDPERMは、トップ1成分と確率を、最大でない確率値の多重集合と共に保持するが、各物理フレームに固定された写像を用いて、これらの非最大値を再割り当てする。
UNIFORM-TAILはトップ1成分、その確率、全非最大質量を保持するが、その質量は均一に分配する。
3つの独立した種の中で、REAL SOFTは2つの凍結したエンコーダの読み出しにおいて2つの制御を上回ります。
これは、現在のフレームの完全なスペクトルを制御した後、オリジナルのGMMテールの回復と、短い時間スケールでのスペクトルダイナミクスのアクセシビリティの向上を提供する。
2つの露光実験において、両方の読み出しは元のマッピングを維持したフレームが増えるにつれて全体として改善された。
また,オンラインGMMへの切り替え後,第2相の軌跡を記述的に追従する。
これらの結果は,ソフトターゲットの数値確率構造が学習エンコーダ表現を完全に決定できないことを示している。
非最大確率のGMM成分への写像も重要である。
関連論文リスト
- S$^3$AM: A Single-Stream SAM with Reliability-Calibrated Frequency Adapter for Multi-modal Salient Object Detection [74.15663758681849]
シングルストリームフレームワークは、信頼性キャリブレーションされた周波数適応をMSOD用のSAMバックボーンに組み込む。
RGB-D、RGB-T、RGB-NIRの正当性オブジェクト検出ベンチマークの実験により、提案フレームワークが競合性能を達成することを確認した。
論文 参考訳（メタデータ） (2026-08-18T08:05:00Z) - Stable Global Weighting of Flow Mixtures using Simplex Exponential Moving Average [0.8224695424591678]
emphAMFmbox-VImbox-sEMAは、Emphstableのグローバルな重み付け機構を備えた2段階のフレームワークである。
従来のemphAMFmbox-VIよりも一貫したNLLの改善を実現し、単一フローベースラインの破滅的な輸送障害を回避する。
論文 参考訳（メタデータ） (2026-07-04T10:31:10Z) - Gaussian Mixture Attention: Linear-Time Sequence Mixing via Probabilistic Latent Routing [0.0]
GMAは、明示的なペアワイズクエリ-キー比較を$K$学習したガウス混合コンポーネントによるルーティングに置き換える。
我々は、GMAの双方向および因果変異を定式化し、ガウス混合成分のエンドツーエンドの微分可能なパラメータ化を提供する。
我々は、その責任変調構造、制約付き非負の低ランク親和性解釈、局所的なルーティング安定性を解析する。
論文 参考訳（メタデータ） (2026-06-09T23:35:17Z) - LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。
本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。
その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
論文 参考訳（メタデータ） (2026-06-03T06:07:33Z) - DeRegiME: Deep Regime Mixtures for Probabilistic Forecasting under Distribution Shift [10.952188121974613]
DeRegiMEは、直接マルチホライズン確率予測器である。
潜伏した不確実性体制と根底にある信号とを分離する。
各予測位置を学習された繰り返しレジームに割り当てる。
論文 参考訳（メタデータ） (2026-05-19T01:04:21Z) - Fast Model Selection and Stable Optimization for Softmax-Gated Multinomial-Logistic Mixture of Experts Models [40.216463162163976]
我々は,ソフトマックスゲート型マルチミリ波観測用MoEのバッチ最小化最適化アルゴリズムを開発した。
また,条件密度推定とパラメータ回復のための有限サンプル率も証明した。
生物学的タンパク質-タンパク質相互作用予測実験は、完全なパイプラインを検証する。
論文 参考訳（メタデータ） (2026-02-08T14:45:41Z) - Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
生成のための教師なし共形推論フレームワークを提案する。
我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。
その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
論文 参考訳（メタデータ） (2025-09-26T23:40:47Z) - Benchmarking Multi-modal Semantic Segmentation under Sensor Failures: Missing and Noisy Modality Robustness [61.87055159919641]
マルチモーダルセマンティックセグメンテーション(MMSS)は、モーダル間で補完情報を統合することで、単一モーダルデータの制限に対処する。
顕著な進歩にもかかわらず、マルチモーダルデータ品質の変動と不確実性により、研究と実世界の展開の間に大きなギャップが持続する。
Intire-Missing Modality (EMM)、Random-Missing Modality (RMM)、Noisy Modality (NM)の3つのシナリオでMMSSモデルを評価する頑健性ベンチマークを導入する。
論文 参考訳（メタデータ） (2025-03-24T08:46:52Z) - A new perspective on probabilistic image modeling [92.89846887298852]
本稿では,密度推定,サンプリング,トラクタブル推論が可能な画像モデリングのための新しい確率論的手法を提案する。
DCGMMは、CNNのように、ランダムな初期条件からSGDによってエンドツーエンドに訓練することができる。
本研究は,近年のPCおよびSPNモデルと,推論,分類,サンプリングの観点から比較した。
論文 参考訳（メタデータ） (2022-03-21T14:53:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。