論文の概要: Predictive Self-Supervised Learning Provably Identifies Stochastic Signals under Nuisance

• arxiv url: http://arxiv.org/abs/2609.37789v1
• Date: Tue, 29 Sep 2026 15:20:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.67514
• Title: Predictive Self-Supervised Learning Provably Identifies Stochastic Signals under Nuisance
• Title（参考訳）: 予測的自己教師付き学習は、確率的信号のニュアンス下での同定を確実にする
• Abstract要約: 入力データ自体を生成せずに、潜時空間で予測することでSSLは、非常に抽象的で有用な表現を学ぶ。 我々は、潜在プライベートモデルを動的・観察的に暗黙的にインスタンス化することで、一般的なSSLメソッドが正確にこれを実現できることを証明した。 予測器のシミュレーションでは, 動的, ニュアンスラデン環境においても, 真の信号がアフィンまで回復する。
• 参考スコア（独自算出の注目度）: 8.228889210180268
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning (SSL) by predicting in latent space, without generating the input data itself, learns highly abstract, useful representations. Intuitively, this success is often attributed to its ability to discard nuisance information that is irrelevant to prediction. However, this poses a conundrum: both stochastic variation in a prediction-relevant latent signal and true nuisance make observations partly unpredictable; how could they be distinguished? Surprisingly, we prove that common SSL methods can achieve exactly this, by implicitly instantiating a latent-variable model with stochastic dynamics and observation-private nuisance. We trace their ability to recover the stochastic signal to two complementary principles: Predictive mutual information maximization ensures that representations retain the information needed for prediction, while latent distribution matching constrains how this information is encoded, thereby making the retained signal identifiable. We confirm this identifiability result in simulations for Gaussian predictors, which recover the true signal up to an affine transformation even in dynamic, nuisance-laden environments.
• Abstract（参考訳）: 自己教師付き学習(SSL)は、入力データ自体を生成せずに潜在空間で予測することで、非常に抽象的で有用な表現を学ぶ。 直感的には、この成功はしばしば、予測とは無関係なニュアンス情報を破棄する能力に起因している。 予測関連潜時信号の確率的変動と真のニュアンスの両方が、観測を部分的に予測不能にしている。 意外なことに、確率力学と観測プライベートなニュアンスで潜在変数モデルを暗黙的にインスタンス化することで、一般的なSSLメソッドが正確にこれを実現できることを証明している。 予測的相互情報最大化(Predictive mutual information maximization)は、表現が予測に必要な情報を保持することを保証します。 本研究では, ガウス予測器のシミュレーションにより, 動的, ニュアンスラデン環境においても, 真の信号がアフィン変換まで回復することを示す。

関連論文リスト

• What Makes a Representation Good for Single-Cell Perturbation Prediction? [37.84894703250901]
  PerturbedVAEは、この信号の不均衡を解決するために設計された一般的なフレームワークである。 摂動効果を確実に回復できる条件を特徴付ける識別可能性分析を提供する。 PerturbedVAEは、広く使われている複数の評価設定で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-05-19T04:30:11Z)
• Stochasticity in Tokenisation Improves Robustness [24.37716137082741]
  入力のトークン化の摂動における脆弱性は、決定論的正準トークン化で訓練されたモデルは、敵の攻撃に対して脆弱であることを示している。 近年の研究では、トークン化は摂動に敏感でない内部表現をもたらすことが示唆されている。
  論文  参考訳（メタデータ） (2026-04-17T13:05:46Z)
• Binary Flow Matching: Prediction-Loss Space Alignment for Robust Learning [23.616336786063552]
  フローマッチングは、生成モデリングの強力なフレームワークとして登場した。 速度に基づく目的と結合した場合に発生する潜在構造ミスマッチを同定する。 信号空間に対する目的の再調整が特異重み付けを排除していることを示す。
  論文  参考訳（メタデータ） (2026-02-11T02:02:30Z)
• Probability-Entropy Calibration: An Elastic Indicator for Adaptive Fine-tuning [55.2818264614932]
  RankTunerは確率エントロピーキャリブレーション信号、相対ランクインジケータを導入し、予測分布の下で接地トラストークンのランクと期待ランクを比較する。 逆インジケータはトークン単位の相対尺度として使用され、微調整の目的を再重み付けし、真に未学習のトークンを更新する。
  論文  参考訳（メタデータ） (2026-02-02T07:27:19Z)
• I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data? [76.15163242945813]
  大規模言語モデル (LLM) は、多くの人が知能の形式を示すと結論づけている。 本稿では,潜在離散変数として表現される人間解釈可能な概念に基づいてトークンを生成する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-12T01:21:17Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Propagating Variational Model Uncertainty for Bioacoustic Call Label Smoothing [15.929064190849665]
  ベイズニューラルネットワークが計算した予測不確実性信号を用いて、モデルが訓練している自己学習タスクの学習をガイドすることに焦点を当てる。 コストのかかるモンテカルロサンプリングを選ばず、近似的な隠れ分散をエンドツーエンドに伝播する。 損失計算における不確かさの明示的利用により, 変動モデルにより予測・校正性能が向上したことを示す。
  論文  参考訳（メタデータ） (2022-10-19T13:04:26Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
  ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。 本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
  論文  参考訳（メタデータ） (2020-12-05T17:30:35Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。