論文の概要: Contrast encodes inductive bias: separating slow noise from dynamics in predictive representation learning
- arxiv url: http://arxiv.org/abs/2606.07770v1
- Date: Fri, 05 Jun 2026 18:28:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-09 14:42:05.385227
- Title: Contrast encodes inductive bias: separating slow noise from dynamics in predictive representation learning
- Title（参考訳）: コントラストは帰納バイアスを符号化する:予測表現学習における低速ノイズと動的ノイズを分離する
- Authors: Paarth Gulati, Ilya Nemenman,
- Abstract要約: 自己監督法は、徐々に変化するノイズと、それらが捉えようとするダイナミックな信号とを混同することが示されている。
システムを管理する真の潜伏変数の代わりに、対照的な予測目的がこれらの特徴を優先的に符号化することを示します。
この結果は,動的表現学習において,対照的な予測目標を設計するための原則をめざすものである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised methods that learn representations and predict dynamics fully in the latent space, such as JEPA, have been shown to confuse slowly varying noise with the dynamical signals they aim to capture. Specifically, when noise features remain approximately constant within each trajectory, contrastive predictive objectives preferentially encode these features instead of the true latent variables governing the system. The learned representation then becomes dominated by trajectory-specific noise, so downstream performance degrades with noise strength and does not improve even as the number and duration of training trajectories increase. We argue that this failure is a property of the objective itself, shared by a long line of contrastive predictive objectives that sample negatives across trajectories. To illustrate this generality, we study the failure mode and its remedy in two settings: a standard SimCLR-style JEPA on a synthetic moving-dot dataset, and DySIB, a recently introduced method designed for extracting physically interpretable representations of dynamics, on movies of a rigid-body pendulum. When negatives are instead sampled within a single trajectory, the slow noise can no longer distinguish frames within that trajectory, removing the predictive shortcut. Training one encoder simultaneously on many such trajectories then forces it to encode the variables relevant for the dynamics, with longer trajectories yielding better representations even for strong slow noise. Our results point toward principles for designing contrastive predictive objectives in dynamical representation learning, especially for physical systems with noisy experimental observations.
- Abstract（参考訳）: 表現を学習し、JEPAのような潜在空間で完全にダイナミクスを予測する自己教師型手法は、ゆっくりと変化するノイズと、それらが捉えようとするダイナミックな信号とを混乱させることが示されている。
具体的には、各軌跡内の雑音の特徴がほぼ一定である場合、対照的な予測目的は、システムを管理する真の潜伏変数の代わりに、これらの特徴を優先的に符号化する。
学習された表現は、トラジェクトリ固有のノイズに支配されるので、下流のパフォーマンスはノイズ強度で劣化し、トレーニングトラジェクトリの数と持続時間が増えても改善されない。
我々は、この失敗は目的自体の特性であり、トラジェクトリ間で負のサンプルをサンプリングする長い対照的な予測対象によって共有されていると論じる。
この一般化を説明するために、我々は、合成移動ドットデータセット上の標準SimCLRスタイルのJEPAと、剛体振り子の映画上で動的に解釈可能な動的表現を抽出するDySIBという2つの設定で障害モードとその対策について検討した。
負が1つの軌道内でサンプリングされる場合、遅いノイズはその軌道内のフレームを区別することができなくなり、予測的ショートカットが取り除かれる。
そのような軌道上で同時に1つのエンコーダを訓練すると、ダイナミックスに関連する変数をエンコードせざるを得なくなる。
本研究は, 動的表現学習における対照的な予測目標を設計するための原理, 特にノイズのある実験観測を行う物理系について考察した。
関連論文リスト
- MotionCFG: Boosting Motion Dynamics via Stochastic Concept Perturbation [60.48914865049489]
MotionCFGは、ターゲットコンセプトとノイズブレーブの概念を対比することにより、モーションダイナミクスを強化するフレームワークである。
明示的な否定とは異なり、このアプローチはグローバルな意味的アイデンティティをシフトすることなく暗黙的な否定的なガイダンスを促進する。
MotionCFGは、最先端のT2Vフレームワーク間のモーションダイナミクスを一貫して改善する。
論文 参考訳（メタデータ） (2026-03-14T18:39:37Z) - Binary Flow Matching: Prediction-Loss Space Alignment for Robust Learning [23.616336786063552]
フローマッチングは、生成モデリングの強力なフレームワークとして登場した。
速度に基づく目的と結合した場合に発生する潜在構造ミスマッチを同定する。
信号空間に対する目的の再調整が特異重み付けを排除していることを示す。
論文 参考訳（メタデータ） (2026-02-11T02:02:30Z) - Dynamical Diffusion: Learning Temporal Dynamics with Diffusion Models [71.63194926457119]
動的拡散(DyDiff, Dynamical Diffusion)は, 時間的に意識された前と逆のプロセスを含む理論的に健全なフレームワークである。
科学的時間的予測、ビデオ予測、時系列予測に関する実験は、動的拡散が時間的予測タスクのパフォーマンスを一貫して改善することを示した。
論文 参考訳（メタデータ） (2025-03-02T16:10:32Z) - Physics-guided Active Sample Reweighting for Urban Flow Prediction [75.24539704456791]
都市フロー予測は、バス、タクシー、ライド駆動モデルといった交通サービスのスループットを見積もる、微妙な時間的モデリングである。
最近の予測解は、物理学誘導機械学習(PGML)の概念による改善をもたらす。
我々は、PN(atized Physics-guided Network)を開発し、P-GASR(Physical-guided Active Sample Reweighting)を提案する。
論文 参考訳（メタデータ） (2024-07-18T15:44:23Z) - Learn to Memorize and to Forget: A Continual Learning Perspective of Dynamic SLAM [17.661231232206028]
暗黙的な神経表現を伴う同時局所化とマッピング(SLAM)が注目されている。
動的環境のための新しいSLAMフレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-18T09:35:48Z) - Trajectory Forecasting through Low-Rank Adaptation of Discrete Latent Codes [36.12653178844828]
トラジェクトリ予測は、一連のエージェントの将来の動きを予測できるため、ビデオ監視分析に不可欠である。
本稿では,離散潜在空間を用いたベクトル量子変分オートエンコーダ(VQ-VAEs)を導入し,後方崩壊問題に対処する。
このような2段階のフレームワークは、インスタンスレベルの離散化によって強化され、正確で多様な予測につながることを示す。
論文 参考訳（メタデータ） (2024-05-31T10:13:17Z) - Impact of Noisy Supervision in Foundation Model Learning [91.56591923244943]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。
雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文 参考訳（メタデータ） (2024-03-11T16:22:41Z) - Time-series Generation by Contrastive Imitation [87.51882102248395]
モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。
推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
論文 参考訳（メタデータ） (2023-11-02T16:45:25Z) - Locality-aware Attention Network with Discriminative Dynamics Learning
for Weakly Supervised Anomaly Detection [0.8883733362171035]
本稿では,2つの目的関数,すなわち動的ランク付け損失と動的アライメント損失の識別的ダイナミクス学習(DDL)手法を提案する。
局所性認識型注意ネットワーク(LA-Net)は,大域的相関を捉え,スニペット間の位置選好を補正するために構築され,その後,因果畳み込みを伴う多層パーセプトロンにより異常スコアを得る。
論文 参考訳（メタデータ） (2022-08-11T04:27:33Z) - Temporal-Spatial Neural Filter: Direction Informed End-to-End
Multi-channel Target Speech Separation [66.46123655365113]
ターゲット音声分離とは、混合信号からターゲット話者の音声を抽出することを指す。
主な課題は、複雑な音響環境とリアルタイム処理の要件である。
複数話者混合から対象音声波形を直接推定する時間空間ニューラルフィルタを提案する。
論文 参考訳（メタデータ） (2020-01-02T11:12:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。