論文の概要: PEIRA: Learning Predictive Encoders through Inter-View Regressor Alignment

• arxiv url: http://arxiv.org/abs/2605.17671v1
• Date: Sun, 17 May 2026 22:04:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:48.307917
• Title: PEIRA: Learning Predictive Encoders through Inter-View Regressor Alignment
• Title（参考訳）: PEIRA: ビュー間回帰アライメントによる予測エンコーダの学習
• Authors: Michael Arbel, Basile Terver, Jean Ponce,
• Abstract要約: 最適線形回帰器のトレースから明確な目的を持つ非競合型SSL方式PEIRAを紹介する。 安定な平衡は非自明な大域最小化であり、正準相関部分空間を回復し、正則化が有効次元を選択することを示す。
• 参考スコア（独自算出の注目度）: 24.26630053194246
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Non-contrastive self-supervised learning (SSL) is an effective framework for predictive representation learning, but popular (and in practice effective) methods such as SimSiam, BYOL, I-JEPA or DINO, which rely on a form of self-distillation to train a teacher-student network, remain poorly understood as they typically do not minimize a well-defined objective. We analyze the dynamics of a variant of the Joint Embedding Predictive Architecture (JEPA) using a regularized linear regressor to predict the learned representations of two views of the data from one another, and fully characterize its stability: non-collapsed stable equilibria align with leading nonlinear canonical correlation subspaces, while collapsed equilibria may also be stable attractors. Motivated by this result, we introduce PEIRA, a non-contrastive SSL method with an explicit objective defined through the trace of the optimal linear regressor. We show that its only stable equilibria are nontrivial global minimizers and recover the same canonical correlation subspaces, with regularization selecting the effective dimension. Experiments on ImageNet-1K and CIFAR-10 show PEIRA is competitive with VICReg and LeJEPA baselines, and qualitative empirical results support the theory.
• Abstract（参考訳）: 非コントラスト型自己教師型学習(SSL)は、予測表現学習の効果的なフレームワークであるが、SimSiam、BYOL、I-JEPA、DINOといった、教師と学生のネットワークを訓練するための自己蒸留の形式に依存している一般的な(そして実際は有効な)手法は、よく定義された目的を最小化しないため、理解に乏しいままである。 我々は、正規化線形回帰器を用いてJEPA(Joint Embedding Predictive Architecture)の変種を解析し、データの2つのビューの学習された表現を互いに予測し、その安定性を完全に特徴づける。 この結果から,最適線形回帰器のトレースによって定義された明示的な目的を持つ非競合型SSL方式PEIRAを導入する。 安定な平衡は非自明な大域最小化であり、正準相関部分空間を回復し、正則化が有効次元を選択することを示す。 ImageNet-1K と CIFAR-10 の実験では、PEIRA は VICReg と LeJEPA のベースラインと競合しており、定性的な経験的な結果は理論を支持している。

関連論文リスト

• Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration [72.0672328514289]
  マルチモーダル学習は、しばしば低品質データの課題に悩まされる。 コンフォーマル予測自己校正(Conformal Predictive Self-Calibration)と呼ばれる統合フレームワークを提案する。 私たちのフレームワークは、既存の最先端メソッドを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-05-05T14:48:52Z)
• Stabilizing Policy Optimization via Logits Convexity [59.242732612484474]
  モデルロジットに対する教師付き微調整損失の凸性は、安定したトレーニングを可能にする上で重要な役割を担っていることを示す。 そこで本研究では,ロジッツ・コンベックス最適化(Logits Convex Optimization, LCO)を提案する。
  論文  参考訳（メタデータ） (2026-03-01T07:40:12Z)
• Why Some Models Resist Unlearning: A Linear Stability Perspective [7.446140380340418]
  我々は線形コヒーレンス安定性のレンズを通してアンラーニングを行う。 我々は3つの軸に沿ってコヒーレンスを分解する。 データ特性と忘れやすさを更に関連付けるために,信号+雑音モデルの下で2層ReLU CNNについて検討する。 経験的幾何学では、ヘッセンテストとCNNヒートマップが予測境界と密接に一致していることを示し、安定性勾配に基づくアンラーニングを検証、混合、データ/モデルアライメントの関数としてマッピングする。
  論文  参考訳（メタデータ） (2026-02-03T01:47:26Z)
• Not All Preferences Are Created Equal: Stability-Aware and Gradient-Efficient Alignment for Reasoning Models [52.48582333951919]
  ポリシー更新の信号対雑音比を最大化することにより、アライメントの信頼性を高めるために設計された動的フレームワークを提案する。 SAGE(Stability-Aware Gradient Efficiency)は、モデル能力に基づいて候補プールをリフレッシュする粗いきめ細かいカリキュラムメカニズムを統合する。 複数の数学的推論ベンチマークの実験により、SAGEは収束を著しく加速し、静的ベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-02-01T12:56:10Z)
• LILAD: Learning In-context Lyapunov-stable Adaptive Dynamics Models [4.66260462241022]
  LILADは、安定性と適応性を共同で保証する、システム識別のための新しいフレームワークである。 我々は、LILADをベンチマーク自律システム上で評価し、適応性、堅牢性、非適応性のベースラインを予測精度で上回ることを示す。
  論文  参考訳（メタデータ） (2025-11-26T19:20:49Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Regularizing with Pseudo-Negatives for Continual Self-Supervised Learning [62.40718385934608]
  効果的な継続型自己教師型学習(CSSL)のためのPNR(Pseudo-Negative Regularization)フレームワークを提案する。 我々のPNRは,新たに学習した表現が過去の学習と矛盾しないように,モデルに基づく拡張によって得られた擬陰性情報を活用する。
  論文  参考訳（メタデータ） (2023-06-08T10:59:35Z)
• Single-Trajectory Distributionally Robust Reinforcement Learning [21.955807398493334]
  本研究では,分散ロバストRL (DRRL) を提案する。 既存のDRRLアルゴリズムはモデルベースか、1つのサンプル軌道から学習できないかのいずれかである。 単一軌道を用いた分散ロバストQ-ラーニング(DRQ)と呼ばれる,完全モデルフリーなDRRLアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-01-27T14:08:09Z)
• How robust are pre-trained models to distribution shift? [82.08946007821184]
  自己教師付き学習(SSL)と自己エンコーダベースモデル(AE)の相互関係が相互関係に与える影響を示す。 本研究では, 線形ヘッドの潜在バイアスから事前学習したモデルの性能を分離するために, アウト・オブ・ディストリビューション(OOD)データに基づいて訓練された線形ヘッドを用いた新しい評価手法を開発した。
  論文  参考訳（メタデータ） (2022-06-17T16:18:28Z)
• Semi-Supervised Empirical Risk Minimization: Using unlabeled data to improve prediction [4.860671253873579]
  本稿では,経験的リスク最小化(Empirical Risk Minimization,ERM)学習プロセスの半教師付き学習(SSL)変種を設計するためにラベルのないデータを使用する一般的な手法を提案する。 我々は、予測性能の向上におけるSSLアプローチの有効性を分析した。
  論文  参考訳（メタデータ） (2020-09-01T17:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。