論文の概要: SiamJEPA: On the Role of Siamese Student Encoders in JEPA

• arxiv url: http://arxiv.org/abs/2607.04044v1
• Date: Sat, 04 Jul 2026 22:09:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.805391
• Title: SiamJEPA: On the Role of Siamese Student Encoders in JEPA
• Title（参考訳）: SiamJEPA:JEPAにおけるシームズ学生エンコーダの役割について
• Authors: Makoto Yamada,
• Abstract要約: JEPA(Joint Embedding Predictive Architectures)は、コンピュータビジョンと機械学習コミュニティに大きな注目を集めている。 本稿では,JEPAに基づく表現学習におけるシームズ学生エンコーダの効果について検討する。
• 参考スコア（独自算出の注目度）: 18.27196608561692
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, Joint Embedding Predictive Architectures (JEPAs) have attracted significant attention in the computer vision and machine learning communities as a promising framework for self-supervised representation learning. Unlike masked autoencoders that reconstruct pixels, JEPA models learn representations by predicting latent embeddings of masked regions. Existing JEPA-based methods, such as I-JEPA and V-JEPA, typically employ a single encoder in the student network. In contrast, using Siamese encoders for student network is more naturally aligned with brain-inspired representation learning frameworks, yet their role in JEPA models remains largely unexplored. In this paper, we investigate the effect of Siamese student encoders in JEPA-based representation learning. To this end, we propose SiamJEPA, masked Siamese student encoders equipped with an exponential moving average (EMA) teacher network. SiamJEPA can also be viewed as a JEPA formulation of the brain-inspired representation learning model PhiNet. Through extensive experiments on ImageNet linear probing, we demonstrate that Siamese encoders act as an effective regularizer for the JEPA objective, improving representation separability and accelerating learning during the early stages of training. Furthermore, SiamJEPA consistently outperforms comparable single-encoder JEPA variants under limited training budgets and achieves higher linear probing accuracy than Masked Autoencoders (MAE) which requires longer training. Our findings reveal that Siamese student encoders are not merely an architectural choice but constitute an important inductive bias for predictive representation learning. These results provide new insights into the design of JEPA-based models and suggest that incorporating Siamese student architectures offers a simple yet effective approach for improving self-supervised representation learning.
• Abstract（参考訳）: 近年,JEPA(Joint Embedding Predictive Architectures)は,自己教師型表現学習のためのフレームワークとして,コンピュータビジョンと機械学習コミュニティに大きな注目を集めている。 ピクセルを再構成するマスク付きオートエンコーダとは異なり、JEPAモデルはマスクされた領域の潜伏埋め込みを予測することによって表現を学習する。 I-JEPAやV-JEPAといった既存のJEPAベースの手法では、学生ネットワークに単一エンコーダを用いるのが一般的である。 対照的に、学生ネットワークにおけるシームズエンコーダの使用は、脳にインスパイアされた表現学習フレームワークと自然に一致しているが、JEPAモデルにおける彼らの役割はほとんど解明されていない。 本稿では,JEPAに基づく表現学習におけるシームズ学生エンコーダの効果について検討する。 そこで我々は,指数移動平均(EMA)教師ネットワークを備えたシームズ学生エンコーダSiamJEPAを提案する。 SiamJEPAは、脳にインスパイアされた表現学習モデルPhiNetのJEPAの定式化とも見ることができる。 ImageNetの線形探索実験を通じて, シームズエンコーダがJEPA目標の効果的な正則化として機能し, 表現分離性を向上し, 訓練の初期段階における学習の促進を図っている。 さらに、SiamJEPAはトレーニング予算の制限の下で同等のシングルエンコーダJEPAを一貫して上回り、より長いトレーニングを必要とするMasked Autoencoder(MAE)よりも高い線形探索精度を達成する。 この結果から,シームズ学生エンコーダは単なる建築的選択ではなく,予測表現学習において重要な帰納的バイアスとなることが明らかとなった。 これらの結果はJEPAベースのモデルの設計に新たな洞察を与え、シムズ学生アーキテクチャを取り入れることで、自己指導型表現学習を改善するためのシンプルで効果的なアプローチが提供されることを示唆している。

関連論文リスト

• LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics [53.247652209132376]
  JEPA(Joint-Embedding Predictive Architectures)は、有望な青写真を提供するが、実践的なガイダンスや理論の欠如がアドホックな研究開発につながっている。 我々はJEPAの包括的な理論を示し、それをbf LeJEPAでインスタンス化する。
  論文  参考訳（メタデータ） (2025-11-11T18:21:55Z)
• JEPA for RL: Investigating Joint-Embedding Predictive Architectures for Reinforcement Learning [4.862490782515929]
  画像からの学習を補強するために,統合埋め込み予測アーキテクチャをどのように適応させるかを示す。 モデル崩壊を議論し、それを防ぐ方法を示し、古典的なカートポールタスクの例示データを提供する。
  論文  参考訳（メタデータ） (2025-04-23T10:16:12Z)
• SparseJEPA: Sparse Representation Learning of Joint Embedding Predictive Architectures [0.46040036610482665]
  JEPA(Joint Embedding Predictive Architectures)は、汎用的な表現を学ぶための強力なフレームワークとして登場した。 本稿では,スパース表現学習をJEPAフレームワークに統合し,学習表現の質を高める拡張であるSparseJEPAを提案する。
  論文  参考訳（メタデータ） (2025-04-22T02:43:00Z)
• Enhancing JEPAs with Spatial Conditioning: Robust and Efficient Representation Learning [7.083341587100975]
  Image-based Joint-Embedding Predictive Architecture (IJEPA)は、Masked Autoencoder (MAE)に代わる魅力的な代替手段を提供する。 IJEPAは表現を駆動し、入力空間ではなく潜在領域で予測することで有用な意味情報をキャプチャする。 我々の"条件付き"エンコーダは、いくつかの画像分類ベンチマークデータセットのパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2024-10-14T17:46:24Z)
• Joint-Embedding Predictive Architecture for Self-Supervised Learning of Mask Classification Architecture [5.872289712903129]
  マスク分類アーキテクチャ(MCA)に適した自己教師型学習フレームワークであるMask-JEPAを紹介する。 Mask-JEPAは、統合埋め込み予測アーキテクチャとMCAを組み合わせることで、複雑なセマンティクスと正確なオブジェクト境界を正確にキャプチャする。 提案手法は,1) 画素デコーダから普遍的画像分割のための包括的表現を抽出し,2) 変換器デコーダを効果的に訓練する,自己教師型学習における2つの重要な課題に対処する。
  論文  参考訳（メタデータ） (2024-07-15T14:01:03Z)
• How JEPA Avoids Noisy Features: The Implicit Bias of Deep Linear Self Distillation Networks [14.338754598043968]
  データ表現の自己教師型学習には2つの競合パラダイムが存在する。 JEPA(Joint Embedding Predictive Architecture)は、意味的に類似した入力が互いに予測可能な表現に符号化されるアーキテクチャのクラスである。
  論文  参考訳（メタデータ） (2024-07-03T19:43:12Z)
• Understanding Masked Autoencoders From a Local Contrastive Perspective [80.57196495601826]
  Masked AutoEncoder (MAE)は、シンプルだが効果的なマスキングと再構築戦略によって、自己指導型学習の分野に革命をもたらした。 そこで我々は,MaEの再構成的側面とコントラスト的側面の両方を解析するために,ローカルコントラストMAEと呼ばれる新しい経験的枠組みを導入する。
  論文  参考訳（メタデータ） (2023-10-03T12:08:15Z)
• Exploring The Role of Mean Teachers in Self-supervised Masked Auto-Encoders [64.03000385267339]
  マスク付き画像モデリング(MIM)は視覚変換器を用いた視覚表現の自己教師型学習(SSL)の一般的な戦略となっている。 簡単なSSL方式であるRC-MAE(Restruction-Consistent Masked Auto-Encoder)を提案する。 RC-MAEは、事前学習中に最先端の自己蒸留法よりも早く収束し、メモリ使用量の削減を必要とする。
  論文  参考訳（メタデータ） (2022-10-05T08:08:55Z)
• Contrastive Masked Autoencoders are Stronger Vision Learners [114.16568579208216]
  Contrastive Masked Autoencoders (CMAE)は、より包括的で有能な視覚表現を学習するための、自己指導型事前学習手法である。 CMAEは、画像分類、セマンティックセグメンテーション、オブジェクト検出の高度に競争力のあるベンチマークにおいて、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-07-27T14:04:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。