論文の概要: Shared Is Not Enough: Predictor Width and Factor Readability Under Masked Latent Prediction

• arxiv url: http://arxiv.org/abs/2610.32562v1
• Date: Fri, 23 Oct 2026 12:44:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.516371
• Title: Shared Is Not Enough: Predictor Width and Factor Readability Under Masked Latent Prediction
• Title（参考訳）: 予測の幅と因子の可読性 : マスク付き潜伏予測の場合
• Abstract要約: I-JEPAのようなマスク付き潜伏予測手法は予測可能な特徴を学習することを目的としているが、どの情報を保持するかは明確ではない。 画像の背後にあるすべての因子がわかっているシミュレータを構築したので、プローブはトレーニング後の各因子の可読性を測定することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Masked latent prediction methods such as I-JEPA aim to learn predictable features, but what determines which information they retain is less clear. We built a simulator in which every factor behind an image is known, so a probe can measure how readable each factor remains after training. We trained small encoders (0.7M parameters) with I-JEPA, SimCLR and BYOL on the same pairs of views and probed a factor that both views share. I-JEPA had a predictor with half the encoder's width and depth, the proportions it uses for ViT-B. Its median score was about 40% of SimCLR's. Widening the predictor to the encoder's width reversed this ordering at every training seed, against both other methods. We release the simulator and the trained models.
• Abstract（参考訳）: I-JEPAのようなマスク付き潜伏予測手法は予測可能な特徴を学習することを目的としているが、どの情報を保持するかは明確ではない。 画像の背後にあるすべての因子がわかっているシミュレータを構築したので、プローブはトレーニング後の各因子の可読性を測定することができる。 我々は、同じビューでI-JEPA、SimCLR、BYOLで小さなエンコーダ(0.7Mパラメータ)をトレーニングし、両方のビューが共有する要因を調査した。 I-JEPAはエンコーダの幅と深さの半分の予測器を備えており、その比率はViT-Bに比例している。 中央値はSimCLRの約40%であった。 予測器をエンコーダの幅に拡大すると、この順序はトレーニングシード毎に逆転し、他の2つの方法に反する。 シミュレータとトレーニングされたモデルをリリースします。

関連論文リスト

• Capability Scaling-Down Laws for LLM Compression [57.14348517864116]
  我々は, LLM圧縮のスケールダウン法則を, 刈り込み, 定量化, 蒸留にまたがって検討した。 我々のフレームワークは、数学、コード生成、質問応答における能力損失を測定する。 我々は単純な予測関係を構築し、その精度、測定効率、および未知の構成やモデル状態への一般化を評価する。
  論文  参考訳（メタデータ） (2026-10-01T20:35:12Z)
• Representation Risk in Pretrained Image Encoders [0.0]
  提案手法では, 有意な事前学習エンコーダが同一画像を異なる特徴空間にマッピングし, 予測性能から顕著に異なるアウト・オブ・サンプルの結論が得られることを示す。 住宅価格,競走馬のパフォーマンス,乳がん組織学,胸部X線写真,連続顔面年齢,イネ病などを含む10種類の近代的,遺産の冷凍エンコーダを比較した。
  論文  参考訳（メタデータ） (2026-09-28T15:53:26Z)
• LeVJEPA: Efficient & Scalable Video Pretraining without the Heuristics [50.45297537821907]
  我々はLeJEPAの崩壊のない目的の下で訓練された最初のビデオエンコーダLeVJEPAを紹介する。 単一のエンコーダは、クリップのグローバルおよびローカルビューよりも分散損失で訓練される。 LeVJEPAはV-JEPA 2とVT-S/B/Lの5.6から20.8倍の速さで一致または超える。
  論文  参考訳（メタデータ） (2026-08-27T17:26:24Z)
• Asleep at the Wheel: JEPA's Limitations in Evaluating Novel Driving Data [0.0]
  本稿では、自己監督型共同埋め込み予測アーキテクチャ(JEPA)の予測エラー「ノベルティ」により、クリップをスコアするラベルフリーなアプローチを提案する。 単一のデータセットから得られた公正なベンチマークでは、このメカニズムは偶然に崩壊し、単純なトレーニングなしのベースラインと同等です。 本稿では,自己教師付き学習の有効性を評価するための研究として,クロスデータセットプロトコルが新規性よりもドメイン分離に静かに報いることを示す。
  論文  参考訳（メタデータ） (2026-08-02T15:57:40Z)
• How JEPA Avoids Noisy Features: The Implicit Bias of Deep Linear Self Distillation Networks [14.338754598043968]
  データ表現の自己教師型学習には2つの競合パラダイムが存在する。 JEPA(Joint Embedding Predictive Architecture)は、意味的に類似した入力が互いに予測可能な表現に符号化されるアーキテクチャのクラスである。
  論文  参考訳（メタデータ） (2024-07-03T19:43:12Z)
• ProbVLM: Probabilistic Adapter for Frozen Vision-Language Models [69.50316788263433]
  本稿では,事前学習された視覚言語モデルの埋め込みに対する確率分布を推定する確率的アダプタProbVLMを提案する。 本稿では,検索タスクにおける不確実性埋め込みのキャリブレーションを定量化し,ProbVLMが他の手法よりも優れていることを示す。 本稿では,大規模な事前学習型潜伏拡散モデルを用いて,埋め込み分布を可視化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-07-01T18:16:06Z)
• It Takes Two: Masked Appearance-Motion Modeling for Self-supervised Video Transformer Pre-training [76.69480467101143]
  自己監督型ビデオトランスフォーマーの事前トレーニングは、最近マスク・アンド・予測パイプラインの恩恵を受けている。 本稿では,映像中の動きの手がかりを余分な予測対象として明示的に調査し,マスケッド・出現運動モデリングフレームワークを提案する。 一般的なビデオ表現を学習し、Kinects-400で82.3%、Something V2で71.3%、UCF101で91.5%、HMDB51で62.5%を達成する。
  論文  参考訳（メタデータ） (2022-10-11T08:05:18Z)
• Towards Semi-Supervised Deep Facial Expression Recognition with An Adaptive Confidence Margin [92.76372026435858]
  Ada-CM(Adaptive Confidence Margin)を学習し、ラベルのないすべてのデータを半教師付き深層表情認識に活用する。 すべてのラベルなしサンプルは、信頼スコアと適応的に学習された信頼マージンを比較して、2つのサブセットに分割される。 提案手法は最先端の性能,特に半教師付きベースラインを超越した性能を実現する。
  論文  参考訳（メタデータ） (2022-03-23T11:43:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。