論文の概要: A Theoretical Framework for Masked Pretraining (MPT)

• arxiv url: http://arxiv.org/abs/2609.06460v1
• Date: Sun, 06 Sep 2026 08:09:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.252566
• Title: A Theoretical Framework for Masked Pretraining (MPT)
• Title（参考訳）: Masked Pretraining(MPT)の理論的枠組み
• Abstract要約: 再構成事前訓練タスクに基づく仮設事前訓練(MPT)が,有望な自己指導型学習パラダイムへと発展した。 本稿では,MPTを解析し,意味のある表現を抽出する上でのマスキングの重要性を理解するための新たな理論的枠組みを提案する。 我々はMPTの下流性能を向上させる新しいマスキング戦略を提案し、マスキング戦略の現在の改善について説明する。
• 参考スコア（独自算出の注目度）: 36.10684413239154
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, Masked Pretraining (MPT) based on reconstruction pretraining tasks has risen to a promising self-supervised learning paradigm across various domains and achieves remarkable performance in multiple downstream tasks. However, the theoretical understanding of the working mechanism behind MPT is still limited. In this paper, we introduce a new theoretical framework to analyze MPT and understand the crucial role of masking in extracting meaningful representations. We establish theoretical connections between MPT and another popular self-supervised paradigm: contrastive learning. We prove that the masking technique implicitly creates positive pairs that are semantically similar and the reconstruction loss pulls them together in the feature space. Besides, as a result of the implicit alignment, we point out the dimensional collapse issue of MPT and propose a Uniformity-enhanced MPT (U-MPT) loss that can effectively address this issue and bring significant improvements in downstream tasks including linear evaluation, cross-dataset fine-tuning and out-of-distribution generalization on real-world data sets. Furthermore, we establish downstream guarantees of U-MPT and theoretically analyze the influence of masking strategies. Based on the theoretical analysis, we propose a new masking strategy which enhances the downstream performance of MPT and explains current improvements of masking strategies with our theoretical perspective.
• Abstract（参考訳）: 近年,再構成事前学習タスクに基づくMasked Pretraining (MPT) が,様々な領域にわたる有望な自己教師型学習パラダイムへと発展し,複数の下流タスクにおいて顕著なパフォーマンスを実現している。 しかし、MPTの背後にある作用機構の理論的理解はまだ限られている。 本稿では,MPTを解析し,意味のある表現を抽出する上でのマスキングの重要性を理解するための新たな理論的枠組みを提案する。 我々は,MPTと他の一般的な自己指導パラダイム,コントラスト学習の理論的関係を確立する。 マスキング手法が意味論的に類似した正のペアを暗黙的に生成し、再構成損失が特徴空間でそれらを引き合わせることを証明した。 さらに, 暗黙的なアライメントの結果, MPT の次元的崩壊問題を指摘し, この問題に効果的に対処できる一様MPT(Uniformity-enhanced MPT)損失を提案し, 実世界のデータセット上での線形評価, クロスデータセットの微調整, アウト・オブ・ディストリビューションの一般化など, 下流タスクの大幅な改善をもたらす。 さらに、U-MPTの下流保証を確立し、マスキング戦略の影響を理論的に分析する。 本稿では,MPTのダウンストリーム性能を向上させる新しいマスキング戦略を提案する。

関連論文リスト

• Split the Differences, Pool the Rest: Provably Efficient Multi-Objective Imitation [49.86232017439639]
  マルチ出力拡張行動クローン(MA-BC)について紹介する。 MA-BCは、振る舞いの衝突が観測されない状態-動作ペアをプールしながら、専門家データを分離する。 我々は,MA-BCが極小であることを示す,多目的模倣学習のための新しい下位境界を確立する。
  論文  参考訳（メタデータ） (2026-05-12T11:49:08Z)
• Theoretical Analysis of Measure Consistency Regularization for Partially Observed Data [11.201029351368092]
  MCR(Consistency Regularization)手法は、インプットされたデータと完全に観察されたデータの一貫性を強制する。 本稿では、MCRが部分可観測性の下で、なぜ、いつ、どのように、計算品質を向上するかに関する理論的知見を提供する。 一般化の利点を保った早期停止点を決定するために,双対性ギャップを監視する新しいトレーニングプロトコルを提案する。
  論文  参考訳（メタデータ） (2026-02-01T21:03:42Z)
• Deep Unfolding: Recent Developments, Theory, and Design Guidelines [99.63555420898554]
  この記事では、最適化アルゴリズムを構造化されたトレーニング可能なMLアーキテクチャに変換するフレームワークであるDeep Unfoldingのチュートリアルスタイルの概要を提供する。 推論と学習のための最適化の基礎を概観し、深層展開のための4つの代表的な設計パラダイムを導入し、その反復的な性質から生じる特有なトレーニングスキームについて議論する。
  論文  参考訳（メタデータ） (2025-12-03T13:16:35Z)
• Understanding Fine-tuning in Approximate Unlearning: A Theoretical Perspective [39.958103832214135]
  ファインチューニング(FT)手法は、未学習を近似するための基本的なアプローチの1つとなっている。 本稿では,線形回帰フレームワーク内での機械学習のためのFT法に関する最初の理論的解析を行う。 本稿では,残りのデータセットに基づいて重量分布マップを構築するRBM(Retention-Based Masking)戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-04T18:01:52Z)
• Understanding Masked Autoencoders From a Local Contrastive Perspective [80.57196495601826]
  Masked AutoEncoder (MAE)は、シンプルだが効果的なマスキングと再構築戦略によって、自己指導型学習の分野に革命をもたらした。 そこで我々は,MaEの再構成的側面とコントラスト的側面の両方を解析するために,ローカルコントラストMAEと呼ばれる新しい経験的枠組みを導入する。
  論文  参考訳（メタデータ） (2023-10-03T12:08:15Z)
• Understanding Masked Autoencoders via Hierarchical Latent Variable Models [109.35382136147349]
  Masked Autoencoder (MAE) は近年,様々な視覚タスクにおいて顕著な成功を収めている。 MAEに関する興味深い経験的観察の出現にもかかわらず、理論的に原理化された理解はいまだに欠如している。
  論文  参考訳（メタデータ） (2023-06-08T03:00:10Z)
• Making Linear MDPs Practical via Contrastive Representation Learning [101.75885788118131]
  マルコフ決定過程(MDP)における次元性の呪いに、低ランク表現を利用することで対処することが一般的である。 本稿では,効率的な表現学習を可能にしつつ,正規化を自動的に保証する線形MDPの代替的定義について考察する。 いくつかのベンチマークにおいて、既存の最先端モデルベースおよびモデルフリーアルゴリズムよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-07-14T18:18:02Z)
• Improving Few-Shot Learning through Multi-task Representation Learning Theory [14.8429503385929]
  本稿では,MTR(Multi-task representation)学習の枠組みについて考察する。 MTR理論の最近の進歩は、このフレームワーク内で解析すると、一般的なメタ学習アルゴリズムに新しい洞察を与えることができることを示す。 これは、直近のMSR理論の学習境界を、数発の分類のタスクのために実践する最初の貢献である。
  論文  参考訳（メタデータ） (2020-10-05T13:24:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。