論文の概要: From Alignment to Prediction: A Study of Self-Supervised Learning and Predictive Representation Learning

• arxiv url: http://arxiv.org/abs/2604.13518v1
• Date: Wed, 15 Apr 2026 06:04:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-16 20:38:32.405756
• Title: From Alignment to Prediction: A Study of Self-Supervised Learning and Predictive Representation Learning
• Title（参考訳）: アライメントから予測へ:自己指導型学習と予測表現学習の研究
• Authors: Mintu Dutta, Ritesh Vyas, Mohendra Roy,
• Abstract要約: 自己教師型学習の領域における最近の発展について研究する。 我々は予測表現学習(PRL)と呼ばれる新しいカテゴリーを定義する。
• 参考スコア（独自算出の注目度）: 2.102846336724103
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning has emerged as a major technique for the task of learning from unlabeled data, where the current methods mostly revolve around alignment of representations and input recon struction. Although such approaches have demonstrated excellent performance in practice, their scope remains mostly confined to learning from observed data and does not provide much help in terms of a learning structure that is predictive of the data distribution. In this paper, we study some of the recent developments in the realm of self-supervised learning. We define a new category called Predictive Representation Learning (PRL), which revolves around the latent prediction of unobserved components of data based on the observation. We propose a common taxonomy that classifies PRL along with alignment and reconstruction-based learning approaches. Furthermore, we argue that Joint-Embedding Predictive Architecture(JEPA) can be considered as an exemplary member of this new paradigm. We further discuss theoretical perspectives and open challenges, highlighting predictive representation learning as a promising direction for future self-supervised learning research. In this study, we implemented Bootstrap Your Own Latent (BYOL), Masked Autoencoders (MAE), and Image-JEPA (I-JEPA) for comparative analysis. The results indicate that MAE achieves perfect similarity of 1.00, but exhibits relatively weak robustness of 0.55. In contrast, BYOL and I-JEPA attain accuracies of 0.98 and 0.95, with robustness scores of 0.75 and 0.78, respectively.
• Abstract（参考訳）: 自己教師付き学習はラベルのないデータから学習するための主要な手法として登場し、現在の手法は主に表現のアライメントと入力再構成のストレクションを中心に展開されている。 このような手法は実際は優れた性能を示してきたが、その範囲は観測データからの学習に限られており、データ分布を予測できる学習構造の観点からはあまり役に立たない。 本稿では,自己教師型学習の領域における最近の発展について考察する。 予測表現学習 (PRL) と呼ばれる新しいカテゴリを定義し, 観測結果に基づいて, 観測対象の未観測成分の潜在予測を中心に展開する。 本稿では,PRLをアライメントと再構築に基づく学習手法とともに分類する共通分類法を提案する。 さらに、我々は、JEPA(Joint-Embedding Predictive Architecture)が、この新しいパラダイムの模範的なメンバーであると考えることができると論じる。 我々はさらに理論的な視点とオープンな課題を議論し、予測表現学習を将来の自己指導型学習研究の有望な方向性として強調する。 本研究では,比較分析のためにBootstrap Your Own Latent (BYOL), Masked Autoencoders (MAE), Image-JEPA (I-JEPA)を実装した。 その結果、MAE は 1.00 の完全類似性を達成しているが、比較的弱い強靭性は 0.55 であることが示された。 一方、BYOLとI-JEPAはそれぞれ0.98と0.95で、頑健性スコアは0.75と0.78である。

関連論文リスト

• LLM Unlearning Under the Microscope: A Full-Stack View on Methods and Metrics [10.638045151201084]
  本稿では,近年のステートフル・アンラーニング法12の原則的分類について述べる。 未学習効果(UE)、実用性維持(UT)、堅牢性(Rob)の評価を再考する。 分析の結果,Multiple-choice question (MCQ) の精度に支配される現在の評価は,狭い視点しか示さないことがわかった。
  論文  参考訳（メタデータ） (2025-10-08T23:47:05Z)
• An Empirical Study on the Power of Future Prediction in Partially Observable Environments [15.773444560355694]
  自己予測補助タスクは、完全に観察された環境でのパフォーマンスを向上させることが示されているが、部分観測性におけるそれらの役割はいまだに解明されていない。 我々は、強化学習から表現学習を明示的に分離するアプローチである$textttDRL2$を導入する。 本研究は,将来予測性能が表現品質の信頼性指標となり,RL性能の向上に寄与するという考えを裏付けるものである。
  論文  参考訳（メタデータ） (2024-02-11T04:53:40Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Continual Learning with Pre-Trained Models: A Survey [61.97613090666247]
  継続的な学習は、新しい知識を学ぶ際に、かつての知識の破滅的な忘れを克服することを目的としている。 本稿では, PTM を用いた CL の最近の進歩を包括的に調査する。
  論文  参考訳（メタデータ） (2024-01-29T18:27:52Z)
• Unifying Self-Supervised Clustering and Energy-Based Models [9.3176264568834]
  自己教師付き学習と生成モデルとの間には,原則的な関連性を確立する。 シンボル接地問題の単純かつ非自明なインスタンス化に対処するために,我々の解法をニューロシンボリックな枠組みに統合できることが示される。
  論文  参考訳（メタデータ） (2023-12-30T04:46:16Z)
• From Pretext to Purpose: Batch-Adaptive Self-Supervised Learning [32.18543787821028]
  本稿では,自己教師付きコントラスト学習におけるバッチ融合の適応的手法を提案する。 公平な比較で最先端のパフォーマンスを達成する。 提案手法は,データ駆動型自己教師型学習研究の進展に寄与する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-11-16T15:47:49Z)
• ASPEST: Bridging the Gap Between Active Learning and Selective Prediction [56.001808843574395]
  選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。 アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。 本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
  論文  参考訳（メタデータ） (2023-04-07T23:51:07Z)
• Value-driven Hindsight Modelling [68.658900923595]
  値推定は強化学習(RL)パラダイムの重要な構成要素である。 モデル学習は、観測系列に存在する豊富な遷移構造を利用することができるが、このアプローチは通常、報酬関数に敏感ではない。 この2つの極点の間に位置するRLにおける表現学習のアプローチを開発する。 これにより、タスクに直接関連し、値関数の学習を加速できる、抽出可能な予測ターゲットが提供される。
  論文  参考訳（メタデータ） (2020-02-19T18:10:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。