論文の概要: Spectral Ghost in Representation Learning: from Component Analysis to Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2601.20154v1
• Date: Wed, 28 Jan 2026 01:08:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-29 15:46:06.712397
• Title: Spectral Ghost in Representation Learning: from Component Analysis to Self-Supervised Learning
• Title（参考訳）: 表現学習におけるスペクトルゴースト-成分分析から自己監督学習へ
• Authors: Bo Dai, Na Li, Dale Schuurmans,
• Abstract要約: 自己教師付き学習(SSL)は、実践的な応用のためにラベルなしデータのパワーを解放することで経験的性能を改善した。 本稿では,理解と分析のための統一フレームワークへの道筋をたどる,表現学習の原則的基盤を開発する。
• 参考スコア（独自算出の注目度）: 42.04086618646585
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning (SSL) have improved empirical performance by unleashing the power of unlabeled data for practical applications. Specifically, SSL extracts the representation from massive unlabeled data, which will be transferred to a plenty of down streaming tasks with limited data. The significant improvement on diverse applications of representation learning has attracted increasing attention, resulting in a variety of dramatically different self-supervised learning objectives for representation extraction, with an assortment of learning procedures, but the lack of a clear and unified understanding. Such an absence hampers the ongoing development of representation learning, leaving a theoretical understanding missing, principles for efficient algorithm design unclear, and the use of representation learning methods in practice unjustified. The urgency for a unified framework is further motivated by the rapid growth in representation learning methods. In this paper, we are therefore compelled to develop a principled foundation of representation learning. We first theoretically investigate the sufficiency of the representation from a spectral representation view, which reveals the spectral essence of the existing successful SSL algorithms and paves the path to a unified framework for understanding and analysis. Such a framework work also inspires the development of more efficient and easy-to-use representation learning algorithms with principled way in real-world applications.
• Abstract（参考訳）: 自己教師付き学習(SSL)は、実践的な応用のためにラベルなしデータのパワーを解放することで経験的性能を改善した。 具体的にはSSLは、大量のラベルのないデータから表現を抽出し、データ制限のある大量のダウンストリーミングタスクに転送する。 表現学習の多様な応用に対する顕著な改善は注目を惹きつけており、その結果、表現抽出のための劇的に異なる自己教師型学習目標が、学習手順の相違とともに、明確で統一された理解が欠如している。 このような欠如は、表現学習の継続的な発展を妨げ、理論的な理解の欠如、効率的なアルゴリズム設計の原則が不明確であり、実際は表現学習の方法が不適切である。 統一フレームワークの緊急性は、表現学習手法の急速な成長によってさらに動機づけられる。 そこで本稿では,表現学習の原則的基盤を構築せざるを得ない。 まず、既存のSSLアルゴリズムのスペクトルの本質を明らかにするスペクトル表現の観点から、表現の十分性について理論的に検討し、理解と分析のための統一されたフレームワークへの道筋を舗装する。 このようなフレームワークの作業は、現実世界のアプリケーションで原則化された方法で、より効率的で使いやすい表現学習アルゴリズムの開発を促す。

関連論文リスト

• Self-Supervised Skeleton-Based Action Representation Learning: A Benchmark and Beyond [19.074841631219233]
  自己教師付き学習(SSL)は骨格に基づく行動理解に有効であることが証明されている。 本稿では,自己教師型骨格に基づく行動表現学習に関する包括的調査を行う。
  論文  参考訳（メタデータ） (2024-06-05T06:21:54Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Goal Space Abstraction in Hierarchical Reinforcement Learning via Reachability Analysis [0.0]
  本研究では,環境状態の集合を抽象化する創発的表現によるサブゴール発見のための発達機構を提案する。 我々は、この表現をポリシーとともに徐々に学習し、それをナビゲーションタスクで評価して、学習した表現が解釈可能であり、結果としてデータ効率が向上することを示すHRLアルゴリズムを作成する。
  論文  参考訳（メタデータ） (2023-09-12T06:53:11Z)
• Understanding Self-Predictive Learning for Reinforcement Learning [61.62067048348786]
  強化学習のための自己予測学習の学習ダイナミクスについて検討する。 本稿では,2つの表現を同時に学習する新しい自己予測アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-06T20:43:37Z)
• An Empirical Investigation of Representation Learning for Imitation [76.48784376425911]
  視覚、強化学習、NLPにおける最近の研究は、補助的な表現学習の目的が、高価なタスク固有の大量のデータの必要性を減らすことを示している。 本稿では,表現学習アルゴリズムを構築するためのモジュラーフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-16T11:23:42Z)
• A Free Lunch from the Noise: Provable and Practical Exploration for Representation Learning [55.048010996144036]
  ある雑音仮定の下では、対応するマルコフ遷移作用素の線型スペクトル特性を自由な閉形式で得られることを示す。 本稿では,スペクトルダイナミクス埋め込み(SPEDE)を提案する。これはトレードオフを破り,雑音の構造を利用して表現学習のための楽観的な探索を完遂する。
  論文  参考訳（メタデータ） (2021-11-22T19:24:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。