論文の概要: An Empirically Grounded Identifiability Theory Will Accelerate Self-Supervised Learning Research

• arxiv url: http://arxiv.org/abs/2504.13101v1
• Date: Thu, 17 Apr 2025 17:10:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 14:39:34.944376
• Title: An Empirically Grounded Identifiability Theory Will Accelerate Self-Supervised Learning Research
• Title（参考訳）: 経験的基礎的不確定性理論は自己指導型学習研究を加速させる
• Authors: Patrik Reizinger, Randall Balestriero, David Klindt, Wieland Brendel,
• Abstract要約: 自己監視学習(SSL)は多くの現在のAIシステムを動かしている。 SSLのプラトン的見解は、異なる方法や工学的アプローチにもかかわらず、すべての表現は同じプラトン的イデアルに収束することを示唆している。 我々は Identifiability Theory (IT) を Singular Identifiability Theory (SITh) と呼ぶものに拡張することを提案する。
• 参考スコア（独自算出の注目度）: 25.564440860986757
• License:
• Abstract: Self-Supervised Learning (SSL) powers many current AI systems. As research interest and investment grow, the SSL design space continues to expand. The Platonic view of SSL, following the Platonic Representation Hypothesis (PRH), suggests that despite different methods and engineering approaches, all representations converge to the same Platonic ideal. However, this phenomenon lacks precise theoretical explanation. By synthesizing evidence from Identifiability Theory (IT), we show that the PRH can emerge in SSL. However, current IT cannot explain SSL's empirical success. To bridge the gap between theory and practice, we propose expanding IT into what we term Singular Identifiability Theory (SITh), a broader theoretical framework encompassing the entire SSL pipeline. SITh would allow deeper insights into the implicit data assumptions in SSL and advance the field towards learning more interpretable and generalizable representations. We highlight three critical directions for future research: 1) training dynamics and convergence properties of SSL; 2) the impact of finite samples, batch size, and data diversity; and 3) the role of inductive biases in architecture, augmentations, initialization schemes, and optimizers.
• Abstract（参考訳）: 自己監視学習(SSL)は多くの現在のAIシステムを動かしている。 研究の関心と投資が高まるにつれ、SSLデザインの領域は拡大し続けている。 SSLのプラトン的見解は、プラトン的表現仮説(PRH)に従って、異なる方法や工学的アプローチにもかかわらず、すべての表現が同じプラトン的イデアルに収束することを示唆している。 しかし、この現象には正確な理論的説明がない。 Identifiability Theory (IT) から証拠を合成することにより, PRHがSSL内に現れることを示す。 しかし、現在のITはSSLの実証的な成功を説明できない。 理論と実践のギャップを埋めるため、私たちは、SSLパイプライン全体を包含するより広範な理論的枠組みである、Singular Identifiability Theory (SITh)と呼ばれるものにITを拡張することを提案する。 SIThはSSLの暗黙のデータ仮定について深い洞察を与え、より解釈可能で一般化可能な表現を学ぶための分野を前進させる。 今後の研究の3つの重要な方向性を強調します。 1)SSLの動的および収束特性の訓練 2)有限サンプル,バッチサイズ,データ多様性の影響 3) アーキテクチャ,拡張,初期化スキーム,最適化における帰納バイアスの役割。

関連論文リスト

• Understanding the Role of Equivariance in Self-supervised Learning [51.56331245499712]
  同変自己教師学習(E-SSL)は、拡張に注意する機能を学ぶ。 我々は、同変タスクと分類タスクの相乗効果を生成するE-SSLにおける重要な説明アウト効果を同定する。 E-SSLの実用設計の原則をいくつか明らかにする。
  論文  参考訳（メタデータ） (2024-11-10T16:09:47Z)
• SpaRC and SpaRP: Spatial Reasoning Characterization and Path Generation for Understanding Spatial Reasoning Capability of Large Language Models [70.01883340129204]
  空間推論は 生物学的と人工知能の両方において 重要な要素です 本稿では,現在最先端の大規模言語モデル (LLM) の空間的推論能力について包括的に検討する。
  論文  参考訳（メタデータ） (2024-06-07T01:06:34Z)
• The Common Stability Mechanism behind most Self-Supervised Learning Approaches [64.40701218561921]
  自己指導型学習手法の安定性のメカニズムを説明するための枠組みを提供する。 我々は,BYOL,SWAV,SimSiam,Barlow Twins,DINOなどの非コントラスト技術であるSimCLRの動作メカニズムについて議論する。 私たちは異なる仮説を定式化し、Imagenet100データセットを使ってそれらをテストします。
  論文  参考訳（メタデータ） (2024-02-22T20:36:24Z)
• Understanding Self-Supervised Learning of Speech Representation via Invariance and Redundancy Reduction [0.45060992929802207]
  自己教師付き学習(SSL)は、ラベルのないデータから柔軟な音声表現を学習するための有望なパラダイムとして登場した。 本研究は,人間の知覚における冗長性低下の理論に触発されたSSL技術であるBarlow Twins(BT)を実証分析した。
  論文  参考訳（メタデータ） (2023-09-07T10:23:59Z)
• Reverse Engineering Self-Supervised Learning [17.720366509919167]
  自己教師型学習(SSL)は機械学習の強力なツールである。 本稿ではSSL学習表現の詳細な実験的検討を行う。
  論文  参考訳（メタデータ） (2023-05-24T23:15:28Z)
• Active Self-Supervised Learning: A Few Low-Cost Relationships Are All You Need [34.013568381942775]
  Self-Supervised Learning (SSL)は、ラベルのないデータから転送可能な表現を学習する選択肢のソリューションとして登場した。 本研究では,この原理を正のアクティブラーニング(PAL)によって形式化し,一般化する。 まず、SSLを超えて理論的に基礎を成す学習フレームワークを公開し、類似性グラフに基づいて、採用するオラクルに応じて教師付きおよび半教師付き学習に取り組むように拡張する。 第二に、事前知識、例えばいくつかのラベルをトレーニングパイプラインの変更なしにSSL損失に組み込むための一貫したアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2023-03-27T14:44:39Z)
• The SSL Interplay: Augmentations, Inductive Bias, and Generalization [24.787356572850317]
  自己教師付き学習は、教師なしの生データから表現を学習する強力なフレームワークとして登場した。 しかし実際には、エンジニアはトレーニング中にチューニングの不安定性や表現の崩壊といった問題に直面している。 本稿では,データ拡張,ネットワークアーキテクチャ,トレーニングアルゴリズム間の複雑な相互作用に光を当てる理論を提案する。
  論文  参考訳（メタデータ） (2023-02-06T13:42:14Z)
• A Survey on Self-supervised Learning: Algorithms, Applications, and Future Trends [82.64268080902742]
  自己教師付き学習(SSL)は、ラベル付きラベルを頼らずにラベル付きデータから識別的特徴を学習することを目的としている。 SSLは最近大きな注目を集め、多くの関連するアルゴリズムの開発に繋がった。 本稿では,アルゴリズム的側面,アプリケーション領域,3つの重要なトレンド,オープンな研究課題を含む,多様なSSL手法のレビューを行う。
  論文  参考訳（メタデータ） (2023-01-13T14:41:05Z)
• Self-Supervised Learning Through Efference Copies [0.0]
  自己教師付き学習(SSL)手法は、機械学習(ML)のための未ラベルデータの豊富さを活用することを目的としている。 生物学的第一原理に基づくSSLフレームワークは、さまざまなSSLメソッドを統一し、脳内の学習を解明し、MLを改善する可能性がある。
  論文  参考訳（メタデータ） (2022-10-17T16:19:53Z)
• Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
  データセット不均衡下での自己教師型学習について検討する。 既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。 我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
  論文  参考訳（メタデータ） (2021-10-11T06:29:56Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。