Fugu-MT 論文翻訳(概要): Directional Neural Collapse Explains Few-Shot Transfer in Self-Supervised Learning

論文の概要: Directional Neural Collapse Explains Few-Shot Transfer in Self-Supervised Learning

arxiv url: http://arxiv.org/abs/2603.03530v1
Date: Tue, 03 Mar 2026 21:28:13 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-05 21:29:15.094531
Title: Directional Neural Collapse Explains Few-Shot Transfer in Self-Supervised Learning
Title（参考訳）: 自己監督型学習における方向的神経崩壊の説明
Authors: Achleshwar Luthra, Yash Salunkhe, Tomer Galanti,
Abstract要約: 1つの幾何学的量、遠方性CDNVは2つの望ましい行動の核にあると我々は主張する。変数がクラス分離方向を強調した場合,両者が出現することを示す。
参考スコア（独自算出の注目度）: 9.670969061722062
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Frozen self-supervised representations often transfer well with only a few labels across many semantic tasks. We argue that a single geometric quantity, \emph{directional} CDNV (decision-axis variance), sits at the core of two favorable behaviors: strong few-shot transfer within a task, and low interference across many tasks. We show that both emerge when variability \emph{along} class-separating directions is small. First, we prove sharp non-asymptotic multiclass generalization bounds for downstream classification whose leading term is the directional CDNV. The bounds include finite-shot corrections that cleanly separate intrinsic decision-axis variability from centroid-estimation error. Second, we link decision-axis collapse to multitask geometry: for independent balanced labelings, small directional CDNV across tasks forces the corresponding decision axes to be nearly orthogonal, helping a single representation support many tasks with minimal interference. Empirically, across SSL objectives, directional CDNV collapses during pretraining even when classical CDNV remains large, and our bounds closely track few-shot error at practical shot sizes. Additionally, on synthetic multitask data, we verify that SSL learns representations whose induced decision axes are nearly orthogonal. The code and project page of the paper are available at [\href{https://dlfundamentals.github.io/directional-neural-collapse/}{project page}].
Abstract（参考訳）: 凍結した自己管理表現は、多くのセマンティックタスクにまたがるいくつかのラベルでうまく転送される。我々は,1つの幾何学量,<emph{directional} CDNV(決定軸分散)が2つの望ましい行動の中核にあると主張している。変数 \emph{along} クラス分離方向が小さい場合には,どちらも出現することを示す。まず,主項が方向CDNVである下流分類に対して,急激な非漸近的多クラス一般化境界を証明した。境界には、内在的な決定軸の変動をセントロイド推定誤差からきれいに分離する有限ショット補正が含まれる。第2に、決定軸の崩壊をマルチタスク幾何学にリンクする: 独立バランス付きラベリングでは、タスク間の小さな方向CDNVは、対応する決定軸をほぼ直交させ、最小限の干渉で複数のタスクを支援する。 SSLの目的によって、古典的なCDNVが大きすぎる場合でも、指向性CDNVは事前訓練中に崩壊する。さらに,合成マルチタスクデータを用いて,帰納的決定軸がほぼ直交する表現をSSLで学習することを確認した。論文のコードとプロジェクトページは [\href{https://dlfundamentals.github.io/directional-neural-collapse/}{project page}] で公開されている。

関連論文リスト

Aligning by Misaligning: Boundary-aware Curriculum Learning for Multimodal Alignment [10.050759500947356]
本稿では,境界事例をカリキュラム信号に変換する軽量アドオンであるBACL(Bundary-Aware Curriculum with Local Attention)を提案する。境界を意識した負のサンプリングは次第に困難を増し、対照的な局所的注意喪失はミスマッチの発生箇所をハイライトする。
論文参考訳（メタデータ） (2025-11-11T16:15:15Z)
Reliable Active Learning from Unreliable Labels via Neural Collapse Geometry [5.1511135538176]
アクティブラーニング(AL)は、情報的なサンプルを優先順位付けすることでアノテーションのコストを削減することを約束するが、ラベルがうるさい場合やデータ分散がシフトした場合、その信頼性は低下する。本稿では,深層ネットワークの創発的幾何学的規則性を活用し,信頼できない監視に対処するフレームワークである能動学習(NCAL-R)を提案する。
論文参考訳（メタデータ） (2025-10-10T17:50:31Z)
The Butterfly Effect: Neural Network Training Trajectories Are Highly Sensitive to Initial Conditions [51.68215326304272]
たとえ小さな摂動であっても、同じ訓練軌跡を確実に引き起こすことで、トレーニング時間とともに急速に減少する効果が発散することを示します。この結果から,ニューラルネットワークのトレーニング安定性,微調整,モデルマージ,モデルアンサンブルの多様性の実践的意味が示唆された。
論文参考訳（メタデータ） (2025-06-16T08:35:16Z)
Convergence and Implicit Bias of Gradient Descent on Continual Linear Classification [12.699007098398805]
逐次的勾配降下(GD)による複数線形分類タスクの連続学習について検討する。タスクが連分可能であれば、トレーニングされた線形分類器の(オフラインの)最大マルジン解への方向性収束を示す。また、タスクがもはや関節分離不能な場合を分析し、循環順序で訓練されたモデルが関節損失関数の唯一の最小値に収束することを示す。
論文参考訳（メタデータ） (2025-04-17T07:35:48Z)
Learning a Fast Mixing Exogenous Block MDP using a Single Trajectory [87.62730694973696]
STEELは、単一軌道から外因性ブロックマルコフ決定過程の制御可能なダイナミクスを学習するための、最初の証明可能なサンプル効率アルゴリズムである。我々は,STEELが正解であり,サンプル効率が良いことを証明し,STEELを2つの玩具問題で実証した。
論文参考訳（メタデータ） (2024-10-03T21:57:21Z)
Dual Adversarial Alignment for Realistic Support-Query Shift Few-shot Learning [15.828113109152069]
Support-Query Shift Few-shot Learningは、低次元空間に埋め込まれた学習結果に基づいて、未確認例(クエリセット)をラベル付きデータ(サポートセット)に分類することを目的としている。本稿では,現実的なサポートクエリシフト (Realistic Support-Query Shift) という,新しい難題を提案する。さらに,DuaL(dual adversarial alignment framework)と呼ばれる一貫した対角的特徴アライメント手法を提案し,RSQSをドメイン間バイアスとドメイン内分散の2つの側面から緩和する。
論文参考訳（メタデータ） (2023-09-05T09:50:31Z)
Meta-Learning Adversarial Bandit Algorithms [55.72892209124227]
我々は,バンディットフィードバックを用いたオンラインメタラーニングについて研究する。我々は自己協和障壁正規化器を用いてオンラインミラー降下一般化(OMD)をチューニングすることを学ぶ。
論文参考訳（メタデータ） (2023-07-05T13:52:10Z)
Alleviating the Sample Selection Bias in Few-shot Learning by Removing Projection to the Centroid [22.918659185060523]
Task Centroid Projection Removing (TCPR)は、タスク内のすべてのイメージ機能に直接適用される。本手法は,タスクセントロイドに近すぎる特徴を効果的に防止する。さまざまな特徴抽出器、トレーニングアルゴリズム、データセットの分類精度を確実に向上させることができる。
論文参考訳（メタデータ） (2022-10-30T13:03:13Z)
Decoupled Multi-task Learning with Cyclical Self-Regulation for Face Parsing [71.19528222206088]
顔解析のための周期的自己統制型デカップリング型マルチタスク学習を提案する。具体的には、DML-CSRは、顔解析、バイナリエッジ、カテゴリエッジ検出を含むマルチタスクモデルを設計する。提案手法は,Helen,CelebA-HQ,LapaMaskのデータセット上での最先端性能を実現する。
論文参考訳（メタデータ） (2022-03-28T02:12:30Z)
Orthogonal Jacobian Regularization for Unsupervised Disentanglement in Image Generation [64.92152574895111]
直交ジャコビアン正規化法(OroJaR)を提案する。提案手法は, 絡み合った, 制御可能な画像生成に有効であり, 最先端の手法に対して好適に機能する。
論文参考訳（メタデータ） (2021-08-17T15:01:46Z)
Precise High-Dimensional Asymptotics for Quantifying Heterogeneous Transfers [66.66228496844191]
2つのタスクのサンプルを組み合わせることは、1つのタスクだけを学習するよりも、いつより優れているかを示す。この問題は、実際には観測されている負転移と呼ばれる経験的な現象によって動機付けられている。これらの結果をランダム効果モデルで説明し、ソースタスクのサンプル数が増加するにつれて、正から負への位相遷移を数学的に証明する。
論文参考訳（メタデータ） (2020-10-22T14:14:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。