論文の概要: Task-Driven Kernel Flows: Label Rank Compression and Laplacian Spectral Filtering

• arxiv url: http://arxiv.org/abs/2601.00276v1
• Date: Thu, 01 Jan 2026 09:28:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-05 15:04:33.355133
• Title: Task-Driven Kernel Flows: Label Rank Compression and Laplacian Spectral Filtering
• Title（参考訳）: タスク駆動カーネルフロー:ラベルランク圧縮とラプラシアンスペクトルフィルタリング
• Authors: Hongxi Li, Chunlin Huang,
• Abstract要約: 本稿では,L2正規化ネットワークにおいて,教師あり学習が本質的に圧縮可能であることを示す特徴学習理論を提案する。 我々は、「水に満ちた」スペクトルの進化を予測するカーネルODEを導出し、安定な定常状態に対して、カーネルランクがクラス数で有界であることを証明する。 この枠組みは、アライメントの決定論的・見解を統一し、教師あり学習の低ランクな性質と、自己超越の高ランクで拡張的な表現とを対比する。
• 参考スコア（独自算出の注目度）: 1.2604738912025477
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a theory of feature learning in wide L2-regularized networks showing that supervised learning is inherently compressive. We derive a kernel ODE that predicts a "water-filling" spectral evolution and prove that for any stable steady state, the kernel rank is bounded by the number of classes ($C$). We further demonstrate that SGD noise is similarly low-rank ($O(C)$), confining dynamics to the task-relevant subspace. This framework unifies the deterministic and stochastic views of alignment and contrasts the low-rank nature of supervised learning with the high-rank, expansive representations of self-supervision.
• Abstract（参考訳）: 本稿では,L2正規化ネットワークにおいて,教師あり学習が本質的に圧縮可能であることを示す特徴学習理論を提案する。 我々は、「水に満ちた」スペクトルの進化を予測するカーネルODEを導出し、安定な定常状態に対して、カーネルランクがクラス数(C$)で有界であることを証明する。 さらに、SGDノイズが同様に低ランク(O(C)$)であることを示し、タスク関連部分空間に動的を収束させる。 この枠組みは、アライメントに関する決定論的・確率論的見解を統一し、教師あり学習の低ランクな性質と、自己超越の高ランクで拡張的な表現とを対比する。

関連論文リスト

• Low-Rank Tensor Recovery via Variational Schatten-p Quasi-Norm and Jacobian Regularization [49.85875869048434]
  暗黙的神経表現のためのニューラルネットワークによりパラメータ化されたCPベースの低ランクテンソル関数を提案する。 本研究では、スペーサーCP分解を実現するために、冗長なランク1成分に変分Schatten-p quasi-normを導入する。 滑らか性のために、ヤコビアンとハッチンソンのトレース推定器のスペクトルノルムに基づく正規化項を提案する。
  論文  参考訳（メタデータ） (2025-06-27T11:23:10Z)
• Revisiting Self-Supervised Heterogeneous Graph Learning from Spectral Clustering Perspective [52.662463893268225]
  自己教師付きヘテロジニアスグラフ学習(SHGL)は様々なシナリオにおいて有望な可能性を示している。 既存のSHGLメソッドには2つの大きな制限がある。 ランクと二重整合性制約によって強化された新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-12-01T09:33:20Z)
• Rich-Observation Reinforcement Learning with Continuous Latent Dynamics [43.84391209459658]
  本稿では,高次元観測に基づく制御を行うRichCLD(Rich-Observation RL with Continuous Latent Dynamics)を提案する。 我々の主な貢献は、統計的かつ計算学的に効率的であるこの設定のための新しいアルゴリズムである。
  論文  参考訳（メタデータ） (2024-05-29T17:02:49Z)
• Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
  生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。 任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-07-27T04:27:26Z)
• Spectral Decomposition Representation for Reinforcement Learning [100.0424588013549]
  本稿では, スペクトル分解表現法(SPEDER)を提案する。この手法は, データ収集ポリシーに急激な依存を生じさせることなく, ダイナミックスから状態-作用の抽象化を抽出する。 理論的解析により、オンライン設定とオフライン設定の両方において提案アルゴリズムのサンプル効率が確立される。 実験により、いくつかのベンチマークで現在の最先端アルゴリズムよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-08-19T19:01:30Z)
• A Free Lunch from the Noise: Provable and Practical Exploration for Representation Learning [55.048010996144036]
  ある雑音仮定の下では、対応するマルコフ遷移作用素の線型スペクトル特性を自由な閉形式で得られることを示す。 本稿では,スペクトルダイナミクス埋め込み(SPEDE)を提案する。これはトレードオフを破り,雑音の構造を利用して表現学習のための楽観的な探索を完遂する。
  論文  参考訳（メタデータ） (2021-11-22T19:24:57Z)
• Convolutional Spectral Kernel Learning [21.595130250234646]
  逆フーリエ変換に基づく解釈可能な畳み込みスペクトルカーネルネットワーク(textttCSKN)を構築する。 一般化誤差境界を導出し、性能を改善するために2つの正規化器を導入する。 実世界のデータセットを用いた実験は、学習フレームワークの有効性を検証する。
  論文  参考訳（メタデータ） (2020-02-28T14:35:54Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。