Fugu-MT 論文翻訳(概要): Task-Driven Kernel Flows: Label Rank Compression and Laplacian Spectral Filtering

論文の概要: Task-Driven Kernel Flows: Label Rank Compression and Laplacian Spectral Filtering

arxiv url: http://arxiv.org/abs/2601.00276v1
Date: Thu, 01 Jan 2026 09:28:31 GMT
ステータス: 翻訳完了
システム内更新日: 2026-01-05 15:04:33.355133
Title: Task-Driven Kernel Flows: Label Rank Compression and Laplacian Spectral Filtering
Title（参考訳）: タスク駆動カーネルフロー:ラベルランク圧縮とラプラシアンスペクトルフィルタリング
Authors: Hongxi Li, Chunlin Huang,
Abstract要約: 本稿では,L2正規化ネットワークにおいて,教師あり学習が本質的に圧縮可能であることを示す特徴学習理論を提案する。我々は、「水に満ちた」スペクトルの進化を予測するカーネルODEを導出し、安定な定常状態に対して、カーネルランクがクラス数で有界であることを証明する。この枠組みは、アライメントの決定論的・見解を統一し、教師あり学習の低ランクな性質と、自己超越の高ランクで拡張的な表現とを対比する。
参考スコア（独自算出の注目度）: 1.2604738912025477
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present a theory of feature learning in wide L2-regularized networks showing that supervised learning is inherently compressive. We derive a kernel ODE that predicts a "water-filling" spectral evolution and prove that for any stable steady state, the kernel rank is bounded by the number of classes ($C$). We further demonstrate that SGD noise is similarly low-rank ($O(C)$), confining dynamics to the task-relevant subspace. This framework unifies the deterministic and stochastic views of alignment and contrasts the low-rank nature of supervised learning with the high-rank, expansive representations of self-supervision.
Abstract（参考訳）: 本稿では,L2正規化ネットワークにおいて,教師あり学習が本質的に圧縮可能であることを示す特徴学習理論を提案する。我々は、「水に満ちた」スペクトルの進化を予測するカーネルODEを導出し、安定な定常状態に対して、カーネルランクがクラス数(C$)で有界であることを証明する。さらに、SGDノイズが同様に低ランク(O(C)$)であることを示し、タスク関連部分空間に動的を収束させる。この枠組みは、アライメントに関する決定論的・確率論的見解を統一し、教師あり学習の低ランクな性質と、自己超越の高ランクで拡張的な表現とを対比する。

関連論文リスト

State Rank Dynamics in Linear Attention LLMs [37.607046806053035]
州の階級階層化は、線形アテンションヘッド間で異なるスペクトル分岐によって特徴づけられる。低ランクの頭部はモデル推論に欠かせないが、高ランクの頭部は顕著な冗長性を示す。我々は,KVキャッシュのオーバーヘッドを38.9%削減し,モデル精度を大きく維持するゼロショット戦略であるJoint Rank-Norm Pruningを提案する。
論文参考訳（メタデータ） (2026-02-02T15:00:42Z)
Why not Collaborative Filtering in Dual View? Bridging Sparse and Dense Models [17.01882282913444]
協調フィルタリングは現代のレコメンデーターシステムの基盤となっている。密埋め込みのセマンティック表現性とスパース相互作用パターンの構造的信頼性を統合した統合フレームワークSaD(Sparse and Dense)を提案する。これら2つの視点を整合させることで、より優れたグローバルSNRが得られることを示す。
論文参考訳（メタデータ） (2026-01-14T08:47:07Z)
SpecBPP: A Self-Supervised Learning Approach for Hyperspectral Representation and Soil Organic Carbon Estimation [9.292155894591877]
ハイパースペクトル画像のための新しい自己教師型学習フレームワークを提案する。 SpecBPPは、シャッフルされたスペクトルセグメントの正しい順序を復元するモデルに挑戦する。本結果は,スペクトル秩序予測がハイパースペクトル理解のための強力な前提課題であることを示す。
論文参考訳（メタデータ） (2025-07-26T04:11:43Z)
Low-Rank Tensor Recovery via Variational Schatten-p Quasi-Norm and Jacobian Regularization [49.85875869048434]
暗黙的神経表現のためのニューラルネットワークによりパラメータ化されたCPベースの低ランクテンソル関数を提案する。本研究では、スペーサーCP分解を実現するために、冗長なランク1成分に変分Schatten-p quasi-normを導入する。滑らか性のために、ヤコビアンとハッチンソンのトレース推定器のスペクトルノルムに基づく正規化項を提案する。
論文参考訳（メタデータ） (2025-06-27T11:23:10Z)
Revisiting Self-Supervised Heterogeneous Graph Learning from Spectral Clustering Perspective [52.662463893268225]
自己教師付きヘテロジニアスグラフ学習(SHGL)は様々なシナリオにおいて有望な可能性を示している。既存のSHGLメソッドには2つの大きな制限がある。ランクと二重整合性制約によって強化された新しいフレームワークを導入する。
論文参考訳（メタデータ） (2024-12-01T09:33:20Z)
Rich-Observation Reinforcement Learning with Continuous Latent Dynamics [43.84391209459658]
本稿では,高次元観測に基づく制御を行うRichCLD(Rich-Observation RL with Continuous Latent Dynamics)を提案する。我々の主な貢献は、統計的かつ計算学的に効率的であるこの設定のための新しいアルゴリズムである。
論文参考訳（メタデータ） (2024-05-29T17:02:49Z)
Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
論文参考訳（メタデータ） (2023-07-27T04:27:26Z)
Which Features are Learnt by Contrastive Learning? On the Role of Simplicity Bias in Class Collapse and Feature Suppression [59.97965005675144]
コントラスト学習(CL)は,ラベル管理の有無に関わらず,表現学習の強力な技術として登場した。 CLによって学習される特徴を判定する,理論的に厳密な最初の統合フレームワークを提供する。本稿では,2つの理論的動機付けされた解として,埋め込み次元の増大とデータ拡張の質の向上について述べる。
論文参考訳（メタデータ） (2023-05-25T23:37:22Z)
Spectral Decomposition Representation for Reinforcement Learning [100.0424588013549]
本稿では, スペクトル分解表現法(SPEDER)を提案する。この手法は, データ収集ポリシーに急激な依存を生じさせることなく, ダイナミックスから状態-作用の抽象化を抽出する。理論的解析により、オンライン設定とオフライン設定の両方において提案アルゴリズムのサンプル効率が確立される。実験により、いくつかのベンチマークで現在の最先端アルゴリズムよりも優れた性能を示す。
論文参考訳（メタデータ） (2022-08-19T19:01:30Z)
A Free Lunch from the Noise: Provable and Practical Exploration for Representation Learning [55.048010996144036]
ある雑音仮定の下では、対応するマルコフ遷移作用素の線型スペクトル特性を自由な閉形式で得られることを示す。本稿では,スペクトルダイナミクス埋め込み(SPEDE)を提案する。これはトレードオフを破り,雑音の構造を利用して表現学習のための楽観的な探索を完遂する。
論文参考訳（メタデータ） (2021-11-22T19:24:57Z)
Convolutional Spectral Kernel Learning [21.595130250234646]
逆フーリエ変換に基づく解釈可能な畳み込みスペクトルカーネルネットワーク(textttCSKN)を構築する。一般化誤差境界を導出し、性能を改善するために2つの正規化器を導入する。実世界のデータセットを用いた実験は、学習フレームワークの有効性を検証する。
論文参考訳（メタデータ） (2020-02-28T14:35:54Z)
Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
論文参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。