論文の概要: Sharp Rates and a One-Line Correction for Spectral Representation Learning

• arxiv url: http://arxiv.org/abs/2609.15825v1
• Date: Mon, 14 Sep 2026 16:26:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.509227
• Title: Sharp Rates and a One-Line Correction for Spectral Representation Learning
• Title（参考訳）: スペクトル表現学習におけるシャープレートと一線補正
• Abstract要約: 自己管理エンコーダは、トレーニング時に誰も名前をつけないタスクの軽量プローブを通じてトレーニングされ、凍結され、再利用される。 標準相関解析、HGR最大相関、およびスペクトルのコントラスト損失の集団最適化は、全て、クロスビュー依存作用素のトップ-$k$特異部分空間を返す。 isotropy is the wrong hypothesis. the prior enters the transfer risk through through the task covariance $=mathbbE[top]$, and through its compression to the operator's leading singular direction。
• 参考スコア（独自算出の注目度）: 8.921166277011347
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A self-supervised encoder is trained once, frozen, and reused through lightweight probes on tasks nobody named at training time; the practitioner's question is when the off-the-shelf features are good enough and when they need fixing. Canonical correlation analysis, HGR maximal correlation, and the population optimum of the spectral contrastive loss all return the top-$k$ singular subspace of a cross-view dependence operator, justified by isotropy: if the task prior has no directional preference, that subspace is universally optimal. We show isotropy is the wrong hypothesis. The prior enters the transfer risk only through the task covariance $Λ=\mathbb{E}[ΔΔ^\top]$, and only through its compression onto the operator's leading singular directions; what matters is not whether $Λ$ is isotropic but whether its preferred directions are ordered consistently with the operator's spectrum. We prove matching two-sided rates---worst-case regret is exactly $1-1/κ(Λ)$, refines to $1-A_k$ for an alignment coefficient $A_k$, localizes to the top-$2k$ subspace, becomes second order under a spectral gap, and is improvable by no task-agnostic representation---and show why alignment is generic: incoherent preferences cancel in high dimension, and $T$ diverse tasks force $α=\widetilde O(\sqrt{d_x/T})$, a quantitative account of why task diversity, not symmetry, makes self-supervised features transfer. The governing statistics cost $O(kd_x^2)$, and when they signal misalignment a one-line reweighting of the positive-pair term provably restores exact optimality. The result is a diagnostic that answers the practitioner's question from a small labelled budget and refuses when the task bank cannot support the width requested; on controlled data it takes a regret of $0.86$ down to $0.003$, and on a CIFAR-100 encoder it correctly predicts that no correction is needed.
• Abstract（参考訳）: 自己管理エンコーダは一度トレーニングされ、凍結され、トレーニング時に誰も名前をつけないタスクの軽量プローブを通じて再利用される。 正準相関解析、HGR最大相関、およびスペクトルのコントラスト損失の集団最適化は、全て、異方性によって正当化されたクロスビュー依存作用素のトップ-$k$特異部分空間を返す。 等方性は間違った仮説であることを示す。 前者は、タスク共分散$ =\mathbb{E}[ΔΔ^\top]$ と、演算子の主特異な方向への圧縮を通してのみ、転送リスクを入力します。 A_k$, localizes to the top-2k$ subspace, and is improvable by no task-agnostic representation----- and showing that inprovable by no connection: incoherent preferences cancel in high dimension and $T$ various task force $α=\widetilde O(\sqrt{d_x/T})$, a quantitative account of task diversity, not symmetric, makes self-supervised features transfer。 統治統計は$O(kd_x^2)$で、それらが不一致を通知すると、正対項の1行の重み付けが正の最適性を確実に復元する。 その結果、小さなラベル付き予算から実践者の質問に答え、タスクバンクが要求された幅をサポートできない場合に拒否する診断となり、制御されたデータでは、0.86$から0.003$まで後悔し、CIFAR-100エンコーダでは、修正が不要であることを正しく予測する。

関連論文リスト

• Observation Design for Certified Control Authority: Projection--Estimability Separation and Active-Face Equivalence [2.7954473524479275]
  ゲートは認証可能なアクションのみを実行し、その観測がサポートするもののみを認証する。 本稿では,安全な行動の集合を最大化するために,どのように観測を設計すべきかを問う。
  論文  参考訳（メタデータ） (2026-09-05T07:57:04Z)
• A Spectral Phase Diagram for Binary Few-Shot Classification: Intrinsic Dimensionality, Geometric Saturation, and Representational Diagnosis [0.0]
  飽和指数 $S(K) = operatornameerank(widehat_W(K)) / K$ は、プールされたクラス内サンプルの有効ランクとショットカウントとの比を測る。 インデックスはサポート機能だけで$O(d3)$ timeで計算可能で、テストラベルやトレーニングされた分類子を必要としない。
  論文  参考訳（メタデータ） (2026-06-12T16:46:24Z)
• Representation Without Reward: A JEPA Audit for LLM Fine-Tuning [1.2691047660244335]
  JEPA(Joint-embedding predictive Architectures)は、モデルが観測された出力よりも遅延表現を予測できるように訓練された時に、より有用な抽象化を学ぶべきであることを提案している。 自己回帰型言語モデルの微調整には、この原理はより厳密な要件を必要とする。 我々は、Llama-3.2-1B-Instruct LoRA を用いて、自然言語からレジェックス生成におけるその要件を検証した。
  論文  参考訳（メタデータ） (2026-05-14T20:27:32Z)
• Tight Convergence Rates for Online Distributed Linear Estimation with Adversarial Measurements [66.94250413799232]
  分散パラメータ-サーバ-ワーカー設定における乱数ベクトル$X$の推定について検討する。 主な課題は、敵の計測と非同期である。 その結果, 分散線形推定におけるロバスト性, 識別性, 統計的効率の統一的有限時間評価が得られた。
  論文  参考訳（メタデータ） (2026-04-07T11:45:55Z)
• Reinforcement Learning from Multi-Source Imperfect Preferences: Best-of-Both-Regimes Regret [71.69884486156359]
  我々は, 累積的不完全化予算を用いて, エンフルティソースの不完全性選好からエピソードRLを考察した。 我々は,最良な登録行動を示す,後悔$tildeO(sqrtK/M+)$の統一アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-03-20T19:34:53Z)
• Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
  自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。 任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。 本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
  論文  参考訳（メタデータ） (2026-02-19T17:21:15Z)
• From Continual Learning to SGD and Back: Better Rates for Continual Linear Models [50.11453013647086]
  以前見られたタスクの損失を、$k$の繰り返しの後、忘れること、すなわち、分析する。 実現可能な最小二乗の設定において、新しい最上界を創出する。 我々は、タスクを繰り返しないランダム化だけで、十分に長いタスクシーケンスで破滅的な事態を防げることを初めて証明した。
  論文  参考訳（メタデータ） (2025-04-06T18:39:45Z)
• Convergence Rate Analysis of LION [54.28350823319057]
  LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。 従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
  論文  参考訳（メタデータ） (2024-11-12T11:30:53Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• Learning the optimal regularizer for inverse problems [1.763934678295407]
  線形逆問題 $y=Ax+epsilon$ を考えると、$Acolon Xto Y$ は分離可能なヒルベルト空間 $X$ と $Y$ の間の既知の線型作用素である。 この設定は、デノイング、デブロアリング、X線トモグラフィーなど、画像のいくつかの逆問題を含んでいる。 古典的な正規化の枠組みの中では、正規化関数が優先順位を与えられず、データから学習される場合に焦点を当てる。
  論文  参考訳（メタデータ） (2021-06-11T17:14:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。