論文の概要: An Impossibility Result for ETF Target Geometry, and an Equinorm Remedy for Imbalanced Analytic Continual Learning

• arxiv url: http://arxiv.org/abs/2610.24844v1
• Date: Sat, 17 Oct 2026 19:48:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-22 15:49:59.13995
• Title: An Impossibility Result for ETF Target Geometry, and an Equinorm Remedy for Imbalanced Analytic Continual Learning
• Title（参考訳）: ETFターゲット幾何の不確かさと不均衡解析的連続学習のための平衡療法
• Abstract要約: ACILやGACLのような解析的連続学習(ACL)法は、シャーマン・モリソン・ウードベリーのアイデンティティを通じて凍結した特徴に対してリッジ-回帰ヘッドに適合する。 正確な解析的更新とETFターゲットという2つのアイデアを融合させることで、よりクローズドな形式の連続学習者が得られるかどうかを問うのは当然である。 核融合は通常の1ホットのACILと同一であることが判明したので、これはそうではない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Analytic continual learning (ACL) methods such as ACIL and GACL fit a ridge-regression classifier head on frozen features via the Sherman-Morrison-Woodbury identity, achieving exemplar-free, exact updates. A separate line of work, Progressive Neural Collapse (ProNC), shows standard continual classifiers benefit from a progressively expanding Simplex Equiangular Tight Frame (ETF) target. It is natural to ask whether fusing the two ideas, exact analytic updates and ETF targets, would yield a better closed-form continual learner. We show this is not the case as the fusion turns out to be identical to plain one-hot ACIL. Further, Simplex ETFs are not nested across class counts, so the literal "progressively expand the ETF" construction stops yielding an ETF as new tasks arrive, and it introduces catastrophic forgetting ($4\times$ that of a classic ACIL head). We therefore separate an ETF's two defining properties, equiangularity and equinormality, and apply each on its own to the classifier weights rather than the targets, where the invariance above does not hold. Equinorm post-processing of the fitted weights recovers both tail-class and overall average accuracy across the long-tailed regime from 5:1 to 100:1 imbalance (e.g. +32.0 tail-accuracy points and +16.0 average-accuracy points at 100:1 on CIFAR-100/ViT), transferring in sign across two backbones and two datasets, at a mild cost of 5.4 average-accuracy points on CIFAR-100/ViT on near-balanced streams (below $\approx 3{:}1$). Equiangular geometry, by contrast, is exactly inert on the target side but actively harmful on the weight side, usually losing to plain one-hot. Hence, the generally useful part of Neural Collapse geometry in Analytic Continual Learning is equinorm post-processing of the weights, becoming more useful as class imbalance grows; and equiangularity is at best a no-op and induces catastrophic forgetting at worst.
• Abstract（参考訳）: ACILやGACLのような解析的連続学習(ACL)手法は、シャーマン・モリソン・ウードベリーのアイデンティティを通じて凍結した特徴にリッジ-回帰分類器のヘッドに適合し、非定型的で正確な更新を実現する。 プログレッシブ・ニューラル・コラプス(Progressive Neural Collapse, ProNC)は、プログレッシブ・ニューラル・コラプス(Progressive Neural Collapse, ProNC)と呼ばれる、プログレッシブ・ニューラル・コラプス(Progressive Neural Collapse, プログレッシブ・ニューラル・コラプス)と呼ばれる、プログレッシブ・コラプス(Progressive Neural Collapse, プログレッシブ・ニューラル・コラプス(ProNC)の別系統で、標準的連続的分類器の利点を示す。 正確な解析的更新とETFターゲットという2つのアイデアを融合させることで、よりクローズドな形式の連続学習者が得られるかどうかを問うのは当然である。 核融合は通常の1ホットのACILと同一であることが判明したので、これはそうではない。 さらに、Simplex ETFはクラス数にまたがってネストされないため、リテラルの"progressively expand the ETF"構造は、新しいタスクが到着するにつれてETFを生成するのをやめ、破滅的な忘れ(古典的なACILヘッドの4\times$)を導入する。 したがって、ETFの2つの定義的性質、等角性と等角性を分離し、それぞれを対象ではなく分類器重みに適用する。 5:1から100:1の不均衡(e g +32.0のテール精度点と+16.0の平均精度点をCIFAR-100/ViTで100:1、CIFAR-100/ViTで100:1、CIFAR-100/ViTで100:1、CIFAR-100/ViTで5.4、ほぼバランスの取れたストリームで平均精度点が5.4である。 対照的に、等角形状は、ターゲット側では正確に不活性であるが、重量側では活発に有害であり、通常は平らな1ホットに低下する。 したがって、分析連続学習における神経崩壊幾何学の一般的に有用な部分は、重みの均質な後処理であり、クラス不均衡が増大するにつれてより有用になる。

関連論文リスト

• A Minimal ReLU Classifier on Non-Linearly Separable Data: Convergence and Implicit Bias at and beyond the Edge of Stability [14.08915249552023]
  古典的スムーズ性に基づく学習条件に違反しても、勾配降下(GD)設定がネットワークの最適化に成功できることが示される。 具体的には,線形学習体制以外の2つの制度を解析する。 我々は、このスケジュールがより多くのデータに対して$O(/logT)$よりも高速な損失率を達成することを証明している。
  論文  参考訳（メタデータ） (2026-10-16T06:31:59Z)
• Variational Filtering for Bayesian Last Layers with an Independent Binary Probit Surrogate [41.81526577151929]
  深層分類器の最終層に対する変分フィルタリングアルゴリズムを提案する。 各ミニバッチは正確な予測ステップで同化され、その後クローズドフォームの変分更新が行われる。 DINOv3のバックボーンを同一のプロトコルで調整した2つのベースラインに対して評価した。
  論文  参考訳（メタデータ） (2026-10-12T11:00:05Z)
• CORE-STACK+: Meta-Learning for Deep Stacked Generalization [0.0]
  スタックングヘテロジニアス視覚バックボーン(CNN、ViT、ハイブリッド)は、精度、校正、堅牢性のデファクトレシピである。 予測空間の多重コリンはメタラーナーのグラム行列を悪条件にし、重みの分散を膨らませ、薄い多様体上の脆い解を生成する。 ECEは、ホック後の温度スケーリングなしでディープアンサンブルよりも2.1タイムスで改善している。
  論文  参考訳（メタデータ） (2026-09-22T18:03:36Z)
• One Patch, Three Roles: What Is Actually Coupled in Autoregressive Time-Series Forecasting? [49.84472730204669]
  凍結した親の軌道は, 軽量な平行出口で観測される未来よりも適合しやすいことを示す。 また、列車選択した周期的歴史方向に沿って補正可能な残射も見出す。 Tangentはこの修正を、ニューラルパラメータやTransformerコールを追加せずに適用する。
  論文  参考訳（メタデータ） (2026-09-20T14:54:35Z)
• A Strong Balanced-Softmax Classifier-Retraining Baseline for Long-Tailed Recognition [0.0]
  長い尾の認識法は、頻繁に行われるクラスの優位性を減らすために損失、マージン、表現を変化させる。 BS-cRTは,バックボーンとコサイン分類器をバランスド・ソフトマックスで訓練する2段階のプロシージャである。 BS-cRT は一致した Balanced Softmax チェックポイントよりもFew-shot の精度を一貫して向上することを示す。
  論文  参考訳（メタデータ） (2026-07-10T14:04:02Z)
• Neural Collapse by Design: Learning Class Prototypes on the Hypersphere [19.046486593203323]
  クロスエントロピー(CE)は自由度を非拘束にして縮退幾何学に収束させる一方、教師付きコントラスト学習(SCL)は事前訓練中にNCに向けて特徴を駆動するが、ポストホック線形探索フェーズでこの構造を捨てる。 両パラダイムが,ユニットハイパースフィアのプロトタイプと対比する同じ手法の外観に異なっており,そのギャップを埋めるにはそれぞれの障害点を固定する必要があることを示す。 我々の研究は、NCが設計によって到達したハイパースフィアのプロトタイプ学習として教師付き学習を再放送する。
  論文  参考訳（メタデータ） (2026-05-19T12:51:58Z)
• Posterior Augmented Flow Matching [64.1559809786948]
  後拡張フローマッチング(PAFM)はフローマッチング(FM)の一般化である PAFMは、異なるモデルスケールで最大3.4FID50KでFMよりも改善されていることを示す。
  論文  参考訳（メタデータ） (2026-05-01T17:59:59Z)
• Label-Free Cross-Task LoRA Merging with Null-Space Compression [50.63908869296697]
  我々は,ラベルフリーで出力に依存しない手法であるNull-Space Compression (NSC) Mergingを紹介した。 NSCは、従来のメソッドがタスクのサブセットに収まるバランスの取れたゲインを持つ20の異種視覚タスクに対して、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-03-27T11:34:41Z)
• Anchor-MoE: A Mean-Anchored Mixture of Experts For Probabilistic Regression [0.0]
  本稿では,確率的および点回帰の両方を扱うAnchored Mixture of Experts (Anchor-MoE)モデルを提案する。 Anchor-MoE がminimax-optimal $L2$ risk rate を達成することを示す。 RMSEとNLLの強いNGベースラインと一貫して一致または超える。
  論文  参考訳（メタデータ） (2025-08-22T21:12:41Z)
• Improved techniques for deterministic l2 robustness [63.34032156196848]
  畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。 我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。 我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
  論文  参考訳（メタデータ） (2022-11-15T19:10:12Z)
• Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
  本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-17T04:34:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。