論文の概要: Escaping Parameter Space: Tight Generalization Bounds via Representation Quality

• arxiv url: http://arxiv.org/abs/2610.23729v1
• Date: Fri, 16 Oct 2026 16:43:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:08.025572
• Title: Escaping Parameter Space: Tight Generalization Bounds via Representation Quality
• Title（参考訳）: パラメータ空間のエスケープ:表現品質によるタイト一般化境界
• Abstract要約: 我々は、その最後の隠蔽層表現に基づいて、決定論的ニューラルネットワークの一般化を導出する。 我々の証明は、従来のパラメータ空間の複雑さ対策、KLが後部、重みノルム、圧縮に発散することを避ける。
• 参考スコア（独自算出の注目度）: 1.8024332526232831
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We derive a tight generalization bound for deterministic neural We derive a tight generalization bound for deterministic neural networks based on their last hidden layer representations. By evaluating representation quality with a parameter-free $k$-nearest-neighbor ($k$-NN) classifier, our certificate avoids traditional parameter-space complexity measures, KL divergences to a posterior, weight norms, and compression. The bound is tight: trained from scratch, it reaches an 8.0 percentage point gap to test error on CIFAR-10 (ResNet-18) and yields the first non-vacuous certificates we are aware of on CIFAR-100; with frozen DINOv2 representations, it certifies at 1.4\% on CIFAR-10 and 23.1\% on 1,000-class ImageNet. It decomposes additively into three empirical, independently measurable quantities: local class geometry ($k$-NN decoder error), decoder-network agreement, and training stability. This allows the bound to act as a diagnostic tool: we demonstrate that actively destroying local class geometry eliminates generalization while leaving dataset memorization intact, identifying class geometry as a causally relevant mechanism for generalization. Finally, we show that learned representations are significantly less sensitive to weight noise than linear readouts, suggesting why parameter-space certificates often struggle to remain tight.
• Abstract（参考訳）: 我々は、決定論的ニューラルネットワークに対する厳密な一般化を導出し、その最後の隠蔽層表現に基づく決定論的ニューラルネットワークに対する厳密な一般化を導出する。 パラメータフリーな$k$-nearest-neighbor(k$-NN)分類器を用いて表現品質を評価することにより、従来のパラメータ空間の複雑さ対策、KLは後部、重みノルム、圧縮に分岐する。 CIFAR-10(ResNet-18)でテストエラーが8.0パーセントに達し、CIFAR-100で認識されている最初の非空の証明書が得られます。 局所クラス幾何(k$-NNデコーダエラー)、デコーダ-ネットワーク合意(decoder-network agreement)、トレーニング安定性(re training stability)である。 局所クラス幾何を積極的に破壊することは、データセットの記憶をそのまま残しながら一般化を排除し、クラス幾何を一般化の因果的関連メカニズムとして識別することを示した。 最後に、学習した表現が線形読み出しよりも重み雑音にかなり敏感であることを示し、なぜパラメータ空間証明が厳密に保たれているのかを示唆する。

関連論文リスト

• Sparse Autoencoders Can Induce Local Geometry for Mitigating Catastrophic Forgetting [2.4851820343103035]
  Sparse Autoencoder Geometric Anchoring (SAGA)を紹介する。 各タスク境界で訓練されたスパースオートエンコーダ(SAE)を、表現ドリフトの局所的、低ランクな制約に変換する。 これは、評価されたER、DER++、ER-ACE、SGDベースラインの中で、最も平均的なClass-IL精度と最小平均忘れを実現する。
  論文  参考訳（メタデータ） (2026-10-15T14:42:23Z)
• An Adaptive Data cleaning Framework for Noisy Label Detection [0.0]
  ディープニューラルネットワーク(DNN)は、大きな注釈付きデータセットを与えられたコンピュータビジョンタスクに優れる。 現実世界のアプリケーションでは、ラベルは曖昧さ、ヒューマンエラー、動的環境によってしばしば破損する。 本稿では, 局所的, グローバル的, 学習動的キューを統合し, 頑健な雑音・ラベル検出を実現する自己適応型データクリーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-05T09:32:18Z)
• Sparse Semantic Dimension as a Generalization Certificate for LLMs [53.681678236115836]
  Sparse Semantic Dimension (SSD)は,モデル層上で訓練されたSparse Autoencoder (SAE)のアクティブな特徴語彙から導かれる複雑性尺度である。 我々はGPT-2 Small と Gemma-2B でこの枠組みを検証し、実際のサンプルサイズで非空き証明書を提供することを実証した。
  論文  参考訳（メタデータ） (2026-02-11T21:45:18Z)
• KoALA: KL-L0 Adversarial Detector via Label Agreement [9.360893727306324]
  KoALAは、ディープニューラルネットワークのためのセマンティックスフリーの敵検出器である。 2つの相補的類似度指標からクラス予測が一致しない場合に、敵対攻撃を検出する。 KoALA は ResNet/CIFAR-10 の精度 0.94 とリコール 0.81 、CLIP/Tiny-ImageNet の精度 0.66 とリコール 0.85 を達成している。
  論文  参考訳（メタデータ） (2025-10-14T17:33:00Z)
• Exact Certification of (Graph) Neural Networks Against Label Poisoning [50.87615167799367]
  グラフニューラルネットワーク(GNN)におけるラベルフリップの正確な認証手法を提案する。 本稿では,ノード分類タスクにおける広範囲なGNNアーキテクチャの認証に本手法を適用した。 私たちの研究は、ニューラルネットワークによって引き起こされた毒殺攻撃に対する最初の正確な認証を提示します。
  論文  参考訳（メタデータ） (2024-11-30T17:05:12Z)
• Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud Semantic Segmentation via Decoupling Optimization [64.36097398869774]
  半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。 既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。 本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-13T04:16:40Z)
• Improved techniques for deterministic l2 robustness [63.34032156196848]
  畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。 我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。 我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
  論文  参考訳（メタデータ） (2022-11-15T19:10:12Z)
• Visual Recognition with Deep Nearest Centroids [57.35144702563746]
  我々は、概念的にエレガントで驚くほど効果的な大規模視覚認識ネットワークである深部セントロイド(DNC)を考案した。 パラメトリックと比較すると、DNCは画像分類(CIFAR-10, ImageNet)に優れ、画像認識(ADE20K, Cityscapes)を大いに起動する。
  論文  参考訳（メタデータ） (2022-09-15T15:47:31Z)
• Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
  遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。 NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。 我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-23T09:35:03Z)
• Exploiting a Joint Embedding Space for Generalized Zero-Shot Semantic Segmentation [25.070027668717422]
  一般化ゼロショットセマンティックセマンティックセグメンテーション(GZS3)は、見えないクラスと見えないクラスのピクセルワイズセマンティックラベルを予測する。 ほとんどのGZS3メソッドは、対応するセマンティックなクラスから見えないクラスの視覚的特徴を合成する生成的アプローチを採用している。 統一されたフレームワークにおける制限に対処するための差別的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-08-14T13:33:58Z)
• Nonparametric Regression with Shallow Overparameterized Neural Networks Trained by GD with Early Stopping [11.24426822697648]
  GD(Gradient Descent)によってトレーニングされたニューラルネットワークは,入力に対してスムーズであることを示す。 ノイズフリーの場合、証明はいかなる核化にも依存せず、有限幅の結果と見なすことができる。
  論文  参考訳（メタデータ） (2021-07-12T11:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。