論文の概要: Takeuchi's Information Criteria as Generalization Measures for DNNs Close to NTK Regime

• arxiv url: http://arxiv.org/abs/2602.23219v1
• Date: Thu, 26 Feb 2026 17:01:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-27 18:41:22.798572
• Title: Takeuchi's Information Criteria as Generalization Measures for DNNs Close to NTK Regime
• Title（参考訳）: NTK規制に近づいたDNNの一般化対策としての竹内情報基準
• Authors: Hiroki Naganuma, Taiji Suzuki, Rio Yokota, Masahiro Nomura, Kohta Ishikawa, Ikuro Sato,
• Abstract要約: 一般化のギャップをよりよく特徴付けるため、機械学習コミュニティにおいて一般化対策が広く研究されている。 本研究では,この古典的尺度が深層ニューラルネットワーク(DNN)の一般化ギャップを効果的に説明できる条件を明らかにするために,竹内の情報基準(TIC)に着目した。
• 参考スコア（独自算出の注目度）: 56.89793618576349
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generalization measures have been studied extensively in the machine learning community to better characterize generalization gaps. However, establishing a reliable generalization measure for statistically singular models such as deep neural networks (DNNs) is difficult due to their complex nature. This study focuses on Takeuchi's information criterion (TIC) to investigate the conditions under which this classical measure can effectively explain the generalization gaps of DNNs. Importantly, the developed theory indicates the applicability of TIC near the neural tangent kernel (NTK) regime. In a series of experiments, we trained more than 5,000 DNN models with 12 architectures, including large models (e.g., VGG-16), on four datasets, and estimated the corresponding TIC values to examine the relationship between the generalization gap and the TIC estimates. We applied several TIC approximation methods with feasible computational costs and assessed the accuracy trade-off. Our experimental results indicate that the estimated TIC values correlate well with the generalization gap under conditions close to the NTK regime. However, we show both theoretically and empirically that outside the NTK regime such correlation disappears. Finally, we demonstrate that TIC provides better trial pruning ability than existing methods for hyperparameter optimization.
• Abstract（参考訳）: 一般化のギャップをよりよく特徴付けるため、機械学習コミュニティにおいて一般化対策が広く研究されている。 しかし、ディープニューラルネットワーク(DNN)のような統計的に特異なモデルに対する信頼性の高い一般化尺度の確立は、その複雑な性質のため困難である。 本研究では,竹内氏の情報基準(TIC)に着目し,DNNの一般化ギャップを効果的に説明できる条件について検討する。 重要なことは、発達した理論は、ニューラル・タンジェント・カーネル(NTK)体制の近くでのTICの適用可能性を示している。 実験では,大規模モデル(例えばVGG-16)を含む12のアーキテクチャを持つ5000以上のDNNモデルを4つのデータセット上で訓練し,対応するTIC値を推定し,一般化ギャップとTIC推定との関係について検討した。 提案手法は,計算コストを考慮に入れた数種類のTIC近似法を適用し,精度のトレードオフを評価した。 実験結果から,NTK体制に近い条件下での一般化ギャップと推定されたTIC値がよく相関していることが示唆された。 しかし、理論上も実証的にも、NTK体制の外部ではそのような相関関係は消失している。 最後に、TICは既存のハイパーパラメータ最適化手法よりも優れた試行錯誤能力を提供することを示した。

関連論文リスト

• Error Bounds of Supervised Classification from Information-Theoretic Perspective [0.0]
  我々は、情報理論の観点から、教師付き分類にディープニューラルネットワークを使用する場合の予測リスクのバウンダリについて検討する。 経験的リスクをさらに分解したモデルリスクとフィッティングエラーを導入する。
  論文  参考訳（メタデータ） (2024-06-07T01:07:35Z)
• NTK-Guided Few-Shot Class Incremental Learning [47.92720244138099]
  本稿では, ニューラル・タンジェント・カーネル(NTK)の観点から, 数学的一般化の観点から, 反アムネシアの新たな概念化について述べる。 提案手法は,NTK収束の最適確保とNTK関連一般化損失の最小化という2つの重要な側面に焦点をあてる。 我々のNTK-FSCILは現代の最先端のアプローチを超越し、エンドセッション精度を2.9%から9.3%向上させた。
  論文  参考訳（メタデータ） (2024-03-19T06:43:46Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Efficient kernel surrogates for neural network-based regression [0.8030359871216615]
  ニューラルタンジェントカーネル(NTK)の効率的な近似である共役カーネル(CK)の性能について検討する。 CK性能がNTKよりもわずかに劣っていることを示し、特定の場合において、CK性能が優れていることを示す。 NTKの代わりにCKを使用するための理論的基盤を提供するだけでなく,DNNの精度を安価に向上するためのレシピを提案する。
  論文  参考訳（メタデータ） (2023-10-28T06:41:47Z)
• Towards Demystifying the Generalization Behaviors When Neural Collapse Emerges [132.62934175555145]
  Neural Collapse(NC)は、トレーニング末期(TPT)におけるディープニューラルネットワークのよく知られた現象である 本稿では,列車の精度が100%に達した後も,継続訓練がテストセットの精度向上に繋がる理由を理論的に説明する。 我々はこの新たに発見された性質を「非保守的一般化」と呼ぶ。
  論文  参考訳（メタデータ） (2023-10-12T14:29:02Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Consistency and Monotonicity Regularization for Neural Knowledge Tracing [50.92661409499299]
  人間の知識獲得を追跡する知識追跡(KT)は、オンライン学習と教育におけるAIの中心的なコンポーネントです。 本稿では, 新たなデータ拡張, 代替, 挿入, 削除の3種類と, 対応する正規化損失を提案する。 さまざまなKTベンチマークに関する広範な実験は、私たちの正規化スキームがモデルのパフォーマンスを一貫して改善することを示しています。
  論文  参考訳（メタデータ） (2021-05-03T02:36:29Z)
• On Connections between Regularizations for Improving DNN Robustness [67.28077776415724]
  本稿では,ディープニューラルネットワーク(DNN)の対角的ロバスト性を改善するために最近提案された正規化条件を解析する。 入力勾配正則化,ジャコビアン正則化,曲率正則化,クロスリプシッツ関数など,いくつかの有効な方法間の接続性について検討する。
  論文  参考訳（メタデータ） (2020-07-04T23:43:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。