論文の概要: How Far Can Sharpness and Complexity Jointly Explain Generalization?
- arxiv url: http://arxiv.org/abs/2606.29043v1
- Date: Sat, 27 Jun 2026 18:39:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.772211
- Title: How Far Can Sharpness and Complexity Jointly Explain Generalization?
- Title（参考訳）: シャープネスと複雑度はどのようにして一般化できるのか?
- Abstract要約: シャープネスと複雑性は、ディープニューラルネットワークの一般化解析における2つの中心的な要因である。
この研究は、いかにシャープさと複雑さが一般化を共同で説明できるかを研究する。
- 参考スコア（独自算出の注目度）: 14.813398402651726
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sharpness and complexity are two central factors in the generalization analysis of deep neural networks. Existing quantitative evaluations of generalization measures have largely focused on individual scalar measures, leaving the joint explanatory power of sharpness and complexity largely unexplored. This work studies how far sharpness and complexity can jointly explain generalization. We use linear regression and introduce a Pareto-based analysis to quantitatively evaluate the joint explanatory power of these two factors. Beyond the existing parameter-level definitions, we further propose realizations of sharpness and complexity that are closer to function space and less dependent on raw parameter representations. We find that function-oriented definitions of these two quantities expand the explanatory scope of the two-factor view beyond what is achieved by existing parameter-level metrics. Overall, our results support the sharpness-complexity perspective as an informative lens for understanding generalization across diverse settings. At the same time, the remaining failures indicate that whether this two-factor view can serve as a complete theory of generalization remains open.
- Abstract（参考訳）: シャープネスと複雑性は、ディープニューラルネットワークの一般化解析における2つの中心的な要因である。
既存の一般化尺度の定量的評価では、個々のスカラー測度に主に焦点が当てられており、シャープネスと複雑性の合同説明力はほとんど探索されていない。
この研究は、いかにシャープさと複雑さが一般化を共同で説明できるかを研究する。
線形回帰を用いて,これらの2因子の関節説明力を定量的に評価するために,Paretoに基づく解析を導入する。
既存のパラメータレベル定義以外にも、関数空間に近づき、生パラメータ表現に依存しないシャープネスと複雑性の実現についても提案する。
これら2つの量に対する関数指向の定義は、既存のパラメータレベルのメトリクスによって達成されるものを超えて、2要素ビューの説明範囲を広げている。
全体として,本研究は,多種多様な設定の一般化を理解するための情報レンズとして,シャープネス・複雑度の観点から支援している。
同時に、残りの失敗は、この2要素の観点が一般化の完全な理論として機能するかどうかが未開であることを示している。
関連論文リスト
- Pointwise Generalization in Deep Neural Networks [24.565019622696664]
深層ネットワークのトラクタビリティを説明する構造特性と数学的原理を同定する。
深層ネットワークは数学的に計算可能であり,その一般化はポイントワイズ,特徴スペクトル認識複雑性によって明確に説明できることを示す。
論文 参考訳（メタデータ） (2026-05-18T16:09:06Z) - Rethinking Generalization in Graph Neural Networks: A Structural Complexity Perspective [41.727617218821386]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習するための基本的なツールとして登場した。
グラフ構造は実際に一般化に影響を与えますか?
最初の質問に答え、直観を検証するために、予測プロセスにより多くのエッジを組み込むことで、入力表現が出力モデルに過度に同調するように変換され、過度な適合が生じることを理論的に証明する。
2つ目の問題に対処するために、有効エッジの数に基づいて構造的複雑性尺度を定式化し、Radecher複雑性に基づく一般化境界を導出する。
論文 参考訳（メタデータ） (2026-05-13T14:32:46Z) - Understanding Generalization from Embedding Dimension and Distributional Convergence [13.491874401333021]
表現中心の観点から一般化を研究し、学習した埋め込みの幾何学が固定訓練モデルの予測性能をどのように制御するかを分析する。
人口リスクは, (i) 埋込み分布の内在的次元, (i) 埋込み分布のワッサーシュタイン距離における人口分布への収束率, (ii) 埋込みから予測への下流マッピングの感度, (ii) リプシッツ定数によって特徴づけられる。
論文 参考訳（メタデータ） (2026-01-30T09:32:04Z) - Unifying Information-Theoretic and Pair-Counting Clustering Similarity [51.660331450043806]
クラスタリング類似度尺度は通常、ペアカウントと情報理論の2つの主要なファミリーに分けられる。
本稿では,2つの相補的な観点から,これらの家族を統一する分析枠組みを開発する。
論文 参考訳（メタデータ） (2025-11-04T21:13:32Z) - Bridging Reasoning to Learning: Unmasking Illusions using Complexity Out of Distribution Generalization [8.236500918322138]
本稿では,分散の複雑さ(複雑度OoD)の一般化を推論を定義し,測定するためのフレームワークとして提案する。
モデルは、必要最小限のソリューションの複雑さがすべてのトレーニング例の複雑さを超えるテストインスタンスのパフォーマンスを維持するときに、複雑さのOoD一般化を示す。
私たちはこの視点を,スタック全体にわたる複雑度OoDの運用を推奨する形で,実践に転換します。
論文 参考訳（メタデータ） (2025-10-06T13:08:31Z) - Skews in the Phenomenon Space Hinder Generalization in Text-to-Image Generation [59.138470433237615]
本稿では,関係学習用データセットの言語的スキューと視覚的スクリューの両方を定量化する統計指標を提案する。
系統的に制御されたメトリクスは、一般化性能を強く予測できることを示す。
この研究は、データの多様性やバランスを向上し、絶対的なサイズをスケールアップするための重要な方向を示します。
論文 参考訳（メタデータ） (2024-03-25T03:18:39Z) - Vector-based Representation is the Key: A Study on Disentanglement and
Compositional Generalization [77.57425909520167]
良質な概念認識と斬新な概念構成を両立させることが可能であることを示す。
本研究では,スカラーベース・アンタングル化作業のベクトルベース化を図り,両機能を向上する手法を提案する。
論文 参考訳（メタデータ） (2023-05-29T13:05:15Z) - Enriching Disentanglement: From Logical Definitions to Quantitative Metrics [59.12308034729482]
複雑なデータにおける説明的要素を遠ざけることは、データ効率の表現学習にとって有望なアプローチである。
論理的定義と量的指標の関連性を確立し, 理論的に根ざした絡み合いの指標を導出する。
本研究では,非交叉表現の異なる側面を分離することにより,提案手法の有効性を実証的に実証する。
論文 参考訳（メタデータ） (2023-05-19T08:22:23Z) - On the Complexity of Bayesian Generalization [141.21610899086392]
我々は、多様かつ自然な視覚スペクトルにおいて、概念一般化を大規模に考える。
問題空間が大きくなると、2つのモードが研究され、$complexity$が多様になる。
論文 参考訳（メタデータ） (2022-11-20T17:21:37Z) - In Search of Robust Measures of Generalization [79.75709926309703]
我々は、一般化誤差、最適化誤差、過大なリスクのバウンダリを開発する。
経験的に評価すると、これらの境界の大部分は数値的に空白である。
我々は、分散ロバストネスの枠組みの中で、一般化対策を評価するべきであると論じる。
論文 参考訳（メタデータ） (2020-10-22T17:54:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。