論文の概要: Softly Induced Functional Simplicity Implications for Neural Network Generalisation, Robustness, and Distillation

• arxiv url: http://arxiv.org/abs/2601.06584v1
• Date: Sat, 10 Jan 2026 14:44:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:00.888129
• Title: Softly Induced Functional Simplicity Implications for Neural Network Generalisation, Robustness, and Distillation
• Title（参考訳）: ニューラルネットワークの一般化・ロバスト性・蒸留におけるソフト誘起機能的単純性含意
• Authors: Maciej Glowacki,
• Abstract要約: 高次元入力データから堅牢で一般化可能な抽象化を学ぶことは、機械学習における中心的な課題である。 誘導バイアスに関するソフト対称性は損失に近似した退化を生じさせ、擬ゴールドストーンモードと同定する。 以上の結果から, より一般化可能で, 堅牢で, 効率的に蒸留できる抽象概念が導出されることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning robust and generalisable abstractions from high-dimensional input data is a central challenge in machine learning and its applications to high-energy physics (HEP). Solutions of lower functional complexity are known to produce abstractions that generalise more effectively and are more robust to input perturbations. In complex hypothesis spaces, inductive biases make such solutions learnable by shaping the loss geometry during optimisation. In a HEP classification task, we show that a soft symmetry respecting inductive bias creates approximate degeneracies in the loss, which we identify as pseudo-Goldstone modes. We quantify functional complexity using metrics derived from first principles Hessian analysis and via compressibility. Our results demonstrate that solutions of lower complexity give rise to abstractions that are more generalisable, robust, and efficiently distillable.
• Abstract（参考訳）: 高次元入力データから堅牢で一般化可能な抽象化を学習することは、機械学習とその高エネルギー物理学(HEP)への応用における中心的な課題である。 機能複雑性の低い解は、より効果的に一般化し、入力摂動に対してより堅牢な抽象化を生み出すことが知られている。 複素仮説空間において、帰納バイアスは、最適化中に損失幾何学を形作ることによってそのような解を学習できるようにする。 HEP分類タスクでは、帰納バイアスに関するソフト対称性が損失に近似した退化を生じさせ、擬ゴールドストーンモードと同定する。 第一原理ヘッセン解析から導かれたメトリクスと圧縮性による関数複雑性の定量化を行う。 以上の結果から, より一般化可能で, 堅牢で, 効率的に蒸留できる抽象概念が導出されることが示唆された。

関連論文リスト

• Unlocking Symbol-Level Precoding Efficiency Through Tensor Equivariant Neural Network [84.22115118596741]
  シンボルレベルのプリコーディングにおいて,推論の複雑さの低いエンドツーエンドディープラーニング(DL)フレームワークを提案する。 提案手法は,従来の手法よりも約80倍の高速化を実現しつつ,SLPの大幅な性能向上を達成できることを示す。
  論文  参考訳（メタデータ） (2025-10-02T15:15:50Z)
• Identifying Causal Direction via Variational Bayesian Compression [6.928582707713723]
  鍵となる原理はアルゴリズムマルコフ条件であり、因果方向に応じて分解された結合分布はより簡潔な符号長をもたらすと仮定する。 従来のアプローチでは、これらの符号長を単純な関数やガウス過程(GP)に頼って容易に評価可能な複雑さで近似していた。 本稿では,ニューラルネットワークの変分ベイズ学習をコード長の解釈として活用することを提案する。
  論文  参考訳（メタデータ） (2025-05-12T12:40:15Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Gradient-Based Feature Learning under Structured Data [57.76552698981579]
  異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。 バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。 特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
  論文  参考訳（メタデータ） (2023-09-07T16:55:50Z)
• Physics-Guided Problem Decomposition for Scaling Deep Learning of High-dimensional Eigen-Solvers: The Case of Schr\"{o}dinger's Equation [8.80823317679047]
  ディープニューラルネットワーク(NN)は、高次元固有値方程式を解くための従来のシミュレーション駆動アプローチの代替として提案されている。 本稿では,高次元固有ベクトルを単純なサブタスクに分解する複雑な回帰タスクを物理知識を用いて分解する。 量子力学におけるSchr"odinger's Equationに対する物理誘導問題分解の有効性を実証する。
  論文  参考訳（メタデータ） (2022-02-12T05:59:08Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。