論文の概要: An Adaptive Tangent Feature Perspective of Neural Networks

• arxiv url: http://arxiv.org/abs/2308.15478v1
• Date: Tue, 29 Aug 2023 17:57:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-30 12:53:25.380330
• Title: An Adaptive Tangent Feature Perspective of Neural Networks
• Title（参考訳）: ニューラルネットワークの適応的タンジェント特徴視点
• Authors: Daniel LeJeune, Sina Alemohammad
• Abstract要約: 特徴量の線形変換を考察し、パラメータと双線型制約による変換を共同で最適化する。 ニューラルネットワークの構造に特化して、機能がどのように変化し、カーネル関数が変化するかについての洞察を得る。 単純な回帰問題における実ニューラルネットワークの理論的観測の検証に加えて、タンジェント特徴分類の適応的特徴実装は、サンプルの複雑さが桁違いに低いことを実証的に示す。
• 参考スコア（独自算出の注目度）: 4.900298402690262
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In order to better understand feature learning in neural networks, we propose a framework for understanding linear models in tangent feature space where the features are allowed to be transformed during training. We consider linear transformations of features, resulting in a joint optimization over parameters and transformations with a bilinear interpolation constraint. We show that this optimization problem has an equivalent linearly constrained optimization with structured regularization that encourages approximately low rank solutions. Specializing to neural network structure, we gain insights into how the features and thus the kernel function change, providing additional nuance to the phenomenon of kernel alignment when the target function is poorly represented using tangent features. In addition to verifying our theoretical observations in real neural networks on a simple regression problem, we empirically show that an adaptive feature implementation of tangent feature classification has an order of magnitude lower sample complexity than the fixed tangent feature model on MNIST and CIFAR-10.
• Abstract（参考訳）: ニューラルネットワークにおける特徴学習をよりよく理解するために、訓練中に特徴を変換できる接する特徴空間における線形モデルを理解するためのフレームワークを提案する。 特徴量の線形変換を考慮し、双線型補間制約によるパラメータと変換を共同で最適化する。 この最適化問題は, ほぼ低ランク解を奨励する構造的正則化と等価な線形制約付き最適化を持つことを示す。 ニューラルネットワーク構造に特化して,特徴がどのようにカーネル関数が変化するかの洞察を得るとともに,ターゲット関数がタンジェント特徴を用いて表現されにくい場合に,カーネルアライメント現象に付加的なニュアンスを与える。 単純な回帰問題による実ニューラルネットワークにおける理論的観察の検証に加えて,接点分類の適応的特徴実装は,mnistやcifar-10の固定接点特徴モデルよりも1桁低いサンプル複雑性を持つことを示す。

関連論文リスト

• Improving Generalization of Deep Neural Networks by Optimum Shifting [33.092571599896814]
  本稿では,ニューラルネットワークのパラメータを最小値からフラット値に変化させる,近位シフトと呼ばれる新しい手法を提案する。 本手法は,ニューラルネットワークの入力と出力が固定された場合,ネットワーク内の行列乗算を,未決定線形方程式系として扱うことができることを示す。
  論文  参考訳（メタデータ） (2024-05-23T02:31:55Z)
• Regularized Gauss-Newton for Optimizing Overparameterized Neural Networks [2.0072624123275533]
  一般化されたガウスニュートン(GGN)最適化法は、曲率推定を解法に組み込む。 本研究では、2層ニューラルネットワークを明示的な正規化で最適化するGGN法について検討する。
  論文  参考訳（メタデータ） (2024-04-23T10:02:22Z)
• Hallmarks of Optimization Trajectories in Neural Networks: Directional Exploration and Redundancy [75.15685966213832]
  最適化トラジェクトリのリッチな方向構造をポイントワイズパラメータで解析する。 トレーニング中のスカラーバッチノルムパラメータは,ネットワーク全体のトレーニング性能と一致していることを示す。
  論文  参考訳（メタデータ） (2024-03-12T07:32:47Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Fast Adaptation with Linearized Neural Networks [35.43406281230279]
  ニューラルネットワークの線形化の帰納的バイアスについて検討し,全ネットワーク関数の驚くほどよい要約であることを示した。 この発見に触発されて,これらの帰納的バイアスをネットワークのヤコビアンから設計されたカーネルを通してガウス過程に埋め込む手法を提案する。 この設定では、領域適応は不確実性推定を伴う解釈可能な後方推論の形式を取る。
  論文  参考訳（メタデータ） (2021-03-02T03:23:03Z)
• Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
  経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。 本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2020-09-05T02:25:23Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Implicit Regularization via Neural Feature Alignment [39.257382575749354]
  ニューラル・タンジェントの特徴の動的アライメントによって引き起こされる正規化効果を強調した。 線形モデルに対するラデマッハ複雑性境界の新しい解析を外挿することにより、この現象を捉える複雑性尺度を動機付け、研究する。
  論文  参考訳（メタデータ） (2020-08-03T15:18:07Z)
• Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
  有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。 正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。 高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
  論文  参考訳（メタデータ） (2020-02-25T23:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。