論文の概要: Unnatural Algorithms in Machine Learning
- arxiv url: http://arxiv.org/abs/2312.04739v1
- Date: Thu, 7 Dec 2023 22:43:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-11 16:46:58.884022
- Title: Unnatural Algorithms in Machine Learning
- Title（参考訳）: 機械学習における不自然なアルゴリズム
- Authors: Christian Goodbrake
- Abstract要約: この特性を持つ最適化アルゴリズムは、自然勾配降下の離散近似とみなすことができる。
本稿では、この自然性をより一般的に導入する簡単な方法を紹介し、多くの一般的な機械学習トレーニングアルゴリズムについて検討する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Natural gradient descent has a remarkable property that in the small learning
rate limit, it displays an invariance with respect to network
reparameterizations, leading to robust training behavior even for highly
covariant network parameterizations. We show that optimization algorithms with
this property can be viewed as discrete approximations of natural
transformations from the functor determining an optimizer's state space from
the diffeomorphism group if its configuration manifold, to the functor
determining that state space's tangent bundle from this group. Algorithms with
this property enjoy greater efficiency when used to train poorly parameterized
networks, as the network evolution they generate is approximately invariant to
network reparameterizations. More specifically, the flow generated by these
algorithms in the limit as the learning rate vanishes is invariant under smooth
reparameterizations, the respective flows of the parameters being determined by
equivariant maps. By casting this property a natural transformation, we allow
for generalizations beyond equivariance with respect to group actions; this
framework can account for non-invertible maps such as projections, creating a
framework for the direct comparison of training behavior across non-isomorphic
network architectures, and the formal examination of limiting behavior as
network size increases by considering inverse limits of these projections,
should they exist. We introduce a simple method of introducing this naturality
more generally and examine a number of popular machine learning training
algorithms, finding that most are unnatural.
- Abstract（参考訳）: 自然勾配降下は、学習速度の制限が小さい場合、ネットワーク再パラメータ化に対する不変性を示し、高い共変ネットワークパラメータ化においても堅牢なトレーニング行動をもたらすという驚くべき特性を持つ。
この性質を持つ最適化アルゴリズムは、その構成多様体が微分同相群であれば、オプティマイザの状態空間を決定づける関手から、この群から状態空間の接束を決定する関手まで、自然変換の離散近似と見なすことができる。
この特性を持つアルゴリズムは、ネットワークの進化がネットワーク再パラメータ化にほぼ不変であるため、低パラメータ化ネットワークのトレーニングに使用する場合、より効率がよい。
より具体的には、学習速度が消えるにつれて、これらのアルゴリズムによって生成されたフローは滑らかなパラメータ化の下で不変であり、各パラメータのフローは等変写像によって決定される。
この性質を自然な変換とすることで、群作用に関して同値を超える一般化が可能になる; このフレームワークは射影のような非可逆写像を説明でき、非同型ネットワークアーキテクチャ間でのトレーニング行動の直接比較のための枠組みを作成し、これらの射影の逆極限を考慮し、ネットワークサイズが増加するにつれて制限行動の形式的検証を行う。
我々は、この自然性を導入する簡単な方法を導入し、多くの一般的な機械学習トレーニングアルゴリズムを調べ、その多くが不自然なものであることを発見した。
関連論文リスト
- Relative Representations: Topological and Geometric Perspectives [53.88896255693922]
相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。
相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。
第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
論文 参考訳（メタデータ） (2024-09-17T08:09:22Z) - Training Scale-Invariant Neural Networks on the Sphere Can Happen in
Three Regimes [3.808063547958558]
本研究では、固定ELRを用いて、球面上でのスケール不変ニューラルネットワークのトレーニング特性について検討する。
本研究では, 収束, カオス平衡, 分散という, ELR の値に依存する3つの訓練条件を見いだす。
論文 参考訳（メタデータ） (2022-09-08T10:30:05Z) - Object Representations as Fixed Points: Training Iterative Refinement
Algorithms with Implicit Differentiation [88.14365009076907]
反復的洗練は表現学習に有用なパラダイムである。
トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
論文 参考訳（メタデータ） (2022-07-02T10:00:35Z) - Improving the Sample-Complexity of Deep Classification Networks with
Invariant Integration [77.99182201815763]
変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。
そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。
本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
論文 参考訳（メタデータ） (2022-02-08T16:16:11Z) - Topographic VAEs learn Equivariant Capsules [84.33745072274942]
本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。
このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。
我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
論文 参考訳（メタデータ） (2021-09-03T09:25:57Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳（メタデータ） (2021-06-09T08:05:36Z) - Tractable structured natural gradient descent using local
parameterizations [43.51581051770027]
構造化パラメータ空間上の自然勾配降下は、複雑な逆フィッシャー行列計算により計算的に困難である。
我々は, emphlocal-パラメータ座標を用いてこの問題に対処する。
我々は、ディープラーニング、変分推論、進化戦略に関する様々な応用について結果を示す。
論文 参考訳（メタデータ） (2021-02-15T09:09:20Z) - Structured Sparsity Inducing Adaptive Optimizers for Deep Learning [94.23102887731417]
本稿では、近位勾配法に必要な成分である重み付き近位作用素を導出する。
この適応法は, 重み付き近位演算子とともに, 空間パターンに構造をもつ解を求めることができることを示す。
論文 参考訳（メタデータ） (2021-02-07T18:06:23Z) - Screening for Sparse Online Learning [11.523471275501855]
スパーシティ促進レギュラライザーは、低複素構造(例えば)を課すために広く使用されている。
l1-norm for sparsity) 教師付き学習の回帰係数に対する。
ほとんどのオンラインアルゴリズムは、ステップサイズと非消去の分散のためにプロパティを持っていません。
本稿では,オンラインアルゴリズムが生成するイテレートの不要な特徴を解消する方法を示し,有限なアクティビティ同定を強制する。
論文 参考訳（メタデータ） (2021-01-18T10:40:47Z) - Training Invertible Linear Layers through Rank-One Perturbations [0.0]
この研究は、非可逆線形層をトレーニングするための新しいアプローチを示す。
ネットワークパラメータを直接最適化する代わりに、ランク1の摂動を訓練し、しばしば実際の重み行列に追加する。
このような非可逆ブロックが混合性を改善し, 結果として発生する流れのモード分離を正規化する方法を示す。
論文 参考訳（メタデータ） (2020-10-14T12:43:47Z) - Distributed Value Function Approximation for Collaborative Multi-Agent
Reinforcement Learning [2.7071541526963805]
本稿では,多エージェントオフポリシー学習のための分散勾配に基づく時間差分アルゴリズムを提案する。
提案するアルゴリズムは,その形式,可視性トレースの定義,時間スケールの選択,コンセンサス反復を組み込む方法などによって異なる。
より弱い情報構造制約の下で時間差分アルゴリズムにどのように適用できるかを示す。
論文 参考訳（メタデータ） (2020-06-18T11:46:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。