論文の概要: Engineering flexible machine learning systems by traversing functionally
invariant paths in weight space
- arxiv url: http://arxiv.org/abs/2205.00334v1
- Date: Sat, 30 Apr 2022 19:44:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-03 13:53:55.613867
- Title: Engineering flexible machine learning systems by traversing functionally
invariant paths in weight space
- Title（参考訳）: 重み空間における関数的不変経路を横断するフレキシブル機械学習システム
- Authors: Guruprasad Raghavan, Matt Thomson
- Abstract要約: 我々は、広範囲な目的に基づいてディープニューラルネットワークの継続的なトレーニングを可能にするフレームワークを開発する。
機械学習問題の本質的な幾何学は、柔軟で堅牢なニューラルネットワークを構築するためにどのように利用できるかを示す。
- 参考スコア（独自算出の注目度）: 4.56877715768796
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Deep neural networks achieve human-like performance on a variety of
perceptual and decision making tasks. However, deep networks perform poorly
when confronted with changing tasks or goals, and broadly fail to match the
flexibility and robustness of human intelligence. Here, we develop a
mathematical and algorithmic framework that enables continual training of deep
neural networks on a broad range of objectives by defining path connected sets
of neural networks that achieve equivalent functional performance on a given
machine learning task while modulating network weights to achieve
high-performance on a secondary objective. We view the weight space of a neural
network as a curved Riemannian manifold and move a neural network along a
functionally invariant path in weight space while searching for networks that
satisfy a secondary objective. We introduce a path-sampling algorithm that
trains networks with millions of weight parameters to learn a series of image
classification tasks without performance loss. The algorithm generalizes to
accommodate a range of secondary objectives including weight-pruning and weight
diversification and exhibits state of the art performance on network
compression and adversarial robustness benchmarks. Broadly, we demonstrate how
the intrinsic geometry of machine learning problems can be harnessed to
construct flexible and robust neural networks.
- Abstract（参考訳）: ディープニューラルネットワークは、さまざまな知覚的および意思決定タスクで人間的なパフォーマンスを達成する。
しかし、深層ネットワークはタスクや目標の変更に直面すると性能が悪く、人間の知能の柔軟性や堅牢さと一致しない。
本稿では,ネットワーク重みを変調しながら与えられた機械学習タスクで同等の機能性能を達成し,二次目的の高性能を実現するパス接続型ニューラルネットワークセットを定義することにより,幅広い目的の深層ニューラルネットワークの連続的学習を可能にする数学的・アルゴリズム的枠組みを開発した。
ニューラルネットワークの重み空間を曲線リーマン多様体として捉え、重み空間内の関数不変経路に沿ってニューラルネットワークを移動させ、二次目的を満たすネットワークを探索する。
我々は,数百万の重みパラメータを持つネットワークを訓練し,性能損失を伴わずに一連の画像分類タスクを学習するパスサンプリングアルゴリズムを提案する。
本アルゴリズムは,重み付けと重みの多様化を含む2次目標の範囲を一般化し,ネットワーク圧縮と逆ロバスト性ベンチマークにおいて,技術性能の状態を提示する。
機械学習問題の本質的幾何学が、柔軟でロバストなニューラルネットワークを構築する上でどのように活用できるかを概説する。
関連論文リスト
- Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。
我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。
本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
論文 参考訳（メタデータ） (2024-05-22T17:23:15Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Neuroevolution of Recurrent Architectures on Control Tasks [3.04585143845864]
並列に並列な進化的アルゴリズムを実装し、19のOpenAI Gym状態に基づく強化学習制御タスクで実験を行う。
動的エージェントは, パラメータの桁数を桁違いに減らしながら, 勾配に基づくエージェントの性能に適合するか, 上回っていることがわかった。
論文 参考訳（メタデータ） (2023-04-03T16:29:18Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳（メタデータ） (2023-03-16T21:06:13Z) - ConCerNet: A Contrastive Learning Based Framework for Automated
Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。
本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2023-02-11T21:07:30Z) - Equivariant Architectures for Learning in Deep Weight Spaces [54.61765488960555]
重み空間の学習のための新しいネットワークアーキテクチャを提案する。
入力として、事前訓練された不変量の重みとバイアスの連結をとる。
これらのレイヤを3つの基本的な操作で実装する方法を示す。
論文 参考訳（メタデータ） (2023-01-30T10:50:33Z) - Solving hybrid machine learning tasks by traversing weight space
geodesics [6.09170287691728]
機械学習の問題は、ニューラルネットワークの重み空間を含む中心的な対象として固有の幾何学的構造を持つ。
本稿では,機械学習の目的を統一し,複数のクラスニューラルネットワークアーキテクチャに適用可能な幾何学的フレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-05T04:37:03Z) - A deep learning theory for neural networks grounded in physics [2.132096006921048]
ニューロモルフィックアーキテクチャ上で大規模で高速で効率的なニューラルネットワークを構築するには、それらを実装および訓練するためのアルゴリズムを再考する必要がある。
私たちのフレームワークは、非常に幅広いモデル、すなわち状態やダイナミクスが変動方程式によって記述されるシステムに適用されます。
論文 参考訳（メタデータ） (2021-03-18T02:12:48Z) - Learning without gradient descent encoded by the dynamics of a
neurobiological model [7.952666139462592]
本稿では,動的シグナリングの神経生物学的モデルを利用した機械学習の概念的アプローチを提案する。
MNIST画像は、教師なしの方法で、ほぼ最先端の精度で幾何学的ネットワークのダイナミクスによって一意に符号化され分類できることを示す。
論文 参考訳（メタデータ） (2021-03-16T07:03:04Z) - Continual Adaptation for Deep Stereo [52.181067640300014]
本稿では,難易度と変化の激しい環境に対処するために,深層ステレオネットワークの継続的適応パラダイムを提案する。
我々のパラダイムでは、オンラインモデルに継続的に適応するために必要な学習信号は、右から左への画像ワープや従来のステレオアルゴリズムによって自己監督から得られる。
我々のネットワークアーキテクチャと適応アルゴリズムは、初めてのリアルタイム自己適応型ディープステレオシステムを実現する。
論文 参考訳（メタデータ） (2020-07-10T08:15:58Z) - Deep neural networks for the evaluation and design of photonic devices [0.0]
レビュー:ディープニューラルネットワークは、トレーニングセットからどのように学習し、高速サロゲート電磁解法として動作するか。
フォトニクスの文脈内での基本的なデータ科学についても論じる。
論文 参考訳（メタデータ） (2020-06-30T19:52:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。