論文の概要: Dynamical Isometry based Rigorous Fair Neural Architecture Search
- arxiv url: http://arxiv.org/abs/2307.02263v2
- Date: Thu, 6 Jul 2023 06:56:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-07 11:01:48.922827
- Title: Dynamical Isometry based Rigorous Fair Neural Architecture Search
- Title（参考訳）: 剛性フェアニューラルアーキテクチャ探索に基づく動的アイソメトリ
- Authors: Jianxiang Luo, Junyi Hu, Tianji Pang, Weihao Huang, Chuang Liu
- Abstract要約: 動的アイソメトリに基づくニューラルアーキテクチャ探索アルゴリズムを提案する。
well-conditioned Jacobian を用いて全加群の一般化誤差を推定することにより、我々の加群選択戦略が厳密な公正であることを証明する。
- 参考スコア（独自算出の注目度）: 2.7850218655824803
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recently, the weight-sharing technique has significantly speeded up the
training and evaluation procedure of neural architecture search. However, most
existing weight-sharing strategies are solely based on experience or
observation, which makes the searching results lack interpretability and
rationality. In addition, due to the negligence of fairness, current methods
are prone to make misjudgments in module evaluation. To address these problems,
we propose a novel neural architecture search algorithm based on dynamical
isometry. We use the fix point analysis method in the mean field theory to
analyze the dynamics behavior in the steady state random neural network, and
how dynamic isometry guarantees the fairness of weight-sharing based NAS.
Meanwhile, we prove that our module selection strategy is rigorous fair by
estimating the generalization error of all modules with well-conditioned
Jacobian. Extensive experiments show that, with the same size, the architecture
searched by the proposed method can achieve state-of-the-art top-1 validation
accuracy on ImageNet classification. In addition, we demonstrate that our
method is able to achieve better and more stable training performance without
loss of generality.
- Abstract（参考訳）: 近年,重み付け技術により,ニューラルネットワーク探索のトレーニングと評価が大幅に高速化されている。
しかし、既存の重み共有戦略のほとんどは経験や観察のみに基づいており、その結果は解釈可能性や合理性に欠ける。
また, 公正性の欠如により, モジュール評価の誤判断が生じる傾向にある。
これらの問題に対処するために,動的アイソメトリに基づくニューラルアーキテクチャ探索アルゴリズムを提案する。
固定点解析法を平均場理論に用いて、定常ランダムニューラルネットワークにおける動的挙動を解析し、動的等尺法が重み付けに基づくNASの公平性を保証するかを示す。
一方,条件付きジャコビアンを持つすべてのモジュールの一般化誤差を推定することにより,モジュール選択戦略が厳密であることを示す。
大規模な実験により,提案手法で探索したアーキテクチャは,画像ネット分類における最先端のTop-1検証精度を実現することができた。
また,本手法は一般性を損なうことなく,より良く,より安定したトレーニング性能を実現することができることを示した。
関連論文リスト
- A Bayesian Unification of Self-Supervised Clustering and Energy-Based
Models [11.007541337967027]
我々は、最先端の自己教師型学習目標のベイズ分析を行う。
目的関数が既存の自己教師型学習戦略より優れていることを示す。
また、GEDIをニューロシンボリックな枠組みに統合できることを実証した。
論文 参考訳（メタデータ） (2023-12-30T04:46:16Z) - A Bayesian Approach to Robust Inverse Reinforcement Learning [54.24816623644148]
我々は、オフラインモデルに基づく逆強化学習(IRL)に対するベイズ的アプローチを考える。
提案フレームワークは,専門家の報酬関数と環境力学の主観的モデルとを同時推定することにより,既存のオフラインモデルベースIRLアプローチとは異なる。
本分析は, 専門家が環境の高精度なモデルを持つと考えられる場合, 評価政策が堅牢な性能を示すという新たな知見を提示する。
論文 参考訳（メタデータ） (2023-09-15T17:37:09Z) - A Comprehensive Study on Robustness of Image Classification Models:
Benchmarking and Rethinking [54.89987482509155]
ディープニューラルネットワークのロバスト性は、通常、敵の例、共通の腐敗、分散シフトに欠けている。
画像分類タスクにおいてtextbfARES-Bench と呼ばれる総合的なベンチマークロバスト性を確立する。
それに応じてトレーニング設定を設計することにより、新しい最先端の対人ロバスト性を実現する。
論文 参考訳（メタデータ） (2023-02-28T04:26:20Z) - ConCerNet: A Contrastive Learning Based Framework for Automated
Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。
本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2023-02-11T21:07:30Z) - Guaranteed Conservation of Momentum for Learning Particle-based Fluid
Dynamics [96.9177297872723]
本稿では,学習物理シミュレーションにおける線形運動量を保証する新しい手法を提案する。
我々は、強い制約で運動量の保存を強制し、反対称的な連続的な畳み込み層を通して実現する。
提案手法により,学習シミュレータの物理的精度を大幅に向上させることができる。
論文 参考訳（メタデータ） (2022-10-12T09:12:59Z) - Improving robustness of jet tagging algorithms with adversarial training [56.79800815519762]
本研究では,フレーバータグ付けアルゴリズムの脆弱性について,敵攻撃による検証を行った。
シミュレーション攻撃の影響を緩和する対人訓練戦略を提案する。
論文 参考訳（メタデータ） (2022-03-25T19:57:19Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Disentangling Neural Architectures and Weights: A Case Study in
Supervised Classification [8.976788958300766]
本研究は、神経構造とそのエッジウェイトの役割を解消する問題について考察する。
十分に訓練されたアーキテクチャでは、重み付けのリンク固有の微調整は不要である。
我々は、ハードアーキテクチャ探索問題を実現可能な最適化問題に変換する、新しい計算効率のよい手法を用いる。
論文 参考訳（メタデータ） (2020-09-11T11:22:22Z) - Physics-based polynomial neural networks for one-shot learning of
dynamical systems from one or a few samples [0.0]
本論文は, 単純な振り子と世界最大規模のX線源の双方について, 実測結果について述べる。
提案手法により, ノイズ, 制限, 部分的な観測から複雑な物理を復元することができることが実証された。
論文 参考訳（メタデータ） (2020-05-24T09:27:10Z) - Weighted Aggregating Stochastic Gradient Descent for Parallel Deep
Learning [8.366415386275557]
解決策には、ニューラルネットワークモデルにおける最適化のための目的関数の修正が含まれる。
本稿では,地方労働者のパフォーマンスに基づく分散型重み付けアグリゲーション方式を提案する。
提案手法を検証するため,提案手法をいくつかの一般的なアルゴリズムと比較した。
論文 参考訳（メタデータ） (2020-04-07T23:38:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。