Fugu-MT 論文翻訳(概要): Learning Neural Networks under Input-Output Specifications

論文の概要: Learning Neural Networks under Input-Output Specifications

arxiv url: http://arxiv.org/abs/2202.11246v1
Date: Wed, 23 Feb 2022 00:36:07 GMT
ステータス: 処理完了
システム内更新日: 2022-02-24 16:22:46.562953
Title: Learning Neural Networks under Input-Output Specifications
Title（参考訳）: 入出力仕様に基づくニューラルネットワークの学習
Authors: Zain ul Abdeen, He Yin, Vassilis Kekatos, Ming Jin
Abstract要約: 変換空間における凸である許容ポリシーパラメータの集合の内部近似を求める。特に,ループ変換に基づくニューラルネットの再パラメータ化手法を提案する。この理論的構成は、入力の異なる領域に対する到達可能な集合を特定する実験で検証される。
参考スコア（独自算出の注目度）: 2.0728967070798503
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we examine an important problem of learning neural networks that certifiably meet certain specifications on input-output behaviors. Our strategy is to find an inner approximation of the set of admissible policy parameters, which is convex in a transformed space. To this end, we address the key technical challenge of convexifying the verification condition for neural networks, which is derived by abstracting the nonlinear specifications and activation functions with quadratic constraints. In particular, we propose a reparametrization scheme of the original neural network based on loop transformation, which leads to a convex condition that can be enforced during learning. This theoretical construction is validated in an experiment that specifies reachable sets for different regions of inputs.
Abstract（参考訳）: 本稿では,入力出力動作の特定仕様を満たすニューラルネットワークの学習に関する重要な課題について検討する。我々の戦略は、変換空間における凸である許容ポリシーパラメータの集合の内部近似を見つけることである。そこで本研究では,非線形仕様とアクティベーション関数を2次制約で抽象化し,ニューラルネットワークの検証条件を凸化するという技術的課題を解決する。特に,ループ変換に基づく元のニューラルネットワークの再パラメータ化スキームを提案し,学習中に強制可能な凸条件を導出する。この理論的構成は、入力の異なる領域に対する到達可能な集合を特定する実験で検証される。

関連論文リスト

Topological obstruction to the training of shallow ReLU neural networks [0.0]
損失ランドスケープの幾何学と単純なニューラルネットワークの最適化軌跡との相互作用について検討する。本稿では,勾配流を用いた浅部ReLUニューラルネットワークの損失景観におけるトポロジカル障害物の存在を明らかにする。
論文参考訳（メタデータ） (2024-10-18T19:17:48Z)
Network Inversion of Binarised Neural Nets [3.5571131514746837]
ニューラルネットワークの出力マッピングに対する入力のブラックボックスの性質を解明する上で、ネットワークの反転は重要な役割を担っている。本稿では,ネットワークの構造をキャプチャするCNF式に符号化することで,訓練されたBNNを逆転させる新しい手法を提案する。
論文参考訳（メタデータ） (2024-02-19T09:39:54Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文参考訳（メタデータ） (2022-02-01T17:11:13Z)
Imbedding Deep Neural Networks [0.0]
ニューラルODEのような連続深度ニューラルネットワークは、非線形ベクトル値の最適制御問題の観点から、残留ニューラルネットワークの理解を再燃させた。本稿では,ネットワークの深さを基本変数とする新しい手法を提案する。
論文参考訳（メタデータ） (2022-01-31T22:00:41Z)
A Dimensionality Reduction Approach for Convolutional Neural Networks [0.0]
本稿では,上記の次元削減手法と入出力マッピングを組み合わせることで,事前学習ネットワークの層数を削減できる汎用手法を提案する。本実験により, 従来の畳み込みニューラルネットワークと同様の精度を達成でき, メモリ割り当てを抑えることができることがわかった。
論文参考訳（メタデータ） (2021-10-18T10:31:12Z)
A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文参考訳（メタデータ） (2021-04-29T14:31:09Z)
Learning for Integer-Constrained Optimization through Neural Networks with Limited Training [28.588195947764188]
我々は、その構成成分の機能の観点から完全に解釈可能な、対称的で分解されたニューラルネットワーク構造を導入する。整数制約の根底にあるパターンを活用することで、導入されたニューラルネットワークは、限られたトレーニングでより優れた一般化性能を提供する。提案手法は, 半分解フレームワークにさらに拡張可能であることを示す。
論文参考訳（メタデータ） (2020-11-10T21:17:07Z)
Relaxing the Constraints on Predictive Coding Models [62.997667081978825]
予測符号化(英: Predictive coding)は、脳が行う主計算が予測誤差の最小化であるとする皮質機能の影響力のある理論である。アルゴリズムの標準的な実装は、同じ前方と後方の重み、後方の非線形微分、1-1エラーユニット接続といった、潜在的に神経的に予測できない特徴を含んでいる。本稿では,これらの特徴はアルゴリズムに不可欠なものではなく,Hebbianの更新ルールを用いてパラメータセットを直接あるいは学習することで,学習性能に悪影響を及ぼすことなく除去可能であることを示す。
論文参考訳（メタデータ） (2020-10-02T15:21:37Z)
Developing Constrained Neural Units Over Time [81.19349325749037]
本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
論文参考訳（メタデータ） (2020-09-01T09:07:25Z)
Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文参考訳（メタデータ） (2020-08-19T04:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。