論文の概要: Interpolation, Approximation and Controllability of Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2309.06015v1
• Date: Tue, 12 Sep 2023 07:29:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-13 14:12:24.539100
• Title: Interpolation, Approximation and Controllability of Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークの補間・近似・制御性
• Authors: Jingpu Cheng, Qianxiao Li, Ting Lin, Zuowei Shen
• Abstract要約: 教師付き学習、すなわち普遍的および普遍的近似から生じる2つの特性について考察する。 普遍同値性の特徴を与え、本質的には非線型性を持つ任意のアーキテクチャに対して成り立つことを示す。
• 参考スコア（独自算出の注目度）: 18.311411538309425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the expressive power of deep residual neural networks idealized as continuous dynamical systems through control theory. Specifically, we consider two properties that arise from supervised learning, namely universal interpolation - the ability to match arbitrary input and target training samples - and the closely related notion of universal approximation - the ability to approximate input-target functional relationships via flow maps. Under the assumption of affine invariance of the control family, we give a characterisation of universal interpolation, showing that it holds for essentially any architecture with non-linearity. Furthermore, we elucidate the relationship between universal interpolation and universal approximation in the context of general control systems, showing that the two properties cannot be deduced from each other. At the same time, we identify conditions on the control family and the target function that ensures the equivalence of the two notions.
• Abstract（参考訳）: 制御理論により連続力学系として理想化された深部ニューラルネットワークの表現力について検討する。 具体的には、任意の入力と目標のトレーニングサンプルにマッチするユニバーサル補間(universal interpolation)と、フローマップを介して入力とターゲットの機能的関係を近似するユニバーサル近似(universal approximation)という、教師あり学習から生じる2つの特性について考察する。 制御ファミリのアフィン不変性の仮定の下では、普遍補間の特徴を与え、非線型性を持つ任意のアーキテクチャに対して本質的に成り立つことを示す。 さらに,一般制御系における普遍補間と普遍近似の関係を解明し,この2つの性質は互いに推論できないことを示した。 同時に、制御ファミリーの条件と2つの概念の同値性を保証する対象関数を同定する。

関連論文リスト

• Emergence of Globally Attracting Fixed Points in Deep Neural Networks With Nonlinear Activations [24.052411316664017]
  本稿では、2つの異なる入力に対して隠された表現の類似性を計測するカーネルシーケンスの進化に関する理論的枠組みを提案する。 非線形アクティベーションに対しては、カーネルシーケンスは、アクティベーションとネットワークアーキテクチャに依存する同様の表現に対応可能な、一意の固定点にグローバルに収束する。 この研究は、ディープニューラルネットワークの暗黙のバイアスと、アーキテクチャ上の選択が層間の表現の進化にどのように影響するかについて、新たな洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-26T07:10:47Z)
• Inferring Relational Potentials in Interacting Systems [56.498417950856904]
  このような相互作用を発見する代替手法として、ニューラル・インタラクション・推論(NIIP)を提案する。 NIIPは観測された関係制約を尊重する軌道のサブセットに低エネルギーを割り当てる。 別々に訓練されたモデル間での相互作用の型を交換するなどの軌道操作や、軌道予測を可能にする。
  論文  参考訳（メタデータ） (2023-10-23T00:44:17Z)
• Learning Complete Topology-Aware Correlations Between Relations for Inductive Link Prediction [121.65152276851619]
  関係性間の意味的相関は本質的にエッジレベルとエンティティ非依存であることを示す。 本研究では,関係関係のトポロジ・アウェア・コレレーションをモデル化するための新しいサブグラフベース手法,TACOを提案する。 RCNのポテンシャルをさらに活用するために, 完全コモンニアインダストリアルサブグラフを提案する。
  論文  参考訳（メタデータ） (2023-09-20T08:11:58Z)
• Entanglement statistics of randomly interacting spins [62.997667081978825]
  絡み合いは、量子ビット間の相互作用の基盤となる位相に依存する。 ランダムな相互作用を持つ2と3の量子ビットからなる系の基底状態における絡みについて検討する。
  論文  参考訳（メタデータ） (2023-07-18T23:58:32Z)
• A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer Neural Networks [49.870593940818715]
  本稿では,第1層がランダムで固定された3層NNモデルの無限幅限界について検討する。 我々の理論はモデルの異なるスケーリング選択に対応しており、結果としてMF制限の2つの条件が顕著な振舞いを示す。
  論文  参考訳（メタデータ） (2022-10-28T17:26:27Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• Covariance Decomposition as a Universal Limit on Correlations in Networks [2.9443230571766845]
  本研究では,ある条件を満たすネットワークにおいて,任意の有理相関の共分散行列を,各項がネットワークの情報源に対応する正半定値行列の和として分解可能であることを示す。 我々の結果は、古典的、量子的、および全ての一般化された確率論を含む、ネットワークにおける相関の物理的理論に成り立つという意味で普遍的である。
  論文  参考訳（メタデータ） (2021-03-27T08:26:45Z)
• A Universal Model for Cross Modality Mapping by Relational Reasoning [29.081989993636338]
  クロスモダリティマッピングは、コンピュータビジョンコミュニティで注目を集めています。 本稿では,相互関係を効率的に計算するGCNベースのReasoning Network(RR-Net)を提案する。 画像分類,ソーシャルレコメンデーション,および音声認識の3つの例による実験により,提案モデルの優越性と普遍性を明らかにした。
  論文  参考訳（メタデータ） (2021-02-26T08:56:24Z)
• Universal Approximation Power of Deep Residual Neural Networks via Nonlinear Control Theory [9.210074587720172]
  我々は、幾何学的非線形制御により、ディープ残差ニューラルネットワークの普遍近似能力を説明する。 残余ネットワークと制御システムとのリンクを確立する最近の研究に触発されて、残余ネットワークが普遍近似の力を持つための一般的な条件を提供する。
  論文  参考訳（メタデータ） (2020-07-12T14:53:30Z)
• Coupling-based Invertible Neural Networks Are Universal Diffeomorphism Approximators [72.62940905965267]
  結合フロー(CF-INN)に基づく可逆ニューラルネットワークは、画像合成や表現学習など、さまざまな機械学習応用を有する。 CF-INNは可逆関数に対する普遍近似器か? 我々は、ある微分同相類に対する普遍性の同値性を示す一般的な定理を証明する。
  論文  参考訳（メタデータ） (2020-06-20T02:07:37Z)
• Complex networks with tuneable dimensions as a universality playground [0.0]
  本稿では,普遍性,スペクトル次元に対する基本的ネットワークパラメータの役割について論じる。 明示的な計算により、このモデルのスペクトル次元が1ドルから無限大まで連続的に調整できることが証明される。 非均質構造上の普遍的挙動を探索するツールとしての我々のモデルを提案し、そのようなネットワーク上の相関モデルの普遍的挙動が、分数ユークリッド次元における連続場理論の1つを模倣する可能性についてコメントする。
  論文  参考訳（メタデータ） (2020-06-18T10:56:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。