論文の概要: Deep learning from a control vantage point

• arxiv url: http://arxiv.org/abs/2610.14385v1
• Date: Fri, 09 Oct 2026 23:11:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.041712
• Title: Deep learning from a control vantage point
• Title（参考訳）: 制御バンテージ点からの深層学習
• Abstract要約: この記事では、制御バンテージの観点からのディープラーニングの最近の発展について概説する。 フィードフォワードと残留ニューラルネットワーク、トランスフォーマー、大言語モデル、選択状態空間モデルなど、いくつかのモデルのクラスをレビューする。
• 参考スコア（独自算出の注目度）: 3.669030795793025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This article offers an overview of recent developments in deep learning from a control vantage point. It reviews several classes of models including feedforward and residual neural networks, transformers, large-language models, and selective state space models while explaining how control theory plays an important role in understanding their training, properties, or architecture design. The article explains how residual neural networks can be interpreted as the discretization of a continuous-time control system thereby enabling the use of control theoretic techniques for its analysis. To illustrate the power of this bridge between control and deep learning, two technical results are discussed: 1) the ability of a residual neural network to approximate arbitrary continuous functions is a non-standard controllability problem that can be solved using geometric nonlinear control and 2) transformers, the key architectural component of most large language-models, can be seen the discretization of a consensus algorithm and thus large language-models exhibit consensus. Another point of contact between control theory and deep learning is the connection between backpropagation, the algorithm used to train neural networks, and optimal control. The article addresses how the older connection between these problems, established in the 80's using discrete-time models can be reconciled with the more recent approach using continuous-time models. Several open problems and directions for future research are discussed, including selective state-space models, a recent class of models inspired by the models used in control.
• Abstract（参考訳）: この記事では、制御バンテージの観点からのディープラーニングの最近の発展について概説する。 フィードフォワードと残留ニューラルネットワーク、トランスフォーマー、大言語モデル、選択状態空間モデルなど、いくつかのモデルのクラスをレビューし、制御理論がトレーニング、特性、アーキテクチャ設計を理解する上でどのように重要な役割を果たすかを説明している。 この記事では、残余ニューラルネットワークを、連続時間制御システムの離散化として解釈し、その解析に制御理論技術の使用を可能にする方法について説明する。 この制御と深層学習の橋梁の力を説明するために,2つの技術的結果について議論する。 1) 任意の連続関数を近似する残差ニューラルネットワークの能力は、幾何学的非線形制御を用いて解くことができる非標準制御可能性問題である。 2)ほとんどの大規模言語モデルの主要なアーキテクチャコンポーネントであるトランスフォーマーは、コンセンサスアルゴリズムの離散化を見ることができるため、大きな言語モデルではコンセンサスを示すことができる。 制御理論とディープラーニングの間のもう1つの接触点は、バックプロパゲーション、ニューラルネットワークのトレーニングに使用されるアルゴリズム、最適制御の接続である。 この記事では、80年代に離散時間モデルを用いて確立されたこれらの問題間の古い接続が、最近のアプローチである連続時間モデルとどのように調和するかについて論じる。 選択状態空間モデル、制御に使用されるモデルにインスパイアされた最近のモデルのクラスなど、将来の研究のためのいくつかのオープンな問題と方向性について論じる。

関連論文リスト

• Machine Learning and Control: Foundations, Advances, and Perspectives [0.0]
  重畳制御性やアンサンブル制御性といった概念は、ディープニューラルネットワークの分類と表現特性に新たな洞察を与えることを示す。 また、動的ニューラルネットワークと静的ニューラルネットワークの関係についても検討する。 偏微分方程式の文脈で長い間確立されてきた拡散過程の古典的性質が、現代の生成人工知能の成功を説明するのにどのように貢献するかを述べる。
  論文  参考訳（メタデータ） (2025-09-30T10:47:26Z)
• Neural Network Reprogrammability: A Unified Theme on Model Reprogramming, Prompt Tuning, and Prompt Instruction [57.19302613163439]
  モデル適応のための統一フレームワークとして,ニューラルネットワークの再プログラム可能性を導入する。 本稿では,4つの重要な側面にまたがる情報操作アプローチを分類する分類法を提案する。 残る技術的課題や倫理的考察も分析する。
  論文  参考訳（メタデータ） (2025-06-05T05:42:27Z)
• An effective theory of collective deep learning [1.3812010983144802]
  我々は、近年の分散化アルゴリズムを凝縮する最小限のモデルを導入する。 線形ネットワークの有効理論を導出し、我々のシステムの粗粒度挙動が変形したギンズバーグ・ランダウモデルと等価であることを示す。 MNISTデータセットで訓練された現実的なニューラルネットワークの結合アンサンブルで理論を検証した。
  論文  参考訳（メタデータ） (2023-10-19T14:58:20Z)
• Is Disentanglement enough? On Latent Representations for Controllable Music Generation [78.8942067357231]
  強い生成デコーダが存在しない場合、アンタングル化は必ずしも制御性を意味するものではない。 VAEデコーダに対する潜伏空間の構造は、異なる属性を操作するための生成モデルの能力を高める上で重要な役割を果たす。
  論文  参考訳（メタデータ） (2021-08-01T18:37:43Z)
• Machine Learning in Event-Triggered Control: Recent Advances and Open Issues [0.7699714865575188]
  本稿では、イベントトリガー制御と機械学習の併用に関する文献をレビューする。 機械学習の利用目的に応じて、これらの学習アルゴリズムが異なるアプリケーションにどのように使用できるかについて論じる。
  論文  参考訳（メタデータ） (2020-09-27T08:11:34Z)
• Developing Constrained Neural Units Over Time [81.19349325749037]
  本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。 ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。 提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
  論文  参考訳（メタデータ） (2020-09-01T09:07:25Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。