論文の概要: Observability conditions for neural state-space models with eigenvalues and their roots of unity

• arxiv url: http://arxiv.org/abs/2504.15758v1
• Date: Tue, 22 Apr 2025 10:10:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-30 21:08:00.752443
• Title: Observability conditions for neural state-space models with eigenvalues and their roots of unity
• Title（参考訳）: 固有値をもつニューラル状態空間モデルの観測可能性条件とそのユニティの根
• Authors: Andrew Gracyk,
• Abstract要約: 本研究では,ニューラル状態空間モデルとMambaアーキテクチャの文脈における可観測性の概念について検討する。 我々は,学習コンテキストに合わせて,可観測性を強制する戦略を開発する。 本手法は,可観測性を有する場合の計算効率を向上する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We operate through the lens of ordinary differential equations and control theory to study the concept of observability in the context of neural state-space models and the Mamba architecture. We develop strategies to enforce observability, which are tailored to a learning context, specifically where the hidden states are learnable at initial time, in conjunction to over its continuum, and high-dimensional. We also highlight our methods emphasize eigenvalues, roots of unity, or both. Our methods effectuate computational efficiency when enforcing observability, sometimes at great scale. We formulate observability conditions in machine learning based on classical control theory and discuss their computational complexity. Our nontrivial results are fivefold. We discuss observability through the use of permutations in neural applications with learnable matrices without high precision. We present two results built upon the Fourier transform that effect observability with high probability up to the randomness in the learning. These results are worked with the interplay of representations in Fourier space and their eigenstructure, nonlinear mappings, and the observability matrix. We present a result for Mamba that is similar to a Hautus-type condition, but instead employs an argument using a Vandermonde matrix instead of eigenvectors. Our final result is a shared-parameter construction of the Mamba system, which is computationally efficient in high exponentiation. We develop a training algorithm with this coupling, showing it satisfies a Robbins-Monro condition under certain orthogonality, while a more classical training procedure fails to satisfy a contraction with high Lipschitz constant.
• Abstract（参考訳）: 我々は、通常の微分方程式と制御理論のレンズを通して、ニューラル状態空間モデルとマンバアーキテクチャの文脈における可観測性の概念を研究する。 我々は,学習コンテキストに合わせた可観測性,特に隠れた状態が学習可能な場合,連続体と高次元を同時に実施するための戦略を開発する。 我々はまた、固有値、ユニティの根、あるいは両方を強調する方法を強調します。 我々の手法は、時として大規模な観測可能性を実現する際に、計算効率を効果的に発揮する。 古典的制御理論に基づく機械学習における可観測性条件を定式化し,その計算複雑性について議論する。 我々の非自明な結果は5倍だ。 学習可能な行列を用いたニューラルネットワークにおける置換を用いた可観測性について,高精度に議論する。 本研究では, フーリエ変換を用いて, 確率の高い観測可能性から学習のランダム性に至る2つの結果を示す。 これらの結果はフーリエ空間における表現の相互作用とその固有構造、非線形写像、可観測行列で研究される。 我々は、Hautus型条件に類似したMambaに対する結果を示すが、代わりに固有ベクトルの代わりにVandermonde行列を用いて議論する。 最終結果はMambaシステムの共有パラメータ構成であり,高指数化では計算効率がよい。 この結合によるトレーニングアルゴリズムを開発し、特定の直交の下でロビンス・モンロー条件を満たす一方、より古典的なトレーニング手順では高いリプシッツ定数の収縮を満たすことができないことを示す。

関連論文リスト

• Efficient Hamiltonian, structure and trace distance learning of Gaussian states [2.949446809950691]
  ガウス図形モデル学習における広く研究されている問題の量子一般化について検討する。 我々は、その基礎となる二次ハミルトニアンのパラメータを推論するタスクのための効率的なプロトコルを得る。 同様の設定とサンプルの複雑さで、基礎となる相互作用グラフを学習できることが示される。
  論文  参考訳（メタデータ） (2024-11-05T15:07:20Z)
• Range, not Independence, Drives Modularity in Biologically Inspired Representations [52.48094670415497]
  我々は、生物学的にインスピレーションを受けたネットワークが、ソース変数(ソース)の表現をモジュール化する理論を開発する。 我々は、最適な線形オートエンコーダのニューロンがモジュラー化するかどうかを決定するソースのサンプルに対して、必要かつ十分な条件を導出する。 我々の理論はどんなデータセットにも当てはまり、以前の研究で研究された統計的な独立性よりもはるかに長い。
  論文  参考訳（メタデータ） (2024-10-08T17:41:37Z)
• Arbitrary Polynomial Separations in Trainable Quantum Machine Learning [0.8532753451809455]
  量子機械学習の最近の理論的結果は、量子ニューラルネットワーク(QNN)の表現力とトレーニング可能性との一般的なトレードオフを示している。 我々は、文脈性が表現性分離の源であることを示し、この性質を持つ他の学習タスクが量子学習アルゴリズムの使用の自然な設定である可能性を示唆している。
  論文  参考訳（メタデータ） (2024-02-13T17:12:01Z)
• Ginger: An Efficient Curvature Approximation with Linear Complexity for General Neural Networks [33.96967104979137]
  ガウス・ニュートン法のような二階最適化手法は、目的関数の曲率情報を利用するため、より強力であると考えられる。 一般化されたガウスニュートン行列の近似の固有元であるギンガーを提案する。
  論文  参考訳（メタデータ） (2024-02-05T18:51:17Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Minimax Optimal Kernel Operator Learning via Multilevel Training [11.36492861074981]
  2つの無限次元ソボレフ再生核ヒルベルト空間間のヒルベルト・シュミット作用素の学習の統計的極限について検討する。 無限次元関数空間間の線形作用素を学習する際に最適なマルチレベルカーネル演算子学習アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-09-28T21:31:43Z)
• Benchmarking Compositionality with Formal Languages [64.09083307778951]
  我々は,NLPにおける大規模ニューラルモデルが,データから学習しながら,原始概念をより大規模な新しい組み合わせに組み込むことができるかどうかを検討する。 多くのトランスデューサをランダムにサンプリングすることにより、ニューラルネットワークによる合成関係の学習性に寄与する特性を探索する。 モデルは完全に関係を学習するか全く学習しないかが分かる。鍵となるのはトランジッションカバレッジであり、トランジッション毎に400の例でソフトな学習可能性制限を設定する。
  論文  参考訳（メタデータ） (2022-08-17T10:03:18Z)
• Softmax-free Linear Transformers [90.83157268265654]
  視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。 既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。 我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
  論文  参考訳（メタデータ） (2022-07-05T03:08:27Z)
• Masked prediction tasks: a parameter identifiability view [49.533046139235466]
  マスク付きトークンの予測に広く用いられている自己教師型学習手法に着目する。 いくつかの予測タスクは識別可能性をもたらすが、他のタスクはそうではない。
  論文  参考訳（メタデータ） (2022-02-18T17:09:32Z)
• Characterizing and overcoming the greedy nature of learning in multi-modal deep neural networks [62.48782506095565]
  深層ニューラルネットワークにおける学習の欲張った性質から、モデルは一つのモダリティにのみ依存する傾向にあり、他のモダリティには不適合であることを示す。 本稿では,学習中のモーダル間の条件付き学習速度のバランスをとるアルゴリズムを提案し,グリージー学習の問題に対処できることを実証する。
  論文  参考訳（メタデータ） (2022-02-10T20:11:21Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Generative Quantum Learning of Joint Probability Distribution Functions [1.221966660783828]
  我々はコプラをモデル化するための量子機械学習アルゴリズムを設計する。 任意のコプラを最大交絡状態に自然にマッピングできることが示される。 変分 ansatz を qopula' として定義すると、変数間の任意の相関が生成される。
  論文  参考訳（メタデータ） (2021-09-13T20:50:15Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Learning with Density Matrices and Random Features [44.98964870180375]
  密度行列は、量子系の統計状態を記述する。 量子系の量子的不確実性と古典的不確実性の両方を表現することは強力な形式主義である。 本稿では,機械学習モデルのビルディングブロックとして密度行列をどのように利用できるかを検討する。
  論文  参考訳（メタデータ） (2021-02-08T17:54:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。