論文の概要: A Koopman Approach to Understanding Sequence Neural Models

• arxiv url: http://arxiv.org/abs/2102.07824v1
• Date: Mon, 15 Feb 2021 20:05:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-17 14:52:30.865314
• Title: A Koopman Approach to Understanding Sequence Neural Models
• Title（参考訳）: シーケンスニューラルモデル理解のためのクープマンアプローチ
• Authors: Ilan Naiman and Omri Azencot
• Abstract要約: 訓練されたシーケンスニューラルネットワークモデルを理解するための新しいアプローチ、koopman analysis of neural networks (kann) を提案する。 時系列モデルと自己マップの関係を動機に、潜在ダイナミクスをうまくエンコードするおよそのKoopman演算子を計算します。 この結果は,コピー問題,ecg分類,感情分析タスクに対して,タスクやアーキテクチャにまたがって拡張される。
• 参考スコア（独自算出の注目度）: 2.8783296093434148
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a new approach to understanding trained sequence neural models: the Koopman Analysis of Neural Networks (KANN) method. Motivated by the relation between time-series models and self-maps, we compute approximate Koopman operators that encode well the latent dynamics. Unlike other existing methods whose applicability is limited, our framework is global, and it has only weak constraints over the inputs. Moreover, the Koopman operator is linear, and it is related to a rich mathematical theory. Thus, we can use tools and insights from linear analysis and Koopman Theory in our study. For instance, we show that the operator eigendecomposition is instrumental in exploring the dominant features of the network. Our results extend across tasks and architectures as we demonstrate for the copy problem, and ECG classification and sentiment analysis tasks.
• Abstract（参考訳）: 訓練されたシーケンスニューラルネットワークモデルを理解するための新しいアプローチ、koopman analysis of neural networks (kann) を提案する。 時系列モデルと自己マップの関係を動機に、潜在ダイナミクスをうまくエンコードするおよそのKoopman演算子を計算します。 適用性に制限がある他の既存手法とは異なり、我々のフレームワークはグローバルであり、入力に対する弱い制約しか持たない。 さらに、クープマン作用素は線型であり、豊かな数学理論と関連している。 そこで本研究では,線形解析とクープマン理論からツールと洞察を利用できる。 例えば、演算子 eigendecomposition がネットワークの支配的な特徴を探索するのに役立つことを示す。 私たちの結果は、コピー問題、ECG分類および感情分析タスクのデモンストレーションとして、タスクとアーキテクチャに広がっています。

関連論文リスト

• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• A Meta-Learning Approach for Training Explainable Graph Neural Networks [10.11960004698409]
  本稿では,GNNの学習時間における説明可能性向上のためのメタラーニングフレームワークを提案する。 我々のフレームワークは、例えばノード分類などの元のタスクを解決するためにモデルを共同で訓練し、下流アルゴリズムで容易に処理可能な出力を提供する。 我々のモデルに依存しないアプローチは、異なるGNNアーキテクチャで生成された説明を改善し、このプロセスを駆動するためにインスタンスベースの説明器を使用することができます。
  論文  参考訳（メタデータ） (2021-09-20T11:09:10Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Interpreting Graph Neural Networks for NLP With Differentiable Edge Masking [63.49779304362376]
  グラフニューラルネットワーク(GNN)は、構造的帰納バイアスをNLPモデルに統合する一般的なアプローチとなっている。 本稿では,不要なエッジを識別するGNNの予測を解釈するポストホック手法を提案する。 モデルの性能を劣化させることなく,多数のエッジを落とせることを示す。
  論文  参考訳（メタデータ） (2020-10-01T17:51:19Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Applications of Koopman Mode Analysis to Neural Networks [52.77024349608834]
  我々は,ニューラルネットワークのトレーニング過程を,高次元の重み空間に作用する力学系と考える。 アーキテクチャに必要なレイヤ数を決定するために、Koopmanスペクトルをどのように利用できるかを示す。 また、Koopmanモードを使えば、ネットワークを選択的にプーンしてトレーニング手順を高速化できることを示す。
  論文  参考訳（メタデータ） (2020-06-21T11:00:04Z)
• Optimizing Neural Networks via Koopman Operator Theory [6.09170287691728]
  クープマン作用素理論は近年、ニューラルネットワーク理論と密接に関連していることが示されている。 この作業では、この接続を利用するための第一歩を踏み出します。 クープマン作用素理論法は、非自明な訓練時間の範囲で、供給重みの重みと偏りの予測を可能にする。
  論文  参考訳（メタデータ） (2020-06-03T16:23:07Z)
• Forecasting Sequential Data using Consistent Koopman Autoencoders [52.209416711500005]
  クープマン理論に関連する新しい物理学に基づく手法が導入された。 本稿では,既存の作業の多くと異なり,前方・後方のダイナミクスを生かした新しいコンシスタント・クープマン・オートエンコーダモデルを提案する。 このアプローチの鍵となるのは、一貫性のある力学と関連するクープマン作用素との相互作用を探索する新しい解析である。
  論文  参考訳（メタデータ） (2020-03-04T18:24:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。