論文の概要: Distillation of Weighted Automata from Recurrent Neural Networks using a Spectral Approach

• arxiv url: http://arxiv.org/abs/2009.13101v1
• Date: Mon, 28 Sep 2020 07:04:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 21:32:18.555555
• Title: Distillation of Weighted Automata from Recurrent Neural Networks using a Spectral Approach
• Title（参考訳）: スペクトルアプローチによるニューラルネットワークからの重み付きオートマタの蒸留
• Authors: Remi Eyraud and Stephane Ayache
• Abstract要約: 本稿では,ディープラーニングと文法推論のギャップを埋める試みである。 言語モデリングのためにトレーニングされたリカレントニューラルネットワークからフォーマルな言語を抽出するアルゴリズムを提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This paper is an attempt to bridge the gap between deep learning and grammatical inference. Indeed, it provides an algorithm to extract a (stochastic) formal language from any recurrent neural network trained for language modelling. In detail, the algorithm uses the already trained network as an oracle -- and thus does not require the access to the inner representation of the black-box -- and applies a spectral approach to infer a weighted automaton. As weighted automata compute linear functions, they are computationally more efficient than neural networks and thus the nature of the approach is the one of knowledge distillation. We detail experiments on 62 data sets (both synthetic and from real-world applications) that allow an in-depth study of the abilities of the proposed algorithm. The results show the WA we extract are good approximations of the RNN, validating the approach. Moreover, we show how the process provides interesting insights toward the behavior of RNN learned on data, enlarging the scope of this work to the one of explainability of deep learning models.
• Abstract（参考訳）: 本稿では,ディープラーニングと文法推論のギャップを埋める試みである。 実際、言語モデリングのために訓練されたリカレントニューラルネットワークから(確率的な)形式言語を抽出するアルゴリズムを提供する。 詳細は、アルゴリズムは訓練済みのネットワークをオラクルとして使用し、従ってブラックボックスの内部表現へのアクセスを必要とせず、重み付けされたオートマトンを推測するためにスペクトルアプローチを適用する。 重み付きオートマトンは線形関数を計算するため、ニューラルネットワークよりも計算効率が高いため、アプローチの性質は知識蒸留のものである。 提案アルゴリズムの能力について詳細な研究を可能にする62個のデータセット(合成および実世界のアプリケーションの両方)について実験を行った。 その結果,抽出したWAはRNNの近似が良好であることを示し,そのアプローチを検証した。 さらに、このプロセスが、データに基づいて学んだRNNの行動に対して興味深い洞察を与える方法を示し、この研究の範囲をディープラーニングモデルの説明可能性の1つに広げる。

関連論文リスト

• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Front-propagation Algorithm: Explainable AI Technique for Extracting Linear Function Approximations from Neural Networks [0.0]
  本稿では、深層ニューラルネットワークの意思決定ロジックの解明を目的とした、新しいAI技術であるフロントプロパゲーションアルゴリズムを紹介する。 積分グラディエントやシェープ値などの他の一般的な説明可能性アルゴリズムとは異なり、提案アルゴリズムはネットワークの正確で一貫した線形関数説明を抽出することができる。 公開されているベンチマークデータセットに基づいてトレーニングされた3つの異なるニューラルネットワークアーキテクチャで、正確な線形関数を提供することの有効性を実証する。
  論文  参考訳（メタデータ） (2024-05-25T14:50:23Z)
• Enhanced quantum state preparation via stochastic prediction of neural network [0.8287206589886881]
  本稿では,ニューラルネットワークの知識盲点を生かして,アルゴリズムの有効性を高めるための興味深い道を探る。 本手法は,半導体ダブル量子ドットシステムにおける任意の量子状態の生成に使用される機械学習アルゴリズムを中心にしている。 ニューラルネットワークが生成した予測を活用することにより、最適化プロセスの導出により、局所最適化を回避できる。
  論文  参考訳（メタデータ） (2023-07-27T09:11:53Z)
• Online Network Source Optimization with Graph-Kernel MAB [62.6067511147939]
  大規模ネットワークにおける最適なソース配置をオンラインで学習するためのグラフカーネルマルチアームバンディットアルゴリズムであるGrab-UCBを提案する。 適応グラフ辞書モデルを用いて,ネットワークプロセスを記述する。 我々は、ネットワークパラメータに依存する性能保証を導出し、シーケンシャルな意思決定戦略の学習曲線にさらに影響を及ぼす。
  論文  参考訳（メタデータ） (2023-07-07T15:03:42Z)
• Backdoor Attack Detection in Computer Vision by Applying Matrix Factorization on the Weights of Deep Networks [6.44397009982949]
  本稿では,事前訓練したDNNの重みから特徴を抽出するバックドア検出手法を提案する。 他の検出技術と比較して、これはトレーニングデータを必要としないなど、多くのメリットがある。 提案手法は, 競合するアルゴリズムよりも効率性が高く, より正確であり, 深層学習とAIの安全な適用を確実にするのに役立つ。
  論文  参考訳（メタデータ） (2022-12-15T20:20:18Z)
• Adaptive Convolutional Dictionary Network for CT Metal Artifact Reduction [62.691996239590125]
  本稿では,金属人工物削減のための適応畳み込み辞書ネットワーク(ACDNet)を提案する。 我々のACDNetは、トレーニングデータを介して、アーティファクトフリーCT画像の事前を自動で学習し、入力されたCT画像ごとに表現カーネルを適応的に調整することができる。 本手法は,モデルに基づく手法の明確な解釈可能性を継承し,学習に基づく手法の強力な表現能力を維持する。
  論文  参考訳（メタデータ） (2022-05-16T06:49:36Z)
• Extracting Finite Automata from RNNs Using State Merging [1.8072051868187933]
  文法的推論から状態マージパラダイムに着想を得たRNNから有限オートマトンを抽出する手法を提案する。 提案手法の有効性をTomita言語ベンチマークで検証したところ,ベンチマーク中のすべての言語でトレーニングされたRNNから忠実なオートマトンを抽出できることが確認された。
  論文  参考訳（メタデータ） (2022-01-28T23:03:25Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Fast Reinforcement Learning with Incremental Gaussian Mixture Models [0.0]
  Incrmental Gaussian Mixture Network (IGMN)と呼ばれる単一パスから学習可能なオンラインおよびインクリメンタルなアルゴリズムが、結合状態とQ値空間のためのサンプル効率関数近似器として採用された。 IGMN関数近似器の使用は、勾配降下法で訓練された従来のニューラルネットワークと比較して、強化学習に重要な利点をもたらすことが観察された。
  論文  参考訳（メタデータ） (2020-11-02T03:18:15Z)
• Connecting Weighted Automata, Tensor Networks and Recurrent Neural Networks through Spectral Learning [58.14930566993063]
  我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。 本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-19T15:28:00Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。