論文の概要: Implicit N-grams Induced by Recurrence

• arxiv url: http://arxiv.org/abs/2205.02724v1
• Date: Thu, 5 May 2022 15:53:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-06 15:00:14.578777
• Title: Implicit N-grams Induced by Recurrence
• Title（参考訳）: 再発によるN-gramの誘導
• Authors: Xiaobing Sun and Wei Lu
• Abstract要約: 本稿では,隠された状態内に存在する説明可能な構成要素が実際に存在することを示す。 下流感情分析課題において, 訓練されたRNNから抽出した特徴を抽出し, 興味深い言語現象のモデル化に有効であることを確認した。
• 参考スコア（独自算出の注目度）: 10.053475465955794
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although self-attention based models such as Transformers have achieved remarkable successes on natural language processing (NLP) tasks, recent studies reveal that they have limitations on modeling sequential transformations (Hahn, 2020), which may prompt re-examinations of recurrent neural networks (RNNs) that demonstrated impressive results on handling sequential data. Despite many prior attempts to interpret RNNs, their internal mechanisms have not been fully understood, and the question on how exactly they capture sequential features remains largely unclear. In this work, we present a study that shows there actually exist some explainable components that reside within the hidden states, which are reminiscent of the classical n-grams features. We evaluated such extracted explainable features from trained RNNs on downstream sentiment analysis tasks and found they could be used to model interesting linguistic phenomena such as negation and intensification. Furthermore, we examined the efficacy of using such n-gram components alone as encoders on tasks such as sentiment analysis and language modeling, revealing they could be playing important roles in contributing to the overall performance of RNNs. We hope our findings could add interpretability to RNN architectures, and also provide inspirations for proposing new architectures for sequential data.
• Abstract（参考訳）: トランスフォーマなどの自己注意ベースのモデルは自然言語処理(nlp)のタスクで顕著な成功を収めているが、最近の研究では、シーケンシャル変換のモデリングに制限があることが判明している(hahn, 2020)。 RNNを解釈しようとする試みは数多くあったが、その内部メカニズムは完全には理解されておらず、どのようにしてシーケンシャルな特徴を捉えているのかという疑問はほとんど不明である。 本研究では,古典的n-grams特徴を想起させる隠れた状態に存在する説明可能な成分が実際に存在することを示す。 下流感情分析の課題から抽出したRNNの特徴を抽出し,否定や強調などの興味深い言語現象をモデル化できることを示した。 さらに,このようなn-gramコンポーネントを感情分析や言語モデリングなどのタスクにエンコーダとして単独で使用することの有効性について検討し,rnn全体のパフォーマンスに寄与する上で重要な役割を担っている可能性が示唆された。 我々の発見がRNNアーキテクチャの解釈可能性を高め、シーケンシャルデータのための新しいアーキテクチャの提案にインスピレーションを与えることを期待しています。

関連論文リスト

• Dynamical similarity analysis uniquely captures how computations develop in RNNs [3.037387520023979]
  最近の研究では、いくつかの指標が刺激的なシグナルに反応し、誤った結果をもたらすことが示されている。 本稿では、リカレントニューラルネットワーク(RNN)における合成学習により、動的表現アライメントメトリクスのテストケースを提供できることを提案する。 最近提案された動的類似性解析 (DSA) は, より頑健で, 行動関連表現を確実に識別できることを示す。
  論文  参考訳（メタデータ） (2024-10-31T16:07:21Z)
• Understanding the Functional Roles of Modelling Components in Spiking Neural Networks [9.448298335007465]
  スパイキングニューラルネットワーク(SNN)は、生物学的忠実さで高い計算効率を達成することを約束している。 LIFに基づくSNNにおけるキーモデリングコンポーネント,リーク,リセット,再起動の機能的役割について検討する。 具体的には、メモリ保持とロバスト性のバランスにおいてリークが重要な役割を担い、リセット機構は未中断の時間的処理と計算効率に不可欠であり、リセットは、ロバストネス劣化を犠牲にして複雑なダイナミクスをモデル化する能力を強化する。
  論文  参考訳（メタデータ） (2024-03-25T12:13:20Z)
• Episodic Memory Theory for the Mechanistic Interpretation of Recurrent Neural Networks [3.683202928838613]
  本稿では,最近提案された一般逐次記憶モデルにおいて,RNNを離散時間アナログとして概念化できるという,エピソード記憶理論(EMT)を提案する。 本稿では,RNNにおける変数結合の振る舞いを探索するアルゴリズムを新たに導入する。 実験により、訓練されたRNNは可変結合回路に一貫して収束し、RNNのダイナミクスの普遍性を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2023-10-03T20:52:37Z)
• Transferability of coVariance Neural Networks and Application to Interpretable Brain Age Prediction using Anatomical Features [119.45320143101381]
  グラフ畳み込みネットワーク(GCN)は、トポロジー駆動のグラフ畳み込み演算を利用して、推論タスクのためにグラフをまたいだ情報を結合する。 我々は、共分散行列をグラフとして、共分散ニューラルネットワーク(VNN)の形でGCNを研究した。 VNNは、GCNからスケールフリーなデータ処理アーキテクチャを継承し、ここでは、共分散行列が極限オブジェクトに収束するデータセットに対して、VNNが性能の転送可能性を示すことを示す。
  論文  参考訳（メタデータ） (2023-05-02T22:15:54Z)
• Structural Neural Additive Models: Enhanced Interpretable Machine Learning [0.0]
  近年、この分野は、視覚的に解釈可能なニューラル・アダプティブ・モデル(NAM)のような、解釈可能なニューラルネットワークに向かって進んでいる。 特徴効果の可視化を超越したインテリジェンス指向のさらなるステップを提案し, 構造的ニューラル付加モデル(SNAM)を提案する。 古典的かつ明確に解釈可能な統計手法とニューラルネットワークの予測能力を組み合わせたモデリングフレームワーク。
  論文  参考訳（メタデータ） (2023-02-18T09:52:30Z)
• On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
  近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。 スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。 この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
  論文  参考訳（メタデータ） (2022-06-21T09:42:30Z)
• Learning and Generalization in RNNs [11.107204912245841]
  単純なリカレントニューラルネットワークがシーケンスの関数を学習できることを実証する。 新しいアイデアは、我々の証明でRNNの隠れた状態から情報を抽出することを可能にする。
  論文  参考訳（メタデータ） (2021-05-31T18:27:51Z)
• A journey in ESN and LSTM visualisations on a language task [77.34726150561087]
  我々は,CSL(Cross-Situationnal Learning)タスクでESNとLSTMを訓練した。 その結果, 性能比較, 内部力学解析, 潜伏空間の可視化の3種類が得られた。
  論文  参考訳（メタデータ） (2020-12-03T08:32:01Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• Recurrent Neural Network Learning of Performance and Intrinsic Population Dynamics from Sparse Neural Data [77.92736596690297]
  本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。 提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。 注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
  論文  参考訳（メタデータ） (2020-05-05T14:16:54Z)
• Probing Linguistic Features of Sentence-Level Representations in Neural Relation Extraction [80.38130122127882]
  ニューラルリレーション抽出(RE)に関連する言語特性を対象とした14の探索タスクを導入する。 私たちは、40以上の異なるエンコーダアーキテクチャと2つのデータセットでトレーニングされた言語的特徴の組み合わせによって学習された表現を研究するためにそれらを使用します。 アーキテクチャによって引き起こされるバイアスと言語的特徴の含意は、探索タスクのパフォーマンスにおいて明らかに表現されている。
  論文  参考訳（メタデータ） (2020-04-17T09:17:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。