論文の概要: How recurrent networks implement contextual processing in sentiment analysis

• arxiv url: http://arxiv.org/abs/2004.08013v1
• Date: Fri, 17 Apr 2020 00:58:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-12 10:07:45.322435
• Title: How recurrent networks implement contextual processing in sentiment analysis
• Title（参考訳）: リカレントネットワークによる感情分析における文脈処理の実践
• Authors: Niru Maheswaranathan, David Sussillo
• Abstract要約: 本稿では、コンテキスト処理を識別し、解明するためのリバースエンジニアリング・リカレントニューラルネットワーク(RNN)を提案する。 この研究は、RNNがコンテキスト情報をどのように処理するかの新しい理解をもたらし、同様の洞察をより広く提供するツールを提供する。
• 参考スコア（独自算出の注目度）: 21.511325784114142
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks have a remarkable capacity for contextual processing--using recent or nearby inputs to modify processing of current input. For example, in natural language, contextual processing is necessary to correctly interpret negation (e.g. phrases such as "not bad"). However, our ability to understand how networks process context is limited. Here, we propose general methods for reverse engineering recurrent neural networks (RNNs) to identify and elucidate contextual processing. We apply these methods to understand RNNs trained on sentiment classification. This analysis reveals inputs that induce contextual effects, quantifies the strength and timescale of these effects, and identifies sets of these inputs with similar properties. Additionally, we analyze contextual effects related to differential processing of the beginning and end of documents. Using the insights learned from the RNNs we improve baseline Bag-of-Words models with simple extensions that incorporate contextual modification, recovering greater than 90% of the RNN's performance increase over the baseline. This work yields a new understanding of how RNNs process contextual information, and provides tools that should provide similar insight more broadly.
• Abstract（参考訳）: ニューラルネットワークは、現在の入力の処理を変更するために最近または近くの入力を使用して、コンテキスト処理に顕著な能力を持っている。 例えば、自然言語では、文脈処理は否定を正しく解釈するために必要である(例えば、"not bad"のようなフレーズ)。 しかし、ネットワークがどのようにコンテキストを処理するかを理解する能力は限られている。 本稿では、コンテキスト処理を識別し、解明するためのリバースエンジニアリング・リカレントニューラルネットワーク(RNN)の一般的な手法を提案する。 これらの方法を用いて感情分類を訓練したrnnを理解する。 この分析は、文脈効果を誘発する入力を明らかにし、これらの効果の強さと時間スケールを定量化し、同様の特性でこれらの入力の集合を同定する。 さらに,文書の開始と終了の差分処理に関連する文脈効果を解析する。 RNNから学んだ知見を用いて、ベースラインのBag-of-Wordsモデルを改善し、コンテキスト修正を組み込んだシンプルな拡張を行い、ベースライン上でのRNNのパフォーマンス向上の90%以上を回復する。 この研究は、rnnが文脈情報を処理する方法の新しい理解をもたらし、同様の洞察をより広く提供するツールを提供する。

関連論文リスト

• GINN-KAN: Interpretability pipelining with applications in Physics Informed Neural Networks [5.2969467015867915]
  本稿では,解釈可能性パイプラインの概念を導入し,複数の解釈可能性技術を導入し,各手法の精度を向上する。 我々は、標準的なニューラルネットワークアーキテクチャに解釈可能性を導入する可能性のために選択された2つの最近のモデルを評価する。 両モデルの利点を合成する新しい解釈可能なニューラルネットワークGINN-KANを提案する。
  論文  参考訳（メタデータ） (2024-08-27T04:57:53Z)
• Incrementally-Computable Neural Networks: Efficient Inference for Dynamic Inputs [75.40636935415601]
  ディープラーニングは、センサーデータやユーザ入力などの動的入力を効率的に処理するという課題に直面していることが多い。 インクリメンタルな計算アプローチを採用し、入力の変化に応じて計算を再利用する。 本稿では,この手法をトランスフォーマーアーキテクチャに適用し,修正入力の分数に比例した複雑性を持つ効率的なインクリメンタル推論アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-27T16:30:27Z)
• Convolutional Neural Networks for Sentiment Analysis on Weibo Data: A Natural Language Processing Approach [0.228438857884398]
  本研究では,Weiboの119,988ツイートのデータセット上で,畳み込みニューラルネットワーク(CNN)を用いた感情分析の複雑な課題に対処する。 CNNに基づくモデルを用いて,特徴抽出に単語埋め込みを活用し,感情分類を行う訓練を行った。 このモデルは、テストセットで平均約0.73のマクロ平均F1スコアを達成し、正、中、負の感情でバランスの取れた性能を示した。
  論文  参考訳（メタデータ） (2023-07-13T03:02:56Z)
• Revisiting the Roles of "Text" in Text Games [102.22750109468652]
  本稿では,強化学習におけるテキストの役割について検討する。 本稿では,関連するコンテキスト情報を近似状態ハッシュに抽出する簡単な手法を提案する。 このような軽量なプラグインは最先端のテキストエージェントとの競合性能を実現する。
  論文  参考訳（メタデータ） (2022-10-15T21:52:39Z)
• TeKo: Text-Rich Graph Neural Networks with External Knowledge [75.91477450060808]
  外部知識を用いた新しいテキストリッチグラフニューラルネットワーク(TeKo)を提案する。 まず、高品質なエンティティを組み込んだフレキシブルな異種セマンティックネットワークを提案する。 次に、構造化三重項と非構造化実体記述という2種類の外部知識を導入する。
  論文  参考訳（メタデータ） (2022-06-15T02:33:10Z)
• Convolutional Dictionary Learning by End-To-End Training of Iterative Neural Networks [3.6280929178575994]
  本研究では,教師付きおよび物理情報を用いたオンライン畳み込み辞書学習アルゴリズムとして利用可能な INN を構築する。 提案手法は,従来の2つのモデルに依存しない訓練法よりも改善され,深い INN と比較して競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-09T12:15:38Z)
• The geometry of integration in text classification RNNs [20.76659136484842]
  本研究では,自然テキスト分類タスクと合成テキスト分類タスクの両方のバッテリで訓練されたリカレントネットワークについて検討する。 これらの訓練されたRNNの力学は、解釈可能かつ低次元であることがわかった。 我々の観測は、複数のアーキテクチャとデータセットにまたがっており、RNNがテキスト分類を行うのに使用する共通メカニズムを反映している。
  論文  参考訳（メタデータ） (2020-10-28T17:58:53Z)
• SHAP values for Explaining CNN-based Text Classification Models [10.881494765759829]
  本稿では,CNNに基づくテキスト分類モデルの局所的説明可能性について,SHAP値を計算する手法を開発した。 このアプローチは、機能の重要性を評価するために、グローバルスコアを計算するために拡張される。
  論文  参考訳（メタデータ） (2020-08-26T21:28:41Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。 コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
  論文  参考訳（メタデータ） (2020-06-30T14:56:05Z)
• Towards Accurate Scene Text Recognition with Semantic Reasoning Networks [52.86058031919856]
  本稿では,シーンテキスト認識のための意味推論ネットワーク(SRN)という,エンドツーエンドのトレーニング可能な新しいフレームワークを提案する。 GSRMはマルチウェイ並列伝送によってグローバルセマンティックコンテキストをキャプチャするために導入された。 正規テキスト,不規則テキスト,非ラテン語長文を含む7つの公開ベンチマークの結果,提案手法の有効性とロバスト性を検証した。
  論文  参考訳（メタデータ） (2020-03-27T09:19:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。