論文の概要: Modeling Hierarchical Structures with Continuous Recursive Neural Networks

• arxiv url: http://arxiv.org/abs/2106.06038v1
• Date: Thu, 10 Jun 2021 20:42:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-15 06:59:52.925428
• Title: Modeling Hierarchical Structures with Continuous Recursive Neural Networks
• Title（参考訳）: 連続再帰ニューラルネットワークによる階層構造モデリング
• Authors: Jishnu Ray Chowdhury, Cornelia Caragea
• Abstract要約: Recursive Neural Networks (RvNN)は、その基盤となる階層的構文構造に従ってシーケンスを構成する。 従来のRvNNは、独自のプレーンテキストシーケンスで潜伏構造を誘導することができない。 バックプロパゲーションフレンドリーな代替手段として,連続再帰ニューラルネットワーク(CRvNN)を提案する。
• 参考スコア（独自算出の注目度）: 33.74585832995141
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recursive Neural Networks (RvNNs), which compose sequences according to their underlying hierarchical syntactic structure, have performed well in several natural language processing tasks compared to similar models without structural biases. However, traditional RvNNs are incapable of inducing the latent structure in a plain text sequence on their own. Several extensions have been proposed to overcome this limitation. Nevertheless, these extensions tend to rely on surrogate gradients or reinforcement learning at the cost of higher bias or variance. In this work, we propose Continuous Recursive Neural Network (CRvNN) as a backpropagation-friendly alternative to address the aforementioned limitations. This is done by incorporating a continuous relaxation to the induced structure. We demonstrate that CRvNN achieves strong performance in challenging synthetic tasks such as logical inference and ListOps. We also show that CRvNN performs comparably or better than prior latent structure models on real-world tasks such as sentiment analysis and natural language inference.
• Abstract（参考訳）: 階層的構文構造に従ってシーケンスを構成する再帰的ニューラルネットワーク(rvnn)は、構造バイアスのない類似モデルと比較して、いくつかの自然言語処理タスクでよく機能している。 しかし、従来のRvNNは、独自のプレーンテキストシーケンスで潜在構造を誘導することができない。 この制限を克服するためにいくつかの拡張が提案されている。 それでもこれらの拡張は、高いバイアスや分散のコストで、代理勾配や強化学習に依存する傾向がある。 本研究では、前述の制限に対処するバックプロパゲーションフレンドリな代替として、連続再帰ニューラルネットワーク(CRvNN)を提案する。 これは、誘導構造に連続的な緩和を組み込むことによって行われる。 CRvNNは論理推論やListOpsといった難解な合成タスクにおいて高い性能を発揮することを示す。 また,crvnnは感情分析や自然言語推論といった実世界のタスクにおいて,事前の潜在構造モデルと同等かそれ以上の性能を示す。

関連論文リスト

• On the Design Space Between Transformers and Recursive Neural Nets [64.862738244735]
  連続再帰型ニューラルネットワーク(CRvNN)とニューラルデータルータ(NDR)について検討した。 CRvNNは従来のRvNNの境界を押し上げ、その離散的な構造的な構成を緩和し、最終的にTransformerのような構造になる。 NDRはオリジナルのTransformerを制約し、より優れた構造的帰納バイアスを誘発し、CRvNNに近いモデルに終止符を打つ。
  論文  参考訳（メタデータ） (2024-09-03T02:03:35Z)
• A Conceptual Framework For Trie-Augmented Neural Networks (TANNS) [0.0]
  Trie-Augmented Neural Networks (TANN)は、ニューラルネットワークとトリ構造を組み合わせることで、意思決定の透明性と機械学習の効率性を高める階層的な設計を形成する。 本稿では、リカレントニューラルネットワーク(RNN)とフィードフォワードニューラルネットワーク(FNN)を用いて、テキストおよび文書分類におけるTANNの使用について検討する。
  論文  参考訳（メタデータ） (2024-06-11T17:08:16Z)
• On The Expressivity of Recurrent Neural Cascades [48.87943990557107]
  リカレントニューラルカスケード(Recurrent Neural Cascades、RNC)は、リカレントニューラルネットワークであり、リカレントニューロン間で循環的依存を持たない。 RNCは、グループを実装可能なニューロンを導入することで、すべての正規言語を表現できることを示す。
  論文  参考訳（メタデータ） (2023-12-14T15:47:26Z)
• Unsupervised Chunking with Hierarchical RNN [62.15060807493364]
  本稿では,非階層的手法で単語をグループ化する構文的タスクであるチャンキングに対する教師なしアプローチを紹介する。 本稿では,単語-チャンク・チャンク-文合成をモデル化した2層階層型階層型リカレントニューラルネットワーク(HRNN)を提案する。 CoNLL-2000データセットの実験では、既存の教師なし手法よりも顕著な改善が見られ、フレーズF1スコアが最大6ポイント向上した。
  論文  参考訳（メタデータ） (2023-09-10T02:55:12Z)
• Equivariant Transduction through Invariant Alignment [71.45263447328374]
  グループ内ハードアライメント機構を組み込んだ,新しいグループ同変アーキテクチャを提案する。 我々のネットワーク構造は、既存のグループ同変アプローチよりも強い同変特性を発達させることができる。 また、SCANタスクにおいて、従来のグループ同変ネットワークよりも経験的に優れていたことが判明した。
  論文  参考訳（メタデータ） (2022-09-22T11:19:45Z)
• Implicit N-grams Induced by Recurrence [10.053475465955794]
  本稿では,隠された状態内に存在する説明可能な構成要素が実際に存在することを示す。 下流感情分析課題において, 訓練されたRNNから抽出した特徴を抽出し, 興味深い言語現象のモデル化に有効であることを確認した。
  論文  参考訳（メタデータ） (2022-05-05T15:53:46Z)
• Universal approximation property of invertible neural networks [76.95927093274392]
  Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。 その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
  論文  参考訳（メタデータ） (2022-04-15T10:45:26Z)
• Learning Hierarchical Structures with Differentiable Nondeterministic Stacks [25.064819128982556]
  最近提案された非決定論的スタックRNN(NS-RNN)に基づくスタックRNNモデルを提案する。 NS-RNNは,5つの文脈自由言語モデリングタスクにおいて,従来のスタックRNNよりも低エントロピーを実現することを示す。 また,自然言語を用いた言語モデリングを実用化するNS-RNNの限定バージョンを提案する。
  論文  参考訳（メタデータ） (2021-09-05T03:25:23Z)
• Can RNNs learn Recursive Nested Subject-Verb Agreements? [4.094098809740732]
  言語処理にはネストした木構造を抽出する機能が必要である。 リカレントニューラルネットワーク(RNN)の最近の進歩は、いくつかの言語タスクでほぼ人間に近いパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-01-06T20:47:02Z)
• How much complexity does an RNN architecture need to learn syntax-sensitive dependencies? [9.248882589228089]
  長期記憶(LSTM)ネットワークは、長距離依存をカプセル化することができる。 単純なリカレントネットワーク(SRN)は一般的に、長距離依存関係の取得にはあまり成功していない。 本稿では,ニューロン活性化の減衰特性を取り入れた新しいアーキテクチャであるDecay RNNを提案する。
  論文  参考訳（メタデータ） (2020-05-17T09:13:28Z)
• Recognizing Long Grammatical Sequences Using Recurrent Networks Augmented With An External Differentiable Stack [73.48927855855219]
  リカレントニューラルネットワーク(RNN)は、シーケンスモデリング、生成、予測に広く使われているディープアーキテクチャである。 RNNは、非常に長いシーケンスに対してあまり一般化せず、多くの重要な時間的処理や時系列予測問題に適用性を制限する。 これらの欠点に対処する方法の1つは、スタックのような外部の異なるメモリ構造とRNNを結合することである。 本稿では,重要なアーキテクチャと状態更新機構を備えたメモリ拡張RNNを改良する。
  論文  参考訳（メタデータ） (2020-04-04T14:19:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。