論文の概要: Recurrent Neural Networks with Mixed Hierarchical Structures for Natural Language Processing

• arxiv url: http://arxiv.org/abs/2106.02562v1
• Date: Fri, 4 Jun 2021 15:50:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-07 15:06:43.430161
• Title: Recurrent Neural Networks with Mixed Hierarchical Structures for Natural Language Processing
• Title（参考訳）: 自然言語処理のための混合階層構造を持つリカレントニューラルネットワーク
• Authors: Zhaoxin Luo and Michael Zhu
• Abstract要約: 階層構造は言語処理と自然言語処理の両方に存在している。 自然言語の階層的表現を学習するためにRNNを設計する方法は、長年にわたる課題である。 本稿では,静的境界と動的境界という2種類の境界を定義し,文書分類タスクのための多層階層構造を構築する。
• 参考スコア（独自算出の注目度）: 13.960152426268767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hierarchical structures exist in both linguistics and Natural Language Processing (NLP) tasks. How to design RNNs to learn hierarchical representations of natural languages remains a long-standing challenge. In this paper, we define two different types of boundaries referred to as static and dynamic boundaries, respectively, and then use them to construct a multi-layer hierarchical structure for document classification tasks. In particular, we focus on a three-layer hierarchical structure with static word- and sentence- layers and a dynamic phrase-layer. LSTM cells and two boundary detectors are used to implement the proposed structure, and the resulting network is called the {\em Recurrent Neural Network with Mixed Hierarchical Structures} (MHS-RNN). We further add three layers of attention mechanisms to the MHS-RNN model. Incorporating attention mechanisms allows our model to use more important content to construct document representation and enhance its performance on document classification tasks. Experiments on five different datasets show that the proposed architecture outperforms previous methods on all the five tasks.
• Abstract（参考訳）: 階層構造は言語学と自然言語処理(nlp)の両方のタスクに存在する。 自然言語の階層的表現を学習するためにRNNを設計する方法は、長年にわたる課題である。 本稿では,静的境界と動的境界と呼ばれる2つの異なる境界を定義し,それらを文書分類タスクのための多層階層構造の構築に用いる。 特に,静的な単語層と文層,動的句層を持つ3層階層構造に着目した。 LSTMセルと2つの境界検出器が提案された構造を実装するために使用され、結果として得られるネットワークは混合階層型ニューラルネットワーク (MHS-RNN) と呼ばれる。 さらに,MHS-RNNモデルに注意機構を3層追加する。 注意機構を組み込むことで、より重要なコンテンツを用いて文書表現を構築し、文書分類タスクの性能を高めることができる。 5つの異なるデータセットの実験では、提案されたアーキテクチャが5つのタスクすべてで以前の手法より優れていることが示されている。

関連論文リスト

• SRFUND: A Multi-Granularity Hierarchical Structure Reconstruction Benchmark in Form Understanding [55.48936731641802]
  階層的に構造化されたマルチタスク形式理解ベンチマークであるSRFUNDを提案する。 SRFUNDはオリジナルのFUNSDとXFUNDデータセットの上に洗練されたアノテーションを提供する。 データセットには、英語、中国語、日本語、ドイツ語、フランス語、スペイン語、イタリア語、ポルトガル語を含む8つの言語が含まれている。
  論文  参考訳（メタデータ） (2024-06-13T02:35:55Z)
• An Active Inference Agent for Simulating Human Translation Processes in a Hierarchical Architecture: Integrating the Task Segment Framework and the HOF taxonomy [0.0]
  本稿では,3つの組込み翻訳プロセスの階層構造として,人間の翻訳生成をモデル化する。 提案アーキテクチャは,キーストローク生成の時間的ダイナミクスを,知覚的,認知的,現象的層にわたって再現する。
  論文  参考訳（メタデータ） (2024-05-06T02:07:13Z)
• Implant Global and Local Hierarchy Information to Sequence based Code Representation Models [25.776540440893257]
  完全な階層構造がコードシーケンスのトークンに与える影響を分析し、階層埋め込みと呼ばれるコードトークンの特性として、この影響を抽象化する。 ソースコードの完全な階層化をトランスフォーマーモデルに組み込むための,単純かつ効果的なシーケンスモデルである階層変換器(HiT)を提案する。
  論文  参考訳（メタデータ） (2023-03-14T12:01:39Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)
• Deep Hierarchical Semantic Segmentation [76.40565872257709]
  階層的セマンティックセマンティックセグメンテーション(HSS)は、クラス階層の観点で視覚的観察を構造化、ピクセル単位で記述することを目的としている。 HSSNは、HSSを画素単位のマルチラベル分類タスクとしてキャストし、現在のセグメンテーションモデルに最小限のアーキテクチャ変更をもたらすだけである。 階層構造によって引き起こされるマージンの制約により、HSSNはピクセル埋め込み空間を再評価し、よく構造化されたピクセル表現を生成する。
  論文  参考訳（メタデータ） (2022-03-27T15:47:44Z)
• Recurrent Neural Networks with Mixed Hierarchical Structures and EM Algorithm for Natural Language Processing [9.645196221785694]
  我々は潜在指標層と呼ばれる手法を開発し、暗黙的な階層的情報を特定し学習する。 また、トレーニングにおいて潜在指標層を扱うEMアルゴリズムを開発した。 ブートストラップトレーニングによるEM-HRNNモデルは,文書分類タスクにおいて,他のRNNモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-01-21T23:08:33Z)
• HS3: Learning with Proper Task Complexity in Hierarchically Supervised Semantic Segmentation [81.87943324048756]
  本稿では,タスクの複雑さによって意味のある表現を学習するためのセグメンテーションネットワークの中間層を監督するトレーニングスキームである階層的意味論(Hierarchically Supervised Semantic,HS3)を提案する。 提案するHS3-Fuseフレームワークはセグメンテーション予測をさらに改善し、2つの大きなセグメンテーションベンチマークであるNYUD-v2とCityscapesで最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-11-03T16:33:29Z)
• Nested and Balanced Entity Recognition using Multi-Task Learning [0.0]
  本稿では,重複するケースとネストされたケースの複雑さを扱う部分層ネットワークアーキテクチャを提案する。 私たちは、概念(CR)と名前付きエンティティ(NER)という2種類のエンティティを認識するために、このアーキテクチャを訓練し、評価します。 提案手法は最先端のNER性能を実現し,従来のCR手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-06-11T07:52:32Z)
• BiTe-GCN: A New GCN Architecture via BidirectionalConvolution of Topology and Features on Text-Rich Networks [44.74164340799386]
  BiTe-GCNは、トポロジとテキストリッチネットワークの機能の両方を双方向に畳み込む新しいGCNアーキテクチャである。 私たちの新しいアーキテクチャは、ブレークアウトの改善によって最先端よりも優れています。 このアーキテクチャは、JD検索のようないくつかのeコマース検索シーンにも適用できる。
  論文  参考訳（メタデータ） (2020-10-23T04:38:30Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• Tree-structured Attention with Hierarchical Accumulation [103.47584968330325]
  階層的累積」は解析木構造を一定時間複雑度で自己注意に符号化する。 提案手法は,4つの IWSLT 翻訳タスクと WMT'14 翻訳タスクにおいて,SOTA 法より優れている。
  論文  参考訳（メタデータ） (2020-02-19T08:17:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。