論文の概要: Depth-Adaptive Graph Recurrent Network for Text Classification
- arxiv url: http://arxiv.org/abs/2003.00166v1
- Date: Sat, 29 Feb 2020 03:09:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-27 20:43:31.216146
- Title: Depth-Adaptive Graph Recurrent Network for Text Classification
- Title（参考訳）: テキスト分類のための深さ適応グラフリカレントネットワーク
- Authors: Yijin Liu, Fandong Meng, Yufeng Chen, Jinan Xu and Jie Zhou
- Abstract要約: S-LSTM(Sentence-State LSTM)は、高効率なグラフリカレントネットワークである。
そこで本研究では,S-LSTMの深度適応機構を提案する。
- 参考スコア（独自算出の注目度）: 71.20237659479703
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Sentence-State LSTM (S-LSTM) is a powerful and high efficient graph
recurrent network, which views words as nodes and performs layer-wise recurrent
steps between them simultaneously. Despite its successes on text
representations, the S-LSTM still suffers from two drawbacks. Firstly, given a
sentence, certain words are usually more ambiguous than others, and thus more
computation steps need to be taken for these difficult words and vice versa.
However, the S-LSTM takes fixed computation steps for all words, irrespective
of their hardness. The secondary one comes from the lack of sequential
information (e.g., word order) that is inherently important for natural
language. In this paper, we try to address these issues and propose a
depth-adaptive mechanism for the S-LSTM, which allows the model to learn how
many computational steps to conduct for different words as required. In
addition, we integrate an extra RNN layer to inject sequential information,
which also serves as an input feature for the decision of adaptive depths.
Results on the classic text classification task (24 datasets in various sizes
and domains) show that our model brings significant improvements against the
conventional S-LSTM and other high-performance models (e.g., the Transformer),
meanwhile achieving a good accuracy-speed trade off.
- Abstract（参考訳）: S-LSTM(Sentence-State LSTM)は、単語をノードとみなし、それらの間のレイヤーワイドな繰り返しステップを同時に実行する、強力で高効率なグラフリカレントネットワークである。
テキスト表現の成功にもかかわらず、S-LSTMは2つの欠点に悩まされている。
第一に、ある文に対して、ある単語は、通常他の単語よりも曖昧であり、これらの難しい単語に対してより多くの計算手順を取る必要がある。
しかしながら、S-LSTMは、その硬さに関わらず、すべての単語に対して固定的な計算ステップを取る。
第二のものは、本質的に自然言語にとって重要な逐次情報(例えば、単語順)の欠如に由来する。
本稿では,これらの問題に対処し,S-LSTMの深度適応機構を提案する。
さらに、逐次情報を注入するために追加のRNN層を統合し、適応深さの決定のための入力機能としても機能する。
従来のS-LSTMや他の高性能モデル(例えばTransformer)に対して,従来のテキスト分類タスク(さまざまなサイズや領域の24のデータセット)では,精度と速度のトレードオフが良好に達成されている。
関連論文リスト
- Spatial Semantic Recurrent Mining for Referring Image Segmentation [63.34997546393106]
高品質なクロスモーダリティ融合を実現するために,Stextsuperscript2RMを提案する。
これは、言語特徴の分散、空間的意味的再帰的分離、パーセマンティック・セマンティック・バランシングという三部作の作業戦略に従う。
提案手法は他の最先端アルゴリズムに対して好適に機能する。
論文 参考訳（メタデータ） (2024-05-15T00:17:48Z) - MuSR: Testing the Limits of Chain-of-thought with Multistep Soft Reasoning [63.80739044622555]
自然言語ナラティブで指定されたソフト推論タスクの言語モデルを評価するデータセットである MuSR を紹介する。
このデータセットには2つの重要な特徴がある。まず、ニューロシンボリック合成-自然生成アルゴリズムによって生成される。
第二に、私たちのデータセットインスタンスは、実世界の推論の領域に対応する無料のテキスト物語です。
論文 参考訳（メタデータ） (2023-10-24T17:59:20Z) - Simultaneous Machine Translation with Large Language Models [51.470478122113356]
我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。
MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。
その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
論文 参考訳（メタデータ） (2023-09-13T04:06:47Z) - SLTUNET: A Simple Unified Model for Sign Language Translation [40.93099095994472]
複数のサイン・トゥ・グロス、グロス・トゥ・テキストおよびサイン・トゥ・テキスト翻訳タスクをサポートするために設計された単純な統合ニューラルモデルを提案する。
様々なタスクを共同でモデリングすることで、SLTUNETは、モダリティギャップを狭めるのに役立つクロスタスク関連性を探索することができる。
実験では, ENIX-2014T と CSL-Daily において, SLTUNET が競争力, 最先端のパフォーマンスを達成できることを示す。
論文 参考訳（メタデータ） (2023-05-02T20:41:59Z) - Co-Driven Recognition of Semantic Consistency via the Fusion of
Transformer and HowNet Sememes Knowledge [6.184249194474601]
本稿では,Transformer と HowNet のセメム知識の融合に基づく協調型意味的一貫性認識手法を提案する。
BiLSTMは概念的意味情報をエンコードし、意味的一貫性を推測するために利用される。
論文 参考訳（メタデータ） (2023-02-21T09:53:19Z) - Sentence-Level Sign Language Recognition Framework [0.0]
文レベルSLRは手話文の動画をグロスラベルのシーケンスにマッピングする必要があった。
CTCは、文を個々の単語にプリセグメンテーションするのを避けるために使用される。
我々は,RWTH-PHOENIX-Weather を用いた提案モデルの性能評価を行った。
論文 参考訳（メタデータ） (2022-11-13T01:45:41Z) - Predictive Representation Learning for Language Modeling [33.08232449211759]
副次的情報の相関がLSTM表現に現れるが、それらは暗黙的に監督された予測タスクの一部ではない。
予測表現学習(PRL)を提案し,LSTMを明示的に制約し,特定の予測を符号化する。
論文 参考訳（メタデータ） (2021-05-29T05:03:47Z) - Bidirectional LSTM-CRF Attention-based Model for Chinese Word
Segmentation [2.3991565023534087]
中国語単語セグメンテーションのための双方向LSTM-CRFアテンションベースモデルを提案する。
我々のモデルは、他のニューラルネットワークによるベースライン手法よりも優れている。
論文 参考訳（メタデータ） (2021-05-20T11:46:53Z) - A journey in ESN and LSTM visualisations on a language task [77.34726150561087]
我々は,CSL(Cross-Situationnal Learning)タスクでESNとLSTMを訓練した。
その結果, 性能比較, 内部力学解析, 潜伏空間の可視化の3種類が得られた。
論文 参考訳（メタデータ） (2020-12-03T08:32:01Z) - Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。
種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。
共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文 参考訳（メタデータ） (2020-10-01T17:51:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。