論文の概要: Dual-State Capsule Networks for Text Classification

• arxiv url: http://arxiv.org/abs/2109.04762v1
• Date: Fri, 10 Sep 2021 09:59:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-13 20:18:24.734214
• Title: Dual-State Capsule Networks for Text Classification
• Title（参考訳）: テキスト分類のためのデュアルステートカプセルネットワーク
• Authors: Piyumal Demotte, Surangika Ranathunga
• Abstract要約: 本稿では,テキスト分類のための新しいDual-State Capsule (DS-Caps) ネットワーク技術を提案する。 文レベルと単語レベルという2種類の状態がカプセル層に統合され、より深い文脈レベル情報を取得する。 DS-Capsネットワークは、既存のカプセルネットワークアーキテクチャを複数のデータセットで上回っている。
• 参考スコア（独自算出の注目度）: 2.0305676256390934
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text classification systems based on contextual embeddings are not viable options for many of the low resource languages. On the other hand, recently introduced capsule networks have shown performance in par with these text classification models. Thus, they could be considered as a viable alternative for text classification for languages that do not have pre-trained contextual embedding models. However, current capsule networks depend upon spatial patterns without considering the sequential features of the text. They are also sub-optimal in capturing the context-level information in longer sequences. This paper presents a novel Dual-State Capsule (DS-Caps) network-based technique for text classification, which is optimized to mitigate these issues. Two varieties of states, namely sentence-level and word-level, are integrated with capsule layers to capture deeper context-level information for language modeling. The dynamic routing process among capsules was also optimized using the context-level information obtained through sentence-level states. The DS-Caps networks outperform the existing capsule network architectures for multiple datasets, particularly for tasks with longer sequences of text. We also demonstrate the superiority of DS-Caps in text classification for a low resource language.
• Abstract（参考訳）: コンテキスト埋め込みに基づくテキスト分類システムは、多くの低リソース言語にとって有効な選択肢ではない。 一方,最近導入されたカプセルネットワークは,これらのテキスト分類モデルに匹敵する性能を示した。 したがって、事前訓練された文脈埋め込みモデルを持たない言語に対するテキスト分類の有効な代替として考えられる。 しかし、現在のカプセルネットワークは、テキストの逐次的特徴を考慮せずに、空間的パターンに依存する。 それらはまた、より長いシーケンスでコンテキストレベルの情報を取得するのに最適である。 本稿では,これらの問題を緩和するために最適化されたテキスト分類のための新しいDual-State Capsule (DS-Caps) ネットワーク技術を提案する。 文レベルと単語レベルという2種類の状態がカプセル層に統合され、言語モデリングのためのより深い文脈レベル情報を取得する。 カプセル間の動的ルーティングプロセスも,文レベル状態から得られる文脈レベル情報を用いて最適化された。 ds-capsネットワークは、複数のデータセット、特にテキストのシーケンスが長いタスクにおいて、既存のカプセルネットワークアーキテクチャよりも優れている。 また,低リソース言語におけるテキスト分類におけるDS-Capsの優位性を示す。

関連論文リスト

• Transfer-Free Data-Efficient Multilingual Slot Labeling [82.02076369811402]
  スロットラベリングはタスク指向対話(ToD)システムの中核的なコンポーネントである。 固有データ不足の問題を緩和するために、多言語ToDに関する現在の研究は、十分な英語の注釈付きデータが常に利用可能であると仮定している。 標準的な多言語文エンコーダを効果的なスロットラベリングに変換する2段階のスロットラベリング手法(TWOSL)を提案する。
  論文  参考訳（メタデータ） (2023-05-22T22:47:32Z)
• Like a Good Nearest Neighbor: Practical Content Moderation and Text Classification [66.02091763340094]
  LaGoNN(Good Nearest Neighbor)は、学習可能なパラメータを導入することなく、隣人の情報で入力テキストを変更するSetFitの変更である。 LaGoNNは望ましくないコンテンツやテキスト分類のフラグ付けに有効であり、SetFitのパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2023-02-17T15:43:29Z)
• MGDoc: Pre-training with Multi-granular Hierarchy for Document Image Understanding [53.03978356918377]
  異なるレベルの粒度のコンテンツ間の空間的階層的関係は、文書画像理解タスクに不可欠である。 既存の方法は単語レベルか地域レベルから特徴を学習するが、両方を同時に考えることができない。 MGDocは,ページレベル,領域レベル,単語レベル情報を同時にエンコードするマルチモーダル・マルチグラニュラ事前学習フレームワークである。
  論文  参考訳（メタデータ） (2022-11-27T22:47:37Z)
• Attend, Memorize and Generate: Towards Faithful Table-to-Text Generation in Few Shots [58.404516361586325]
  Few-shot table-to-text generation は、限られたデータを用いてテーブル内容を伝えるために、流動的で忠実な文を構成するタスクである。 本稿では,人間のテキスト生成プロセスに触発された新しい手法,覚醒と生成(AMG)を提案する。
  論文  参考訳（メタデータ） (2022-03-01T20:37:20Z)
• Generating More Pertinent Captions by Leveraging Semantics and Style on Multi-Source Datasets [56.018551958004814]
  本稿では,データソースの非一様結合をトレーニングすることで,流動的な記述を生成するタスクに対処する。 ノイズの多い画像とテキストのペアを持つ大規模データセットは、サブ最適の監視源を提供する。 本稿では,検索コンポーネントから抽出したスタイルトークンとキーワードを組み込むことにより,セマンティクスと記述スタイルを活用・分離することを提案する。
  論文  参考訳（メタデータ） (2021-11-24T19:00:05Z)
• Hierarchical Text Classification of Urdu News using Deep Neural Network [0.0]
  本稿では,ウルドゥー語におけるニュースの階層的テキスト分類のためのディープラーニングモデルを提案する。 スポーツ、テクノロジー、エンターテイメントという8つのジャンルに属する8つのオンラインニュースサイトから51,325の文章で構成されている。
  論文  参考訳（メタデータ） (2021-07-07T11:06:11Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• Cascaded Semantic and Positional Self-Attention Network for Document Classification [9.292885582770092]
  ケースドセマンティクスと位置自己注意ネットワーク(CSPAN)を用いた2つの情報ソースを集約する新しいアーキテクチャを提案する。 CSPANは、Bi-LSTMにカスケードされたセマンティックセルフアテンション層を使用して、セマンティックおよび位置情報を逐次的に処理し、その後、残余接続を介してそれらを適応的に結合する。 CSPANモデルを用いて,文書分類用ベンチマークデータセットの評価を行い,その評価結果について検討した。
  論文  参考訳（メタデータ） (2020-09-15T15:02:28Z)
• A Novel BGCapsule Network for Text Classification [5.010425616264462]
  本稿では,複数のテキスト分類タスクに対する双方向Gated Recurrent Units (BiGRU) のアンサンブルに先行するカプセルモデルである,新しいハイブリッドアーキテクチャであるBGCapsuleを提案する。 BGCapsuleは、外部の言語知識の助けなしに既存の手法よりも精度が良い。
  論文  参考訳（メタデータ） (2020-07-02T06:07:29Z)
• VGCN-BERT: Augmenting BERT with Graph Embedding for Text Classification [21.96079052962283]
  VGCN-BERTモデルは、BERTとVocabulary Graph Convolutional Network(VGCN)の機能を組み合わせる いくつかのテキスト分類データセットの実験では、BERTとGCNを単独で比較した。
  論文  参考訳（メタデータ） (2020-04-12T22:02:33Z)
• Adapting Deep Learning for Sentiment Classification of Code-Switched Informal Short Text [1.6752182911522517]
  コードスイッチによる非公式テキストの感情分類のために,MultiSentiというラベル付きデータセットを提案する。 コードスイッチトされた非公式短文の感情分類のための深層学習に基づくモデルを提案する。
  論文  参考訳（メタデータ） (2020-01-04T06:31:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。