論文の概要: Language Semantics Interpretation with an Interaction-based Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2112.02997v1
• Date: Tue, 2 Nov 2021 00:39:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-09 08:41:44.735599
• Title: Language Semantics Interpretation with an Interaction-based Recurrent Neural Networks
• Title（参考訳）: 対話型リカレントニューラルネットワークによる言語意味論の解釈
• Authors: Shaw-Hwa Lo, Yiqiao Yin
• Abstract要約: 本稿では,新しいインフルエンススコア (I-score) と,BDA (Backward Dropping Algorithm) と呼ばれるグリージー検索アルゴリズムと,"Dagger Technique" と呼ばれる特徴工学的手法を提案する。 提案手法は,他の人気ピアと比較して81%の誤差削減率で予測性能を向上させるために適用された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text classification is a fundamental language task in Natural Language Processing. A variety of sequential models is capable making good predictions yet there is lack of connection between language semantics and prediction results. This paper proposes a novel influence score (I-score), a greedy search algorithm called Backward Dropping Algorithm (BDA), and a novel feature engineering technique called the "dagger technique". First, the paper proposes a novel influence score (I-score) to detect and search for the important language semantics in text document that are useful for making good prediction in text classification tasks. Next, a greedy search algorithm called the Backward Dropping Algorithm is proposed to handle long-term dependencies in the dataset. Moreover, the paper proposes a novel engineering technique called the "dagger technique" that fully preserve the relationship between explanatory variable and response variable. The proposed techniques can be further generalized into any feed-forward Artificial Neural Networks (ANNs) and Convolutional Neural Networks (CNNs), and any neural network. A real-world application on the Internet Movie Database (IMDB) is used and the proposed methods are applied to improve prediction performance with an 81% error reduction comparing with other popular peers if I-score and "dagger technique" are not implemented.
• Abstract（参考訳）: テキスト分類は自然言語処理における基本的な言語処理である。 様々な逐次モデルが良い予測をすることができるが、言語の意味論と予測結果の間には関連がない。 本稿では,新しいインフルエンススコア (I-score) と,BDA (Backward Dropping Algorithm) と呼ばれるグリージー検索アルゴリズム,および"Dagger Technique" と呼ばれる特徴工学的手法を提案する。 まず,テキスト分類タスクにおいて適切な予測を行うのに役立つテキスト文書中の重要な言語意味を抽出・検索するための新しいインフルエンススコア(i-score)を提案する。 次に,データセットの長期依存を扱うために,後方降下アルゴリズムと呼ばれる欲深い探索アルゴリズムを提案する。 さらに、説明変数と応答変数の関係を完全に保存する「ダガーテクニック」と呼ばれる新しい工学手法を提案する。 提案手法は,任意のフィードフォワードニューラルネットワーク(ANN)および畳み込みニューラルネットワーク(CNN)および任意のニューラルネットワークにさらに一般化することができる。 インターネット映画データベース(IMDB)上の実世界のアプリケーションを用いて,I-score や "dagger technique" が実装されない場合と比較して81%の誤差削減で予測性能を向上させる手法を提案する。

関連論文リスト

• Graph Neural Network Approach to Semantic Type Detection in Tables [3.929053351442136]
  本研究では,関係表中の意味列型を検出することの課題に対処する。 本稿では,グラフニューラルネットワーク(GNN)を用いてテーブル内依存関係をモデル化する手法を提案する。 提案手法は,既存の最先端アルゴリズムよりも優れているだけでなく,意味型検出のための様々なGNN型の有用性と機能に関する新たな知見を提供する。
  論文  参考訳（メタデータ） (2024-04-30T18:17:44Z)
• A Novel Ehanced Move Recognition Algorithm Based on Pre-trained Models with Positional Embeddings [6.688643243555054]
  要約の認識は、コンテンツを効果的に特定し、記事を明確にするために重要である。 本稿では,中国科学・技術論文の非構造的抽象化に対する注意機構を備えた,改良された事前学習モデルとゲートネットワークを備えた新しい動き認識アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-14T03:20:28Z)
• SpellMapper: A non-autoregressive neural spellchecker for ASR customization with candidate retrieval based on n-gram mappings [76.87664008338317]
  文脈スペル補正モデルは、音声認識を改善するために浅い融合に代わるものである。 ミススペルn-gramマッピングに基づく候補探索のための新しいアルゴリズムを提案する。 Spoken Wikipediaの実験では、ベースラインのASRシステムに比べて21.4%のワードエラー率の改善が見られた。
  論文  参考訳（メタデータ） (2023-06-04T10:00:12Z)
• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• A Survey on Non-Autoregressive Generation for Neural Machine Translation and Beyond [145.43029264191543]
  非自己回帰(NAR)生成は推論を高速化するために機械翻訳(NMT)で最初に提案される。 NAR生成は機械翻訳を著しく加速させるが、自己回帰(AR)生成の推論は翻訳精度を犠牲にする。 NAR生成とAR生成の精度ギャップを埋めるために、多くの新しいモデルとアルゴリズムが設計/提案されている。
  論文  参考訳（メタデータ） (2022-04-20T07:25:22Z)
• Semantic-Preserving Adversarial Text Attacks [85.32186121859321]
  深層モデルの脆弱性を調べるために, Bigram と Unigram を用いた適応的セマンティック保存最適化法 (BU-SPO) を提案する。 提案手法は,既存手法と比較して最小の単語数を変更することで,攻撃成功率とセマンティックス率を最大化する。
  論文  参考訳（メタデータ） (2021-08-23T09:05:18Z)
• Accelerating Text Mining Using Domain-Specific Stop Word Lists [57.76576681191192]
  本稿では,超平面的アプローチと呼ばれるドメイン固有語の自動抽出手法を提案する。 ハイパープレーンベースのアプローチは、無関係な特徴を排除することによって、テキストの寸法を著しく削減することができる。 その結果,超平面型アプローチはコーパスの寸法を90%削減し,相互情報より優れることがわかった。
  論文  参考訳（メタデータ） (2020-11-18T17:42:32Z)
• Be More with Less: Hypergraph Attention Networks for Inductive Text Classification [56.98218530073927]
  グラフニューラルネットワーク(GNN)は、研究コミュニティで注目され、この標準タスクで有望な結果を実証している。 成功にもかかわらず、それらのパフォーマンスは、単語間の高次相互作用をキャプチャできないため、実際は大部分が危険に晒される可能性がある。 本稿では,テキスト表現学習において,少ない計算量でより表現力の高いハイパーグラフアテンションネットワーク(HyperGAT)を提案する。
  論文  参考訳（メタデータ） (2020-11-01T00:21:59Z)
• SHAP values for Explaining CNN-based Text Classification Models [10.881494765759829]
  本稿では,CNNに基づくテキスト分類モデルの局所的説明可能性について,SHAP値を計算する手法を開発した。 このアプローチは、機能の重要性を評価するために、グローバルスコアを計算するために拡張される。
  論文  参考訳（メタデータ） (2020-08-26T21:28:41Z)
• SeMemNN: A Semantic Matrix-Based Memory Neural Network for Text Classification [15.111940377403252]
  本稿では,エンド・ツー・エンドの学習方法を用いて,セマンティック・マトリックス・ベースのメモリ・ニューラル・ネットワークのための5つの異なる構成を提案する。 提案手法を2つのニュース記事のコーパス(AGニュース, Sogouニュース)で評価する。
  論文  参考訳（メタデータ） (2020-03-04T02:00:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。