論文の概要: Text Classification Based on Knowledge Graphs and Improved Attention Mechanism

• arxiv url: http://arxiv.org/abs/2401.03591v1
• Date: Sun, 7 Jan 2024 22:20:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-09 18:17:57.451630
• Title: Text Classification Based on Knowledge Graphs and Improved Attention Mechanism
• Title（参考訳）: 知識グラフに基づくテキスト分類と注意機構の改善
• Authors: Siyu Li, Lu Chen, Chenwei Song, Xinyi Liu
• Abstract要約: モデルは文字レベルと単語レベルの両方で動作し、概念を統合することで理解を深める。 その性能はAGNews、Ohsumed、TagMyNewsなどのデータセットで実証されており、それぞれ75.1%、58.7%、68.5%の精度が達成されている。
• 参考スコア（独自算出の注目度）: 12.008192698720947
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To resolve the semantic ambiguity in texts, we propose a model, which innovatively combines a knowledge graph with an improved attention mechanism. An existing knowledge base is utilized to enrich the text with relevant contextual concepts. The model operates at both character and word levels to deepen its understanding by integrating the concepts. We first adopt information gain to select import words. Then an encoder-decoder framework is used to encode the text along with the related concepts. The local attention mechanism adjusts the weight of each concept, reducing the influence of irrelevant or noisy concepts during classification. We improve the calculation formula for attention scores in the local self-attention mechanism, ensuring that words with different frequencies of occurrence in the text receive higher attention scores. Finally, the model employs a Bi-directional Gated Recurrent Unit (Bi-GRU), which is effective in feature extraction from texts for improved classification accuracy. Its performance is demonstrated on datasets such as AGNews, Ohsumed, and TagMyNews, achieving accuracy of 75.1%, 58.7%, and 68.5% respectively, showing its effectiveness in classifying tasks.
• Abstract（参考訳）: テキストの意味曖昧さを解消するために,知識グラフと注意力向上機構を革新的に結合したモデルを提案する。 既存の知識ベースを使用して、テキストを関連するコンテキスト概念で強化する。 モデルは文字レベルと単語レベルの両方で動作し、概念を統合することで理解を深める。 まず、インフォメーションゲインをインポートワードの選択に採用する。 次に、エンコーダ-デコーダフレームワークを使用して、関連する概念とともにテキストをエンコードする。 局所注意機構は、各概念の重みを調整し、分類中の無関係または騒がしい概念の影響を低減する。 局所的自己注意機構における注意スコアの計算式を改良し、テキスト中の出現頻度の異なる単語の方が注意スコアが高いことを保証する。 最後に,テキストからの特徴抽出に有効な双方向ゲートリカレントユニットbi-gru(bi-gru)を用いて分類精度を向上させる。 その性能はAGNews、Ohsumed、TagMyNewsなどのデータセットで実証され、それぞれ75.1%、58.7%、68.5%の精度が達成され、タスクの分類の有効性を示している。

関連論文リスト

• A Novel Ehanced Move Recognition Algorithm Based on Pre-trained Models with Positional Embeddings [6.688643243555054]
  要約の認識は、コンテンツを効果的に特定し、記事を明確にするために重要である。 本稿では,中国科学・技術論文の非構造的抽象化に対する注意機構を備えた,改良された事前学習モデルとゲートネットワークを備えた新しい動き認識アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-14T03:20:28Z)
• Select and Augment: Enhanced Dense Retrieval Knowledge Graph Augmentation [0.59829224684009]
  本稿では,KGエンティティに関連するテキスト記述の集合を共同で選択するフレームワークを提案する。 Link Predictionの実験結果は平均相反ランク(MRR)とHits@10スコアの5.5%と3.5%の増加を示している。
  論文  参考訳（メタデータ） (2023-07-28T19:33:18Z)
• Description-Enhanced Label Embedding Contrastive Learning for Text Classification [65.01077813330559]
  モデル学習プロセスにおける自己監督型学習(SSL)と新しい自己監督型関係関係(R2)分類タスクの設計 テキスト分類とR2分類を最適化対象として扱うテキスト分類のための関係学習ネットワーク(R2-Net)の関係について検討する。 ラベルセマンティックラーニングのためのマルチアスペクト記述を得るためのWordNetからの外部知識。
  論文  参考訳（メタデータ） (2023-06-15T02:19:34Z)
• ChatGraph: Interpretable Text Classification by Converting ChatGPT Knowledge to Graphs [54.48467003509595]
  ChatGPTは、様々な自然言語処理(NLP)タスクにおいて優れたパフォーマンスを示している。 テキスト分類などの特定のタスクにChatGPTのパワーを利用する新しいフレームワークを提案する。 本手法は,従来のテキスト分類法と比較して,より透過的な意思決定プロセスを提供する。
  論文  参考訳（メタデータ） (2023-05-03T19:57:43Z)
• Structure-Augmented Text Representation Learning for Efficient Knowledge Graph Completion [53.31911669146451]
  人為的な知識グラフは、様々な自然言語処理タスクに重要な支援情報を提供する。 これらのグラフは通常不完全であり、自動補完を促す。 グラフ埋め込みアプローチ(例えばTransE)は、グラフ要素を密度の高い埋め込みに表現することで構造化された知識を学ぶ。 テキストエンコーディングアプローチ(KG-BERTなど)は、グラフトリプルのテキストとトリプルレベルの文脈化表現を利用する。
  論文  参考訳（メタデータ） (2020-04-30T13:50:34Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)
• Salience Estimation with Multi-Attention Learning for Abstractive Text Summarization [86.45110800123216]
  テキスト要約のタスクでは、単語、フレーズ、文のサリエンス推定が重要な要素である。 本稿では,サラレンス推定のための2つの新しい注目学習要素を含むマルチアテンション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-07T02:38:56Z)
• Short Text Classification via Knowledge powered Attention with Similarity Matrix based CNN [6.6723692875904375]
  本稿では,類似度行列に基づく畳み込みニューラルネットワーク(KASM)モデルを用いた知識駆動型アテンションを提案する。 我々は知識グラフ(KG)を用いて短文の意味表現を強化する。 知識の重要性を測定するために,重要な情報を選択するための注意機構を導入する。
  論文  参考訳（メタデータ） (2020-02-09T12:08:43Z)
• Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs [96.73259297063619]
  我々は、この厄介なキュレーションを解放するために、新しい定式化、ゼロショット学習を考える。 新たに追加された関係について,テキスト記述から意味的特徴を学習しようと試みる。 我々は,GAN(Generative Adrial Networks)を活用し,テキストと知識グラフ領域の接続を確立する。
  論文  参考訳（メタデータ） (2020-01-08T01:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。