論文の概要: Biologically Plausible Learning of Text Representation with Spiking Neural Networks

• arxiv url: http://arxiv.org/abs/2006.14894v1
• Date: Fri, 26 Jun 2020 10:14:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 21:32:45.269091
• Title: Biologically Plausible Learning of Text Representation with Spiking Neural Networks
• Title（参考訳）: スパイクニューラルネットワークを用いたテキスト表現の生物学的確率的学習
• Authors: Marcin Bia{\l}as, Marcin Micha{\l} Miro\'nczuk, Jacek Ma\'ndziuk
• Abstract要約: 我々は、文書をスパイクスパイク列車に変換する方法を示し、スパイクニューラルネットワーク(SNN)のトレーニングプロセスにおいて入力として使用される。 トレーニング後、SNNはテキスト/文書分類に適した低次元スパイクベースのテキスト表現を生成するために使用できる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study proposes a novel biologically plausible mechanism for generating low-dimensional spike-based text representation. First, we demonstrate how to transform documents into series of spikes spike trains which are subsequently used as input in the training process of a spiking neural network (SNN). The network is composed of biologically plausible elements, and trained according to the unsupervised Hebbian learning rule, Spike-Timing-Dependent Plasticity (STDP). After training, the SNN can be used to generate low-dimensional spike-based text representation suitable for text/document classification. Empirical results demonstrate that the generated text representation may be effectively used in text classification leading to an accuracy of $80.19\%$ on the bydate version of the 20 newsgroups data set, which is a leading result amongst approaches that rely on low-dimensional text representations.
• Abstract（参考訳）: 本研究は,低次元スパイクに基づくテキスト表現を生成するための生物学的に妥当な機構を提案する。 まず、文書を一連のスパイクスパイク列車に変換する方法を示し、その後、スパイクニューラルネットワーク(SNN)のトレーニングプロセスで入力として使用される。 ネットワークは生物学的に有理な要素で構成され、教師なしのヘビー学習規則、スパイク・タイピング依存可塑性(stdp)に従って訓練される。 トレーニング後、SNNはテキスト/文書分類に適した低次元スパイクベースのテキスト表現を生成するために使用できる。 実験の結果、生成されたテキスト表現は、低次元テキスト表現に依存するアプローチにおいて主要な結果である20のnewsgroupsデータセットの過去のバージョンで80.19\%$の精度をもたらすテキスト分類において効果的に使用されることが示されている。

関連論文リスト

• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• SLCNN: Sentence-Level Convolutional Neural Network for Text Classification [0.0]
  畳み込みニューラルネットワーク(CNN)は,テキスト分類のタスクにおいて顕著な成功を収めている。 CNNを用いたテキスト分類のための新しいベースラインモデルが研究されている。 結果から,提案したモデルの性能は,特に長いドキュメントにおいて向上していることがわかった。
  論文  参考訳（メタデータ） (2023-01-27T13:16:02Z)
• A semantic hierarchical graph neural network for text classification [1.439766998338892]
  本稿では,単語レベル,文レベル,文書レベルから対応する情報をそれぞれ抽出する階層型グラフニューラルネットワーク(HieGNN)を提案する。 いくつかのベンチマークデータセットの実験結果は、いくつかのベースライン手法と比較して、より良い、または類似した結果が得られる。
  論文  参考訳（メタデータ） (2022-09-15T03:59:31Z)
• A Scene-Text Synthesis Engine Achieved Through Learning from Decomposed Real-World Data [4.096453902709292]
  シーンテキスト画像合成技術は,背景画像上のテキストインスタンスを自然に構成することを目的としている。 本稿では,テキスト位置提案ネットワーク(TLPNet)とテキスト出現適応ネットワーク(TAANet)を含む学習ベーステキスト合成エンジン(LBTS)を提案する。 トレーニング後、これらのネットワークを統合して、シーンテキスト分析タスクのための合成データセットを生成することができる。
  論文  参考訳（メタデータ） (2022-09-06T11:15:58Z)
• TextRGNN: Residual Graph Neural Networks for Text Classification [13.912147013558846]
  TextRGNNは改良されたGNN構造であり、畳み込みネットワークの深さを深くする残差接続を導入している。 我々の構造はより広いノード受容場を得ることができ、ノード特徴の過度な平滑化を効果的に抑制できる。 コーパスレベルであれテキストレベルであれ、分類精度を大幅に向上させ、幅広いテキスト分類データセット上でSOTA性能を達成することができる。
  論文  参考訳（メタデータ） (2021-12-30T13:48:58Z)
• How much do language models copy from their training data? Evaluating linguistic novelty in text generation using RAVEN [63.79300884115027]
  現在の言語モデルは高品質なテキストを生成することができる。 彼らは、これまで見たテキストを単にコピーしているか、それとも一般化可能な言語的抽象化を学んだのか? 本稿では、生成したテキストの新規性を評価するための分析スイートであるRAVENを紹介する。
  論文  参考訳（メタデータ） (2021-11-18T04:07:09Z)
• FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
  本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。 FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
  論文  参考訳（メタデータ） (2021-06-24T15:38:34Z)
• Learning to Segment Human Body Parts with Synthetically Trained Deep Convolutional Networks [58.0240970093372]
  本稿では,合成データのみを用いて学習した深部畳み込みニューラルネットワークに基づく人体部分分割のための新しい枠組みを提案する。 提案手法は,人体部品の実際の注釈付きデータを用いてモデルを訓練することなく,最先端の結果が得られる。
  論文  参考訳（メタデータ） (2021-02-02T12:26:50Z)
• Be More with Less: Hypergraph Attention Networks for Inductive Text Classification [56.98218530073927]
  グラフニューラルネットワーク(GNN)は、研究コミュニティで注目され、この標準タスクで有望な結果を実証している。 成功にもかかわらず、それらのパフォーマンスは、単語間の高次相互作用をキャプチャできないため、実際は大部分が危険に晒される可能性がある。 本稿では,テキスト表現学習において,少ない計算量でより表現力の高いハイパーグラフアテンションネットワーク(HyperGAT)を提案する。
  論文  参考訳（メタデータ） (2020-11-01T00:21:59Z)
• Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
  トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。 テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。 提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
  論文  参考訳（メタデータ） (2020-10-12T19:42:25Z)
• An Intelligent CNN-VAE Text Representation Technology Based on Text Semantics for Comprehensive Big Data [15.680918844684454]
  畳み込みニューラルネットワーク(CNN)と可変オートエンコーダ(VAE)に基づくテキスト特徴表現モデルを提案する。 提案手法は,k-nearest neighbor (KNN), random forest (RF) および Support vector machine (SVM) 分類アルゴリズムにおいて優れる。
  論文  参考訳（メタデータ） (2020-08-28T07:39:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。