論文の概要: Context based Text-generation using LSTM networks
- arxiv url: http://arxiv.org/abs/2005.00048v1
- Date: Thu, 30 Apr 2020 18:39:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-08 03:13:00.582887
- Title: Context based Text-generation using LSTM networks
- Title（参考訳）: LSTMネットワークを用いた文脈ベーステキスト生成
- Authors: Sivasurya Santhanam
- Abstract要約: 提案モデルでは,与えられた入力単語の集合とコンテキストベクトルのテキストを生成するように訓練されている。
生成したテキストのコンテキストに対するセマンティック・クローズネスに基づいて評価を行う。
- 参考スコア（独自算出の注目度）: 0.5330240017302621
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long short-term memory(LSTM) units on sequence-based models are being used in
translation, question-answering systems, classification tasks due to their
capability of learning long-term dependencies. In Natural language generation,
LSTM networks are providing impressive results on text generation models by
learning language models with grammatically stable syntaxes. But the downside
is that the network does not learn about the context. The network only learns
the input-output function and generates text given a set of input words
irrespective of pragmatics. As the model is trained without any such context,
there is no semantic consistency among the generated sentences. The proposed
model is trained to generate text for a given set of input words along with a
context vector. A context vector is similar to a paragraph vector that grasps
the semantic meaning(context) of the sentence. Several methods of extracting
the context vectors are proposed in this work. While training a language model,
in addition to the input-output sequences, context vectors are also trained
along with the inputs. Due to this structure, the model learns the relation
among the input words, context vector and the target word. Given a set of
context terms, a well trained model will generate text around the provided
context. Based on the nature of computing context vectors, the model has been
tried out with two variations (word importance and word clustering). In the
word clustering method, the suitable embeddings among various domains are also
explored. The results are evaluated based on the semantic closeness of the
generated text to the given context.
- Abstract（参考訳）: シーケンスベースモデル上の長期記憶(LSTM)ユニットは、翻訳、質問応答システム、長期依存の学習能力による分類タスクに使用されている。
自然言語生成において、LSTMネットワークは文法的に安定な構文を持つ言語モデルを学習することで、テキスト生成モデルに対して印象的な結果を提供している。
しかし、欠点は、ネットワークがコンテキストについて学ばないことだ。
ネットワークは入力出力関数を学習し、実用性に関係なく入力単語のセットを与えられたテキストを生成する。
モデルはそのような文脈なしで訓練されるので、生成された文間に意味的な一貫性はない。
提案モデルでは,与えられた入力語群に対するテキストとコンテキストベクトルを生成するように訓練されている。
文脈ベクトルは、文の意味的意味(文脈)をつかむ段落ベクトルに似ている。
本研究では, 文脈ベクトルの抽出法をいくつか提案する。
言語モデルをトレーニングしている間、入力出力シーケンスに加えて、コンテキストベクトルも入力と共にトレーニングされる。
この構造のため、モデルは入力語、文脈ベクトルおよび対象語の関係を学習する。
一連のコンテキスト条件が与えられた場合、十分に訓練されたモデルが提供されたコンテキストに関するテキストを生成する。
文脈ベクトルの計算の性質に基づいて、このモデルは2つのバリエーション(単語の重要性と単語クラスタリング)で試されてきた。
単語クラスタリングでは,各ドメイン間の適切な埋め込みについても検討する。
得られたコンテキストに対する生成したテキストの意味的近接度に基づいて評価する。
関連論文リスト
- A Case Study on Context-Aware Neural Machine Translation with Multi-Task Learning [49.62044186504516]
文書レベルのニューラルネットワーク翻訳(DocNMT)では、コンテクストやソース文のエンコーディングにおいてマルチエンコーダアプローチが一般的である。
近年の研究では、コンテキストエンコーダがノイズを発生させ、コンテキストの選択に頑健なモデルを実現することが示されている。
本稿では、マルチタスク学習(MTL)を通してコンテキストエンコーディングを明示的にモデル化することで、コンテキスト選択に敏感なモデルを実現することにより、この観察をさらに検討する。
論文 参考訳（メタデータ） (2024-07-03T12:50:49Z) - Detecting out-of-distribution text using topological features of transformer-based language models [0.5735035463793009]
本稿では,トランスフォーマーに基づく言語モデルからの自己注意マップのトポロジ的特徴を利用して,入力テキストの分布外の検出を行う。
BERT に対する我々のアプローチを評価し,従来の OOD アプローチと比較した。
以上の結果から,本手法はCLS埋め込みよりも優れており,ドメイン内分布サンプルとドメイン外分布サンプルを区別するが,ほぼ同一あるいは同一のデータセットと競合することを示す。
論文 参考訳（メタデータ） (2023-11-22T02:04:35Z) - Pre-Training to Learn in Context [138.0745138788142]
言語モデルが文脈で学習するために明示的に訓練されていないため、コンテキスト内学習の能力は十分に活用されていない。
In-Context Learning のための PICL (Pre-training for In-Context Learning) を提案する。
実験の結果,PICLはベースラインよりも効率が高く,タスクの汎用性が高く,約4倍のパラメータを持つ言語モデルよりも優れていた。
論文 参考訳（メタデータ） (2023-05-16T03:38:06Z) - Context-aware Fine-tuning of Self-supervised Speech Models [56.95389222319555]
微調整におけるコンテキスト,すなわち周辺セグメントの使用について検討する。
我々はコンテキスト認識ファインチューニングと呼ばれる新しいアプローチを提案する。
いくつかの下流タスクに対して,SLUE と Libri-light ベンチマークを用いて提案手法の評価を行った。
論文 参考訳（メタデータ） (2022-12-16T15:46:15Z) - Syntax-Enhanced Pre-trained Model [49.1659635460369]
BERTやRoBERTaなどの学習済みモデルを強化するために、テキストの構文構造を活用するという問題を研究する。
既存の手法では、事前学習段階または微調整段階のいずれかでテキストの構文を利用しており、両者の区別に苦しむ。
事前学習と微調整の両方の段階でテキストのシンタックスを利用するモデルを提示する。
論文 参考訳（メタデータ） (2020-12-28T06:48:04Z) - Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。
テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。
提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
論文 参考訳（メタデータ） (2020-10-12T19:42:25Z) - How LSTM Encodes Syntax: Exploring Context Vectors and Semi-Quantization
on Natural Text [2.881185491084005]
構文構造が暗黙的に与えられる言語モデルを学ぶ。
内部ゲートの出力である文脈更新ベクトルは、ほぼ2進あるいは3進の値に量子化されていることを示す。
文脈ベクトルのいくつかの次元について、それらのアクティベーションは句構造の深さと非常に相関していることを示す。
また、機能的単語の自然なクラスタと、フレーズをトリガーする音声の一部が、LSTMの文脈更新ベクトルの小さいが主部分空間で表現されることを示す。
論文 参考訳（メタデータ） (2020-10-01T12:49:01Z) - Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。
言語モデルのための完全合成出力埋め込み層を提案する。
我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
論文 参考訳（メタデータ） (2020-09-24T07:21:14Z) - An Intelligent CNN-VAE Text Representation Technology Based on Text
Semantics for Comprehensive Big Data [15.680918844684454]
畳み込みニューラルネットワーク(CNN)と可変オートエンコーダ(VAE)に基づくテキスト特徴表現モデルを提案する。
提案手法は,k-nearest neighbor (KNN), random forest (RF) および Support vector machine (SVM) 分類アルゴリズムにおいて優れる。
論文 参考訳（メタデータ） (2020-08-28T07:39:45Z) - Logic Constrained Pointer Networks for Interpretable Textual Similarity [11.142649867439406]
本稿では, セシネルゲーティング機能を備えた新しいポインターネットワークモデルを導入し, 構成チャンクを整列させる。
両文の相違を等しく補償し、アライメントが双方向であることを保証するために、損失関数によるこのベースモデルを改善する。
このモデルは、チャンクアライメントタスクのためのベンチマークSemEvalデータセットにおいて、97.73と96.32のF1スコアを達成する。
論文 参考訳（メタデータ） (2020-07-15T13:01:44Z) - Distributional semantic modeling: a revised technique to train term/word
vector space models applying the ontology-related approach [36.248702416150124]
ニューラルネットワークを用いた分散項表現(あるいは項埋め込み)学習による分布意味モデリングのための新しい手法を設計する。
Vec2graphは、動的かつインタラクティブなグラフとして単語埋め込み(私たちの場合の長期埋め込み)を視覚化するためのPythonライブラリである。
論文 参考訳（メタデータ） (2020-03-06T18:27:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。