論文の概要: On the Effects of Using word2vec Representations in Neural Networks for
Dialogue Act Recognition
- arxiv url: http://arxiv.org/abs/2010.11490v1
- Date: Thu, 22 Oct 2020 07:21:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 06:33:17.893805
- Title: On the Effects of Using word2vec Representations in Neural Networks for
Dialogue Act Recognition
- Title（参考訳）: 対話行為認識のためのニューラルネットワークにおけるWord2vec表現の効果について
- Authors: Christophe Cerisara (SYNALP), Pavel Kral, Ladislav Lenc
- Abstract要約: 文中の単語列をキャプチャする再帰モデルを探索するディープニューラルネットワークを提案する。
このモデルを英語、フランス語、チェコ語という3つの言語で検証する。
- 参考スコア（独自算出の注目度）: 0.6767885381740952
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dialogue act recognition is an important component of a large number of
natural language processing pipelines. Many research works have been carried
out in this area, but relatively few investigate deep neural networks and word
embeddings. This is surprising, given that both of these techniques have proven
exceptionally good in most other language-related domains. We propose in this
work a new deep neural network that explores recurrent models to capture word
sequences within sentences, and further study the impact of pretrained word
embeddings. We validate this model on three languages: English, French and
Czech. The performance of the proposed approach is consistent across these
languages and it is comparable to the state-of-the-art results in English. More
importantly, we confirm that deep neural networks indeed outperform a Maximum
Entropy classifier, which was expected. However , and this is more surprising,
we also found that standard word2vec em-beddings do not seem to bring valuable
information for this task and the proposed model, whatever the size of the
training corpus is. We thus further analyse the resulting embeddings and
conclude that a possible explanation may be related to the mismatch between the
type of lexical-semantic information captured by the word2vec embeddings, and
the kind of relations between words that is the most useful for the dialogue
act recognition task.
- Abstract（参考訳）: 対話行動認識は、多くの自然言語処理パイプラインの重要な構成要素である。
多くの研究がこの地域で行われているが、ディープニューラルネットワークや単語埋め込みの研究は比較的少ない。
どちらの手法も他のほとんどの言語関連ドメインでは例外的に優れていることが証明されているため、これは驚くべきことである。
本稿では,文中の単語列をキャプチャする再帰モデルを検討する新しい深層ニューラルネットワークを提案し,事前学習された単語埋め込みの影響について検討する。
このモデルを英語、フランス語、チェコ語という3つの言語で検証する。
提案手法の性能はこれらの言語間で一貫しており、英語の最先端の結果と同等である。
さらに重要なことは、深層ニューラルネットワークが期待されていた最大エントロピー分類器よりも優れていることを確認する。
しかし,これよりも驚くべきことに,標準の2vecエムベッドでは,トレーニングコーパスのサイズに関わらず,このタスクや提案モデルに貴重な情報が得られていないことが判明した。
そこで,本研究では,単語2vec埋め込みによって取得された語彙・意味情報のタイプと,対話行為認識タスクに最も有用な単語間の関係のタイプとのミスマッチに,可能な説明が関連していると結論づける。
関連論文リスト
- Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
形式言語理論は、特に認識者に関するものである。
代わりに、非公式な意味でのみ類似したプロキシタスクを使用するのが一般的である。
ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価することで、このミスマッチを補正する。
論文 参考訳（メタデータ） (2024-11-11T16:33:25Z) - Multilingual Name Entity Recognition and Intent Classification Employing
Deep Learning Architectures [2.9115403886004807]
本稿では,2種類のディープラーニングネットワークのエンティティ認識とインテント分類における有効性について検討する。
モデルは、英語とギリシャ語のATISベンチマークデータセットでトレーニングされ、テストされた。
論文 参考訳（メタデータ） (2022-11-04T12:42:29Z) - Sense representations for Portuguese: experiments with sense embeddings
and deep neural language models [0.0]
教師なしの感覚表現は、その文脈意味をテキストで分析することによって、単語の異なる感覚を誘導することができる。
ポルトガル語への感性埋め込みを創出するための最初の実験について述べる。
論文 参考訳（メタデータ） (2021-08-31T18:07:01Z) - LadRa-Net: Locally-Aware Dynamic Re-read Attention Net for Sentence
Semantic Matching [66.65398852962177]
文意味マッチングのための新しい動的再読ネットワーク(DRr-Net)を開発した。
DRr-Netをローカルに認識する動的再読み取り注意ネット(LadRa-Net)に拡張する
2つの一般的な文意味マッチングタスクの実験により、DRr-Netは文意味マッチングの性能を大幅に改善できることを示した。
論文 参考訳（メタデータ） (2021-08-06T02:07:04Z) - AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages
with Adversarial Examples [51.048234591165155]
本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。
言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。
その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
論文 参考訳（メタデータ） (2021-04-17T20:23:45Z) - A Novel Deep Learning Method for Textual Sentiment Analysis [3.0711362702464675]
本稿では,階層的注意層を統合した畳み込みニューラルネットワークを提案する。
提案モデルでは,分類精度が高く,情報的単語を抽出できる。
インクリメンタル転送学習を適用すると、分類性能が大幅に向上します。
論文 参考訳（メタデータ） (2021-02-23T12:11:36Z) - Effect of Word Embedding Models on Hate and Offensive Speech Detection [1.7403133838762446]
単語埋め込みモデルとニューラルネットワークアーキテクチャの両方が予測精度に与える影響について検討する。
まず、大規模なアラビア文字コーパスに複数の単語埋め込みモデルを訓練する。
検出タスク毎に、事前学習された単語埋め込みモデルを用いて、ニューラルネットワーク分類器を訓練する。
このタスクは多数の学習モデルをもたらし、徹底的な比較を可能にする。
論文 参考訳（メタデータ） (2020-11-23T02:43:45Z) - Be More with Less: Hypergraph Attention Networks for Inductive Text
Classification [56.98218530073927]
グラフニューラルネットワーク(GNN)は、研究コミュニティで注目され、この標準タスクで有望な結果を実証している。
成功にもかかわらず、それらのパフォーマンスは、単語間の高次相互作用をキャプチャできないため、実際は大部分が危険に晒される可能性がある。
本稿では,テキスト表現学習において,少ない計算量でより表現力の高いハイパーグラフアテンションネットワーク(HyperGAT)を提案する。
論文 参考訳（メタデータ） (2020-11-01T00:21:59Z) - Intrinsic Probing through Dimension Selection [69.52439198455438]
現代のほとんどのNLPシステムは、様々なタスクにおいて驚くほど高いパフォーマンスが得られる事前訓練された文脈表現を使用している。
このような高いパフォーマンスは、ある種の言語構造がこれらの表現に根ざしない限りはあり得ず、それを探究する研究が盛んに行われている。
本稿では,言語情報が表現内でどのように構造化されているかを示す内在的探索と,先行研究で広く普及している外在的探索とを区別し,抽出に成功したことを示すことによって,そのような情報の存在を主張するのみである。
論文 参考訳（メタデータ） (2020-10-06T15:21:08Z) - Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。
我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
論文 参考訳（メタデータ） (2020-04-07T01:06:36Z) - Neurals Networks for Projecting Named Entities from English to Ewondo [6.058868817939519]
本稿では、リッチ言語から低リソース言語へ名前付きエンティティを投影するための新しい単語分布表現を提案する。
提案手法は良好な結果を得たが, 使用したニューラルネットワークのサイズが大きすぎた。
本稿では,より小さなニューラルネットワークを用いて,同じ結果が得られることを示す。
論文 参考訳（メタデータ） (2020-03-29T22:05:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。