Fugu-MT 論文翻訳(概要): A Survey on Contextual Embeddings

論文の概要: A Survey on Contextual Embeddings

arxiv url: http://arxiv.org/abs/2003.07278v2
Date: Mon, 13 Apr 2020 10:49:17 GMT
ステータス: 処理完了
システム内更新日: 2022-12-23 02:29:25.542904
Title: A Survey on Contextual Embeddings
Title（参考訳）: コンテキスト埋め込みに関する調査
Authors: Qi Liu, Matt J. Kusner, Phil Blunsom
Abstract要約: 文脈埋め込みは、各単語を文脈に基づく表現として割り当て、様々な文脈にまたがる単語の使用を捉え、言語間で伝達される知識を符号化する。本稿では,既存の文脈埋め込みモデル,言語間多言語事前学習,下流タスクへの文脈埋め込みの適用,モデル圧縮,モデル解析についてレビューする。
参考スコア（独自算出の注目度）: 48.04732268018772
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Contextual embeddings, such as ELMo and BERT, move beyond global word representations like Word2Vec and achieve ground-breaking performance on a wide range of natural language processing tasks. Contextual embeddings assign each word a representation based on its context, thereby capturing uses of words across varied contexts and encoding knowledge that transfers across languages. In this survey, we review existing contextual embedding models, cross-lingual polyglot pre-training, the application of contextual embeddings in downstream tasks, model compression, and model analyses.
Abstract（参考訳）: ELMoやBERTのようなコンテキスト埋め込みは、Word2Vecのようなグローバルなワード表現を超えて、幅広い自然言語処理タスクにおいて画期的なパフォーマンスを達成する。文脈埋め込みは、各単語にその文脈に基づいて表現を割り当て、それによって様々な文脈にわたる単語の使用を捉え、言語間で伝達される知識を符号化する。本稿では,既存の文脈埋め込みモデル,言語間多言語事前学習,下流タスクにおける文脈埋め込みの適用,モデル圧縮,モデル解析について述べる。

関連論文リスト

From Word Vectors to Multimodal Embeddings: Techniques, Applications, and Future Directions For Large Language Models [17.04716417556556]
本稿では,分布仮説や文脈的類似性といった基礎概念を概観する。本稿では, ELMo, BERT, GPTなどのモデルにおいて, 静的な埋め込みと文脈的埋め込みの両方について検討する。議論は文章や文書の埋め込みにまで拡張され、集約メソッドや生成トピックモデルをカバーする。モデル圧縮、解釈可能性、数値エンコーディング、バイアス緩和といった高度なトピックを分析し、技術的な課題と倫理的意味の両方に対処する。
論文参考訳（メタデータ） (2024-11-06T15:40:02Z)
A Comprehensive Empirical Evaluation of Existing Word Embedding Approaches [5.065947993017158]
既存の単語埋め込み手法の特徴を概説し,多くの分類タスクについて解析する。伝統的なアプローチでは、主に単語表現を生成するために行列分解を使い、言語の意味的および構文的規則性をうまく捉えることができない。一方、ニューラルネットワークに基づくアプローチは、言語の洗練された規則性を捕捉し、生成した単語表現における単語関係を保存することができる。
論文参考訳（メタデータ） (2023-03-13T15:34:19Z)
An Inclusive Notion of Text [69.36678873492373]
テキストの概念の明確さは再現可能で一般化可能なNLPにとって不可欠である,と我々は主張する。言語的および非言語的要素の2層分類を導入し,NLPモデリングに使用することができる。
論文参考訳（メタデータ） (2022-11-10T14:26:43Z)
Matching Visual Features to Hierarchical Semantic Topics for Image Paragraph Captioning [50.08729005865331]
本稿では,階層的トピック誘導画像段落生成フレームワークを開発した。複数の抽象レベルでの画像とテキストの相関をキャプチャするために、変分推論ネットワークを設計します。段落生成を導くために、学習した階層的トピックと視覚的特徴を言語モデルに統合する。
論文参考訳（メタデータ） (2021-05-10T06:55:39Z)
Accurate Word Representations with Universal Visual Guidance [55.71425503859685]
本稿では,視覚指導から従来の単語埋め込みを視覚的に強調する視覚的表現法を提案する。各単語が多様な関連画像に対応するマルチモーダルシードデータセットから,小型の単語画像辞書を構築する。 12の自然言語理解および機械翻訳タスクの実験により,提案手法の有効性と一般化能力がさらに検証された。
論文参考訳（メタデータ） (2020-12-30T09:11:50Z)
Learning Contextualised Cross-lingual Word Embeddings and Alignments for Extremely Low-Resource Languages Using Parallel Corpora [63.5286019659504]
そこで本稿では,小さな並列コーパスに基づく文脈型言語間単語埋め込み学習手法を提案する。本手法は,入力文の翻訳と再構成を同時に行うLSTMエンコーダデコーダモデルを用いて単語埋め込みを実現する。
論文参考訳（メタデータ） (2020-10-27T22:24:01Z)
Dynamic Contextualized Word Embeddings [20.81930455526026]
言語的文脈と外言語的文脈の両方の関数として単語を表す動的文脈化単語埋め込みを導入する。事前訓練された言語モデル(PLM)に基づいて、動的文脈化された単語埋め込みは、時間と社会空間を協調的にモデル化する。 4つの英語データセットの質的および定量的分析により,潜在的な応用シナリオを強調した。
論文参考訳（メタデータ） (2020-10-23T22:02:40Z)
A Neural Generative Model for Joint Learning Topics and Topic-Specific Word Embeddings [42.87769996249732]
共同学習トピックとトピック固有の単語埋め込みのための局所的・グローバル的文脈を探索する新しい生成モデルを提案する。訓練されたモデルは、単語を話題に依存した埋め込みにマッピングする。
論文参考訳（メタデータ） (2020-08-11T13:54:11Z)
A Multi-Perspective Architecture for Semantic Code Search [58.73778219645548]
テキストマッチングのための新しい多言語間ニューラルネットワークを提案する。 CoNaLaデータセットを用いた実験により,提案したモデルでは,従来の手法よりも優れた性能が得られることが示された。
論文参考訳（メタデータ） (2020-05-06T04:46:11Z)
A Common Semantic Space for Monolingual and Cross-Lingual Meta-Embeddings [10.871587311621974]
本稿では,モノリンガルおよびクロスリンガルなメタ埋め込みを作成するための新しい手法を提案する。既存のワードベクトルは線形変換と平均化を用いて共通の意味空間に投影される。結果として得られる言語間メタ埋め込みは、優れた言語間移動学習能力を示す。
論文参考訳（メタデータ） (2020-01-17T15:42:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。