論文の概要: Using Context-to-Vector with Graph Retrofitting to Improve Word
Embeddings
- arxiv url: http://arxiv.org/abs/2210.16848v1
- Date: Sun, 30 Oct 2022 14:15:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-01 15:12:51.313132
- Title: Using Context-to-Vector with Graph Retrofitting to Improve Word
Embeddings
- Title(参考訳): グラフ再構成を用いたコンテキスト・ツー・ベクターによる単語埋め込みの改善
- Authors: Jiangbin Zheng, Yile Wang, Ge Wang, Jun Xia, Yufei Huang, Guojiang
Zhao, Yue Zhang, Stan Z. Li
- Abstract要約: より文脈的な情報をSkip-gramフレームワークに組み込むことで、単語の埋め込みを改善することを目指している。
我々の手法は、基準線を大きなマージンで上回ることがよく証明されている。
- 参考スコア(独自算出の注目度): 39.30342855873457
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although contextualized embeddings generated from large-scale pre-trained
models perform well in many tasks, traditional static embeddings (e.g.,
Skip-gram, Word2Vec) still play an important role in low-resource and
lightweight settings due to their low computational cost, ease of deployment,
and stability. In this paper, we aim to improve word embeddings by 1)
incorporating more contextual information from existing pre-trained models into
the Skip-gram framework, which we call Context-to-Vec; 2) proposing a
post-processing retrofitting method for static embeddings independent of
training by employing priori synonym knowledge and weighted vector
distribution. Through extrinsic and intrinsic tasks, our methods are well
proven to outperform the baselines by a large margin.
- Abstract(参考訳): 大規模な事前訓練されたモデルから生成されるコンテキスト化された埋め込みは多くのタスクでうまく機能するが、従来の静的埋め込み(例えば、Skip-gram、Word2Vec)は計算コストの低減、デプロイメントの容易さ、安定性のために、低リソースで軽量な設定において重要な役割を果たす。
本稿では,単語埋め込みを改善することを目的とする。
1) 既存の事前学習モデルからのよりコンテキスト的な情報を、Context-to-Vecと呼ぶSkip-gramフレームワークに組み込む。
2)事前同義語知識と重み付きベクトル分布を用いて,トレーニングに依存しない静的組込みに対する後処理レトロフィッティング法を提案する。
本手法は,外在的および内在的タスクを通じて,ベースラインを大きなマージンで上回ることを示す。
関連論文リスト
- Order Matters in the Presence of Dataset Imbalance for Multilingual
Learning [53.74649778447903]
本稿では,高リソースタスクの事前学習をシンプルかつ効果的に行う方法と,高リソースタスクと低リソースタスクの混合による微調整について述べる。
ニューラルネットワーク翻訳(NMT)と多言語言語モデリングの改善について述べる。
論文 参考訳(メタデータ) (2023-12-11T05:46:57Z) - Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。
本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
論文 参考訳(メタデータ) (2023-08-03T21:49:14Z) - Extracting Text Representations for Terms and Phrases in Technical
Domains [9.27244202193623]
そこで本研究では,大容量の事前学習組込み行列を再構築する目的で,小文字モデルを用いたテキスト符号化手法を提案する。
このアプローチでトレーニングされたモデルは、技術領域における文エンコーダの品質に適合するだけでなく、5倍小さく、最大10倍高速である。
論文 参考訳(メタデータ) (2023-05-25T08:59:36Z) - SDCUP: Schema Dependency-Enhanced Curriculum Pre-Training for Table
Semantic Parsing [19.779493883522072]
本稿では,テーブル事前学習のための学習表現に所望の帰納バイアスを課すために,2つの新しい事前学習目標を設計する。
本稿では,雑音の影響を緩和し,事前学習データから容易にハードな方法で効果的に学習する,スキーマ対応のカリキュラム学習手法を提案する。
論文 参考訳(メタデータ) (2021-11-18T02:51:04Z) - Obtaining Better Static Word Embeddings Using Contextual Embedding
Models [53.86080627007695]
提案手法はCBOWをベースとした簡易な蒸留法である。
副作用として、我々の手法は文脈的および静的な埋め込みの公正な比較を可能にする。
論文 参考訳(メタデータ) (2021-06-08T12:59:32Z) - SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。
既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
論文 参考訳(メタデータ) (2021-01-02T01:15:57Z) - Autoencoding Improves Pre-trained Word Embeddings [26.464097783864926]
最上位成分の保持は,事前学習した単語の埋め込みを改善するのに有用であることを示す。
理論的な主張を実験的に検証し、最上位の主成分を維持することは、訓練済みの単語埋め込みを改善するのに本当に有用であることを示す。
論文 参考訳(メタデータ) (2020-10-25T11:30:05Z) - On Learning Text Style Transfer with Direct Rewards [101.97136885111037]
平行コーパスの欠如により、テキストスタイルの転送タスクの教師付きモデルを直接訓練することは不可能である。
我々は、当初、微調整されたニューラルマシン翻訳モデルに使用されていた意味的類似度指標を活用している。
我々のモデルは、強いベースラインに対する自動評価と人的評価の両方において大きな利益をもたらす。
論文 参考訳(メタデータ) (2020-10-24T04:30:02Z) - Multiple Word Embeddings for Increased Diversity of Representation [15.279850826041066]
本稿では,実行時間の増加を無視できるような,強いベースライン上での性能を実質的に一貫的に向上させる手法を示す。
我々は、事前学習した埋め込み類似性と語彙被覆の側面を分析し、表現多様性がなぜこの技術が機能するかの原動力であることを見出した。
論文 参考訳(メタデータ) (2020-09-30T02:33:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。