Fugu-MT 論文翻訳(概要): Word Embedding with Neural Probabilistic Prior

論文の概要: Word Embedding with Neural Probabilistic Prior

arxiv url: http://arxiv.org/abs/2309.11824v1
Date: Thu, 21 Sep 2023 06:54:32 GMT
ステータス: 処理完了
システム内更新日: 2023-09-22 16:41:59.010414
Title: Word Embedding with Neural Probabilistic Prior
Title（参考訳）: ニューラル確率的先行詞を用いた単語埋め込み
Authors: Shaogang Ren, Dingcheng Li, Ping Li
Abstract要約: 本稿では,単語埋め込みモデルとシームレスに統合可能な確率的先行モデルを提案する。提案した構造は単純で効果的であり、容易に実装でき、柔軟に接続できる。
参考スコア（独自算出の注目度）: 24.893999575628452
License: http://creativecommons.org/licenses/by/4.0/
Abstract: To improve word representation learning, we propose a probabilistic prior which can be seamlessly integrated with word embedding models. Different from previous methods, word embedding is taken as a probabilistic generative model, and it enables us to impose a prior regularizing word representation learning. The proposed prior not only enhances the representation of embedding vectors but also improves the model's robustness and stability. The structure of the proposed prior is simple and effective, and it can be easily implemented and flexibly plugged in most existing word embedding models. Extensive experiments show the proposed method improves word representation on various tasks.
Abstract（参考訳）: 単語表現学習を改善するために,単語埋め込みモデルとシームレスに統合可能な確率的前置法を提案する。従来の方法とは異なり、単語埋め込みは確率的生成モデルとして捉えられ、事前の正規化単語表現学習を課すことができる。提案手法は, 埋め込みベクトルの表現性を向上するだけでなく, モデルの堅牢性や安定性も向上する。提案手法は単純かつ効果的であり,既存の単語埋め込みモデルで容易に実装し,柔軟に接続することができる。実験の結果,提案手法は様々なタスクにおける単語表現を改善した。

関連論文リスト

Collapsed Language Models Promote Fairness [88.48232731113306]
偏りのある言語モデルはトークン表現と単語埋め込みの間に崩壊したアライメントを示す。我々は,幅広い脱バイアス法において,公平性を効果的に向上する原理的な微調整法を設計する。
論文参考訳（メタデータ） (2024-10-06T13:09:48Z)
FUSE-ing Language Models: Zero-Shot Adapter Discovery for Prompt Optimization Across Tokenizers [55.2480439325792]
FUSEは、あるモデルのテキスト埋め込み空間から別のモデルへのマッピングを行うアダプタ層を、異なるトークン化器にまたがっても近似するアプローチである。画像キャプションと感情に基づく画像キャプションのための視覚言語モデルと因果言語モデルに対する多目的最適化によるアプローチの有効性を示す。
論文参考訳（メタデータ） (2024-08-09T02:16:37Z)
Object Representations as Fixed Points: Training Iterative Refinement Algorithms with Implicit Differentiation [88.14365009076907]
反復的洗練は表現学習に有用なパラダイムである。トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
論文参考訳（メタデータ） (2022-07-02T10:00:35Z)
Probabilistic Embeddings with Laplacian Graph Priors [0.0]
本モデルでは, 従来提案されていた埋め込み手法を1つの傘の下に統一する。実験により,本モデルが過去のモデルの性能と特殊ケースとを一致させることを示す。異なる設定でフレキシブルな見積もりを可能にする実装としてコードを提供します。
論文参考訳（メタデータ） (2022-03-25T13:33:51Z)
Imputing Out-of-Vocabulary Embeddings with LOVE Makes Language Models Robust with Little Cost [5.672132510411465]
最先端のNLPシステムは、単語埋め込みを伴う入力を表すが、外語彙の単語に直面すると、これらは不安定である。我々は,単語の表面形のみを用いて事前学習した埋め込みの挙動を学習することにより,未知語に対するベクトルを生成するための模倣様モデルの原理に従う。本稿では,既存の事前学習型言語モデル(BERTなど)の単語表現を拡張したシンプルなコントラスト学習フレームワークLOVEを提案する。
論文参考訳（メタデータ） (2022-03-15T13:11:07Z)
Obtaining Better Static Word Embeddings Using Contextual Embedding Models [53.86080627007695]
提案手法はCBOWをベースとした簡易な蒸留法である。副作用として、我々の手法は文脈的および静的な埋め込みの公正な比較を可能にする。
論文参考訳（メタデータ） (2021-06-08T12:59:32Z)
Denoising Word Embeddings by Averaging in a Shared Space [34.175826109538676]
単語埋め込みの品質を円滑にし,改善するための新しい手法を提案する。一般化プロクリスト解析(GPA)手法の効率的な実装を用いて,すべてのモデルを共有ベクトル空間に投影する。新しい表現はより安定し信頼性が高いため、稀な単語評価において顕著な改善がある。
論文参考訳（メタデータ） (2021-06-05T19:49:02Z)
Accurate Word Representations with Universal Visual Guidance [55.71425503859685]
本稿では,視覚指導から従来の単語埋め込みを視覚的に強調する視覚的表現法を提案する。各単語が多様な関連画像に対応するマルチモーダルシードデータセットから,小型の単語画像辞書を構築する。 12の自然言語理解および機械翻訳タスクの実験により,提案手法の有効性と一般化能力がさらに検証された。
論文参考訳（メタデータ） (2020-12-30T09:11:50Z)
PBoS: Probabilistic Bag-of-Subwords for Generalizing Word Embedding [16.531103175919924]
単語の埋め込みを一般化する作業について検討する。有限語彙上の事前訓練された単語ベクトルの集合が与えられた場合、その目標は語彙外単語に対する埋め込みベクトルを予測することである。サブワードセグメント化を同時にモデル化し,サブワードをベースとした合成単語の埋め込みを計算できるモデルを提案する。
論文参考訳（メタデータ） (2020-10-21T08:11:08Z)
Multiple Word Embeddings for Increased Diversity of Representation [15.279850826041066]
本稿では,実行時間の増加を無視できるような,強いベースライン上での性能を実質的に一貫的に向上させる手法を示す。我々は、事前学習した埋め込み類似性と語彙被覆の側面を分析し、表現多様性がなぜこの技術が機能するかの原動力であることを見出した。
論文参考訳（メタデータ） (2020-09-30T02:33:09Z)
Multiplex Word Embeddings for Selectional Preference Acquisition [70.33531759861111]
単語間の様々な関係に応じて容易に拡張できる多重単語埋め込みモデルを提案する。本モデルでは,不必要なスパース性を導入することなく,関係の異なる単語を効果的に識別することができる。
論文参考訳（メタデータ） (2020-01-09T04:47:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。