論文の概要: Learning Dynamic Contextualised Word Embeddings via Template-based Temporal Adaptation

• arxiv url: http://arxiv.org/abs/2208.10734v1
• Date: Tue, 23 Aug 2022 05:12:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-24 13:01:52.138805
• Title: Learning Dynamic Contextualised Word Embeddings via Template-based Temporal Adaptation
• Title（参考訳）: テンプレートに基づく時間適応による動的文脈化単語埋め込みの学習
• Authors: Xiaohang Tang, Yi Zhou, Danushka Bollegala
• Abstract要約: 本稿では,事前学習したマスケッド言語モデル(MLM)を時間依存テンプレートを用いて時間適応させることで,動的文脈付き単語埋め込みを学習する手法を提案する。 実験結果から,提案手法は,$T$から選択したテスト文の難易度を著しく低減し,現在最先端の動的文脈化単語埋め込み法よりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 20.28057385992209
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dynamic contextualised word embeddings represent the temporal semantic variations of words. We propose a method for learning dynamic contextualised word embeddings by time-adapting a pretrained Masked Language Model (MLM) using time-sensitive templates. Given two snapshots $C_1$ and $C_2$ of a corpora taken respectively at two distinct timestamps $T_1$ and $T_2$, we first propose an unsupervised method to select (a) pivot terms related to both $C_1$ and $C_2$, and (b) anchor terms that are associated with a specific pivot term in each individual snapshot. We then generate prompts by filling manually compiled templates using the extracted pivot and anchor terms. Moreover, we propose an automatic method to learn time-sensitive templates from $C_1$ and $C_2$, without requiring any human supervision. Next, we use the generated prompts to adapt a pretrained MLM to $T_2$ by fine-tuning it on the prompts. Experimental results show that our proposed method significantly reduces the perplexity of test sentences selected from $T_2$, thereby outperforming the current state-of-the-art dynamic contextualised word embedding methods.
• Abstract（参考訳）: 動的文脈化された単語埋め込みは単語の時間的意味変化を表す。 本稿では,事前学習されたマスク言語モデル(mlm)を時間に適応することで,動的文脈化単語埋め込みを学習する手法を提案する。 2つの異なるタイムスタンプ $t_1$ と $t_2$ でそれぞれ取られるコーポラの2つのスナップショット $c_1$ と $c_2$ を考えると、まずは教師なしの方法を提案する。 (a)$c_1$及び$c_2$に関するピボット用語、及び (b)各スナップショット内の特定のピボット用語に関連付けられたアンカー用語。 次に、抽出されたピボットとアンカーを使って手動でコンパイルされたテンプレートを埋めてプロンプトを生成します。 さらに,人間による監督を必要とせず,C_1$とC_2$からタイムセンシティブなテンプレートを自動的に学習する手法を提案する。 次に、生成されたプロンプトを使用して、プリトレーニング済みのMLMをプロンプトで微調整することで、$T_2$に適合させる。 実験結果から,提案手法は,$t_2$ から選択した文のパープレキシティを著しく低減し,現在の動的文脈化単語埋め込み手法を上回った。

関連論文リスト

• Mixture of Prompt Learning for Vision Language Models [12.828490399811376]
  ルーティングモジュールを組み込んだソフトプロンプト学習手法の混合を提案する。 このモジュールはデータセットのさまざまなスタイルをキャプチャし、インスタンス毎に最も適切なプロンプトを動的に選択することができる。 また、意味的にグループ化されたテキストレベルの監視を実装し、各ソフトプロンプトを、そのグループから手動で設計されたテンプレートのトークン埋め込みで初期化する。
  論文  参考訳（メタデータ） (2024-09-18T14:25:02Z)
• Optimising Hard Prompts with Few-Shot Meta-Prompting [0.0]
  文脈的プロンプトは、文書や対話の形式でコンテキストを含み、Large Language Model (LLM)への自然言語命令も含む。 コンテキストを判断すると、プロンプトのテンプレートとして機能する。 本稿では,既存のプロンプトテンプレートのセットからLCMを用いて,そのコンテキストを明らかにすることなく,より優れたテンプレートを生成するための反復的手法を提案する。
  論文  参考訳（メタデータ） (2024-07-09T07:02:57Z)
• A General and Flexible Multi-concept Parsing Framework for Multilingual Semantic Matching [60.51839859852572]
  我々は,テキストを多言語セマンティックマッチングのためのマルチコンセプトに分解し,NERモデルに依存するモデルからモデルを解放することを提案する。 英語データセットのQQPとMRPC、中国語データセットのMedical-SMについて包括的な実験を行った。
  論文  参考訳（メタデータ） (2024-03-05T13:55:16Z)
• PromptNER: Prompt Locating and Typing for Named Entity Recognition [39.81221703760443]
  本稿では,位置スロットとタイプスロットを備えたデュアルスロットマルチプロンプトテンプレートを設計し,位置決めとタイピングを高速化する。 複数のプロンプトを同時にモデルに入力し、そのモデルがスロット上の並列予測によってすべてのエンティティを抽出する。 実験結果から,提案手法は特にクロスドメイン・ショット・セッティングにおいて,大幅な性能向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2023-05-26T17:16:11Z)
• Automated Few-shot Classification with Instruction-Finetuned Language Models [76.69064714392165]
  我々は、AuT-Fewが最先端の数ショット学習方法より優れていることを示す。 AuT-Few は RAFT few-shot ベンチマークにおいて,データセット間で最高のランク付け手法であることを示す。
  論文  参考訳（メタデータ） (2023-05-21T21:50:27Z)
• STPrompt: Semantic-guided and Task-driven prompts for Effective Few-shot Classification [5.6205035780719275]
  本稿ではSTPrompt-Semantic-GuidedおよびTask-driven Promptモデルを提案する。 提案モデルでは,テキスト分類タスクの5つの異なるデータセットにおいて,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-10-29T04:42:30Z)
• Reward-Mixing MDPs with a Few Latent Contexts are Learnable [75.17357040707347]
  報酬混合マルコフ決定過程(RMMDP)におけるエピソード強化学習の検討 我々のゴールは、そのようなモデルにおける時間段階の累積報酬をほぼ最大化する、ほぼ最適に近いポリシーを学ぶことである。
  論文  参考訳（メタデータ） (2022-10-05T22:52:00Z)
• Automatic Label Sequence Generation for Prompting Sequence-to-sequence Models [105.4590533269863]
  完全自動プロンプト方式であるAutoSeqを提案する。 我々はシーケンス・ツー・シーケンス・モデルに自然言語プロンプトを採用する。 本手法は,数ショット学習におけるシーケンス・ツー・シーケンスモデルの可能性を明らかにする。
  論文  参考訳（メタデータ） (2022-09-20T01:35:04Z)
• Template-free Prompt Tuning for Few-shot NER [46.59447116255979]
  テンプレートを使わずにNERタスクをLM問題として再構成するよりエレガントな手法を提案する。 具体的には,事前学習モデルの単語予測パラダイムを維持しながらテンプレート構築プロセスを捨てる。 実験により, バート・タガー法およびテンプレートベース法に対して, 数ショット設定で提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2021-09-28T07:19:24Z)
• Improving Robustness and Generality of NLP Models Using Disentangled Representations [62.08794500431367]
  スーパービジョンニューラルネットワークはまず入力$x$を単一の表現$z$にマップし、次に出力ラベル$y$にマッピングする。 本研究では,非交叉表現学習の観点から,NLPモデルの堅牢性と汎用性を改善する手法を提案する。 提案した基準でトレーニングしたモデルは、広範囲の教師付き学習タスクにおいて、より堅牢性とドメイン適応性を向上することを示す。
  論文  参考訳（メタデータ） (2020-09-21T02:48:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。