論文の概要: Automated Concatenation of Embeddings for Structured Prediction
- arxiv url: http://arxiv.org/abs/2010.05006v4
- Date: Tue, 1 Jun 2021 13:23:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-08 22:19:27.773529
- Title: Automated Concatenation of Embeddings for Structured Prediction
- Title(参考訳): 構造予測のための埋め込みの自動連結
- Authors: Xinyu Wang, Yong Jiang, Nguyen Bach, Tao Wang, Zhongqiang Huang, Fei
Huang, Kewei Tu
- Abstract要約: 本稿では, 埋め込みの自動結合(ACE)を提案し, 構造予測タスクにおける埋め込みのより優れた結合を見つけるプロセスを自動化する。
我々は、強化学習の戦略に従い、制御器のパラメータを最適化し、タスクモデルの精度に基づいて報酬を計算する。
- 参考スコア(独自算出の注目度): 75.44925576268052
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Pretrained contextualized embeddings are powerful word representations for
structured prediction tasks. Recent work found that better word representations
can be obtained by concatenating different types of embeddings. However, the
selection of embeddings to form the best concatenated representation usually
varies depending on the task and the collection of candidate embeddings, and
the ever-increasing number of embedding types makes it a more difficult
problem. In this paper, we propose Automated Concatenation of Embeddings (ACE)
to automate the process of finding better concatenations of embeddings for
structured prediction tasks, based on a formulation inspired by recent progress
on neural architecture search. Specifically, a controller alternately samples a
concatenation of embeddings, according to its current belief of the
effectiveness of individual embedding types in consideration for a task, and
updates the belief based on a reward. We follow strategies in reinforcement
learning to optimize the parameters of the controller and compute the reward
based on the accuracy of a task model, which is fed with the sampled
concatenation as input and trained on a task dataset. Empirical results on 6
tasks and 21 datasets show that our approach outperforms strong baselines and
achieves state-of-the-art performance with fine-tuned embeddings in all the
evaluations.
- Abstract(参考訳): 事前制約付き文脈埋め込みは、構造化予測タスクのための強力な単語表現である。
最近の研究により、異なる種類の埋め込みを結合することでより良い単語表現が得られることがわかった。
しかし、最善の連結表現を形成する組込みの選択は、通常、タスクや候補組込みのコレクションによって異なり、組込み型がますます増えているため、より難しい問題となっている。
本稿では,ニューラルネットワーク探索の最近の進歩に触発された定式化に基づいて,構造化予測タスクに対する埋め込みのより良い結合を見つけるプロセスを自動化するための,埋め込みの自動結合(ACE)を提案する。
具体的には、タスクを考慮した個別の埋め込み型の有効性に関する現在の信念に基づいて埋め込みの結合を交互にサンプリングし、報酬に基づいてその信念を更新する。
強化学習の戦略に従い、コントローラのパラメータを最適化し、入力としてサンプルされた連結で供給され、タスクデータセットでトレーニングされたタスクモデルの精度に基づいて報酬を算出する。
6つのタスクと21のデータセットに対する実証的な結果から、我々のアプローチは強いベースラインを上回り、すべての評価に微調整された埋め込みによる最先端のパフォーマンスを実現する。
関連論文リスト
- Selecting Walk Schemes for Database Embedding [6.7609045625714925]
関係データベースのコンポーネントの埋め込みについて検討する。
我々は、動的データベース用に設計された最近のFoRWaRDアルゴリズムに焦点を当てる。
いくつかの情報的ウォークスキームに焦点をあてることで,品質を維持しつつ,埋め込みをはるかに高速に行うことができることを示す。
論文 参考訳(メタデータ) (2024-01-20T11:39:32Z) - MetricPrompt: Prompting Model as a Relevance Metric for Few-shot Text
Classification [65.51149771074944]
MetricPromptは、数発のテキスト分類タスクをテキストペア関連性推定タスクに書き換えることで、言語設計の難易度を緩和する。
広範に使われている3つのテキスト分類データセットを4つのショット・セッティングで実験する。
結果から,MetricPromptは,手動弁証法や自動弁証法よりも優れた性能を示した。
論文 参考訳(メタデータ) (2023-06-15T06:51:35Z) - Prompt Algebra for Task Composition [131.97623832435812]
素早いチューニングを伴うビジュアル言語モデルを基本分類器として検討する。
合成分類器の性能向上のための制約付きプロンプトチューニングを提案する。
UTZapposでは、最高のベースモデルに対する分類精度を平均8.45%向上させる。
論文 参考訳(メタデータ) (2023-06-01T03:20:54Z) - RetroMAE-2: Duplex Masked Auto-Encoder For Pre-Training
Retrieval-Oriented Language Models [12.37229805276939]
本稿では,DupMAE(Duplex Masked Auto-Encoder)と呼ばれる新しい事前学習手法を提案する。
事前訓練されたモデルのすべてのコンテキスト化埋め込みを活用できる品質意味表現を改善するように設計されている。
論文 参考訳(メタデータ) (2023-05-04T05:37:22Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳(メタデータ) (2022-06-15T19:10:35Z) - Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。
我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。
本稿では,様々な要約データセットに対して提案手法の有効性を示す。
論文 参考訳(メタデータ) (2022-03-15T01:24:51Z) - Uni-Perceiver: Pre-training Unified Architecture for Generic Perception
for Zero-shot and Few-shot Tasks [73.63892022944198]
我々はUni-Perceiverという汎用認識アーキテクチャを提案する。
様々なモダリティやタスクを、統一されたモデリングと共有パラメータで処理します。
その結果、チューニングなしで事前学習したモデルは、新しいタスクでも合理的なパフォーマンスを達成できることがわかった。
論文 参考訳(メタデータ) (2021-12-02T18:59:50Z) - Meeting Summarization with Pre-training and Clustering Methods [6.47783315109491]
HMNetcitehmnetは、ワードレベルのトランスフォーマーとターンレベルのトランスフォーマーの両方をベースラインとして使用する階層型ネットワークである。
中間クラスタリングステップでQMSumciteqmsumの位置列列化アプローチを拡張する。
ベースラインモデルの性能を,要約に有効な最先端言語モデルであるBARTと比較する。
論文 参考訳(メタデータ) (2021-11-16T03:14:40Z) - UmBERTo-MTSA @ AcCompl-It: Improving Complexity and Acceptability
Prediction with Multi-task Learning on Self-Supervised Annotations [0.0]
本研究は,ラベル付きデータの適度な使用量のみの学習モデルの性能向上に使用される,自己教師型データ拡張手法について述べる。
神経言語モデルは、EVALITA 2020におけるAcCompl-it共有タスクのコンテキストにおいて、この手順を用いて微調整される。
論文 参考訳(メタデータ) (2020-11-10T15:50:37Z) - Multiple Word Embeddings for Increased Diversity of Representation [15.279850826041066]
本稿では,実行時間の増加を無視できるような,強いベースライン上での性能を実質的に一貫的に向上させる手法を示す。
我々は、事前学習した埋め込み類似性と語彙被覆の側面を分析し、表現多様性がなぜこの技術が機能するかの原動力であることを見出した。
論文 参考訳(メタデータ) (2020-09-30T02:33:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。