論文の概要: AdapterEM: Pre-trained Language Model Adaptation for Generalized Entity
Matching using Adapter-tuning
- arxiv url: http://arxiv.org/abs/2305.18725v1
- Date: Tue, 30 May 2023 04:03:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 18:29:18.227773
- Title: AdapterEM: Pre-trained Language Model Adaptation for Generalized Entity
Matching using Adapter-tuning
- Title（参考訳）: AdapterEM:Adapter-tuningを用いた汎用エンティティマッチングのための事前学習型言語モデル適応
- Authors: John Bosco Mugeni, Steven Lynden, Toshiyuki Amagasa, Akiyoshi Matono
- Abstract要約: 本稿では,アダプタをベースとした微調整PrLMのためのパラメータ効率のパラダイムを提案する。
提案手法は,フルスケールのPrLMファインチューニングとプロンプトチューニングのベースラインに匹敵する,あるいは優れた性能を実現する。
- 参考スコア（独自算出の注目度）: 3.4754314910585626
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Entity Matching (EM) involves identifying different data representations
referring to the same entity from multiple data sources and is typically
formulated as a binary classification problem. It is a challenging problem in
data integration due to the heterogeneity of data representations.
State-of-the-art solutions have adopted NLP techniques based on pre-trained
language models (PrLMs) via the fine-tuning paradigm, however, sequential
fine-tuning of overparameterized PrLMs can lead to catastrophic forgetting,
especially in low-resource scenarios. In this study, we propose a
parameter-efficient paradigm for fine-tuning PrLMs based on adapters, small
neural networks encapsulated between layers of a PrLM, by optimizing only the
adapter and classifier weights while the PrLMs parameters are frozen.
Adapter-based methods have been successfully applied to multilingual speech
problems achieving promising results, however, the effectiveness of these
methods when applied to EM is not yet well understood, particularly for
generalized EM with heterogeneous data. Furthermore, we explore using (i)
pre-trained adapters and (ii) invertible adapters to capture token-level
language representations and demonstrate their benefits for transfer learning
on the generalized EM benchmark. Our results show that our solution achieves
comparable or superior performance to full-scale PrLM fine-tuning and
prompt-tuning baselines while utilizing a significantly smaller computational
footprint $\approx 13\%$ of the PrLM parameters.
- Abstract（参考訳）: エンティティマッチング(EM)は、複数のデータソースから同じエンティティを参照する異なるデータ表現を特定し、通常はバイナリ分類問題として定式化される。
データ表現の不均一性のため、データ統合では難しい問題である。
最先端のソリューションでは、訓練済み言語モデル(PrLM)に基づくNLP技術が微調整パラダイムを介して採用されているが、過度にパラメータ化されたPrLMの逐次微調整は、特に低リソースシナリオにおいて破滅的な忘れを招きかねない。
本研究では,PrLMsパラメータを凍結しながら,アダプタと分類器の重みのみを最適化することにより,PrLMの層間にカプセル化される小さなニューラルネットワークであるアダプタに基づいて,PrLMを微調整するパラメータ効率のパラダイムを提案する。
適応型手法は有望な結果が得られる多言語音声問題に対してうまく適用されてきたが、EMに適用した場合のこれらの手法の有効性はまだよく理解されていない。
さらに、我々は利用について検討する。
(i)予習アダプタ及び
(2)トークンレベルの言語表現をキャプチャし、一般化EMベンチマークで転送学習の利点を示すための可逆アダプタ。
提案手法は,計算フットプリントが大幅に小さく,PrLM パラメータの 13 % であるのに対し,フルスケールの PrLM ファインチューニングとプロンプトチューニングのベースラインに匹敵する性能を達成できることを示す。
関連論文リスト
- Multiple-Exit Tuning: Towards Inference-Efficient Adaptation for Vision Transformer [47.85315815897107]
マルチエクイットチューニング(MET)と呼ばれる推論効率のチューニング手法を提案する。
METは、複数の出口を事前訓練された視覚変換器(ViT)のバックボーンに統合する。
推論段階では、簡単なサンプルは早期の出口で終了し、十分なサンプルだけが最後の出口に流れるので、簡単なサンプルの計算コストを節約できる。
論文 参考訳（メタデータ） (2024-09-21T03:25:18Z) - Hadamard Adapter: An Extreme Parameter-Efficient Adapter Tuning Method for Pre-trained Language Models [108.08773541490191]
事前訓練された言語モデル(PLM)は大量のパラメータを持ち、微調整は高価で時間を要することが多い。
ダウンストリームタスクにおける性能を損なうことなく、微調整時にPLMのパラメータを減らすためのパラメータ効率のアプローチを採用する必要がある。
本稿では, PLMにおける自己注意出力のみに作用する新しいアダプタを設計する。
論文 参考訳（メタデータ） (2024-07-04T18:21:28Z) - Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment [104.18002641195442]
既存のペアデータを必要としない、効果的でスケーラブルなトレーニングパラダイムである自己拡張型優先度最適化(SAPO)を導入する。
負の反応を自律的に生成するセルフプレイの概念に基づいて、我々はさらに、データ探索とエクスプロイトを強化するために、非政治的な学習パイプラインを組み込む。
論文 参考訳（メタデータ） (2024-05-31T14:21:04Z) - Parameter-Efficient Fine-Tuning With Adapters [5.948206235442328]
本研究では,UniPELTフレームワークをベースとした新しい適応手法を提案する。
提案手法では, ベースモデルパラメータの最小限の再学習を行うことなく, 事前学習したモデルを新しいタスクに効率的に転送できるアダプタを用いる。
論文 参考訳（メタデータ） (2024-05-09T01:40:38Z) - Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。
アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。
われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
論文 参考訳（メタデータ） (2022-12-01T17:31:42Z) - Meta-Learning the Difference: Preparing Large Language Models for
Efficient Adaptation [11.960178399478718]
大規模な事前訓練言語モデル(PLM)は、しばしば細調整やプロンプトによってドメインまたはタスク適応される。
その代わりに、一般と適応のPLMの違いを学習することで、データおよびパラメータ効率の適応のためのPLMを作成する。
論文 参考訳（メタデータ） (2022-07-07T18:00:22Z) - Efficient Cluster-Based k-Nearest-Neighbor Machine Translation [65.69742565855395]
k-Nearest-Neighbor Machine Translation (kNN-MT)は、最近、ニューラルネットワーク翻訳(NMT)におけるドメイン適応のための非パラメトリックソリューションとして提案されている。
論文 参考訳（メタデータ） (2022-04-13T05:46:31Z) - Unsupervised Domain Adaptation with Adapter [34.22467238579088]
本稿では、教師なしドメイン適応のためのアダプタベースの微調整手法について検討する。
いくつかのトレーニング可能なアダプタモジュールがPrLMに挿入され、元のPrLMのパラメータを固定することで、組み込みの汎用知識が保持される。
2つのベンチマークデータセットに関する実験を行い、その結果、我々のアプローチが異なるタスク、データセットサイズ、ドメインの類似性に対して有効であることを実証した。
論文 参考訳（メタデータ） (2021-11-01T02:50:53Z) - On the Effectiveness of Adapter-based Tuning for Pretrained Language
Model Adaptation [36.37565646597464]
プリトレーニング言語モデル(PrLM)に軽量アダプタモジュールを追加することで、アダプタベースのチューニングが機能する
新しいタスクごとにいくつかのトレーニング可能なパラメータを追加するだけで、高いパラメータ共有が可能になる。
アダプタベースのチューニングは,低リソースタスクと多言語タスクの微調整に優れることを示す。
論文 参考訳（メタデータ） (2021-06-06T16:10:12Z) - Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。
本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-02-09T10:55:27Z) - Efficient Semantic Image Synthesis via Class-Adaptive Normalization [116.63715955932174]
クラス適応正規化(CLADE)は、セマンティッククラスにのみ適応する軽量かつ等価なバリアントである。
セマンティクスレイアウトから計算したクラス内位置マップエンコーディングを導入し,cladeの正規化パラメータを変調する。
提案されたCLADEは異なるSPADEベースのメソッドに一般化し、SPADEと比較して同等の生成品質を達成できる。
論文 参考訳（メタデータ） (2020-12-08T18:59:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。