論文の概要: ADEPT: A DEbiasing PrompT Framework
- arxiv url: http://arxiv.org/abs/2211.05414v1
- Date: Thu, 10 Nov 2022 08:41:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-11 15:04:56.816283
- Title: ADEPT: A DEbiasing PrompT Framework
- Title(参考訳): ADEPT: Debiasing PrompTフレームワーク
- Authors: Ke Yang, Charles Yu, Yi Fung, Manling Li, Heng Ji
- Abstract要約: ファインタニングは文脈化された単語の埋め込みを曖昧にするための応用手法である。
意味的な意味を持つ個別のプロンプトは、タスクを乱すのに有効であることが示されている。
本稿では, PLM をデバイアス化する方法であるADEPT を提案し, バイアス除去と表現能力の確保の微妙なバランスを維持しながら, 即時チューニングによる PLM のデバイアス化手法を提案する。
- 参考スコア(独自算出の注目度): 49.582497203415855
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Several works have proven that finetuning is an applicable approach for
debiasing contextualized word embeddings. Similarly, discrete prompts with
semantic meanings have shown to be effective in debiasing tasks. With unfixed
mathematical representation at the token level, continuous prompts usually
surpass discrete ones at providing a pre-trained language model (PLM) with
additional task-specific information. Despite this, relatively few efforts have
been made to debias PLMs by prompt tuning with continuous prompts compared to
its discrete counterpart. Furthermore, for most debiasing methods that alter a
PLM's original parameters, a major problem is the need to not only decrease the
bias in the PLM but also to ensure that the PLM does not lose its
representation ability. Finetuning methods typically have a hard time
maintaining this balance, as they tend to violently remove meanings of
attribute words. In this paper, we propose ADEPT, a method to debias PLMs using
prompt tuning while maintaining the delicate balance between removing biases
and ensuring representation ability. To achieve this, we propose a new training
criterion inspired by manifold learning and equip it with an explicit debiasing
term to optimize prompt tuning. In addition, we conduct several experiments
with regard to the reliability, quality, and quantity of a previously proposed
attribute training corpus in order to obtain a clearer prototype of a certain
attribute, which indicates the attribute's position and relative distances to
other words on the manifold. We evaluate ADEPT on several widely acknowledged
debiasing benchmarks and downstream tasks, and find that it achieves
competitive results while maintaining (and in some cases even improving) the
PLM's representation ability. We further visualize words' correlation before
and after debiasing a PLM, and give some possible explanations for the visible
effects.
- Abstract(参考訳): いくつかの研究は、微調整が文脈化された単語の埋め込みを損なうアプローチであることを示した。
同様に、意味的意味を持つ離散的なプロンプトは、デバイアスタスクに有効であることが示されている。
トークンレベルでの未修正の数学的表現では、連続的なプロンプトは通常、タスク固有の情報を含む事前訓練された言語モデル(plm)を提供することで離散的なプロンプトを超える。
それにもかかわらず、PLMを個別のプロンプトと比較して、連続的なプロンプトによる迅速なチューニングによってデバイアス化するための取り組みは比較的少ない。
さらに、PLMの元のパラメータを変更するほとんどのデバイアス法では、主要な問題は、PLMのバイアスを減らすだけでなく、PLMが表現能力を失うことがないことを保証する必要があることである。
微調整法は通常、属性語の意味を激しく取り除く傾向があるため、このバランスを維持するのに苦労している。
本稿では,PLMのバイアス除去と表現能力の確保の微妙なバランスを保ちながら,即時チューニングを用いた debias PLMのデバイアス化手法であるADEPTを提案する。
そこで,本稿では,多様体学習に着想を得た新しい学習基準を提案し,それを明示的なデバイアス項で満たし,プロンプトチューニングを最適化する。
さらに, 従来提案されていた属性学習コーパスの信頼性, 品質, 量に関して, 属性の位置, 相対距離を示す属性のより明確なプロトタイプを得るために, 提案した属性学習コーパスの信頼性, 品質, 量に関する実験を行った。
我々は,いくつかの広く認識されているデバイアスベンチマークとダウンストリームタスクについて評価し,plmの表現能力を維持(あるいは改善)しながら,競争力のある結果が得られることを発見した。
さらに, PLMの劣化前後における単語の相関関係を可視化し, 可視効果についていくつかの説明を行う。
関連論文リスト
- Debiasing Large Visual Language Models [61.6896704217147]
LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。
本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。
これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
論文 参考訳(メタデータ) (2024-03-08T12:35:07Z) - Prompt Tuning Pushes Farther, Contrastive Learning Pulls Closer: A
Two-Stage Approach to Mitigate Social Biases [13.837927115198308]
本稿では,コントラスト学習と連続的プロンプト拡張を用いた逆トレーニングによる2段階脱バイアスモデルを提案する。
我々のアプローチは、トレーニングプロセスに困難を加えることで、より強固なデバイアス性能を達成するためのモデルを導出します。
論文 参考訳(メタデータ) (2023-07-04T09:35:03Z) - Debiased Fine-Tuning for Vision-language Models by Prompt Regularization [50.41984119504716]
本稿では,Prompt Regularization(ProReg)と呼ばれる下流タスクにおける大規模視覚事前訓練モデルの微調整のための新しいパラダイムを提案する。
ProRegは、事前訓練されたモデルに微調整を正規化するよう促すことで予測を使用する。
本稿では,従来の微調整,ゼロショットプロンプト,プロンプトチューニング,その他の最先端手法と比較して,ProRegの性能が一貫して高いことを示す。
論文 参考訳(メタデータ) (2023-01-29T11:53:55Z) - PANDA: Prompt Transfer Meets Knowledge Distillation for Efficient Model
Adaptation [103.57103957631067]
即時転送可能性(i)を正確に予測する新しい指標と,新しいPoTアプローチ(PANDA)を提案する。
我々のPANDAは、全てのタスクとモデルサイズにおいて、平均スコア(最大24.1%)でバニラPoTアプローチを一貫して上回ります。
論文 参考訳(メタデータ) (2022-08-22T09:14:14Z) - Prompt Tuning for Discriminative Pre-trained Language Models [96.04765512463415]
最近の研究は、自然言語処理(NLP)タスクに事前訓練言語モデル(PLM)を刺激する際の迅速なチューニングの有望な結果を示している。
ELECTRAのような差別的なPLMが、いかに効果的に迅速なチューニングが可能かは、まだ不明である。
DPTは,NLPタスクを識別言語モデリング問題に書き換える,識別型PLMの最初のプロンプトチューニングフレームワークである。
論文 参考訳(メタデータ) (2022-05-23T10:11:50Z) - Beyond Distributional Hypothesis: Let Language Models Learn Meaning-Text
Correspondence [45.9949173746044]
大規模事前学習言語モデル (PLM) が論理否定特性 (LNP) を満たさないことを示す。
そこで本研究では,意味テキスト対応を直接学習するための新しい中間訓練課題である「意味マッチング」を提案する。
このタスクにより、PLMは語彙意味情報を学習することができる。
論文 参考訳(メタデータ) (2022-05-08T08:37:36Z) - Task-guided Disentangled Tuning for Pretrained Language Models [16.429787408467703]
本稿では,事前学習型言語モデル(PLM)のためのタスク誘導型ディスタングル型チューニング(TDT)を提案する。
TDTは、タスク関連信号を絡み合った表現から切り離すことにより、表現の一般化を強化する。
GLUE と CLUE のベンチマークによる実験結果から,TDT は異なる PLM を用いた微調整よりも一貫した結果が得られた。
論文 参考訳(メタデータ) (2022-03-22T03:11:39Z) - Masked Language Modeling and the Distributional Hypothesis: Order Word
Matters Pre-training for Little [74.49773960145681]
マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。
本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。
以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
論文 参考訳(メタデータ) (2021-04-14T06:30:36Z) - On Transferability of Bias Mitigation Effects in Language Model
Fine-Tuning [30.833538367971872]
微調整された言語モデルは、一連のモデリングタスクにおいて保護されたグループに対するバイアスを示すことが示されている。
これまでの研究は、これらのバイアスの検出、データの表現におけるバイアスの低減、微調整時のバイアスを軽減するための補助的なトレーニング目的の使用に重点を置いていた。
下流タスクにおけるバイアスを軽減するために、上流バイアス軽減(UBM)の実現可能性とメリットについて検討する。
論文 参考訳(メタデータ) (2020-10-24T10:36:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。