論文の概要: Preserving Commonsense Knowledge from Pre-trained Language Models via
Causal Inference
- arxiv url: http://arxiv.org/abs/2306.10790v1
- Date: Mon, 19 Jun 2023 09:06:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-21 18:25:27.482212
- Title: Preserving Commonsense Knowledge from Pre-trained Language Models via
Causal Inference
- Title(参考訳): 因果推論による事前学習言語モデルからの常識知識の保存
- Authors: Junhao Zheng, Qianli Ma, Shengjie Qiu, Yue Wu, Peitian Ma, Junlong
Liu, Huawen Feng, Xichen Shang and Haibin Chen
- Abstract要約: 現存する研究の多くは破滅的な忘れ物であり、訓練済みの知識を無差別に保持している。
我々は因果グラフに微調整を行い、破滅的な忘れ物が事前訓練されたデータから欠落した因果関係にあることを発見した。
実験では,6つのコモンセンスQAデータセットに対して,最先端の微調整手法より優れていた。
- 参考スコア(独自算出の注目度): 20.5696436171006
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fine-tuning has been proven to be a simple and effective technique to
transfer the learned knowledge of Pre-trained Language Models (PLMs) to
downstream tasks. However, vanilla fine-tuning easily overfits the target data
and degrades the generalization ability. Most existing studies attribute it to
catastrophic forgetting, and they retain the pre-trained knowledge
indiscriminately without identifying what knowledge is transferable. Motivated
by this, we frame fine-tuning into a causal graph and discover that the crux of
catastrophic forgetting lies in the missing causal effects from the pretrained
data. Based on the causal view, we propose a unified objective for fine-tuning
to retrieve the causality back. Intriguingly, the unified objective can be seen
as the sum of the vanilla fine-tuning objective, which learns new knowledge
from target data, and the causal objective, which preserves old knowledge from
PLMs. Therefore, our method is flexible and can mitigate negative transfer
while preserving knowledge. Since endowing models with commonsense is a
long-standing challenge, we implement our method on commonsense QA with a
proposed heuristic estimation to verify its effectiveness. In the experiments,
our method outperforms state-of-the-art fine-tuning methods on all six
commonsense QA datasets and can be implemented as a plug-in module to inflate
the performance of existing QA models.
- Abstract(参考訳): 微調整は、事前学習された言語モデル(plm)の学習知識を下流タスクに転送する、シンプルで効果的な技術であることが証明されている。
しかし、バニラ微調整はターゲットデータに容易に適合し、一般化能力を低下させる。
現存するほとんどの研究は、破滅的な忘れ物であり、どの知識が転送可能かを特定せずに、訓練済みの知識を無差別に保持している。
この動機付けにより、微調整を因果グラフにフレーム化し、大惨事の欠落は、事前訓練されたデータから失われた因果効果にあることを発見する。
因果的観点から,因果関係を取り戻すための微調整のための統一的な目的を提案する。
興味深いことに、統一された目標は、目標データから新しい知識を学ぶバニラ微調整目標と、plmから古い知識を保存する因果目標の合計と見なすことができる。
したがって,本手法は柔軟性が高く,知識を保ちながら負の伝達を軽減できる。
コモンセンス付きエンドウイングモデルは長年の課題であるので,提案手法をコモンセンス qa 上で実装し,その有効性を検証するためにヒューリスティックな推定を行う。
実験では,既存のQAモデルの性能を向上させるプラグインモジュールとして実装できる6つのコモンセンスQAデータセットに対して,最先端の微調整手法より優れていた。
関連論文リスト
- R-Tuning: Teaching Large Language Models to Refuse Unknown Questions [68.60002086172133]
我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。
このアプローチは、まずパラメトリック知識と命令チューニングデータの間の知識ギャップを識別することによって定式化される。
実験により、この新しい命令チューニングアプローチは、既知の質問に答えるモデルの能力を効果的に改善することを示した。
論文 参考訳(メタデータ) (2023-11-16T08:45:44Z) - Understanding, Predicting and Better Resolving Q-Value Divergence in
Offline-RL [86.0987896274354]
まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。
そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。
われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
論文 参考訳(メタデータ) (2023-10-06T17:57:44Z) - Disposable Transfer Learning for Selective Source Task Unlearning [31.020636963762836]
転送学習は、強力な表現を構築するためのディープニューラルネットワーク(DNN)のトレーニングに広く使用されている。
Disposable Transfer Learning (DTL)は、ターゲットタスクのパフォーマンスを低下させることなく、ソースタスクのみを処分する。
我々は,GC損失がDTL問題に対する効果的なアプローチであることを示し,GC損失をトレーニングしたモデルが,PL精度を著しく低減した目標タスクの性能を維持することを示した。
論文 参考訳(メタデータ) (2023-08-19T10:13:17Z) - SRIL: Selective Regularization for Class-Incremental Learning [5.810252620242912]
クラスインクリメンタルラーニングは、この課題を克服するために、可塑性と安定性のバランスをとる統合モデルを作成することを目的としている。
本稿では,従来の知識を維持しつつ,新たな知識を受け入れる選択正規化手法を提案する。
CIFAR-100, ImageNet-Subset, ImageNet-Full を用いて提案手法の有効性を検証する。
論文 参考訳(メタデータ) (2023-05-09T05:04:35Z) - Robustness-preserving Lifelong Learning via Dataset Condensation [11.83450966328136]
「破滅的忘れ」とは、新しいデータよりもモデルの精度が向上し、以前のデータよりも精度が保たれるという悪名高いジレンマを指す。
本稿では,現在のデータの「コアセット」を決定するために,現代の二段階最適化手法を活用する新しいメモリ再生LL戦略を提案する。
結果の LL フレームワークを 'Data-Efficient Robustness-Preserving LL' (DERPLL) と呼ぶ。
実験の結果, DERPLLは従来のコアセット誘導LLベースラインよりも優れていた。
論文 参考訳(メタデータ) (2023-03-07T19:09:03Z) - Data Poisoning Attack Aiming the Vulnerability of Continual Learning [25.480762565632332]
本稿では,新しいタスクの学習プロセスで使用できる,単純なタスク固有のデータ中毒攻撃について述べる。
2つの代表的な正規化に基づく連続学習手法に対する攻撃実験を行った。
論文 参考訳(メタデータ) (2022-11-29T02:28:05Z) - Improving the Adversarial Robustness of NLP Models by Information
Bottleneck [112.44039792098579]
非破壊機能は敵によって容易に操作でき、NLPモデルを騙すことができる。
本研究では,情報ボトルネック理論を用いて,タスク固有のロバストな特徴を捕捉し,非ロバストな特徴を除去する可能性を検討する。
情報ボトルネックに基づく手法を用いてトレーニングしたモデルでは,ロバストな精度で大幅な改善が達成できることを示す。
論文 参考訳(メタデータ) (2022-06-11T12:12:20Z) - Principled Knowledge Extrapolation with GANs [92.62635018136476]
我々は,知識外挿の新たな視点から,対実合成を研究する。
本稿では, 知識外挿問題に対処するために, クローズド形式判別器を用いた対角ゲームが利用可能であることを示す。
提案手法は,多くのシナリオにおいて,エレガントな理論的保証と優れた性能の両方を享受する。
論文 参考訳(メタデータ) (2022-05-21T08:39:42Z) - Learning to Learn Transferable Attack [77.67399621530052]
転送逆行攻撃は非自明なブラックボックス逆行攻撃であり、サロゲートモデル上で敵の摂動を発生させ、そのような摂動を被害者モデルに適用することを目的としている。
本研究では,データとモデル拡張の両方から学習することで,敵の摂動をより一般化する学習可能な攻撃学習法(LLTA)を提案する。
提案手法の有効性を実証し, 現状の手法と比較して, 12.85%のトランスファー攻撃の成功率で検証した。
論文 参考訳(メタデータ) (2021-12-10T07:24:21Z) - Accurate and Robust Feature Importance Estimation under Distribution
Shifts [49.58991359544005]
PRoFILEは、新しい特徴重要度推定法である。
忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2020-09-30T05:29:01Z) - Self-Supervised Learning Aided Class-Incremental Lifelong Learning [17.151579393716958]
クラスインクリメンタルラーニング(Class-IL)における破滅的忘れの問題について検討する。
クラスILの訓練手順では、モデルが次のタスクについて知識を持っていないため、これまで学習してきたタスクに必要な特徴のみを抽出し、その情報は共同分類に不十分である。
本稿では,ラベルを必要とせずに効果的な表現を提供する自己教師型学習と,この問題を回避するためのクラスILを組み合わせることを提案する。
論文 参考訳(メタデータ) (2020-06-10T15:15:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。