論文の概要: Hyperparameter-free Continuous Learning for Domain Classification in
Natural Language Understanding
- arxiv url: http://arxiv.org/abs/2201.01420v1
- Date: Wed, 5 Jan 2022 02:46:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-06 13:27:08.961219
- Title: Hyperparameter-free Continuous Learning for Domain Classification in
Natural Language Understanding
- Title(参考訳): 自然言語理解におけるドメイン分類のためのハイパーパラメータフリー連続学習
- Authors: Ting Hua, Yilin Shen, Changsheng Zhao, Yen-Chang Hsu, Hongxia Jin
- Abstract要約: ドメイン分類は自然言語理解(NLU)の基本課題である
既存の継続的な学習アプローチの多くは、低い精度とパフォーマンスの変動に悩まされている。
本研究では,テキストデータに対するパラメータフリー連続学習モデルを提案する。
- 参考スコア(独自算出の注目度): 60.226644697970116
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Domain classification is the fundamental task in natural language
understanding (NLU), which often requires fast accommodation to new emerging
domains. This constraint makes it impossible to retrain all previous domains,
even if they are accessible to the new model. Most existing continual learning
approaches suffer from low accuracy and performance fluctuation, especially
when the distributions of old and new data are significantly different. In
fact, the key real-world problem is not the absence of old data, but the
inefficiency to retrain the model with the whole old dataset. Is it potential
to utilize some old data to yield high accuracy and maintain stable
performance, while at the same time, without introducing extra hyperparameters?
In this paper, we proposed a hyperparameter-free continual learning model for
text data that can stably produce high performance under various environments.
Specifically, we utilize Fisher information to select exemplars that can
"record" key information of the original model. Also, a novel scheme called
dynamical weight consolidation is proposed to enable hyperparameter-free
learning during the retrain process. Extensive experiments demonstrate that
baselines suffer from fluctuated performance and therefore useless in practice.
On the contrary, our proposed model CCFI significantly and consistently
outperforms the best state-of-the-art method by up to 20% in average accuracy,
and each component of CCFI contributes effectively to overall performance.
- Abstract(参考訳): ドメイン分類は自然言語理解(NLU)の基本課題であり、しばしば新しい領域への高速な調節を必要とする。
この制約により、たとえ新しいモデルにアクセスできるとしても、以前のすべてのドメインを再トレーニングすることは不可能である。
既存の継続的学習アプローチの多くは、特に古いデータと新しいデータの分布が著しく異なる場合、低い精度とパフォーマンスのゆらぎに苦しむ。
実際、重要な現実の問題は、古いデータがないことではなく、古いデータセットでモデルを再トレーニングする非効率である。
ハイパーパラメータを余分に導入することなく、古いデータを利用して高い精度と安定したパフォーマンスを維持する可能性はあるか?
本稿では,様々な環境下で安定してハイパフォーマンスを実現するテキストデータのためのハイパーパラメータフリー連続学習モデルを提案する。
具体的には,フィッシャー情報を用いて原モデルのキー情報を「記録」できる例題を選定する。
また,リトレイン過程におけるハイパーパラメータフリー学習を可能にするために,動的重み統合と呼ばれる新しい手法を提案する。
広範な実験により、ベースラインは変動するパフォーマンスに苦しむため、実際には役に立たないことが示された。
一方,提案したCCFIモデルでは,平均精度が最大20%向上し,CCFIの各コンポーネントが全体の性能に効果的に寄与する。
関連論文リスト
- Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - Optimizing Dense Feed-Forward Neural Networks [0.0]
本稿では,プルーニングと移動学習に基づくフィードフォワードニューラルネットワークの構築手法を提案する。
提案手法では,パラメータ数を70%以上圧縮できる。
また、ニューラルネットワークをスクラッチからトレーニングしたモデルと元のモデルを比較し、トランスファー学習レベルを評価した。
論文 参考訳(メタデータ) (2023-12-16T23:23:16Z) - Uncertainty-aware Parameter-Efficient Self-training for Semi-supervised
Language Understanding [38.11411155621616]
我々は,主に半教師あり学習の手法として,自己学習について研究している。
我々は,新しい不確かさを意識した自己学習フレームワークであるUPETを紹介する。
UPETは性能と効率の面で大幅に向上したことを示す。
論文 参考訳(メタデータ) (2023-10-19T02:18:29Z) - Value function estimation using conditional diffusion models for control [62.27184818047923]
拡散値関数(DVF)と呼ばれる単純なアルゴリズムを提案する。
拡散モデルを用いて環境-ロボット相互作用の連成多段階モデルを学ぶ。
本稿では,DVFを用いて複数のコントローラの状態を効率よく把握する方法を示す。
論文 参考訳(メタデータ) (2023-06-09T18:40:55Z) - Robust Learning with Progressive Data Expansion Against Spurious
Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。
分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。
本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-06-08T05:44:06Z) - CILIATE: Towards Fairer Class-based Incremental Learning by Dataset and
Training Refinement [20.591583747291892]
我々は、CILがデータセットとアルゴリズムのバイアスの両方に悩まされていることを示す。
本稿では,CILにおけるデータセットとアルゴリズムバイアスを両立させる新しいフレームワークCILIATEを提案する。
CILIATEは最先端の手法と比較してCILの公正性を17.03%、22.46%、31.79%改善している。
論文 参考訳(メタデータ) (2023-04-09T12:10:39Z) - Principled and Efficient Transfer Learning of Deep Models via Neural
Collapse [35.365366092030904]
この研究は、神経崩壊(NC)と呼ばれる興味深い現象を通して、伝達学習の謎を掘り下げる
i) 事前学習時のモデル, クラス内変動の崩壊防止(ある程度)は, 入力データの内在的構造をよりよく保存し, モデル伝達性の向上につながること, (ii) 下流タスクの微調整モデルでは, 下流データ上でよりNCの高い特徴を得ることにより, 与えられたタスクの精度が向上すること, などである。
論文 参考訳(メタデータ) (2022-12-23T08:48:34Z) - Rethinking the Hyperparameters for Fine-tuning [78.15505286781293]
事前訓練されたImageNetモデルからの微調整は、様々なコンピュータビジョンタスクのデファクトスタンダードとなっている。
ファインチューニングの現在のプラクティスは、通常、ハイパーパラメータのアドホックな選択を選択することである。
本稿では、微調整のためのハイパーパラメータの設定に関するいくつかの一般的なプラクティスを再検討する。
論文 参考訳(メタデータ) (2020-02-19T18:59:52Z) - Parameter-Efficient Transfer from Sequential Behaviors for User Modeling
and Recommendation [111.44445634272235]
本稿では,PeterRecと呼ばれるパラメータ効率のよい移動学習アーキテクチャを提案する。
PeterRecは、トレーニング済みのパラメータを、一連の再学習ニューラルネットワークを注入することで、微調整中に修正されないようにする。
我々は5つの下流タスクにおいて学習したユーザ表現の有効性を示すために、広範囲な実験的アブレーションを行う。
論文 参考訳(メタデータ) (2020-01-13T14:09:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。