論文の概要: Distilling Robustness into Natural Language Inference Models with Domain-Targeted Augmentation
- arxiv url: http://arxiv.org/abs/2305.13067v3
- Date: Wed, 24 Jul 2024 18:54:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-26 20:06:09.633545
- Title: Distilling Robustness into Natural Language Inference Models with Domain-Targeted Augmentation
- Title（参考訳）: ドメインターゲット拡張による自然言語推論モデルへのロバストネスの蒸留
- Authors: Joe Stacey, Marek Rei,
- Abstract要約: 本稿では,学生モデルの配布外領域におけるロバスト性を改善するための2つの補完手法について検討する。
第一のアプローチは、ターゲットの分布にマッチする未ラベルの例で蒸留を増強する。
第2の方法は、目標分布に類似したトレーニングセット内のデータポイントをサンプリングする。
- 参考スコア（独自算出の注目度）: 12.512147282842175
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge distillation optimises a smaller student model to behave similarly to a larger teacher model, retaining some of the performance benefits. While this method can improve results on in-distribution examples, it does not necessarily generalise to out-of-distribution (OOD) settings. We investigate two complementary methods for improving the robustness of the resulting student models on OOD domains. The first approach augments the distillation with generated unlabelled examples that match the target distribution. The second method upsamples data points among the training set that are similar to the target distribution. When applied on the task of natural language inference (NLI), our experiments on MNLI show that distillation with these modifications outperforms previous robustness solutions. We also find that these methods improve performance on OOD domains even beyond the target domain.
- Abstract（参考訳）: 知識蒸留は、より小さな学生モデルがより大きな教師モデルと同じように振る舞うことを最適化し、パフォーマンス上の利点のいくつかを保持する。
本手法は, 分布内例の結果を改善することができるが, 必ずしも分布外設定(OOD)に一般化するとは限らない。
OODドメイン上で得られた学生モデルの堅牢性を改善するための2つの補完的手法について検討する。
第一のアプローチは、ターゲットの分布にマッチする未ラベルの例で蒸留を増強する。
第2の方法は、目標分布に類似したトレーニングセット内のデータポイントをサンプリングする。
自然言語推論 (NLI) の課題に適用した場合, MNLI を用いた実験により, これらの修飾による蒸留が従来のロバスト性解よりも優れていることが示された。
また,これらの手法により,OODドメインの性能が目標ドメインを超えて向上していることが判明した。
関連論文リスト
- Joint Training for Selective Prediction [5.662924503089369]
選択予測法は、分類器の出力をいつ採用するか、人間に延期するかを決定する。
以前の方法の1つは、エンジニアリングされた特徴に基づいて遅延モデルを学習することである。
分類器モジュールが使用する学習表現と学習遅延ポリシーを同時に最適化する新しい共同学習手法を提案する。
論文 参考訳（メタデータ） (2024-10-31T15:28:26Z) - Comprehensive OOD Detection Improvements [46.46252643210326]
このタスクのために、アウト・オブ・ディストリビューション(OOD)検出手法が作成されている。
我々は,時間的高速化と性能向上の両面において,特徴埋め込みの次元的削減を表現ベース手法に適用する。
提案手法の有効性を,OpenOODv1.5ベンチマークフレームワーク上で実証する。
論文 参考訳（メタデータ） (2024-01-18T18:05:35Z) - Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。
OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。
この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
論文 参考訳（メタデータ） (2023-11-03T05:41:25Z) - Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。
標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
論文 参考訳（メタデータ） (2023-10-25T17:59:12Z) - Self-training through Classifier Disagreement for Cross-Domain Opinion
Target Extraction [62.41511766918932]
オピニオンターゲット抽出(OTE)またはアスペクト抽出(AE)は意見マイニングの基本的な課題である。
最近の研究は、現実世界のシナリオでよく見られるクロスドメインのOTEに焦点を当てている。
そこで本稿では,ドメイン固有の教師と学生のネットワークから出力されるモデルが未学習のターゲットデータと一致しない対象サンプルを選択するためのSSLアプローチを提案する。
論文 参考訳（メタデータ） (2023-02-28T16:31:17Z) - Guide the Learner: Controlling Product of Experts Debiasing Method Based
on Token Attribution Similarities [17.082695183953486]
一般的な回避策は、二次バイアスモデルに基づいてトレーニング例を再重み付けすることで、堅牢なモデルをトレーニングすることである。
ここでは、バイアスドモデルが機能をショートカットする、という前提がある。
本稿では,主要モデルと偏りのあるモデル属性スコアの類似性を,プロダクト・オブ・エキスパートズ・ロス関数に組み込んだ微調整戦略を提案する。
論文 参考訳（メタデータ） (2023-02-06T15:21:41Z) - Distributional Shift Adaptation using Domain-Specific Features [41.91388601229745]
オープンワールドのシナリオでは、ビッグデータのストリーミングはOut-Of-Distribution(OOD)になる。
特徴が不変か否かにかかわらず、一般の相関に依拠する単純かつ効果的な手法を提案する。
提案手法では,OODベースモデルによって同定された最も確実なサンプルを用いて,対象領域に効果的に適応する新しいモデルを訓練する。
論文 参考訳（メタデータ） (2022-11-09T04:16:21Z) - From Distillation to Hard Negative Sampling: Making Sparse Neural IR
Models More Effective [15.542082655342476]
スパース拡張ベースのレトリバーであるSPLADEを使って構築し、密集したモデルと同じトレーニング改善の恩恵を受けることができるかを示します。
ドメイン内およびゼロショット設定における有効性と効率の関係について検討する。
論文 参考訳（メタデータ） (2022-05-10T08:08:43Z) - Distributionally Robust Recurrent Decoders with Random Network
Distillation [93.10261573696788]
本稿では,自動回帰言語モデルが推論中にOODコンテキストを無視できるように,ランダムネットワーク蒸留を用いたOOD検出に基づく手法を提案する。
提案手法をGRUアーキテクチャに適用し,複数の言語モデリング(LM)データセットの改善を実証する。
論文 参考訳（メタデータ） (2021-10-25T19:26:29Z) - Enhancing the Generalization for Intent Classification and Out-of-Domain
Detection in SLU [70.44344060176952]
インテント分類は、音声言語理解(SLU)における主要な課題である
近年の研究では、余分なデータやラベルを使用することで、OOD検出性能が向上することが示されている。
本稿では、IND意図分類とOOD検出の両方をサポートしながら、INDデータのみを用いてモデルを訓練することを提案する。
論文 参考訳（メタデータ） (2021-06-28T08:27:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。