論文の概要: Improving Robustness in Knowledge Distillation Using Domain-Targeted Data Augmentation

• arxiv url: http://arxiv.org/abs/2305.13067v1
• Date: Mon, 22 May 2023 14:37:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 15:24:20.604070
• Title: Improving Robustness in Knowledge Distillation Using Domain-Targeted Data Augmentation
• Title（参考訳）: ドメイン目標データ拡張による知識蒸留におけるロバスト性の改善
• Authors: Joe Stacey and Marek Rei
• Abstract要約: 言語モデルを用いて、ターゲットのアウト・オブ・ディストリビューション領域でデータを模倣するタスク固有の未ラベルデータを作成します。 ドメインをターゲットとした拡張は非常に効果的であり、アウト・オブ・ディストリビューション性能を評価する際には、従来の手法よりも優れています。 また,蒸留中の少数例を同定・アップサンプリングする方法である蒸留マイノリティアップサンプリング(DMU)についても紹介する。
• 参考スコア（独自算出の注目度）: 11.825518209815673
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Applying knowledge distillation encourages a student model to behave more like a teacher model, largely retaining the performance of the teacher model, even though the student model may have substantially fewer parameters. However, while distillation helps student models behave more like teacher models in-distribution, this is not necessarily the case out-of-distribution. To address this, we use a language model to create task-specific unlabeled data that mimics the data in targeted out-of-distribution domains. We use this generated data for knowledge distillation on the task of Natural Language Inference (NLI), encouraging the student models to behave more like the teacher models for these examples. Our domain-targeted augmentation is highly effective, and outperforms previous robustness methods when evaluating out-of-distribution performance on MNLI. Surprisingly, this method also improves performance on out-of-distribution domains that the data was not generated for. We additionally introduce Distilled Minority Upsampling (DMU), a method for identifying and upsampling minority examples during the distillation. DMU is complementary to the domain-targeted augmentation, and substantially improves performance on SNLI-hard. Finally, we show out-of-distribution improvements on HANS from both of our methods, despite augmenting the training data with fewer than 5k examples.
• Abstract（参考訳）: 知識蒸留を適用することで、学生モデルは教師モデルのように振る舞うことができ、学生モデルはパラメータが著しく少ないとしても、主に教師モデルのパフォーマンスを維持することができる。 しかし、蒸留は学生モデルが教師モデルのように振る舞うのに役立つが、必ずしも分布外であるとは限らない。 これに対処するために、私たちは言語モデルを使用して、ターゲットとする分散ドメインでデータを模倣するタスク固有のラベルなしデータを作成します。 この生成したデータは、自然言語推論(NLI)タスクにおける知識蒸留に利用し、これらの例の教師モデルのように振る舞うことを学生モデルに奨励する。 mnliにおける分散性能の評価においては,従来のロバストネス法を上回っている。 驚くべきことに、この方法はデータが生成されていない分散ドメインのパフォーマンスも改善する。 また,蒸留中の少数例を同定し,アップサンプリングする方法であるdmu(distilled minority upsampling)についても紹介する。 DMUはドメインターゲット拡張を補完し、SNLIハードの性能を大幅に向上させる。 最後に,5k未満の例でトレーニングデータを増やしながら,両手法のHANSの分布改善を示す。

関連論文リスト

• Joint Training for Selective Prediction [5.662924503089369]
  選択予測法は、分類器の出力をいつ採用するか、人間に延期するかを決定する。 以前の方法の1つは、エンジニアリングされた特徴に基づいて遅延モデルを学習することである。 分類器モジュールが使用する学習表現と学習遅延ポリシーを同時に最適化する新しい共同学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T15:28:26Z)
• Comprehensive OOD Detection Improvements [46.46252643210326]
  このタスクのために、アウト・オブ・ディストリビューション(OOD)検出手法が作成されている。 我々は,時間的高速化と性能向上の両面において,特徴埋め込みの次元的削減を表現ベース手法に適用する。 提案手法の有効性を,OpenOODv1.5ベンチマークフレームワーク上で実証する。
  論文  参考訳（メタデータ） (2024-01-18T18:05:35Z)
• Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
  本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。 OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。 この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-11-03T05:41:25Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• Self-training through Classifier Disagreement for Cross-Domain Opinion Target Extraction [62.41511766918932]
  オピニオンターゲット抽出(OTE)またはアスペクト抽出(AE)は意見マイニングの基本的な課題である。 最近の研究は、現実世界のシナリオでよく見られるクロスドメインのOTEに焦点を当てている。 そこで本稿では,ドメイン固有の教師と学生のネットワークから出力されるモデルが未学習のターゲットデータと一致しない対象サンプルを選択するためのSSLアプローチを提案する。
  論文  参考訳（メタデータ） (2023-02-28T16:31:17Z)
• Guide the Learner: Controlling Product of Experts Debiasing Method Based on Token Attribution Similarities [17.082695183953486]
  一般的な回避策は、二次バイアスモデルに基づいてトレーニング例を再重み付けすることで、堅牢なモデルをトレーニングすることである。 ここでは、バイアスドモデルが機能をショートカットする、という前提がある。 本稿では,主要モデルと偏りのあるモデル属性スコアの類似性を,プロダクト・オブ・エキスパートズ・ロス関数に組み込んだ微調整戦略を提案する。
  論文  参考訳（メタデータ） (2023-02-06T15:21:41Z)
• Distributional Shift Adaptation using Domain-Specific Features [41.91388601229745]
  オープンワールドのシナリオでは、ビッグデータのストリーミングはOut-Of-Distribution(OOD)になる。 特徴が不変か否かにかかわらず、一般の相関に依拠する単純かつ効果的な手法を提案する。 提案手法では,OODベースモデルによって同定された最も確実なサンプルを用いて,対象領域に効果的に適応する新しいモデルを訓練する。
  論文  参考訳（メタデータ） (2022-11-09T04:16:21Z)
• From Distillation to Hard Negative Sampling: Making Sparse Neural IR Models More Effective [15.542082655342476]
  スパース拡張ベースのレトリバーであるSPLADEを使って構築し、密集したモデルと同じトレーニング改善の恩恵を受けることができるかを示します。 ドメイン内およびゼロショット設定における有効性と効率の関係について検討する。
  論文  参考訳（メタデータ） (2022-05-10T08:08:43Z)
• Distributionally Robust Recurrent Decoders with Random Network Distillation [93.10261573696788]
  本稿では,自動回帰言語モデルが推論中にOODコンテキストを無視できるように,ランダムネットワーク蒸留を用いたOOD検出に基づく手法を提案する。 提案手法をGRUアーキテクチャに適用し,複数の言語モデリング(LM)データセットの改善を実証する。
  論文  参考訳（メタデータ） (2021-10-25T19:26:29Z)
• Enhancing the Generalization for Intent Classification and Out-of-Domain Detection in SLU [70.44344060176952]
  インテント分類は、音声言語理解(SLU)における主要な課題である 近年の研究では、余分なデータやラベルを使用することで、OOD検出性能が向上することが示されている。 本稿では、IND意図分類とOOD検出の両方をサポートしながら、INDデータのみを用いてモデルを訓練することを提案する。
  論文  参考訳（メタデータ） (2021-06-28T08:27:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。