論文の概要: Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing Regressions In NLP Model Updates

• arxiv url: http://arxiv.org/abs/2105.03048v1
• Date: Fri, 7 May 2021 03:33:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-10 12:20:52.627816
• Title: Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing Regressions In NLP Model Updates
• Title（参考訳）: 回帰バグはあなたのモデルです! NLPモデル更新における回帰の測定・削減・解析
• Authors: Yuqing Xie, Yi-an Lai, Yuanjun Xiong, Yi Zhang, Stefano Soatto
• Abstract要約: この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。 回帰フリーモデル更新を制約付き最適化問題に定式化する。 モデルアンサンブルが回帰を減らす方法を実証的に分析します。
• 参考スコア（独自算出の注目度）: 68.09049111171862
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Behavior of deep neural networks can be inconsistent between different versions. Regressions during model update are a common cause of concern that often over-weigh the benefits in accuracy or efficiency gain. This work focuses on quantifying, reducing and analyzing regression errors in the NLP model updates. Using negative flip rate as regression measure, we show that regression has a prevalent presence across tasks in the GLUE benchmark. We formulate the regression-free model updates into a constrained optimization problem, and further reduce it into a relaxed form which can be approximately optimized through knowledge distillation training method. We empirically analyze how model ensemble reduces regression. Finally, we conduct CheckList behavioral testing to understand the distribution of regressions across linguistic phenomena, and the efficacy of ensemble and distillation methods.
• Abstract（参考訳）: ディープニューラルネットワークの挙動は、異なるバージョン間で矛盾することがある。 モデル更新中のレグレッションは、しばしば精度や効率の向上の利点を過大評価する懸念の一般的な原因である。 この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に焦点を当てている。 回帰指標として負のフリップ率を用いると、GLUEベンチマークにおいて、回帰がタスク全体に存在することが示される。 我々は,回帰自由モデル更新を制約付き最適化問題に定式化し,さらに,知識蒸留訓練法を用いて概ね最適化可能な緩和形式に還元する。 モデルアンサンブルの回帰効果を実証的に解析する。 最後に,言語現象にまたがる回帰分布と,アンサンブル法と蒸留法の有効性を理解するために,チェックリスト行動テストを実施した。

関連論文リスト

• Streaming Active Learning for Regression Problems Using Regression via Classification [12.572218568705376]
  本稿では,回帰学習のためのストリーミング能動学習にレグレッション・ウィズ・クラス化フレームワークを用いることを提案する。 レグレッション・ウィズ・クラス化は回帰問題を分類問題に変換し、ストリーミング能動学習法を回帰問題に直接適用できるようにする。
  論文  参考訳（メタデータ） (2023-09-02T20:24:24Z)
• Engression: Extrapolation through the Lens of Distributional Regression [2.519266955671697]
  我々は、エングレースと呼ばれるニューラルネットワークに基づく分布回帰手法を提案する。 エングレスモデル(engression model)は、適合した条件分布からサンプリングできるという意味で生成され、高次元結果にも適している。 一方、最小二乗法や量子回帰法のような従来の回帰手法は、同じ仮定の下では不十分である。
  論文  参考訳（メタデータ） (2023-07-03T08:19:00Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Improving Prediction Backward-Compatiblility in NLP Model Upgrade with Gated Fusion [8.173078054056337]
  ニューラルモデルを新しいバージョンにアップグレードする場合、レガシバージョンで遭遇しなかった新しいエラーを、レグレッションエラー(regress error)として導入することができる。 従来のモデルと新しいモデルの間で予測を混合する学習による後方互換性を促進する新しい手法であるGated Fusionを提案する。
  論文  参考訳（メタデータ） (2023-02-04T03:40:35Z)
• ResMem: Learn what you can and memorize the rest [79.19649788662511]
  本稿では,既存の予測モデルを拡張するための残差記憶アルゴリズム(ResMem)を提案する。 構築によって、ResMemはトレーニングラベルを明示的に記憶することができる。 ResMemは、元の予測モデルのテストセットの一般化を一貫して改善することを示す。
  論文  参考訳（メタデータ） (2023-02-03T07:12:55Z)
• Measuring and Reducing Model Update Regression in Structured Prediction for NLP [31.86240946966003]
  後方互換性は、新しいモデルが前者によって正しく処理されたケースに回帰しないことを要求する。 本研究は、構造化予測タスクにおける更新回帰をモデル化する。 本稿では,構造化出力の特性を考慮し,単純かつ効果的なバックワード・コングルエント・リグレード(BCR)を提案する。
  論文  参考訳（メタデータ） (2022-02-07T07:04:54Z)
• Human Pose Regression with Residual Log-likelihood Estimation [48.30425850653223]
  本稿では,Residual Log-likelihood Estimation (RLE) を用いた新たな回帰パラダイムを提案する。 RLEは、トレーニングプロセスを容易にするために、未参照の基盤となる分布ではなく、分布の変化を学習する。 従来の回帰パラダイムと比較して、RLEによる回帰はテスト時間オーバーヘッドを伴わずに、MSCOCOに12.4mAPの改善をもたらす。
  論文  参考訳（メタデータ） (2021-07-23T15:06:31Z)
• Flexible Model Aggregation for Quantile Regression [92.63075261170302]
  量子回帰は、予測の不確実性を定量化する必要性によって動機付けられた統計学習の基本的な問題である。 条件付き量子モデルの任意の数を集約する手法について検討する。 この論文で検討するモデルはすべて、現代のディープラーニングツールキットに適合します。
  論文  参考訳（メタデータ） (2021-02-26T23:21:16Z)
• Positive-Congruent Training: Towards Regression-Free Model Updates [87.25247195148187]
  画像分類において、サンプルワイドの不整合は「負のフリップ」として現れる 新しいモデルは、古い(参照)モデルによって正しく分類されたテストサンプルの出力を誤って予測する。 そこで本研究では,PC トレーニングのための簡易なアプローチである Focal Distillation を提案する。
  論文  参考訳（メタデータ） (2020-11-18T09:00:44Z)
• A Locally Adaptive Interpretable Regression [7.4267694612331905]
  線形回帰は最も解釈可能な予測モデルの一つである。 本稿では,局所適応型解釈型回帰(LoAIR)を導入する。 我々のモデルは、他の最先端のベースラインと同等またはより良い予測性能を達成する。
  論文  参考訳（メタデータ） (2020-05-07T09:26:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。