論文の概要: Fast Few-shot Debugging for NLU Test Suites

• arxiv url: http://arxiv.org/abs/2204.06555v1
• Date: Wed, 13 Apr 2022 17:56:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-14 13:18:10.710748
• Title: Fast Few-shot Debugging for NLU Test Suites
• Title（参考訳）: NLUテストスイートの高速Few-shotデバッグ
• Authors: Christopher Malon and Kai Li and Erik Kruus
• Abstract要約: ある現象のいくつかの例と、同じ現象のホールドアウトテストセットを考えると、元のテストセットの精度を最小限のコストで、その現象の精度を最大化することを目指している。 そこで,本研究では,従来のトレーニングセットからいくつかの実例をサンプリングする高速手法を提案する。
• 参考スコア（独自算出の注目度）: 9.99775371282839
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We study few-shot debugging of transformer based natural language understanding models, using recently popularized test suites to not just diagnose but correct a problem. Given a few debugging examples of a certain phenomenon, and a held-out test set of the same phenomenon, we aim to maximize accuracy on the phenomenon at a minimal cost of accuracy on the original test set. We examine several methods that are faster than full epoch retraining. We introduce a new fast method, which samples a few in-danger examples from the original training set. Compared to fast methods using parameter distance constraints or Kullback-Leibler divergence, we achieve superior original accuracy for comparable debugging accuracy.
• Abstract（参考訳）: 我々は,最近普及したテストスイートを用いて,トランスフォーマーに基づく自然言語理解モデルの数ショットデバッグについて検討した。 ある現象のデバッギング例と、同じ現象のホールドアウトテストセットを考えると、元のテストセットにおいて、その現象の精度を最小限のコストで最大化することを目的としています。 完全なエポックリトレーニングよりも高速な方法をいくつか検討する。 そこで本研究では,最初のトレーニングセットから,ダンガー内サンプルをサンプリングする新しい高速手法を提案する。 パラメータ距離制約やKullback-Leibler分散を用いた高速手法と比較して,デバッグ精度を同等に向上させる。

関連論文リスト

• DistPred: A Distribution-Free Probabilistic Inference Method for Regression and Forecasting [14.390842560217743]
  本稿では、回帰予測タスクのためのDistPredという新しい手法を提案する。 予測分布と対象分布の差分を測定するための適切なスコアリングルールを、微分可能な離散形式に変換する。 これにより、モデルは単一のフォワードパスで多数のサンプルをサンプリングし、応答変数の潜在的分布を推定することができる。
  論文  参考訳（メタデータ） (2024-06-17T10:33:00Z)
• POODLE: Improving Few-shot Learning via Penalizing Out-of-Distribution Samples [19.311470287767385]
  そこで本研究では,対象クラス外からのラベル付きサンプルの配布外サンプルを用いて,数発の学習を改善することを提案する。 提案手法は, 実装が簡単で, 特徴抽出器に非依存であり, 事前学習に要する追加コストを伴わず軽量であり, インダクティブ設定とトランスダクティブ設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2022-06-08T18:59:21Z)
• TTAPS: Test-Time Adaption by Aligning Prototypes using Self-Supervision [70.05605071885914]
  本研究では,単体テストサンプルに適用可能な自己教師付きトレーニングアルゴリズムSwaVの新たな改良を提案する。 ベンチマークデータセットCIFAR10-Cにおいて,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-05-18T05:43:06Z)
• Boost Test-Time Performance with Closed-Loop Inference [85.43516360332646]
  そこで本研究では,モデル性能を高めるために,ループ方式でハードクラス化試験サンプルを予測することを提案する。 まず、追加の推論ループを必要とするハードクラス化テストサンプルを識別するためにフィルタリング基準を考案する。 各ハードサンプルに対して、モデルのキャリブレーションを行うために、元の上位$K$予測に基づいて補助学習タスクを構築する。
  論文  参考訳（メタデータ） (2022-03-21T10:20:21Z)
• Parameter-free Online Test-time Adaptation [19.279048049267388]
  実世界の様々なシナリオにおいて,テスト時間適応手法が事前学習されたモデルにどのような効果をもたらすかを示す。 我々は特に「保守的」なアプローチを提案し、ラプラシアン適応最大推定(LAME)を用いてこの問題に対処する。 提案手法では,既存の手法よりもシナリオの平均精度がはるかに高く,メモリフットプリントもはるかに高速である。
  論文  参考訳（メタデータ） (2022-01-15T00:29:16Z)
• Label, Verify, Correct: A Simple Few Shot Object Detection Method [93.84801062680786]
  トレーニングセットから高品質な擬似アノテーションを抽出するための簡単な擬似ラベリング手法を提案する。 擬似ラベリングプロセスの精度を向上させるための2つの新しい手法を提案する。 提案手法は,既存手法と比較して,最先端ないし第2の性能を実現する。
  論文  参考訳（メタデータ） (2021-12-10T18:59:06Z)
• Robust Sampling in Deep Learning [62.997667081978825]
  ディープラーニングは、オーバーフィッティングを減らし、一般化を改善するために正規化メカニズムを必要とする。 分散ロバスト最適化に基づく新しい正規化手法によりこの問題に対処する。 トレーニング中は、最悪のサンプルが最適化に最も貢献するものであるように、その正確性に応じてサンプルの選択が行われる。
  論文  参考訳（メタデータ） (2020-06-04T09:46:52Z)
• The Right Tool for the Job: Matching Model and Instance Complexities [62.95183777679024]
  NLPモデルが大きくなればなるほど、訓練されたモデルを実行するには、金銭的・環境的なコストを発生させる重要な計算資源が必要である。 我々は、推論中、早期(かつ高速)の"exit"を可能にする文脈表現微調整の修正を提案する。 3つのテキスト分類データセットと2つの自然言語推論ベンチマークの2つのタスクで、5つの異なるデータセットに対して提案した修正を検証した。
  論文  参考訳（メタデータ） (2020-04-16T04:28:08Z)
• Frustratingly Simple Few-Shot Object Detection [98.42824677627581]
  希少なクラスにおける既存検出器の最後の層のみを微調整することは、数発の物体検出タスクに不可欠である。 このような単純なアプローチは、現在のベンチマークで約220ポイントのメタ学習方法より優れている。
  論文  参考訳（メタデータ） (2020-03-16T00:29:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。