論文の概要: Ensemble Distillation for Structured Prediction: Calibrated, Accurate, Fast-Choose Three

• arxiv url: http://arxiv.org/abs/2010.06721v2
• Date: Thu, 25 Mar 2021 17:32:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 22:26:29.733230
• Title: Ensemble Distillation for Structured Prediction: Calibrated, Accurate, Fast-Choose Three
• Title（参考訳）: 構造予測のためのアンサンブル蒸留:キャリブレーション, 精度, 急速3
• Authors: Steven Reich, David Mueller, Nicholas Andrews
• Abstract要約: 本研究では, よく校正された構造予測モデルを作成するための枠組みとして, アンサンブル蒸留について検討する。 我々はこのフレームワークを2つのタスク – 名前付き認識と機械翻訳 – で検証する。 いずれのタスクにおいても、アンサンブル蒸留は、アンサンブルの性能とキャリブレーションの利点の多くを保持し、時には改善するモデルを生成する。
• 参考スコア（独自算出の注目度）: 7.169968368139168
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern neural networks do not always produce well-calibrated predictions, even when trained with a proper scoring function such as cross-entropy. In classification settings, simple methods such as isotonic regression or temperature scaling may be used in conjunction with a held-out dataset to calibrate model outputs. However, extending these methods to structured prediction is not always straightforward or effective; furthermore, a held-out calibration set may not always be available. In this paper, we study ensemble distillation as a general framework for producing well-calibrated structured prediction models while avoiding the prohibitive inference-time cost of ensembles. We validate this framework on two tasks: named-entity recognition and machine translation. We find that, across both tasks, ensemble distillation produces models which retain much of, and occasionally improve upon, the performance and calibration benefits of ensembles, while only requiring a single model during test-time.
• Abstract（参考訳）: 現代のニューラルネットワークは、クロスエントロピーのような適切なスコアリング関数で訓練しても、必ずしもよく校正された予測を生成するとは限らない。 分類設定では、等調回帰や温度スケーリングといった単純な手法が、モデル出力をキャリブレーションするための保持されたデータセットと併用することができる。 しかし、これらの手法を構造化予測に拡張することは必ずしも単純あるいは効果的であるとは限らない。 本稿では, アンサンブル蒸留を, アンサンブルの予測時間コストを回避しつつ, 構造的予測モデルの構築のための汎用的枠組みとして検討する。 このフレームワークは、名前付き認識と機械翻訳の2つのタスクで検証する。 いずれのタスクにおいても, アンサンブル蒸留では, アンサンブルの性能とキャリブレーションの利点を多く保持し, 時折改善するモデルが生成され, 試験期間中に1つのモデルしか必要としないことがわかった。

関連論文リスト

• Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
  本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。 OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。 この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-11-03T05:41:25Z)
• Set Learning for Accurate and Calibrated Models [17.187117466317265]
  Odd-$k$-out Learningは単一の例ではなく集合のクロスエントロピー誤差を最小限にする。 OKOは、ハードラベルでトレーニングしたり、追加のキャリブレーションパラメータチューニングを落としたりしても、キャリブレーションが良くなる。
  論文  参考訳（メタデータ） (2023-07-05T12:39:58Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)
• Conformal inference is (almost) free for neural networks trained with early stopping [1.2891210250935146]
  ホールドアウトデータに基づく早期停止は、ニューラルネットワークの過度な適合を緩和し、予測精度を高めるために設計された一般的な正規化技術である。 本稿では, 早期停止とコンフォメーションキャリブレーションを併用し, 同じ保持データを効率よく再利用する手法を提案する。
  論文  参考訳（メタデータ） (2023-01-27T06:43:07Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Functional Ensemble Distillation [18.34081591772928]
  本研究では,効率的なモデルを用いて,アンサンブルの予測を最もよく蒸留する方法を検討する。 混合増量方式による簡易増量方式による蒸留モデルの学習により, 性能が著しく向上することが判明した。
  論文  参考訳（メタデータ） (2022-06-05T14:07:17Z)
• TACTiS: Transformer-Attentional Copulas for Time Series [76.71406465526454]
  時間変化量の推定は、医療や金融などの分野における意思決定の基本的な構成要素である。 本稿では,アテンションベースデコーダを用いて関節分布を推定する多元的手法を提案する。 本研究では,本モデルが実世界の複数のデータセットに対して最先端の予測を生成することを示す。
  論文  参考訳（メタデータ） (2022-02-07T21:37:29Z)
• Cluster-and-Conquer: A Framework For Time-Series Forecasting [94.63501563413725]
  本稿では,高次元時系列データを予測するための3段階フレームワークを提案する。 当社のフレームワークは非常に汎用的で,各ステップで時系列予測やクラスタリングが利用可能です。 単純な線形自己回帰モデルでインスタンス化されると、いくつかのベンチマークデータセットで最先端の結果が得られる。
  論文  参考訳（メタデータ） (2021-10-26T20:41:19Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• A general framework for ensemble distribution distillation [14.996944635904402]
  ニューラルネットワークのアンサンブルは、予測や不確実性推定の観点から、シングルネットワークよりも優れたパフォーマンスを示すことが示されている。 本稿では,分解の保存方法として,回帰アンサンブルと分類アンサンブルの両方を蒸留する枠組みを提案する。
  論文  参考訳（メタデータ） (2020-02-26T14:34:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。