論文の概要: Using calibrator to improve robustness in Machine Reading Comprehension

• arxiv url: http://arxiv.org/abs/2202.11865v1
• Date: Thu, 24 Feb 2022 02:16:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-25 16:32:20.470616
• Title: Using calibrator to improve robustness in Machine Reading Comprehension
• Title（参考訳）: 機械読解における校正器による堅牢性向上
• Authors: Jing Jin and Houfeng Wang
• Abstract要約: ポストホックリランカとしてキャリブレータを用いてロバスト性を向上させる手法を提案する。 敵対的データセットを用いた実験結果から,我々のモデルは10%以上の性能向上を達成できることがわかった。
• 参考スコア（独自算出の注目度）: 18.844528744164876
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine Reading Comprehension(MRC) has achieved a remarkable result since some powerful models, such as BERT, are proposed. However, these models are not robust enough and vulnerable to adversarial input perturbation and generalization examples. Some works tried to improve the performance on specific types of data by adding some related examples into training data while it leads to degradation on the original dataset, because the shift of data distribution makes the answer ranking based on the softmax probability of model unreliable. In this paper, we propose a method to improve the robustness by using a calibrator as the post-hoc reranker, which is implemented based on XGBoost model. The calibrator combines both manual features and representation learning features to rerank candidate results. Experimental results on adversarial datasets show that our model can achieve performance improvement by more than 10\% and also make improvement on the original and generalization datasets.
• Abstract（参考訳）: 機械読解包括(MRC)はBERTなどの強力なモデルが提案されているため、顕著な成果を上げている。 しかし、これらのモデルは十分に堅牢ではなく、敵の入力摂動や一般化の例に弱い。 データ分散のシフトによってモデルのソフトマックス確率に基づく解のランク付けが信頼できないため、トレーニングデータに関連する例を追加して、特定のタイプのデータのパフォーマンスを改善する試みもいくつかある。 本稿では,xgboostモデルに基づいて実装したポストホックリランカとしてキャリブレータを用いることで,ロバスト性を向上させる手法を提案する。 キャリブレータは手動の特徴と表現学習機能を組み合わせて候補結果を再現する。 逆行データセットにおける実験結果から,本モデルの性能改善は10\%以上達成でき,また,オリジナルおよび一般化データセットも改善できることがわかった。

関連論文リスト

• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Self-calibration for Language Model Quantization and Pruning [38.00221764773372]
  量子化とプルーニングはモデル圧縮の基本的なアプローチである。 トレーニング後の環境では、最先端の量子化とプルーニングの方法はキャリブレーションデータを必要とする。 自己校正を解決策として提案する。
  論文  参考訳（メタデータ） (2024-10-22T16:50:00Z)
• PUMA: margin-based data pruning [51.12154122266251]
  モデル分類境界からの距離(すなわちマージン)に基づいて、いくつかのトレーニングサンプルを除去するデータプルーニングに焦点を当てる。 我々は,DeepFoolを用いてマージンを算出する新しいデータプルーニング戦略PUMAを提案する。 PUMAは,現状の最先端手法であるロバスト性の上に利用でき,既存のデータプルーニング戦略と異なり,モデル性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-10T08:02:20Z)
• Estimating Model Performance Under Covariate Shift Without Labels [9.804680621164168]
  ラベルなしデータの分類モデルを評価するために,確率的適応性能推定(PAPE)を導入する。 PAPEは他の評価手法よりも正確な性能推定を提供する。
  論文  参考訳（メタデータ） (2024-01-16T13:29:30Z)
• Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
  原文と修正文のアライメントを利用する補助タスクを提案する。 我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。 トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
  論文  参考訳（メタデータ） (2023-11-20T14:50:12Z)
• Towards Continually Learning Application Performance Models [1.2278517240988065]
  機械学習ベースのパフォーマンスモデルは、重要なジョブスケジューリングとアプリケーションの最適化決定を構築するために、ますます使われています。 伝統的に、これらのモデルは、より多くのサンプルが時間とともに収集されるため、データ分布が変化しないと仮定する。 本研究では,分布のドリフトを考慮した継続的な学習性能モデルを構築し,破滅的な忘れを軽減し,一般化性を向上させる。
  論文  参考訳（メタデータ） (2023-10-25T20:48:46Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Feature Weaken: Vicinal Data Augmentation for Classification [1.7013938542585925]
  モデルトレーニングと同一のコサイン類似性を持つビジナルデータ分布を構築するためにFeature Weakenを用いている。 この研究は、モデルの分類性能と一般化を改善するだけでなく、モデルの訓練を安定させ、モデルの収束を加速させる。
  論文  参考訳（メタデータ） (2022-11-20T11:00:23Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。