論文の概要: On the Transferability of Minimal Prediction Preserving Inputs in Question Answering

• arxiv url: http://arxiv.org/abs/2009.08070v2
• Date: Thu, 25 Mar 2021 02:55:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 09:10:56.696883
• Title: On the Transferability of Minimal Prediction Preserving Inputs in Question Answering
• Title（参考訳）: 質問応答における入力保存最小予測の伝達可能性について
• Authors: Shayne Longpre, Yi Lu, Christopher DuBois
• Abstract要約: 最近の研究は、ニューラルモデルに高い信頼性と精度をもたらす短い、解釈不能な入力フラグメントの存在を確立している。 我々はこれらをMPPI(Minimum Prediction Preserving Inputs)と呼ぶ。 ニューラルモデルの後部校正不良,事前トレーニングの欠如,"データセットバイアス"など,MPPIの存在に関する競合仮説を考察する。
• 参考スコア（独自算出の注目度）: 6.452012363895865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work (Feng et al., 2018) establishes the presence of short, uninterpretable input fragments that yield high confidence and accuracy in neural models. We refer to these as Minimal Prediction Preserving Inputs (MPPIs). In the context of question answering, we investigate competing hypotheses for the existence of MPPIs, including poor posterior calibration of neural models, lack of pretraining, and "dataset bias" (where a model learns to attend to spurious, non-generalizable cues in the training data). We discover a perplexing invariance of MPPIs to random training seed, model architecture, pretraining, and training domain. MPPIs demonstrate remarkable transferability across domains achieving significantly higher performance than comparably short queries. Additionally, penalizing over-confidence on MPPIs fails to improve either generalization or adversarial robustness. These results suggest the interpretability of MPPIs is insufficient to characterize generalization capacity of these models. We hope this focused investigation encourages more systematic analysis of model behavior outside of the human interpretable distribution of examples.
• Abstract（参考訳）: 最近の研究(Feng et al., 2018)は、ニューラルモデルに高い信頼性と精度をもたらす短い、解釈不能な入力フラグメントの存在を確立している。 我々はこれらをMPPI(Minimum Prediction Preserving Inputs)と呼ぶ。 質問応答の文脈では、神経モデルの後方校正不良、事前訓練の欠如、および「データセットバイアス」(訓練データにおいて、モデルが散発的で一般化できないヒントに出席することを学ぶ)を含むmppiの存在の競合仮説を調査した。 ランダムトレーニングシード,モデルアーキテクチャ,事前学習,トレーニングドメインに対するMPPIの難解な不変性を発見した。 MPPIは、短いクエリよりもはるかに高いパフォーマンスを達成するドメイン間で顕著な転送性を示す。 さらに、MPPIに対する過信を罰することは、一般化または敵の堅牢性を改善するのに失敗する。 これらの結果から,MPPIの解釈性は,これらのモデルの一般化能力を特徴づけるには不十分であることが示唆された。 この研究は、人間の解釈可能な例の分布以外のモデル行動のより体系的な分析を促進することを願っている。

関連論文リスト

• Detecting Model Misspecification in Amortized Bayesian Inference with Neural Networks: An Extended Investigation [9.950524371154394]
  本研究では、教師なしの方法で訓練し、テスト時にモデルの誤特定を確実に検出できる新しい誤特定尺度を提案する。 提案手法は,不審な出力をユーザに警告し,予測が信頼できない場合に警告を発し,モデル設計者がより良いシミュレータを探索する際の指針となることを示す。
  論文  参考訳（メタデータ） (2024-06-05T11:30:16Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• Measuring and Improving Attentiveness to Partial Inputs with Counterfactuals [91.59906995214209]
  我々は,新しい評価手法であるCAT(Facterfactual Attentiveness Test)を提案する。 CATは、入力の一部を別の例から別の例に置き換えることで、予測を変更する注意深いモデルを期待することで、反事実を使用する。 実験データの精度が向上する一方, GPT3 は実演回数の増加により注意力の低下がみられた。
  論文  参考訳（メタデータ） (2023-11-16T06:27:35Z)
• Statistical Foundations of Prior-Data Fitted Networks [0.7614628596146599]
  近年,機械学習の新しいパラダイムとしてPFNが提案されている。 本稿では,PFNの理論的基盤を確立し,その挙動を制御している統計的メカニズムを照らす。
  論文  参考訳（メタデータ） (2023-05-18T16:34:21Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• Feature Perturbation Augmentation for Reliable Evaluation of Importance Estimators in Neural Networks [5.439020425819001]
  ポストホック解釈可能性法は、ディープニューラルネットワークの内部動作をより解釈可能にしようとする。 最も一般的な評価フレームワークの1つは、解釈可能性メソッドによって重要とみなされる機能を摂動させることである。 モデルトレーニング中に摂動画像を生成し,付加する特徴摂動増強(FPA)を提案する。
  論文  参考訳（メタデータ） (2023-03-02T19:05:46Z)
• PLATON: Pruning Large Transformer Models with Upper Confidence Bound of Weight Importance [114.1541203743303]
  本稿では,重要度推定の上位信頼度境界(UCB)による重要度スコアの不確かさを捉えるPLATONを提案する。 我々は、自然言語理解、質問応答、画像分類に関するトランスフォーマーモデルを用いて、広範囲にわたる実験を行った。
  論文  参考訳（メタデータ） (2022-06-25T05:38:39Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• PIVEN: A Deep Neural Network for Prediction Intervals with Specific Value Prediction [14.635820704895034]
  PIと値予測の両方を生成するディープニューラルネットワークであるPIVENを提案する。 提案手法では,PI内のデータ分布に関する仮定は行わず,実世界の様々な問題に対して,その価値予測をより効果的に行う。
  論文  参考訳（メタデータ） (2020-06-09T09:29:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。