論文の概要: Can Explanations Be Useful for Calibrating Black Box Models?

• arxiv url: http://arxiv.org/abs/2110.07586v1
• Date: Thu, 14 Oct 2021 17:48:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-15 14:50:53.608142
• Title: Can Explanations Be Useful for Calibrating Black Box Models?
• Title（参考訳）: ブラックボックスモデルのキャリブレーションに説明は有用か?
• Authors: Xi Ye and Greg Durrett
• Abstract要約: 我々は,新しいドメインの例から,ブラックボックスモデルの性能を新しいドメインで改善する方法について検討する。 提案手法はまず,タスクに対する人間の直感とモデル属性を組み合わせた一連の特徴を抽出する。 キャリブレーション機能はタスク間である程度移動し、効果的に利用する方法について光を当てている。
• 参考スコア（独自算出の注目度）: 31.473798197405948
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One often wants to take an existing, trained NLP model and use it on data from a new domain. While fine-tuning or few-shot learning can be used to adapt the base model, there is no one simple recipe to getting these working; moreover, one may not have access to the original model weights if it is deployed as a black box. To this end, we study how to improve a black box model's performance on a new domain given examples from the new domain by leveraging explanations of the model's behavior. Our approach first extracts a set of features combining human intuition about the task with model attributions generated by black box interpretation techniques, and then uses a simple model to calibrate or rerank the model's predictions based on the features. We experiment with our method on two tasks, extractive question answering and natural language inference, covering adaptation from several pairs of domains. The experimental results across all the domain pairs show that explanations are useful for calibrating these models. We show that the calibration features transfer to some extent between tasks and shed light on how to effectively use them.
• Abstract（参考訳）: 既存のトレーニング済みのNLPモデルを新しいドメインのデータに使用したい場合が多い。 微調整や少数ショット学習はベースモデルへの適応に使用できるが、これらを実現するための簡単なレシピは存在せず、ブラックボックスとしてデプロイされた場合、元のモデルの重み付けにアクセスできない場合もある。 そこで本研究では,ブラックボックスモデルの振る舞いの説明を活用し,新しいドメインの例を例にあげて,ブラックボックスモデルの性能を改善する方法について検討する。 提案手法は,まず,ブラックボックス解釈手法によって生成されたモデル帰属とタスクに対する人間の直観を結合した特徴を抽出し,その特徴に基づいてモデルの予測を校正し,再ランク付けする。 質問応答抽出と自然言語推論という2つのタスクで提案手法を実験し,複数のドメインから適応した。 すべてのドメインペアでの実験結果は、説明がこれらのモデルのキャリブレーションに有用であることを示している。 その結果,キャリブレーション機能はタスク間である程度移動し,その有効利用方法に光を当てることができた。

関連論文リスト

• Enabling Small Models for Zero-Shot Classification through Model Label Learning [50.68074833512999]
  モデルと機能の間のギャップを埋める新しいパラダイムであるモデルラベル学習(MLL)を導入する。 7つの実世界のデータセットの実験により、MLLの有効性と効率が検証された。
  論文  参考訳（メタデータ） (2024-08-21T09:08:26Z)
• DREAM: Domain-free Reverse Engineering Attributes of Black-box Model [51.37041886352823]
  ブラックボックス対象モデルの属性をドメインに依存しないリバースエンジニアリングの新しい問題を提案する。 対象のブラックボックスモデルの属性を未知のトレーニングデータで推測するために,ドメインに依存しないモデルを学ぶ。
  論文  参考訳（メタデータ） (2023-07-20T16:25:58Z)
• Increasing Performance And Sample Efficiency With Model-agnostic Interactive Feature Attributions [3.0655581300025996]
  我々は,2つの一般的な説明手法(Occlusion と Shapley の値)に対して,モデルに依存しない実装を提供し,その複雑なモデルにおいて,完全に異なる属性を強制する。 提案手法は,修正された説明に基づいてトレーニングデータセットを増強することで,モデルの性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-28T15:23:28Z)
• Task-Specific Skill Localization in Fine-tuned Language Models [36.53572616441048]
  本稿では,この問題に対するスキルローカライゼーションという用語を紹介する。 単純な最適化は、非常に小さなパラメータのサブセットを特定するために使われる。 この小さなサブセットの微調整された値を事前訓練されたモデルに移植することで、微調整されたモデルとほぼ同等のパフォーマンスが得られる。
  論文  参考訳（メタデータ） (2023-02-13T18:55:52Z)
• Symbolic Metamodels for Interpreting Black-boxes Using Primitive Functions [15.727276506140878]
  ブラックボックス機械学習モデルを解釈する1つのアプローチは、単純な解釈可能な関数を使ってモデルのグローバルな近似を見つけることである。 本研究では,解釈可能なメタモデルを見つけるための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-02-09T17:30:43Z)
• Voting from Nearest Tasks: Meta-Vote Pruning of Pre-trained Models for Downstream Tasks [55.431048995662714]
  我々は、類似タスクの刈り取られたモデルから、新しいタスクのための小さなモデルを作成する。 このモデルに関するいくつかの微調整ステップは、新しいタスクに対して有望なプルーンドモデルを生成するのに十分であることを示す。 我々は, 単純だが効果的な'Meta-Vote Pruning (MVP)' 手法を開発した。
  論文  参考訳（メタデータ） (2023-01-27T06:49:47Z)
• Synthetic Model Combination: An Instance-wise Approach to Unsupervised Ensemble Learning [92.89846887298852]
  ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。 専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
  論文  参考訳（メタデータ） (2022-10-11T10:20:31Z)
• Optimizing Active Learning for Low Annotation Budgets [6.753808772846254]
  ディープラーニングでは、アクティブな学習は通常、微調整によって連続した深層モデルを更新する反復的なプロセスとして実装される。 移行学習にインスパイアされたアプローチを用いてこの問題に対処する。 本稿では,ALプロセスの反復性を利用してより堅牢なサンプルを抽出する新しい取得関数を提案する。
  論文  参考訳（メタデータ） (2022-01-18T18:53:10Z)
• Exploring Strategies for Generalizable Commonsense Reasoning with Pre-trained Models [62.28551903638434]
  モデルの一般化と精度に及ぼす3つの異なる適応法の影響を計測する。 2つのモデルを用いた実験では、微調整はタスクの内容と構造の両方を学習することで最もうまく機能するが、過度に適合し、新しい答えへの限定的な一般化に苦しむ。 我々は、プレフィックスチューニングのような代替適応手法が同等の精度を持つのを観察するが、解を見落とさずに一般化し、対数分割に対してより堅牢である。
  論文  参考訳（メタデータ） (2021-09-07T03:13:06Z)
• Design of Dynamic Experiments for Black-Box Model Discrimination [72.2414939419588]
  選択したいような動的モデル判別の設定を考えてみましょう。 (i) 最高のメカニスティックな時間変化モデルと (ii) 最高のモデルパラメータ推定値です。 勾配情報にアクセス可能な競合する力学モデルに対しては、既存の手法を拡張し、より広い範囲の問題の不確実性を組み込む。 これらのブラックボックスモデルをガウス過程サロゲートモデルに置き換えることで、モデル識別設定を拡張して、競合するブラックボックスモデルをさらに取り入れる。
  論文  参考訳（メタデータ） (2021-02-07T11:34:39Z)
• REST: Performance Improvement of a Black Box Model via RL-based Spatial Transformation [15.691668909002892]
  ブラックボックス画像分類器が与えられる特定の条件下での幾何変換に対するロバスト性について検討する。 我々は,入力データをブラックボックスモデルで非分布と見なされるサンプルに変換する学習者,EmphREinforcement Spatial Transform (REST)を提案する。
  論文  参考訳（メタデータ） (2020-02-16T16:15:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。