論文の概要: Constraining Representations Yields Models That Know What They Don't Know

• arxiv url: http://arxiv.org/abs/2208.14488v3
• Date: Wed, 19 Apr 2023 10:56:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-20 17:58:26.109526
• Title: Constraining Representations Yields Models That Know What They Don't Know
• Title（参考訳）: 表現の制約は、知らないものを知るモデルになる
• Authors: Joao Monteiro, Pau Rodriguez, Pierre-Andre Noel, Issam Laradji, David Vazquez
• Abstract要約: ニューラルネットワークのよく知られた障害モードは、誤った予測を確実に返すことである。 この研究は、これらの問題に広く一般的な方法で対処するための新しい方向性を示す。 私たちは各クラスにユニークな、固定された、ランダムに生成されたバイナリベクタを割り当てます。 我々は、入力サンプルのクラスに従って、そのクロスディープなアクティベーションパターンが適切なクラスコードを予測するようにモデルを訓練する。
• 参考スコア（独自算出の注目度）: 2.729898906885749
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: A well-known failure mode of neural networks is that they may confidently return erroneous predictions. Such unsafe behaviour is particularly frequent when the use case slightly differs from the training context, and/or in the presence of an adversary. This work presents a novel direction to address these issues in a broad, general manner: imposing class-aware constraints on a model's internal activation patterns. Specifically, we assign to each class a unique, fixed, randomly-generated binary vector - hereafter called class code - and train the model so that its cross-depths activation patterns predict the appropriate class code according to the input sample's class. The resulting predictors are dubbed Total Activation Classifiers (TAC), and TACs may either be trained from scratch, or used with negligible cost as a thin add-on on top of a frozen, pre-trained neural network. The distance between a TAC's activation pattern and the closest valid code acts as an additional confidence score, besides the default unTAC'ed prediction head's. In the add-on case, the original neural network's inference head is completely unaffected (so its accuracy remains the same) but we now have the option to use TAC's own confidence and prediction when determining which course of action to take in an hypothetical production workflow. In particular, we show that TAC strictly improves the value derived from models allowed to reject/defer. We provide further empirical evidence that TAC works well on multiple types of architectures and data modalities and that it is at least as good as state-of-the-art alternative confidence scores derived from existing models.
• Abstract（参考訳）: ニューラルネットワークのよく知られた障害モードは、誤った予測を確実に返すことである。 このような安全でない振る舞いは、ユースケースがトレーニングコンテキストとわずかに異なる場合や、敵の存在下では特に頻繁である。 この研究は、モデルの内部アクティベーションパターンにクラスを意識した制約を課すことによって、これらの問題を解決するための新しい方向性を示す。 具体的には、各クラスに一意で固定、ランダムに生成されたバイナリベクターを割り当て、クラスコードを呼び出してモデルを訓練し、そのクロスディープなアクティベーションパターンが入力サンプルのクラスに応じて適切なクラスコードを予測できるようにします。 結果として得られる予測子は、Ttal Activation Classifiers (TAC)と呼ばれ、TACはスクラッチからトレーニングするか、あるいは凍結、トレーニング済みのニューラルネットワークの上に薄いアドオンとして無視可能なコストで使用することができる。 TACのアクティベーションパターンと最も近い有効なコードとの距離は、デフォルトのunTACの予測ヘッドに加えて、さらなる信頼スコアとして機能する。 アドオンの場合、元のニューラルネットワークの推論ヘッドは、完全に影響を受けていない(そのため、その正確性は同じである)が、仮説的な生産ワークフローでどのアクションを行うかを決定する際に、TAC自身の自信と予測を使用するオプションが選択された。 特に、TACは、拒否/延期が許されるモデルから得られる値を厳密に改善することを示す。 さらに、TACが複数のタイプのアーキテクチャやデータモダリティでうまく機能し、既存のモデルから派生した最先端の代替的信頼性スコアと同程度であることを示す。

関連論文リスト

• StochCA: A Novel Approach for Exploiting Pretrained Models with Cross-Attention [2.66269503676104]
  トランスフォーマーアーキテクチャに特有なクロスアテンション(StochCA)と呼ばれる新しい微調整手法を提案する。 この方法はトランスフォーマーの自己保持機構を変更し、微調整中に事前学習したモデルからの知識を選択的に活用する。 両領域の最先端アプローチに対するStochCAの優位性について検討した。
  論文  参考訳（メタデータ） (2024-02-25T13:53:49Z)
• uSF: Learning Neural Semantic Field with Uncertainty [0.0]
  USFと呼ばれる拡張ベクトル表現の生成のための新しいニューラルネットワークモデルを提案する。 トレーニング用画像の少ない場合、不確実性を定量化するモデルは、そのような機能を持たないモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-13T09:34:01Z)
• When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
  カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。 カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
  論文  参考訳（メタデータ） (2023-07-06T04:13:57Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• KNN-BERT: Fine-Tuning Pre-Trained Models with KNN Classifier [61.063988689601416]
  事前学習されたモデルは、クロスエントロピー損失によって最適化された線形分類器を用いて、微調整された下流タスクに広く利用されている。 これらの問題は、同じクラスの類似点と、予測を行う際の矛盾点に焦点を当てた表現を学習することで改善することができる。 本稿では、事前訓練されたモデル微調整タスクにおけるKNearest Neighborsについて紹介する。
  論文  参考訳（メタデータ） (2021-10-06T06:17:05Z)
• Cold-start Active Learning through Self-supervised Language Modeling [15.551710499866239]
  アクティブラーニングは、ラベルに最も重要な例を選択することで、アノテーションのコストを削減することを目的としている。 BERTでは、マスク付き言語モデリング損失に基づく単純な戦略を開発する。 他のベースラインと比較して,本手法はより少ないサンプリングイテレーションと時間で精度が高い。
  論文  参考訳（メタデータ） (2020-10-19T14:09:17Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。