論文の概要: Explanation on Pretraining Bias of Finetuned Vision Transformer

• arxiv url: http://arxiv.org/abs/2211.15428v1
• Date: Fri, 18 Nov 2022 07:57:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-04 14:34:14.890575
• Title: Explanation on Pretraining Bias of Finetuned Vision Transformer
• Title（参考訳）: 微細視変換器の予知バイアスに関する解説
• Authors: Bumjin Park, Jaesik Choi
• Abstract要約: 教師付きおよび教師なしの事前学習型VTモデルの事前学習バイアスを実証的に説明する。 注意写像の一般化,頑健性,エントロピーが事前学習型の性質ではないことを示す。
• 参考スコア（独自算出の注目度）: 26.45829616207739
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: As the number of fine tuning of pretrained models increased, understanding the bias of pretrained model is essential. However, there is little tool to analyse transformer architecture and the interpretation of the attention maps is still challenging. To tackle the interpretability, we propose Input-Attribution and Attention Score Vector (IAV) which measures the similarity between attention map and input-attribution and shows the general trend of interpretable attention patterns. We empirically explain the pretraining bias of supervised and unsupervised pretrained ViT models, and show that each head in ViT has a specific range of agreement on the decision of the classification. We show that generalization, robustness and entropy of attention maps are not property of pretraining types. On the other hand, IAV trend can separate the pretraining types.
• Abstract（参考訳）: 事前学習モデルの微調整数が増加するにつれて,事前学習モデルのバイアスの理解が不可欠となる。 しかし、トランスフォーマーアーキテクチャを分析するツールはほとんどなく、アテンションマップの解釈は依然として困難である。 この解釈可能性に取り組むために,注意マップと入力属性の類似性を測定し,解釈可能な注意パターンの一般的な傾向を示すIAV(Input-Attribution and Attention Score Vector)を提案する。 教師付きおよび教師なしの事前学習型ViTモデルの事前学習バイアスを実証的に説明し、ViTの各頭部が分類の決定について特定の範囲の合意を持つことを示す。 注意写像の一般化,頑健性,エントロピーが事前学習型の性質ではないことを示す。 一方、IAVトレンドは事前学習型を分離することができる。

関連論文リスト

• On the Surprising Effectiveness of Attention Transfer for Vision Transformers [118.83572030360843]
  従来の知恵は、事前学習型視覚変換器(ViT)が有用な表現を学習することで、下流のパフォーマンスを向上させることを示唆している。 予備学習で学んだ特徴や表現は必須ではない。
  論文  参考訳（メタデータ） (2024-11-14T18:59:40Z)
• How to train your ViT for OOD Detection [36.56346240815833]
  VisionTransformerは、ImageNetスケール設定のための強力なアウト・オブ・ディストリビューション検出器である。 プレトレーニングとファインタニングの両方がViTの性能に与える影響について検討する。
  論文  参考訳（メタデータ） (2024-05-21T08:36:30Z)
• Debiased Fine-Tuning for Vision-language Models by Prompt Regularization [50.41984119504716]
  本稿では,Prompt Regularization(ProReg)と呼ばれる下流タスクにおける大規模視覚事前訓練モデルの微調整のための新しいパラダイムを提案する。 ProRegは、事前訓練されたモデルに微調整を正規化するよう促すことで予測を使用する。 本稿では,従来の微調整,ゼロショットプロンプト,プロンプトチューニング,その他の最先端手法と比較して,ProRegの性能が一貫して高いことを示す。
  論文  参考訳（メタデータ） (2023-01-29T11:53:55Z)
• Prior Knowledge-Guided Attention in Self-Supervised Vision Transformers [79.60022233109397]
  本研究では、未ラベル画像データセットにおける一貫した空間的・意味的構造を利用するフレームワークである空間的事前注意(SPAN)を提案する。 SPANは、アテンションマスクを別個のトランスフォーマーヘッドから正規化し、セマンティック領域の様々な先導に従う。 その結果,アテンションマスクは,ドメインに依存しない事前学習から得られるマスクよりも解釈可能であることが判明した。
  論文  参考訳（メタデータ） (2022-09-07T02:30:36Z)
• Spatial Entropy Regularization for Vision Transformers [71.44392961125807]
  視覚変換器(VT)は、訓練が監督されたときに自然に出現しない意味的セグメンテーション構造を含むことができる。 本稿では,情報エントロピーの空間的定式化に基づくVT正規化手法を提案する。 提案手法は,異なるトレーニングシナリオ,データセット,下流タスク,VTアーキテクチャに対して有効であることを示す。
  論文  参考訳（メタデータ） (2022-06-09T17:34:39Z)
• A Closer Look at Self-Supervised Lightweight Vision Transformers [44.44888945683147]
  大規模視覚変換器(ViT)の自己教師型学習を事前学習法として実現した。 画像分類タスクと下流密度予測タスクに関する自己教師付き事前学習手法のベンチマークを行った。 バニラ・ライトウェイトなViTでさえ、デリケートなアーキテクチャ設計を持つ以前のSOTAネットワークに匹敵する性能を示している。
  論文  参考訳（メタデータ） (2022-05-28T14:14:57Z)
• SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
  トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。 事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。 本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:13:44Z)
• The Lottery Tickets Hypothesis for Supervised and Self-supervised Pre-training in Computer Vision Models [115.49214555402567]
  事前訓練された重量は、しばしば分類、検出、セグメンテーションを含む幅広い下流タスクを増加させる。 最近の研究は、巨大モデル能力による事前学習の利点を示唆している。 本稿では,抽選券仮説(LTH)のレンズを用いて,教師付きおよび自己指導型事前学習モデルについて検討する。
  論文  参考訳（メタデータ） (2020-12-12T21:53:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。