論文の概要: Mitigating Bias in Visual Transformers via Targeted Alignment

• arxiv url: http://arxiv.org/abs/2302.04358v1
• Date: Wed, 8 Feb 2023 22:11:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-10 17:25:04.237191
• Title: Mitigating Bias in Visual Transformers via Targeted Alignment
• Title（参考訳）: 標的アライメントによる視覚トランスフォーマーのバイアス軽減
• Authors: Sruthi Sudhakar, Viraj Prabhu, Arvindkumar Krishnakumar, Judy Hoffman
• Abstract要約: コンピュータビジョンに適用されたトランスフォーマーの公正性について検討し、先行研究からいくつかのバイアス緩和アプローチをベンチマークする。 本稿では,主にクエリ行列の特徴からバイアスを発見し,除去することを目的とした,デバイアス変換器のアライメント戦略であるTADeTを提案する。
• 参考スコア（独自算出の注目度）: 8.674650784377196
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As transformer architectures become increasingly prevalent in computer vision, it is critical to understand their fairness implications. We perform the first study of the fairness of transformers applied to computer vision and benchmark several bias mitigation approaches from prior work. We visualize the feature space of the transformer self-attention modules and discover that a significant portion of the bias is encoded in the query matrix. With this knowledge, we propose TADeT, a targeted alignment strategy for debiasing transformers that aims to discover and remove bias primarily from query matrix features. We measure performance using Balanced Accuracy and Standard Accuracy, and fairness using Equalized Odds and Balanced Accuracy Difference. TADeT consistently leads to improved fairness over prior work on multiple attribute prediction tasks on the CelebA dataset, without compromising performance.
• Abstract（参考訳）: コンピュータビジョンにおいてトランスフォーマーアーキテクチャが普及するにつれて、その公平性の意味を理解することが重要となる。 コンピュータビジョンに適用する変圧器の公正性に関する最初の研究を行い,先行研究からのバイアス緩和アプローチをベンチマークした。 変換器の自己アテンションモジュールの特徴空間を可視化し、そのバイアスのかなりの部分がクエリ行列にエンコードされていることを発見する。 この知識を活かしたTADeTは、主にクエリ行列の特徴からバイアスを発見し除去することを目的としたデバイアス変換のためのアライメント戦略である。 バランスの取れた精度と標準精度、等化オッズとバランスの取れた精度差による公平性を用いて、性能を測定する。 TADeTは、パフォーマンスを損なうことなく、CelebAデータセット上の複数の属性予測タスクの事前処理よりも公平性を向上させる。

関連論文リスト

• ResiDual Transformer Alignment with Spectral Decomposition [31.14332778586179]
  我々は、残像のスペクトル幾何学に着目し、視覚変換器の現象を解析する。 様々な入力データ分布にまたがる特殊な役割をエンコードしていることを示す。 本稿では,残流のスペクトルアライメント技術であるResiDualを紹介する。
  論文  参考訳（メタデータ） (2024-10-31T22:51:45Z)
• Unveil Benign Overfitting for Transformer in Vision: Training Dynamics, Convergence, and Generalization [88.5582111768376]
  本研究では, ソフトマックスを用いた自己保持層と, 勾配勾配下での完全連結層からなるトランスフォーマーの最適化について検討した。 この結果から,データモデルにおける信号対雑音比に基づいて,小さなテストエラー位相と大規模なテストエラー状態とを区別できるシャープ条件を確立した。
  論文  参考訳（メタデータ） (2024-09-28T13:24:11Z)
• Simplicity Bias of Transformers to Learn Low Sensitivity Functions [19.898451497341714]
  トランスフォーマーは多くのタスクで最先端の精度と堅牢性を達成する。 彼らが持っている誘導バイアスと、それらのバイアスが他のニューラルネットワークアーキテクチャとどのように異なるかを理解することは、まだ解明されていない。
  論文  参考訳（メタデータ） (2024-03-11T17:12:09Z)
• Multi-Dimensional Hyena for Spatial Inductive Bias [69.3021852589771]
  自己注意に依存しないデータ効率の高い視覚変換器を提案する。 代わりに、非常に最近のハイエナ層の複数の軸に新しい一般化を用いる。 ハイエナN-DをベースとしたハイブリッドなアプローチをViTの第1層に適用し,それに続いて従来の注目層を取り入れた手法により,様々な視覚トランスフォーマーアーキテクチャの性能が一貫して向上することを示す。
  論文  参考訳（メタデータ） (2023-09-24T10:22:35Z)
• Reviving Shift Equivariance in Vision Transformers [12.720600348466498]
  本稿では,視覚変換器モデルにシームレスに統合可能な適応型多相アンカーアルゴリズムを提案する。 我々のアルゴリズムは、ViTとその変種であるTwinsを、入力シフトに関して100%整合性を達成することができる。
  論文  参考訳（メタデータ） (2023-06-13T00:13:11Z)
• 2-D SSM: A General Spatial Layer for Visual Transformers [79.4957965474334]
  コンピュータビジョンの中心的な目的は、適切な2次元帰納バイアスを持つモデルを設計することである。 多次元状態空間モデルの表現的変動を利用する。 本稿では,効率的なパラメータ化,高速化計算,適切な正規化方式を提案する。
  論文  参考訳（メタデータ） (2023-06-11T09:41:37Z)
• Remote Sensing Change Detection With Transformers Trained from Scratch [62.96911491252686]
  トランスフォーマーベースの変更検出(CD)アプローチでは、大規模なイメージ分類でトレーニングされた事前トレーニングモデルを使用するか、別のCDデータセットで最初の事前トレーニングを頼りにしてから、ターゲットのベンチマークを微調整する。 我々は、4つの公開ベンチマークにおいて、スクラッチからトレーニングされながら最先端のパフォーマンスを実現するトランスフォーマーを用いたエンドツーエンドCDアプローチを開発した。
  論文  参考訳（メタデータ） (2023-04-13T17:57:54Z)
• XAI for Transformers: Better Explanations through Conservative Propagation [60.67748036747221]
  変換器の勾配は局所的にのみ関数を反映しており、入力特徴の予測への寄与を確実に識別できないことを示す。 我々の提案は、よく確立されたLPP法のトランスフォーマーへの適切な拡張と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-15T10:47:11Z)
• CETransformer: Casual Effect Estimation via Transformer Based Representation Learning [17.622007687796756]
  データ駆動因果効果推定は、選択バイアスと反事実の欠如という2つの大きな課題に直面している。 これら2つの問題に対処するため、既存のアプローチのほとんどは、バランスの取れた表現を学ぶことで選択バイアスを減らす傾向にある。 本稿では,CETransformerモデルを用いて,変換器を用いた表現学習によるカジュアルエフェクト推定を提案する。
  論文  参考訳（メタデータ） (2021-07-19T09:39:57Z)
• Vision Transformers are Robust Learners [65.91359312429147]
  ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。 ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
  論文  参考訳（メタデータ） (2021-05-17T02:39:22Z)
• Toward Transformer-Based Object Detection [12.704056181392415]
  ビジョントランスフォーマーは、共通の検出タスクヘッドによってバックボーンとして使用することができ、競合するCOCO結果を生成する。 vit-frcnnは、大きな事前訓練能力と高速微調整性能を含むトランスフォーマーに関連するいくつかの既知の特性を示す。 ViT-FRCNNは、オブジェクト検出などの複雑な視覚タスクの純粋なトランスフォーマーソリューションへの重要なステップストーンであると考えています。
  論文  参考訳（メタデータ） (2020-12-17T22:33:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。