論文の概要: FairNVT: Improving Fairness via Noise Injection in Vision Transformers

• arxiv url: http://arxiv.org/abs/2604.16780v1
• Date: Sat, 18 Apr 2026 02:04:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.170417
• Title: FairNVT: Improving Fairness via Noise Injection in Vision Transformers
• Title（参考訳）: FairNVT:視覚変換器のノイズ注入による公正性向上
• Authors: Qiaoyue Tang, Sepidehsadat Hosseini, Mengyao Zhai, Thibaut Durand, Greg Mori,
• Abstract要約: プリトレーニングされたトランスフォーマーベースのエンコーダのための軽量なデバイアス処理フレームワークであるFairNVTを提案する。 タスクの精度を維持しながら、表現と予測レベルの公平性を改善する。 幅広い事前訓練されたトランスフォーマーエンコーダと互換性がある。
• 参考スコア（独自算出の注目度）: 10.22843909538324
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents FairNVT, a lightweight debiasing framework for pretrained transformer-based encoders that improves both representation and prediction level fairness while preserving task accuracy. Unlike many existing debiasing approaches that address these notions separately, we argue they are inherently connected: suppressing sensitive information at the representation level can facilitate fairer predictions. Our approach learns task-relevant and sensitive embeddings via lightweight adapters, applies calibrated Gaussian noise to the sensitive embedding, and fuses it with the task representation. Together with orthogonality constraints and fairness regularization, these components jointly reduce sensitive-attribute leakage in the learned embeddings and encourage fairer downstream predictions. The framework is compatible with a wide range of pretrained transformer encoders. Across three datasets spanning vision and language, FairNVT reduces sensitive-attribute attacker accuracy, improves demographic-parity and equalized-odds metrics, and maintains high task performance.
• Abstract（参考訳）: 本稿では,FairNVTを提案する。FairNVTは,タスクの精度を保ちながら,表現と予測レベルの公平性を両立させる,事前訓練されたトランスフォーマーベースのエンコーダのための軽量なデバイアスフレームワークである。 これらの概念を別々に扱う既存のデバイアスングアプローチとは異なり、これらは本質的に結びついており、表現レベルでのセンシティブな情報の抑制はより公平な予測を促進する。 提案手法は, 軽量アダプタを用いたタスク関連・センシティブな埋め込みを学習し, 感性埋め込みにキャリブレーションされたガウスノイズを適用し, タスク表現と融合する。 直交制約や公正規則化とともに、これらのコンポーネントは学習された埋め込みにおける機密属性の漏洩を減らし、より公平な下流予測を奨励する。 このフレームワークは、幅広い事前訓練されたトランスフォーマーエンコーダと互換性がある。 視覚と言語にまたがる3つのデータセットの中で、FairNVTはセンシティブな属性攻撃者の正確さを低減し、人口格差と等化オードメトリクスを改善し、高いタスクパフォーマンスを維持する。

関連論文リスト

• Generalizing GNNs with Tokenized Mixture of Experts [75.8310720413187]
  安定性の向上には,変化に敏感な特徴への依存を低減し,既約最悪の一般化フロアを残す必要があることを示す。 本研究では,STEM-GNNを提案する。STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN。 9つのノード、リンク、グラフのベンチマークで、STEM-GNNはより強力な3方向バランスを実現し、クリアグラフ上での競争力を維持しながら、次数/ホモフィリーシフトや特徴/エッジの破損に対する堅牢性を改善している。
  論文  参考訳（メタデータ） (2026-02-09T22:48:30Z)
• VAE-REPA: Variational Autoencoder Representation Alignment for Efficient Diffusion Training [53.09658039757408]
  本稿では,効率的な拡散訓練のための軽量な固有ガイダンスフレームワークである textbfnamex を提案する。 nameは、拡散トランスフォーマーの中間潜時特徴を、軽量なプロジェクション層を介してVAE特徴と整列し、特徴アライメントロスによって教師される。 実験により、バニラ拡散変圧器と比較して、名称が生成品質とトレーニング収束速度の両方を改善することが示された。
  論文  参考訳（メタデータ） (2026-01-25T13:22:38Z)
• Transformer Meets Twicing: Harnessing Unattended Residual Information [2.1605931466490795]
  トランスフォーマーベースのディープラーニングモデルは、多くの言語やビジョンタスクで最先端のパフォーマンスを達成した。 自己注意機構は複雑なデータパターンを扱えることが証明されているが、注意行列の表現能力はトランスフォーマー層間で著しく低下する。 本研究では,NLM平滑化の低パス動作を軽減するため,非パラメトリック回帰におけるカーネルツイシング手順を用いた新しいアテンション機構であるTwicing Attentionを提案する。
  論文  参考訳（メタデータ） (2025-03-02T01:56:35Z)
• Efficient Diffusion Transformer with Step-wise Dynamic Attention Mediators [83.48423407316713]
  本稿では,クエリとキーを別々に扱うために,追加の仲介者トークンを組み込んだ新しい拡散トランスフォーマーフレームワークを提案する。 本モデルでは, 正確な非曖昧な段階を呈し, 詳細に富んだ段階へと徐々に遷移する。 本手法は,最近のSiTと統合した場合に,最先端のFIDスコア2.01を達成する。
  論文  参考訳（メタデータ） (2024-08-11T07:01:39Z)
• Transformers Learn Low Sensitivity Functions: Investigations and Implications [18.77893015276986]
  トランスフォーマーは多くのタスクで最先端の精度と堅牢性を達成する。 入力におけるトークンのランダムな摂動に対するモデルの感度を統一計量として同定する。 我々は、CNN、CNN、ConvMixers、LSTMよりも、視覚と言語の両方のタスクにおいて、トランスフォーマーの感度が低いことを示す。
  論文  参考訳（メタデータ） (2024-03-11T17:12:09Z)
• Mitigating Bias in Visual Transformers via Targeted Alignment [8.674650784377196]
  コンピュータビジョンに適用されたトランスフォーマーの公正性について検討し、先行研究からいくつかのバイアス緩和アプローチをベンチマークする。 本稿では,主にクエリ行列の特徴からバイアスを発見し,除去することを目的とした,デバイアス変換器のアライメント戦略であるTADeTを提案する。
  論文  参考訳（メタデータ） (2023-02-08T22:11:14Z)
• Improve Noise Tolerance of Robust Loss via Noise-Awareness [60.34670515595074]
  本稿では,NARL-Adjuster(NARL-Adjuster for brevity)と呼ばれる,ハイパーパラメータ予測関数を適応的に学習するメタラーニング手法を提案する。 4つのSOTAロバストな損失関数を我々のアルゴリズムに統合し,提案手法の一般性および性能をノイズ耐性と性能の両面で検証した。
  論文  参考訳（メタデータ） (2023-01-18T04:54:58Z)
• UIA-ViT: Unsupervised Inconsistency-Aware Method based on Vision Transformer for Face Forgery Detection [52.91782218300844]
  そこで我々は、UIA-ViTと呼ばれるビジョン変換器に基づく教師なし不整合認識手法を提案する。 自己注意機構により、パッチ埋め込み間の注意マップは自然に一貫性関係を表現し、一貫性表現学習に適した視覚変換器となる。
  論文  参考訳（メタデータ） (2022-10-23T15:24:47Z)
• Consistency Regularization for Certified Robustness of Smoothed Classifiers [89.72878906950208]
  最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。 その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
  論文  参考訳（メタデータ） (2020-06-07T06:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。