論文の概要: Designing Robust Transformers using Robust Kernel Density Estimation

• arxiv url: http://arxiv.org/abs/2210.05794v3
• Date: Wed, 8 Nov 2023 14:50:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-09 20:55:41.037697
• Title: Designing Robust Transformers using Robust Kernel Density Estimation
• Title（参考訳）: ロバストカーネル密度推定を用いたロバスト変圧器の設計
• Authors: Xing Han and Tongzheng Ren and Tan Minh Nguyen and Khai Nguyen and Joydeep Ghosh and Nhat Ho
• Abstract要約: 異なるトランスフォーマーアーキテクチャに組み込むことができる一連の自己注意機構を導入する。 次に、言語モデリングと画像分類タスクについて広範な実証的研究を行う。
• 参考スコア（独自算出の注目度）: 47.494628752936165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in Transformer architectures have empowered their empirical success in a variety of tasks across different domains. However, existing works mainly focus on predictive accuracy and computational cost, without considering other practical issues, such as robustness to contaminated samples. Recent work by Nguyen et al., (2022) has shown that the self-attention mechanism, which is the center of the Transformer architecture, can be viewed as a non-parametric estimator based on kernel density estimation (KDE). This motivates us to leverage a set of robust kernel density estimation methods for alleviating the issue of data contamination. Specifically, we introduce a series of self-attention mechanisms that can be incorporated into different Transformer architectures and discuss the special properties of each method. We then perform extensive empirical studies on language modeling and image classification tasks. Our methods demonstrate robust performance in multiple scenarios while maintaining competitive results on clean datasets.
• Abstract（参考訳）: トランスフォーマーアーキテクチャの最近の進歩は、さまざまなドメインにわたるさまざまなタスクで経験的な成功を収めた。 しかし、既存の研究は主に予測精度と計算コストに重点を置いており、汚染されたサンプルに対する堅牢性など他の実践的な問題も考慮していない。 Nguyenらによる最近の研究 (2022) により、トランスフォーマーアーキテクチャの中心である自己アテンション機構は、カーネル密度推定(KDE)に基づく非パラメトリック推定器として見ることができることが示されている。 これは、データ汚染の問題を緩和するために、堅牢なカーネル密度推定手法のセットを活用する動機となっている。 具体的には、様々なトランスフォーマーアーキテクチャに組み込むことのできる一連の自己着脱機構を導入し、各メソッドの特殊特性について論じる。 次に、言語モデリングおよび画像分類タスクに関する広範な実証研究を行う。 提案手法は,クリーンデータセット上での競合結果を維持しつつ,複数のシナリオで堅牢な性能を示す。

関連論文リスト

• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• Heterogenous Multi-Source Data Fusion Through Input Mapping and Latent Variable Gaussian Process [8.32027826756131]
  提案するフレームワークは,3つの工学的ケーススタディに基づいて実証および解析を行った。 単一のソースモデルに対して予測精度が向上し、変換されるがソースモデルは認識されない。
  論文  参考訳（メタデータ） (2024-07-15T22:27:04Z)
• Compressing Image-to-Image Translation GANs Using Local Density Structures on Their Learned Manifold [69.33930972652594]
  GAN(Generative Adversarial Networks)は、画像から画像への変換のための複雑なデータ分散のモデル化において、顕著な成功を収めている。 既存のGAN圧縮法は主に知識蒸留や畳み込み分類器の刈り取り技術に依存している。 学習多様体上の元のパラメータ重モデルの密度構造を保存するために,プルーンドモデルを明示的に促すことにより,新しいアプローチを提案する。 画像変換GANモデルであるPix2PixとCycleGANについて,様々なベンチマークデータセットとアーキテクチャを用いて実験を行い,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2023-12-22T15:43:12Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
  本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。 特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
  論文  参考訳（メタデータ） (2023-04-04T17:54:32Z)
• Patch Similarity Aware Data-Free Quantization for Vision Transformers [2.954890575035673]
  Patch similarity Aware data-free Quantization framework for Vision Transformersを提案する。 本研究では,ガウス雑音と実画像の処理において,自己アテンションモジュールの特性を解析し,一般的な相違点(パッチ類似点)を明らかにする。 PSAQ-ViTの有効性を検証するため,様々なベンチマークで実験およびアブレーション実験を行った。
  論文  参考訳（メタデータ） (2022-03-04T11:47:20Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Transformer Uncertainty Estimation with Hierarchical Stochastic Attention [8.95459272947319]
  本稿では,変圧器に不確実性推定機能を持たせるための新しい手法を提案する。 これは、価値と学習可能なセントロイドのセットに付随する階層的な自己注意を学ぶことで達成される。 我々は、ドメイン内(ID)とドメイン外(OOD)の両方のデータセットを用いて、2つのテキスト分類タスクでモデルを実証的に評価する。
  論文  参考訳（メタデータ） (2021-12-27T16:43:31Z)
• Multi-Facet Clustering Variational Autoencoders [9.150555507030083]
  画像などの高次元データは通常、クラスタリング可能な複数の興味深い特徴を特徴付ける。 MFCVAE(Multi-Facet Clustering Variational Autoencoders)を導入する。 MFCVAEは複数のクラスタリングを同時に学習し、完全に教師なしでエンドツーエンドで訓練されている。
  論文  参考訳（メタデータ） (2021-06-09T17:36:38Z)
• Robust Correction of Sampling Bias Using Cumulative Distribution Functions [19.551668880584973]
  変数ドメインとバイアス付きデータセットは、トレーニングとターゲット分布の違いにつながる可能性がある。 これを緩和するための現在のアプローチは、しばしばトレーニングとターゲット確率密度関数の比率を推定することに依存する。
  論文  参考訳（メタデータ） (2020-10-23T22:13:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。