論文の概要: Robustify Transformers with Robust Kernel Density Estimation

• arxiv url: http://arxiv.org/abs/2210.05794v1
• Date: Tue, 11 Oct 2022 21:39:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 12:05:23.944810
• Title: Robustify Transformers with Robust Kernel Density Estimation
• Title（参考訳）: ロバストなカーネル密度推定によるロバスト化トランス
• Authors: Xing Han and Tongzheng Ren and Tan Minh Nguyen and Khai Nguyen and Joydeep Ghosh and Nhat Ho
• Abstract要約: 我々は、自己保持機構における堅牢なカーネル密度推定を活用し、データの汚染の問題を緩和する。 修正された自己保持機構は、異なるTransformer変異体に組み込むことができる。 言語モデリングと画像分類タスクに関する実証的な結果は、このアプローチの有効性を示している。
• 参考スコア（独自算出の注目度）: 26.114976688606536
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in Transformer architecture have empowered its empirical success in various tasks across different domains. However, existing works mainly focus on improving the standard accuracy and computational cost, without considering the robustness of contaminated samples. Existing work has shown that the self-attention mechanism, which is the center of the Transformer architecture, can be viewed as a non-parametric estimator based on the well-known kernel density estimation (KDE). This motivates us to leverage the robust kernel density estimation (RKDE) in the self-attention mechanism, to alleviate the issue of the contamination of data by down-weighting the weight of bad samples in the estimation process. The modified self-attention mechanism can be incorporated into different Transformer variants. Empirical results on language modeling and image classification tasks demonstrate the effectiveness of this approach.
• Abstract（参考訳）: トランスフォーマーアーキテクチャの最近の進歩は、様々なドメインにわたる様々なタスクで経験的な成功をおさめた。 しかし, 既存の研究は主に, 汚染試料の堅牢性を考慮せずに, 標準精度と計算コストの改善に重点を置いている。 既存の研究によると、トランスフォーマーアーキテクチャの中心である自己アテンション機構は、よく知られたカーネル密度推定(KDE)に基づく非パラメトリック推定器として見ることができる。 これにより,自己拘束機構においてロバストなカーネル密度推定(rkde)を活用し,推定過程における悪いサンプルの重みを下げることでデータの汚染問題を緩和する動機となった。 修正されたセルフアテンション機構は、異なるトランスフォーマー変種に組み込むことができる。 言語モデリングおよび画像分類タスクに関する実証結果から,このアプローチの有効性が示された。

関連論文リスト

• Reward driven workflows for unsupervised explainable analysis of phases and ferroic variants from atomically resolved imaging data [14.907891992968361]
  本研究では,教師なしML手法の鍵ハイパーパラメータを最適化するために,報酬駆動型アプローチが利用できることを示す。 このアプローチにより、特定の物理的な振る舞いに最も適したローカルな記述子を見つけることができる。 また、変分オートエンコーダ(VAE)を介して変動の構造因子を乱すよう誘導される報酬も拡張する。
  論文  参考訳（メタデータ） (2024-11-19T16:18:20Z)
• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• Heterogenous Multi-Source Data Fusion Through Input Mapping and Latent Variable Gaussian Process [8.32027826756131]
  提案するフレームワークは,3つの工学的ケーススタディに基づいて実証および解析を行った。 単一のソースモデルに対して予測精度が向上し、変換されるがソースモデルは認識されない。
  論文  参考訳（メタデータ） (2024-07-15T22:27:04Z)
• Compressing Image-to-Image Translation GANs Using Local Density Structures on Their Learned Manifold [69.33930972652594]
  GAN(Generative Adversarial Networks)は、画像から画像への変換のための複雑なデータ分散のモデル化において、顕著な成功を収めている。 既存のGAN圧縮法は主に知識蒸留や畳み込み分類器の刈り取り技術に依存している。 学習多様体上の元のパラメータ重モデルの密度構造を保存するために,プルーンドモデルを明示的に促すことにより,新しいアプローチを提案する。 画像変換GANモデルであるPix2PixとCycleGANについて,様々なベンチマークデータセットとアーキテクチャを用いて実験を行い,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2023-12-22T15:43:12Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
  本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。 特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
  論文  参考訳（メタデータ） (2023-04-04T17:54:32Z)
• Patch Similarity Aware Data-Free Quantization for Vision Transformers [2.954890575035673]
  Patch similarity Aware data-free Quantization framework for Vision Transformersを提案する。 本研究では,ガウス雑音と実画像の処理において,自己アテンションモジュールの特性を解析し,一般的な相違点(パッチ類似点)を明らかにする。 PSAQ-ViTの有効性を検証するため,様々なベンチマークで実験およびアブレーション実験を行った。
  論文  参考訳（メタデータ） (2022-03-04T11:47:20Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Transformer Uncertainty Estimation with Hierarchical Stochastic Attention [8.95459272947319]
  本稿では,変圧器に不確実性推定機能を持たせるための新しい手法を提案する。 これは、価値と学習可能なセントロイドのセットに付随する階層的な自己注意を学ぶことで達成される。 我々は、ドメイン内(ID)とドメイン外(OOD)の両方のデータセットを用いて、2つのテキスト分類タスクでモデルを実証的に評価する。
  論文  参考訳（メタデータ） (2021-12-27T16:43:31Z)
• Multi-Facet Clustering Variational Autoencoders [9.150555507030083]
  画像などの高次元データは通常、クラスタリング可能な複数の興味深い特徴を特徴付ける。 MFCVAE(Multi-Facet Clustering Variational Autoencoders)を導入する。 MFCVAEは複数のクラスタリングを同時に学習し、完全に教師なしでエンドツーエンドで訓練されている。
  論文  参考訳（メタデータ） (2021-06-09T17:36:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。