論文の概要: Attention, Anomalies! Handling Attention Layers in Unsupervised Federated Outlier Detection

• arxiv url: http://arxiv.org/abs/2608.04753v1
• Date: Wed, 05 Aug 2026 12:23:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-06 14:48:43.916447
• Title: Attention, Anomalies! Handling Attention Layers in Unsupervised Federated Outlier Detection
• Title（参考訳）: 注意・異常!教師なしフェデレーション・アウトリア検出における注意層処理
• Authors: Mihailo Ilić, Miloš Savić, Vladimir Kurbalija, Mirjana Ivanović, Giancarlo Fortino, Dušan Jakovetić,
• Abstract要約: 我々はメモリ拡張オートエンコーダ(MemAE)を支えるアーキテクチャの複雑さを分析する。 フェデレートされたシナリオでこれらのモデルを効果的に集約するための、新しいガイド付きアプローチを提案する。 このアプローチは、非常に浅いオートエンコーダの性能を改善し、リソース制約のある環境で使用できるようにする。
• 参考スコア（独自算出の注目度）: 5.092008988231824
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attention layers are the backbone of today's most powerful and impactful models. Models with multi-million and billion parameters rely on contextual knowledge provided by attention layers. However, their use goes well beyond just being the core component of large language models. One particularly interesting application is in Memory Augmented Autoencoders (MemAE), specifically for unsupervised representation learning in outlier detection tasks. It was shown that attention helps these models be more effective in centralized learning scenarios. Our work aims to address the lack of specialized aggregation techniques in Federated Learning (FL) when it comes to MemAE models. In this paper we analyze the intricacies of the architecture behind Memory Augmented Autoencoders, and propose novel, guided approaches to effectively aggregate these models in federated scenarios. We demonstrate our approach on non-IID datasets and show that these novel aggregation schemes are more robust when dealing with numerous edge nodes in environments with unbalanced datasets, specifically for unsupervised anomaly detection scenarios. This approach improves the performance of even very shallow autoencoders, allowing them to be used in resource constrained environments.
• Abstract（参考訳）: 注意層は、今日の最も強力で影響力のあるモデルのバックボーンです。 数百万のパラメータと億のパラメータを持つモデルは、注意層が提供するコンテキスト知識に依存している。 しかし、彼らの利用は、単に大きな言語モデルのコアコンポーネントであるだけではない。 特に興味深い応用の1つはメモリ拡張オートエンコーダ(MemAE)で、特に非教師なしの表現学習において、外れ値検出タスクで使用される。 これらのモデルが集中学習シナリオにおいてより効果的であることに注意が役立ちます。 我々の研究は、MemAEモデルに関して、フェデレートラーニング(FL)における特別なアグリゲーションテクニックの欠如に対処することを目的としている。 本稿では、メモリ拡張オートエンコーダを支えるアーキテクチャの複雑さを分析し、これらのモデルをフェデレートしたシナリオで効果的に集約するための、新しいガイド付きアプローチを提案する。 非IIDデータセットに対する我々のアプローチを実証し、これらの新しいアグリゲーションスキームは、アンバランスなデータセットを持つ環境における多数のエッジノード、特に教師なしの異常検出シナリオを扱う際に、より堅牢であることを示す。 このアプローチは、非常に浅いオートエンコーダの性能を改善し、リソース制約のある環境で使用できるようにする。

関連論文リスト

• Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
  本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。 本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
  論文  参考訳（メタデータ） (2025-10-02T06:25:10Z)
• Learning Counterfactually Decoupled Attention for Open-World Model Attribution [75.52873383916672]
  本稿では,オープンワールドモデル帰属のためのCDAL法を提案する。 我々の手法は、特に目に見えない新規攻撃に対して、最先端のモデルを大きなマージンで継続的に改善する。
  論文  参考訳（メタデータ） (2025-06-29T03:25:45Z)
• Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free [81.65559031466452]
  我々は、ゲーティング強化ソフトマックスアテンションの変種を調べる実験を行った。 SDPA(Scaled Dot-Product Attention)後の頭部特異的シグモイドゲートを簡易に修正することで,性能が向上することがわかった。
  論文  参考訳（メタデータ） (2025-05-10T17:15:49Z)
• Anchor Attention, Small Cache: Code Generation with Large Language Models [15.94784908771546]
  NLPの現在のプラクティスは、コード生成タスクにおいて、不正確な、あるいは幻覚を引き起こす可能性のある、スパースアテンションを使用することが多い。 本稿では,コンテキスト情報を抽出・圧縮するトークン・アンカー・アテンションを特徴とする新しいアプローチであるAnchorCoderを提案する。 モデルの性能の大部分を保ちながら、KVキャッシュの要求を大幅に削減できる(少なくとも70%)。
  論文  参考訳（メタデータ） (2024-11-11T02:47:05Z)
• Adaptive Masking Enhances Visual Grounding [12.793586888511978]
  ローショット学習シナリオにおける語彙接地を改善するために,ガウス放射変調を用いた画像解釈型マスキングを提案する。 我々はCOCOやODinWを含むベンチマークデータセットに対するアプローチの有効性を評価し、ゼロショットタスクや少数ショットタスクにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-04T05:48:02Z)
• Identifying and Mitigating Model Failures through Few-shot CLIP-aided Diffusion Generation [65.268245109828]
  本稿では,突発的相関に付随する障害モードのテキスト記述を生成するためのエンドツーエンドフレームワークを提案する。 これらの記述は拡散モデルのような生成モデルを用いて合成データを生成するのに使うことができる。 本実験では, ハードサブポピュレーションの精度(sim textbf21%$)が著しく向上した。
  論文  参考訳（メタデータ） (2023-12-09T04:43:49Z)
• EIGEN: Expert-Informed Joint Learning Aggregation for High-Fidelity Information Extraction from Document Images [27.36816896426097]
  レイアウトフォーマットの多様性が高いため,文書画像からの情報抽出は困難である。 本稿では,ルールベースの手法とデータプログラミングを用いたディープラーニングモデルを組み合わせた新しい手法であるEIGENを提案する。 我々のEIGENフレームワークは、ラベル付きデータインスタンスがほとんどない状態で、最先端のディープモデルの性能を大幅に向上させることができることを実証的に示しています。
  論文  参考訳（メタデータ） (2023-11-23T13:20:42Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Knowledge-integrated AutoEncoder Model [7.347989843033034]
  データをエンコードする最も強力な方法のひとつは、ニューラルネットワークのAutoEncoder(AE)アーキテクチャを使用することだ。 本稿では、外部知識源を学習プロセスに統合できるAEモデルを開発するための新しいアプローチを提案する。 提案モデルは3つの科学分野から得られた3つの大規模データセットを用いて評価する。
  論文  参考訳（メタデータ） (2023-03-12T18:00:12Z)
• Knowledge-Enriched Distributional Model Inversion Attacks [49.43828150561947]
  モデルインバージョン(MI)攻撃は、モデルパラメータからトレーニングデータを再構成することを目的としている。 本稿では,パブリックデータからプライベートモデルに対する攻撃を行うのに役立つ知識を抽出する,新しい反転型GANを提案する。 実験の結果,これらの手法を組み合わせることで,最先端MI攻撃の成功率を150%向上させることができることがわかった。
  論文  参考訳（メタデータ） (2020-10-08T16:20:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。