Fugu-MT 論文翻訳(概要): Hybrid Gated Attention

論文の概要: Hybrid Gated Attention

arxiv url: http://arxiv.org/abs/2608.11805v1
Date: Wed, 12 Aug 2026 08:46:50 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-13 19:07:54.52455
Title: Hybrid Gated Attention
Title（参考訳）: ハイブリッドゲートの注意
Abstract要約: 注意喚起は、注意シンクを緩和し、注意の表現能力を高める効果的なアプローチである。本稿では3種類のゲーティング戦略を含むHybrid Gated Attention(HyGA)フレームワークを提案する。
参考スコア（独自算出の注目度）: 24.777963925429734
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Gated attention is an effective approach to mitigate attention sinks and enhance the representational capacity of attention. To further extend its effectiveness-efficiency Pareto frontier, we propose a Hybrid Gated Attention (HyGA) framework that contains three types of gating strategies. Specifically, these gates leverage diverse information from multiple stages of attention, and collaboratively build element-wise/head-wise gating from multiple perspectives, capturing intra-head and cross-head information interactions. Through our hybrid gating components, HyGA could provide multi-source modulation signals, enabling more comprehensive control over information flow and improving the representational capacity of attention. We also introduce low-rank matrix decomposition and learnable attention sink to further enhance training efficiency and stability. In experiments, we evaluate HyGA on widely-used benchmarks based on different backbones. The experimental results show that our HyGA comprehensively improves both training loss and various downstream performances compared with Gated attention. HyGA has also been verified to achieve the best performance at different computation costs, with comprehensive model analyses for better understanding. The proposed HyGA sheds light on a more effective, efficient, and stable attention mechanism.
Abstract（参考訳）: 注意喚起は、注意シンクを緩和し、注意の表現能力を高める効果的なアプローチである。 3種類のゲーティング戦略を含むHybrid Gated Attention(Hybrid Gated Attention, HyGA)フレームワークを提案する。具体的には、これらのゲートは、複数の注意の段階から多様な情報を活用し、複数の視点から要素的/頭的ゲーティングを協調的に構築し、頭内および頭間情報インタラクションをキャプチャする。ハイブリッドゲーティングコンポーネントを通じて、HyGAはマルチソース変調信号を提供し、情報フローをより包括的に制御し、注意力の表現能力を向上させることができる。また,低ランク行列分解と学習可能なアテンションシンクを導入し,トレーニング効率と安定性の向上を図る。実験では、異なるバックボーンに基づいて、広く使われているベンチマークでHyGAを評価する。実験の結果,HyGAはGatedよりもトレーニング損失とダウンストリーム性能の両方を総合的に改善することがわかった。 HyGAはまた、より深い理解のために包括的なモデル解析を用いて、異なる計算コストで最高のパフォーマンスを達成するために検証されている。提案されたHyGAは、より効率的で効率的で安定した注意機構に光を当てる。

関連論文リスト

VEN-VL: A Visual Ensemble MoE Framework for Effective and Efficient Multi-Modal Understanding [50.904820090651974]
VEN-VLは、効果的かつ効率的な知覚のための視覚アンサンブルMoEフレームワークである。まず、異なる視点の視覚的表現を統一することで、情報容量を増強する。そして、情報密度を高めるために、特殊視覚の専門家による適応ルータで段階的に圧縮する。
論文参考訳（メタデータ） (2026-05-25T15:28:48Z)
Understanding and Enhancing Mamba-Transformer Hybrids for Memory Recall and Language Modeling [59.84975924845338]
我々は、メモリ利用と全体的な性能のレンズを通してハイブリッドアーキテクチャを解析する。逐次ハイブリッドはより短いコンテキストでより良く機能する一方、並列ハイブリッドはより長いコンテキストでより効果的である。パラフレーズを付加したデータセットを継続的にトレーニングするデータ中心のアプローチを導入し、他の機能を保ちながらリコールをさらに強化する。
論文参考訳（メタデータ） (2025-10-30T18:19:52Z)
Hybrid-Collaborative Augmentation and Contrastive Sample Adaptive-Differential Awareness for Robust Attributed Graph Clustering [29.83560851166928]
HCA(Hybrid-Collaborative Augmentation)とCSADA(Contrative Adaptive-differential Recognition)を組み合わせた新しいロバスト属性グラフクラスタリング(RAGC)を提案する。 6つのベンチマークデータセットに対する総合的なグラフクラスタリング評価は、いくつかの最先端CAGC手法に対して提案されたRAGCの有効性を示す。
論文参考訳（メタデータ） (2025-10-03T05:30:55Z)
Focusing by Contrastive Attention: Enhancing VLMs' Visual Reasoning [79.34909830834464]
VLM(Vision-Language Models)は様々な視覚的タスクで顕著な成功を収めているが、複雑な視覚環境では性能が低下している。視覚的複雑性は、注意エントロピーと強く相関し、推論性能に悪影響を及ぼすことを示す。本稿では,CARVE(Contrastive Attention Refinement for Visual Enhancement)を提案する。
論文参考訳（メタデータ） (2025-09-08T09:20:04Z)
HAAT: Hybrid Attention Aggregation Transformer for Image Super-Resolution [6.583111551092333]
本稿では,Hybrid Attention Aggregation Transformer(HAAT)について紹介する。 Swin-Dense-Residual-Connected Blocks (SDRCB)とHybrid Grid Attention Blocks (HGAB)を統合して構築する。 HGABは、チャネルアテンション、スパースアテンション、ウィンドウアテンションを取り入れ、非局所的特徴融合を改善し、より視覚的に魅力的な結果を得る。
論文参考訳（メタデータ） (2024-11-27T02:47:17Z)
LAMP: Learnable Meta-Path Guided Adversarial Contrastive Learning for Heterogeneous Graphs [22.322402072526927]
Heterogeneous Graph Contrastive Learning (HGCL)は通常、事前に定義されたメタパスを必要とする。 textsfLAMPは様々なメタパスのサブグラフを統一的で安定した構造に統合する。 textsfLAMPは、精度と堅牢性の観点から、既存の最先端の教師なしモデルよりも大幅に優れています。
論文参考訳（メタデータ） (2024-09-10T08:27:39Z)
Enhancing Intrusion Detection in IoT Environments: An Advanced Ensemble Approach Using Kolmogorov-Arnold Networks [3.1309870454820277]
本稿では,KAN(Kolmogorov-Arnold Networks)とXGBoostアルゴリズムを組み合わせたハイブリッド侵入検知システムを提案する。提案したIDSは,学習可能なアクティベーション関数を用いてデータ内の複雑な関係をモデル化し,XGBoostの強力なアンサンブル学習手法と併用する。実験により,我々のハイブリッドIDSは,良性行動と悪意行動の区別において,99%以上の精度で検出できることがわかった。
論文参考訳（メタデータ） (2024-08-28T15:58:49Z)
HGAttack: Transferable Heterogeneous Graph Adversarial Attack [63.35560741500611]
ヘテロジニアスグラフニューラルネットワーク(HGNN)は、Webやeコマースなどの分野でのパフォーマンスでますます認識されている。本稿ではヘテロジニアスグラフに対する最初の専用グレーボックス回避手法であるHGAttackを紹介する。
論文参考訳（メタデータ） (2024-01-18T12:47:13Z)
Hybrid Distillation: Connecting Masked Autoencoders with Contrastive Learners [102.20090188997301]
コントラスト学習(CL)とマスクド画像モデリング(MIM)の強みを組み合わせたモデルを得る方法について検討する。識別と多様性の両立を図るため, 単純かつ効果的なハイブリッド蒸留戦略を提案する。実験の結果、Hybrid Distillは異なるベンチマークで優れた性能が得られることが証明された。
論文参考訳（メタデータ） (2023-06-28T02:19:35Z)
GraphLearner: Graph Node Clustering with Fully Learnable Augmentation [76.63963385662426]
Contrastive Deep Graph Clustering (CDGC)は、異なるクラスタにノードをグループ化するために、コントラスト学習のパワーを活用する。我々は、GraphLearnerと呼ばれる、完全学習可能な拡張を備えたグラフノードクラスタリングを提案する。学習可能な拡張器を導入し、CDGCのための高品質でタスク固有の拡張サンプルを生成する。
論文参考訳（メタデータ） (2022-12-07T10:19:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。