論文の概要: Learning When Not to Attend Globally

• arxiv url: http://arxiv.org/abs/2512.22562v1
• Date: Sat, 27 Dec 2025 11:21:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:30.113863
• Title: Learning When Not to Attend Globally
• Title（参考訳）: グローバルに到達しないときの学習
• Authors: Xuan Luo, Kailai Zhang, Xifeng Yan,
• Abstract要約: トークン毎に全注目と局所的スライディングウィンドウアテンションを切り替えるオール・オア・ヘア・アテンション(AHA)を提案する。 AHAは、完全な注意は大部分が冗長であり、効率的な推論はグローバルコンテキストへのオンデマンドアクセスのみを必要とすることを明らかにしている。
• 参考スコア（独自算出の注目度）: 19.27151455313709
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: When reading books, humans focus primarily on the current page, flipping back to recap prior context only when necessary. Similarly, we demonstrate that Large Language Models (LLMs) can learn to dynamically determine when to attend to global context. We propose All-or-Here Attention (AHA), which utilizes a binary router per attention head to dynamically toggle between full attention and local sliding window attention for each token. Our results indicate that with a window size of 256 tokens, up to 93\% of the original full attention operations can be replaced by sliding window attention without performance loss. Furthermore, by evaluating AHA across various window sizes, we identify a long-tail distribution in context dependency, where the necessity for full attention decays rapidly as the local window expands. By decoupling local processing from global access, AHA reveals that full attention is largely redundant, and that efficient inference requires only on-demand access to the global context.
• Abstract（参考訳）: 本を読むとき、人間は主に現在のページに集中し、必要なときにだけ、以前のコンテキストを再カプセルするために反転します。 同様に、Large Language Models (LLM) がグローバルな文脈にいつ参加すべきかを動的に決定できることを実証する。 本稿では,アテンションヘッド当たりのバイナリルータを用いて,トークンごとのフルアテンションとローカルスライディングウィンドウアテンションを動的に切り替えるAll-or-Here Attention (AHA)を提案する。 その結果,256個のトークンのウィンドウサイズでは,本来の全注目操作の最大93%は,性能損失を伴わずにスライディングウィンドウアテンションに置き換えることができることがわかった。 さらに,AHAを様々なウィンドウサイズで評価することにより,コンテキスト依存性の長期分布を同定し,局所的なウィンドウが拡大するにつれて,全注目の必要性が急速に低下する。 ローカル処理をグローバルアクセスから切り離すことで、AHAは完全な注意がほとんど冗長であり、効率的な推論はグローバルコンテキストへのオンデマンドアクセスのみを必要とすることを明らかにした。

関連論文リスト

• Attention Illuminates LLM Reasoning: The Preplan-and-Anchor Rhythm Enables Fine-Grained Policy Optimization [56.083511902353365]
  強化学習(Reinforcement Learning, RL)は、一般的に、大規模言語モデルの全世代にわたって一様クレジットを適用する。 この研究は、LSMの内部論理を推論自体の機械的青写真として描画する特権基板として注意を向けている。 クリティカルノードに対するターゲットクレジット割り当てを動的に行う3つの新しいRL戦略を導入する。
  論文  参考訳（メタデータ） (2025-10-15T13:49:51Z)
• LTCA: Long-range Temporal Context Attention for Referring Video Object Segmentation [14.277537679679101]
  本研究では,グローバルな文脈情報をオブジェクトの特徴に集約する,効果的な長期時間的コンテキストアテンション(LTCA)機構を提案する。 提案手法は,4つの参照ビデオセグメンテーションベンチマークにおいて,新しい最先端技術を実現することを示す。
  論文  参考訳（メタデータ） (2025-10-09T14:55:52Z)
• Core Context Aware Transformers for Long Context Language Modeling [50.774702091154204]
  高速な長文モデリングのためのCCAアテンションを提案する。 本手法は,学習過程における冗長性を低下させながら,コアコンテキストに自動的に焦点を合わせ,強化する。 提案手法は,既存の大規模言語モデルにおける自己注意モジュールを最小限の微調整コストで置き換えることができる。
  論文  参考訳（メタデータ） (2024-12-17T01:54:08Z)
• Open Long-Tailed Recognition in a Dynamic World [82.91025831618545]
  実世界のデータは、しばしば長い尾を持ち、(目に見えないクラスを持つ)オープンな分布を示す。 現実的な認識システムは、多数派(頭)クラスと少数派(尾)クラスの間でバランスを取り、分布を一般化し、見知らぬクラス(オープンクラス)のインスタンスで新規性を認める必要がある。 我々は,Open Long-Tailed Recognition++を,このような自然分布データからの学習として定義し,バランスの取れたテストセット上での分類精度を最適化する。
  論文  参考訳（メタデータ） (2022-08-17T15:22:20Z)
• Rethinking Query-Key Pairwise Interactions in Vision Transformers [5.141895475956681]
  本稿では,問合せキーの対の相互作用を排除し,注意重みを求めるために計算効率の高い相性ゲートを用いるキーオンリーの注意を提案する。 我々は、ImageNet分類ベンチマークのパラメータ限定設定において、最先端の精度に達する新しい自己注意モデルファミリーLinGlosを開発した。
  論文  参考訳（メタデータ） (2022-07-01T03:36:49Z)
• L2G: A Simple Local-to-Global Knowledge Transfer Framework for Weakly Supervised Semantic Segmentation [67.26984058377435]
  高品質なオブジェクトアテンションマイニングのための簡易なローカル・グローバルな知識伝達フレームワークであるL2Gについて述べる。 本フレームワークは,グローバルな視点から収集したリッチオブジェクトの詳細知識をグローバルネットワークで学習する。 実験の結果,PASCAL VOC 2012とMS COCO 2014の検証セットにおいて,72.1%,44.2%のmIoU値が得られた。
  論文  参考訳（メタデータ） (2022-04-07T04:31:32Z)
• All the attention you need: Global-local, spatial-channel attention for image retrieval [11.150896867058902]
  大規模インスタンスレベルの画像検索のための表現学習に対処する。 バックボーンネットワークの端に付加されるグローバルローカルアテンションモジュール(GLAM)について述べる。 我々は,特徴テンソルを新たに獲得し,空間プーリングにより画像検索のための強力な埋め込みを学習する。
  論文  参考訳（メタデータ） (2021-07-16T16:39:13Z)
• GAttANet: Global attention agreement for convolutional neural networks [0.0]
  自然言語処理用に開発されたものと類似したトランスフォーマーアテンションアーキテクチャは、視覚でも最近効率的であることが証明された。 本稿では,標準畳み込みネットワークの性能を向上できる簡易な注意システムによる実験について報告する。 脳にインスパイアされた様々な畳み込みバックボーンのためのグローバルアテンション契約ネットワークの有用性を実証します。
  論文  参考訳（メタデータ） (2021-04-12T15:45:10Z)
• Goal-Oriented Gaze Estimation for Zero-Shot Learning [62.52340838817908]
  識別的属性の局在性を改善するために, 目標指向視線推定モジュール(GEM)を提案する。 属性記述に導かれた新しい物体を認識する視覚注意領域を得るために,実際の人間の視線位置を予測することを目的とする。 この研究は、高レベルのコンピュータビジョンタスクに人間の視線データセットと自動視線推定アルゴリズムを集めることの有望な利点を示しています。
  論文  参考訳（メタデータ） (2021-03-05T02:14:57Z)
• See More, Know More: Unsupervised Video Object Segmentation with Co-Attention Siamese Networks [184.4379622593225]
  教師なしビデオオブジェクトセグメンテーションタスクに対処するため,CO-attention Siamese Network (COSNet) と呼ばれる新しいネットワークを導入する。 我々は,ビデオフレーム間の固有相関の重要性を強調し,グローバルなコアテンション機構を取り入れた。 本稿では、ビデオ内のリッチなコンテキストをマイニングするために、異なるコアテンションの変種を導出する、統一的でエンドツーエンドのトレーニング可能なフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-01-19T11:10:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。