論文の概要: Inhibited Self-Attention: Sharpening Focus in Vision Transformers

• arxiv url: http://arxiv.org/abs/2607.12881v1
• Date: Tue, 14 Jul 2026 15:29:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-15 17:08:30.192634
• Title: Inhibited Self-Attention: Sharpening Focus in Vision Transformers
• Title（参考訳）: 自己注意を阻害する:視覚変換器の強調焦点
• Abstract要約: Inhibited Self-Attention (ISA) を提案する。 我々は、ISAがオブジェクト中心の選択性を高め、ショートカット依存を減らし、配布外一般化を改善することを示す。 関連地図の解析により、ISA を持つ ViT はより鋭く、より局所的な対象領域に焦点が当てられていることが確認された。
• 参考スコア（独自算出の注目度）: 9.554569082679153
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision Transformers (ViTs) have demonstrated remarkable performance in computer vision tasks. However, their self-attention mechanism often diffuses focus across background regions, relying on spurious correlations rather than object-relevant cues. Inspired by inhibitory mechanisms observed in biological vision systems, we propose the Inhibited Self-Attention (ISA), a novel self-attention that integrates inhibitory signals to enhance feature selectivity and suppress spurious responses. In contrast to conventional self-attention, which relies solely on positive attention values due to softmax normalization, our approach retains and utilizes negative attention scores to suppress irrelevant features and sharpen focus on objects of interest. Experiments across multiple datasets, including ImageNet-1k and COCO, and several robustness benchmarks demonstrate that ISA enhances object-centric selectivity, reduces shortcut reliance, and improves out-of-distribution generalization. Our analysis of relevance maps confirms that ViTs with ISA exhibit sharper, more localized focus on object-relevant regions while reducing distractions from non-relevant (background) features, enabling more reliable models. We release our code at https://github.com/prdvanderwal/inhibited-self-attention
• Abstract（参考訳）: 視覚変換器(ViT)はコンピュータビジョンタスクにおいて顕著な性能を示した。 しかし、それらの自己注意機構は、しばしば背景領域に焦点を散らし、オブジェクト関係の手がかりよりも刺激的な相関に頼っている。 Inhibited Self-Attention(ISA)は,生体視覚系で観察される抑制機構に刺激され,機能選択性を高め,刺激応答を抑制するために阻害信号を統合する新しい自己注意法である。 ソフトマックスの正規化による正の注意値のみに依存する従来の自己注意とは対照的に,本手法では負の注意スコアを保ち,無関係な特徴を抑え,関心の対象に焦点を絞る。 ImageNet-1kやCOCOなど、複数のデータセットにわたる実験や、いくつかの堅牢性ベンチマークでは、ISAがオブジェクト中心の選択性を高め、ショートカット依存を低減し、アウト・オブ・ディストリビューションの一般化を改善することが示されている。 関係マップの解析により、ISA を用いた ViT は、オブジェクト関連領域に対してよりシャープでより局所的な焦点を呈し、非関連(背景)特徴からの逸脱を軽減し、より信頼性の高いモデルを可能にすることを確認した。 コードをhttps://github.com/prdvanderwal/inhibited-self-attentionでリリースします。

関連論文リスト

• Information-Regularized Attention for Visual-Centric Reasoning [30.245558374164492]
  視覚言語モデル(VLM)は多モーダル学習のパラダイムとなっているが、対象の幻覚、弱い視覚的接地、破滅的な忘れ物のために不安定なままである。 Information-Regularized Attention (IRA) は,中間変圧器層に隠された状態に注入される視覚情報量を明示的に規制するアテンション機構である。
  論文  参考訳（メタデータ） (2026-07-01T04:45:41Z)
• See Only When Needed: Context-Aware Attention Intervention for Mitigating Hallucinations in LVLMs [81.71384150441163]
  大規模視覚言語モデル(LVLM)のためのコンテキスト認識注意介入(CAI)を提案する。 CAIは必要なときのみ2軸選択によってシーズを強制する。 複数のLVLMバックボーンとベンチマークの実験は、CAIが最先端の幻覚緩和を達成することを示している。
  論文  参考訳（メタデータ） (2026-06-29T06:35:47Z)
• Cognitive Pivot Points and Visual Anchoring: Unveiling and Rectifying Hallucinations in Multimodal Reasoning Models [65.57985131861399]
  幻覚は、しばしば高いエントロピー状態を示す認知的分岐点と強く相関している。 本稿では,視覚的に認識可能な推論機能の内部化を目的とした,軽量で総合的なトレーニングパラダイムであるV-STARを提案する。
  論文  参考訳（メタデータ） (2026-04-11T13:59:05Z)
• ReViP: Reducing False Completion in Vision-Language-Action Models with Vision-Proprioception Rebalance [50.05984919728878]
  本稿では、視覚的接地と摂動下での堅牢性を高めるために、視覚-受容器リバランスを備えた新しいVLAフレームワークReViPを提案する。 具体的には、タスクステージオブザーバとして外部VLMを使用して、視覚的な観察からリアルタイムなタスク中心の視覚的手がかりを抽出する。 本稿では,オブジェクトドロップのような制御された設定を持つLIBERO上に構築された最初のFalse-Completion Benchmark Suiteを提案する。
  論文  参考訳（メタデータ） (2026-01-23T11:31:07Z)
• An Active Inference Model of Covert and Overt Visual Attention [0.0]
  本稿では,アクティブな推論の枠組みを通じて,隠蔽と過度な視覚的注意のモデルを提案する。 このモデルは、現在の環境信念と感覚入力の両方に基づいて視覚感覚の精度を決定する。
  論文  参考訳（メタデータ） (2025-05-06T09:26:00Z)
• Spiking Meets Attention: Efficient Remote Sensing Image Super-Resolution with Attention Spiking Neural Networks [86.28783985254431]
  従来の人工ニューラルネットワーク(ANN)の代替手段としてスパイキングニューラルネットワーク(SNN)が登場 本稿では,AID,DOTA,DIORなどのリモートセンシングベンチマークにおいて,最先端の性能を実現するSpikeSRを提案する。
  論文  参考訳（メタデータ） (2025-03-06T09:06:06Z)
• Linear Log-Normal Attention with Unbiased Concentration [3.034257650900382]
  本研究では,注意行列の分布と集中度を解析し,自己注意機構について検討した。 本稿では,これらの量を計測し,新たな自己注意機構である線形ログNormal Attentionを提案する。 ポピュラーな自然言語ベンチマークの実験結果から,提案した線形ログNormal Attentionは,他の線形化アテンションよりも優れていたことが判明した。
  論文  参考訳（メタデータ） (2023-11-22T17:30:41Z)
• Top-Down Visual Attention from Analysis by Synthesis [87.47527557366593]
  我々は、古典的分析・合成(AbS)の視覚的視点からトップダウンの注意を考察する。 本稿では,AbSを変動的に近似したトップダウン変調ViTモデルであるAbSViT(Analytic-by-Synthesis Vision Transformer)を提案する。
  論文  参考訳（メタデータ） (2023-03-23T05:17:05Z)
• Fairness-aware Vision Transformer via Debiased Self-Attention [12.406960223371959]
  脱バイアス自己注意(Debiased Self-Attention, DSA)は、視覚変換器(ViT)を強制し、バイアス軽減のための感度ラベルと相関する刺激的な特徴を排除するフェアネススルー盲検アプローチである。 本フレームワークは,目標予測性能を損なうことなく,複数の予測タスクに対する事前作業よりも公平性を保証する。
  論文  参考訳（メタデータ） (2023-01-31T17:44:59Z)
• AiATrack: Attention in Attention for Transformer Visual Tracking [89.94386868729332]
  トランスフォーマートラッカーは近年,注目機構が重要な役割を担っている,目覚ましい進歩を遂げている。 我々は,すべての相関ベクトル間のコンセンサスを求めることにより,適切な相関性を高め,誤相関を抑制する注意モジュール(AiA)を提案する。 我々のAiAモジュールは自己認識ブロックとクロスアテンションブロックの両方に容易に適用でき、視覚追跡のための特徴集約と情報伝達を容易にする。
  論文  参考訳（メタデータ） (2022-07-20T00:44:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。