論文の概要: Prescriptive SVD-Inspired Attention via Spectral Energy Retention

• arxiv url: http://arxiv.org/abs/2609.24370v1
• Date: Mon, 21 Sep 2026 10:02:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.250965
• Title: Prescriptive SVD-Inspired Attention via Spectral Energy Retention
• Title（参考訳）: スペックルエネルギー保持によるSVD誘発注意
• Abstract要約: 自己注意は現代のトランスフォーマーアーキテクチャの中心であるが、その密集したドット積の定式化により、どの内部方向が構造的に重要であるかを特定することは困難である。 SVD-Inspired Attention (SVDA)は、クエリキーとスコアの相互作用に学習された対角スペクトルを導入することでこの問題の一部に対処する。
• 参考スコア（独自算出の注目度）: 1.915533973957082
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Self-attention is central to modern Transformer architectures, but its dense dot-product formulation makes it difficult to identify which internal directions are structurally important and which can be modified without disrupting the model. SVD-Inspired Attention (SVDA) addresses part of this problem by introducing a learned diagonal spectrum into the query-key score interaction, making latent attention directions explicitly inspectable through indicators such as spectral entropy, effective rank, sparsity, alignment, selectivity, and perturbation response. This paper examines the transition from diagnostic interpretation to operational intervention. A diagnosis--intervention--verification framework is proposed, and one intervention is evaluated: spectral energy retention in the attention-score pathway. Across FashionMNIST, CIFAR-10, CIFAR-100, and Food-101, the $ρ=0.90$ prescription removes 24.5--53.7\% of score directions, reduces parameters by 2.6--4.3\%, and reduces estimated MACs by 2.8--5.4\%. The paired mean accuracy change of the dimension-reduced model ranges from $-0.03$ to $+0.05$ percentage points over three seeds. These results support SVDA as an intrinsically interpretable attention mechanism whose learned spectrum exposes an operational coordinate system for deterministic and verifiable modification of attention-score formation.
• Abstract（参考訳）: 自己注意は現代のトランスフォーマーアーキテクチャの中心であるが、その密集したドット積の定式化は、どの内部方向が構造的に重要であるか、モデルを破壊することなく変更することができるかを特定するのが困難である。 SVD-Inspired Attention (SVDA)は、クエリキーとスコアの相互作用に学習された対角スペクトルを導入することでこの問題の一部に対処し、スペクトルエントロピー、有効ランク、空間性、アライメント、選択性、摂動応答などの指標を通して遅延注意方向を明示的に検査できるようにする。 本稿では,診断解釈から手術介入への移行について検討する。 診断・介入・検証の枠組みを提案し,その1つの介入として,注目スコア経路におけるスペクトルエネルギー保持について検討した。 FashionMNIST、CIFAR-10、CIFAR-100、およびFood-101で、$ρ=0.90$はスコア方向の24.5--53.7\%を除去し、パラメータを2.6--4.3\%に減らし、推定MACを2.8--5.4\%に減らした。 次元再現モデルの平均精度は、3つの種に対して$-0.03$から$+0.05$%まで変化した。 これらの結果は,学習スペクトルが注目スコア形成の確定的かつ検証可能な操作座標系を公開する,本質的に解釈可能な注意機構としてSVDAを支持する。

関連論文リスト

• Temporal Generalization in fNIRS-Based Autism Classification: A Cross-Time-Window Transfer Benchmark [0.0]
  機能近赤外分光法(FNIRS)は自閉症スペクトラム障害(ASD)分類において有望なモダリティである。 実際には、最適な観察窓は、血行遅延と神経血管の結合の違いにより、被験者によって異なる。 我々はこれをテキスト・クロス・タイム・ウインドウ・トランスファー問題として定式化し、生体動作試験におけるウィンドウ長(2.5～10,s)とオフセット(オフセット)の異なるプロトコルを導入する。
  論文  参考訳（メタデータ） (2026-08-03T18:50:55Z)
• Attention Degradation, Function Token Anchoring, and the Limits of Attention-Based Intervention in Large Language Models [0.0]
  GPT-2, LLaMA-3.2-1B/3B, OPT-1.3B, distilgpt2の6つの協調実験を行った。 まず,短期(5-100トークン)の注意低下を特徴付ける。 注意力の低下は規範的というよりはむしろ典型的であると結論付けている。
  論文  参考訳（メタデータ） (2026-07-09T07:04:07Z)
• CoSA: Correlation-Guided Change Attention with Learnable Residual Gating for Remote Sensing Change Detection [1.9364098361060789]
  我々は,軽量デコーダサイドリファインメントモジュールであるContext Smpling Attention (CoSA)を提案する。 CoSAは、適応的変化認識特徴強調のための制御信号として、バイテンポラル特徴相関を明示的に活用する。 4つのベンチマークデータセットの実験では、強いベースラインよりも一貫した改善が示されている。
  論文  参考訳（メタデータ） (2026-06-20T07:56:09Z)
• GCE-MIL: Faithful and Recoverable Evidence for Multiple Instance Learning in Whole-Slide Imaging [4.001315295826918]
  多重インスタンス学習(MIL)は,WSI分類と生存予測の標準手法である。 GCE-MILは3つのインジェクションモードと3つのエビデンスコンポーネントによって実装されたバックボーンに依存しないラッパーである。
  論文  参考訳（メタデータ） (2026-05-17T13:56:30Z)
• Beyond Localization: A Comprehensive Diagnosis of Perspective-Conditioned Spatial Reasoning in MLLMs from Omnidirectional Images [52.50752250573993]
  MLLM(Multimodal Large Language Models)は、視覚的知覚が強いが、視点の変化による空間の推論には限界がある。 本研究では、この課題を全方位360度画像におけるパースペクティブ・コンディションド・スペース・推論(PCSR)として検討する。 我々は2,600全方位画像から84,373組の質問応答対の診断ベンチマークであるPCSR-Benchを紹介する。
  論文  参考訳（メタデータ） (2026-05-12T17:11:17Z)
• Uncertainty-Aware Domain Adaptation for Vitiligo Segmentation in Clinical Photographs [4.19421520851419]
  治療反応の経時的モニタリングには, 日常的な臨床写真における精査範囲の正確な定量化が不可欠である。 我々は,ISIC 2019データセット上でのドメイン適応型事前学習とROIに基づく二重タスク損失を組み合わせ,背景雑音を抑制するデータ効率のトレーニング戦略を提案する。 本フレームワークは破滅的障害をゼロに高い信頼性を示し,診断可能なエントロピーマップを提供し,臨床検査のための曖昧な領域を同定する。
  論文  参考訳（メタデータ） (2025-12-12T18:56:21Z)
• ERIS: An Energy-Guided Feature Disentanglement Framework for Out-of-Distribution Time Series Classification [51.07970070817353]
  理想的な時系列分類(TSC)は不変表現をキャプチャできるべきである。 現在の手法は、真に普遍的な特徴を分離するために必要な意味的な方向性を欠いている。 本稿では,シフト・ロバストネス・フレームワークのためのエンドツーエンドのエネルギー規則化情報を提案する。
  論文  参考訳（メタデータ） (2025-08-19T12:13:41Z)
• ASDA: Audio Spectrogram Differential Attention Mechanism for Self-Supervised Representation Learning [57.67273340380651]
  実験の結果,ASDAモデルは複数のベンチマークでSOTA(State-of-the-art)性能を達成できた。 これらの結果は、ASDAの音声タスクにおける有効性を強調し、より広範なアプリケーションへの道を開いた。
  論文  参考訳（メタデータ） (2025-07-03T14:29:43Z)
• Fuzzy Attention Neural Network to Tackle Discontinuity in Airway Segmentation [67.19443246236048]
  気道セグメンテーションは肺疾患の検査、診断、予後に重要である。 いくつかの小型の気道支線(気管支や終端など)は自動セグメンテーションの難しさを著しく増す。 本稿では,新しいファジィアテンションニューラルネットワークと包括的損失関数を備える,気道セグメンテーションの効率的な手法を提案する。
  論文  参考訳（メタデータ） (2022-09-05T16:38:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。