論文の概要: Spectral Attention Steering for Prompt Highlighting

• arxiv url: http://arxiv.org/abs/2603.01281v1
• Date: Sun, 01 Mar 2026 21:35:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-03 19:50:56.603258
• Title: Spectral Attention Steering for Prompt Highlighting
• Title（参考訳）: プロンプトハイライティングのための分光アテンションステアリング
• Authors: Weixian Waylon Li, Yuchen Niu, Yongxin Yang, Keshuang Li, Tiejun Ma, Shay B. Cohen,
• Abstract要約: 既存のアテンションステアリング法では、フルアテンションマトリックスの明示的な保存が必要である。 本稿では,この課題に対処するトレーニングフリーステアリング手法であるSEKA(Spectral Editing Key Amplification)を紹介する。 我々はこれを、プロンプトのセマンティックな意図に基づいて専門家のサブスペースを動的に結合するために、トレーニング不要なルーティング機構を使用するクエリ適応型であるAdaptive SEKA(AdaSEKA)に拡張する。
• 参考スコア（独自算出の注目度）: 37.585557690347905
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attention steering is an important technique for controlling model focus, enabling capabilities such as prompt highlighting, where the model prioritises user-specified text. However, existing attention steering methods require explicit storage of the full attention matrix, making them incompatible with memory-efficient implementations like FlashAttention. We introduce Spectral Editing Key Amplification (SEKA), a training-free steering method that tackles this by directly editing key embeddings before attention computation. SEKA uses spectral decomposition to steer key embeddings towards latent directions that amplify attention scores for certain tokens. We extend this to Adaptive SEKA (AdaSEKA), a query-adaptive variant that uses a training-free routing mechanism to dynamically combine multiple expert subspaces based on the prompt's semantic intent. Our experiments show both methods significantly outperform strong baselines on standard steering benchmarks while adding much lower latency and memory overhead, in compatibility with optimised attention.
• Abstract（参考訳）: アテンションステアリングはモデルフォーカスを制御する重要な技術であり、モデルがユーザ指定のテキストを優先するプロンプトハイライトなどの機能を実現する。 しかし、既存のアテンションステアリング方法は、フルアテンションマトリックスの明示的なストレージを必要とするため、FlashAttentionのようなメモリ効率のよい実装と互換性がない。 本稿では、注意計算の前に鍵埋め込みを直接編集することで、トレーニング不要のステアリング手法である、スペクトル編集キー増幅(SEKA)を導入する。 SEKAはスペクトル分解を利用して、特定のトークンに対する注意スコアを増幅する潜在方向へのキー埋め込みを操る。 我々はこれを、トレーニング不要なルーティング機構を使用して、プロンプトの意味的意図に基づいて複数の専門家サブスペースを動的に結合するクエリ適応型変種であるAdaptive SEKA(AdaSEKA)に拡張する。 実験の結果,両手法が標準ステアリングベンチマークのベースラインを著しく上回り,より低レイテンシとメモリオーバーヘッドが向上し,最適化された注意力と互換性があることがわかった。

関連論文リスト

• AMPS: Adaptive Modality Preference Steering via Functional Entropy [66.69992693275061]
  本稿では,各モータリティの情報提供量を定量化し,ステアリングに対するサンプル固有の感受性を明らかにするインスタンス認識診断指標を提案する。 実験結果から, インスタンス認識のステアリングは, 従来のステアリングよりもモダリティの嗜好の調整に優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-02-13T02:29:06Z)
• Rethinking Multi-Condition DiTs: Eliminating Redundant Attention via Position-Alignment and Keyword-Scoping [61.459927600301654]
  マルチコンディション制御は従来のコンカデント・アンド・アットエンドの戦略によってボトルネックとなる。 分析の結果,これらの相互作用の多くは空間的にも意味的にも冗長であることがわかった。 本稿では,これらの冗長性を解消するための高効率なフレームワークであるPKAを提案する。
  論文  参考訳（メタデータ） (2026-02-06T16:39:10Z)
• Training-free Context-adaptive Attention for Efficient Long Context Modeling [57.703159205740185]
  トレーニングフリーコンテキスト適応注意(TCA-Attention)は、学習不要なスパースアテンション機構であり、効率的な長文推論のための情報トークンのみに選択的に参画する。 TCA-Attentionは2.8$times$のスピードアップを実現し、128Kのコンテキスト長でKVキャッシュを61%削減し、フルアテンションに匹敵するパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2025-12-10T01:54:57Z)
• End-to-End Visual Autonomous Parking via Control-Aided Attention [30.52881549605385]
  CAA-Policyは、正確な駐車のためのエンドツーエンドの模倣学習システムである。 制御信号は、新しい制御支援注意機構を通じて視覚的注意の学習を導くことができる。
  論文  参考訳（メタデータ） (2025-09-14T04:51:19Z)
• ERIS: An Energy-Guided Feature Disentanglement Framework for Out-of-Distribution Time Series Classification [51.07970070817353]
  理想的な時系列分類(TSC)は不変表現をキャプチャできるべきである。 現在の手法は、真に普遍的な特徴を分離するために必要な意味的な方向性を欠いている。 本稿では,シフト・ロバストネス・フレームワークのためのエンドツーエンドのエネルギー規則化情報を提案する。
  論文  参考訳（メタデータ） (2025-08-19T12:13:41Z)
• FaceSleuth-R: Adaptive Orientation-Aware Attention for Robust Micro-Expression Recognition [25.77351512351652]
  textbfFaceSleuth-Rは、新しい textbfSingle-Orientation Attention (SOA) モジュールを中心にしたフレームワークです。 SOAは軽量で差別化可能な演算子で、ネットワークが層固有の最適方向を学習できるようにする。 私たちは、SOAが様々なデータセットにまたがる、普遍的なニアバーティカルな動きを常に発見していることを示します。
  論文  参考訳（メタデータ） (2025-06-03T09:44:18Z)
• ZeroTuning: Unlocking the Initial Token's Power to Enhance Large Language Models Without Training [15.783265191574392]
  我々はZeroTuningを紹介した。ZeroTuningは、初期トークンに頭部特異的な注意調整を適用することで、LCMの性能を向上させる訓練自由な方法である。 このトークンの注意ログに軽量バイアスを加えることで、下流の注意分布のエントロピーを単調に制御できることが理論的に示されている。 検証例を校正する教師ありモードと、モデルの出力エントロピーを直接最小化する教師なしモードの2つのバリエーションを示す。
  論文  参考訳（メタデータ） (2025-05-16T22:52:24Z)
• Semi-supervised Semantic Segmentation with Multi-Constraint Consistency Learning [81.02648336552421]
  本稿では,エンコーダとデコーダの段階的拡張を容易にするためのマルチ制約一貫性学習手法を提案する。 自己適応型特徴マスキングとノイズ注入は、デコーダの堅牢な学習のための特徴を摂動させるために、インスタンス固有の方法で設計されている。 Pascal VOC2012およびCityscapesデータセットの実験結果から,提案したMCCLが新たな最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2025-03-23T03:21:33Z)
• Tactic: Adaptive Sparse Attention with Clustering and Distribution Fitting for Long-Context LLMs [10.52833484759311]
  本稿では,空間適応型かつキャリブレーションフリーなスパースアテンション機構であるTacticを提案する。 固定されたトークン予算ではなく、累積的な注意スコアに基づいてトークンを動的に選択する。 我々は、Tacticが既存のスパースアテンションアルゴリズムより優れており、精度が良く、7.29倍のデコードアテンションスピードアップを実現していることを示す。
  論文  参考訳（メタデータ） (2025-02-17T08:39:43Z)
• AttentionPredictor: Temporal Patterns Matter for KV Cache Compression [64.75459635661562]
  我々は,KVキャッシュ圧縮とクリティカルトークン識別のための注意パターンを直接予測する,学習に基づく最初の手法であるAttentionPredictorを提案する。 AttentionPredictorは、注意スコアを正確に予測し、無視可能なメモリを消費する統一予測モデルを共有する。 注意情報の大半を保持することで、AttentionPredictorは、キャッシュオフロードシナリオで13$times$KVキャッシュ圧縮と5.6$times$スピードアップを達成する。
  論文  参考訳（メタデータ） (2025-02-06T13:41:46Z)
• DELTA: Dynamic Embedding Learning with Truncated Conscious Attention for CTR Prediction [61.68415731896613]
  CTR(Click-Through Rate)予測は、製品とコンテンツの推奨において重要なタスクである。 本稿では,CTR予測のための動的埋め込み学習を実現するモデルを提案する。
  論文  参考訳（メタデータ） (2023-05-03T12:34:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。