論文の概要: Path-Conditioned Attention Mobility: From Depth to Execution Hubs in SegFormer

• arxiv url: http://arxiv.org/abs/2610.23893v1
• Date: Mon, 28 Sep 2026 12:19:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:50:56.20299
• Title: Path-Conditioned Attention Mobility: From Depth to Execution Hubs in SegFormer
• Title（参考訳）: 経路依存型注意移動:SegFormerの奥行きから実行ハブへ
• Abstract要約: 階層型視覚変換器において有用な注意関数が深度にわたって局所的に移動しているかどうかを考察する。 人間のセグメンテーションにSegFormer-B5を用いることで、タスク関連アテンションヘッドのいくつかを近くの奥行きに移すことができるが、その計算コンテキストが尊重されている場合に限られる。 我々はこの経路条件のモビリティを用いて、保持された注意を深さから幅に再編成する。
• 参考スコア（独自算出の注目度）: 51.56484100374058
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer compression often couples two distinct quantities: retained attention capacity and the number of sequential depths at which that capacity is executed. We study whether useful attention functions in a hierarchical vision transformer are locally mobile across depth. Using SegFormer-B5 for human segmentation, we find that some task-relevant attention heads can be relocated to nearby depths, but only when their computational context is respected. Head-only relocation is insufficient, while joint adaptation of the relocated head and surrounding representation boundary improves functional preservation; replacing donor-specific normalization and spatial-reduction preprocessing causes large degradation. We use this path-conditioned mobility to reorganize retained attention from depth into width. Starting from a fixed parent with 120 retained Stage-3 heads across 40 attention execution depths, we consolidate the same 120-head budget into 20 execution hubs. Under a layout-matched three-seed recovery control, K20 reaches 0.960686 +/- 0.000059 mIoU versus 0.960400 +/- 0.000074 for the corresponding State120 control. The paired point difference is +0.000285, while a paired image-bootstrap confidence interval includes zero; we therefore interpret the result as no measurable quality penalty rather than statistical superiority. For deployment, FOLDED_VEC preserves donor-specific paths while vectorizing their execution. Relative to the same 120-head State120 parent, it reduces end-to-end NVIDIA L4 latency by 5.28%, 3.15%, and 3.58% at batch sizes 1, 4, and 8. These results suggest that attention redundancy includes not only removable capacity but also execution-depth redundancy, provided that the computational path defining a relocated function is preserved.
• Abstract（参考訳）: トランスフォーマー圧縮はしばしば、注意力の保持と、その容量が実行されるシーケンシャルな深さの数を2つに分けている。 階層型視覚変換器において有用な注意関数が深度にわたって局所的に移動しているかどうかを考察する。 人間のセグメンテーションにSegFormer-B5を用いることで、タスク関連アテンションヘッドのいくつかを近くの奥行きに移すことができるが、その計算コンテキストが尊重されている場合に限られる。 頭部のみの移動は不十分であり、移動した頭部と周囲の表現境界の同時適応は機能的保存を改善し、ドナー特異的な正規化と空間縮小前処理を置き換えることで大きな劣化を引き起こす。 我々はこの経路条件のモビリティを用いて、保持された注意を深さから幅に再編成する。 120個のステージ3ヘッドを持つ固定親から40個のアテンション実行深度にわたって開始し,120個のヘッドの予算を20個の実行ハブに集約した。 レイアウトにマッチした3列リカバリ制御では、K20 は 0.960686 +/- 0.000059 mIoU に到達し、対応する State120 コントロールでは 0.960400 +/- 0.000074 に到達した。 対の点差は+0.000285であり、対の像とブートストラップの信頼区間は0であり、統計的優越性よりも測定可能な品質のペナルティではないと解釈する。 デプロイのために、FOLDED_VECはドナー固有のパスを保持し、実行をベクター化する。 同じ120ヘッドのState120親と比較して、バッチサイズ1、4、8では、エンドツーエンドのNVIDIA L4レイテンシを5.28%、3.15%、3.58%削減する。 これらの結果は、移動関数を定義する計算経路が保存されている場合、注意冗長性は取り外し可能な能力だけでなく、実行深度冗長性も含んでいることを示唆している。

関連論文リスト

• The Drift Contract: Spectral Updates for Depth-Robust Local Learning [0.0]
  地域学習は各層を独自の補助的損失で訓練し、グローバルな後方通過は行わない。 深度が大きくなるにつれて精度が低下し、過活性化は脆弱である。 層ごとの局所的な更新にMuon方式のスペクトル更新幾何を適用した。
  論文  参考訳（メタデータ） (2026-09-16T12:43:12Z)
• Steering Under Compression: Dose-Response, Capability Cost, and Failure Asymmetry in Quantized LLMs [0.0]
  推論時ステアリングは、パラメータ修正なしで大きな言語モデルの振る舞い制御を可能にする。 トレーニング後の量子化により、デプロイメントのメモリと計算コストが削減される。 重量のみの量子化下での活性化ステアリングを系統的に研究する。
  論文  参考訳（メタデータ） (2026-09-06T08:41:42Z)
• Stage-Replay Divergence Follows the KV Cache: Fixed-Prefix Precision Controls and Bidirectional Cache Transplantation [51.56484100374058]
  Stage-replayは中間トークンプレフィックスを再構築し、プレフィックスに最初に到達したデコーダ状態からの継続として、新しいプリフィル継続を処理する。 一致した200itemの実験では、保持されたライブキャッシュと同一の整数トークンのワンショットプリフィルを比較し、両側に正確なレプリカを配置する。
  論文  参考訳（メタデータ） (2026-07-30T16:41:40Z)
• A Controlled Study of Attention-Only Transformers [0.0]
  我々は、パラメータカウント、FLOPのトレーニング、深さを個別にマッチする標準変換器に対して、注意のみのデコーダ変換器を訓練する。 解放された予算を注意深さに再配置することはギャップを埋めます。 注意のみのモデルは、文脈に基づく回答よりも、知識が重みから来る必要がある場合の方が優れていることを示す。
  論文  参考訳（メタデータ） (2026-07-20T15:29:00Z)
• Cross-Layer Error Compensation and Finite-Sample Feature-Statistics Matching for Extreme Low-Bit Quantization of Large Language Models [0.0]
  すべてのレイヤの離散コードとスケールに対する共同最適化として量子化を定式化する。 FP16教師に対して,誤差補償のみのパープレキシティ比が9.56+/-0.15に達することを示す。 Qwen2.5-1.5B で 1.125 ビットのグループバイナリの重みを持つ場合、誤差補償だけで FP16 の教師に対して 9.56 +/- 0.15 のパープレキシティ比に達する。
  論文  参考訳（メタデータ） (2026-07-16T06:47:52Z)
• Scaling Parallel Sequence Models to Foundation-Scale Vision Encoders [123.58723804218151]
  ビジョンファウンデーションモデルは、自己注意の二次的なコストによってボトルネックとなる。 2次元空間伝搬伝搬に基づくC-GSPNを提案する。
  論文  参考訳（メタデータ） (2026-05-30T14:29:43Z)
• Architectural Observability Collapse in Transformers [0.0]
  トレーニングは、出力信頼が露呈しない内部的な意思決定品質のシグナルを保持します。 信頼制御は、平均60.3%の生プローブ信号を6つのファミリーの14モデルで吸収する。 Llama 3.1 8Bは、同じ32層、32頭、4096面の形状で崩壊する。
  論文  参考訳（メタデータ） (2026-04-27T02:39:02Z)
• Latent-Condensed Transformer for Efficient Long Context Modeling [60.72493959155964]
  大規模言語モデルに対するLCA(Latent-Condensed Attention)を提案する。 LCAはMLAの潜伏空間内のコンテキストを凝縮し、表現はセマンティック潜伏ベクトルと位置キーに切り離される。 LCAは、最大2.5$times$プリフィルスピードアップと128Kコンテキストでの90%のKVキャッシュ削減を実現している。
  論文  参考訳（メタデータ） (2026-04-14T08:40:31Z)
• TPLA: Tensor Parallel Latent Attention for Efficient Disaggregated Prefill and Decode Inference [48.40143137402824]
  MLA(Multi-Head Latent Attention)は、キー値の状態を低ランクの潜在ベクトルに圧縮し、このベクトルだけをキャッシュしてメモリを減少させる。 しかし、テンソル並列性(TP)では、アテンションヘッドは複数のデバイスにまたがって計算され、各デバイスはフルキャッシュをロードしなければならない。 本稿では,潜在表現と各頭部の入力次元をデバイス間で分割し,シャード毎に独立して注目を行い,結果を全再現と組み合わせる方式であるTPLAを提案する。
  論文  参考訳（メタデータ） (2025-08-21T15:25:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。