論文の概要: Phase Marginalization for Patch-Grid Instability in Vision Transformers

• arxiv url: http://arxiv.org/abs/2606.08132v1
• Date: Sat, 06 Jun 2026 12:15:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:05.863192
• Title: Phase Marginalization for Patch-Grid Instability in Vision Transformers
• Title（参考訳）: 視覚変換器のパッチグリッド不安定性に対する位相行列化
• Authors: Oğuzhan Ercan,
• Abstract要約: ビジョントランスフォーマーは固定パッチグリッドで動作し、高密度予測のために位相依存の不安定性を導入することができる。 我々は,パッチグリッド位相をニュアンス変数として定式化し,位相Marginalizationを提案する。 位相Marginalizationは、構成されたパッチグリッド位相、逆アライズされた高密度出力を評価し、それらを元の画像座標系に集約する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision Transformers operate on fixed patch grids, which can introduce phase-dependent instability for dense prediction: changing the patch partition can change the token evidence available to a pixel, especially near boundaries. We formalize patch-grid phase as a nuisance variable and propose Phase Marginalization, a post-hoc marginalization method that evaluates structured patch-grid phases, inverse-aligns dense outputs, and aggregates them in the original image coordinate system. The central variant, Uniform Phase Marginalization with K = 4, is training-free and improves over the canonical K = 1 baseline across measured segmentation, depth, and local matching settings. In a controlled Cityscapes experiment, Uniform Phase Marginalization provides a modest compute-matched advantage over generic shift-based four-forward test-time augmentation (TTA) (+0.31 mean Intersection-over-Union over the strongest tested generic row). A scaling study further shows that K = 4 is a practical cost-accuracy trade-off: K = 8 is essentially unchanged and K = 16 adds little accuracy at much higher latency. These results position patch-grid phase as a measurable nuisance variable and Phase Marginalization as a simple diagnostic and post-hoc marginalization baseline for dense ViT prediction.
• Abstract（参考訳）: ビジョントランスフォーマーは固定されたパッチグリッドで動作し、高密度な予測のために位相依存の不安定性を導入する:パッチパーティションを変更することで、特に境界に近いピクセルで利用可能なトークンエビデンスを変更することができる。 我々は、パッチグリッド位相をニュアンス変数として定式化し、構成されたパッチグリッド位相、逆配向密度出力を評価し、それらを元の画像座標系に集約するポストホック境界化法であるフェーズマージナリゼーションを提案する。 中心的な変種である K = 4 による一様位相行列化は、訓練自由であり、測定されたセグメンテーション、深さ、局所的なマッチング設定を越えて、標準 K = 1 のベースラインよりも改善される。 制御されたCityscapes実験において、一様相行列化は、一般的なシフトベースの 4-forward test-time augmentation (TTA) (+0.31 mean Intersection-over-Union over the Most test General row) よりも、控えめな計算整合性を提供する。 K = 8 は本質的に変化せず、K = 16 はより高いレイテンシでほとんど精度を付けない。 これらの結果から, 測定可能なニュアンス変数としてのパッチグリッド位相と, 高密度VT予測のための簡易診断および熱間限界化ベースラインとしてのフェーズマージナリゼーションが得られた。

関連論文リスト

• A Doeblin-Anchored Contrastive Chart for Learning Markov Transition Kernels [1.2691047660244335]
  本稿では,トランジションカーネルを対照的な目的から学習するための統計的・動的座標フレームワークを提案する。 固定された相対的リスクは、固定された遷移密度を識別し、過剰なリスクを密度誤差に校正することを証明する。
  論文  参考訳（メタデータ） (2026-06-01T13:26:44Z)
• QuadNorm: Resolution-Robust Normalization for Neural Operators [41.429437803093485]
  正規化層における既存の一様平均化を数値的二次化(QuadNorm)とBlendQuadNorm(BlendQuadNorm)に置き換える二次正規化ファミリを導入する。 終端包含一様格子では、提案された二次モーメントは離散化全体で$O(h2)$-一貫性を持つ。 転送エラー境界は、正規化によって引き起こされるミスマッチが、解像度ギャップとネットワーク深さの両方でどのようにスケールするかを予測する。
  論文  参考訳（メタデータ） (2026-05-08T07:30:43Z)
• Grokking as a Variance-Limited Phase Transition: Spectral Gating and the Epsilon-Stability Threshold [0.0]
  一般化には、適応に固有のテクスタイニソトロピックな修正が必要であり、これは溶液の接空間にノイズを誘導する。 この研究は、モジュラー演算タスクにおけるAdamWのダイナミクスを分析し、一般化から記憶への遷移を制御するスペクトルゲーティングのメカニズムを明らかにする。
  論文  参考訳（メタデータ） (2026-03-16T16:18:18Z)
• Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
  プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。 我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。 重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
  論文  参考訳（メタデータ） (2026-02-24T05:32:03Z)
• Gated Removal of Normalization in Transformers Enables Stable Training and Efficient Inference [2.1665689529884697]
  RMSNorm/LayerNormをドロップインで置き換えたTaperNormを紹介します。 1つのグローバルゲートは、ゲートウォームアップ中に$g=1$で保持され、EMAを介してスケーリングブランチをキャリブレーションし、コサインデケイを$g=0$にする。 マイクロベンチマークでは、折りたたみ内部のスケーリングは、ラスト・トーケン・ロジット・モードで最大1.22倍のスループットを得る。
  論文  参考訳（メタデータ） (2026-02-11T01:40:34Z)
• Pay Attention Later: From Vector Space Diffusion to Linearithmic Spectral Phase-Locking [0.0]
  スタンダードトランスフォーマーは「セマンティックアライメント税」に苦しむ 位相共鳴インテリジェントスペクトルモデル(PRISM)を導入する。 PRISMは複素領域(Cd)における共振周波数としてのセマンティックアイデンティティを符号化し、二次自己アテンションをリニアリトミック O(N log N) Gated Harmonic Convolutions に置き換える。
  論文  参考訳（メタデータ） (2025-12-01T02:46:15Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• Cost Aggregation with 4D Convolutional Swin Transformer for Few-Shot Segmentation [58.4650849317274]
  Volumetric Aggregation with Transformers (VAT)は、数ショットセグメンテーションのためのコスト集約ネットワークである。 VATは、コスト集約が中心的な役割を果たすセマンティック対応のための最先端のパフォーマンスも達成する。
  論文  参考訳（メタデータ） (2022-07-22T04:10:30Z)
• Hybrid Model-based / Data-driven Graph Transform for Image Coding [54.31406300524195]
  予測内残差ブロックを符号化するハイブリッドモデルベース/データ駆動方式を提案する。 変換行列の最初の$K$固有ベクトルは、安定性のための非対称離散正弦変換(ADST)のような統計モデルから導かれる。 WebPをベースライン画像として使用することにより、我々のハイブリッドグラフ変換は、デフォルトの離散コサイン変換(DCT)よりもエネルギーの圧縮が良く、KLTよりも安定性がよいことを示す。
  論文  参考訳（メタデータ） (2022-03-02T15:36:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。