論文の概要: Same path, different: a mechanistic comparison of looped and stacked transformer encoders on 12-lead ECG
- arxiv url: http://arxiv.org/abs/2609.15498v1
- Date: Mon, 14 Sep 2026 12:50:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.398349
- Title: Same path, different: a mechanistic comparison of looped and stacked transformer encoders on 12-lead ECG
- Title（参考訳）: 12誘導心電図上でのループおよび積み重ね変圧器エンコーダの力学的比較
- Abstract要約: リカレントトランスフォーマーは、$L$の異なるレイヤを積み重ねるのではなく、重みを再利用している。
本稿では, 重み付きブロックを1つ適用したbViTモデルの例について, 比較検討を行った。
- 参考スコア（独自算出の注目度）: 2.1465474237525113
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recurrent Transformers reusing their weights rather than stacking $L$ distinct layers are becoming widely adopted due to their parameter efficiency [1,2,3]. However, the exact representational and dynamical differences between looped and stacked architectures remain uncharacterized. This paper presents a controlled study on the example of bViT model [1] applying one weight-tied block $L$ times. We train two models: bViT and standard ViT [4] on 12-lead electrocardiogram (ECG) classification tasks from the PTB-XL dataset under identical training protocols. Despite an $8.9\times$ parameter reduction, bViT achieves accuracy parity with ViT. Geometric similarity metrics demonstrate that both architectures construct comparable latent representations in an equivalent canonical order. Crucially, their dynamics differ: bViT exhibits smaller step sizes and inter-patient sensitivity, as well as near-neutral behavior away from the data manifold, whereas ViT exhibits collapsing dimensionality of representations and out-of-distribution feature expansion.
- Abstract（参考訳）: リカレントトランスフォーマーは、パラメータ効率 [1,2,3] のため、$L$の異なるレイヤを積み重ねるのではなく、重みを再利用している。
しかし、ループ型アーキテクチャとスタック型アーキテクチャの正確な表現的および動的差異は、まだ具体化されていない。
本稿では,bViTモデル[1]を1つの重み付きブロック$L$倍の値で適用した例について検討する。
我々は,12誘導心電図(ECG)分類タスクにおけるbViTと標準ViT[4]の2つのモデルを,同一のトレーニングプロトコルの下で,TB-XLデータセットからトレーニングする。
8.9\times$パラメータ還元にもかかわらず、bViTはViTと精度が同等である。
幾何学的類似度測定は、両方のアーキテクチャが等価な正準順序で同等の潜在表現を構成することを示す。
重要な点として、bViTはより小さなステップサイズと患者間感度を示し、データ多様体から近中立な振る舞いを示すのに対し、ViTは表現の折りたたみ次元と分布外特徴拡張を示す。
関連論文リスト
- A Unified Framework for Vision Transformers Equivariant to Discrete Subgroups of $\mathrm{O}(2)$ [8.549379020585462]
我々は、$mathrmO(2)$の任意の離散部分群に同値な視覚変換器の族を導入する。
私たちの構成では、コアトランスコンポーネントの同変アナログと、結果の層に対する表現性保証が得られます。
論文 参考訳（メタデータ） (2026-06-26T09:05:47Z) - bViT: Investigating Single-Block Recurrence in Vision Transformers for Image Recognition [2.1465474237525113]
本稿では,1つの変圧器ブロックを繰り返し適用して画像処理を行う単一ブロックリカレントViTであるbViTを紹介する。
ImageNet-1Kでは、12ステップのbViT-Bが、同じトレーニングレシピと計算予算の下で標準のViT-Bに匹敵する精度を達成する。
我々は、リカレント性能が表現幅で向上し、より広いbViTが、より狭い変種よりも標準ViTの性能を回復するのを観察する。
論文 参考訳（メタデータ） (2026-05-11T14:43:36Z) - Your ViT is Secretly an Image Segmentation Model [50.71238842539735]
Vision Transformer (ViT) は、様々なコンピュータビジョンタスクにおいて、顕著なパフォーマンスとスケーラビリティを示している。
タスク固有のコンポーネントによって導入された帰納バイアスは、代わりにViT自身で学習できることを示す。
画像セグメンテーションを行うためにプレーンな ViT アーキテクチャを再利用した Mask Transformer (EoMT) を導入する。
論文 参考訳（メタデータ） (2025-03-24T19:56:02Z) - CAIT: Triple-Win Compression towards High Accuracy, Fast Inference, and Favorable Transferability For ViTs [89.79139531731637]
ビジョントランスフォーマー (ViT) は様々なビジョンタスクの最先端モデルとして登場した。
本稿では,高次アンダーライン精度,高速アンダーライン推論速度,下流タスクに対する好適なアンダーライン変換性を両立させたViTの合同アンダーライン圧縮法を提案する。
論文 参考訳（メタデータ） (2023-09-27T16:12:07Z) - EIT: Efficiently Lead Inductive Biases to ViT [17.66805405320505]
ViT(Vision Transformer)は、畳み込みニューラルネットワークに固有の帰納バイアスに類似した特性に依存する。
本稿では, インダクティブバイアスをViT(EIT)に効率よく導くアーキテクチャを提案し, インダクティブバイアスをViTの両相に効果的に導くことができる。
ViTと比較して4つの一般的な小規模データセットでは、EITは平均12.6%の精度向上であり、パラメータやFLOPは少ない。
論文 参考訳（メタデータ） (2022-03-14T14:01:17Z) - ViTAEv2: Vision Transformer Advanced by Exploring Inductive Bias for
Image Recognition and Beyond [76.35955924137986]
我々は、内在性IBを畳み込み、すなわちViTAEから探索するビジョントランスフォーマーを提案する。
ViTAEはいくつかの空間ピラミッド縮小モジュールを備えており、入力イメージをリッチなマルチスケールコンテキストでトークンに埋め込む。
我々は、ImageNet検証セット上で88.5%のTop-1分類精度と、ImageNet実検証セット上で最高の91.2%のTop-1分類精度を得る。
論文 参考訳（メタデータ） (2022-02-21T10:40:05Z) - Global Vision Transformer Pruning with Hessian-Aware Saliency [93.33895899995224]
この研究はヴィジュアルトランスフォーマー(ViT)モデルの共通設計哲学に挑戦する。
遅延を意識した規則化による直接遅延低減を実現し,すべての層や構造に匹敵する新しいヘッセン型構造解析基準を導出する。
DeiT-Baseモデルで反復的なプルーニングを実行すると、NViT(Novel ViT)と呼ばれる新しいアーキテクチャファミリが生まれ、パラメータをより効率的に利用する新しいパラメータが現れる。
論文 参考訳（メタデータ） (2021-10-10T18:04:59Z) - Analogous to Evolutionary Algorithm: Designing a Unified Sequence Model [58.17021225930069]
実演的進化アルゴリズム(EA)と類似した視覚変換器の合理性について説明する。
我々は、より効率的なEATモデルを提案し、様々なタスクに柔軟に対処するタスク関連ヘッドを設計する。
近年のビジョントランスに比べて,イメージネット分類作業における最先端の成果が得られている。
論文 参考訳（メタデータ） (2021-05-31T16:20:03Z) - Vision Transformers are Robust Learners [65.91359312429147]
ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。
ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
論文 参考訳（メタデータ） (2021-05-17T02:39:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。