論文の概要: Vertical Fusion: Condensing Internal Representations for Robust ViT Classification
- arxiv url: http://arxiv.org/abs/2607.10391v1
- Date: Sat, 11 Jul 2026 16:44:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 15:40:48.419169
- Title: Vertical Fusion: Condensing Internal Representations for Robust ViT Classification
- Title(参考訳): 垂直核融合:ロバストなViT分類のための内部表現を凝縮する
- Abstract要約: 回復可能性の概念は、中間表現のキャパシティが最終層障害を正すためのものである。
16個のデータセットにまたがるモデル深度毎に独立した分類プローブを評価することにより、中間プローブは最終層プローブが誤分類したサンプルの18~76%を正しく分類する。
これらの利得は、主に予測多様性ではなく、冗長性-正確性対応によって引き起こされることを示す。
- 参考スコア(独自算出の注目度): 6.689602064496207
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite exposing rich intermediate representations, Vision Transformers (ViTs) are almost exclusively utilized as black-box feature extractors, where only the last layer is considered for downstream tasks. We challenge this convention by introducing the notion of recoverability: the capacity of intermediate representations to correct last-layer failures. By evaluating independent classification probes at every model depth across 16 datasets, we observe that intermediate probes correctly classify 18% to 76% of samples that the last-layer probe misclassifies. We show that these gains are not primarily driven by predictive diversity, but by a redundancy-correctness correspondence, where the internal hierarchy acts as a series of stable, redundant probes of a shared discriminative signal. While established horizontal ensemble strategies (i.e., across multiple models) can improve performance, they incur high computational cost and ignore this vertical signal within a single model. To bridge this gap, we propose VFusion, a principled vertical aggregation strategy employing a learnable mapping into a low-dimensional latent space that synthesizes features across the internal ViT hierarchy. VFusion substantially outperforms established aggregation baselines in both in-distribution and out-of-distribution settings, notably closing 45% of the accuracy gap between the best individual layer and a theoretical oracle performance. Our gains consistently generalize across model sizes and pre-training regimes, confirming that VFusion offers a robust and efficient alternative to horizontal ensemble methods. The code is available at https://github.com/francescodisalvo05/vit-vertical-fusion.
- Abstract(参考訳): 中間表現が豊富であるにもかかわらず、視覚変換器(ViT)はブラックボックスの特徴抽出器としてのみ利用されており、下流タスクでは最後の層のみが考慮されている。
回復可能性の概念を導入することで、この慣例に挑戦する: 中間表現のキャパシティが最終層障害を正す。
16個のデータセットにまたがるモデル深度毎に独立した分類プローブを評価することにより、中間プローブは最終層プローブが誤分類したサンプルの18~76%を正しく分類する。
これらの利得は、主に予測多様性ではなく、内部階層が共有識別信号の一連の安定で冗長なプローブとして機能する冗長性-正確性対応によって引き起こされることを示す。
確立された水平アンサンブル戦略(すなわち複数のモデルにまたがる)は性能を向上させることができるが、高い計算コストを発生させ、この垂直信号は単一のモデル内で無視する。
このギャップを埋めるために、学習可能空間を低次元潜在空間にマッピングし、内部VT階層にまたがる特徴を合成する、原則化された垂直アグリゲーション戦略VFusionを提案する。
VFusionは分布内および分布外の両方において凝集基線を著しく上回り、特に最高の個々の層と理論的オラクル性能の間の精度ギャップの45%を閉じる。
VFusionが水平アンサンブル法に代わる堅牢で効率的な代替手段を提供することを確認した。
コードはhttps://github.com/francescodisalvo05/vit-vertical-fusionで公開されている。
関連論文リスト
- Towards Federated Long-Tailed Graph Learning: An Energy-Guided Dual Decoupling Approach [10.914852410153921]
我々は、トポロジ的浄化とセマンティックリカバリを分離した二重疎結合パラダイムに基づくフレームワークであるFedEPDを提案する。
FedEPDは様々な長い尾のベンチマークで最先端のパフォーマンスを達成し、精度は4.97%、マクロF1は5.48%まで向上した。
論文 参考訳(メタデータ) (2026-06-23T07:25:40Z) - Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。
State-of-the-art merging method formulate merging as a layer-wise interference problem。
本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
論文 参考訳(メタデータ) (2026-06-05T14:00:47Z) - Enhancing Gradient Inversion Attacks in Federated Learning via Hierarchical Feature Optimization [56.95448807869383]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習の魅力的なパラダイムとして登場した。
近年の研究では、FLシステムで交換される勾配もプライバシー漏洩に弱いことが報告されている。
我々は textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD) を提案する。
論文 参考訳(メタデータ) (2026-04-01T14:32:15Z) - SCOPE: Semantic Coreset with Orthogonal Projection Embeddings for Federated learning [0.7799711162530713]
現在のMLアプローチでは、非現実的なデータアグリゲーションを必要とするか、クラス不均衡のため失敗する。
SCOPEは,異常をフィルタし,冗長なデータを長期スキューに適応させる,フェデレートされたデータのためのコアセットフレームワークである。
SCOPEは、アップリンク帯域幅を128倍から512倍に削減しながら、競争力のあるグローバル精度と堅牢な収束をもたらす。
論文 参考訳(メタデータ) (2026-03-13T13:24:12Z) - Latent Geometry of Taste: Scalable Low-Rank Matrix Factorization for Recommender Systems [0.0]
本研究は、MovieLens 32Mデータセットを用いて、ユーザの嗜好の潜時幾何学について検討する。
制約付き低ランクモデルはランク精度において高次元モデルよりも有意に優れていることを示す。
我々は,人気バイアスとパーソナライズされた親和性とのトレードオフを効果的に管理するための調整可能なスコアリングパラメータを導入し,コールドスタートシナリオにおけるシステムの実用性を検証する。
論文 参考訳(メタデータ) (2026-01-06T23:42:40Z) - Beyond Weight Adaptation: Feature-Space Domain Injection for Cross-Modal Ship Re-Identification [3.6907522136316975]
CMS Re-ID(Cross-Modality Ship Re-Identification)は、全天候の海上目標追跡を実現するために重要である。
モダリティギャップのブリッジ化におけるビジョン・ファンデーション・モデル(VFM)の可能性を探る。
ドメイン表現注入(Domain Representation Injection, DRI)と呼ばれる新しいPEFT戦略を提案する。
論文 参考訳(メタデータ) (2025-12-24T02:30:23Z) - Self-Enhanced Image Clustering with Cross-Modal Semantic Consistency [57.961869351897384]
効率的な画像クラスタリングのためのクロスモーダルなセマンティック一貫性に基づくフレームワークを提案する。
当社のフレームワークはまず,クロスモーダルセマンティック一貫性を通じて,強力な基盤を構築します。
最初の段階では、トレーニング済みモデルのリッチなセマンティクスに合わせて、軽量クラスタリングヘッドをトレーニングします。
第2段階では、自己強化微調整戦略を導入する。
論文 参考訳(メタデータ) (2025-08-02T08:12:57Z) - Improving Progressive Generation with Decomposable Flow Matching [50.63174319509629]
Decomposable Flow Matching (DFM)は、ビジュアルメディアのプログレッシブな生成のためのシンプルで効果的なフレームワークである。
Imagenet-1k 512pxでは、DFMはベースアーキテクチャよりも35.2%改善され、ベースラインは26.4%向上した。
論文 参考訳(メタデータ) (2025-06-24T17:58:02Z) - ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。
巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
論文 参考訳(メタデータ) (2024-12-11T12:31:30Z) - RGM: A Robust Generalizable Matching Model [49.60975442871967]
RGM(Robust Generalist Matching)と呼ばれる疎密マッチングのための深部モデルを提案する。
合成トレーニングサンプルと実世界のシナリオのギャップを狭めるために、我々は、疎対応基盤真理を持つ新しい大規模データセットを構築した。
さまざまな密集したスパースなデータセットを混ぜ合わせることができ、トレーニングの多様性を大幅に改善しています。
論文 参考訳(メタデータ) (2023-10-18T07:30:08Z) - GIFD: A Generative Gradient Inversion Method with Feature Domain
Optimization [52.55628139825667]
Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。
近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。
textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
論文 参考訳(メタデータ) (2023-08-09T04:34:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。