論文の概要: IronViT: Toward Efficient Generalist Visual Representation Learning
- arxiv url: http://arxiv.org/abs/2609.29252v1
- Date: Thu, 24 Sep 2026 08:56:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.80101
- Title: IronViT: Toward Efficient Generalist Visual Representation Learning
- Title（参考訳）: IronViT: 汎用的なビジュアル表現学習を目指して
- Abstract要約: 我々は、計算を制約する前に機能を統合するという単純な原則に基づいて構築されたIronViTを紹介する。
IronViTは、相補的なスペシャリストをソフトマックスアテンション能力ブリッジに蒸留し、統合された表現をハイブリッドなソフトマックス線形アテンションエンコーダに徐々に転送する。
認識、検索、密接な予測、マルチモーダル理解、ロボット学習など、IronViTは主要なスペシャリストや一般のビジョンエンコーダと競合する。
- 参考スコア（独自算出の注目度）: 18.973181539697425
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A generalist vision encoder must capture semantic, spatial, language-aligned, and action-relevant cues within a unified representation, yet softmax attention underlying today's most capable visual backbones becomes prohibitively expensive at high resolution. A natural attempt to address both challenges is to distill multiple specialist teachers directly into an efficient architecture. We find that directly coupling these objectives degrades representation quality, as the student must simultaneously reconcile heterogeneous capabilities and adapt them to a different token-mixing architecture. We introduce IronViT, built on a simple principle: consolidate capabilities before constraining computation. IronViT first distills complementary specialists into a softmax attention capability bridge, then progressively transfers the consolidated representation to a hybrid softmax-linear attention encoder. A purpose-built data pipeline further curates the distillation corpus for higher information density and broader domain coverage. Across recognition, retrieval, dense prediction, multimodal understanding, and robotic learning, IronViT is competitive with leading specialist and generalist vision encoders. The softmax bridge achieves the strongest aggregate performance in multimodal understanding and robotic learning among the evaluated backbones, while the hybrid encoder retains broad transfer performance with an efficiency advantage that grows with input resolution. Together, these results show that consolidating capabilities before architectural conversion can yield a generalist visual encoder without inheriting the prohibitive high-resolution cost of conventional softmax attention.
- Abstract（参考訳）: 一般の視覚エンコーダは、統一された表現の中で意味、空間、言語対応、アクション関連のキューをキャプチャしなければなりませんが、今日の最も有能な視覚バックボーンの根底にあるソフトマックスの注意は、高解像度では違法に高価になる。
両方の課題に対処するための自然な試みは、複数の専門教師を直接効率の良いアーキテクチャに融合させることである。
これらの目的を直接結合することで、学生は異種機能を同時に調整し、異なるトークン混合アーキテクチャに適応する必要があるため、表現品質が低下する。
我々は、計算を制約する前に機能を統合するという単純な原則に基づいて構築されたIronViTを紹介する。
IronViTは、相補的なスペシャリストをソフトマックスアテンション能力ブリッジに蒸留した後、統合された表現をハイブリッドなソフトマックス線形アテンションエンコーダに徐々に転送する。
目的構築されたデータパイプラインは、より高い情報密度と広いドメインカバレッジのための蒸留コーパスをさらに硬化させる。
認識、検索、密接な予測、マルチモーダル理解、ロボット学習など、IronViTは主要なスペシャリストや一般のビジョンエンコーダと競合する。
ソフトマックスブリッジは、評価されたバックボーン間のマルチモーダル理解とロボット学習において、最強の集約性能を達成する一方、ハイブリッドエンコーダは、入力解像度で増大する効率上の利点をもって、幅広い転送性能を維持する。
これらの結果から,従来のソフトマックスアテンションの高分解能なコストを継承することなく,アーキテクチャ変換前の統合機能により一般の視覚エンコーダが実現できることが示唆された。
関連論文リスト
- SkillMemo: Expert-guided Skill Memory Framework for Compositional Embodied Manipulation [72.14179740056073]
Diffusion Policy (DP) や Vision-Language-Action (VLA) モデルを含む身体的視覚運動モデルは、ロボット操作ベンチマークで有望な性能を示した。
我々は,長時間の実証を潜在原子スキルに暗黙的に分解するスキルベースメモリ(SkillMemo)フレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-06T12:46:13Z) - Beyond Raw Signals: Undecoded Generative Latents as Privileged Synthetic Data [36.037178298353844]
マルチモーダル統合は、コンピュータビジョンモデルを大幅に改善し、それらをデプロイすると、違法な推論コストが発生し、完全にペア化されたデータセットが不足する。
最近の手法では、生成AIによるモダリティの欠如によって、このデータボトルネックに対処しているが、深刻な非効率性(Decode-Encode Loop)が導入されている。
本稿では,非復号型生成潜伏者を直接特権情報として活用するDLA(Direct Latent Augmentation)を提案する。
この知識を純粋に視覚的な学生に伝達するために,MESSy(Multilayer Explicit Simulated Synesthesia)を紹介する。
論文 参考訳（メタデータ） (2026-06-06T21:02:44Z) - CoME-VL: Scaling Complementary Multi-Encoder Vision-Language Learning [79.07656918674684]
CoME-VLは、対照的に訓練された視覚エンコーダと自己教師型DINOエンコーダを統合するモジュラーフュージョンフレームワークである。
提案手法は,RefCOCOのベースライン上での精度を高いマージンで向上させながら,検出のための最先端性能を実現する。
論文 参考訳（メタデータ） (2026-04-03T17:59:51Z) - X-Distill: Cross-Architecture Vision Distillation for Visuomotor Learning [31.894643265305476]
Visuomotorのポリシーは、しばしばその強力な一般化能力のために、大きな事前訓練されたビジョントランスフォーマー(ViT)を利用する。
両アーキテクチャの強みを相乗化するための,単純かつ高効率な手法であるX-Distillを導入する。
我々のアプローチは、オフラインでクロスアーキテクチャの知識蒸留を伴い、大きな凍結したDINOv2教師の豊かな視覚表現をコンパクトなResNet-18学生に転送する。
論文 参考訳（メタデータ） (2026-01-16T13:15:55Z) - EMMA: Efficient Multimodal Understanding, Generation, and Editing with a Unified Architecture [87.55157183411507]
マルチモーダル理解・生成・編集のための効率よく統一されたアーキテクチャEMMAを提案する。
EMMAは主に1)32倍圧縮率の効率的なオートエンコーダから成り、生成に必要なトークンの数を大幅に削減する。
2) 視覚的理解と生成トークン間のトークンワイドな結合ではなく,チャネルワイドな結合により,統一アーキテクチャにおける視覚的トークンの低減が図られる。
論文 参考訳（メタデータ） (2025-12-04T14:01:53Z) - EchoGen: Generating Visual Echoes in Any Scene via Feed-Forward Subject-Driven Auto-Regressive Model [56.53617289548353]
EchoGenは、主観駆動生成機能を備えたVisual Auto-Regressive(VAR)モデルを強化する先駆的なフレームワークである。
対象の抽象的アイデンティティを抽出するためにセマンティックエンコーダを用いており、このエンコーダは分離されたクロスアテンションを通して注入され、全体の構成を導出する。
私たちの知る限りでは、EchoGenはVARモデル上に構築された最初のフィードフォワードの主観駆動フレームワークです。
論文 参考訳（メタデータ） (2025-09-30T11:45:48Z) - Fusion to Enhance: Fusion Visual Encoder to Enhance Multimodal Language Model [1.3663057923522652]
本稿では,新しいビジョンタワーフレームワークであるFusion to Enhance (FtZ)を紹介する。
FtZは、意味的に強力なアンカーエンコーダと知覚に富んだ拡張エンコーダを革新的に構成することで、シングルエンコーダ設計を越えている。
この研究は、異種の専門家エンコーダを構成することが、現在のMLLMにおける視覚的認知ボトルネックを克服するための効率的かつ効果的な経路であることを証明している。
論文 参考訳（メタデータ） (2025-08-31T02:22:57Z) - ViT-Linearizer: Distilling Quadratic Knowledge into Linear-Time Vision Models [39.520825264698374]
視覚変換器(ViT)は、グローバルな自己注意を通じて顕著な進歩を遂げてきたが、その二次的な複雑さは高解像度入力では禁止される可能性がある。
本稿では、リッチなViT表現を線形時間再帰型モデルに変換するクロスアーキテクチャ蒸留フレームワークであるViT-Linearizerについて述べる。
この結果から,RNNに基づく大規模視覚タスクの優れた実現可能性を示し,理論的効率性と実世界の実践とのギャップを埋めることができた。
論文 参考訳（メタデータ） (2025-03-30T15:35:24Z) - MaeFuse: Transferring Omni Features with Pretrained Masked Autoencoders for Infrared and Visible Image Fusion via Guided Training [95.24751989263117]
MaeFuseは、赤外線および可視画像融合(IVIF)用に設計された新しいオートエンコーダモデルである。
提案モデルでは,MAE(Masked Autoencoders)の事前訓練エンコーダを用いて,低レベル再構成と高レベル視覚タスクのためのオムニ特徴抽出機能を備えている。
MaeFuseは、融合技術という領域で新しい視点を導入するだけでなく、様々な公開データセットで顕著なパフォーマンスで際立っている。
論文 参考訳（メタデータ） (2024-04-17T02:47:39Z) - Wider and Higher: Intensive Integration and Global Foreground Perception
for Image Matting [44.51635913732913]
本稿では,近年の深層学習によるマッティング研究をレビューし,我々の画像マッティングに対するより広範なモチベーションと高いモチベーションについて考察する。
画像マッチングは基本的にピクセル単位での回帰であり、理想的な状況は入力画像から最大不透明度を知覚することである。
Intensive Integration and Global Foreground Perception Network (I2GFP) を提案する。
論文 参考訳（メタデータ） (2022-10-13T11:34:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。