論文の概要: Dynamic self-ensemble on multi-exit residual vision transformer for small-data image classification

• arxiv url: http://arxiv.org/abs/2610.24602v1
• Date: Sat, 17 Oct 2026 10:07:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-22 17:28:36.658774
• Title: Dynamic self-ensemble on multi-exit residual vision transformer for small-data image classification
• Title（参考訳）: 小型画像分類のためのマルチエキシット残像変換器の動的自己アンサンブル
• Abstract要約: 視覚変換器(ViT)は近年,画像分類に注目が集まっている。 ViTは、大規模なデータセットでのみトレーニングされた場合、データ不足の問題で有名だ。 限られたデータを持つ小規模なデータセットに対して、ViTが具体的にどのように機能するかについて検討する。
• 参考スコア（独自算出の注目度）: 47.85224660438021
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision Transformer (ViT) has garnered increased attention for image classification in recent years. However, ViT is notorious for its data-hungry problem as it achieves high-performance results when only trained on large-size datasets. In this paper, we study how ViT specifically works on small-scale datasets with limited data where the availability of image data is often constrained in practice, especially in fields such as medical imaging. To mitigate the issue, we designed a multi-stage residual ViT, dubbed ReSEViT, with the self-ensemble method to utilize multi-level information from intermediate features. Due to the complex decision boundaries for classifications, relying on a single classifier can lead to prediction errors. Hence, we propose a new learning method for ViT, named self-ensemble learning, which ensembles multi-stage classifiers in a single model. Our self-ensemble comprises a novel approach, Dynamic Learner Selection (DLS), to adaptively select the importance of different stages. ReSEViT incorporates residual token embeddings which is a ResNet-like block to model effective local structures alongside with transformer blocks in each stage. The integration of residual tokens and self-ensemble learning into a multi-stage ViT highlights the reduction in redundancy, prediction error and variance while maintaining an efficient model size for small-scale image datasets.
• Abstract（参考訳）: 視覚変換器(ViT)は近年,画像分類に注目が集まっている。 しかし、ViTは大規模なデータセットでのみトレーニングされた場合、高性能な結果が得られるため、データ処理の問題で有名である。 本稿では,特に医用画像などの分野において,画像データの可用性に制約があるような,限られたデータしか持たない小規模なデータセットに対して,ViTがどう機能するかについて検討する。 この問題を緩和するため、中間機能から多段階情報を利用するセルフアンサンブル法により、ReSEViTと呼ばれる多段階残差ViTを設計した。 分類の複雑な決定境界のため、単一の分類器に依存すると予測エラーが発生する可能性がある。 そこで我々は,複数段階の分類器を1つのモデルでアンサンブルする自己アンサンブル学習という,ViTの新しい学習手法を提案する。 我々の自己アンサンブルは、異なるステージの重要性を適応的に選択するための新しいアプローチである動的学習者選択(DLS)から構成される。 ReSEViTにはResNetのようなブロックである残留トークンの埋め込みが組み込まれており、各ステージのトランスフォーマーブロックとともに効果的なローカル構造をモデル化している。 残留トークンと自己アンサンブル学習を多段階のViTに統合することで、小規模画像データセットの効率的なモデルサイズを維持しながら、冗長性、予測エラー、分散の低減が強調される。

関連論文リスト

• MSCViT: A Small-size ViT architecture with Multi-Scale Self-Attention Mechanism for Tiny Datasets [3.8601741392210434]
  Vision Transformer (ViT) は、長距離依存をモデル化する強力な能力のため、様々な視覚タスクにおいて有意義な可能性を証明している。 本稿では,マルチスケールの自己認識機構とコンボリューションブロックを備えた小型ViTアーキテクチャを提案する。 CIFAR-100では14.0Mパラメータと2.5GFLOPで84.68%の精度を達成し、大規模なデータセットで事前トレーニングを行わない。
  論文  参考訳（メタデータ） (2025-01-10T15:18:05Z)
• Slicing Vision Transformer for Flexible Inference [79.35046907288518]
  一つのネットワークが複数の小さな ViT を表現できるように,Scala という名前の汎用フレームワークを提案する。 S Scalaは、パラメータが少ないImageNet-1Kで平均1.6%の改善を実現している。
  論文  参考訳（メタデータ） (2024-12-06T05:31:42Z)
• Exploring Efficient Few-shot Adaptation for Vision Transformers [70.91692521825405]
  そこで本稿では,Few-shot LearningタスクにおけるVTの微調整を容易にするトランスフォーマーチューニング(eTT)手法を提案する。 新しく発表されたAttentive Prefix Tuning(APT)とDomain Residual Adapter(DRA)の主な新機能 我々は,我々のモデルの有効性を示す広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-01-06T08:42:05Z)
• Masked autoencoders are effective solution to transformer data-hungry [0.0]
  ビジョントランスフォーマー(ViT)は、いくつかのビジョンタスクにおいて、そのグローバルモデリング能力で畳み込みニューラルネットワーク(CNN)を上回っている。 ViTには、畳み込みに固有の帰納バイアスがなく、トレーニングに大量のデータを必要とする。 マスク付きオートエンコーダ(MAE)は、トランスフォーマーが画像自体にもっと焦点を合わせることができる。
  論文  参考訳（メタデータ） (2022-12-12T03:15:19Z)
• ViTAEv2: Vision Transformer Advanced by Exploring Inductive Bias for Image Recognition and Beyond [76.35955924137986]
  我々は、内在性IBを畳み込み、すなわちViTAEから探索するビジョントランスフォーマーを提案する。 ViTAEはいくつかの空間ピラミッド縮小モジュールを備えており、入力イメージをリッチなマルチスケールコンテキストでトークンに埋め込む。 我々は、ImageNet検証セット上で88.5%のTop-1分類精度と、ImageNet実検証セット上で最高の91.2%のTop-1分類精度を得る。
  論文  参考訳（メタデータ） (2022-02-21T10:40:05Z)
• Vision Transformers are Robust Learners [65.91359312429147]
  ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。 ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
  論文  参考訳（メタデータ） (2021-05-17T02:39:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。