論文の概要: Pixels to Tokens: Token Space Efficient Active Learning for Low-Budget Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2610.20881v1
- Date: Wed, 14 Oct 2026 20:13:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.056551
- Title: Pixels to Tokens: Token Space Efficient Active Learning for Low-Budget Semantic Segmentation
- Title(参考訳): Tokens to Tokens:低予算セマンティックセマンティックセグメンテーションのための空間効率のよいアクティブラーニング
- Abstract要約: TEAL(Token-space Efficient Active Learning)は,VT表現を中心に構築された最初のピクセルレベルのALフレームワークである。
提案フレームワークは,多層トークン記述子に対して2段階のMaxHerding戦略を適用し,代表候補を選択する。
CamVid、Cityscapes、ADE20K、Pascal Contextの他、TEALは、極端なラベルの不足の下で、常に以前のベースラインを上回っている。
- 参考スコア(独自算出の注目度): 46.258091430429126
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: While foundation models and vision transformers (ViTs) have redefined visual representations, current active learning (AL) strategies for these backbones largely operate at the patch or region level, where annotation requirements remain high due to extensive pixel labeling. Extending ViT-based AL to the pixel-level, low-budget regime is uniquely challenging: with as little as one pixel query per image, a method must simultaneously identify the most informative locations and train a reliable decoder head from an extremely sparse signal. We introduce TEAL (Token-space Efficient Active Learning), the first pixel-level AL framework built around ViT representations. TEAL uses a frozen ViT backbone and performs diversity-based selection directly on its native token lattice, avoiding the artifacts introduced by interpolating token embeddings to dense pixel resolutions. Our framework applies a two-level MaxHerding strategy over multi-layer token descriptors to select representative candidates, followed by margin-based uncertainty refinement on a finer decoder grid. Across CamVid, Cityscapes, ADE20K, and Pascal Context, TEAL consistently outperforms previous baselines under extreme label scarcity, improving over the strongest baseline by up to +24.36 mIoU with a single labeled pixel (px) per image, and reaching up to 97% of fully supervised performance with just 10 px. To rigorously establish the source of the gains, we further show that the improvements persist when all baselines are equipped with the same DINOv3 backbone, demonstrating that coupling token-space selection with uncertainty refinement on the decoder grid makes ViT token geometry an effective foundation for extremely low-budget active segmentation.
- Abstract(参考訳): 基礎モデルと視覚変換器(ViT)は視覚的表現を再定義しているが、これらのバックボーンの現在のアクティブラーニング(AL)戦略はパッチや領域レベルで運用されている。
ViTベースのALをピクセルレベル、低予算のレシエーションに拡張することは独特な難題である。画像あたり1ピクセルのクエリが少ないため、最も情報性の高い場所を同時に識別し、非常にスパースな信号から信頼できるデコーダヘッドを訓練する必要がある。
TEAL(Token-space Efficient Active Learning)は,VT表現を中心に構築された最初のピクセルレベルのALフレームワークである。
TEALは凍結したViTバックボーンを使用して、そのネイティブトークン格子に直接多様性ベースの選択を実行し、トークン埋め込みを高密度ピクセル解像度に補間することによって導入されたアーティファクトを回避する。
本フレームワークでは,複数層トークン記述子に対する2レベルMaxHerding戦略を代表候補に適用し,それに続いて,より微細なデコーダグリッド上でのマージンベースの不確実性改善を行う。
CamVid、Cityscapes、ADE20K、Pascal Contextの他、TEALは最強のベースラインを+24.36 mIoUまで改善し、1枚の画像にピクセル (px) をラベル付けし、最大で10pxのフル教師付きパフォーマンスの97%に到達した。
さらに,すべてのベースラインが同じDINOv3バックボーンを備えると,その改善が持続することを示し,デコーダグリッド上の不確実性向上を伴うトークン空間選択が,ViTトークン幾何学を極めて低予算なアクティブセグメンテーションの有効な基盤となることを示す。
関連論文リスト
- Diffusion-Driven Two-Stage Active Learning for Low-Budget Semantic Segmentation [33.970333069082294]
本稿では,セマンティックセグメンテーションのための2段階選択パイプラインを提案する。
ラベル付き画素のごく一部で高いセグメンテーション精度を実現する。
提案手法は, 極端画素予算体制下での既存ベースラインを著しく上回る。
論文 参考訳(メタデータ) (2025-10-25T09:25:01Z) - Superpixel Tokenization for Vision Transformers: Preserving Semantic Integrity in Visual Tokens [38.31045722878938]
我々は、Vision Transformerのグリッドベースのトークン化をスーパーピクセルトークン化に置き換えることを提案する。
既存のフレームワークとの強い互換性を示すアプローチは、様々な下流タスクにおけるViTの精度と堅牢性を高める。
論文 参考訳(メタデータ) (2024-12-06T00:38:36Z) - Fine-grained Background Representation for Weakly Supervised Semantic Segmentation [35.346567242839065]
本稿では,多様なBGセマンティクスを発見し,表現するために,FBR法を提案する。
そこで本研究では,FG陰性線を抽出し,地中コントラスト学習を効果的に行うためのアクティブサンプリング戦略を提案する。
本手法は,Pascal Voc および MS COCO テストセットにおいて,73.2 mIoU と 45.6 mIoU のセグメンテーション結果を得る。
論文 参考訳(メタデータ) (2024-06-22T06:45:25Z) - Exploring Multi-view Pixel Contrast for General and Robust Image Forgery Localization [4.8454936010479335]
本稿では,画像フォージェリーローカライゼーションのための多視点Pixel-wise Contrastive Algorithm (MPC)を提案する。
具体的には、まず、教師付きコントラスト損失を伴うバックボーンネットワークを事前訓練する。
次に、クロスエントロピー損失を用いてローカライゼーションヘッドを微調整し、ピクセルローカライザを改良する。
論文 参考訳(メタデータ) (2024-06-19T13:51:52Z) - Differentiable Registration of Images and LiDAR Point Clouds with
VoxelPoint-to-Pixel Matching [58.10418136917358]
カメラからの2D画像とLiDARからの3Dポイントクラウドの間のクロスモダリティ登録は、コンピュータビジョンとロボットトレーニングにおいて重要な課題である。
ニューラルネットワークで学習した点パターンと画素パターンのマッチングによる2次元3次元対応の推定
我々は、異なる潜在画素空間を介して3次元特徴を表現するために、構造化されたモダリティマッチングソルバを学習する。
論文 参考訳(メタデータ) (2023-12-07T05:46:10Z) - In-N-Out Generative Learning for Dense Unsupervised Video Segmentation [89.21483504654282]
本稿では,ラベルなしビデオから視覚的対応を学習する,教師なしビデオオブジェクト(VOS)タスクに焦点を当てる。
In-aNd-Out(INO)生成学習を純粋に生成的観点から提案する。
我々のINOは、最先端の手法をかなりのマージンで上回っている。
論文 参考訳(メタデータ) (2022-03-29T07:56:21Z) - AINet: Association Implantation for Superpixel Segmentation [82.21559299694555]
今回提案する新しいtextbfAssociation textbfImplantation(AI)モジュールは、ネットワークがピクセルとその周辺グリッド間の関係を明示的にキャプチャすることを可能にする。
本手法は最先端性能を実現するだけでなく,十分な推論効率を維持することができた。
論文 参考訳(メタデータ) (2021-01-26T10:40:13Z) - Spatially-Adaptive Pixelwise Networks for Fast Image Translation [57.359250882770525]
高速かつ効率的な画像-画像変換を目的とした新しいジェネレータアーキテクチャを提案する。
私たちはピクセルワイズネットワークを使用します。つまり、各ピクセルは他のピクセルとは独立して処理されます。
私たちのモデルは最先端のベースラインよりも最大18倍高速です。
論文 参考訳(メタデータ) (2020-12-05T10:02:03Z) - Propagate Yourself: Exploring Pixel-Level Consistency for Unsupervised
Visual Representation Learning [60.75687261314962]
我々は,高密度な特徴表現を学習するための画素レベルのプレテキストタスクを導入する。
ピクセル・ツー・プロパゲーション整合性タスクは、最先端のアプローチよりも優れた結果をもたらす。
結果は、ピクセルレベルでプリテキストタスクを定義する強力な可能性を示している。
論文 参考訳(メタデータ) (2020-11-19T18:59:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。