Fugu-MT 論文翻訳(概要): Rethinking Vision Transformer for Object Centric Foundation Models

論文の概要: Rethinking Vision Transformer for Object Centric Foundation Models

arxiv url: http://arxiv.org/abs/2502.02763v1
Date: Tue, 04 Feb 2025 23:07:34 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-06 14:27:28.723702
Title: Rethinking Vision Transformer for Object Centric Foundation Models
Title（参考訳）: 物体中心モデルのための視覚変換器の再考
Authors: Manuel Traub, Martin V. Butz,
Abstract要約: 本稿では,Fovea-like Input Patching (FLIP) アプローチを提案する。 FLIPはよりデータ効率が高く、高解像度の視覚シーンで比較的小さなオブジェクトをマスキングする際にセグメンテーション性能が向上する。
参考スコア（独自算出の注目度）: 3.5297361401370053
License:
Abstract: Recent state-of-the-art object segmentation mechanisms, such as the Segment Anything Model (SAM) and FastSAM, first encode the full image over several layers and then focus on generating the mask for one particular object or area. We present an off-grid Fovea-Like Input Patching (FLIP) approach, which selects image input and encodes it from the beginning in an object-focused manner. While doing so, it separates locational encoding from an object-centric perceptual code. FLIP is more data-efficient and yields improved segmentation performance when masking relatively small objects in high-resolution visual scenes. On standard benchmarks such as Hypersim, KITTI-360, and OpenImages, FLIP achieves Intersection over Union (IoU) scores that approach the performance of SAM with much less compute effort. It surpasses FastSAM in all IoU measurements. We also introduce an additional semi-natural but highly intuitive dataset where FLIP outperforms SAM and FastSAM overall and particularly on relatively small objects. Seeing that FLIP is an end-to-end object-centric segmentation approach, it has high potential particularly for applications that benefit from computationally efficient, spatially highly selective object tracking.
Abstract（参考訳）: Segment Anything Model(SAM)やFastSAMといった最近の最先端のオブジェクトセグメンテーションメカニズムは、まず、複数のレイヤにフルイメージをエンコードし、次に、特定のオブジェクトや領域のマスクの生成に集中する。本稿では,Fovea-like Input Patching (FLIP) アプローチを提案する。そうしている間に、位置エンコーディングをオブジェクト中心の知覚コードから分離する。 FLIPはよりデータ効率が高く、高解像度の視覚シーンで比較的小さなオブジェクトをマスキングする際にセグメンテーション性能が向上する。 Hypersim、KITTI-360、OpenImagesなどの標準ベンチマークでは、FLIPはSAMのパフォーマンスにアプローチするIntersection over Union (IoU)スコアをはるかに少ない計算労力で達成している。全IoU測定でFastSAMを上回っている。また、FLIPがSAMとFastSAMを総合的に、特に比較的小さなオブジェクトよりも優れている半自然だが非常に直感的なデータセットも導入した。 FLIPはエンドツーエンドのオブジェクト中心セグメンテーションアプローチであり、特に計算効率が高く空間選択性の高いオブジェクトトラッキングの恩恵を受けるアプリケーションには高い可能性を持っている。

関連論文リスト

Bridge the Points: Graph-based Few-shot Segment Anything Semantically [79.1519244940518]
プレトレーニング技術の最近の進歩により、視覚基礎モデルの能力が向上した。最近の研究はSAMをFew-shot Semantic segmentation (FSS)に拡張している。本稿では,グラフ解析に基づく簡易かつ効果的な手法を提案する。
論文参考訳（メタデータ） (2024-10-09T15:02:28Z)
Adapting Segment Anything Model for Unseen Object Instance Segmentation [70.60171342436092]
Unseen Object Instance(UOIS)は、非構造環境で動作する自律ロボットにとって不可欠である。 UOISタスクのためのデータ効率のよいソリューションであるUOIS-SAMを提案する。 UOIS-SAMは、(i)HeatmapベースのPrompt Generator(HPG)と(ii)SAMのマスクデコーダに適応する階層識別ネットワーク(HDNet)の2つの重要なコンポーネントを統合する。
論文参考訳（メタデータ） (2024-09-23T19:05:50Z)
FocSAM: Delving Deeply into Focused Objects in Segmenting Anything [58.042354516491024]
Segment Anything Model (SAM)はセグメンテーションモデルにおいて注目すべきマイルストーンである。 2つの重要な側面に基づいてパイプラインを再設計したFocSAMを提案する。まず,Dwin-MSA(Dynamic Window Multi-head Self-Attention)を提案する。次に,Pixel-wise Dynamic ReLU (P-DyReLU)を提案する。
論文参考訳（メタデータ） (2024-05-29T02:34:13Z)
MAS-SAM: Segment Any Marine Animal with Aggregated Features [55.91291540810978]
そこで本研究では,海洋生物のセグメンテーションのためのMAS-SAMという新しい特徴学習フレームワークを提案する。本手法により,グローバルな文脈的手がかりからよりリッチな海洋情報を抽出し,よりきめ細かな局部的詳細を抽出できる。
論文参考訳（メタデータ） (2024-04-24T07:38:14Z)
EfficientSAM: Leveraged Masked Image Pretraining for Efficient Segment Anything [36.553867358541154]
Segment Anything Model (SAM)は多くの視覚アプリケーションのための強力なツールとして登場した。本稿では,軽量なSAMモデルであるEfficientSAMを提案する。我々のアイデアは、SAM画像エンコーダから特徴を再構築し、効果的な視覚的表現学習を実現するためのマスク付き画像事前学習(SAMI)を活用することに基づいている。
論文参考訳（メタデータ） (2023-12-01T18:31:00Z)
SimulFlow: Simultaneously Extracting Feature and Identifying Target for Unsupervised Video Object Segmentation [28.19471998380114]
教師なしビデオオブジェクトセグメンテーション(UVOS)は、人間が介在することなく、所定のビデオシーケンス内の一次オブジェクトを検出することを目的としている。既存のほとんどの手法は、ターゲットを識別してオブジェクトマスクを生成する前に、外観と動き情報を別々に符号化する2ストリームアーキテクチャに依存している。特徴抽出とターゲット識別を同時に行うSimulFlowと呼ばれる新しいUVOSモデルを提案する。
論文参考訳（メタデータ） (2023-11-30T06:44:44Z)
Segment Anything Meets Point Tracking [116.44931239508578]
本稿では,SAMと長期点追跡を併用した,ポイント中心の対話型ビデオセグメンテーションの新たな手法を提案する。ゼロショットオープンワールドUnidentified Video Objects(UVO)ベンチマークで直接評価することで,ポイントベーストラッキングのメリットを強調した。 DAVIS, YouTube-VOS, BDD100Kなどの人気ビデオオブジェクトのセグメンテーションと多目的セグメンテーションのベンチマーク実験により, ポイントベースセグメンテーショントラッカーがより優れたゼロショット性能と効率的なインタラクションをもたらすことが示唆された。
論文参考訳（メタデータ） (2023-07-03T17:58:01Z)
Hierarchical Feature Alignment Network for Unsupervised Video Object Segmentation [99.70336991366403]
外観・動作特徴アライメントのための簡潔で実用的で効率的なアーキテクチャを提案する。提案されたHFANはDAVIS-16の最先端性能に到達し、88.7ドルのmathcalJ&mathcalF$Meanを達成した。
論文参考訳（メタデータ） (2022-07-18T10:10:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。