論文の概要: Beyond the Encoder: Object-Centric Representations Emerging from Segmentation Foundation Models

• arxiv url: http://arxiv.org/abs/2610.18543v1
• Date: Tue, 13 Oct 2026 15:22:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 20:49:21.977773
• Title: Beyond the Encoder: Object-Centric Representations Emerging from Segmentation Foundation Models
• Title（参考訳）: エンコーダを超えて: セグメンテーション基礎モデルから生まれたオブジェクト中心表現
• Abstract要約: 我々は下流の腫瘍予測のための転送可能な表現として、Segment Anything Model 2 (SAM2) オブジェクトポインタを使用する。 タスク誘導ポインタは、がんタイプの分類を改善し、従来のエンコーダベースの転送や放射能より優れている。 これらの結果は,基礎モデルの一次タスクの実行によって,有用な伝達可能な表現が生まれることを示唆している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models are increasingly used as feature extractors for downstream tasks with limited data, typically through representations obtained from their encoders. However, foundation models trained for structured tasks such as segmentation also form object-specific representations during task execution, whose transferability remains largely unexplored. We investigate Segment Anything Model 2 (SAM2) object pointers, compact object-level representations produced through the segmentation pathway, as transferable representations for downstream tumour prediction. Through experiments on two PET/CT tumour prediction tasks, we find that object pointers learned using segmentation supervision alone already encode tumour-discriminative information, despite never being optimised for the downstream labels. We further introduce task-guided object pointers, where an auxiliary objective jointly shapes the object pointer space for the downstream prediction together with segmentation. Task-guided pointers improve cancer-type classification, outperforming conventional encoder-based transfer and radiomics, while segmentation-only pointers perform best on the more challenging recurrence prediction task. Representation analyses reveal associations between object pointers and interpretable radiomics features, class-dependent organisation of the learned representation space, and explicit spatial grounding around the segmented tumour. Together, these findings suggest that useful transferable representations can emerge through the execution of a foundation model's primary task, providing an alternative to conventional encoder-based transfer.
• Abstract（参考訳）: ファンデーションモデルは、典型的にはエンコーダから得られた表現を通じて、限られたデータを持つ下流タスクのための特徴抽出器として使われることが多い。 しかし、セグメンテーションのような構造化タスクのために訓練された基礎モデルは、タスク実行中にオブジェクト固有の表現を形成する。 本稿では,下流腫瘍予測のための転送可能な表現として,Segment Anything Model 2 (SAM2)オブジェクトポインタ,セグメンテーション経路を通じて生成されたコンパクトなオブジェクトレベル表現について検討する。 2つのPET/CT腫瘍予測タスクの実験を通して、下流ラベルに最適化されていないにもかかわらず、既に腫瘍識別情報をコード化しているセグメンテーション監督を用いて学習したオブジェクトポインタが見つかった。 さらにタスク誘導型オブジェクトポインターを導入し、補助的な目的が下流予測のためのオブジェクトポインター空間をセグメント化と共に共同で形成する。 タスク誘導ポインタは、がんタイプの分類を改善し、従来のエンコーダベースの転送や放射能より優れ、セグメンテーションのみポインタはより困難な再発予測タスクで最善を尽くす。 表現解析により,対象ポインターと解釈可能な放射能の特徴,学習された表現空間のクラス依存的な構成,およびセグメント化された腫瘍周辺の空間的接地との関連が明らかになった。 これらの結果から,従来のエンコーダを用いたトランスファーの代替として,基礎モデルの一次タスクの実行によって有用なトランスファー可能な表現が生まれる可能性が示唆された。

関連論文リスト

• A Bottom-Up Approach to Class-Agnostic Image Segmentation [4.086366531569003]
  本稿では,クラスに依存しないセグメンテーション問題に対処するためのボトムアップの新たな定式化を提案する。 我々は、その特徴空間の射影球に直接ネットワークを監督する。 ボトムアップの定式化は、クラスベースのセグメンテーション用に設計されたデータセットで訓練された場合でも、例外的な一般化能力を示す。
  論文  参考訳（メタデータ） (2024-09-20T17:56:02Z)
• Weakly-Supervised Cross-Domain Segmentation of Electron Microscopy with Sparse Point Annotation [1.124958340749622]
  カウント,検出,セグメンテーションタスク間の相関を利用したマルチタスク学習フレームワークを提案する。 ラベル拡張のためのクロスポジションカット・アンド・ペーストを開発し,エントロピーに基づく擬似ラベル選択を行う。 提案手法は, UDA法を著しく上回り, 教師付き手法と同等の性能を発揮する。
  論文  参考訳（メタデータ） (2024-03-31T12:22:23Z)
• Diffusion Model is Secretly a Training-free Open Vocabulary Semantic Segmenter [47.29967666846132]
  生成テキストから画像への拡散モデルは非常に効率的なオープン語彙セマンティックセマンティックセマンティクスである。 我々はDiffSegmenterという新しいトレーニング不要のアプローチを導入し、入力テキストに意味的に忠実な現実的なオブジェクトを生成する。 3つのベンチマークデータセットの大規模な実験により、提案したDiffSegmenterは、オープン語彙セマンティックセマンティックセグメンテーションの印象的な結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-09-06T06:31:08Z)
• Semantics Meets Temporal Correspondence: Self-supervised Object-centric Learning in Videos [63.94040814459116]
  自己教師付き手法は、高レベルの意味論と低レベルの時間対応の学習において顕著な進歩を見せている。 融合した意味特徴と対応地図の上に,意味認識型マスキングスロットアテンションを提案する。 我々は、時間的コヒーレントなオブジェクト中心表現を促進するために、セマンティックおよびインスタンスレベルの時間的一貫性を自己スーパービジョンとして採用する。
  論文  参考訳（メタデータ） (2023-08-19T09:12:13Z)
• Weakly-supervised Contrastive Learning for Unsupervised Object Discovery [52.696041556640516]
  ジェネリックな方法でオブジェクトを発見できるため、教師なしのオブジェクト発見は有望である。 画像から高レベルな意味的特徴を抽出する意味誘導型自己教師学習モデルを設計する。 オブジェクト領域のローカライズのための主成分分析(PCA)を導入する。
  論文  参考訳（メタデータ） (2023-07-07T04:03:48Z)
• Framework-agnostic Semantically-aware Global Reasoning for Segmentation [29.69187816377079]
  本稿では,画像特徴を潜在表現に投影し,それら間の関係を推論するコンポーネントを提案する。 我々の設計では、活性化領域が空間的に不整合であることを保証することにより、潜在領域が意味概念を表現することを奨励している。 潜在トークンはセマンティックに解釈可能で多様性があり、下流タスクに転送可能な豊富な機能セットを提供します。
  論文  参考訳（メタデータ） (2022-12-06T21:42:05Z)
• Saliency Guided Inter- and Intra-Class Relation Constraints for Weakly Supervised Semantic Segmentation [66.87777732230884]
  本稿では,活性化対象領域の拡大を支援するために,Salliency Guided Inter-およびIntra-Class Relation Constrained (I$2$CRC) フレームワークを提案する。 また,オブジェクトガイド付きラベルリファインメントモジュールを導入し,セグメンテーション予測と初期ラベルをフル活用し,優れた擬似ラベルを得る。
  論文  参考訳（メタデータ） (2022-06-20T03:40:56Z)
• TraSeTR: Track-to-Segment Transformer with Contrastive Query for Instance-level Instrument Segmentation in Robotic Surgery [60.439434751619736]
  そこで我々は,TraSeTRを提案する。TraSeTR,TraSeTR,Trace-to-Segment Transformerは,手術器具のセグメンテーションを支援する。 TraSeTRは、機器の種類、位置、アイデンティティとインスタンスレベルの予測を共同で理由付けている。 提案手法の有効性を,3つの公開データセットに対して,最先端の計器型セグメンテーション結果を用いて実証した。
  論文  参考訳（メタデータ） (2022-02-17T05:52:18Z)
• Target-Aware Object Discovery and Association for Unsupervised Video Multi-Object Segmentation [79.6596425920849]
  本稿では,教師なしビデオマルチオブジェクトセグメンテーションの課題について述べる。 より正確で効率的な時間区分のための新しいアプローチを紹介します。 DAVIS$_17$とYouTube-VISに対する提案手法を評価した結果,セグメント化精度と推論速度の両方において最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-04-10T14:39:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。