論文の概要: Interfacing Foundation Models' Embeddings
- arxiv url: http://arxiv.org/abs/2312.07532v1
- Date: Tue, 12 Dec 2023 18:58:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-13 14:38:24.955091
- Title: Interfacing Foundation Models' Embeddings
- Title(参考訳): ファウンデーションモデルの埋め込み
- Authors: Xueyan Zou, Linjie Li, Jianfeng Wang, Jianwei Yang, Mingyu Ding,
Zhengyuan Yang, Feng Li, Hao Zhang, Shilong Liu, Arul Aravinthan, Yong Jae
Lee, Lijuan Wang
- Abstract要約: FINDはファウンデーションモデルの埋め込みを調整するための汎用インターフェースである。
これは、同じアーキテクチャと重みの下で、検索、セグメンテーション、textitetc.にまたがる様々なタスクに適用される。
インターリーブされた埋め込み空間を考慮して,COCOデータセットに新たなトレーニングと評価アノテーションを導入したFIND-Benchを導入する。
- 参考スコア(独自算出の注目度): 136.93591492633607
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present FIND, a generalized interface for aligning foundation models'
embeddings. As shown in teaser figure, a lightweight transformer interface
without tuning any foundation model weights is enough for a unified image
(segmentation) and dataset-level (retrieval) understanding. The proposed
interface has the following favorable attributes: (1) Generalizable. It applies
to various tasks spanning retrieval, segmentation, \textit{etc.}, under the
same architecture and weights. (2) Prototypable. Different tasks are able to be
implemented through prototyping attention masks and embedding types. (3)
Extendable. The proposed interface is adaptive to new tasks, and new models.
(4) Interleavable. With the benefit of multi-task multi-modal training, the
proposed interface creates an interleaved shared embedding space. In light of
the interleaved embedding space, we introduce the FIND-Bench, which introduces
new training and evaluation annotations to the COCO dataset for interleave
segmentation and retrieval. Our approach achieves state-of-the-art performance
on FIND-Bench and competitive performance on standard retrieval and
segmentation settings. The training, evaluation, and demo code as well as the
dataset have been released at https://github.com/UX-Decoder/FIND.
- Abstract(参考訳): 基礎モデルの埋め込みを整合させる汎用インターフェースであるFINDを提案する。
ティーザー図に示すように、基礎モデルの重みをチューニングしない軽量トランスフォーマーインターフェースは、統一されたイメージ(セグメンテーション)とデータセットレベルの理解に十分である。
提案するインタフェースは,(1) 一般化可能な属性を持つ。
これは、検索、セグメンテーション、 \textit{etc} にまたがる様々なタスクに適用できる。
アーキテクチャと重みは同じです。
2)プロトタイパブル。
異なるタスクは、注意マスクと埋め込みタイプをプロトタイピングすることで実装できる。
(3)拡張可能。
提案したインタフェースは、新しいタスクと新しいモデルに適応する。
(4) インターリーブ可能。
マルチタスクマルチモーダルトレーニングの利点により、提案したインタフェースはインターリーブされた共有埋め込み空間を生成する。
インターリーブ埋め込み空間を考慮したFIND-Benchを導入し,COCOデータセットに新たなトレーニングと評価アノテーションを導入し,セグメンテーションと検索を行う。
提案手法は、FIND-Benchにおける最先端性能と、標準検索およびセグメンテーション設定における競合性能を実現する。
トレーニング、評価、およびデモコードとデータセットはhttps://github.com/UX-Decoder/FINDでリリースされた。
関連論文リスト
- Customizing Segmentation Foundation Model via Prompt Learning for Instance Segmentation [7.6136466242670435]
Segment Anything Model (SAM)は、画像セグメンテーションタスクの一般化性と柔軟性の顕著な進歩で際立っている。
そこで本研究では,SAMに適応した即時学習によるインスタンスセグメンテーションをカスタマイズする手法を提案する。
提案手法は,ユーザ意図に合うように入力プロンプトを埋め込み空間に調整するプロンプト学習モジュール (PLM) を備える。
論文 参考訳(メタデータ) (2024-03-14T09:13:51Z) - Semantic-SAM: Segment and Recognize Anything at Any Granularity [83.64686655044765]
本稿では,任意の粒度でセグメンテーションと認識を可能にする汎用画像セグメンテーションモデルであるSemantic-SAMを紹介する。
複数のデータセットを3つの粒度に集約し、オブジェクトとパーツの分離した分類を導入する。
マルチグラニュラリティ機能を実現するために,各クリックで複数のレベルのマスクを生成できるマルチ選択学習方式を提案する。
論文 参考訳(メタデータ) (2023-07-10T17:59:40Z) - AIMS: All-Inclusive Multi-Level Segmentation [93.5041381700744]
視覚領域を3つのレベル(パート、エンティティ、リレーション)に分割するタスクであるAll-Inclusive Multi-Level(AIMS)を提案する。
また、アノテーションの不整合とタスク相関の2つの大きな課題に対処するために、マルチデータセットのマルチタスクトレーニングを通じて統合されたAIMSモデルを構築します。
論文 参考訳(メタデータ) (2023-05-28T16:28:49Z) - Dataset Interfaces: Diagnosing Model Failures Using Controllable
Counterfactual Generation [85.13934713535527]
分散シフトは、機械学習モデルの主要な障害源である。
入力データセットとユーザが指定したシフトを与えられたフレームワークは、望ましいシフトを示すインスタンスを返す。
本稿では,このデータセットインターフェースをImageNetデータセットに適用することにより,分散シフトの多種多様さにまたがるモデル動作の学習が可能になることを示す。
論文 参考訳(メタデータ) (2023-02-15T18:56:26Z) - Fashionformer: A simple, Effective and Unified Baseline for Human
Fashion Segmentation and Recognition [80.74495836502919]
本研究では,共同ファッションセグメンテーションと属性認識に着目した。
本稿では,セグメンテーションのためのオブジェクトクエリと属性予測のための属性クエリを紹介する。
属性ストリームのために,よりきめ細かい特徴を探索する新しいマルチレイヤレンダリングモジュールを設計する。
論文 参考訳(メタデータ) (2022-04-10T11:11:10Z) - Mapping the Internet: Modelling Entity Interactions in Complex
Heterogeneous Networks [0.0]
サンプル表現、モデル定義、トレーニングのための汎用性のある統一フレームワークHMill'を提案します。
フレームワークに実装されたモデルによって実現されたすべての関数の集合に対する普遍近似定理の拡張を示す。
このフレームワークを使ってサイバーセキュリティドメインから3つの異なる問題を解決する。
論文 参考訳(メタデータ) (2021-04-19T21:32:44Z) - Reviving Iterative Training with Mask Guidance for Interactive
Segmentation [8.271859911016719]
クリックに基づくインタラクティブセグメンテーションに関する最近の研究は、様々な推論時間最適化スキームを用いて最先端の結果を示している。
従来のステップのセグメンテーションマスクを用いた,クリックベースのインタラクティブセグメンテーションのための簡単なフィードフォワードモデルを提案する。
COCOとLVISの組み合わせで訓練されたモデルと、多様で高品質のアノテーションは、既存のすべてのモデルよりも優れたパフォーマンスを示しています。
論文 参考訳(メタデータ) (2021-02-12T15:44:31Z) - Auto-Panoptic: Cooperative Multi-Component Architecture Search for
Panoptic Segmentation [144.50154657257605]
本稿では、バックボーン、セグメンテーションブランチ、フィーチャーフュージョンモジュールを含むすべての主要コンポーネントを同時に検索する効率的なフレームワークを提案する。
検索したアーキテクチャ、すなわちAuto-Panopticは、挑戦的なCOCOとADE20Kベンチマークに関する新しい最先端技術を実現します。
論文 参考訳(メタデータ) (2020-10-30T08:34:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。