論文の概要: VespaSeg: A Resource-Aware Ground-then-Segment Pipeline for Referring Expression Segmentation
- arxiv url: http://arxiv.org/abs/2608.01077v1
- Date: Sun, 02 Aug 2026 08:21:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.07854
- Title: VespaSeg: A Resource-Aware Ground-then-Segment Pipeline for Referring Expression Segmentation
- Title（参考訳）: VespaSeg:表現セグメンテーションの参照のためのリソースを意識したグラウンドセグメンテーションパイプライン
- Abstract要約: 本稿では,コンパクトな視覚言語モデルによるテキストクエリを基盤とするモジュールパイプラインであるVespaSegを紹介する。
本研究では,Floence-2-base,Florence-2-large,Moondream2のグラウンドを,グラウンドおよびセグメンテーションステージのターゲット適応とともに検討した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Referring expression segmentation requires language conditioned localization and pixel-accurate masks, but monolithic models can be costly to deploy. We present VespaSeg, a modular pipeline that grounds a text query with a compact vision-language model and converts the predicted box to a mask with MobileSAM. We study Florence-2-base, Florence-2-large, and Moondream2 grounders together with targeted adaptation of the grounding and segmentation stages. Under a repository-specific RefCOCO validation protocol containing the first expression for each of 3,811 referenced-object records, the adapted Florence-2-base pipeline obtains 73.64 mean intersection over union (mIoU) and 84.60 precision at IoU 0.5. On an NVIDIA RTX 6000 Ada GPU it processes 22.8 cached-image queries per second with 2.20 GB mean allocated GPU memory. A matched 500-query comparison gives 73.73 mIoU for Florence-2-base and 72.82 for Florence-2-large, while the base model is 1.70 times faster and uses 1.17 GB less allocated memory. Ablations show that ground-truth-box adaptation raises MobileSAM mIoU from 82.22 to 86.61 and that reducing the Florence-2 output-token budget from 64 to 32 preserves accuracy. These results support compact, modular grounding and segmentation, while also exposing the need for evaluation on the complete standard RefCOCO expression splits and deployment hardware.
- Abstract（参考訳）: 式セグメンテーションの参照には言語条件のローカライゼーションとピクセル精度のマスクが必要だが、モノリシックモデルはデプロイするのにコストがかかる。
本稿では,テキストクエリをコンパクトな視覚言語モデルでグラウンドし,予測ボックスをMobileSAMでマスクに変換するモジュールパイプラインであるVespaSegを紹介する。
本研究では,Floence-2-base,Florence-2-large,Moondream2のグラウンドを,グラウンドおよびセグメンテーションステージのターゲット適応とともに検討した。
3,811個の参照オブジェクトレコードそれぞれに対する最初の式を含むリポジトリ固有のRefCOCO検証プロトコルの下で、適応されたFlorence-2ベースパイプラインは、IoU0.5で73.64平均結合(mIoU)と84.60精度を得る。
NVIDIA RTX 6000 Ada GPUでは、毎秒22.8キャッシュイメージクエリを処理し、平均2.20GBのGPUメモリを割り当てている。
一致する500クエリの比較では、Florence-2ベースが73.73 mIoU、Florence-2大規模が72.82 U、ベースモデルが1.70倍高速で、メモリ割り当てが1.17GB少ない。
アブレーションでは、基幹トラスボックスの適応によりMobileSAM mIoUが82.22から86.61に上昇し、Floence-2出力の予算が64から32に削減されたことが正確である。
これらの結果は、コンパクトでモジュール化されたグラウンドとセグメンテーションをサポートし、また、完全な標準RefCOCO式分割とデプロイメントハードウェアの評価の必要性を明らかにしている。
関連論文リスト
- SeGDeP: Semantic- and Geometric-Aware Decoupled Prompts for Reasoning Segmentation [51.46828526392219]
推論セグメンテーションは暗黙の言語学的結論を正確なマスクに変換する。
既存のMLLMセグメンタインタフェースでは、特別なトリガーを使用するか、両方の信号を1つのコンテキストに圧縮する。
明示的なWhat-whereインターフェースであるSeGDePを提示する。
論文 参考訳（メタデータ） (2026-09-08T15:11:32Z) - Mixture-of-Parallelisms: Towards Memory-Efficient Training Stack for Mixture-of-Experts Models [67.17268530365189]
本稿では,Mixture-of-Experts(MoE)モデルのためのメモリ効率のトレーニングスタックを紹介する。
さまざまなレイヤやMoEモデルのトレーニングパイプラインのステージにおいて、さまざまな既存および新しい並列処理テクニックを組み合わせて、特殊化する。
論文 参考訳（メタデータ） (2026-07-02T08:06:57Z) - A Modelling and Evaluation Framework for EuroCrops-Driven Sentinel-2 Crop Segmentation [78.66324246922831]
本研究では,Sentinel-2イメージとEuroCropsパーセルレベルのアノテーションからセマンティックセグメンテーション対応農業データセットを生成するパイプラインを提案する。
このデータセットには、ヨーロッパ5カ国から67,337のパッチが含まれており、10種類の作物と背景の分類を減らしている。
The four-level U-Net with Group Normalization were training using 10 Sentinel-2 spectrum bands and a Composite loss with class-weighted cross-entropy and Dice loss。
論文 参考訳（メタデータ） (2026-05-30T11:20:29Z) - Density Field State Space Models: 1-Bit Distillation, Efficient Inference, and Knowledge Organization in Mamba-2 [0.0]
Int8の低ランク補正を施した1ビット足場にSSMを圧縮するフレームワークである密度場状態空間モデル(DF-SSM)を提案する。
278MBモデル(FP16教師の2.7GBより9.7倍小さい)をGPU上で21.4倍高速に動作させる。
論文 参考訳（メタデータ） (2026-04-28T14:25:10Z) - A Survey of Spatial Memory Representations for Efficient Robot Navigation [4.560386676154887]
52のシステムにまたがる88の参照の空間記憶効率の問題を調査した。
M_textpeak / M_textmap$は、ピーク時メモリ(操作中に消費される全RAMまたはGPUメモリ)と保存されたマップサイズとの比率である。
論文 参考訳（メタデータ） (2026-04-13T02:12:17Z) - Scaling DoRA: High-Rank Adaptation via Factored Norms and Fused Kernels [83.99688944263843]
DoRA(Weight-De Low-Rank Adaptation)は、LoRAを方向から分離することで拡張する。
d_in = 8192 とランク r = 384 では、単一のモジュールのノルムは bf16 で512MB の過渡的なワーキングメモリを必要とする。
因子ノルムは、二乗ノルムを O(d_out r + r2) 中間体を通して計算可能な基底、交差、およびグラマー項に分解し、密積を除去する。
論文 参考訳（メタデータ） (2026-03-23T17:57:24Z) - ES-dLLM: Efficient Inference for Diffusion Large Language Models by Early-Skipping [26.560813832545563]
拡散大言語モデル(dLLMs)は、自己回帰モデル(ARMs)に代わる有望な選択肢として浮上している。
我々は、dLLMの生成ダイナミクスを分析し、キー、値、隠された状態を含む中間表現が連続するイテレーション間でのみ微妙に変化することを発見した。
我々は,dLLMのトレーニング不要な推論高速化フレームワークである textbfES-dLLM を提案する。
論文 参考訳（メタデータ） (2026-03-10T14:31:19Z) - LFM2 Technical Report [87.58431408281973]
LFM2は、デバイス上での効率的なデプロイと強力なタスク機能を実現するために設計された、Liquid Foundation Modelsのファミリーである。
LFM2ファミリーは350M-8.3Bパラメータをカバーしており、密度の高いモデル(350M, 700M, 1.2B, 2.6B)と試験用混合物(合計8.3B, 1.5B)を含んでいる。
視覚遅延タスクのためのLFM2-VL,音声のためのLFM2-Audio,検索のためのLFM2-ColBERTを構築した。
論文 参考訳（メタデータ） (2025-11-28T17:56:35Z) - Looking Locally: Object-Centric Vision Transformers as Foundation Models for Efficient Segmentation [3.5297361401370053]
現在の最先端セグメンテーションモデルは、特定のオブジェクトにフォーカスする前に全画像をエンコードする。
本稿では,生物にインスパイアされたトップダウンアテンションを通してオブジェクトセグメンテーションを実現する,パラメータ効率のよい視覚モデルFLIPを紹介する。
FLIPセグメントは、既存のモデルに深刻な欠陥がある場合、非常に小さなオブジェクトでも正確に表現できることが示される。
論文 参考訳（メタデータ） (2025-02-04T23:07:34Z) - Mixture-of-Transformers: A Sparse and Scalable Architecture for Multi-Modal Foundation Models [111.97026994761254]
Mixture-of-Transformer (MoT) はスパースマルチモーダルトランスアーキテクチャである。
MoTはモデルの非埋め込みパラメータをモダリティで分離する。
複数の設定とモデルスケールでMoTを評価する。
論文 参考訳（メタデータ） (2024-11-07T18:59:06Z) - Achieving Personalized Federated Learning with Sparse Local Models [75.76854544460981]
フェデレートラーニング(FL)は異種分散データに対して脆弱である。
この問題に対処するため、個人ごとに専用のローカルモデルを作成するためにパーソナライズされたFL(PFL)が提案された。
既存のPFLソリューションは、異なるモデルアーキテクチャに対する不満足な一般化を示すか、あるいは膨大な余分な計算とメモリを犠牲にするかのどちらかである。
我々は、パーソナライズされたスパースマスクを用いて、エッジ上のスパースローカルモデルをカスタマイズする新しいPFLスキームFedSpaを提案する。
論文 参考訳（メタデータ） (2022-01-27T08:43:11Z) - Real-time Semantic Segmentation with Context Aggregation Network [14.560708848716754]
本稿では,2分岐畳み込みニューラルネットワークを提案する。
本研究では,2つのセマンティックセグメンテーションデータセット,すなわちCityscapesデータセットとUAVidデータセットについて評価を行った。
論文 参考訳（メタデータ） (2020-11-02T14:16:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。