論文の概要: Is It Time for the Renaissance of Salient Object Detection in the Era of MLLMs?
- arxiv url: http://arxiv.org/abs/2607.29222v1
- Date: Fri, 31 Jul 2026 09:54:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-03 14:29:40.678941
- Title: Is It Time for the Renaissance of Salient Object Detection in the Era of MLLMs?
- Title(参考訳): MLLM時代における有能物体検出のルネッサンスの時か?
- Abstract要約: MLLM(Multimodal large language model)は、タスク固有の監視を超越した、有能なオブジェクト検出(SOD)を推進している。
SODをローカライズとセグメンテーションに分解し、フレーズ、ボックス、属性でデータセットを再エンジニアリングする。
We introduced the first training-free framework that leverages Collaborative attention for Unified SOD (FOCUS)。
- 参考スコア(独自算出の注目度): 25.03825424390989
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The zero-shot capabilities of multimodal large language models (MLLMs) are pushing salient object detection (SOD) beyond task-specific supervision. To disentangle MLLMs beyond conventional mask-based evaluation, we decompose SOD into localization and segmentation, and re-engineer datasets with phrases, boxes, and attributes, establishing a diagnostic benchmark for MLLM saliency perception (SaliLLM). SaliLLM uncovers a striking capability mismatch: MLLMs outperform state-of-the-art (SOTA) methods in localization, yet remain substantially weaker in segmentation. Further analyses attribute this gap primarily to mismatches between MLLMs and annotations over foreground cardinality, granularity, and extent. Motivated by this diagnosis, we recast zero-shot SOD as protocol-aligned Foreground Organization and introduce the first training-free framework that leverages Gestalt-inspired Collaborative attention for Unified SOD (FOCUS). FOCUS couples top-down Bayesian-surprise calibration of protocol-conditioned foreground granularity with bottom-up propagation of MLLMs evidence over entity-centric perceptual manifolds induced by self-supervised features, yielding coherent object extents as prompts for a general segmenter. Across 13 RGB, RGB-D, and RGB-T SOD benchmarks, FOCUS generally surpasses SOTA methods without training, reducing mean absolute error by 11\%, 34\%, and 48\% compared with fully, weakly, and self-supervised methods, respectively. Our findings signal the renaissance of SOD: from task-specific supervision to zero-shot foreground organization. Code is available in the supplementary material.
- Abstract(参考訳): MLLM(Multimodal large language model)のゼロショット機能は、タスク固有の監督を超越した、有能なオブジェクト検出(SOD)を推し進めている。
従来のマスクに基づく評価を超えてMLLMを分解するために,SODを局所化とセグメンテーションに分解し,フレーズ,ボックス,属性を含むデータセットを再エンジニアリングし,MLLMの塩分感の診断ベンチマーク(SaliLLM)を確立する。
MLLMはローカライゼーションにおいて最先端のSOTA(State-of-the-art)メソッドよりも優れるが、セグメンテーションでは著しく弱い。
さらなる分析は、このギャップを主に、前景の濃度、粒度、範囲に関するMLLMとアノテーションのミスマッチによるものとしている。
この診断に触発され,ゼロショットSODをプロトコル整合型フォアグラウンド組織として再放送し,ゲシュタルトに触発された統一SOD(FOCUS)の協調的注意を生かした最初のトレーニングフリーフレームワークを導入した。
FOCUSは、自己監督的特徴によって誘導されるエンティティ中心の知覚多様体に対するMLLMのボトムアップ伝播によるプロトコル条件前景のキャリブレーションと、プロトコル条件前景のキャリブレーションを結合し、一般セグメンタのプロンプトとしてコヒーレントな対象範囲を生成する。
13のRGB、RGB-D、RGB-T SODベンチマークで、FOCUSは訓練なしでSOTAメソッドを上回り、平均絶対誤差をそれぞれ完全に、弱い、そして自己管理の手法と比較して11\%、34\%、48\%削減している。
本研究は,SODのルネッサンスを示唆するものであり,タスク固有の監督からゼロショットフォアグラウンド組織まで。
コードは補足資料で入手できる。
関連論文リスト
- Detect Before You Attribute: Cascade Failure Attribution for Multi-Agent Systems [27.57915091923977]
DUOTRACEはLLMベースの障害属性に対するプラグアンドプレイ検出フィルタである。
最初は異常な実行を検出し、下流の帰属法に焦点を絞った軌道証拠を提供する。
実験によると、DUOTRACEはエージェントレベルとステップレベルの属性の精度をそれぞれ8.7%と7.0%改善している。
論文 参考訳(メタデータ) (2026-08-30T08:17:42Z) - Every Token Counts: Exact Likert-Scale Distributions for Measuring LLM Attitudes and Biases [0.0]
大規模言語モデル(LLM)の制御行動評価のための分析的正確なフレームワークを提案する。
因果的主因果的および相互作用的効果を系統的に分離するために,非構造的プロンプトを完全クロスファクター実験に置き換える。
我々は、これらのPMFを解析的に処理するために、多変量順序のコンセンサスメトリックと分布ANOVAを導出する。
当社の枠組みは,5つのLDMを対象とした消費者倫理中心主義のケーススタディを用いて検証し,我々のアプローチが,ベンチマークを不明瞭に集約する全体的国家偏見をいかに分離するかを実証した。
論文 参考訳(メタデータ) (2026-08-11T05:20:06Z) - Deep Residual Injection for Full-Spectrum Forensic Signal Perception in Multimodal Large Language Models [51.099179436350376]
マルチモーダルな大言語モデル(MLLM)は、その堅牢な意味理解のために、法医学においてますます採用されている。
本稿では,人工物固有の視覚信号を中間層に残路として注入しながら,初期意味処理を保存するためのDeep Visual Residual MLLM(Deep-VRM)を提案する。
これにより、後続のレイヤは意味論的推論と信号レベルの法医学的手がかりを共同でモデル化することができ、驚くべきことに、モデルが入力に応じて異なるレベルの法医学的信号を適応的に活用することを学ぶ。
論文 参考訳(メタデータ) (2026-06-14T16:05:45Z) - From Drop-off to Recovery: A Mechanistic Analysis of Segmentation in MLLMs [50.185593677108436]
マルチモーダル大言語モデル(MLLM)は、ピクセルレベルの視覚タスクにますます適用されているが、空間的理解の本質的な能力は理解されていない。
本稿では,MLLMパイプライン全体(ビジョンエンコーダ,アダプタ,LSM)の階層的線形探索によるセグメント化能力について検討する。
論文 参考訳(メタデータ) (2026-03-18T00:22:15Z) - Bootstrapping MLLM for Weakly-Supervised Class-Agnostic Object Counting [59.37613121962146]
本稿では,クラスに依存しないオブジェクトカウントのためのMLLM駆動型弱教師付きフレームワークWS-COCを提案する。
WS-COCは、多くの最先端の完全に管理されたメソッドと一致し、また、アノテーションのコストを大幅に削減します。
論文 参考訳(メタデータ) (2026-02-13T09:58:35Z) - From Indoor to Open World: Revealing the Spatial Reasoning Gap in MLLMs [65.04549036809557]
我々は、ステレオカメラ、LiDAR、IMU/GPSセンサーで撮影された歩行者の視線映像から構築したベンチマークを紹介する。
このデータセットは、計量的に正確な3D情報を提供し、空間的推論質問の自動生成を可能にする。
評価の結果、構造化屋内ベンチマークで観測された性能向上は、オープンワールド環境では消滅することが明らかとなった。
論文 参考訳(メタデータ) (2025-12-22T18:58:12Z) - Spatial Preference Rewarding for MLLMs Spatial Understanding [92.25703021388142]
マルチモーダル大言語モデル (MLLM) は, 有望な空間理解能力を示した。
彼らの成功にもかかわらず、MLLMは依然として微粒な空間知覚能力に不足している。
本稿では,MLLMの空間能力を高めるSPR(Spatial Preference Rewarding)アプローチを提案する。
論文 参考訳(メタデータ) (2025-10-16T07:16:18Z) - Quantization Meets dLLMs: A Systematic Study of Post-training Quantization for Diffusion LLMs [78.09559830840595]
本稿では拡散に基づく言語モデルの定量化に関する最初の体系的研究について述べる。
異常に大きなアクティベーション値によって特徴付けられるアクティベーションアウトリーチの存在を同定する。
我々は最先端のPTQ手法を実装し、包括的な評価を行う。
論文 参考訳(メタデータ) (2025-08-20T17:59:51Z) - AU-LLM: Micro-Expression Action Unit Detection via Enhanced LLM-Based Feature Fusion [26.058143518505805]
本稿では,微妙な強度とデータ不足を伴うマイクロ圧縮データセットにおけるマイクロ圧縮アクションユニット(AU)の検出にLarge Language Modelsを用いた新しいフレームワークであるtextbfAU-LLMを紹介する。
EFPはMulti-Layer Perceptron(MLP)を用いて、特殊な3D-CNNバックボーンからの中間レベル(局所的なテクスチャ)と高レベル(グローバルなセマンティクス)の視覚的特徴を単一の情報密度トークンにインテリジェントに融合する。
論文 参考訳(メタデータ) (2025-07-29T13:01:59Z) - Beyond Fully Supervised Pixel Annotations: Scribble-Driven Weakly-Supervised Framework for Image Manipulation Localization [11.10178274806454]
アノテーションの効率と検出性能を向上させる弱監督方式を提案する。
我々は、スクリブルラベルでメインストリームのMLデータセットを再注釈し、最初のスクリブルベースのMLデータセットを提案する。
モデルが一貫した予測を生成することを奨励するために,構造的整合性を損なう自己教師型トレーニングを採用する。
論文 参考訳(メタデータ) (2025-07-17T11:45:27Z) - Localization and Expansion: A Decoupled Framework for Point Cloud Few-shot Semantic Segmentation [39.7657197805346]
Point Cloud few-shot semantic segmentation (PC-FSS)は、特定のクエリポイントクラウドに、いくつかのアノテーション付きのサポートサンプルで、新しいカテゴリのターゲットをセグメントすることを目的としている。
本稿では,DLE(Decoupled Localization and Expansion)の精神における,シンプルで効果的な枠組みを提案する。
構造的ローカライゼーションモジュール(SLM)と自己拡張モジュール(SEM)を含むDLEは、いくつかのメリットを享受している。
論文 参考訳(メタデータ) (2024-08-25T07:34:32Z) - Learning Prompt-Enhanced Context Features for Weakly-Supervised Video
Anomaly Detection [37.99031842449251]
弱い監督下での映像異常検出は重大な課題を呈する。
本稿では,効率的なコンテキストモデリングとセマンティック識別性の向上に焦点をあてた,弱教師付き異常検出フレームワークを提案する。
提案手法は,特定の異常なサブクラスの検出精度を大幅に向上させ,その実用的価値と有効性を裏付けるものである。
論文 参考訳(メタデータ) (2023-06-26T06:45:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。