論文の概要: RT-VLM: Re-Thinking Vision Language Model with 4-Clues for Real-World Object Recognition Robustness

• arxiv url: http://arxiv.org/abs/2509.05333v1
• Date: Mon, 01 Sep 2025 02:13:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:03.435045
• Title: RT-VLM: Re-Thinking Vision Language Model with 4-Clues for Real-World Object Recognition Robustness
• Title（参考訳）: RT-VLM:リアルタイム物体認識ロバストネスのための4キュー付き視覚言語モデル
• Authors: Junghyun Park, Tuan Anh Nguyen, Dugki Min,
• Abstract要約: 現実世界のデプロイメントは、しばしば、最新のオブジェクト認識モデルをドメインシフトに公開し、精度を著しく低下させる。 この劣化を軽減するため、我々はRT-VLM(Re-Thinking Vision Language Model)フレームワークを導入する。
• 参考スコア（独自算出の注目度）: 2.9979091009694088
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Real world deployments often expose modern object recognition models to domain shifts that precipitate a severe drop in accuracy. Such shifts encompass (i) variations in low level image statistics, (ii) changes in object pose and viewpoint, (iii) partial occlusion, and (iv) visual confusion across adjacent classes. To mitigate this degradation, we introduce the Re-Thinking Vision Language Model (RT-VLM) framework. The foundation of this framework is a unique synthetic dataset generation pipeline that produces images annotated with "4-Clues": precise bounding boxes, class names, detailed object-level captions, and a comprehensive context-level caption for the entire scene. We then perform parameter efficient supervised tuning of Llama 3.2 11B Vision Instruct on this resource. At inference time, a two stage Re-Thinking scheme is executed: the model first emits its own four clues, then re examines these responses as evidence and iteratively corrects them. Across robustness benchmarks that isolate individual domain shifts, RT-VLM consistently surpasses strong baselines. These findings indicate that the integration of structured multimodal evidence with an explicit self critique loop constitutes a promising route toward reliable and transferable visual understanding.
• Abstract（参考訳）: 現実世界のデプロイメントは、しばしば、最新のオブジェクト認識モデルをドメインシフトに公開し、精度を著しく低下させる。 このような変化は包含する (i)低レベル画像統計の変動 (二)物ポーズ及び視点の変化 (三)部分閉塞、及び (4)隣接クラス間の視覚的混乱。 この劣化を軽減するため、我々はRT-VLM(Re-Thinking Vision Language Model)フレームワークを導入する。 このフレームワークの基盤は,正確なバウンディングボックス,クラス名,詳細なオブジェクトレベルのキャプション,シーン全体の包括的なコンテキストレベルのキャプションなど,“4キュー”で注釈付けされたイメージを生成する,ユニークな合成データセット生成パイプラインである。 次に、このリソース上でLlama 3.2 11B Vision Instruct のパラメータ効率的な教師付きチューニングを行う。 モデルが最初に4つのヒントを出力した後、これらの応答を証拠として再検証し、反復的に修正する。 個々のドメインシフトを分離する堅牢性ベンチマーク全体にわたって、RT-VLMは一貫して強いベースラインを超えている。 これらの結果から,構造化マルチモーダル・エビデンスと明示的な自己批判ループの統合が,信頼性と伝達性のある視覚的理解への有望な道のりとなっていることが示唆された。

関連論文リスト

• Unveiling the Lack of LVLM Robustness to Fundamental Visual Variations: Why and Path Forward [1.7971686967440696]
  V$2$R-Benchは、LVLMの視覚変化ロバスト性を評価するためのベンチマークフレームワークである。 本研究では,複雑な視覚言語タスクに優れた高度なモデルが,オブジェクト認識などの単純なタスクでは著しく性能が劣っていることを示す。 これらの脆弱性は、パイプラインアーキテクチャにおけるエラーの蓄積と、マルチモーダルアライメントの不十分に起因する。
  論文  参考訳（メタデータ） (2025-04-23T14:01:32Z)
• Benchmark Granularity and Model Robustness for Image-Text Retrieval [44.045767657945895]
  データセットの粒度とクエリの摂動が検索性能とロバスト性にどのように影響するかを示す。 よりリッチなキャプションは、特にテキスト・ツー・イメージタスクにおいて、検索を継続的に強化することを示す。 本研究は, モデル頑健性の変化とキャプション粒度と感度摂動のデータセット依存的関係に着目した。
  論文  参考訳（メタデータ） (2024-07-21T18:08:44Z)
• Hierarchical Temporal Context Learning for Camera-based Semantic Scene Completion [57.232688209606515]
  カメラによるセマンティックシーンの補完を改善するための,新たな時間的文脈学習パラダイムであるHTCLを提案する。 提案手法は,Semantic KITTIベンチマークで1st$をランク付けし,mIoUの点でLiDARベースの手法を超えている。
  論文  参考訳（メタデータ） (2024-07-02T09:11:17Z)
• The Change You Want to See [91.3755431537592]
  同じシーンの2つのイメージが与えられた場合、その変更を自動的に検出できることは、様々な領域で実用的応用をもたらす。 画像対の「オブジェクトレベル」変化を、視点や照明の違いにかかわらず検出することを目的として、変化検出問題に取り組む。
  論文  参考訳（メタデータ） (2022-09-28T18:10:09Z)
• Bridging the Gap between Object and Image-level Representations for Open-Vocabulary Detection [54.96069171726668]
  オープンボキャブラリ検出(OVD)で使用される2種類の弱いスーパービジョンには、事前訓練されたCLIPモデルと画像レベルの監視が含まれる。 本稿では,CLIPモデルから言語埋め込みをオブジェクト中心でアライメントすることでこの問題に対処することを提案する。 上記の2つの対物配向戦略の橋渡しを,新しい重み伝達関数を用いて行う。
  論文  参考訳（メタデータ） (2022-07-07T17:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。