論文の概要: VOLA: Improving Open-World Driving by VLM-Based Semantic Attribute Prediction

• arxiv url: http://arxiv.org/abs/2608.11777v1
• Date: Wed, 12 Aug 2026 08:20:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.51699
• Title: VOLA: Improving Open-World Driving by VLM-Based Semantic Attribute Prediction
• Title（参考訳）: VOLA: VLMに基づくセマンティック属性予測によるオープンワールド運転の改善
• Abstract要約: 我々は、CARLAで構築された高密度属性ラベルをトレーニングし、実際のシーンへのテスト転送と、トレーニングで見たことのない新しい障害に対処する。 我々のモデルは、慣れ親しんだカテゴリで強力な視覚のみのセグメンタと一致し、実際のオープンワールド異常への転送を改善する。
• 参考スコア（独自算出の注目度）: 11.12676579692013
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Driving in the real world is open-world: a car may encounter a fallen mattress, a deer, or other objects outside its training data. Naming them is not enough. The system must know how to treat each region: can it drive over it, and how severe would a collision be? We therefore shift scene perception from category labels to dense action-relevant attributes, where each pixel is labeled by how it should affect motion rather than by object name. We instantiate this general formulation with two ordered attributes: 7-rank drivability and 5-rank vulnerability. We read Qwen3.5 image-token hidden states directly as a spatial semantic representation. A lightweight boundary-aware decoder then turns this coarse token grid into sharp full-resolution attribute maps. The whole process requires neither autoregressive text generation nor an external mask model such as SAM. We train on dense attribute labels built in CARLA and test transfer to real scenes and to novel obstacles never seen in training. We compare with vision-only segmenters trained on the same attributes and prompted VLM segmenters. Our model matches strong vision-only segmenters on familiar categories and improves transfer to real open-world anomalies, reaching 69.4% mean vulnerability-rank recall versus 57.1% for the best vision-only baseline and 53.9% for the best prompted VLM baseline. These results show that VLM image tokens provide useful semantic cues for transferring driving attributes to objects outside the training vocabulary.
• Abstract（参考訳）: 車はマットレスや鹿などのトレーニングデータ以外の物体に遭遇する可能性がある。 命名だけでは不十分。 システムは各地域をどのように扱うかを知る必要がある。 そこで私たちは,シーン認識をカテゴリラベルから高密度なアクション関連属性にシフトさせ,各ピクセルがオブジェクト名ではなく動作にどう影響するかをラベル付けする。 7ランクの乾燥性と5ランクの脆弱性の2つの属性でこの一般的な定式化をインスタンス化する。 空間意味表現として,Qwen3.5画像の隠れ状態を直接読み取る。 軽量な境界対応デコーダは、この粗いトークングリッドをシャープなフルレゾリューション属性マップに変換する。 プロセス全体は自動回帰テキスト生成もSAMのような外部マスクモデルも必要としない。 我々は、CARLAで構築された高密度属性ラベルをトレーニングし、実際のシーンへのテスト転送と、トレーニングで見たことのない新しい障害に対処する。 我々は、同じ属性で訓練された視覚のみのセグメンタと比較し、VLMセグメンタを誘導する。 我々のモデルは、慣れ親しんだカテゴリで強力な視覚のみのセグメンタと一致し、実際のオープンワールドの異常への転送を改善し、69.4%が脆弱性ランクのリコール、57.1%が視覚のみのベースライン、53.9%がVLMベースラインに到達した。 これらの結果から, VLM画像トークンは, 学習語彙外の物体に駆動属性を伝達するのに有用な意味的手がかりを提供することがわかった。

関連論文リスト

• EXPL-FR: Explaining Face Recognition Models via Vision-Language Alignment [16.296464057419517]
  軽量のアダプタは、視覚言語モデル(VLM)イメージエンコーダと凍ったFR空間をアライメントし、顔画像だけで訓練され、テキスト上は決して訓練されない。 ラベルなし検出可能性尺度は、FR空間における各概念の分離可能性とVLM空間を比較し、最も検出可能な100個のモデルの意味シグネチャを比較する。 我々は、4つのFRバックボーンと2つのVLMエンコーダをカバーし、EXPL-FRはアーキテクチャアクセスを必要としない。
  論文  参考訳（メタデータ） (2026-08-21T12:16:35Z)
• Mask What Matters: Saliency-Guided Video Self-Supervised Learning for Autonomous Driving [57.56568641990586]
  V-JEPA4A(V-JEPA4A)は、自律運転のためのドメイン特化版であり、新規なサリエンシ駆動マスキングポリシを備えた、一般公開された運転ビデオに事前トレーニングされている。 V-JEPA4Aは、BDD100k MOTのアイデンティティスイッチを、ランダムマスキングでV-JEPAよりも25%削減し、シティでは73.2 mIoU、KITTI-2015の深さでは3.75 RMSEを達成した。
  論文  参考訳（メタデータ） (2026-08-17T22:39:49Z)
• Patch Policy: Efficient Embodied Control via Dense Visual Representations [52.199962246592285]
  我々は,フルVLMの計算オーバーヘッドを伴わずに,事前訓練済みの高密度パッチトークンを直接消費するパッチポリシーを開発した。 提案手法は,最先端のグローバルプール表現を用いた政策よりも40%の相対的な改善を実現している。 微調整されたOpenVLA-OFTを18%上回り、パラメータの約0.7%を使用する。
  論文  参考訳（メタデータ） (2026-07-20T17:59:41Z)
• WOW-Seg: A Word-free Open World Segmentation Model [54.80135620139728]
  我々はWOW-Segを提案する。WOW-Segは、オープンセットのカテゴリからオブジェクトをセグメンテーションし、認識するための、ワードフリーのオープンワールドモデルである。 具体的には、WOW-Segは画像マスクを視覚トークンに変換する新しいビジュアルプロンプトモジュールMask2Tokenを導入した。 また、オープンワールド領域認識テストベンチマーク、リージョン認識データセットを構築した。
  論文  参考訳（メタデータ） (2026-05-16T09:28:46Z)
• A Unified Masked Jigsaw Puzzle Framework for Vision and Language Models [109.4033233070067]
  Transformerにおける位置埋め込み(PE)の勾配には十分な情報が含まれており、入力データの再構築に使用できる。 我々は,Transformerモデルの勾配攻撃に対する堅牢性を改善するために,Masked Jigsaw Puzzle (MJP) フレームワークを導入した。 MJPは視覚と言語の両方のタスクにおいて異なるトランスフォーマーベースのモデルのための統一されたフレームワークであることを示唆している。
  論文  参考訳（メタデータ） (2026-01-17T13:32:32Z)
• COARSE: Collaborative Pseudo-Labeling with Coarse Real Labels for Off-Road Semantic Segmentation [49.267650162344765]
  COARSEはオフロードセマンティックセグメンテーションのための半教師付きドメイン適応フレームワークである。 我々は、協調的な擬似ラベル戦略によって強化された、補完的なピクセルレベルとパッチレベルのデコーダでドメインギャップをブリッジする。
  論文  参考訳（メタデータ） (2025-03-05T22:25:54Z)
• Visual Data-Type Understanding does not emerge from Scaling Vision-Language Models [31.69213233651326]
  視覚データ型識別の新しい課題について紹介する。 39の視覚言語モデル(VLM)の広範囲なゼロショット評価は、微妙なパフォーマンスランドスケープを示している。
  論文  参考訳（メタデータ） (2023-10-12T17:59:30Z)
• Vision Transformer with Super Token Sampling [93.70963123497327]
  多くの視覚タスクにおいて、視覚変換器は印象的なパフォーマンスを達成した。 浅い層のために局所的な特徴を捉える際に、高い冗長性に悩まされる可能性がある。 スーパートークンは、視覚的コンテンツの意味的に意味のあるテッセルレーションを提供しようとする。
  論文  参考訳（メタデータ） (2022-11-21T03:48:13Z)
• Open-Vocabulary Instance Segmentation via Robust Cross-Modal Pseudo-Labeling [61.03262873980619]
  Open-vocabularyのインスタンスセグメンテーションは、マスクアノテーションなしで新しいクラスをセグメンテーションすることを目的としている。 本研究では,字幕内の単語の意味を画像中のオブジェクトマスクの視覚的特徴と整合させることで,擬似マスクの訓練を行うクロスモーダルな擬似ラベルフレームワークを提案する。 我々のフレームワークは、生徒の自己学習のための単語意味論を通じて、キャプションに新しいクラスをラベル付けすることができる。
  論文  参考訳（メタデータ） (2021-11-24T18:50:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。