論文の概要: SceneBind: Binding What and Where Across Vision, Audio and Language
- arxiv url: http://arxiv.org/abs/2607.15265v1
- Date: Thu, 16 Jul 2026 17:55:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:33.203584
- Title: SceneBind: Binding What and Where Across Vision, Audio and Language
- Title（参考訳）: SceneBind: 視覚、オーディオ、言語間の結合
- Abstract要約: SceneBindは、視覚、音声、言語を横断する3次元の空間的理解と共同意味を持つ現実的なシーンのモデアルな表現である。
SceneBindは各シーンを意味空間の実体として表現し、グローバルな意味空間の埋め込みとオブジェクト中心の意味空間のスロットを組み合わせる。
最先端のシーンと空間検索を実現し、オーディオ視覚のローカライゼーションのような下流タスクへのゼロショット転送を可能にした。
- 参考スコア（独自算出の注目度）: 23.212877285053093
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present SceneBind, an omni-modal representation of realistic scenes with joint semantic and 3D spatial understanding across vision, audio and language. Existing omni-modal encoders excel at instance-level semantics (i.e., what is present), but often lack explicit spatial structure (i.e., where it is). SceneBind addresses this gap by representing each scene as a semantic-spatial entity, combining a global semantic embedding with object-centric semantic-spatial slots. This representation explicitly captures object-level semantics, spatial attributes, and uncertainty. We further propose SceneBind Matching, a semantic-spatial matching scheme that integrates global scene similarity with object alignment, supporting cross-modal scene retrieval and object grounding. To train and evaluate SceneBind, we curate a novel real-world binaural audio-visual dataset with structured semantic and spatial annotations, and propose a training protocol for aligning semantic and spatial signals across modalities. SceneBind is compatible with large-scale pretrained semantic encoders, adds lightweight spatial modeling with only a few additional tokens. It achieves state-of-the-art scene and spatial retrieval while enabling strong zero-shot transfer to downstream tasks such as audio-visual localization.
- Abstract（参考訳）: SceneBindは,視覚,音声,言語にまたがる3次元空間的理解とセマンティック・セマンティック・3次元空間的理解を両立させた,リアルなシーンのモデアル表現である。
既存のOmni-modalエンコーダは、インスタンスレベルのセマンティクス(すなわち、現在あるもの)に優れるが、しばしば明示的な空間構造(すなわち、どこにあるか)を欠いている。
SceneBindは、各シーンを意味空間のエンティティとして表現し、グローバルな意味空間の埋め込みとオブジェクト中心の意味空間のスロットを組み合わせることで、このギャップに対処する。
この表現は、明示的にオブジェクトレベルのセマンティクス、空間属性、不確実性をキャプチャする。
さらに,オブジェクトアライメントとグローバルなシーン類似性を統合したセマンティック空間マッチングスキームであるSceneBind Matchingを提案する。
SceneBindを訓練・評価するために,構造化意味および空間アノテーションを用いた実世界のバイノーラル・オーディオ・ビジュアル・データセットをキュレートし,モダリティ間の意味的および空間的信号の整合性を評価するためのトレーニングプロトコルを提案する。
SceneBindは、大規模で事前訓練されたセマンティックエンコーダと互換性があり、軽量な空間モデリングといくつかのトークンしか追加しない。
最先端のシーンと空間検索を実現し、音声視覚のローカライゼーションのような下流タスクへの強力なゼロショット転送を可能にした。
関連論文リスト
- OmniGF: A Dual-Branch Vision-Language Framework for Unified Gaze Following [59.53720386342017]
拡張性のある多対人視線推論に基礎的な視覚言語モデルを適用する統合視覚言語フレームワークを提案する。
すべての個人をモデル化することにより、OmniGFは正確な空間的視線目標推定、意味的視線予測、複雑な社会的視線推定をシームレスに統合する。
論文 参考訳（メタデータ） (2026-05-26T00:08:06Z) - Human Motion Synthesis in 3D Scenes via Unified Scene Semantic Occupancy [0.0]
本研究では,シーン表現のためのSSO(Scene Semantic Occupancy)を統一した動作合成フレームワークSSOMotionを提案する。
フレームワイドシーンクエリによる動作制御命令からシーンヒントと移動方向を抽出する。
シェープネット家具を用いた散らばったシーンと、PropXとReplicaデータセットからスキャンしたシーンを比較検討し、その最先端性能を実証した。
論文 参考訳（メタデータ） (2025-11-11T04:33:16Z) - Vision-Language Integration for Zero-Shot Scene Understanding in Real-World Environments [0.0]
本研究では,事前学習した視覚エンコーダと大規模言語モデルを統一する視覚言語統合フレームワークを提案する。
提案システムでは,トップ1の精度が最大18%向上し,セマンティック・コヒーレンス・メトリクスが顕著に向上した。
論文 参考訳（メタデータ） (2025-10-29T01:16:21Z) - SemanticSplat: Feed-Forward 3D Scene Understanding with Language-Aware Gaussian Fields [33.113865514268085]
ホロスティックな3Dシーン理解は、拡張現実やロボットインタラクションといったアプリケーションには不可欠だ。
既存のフィードフォワード3Dシーン理解手法(例えば、LSM)は、シーンから言語ベースのセマンティクスを抽出することに限定されている。
フィードフォワード型セマンティック3D再構成手法であるSemanticSplatを提案する。
論文 参考訳（メタデータ） (2025-06-11T09:56:39Z) - EgoSplat: Open-Vocabulary Egocentric Scene Understanding with Language Embedded 3D Gaussian Splatting [108.15136508964011]
EgoSplatは、オープン・ボキャブラリ・エゴセントリック・シーン理解のための3Dガウス・スプレイティング・フレームワークである。
EgoSplatは2つのデータセット上のローカライゼーションタスクとセグメンテーションタスクの両方において、最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-03-14T12:21:26Z) - Mapping High-level Semantic Regions in Indoor Environments without
Object Recognition [50.624970503498226]
本研究では,屋内環境における埋め込みナビゲーションによる意味領域マッピング手法を提案する。
地域識別を実現するために,視覚言語モデルを用いて地図作成のためのシーン情報を提供する。
グローバルなフレームにエゴセントリックなシーン理解を投影することにより、提案手法は各場所の可能な領域ラベル上の分布としてのセマンティックマップを生成する。
論文 参考訳（メタデータ） (2024-03-11T18:09:50Z) - LAW-Diffusion: Complex Scene Generation by Diffusion with Layouts [107.11267074981905]
LAW拡散(LAW-Diffusion)と呼ばれる意味制御可能なレイアウト・AWare拡散モデルを提案する。
LAW拡散は、特にコヒーレントな対象関係を持つ最先端の生成性能をもたらすことを示す。
論文 参考訳（メタデータ） (2023-08-13T08:06:18Z) - Semantic-guided modeling of spatial relation and object co-occurrence for indoor scene recognition [5.083140094792973]
SpaCoNetは、セマンティックセグメンテーションによって導かれるオブジェクトの空間的関係と共起を同時にモデル化する。
広範に利用されている3つのシーンデータセットの実験結果から,提案手法の有効性と汎用性を示す。
論文 参考訳（メタデータ） (2023-05-22T03:04:22Z) - Semantic Scene Completion via Integrating Instances and Scene
in-the-Loop [73.11401855935726]
Semantic Scene Completionは、単一の視野深度またはRGBD画像から正確なボキセルワイズセマンティクスで完全な3Dシーンを再構築することを目指しています。
本稿では、シーンレベルのセマンティクス情報とインスタンスレベルのセマンティクス情報の両方を利用するScene-Instance-Scene Network(textitSISNet)を提案する。
本手法は, セマンティックなカテゴリが容易に混在している近傍のオブジェクトと同様に, きめ細かい形状の細部を推定できる。
論文 参考訳（メタデータ） (2021-04-08T09:50:30Z) - In-Place Scene Labelling and Understanding with Implicit Scene
Representation [39.73806072862176]
ニューラルラジアンスフィールド(NeRF)を拡張して、外観とジオメトリでセマンティクスを共同エンコードします。
ルームスケールのシーンでは、ラベルがスパースまたは非常に騒々しい場合、このアプローチの利点を示します。
論文 参考訳（メタデータ） (2021-03-29T18:30:55Z) - SIRI: Spatial Relation Induced Network For Spatial Description
Resolution [64.38872296406211]
言語誘導型ローカライゼーションのための新しい関係誘導型ネットワーク(SIRI)を提案する。
提案手法は,80ピクセルの半径で測定した精度で,最先端手法よりも約24%優れていた。
提案手法は,Touchdownと同じ設定で収集した拡張データセットをうまく一般化する。
論文 参考訳（メタデータ） (2020-10-27T14:04:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。