論文の概要: BinoGen: Scaling egocentric binocular data for embodied visual perception and learning

• arxiv url: http://arxiv.org/abs/2609.19881v1
• Date: Thu, 17 Sep 2026 08:29:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.168125
• Title: BinoGen: Scaling egocentric binocular data for embodied visual perception and learning
• Title（参考訳）: BinoGen:自己中心型双眼データのスケーリングによる視覚知覚と学習
• Abstract要約: 身体的視覚知覚は、環境との連続的な関わりを通じて蓄積された時間的コヒーレントな視覚経験に依存している。 我々は、大規模なエンボディメントを意識した双眼視覚体験を自動生成するフレームワークであるBinoGenを紹介する。 BinoGenは、深度マップ、光学フロー、表面正規化、セマンティックマップ、オブジェクト座標、カメラポーズを含む密集したマルチモーダル監視とともに、同期双眼鏡ビデオを生成する。
• 参考スコア（独自算出の注目度）: 1.743382719650277
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Embodied visual perception relies on temporally coherent visual experience accumulated through continuous engagement with the environment. However, collecting large-scale egocentric binocular observations together with dense annotations remains costly and difficult. Moreover, visual experience is shaped not only by the environment but also by the embodiment of the observer, including viewing height, field of view, binocular geometry, and motion through the scene. To address these challenges, we present BinoGen, an automated framework for generating large-scale, embodiment-aware egocentric binocular visual experiences in indoor environments. BinoGen jointly models environmental and observer variation through generative scene synthesis, probabilistic object instantiation, appearance randomization, stochastic trajectory generation, and configurable binocular camera setups. The framework produces synchronized binocular videos together with dense multimodal supervision, including depth maps, optical flow, surface normals, semantic maps, object coordinates, and camera poses. Using BinoGen, we construct a dataset comprising more than 20 million annotated images for supervised learning. We demonstrate two complementary utilities of BinoGen. First, incorporating BinoGen data consistently improves real-world visual perception, including depth estimation, object detection, and video object tracking. Second, paired human-inspired and mouse-inspired observations from the same environments enable controlled investigation of how observer embodiment affects perceptual learning. Embodiment-specific adaptation substantially improves performance, while joint training enables a single model to perform competitively across both embodiments. Together, these results demonstrate that large-scale, controllable visual experience can improve embodied perception...
• Abstract（参考訳）: 身体的視覚知覚は、環境との連続的な関わりを通じて蓄積された時間的コヒーレントな視覚経験に依存している。 しかし、高濃度のアノテーションとともに大規模な自我中心の双眼観察を収集することは、費用がかかり難いままである。 さらに、視覚体験は、環境だけでなく、視野の高さ、視野、双眼図形、シーン内の動きなど、観察者の体現によっても形成される。 これらの課題に対処するため,BinoGenは,屋内環境における大規模でエゴセントリックな双眼視覚体験を自動生成するフレームワークである。 BinoGenは、生成シーン合成、確率的オブジェクトインスタンス化、外観ランダム化、確率軌道生成、構成可能な双眼カメラ設定を通じて、環境と観測者の変動を共同でモデル化する。 このフレームワークは、深度マップ、光学フロー、表面正規化、セマンティックマップ、オブジェクト座標、カメラポーズを含む密集したマルチモーダル監視とともに、同期化された双眼鏡ビデオを生成する。 BinoGenを用いて2000万以上の注釈付き画像からなるデータセットを構築し,教師あり学習を行う。 BinoGenの2つの補完ユーティリティを実証する。 まず、BinoGenデータを統合することで、深度推定、オブジェクト検出、ビデオオブジェクト追跡など、現実世界の視覚知覚が一貫して改善される。 第二に、同じ環境から人間にインスパイアされた、マウスにインスパイアされた観察によって、観察者のエンボディメントが知覚学習にどのように影響するかを制御できる。 エンボディメント固有の適応はパフォーマンスを大幅に改善する一方、ジョイントトレーニングは、一つのモデルが両方のエンボディメントをまたいで競争的に実行できるようにする。 これらの結果は、大規模で制御可能な視覚体験が、具体的知覚を改善することを証明している。

関連論文リスト

• CalibAnyView: Beyond Single-View Camera Calibration in the Wild [59.66873936532375]
  カメラキャリブレーションは、信頼性の高い幾何学的知覚の基本的な前提条件である。 近年の学習に基づく手法では、単一ビューの校正には有望な結果が得られたが、本質的に複数のビューにまたがる幾何的整合性は無視されている。 任意の数の入力ビューをサポートする統一的な定式化であるCalibAnyViewを紹介します。
  論文  参考訳（メタデータ） (2026-05-14T09:32:12Z)
• PicoEyes: Unified Gaze Estimation Framework for Mixed Reality with a Large-Scale Multi-View Dataset [1.7596293300635233]
  PicoEyesは、視線のすべての重要な特性を直接予測する統合された視線推定フレームワークである。 キャリブレーション、視線予測、さまざまなデバイス姿勢を同時に処理する。 眼のパラメータと深度マップをエンドツーエンドで共同で推定することで、三次元眼の再構成をサポートする。
  論文  参考訳（メタデータ） (2026-05-08T03:34:09Z)
• Revisiting Multi-Task Visual Representation Learning [52.93947931352643]
  本稿では,マルチタスク・ビジュアル事前学習フレームワークであるMTVを紹介する。 我々は、高容量の「エキスパート」モデルを利用して、高密度で構造化された擬似ラベルを大規模に合成する。 以上の結果から,MTV が "Best-of-both-worlds" のパフォーマンスを達成できることが示唆された。
  論文  参考訳（メタデータ） (2026-01-20T11:59:19Z)
• Object Concepts Emerge from Motion [24.73461163778215]
  教師なしの方法でオブジェクト中心の視覚表現を学習するための生物学的にインスパイアされたフレームワークを提案する。 我々の重要な洞察は、運動境界がオブジェクトレベルのグルーピングの強いシグナルとなることである。 我々のフレームワークは完全にラベルフリーで、カメラキャリブレーションに頼らず、大規模な非構造化ビデオデータにスケーラブルである。
  論文  参考訳（メタデータ） (2025-05-27T18:09:02Z)
• SpikeGen: Decoupled "Rods and Cones" Visual Representation Processing with Latent Generative Framework [53.27177454390712]
  本研究では,現代の潜在空間生成フレームワークとマルチモーダル視覚入力を統合することで,人間の視覚システムをエミュレートすることを目的とする。 我々はSpikeGenと命名し、条件付き画像やビデオの劣化、スパイクストリームからの高密度フレーム再構成、高速シーンノベルビュー合成など、様々なスパイクRGBタスクのパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2025-05-23T15:54:11Z)
• SocialEyes: Scaling mobile eye-tracking to multi-person social settings [34.82692226532414]
  我々は、複数の移動眼球追跡装置から収集した同期データを、集合的な視聴体験中にストリーミングし、記録し、分析するシステムを開発した。 我々は,2つの公開イベント(N=60)毎に,30人の同時視聴者によるライブコンサートと映画上映でシステムをテストした。 我々の新しい分析指標と可視化は、協調行動と社会的相互作用を理解するための集合的視線追跡データの可能性を示している。
  論文  参考訳（メタデータ） (2024-07-08T19:33:17Z)
• Online Deep Clustering with Video Track Consistency [85.8868194550978]
  ビデオオブジェクトトラックから視覚的特徴を学習するための教師なしクラスタリングに基づく手法を提案する。 教師なしのクラス非依存でノイズの多いトラックジェネレータを利用すれば、コストと正確なトラックアノテーションに依存するよりも精度が向上することを示す。
  論文  参考訳（メタデータ） (2022-06-07T08:11:00Z)
• Bayesian Eye Tracking [63.21413628808946]
  モデルに基づく視線追跡は、目の特徴検出エラーの影響を受けやすい。 モデルベースアイトラッキングのためのベイズフレームワークを提案する。 提案手法は,最先端のモデルベースおよび学習ベースの手法と比較して,一般化能力の大幅な向上を示す。
  論文  参考訳（メタデータ） (2021-06-25T02:08:03Z)
• Benchmarking Unsupervised Object Representations for Video Sequences [111.81492107649889]
  ViMON, OP3, TBA, SCALORの4つのオブジェクト中心アプローチの知覚能力を比較した。 この結果から,制約のない潜在表現を持つアーキテクチャは,オブジェクト検出やセグメンテーション,トラッキングといった観点から,より強力な表現を学習できる可能性が示唆された。 我々のベンチマークは、より堅牢なオブジェクト中心のビデオ表現を学習するための実りあるガイダンスを提供するかもしれない。
  論文  参考訳（メタデータ） (2020-06-12T09:37:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。