論文の概要: ZIL: Zero-shot Image-to-LiDAR Registration

• arxiv url: http://arxiv.org/abs/2609.22716v1
• Date: Sat, 19 Sep 2026 03:04:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.529245
• Title: ZIL: Zero-shot Image-to-LiDAR Registration
• Title（参考訳）: ZIL:Zero-shot Image-to-LiDAR登録
• Abstract要約: ゼロショット非同期画像-LiDAR登録のための基礎モデルZILを提案する。 ZILはインプットイメージとポイントクラウドをVision and Point Transformerでエンコードする。 ZILは5つのドメイン内ベンチマークとゼロショットベンチマークにまたがる単一のモデルで、従来のSOTAを一貫して大幅に上回っている。
• 参考スコア（独自算出の注目度）: 25.24455881291117
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Image-to-LiDAR registration estimates the camera pose of an image with respect to a LiDAR point cloud. It has diverse applications in autonomous driving, robot navigation etc. However, state-of-the-art (SOTA) methods still 1) mostly assume same-frame inputs, struggling with the image and point cloud from distant frames; 2) rely on domain-specific training, failing to generalize to unseen scenarios. We propose ZIL, the first foundation model for zero-shot non-synchronized image-to-LiDAR registration. ZIL encodes the input image and point cloud with the Vision and Point Transformers. In addition to regressing the relative pose, ZIL also learns to predict 3D coordinates, which substantially improves the pose accuracy without additional annotations. Interestingly, naive mix-data training cannot enable zero-shot generalization, which requires normalization on both camera intrinsics and the LiDAR vertical-axis origin. Trained on 7 public datasets with 1.4M LiDAR frames, ZIL consistently and significantly outperforms previous SOTA with a single model across 5 in-domain and zero-shot benchmarks, reducing the translation and rotation errors by up to 87% and 76% (shown in Fig. 1). Code and models are available at https://github.com/ZijunLi7/ZIL.
• Abstract（参考訳）: Image-to-LiDAR登録は、LiDARポイントクラウドに対する画像のカメラポーズを推定する。 自律運転やロボットナビゲーションなど、さまざまな応用がある。 しかし、SOTA(State-of-the-art)メソッドは今も残っている。 1) 主に、遠方のフレームからの画像と点雲に苦しむ、同一のフレーム入力を前提とします。 2) ドメイン固有のトレーニングに依存し、目に見えないシナリオへの一般化に失敗する。 ゼロショット非同期画像-LiDAR登録のための基礎モデルZILを提案する。 ZILはインプットイメージとポイントクラウドをVision and Point Transformerでエンコードする。 相対的なポーズの後退に加えて、ZILは3D座標の予測も学習し、追加のアノテーションなしでポーズの精度を大幅に改善する。 興味深いことに、単純混合データトレーニングではゼロショットの一般化が不可能であり、カメラ内在とLiDARの垂直軸起源の両方を正規化する必要がある。 1.4MのLiDARフレームを持つ7つの公開データセットでトレーニングされたZILは、5つのドメイン内およびゼロショットベンチマークで1つのモデルで旧SOTAを一貫して大幅に上回り、翻訳とローテーションエラーを最大87%、ローテーションエラーを最大76%削減した(図1)。 コードとモデルはhttps://github.com/ZijunLi7/ZILで入手できる。

関連論文リスト

• Image-to-Point Cloud Registration Made Easy with Rectified Flow-based LiDAR Upsampling [15.063950064670403]
  I2P(Image-to-Point Cloud Registration)は、認識システムや自律システムにおいて、カメラとLiDARを統合する上で不可欠である。 我々は,LiDARを単一スパースLiDARスキャンから撮像センサとして扱う,シンプルで効果的なI2P法を提案する。 R3LIVEデータセットを用いた実験により,提案手法は4.89/1.63mの平均誤差を達成し,既存の手法より優れていた。
  論文  参考訳（メタデータ） (2026-07-16T07:06:04Z)
• Where Am I? Semantic Map Grounding via Vision-Language Models for Multi-Modal Localization [0.0]
  我々は,GPSを用いた屋内環境におけるロボットのローカライゼーションをセマンティック推論タスクとして再検討することで解決する。 人間が対象レベルの手がかりやラベル付き地図を使ってローカライズする方法に触発されて、正面カメラ画像が与えられた視覚言語モデルがロボットのポーズを推測できるかどうかを問う。 我々は、Qwen2.5-VL-7BをLoRAで微調整し、連続的なポーズ座標を予測する軽量回帰ヘッドを装着する。
  論文  参考訳（メタデータ） (2026-07-01T15:37:29Z)
• Effective Multi-sensor Conditioning for Street-view Novel-view Synthesis [53.67632483195509]
  ビデオ拡散フレームワークであるStreetNVSを紹介する。 我々は,高架,車線シフト,引き戻し,回転などの極端な軌道外経路に沿ってコヒーレントな映像を合成する能力を示す。
  論文  参考訳（メタデータ） (2026-06-01T02:37:56Z)
• ZeroGS: Training 3D Gaussian Splatting from Unposed Images [62.34149221132978]
  我々はZeroGSを提案し、3DGSを何百もの未提示画像から訓練する。 本手法は,事前学習した基礎モデルをニューラルネットワークのシーン表現として活用する。 提案手法は,最先端のポーズレスNeRF/3DGS法よりも高精度なカメラポーズを復元する。
  論文  参考訳（メタデータ） (2024-11-24T11:20:48Z)
• Self-supervised Learning of LiDAR 3D Point Clouds via 2D-3D Neural Calibration [107.61458720202984]
  本稿では,自律走行シーンにおける3次元知覚を高めるための,新しい自己教師型学習フレームワークを提案する。 本稿では,画像とポイントクラウドデータの領域ギャップを埋めるために,学習可能な変換アライメントを提案する。 我々は剛性ポーズを推定するために密度の高い2D-3D対応を確立する。
  論文  参考訳（メタデータ） (2024-01-23T02:41:06Z)
• COLMAP-Free 3D Gaussian Splatting [88.420322646756]
  本稿では,SfM前処理を使わずに新しいビュー合成を実現する手法を提案する。 入力フレームを逐次的に処理し、一度に1つの入力フレームを取ることで3Dガウスを段階的に成長させる。 提案手法は, 映像合成とカメラポーズ推定において, 大きな動き変化下での従来手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-12-12T18:39:52Z)
• Metric3D: Towards Zero-shot Metric 3D Prediction from A Single Image [85.91935485902708]
  ゼロショット単視距離深度モデルの鍵は、大規模データトレーニングと様々なカメラモデルからの距離あいまいさの解消の組合せにあることを示す。 本稿では,あいまいさ問題に明示的に対処し,既存の単分子モデルにシームレスに接続可能な標準カメラ空間変換モジュールを提案する。 本手法は, ランダムに収集したインターネット画像上での計測3次元構造の正確な復元を可能にする。
  論文  参考訳（メタデータ） (2023-07-20T16:14:23Z)
• (LC)$^2$: LiDAR-Camera Loop Constraints For Cross-Modal Place Recognition [0.9449650062296824]
  本稿では,先行点クラウドマップを使わずにLiDARローカライゼーションを実現するために, (LC)$2$と呼ばれる新しいクロスマッチング手法を提案する。 ネットワークは、異なる画像とレンジ画像からローカライズ記述子を抽出するために訓練される。 我々は、LiDARベースのナビゲーションシステムが画像データベースから最適化され、その逆も可能であることを実証する。
  論文  参考訳（メタデータ） (2023-04-17T23:20:16Z)
• BEVFusion: A Simple and Robust LiDAR-Camera Fusion Framework [20.842800465250775]
  現在の手法では、LiDARセンサーの点雲をクエリとして利用し、画像空間の機能を活用している。 我々は、カメラストリームがLiDARデータの入力に依存しないBEVFusionと呼ばれる驚くほど単純で斬新な融合フレームワークを提案する。 通常のトレーニング環境下では,我々のフレームワークが最先端の手法を超越していることを実証的に示す。
  論文  参考訳（メタデータ） (2022-05-27T06:58:30Z)
• Lateral Ego-Vehicle Control without Supervision using Point Clouds [50.40632021583213]
  既存の視覚に基づく横方向の車両制御に対する教師付きアプローチは、RGB画像を適切な操舵コマンドに直接マッピングすることができる。 本稿では、横方向の車両制御のための、より堅牢でスケーラブルなモデルをトレーニングするためのフレームワークを提案する。 オンライン実験により,本手法の性能は教師付きモデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-03-20T21:57:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。