論文の概要: Adaptable Deformable Convolutions for Semantic Segmentation of Fisheye
Images in Autonomous Driving Systems
- arxiv url: http://arxiv.org/abs/2102.10191v1
- Date: Fri, 19 Feb 2021 22:47:44 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-24 05:17:00.583477
- Title: Adaptable Deformable Convolutions for Semantic Segmentation of Fisheye
Images in Autonomous Driving Systems
- Title(参考訳): 自律走行システムにおける魚眼画像のセマンティックセグメンテーションのための適応的変形可能な畳み込み
- Authors: Cl\'ement Playout, Ola Ahmad, Freddy Lecue and Farida Cheriet
- Abstract要約: 標準画像に訓練されたCNNが魚眼画像に容易に適応できることを示した。
我々の適応プロトコルは主に、既存の層の上に変形可能な等価性を使用することで畳み込みのサポートを変更することに依存している。
- 参考スコア(独自算出の注目度): 4.231909978425546
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Advanced Driver-Assistance Systems rely heavily on perception tasks such as
semantic segmentation where images are captured from large field of view (FoV)
cameras. State-of-the-art works have made considerable progress toward applying
Convolutional Neural Network (CNN) to standard (rectilinear) images. However,
the large FoV cameras used in autonomous vehicles produce fisheye images
characterized by strong geometric distortion. This work demonstrates that a CNN
trained on standard images can be readily adapted to fisheye images, which is
crucial in real-world applications where time-consuming real-time data
transformation must be avoided. Our adaptation protocol mainly relies on
modifying the support of the convolutions by using their deformable equivalents
on top of pre-existing layers. We prove that tuning an optimal support only
requires a limited amount of labeled fisheye images, as a small number of
training samples is sufficient to significantly improve an existing model's
performance on wide-angle images. Furthermore, we show that finetuning the
weights of the network is not necessary to achieve high performance once the
deformable components are learned. Finally, we provide an in-depth analysis of
the effect of the deformable convolutions, bringing elements of discussion on
the behavior of CNN models.
- Abstract(参考訳): 高度なドライバアシスタンスシステムは、大きな視野(FoV)カメラから画像がキャプチャされるセマンティックセグメンテーションなどの知覚タスクに大きく依存します。
最新の研究は、convolutional neural network(cnn)を標準画像(rectilinear)に適用する上で大きな進歩を遂げている。
しかし、自動運転車で使用される大型FoVカメラは、強い幾何学的歪みを特徴とする魚眼画像を生成します。
この研究は、標準的な画像に基づいてトレーニングされたCNNが魚眼画像に容易に適応できることを示し、これはリアルタイムデータ変換の時間を要する現実のアプリケーションでは不可欠である。
我々の適応プロトコルは主に、既存の層の上に変形可能な等価性を使用することで畳み込みのサポートを変更することに依存している。
最適支援の調整にはラベル付き魚眼画像の限られた量しか必要とせず、少数のトレーニングサンプルは広角画像上での既存のモデルの性能を著しく向上させるのに十分であることを示す。
さらに、変形可能なコンポーネントが学習されると、ネットワークの重みを微調整して高性能を達成する必要はありません。
最後に,変形可能な畳み込みの効果を詳細に分析し,cnnモデルの挙動に関する議論の要素について述べる。
関連論文リスト
- Convolution kernel adaptation to calibrated fisheye [45.90423821963144]
畳み込み核は畳み込みニューラルネットワーク(CNN)の基本構造成分である
本稿では,カメラのキャリブレーションを利用してコンボリューションカーネルを変形させ,歪みに適応させる手法を提案する。
小型のデータセットで簡単な微調整を施すことで,漁獲魚のネットワーク性能が向上することを示す。
論文 参考訳(メタデータ) (2024-02-02T14:44:50Z) - Learning Robust Multi-Scale Representation for Neural Radiance Fields
from Unposed Images [65.41966114373373]
コンピュータビジョンにおけるニューラルイメージベースのレンダリング問題に対する改善された解決策を提案する。
提案手法は,テスト時に新たな視点からシーンのリアルなイメージを合成することができる。
論文 参考訳(メタデータ) (2023-11-08T08:18:23Z) - Distance Weighted Trans Network for Image Completion [52.318730994423106]
本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。
CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。
DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
論文 参考訳(メタデータ) (2023-10-11T12:46:11Z) - SimFIR: A Simple Framework for Fisheye Image Rectification with
Self-supervised Representation Learning [105.01294305972037]
自己教師型表現学習に基づく魚眼画像修正のためのフレームワークであるSimFIRを紹介する。
まず魚眼画像を複数のパッチに分割し,その表現を視覚変換器で抽出する。
下流修正作業における転送性能が著しく向上し、学習された表現の有効性が検証される。
論文 参考訳(メタデータ) (2023-08-17T15:20:17Z) - DELAD: Deep Landweber-guided deconvolution with Hessian and sparse prior [0.22940141855172028]
本稿では,古典的反復法をディープラーニングアプリケーションに組み込んだ非盲検画像デコンボリューションモデルを提案する。
このアルゴリズムは、トレーニング可能な畳み込み層と統合され、復元された画像構造と詳細を強化する。
論文 参考訳(メタデータ) (2022-09-30T11:15:03Z) - Spherical Image Inpainting with Frame Transformation and Data-driven
Prior Deep Networks [13.406134708071345]
本研究では,深層学習に基づく正規化器を用いた球面画像の塗布作業に焦点をあてる。
我々は,高速な球面ハールフレームレット変換を採用し,フレームレット変換のスパース性仮定に基づく新しい最適化フレームワークを開発した。
提案アルゴリズムは、損傷した球面画像を大幅に復元し、深層学習デノイザとプラグ・アンド・プレイモデルを用いて、純粋に最高の性能が得られることを示す。
論文 参考訳(メタデータ) (2022-09-29T07:51:27Z) - FisheyeHDK: Hyperbolic Deformable Kernel Learning for Ultra-Wide
Field-of-View Image Recognition [0.3655021726150367]
狭視野(FoV)イメージに基づいてトレーニングされた従来の畳み込みニューラルネットワーク(CNN)は、オブジェクト認識タスクの最先端のアプローチである。
いくつかの手法は、変形可能なカーネルを学習することで、超広帯域FoV画像へのCNNの適応を提案した。
非ユークリッド空間における畳み込みカーネルの形状の学習は、既存の変形可能なカーネル法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-03-14T16:37:54Z) - Less is More: Pay Less Attention in Vision Transformers [61.05787583247392]
注意の少ないvIsion Transformerは、畳み込み、完全接続層、自己アテンションが、画像パッチシーケンスを処理するためにほぼ同等な数学的表現を持つという事実に基づいている。
提案したLITは、画像分類、オブジェクト検出、インスタンス分割を含む画像認識タスクにおいて有望な性能を達成する。
論文 参考訳(メタデータ) (2021-05-29T05:26:07Z) - Test-Time Training for Deformable Multi-Scale Image Registration [15.523457398508263]
VoxelMorphのようなディープラーニングベースの登録アプローチが出現し、競争パフォーマンスを達成しています。
従来の学習型登録モデルの一般化能力を向上させるために, デフォーマブル画像登録のためのテストタイムトレーニングを構築した。
論文 参考訳(メタデータ) (2021-03-25T03:22:59Z) - SIR: Self-supervised Image Rectification via Seeing the Same Scene from
Multiple Different Lenses [82.56853587380168]
本稿では、異なるレンズからの同一シーンの歪み画像の補正結果が同一であるべきという重要な知見に基づいて、新しい自己監督画像補正法を提案する。
我々は、歪みパラメータから修正画像を生成し、再歪み画像を生成するために、微分可能なワープモジュールを利用する。
本手法は,教師付きベースライン法や代表的最先端手法と同等あるいはそれ以上の性能を実現する。
論文 参考訳(メタデータ) (2020-11-30T08:23:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。