論文の概要: Learning to Find Missing Video Frames with Synthetic Data Augmentation:
A General Framework and Application in Generating Thermal Images Using RGB
Cameras
- arxiv url: http://arxiv.org/abs/2403.00196v1
- Date: Thu, 29 Feb 2024 23:52:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 18:48:08.885737
- Title: Learning to Find Missing Video Frames with Synthetic Data Augmentation:
A General Framework and Application in Generating Thermal Images Using RGB
Cameras
- Title(参考訳): 合成データ拡張によるビデオフレームの欠落発見の学習--rgbカメラを用いた熱画像生成のためのフレームワークと応用
- Authors: Mathias Viborg Andersen, Ross Greer, Andreas M{\o}gelmose, Mohan
Trivedi
- Abstract要約: 本稿では,センサフレームレートのミスマッチによるデータ不足の問題に対処する。
本研究では, 条件付き生成逆数ネットワーク(cGAN)を用いて, 合成的かつ現実的な熱画像を作成することを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Advanced Driver Assistance Systems (ADAS) in intelligent vehicles rely on
accurate driver perception within the vehicle cabin, often leveraging a
combination of sensing modalities. However, these modalities operate at varying
rates, posing challenges for real-time, comprehensive driver state monitoring.
This paper addresses the issue of missing data due to sensor frame rate
mismatches, introducing a generative model approach to create synthetic yet
realistic thermal imagery. We propose using conditional generative adversarial
networks (cGANs), specifically comparing the pix2pix and CycleGAN
architectures. Experimental results demonstrate that pix2pix outperforms
CycleGAN, and utilizing multi-view input styles, especially stacked views,
enhances the accuracy of thermal image generation. Moreover, the study
evaluates the model's generalizability across different subjects, revealing the
importance of individualized training for optimal performance. The findings
suggest the potential of generative models in addressing missing frames,
advancing driver state monitoring for intelligent vehicles, and underscoring
the need for continued research in model generalization and customization.
- Abstract(参考訳): インテリジェントカーにおけるアドバンストドライバー支援システム(ADAS)は、車両キャビン内の正確なドライバー認識に依存しており、しばしば知覚モダリティの組み合わせを利用する。
しかし、これらのモダリティは様々なレートで動作し、リアルタイムで包括的な運転状態監視の課題となっている。
本稿では,センサフレームレートのミスマッチによるデータ不足の問題に対処し,合成的かつ現実的な熱画像を作成するための生成モデルを提案する。
本稿では, 条件付き生成逆数ネットワーク (cGAN) を用いて, pix2pix と CycleGAN アーキテクチャを比較した。
実験の結果,Pix2pixはCycleGANより優れており,特に積み重ねたビューを多視点入力スタイルで利用することで,熱画像生成の精度が向上することがわかった。
さらに,各対象に対するモデルの一般化可能性を評価し,最適性能に対する個別化訓練の重要性を明らかにした。
この知見は、欠落したフレームへの対処、インテリジェントな車両の運転状態監視の進展、モデルの一般化とカスタマイズに関する継続的な研究の必要性を示唆する。
関連論文リスト
- Multi-Attention Fusion Drowsy Driving Detection Model [1.2043574473965317]
我々は,Multi-Attention Fusion Drowsy Driving Detection Model (MAF)と呼ばれる新しいアプローチを導入する。
提案モデルでは96.8%の運転覚醒検出精度が得られた。
論文 参考訳(メタデータ) (2023-12-28T14:53:32Z) - CarPatch: A Synthetic Benchmark for Radiance Field Evaluation on Vehicle
Components [77.33782775860028]
車両の新たな総合ベンチマークであるCarPatchを紹介する。
内在カメラパラメータと外在カメラパラメータを付加した画像のセットに加えて、各ビューに対して対応する深度マップとセマンティックセグメンテーションマスクが生成されている。
グローバルとパートベースのメトリクスは、いくつかの最先端技術を評価し、比較し、より良い特徴付けるために定義され、使われてきた。
論文 参考訳(メタデータ) (2023-07-24T11:59:07Z) - Physics-Driven Turbulence Image Restoration with Stochastic Refinement [80.79900297089176]
大気乱流による画像歪みは、長距離光学画像システムにおいて重要な問題である。
ディープラーニングモデルが現実世界の乱流条件に適応するために、高速で物理学的なシミュレーションツールが導入された。
本稿では,物理統合復元ネットワーク(PiRN)を提案する。
論文 参考訳(メタデータ) (2023-07-20T05:49:21Z) - IRGen: Generative Modeling for Image Retrieval [49.73420524424285]
我々はシーケンス・ツー・シーケンス・モデルを用いて画像検索を生成モデルの一形態として再キャストする。
我々のフレームワークIRGenは、エンドツーエンドの微分検索を可能にする統一モデルである。
論文 参考訳(メタデータ) (2023-03-17T17:07:36Z) - Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object
Detection [58.81316192862618]
自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。
これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。
我々は、最先端の核融合法を初めてベンチマークした。
論文 参考訳(メタデータ) (2022-05-30T09:35:37Z) - CARNet: A Dynamic Autoencoder for Learning Latent Dynamics in Autonomous
Driving Tasks [11.489187712465325]
自律運転システムは、世界の抽象的な記述を形成するために、様々なセンサから収集した情報を効果的に活用すべきである。
オートエンコーダのようなディープラーニングモデルは、受信データのストリームからコンパクトな潜在表現を学習できるため、その目的のために使用できる。
この研究は、自動エンコーダとリカレントニューラルネットワークを組み合わせて現在の潜伏表現を学習する、複合dynAmicautoencodeRネットワークアーキテクチャであるCARNetを提案する。
論文 参考訳(メタデータ) (2022-05-18T04:15:42Z) - Monitoring and Adapting the Physical State of a Camera for Autonomous
Vehicles [10.490646039938252]
本稿では,データおよび物理モデルに基づくカメラの汎用的・タスク指向型自己維持フレームワークを提案する。
このフレームワークを現実世界の地上車両に実装し、カメラが粗悪な状況に対応するためにパラメータを調整できることを実証する。
われわれのフレームワークは、カメラの健康状態を監視し維持するための実用的なソリューションを提供するだけでなく、より高度な問題に対処するための拡張の基盤としても機能する。
論文 参考訳(メタデータ) (2021-12-10T11:14:44Z) - Object Detection in Thermal Spectrum for Advanced Driver-Assistance
Systems (ADAS) [0.5156484100374058]
熱赤外スペクトルにおける物体検出は、低照度条件と異なる気象条件においてより信頼性の高いデータソースを提供する。
本稿では,高度運転支援システム(ADAS)の7つの異なるクラスを用いたサーマルビジョンにおける最先端のオブジェクト・ビジョン・フレームワークの探索と適用について述べる。
公開データセット上のトレーニング済みネットワーク変種は、3つの異なるテストアプローチでテストデータ上で検証される。
訓練されたネットワークの有効性は、未冷却のLWIRプロトタイプ熱カメラで捉えたローカル収集された新しいテストデータで検証される。
論文 参考訳(メタデータ) (2021-09-20T21:38:55Z) - Predicting Take-over Time for Autonomous Driving with Real-World Data:
Robust Data Augmentation, Models, and Evaluation [11.007092387379076]
我々は、運転者向けカメラビューで動作するコンピュータビジョンアルゴリズムによって作成される中高レベルの機能で動作するテイクオーバー時間(TOT)モデルを開発し、訓練する。
拡張データでサポートされたTOTモデルを用いて,遅延なく連続的なテイクオーバー時間を推定できることを示す。
論文 参考訳(メタデータ) (2021-07-27T16:39:50Z) - TransCamP: Graph Transformer for 6-DoF Camera Pose Estimation [77.09542018140823]
本稿では、カメラ再配置問題に対処するため、グラフトランスフォーマーバックボーン、すなわちTransCamPを用いたニューラルネットワークアプローチを提案する。
TransCamPは、画像の特徴、カメラポーズ情報、フレーム間の相対的なカメラモーションを、エンコードされたグラフ属性に効果的に融合する。
論文 参考訳(メタデータ) (2021-05-28T19:08:43Z) - Towards Automated Neural Interaction Discovery for Click-Through Rate
Prediction [64.03526633651218]
CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最も重要な機械学習タスクの1つである。
本稿では,AutoCTR と呼ばれる CTR 予測のための自動インタラクションアーキテクチャ探索フレームワークを提案する。
論文 参考訳(メタデータ) (2020-06-29T04:33:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。