論文の概要: AptSim2Real: Approximately-Paired Sim-to-Real Image Translation
- arxiv url: http://arxiv.org/abs/2303.12704v2
- Date: Thu, 23 Mar 2023 04:32:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-24 17:05:42.726465
- Title: AptSim2Real: Approximately-Paired Sim-to-Real Image Translation
- Title（参考訳）: AptSim2Real:ほぼペアのSim-to-Real画像翻訳
- Authors: Charles Y Zhang and Ashish Shrivastava
- Abstract要約: Sim-to-real Transferは、シミュレーションされた画像を修正して、現実世界のデータにマッチさせる。
AptSim2Realは、シミュレーターが照明、環境、コンポジションの点で現実世界のシーンに似たシーンをゆるやかに生成できるという事実を活用している。
FIDスコアは最大で24%向上し, 質的, 定量的な改善が得られた。
- 参考スコア（独自算出の注目度）: 8.208569626646035
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Advancements in graphics technology has increased the use of simulated data
for training machine learning models. However, the simulated data often differs
from real-world data, creating a distribution gap that can decrease the
efficacy of models trained on simulation data in real-world applications. To
mitigate this gap, sim-to-real domain transfer modifies simulated images to
better match real-world data, enabling the effective use of simulation data in
model training.
Sim-to-real transfer utilizes image translation methods, which are divided
into two main categories: paired and unpaired image-to-image translation.
Paired image translation requires a perfect pixel match, making it difficult to
apply in practice due to the lack of pixel-wise correspondence between
simulation and real-world data. Unpaired image translation, while more suitable
for sim-to-real transfer, is still challenging to learn for complex natural
scenes. To address these challenges, we propose a third category:
approximately-paired sim-to-real translation, where the source and target
images do not need to be exactly paired. Our approximately-paired method,
AptSim2Real, exploits the fact that simulators can generate scenes loosely
resembling real-world scenes in terms of lighting, environment, and
composition. Our novel training strategy results in significant qualitative and
quantitative improvements, with up to a 24% improvement in FID score compared
to the state-of-the-art unpaired image-translation methods.
- Abstract（参考訳）: グラフィック技術の進歩により、機械学習モデルのトレーニングにシミュレーションデータの利用が増加した。
しかし、シミュレーションデータはしばしば実世界のデータと異なり、実世界のアプリケーションでシミュレーションデータに基づいてトレーニングされたモデルの効率を低下させる分散ギャップを生じる。
このギャップを軽減するため、sim-to-realドメイン転送はシミュレーション画像を修正し、実世界データとのマッチングを改善し、モデルトレーニングにおけるシミュレーションデータの有効利用を可能にする。
sim-to-real transfer は画像翻訳法を用いており、2つの主要なカテゴリに分類されている。
ペア画像翻訳は完全なピクセルマッチングを必要とするため、シミュレーションと実世界のデータの間にピクセル単位で対応できないため、実際に適用するのは困難である。
非ペア画像翻訳は、シミュレートからリアルへの移行に適しているが、複雑な自然シーンを学ぶことは依然として困難である。
これらの課題に対処するために,我々は,ソース画像とターゲット画像が正確にペアリングされる必要のない,ほぼペア化されたsim-to-real翻訳という,第3のカテゴリを提案する。
概ねペアリングされた手法であるaptsim2realは、シミュレーターが照明、環境、構成の点で現実世界のシーンにゆるやかに類似したシーンを生成できるという事実を生かしている。
我々の新しいトレーニング戦略は、最先端の未経験画像翻訳法と比較してFIDスコアが最大24%向上する、質的かつ定量的な改善をもたらす。
関連論文リスト
- Natural Language Can Help Bridge the Sim2Real Gap [9.458180590551715]
Sim2Realは、現実世界のターゲットドメインでデータ不足を克服するための有望なパラダイムである。
本稿では,画像の自然言語記述を領域間の統一信号として用いることを提案する。
言語記述を予測するために、画像エンコーダをトレーニングすることは、有用な、データ効率の良い事前学習ステップとなることを実証する。
論文 参考訳（メタデータ） (2024-05-16T12:02:02Z) - Translating Simulation Images to X-ray Images via Multi-Scale Semantic
Matching [16.175115921436582]
本稿では,血管内シミュレータからX線画像へのシミュレーション画像の変換手法を提案する。
入力画像と生成画像が同じ位置意味関係を持つことを保証するために,自己ドメイン意味マッチングを適用した。
提案手法は, 現実的なX線画像を生成し, 最先端のアプローチを大きなマージンで上回っている。
論文 参考訳（メタデータ） (2023-04-16T04:49:46Z) - Unpaired Translation from Semantic Label Maps to Images by Leveraging
Domain-Specific Simulations [11.638139969660266]
シミュレーションされたラベルマップからフォトリアリスティックな画像を生成するためのコントラスト学習フレームワークを提案する。
提案手法は,現実的でシーンの正確な翻訳を生成する。
論文 参考訳（メタデータ） (2023-02-21T14:36:18Z) - Sim2real Transfer Learning for Point Cloud Segmentation: An Industrial
Application Case on Autonomous Disassembly [55.41644538483948]
我々は,点クラウドデータにsim2realTransfer Learningを用いた産業アプリケーションケースを提案する。
合成ポイントクラウドデータの生成と処理方法に関する洞察を提供する。
この問題に対処するために、パッチベースの新しいアテンションネットワークも提案されている。
論文 参考訳（メタデータ） (2023-01-12T14:00:37Z) - sim2real: Cardiac MR Image Simulation-to-Real Translation via
Unsupervised GANs [0.4433315630787158]
解剖学的に異なる仮想XCAT被験者に対して画像シミュレーションを行う。
画像リアリズムを改善するためのSIM2real Translation Networkを提案する。
我々のユーザビリティ実験は、sim2realデータにより、トレーニングデータを増強し、セグメンテーションアルゴリズムの性能を高める可能性があることを示唆している。
論文 参考訳（メタデータ） (2022-08-09T16:06:06Z) - Synthetic-to-Real Domain Adaptation using Contrastive Unpaired
Translation [28.19031441659854]
手動のアノテーションを使わずにトレーニングデータを取得するための多段階手法を提案する。
3Dオブジェクトメッシュから,現代的な合成パイプラインを用いて画像を生成する。
合成画像の実際の領域への適応に最先端のイメージ・ツー・イメージ変換法を用いる。
論文 参考訳（メタデータ） (2022-03-17T17:13:23Z) - Task2Sim : Towards Effective Pre-training and Transfer from Synthetic
Data [74.66568380558172]
本稿では,グラフィックスシミュレータから下流タスクへの合成データに基づく事前学習モデルの転送可能性について検討する。
本稿では、最適なシミュレーションパラメータに対する下流タスク表現を統一したモデルマッピングであるTask2Simを紹介する。
このマッピングはトレーニングによって学習し、"見える"タスクのセットで最適なパラメータのセットを見つける。
トレーニングが完了すると、ワンショットで新しい"見えない"タスクの最適なシミュレーションパラメータを予測するために使用することができる。
論文 参考訳（メタデータ） (2021-11-30T19:25:27Z) - RL-CycleGAN: Reinforcement Learning Aware Simulation-To-Real [74.45688231140689]
本稿では、画像翻訳におけるRL-scene整合性損失を導入し、画像に関連付けられたQ値に対して変換操作が不変であることを保証する。
RL-CycleGANは実世界のシミュレーションから実世界への変換による強化学習のための新しい手法である。
論文 参考訳（メタデータ） (2020-06-16T08:58:07Z) - Syn2Real Transfer Learning for Image Deraining using Gaussian Processes [92.15895515035795]
CNNに基づく画像デライニング手法は,再現誤差や視覚的品質の点で優れた性能を発揮している。
実世界の完全ラベル付き画像デライニングデータセットを取得する上での課題により、既存の手法は合成されたデータのみに基づいて訓練される。
本稿では,ガウス過程に基づく半教師付き学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-10T00:33:18Z) - Domain Adaptation for Image Dehazing [72.15994735131835]
既存のほとんどの方法は、合成ヘイズ画像のデハージングモデルを訓練するが、ドメインシフトによる実際のヘイズ画像の一般化は困難である。
画像変換モジュールと2つの画像デハージングモジュールからなるドメイン適応パラダイムを提案する。
実世界の合成画像と実世界の画像の両方で実験結果から,我々のモデルは最先端の脱ハージングアルゴリズムに対して好適に機能することが示された。
論文 参考訳（メタデータ） (2020-05-10T13:54:56Z) - SimAug: Learning Robust Representations from Simulation for Trajectory
Prediction [78.91518036949918]
本研究では,シミュレーション学習データの拡張により,ロバスト表現を学習する新しい手法を提案する。
我々は,SimAugが実世界の3つのベンチマークで有望な結果を得ることを示す。
論文 参考訳（メタデータ） (2020-04-04T21:22:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。