論文の概要: Non-Visible Light Data Synthesis and Application: A Case Study for
Synthetic Aperture Radar Imagery
- arxiv url: http://arxiv.org/abs/2311.17486v1
- Date: Wed, 29 Nov 2023 09:48:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 21:52:40.936619
- Title: Non-Visible Light Data Synthesis and Application: A Case Study for
Synthetic Aperture Radar Imagery
- Title（参考訳）: 非可視光データ合成とその応用:合成開口レーダ画像のケーススタディ
- Authors: Zichen Tian, Zhaozheng Chen, Qianru Sun
- Abstract要約: 非可視光領域における安定拡散やイメージnのような大規模事前学習画像生成モデルの「隠れ」能力について検討する。
2段階の低ランク適応法を提案し,これを2LoRAと呼ぶ。
第1段階では、構造がSARと一致する空中視正則画像データを用いてモデルを適応させ、続いて第1段階からのベースモデルをSARモダリティデータによりさらに適応させる第2段階とする。
- 参考スコア（独自算出の注目度）: 30.590315753622132
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We explore the "hidden" ability of large-scale pre-trained image generation
models, such as Stable Diffusion and Imagen, in non-visible light domains,
taking Synthetic Aperture Radar (SAR) data for a case study. Due to the
inherent challenges in capturing satellite data, acquiring ample SAR training
samples is infeasible. For instance, for a particular category of ship in the
open sea, we can collect only few-shot SAR images which are too limited to
derive effective ship recognition models. If large-scale models pre-trained
with regular images can be adapted to generating novel SAR images, the problem
is solved. In preliminary study, we found that fine-tuning these models with
few-shot SAR images is not working, as the models can not capture the two
primary differences between SAR and regular images: structure and modality. To
address this, we propose a 2-stage low-rank adaptation method, and we call it
2LoRA. In the first stage, the model is adapted using aerial-view regular image
data (whose structure matches SAR), followed by the second stage where the base
model from the first stage is further adapted using SAR modality data.
Particularly in the second stage, we introduce a novel prototype LoRA (pLoRA),
as an improved version of 2LoRA, to resolve the class imbalance problem in SAR
datasets. For evaluation, we employ the resulting generation model to
synthesize additional SAR data. This augmentation, when integrated into the
training process of SAR classification as well as segmentation models, yields
notably improved performance for minor classes
- Abstract（参考訳）: 本研究では,合成開口レーダ(sar)データを用いて,非可視光領域における安定拡散や画像nなどの大規模事前学習画像生成モデルの「隠れ」能力について検討する。
衛星データを取得する際の固有の課題のため、十分なSARトレーニングサンプルを取得することは不可能である。
例えば、開海での船舶の特定のカテゴリーについて、有効な船舶認識モデルを引き出すには限界の少ない数発のSAR画像しか収集できない。
正規画像で事前訓練された大規模モデルを新しいSAR画像に適応させることができれば,その問題は解決される。
予備的な研究では,SARと正規画像の2つの主要な違い(構造とモダリティ)を捉えることができないため,SAR画像の少ない微調整では動作しないことがわかった。
そこで我々は,2段階の低ランク適応法を提案し,これを2LoRAと呼ぶ。
第1段階では、構造がSARと一致する空中視正則画像データを用いてモデルを適応させ、続いて第1段階からのベースモデルをSARモダリティデータによりさらに適応させる第2段階とする。
特に第2段階では,SARデータセットのクラス不均衡問題を解決するため,新しいプロトタイプLoRA (pLoRA) を2LoRAの改良版として導入する。
評価には生成モデルを用いて追加のSARデータを合成する。
この拡張は、SAR分類のトレーニングプロセスとセグメンテーションモデルに統合されると、マイナークラスのパフォーマンスが顕著に向上する。
関連論文リスト
- Rethinking Image Super-Resolution from Training Data Perspectives [54.28824316574355]
画像超解像(SR)におけるトレーニングデータの効果について検討する。
そこで我々は,自動画像評価パイプラインを提案する。
その結果, (i) 圧縮アーチファクトの少ないデータセット, (ii) 被写体数によって判断される画像内多様性の高いデータセット, (iii) ImageNet や PASS からの大量の画像がSR性能に肯定的な影響を与えることがわかった。
論文 参考訳（メタデータ） (2024-09-01T16:25:04Z) - Conditional Brownian Bridge Diffusion Model for VHR SAR to Optical Image Translation [5.578820789388206]
本稿では,Brownian Bridge Diffusion Model(BBDM)に基づく条件付き画像から画像への変換手法を提案する。
我々は、MSAWデータセット、ペアSAR、0.5m Very-High-Resolution (VHR) の光学画像収集に関する総合的な実験を行った。
論文 参考訳（メタデータ） (2024-08-15T05:43:46Z) - SARatrX: Towards Building A Foundation Model for SAR Target Recognition [22.770010893572973]
我々は、SARatrXと呼ばれるSAR ATRの基礎モデルを構築するための最初の試みを行っている。
SARatrXは、自己教師付き学習(SSL)を通じて一般化可能な表現を学び、汎用的なSARターゲット検出と分類タスクへのラベル効率のモデル適応の基礎を提供する。
具体的には、SARatrXは0.18Mの未ラベルのSARターゲットサンプルでトレーニングされており、同時代のベンチマークを組み合わせてキュレーションされ、これまでで最大の公開データセットとなっている。
論文 参考訳（メタデータ） (2024-05-15T14:17:44Z) - SatSynth: Augmenting Image-Mask Pairs through Diffusion Models for Aerial Semantic Segmentation [69.42764583465508]
我々は,地球観測における注釈付きデータの不足に対処するために,生成的画像拡散の可能性を探る。
我々の知る限りでは、衛星セグメンテーションのための画像と対応するマスクの両方を最初に生成する。
論文 参考訳（メタデータ） (2024-03-25T10:30:22Z) - Predicting Gradient is Better: Exploring Self-Supervised Learning for SAR ATR with a Joint-Embedding Predictive Architecture [23.375515181854254]
SSL(Self-Supervised Learning)手法は,大規模未ラベルデータの事前学習を伴う様々なSAR自動ターゲット認識(ATR)タスクを実現する。
SSLはデータから直接監視信号を構築することを目的としている。
本研究では,SAR ATRの基盤モデル構築に有効なSSL方式について検討した。
論文 参考訳（メタデータ） (2023-11-26T01:05:55Z) - Efficient Test-Time Adaptation for Super-Resolution with Second-Order
Degradation and Reconstruction [62.955327005837475]
画像超解像(SR)は,低分解能(LR)から高分解能(HR)へのマッピングを,一対のHR-LRトレーニング画像を用いて学習することを目的としている。
SRTTAと呼ばれるSRの効率的なテスト時間適応フレームワークを提案し、SRモデルを異なる/未知の劣化型でテストドメインに迅速に適応させることができる。
論文 参考訳（メタデータ） (2023-10-29T13:58:57Z) - Towards Lightweight Super-Resolution with Dual Regression Learning [58.98801753555746]
深層ニューラルネットワークは、画像超解像(SR)タスクにおいて顕著な性能を示した。
SR問題は通常不適切な問題であり、既存の手法にはいくつかの制限がある。
本稿では、SRマッピングの可能な空間を削減するために、二重回帰学習方式を提案する。
論文 参考訳（メタデータ） (2022-07-16T12:46:10Z) - Sparse Signal Models for Data Augmentation in Deep Learning ATR [0.8999056386710496]
ドメイン知識を取り入れ,データ集約学習アルゴリズムの一般化能力を向上させるためのデータ拡張手法を提案する。
本研究では,空間領域における散乱中心のスパース性とアジムタル領域における散乱係数の滑らかな変動構造を活かし,過パラメータモデルフィッティングの問題を解く。
論文 参考訳（メタデータ） (2020-12-16T21:46:33Z) - SAR2SAR: a semi-supervised despeckling algorithm for SAR images [3.9490074068698]
本稿では,自己超越型ディープラーニングアルゴリズムSAR2SARを提案する。
時間的変化の補償と、スペックル統計に適応した損失関数に基づいて、SAR非特異化に適応する戦略を提示する。
提案アルゴリズムの可能性を示すために,実画像における結果について考察する。
論文 参考訳（メタデータ） (2020-06-26T15:07:28Z) - Unlimited Resolution Image Generation with R2D2-GANs [69.90258455164513]
本稿では,任意の解像度の高品質な画像を生成するための新しいシミュレーション手法を提案する。
この方法では、フル長のミッション中に収集したソナースキャンと同等の大きさのソナースキャンを合成することができる。
生成されたデータは、連続的で、現実的に見え、また、取得の実際の速度の少なくとも2倍の速さで生成される。
論文 参考訳（メタデータ） (2020-03-02T17:49:32Z) - Characteristic Regularisation for Super-Resolving Face Images [81.84939112201377]
既存の顔画像超解像法(SR)は、主に人工的にダウンサンプリングされた低解像度(LR)画像の改善に焦点を当てている。
従来の非教師なしドメイン適応(UDA)手法は、未ペアの真のLRとHRデータを用いてモデルをトレーニングすることでこの問題に対処する。
これにより、視覚的特徴を構成することと、画像の解像度を高めることの2つのタスクで、モデルをオーバーストレッチする。
従来のSRモデルとUDAモデルの利点を結合する手法を定式化する。
論文 参考訳（メタデータ） (2019-12-30T16:27:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。