論文の概要: Cooperative Hardware-Prompt Learning for Snapshot Compressive Imaging
- arxiv url: http://arxiv.org/abs/2306.01176v2
- Date: Thu, 20 Mar 2025 00:27:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-21 19:01:05.160452
- Title: Cooperative Hardware-Prompt Learning for Snapshot Compressive Imaging
- Title（参考訳）: スナップショット圧縮画像の協調的ハードウェア・プロンプト学習
- Authors: Jiamian Wang, Zongliang Wu, Yulun Zhang, Xin Yuan, Tao Lin, Zhiqiang Tao,
- Abstract要約: 本稿では,圧縮圧縮画像システムの協調最適化を目的としたFederated Hardware-Prompt Learning (FedHP) フレームワークを提案する。
FedHPは、クライアント間で一貫性のないデータ分散を調整するためのハードウェア条件のプロンプトを学習し、異なるハードウェア間のデータの一貫性の指標となる。
実験により、提案したFedHPは、事前学習されたモデルを複数のハードウェア構成に調整し、0.35dBのFLフレームワークよりも優れた性能を示すことが示された。
- 参考スコア（独自算出の注目度）: 51.65127848056702
- License:
- Abstract: Existing reconstruction models in snapshot compressive imaging systems (SCI) are trained with a single well-calibrated hardware instance, making their performance vulnerable to hardware shifts and limited in adapting to multiple hardware configurations. To facilitate cross-hardware learning, previous efforts attempt to directly collect multi-hardware data and perform centralized training, which is impractical due to severe user data privacy concerns and hardware heterogeneity across different platforms/institutions. In this study, we explicitly consider data privacy and heterogeneity in cooperatively optimizing SCI systems by proposing a Federated Hardware-Prompt learning (FedHP) framework. Rather than mitigating the client drift by rectifying the gradients, which only takes effect on the learning manifold but fails to solve the heterogeneity rooted in the input data space, FedHP learns a hardware-conditioned prompter to align inconsistent data distribution across clients, serving as an indicator of the data inconsistency among different hardware (e.g., coded apertures). Extensive experimental results demonstrate that the proposed FedHP coordinates the pre-trained model to multiple hardware configurations, outperforming prevalent FL frameworks for 0.35dB under challenging heterogeneous settings. Moreover, a Snapshot Spectral Heterogeneous Dataset has been built upon multiple practical SCI systems. Data and code are aveilable at https://github.com/Jiamian-Wang/FedHP-Snapshot-Compressive-Imaging
- Abstract（参考訳）: スナップショット圧縮イメージングシステム(SCI)の既存の再構成モデルは、ハードウェアインスタンス1つで訓練され、ハードウェアシフトに脆弱で、複数のハードウェア構成に適応するに制限される。
クロスハードウェアの学習を容易にするため、これまでは複数のハードウェアデータを直接収集し、集中的なトレーニングを行おうとしていた。
本研究では,FedHP(Federated Hardware-Prompt Learning)フレームワークを提案することにより,協調最適化SCIシステムにおけるデータプライバシと不均一性を明確化する。
学習多様体にしか影響しない勾配を補正してクライアントのドリフトを緩和する代わりに、FedHPは、異なるハードウェア(例えば、コード化された開口部)間のデータ不整合の指標として、クライアント間で一貫性のないデータ分散を整合させるハードウェア条件のプロンプトを学習する。
大規模な実験結果から、FedHPは事前学習されたモデルを複数のハードウェア構成に調整し、不均一な設定で0.35dBのFLフレームワークより優れていることが示された。
さらに、Snapshot Spectral Heterogeneous Datasetは複数の実用的なSCIシステム上に構築されている。
data and code are aveilable at https://github.com/Jiamian-Wang/FedHP-Snapshot-Compressive-Imaging
関連論文リスト
- CALLIC: Content Adaptive Learning for Lossless Image Compression [64.47244912937204]
CALLICは、学習したロスレス画像圧縮のための新しい最先端(SOTA)を設定する。
本稿では,畳み込みゲーティング操作を利用したコンテンツ認識型自己回帰自己保持機構を提案する。
エンコーディング中、低ランク行列を用いて深度の畳み込みを含む事前学習層を分解し、レート誘導プログレッシブファインタニング(RPFT)による画像検査にインクリメンタルウェイトを適応させる。
推定エントロピーにより下位順にソートされたパッチを徐々に増加させたRPFTファインチューン,学習過程の最適化,適応時間の短縮を実現した。
論文 参考訳（メタデータ） (2024-12-23T10:41:18Z) - Simplifying CLIP: Unleashing the Power of Large-Scale Models on Consumer-level Computers [3.2492319522383717]
Contrastive Language-Image Pre-Training (CLIP) はその優れたゼロショット性能と下流タスクへの優れた転送性のために注目を集めている。
しかし、そのような大規模モデルのトレーニングは通常、実際の計算とストレージを必要とするため、一般ユーザにとって消費者レベルのコンピュータでは障壁となる。
論文 参考訳（メタデータ） (2024-11-22T08:17:46Z) - Towards Resource-Efficient Federated Learning in Industrial IoT for Multivariate Time Series Analysis [50.18156030818883]
異常と欠落したデータは、産業応用における厄介な問題を構成する。
ディープラーニングによる異常検出が重要な方向として現れている。
エッジデバイスで収集されたデータは、ユーザのプライバシを含む。
論文 参考訳（メタデータ） (2024-11-06T15:38:31Z) - InfRS: Incremental Few-Shot Object Detection in Remote Sensing Images [11.916941756499435]
本稿では,リモートセンシング画像におけるインクリメンタルな数ショット物体検出の複雑な課題について検討する。
本稿では,新しい授業の漸進的な学習を促進するために,InfRSと呼ばれる先駆的な微調整技術を導入する。
我々はワッサーシュタイン距離に基づく原型校正戦略を開発し、破滅的な忘れ問題を軽減する。
論文 参考訳（メタデータ） (2024-05-18T13:39:50Z) - Deepfake Sentry: Harnessing Ensemble Intelligence for Resilient Detection and Generalisation [0.8796261172196743]
本稿では,持続的かつ積極的なディープフェイクトレーニング強化ソリューションを提案する。
我々は、ディープフェイクジェネレータモデルによって導入されたアーティファクトの効果を模倣するオートエンコーダのプールを採用する。
実験の結果,提案するアンサンブル・オートエンコーダに基づくデータ拡張学習手法が一般化の点で改善されていることがわかった。
論文 参考訳（メタデータ） (2024-03-29T19:09:08Z) - Depth-agnostic Single Image Dehazing [12.51359372069387]
本研究では, 深度に依存しないデータセット(DA-HAZE)を生成することで, ヘイズ密度とシーン深度の関係を分離する, 単純かつ斬新な合成法を提案する。
実験によると、DA-HAZEでトレーニングされたモデルは、SOTSとDA-SOTSの相違が少なく、実世界のベンチマークで大幅に改善されている。
我々は、専用に設計されたブロックが組み込まれているデハジングのために、U-Netベースのアーキテクチャを再考する。
論文 参考訳（メタデータ） (2024-01-14T06:33:11Z) - Enhancing Multiple Reliability Measures via Nuisance-extended
Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。
我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。
そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文 参考訳（メタデータ） (2023-03-24T16:03:21Z) - Pixel Distillation: A New Knowledge Distillation Scheme for Low-Resolution Image Recognition [124.80263629921498]
アーキテクチャ制約を同時に破りながら知識蒸留を入力レベルまで拡張するPixel Distillationを提案する。
このようなスキームは、ネットワークアーキテクチャと画像品質の両方をリソースの全体的な要求に応じて調整できるため、展開のための柔軟なコスト制御を実現することができる。
論文 参考訳（メタデータ） (2021-12-17T14:31:40Z) - Fast Federated Learning in the Presence of Arbitrary Device
Unavailability [26.368873771739715]
Federated Learning (FL)は異種デバイスをコーディネートして、ユーザのプライバシを維持しながら共有モデルを協調的にトレーニングする。
ひとつの課題は、デバイスが中央サーバ以外のトレーニングプロセスから外れることだ。
我々はこの問題を解決するためにIm Federated A patientaging (MIFA)を提案する。
論文 参考訳（メタデータ） (2021-06-08T07:46:31Z) - Learning End-to-End Lossy Image Compression: A Benchmark [90.35363142246806]
まず,学習した画像の圧縮方法に関する総合的な文献調査を行う。
本稿では,最先端の学習画像圧縮手法のマイルストーンについて述べるとともに,既存の幅広い作品について概観し,その歴史的開発ルートについて考察する。
エントロピー推定と信号再構成のための粗大な超高次モデルを導入することにより、速度歪み性能の向上を実現する。
論文 参考訳（メタデータ） (2020-02-10T13:13:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。