論文の概要: Cooperative Hardware-Prompt Learning for Snapshot Compressive Imaging

• arxiv url: http://arxiv.org/abs/2306.01176v1
• Date: Thu, 1 Jun 2023 22:21:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-06-05 17:32:42.848334
• Title: Cooperative Hardware-Prompt Learning for Snapshot Compressive Imaging
• Title（参考訳）: スナップショット圧縮画像の協調的ハードウェア・プロンプト学習
• Authors: Jiamian Wang, Zongliang Wu, Yulun Zhang, Xin Yuan, Tao Lin, Zhiqiang Tao
• Abstract要約: スナップショット圧縮画像は、現実世界のハイパースペクトル信号を取得するための有望な技術として出現する。 光学エンコーダを用いて2次元計測を圧縮的に生成し、3次元ハイパースペクトルデータを深部再構成ネットワークをトレーニングすることで検索する。 既存の再構成モデルは、ハードウェアの摂動や置換に弱い単一ハードウェアインスタンスでトレーニングされ、物理的な構成に過度に適合する問題を示す。
• 参考スコア（独自算出の注目度）: 39.54364355105191
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Snapshot compressive imaging emerges as a promising technology for acquiring real-world hyperspectral signals. It uses an optical encoder and compressively produces the 2D measurement, followed by which the 3D hyperspectral data can be retrieved via training a deep reconstruction network. Existing reconstruction models are trained with a single hardware instance, whose performance is vulnerable to hardware perturbation or replacement, demonstrating an overfitting issue to the physical configuration. This defect limits the deployment of pre-trained models since they would suffer from large performance degradation when are assembled to unseen hardware. To better facilitate the reconstruction model with new hardware, previous efforts resort to centralized training by collecting multi-hardware and data, which is impractical when dealing with proprietary assets among institutions. In light of this, federated learning (FL) has become a feasible solution to enable cross-hardware cooperation without breaking privacy. However, the naive FedAvg is subject to client drift upon data heterogeneity owning to the hardware inconsistency. In this work, we tackle this challenge by marrying prompt tuning with FL to snapshot compressive imaging for the first time and propose an federated hardware-prompt learning (FedHP) method. Rather than mitigating the client drift by rectifying the gradients, which only takes effect on the learning manifold but fails to touch the heterogeneity rooted in the input data space, the proposed FedHP globally learns a hardware-conditioned prompter to align the data distribution, which serves as an indicator of the data inconsistency stemming from different pre-defined coded apertures. Extensive experiments demonstrate that the proposed method well coordinates the pre-trained model to indeterminate hardware configurations.
• Abstract（参考訳）: スナップショット圧縮イメージングは、現実世界のハイパースペクトル信号を取得するための有望な技術として現れる。 光学エンコーダを用いて2次元計測を圧縮的に生成し、3次元ハイパースペクトルデータを深部再構成ネットワークをトレーニングすることで検索する。 既存の再構成モデルは、ハードウェアの摂動や置換に弱い単一ハードウェアインスタンスでトレーニングされ、物理的な構成に過度に適合する問題を示す。 この欠陥は、未確認のハードウェアに組み立てられた場合、大きなパフォーマンス劣化に悩まされるため、事前訓練されたモデルのデプロイを制限する。 新しいハードウェアによる再構築モデルをより容易にするため、従来の取り組みは、機関間の独占資産を扱う際には非現実的なマルチハードウエアとデータ収集による集中的なトレーニングに頼っていた。 これを踏まえて、フェデレートドラーニング(FL)は、プライバシーを破ることなく、クロスハードウェアな協調を可能にするための実現可能なソリューションとなっている。 しかしながら、単純なFedAvgは、ハードウェアの不整合を所有するデータの不均一性にクライアントのドリフトを受けます。 そこで本研究では,FLを用いた高速チューニングを併用して,初めて圧縮画像のスナップショット化を行い,FedHP(Federated Hardware-prompt Learning)手法を提案する。 学習多様体にのみ作用するが入力データ空間に根ざした不均一性には触れない勾配を修正してクライアントドリフトを緩和する代わりに、提案するfedhpは、異なる予め定義された符号化された開口部から生じるデータ不整合の指標となる、データ分布を調整するためのハードウェアコンディショニングプロンサをグローバルに学習する。 広範な実験により,提案手法が事前学習したモデルをよく調整し,ハードウェア構成を不確定化することを示した。

関連論文リスト

• Federated Learning of Low-Rank One-Shot Image Detection Models in Edge Devices with Scalable Accuracy and Compute Complexity [5.820612543019548]
  LoRa-FLは、エッジデバイスにデプロイされた低ランクのワンショット画像検出モデルをトレーニングするために設計された。 低ランク適応手法をワンショット検出アーキテクチャに組み込むことで,計算と通信のオーバーヘッドを大幅に低減する。
  論文  参考訳（メタデータ） (2025-04-23T08:40:44Z)
• FedAWA: Adaptive Optimization of Aggregation Weights in Federated Learning Using Client Vectors [50.131271229165165]
  Federated Learning (FL)は、分散機械学習のための有望なフレームワークとして登場した。 ユーザの行動、好み、デバイス特性の相違から生じるデータの異質性は、連合学習にとって重要な課題である。 本稿では,学習過程におけるクライアントベクトルに基づくアダプティブ重み付けを適応的に調整する手法であるAdaptive Weight Aggregation (FedAWA)を提案する。
  論文  参考訳（メタデータ） (2025-03-20T04:49:40Z)
• Simplifying CLIP: Unleashing the Power of Large-Scale Models on Consumer-level Computers [3.2492319522383717]
  Contrastive Language-Image Pre-Training (CLIP) はその優れたゼロショット性能と下流タスクへの優れた転送性のために注目を集めている。 しかし、そのような大規模モデルのトレーニングは通常、実際の計算とストレージを必要とするため、一般ユーザにとって消費者レベルのコンピュータでは障壁となる。
  論文  参考訳（メタデータ） (2024-11-22T08:17:46Z)
• Towards Resource-Efficient Federated Learning in Industrial IoT for Multivariate Time Series Analysis [50.18156030818883]
  異常と欠落したデータは、産業応用における厄介な問題を構成する。 ディープラーニングによる異常検出が重要な方向として現れている。 エッジデバイスで収集されたデータは、ユーザのプライバシを含む。
  論文  参考訳（メタデータ） (2024-11-06T15:38:31Z)
• InfRS: Incremental Few-Shot Object Detection in Remote Sensing Images [11.916941756499435]
  本稿では,リモートセンシング画像におけるインクリメンタルな数ショット物体検出の複雑な課題について検討する。 本稿では,新しい授業の漸進的な学習を促進するために,InfRSと呼ばれる先駆的な微調整技術を導入する。 我々はワッサーシュタイン距離に基づく原型校正戦略を開発し、破滅的な忘れ問題を軽減する。
  論文  参考訳（メタデータ） (2024-05-18T13:39:50Z)
• Deepfake Sentry: Harnessing Ensemble Intelligence for Resilient Detection and Generalisation [0.8796261172196743]
  本稿では,持続的かつ積極的なディープフェイクトレーニング強化ソリューションを提案する。 我々は、ディープフェイクジェネレータモデルによって導入されたアーティファクトの効果を模倣するオートエンコーダのプールを採用する。 実験の結果,提案するアンサンブル・オートエンコーダに基づくデータ拡張学習手法が一般化の点で改善されていることがわかった。
  論文  参考訳（メタデータ） (2024-03-29T19:09:08Z)
• Depth-agnostic Single Image Dehazing [12.51359372069387]
  本研究では, 深度に依存しないデータセット(DA-HAZE)を生成することで, ヘイズ密度とシーン深度の関係を分離する, 単純かつ斬新な合成法を提案する。 実験によると、DA-HAZEでトレーニングされたモデルは、SOTSとDA-SOTSの相違が少なく、実世界のベンチマークで大幅に改善されている。 我々は、専用に設計されたブロックが組み込まれているデハジングのために、U-Netベースのアーキテクチャを再考する。
  論文  参考訳（メタデータ） (2024-01-14T06:33:11Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• FedHiSyn: A Hierarchical Synchronous Federated Learning Framework for Resource and Data Heterogeneity [56.82825745165945]
  フェデレートラーニング(FL)は、データプライバシを保護するために複数のデバイスに格納された分散生データを共有することなく、グローバルモデルのトレーニングを可能にする。 本稿では,階層型同期FLフレームワークであるFedHiSynを提案し,トラグラー効果や時代遅れモデルの問題に対処する。 提案手法は,MNIST,EMNIST,CIFAR10,CIFAR100のデータセットと多種多様なデバイス設定に基づいて評価する。
  論文  参考訳（メタデータ） (2022-06-21T17:23:06Z)
• Degradation-Aware Unfolding Half-Shuffle Transformer for Spectral Compressive Imaging [142.11622043078867]
  圧縮画像と物理マスクからパラメータを推定し,これらのパラメータを用いて各イテレーションを制御する,DAUF(Degradation-Aware Unfolding Framework)を提案する。 HST を DAUF に接続することにより,HSI 再構成のための変換器の深部展開法であるデグレーション・アウェア・アンフォールディング・ハーフシャッフル変換器 (DAUHST) を確立した。
  論文  参考訳（メタデータ） (2022-05-20T11:37:44Z)
• Towards Tailored Models on Private AIoT Devices: Federated Direct Neural Architecture Search [22.69123714900226]
  デバイス間の非IDデータからハードウェアフレンドリなNASを実現するためのFDNAS(Federated Direct Neural Architecture Search)フレームワークを提案する。 非IIDデータセットの実験では、提案したソリューションによって達成された最先端の精度効率トレードオフが示されている。
  論文  参考訳（メタデータ） (2022-02-23T13:10:01Z)
• Stochastic Coded Federated Learning with Convergence and Privacy Guarantees [8.2189389638822]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習フレームワークとして多くの注目を集めている。 本稿では、トラグラー問題を緩和するために、SCFL(Coded Federated Learning)というコード付きフェデレーション学習フレームワークを提案する。 我々は、相互情報差分プライバシー(MI-DP)によるプライバシー保証を特徴付け、連合学習における収束性能を分析する。
  論文  参考訳（メタデータ） (2022-01-25T04:43:29Z)
• Robust Semi-supervised Federated Learning for Images Automatic Recognition in Internet of Drones [57.468730437381076]
  プライバシー保護型UAV画像認識のための半教師付きフェデレートラーニング(SSFL)フレームワークを提案する。 異なるカメラモジュールを使用したUAVによって収集されたローカルデータの数、特徴、分布には大きな違いがある。 本稿では,クライアントがトレーニングに参加する頻度,すなわちFedFreqアグリゲーションルールに基づくアグリゲーションルールを提案する。
  論文  参考訳（メタデータ） (2022-01-03T16:49:33Z)
• Pixel Distillation: A New Knowledge Distillation Scheme for Low-Resolution Image Recognition [124.80263629921498]
  アーキテクチャ制約を同時に破りながら知識蒸留を入力レベルまで拡張するPixel Distillationを提案する。 このようなスキームは、ネットワークアーキテクチャと画像品質の両方をリソースの全体的な要求に応じて調整できるため、展開のための柔軟なコスト制御を実現することができる。
  論文  参考訳（メタデータ） (2021-12-17T14:31:40Z)
• Rethinking Architecture Design for Tackling Data Heterogeneity in Federated Learning [53.73083199055093]
  注意に基づくアーキテクチャ(例えばTransformers)は、分散シフトに対してかなり堅牢であることを示す。 我々の実験は、畳み込みネットワークをトランスフォーマーに置き換えることによって、過去のデバイスを壊滅的に忘れることを大幅に減らせることを示した。
  論文  参考訳（メタデータ） (2021-06-10T21:04:18Z)
• Fast Federated Learning in the Presence of Arbitrary Device Unavailability [26.368873771739715]
  Federated Learning (FL)は異種デバイスをコーディネートして、ユーザのプライバシを維持しながら共有モデルを協調的にトレーニングする。 ひとつの課題は、デバイスが中央サーバ以外のトレーニングプロセスから外れることだ。 我々はこの問題を解決するためにIm Federated A patientaging (MIFA)を提案する。
  論文  参考訳（メタデータ） (2021-06-08T07:46:31Z)
• Federated Doubly Stochastic Kernel Learning for Vertically Partitioned Data [93.76907759950608]
  本稿では,垂直分割データに対する2倍のカーネル学習アルゴリズムを提案する。 本稿では,FDSKLがカーネルを扱う場合,最先端のフェデレーション学習手法よりもはるかに高速であることを示す。
  論文  参考訳（メタデータ） (2020-08-14T05:46:56Z)
• FPGA-Based Hardware Accelerator of Homomorphic Encryption for Efficient Federated Learning [9.733675923979108]
  フェデレートラーニングは、転送された中間データを保護するために、様々なプライバシー保護機構を利用する傾向がある。 正確性とセキュリティをより効率的に維持することは、連合学習の重要な問題である。 我々のフレームワークは、柔軟性とポータビリティのための高レベルな合成により、代表的なPaillier準同型暗号システムを実装している。
  論文  参考訳（メタデータ） (2020-07-21T01:59:58Z)
• FedCD: Improving Performance in non-IID Federated Learning [0.0]
  フェデレーション学習は、それぞれ独自のローカルデータを持つ分散デバイスで、共有モデルを学ぶために広く適用されてきた。 我々はFedCDという新しいアプローチを提案し、類似したデータを動的にグループ化するためにモデルをクローンし削除する。
  論文  参考訳（メタデータ） (2020-06-17T03:45:25Z)
• Learning End-to-End Lossy Image Compression: A Benchmark [90.35363142246806]
  まず,学習した画像の圧縮方法に関する総合的な文献調査を行う。 本稿では,最先端の学習画像圧縮手法のマイルストーンについて述べるとともに,既存の幅広い作品について概観し,その歴史的開発ルートについて考察する。 エントロピー推定と信号再構成のための粗大な超高次モデルを導入することにより、速度歪み性能の向上を実現する。
  論文  参考訳（メタデータ） (2020-02-10T13:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。