論文の概要: Zero-Forget Preservation of Semantic Communication Alignment in Distributed AI Networks

• arxiv url: http://arxiv.org/abs/2411.19385v1
• Date: Thu, 28 Nov 2024 21:28:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:21:27.835192
• Title: Zero-Forget Preservation of Semantic Communication Alignment in Distributed AI Networks
• Title（参考訳）: 分散AIネットワークにおける意味コミュニケーションアライメントのゼロフォワード保存
• Authors: Jingzhi Hu, Geoffrey Ye Li,
• Abstract要約: セマンティック・コミュニケーションのアライメントを維持するため,ゼロ・オブジェクト・ドメイン適応フレームワークを提案する。 提案するフレームワークは,DA性能がほとんど失われることなく,SCアライメントを完全に維持する。
• 参考スコア（独自算出の注目度）: 38.5438416972178
• License:
• Abstract: Future communication networks are expected to connect massive distributed artificial intelligence (AI). Exploiting aligned priori knowledge of AI pairs, it is promising to convert high-dimensional data transmission into highly-compressed semantic communications (SC). However, to accommodate the local data distribution and user preferences, AIs generally adapt to different domains, which fundamentally distorts the SC alignment. In this paper, we propose a zero-forget domain adaptation (ZFDA) framework to preserve SC alignment. To prevent the DA from changing substantial neural parameters of AI, we design sparse additive modifications (SAM) to the parameters, which can be efficiently stored and switched-off to restore the SC alignment. To optimize the SAM, we decouple it into tractable continuous variables and a binary mask, and then handle the binary mask by a score-based optimization. Experimental evaluations on a SC system for image transmissions validate that the proposed framework perfectly preserves the SC alignment with almost no loss of DA performance, even improved in some cases, at a cost of less than 1% of additional memory.
• Abstract（参考訳）: 将来の通信ネットワークは、大規模な分散人工知能(AI)を接続することが期待されている。 AIペアの事前知識を出力することで、高次元のデータ伝送を高度に圧縮されたセマンティック通信(SC)に変換することを約束している。 しかし、ローカルなデータ配布とユーザの好みに合わせて、AIは一般的に異なるドメインに適応し、SCアライメントを根本的に歪ませる。 本稿では,SCアライメントを維持するため,ゼロフォゲットドメイン適応(ZFDA)フレームワークを提案する。 DAがAIの実質的な神経パラメータを変更するのを防ぐために、パラメータへのスパース付加修飾(SAM)を設計する。 SAMを最適化するために、抽出可能な連続変数とバイナリマスクに分離し、スコアベースの最適化によってバイナリマスクを処理する。 画像伝送用SCシステムの実験的評価により,提案フレームワークは,メモリの1%未満のコストで,DA性能をほぼ損なうことなく,SCアライメントを完全に維持できることを確認した。

関連論文リスト

• Efficient Second-Order Neural Network Optimization via Adaptive Trust Region Methods [0.0]
  SecondOrderAdaptive (SOAA) は、従来の二階法の限界を克服するために設計された新しい最適化アルゴリズムである。 私たちは、SOAAが1次近似よりも速く、より安定した収束を達成することを実証的に実証します。
  論文  参考訳（メタデータ） (2024-10-03T08:23:06Z)
• AdvST: Revisiting Data Augmentations for Single Domain Generalization [39.55487584183931]
  単一ドメインの一般化は、単一のソースドメインのデータを使用して、未知のターゲットドメインシフトに対して堅牢なモデルをトレーニングすることを目的としている。 セマンティクス変換としての学習可能なパラメータによる標準的なデータ拡張は、サンプルの特定のセマンティクスを操作できる。 本稿では,セマンティックス変換を用いたAdversarial Learning(AdvST)を提案する。
  論文  参考訳（メタデータ） (2023-12-20T02:29:31Z)
• Causal Semantic Communication for Digital Twins: A Generalizable Imitation Learning Approach [74.25870052841226]
  デジタルツイン(DT)は、物理世界の仮想表現と通信(例えば6G)、コンピュータ、人工知能(AI)技術を活用して、多くの接続されたインテリジェンスサービスを実現する。 無線システムは、厳密な通信制約下での情報意思決定を容易にするために意味コミュニケーション(SC)のパラダイムを利用することができる。 DTベースの無線システムでは,因果意味通信(CSC)と呼ばれる新しいフレームワークが提案されている。
  論文  参考訳（メタデータ） (2023-04-25T00:15:00Z)
• Uncertainty-Aware Source-Free Adaptive Image Super-Resolution with Wavelet Augmentation Transformer [60.31021888394358]
  Unsupervised Domain Adaptation (UDA)は、現実世界の超解像(SR)における領域ギャップ問題に効果的に対処できる 本稿では,画像SR(SODA-SR)のためのSOurce-free Domain Adaptationフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-31T03:14:44Z)
• Task-Oriented Sensing, Computation, and Communication Integration for Multi-Device Edge AI [108.08079323459822]
  本稿では,AIモデルの分割推論と統合センシング通信(ISAC)を併用した,新しいマルチインテリジェントエッジ人工レイテンシ(AI)システムについて検討する。 推定精度は近似的だが抽出可能な計量、すなわち判別利得を用いて測定する。
  論文  参考訳（メタデータ） (2022-07-03T06:57:07Z)
• FedADMM: A Robust Federated Deep Learning Framework with Adaptivity to System Heterogeneity [4.2059108111562935]
  Federated Learning(FL)は、エッジデバイスによる大規模データの分散処理のための新興フレームワークである。 本稿では,FLAD FedADMMに基づく新しいプロトコルを提案する。 我々は,FedADMMが通信効率の点で,すべてのベースライン手法を一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2022-04-07T15:58:33Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)
• Stochastic Batch Augmentation with An Effective Distilled Dynamic Soft Label Regularizer [11.153892464618545]
  本稿では,これらの問題に対処するBatch Augmentation Safety of Generalization(SBA)というフレームワークを提案する。 SBAは、バッチスケジューラによって制御されるイテレーションを拡大するか、動的ソフトレギュレータを導入するかを決定する。 CIFAR-10, CIFAR-100, ImageNetによる実験により, SBAはニューラルネットワークの一般化を改善し, ネットワークトレーニングの収束を高速化できることが示された。
  論文  参考訳（メタデータ） (2020-06-27T04:46:39Z)
• On the Encoder-Decoder Incompatibility in Variational Text Modeling and Beyond [82.18770740564642]
  変分オートエンコーダ(VAE)は、潜時変数と償却変分推論を結合する。 我々は,データ多様体のパラメータ化が不十分なエンコーダ・デコーダの不整合性を観察する。 同一構造を持つ決定論的オートエンコーダとVAEモデルを結合した結合型VAEを提案する。
  論文  参考訳（メタデータ） (2020-04-20T10:34:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。