論文の概要: Forward Once for All: Structural Parameterized Adaptation for Efficient Cloud-coordinated On-device Recommendation

• arxiv url: http://arxiv.org/abs/2501.02837v1
• Date: Mon, 06 Jan 2025 08:32:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:07:47.677062
• Title: Forward Once for All: Structural Parameterized Adaptation for Efficient Cloud-coordinated On-device Recommendation
• Title（参考訳）: Forward once for all: Structure Parameterized Adaptation for Efficient Cloud-Coordinated On-Device Recommendation
• Authors: Kairui Fu, Zheqi Lv, Shengyu Zhang, Fan Wu, Kun Kuang,
• Abstract要約: Forward-OFAはデバイス固有のネットワークを動的に構築するための新しいアプローチである。 構築されたネットワークのパラメータに対するリアルタイム行動の構造誘導マッピングを確立する。 実世界のデータセットの実験では、Forward-OFAの有効性と効率が示されている。
• 参考スコア（独自算出の注目度）: 26.353286155116116
• License:
• Abstract: In cloud-centric recommender system, regular data exchanges between user devices and cloud could potentially elevate bandwidth demands and privacy risks. On-device recommendation emerges as a viable solution by performing reranking locally to alleviate these concerns. Existing methods primarily focus on developing local adaptive parameters, while potentially neglecting the critical role of tailor-made model architecture. Insights from broader research domains suggest that varying data distributions might favor distinct architectures for better fitting. In addition, imposing a uniform model structure across heterogeneous devices may result in risking inefficacy on less capable devices or sub-optimal performance on those with sufficient capabilities. In response to these gaps, our paper introduces Forward-OFA, a novel approach for the dynamic construction of device-specific networks (both structure and parameters). Forward-OFA employs a structure controller to selectively determine whether each block needs to be assembled for a given device. However, during the training of the structure controller, these assembled heterogeneous structures are jointly optimized, where the co-adaption among blocks might encounter gradient conflicts. To mitigate this, Forward-OFA is designed to establish a structure-guided mapping of real-time behaviors to the parameters of assembled networks. Structure-related parameters and parallel components within the mapper prevent each part from receiving heterogeneous gradients from others, thus bypassing the gradient conflicts for coupled optimization. Besides, direct mapping enables Forward-OFA to achieve adaptation through only one forward pass, allowing for swift adaptation to changing interests and eliminating the requirement for on-device backpropagation. Experiments on real-world datasets demonstrate the effectiveness and efficiency of Forward-OFA.
• Abstract（参考訳）: クラウド中心のレコメンデータシステムでは、ユーザデバイスとクラウド間の定期的なデータ交換が、帯域幅の要求とプライバシのリスクを高める可能性がある。 デバイス上のレコメンデーションは、これらの懸念を軽減するために、ローカルにリランクを実行することで、実行可能なソリューションとして現れます。 既存の手法は主に局所的な適応パラメータの開発に重点を置いている。 より広範な研究領域からの洞察は、さまざまなデータ分散が、より良い適合性のために異なるアーキテクチャを好むことを示唆している。 さらに、均一なモデル構造を不均一なデバイスに導入すると、能力の低いデバイスに不効力や、十分な能力を持つデバイスに準最適性能を与えるリスクが生じる可能性がある。 これらのギャップに対応するために,デバイス固有のネットワーク(構造とパラメータ)を動的に構築するための新しいアプローチであるForward-OFAを紹介した。 フォワード-OFAは、所定のデバイスのために各ブロックを組み立てる必要があるかどうかを選択的に決定するために構造コントローラを使用する。 しかし、構造制御器の訓練中、これらの組立てヘテロジニアス構造は共同最適化され、ブロック間の共適応は勾配衝突に遭遇する可能性がある。 これを軽減するために、Forward-OFAは、構築されたネットワークのパラメータに対するリアルタイム動作の構造化誘導マッピングを確立するように設計されている。 マッパー内の構造関連パラメータと並列成分は、各部分が他の部分から不均一な勾配を受けるのを防ぐため、結合最適化のための勾配競合を回避できる。 さらに、ダイレクトマッピングにより、フォワード-OFAは1つのフォワードパスのみを通じて適応を達成でき、興味の変化への迅速な適応を可能にし、デバイス上のバックプロパゲーションの要件を排除できる。 実世界のデータセットの実験では、Forward-OFAの有効性と効率が示されている。

関連論文リスト

• Resource Management for Low-latency Cooperative Fine-tuning of Foundation Models at the Network Edge [35.40849522296486]
  大規模ファウンデーションモデル(FoMos)は、人間のような知性を実現することができる。 FoMosは微調整技術により、特定の下流タスクに適応する必要がある。 デバイスエッジ協調微調整パラダイムにおける多デバイス連携を提唱する。
  論文  参考訳（メタデータ） (2024-07-13T12:47:14Z)
• Enhancing Federated Learning with Adaptive Differential Privacy and Priority-Based Aggregation [0.0]
  フェデレートラーニング(FL)は、ローカルデータセットに直接アクセスせずにグローバルモデルを開発する。 クライアントとサーバ間で転送されるモデル更新にアクセスすることが可能で、敵に機密性の高いローカル情報を公開する可能性がある。 微分プライバシー(DP)は、パラメータにノイズを加えることでこの問題に対処するための有望なアプローチを提供する。 本稿では、クライアントの相対的影響要因に基づいてノイズを注入し、パラメータを集約するパーソナライズされたDPフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-26T16:55:07Z)
• Parameter Efficient Fine-tuning via Cross Block Orchestration for Segment Anything Model [81.55141188169621]
  PEFTにクロスブロックオーケストレーション機構を組み、SAM(Segment Anything Model)の様々な下流シナリオへの適応を可能にする。 本稿では,超複素層から重みが生じる線形射影ヘッドを導入するブロック内拡張モジュールを提案する。 提案手法は,約1Kのパラメータのみを付加した新規シナリオにおいて,セグメンテーション性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-11-28T11:23:34Z)
• Energizing Federated Learning via Filter-Aware Attention [39.17451229130728]
  フェデレートラーニング(FL)は有望な分散パラダイムであり、データ共有の必要性を排除しつつ、データの異質性による課題に直面している。 パラメータ再構成にパーソナライズされたフィルタアテンションを利用するFedOFAを提案する。 コアとなるTFAモジュールは、パーソナライズされたフィルタ対応アテンションマップを正確に抽出するように設計されている。 AGPSは、冗長なニューロンを隠蔽しながら重要なニューロンを選択的に保持し、性能犠牲なしに通信コストを低減させる。
  論文  参考訳（メタデータ） (2023-11-18T09:09:38Z)
• Subspace-Configurable Networks [16.786433652213013]
  エッジデバイスのディープラーニングモデルは、知覚されたデータの動的変化に直面した場合、堅牢性に欠けることが多い。 本稿では,パラメータ設定のための最適なネットワークがサブスペースの一部であるネットワークのパラメータ化部分空間を訓練する。 得られた部分空間は低次元であり、入力の複素非可逆変換に対しても驚くほど単純な構造を持つ。
  論文  参考訳（メタデータ） (2023-05-22T23:19:45Z)
• Adaptive Spot-Guided Transformer for Consistent Local Feature Matching [64.30749838423922]
  局所的特徴マッチングのための適応スポットガイド変換器(ASTR)を提案する。 ASTRは、統一された粗いアーキテクチャにおける局所的な一貫性とスケールのバリエーションをモデル化する。
  論文  参考訳（メタデータ） (2023-03-29T12:28:01Z)
• DepGraph: Towards Any Structural Pruning [68.40343338847664]
  我々は、CNN、RNN、GNN、Transformersのような任意のアーキテクチャの一般的な構造解析について研究する。 本稿では,階層間の依存関係を明示的にモデル化し,包括的にグループ化してプルーニングを行う汎用かつ完全自動な手法であるemphDependency Graph(DepGraph)を提案する。 本研究では,画像用ResNe(X)t,DenseNet,MobileNet,Vision Transformer,グラフ用GAT,3Dポイントクラウド用DGCNN,言語用LSTMなど,さまざまなアーキテクチャやタスクに関する手法を広範囲に評価し,言語用LSTMと並行して示す。
  論文  参考訳（メタデータ） (2023-01-30T14:02:33Z)
• Slimmable Domain Adaptation [112.19652651687402]
  重み付けモデルバンクを用いて、ドメイン間の一般化を改善するためのシンプルなフレームワーク、Slimmable Domain Adaptationを導入する。 私たちのフレームワークは、他の競合するアプローチを、複数のベンチマークにおいて非常に大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-06-14T06:28:04Z)
• ACFNet: Adaptively-Cooperative Fusion Network for RGB-D Salient Object Detection [0.0]
  本稿では適応的協調型核融合ネットワーク(ACFNet)を提案する。 異なるオブジェクトに対して、異なるタイプの畳み込みによって生成された特徴は、セグメンテーション最適化のためのゲート機構によって強化または抑制される。 RGB-D SODデータセット上で行った十分な実験は、提案するネットワークが18の最先端アルゴリズムに対して好適に動作することを示す。
  論文  参考訳（メタデータ） (2021-09-10T02:34:27Z)
• Towards Uncovering the Intrinsic Data Structures for Unsupervised Domain Adaptation using Structurally Regularized Deep Clustering [119.88565565454378]
  Unsupervised Domain Adapt (UDA) は、ターゲットドメイン上のラベルなしデータの予測を行う分類モデルを学ぶことである。 本稿では,対象データの正規化判別クラスタリングと生成クラスタリングを統合する構造的正規化深層クラスタリングのハイブリッドモデルを提案する。 提案するH-SRDCは, インダクティブ設定とトランスダクティブ設定の両方において, 既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2020-12-08T08:52:00Z)
• Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned Edge Learning Over Broadband Channels [69.18343801164741]
  パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。 本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
  論文  参考訳（メタデータ） (2020-10-08T15:27:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。