論文の概要: Out-of-distribution Few-shot Learning For Edge Devices without Model Fine-tuning

• arxiv url: http://arxiv.org/abs/2304.06309v1
• Date: Thu, 13 Apr 2023 07:33:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-14 15:21:19.135735
• Title: Out-of-distribution Few-shot Learning For Edge Devices without Model Fine-tuning
• Title（参考訳）: モデル微調整を伴わないエッジデバイスのためのアウト・オブ・ディストリビューション・ファウショット学習
• Authors: Xinyun Zhang and Lanqing Hong
• Abstract要約: エッジデバイス上でパーソナライズされたユーザエクスペリエンスを実現するための,有望なテクニックは少ない。 本稿では,バックプロパゲーションを伴わないディープニューラルネットワークの効率的なタスク認識適応を可能にする,タスク認識正規化(TANO)と呼ばれるプラグイン・アンド・プレイモジュールを提案する。 TANOは、正規化統計量の安定だがタスク固有の推定を提供し、分配ギャップを埋め、効率的なモデル適応を実現する。
• 参考スコア（独自算出の注目度）: 10.422316867474681
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-shot learning (FSL) via customization of a deep learning network with limited data has emerged as a promising technique to achieve personalized user experiences on edge devices. However, existing FSL methods primarily assume independent and identically distributed (IID) data and utilize either computational backpropagation updates for each task or a common model with task-specific prototypes. Unfortunately, the former solution is infeasible for edge devices that lack on-device backpropagation capabilities, while the latter often struggles with limited generalization ability, especially for out-of-distribution (OOD) data. This paper proposes a lightweight, plug-and-play FSL module called Task-aware Normalization (TANO) that enables efficient and task-aware adaptation of a deep neural network without backpropagation. TANO covers the properties of multiple user groups by coordinating the updates of several groups of the normalization statistics during meta-training and automatically identifies the appropriate normalization group for a downstream few-shot task. Consequently, TANO provides stable but task-specific estimations of the normalization statistics to close the distribution gaps and achieve efficient model adaptation. Results on both intra-domain and out-of-domain generalization experiments demonstrate that TANO outperforms recent methods in terms of accuracy, inference speed, and model size. Moreover, TANO achieves promising results on widely-used FSL benchmarks and data from real applications.
• Abstract（参考訳）: エッジデバイス上でパーソナライズされたユーザエクスペリエンスを実現するための有望なテクニックとして,限られたデータによるディープラーニングネットワークのカスタマイズによるFSL(Few-shot Learning)が登場している。 しかし、既存のFSL法は、主に独立かつ同一に分散されたIIDデータを仮定し、各タスクの計算バックプロパゲーション更新またはタスク固有のプロトタイプを持つ共通モデルを利用する。 残念なことに、前者のソリューションはデバイス上のバックプロパゲーション能力に欠けるエッジデバイスでは実現できないが、後者は、特にアウト・オブ・ディストリビューション(OOD)データにおいて、限定的な一般化能力に悩まされることが多い。 本稿では,バックプロパゲーションなしにディープニューラルネットワークの効率的かつタスクアウェアな適応を可能にするタスクアウェア正規化(tano)と呼ばれる軽量なプラグアンドプレイ型fslモジュールを提案する。 tanoは、メタトレーニング中に正規化統計の複数のグループの更新をコーディネートすることで、複数のユーザグループの特性をカバーし、下流の少数ショットタスクに適した正規化グループを自動的に特定する。 したがって、tanoは分布ギャップを閉じ、効率的なモデル適応を達成するために正規化統計の安定だがタスク固有の推定を提供する。 ドメイン内とドメイン外の両方の一般化実験の結果、tanoは精度、推論速度、モデルサイズにおいて最近の手法よりも優れていることが示されている。 さらにTANOは、広く使われているFSLベンチマークと実際のアプリケーションからのデータに対して有望な結果を得る。

関連論文リスト

• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
  私たちはaを提案します。 フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。 我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
  論文  参考訳（メタデータ） (2024-06-04T13:51:08Z)
• Dual-Personalizing Adapter for Federated Foundation Models [35.863585349109385]
  そこで我々は,テストタイムのパーソナライゼーション(test-time personalization)という新たな設定を提案し,対象とするローカルタスクに集中し,テストタイムの分散シフトを示すタスクに拡張する。 具体的には、グローバルアダプタとテスト時間分散シフトとパーソナライズに対処するローカルアダプタからなる、二重対人アダプタアーキテクチャ(FedDPA)を提案する。 提案手法の有効性を,異なるNLPタスクのベンチマークデータセットを用いて評価した。
  論文  参考訳（メタデータ） (2024-03-28T08:19:33Z)
• Adaptive Test-Time Personalization for Federated Learning [51.25437606915392]
  テスト時パーソナライズド・フェデレーション・ラーニング(TTPFL)と呼ばれる新しい設定を導入する。 TTPFLでは、クライアントはテスト期間中にラベル付きデータに頼ることなく、教師なしの方法でグローバルモデルをローカルに適応する。 本稿では,ソースドメイン間の分散シフトから,モデル内の各モジュールの適応率を適応的に学習する ATP という新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-28T20:42:47Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。