論文の概要: Versatile On-device Adaptation at the Edge by Unifying Few-shot, Zero-shot, Continual, and In-context Learning

• arxiv url: http://arxiv.org/abs/2607.29353v1
• Date: Fri, 31 Jul 2026 12:37:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-03 14:29:40.702947
• Title: Versatile On-device Adaptation at the Edge by Unifying Few-shot, Zero-shot, Continual, and In-context Learning
• Title（参考訳）: Few-shot, Zero-shot, Continual, In-context Learning の統合によるエッジにおけるデバイス上デバイス適応
• Abstract要約: 組込み型学習(ECL)は4つの異なるオンライン学習シナリオを統合するフレームワークである。 ECLは4つの現実世界のユースケースにまたがるリソース制限されたデバイスにデプロイできる。 マイクロからミリワットの電力予算で動作する意味データとICLを用いたZSLの最初のハードウェアデモを示す。
• 参考スコア（独自算出の注目度）: 0.05402395391469584
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the ever-increasing pervasiveness of smart edge devices, the demand is growing for applications that can be tailored to users (e.g., custom keyword spotting) or patients (e.g., adaptive health monitoring). Yet, most edge devices rely on fixed inference algorithms and thus cannot learn on-device to personalize predictions. When they can, devices typically support only a specific learning scenario, such as few-shot learning (FSL): going beyond this requires resorting either to another specialized device or to cloud-based retraining, which implies significant energy and latency overheads, a lack of real-time capabilities, and privacy concerns. In this work, we introduce embedder-centric learning (ECL), a framework that unifies four different online learning scenarios: FSL for on-the-fly customization, continual learning (CL) for knowledge accumulation, zero-shot learning (ZSL) for leveraging semantic data, and in-context learning (ICL) for adapting beyond classification. We demonstrate in silicon that ECL can be deployed on resource-constrained devices across four real-world use cases representative of the aforementioned learning scenarios. Our approach establishes a new state-of-the-art performance for FSL character recognition (Omniglot: 96.8% for 5-way 1-shot, 83.3% for 32-way 1-shot), and the first hardware baseline for CL in keyword spotting (NeuroBench keyword FSCIL: 71.8% for 200-way 5-shot). Moreover, we present the first hardware demonstrations of ZSL with semantic data (60.6% for 5-way spoken sentence classification) and ICL (46.2% at the 500th token of RegBench) operating at micro-to-milliwatt power budgets. Therefore, by unifying multiple learning scenarios, we pave the way for smart and versatile devices that can adapt right at the edge, without reliance on the cloud.
• Abstract（参考訳）: スマートエッジデバイスの普及が続けば、ユーザー(カスタムキーワードのスポッティングなど)や患者(適応型健康モニタリングなど)にカスタマイズ可能なアプリケーションへの需要が高まっている。 しかし、ほとんどのエッジデバイスは固定推論アルゴリズムに依存しているので、デバイス上で予測をパーソナライズすることができない。 可能な場合、デバイスは通常、数ショット学習(FSL: few-shot learning)のような特定の学習シナリオのみをサポートする。 本研究では、オンライン学習シナリオを統一するフレームワークである組込み型学習(ECL)、知識蓄積のための継続学習(CL)、意味データを活用するゼロショット学習(ZSL)、分類を超えた適応のためのインコンテキスト学習(ICL)を紹介する。 実世界の4つのユースケースにまたがるリソース制約されたデバイスにECLがデプロイ可能であることを、シリコンで実証する。 提案手法は,FSL文字認識のための新しい最先端性能(オムニグロ:96.8%,32ウェイ1ショット:83.3%,キーワードスポッティングにおけるCLのハードウェアベースライン(NeuroBenchキーワードFSCIL:71.8%,200ウェイ5ショット:71.8%)を確立する。 さらに,マイクロからミリワットの電力予算で動作しているZSL(5方向の音声文分類では60.6%)とICL(RegBenchの500番目のトークンでは46.2%)のセマンティックデータを用いた最初のハードウェアデモを示す。 したがって、複数の学習シナリオを統合することで、クラウドに頼ることなく、エッジで正しく適応できるスマートで汎用的なデバイスを実現することができるのです。

関連論文リスト

• Private PoEtry: Private In-Context Learning via Product of Experts [58.496468062236225]
  In-context Learning (ICL) は、大規模言語モデルが推論時に少数の例だけで新しいタスクに適応できるようにする。 ICLに対する既存の差分プライバシーアプローチは、計算コストが高いか、オーバーサンプリング、合成データ生成、あるいは不要なしきい値設定に依存している。 我々は、Product-of-Expertsモデルのレンズを通してプライベートICLを再構成し、理論的に基盤付けられたフレームワークを与え、アルゴリズムを自明に並列化することができる。 本手法は,従来のDP-ICL法と比較して平均30ポイント以上精度が向上し,高いプライバシー保証を維持した。
  論文  参考訳（メタデータ） (2026-02-04T19:56:24Z)
• CLA: Latent Alignment for Online Continual Self-Supervised Learning [53.52783900926569]
  オンラインCLの新しいSSL戦略であるContinuous Latent Alignment (CLA)を紹介する。 我々のCLAは、オンラインシナリオにおけるトレーニングプロセスの収束を早めることができ、同じ計算予算の下で最先端のアプローチより優れています。 また, 事前学習の初期段階において, CLA を事前訓練プロトコルとして使用すると, 完全な i.i.d. 事前訓練と比較して, 最終的な性能が向上することが判明した。
  論文  参考訳（メタデータ） (2025-07-14T16:23:39Z)
• Chameleon: A MatMul-Free Temporal Convolutional Network Accelerator for End-to-End Few-Shot and Continual Learning from Sequential Data [0.15178034047411867]
  エッジでのデバイス上での学習により、低レイテンシ、長期的な堅牢性の向上とメンテナンスコストの削減による個人化が可能になる。 スケーラブルで低消費電力のエンド・ツー・エンドのオン・チップ・ラーニングを実現するには、特に実世界のシーケンシャルなデータに限られた数のサンプルを組み込むことは、オープンな課題である。 Chameleonを紹介します。これらの課題を解決するために3つの重要なコントリビューションを活用します。
  論文  参考訳（メタデータ） (2025-05-30T17:49:30Z)
• TinyML NLP Scheme for Semantic Wireless Sentiment Classification with Privacy Preservation [49.801175302937246]
  本研究は、エッジデバイスにプライバシ保護、エネルギー効率の高いNLPモデルをデプロイする際の洞察を提供する。 セマンティックスプリットラーニング(SL)を,エネルギー効率,プライバシ保護,小型機械学習(TinyML)フレームワークとして導入する。 その結果,FLの4倍,CLの約18倍の再現誤差の増加により,SLは計算能力とCO2排出量を著しく低減し,プライバシーの向上を図った。
  論文  参考訳（メタデータ） (2024-11-09T21:26:59Z)
• CRSFL: Cluster-based Resource-aware Split Federated Learning for Continuous Authentication [5.636155173401658]
  分散学習(SL)とフェデレート学習(FL)は、分散機械学習(ML)モデルをトレーニングするための有望な技術として登場した。 我々はこれらの技術を組み合わせて、ユーザのプライバシーを保護しながら、継続的な認証課題に取り組むことを提案する。
  論文  参考訳（メタデータ） (2024-05-12T06:08:21Z)
• Boosting keyword spotting through on-device learnable user speech characteristics [16.632185274553485]
  常時オンのTinyML制約されたアプリケーションのキーワードスポッティングシステムは、オンサイトチューニングを必要とする。 ターゲットユーザの音声特異性に適応するには、多くのドメイン内サンプルが必要であり、多くの場合、現実のシナリオでは利用できない。 本稿では,事前学習されたバックボーンとユーザの音声特性を学習するユーザ認識を組み込んだ,デバイス上での新たな学習アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-03-12T16:41:31Z)
• LifeLearner: Hardware-Aware Meta Continual Learning System for Embedded Computing Platforms [17.031135153343502]
  継続学習(CL)は、ユーザのパーソナライズや家庭用ロボットといったアプリケーションが、リアルタイムで学習し、コンテキストに適応することを可能にする。 LifeLearnerは、システムリソースを劇的に最適化するハードウェア対応のメタ学習システムである。 LifeLearnerは、Oracleのベースラインに比べて精度がわずか2.8%低下した、ほぼ最適のCLパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-11-19T20:39:35Z)
• Federated Fine-Tuning of LLMs on the Very Edge: The Good, the Bad, the Ugly [62.473245910234304]
  本稿では,最新のエッジコンピューティングシステムにおいて,Large Language Modelsをどのように導入できるかを,ハードウェア中心のアプローチで検討する。 マイクロレベルのハードウェアベンチマークを行い、FLOPモデルと最先端のデータセンターGPUを比較し、現実的な条件下でのネットワーク利用について検討する。
  論文  参考訳（メタデータ） (2023-10-04T20:27:20Z)
• FLEdge: Benchmarking Federated Machine Learning Applications in Edge Computing Systems [61.335229621081346]
  フェデレートラーニング(FL)は,ネットワークエッジ上での分散ディープラーニングのプライバシ強化を実現する上で,有効なテクニックとなっている。 本稿では,既存のFLベンチマークを補完するFLEdgeを提案する。
  論文  参考訳（メタデータ） (2023-06-08T13:11:20Z)
• Semi-Supervised Federated Learning for Keyword Spotting [15.044022869136262]
  キーワードスポッティング(KWS)は、モバイルデバイスや仮想アシスタントにおける音声ベースのアプリケーションにおいて重要な側面である。 フェデレートラーニング(FL)の最近の進歩は、機械学習モデルをトレーニングする能力を著しく拡大している。
  論文  参考訳（メタデータ） (2023-05-09T00:46:12Z)
• A TinyML Platform for On-Device Continual Learning with Quantized Latent Replays [66.62377866022221]
  Latent Replay-based Continual Learning (CL)技術は、原則としてオンライン、サーバレスの適応を可能にする。 10コアのFP32対応並列超低消費電力プロセッサをベースとした,エンドツーエンドCLのためのHW/SWプラットフォームを提案する。 これらの手法を組み合わせることで,64MB未満のメモリを用いて連続学習を実現することができることを示す。
  論文  参考訳（メタデータ） (2021-10-20T11:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。