論文の概要: Self-Supervised Learning at the Edge: The Cost of Labeling

• arxiv url: http://arxiv.org/abs/2507.07033v1
• Date: Wed, 09 Jul 2025 17:03:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-10 17:37:43.69137
• Title: Self-Supervised Learning at the Edge: The Cost of Labeling
• Title（参考訳）: エッジでの自己指導型学習 - ラベリングのコスト
• Authors: Roberto Pereira, Fernanda Famá, Asal Rangrazi, Marco Miozzo, Charalampos Kalalas, Paolo Dini,
• Abstract要約: 従来の教師付き機械学習ソリューションに代わるものとして、コントラスト学習(CL)が登場した。 エッジベースの学習のためのSsl技術は、モデル性能とエネルギー効率のトレードオフに焦点を当てている。 最適化されたSSL戦略は、最大4倍のリソース消費を削減しながら、競争性能を達成することができることを実証する。
• 参考スコア（独自算出の注目度）: 41.11831047923664
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Contrastive learning (CL) has recently emerged as an alternative to traditional supervised machine learning solutions by enabling rich representations from unstructured and unlabeled data. However, CL and, more broadly, self-supervised learning (SSL) methods often demand a large amount of data and computational resources, posing challenges for deployment on resource-constrained edge devices. In this work, we explore the feasibility and efficiency of SSL techniques for edge-based learning, focusing on trade-offs between model performance and energy efficiency. In particular, we analyze how different SSL techniques adapt to limited computational, data, and energy budgets, evaluating their effectiveness in learning robust representations under resource-constrained settings. Moreover, we also consider the energy costs involved in labeling data and assess how semi-supervised learning may assist in reducing the overall energy consumed to train CL models. Through extensive experiments, we demonstrate that tailored SSL strategies can achieve competitive performance while reducing resource consumption by up to 4X, underscoring their potential for energy-efficient learning at the edge.
• Abstract（参考訳）: Contrastive Learning (CL)は、非構造化データやラベルなしデータからのリッチな表現を可能にすることによって、従来の教師付き機械学習ソリューションに代わるものとして最近登場した。 しかし、CLとより広範に、自己教師付き学習(SSL)手法は、しばしば大量のデータと計算リソースを必要とし、リソースに制約のあるエッジデバイスに展開する上での課題を提起する。 本研究では,エッジベース学習におけるSSL技術の実現可能性と効率性について検討し,モデル性能とエネルギー効率のトレードオフに着目した。 特に、異なるSSL技術が限られた計算、データ、エネルギー予算にどのように適応するかを分析し、リソース制約された環境下で堅牢な表現を学習する上での有効性を評価する。 また、データのラベル付けに関わるエネルギーコストを考慮し、半教師付き学習がCLモデルの訓練に消費される全エネルギーの削減にどのように役立つかを評価する。 広範な実験を通じて、最適化されたSSL戦略は、リソース消費を最大4倍に削減し、エッジでのエネルギー効率の高い学習の可能性を強調しながら、競争的な性能を達成することができることを実証した。

関連論文リスト

• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [70.91804882618243]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• eFedLLM: Efficient LLM Inference Based on Federated Learning [1.6179784294541053]
  大言語モデル(LLMs)は人工知能(AI)の転換期を告げる 本稿では, LLM推論の運用効率と費用対効果を高める効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-11-24T22:50:02Z)
• A Review on Discriminative Self-supervised Learning Methods in Computer Vision [5.5547914920738]
  自己教師付き学習(SSL)はコンピュータビジョンにおける変革的アプローチとして急速に発展してきた。 本稿では,人間のラベルを必要としないプレテキストタスクを解くことによって,表現の学習に焦点を当てた識別的SSL手法の包括的分析を行う。
  論文  参考訳（メタデータ） (2024-05-08T11:15:20Z)
• Compute-Efficient Active Learning [0.0]
  アクティブラーニングは、ラベルなしデータセットから最も有益なサンプルを選択することでラベリングコストを削減することを目的としている。 従来のアクティブな学習プロセスは、拡張性と効率を阻害する広範な計算資源を必要とすることが多い。 本稿では,大規模データセット上での能動的学習に伴う計算負担を軽減するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-15T12:32:07Z)
• Exploring the Privacy-Energy Consumption Tradeoff for Split Federated Learning [51.02352381270177]
  Split Federated Learning (SFL)は、最近、有望な分散学習技術として登場した。 SFLにおけるカット層の選択は、クライアントのエネルギー消費とプライバシに大きな影響を与える可能性がある。 本稿では、SFLプロセスの概要を概観し、エネルギー消費とプライバシを徹底的に分析する。
  論文  参考訳（メタデータ） (2023-11-15T23:23:42Z)
• Optimizing Attention and Cognitive Control Costs Using Temporally-Layered Architectures [0.9831489366502302]
  生物学的制御は、計算エネルギー支出と決定頻度を最適化しながら、顕著な性能を達成する。 我々は,強化学習環境においてエージェントが利用できる決定数や計算エネルギーを制限する決定境界マルコフ決定プロセス(DB-MDP)を提案する。 生物学的に着想を得たTLA(Temporally Layered Architecture)を導入し、エージェントが時間スケールとエネルギー要求の異なる2つの層を通じて計算コストを管理できるようにする。
  論文  参考訳（メタデータ） (2023-05-30T02:59:06Z)
• Sustainable AIGC Workload Scheduling of Geo-Distributed Data Centers: A Multi-Agent Reinforcement Learning Approach [48.18355658448509]
  生成的人工知能の最近の進歩は、機械学習トレーニングの需要が急増し、エネルギー消費の大幅な増加によるコスト負担と環境問題を引き起こしている。 地理的に分散したクラウドデータセンタ間でのトレーニングジョブのスケジューリングは、安価で低炭素エネルギーのコンピューティング能力の使用を最適化する機会を浮き彫りにする。 本研究では,実生活におけるワークロードパターン,エネルギー価格,炭素強度を組み込んだクラウドシステムと対話することで,マルチエージェント強化学習とアクタクリティカルな手法に基づく最適協調スケジューリング戦略の学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-17T02:12:30Z)
• Does Decentralized Learning with Non-IID Unlabeled Data Benefit from Self Supervision? [51.00034621304361]
  自己教師型学習(SSL)のレンズによるラベルなしデータによる分散学習の研究 本研究では,分散学習環境下でのコントラスト学習アルゴリズムの有効性について検討する。
  論文  参考訳（メタデータ） (2022-10-20T01:32:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。