論文の概要: Low-resource domain adaptation while minimizing energy and hardware resource consumption

• arxiv url: http://arxiv.org/abs/2506.08433v2
• Date: Wed, 11 Jun 2025 03:45:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-12 16:13:48.058423
• Title: Low-resource domain adaptation while minimizing energy and hardware resource consumption
• Title（参考訳）: エネルギー・ハードウェア資源消費の最小化と低リソース領域適応
• Authors: Hernán Maina, Nicolás Wolovick, Luciana Benotti,
• Abstract要約: 異なる数値精度フォーマットとデータ並列化戦略が、トレーニング速度とモデルの精度の両方にどのように影響するかを評価する。 私たちの発見は、エネルギー効率、アクセシビリティ、ハードウェアの可用性の制限が重要な懸念事項であるような環境に関係しています。
• 参考スコア（独自算出の注目度）: 3.427366431933441
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Training Large Language Models (LLMs) is costly in terms of energy, hardware, and annotated data, often resulting in a positionality rooted in predominant cultures and values (Santy et al., 2023). Domain adaptation has emerged as a promising strategy to better align models with diverse cultural and value contexts (Hershcovich et al., 2022), but its computational cost remains a significant barrier, particularly for research groups lacking access to large-scale infrastructure. In this paper, we evaluate how the use of different numerical precision formats and data parallelization strategies impacts both training speed (as a proxy to energy and hardware consumption) and model accuracy, with the goal of facilitating domain adaptation in low-resource environments. Our findings are relevant to any setting where energy efficiency, accessibility, or limited hardware availability are key concerns.
• Abstract（参考訳）: 大規模言語モデル(LLMs)のトレーニングは、エネルギー、ハードウェア、注釈付きデータといった面でコストがかかり、多くの場合、支配的な文化や価値観に根ざした位置性をもたらす(Santy et al , 2023)。 ドメイン適応は、様々な文化的、価値の文脈でモデルをより良く整合させるための有望な戦略として現れてきた(Hershcovich et al , 2022)が、その計算コストは、特に大規模インフラにアクセスできない研究グループにとって重要な障壁である。 本稿では、低リソース環境におけるドメイン適応の促進を目的として、異なる数値精度フォーマットとデータ並列化戦略が、トレーニング速度(エネルギー消費とハードウェア消費のプロキシ)とモデル精度の両方にどのように影響するかを評価する。 私たちの発見は、エネルギー効率、アクセシビリティ、ハードウェアの可用性の制限が重要な懸念事項であるような環境に関係しています。

関連論文リスト

• Learning to Optimally Dispatch Power: Performance on a Nation-Wide Real-World Dataset [0.0]
  ウルグアイの電力網の構造特性と2年近い実世界の運用データの両方を含む,一般公開された電力システムデータセットを紹介する。 実世界のデータが学習ベースORPDソリューションに与える影響を評価し, 人工的な需要から実際の需要へ移行する際の予測誤差が顕著に増加したことを明らかにする。
  論文  参考訳（メタデータ） (2025-05-30T12:07:38Z)
• ReGUIDE: Data Efficient GUI Grounding via Spatial Reasoning and Search [53.40810298627443]
  ReGUIDEは、MLLMが自己生成的推論と空間認識的批判を通じてデータを効率的に学習することを可能にするWebグラウンドのためのフレームワークである。 実験により、ReGUIDEは複数のベンチマークでWebグラウンド性能を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2025-05-21T08:36:18Z)
• Deploying Large AI Models on Resource-Limited Devices with Split Federated Learning [39.73152182572741]
  本稿では、SFLAM(Quantized Split Federated Fine-Tuning Large AI Model)と呼ばれる新しいフレームワークを提案する。 エッジデバイスとサーバ間のトレーニング負荷を分割することで、SFLAMはデバイス上の大規模なモデルの操作を容易にすることができる。 SFLAMは、トレーニング効率を高めるために、量子化管理、電力制御、帯域幅割り当て戦略を取り入れている。
  論文  参考訳（メタデータ） (2025-04-12T07:55:11Z)
• Load Forecasting for Households and Energy Communities: Are Deep Learning Models Worth the Effort? [0.0]
  エネルギーコミュニティ(EC)は、地域需要のシフトと自己充足力の向上に重要な役割を果たしている。 データ駆動予測は注目されているが、多くの実践的な文脈ではまだ十分に調査されていない。 本研究では,最先端のディープラーニングモデルの有効性を評価する。
  論文  参考訳（メタデータ） (2025-01-09T06:29:50Z)
• Adaptive Resource Allocation for Virtualized Base Stations in O-RAN with Online Learning [55.08287089554127]
  基地局(vBS)を備えたオープンラジオアクセスネットワークシステムは、柔軟性の向上、コスト削減、ベンダーの多様性、相互運用性のメリットを提供する。 本研究では,予期せぬ「混み合う」環境下であっても,効率的なスループットとvBSエネルギー消費のバランスをとるオンライン学習アルゴリズムを提案する。 提案手法は, 課題のある環境においても, 平均最適性ギャップをゼロにすることで, サブ線形後悔を実現する。
  論文  参考訳（メタデータ） (2023-09-04T17:30:21Z)
• REFT: Resource-Efficient Federated Training Framework for Heterogeneous and Resource-Constrained Environments [2.117841684082203]
  分散システムでは、フェデレートラーニング(FL)が重要な役割を果たす。 FLは、機械学習のプライバシ強化サブドメインとして出現する。 我々は「不均一・資源制約環境のための資源効率の良いフェデレーション・トレーニング・フレームワーク」を提案する。
  論文  参考訳（メタデータ） (2023-08-25T20:33:30Z)
• Power Modeling for Effective Datacenter Planning and Compute Management [53.41102502425513]
  我々は,すべてのハードウェア構成とワークロードに適用可能な,正確でシンプルで解釈可能な統計パワーモデルの設計と検証の2つのクラスについて論じる。 提案された統計的モデリング手法は, 単純かつスケーラブルでありながら, 4つの特徴のみを用いて, 95% 以上の多様な配電ユニット (2000 以上) に対して, 5% 未満の絶対パーセンテージエラー (MAPE) で電力を予測できることを実証した。
  論文  参考訳（メタデータ） (2021-03-22T21:22:51Z)
• A Framework for Energy and Carbon Footprint Analysis of Distributed and Federated Edge Learning [48.63610479916003]
  本稿では,分散学習政策の環境フットプリントに影響を与える要因を概説し,分析する。 バニラとコンセンサスによって駆動される分散FLポリシーの両方をモデル化する。 その結果、flは低ビット/ジュール効率を特徴とするワイヤレスシステムにおいて、顕著なエンドツーエンドの省エネ(30%-40%)が可能となった。
  論文  参考訳（メタデータ） (2021-03-18T16:04:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。