論文の概要: Budgeted Online Model Selection and Fine-Tuning via Federated Learning
- arxiv url: http://arxiv.org/abs/2401.10478v1
- Date: Fri, 19 Jan 2024 04:02:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-22 16:54:37.363443
- Title: Budgeted Online Model Selection and Fine-Tuning via Federated Learning
- Title（参考訳）: フェデレーション学習によるオンラインモデル選択と微調整
- Authors: Pouya M. Ghari, Yanning Shen
- Abstract要約: オンラインモデル選択では、候補モデルのセットからモデルを選択して、データのストリームで予測を実行する。
その後の候補モデルの選択は、パフォーマンスに決定的な影響を与えます。
本稿では,学習者グループ(クライアント)が十分なメモリを持つサーバと対話するオンラインフェデレーションモデル選択フレームワークを提案する。
提案したアルゴリズムを用いて、クライアントとサーバは微調整モデルと協調して非定常環境に適応する。
- 参考スコア（独自算出の注目度）: 26.823435733330705
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Online model selection involves selecting a model from a set of candidate
models 'on the fly' to perform prediction on a stream of data. The choice of
candidate models henceforth has a crucial impact on the performance. Although
employing a larger set of candidate models naturally leads to more flexibility
in model selection, this may be infeasible in cases where prediction tasks are
performed on edge devices with limited memory. Faced with this challenge, the
present paper proposes an online federated model selection framework where a
group of learners (clients) interacts with a server with sufficient memory such
that the server stores all candidate models. However, each client only chooses
to store a subset of models that can be fit into its memory and performs its
own prediction task using one of the stored models. Furthermore, employing the
proposed algorithm, clients and the server collaborate to fine-tune models to
adapt them to a non-stationary environment. Theoretical analysis proves that
the proposed algorithm enjoys sub-linear regret with respect to the best model
in hindsight. Experiments on real datasets demonstrate the effectiveness of the
proposed algorithm.
- Abstract（参考訳）: オンラインモデル選択は、データストリームで予測を行うために、候補モデルのセットからモデルを選択することを伴う。
その後の候補モデルの選択は、パフォーマンスに大きな影響を与えます。
候補モデルのより大きなセットを採用すると、モデル選択の柔軟性が向上するが、限られたメモリを持つエッジデバイスで予測タスクが実行される場合、これは実現不可能である。
本稿では,学習者グループ(クライアント)が,サーバがすべての候補モデルを格納するのに十分なメモリを持つサーバと対話する,オンラインフェデレーションモデル選択フレームワークを提案する。
しかしながら、各クライアントは、メモリに適合するモデルのサブセットを格納することのみを選択し、ストアされたモデルの1つを使用して独自の予測タスクを実行する。
さらに,提案アルゴリズムを用いて,クライアントとサーバが協調してモデルを微調整し,非定常環境に適用する。
理論的解析により,提案アルゴリズムは後見の最良のモデルに関して,線形な後悔を味わうことが証明された。
実データを用いた実験により,提案アルゴリズムの有効性が示された。
関連論文リスト
- Towards Fundamentally Scalable Model Selection: Asymptotically Fast Update and Selection [40.85209520973634]
理想的なモデル選択スキームは、候補モデルの大きなプール上で2つの操作を効率的にサポートすべきである。
モデル選択に対する従来の解決策は、これらの2つの操作のうちの少なくとも1つに対して高い計算複雑性を必要とする。
モデル埋め込みを実証的に実現したStandardized Embedderを提案する。
論文 参考訳（メタデータ） (2024-06-11T17:57:49Z) - A Two-Phase Recall-and-Select Framework for Fast Model Selection [13.385915962994806]
本稿では,2相モデル選択フレームワークを提案する。
これは、ベンチマークデータセット上でモデルのトレーニングパフォーマンスを活用することにより、堅牢なモデルを選択する効率を高めることを目的としている。
提案手法は,従来のベースライン法に比べて約3倍の速度でハイパフォーマンスモデルの選択を容易にすることが実証された。
論文 参考訳（メタデータ） (2024-03-28T14:44:44Z) - DsDm: Model-Aware Dataset Selection with Datamodels [81.01744199870043]
標準的なプラクティスは、データ品質という人間の考え方にマッチする例をフィルタリングすることです。
質の高い"データソースとの類似性に応じた選択は、ランダムに選択するデータに比べてパフォーマンスが向上しない(さらに傷つく)可能性がある。
我々のフレームワークは、データ品質に関する手作業による概念を回避し、学習プロセスがターゲットタスクの予測にデータポイントをトレーニングする方法を明確にモデル化する。
論文 参考訳（メタデータ） (2024-01-23T17:22:00Z) - Tryage: Real-time, intelligent Routing of User Prompts to Large Language
Models [1.0878040851637998]
Hugging Faceエコシステムには20万以上のモデルがあり、ユーザーは多面的およびデータドメインに適したモデルを選択し、最適化する。
本稿では,言語モデルルータを利用した文脈認識型ルーティングシステムTryageを提案する。
論文 参考訳（メタデータ） (2023-08-22T17:48:24Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z) - Synthetic Model Combination: An Instance-wise Approach to Unsupervised
Ensemble Learning [92.89846887298852]
ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。
専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
論文 参考訳（メタデータ） (2022-10-11T10:20:31Z) - Have we been Naive to Select Machine Learning Models? Noisy Data are
here to Stay! [2.094821665776961]
モデル選択手順は、通常、特定の集合における特定の計量を最大化するモデルを選択する単一基準決定である。
これは非常に単純であり、過剰な探索現象のため、過度に適合したモデルの選択が不十分である、と我々は主張する。
4つの理論的最適条件を定義し、モデルをよりよく選択し、分析することができる。
論文 参考訳（メタデータ） (2022-07-14T04:20:08Z) - A linearized framework and a new benchmark for model selection for
fine-tuning [112.20527122513668]
異なるドメインで事前訓練されたモデルの集合からの微調整は、低データ体制におけるテストの精度を向上させる技術として現れている。
モデル選択のための2つの新しいベースライン - Label-Gradient と Label-Feature correlation を導入する。
我々のベンチマークでは、微調整されたイメージネットモデルと比較して、モデル動物園での精度向上が強調されている。
論文 参考訳（メタデータ） (2021-01-29T21:57:15Z) - Characterizing Fairness Over the Set of Good Models Under Selective
Labels [69.64662540443162]
同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。
到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。
選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
論文 参考訳（メタデータ） (2021-01-02T02:11:37Z) - On Statistical Efficiency in Learning [37.08000833961712]
モデルフィッティングとモデル複雑性のバランスをとるためのモデル選択の課題に対処する。
モデルの複雑さを順次拡大し、選択安定性を高め、コストを削減するオンラインアルゴリズムを提案します。
実験の結果, 提案手法は予測能力が高く, 計算コストが比較的低いことがわかった。
論文 参考訳（メタデータ） (2020-12-24T16:08:29Z) - Online Active Model Selection for Pre-trained Classifiers [72.84853880948894]
我々は,任意のラウンドにおいて高い確率で最良のモデルをラベル付けし,出力する情報的サンプルを積極的に選択するオンライン選択的サンプリング手法を設計する。
我々のアルゴリズムは、敵とストリームの両方のオンライン予測タスクに利用できる。
論文 参考訳（メタデータ） (2020-10-19T19:53:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。