Fugu-MT 論文翻訳(概要): Multi-task learning on the edge: cost-efficiency and theoretical optimality

論文の概要: Multi-task learning on the edge: cost-efficiency and theoretical optimality

arxiv url: http://arxiv.org/abs/2110.04639v1
Date: Sat, 9 Oct 2021 19:59:02 GMT
ステータス: 処理完了
システム内更新日: 2021-10-12 18:23:09.536793
Title: Multi-task learning on the edge: cost-efficiency and theoretical optimality
Title（参考訳）: エッジ上のマルチタスク学習:コスト効率と理論的最適性
Authors: Sami Fakhry (1 and 2) and Romain Couillet (1 and 2 and 3) and Malik Tiomoko (1 and 2) ((1) GIPSA-Lab, (2) Grenoble-Alps University, (3) LIG-Lab)
Abstract要約: 本稿では、教師付き主成分分析(SPCA)に基づく分散マルチタスク学習(MTL)アルゴリズムを提案する。合成および実ベンチマークデータに対する支持実験は、大きなエネルギーゲインを性能損失なく得ることを示した。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This article proposes a distributed multi-task learning (MTL) algorithm based on supervised principal component analysis (SPCA) which is: (i) theoretically optimal for Gaussian mixtures, (ii) computationally cheap and scalable. Supporting experiments on synthetic and real benchmark data demonstrate that significant energy gains can be obtained with no performance loss.
Abstract（参考訳）: 本稿では、教師付き主成分分析(SPCA)に基づく分散マルチタスク学習(MTL)アルゴリズムを提案する。 (i)ガウス混合の理論上最適である (ii)計算上安価でスケーラブル。合成および実ベンチマークデータに対する支持実験は、大きなエネルギーゲインを性能損失なく得ることを示した。

関連論文リスト

Theoretical Insights into Fine-Tuning Attention Mechanism: Generalization and Optimization [22.317176475276725]
大規模言語モデル(LLM)の微調整中に観察される2つの顕著な現象について検討する。 $mathbfW_q$と$mathbfW_v$マトリックスのみを微調整することで、$mathbfW_k$マトリックスの最適化よりもパフォーマンスが大幅に向上する。ストレージと時間の両方で微調整効率を向上させる新しい戦略を提案する。
論文参考訳（メタデータ） (2024-10-03T06:37:37Z)
Federated Conditional Stochastic Optimization [110.513884892319]
条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-10-04T01:47:37Z)
Delegating Data Collection in Decentralized Machine Learning [67.0537668772372]
分散機械学習(ML)エコシステムの出現に動機付けられ,データ収集のデリゲートについて検討する。我々は、2つの基本的な情報非対称性を扱う最適でほぼ最適な契約を設計する。最適効用の1-1/e分を達成できるような単純な線形契約により、主成分がそのような非対称性に対処できることが示される。
論文参考訳（メタデータ） (2023-09-04T22:16:35Z)
Representation Learning with Multi-Step Inverse Kinematics: An Efficient and Optimal Approach to Rich-Observation RL [106.82295532402335]
既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
論文参考訳（メタデータ） (2023-04-12T14:51:47Z)
Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文参考訳（メタデータ） (2022-10-02T05:03:38Z)
Probabilistic Inverse Optimal Transport [11.425633112192521]
最適輸送(OT)は、コスト行列が与えられた確率測度間の最適結合を求める問題を定式化する。結合のコストを推定する逆問題は、逆最適輸送(IOT)である。我々は、エントロピー規則化OTの研究ツールを用いて、IOTの特性を形式化し、体系的に解析する。
論文参考訳（メタデータ） (2021-12-17T20:33:27Z)
PCA-based Multi Task Learning: a Random Matrix Approach [40.49988553835459]
本稿では,一般的な主成分分析 (PCA) に基づく教師付き学習手法であるcitebarshan 2011supervised,bair2006prediction の,計算効率のよいマルチタスク学習 (MTL) 拡張を提案し,理論的に分析する。
論文参考訳（メタデータ） (2021-11-01T13:13:38Z)
Fast and Efficient MMD-based Fair PCA via Optimization over Stiefel Manifold [41.58534159822546]
本稿では,主成分分析(PCA)について,次元推定条件分布の最大誤差(MMD)を最小化するものとして定義する。我々は最適性保証を提供し、実践的な環境で理論効果を明示的に示す。
論文参考訳（メタデータ） (2021-09-23T08:06:02Z)
Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文参考訳（メタデータ） (2020-10-15T18:09:48Z)
Large Dimensional Analysis and Improvement of Multi Task Learning [38.86699890656948]
マルチタスク学習(MTL)は、複数の関連するタスクに含まれる有用な情報を利用して、全てのタスクの一般化性能を向上させる。本稿では,MLLのLast Square Support Vector Machine (LSSVM) バージョンについて,簡単な解析を行うが,注意深い調整を行うと極めて強力である。
論文参考訳（メタデータ） (2020-09-03T11:40:14Z)
Approximation Algorithms for Sparse Principal Component Analysis [57.5357874512594]
主成分分析(PCA)は、機械学習と統計学において広く使われている次元削減手法である。スパース主成分分析(Sparse principal Component Analysis)と呼ばれる,スパース主成分負荷を求める様々な手法が提案されている。本研究では,SPCA問題に対するしきい値の精度,時間,近似アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-06-23T04:25:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。