論文の概要: Distributed Primal-Dual Optimization for Online Multi-Task Learning
- arxiv url: http://arxiv.org/abs/2004.01305v1
- Date: Thu, 2 Apr 2020 23:36:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-17 09:46:47.375805
- Title: Distributed Primal-Dual Optimization for Online Multi-Task Learning
- Title（参考訳）: オンラインマルチタスク学習のための分散Primal-Dual Optimization
- Authors: Peng Yang and Ping Li
- Abstract要約: 本稿では,対数学習におけるタスク固有のノイズを捕捉し,実行時効率でプロジェクションフリーな更新を行う適応的原始双対アルゴリズムを提案する。
我々のモデルは、エネルギー不足や帯域制限のあるタスクが更新を延期できるようにするため、分散型の周期接続タスクに適しています。
実験結果から,提案モデルが実世界の様々なデータセットに対して極めて有効であることが確認された。
- 参考スコア（独自算出の注目度）: 22.45069527817333
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conventional online multi-task learning algorithms suffer from two critical
limitations: 1) Heavy communication caused by delivering high velocity of
sequential data to a central machine; 2) Expensive runtime complexity for
building task relatedness. To address these issues, in this paper we consider a
setting where multiple tasks are geographically located in different places,
where one task can synchronize data with others to leverage knowledge of
related tasks. Specifically, we propose an adaptive primal-dual algorithm,
which not only captures task-specific noise in adversarial learning but also
carries out a projection-free update with runtime efficiency. Moreover, our
model is well-suited to decentralized periodic-connected tasks as it allows the
energy-starved or bandwidth-constraint tasks to postpone the update.
Theoretical results demonstrate the convergence guarantee of our distributed
algorithm with an optimal regret. Empirical results confirm that the proposed
model is highly effective on various real-world datasets.
- Abstract（参考訳）: 従来のオンラインマルチタスク学習アルゴリズムには2つの限界がある。
1) センタマシンにシーケンシャルデータの高速配信によって生じる重厚な通信
2) タスク関連性を構築するための高価なランタイム複雑さ。
そこで本稿では,複数のタスクが地理的に異なる場所に配置され,あるタスクが他のタスクと同期して関連するタスクの知識を活用できるような環境について検討する。
具体的には、対数学習におけるタスク固有のノイズをキャプチャするだけでなく、実行時効率でプロジェクションフリーな更新を行う適応原始双対アルゴリズムを提案する。
さらに,省エネタスクや帯域幅制約タスクが更新を延期できるため,分散周期接続タスクにも適している。
理論的な結果は,分散アルゴリズムの収束保証を最適後悔で示している。
実験結果から,提案モデルが実世界の様々なデータセットに対して極めて有効であることが確認された。
関連論文リスト
- Learning Dual-arm Object Rearrangement for Cartesian Robots [28.329845378085054]
この研究は、カルテシアンロボットの現実的な産業シナリオから抽象化されたデュアルアームオブジェクト再構成問題に焦点を当てる。
この問題の目標は、すべてのオブジェクトをソースからターゲットに、総完了時間最小で転送することである。
我々は、累積タスク実行時間を最小化し、両腕協調効率を最大化するための効果的なオブジェクト・ツー・アームタスク割り当て戦略を開発する。
論文 参考訳（メタデータ） (2024-02-21T09:13:08Z) - Data-CUBE: Data Curriculum for Instruction-based Sentence Representation
Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。
タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。
インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文 参考訳（メタデータ） (2024-01-07T18:12:20Z) - Multitask Learning with No Regret: from Improved Confidence Bounds to
Active Learning [79.07658065326592]
推定タスクの不確実性の定量化は、オンラインやアクティブな学習など、多くの下流アプリケーションにとって重要な課題である。
タスク間の類似性やタスクの特徴を学習者に提供できない場合、課題設定において新しいマルチタスク信頼区間を提供する。
本稿では,このパラメータを事前に知らないまま,このような改善された後悔を実現する新しいオンライン学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-08-03T13:08:09Z) - Multi-task Bias-Variance Trade-off Through Functional Constraints [102.64082402388192]
マルチタスク学習は、多様なタスクによく機能する関数の集合を取得することを目的としている。
本稿では,2つの極端な学習シナリオ,すなわちすべてのタスクに対する単一関数と,他のタスクを無視するタスク固有関数から直感を抽出する。
本稿では,集中関数に対するドメイン固有解を強制する制約付き学習定式化を導入する。
論文 参考訳（メタデータ） (2022-10-27T16:06:47Z) - Fast Inference and Transfer of Compositional Task Structures for
Few-shot Task Generalization [101.72755769194677]
本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。
我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。
提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
論文 参考訳（メタデータ） (2022-05-25T10:44:25Z) - On-edge Multi-task Transfer Learning: Model and Practice with
Data-driven Task Allocation [20.20889051697198]
マルチタスク・トランスファー・ラーニング(MTL)におけるタスク・アロケーションは,NP完全Knapsack問題の変種であることを示す。
我々は,データ駆動型協調作業割当(DCTA)アプローチを提案し,高い計算効率でTATIMを解く。
我々のDCTAは処理時間の3.24倍を削減し、TATIMを解く際の最先端技術と比較して48.4%の省エネを図っている。
論文 参考訳（メタデータ） (2021-07-06T08:24:25Z) - Exploring Relational Context for Multi-Task Dense Prediction [76.86090370115]
我々は,共通バックボーンと独立タスク固有のヘッドで表される,密集予測タスクのためのマルチタスク環境を考える。
マルチタスク設定では,グローバルやローカルなど,さまざまな注意に基づくコンテキストを探索する。
タスクペアごとに利用可能なすべてのコンテキストのプールをサンプリングするAdaptive Task-Relational Contextモジュールを提案する。
論文 参考訳（メタデータ） (2021-04-28T16:45:56Z) - Sign-regularized Multi-task Learning [13.685061061742523]
マルチタスク学習は、パフォーマンスを向上させるために知識を共有するために異なる学習タスクを強制するフレームワークです。
特に、どのタスクが相関して類似しているのか、どのように関連するタスク間で知識を共有するかなどです。
論文 参考訳（メタデータ） (2021-02-22T17:11:15Z) - Learning Centric Wireless Resource Allocation for Edge Computing:
Algorithm and Experiment [15.577056429740951]
Edge Intelligenceは、センサー、通信、コンピューティングコンポーネントを統合し、さまざまな機械学習アプリケーションをサポートする、新興ネットワークアーキテクチャである。
既存の方法は2つの重要な事実を無視している: 1) 異なるモデルがトレーニングデータに不均一な要求を持っている; 2) シミュレーション環境と実環境との間にはミスマッチがある。
本稿では,複数のタスクの最悪の学習性能を最大化する学習中心の無線リソース割り当て方式を提案する。
論文 参考訳（メタデータ） (2020-10-29T06:20:40Z) - Reparameterizing Convolutions for Incremental Multi-Task Learning
without Task Interference [75.95287293847697]
マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。
まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。
第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
論文 参考訳（メタデータ） (2020-07-24T14:44:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。