論文の概要: Unexpectedly Useful: Convergence Bounds And Real-World Distributed Learning

• arxiv url: http://arxiv.org/abs/2212.02155v1
• Date: Mon, 5 Dec 2022 10:55:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 19:10:43.808314
• Title: Unexpectedly Useful: Convergence Bounds And Real-World Distributed Learning
• Title（参考訳）: 予期せぬ有用性:収束境界と実世界の分散学習
• Authors: Francesco Malandrino and Carla Fabiana Chiasserini
• Abstract要約: 収束バウンダリは、現実世界の分散学習タスクのパフォーマンスを予測し、改善することができる。 境界に現れる量によっては、学習プロセスに最も貢献する可能性が高いクライアントを特定するのに非常に有用であることが判明した。 このことは、現実の分散学習タスクのパフォーマンスを改善するために収束境界を活用できる方法(しばしば直感に反する)について、さらなる研究が保証されていることを示唆している。
• 参考スコア（独自算出の注目度）: 20.508003076947848
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convergence bounds are one of the main tools to obtain information on the performance of a distributed machine learning task, before running the task itself. In this work, we perform a set of experiments to assess to which extent, and in which way, such bounds can predict and improve the performance of real-world distributed (namely, federated) learning tasks. We find that, as can be expected given the way they are obtained, bounds are quite loose and their relative magnitude reflects the training rather than the testing loss. More unexpectedly, we find that some of the quantities appearing in the bounds turn out to be very useful to identify the clients that are most likely to contribute to the learning process, without requiring the disclosure of any information about the quality or size of their datasets. This suggests that further research is warranted on the ways -- often counter-intuitive -- in which convergence bounds can be exploited to improve the performance of real-world distributed learning tasks.
• Abstract（参考訳）: 収束境界は、タスク自体を実行する前に、分散機械学習タスクのパフォーマンスに関する情報を取得するための主要なツールの1つである。 本研究では,実世界の分散学習タスク(すなわち,連合型学習タスク)の性能を予測・改善するための実験を行う。 得られる方法から想像できるように、境界は非常にゆるく、その相対的な大きさはテストの損失よりもトレーニングを反映していることが分かります。 さらに意外なことに、データセットの品質やサイズに関する情報の開示を必要とせず、学習プロセスに最も貢献する可能性のあるクライアントを特定するのに、境界に現れる量の一部が非常に有用であることがわかりました。 これは、現実の分散学習タスクのパフォーマンスを改善するために収束境界を活用できる方法(しばしば直観に反する)について、さらなる研究が保証されていることを示唆している。

関連論文リスト

• Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
  ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。 これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。 事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。 既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。 我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-07T12:19:37Z)
• Proto-Value Networks: Scaling Representation Learning with Auxiliary Tasks [33.98624423578388]
  補助的なタスクは、深層強化学習エージェントによって学習された表現を改善する。 我々は、後継措置に基づく新しい補助業務のファミリーを導出する。 プロト値ネットワークは、確立されたアルゴリズムに匹敵する性能を得るために、リッチな特徴を生み出すことを示す。
  論文  参考訳（メタデータ） (2023-04-25T04:25:08Z)
• Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
  本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T01:33:24Z)
• Uncertainty in Contrastive Learning: On the Predictability of Downstream Performance [7.411571833582691]
  このような表現の不確実性は、単一のデータポイントに対して有意義な方法で定量化できるかどうかを考察する。 埋め込み空間におけるトレーニングデータの分布を直接推定することにより,この目標を達成することができることを示す。
  論文  参考訳（メタデータ） (2022-07-19T15:44:59Z)
• Provable Benefits of Representational Transfer in Reinforcement Learning [59.712501044999875]
  本稿では,RLにおける表現伝達の問題について検討し,エージェントがまず複数のソースタスクを事前訓練し,共有表現を発見する。 本稿では,ソースタスクに対する生成的アクセスが与えられた場合,次に続く線形RL手法がほぼ最適ポリシーに迅速に収束する表現を発見できることを示す。
  論文  参考訳（メタデータ） (2022-05-29T04:31:29Z)
• Low-Regret Active learning [64.36270166907788]
  トレーニングに最も有用なラベル付きデータポイントを識別するオンライン学習アルゴリズムを開発した。 私たちの仕事の中心は、予測可能な(簡単な)インスタンスの低い後悔を達成するために調整された睡眠専門家のための効率的なアルゴリズムです。
  論文  参考訳（メタデータ） (2021-04-06T22:53:45Z)
• Conditional Meta-Learning of Linear Representations [57.90025697492041]
  表現学習のための標準メタラーニングは、複数のタスク間で共有される共通の表現を見つけることを目的とする。 本研究では,タスクの側情報を手作業に適した表現にマッピングし,条件付け関数を推定することで,この問題を克服する。 この利点を実用的に活用できるメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-30T12:02:14Z)
• Domain-Robust Visual Imitation Learning with Mutual Information Constraints [0.0]
  Disentangling Generative Adversarial Imitation Learning (DisentanGAIL)と呼ばれる新しいアルゴリズムを導入する。 本アルゴリズムは,タスクを実行する専門家の高次元観察から自律エージェントを直接学習することを可能にする。
  論文  参考訳（メタデータ） (2021-03-08T21:18:58Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• Sense and Learn: Self-Supervision for Omnipresent Sensors [9.442811508809994]
  我々は、生の知覚データから表現や特徴学習のためのSense and Learnというフレームワークを提案する。 これは、面倒なラベル付けプロセスに人間が関与することなく、注釈のないデータから、高レベルで広範囲に有用な特徴を学習できる補助的なタスクで構成されている。 提案手法は、教師付きアプローチと競合する結果を達成し、ネットワークを微調整し、ほとんどの場合、下流タスクを学習することでギャップを埋める。
  論文  参考訳（メタデータ） (2020-09-28T11:57:43Z)
• A survey on domain adaptation theory: learning bounds and theoretical guarantees [17.71634393160982]
  この調査の主な目的は、特定の、そして間違いなく最も人気のある、移動学習のサブフィールドにおける最先端の理論的結果の概要を提供することである。 このサブフィールドでは、学習タスクは同じままで、トレーニングとテストデータの間でデータ分布が変化すると仮定される。 本稿では、ドメイン適応問題に関連する既存の結果の最新の記述について述べる。
  論文  参考訳（メタデータ） (2020-04-24T16:11:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。