論文の概要: Distribution-Dependent Rates for Multi-Distribution Learning

• arxiv url: http://arxiv.org/abs/2312.13130v1
• Date: Wed, 20 Dec 2023 15:50:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-21 15:05:21.914667
• Title: Distribution-Dependent Rates for Multi-Distribution Learning
• Title（参考訳）: マルチディストリビューション学習のための分布依存率
• Authors: Rafael Hanashiro, Patrick Jaillet
• Abstract要約: 最近のマルチディストリビューション学習フレームワークは、環境との動的相互作用において、この目的に対処する。 我々は, MDL体制における分布依存性の保証を行い, 最適値以下の差でスケールし, その結果, 試料サイズへの依存度が向上することを示した。 適応型楽観的アルゴリズム LCB-DR を考案し,マルチアームバンディット文学における均一性と楽観的アロケーションのコントラストを反映した。
• 参考スコア（独自算出の注目度）: 26.38831409926518
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To address the needs of modeling uncertainty in sensitive machine learning applications, the setup of distributionally robust optimization (DRO) seeks good performance uniformly across a variety of tasks. The recent multi-distribution learning (MDL) framework tackles this objective in a dynamic interaction with the environment, where the learner has sampling access to each target distribution. Drawing inspiration from the field of pure-exploration multi-armed bandits, we provide distribution-dependent guarantees in the MDL regime, that scale with suboptimality gaps and result in superior dependence on the sample size when compared to the existing distribution-independent analyses. We investigate two non-adaptive strategies, uniform and non-uniform exploration, and present non-asymptotic regret bounds using novel tools from empirical process theory. Furthermore, we devise an adaptive optimistic algorithm, LCB-DR, that showcases enhanced dependence on the gaps, mirroring the contrast between uniform and optimistic allocation in the multi-armed bandit literature.
• Abstract（参考訳）: センシティブな機械学習アプリケーションにおけるモデリングの不確実性に対処するために、分散ロバスト最適化(DRO)のセットアップは、様々なタスクに対して一様に優れたパフォーマンスを求める。 近年のMDL(Multi-Distribution Learning)フレームワークは,学習者が各対象分布へのアクセスをサンプリングする環境との動的相互作用において,この目的に対処している。 純爆発多腕バンディットの分野から着想を得て,mdl法において,サブオプティビティギャップとスケールする分布依存的保証を提供し,既存の分布非依存解析と比較して試料サイズへの依存度が高かった。 本研究では, 統一的・一様探索という2つの非適応的手法と, 経験的プロセス理論からの新たなツールを用いた非漸近的後悔境界について検討する。 さらに,多武装バンディット文学における均一性と楽観的アロケーションの対比を反映した適応型楽観的アルゴリズム LCB-DR を考案した。

関連論文リスト

• Statistical Properties of Robust Satisficing [5.0139295307605325]
  Robust Satisficing(RS)モデルは、堅牢な最適化に対する新たなアプローチである。 本稿では,RSモデルの理論的特性を包括的に解析する。 実験の結果,RSモデルは小サンプル体制における基礎的経験的リスクを常に上回ることがわかった。
  論文  参考訳（メタデータ） (2024-05-30T19:57:28Z)
• Sample Complexity of Offline Distributionally Robust Linear Markov Decision Processes [37.15580574143281]
  オフライン強化学習(RL) 本稿では、オフラインデータを用いた全変動距離を特徴とする不確実性を伴う分布安定線形マルコフ決定過程(MDP)のサンプル複雑性について考察する。 我々は悲観的なモデルに基づくアルゴリズムを開発し、最小限のデータカバレッジ仮定の下でそのサンプルの複雑さを確立する。
  論文  参考訳（メタデータ） (2024-03-19T17:48:42Z)
• A Distributional Analogue to the Successor Representation [54.99439648059807]
  本稿では,分散強化学習のための新しい手法を提案する。 学習プロセスにおける遷移構造と報酬のクリーンな分離を解明する。 実例として,ゼロショットリスクに敏感な政策評価が可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-13T15:35:24Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Distributionally Robust Model-based Reinforcement Learning with Large State Spaces [55.14361269378122]
  強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。 広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。 本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-05T13:42:11Z)
• Exact Subspace Diffusion for Decentralized Multitask Learning [17.592204922442832]
  マルチタスク学習のための分散戦略は、よりニュアンスな方法でエージェント間の関係を誘導し、コンセンサスを強制せずにコラボレーションを促進する。 本研究では,ネットワーク上の部分空間制約付きマルチタスク学習のための正確な拡散アルゴリズムの一般化を開発し,その平均二乗偏差の正確な式を導出する。 予測された性能表現の精度を数値的に検証するとともに,近似予測に基づく代替案に対する提案手法の性能向上を検証した。
  論文  参考訳（メタデータ） (2023-04-14T19:42:19Z)
• Cooperative Distribution Alignment via JSD Upper Bound [7.071749623370137]
  教師なし分布アライメントは、2つ以上のソース分布を共有整列分布にマッピングする変換を推定する。 このタスクには、生成モデリング、教師なしドメイン適応、社会的に認識された学習など、多くの応用がある。 我々は,従来のフローベースアプローチを,単一の非逆数フレームワークで統一し,一般化することを提案する。
  論文  参考訳（メタデータ） (2022-07-05T20:09:03Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Exploration with Multi-Sample Target Values for Distributional Reinforcement Learning [20.680417111485305]
  分散RLのマルチサンプル目標値(MTV)を,単一サンプル目標値推定の原則的代替として導入する。 改良された分布推定は UCB ベースの探査に寄与する。 我々は,一連の連続制御タスクに対するアプローチを評価し,ヒューマノイド制御のような難易度の高いタスクに対して,最先端のモデルフリー性能を示す。
  論文  参考訳（メタデータ） (2022-02-06T03:27:05Z)
• A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
  バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。 ブレグマン最小化の発散の観点から一般的な枠組みを開発する。 我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
  論文  参考訳（メタデータ） (2021-12-07T01:23:20Z)
• Generalization Properties of Optimal Transport GANs with Latent Distribution Learning [52.25145141639159]
  本研究では,潜伏分布とプッシュフォワードマップの複雑さの相互作用が性能に与える影響について検討する。 我々の分析に感銘を受けて、我々はGANパラダイム内での潜伏分布とプッシュフォワードマップの学習を提唱した。
  論文  参考訳（メタデータ） (2020-07-29T07:31:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。