論文の概要: On the KL-Divergence-based Robust Satisficing Model

• arxiv url: http://arxiv.org/abs/2408.09157v1
• Date: Sat, 17 Aug 2024 10:05:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-20 22:01:27.386885
• Title: On the KL-Divergence-based Robust Satisficing Model
• Title（参考訳）: KL-Divergence-based Robust Satisficing Modelについて
• Authors: Haojie Yan, Minglong Zhou, Jiayi Guo,
• Abstract要約: 頑丈さを満足させる枠組みは 学界から注目を集めています 本稿では,解析的解釈,多様な性能保証,効率的で安定した数値法,収束解析,階層型データ構造に適した拡張について述べる。 我々は、最先端のベンチマークと比較して、モデルの性能が優れていることを実証する。
• 参考スコア（独自算出の注目度）: 2.425685918104288
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Empirical risk minimization, a cornerstone in machine learning, is often hindered by the Optimizer's Curse stemming from discrepancies between the empirical and true data-generating distributions.To address this challenge, the robust satisficing framework has emerged recently to mitigate ambiguity in the true distribution. Distinguished by its interpretable hyperparameter and enhanced performance guarantees, this approach has attracted increasing attention from academia. However, its applicability in tackling general machine learning problems, notably deep neural networks, remains largely unexplored due to the computational challenges in solving this model efficiently across general loss functions. In this study, we delve into the Kullback Leibler divergence based robust satisficing model under a general loss function, presenting analytical interpretations, diverse performance guarantees, efficient and stable numerical methods, convergence analysis, and an extension tailored for hierarchical data structures. Through extensive numerical experiments across three distinct machine learning tasks, we demonstrate the superior performance of our model compared to state-of-the-art benchmarks.
• Abstract（参考訳）: 機械学習の基盤となる経験的リスク最小化は、経験的データ生成分布と真のデータ生成分布の相違から生じるオプティマイザのカースによってしばしば妨げられる。この課題に対処するために、堅牢な満足度フレームワークが最近出現し、真の分布のあいまいさを軽減している。 解釈可能なハイパーパラメータと性能保証の強化により、このアプローチは学界からの注目を集めている。 しかし、一般の機械学習問題(特にディープニューラルネットワーク)に対処する適用性は、一般の損失関数全体にわたってこのモデルを効率的に解決する際の計算上の課題のため、ほとんど解明されていない。 本研究では, 解析的解釈, 多様な性能保証, 効率的で安定な数値法, 収束解析, 階層データ構造に適した拡張について述べる。 3つの異なる機械学習タスクにわたる広範な数値実験を通じて、我々のモデルの性能を最先端のベンチマークと比較した。

関連論文リスト

• Towards Robust Out-of-Distribution Generalization: Data Augmentation and Neural Architecture Search Approaches [4.577842191730992]
  我々は、ディープラーニングのための堅牢なOoD一般化への道を探る。 まず,認識に必須でない特徴間の素早い相関を解消するための,新しい効果的なアプローチを提案する。 次に,OoDシナリオにおけるニューラルアーキテクチャ探索の強化問題について検討する。
  論文  参考訳（メタデータ） (2024-10-25T20:50:32Z)
• On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
  複数モーダルな)自己教師付き表現学習のための連続領域における識別確率モデル問題について検討する。 我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。
  論文  参考訳（メタデータ） (2024-10-11T18:02:46Z)
• The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness [50.52507648690234]
  フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。 提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-01-25T09:18:51Z)
• Distributionally Robust Model-based Reinforcement Learning with Large State Spaces [55.14361269378122]
  強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。 広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。 本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-05T13:42:11Z)
• Understanding Generalization of Federated Learning via Stability: Heterogeneity Matters [1.4502611532302039]
  一般化性能は、現実世界のアプリケーションに適用された機械学習モデルを評価する上で重要な指標である。 一般化性能は、現実世界のアプリケーションに適用された機械学習モデルを評価する上で重要な指標である。
  論文  参考訳（メタデータ） (2023-06-06T16:12:35Z)
• Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
  ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。 本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。 他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。 驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
  論文  参考訳（メタデータ） (2021-10-21T07:28:11Z)
• Robust Unsupervised Learning via L-Statistic Minimization [38.49191945141759]
  教師なし学習に焦点をあて、この問題に対する一般的なアプローチを提示する。 重要な仮定は、摂動分布は、許容モデルの特定のクラスに対するより大きな損失によって特徴付けられることである。 教師なし学習におけるいくつかのポピュラーモデルに対する提案基準に関して,一様収束境界を証明した。
  論文  参考訳（メタデータ） (2020-12-14T10:36:06Z)
• Adversarial Robustness of Supervised Sparse Coding [34.94566482399662]
  表現を学習すると同時に、正確な一般化境界と堅牢性証明を与えるモデルを考える。 線形エンコーダと組み合わされたスパーシティプロモーティングエンコーダを組み合わせた仮説クラスに着目した。 エンドツーエンドの分類のための堅牢性証明を提供する。
  論文  参考訳（メタデータ） (2020-10-22T22:05:21Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)
• Dynamic Federated Learning [57.14673504239551]
  フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。 我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。 集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
  論文  参考訳（メタデータ） (2020-02-20T15:00:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。