論文の概要: Generalization Bounds for Dependent Data using Online-to-Batch Conversion

• arxiv url: http://arxiv.org/abs/2405.13666v1
• Date: Wed, 22 May 2024 14:07:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-05-24 23:54:52.789206
• Title: Generalization Bounds for Dependent Data using Online-to-Batch Conversion
• Title（参考訳）: オンライン・バッチ変換を用いた依存データに対する一般化境界
• Authors: Sagnik Chatterjee, Manuj Mukherjee, Alhad Sethi,
• Abstract要約: 従属データ設定における統計的学習者の一般化誤差は、統計学習者の一般化誤差と同値であることを示す。 我々の証明技術は、Wassersteinに基づくオンライン学習アルゴリズムの安定性の新しい概念を定義することを含む。
• 参考スコア（独自算出の注目度）: 0.6144680854063935
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we give generalization bounds of statistical learning algorithms trained on samples drawn from a dependent data source, both in expectation and with high probability, using the Online-to-Batch conversion paradigm. We show that the generalization error of statistical learners in the dependent data setting is equivalent to the generalization error of statistical learners in the i.i.d. setting up to a term that depends on the decay rate of the underlying mixing stochastic process and is independent of the complexity of the statistical learner. Our proof techniques involve defining a new notion of stability of online learning algorithms based on Wasserstein distances and employing "near-martingale" concentration bounds for dependent random variables to arrive at appropriate upper bounds for the generalization error of statistical learners trained on dependent data.
• Abstract（参考訳）: 本研究では,オンライン・ツー・バッチ変換のパラダイムを用いて,依存データソースから抽出したサンプルに基づいて学習した統計的学習アルゴリズムの一般化境界を期待と高い確率で提示する。 従属データ設定における統計的学習者の一般化誤差は、基礎となる混合確率過程の崩壊率に依存し、統計的学習者の複雑さとは無関係な項に設定する統計学習者の一般化誤差と等価であることを示す。 我々の証明手法は、ワッサースタイン距離に基づくオンライン学習アルゴリズムの安定性の新たな概念を定義し、従属変数が従属データに基づいて訓練された統計的学習者の一般化誤差に対して適切な上界に到達するために「ニアマーチンゲール」濃度境界を用いる。

関連論文リスト

• Small Loss Bounds for Online Learning Separated Function Classes: A Gaussian Process Perspective [9.867914513513453]
  そこで本研究では,従来の研究よりも高い一般化率で低損失境界を達成できるオラクル効率のアルゴリズムを提案する。 また,この分離条件下では,最適な学習率が得られる差分プライベート学習の変種も提示する。
  論文  参考訳（メタデータ） (2025-02-14T16:52:50Z)
• Data-dependent and Oracle Bounds on Forgetting in Continual Learning [7.903539618132858]
  継続的な学習では、知識はタスク間で保存され、再利用されなければならない。 モデルとアルゴリズムの選択に関係なく適用可能な,データ依存およびオラクル上界の両方を提供する。 提案手法は,いくつかの連続的な学習問題に対して,学習を忘れることに厳密な制約を課すことを実証的に証明する。
  論文  参考訳（メタデータ） (2024-06-13T17:50:51Z)
• Geometry-Aware Instrumental Variable Regression [56.16884466478886]
  本稿では,データ導出情報によるデータ多様体の幾何を考慮した移動型IV推定器を提案する。 本手法のプラグイン・アンド・プレイ実装は,標準設定で関連する推定器と同等に動作する。
  論文  参考訳（メタデータ） (2024-05-19T17:49:33Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Beyond Normal: On the Evaluation of Mutual Information Estimators [52.85079110699378]
  そこで本研究では,既知の地道的相互情報を用いて,多種多様な分布群を構築する方法について述べる。 本稿では,問題の難易度に適応した適切な推定器の選択方法について,実践者のためのガイドラインを提供する。
  論文  参考訳（メタデータ） (2023-06-19T17:26:34Z)
• Online-to-PAC Conversions: Generalization Bounds via Regret Analysis [13.620177497267791]
  私たちは「一般化ゲーム」と呼ばれるオンライン学習ゲームを構築します。 本ゲームにおけるオンライン学習アルゴリズムの存在は,統計的学習アルゴリズムの一般化誤差に制約があることを示唆する。
  論文  参考訳（メタデータ） (2023-05-31T09:15:39Z)
• Training Normalizing Flows from Dependent Data [31.42053454078623]
  データポイント間の依存関係を取り入れたフローの正規化の可能性が示唆された。 本研究では, 観測データ間の依存関係の尊重が, 合成データと実世界のデータの両方に対する経験的結果を改善することを示す。
  論文  参考訳（メタデータ） (2022-09-29T16:50:34Z)
• Smoothed Online Learning is as Easy as Statistical Learning [77.00766067963195]
  この設定では、最初のオラクル効率、非回帰アルゴリズムを提供する。 古典的な設定で関数クラスが学習可能な場合、文脈的包帯に対するオラクル効率のよい非回帰アルゴリズムが存在することを示す。
  論文  参考訳（メタデータ） (2022-02-09T19:22:34Z)
• Federated Learning with Heterogeneous Data: A Superquantile Optimization Approach [0.0]
  我々は、不均一なデータを持つ個々のクライアントに対して、優れたパフォーマンスを確実に提供するように設計された、フェデレートされた学習フレームワークを提案する。 提案手法は,誤差の尾の統計を捉える水槽型学習訓練に基づく。
  論文  参考訳（メタデータ） (2021-12-17T11:00:23Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• A Boosting Approach to Reinforcement Learning [59.46285581748018]
  複雑度が状態数に依存しない意思決定プロセスにおける強化学習のための効率的なアルゴリズムについて検討する。 このような弱い学習手法の精度を向上させることができる効率的なアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-08-22T16:00:45Z)
• Learning Expected Emphatic Traces for Deep RL [32.984880782688535]
  オフポリシーサンプリングと経験リプレイは、サンプル効率を改善し、モデルフリーの時間差学習手法をスケールするための鍵となる。 リプレイと組み合わせることができるマルチステップ強調重み付けと、必要な強調重み付けを学習するための時間反転TD学習アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-07-12T13:14:03Z)
• Task-agnostic Continual Learning with Hybrid Probabilistic Models [75.01205414507243]
  分類のための連続学習のためのハイブリッド生成識別手法であるHCLを提案する。 フローは、データの配布を学習し、分類を行い、タスクの変更を特定し、忘れることを避けるために使用される。 本研究では,スプリット-MNIST,スプリット-CIFAR,SVHN-MNISTなどの連続学習ベンチマークにおいて,HCLの強い性能を示す。
  論文  参考訳（メタデータ） (2021-06-24T05:19:26Z)
• Statistical Inference for High-Dimensional Linear Regression with Blockwise Missing Data [13.48481978963297]
  ブロックワイドなデータは、異なるソースまたはモダリティが相補的な情報を含むマルチソースまたはマルチモダリティデータを統合するときに発生する。 本稿では,未偏差推定方程式に基づいて回帰係数ベクトルを計算効率良く推定する手法を提案する。 アルツハイマー病神経画像イニシアチブの数値的研究と応用分析により、提案手法は既存の方法よりも教師なしのサンプルからより優れた性能と利益を得られることを示した。
  論文  参考訳（メタデータ） (2021-06-07T05:12:42Z)
• Double Coverage with Machine-Learned Advice [100.23487145400833]
  オンラインの基本的な$k$-serverの問題を学習強化環境で研究する。 我々のアルゴリズムは任意の k に対してほぼ最適の一貫性-破壊性トレードオフを達成することを示す。
  論文  参考訳（メタデータ） (2021-03-02T11:04:33Z)
• Causal learning with sufficient statistics: an information bottleneck approach [3.720546514089338]
  システムの変数間の条件不依存から因果情報を抽出する方法は一般的である。 我々は、システムの生成機構を規定する法則が、変数の生成関数方程式に具現化された部分構造をもたらすことが多いという事実に乗じる。 本稿では,次元削減に一般的に応用されるインフォメーション・ボトルネック法を用いて,基礎となる十分な統計量を求めることを提案する。
  論文  参考訳（メタデータ） (2020-10-12T00:20:01Z)
• Batch Value-function Approximation with Only Realizability [17.692408242465763]
  バッチ強化学習(RL):探索データセットからQstar$を学習する。 我々のアルゴリズムであるBVFTは、トーナメントの手順を通じて硬さ予想(探索データというより強い概念の下では)を破る。 また、BVFTが他の拡張と開問題の間のモデル選択にどのように適用できるかについても論じる。
  論文  参考訳（メタデータ） (2020-08-11T20:09:37Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• A Constraint-Based Algorithm for the Structural Learning of Continuous-Time Bayesian Networks [70.88503833248159]
  連続時間ベイズネットワークの構造を学習するための制約に基づく最初のアルゴリズムを提案する。 我々は,条件付き独立性を確立するために提案した,異なる統計的テストと基礎となる仮説について論じる。
  論文  参考訳（メタデータ） (2020-07-07T07:34:09Z)
• Stable Prediction via Leveraging Seed Variable [73.9770220107874]
  従来の機械学習手法は、非因果変数によって誘導されるトレーニングデータにおいて、微妙に刺激的な相関を利用して予測する。 本研究では, 条件付き独立性テストに基づくアルゴリズムを提案し, 種子変数を先行変数とする因果変数を分離し, 安定な予測に採用する。 我々のアルゴリズムは、安定した予測のための最先端の手法より優れている。
  論文  参考訳（メタデータ） (2020-06-09T06:56:31Z)
• Tracking Performance of Online Stochastic Learners [57.14673504239551]
  オンラインアルゴリズムは、大規模なバッチにデータを保存したり処理したりすることなく、リアルタイムで更新を計算できるため、大規模な学習環境で人気がある。 一定のステップサイズを使用すると、これらのアルゴリズムはデータやモデル特性などの問題パラメータのドリフトに適応し、適切な精度で最適解を追跡する能力を持つ。 定常仮定に基づく定常状態性能とランダムウォークモデルによるオンライン学習者の追跡性能の関連性を確立する。
  論文  参考訳（メタデータ） (2020-04-04T14:16:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。