論文の概要: A Generalized McDiarmid Inequality: Sample Reuse and Non-Uniform Unbounded Differences
- arxiv url: http://arxiv.org/abs/2610.17159v1
- Date: Mon, 12 Oct 2026 17:37:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-18 03:03:01.977505
- Title: A Generalized McDiarmid Inequality: Sample Reuse and Non-Uniform Unbounded Differences
- Title（参考訳）: 一般化されたマクダイアルミドの不等式:サンプル再利用と非一様非有界差
- Abstract要約: 我々はMcDiarmidの濃度不等式の新しい一般化を開発する。
スコアベース生成モデルにおける濃度不等式を導出することで,本手法の有用性を実証する。
- 参考スコア（独自算出の注目度）: 4.79213959650826
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We develop a novel generalization of McDiarmid's concentration inequality and use it to obtain a uniform law of large numbers result and error bounds on stochastic optimization problems which simultaneously incorporate two key features: 1) They capture the benefit of training sample reuse in algorithms that also employ easily-sampled auxiliary random variables. 2) They allow for one-component mean-difference bounding functions which are both unbounded in the component of interest and have non-uniform dependence on another component. We demonstrate the utility of our method by deriving concentration inequalities for score-based generative modeling. This application naturally leverages both key features of our new tools: 1) It utilizes auxiliary Gaussian random variables in conjunction with the training samples; accounting for training sample reuse results in tighter error bounds by effectively integrating out the dependence on the auxiliary random variables. 2) The ability to handle non-uniform mean-difference bounding functions allows us to treat unbounded score models and data distributions with unbounded support.
- Abstract（参考訳）: 我々は、McDiarmidの濃度不等式の新しい一般化を開発し、それを用いて、2つの重要な特徴を同時に組み込んだ確率的最適化問題に対する、大きな結果と誤差境界の均一な法則を得る。
1) サンプル再利用の訓練の利点を, 容易にサンプリング可能な補助確率変数を用いたアルゴリズムで捉えた。
2) 利得成分に非有界で、他の成分に非一様依存する一成分平均差分有界関数を許容する。
スコアベース生成モデルにおける濃度不等式を導出することで,本手法の有用性を実証する。
このアプリケーションは、私たちの新しいツールの重要な機能の両方を自然に活用します。
1) 訓練サンプルとともに補助ガウス確率変数を利用するが, トレーニングサンプルの再利用を考慮に入れれば, 補助確率変数への依存性を効果的に積分することにより, より厳密な誤差境界が得られる。
2) 非一様平均差分有界関数の処理能力により,非有界なスコアモデルやデータ分布を非有界なサポートで扱うことができる。
関連論文リスト
- Learning Samples Importance: Parameterizing Dual Variables in Everywhere Learning [75.1630499090927]
学習は、データ分散全体にわたって保持しなければならない制約の下でAIモデルをトレーニングするための原則化されたフレームワークを提供する。
本研究では、これらの2変数を学習し、それらの値が根底にある制約問題に関する有用な情報をエンコードしているという事実から動機づける。
論文 参考訳（メタデータ） (2026-09-28T21:43:20Z) - Concentration Inequalities for the Stochastic Optimization of Unbounded Objectives with Application to Denoising Score Matching [5.022028859839544]
大規模な最適化問題に対する統計的誤差を束縛する濃度不等式を導出する。
提案手法は, 補助確率変数を簡易にサンプリングするアルゴリズムにおいて, サンプル再利用の利点を確立するものである。
論文 参考訳（メタデータ） (2025-02-12T18:30:36Z) - Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。
近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。
本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-11T13:44:49Z) - Transductive conformal inference with adaptive scores [3.591224588041813]
トランスダクティブな設定では、テストのサンプルとして$m$の新たなポイントが決定されます。
本研究はP'olya urnモデルに従い, 実験分布関数の濃度不等式を確立することを目的とする。
本研究では,2つの機械学習タスクに対して一様かつ不確率な保証を行うことにより,これらの理論的結果の有用性を示す。
論文 参考訳（メタデータ） (2023-10-27T12:48:30Z) - Mutual Exclusivity Training and Primitive Augmentation to Induce
Compositionality [84.94877848357896]
最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。
本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。
広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
論文 参考訳（メタデータ） (2022-11-28T17:36:41Z) - Multi-task Bias-Variance Trade-off Through Functional Constraints [102.64082402388192]
マルチタスク学習は、多様なタスクによく機能する関数の集合を取得することを目的としている。
本稿では,2つの極端な学習シナリオ,すなわちすべてのタスクに対する単一関数と,他のタスクを無視するタスク固有関数から直感を抽出する。
本稿では,集中関数に対するドメイン固有解を強制する制約付き学習定式化を導入する。
論文 参考訳（メタデータ） (2022-10-27T16:06:47Z) - Multi-task Supervised Learning via Cross-learning [102.64082402388192]
我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。
我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。
これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
論文 参考訳（メタデータ） (2020-10-24T21:35:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。