論文の概要: Sharper Concentration Inequalities for Multi-Graph Dependent Variables

• arxiv url: http://arxiv.org/abs/2502.18167v1
• Date: Tue, 25 Feb 2025 12:57:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:23:12.358321
• Title: Sharper Concentration Inequalities for Multi-Graph Dependent Variables
• Title（参考訳）: 多グラフ依存変数に対するシャーパー濃度の不等式
• Authors: Xiao Shao, Guoqiang Wu,
• Abstract要約: グラフ依存データを含むタスクごとのマルチタスク学習(MTL)において、一般化結果は、O(frac1sqrtn)$の準最適リスク境界が得られる。 本稿では、新たなベネットの不等式を提案し、よりシャープなリスク境界の$O(fraclog nn)$を導出する。
• 参考スコア（独自算出の注目度）: 5.42833955464548
• License:
• Abstract: In multi-task learning (MTL) with each task involving graph-dependent data, generalization results of existing theoretical analyses yield a sub-optimal risk bound of $O(\frac{1}{\sqrt{n}})$, where $n$ is the number of training samples.This is attributed to the lack of a foundational sharper concentration inequality for multi-graph dependent random variables. To fill this gap, this paper proposes a new corresponding Bennett inequality, enabling the derivation of a sharper risk bound of $O(\frac{\log n}{n})$. Specifically, building on the proposed Bennett inequality, we propose a new corresponding Talagrand inequality for the empirical process and further develop an analytical framework of the local Rademacher complexity to enhance theoretical generalization analyses in MTL with multi-graph dependent data. Finally, we apply the theoretical advancements to applications such as Macro-AUC Optimization, demonstrating the superiority of our theoretical results over previous work, which is also corroborated by experimental results.
• Abstract（参考訳）: グラフ依存型データを含むタスクごとのマルチタスク学習(MTL)において、既存の理論解析の一般化結果は、$O(\frac{1}{\sqrt{n}})$, where $n$はトレーニングサンプルの数である。 このギャップを埋めるために、本稿では、よりシャープなリスク境界である$O(\frac{\log n}{n})$の導出を可能にする、新しい対応するベネットの不等式を提案する。 具体的には、提案したベネットの不等式に基づいて、実験過程に対応する新しいタラグラッド不等式を提案し、マルチグラフ依存データを用いたMTLにおける理論的一般化解析を強化するために、局所ラデマッハ複雑性の解析的枠組みをさらに発展させる。 最後に、Macro-AUC Optimizationのような応用に理論の進歩を適用し、従来の研究よりも理論結果の優位性を実証する。

関連論文リスト

• FAIRM: Learning invariant representations for algorithmic fairness and domain generalization with minimax optimality [15.71499916304475]
  本研究では,多様性型条件下でのフェアネスと領域一般化特性が望ましい学習環境に基づくオラクルFAIRMを提案する。 線形モデルでFAIRMを実現するための効率的なアルゴリズムを開発し、最小限の最適化で漸近的性能を示す。
  論文  参考訳（メタデータ） (2024-04-02T03:06:25Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
  バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。 ブレグマン最小化の発散の観点から一般的な枠組みを開発する。 我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
  論文  参考訳（メタデータ） (2021-12-07T01:23:20Z)
• Multi-task Learning of Order-Consistent Causal Graphs [59.9575145128345]
  我々は、$K関連ガウス非巡回グラフ(DAG)の発見問題を考える。 マルチタスク学習環境下では, 線形構造方程式モデルを学習するためのMLE ($l_1/l$-regularized maximum chance estimator) を提案する。 理論的には、関係するタスクにまたがるデータを活用することで、因果順序を復元する際のサンプルの複雑さをより高めることができることを示す。
  論文  参考訳（メタデータ） (2021-11-03T22:10:18Z)
• Outlier-Robust Optimal Transport: Duality, Structure, and Statistical Applications [25.410110072480187]
  ワッサーシュタイン距離は、考慮された分布における外れ値に敏感である。 本稿では, 汚染された各分布から, $varepsilon$outlier mass を除去できる新しいoutlier-robust Wasserstein distance $mathsfW_pvarepsilon$を提案する。
  論文  参考訳（メタデータ） (2021-11-02T04:05:45Z)
• Permutation Compressors for Provably Faster Distributed Nonconvex Optimization [68.8204255655161]
  本稿では,Gorbunov et al (2021) の MARINA 法が,理論的な通信複雑性の観点から最先端の手法とみなすことができることを示す。 MARINAの理論は、古典的な独立圧縮機設定を超えて、潜在的にエミュレートされた圧縮機の理論を支持するものである。
  論文  参考訳（メタデータ） (2021-10-07T09:38:15Z)
• Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
  ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。 そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
  論文  参考訳（メタデータ） (2021-08-25T21:30:27Z)
• Learning Gaussian Mixtures with Generalised Linear Models: Precise Asymptotics in High-dimensions [79.35722941720734]
  多クラス分類問題に対する一般化線形モデルは、現代の機械学習タスクの基本的な構成要素の1つである。 実験的リスク最小化による高次元推定器の精度を実証する。 合成データの範囲を超えて我々の理論をどのように適用できるかを論じる。
  論文  参考訳（メタデータ） (2021-06-07T16:53:56Z)
• A Precise High-Dimensional Asymptotic Theory for Boosting and Minimum-$\ell_1$-Norm Interpolated Classifiers [3.167685495996986]
  本稿では,分離可能なデータの強化に関する高精度な高次元理論を確立する。 統計モデルのクラスでは、ブースティングの普遍性誤差を正確に解析する。 また, 推力試験誤差と最適ベイズ誤差の関係を明示的に説明する。
  論文  参考訳（メタデータ） (2020-02-05T00:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。