論文の概要: Beyond Mixtures and Products for Ensemble Aggregation: A Likelihood Perspective on Generalized Means

• arxiv url: http://arxiv.org/abs/2603.04204v1
• Date: Wed, 04 Mar 2026 15:48:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-05 21:29:15.384566
• Title: Beyond Mixtures and Products for Ensemble Aggregation: A Likelihood Perspective on Generalized Means
• Title（参考訳）: 集合を組み立てるための混合と製品を超えて - 一般化された意味の類型的視点
• Authors: Raphaël Razafindralambo, Rémy Sun, Frédéric Precioso, Damien Garreau, Pierre-Alexandre Mattei,
• Abstract要約: 密度集約は、例えばDeep Ensembleからの予測を組み合わせる際に、機械学習における中心的な問題である。 我々は、log-likelihood のレンズを通して、mathbbR カップ -infty,+infty$ の次数 $r の正規化一般化平均について検討する。 これは統一集約形式を提供し、異なる状況に対して異なる最適構成を示す。
• 参考スコア（独自算出の注目度）: 22.019987128734282
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Density aggregation is a central problem in machine learning, for instance when combining predictions from a Deep Ensemble. The choice of aggregation remains an open question with two commonly proposed approaches being linear pooling (probability averaging) and geometric pooling (logit averaging). In this work, we address this question by studying the normalized generalized mean of order $r \in \mathbb{R} \cup \{-\infty,+\infty\}$ through the lens of log-likelihood, the standard evaluation criterion in machine learning. This provides a unifying aggregation formalism and shows different optimal configurations for different situations. We show that the regime $r \in [0,1]$ is the only range ensuring systematic improvements relative to individual distributions, thereby providing a principled justification for the reliability and widespread practical use of linear ($r=1$) and geometric ($r=0$) pooling. In contrast, we show that aggregation rules with $r \notin [0,1]$ may fail to provide consistent gains with explicit counterexamples. Finally, we corroborate our theoretical findings with empirical evaluations using Deep Ensembles on image and text classification benchmarks.
• Abstract（参考訳）: 密度集約は、例えばDeep Ensembleからの予測を組み合わせる際に、機械学習における中心的な問題である。 集約の選択は、線形プーリング(確率平均化)と幾何プーリング(論理平均化)の2つの一般的なアプローチで、未解決の問題である。 本稿では,この問題に対して,機械学習における標準的な評価基準である対数線レンズを通して,次数 $r \in \mathbb{R} \cup \{-\infty,+\infty\}$ の正規化平均を研究することによって対処する。 これは統一集約形式を提供し、異なる状況に対して異なる最適構成を示す。 これにより、線形(r=1$)および幾何(r=0$)プーリングの信頼性と広く活用するための原則的正当性を提供する。 対照的に、$r \notin [0,1]$のアグリゲーションルールは、明示的な反例で一貫したゲインを提供できない可能性がある。 最後に、画像とテキスト分類のベンチマークでDeep Ensemblesを用いた実験的な評価を行い、理論的な結果と相関する。

関連論文リスト

• Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
  一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。 一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。 グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
  論文  参考訳（メタデータ） (2026-02-26T15:27:53Z)
• Anisotropic local law for non-separable sample covariance matrices [10.181748307494608]
  サンプル共分散行列の局所法則を$K = N-1sum_i=1N g_ig_ig_i*$ とすると、Rn$ の確率ベクトル $g_1, ldots, g_N は共通共分散$$と独立である。 我々は,条件付き平均ゼロ分布,ランダム特徴モデル$g = (Xw)$,ガウス測度など,我々の仮定を満たす非分離例のクラスについて論じる。
  論文  参考訳（メタデータ） (2026-02-20T03:28:51Z)
• Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
  自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。 任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。 本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
  論文  参考訳（メタデータ） (2026-02-19T17:21:15Z)
• Almost Asymptotically Optimal Active Clustering Through Pairwise Observations [59.20614082241528]
  そこで本研究では, ノイズと能動的に収集された応答を用いて, M$アイテムを未知数の$K$個別グループにクラスタリングするための新しい分析フレームワークを提案する。 クラスタリングの精度に対する望ましい信頼性を達成するのに必要なクエリ数の基本的下位境界を確立する。 我々は、一般化された同値比統計の計算可能な変種を開発し、その下限に対する性能ギャップを正確に推定できることを実証的に示す。
  論文  参考訳（メタデータ） (2026-02-05T14:16:47Z)
• Improved Sample Complexity for Full Coverage in Compact and Continuous Spaces [0.0]
  我々は$d$次元単位ハイパーキューブにおける一様ランダムサンプリングについて検討した。 故障確率に対数依存するサンプル複雑性を導出する。 我々の発見は、グリッドベースのカバレッジ保証に依存するアルゴリズムに対して、よりシャープな理論的ツールを提供する。
  論文  参考訳（メタデータ） (2025-11-21T21:06:14Z)
• Generalization Performance of Ensemble Clustering: From Theory to Algorithm [57.176040163699554]
  本稿では,アンサンブルクラスタリングにおける一般化誤差,過剰リスク,一貫性に着目した。 有限クラスタリングに様々な重みを割り当てることで、経験的平均クラスタリングと期待値との誤差を最小化する。 我々は、新しいアンサンブルクラスタリングアルゴリズムを開発するために、我々の理論をインスタンス化する。
  論文  参考訳（メタデータ） (2025-06-01T09:34:52Z)
• Towards a Sharp Analysis of Offline Policy Learning for $f$-Divergence-Regularized Contextual Bandits [49.96531901205305]
  我々は$f$-divergence-regularized offline policy learningを分析する。 逆Kullback-Leibler (KL) の発散に対して、単極集中性の下での最初の$tildeO(epsilon-1)$サンプル複雑性を与える。 これらの結果は,$f$-divergence-regularized policy learningの包括的理解に向けて大きな一歩を踏み出したものと考えられる。
  論文  参考訳（メタデータ） (2025-02-09T22:14:45Z)
• Near-Optimal Resilient Aggregation Rules for Distributed Learning Using 1-Center and 1-Mean Clustering with Outliers [24.88026399458157]
  ビザンティンの機械学習は、予測不可能な欠陥によってかなりの注目を集めている。 分散学習におけるマシンのセキュア化の鍵は、レジリエントな集約メカニズムである。
  論文  参考訳（メタデータ） (2023-12-20T08:36:55Z)
• Clustering Mixtures of Bounded Covariance Distributions Under Optimal Separation [44.25945344950543]
  境界共分散分布の混合に対するクラスタリング問題について検討する。 このクラスタリングタスクに対して,最初のポリ時間アルゴリズムを提案する。 我々のアルゴリズムは、対数外乱の$Omega(alpha)$-fractionに対して堅牢である。
  論文  参考訳（メタデータ） (2023-12-19T01:01:53Z)
• Differentially-Private Bayes Consistency [70.92545332158217]
  差分プライバシー(DP)を満たすベイズ一貫した学習ルールを構築する。 ほぼ最適なサンプル複雑性を持つ半教師付き環境で,任意のVCクラスをプライベートに学習できることを実証する。
  論文  参考訳（メタデータ） (2022-12-08T11:57:30Z)
• Asymptotic Theory of Geometric and Adaptive $k$-Means Clustering [0.0]
  我々は、ユークリッド空間における$k$-meansクラスタリングの一貫性に関するポラードの古典的な結果を再考する。 上に述べたすべてのクラスタリング手順が強く整合していることが示される。
  論文  参考訳（メタデータ） (2022-02-27T18:56:41Z)
• Spatially relaxed inference on high-dimensional linear models [48.989769153211995]
  本研究では,空間的に制約されたクラスタリング,統計的推論,アンサンブルを組み合わせ,複数のクラスタリング推論解を集約するアンサンブルクラスタリング推論アルゴリズムの特性について検討する。 アンサンブルクラスタ推論アルゴリズムは,最大クラスター径に等しい$delta$-FWERの標準仮定で$delta$-FWERを制御することを示す。
  論文  参考訳（メタデータ） (2021-06-04T16:37:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。