論文の概要: No Free Lunch From Random Feature Ensembles

• arxiv url: http://arxiv.org/abs/2412.05418v1
• Date: Fri, 06 Dec 2024 20:55:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 23:11:43.830349
• Title: No Free Lunch From Random Feature Ensembles
• Title（参考訳）: ランダム機能アンサンブルからフリーランチなし
• Authors: Benjamin S. Ruben, William L. Tong, Hamza Tahir Chaudhry, Cengiz Pehlevan,
• Abstract要約: モデル全体のサイズに関する予算が与えられた場合、単一の大きなニューラルネットワークをトレーニングするか、あるいは多数の小さなネットワークの予測を組み合わせるかを判断する必要がある。 トレーニング可能なパラメータの固定数が、独立に訓練されたモデルで$K$に分割された場合、$K=1$が最適な性能を達成することを証明した。 カーネルおよびタスク固有構造上の条件を特定し、アンサンブルがほぼ最適スケーリング法則を達成できることを示す。
• 参考スコア（独自算出の注目度）: 23.661623767100384
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Given a budget on total model size, one must decide whether to train a single, large neural network or to combine the predictions of many smaller networks. We study this trade-off for ensembles of random-feature ridge regression models. We prove that when a fixed number of trainable parameters are partitioned among $K$ independently trained models, $K=1$ achieves optimal performance, provided the ridge parameter is optimally tuned. We then derive scaling laws which describe how the test risk of an ensemble of regression models decays with its total size. We identify conditions on the kernel and task eigenstructure under which ensembles can achieve near-optimal scaling laws. Training ensembles of deep convolutional neural networks on CIFAR-10 and a transformer architecture on C4, we find that a single large network outperforms any ensemble of networks with the same total number of parameters, provided the weight decay and feature-learning strength are tuned to their optimal values.
• Abstract（参考訳）: モデル全体のサイズに関する予算が与えられた場合、単一の大きなニューラルネットワークをトレーニングするか、あるいは多数の小さなネットワークの予測を組み合わせるかを判断する必要がある。 本研究では,ランダム・フィーチャー・リッジ回帰モデルのアンサンブルに対するトレードオフについて検討する。 訓練可能なパラメータの固定数が独立に訓練されたモデルに分割された場合、リッジパラメータが最適に調整された場合、$K=1$が最適性能を達成することを証明した。 次に、回帰モデルの集合のテストリスクが、その全サイズでどのように崩壊するかを記述するスケーリング法則を導出する。 カーネルおよびタスク固有構造上の条件を特定し、アンサンブルがほぼ最適スケーリング法則を達成できることを示す。 CIFAR-10 上での深層畳み込みニューラルネットワークのアンサンブルと C4 上でのトランスフォーマーアーキテクチャの訓練により,最大数のパラメータを持つネットワークのアンサンブルを1つの大きなネットワークが上回っていることがわかった。

関連論文リスト

• The Law of Multi-Model Collaboration: Scaling Limits of Model Ensembling for Large Language Models [54.51795784459866]
  マルチモデル協調のための性能スケーリングの理論的枠組みを提案する。 本稿では,マルチモデルシステムにおいて,パラメータの総数に関して,パワー則のスケーリングが従うことを示す。 不均一なモデルファミリのアンサンブルは、単一のモデルファミリ内で形成されたものよりも優れたパフォーマンスのスケーリングを実現する。
  論文  参考訳（メタデータ） (2025-12-29T09:55:12Z)
• Towards a Comprehensive Scaling Law of Mixture-of-Experts [54.117786590884776]
  本論文では,すべての重要な要因を考慮に入れた総合的かつ正確なMoEスケーリング法を提案する。 我々の結果は、$G$と$S$の最適設定が、モデルアーキテクチャとデータサイズの両方に依存しないことを示しています。 提案したMoEスケーリング法則は,将来のMoEモデル設計およびトレーニングを促進するための,正確かつ洞察に富んだガイダンスとして機能する可能性がある。
  論文  参考訳（メタデータ） (2025-09-28T06:35:34Z)
• Complexity Scaling Laws for Neural Models using Combinatorial Optimization [5.291101237151254]
  問題複雑性に基づくスケーリング法則を策定する。 我々は、解空間サイズと表現空間サイズという2つの基本的な複雑さの尺度を解析する。 最適化はスムーズなコストトレンドを促進し,解釈可能な損失がなくても有意義なスケーリング法則を得ることができることを示す。
  論文  参考訳（メタデータ） (2025-06-15T18:20:35Z)
• Combining Local Symmetry Exploitation and Reinforcement Learning for Optimised Probabilistic Inference -- A Work In Progress [2.2164989053903805]
  グラフィカルモデルにおける変数除去による効率的な確率的推論は最適な除去順序を必要とする。 我々は、テンソルネットワークにおける効率的な収縮順序を見つけるために強化学習アプローチを適用する。 推論中に特定の構造を活用することで、中間結果のコンパクトな符号化を導入することができることを示す。
  論文  参考訳（メタデータ） (2025-03-11T18:00:23Z)
• MPruner: Optimizing Neural Network Size with CKA-Based Mutual Information Pruning [7.262751938473306]
  プルーニング(Pruning)は、ニューラルネットワークのサイズを減らし、数学的に精度の保存を保証している、よく確立されたテクニックである。 我々は,ベクトル類似性により相互情報を活用する新しいプルーニングアルゴリズムMPrunerを開発した。 MPrunerはCNNとトランスフォーマーベースのモデルで最大50%のパラメータとメモリ使用量の削減を実現した。
  論文  参考訳（メタデータ） (2024-08-24T05:54:47Z)
• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Robustly estimating heterogeneity in factorial data using Rashomon Partitions [4.76518127830168]
  我々は、羅生門分割セット(RPS)と呼ばれるモデル不確実性のための新しい枠組みを提案する。 RPSは、最大後部(MAP)モデルに近い後部密度を持つすべてのモデルで構成されている。 実験的な例として,チャリタブルギフトの価格効果,染色体構造の不均一性,マイクロファイナンスの導入の3つを挙げる。
  論文  参考訳（メタデータ） (2024-04-02T17:53:28Z)
• Kronecker-Factored Approximate Curvature for Modern Neural Network Architectures [85.76673783330334]
  線形重み付け層の2つの異なる設定がクロネッカー型近似曲率(K-FAC)の2つの風味を動機付けている 重み付けをそれぞれ設定したディープ・リニア・ネットワークに対して正確であることを示す。 グラフニューラルネットワークと視覚変換器の両方をトレーニングするために、これらの2つのK-FACの違いをほとんど観測しない。
  論文  参考訳（メタデータ） (2023-11-01T16:37:00Z)
• Transfer-Once-For-All: AI Model Optimization for Edge [0.0]
  計算訓練コストを一定に抑えた小データセット上でのスーパーネット型トレーニングのためのTransfer-Once-For-All(TOFA)を提案する。 小さなデータから生じる課題を克服するため、TOFAは、統合された半教師付きトレーニング損失を使用して、スーパーネット内のすべての既存のものを同時にトレーニングする。
  論文  参考訳（メタデータ） (2023-03-27T04:14:30Z)
• Variable Importance Matching for Causal Inference [73.25504313552516]
  これらの目標を達成するためのModel-to-Matchと呼ばれる一般的なフレームワークについて説明する。 Model-to-Matchは、距離メートル法を構築するために変数重要度測定を使用する。 LASSO を用いて Model-to-Match フレームワークを運用する。
  論文  参考訳（メタデータ） (2023-02-23T00:43:03Z)
• Autoselection of the Ensemble of Convolutional Neural Networks with Second-Order Cone Programming [0.8029049649310213]
  本研究では,畳み込みニューラルネットワーク(CNN)のアンサンブルを推定する数学的モデルを提案する。 提案手法は, CIFAR-10, CIFAR-100 および MNIST データセットで検証される。
  論文  参考訳（メタデータ） (2023-02-12T16:18:06Z)
• Robust Binary Models by Pruning Randomly-initialized Networks [57.03100916030444]
  ランダムな二元ネットワークから敵攻撃に対して頑健なモデルを得る方法を提案する。 ランダムな二元ネットワークを切断することにより、ロバストモデルの構造を学習する。 本手法は, 敵攻撃の有無で, 強力な抽選券仮説を立証する。
  論文  参考訳（メタデータ） (2022-02-03T00:05:08Z)
• AutoDEUQ: Automated Deep Ensemble with Uncertainty Quantification [0.9449650062296824]
  本稿では,深層ニューラルネットワークのアンサンブルを生成するための自動アプローチであるAutoDEUQを提案する。 我々は,AutoDEUQが確率論的バックプロパゲーション,モンテカルロのドロップアウト,ディープアンサンブル,分布自由アンサンブル,ハイパーアンサンブルメソッドを多くの回帰ベンチマークで上回ることを示す。
  論文  参考訳（メタデータ） (2021-10-26T09:12:23Z)
• Optimizing model-agnostic Random Subspace ensembles [5.680512932725364]
  教師あり学習のためのモデルに依存しないアンサンブルアプローチを提案する。 提案手法は、ランダム部分空間アプローチのパラメトリックバージョンを用いてモデルのアンサンブルを学習することとを交互に行う。 シミュレーションおよび実世界のデータセット上で,予測と特徴ランキングの両面で,提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-07T13:58:23Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)
• A Fully Tensorized Recurrent Neural Network [48.50376453324581]
  重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。 このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
  論文  参考訳（メタデータ） (2020-10-08T18:24:12Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
  異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。 PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
  論文  参考訳（メタデータ） (2020-07-07T03:36:28Z)
• Slice Sampling for General Completely Random Measures [74.24975039689893]
  本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。 提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
  論文  参考訳（メタデータ） (2020-06-24T17:53:53Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。