論文の概要: A naive aggregation algorithm for improving generalization in a class of learning problems
- arxiv url: http://arxiv.org/abs/2409.04352v1
- Date: Fri, 6 Sep 2024 15:34:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-09 15:24:36.112875
- Title: A naive aggregation algorithm for improving generalization in a class of learning problems
- Title（参考訳）: 学習問題のクラスにおける一般化向上のためのナイーブアグリゲーションアルゴリズム
- Authors: Getachew K Befekadu,
- Abstract要約: 本稿では,エキスパート・アドバイス・セッティングを用いた一般的な学習問題に対するナイーブ・アグリゲーション・アルゴリズムを提案する。
特に,高次元非線形関数をモデル化するための点推定の学習問題について考察する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this brief paper, we present a naive aggregation algorithm for a typical learning problem with expert advice setting, in which the task of improving generalization, i.e., model validation, is embedded in the learning process as a sequential decision-making problem. In particular, we consider a class of learning problem of point estimations for modeling high-dimensional nonlinear functions, where a group of experts update their parameter estimates using the discrete-time version of gradient systems, with small additive noise term, guided by the corresponding subsample datasets obtained from the original dataset. Here, our main objective is to provide conditions under which such an algorithm will sequentially determine a set of mixing distribution strategies used for aggregating the experts' estimates that ultimately leading to an optimal parameter estimate, i.e., as a consensus solution for all experts, which is better than any individual expert's estimate in terms of improved generalization or learning performances. Finally, as part of this work, we present some numerical results for a typical case of nonlinear regression problem.
- Abstract（参考訳）: 本稿では、モデル検証という一般化を改善するタスクを、逐次的な意思決定問題として学習プロセスに組み込む、エキスパートアドバイス設定による典型的な学習問題に対する単純集約アルゴリズムを提案する。
特に,高次元非線形関数をモデル化するための点推定の学習問題について考察する。そこでは,専門家のグループが,勾配系の離散時間版を用いてパラメータ推定を更新する。
ここでは,このようなアルゴリズムが,究極的には最適パラメータ推定に繋がる,専門家の見積を集約するための混合分布戦略の集合を逐次決定する条件を提供する。
最後に、この研究の一環として、非線形回帰問題の典型例に対する数値的な結果を示す。
関連論文リスト
- Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。
提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
論文 参考訳（メタデータ） (2024-10-22T10:19:27Z) - On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
複数モーダルな)自己教師付き表現学習のための連続領域における識別確率モデル問題について検討する。
我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。
論文 参考訳（メタデータ） (2024-10-11T18:02:46Z) - Absolute Ranking: An Essential Normalization for Benchmarking Optimization Algorithms [0.0]
多くの問題における最適化アルゴリズムの性能評価は,数値スケールの多様性が原因で複雑な問題となる。
本稿では,この問題を広範囲に検討し,根本原因の根本原因を徹底的に解析する上で説得力のある事例を提示する。
本研究では,「絶対ランク付け」と呼ばれる新しい数学的モデルとサンプリングに基づく計算手法を提案する。
論文 参考訳（メタデータ） (2024-09-06T00:55:03Z) - Embedding generalization within the learning dynamics: An approach based-on sample path large deviation theory [0.0]
本研究では,持続的視点から手法を利用する経験的リスク摂動に基づく学習問題を考察する。
大規模偏差のFreidlin-Wentzell理論に基づく小雑音限界の推定を行う。
また、最適点推定に繋がる変分問題を解く計算アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-08-04T23:31:35Z) - Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。
本手法は, 精度の高い問題に特に適している。
提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
論文 参考訳（メタデータ） (2023-11-08T00:10:21Z) - Understanding Generalization of Federated Learning via Stability:
Heterogeneity Matters [1.4502611532302039]
一般化性能は、現実世界のアプリケーションに適用された機械学習モデルを評価する上で重要な指標である。
一般化性能は、現実世界のアプリケーションに適用された機械学習モデルを評価する上で重要な指標である。
論文 参考訳（メタデータ） (2023-06-06T16:12:35Z) - Integrated Optimization of Predictive and Prescriptive Tasks [0.0]
予測タスクを記述タスクとして直接統合する新しいフレームワークを提案する。
予測アルゴリズムのパラメータを2レベル最適化技術により、処方問題内でトレーニングします。
論文 参考訳（メタデータ） (2021-01-02T02:43:10Z) - Asymptotic Analysis of an Ensemble of Randomly Projected Linear
Discriminants [94.46276668068327]
[1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。
我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。
また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
論文 参考訳（メタデータ） (2020-04-17T12:47:04Z) - Stochastic batch size for adaptive regularization in deep network
optimization [63.68104397173262]
ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。
一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
論文 参考訳（メタデータ） (2020-04-14T07:54:53Z) - A General Method for Robust Learning from Batches [56.59844655107251]
本稿では,バッチから頑健な学習を行う一般的なフレームワークについて考察し,連続ドメインを含む任意の領域に対する分類と分布推定の限界について考察する。
本手法は,一括分節分類,一括分節,単調,対数凹,ガウス混合分布推定のための,最初の頑健な計算効率の学習アルゴリズムを導出する。
論文 参考訳（メタデータ） (2020-02-25T18:53:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。