論文の概要: Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing

• arxiv url: http://arxiv.org/abs/2505.15195v1
• Date: Wed, 21 May 2025 07:16:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.102664
• Title: Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing
• Title（参考訳）: 最適リトレーニングによるセルフブート:近似メッセージパッシングによる分析
• Authors: Adel Javanmard, Rudrajit Das, Alessandro Epasto, Vahab Mirrokni,
• Abstract要約: 独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
• 参考スコア（独自算出の注目度）: 58.52119063742121
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retraining a model using its own predictions together with the original, potentially noisy labels is a well-known strategy for improving the model performance. While prior works have demonstrated the benefits of specific heuristic retraining schemes, the question of how to optimally combine the model's predictions and the provided labels remains largely open. This paper addresses this fundamental question for binary classification tasks. We develop a principled framework based on approximate message passing (AMP) to analyze iterative retraining procedures for two ground truth settings: Gaussian mixture model (GMM) and generalized linear model (GLM). Our main contribution is the derivation of the Bayes optimal aggregator function to combine the current model's predictions and the given labels, which when used to retrain the same model, minimizes its prediction error. We also quantify the performance of this optimal retraining strategy over multiple rounds. We complement our theoretical results by proposing a practically usable version of the theoretically-optimal aggregator function for linear probing with the cross-entropy loss, and demonstrate its superiority over baseline methods in the high label noise regime.
• Abstract（参考訳）: 独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 先行研究は、特定のヒューリスティックなリトレーニングスキームの利点を実証してきたが、モデルの予測と提供されたラベルを最適に組み合わせる方法についての問題はほとんど未解決のままである。 本稿では,バイナリ分類タスクの基本的な問題に対処する。 本稿では, ガウス混合モデル (GMM) と一般化線形モデル (GLM) の2つの基礎的真理設定に対する反復的再学習手順を分析するために, AMP に基づく基本的フレームワークを開発する。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適アグリゲータ関数の導出である。 また、この最適再訓練戦略の性能を複数のラウンドで定量化する。 本研究では, 線形探索のための理論最適アグリゲータ関数の実用版をクロスエントロピー損失で提案し, 高ラベル雑音下でのベースライン法よりも優れていることを示す。

関連論文リスト

• Self-Evolutionary Large Language Models through Uncertainty-Enhanced Preference Optimization [9.618391485742968]
  反復的選好最適化は、最近、大規模言語モデル(LLM)のデファクトトレーニングパラダイムの1つになっている。 我々は、信頼性の高いフィードバックでLLMを自己進化させる不確実性のあるtextbfPreference textbfOptimizationフレームワークを提案する。 筆者らのフレームワークは,ノイズ問題を大幅に軽減し,反復的選好最適化の性能を向上させる。
  論文  参考訳（メタデータ） (2024-09-17T14:05:58Z)
• Towards Stable Machine Learning Model Retraining via Slowly Varying Sequences [6.067007470552307]
  そこで本研究では,リトレーニングを繰り返して安定なモデル列を見つけるためのモデルに依存しないフレームワークを提案する。 最適モデルの復元が保証される混合整数最適化の定式化を開発する。 平均的に、予測力の2%の低下は、安定性の30%の改善につながることが判明した。
  論文  参考訳（メタデータ） (2024-03-28T22:45:38Z)
• Regression-aware Inference with LLMs [52.764328080398805]
  提案手法は,一般的な回帰と評価指標に準最適であることを示す。 本稿では,ベイズ最適解を推定し,サンプル応答からクローズド形式の評価指標を推定する代替推論手法を提案する。
  論文  参考訳（メタデータ） (2024-03-07T03:24:34Z)
• Adaptive Optimization for Prediction with Missing Data [6.800113478497425]
  適応線形回帰モデルの中には,命令規則と下流線形回帰モデルを同時に学習するのと等価なものもある。 ランダムにデータの欠落が強くない環境では,本手法はサンプル外精度を2～10%向上させる。
  論文  参考訳（メタデータ） (2024-02-02T16:35:51Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• Precision-Recall Divergence Optimization for Generative Modeling with GANs and Normalizing Flows [54.050498411883495]
  本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。 指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。 当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2023-05-30T10:07:17Z)
• Training Experimentally Robust and Interpretable Binarized Regression Models Using Mixed-Integer Programming [3.179831861897336]
  マルチクラス分類タスクに対するロバストかつ解釈可能な二項化回帰モデルをトレーニングするためのモデルに基づくアプローチを提案する。 MIPモデルは、重み付けされた目的を用いて予測マージンとモデルサイズを最適化する。 MIPを用いた頑健かつ解釈可能な二項化回帰モデルのトレーニングの有効性を示す。
  論文  参考訳（メタデータ） (2021-12-01T11:53:08Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。