論文の概要: Mixed-Sample SGD: an End-to-end Analysis of Supervised Transfer Learning

• arxiv url: http://arxiv.org/abs/2507.04194v1
• Date: Sun, 06 Jul 2025 00:03:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.062395
• Title: Mixed-Sample SGD: an End-to-end Analysis of Supervised Transfer Learning
• Title（参考訳）: Mixed-Sample SGD: 教師付き移動学習のエンドツーエンド解析
• Authors: Yuyang Deng, Samory Kpotufe,
• Abstract要約: 本稿では,ソースデータとターゲットデータのサンプリングを交互に行うSGDプロシージャを設計する際の問題点について考察する。 アルゴリズムの主な難しさは、各SGDステップでこのような適応的なサブサンプリングメカニズムを設計する方法を理解することである。 このような混合サンプルSGD法は凸損失を伴う一般的な予測タスクに有効であることを示す。
• 参考スコア（独自算出の注目度）: 6.614418593039343
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Theoretical works on supervised transfer learning (STL) -- where the learner has access to labeled samples from both source and target distributions -- have for the most part focused on statistical aspects of the problem, while efficient optimization has received less attention. We consider the problem of designing an SGD procedure for STL that alternates sampling between source and target data, while maintaining statistical transfer guarantees without prior knowledge of the quality of the source data. A main algorithmic difficulty is in understanding how to design such an adaptive sub-sampling mechanism at each SGD step, to automatically gain from the source when it is informative, or bias towards the target and avoid negative transfer when the source is less informative. We show that, such a mixed-sample SGD procedure is feasible for general prediction tasks with convex losses, rooted in tracking an abstract sequence of constrained convex programs that serve to maintain the desired transfer guarantees. We instantiate these results in the concrete setting of linear regression with square loss, and show that the procedure converges, with $1/\sqrt{T}$ rate, to a solution whose statistical performance on the target is adaptive to the a priori unknown quality of the source. Experiments with synthetic and real datasets support the theory.
• Abstract（参考訳）: 教師ありトランスファーラーニング(STL)に関する理論的研究は、学習者がソースとターゲットの両方の分布からラベル付きサンプルにアクセスできるようにするものである。 我々は,ソースデータの品質を事前に知ることなく,統計的転送保証を維持しつつ,ソースデータとターゲットデータのサンプリングを交互に行うSTLのSGDプロシージャを設計する問題を考察する。 アルゴリズムの主な難しさは、各SGDステップでこのような適応的なサブサンプリング機構を設計する方法を理解することであり、情報化時に自動的にソースから取得するか、あるいは情報化の少ないときにターゲットに偏り、負の転送を避けることである。 このような混合サンプルSGD手順は、所望の転送保証を維持するための制約付き凸プログラムの抽象シーケンスを追跡することに根ざした凸損失を伴う一般的な予測タスクに対して実現可能であることを示す。 これらの結果を2乗損失を伴う線形回帰の具体的設定でインスタンス化し、その手順が1/\sqrt{T}$レートで、対象に対する統計的性能が原点の未知の品質に適応している解に収束することを示す。 合成および実データを用いた実験は理論を支持する。

関連論文リスト

• Tackling Distribution Shifts in Task-Oriented Communication with Information Bottleneck [28.661084093544684]
  本稿では,情報ボトルネック(IB)原理と不変リスク最小化(IRM)フレームワークに基づく新しいアプローチを提案する。 提案手法は,効率的な領域シフト一般化のための高機能を有するコンパクトかつ情報的特徴を抽出することを目的としている。 提案手法は最先端の手法より優れ、より優れたレート歪みトレードオフを実現することを示す。
  論文  参考訳（メタデータ） (2024-05-15T17:07:55Z)
• Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
  ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。 両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。 転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-10T10:48:52Z)
• Robust Transfer Learning with Unreliable Source Data [11.813197709246289]
  対象関数とソース回帰関数との差を測定する「あいまい度レベル」と呼ばれる新しい量を導入する。 本稿では, 簡単な伝達学習手法を提案し, この新しい量が学習の伝達可能性にどのように関係しているかを示す一般的な定理を確立する。
  論文  参考訳（メタデータ） (2023-10-06T21:50:21Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• Hypothesis Transfer Learning with Surrogate Classification Losses: Generalization Bounds through Algorithmic Stability [3.908842679355255]
  仮説伝達学習(HTL)は、以前のタスクレバレッジを新たなターゲットにすることで、ドメイン適応と対比する。 本稿では,機械学習アルゴリズム解析のための魅力的な理論フレームワークであるアルゴリズム安定性によるHTLの学習理論について検討する。
  論文  参考訳（メタデータ） (2023-05-31T09:38:21Z)
• MAPS: A Noise-Robust Progressive Learning Approach for Source-Free Domain Adaptive Keypoint Detection [76.97324120775475]
  クロスドメインキーポイント検出方法は、常に適応中にソースデータにアクセスする必要がある。 本稿では、ターゲット領域に十分に訓練されたソースモデルのみを提供する、ソースフリーなドメイン適応キーポイント検出について考察する。
  論文  参考訳（メタデータ） (2023-02-09T12:06:08Z)
• The Power and Limitation of Pretraining-Finetuning for Linear Regression under Covariate Shift [127.21287240963859]
  本研究では,対象データに基づく事前学習と微調整を併用した伝達学習手法について検討する。 大規模な線形回帰インスタンスの場合、$O(N2)$ソースデータによる転送学習は、$N$ターゲットデータによる教師あり学習と同じくらい効果的である。
  論文  参考訳（メタデータ） (2022-08-03T05:59:49Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Transfer Learning under High-dimensional Generalized Linear Models [7.675822266933702]
  本研究では,高次元一般化線形モデルによる伝達学習問題について検討する。 オラクルアルゴリズムを提案し,その$ell$-estimationエラー境界を導出する。 どのソースを転送すべきかわからない場合には、アルゴリズム無しで転送可能なソース検出手法を導入します。
  論文  参考訳（メタデータ） (2021-05-29T15:39:43Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。