論文の概要: Personalizing black-box models for nonparametric regression with minimax optimality

• arxiv url: http://arxiv.org/abs/2601.01432v1
• Date: Sun, 04 Jan 2026 08:32:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-06 16:25:22.345449
• Title: Personalizing black-box models for nonparametric regression with minimax optimality
• Title（参考訳）: 極小最適性を考慮した非パラメトリック回帰のためのブラックボックスモデルのパーソナライズ
• Authors: Sai Li, Linjun Zhang,
• Abstract要約: そこで本研究では,限定的なサンプル数を用いて,トレーニング済みのブラックボックスモデルを対象ドメインに適応させる,数ショットのパーソナライゼーションについて検討する。 そこで我々は,ブラックボックス事前学習モデルを回帰処理に組み込むアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 17.981373446046366
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in large-scale models, including deep neural networks and large language models, have substantially improved performance across a wide range of learning tasks. The widespread availability of such pre-trained models creates new opportunities for data-efficient statistical learning, provided they can be effectively integrated into downstream tasks. Motivated by this setting, we study few-shot personalization, where a pre-trained black-box model is adapted to a target domain using a limited number of samples. We develop a theoretical framework for few-shot personalization in nonparametric regression and propose algorithms that can incorporate a black-box pre-trained model into the regression procedure. We establish the minimax optimal rate for the personalization problem and show that the proposed method attains this rate. Our results clarify the statistical benefits of leveraging pre-trained models under sample scarcity and provide robustness guarantees when the pre-trained model is not informative. We illustrate the finite-sample performance of the methods through simulations and an application to the California housing dataset with several pre-trained models.
• Abstract（参考訳）: ディープニューラルネットワークや大規模言語モデルを含む大規模モデルの最近の進歩は、幅広い学習タスクにおけるパフォーマンスを大幅に改善している。 このような事前学習モデルの普及により、下流タスクに効果的に統合できることから、データ効率のよい統計学習の新たな機会が生まれる。 そこで本研究では,限定的なサンプル数を用いて,トレーニング済みのブラックボックスモデルを対象ドメインに適応させる,数ショットのパーソナライゼーションについて検討する。 非パラメトリック回帰における少数ショットのパーソナライズのための理論的枠組みを開発し,ブラックボックス事前学習モデルを回帰処理に組み込むアルゴリズムを提案する。 パーソナライズ問題に対して,ミニマックス最適率を確立し,提案手法が得られたことを示す。 本研究は,サンプル不足下での事前学習モデルの活用による統計的メリットを明らかにするとともに,事前学習モデルが重要でない場合の堅牢性を保証することを目的とした。 本稿では,シミュレーションによる手法の有限サンプル性能と,事前学習モデルを用いたカリフォルニアの住宅データセットへの適用について述べる。

関連論文リスト

• Fake it till You Make it: Reward Modeling as Discriminative Prediction [49.31309674007382]
  GAN-RMは、手動の嗜好アノテーションと明示的な品質次元工学を排除した効率的な報酬モデリングフレームワークである。 提案手法は,少数の対象サンプルを識別し,報酬モデルを訓練する。 実験では、GAN-RMが複数の主要なアプリケーションにまたがって有効であることを実証した。
  論文  参考訳（メタデータ） (2025-06-16T17:59:40Z)
• Supervised Score-Based Modeling by Gradient Boosting [49.556736252628745]
  本稿では,スコアマッチングを組み合わせた勾配向上アルゴリズムとして,SSM(Supervised Score-based Model)を提案する。 推測時間と予測精度のバランスをとるため,SSMの学習とサンプリングに関する理論的解析を行った。 我々のモデルは、精度と推測時間の両方で既存のモデルより優れています。
  論文  参考訳（メタデータ） (2024-11-02T07:06:53Z)
• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• ReAugment: Model Zoo-Guided RL for Few-Shot Time Series Augmentation and Forecasting [74.00765474305288]
  本稿では,時系列データ拡張のための強化学習(RL)の試験的検討を行う。 我々の手法であるReAugmentは、トレーニングセットのどの部分が拡張されるべきか、どのように拡張を行うべきか、RLがプロセスにどのような利点をもたらすのか、という3つの重要な問題に取り組む。
  論文  参考訳（メタデータ） (2024-09-10T07:34:19Z)
• Towards Stable Machine Learning Model Retraining via Slowly Varying Sequences [6.067007470552307]
  そこで本研究では,リトレーニングを繰り返して安定なモデル列を見つけるためのモデルに依存しないフレームワークを提案する。 最適モデルの復元が保証される混合整数最適化の定式化を開発する。 平均的に、予測力の2%の低下は、安定性の30%の改善につながることが判明した。
  論文  参考訳（メタデータ） (2024-03-28T22:45:38Z)
• Bias Mitigation in Fine-tuning Pre-trained Models for Enhanced Fairness and Efficiency [26.86557244460215]
  新しいタスクにおけるバイアスを軽減するために特別に設計された、効率的で堅牢な微調整フレームワークを導入します。 我々の経験的分析は、異なる人口集団の予測に影響を与える事前学習モデルのパラメータが異なることを示している。 我々は、人口集団間でフィッシャー情報を用いて決定された、これらの影響力のある重みの重要性を中和する伝達学習戦略を採用している。
  論文  参考訳（メタデータ） (2024-03-01T16:01:28Z)
• FD-Align: Feature Discrimination Alignment for Fine-tuning Pre-Trained Models in Few-Shot Learning [21.693779973263172]
  本稿では,特徴識別アライメント(FD-Align)と呼ばれる微調整手法を提案する。 本手法は,突発的特徴の一貫性を保ち,モデルの一般化可能性を高めることを目的としている。 一度微調整すると、モデルは既存のメソッドとシームレスに統合され、パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-23T17:12:01Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [47.432215933099016]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Deep Ensembles for Low-Data Transfer Learning [21.578470914935938]
  我々は、事前訓練されたモデルからアンサンブルを作成する様々な方法を研究する。 プレトレーニング自体が多様性の優れた源であることが示される。 本稿では,任意の下流データセットに対して,事前学習したモデルのサブセットを効率的に同定する実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-14T07:59:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。