論文の概要: Pitfalls and Remedies for Multi-Task Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2607.09073v1
• Date: Fri, 10 Jul 2026 03:38:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-13 14:47:12.77404
• Title: Pitfalls and Remedies for Multi-Task Bayesian Optimization
• Title（参考訳）: マルチタスクベイズ最適化のための落とし穴と対策
• Abstract要約: ベイジアン最適化は、関連するソースタスクのデータを用いて、定期的にターゲット実験を温める。 我々は、このデフォルトを制御された設定で再検討し、それがタスク間の相関を誤って見積もっていることに気付きます。 我々はその失敗を2つの独立した構造機構に遡る。
• 参考スコア（独自算出の注目度）: 10.431916242473045
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian optimization routinely warm-starts a target experiment with data from related source tasks, and the multi-task Gaussian process is the textbook surrogate for the job. We revisit this default in a controlled setting and find that it misestimates the cross-task correlation even in the simplest non-trivial case, affinely related source and target tasks, where a working transfer learning method should obviously succeed. We trace the failure to two independent structural mechanisms. Per-task standardization, the textbook fix for the affine slice ambiguity, propagates a finite-sample alignment error into the recovered correlation. The marginal likelihood itself identifies the correlation only at a per-sample rate that a Gaussian process at non-overlapping designs further dilutes. We propose three conservative remedies that follow from the analysis: promoting per-task means and scales to model parameters, restricting the task covariance to non-negative correlations, and co-locating part of the source and target designs. Across synthetic multi-task problems and surrogate-based hyperparameter tuning transfer, these remedies recover the target-only baseline on the simple instances, while the broader failure persists on harder instances and across most rank-based and latent-context variants.
• Abstract（参考訳）: ベイジアン最適化は、関連するソースタスクのデータによるターゲット実験を常習的にウォームスタートさせ、マルチタスクガウス過程はジョブの教科書サロゲートである。 我々は、このデフォルトを制御された設定で再検討し、最も単純な非自明な場合、親密なソースおよびターゲットタスクであっても、ワークトランスファー学習手法が明らかに成功すべきである場合であっても、クロスタスク相関を誤って推定することを発見した。 我々はその失敗を2つの独立した構造機構に遡る。 アフィンスライス曖昧性の教科書修正であるper-taskの標準化は、復元された相関に有限サンプルアライメント誤差を伝搬する。 限界確率そのものは、非重なり合う設計におけるガウス過程がさらに希薄になるようなサンプル当たりの相関のみを識別する。 本稿では,タスク毎の平均とスケールをモデルパラメータに拡張し,タスクの共分散を非負の相関に制限し,ソースおよびターゲット設計の一部を共同配置する,という3つの保守的対策を提案する。 合成マルチタスク問題やサロゲートベースのハイパーパラメータチューニング転送を含むこれらの改善は、単純なインスタンス上でターゲットのみのベースラインを回復する一方、より大きな障害は、より難しいインスタンスと、ほとんどのランクベースおよび潜在コンテキストの変種に持続する。

関連論文リスト

• Bayesian Meta-Learning with Expert Feedback for Task-Shift Adaptation through Causal Embeddings [21.675126545912423]
  因果的タスク埋め込みにタスク固有の先行を条件付け,因果的ベイズ的メタラーニング手法を提案する。 因果埋め込みの条件付けは、ミスマッチ前を制御し、タスクシフト時の負の移動を緩和することを示す。
  論文  参考訳（メタデータ） (2026-02-23T12:44:22Z)
• Decoupling the Effect of Chain-of-Thought Reasoning: A Human Label Variation Perspective [60.45433515408158]
  長いチェーン・オブ・ソート(CoT)がトップオプションの決定的決定要因となるが、あいまいなタスクの粒度分布キャリブレータとして機能しないことを示す。 CoTは分布アライメントを改善するが、CoTの内容によって最終的な精度が決定される。
  論文  参考訳（メタデータ） (2026-01-06T16:26:40Z)
• Mixed-Sample SGD: an End-to-end Analysis of Supervised Transfer Learning [6.614418593039343]
  本稿では,ソースデータとターゲットデータのサンプリングを交互に行うSGDプロシージャを設計する際の問題点について考察する。 アルゴリズムの主な難しさは、各SGDステップでこのような適応的なサブサンプリングメカニズムを設計する方法を理解することである。 このような混合サンプルSGD法は凸損失を伴う一般的な予測タスクに有効であることを示す。
  論文  参考訳（メタデータ） (2025-07-06T00:03:34Z)
• TransFusion: Covariate-Shift Robust Transfer Learning for High-Dimensional Regression [11.040033344386366]
  対象タスクの学習性能を限定的なサンプルで向上させるため, 新規な融合正規化器を用いた2段階の手法を提案する。 対象モデルの推定誤差に対して、漸近的境界が提供される。 提案手法を分散設定に拡張し,事前学習ファインタニング戦略を実現する。
  論文  参考訳（メタデータ） (2024-04-01T14:58:16Z)
• AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
  本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。 本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
  論文  参考訳（メタデータ） (2023-10-04T04:26:33Z)
• ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
  補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。 複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。 ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
  論文  参考訳（メタデータ） (2023-01-30T02:27:02Z)
• Aligned Multi-Task Gaussian Process [12.903751268469696]
  マルチタスク学習では、タスク間の相関を正確に識別する必要がある。 従来のマルチタスクモデルはこれを考慮せず、その後の相関推定における誤差は予測性能の低下をもたらす。 本稿では,予測性能を向上させる統合生成モデルにおいて,時間的不整合を自動的に考慮する手法を提案する。
  論文  参考訳（メタデータ） (2021-10-29T13:18:13Z)
• The Common Intuition to Transfer Learning Can Win or Lose: Case Studies for Linear Regression [26.5147705530439]
  本稿では,学習対象パラメータと学習対象パラメータとの距離を正規化した線形回帰最適化として,対象タスクへの伝達学習アプローチを定義する。 十分関連するタスクに対して、最適に調整された転送学習手法が最適に調整されたリッジ回帰法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-09T18:46:01Z)
• An Information-Theoretic Analysis of the Impact of Task Similarity on Meta-Learning [44.320945743871285]
  メタ一般化ギャップの平均絶対値に対する新しい情報理論的境界を提示する。 私たちの境界は、タスク関連性、タスクの数、およびタスクごとのデータサンプルの数がメタ一般化ギャップに与える影響を明示的に捉えます。
  論文  参考訳（メタデータ） (2021-01-21T01:38:16Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Precise High-Dimensional Asymptotics for Quantifying Heterogeneous Transfers [66.66228496844191]
  2つのタスクのサンプルを組み合わせることは、1つのタスクだけを学習するよりも、いつより優れているかを示す。 この問題は、実際には観測されている負転移と呼ばれる経験的な現象によって動機付けられている。 これらの結果をランダム効果モデルで説明し、ソースタスクのサンプル数が増加するにつれて、正から負への位相遷移を数学的に証明する。
  論文  参考訳（メタデータ） (2020-10-22T14:14:20Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。