論文の概要: Meta-learning Control Variates: Variance Reduction with Limited Data

• arxiv url: http://arxiv.org/abs/2303.04756v1
• Date: Wed, 8 Mar 2023 17:45:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-09 13:02:16.276292
• Title: Meta-learning Control Variates: Variance Reduction with Limited Data
• Title（参考訳）: meta-learning control variates: 限定データによる分散削減
• Authors: Zhuo Sun, Chris J. Oates, Fran\c{c}ois-Xavier Briol
• Abstract要約: 統合タスク間の類似性を活用して性能を向上させることができることを示す。 メタラーニングCV(Meta-CVs)と呼ばれる私たちのアプローチは、最大で数百から数千のタスクに使用できます。
• 参考スコア（独自算出の注目度）: 5.856701901623265
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Control variates can be a powerful tool to reduce the variance of Monte Carlo estimators, but constructing effective control variates can be challenging when the number of samples is small. In this paper, we show that when a large number of related integrals need to be computed, it is possible to leverage the similarity between these integration tasks to improve performance even when the number of samples per task is very small. Our approach, called meta learning CVs (Meta-CVs), can be used for up to hundreds or thousands of tasks. Our empirical assessment indicates that Meta-CVs can lead to significant variance reduction in such settings, and our theoretical analysis establishes general conditions under which Meta-CVs can be successfully trained.
• Abstract（参考訳）: 制御変数はモンテカルロ推定器の分散を低減する強力なツールとなり得るが、サンプル数が少ない場合、効果的な制御変数の構築は困難である。 本稿では,多数の関連積分を計算する必要がある場合,これらの統合タスク間の類似性を利用して,タスク毎のサンプル数が極めて少ない場合でも性能を向上させることができることを示す。 メタラーニングCV(Meta-CVs)と呼ばれる私たちのアプローチは、数百から数千のタスクに使用できます。 実験結果から,メタcvsは,そのような状況下で大きなばらつきを生じさせる可能性が示唆され,理論解析によりメタcvsを効果的に訓練できる一般的な条件が確立される。

関連論文リスト

• On Task Performance and Model Calibration with Supervised and Self-Ensembled In-Context Learning [71.44986275228747]
  In-context Learning (ICL) は、近年の大規模言語モデル(LLM)の進歩により、効率的なアプローチとなっている。 しかし、両方のパラダイムは、過信の批判的な問題(すなわち、誤校正)に苦しむ傾向にある。
  論文  参考訳（メタデータ） (2023-12-21T11:55:10Z)
• Towards Task Sampler Learning for Meta-Learning [37.02030832662183]
  メタラーニングは、限られたデータから行われる多様なトレーニングタスクで一般的な知識を学び、それを新しいタスクに転送することを目的としている。 タスク多様性の増大はメタラーニングモデルの一般化能力を高めると一般的に信じられている。 本稿では、経験的および理論的分析を通して、この見解に挑戦する。
  論文  参考訳（メタデータ） (2023-07-18T01:53:18Z)
• Meta-Learning with Self-Improving Momentum Target [72.98879709228981]
  メタラーナーの性能を向上させるために,SiMT(Self-improving Momentum Target)を提案する。 SiMTはメタラーナーの時間アンサンブルから適応してターゲットモデルを生成する。 我々は、SiMTが幅広いメタ学習手法と組み合わせることで、大きなパフォーマンス向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-10-11T06:45:15Z)
• The Effect of Diversity in Meta-Learning [79.56118674435844]
  少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。 近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。 タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
  論文  参考訳（メタデータ） (2022-01-27T19:39:07Z)
• MetaICL: Learning to Learn In Context [87.23056864536613]
  そこで我々は,メタICLというメタトレーニングフレームワークを紹介した。このフレームワークでは,事前学習された言語モデルが,大量のトレーニングタスクに対してコンテキスト内学習を行うように調整されている。 その結果,MetaICLは,目標タスクトレーニングデータに対して完全に微調整されたモデルの性能にアプローチ(時には打ち負かす)し,ほぼ8倍のパラメータを持つモデルよりも優れた性能を示すことがわかった。
  論文  参考訳（メタデータ） (2021-10-29T17:42:08Z)
• Dynamic Multi-Scale Loss Optimization for Object Detection [14.256807110937622]
  マルチスケール検出器訓練の客観的不均衡について検討する。 本稿では, 適応可変重み付け (AVW) を提案する。 トレーニング中に重み付け方式を確率的に決定する新しい強化学習最適化(RLO)を開発した。
  論文  参考訳（メタデータ） (2021-08-09T13:12:41Z)
• A Channel Coding Benchmark for Meta-Learning [21.2424398453955]
  メタラーニングにおけるいくつかの重要な問題は、これまでのところ研究が困難であることが証明されている。 メタ学習のベンチマークとしてチャネル符号化問題を提案する。 このベンチマークは、コミュニティがメタ学習の能力と限界を研究するためのツールを提供する。
  論文  参考訳（メタデータ） (2021-07-15T19:37:43Z)
• Revisiting Unsupervised Meta-Learning: Amplifying or Compensating for the Characteristics of Few-Shot Tasks [30.893785366366078]
  我々は,限られたデータを用いて視覚認識システムを構築する,少数ショット画像分類への実践的アプローチを開発した。 基本クラスセットラベルは不要であり、識別的埋め込みは教師なしの方法でメタ学習される可能性がある。 数ショットの学習ベンチマークの実験では、従来の手法よりも4～10%のパフォーマンス差で、アプローチが優れていることが確認された。
  論文  参考訳（メタデータ） (2020-11-30T10:08:35Z)
• Scalable Control Variates for Monte Carlo Methods via Stochastic Optimization [62.47170258504037]
  本稿では,制御,カーネル,ニューラルネットワークを用いた既存のアプローチを包含し,一般化するフレームワークを提案する。 新たな理論的結果は、達成可能な分散還元に関する洞察を与えるために提示され、ベイズ推定への応用を含む経験的評価が支持される。
  論文  参考訳（メタデータ） (2020-06-12T22:03:25Z)
• Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
  メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。 我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
  論文  参考訳（メタデータ） (2020-02-11T01:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。