論文の概要: Meta Learning not to Learn: Robustly Informing Meta-Learning under Nuisance-Varying Families

• arxiv url: http://arxiv.org/abs/2503.04570v1
• Date: Thu, 06 Mar 2025 16:05:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-07 15:58:45.043833
• Title: Meta Learning not to Learn: Robustly Informing Meta-Learning under Nuisance-Varying Families
• Title（参考訳）: 学習すべきでないメタラーニング:Nuisance-Varying Familiesの下でメタラーニングをロバストに教える
• Authors: Louis McConnell,
• Abstract要約: RIME(Robustly Informed Meta lEarning)は,正および負の帰納バイアスの存在下でのメタ学習手法である。 RIMEは両方のバイアスを同時に統合することができ、分散的に堅牢な目的の下で、アートパフォーマンスの状態を達成できることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In settings where both spurious and causal predictors are available, standard neural networks trained under the objective of empirical risk minimization (ERM) with no additional inductive biases tend to have a dependence on a spurious feature. As a result, it is necessary to integrate additional inductive biases in order to guide the network toward generalizable hypotheses. Often these spurious features are shared across related tasks, such as estimating disease prognoses from image scans coming from different hospitals, making the challenge of generalization more difficult. In these settings, it is important that methods are able to integrate the proper inductive biases to generalize across both nuisance-varying families as well as task families. Motivated by this setting, we present RIME (Robustly Informed Meta lEarning), a new method for meta learning under the presence of both positive and negative inductive biases (what to learn and what not to learn). We first develop a theoretical causal framework showing why existing approaches at knowledge integration can lead to worse performance on distributionally robust objectives. We then show that RIME is able to simultaneously integrate both biases, reaching state of the art performance under distributionally robust objectives in informed meta-learning settings under nuisance-varying families.
• Abstract（参考訳）: スパイラル予測と因果予測の両方が利用できる環境では、追加の誘導バイアスのない経験的リスク最小化(ERM)の目的の下で訓練された標準ニューラルネットワークは、スパイラルな特徴に依存する傾向がある。 その結果、ネットワークを一般化可能な仮説へと導くためには、追加の帰納バイアスを統合する必要がある。 多くの場合、これらの急激な特徴は、異なる病院からやってくる画像スキャンから病気の予後を推定するなど、関連するタスク間で共有され、一般化の難しさが増す。 これらの設定では、メソッドが適切な帰納バイアスを統合することで、ニュアンスとタスクファミリの両方にまたがって一般化できることが重要である。 この設定によって動機づけられたRIME(Robustly Informed Meta lEarning)は、正と負の両方の帰納バイアス(学習すべきことと学習すべきでないこと)の存在下でのメタ学習の新しい手法である。 まず,知識統合における既存のアプローチが,分散的に堅牢な目的に対するパフォーマンスを悪化させる理由を示す理論的因果関係の枠組みを開発する。 次に,RIMEは両バイアスを同時に統合し,分散的ロバストな目的のもとに最先端のパフォーマンスを達成できることを示す。

関連論文リスト

• Towards Sharper Information-theoretic Generalization Bounds for Meta-Learning [31.843499167305115]
  メタラーニングのための新しい一段階情報理論境界を確立する。 我々の境界は、以前のMIおよびCMIベースの境界よりもかなり有利である。 本稿では,2種類の雑音と反復的メタ学習アルゴリズムの一般化挙動に関する新しい理論的知見を提供する。
  論文  参考訳（メタデータ） (2025-01-26T15:22:04Z)
• Diversity-Aware Agnostic Ensemble of Sharpness Minimizers [24.160975100349376]
  深層アンサンブルにおける多様性と平坦性を促進する学習アルゴリズムであるDASHを提案する。 我々は,本手法の理論的バックボーンと,アンサンブルの一般化性の向上を示す広範な実証的証拠を提供する。
  論文  参考訳（メタデータ） (2024-03-19T23:50:11Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior: From Theory to Practice [54.03076395748459]
  メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。 本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。 PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
  論文  参考訳（メタデータ） (2022-11-14T08:51:04Z)
• FedGen: Generalizable Federated Learning for Sequential Data [8.784435748969806]
  多くの実世界の分散環境では、バイアスとデータサンプリングの問題により、急激な相関が存在する。 我々はFedGenという汎用的なフェデレーション学習フレームワークを提案し、クライアントが素早い特徴と不変な特徴を識別および識別できるようにする。 FedGenは、より優れた一般化を実現し、現在のフェデレーション学習手法の精度を24%以上上回るモデルが得られることを示す。
  論文  参考訳（メタデータ） (2022-11-03T15:48:14Z)
• Consistency-Based Semi-supervised Evidential Active Learning for Diagnostic Radiograph Classification [2.3545156585418328]
  CSEAL(Consistency-based Semi-supervised Evidential Active Learning)フレームワークについて紹介する。 我々は、証拠理論と主観的論理に基づく予測の不確実性を利用して、エンドツーエンドの統合アプローチを開発する。 本手法は, ラベル付きサンプルを少なくして, より稀な異常の精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2022-09-05T09:28:31Z)
• On the Learning of Non-Autoregressive Transformers [91.34196047466904]
  非自己回帰変換器(Non-autoregressive Transformer、NAT)は、テキスト生成モデルのファミリーである。 NAT学習の課題を明らかにするため,理論的および経験的分析を行った。
  論文  参考訳（メタデータ） (2022-06-13T08:42:09Z)
• Learning Dynamics and Generalization in Reinforcement Learning [59.530058000689884]
  時間差学習は, エージェントが訓練の初期段階において, 値関数の非平滑成分を適合させるのに役立つことを理論的に示す。 本研究では,高密度報酬タスクの時間差アルゴリズムを用いて学習したニューラルネットワークが,ランダムなネットワークや政策手法で学習した勾配ネットワークよりも,状態間の一般化が弱いことを示す。
  論文  参考訳（メタデータ） (2022-06-05T08:49:16Z)
• Generative multitask learning mitigates target-causing confounding [61.21582323566118]
  マルチタスク学習のための因果表現学習のためのシンプルでスケーラブルなアプローチを提案する。 改善は、目標を狙うが入力はしない、観測されていない共同ファウンダーを緩和することによる。 人の属性とタスクノミーのデータセットに対する我々の結果は、事前の確率シフトに対するロバストネスの概念的改善を反映している。
  論文  参考訳（メタデータ） (2022-02-08T20:42:14Z)
• Transfer Meta-Learning: Information-Theoretic Bounds and Information Meta-Risk Minimization [47.7605527786164]
  メタ学習は、複数の関連するタスクからのデータを観察し、誘導バイアスを自動的に推論する。 本稿では,メタテスト中に目標タスク環境からタスクを抽出するトランスファーメタラーニングの問題を紹介する。
  論文  参考訳（メタデータ） (2020-11-04T12:55:43Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。