論文の概要: Task-Specific Preconditioner for Cross-Domain Few-Shot Learning

• arxiv url: http://arxiv.org/abs/2412.15483v1
• Date: Fri, 20 Dec 2024 01:33:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 16:24:40.470107
• Title: Task-Specific Preconditioner for Cross-Domain Few-Shot Learning
• Title（参考訳）: クロスドメインFew-Shot学習のためのタスク特化プレコンディショナー
• Authors: Suhyun Kang, Jungwon Park, Wonseok Lee, Wonjong Rhee,
• Abstract要約: タスク特化事前条件勾配降下(TSP)と呼ばれる新しい適応機構を提案する。 本手法はまず,各メタ学習領域の特徴を抽出するドメイン特化プレコンディショナーをメタ学習する。 我々はプレコンディショナーを正定値に制限し、プレコンディショニングされた勾配を最も急降下の方向へと導く。
• 参考スコア（独自算出の注目度）: 5.143202395017676
• License:
• Abstract: Cross-Domain Few-Shot Learning~(CDFSL) methods typically parameterize models with task-agnostic and task-specific parameters. To adapt task-specific parameters, recent approaches have utilized fixed optimization strategies, despite their potential sub-optimality across varying domains or target tasks. To address this issue, we propose a novel adaptation mechanism called Task-Specific Preconditioned gradient descent~(TSP). Our method first meta-learns Domain-Specific Preconditioners~(DSPs) that capture the characteristics of each meta-training domain, which are then linearly combined using task-coefficients to form the Task-Specific Preconditioner. The preconditioner is applied to gradient descent, making the optimization adaptive to the target task. We constrain our preconditioners to be positive definite, guiding the preconditioned gradient toward the direction of steepest descent. Empirical evaluations on the Meta-Dataset show that TSP achieves state-of-the-art performance across diverse experimental scenarios.
• Abstract（参考訳）: クロスドメインFew-Shot Learning~(CDFSL)メソッドは通常、タスクに依存しない、タスク固有のパラメータを持つモデルをパラメータ化する。 タスク固有のパラメータに適応するために、近年のアプローチでは、様々なドメインやターゲットタスクにまたがる潜在的なサブ最適性にもかかわらず、固定最適化戦略を採用している。 この問題に対処するため,タスク特化事前条件勾配降下(TSP)と呼ばれる新しい適応機構を提案する。 提案手法はまず,各メタ学習領域の特徴を捉えたDSP(Domain-Specific Preconditioner)を抽出し,タスク係数を用いて線形に組み合わせ,タスク特化プレコンディショナーを形成する。 プレコンディショナーは勾配降下に適用され、最適化は目標タスクに適応する。 我々はプレコンディショナーを正定値に制限し、プレコンディショニングされた勾配を最も急降下の方向へと導く。 Meta-Datasetに関する実証的な評価は、TSPが様々な実験シナリオで最先端のパフォーマンスを達成することを示している。

関連論文リスト

• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• Meta-Learning with a Geometry-Adaptive Preconditioner [5.958707909653156]
  本稿では,モデルに依存しないメタ学習アルゴリズムの限界を克服するために,GAP(Geometry-Adaptive Preconditioned gradient descent)を提案する。 GAPはタスク固有のパラメータに依存するプレコンディショナーを効率的にメタ学習することができ、そのプレコンディショナーはリーマン計量であることを示すことができる。 実験結果から,GAPは最先端のMAMLファミリーとプレコンディショニング・グラデーション・マML(PGD-MAML)ファミリーを多種多様なショット学習タスクで上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-04-04T06:06:59Z)
• On Fine-Tuned Deep Features for Unsupervised Domain Adaptation [23.18781318003242]
  ドメイン適応性能を向上させるために,細調整された特徴と特徴変換に基づくUDA法を組み合わせる可能性について検討した。 具体的には、一般的なプログレッシブな擬似ラベリング手法を微調整フレームワークに統合し、微調整された特徴を抽出する。 ResNet-50/101 や DeiT-small/base を含む複数の深層モデルによる実験を行い、微調整された特徴の組み合わせを実証した。
  論文  参考訳（メタデータ） (2022-10-25T15:07:04Z)
• MARS: Meta-Learning as Score Matching in the Function Space [79.73213540203389]
  本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。 機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。 本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
  論文  参考訳（メタデータ） (2022-10-24T15:14:26Z)
• Transfer Bayesian Meta-learning via Weighted Free Energy Minimization [37.51664463278401]
  重要な前提は、メタトレーニングタスクとして知られる補助タスクが、デプロイ時に遭遇するタスクと同じ生成分布を共有することである。 本稿では,トランスファーメタラーニングのための重み付き自由エネルギー最小化(WFEM)を提案する。
  論文  参考訳（メタデータ） (2021-06-20T15:17:51Z)
• Learning Stochastic Optimal Policies via Gradient Descent [17.9807134122734]
  学習に基づく最適制御処理(SOC)を体系的に開発する。 本稿では, 微分方程式に対する随伴感度の導出について, 変分計算の直接適用により提案する。 本稿では,比例トランザクションコストを伴う連続時間有限地平線ポートフォリオ最適化における提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-07T16:43:07Z)
• MetaAlign: Coordinating Domain Alignment and Classification for Unsupervised Domain Adaptation [84.90801699807426]
  本稿ではMetaAlignと呼ばれるメタ最適化に基づく効果的な戦略を提案する。 ドメインアライメントの目的と分類の目的をメタ学習計画におけるメタトレーニングとメタテストのタスクとして扱う。 実験結果は,アライメントに基づくベースラインアプローチを用いた提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2021-03-25T03:16:05Z)
• Efficient Continual Adaptation for Generative Adversarial Networks [97.20244383723853]
  GAN(Generative Adversarial Network)に対する連続学習手法を提案する。 我々のアプローチは、グローバルパラメータとタスク固有のパラメータのセットを学習することに基づいている。 機能マップ変換に基づくアプローチは,最先端のgans手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-06T05:09:37Z)
• The Advantage of Conditional Meta-Learning for Biased Regularization and Fine-Tuning [50.21341246243422]
  バイアスレギュラー化と微調整は、最近の2つのメタラーニングアプローチである。 本稿では,条件付き関数マッピングタスクの側情報をメタパラメータベクトルに推論する条件付きメタラーニングを提案する。 次に、実際には同等の利点をもたらす凸メタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-25T07:32:16Z)
• MLE-guided parameter search for task loss minimization in neural sequence modeling [83.83249536279239]
  ニューラル自己回帰シーケンスモデルは、さまざまな自然言語処理(NLP)タスクのシーケンスを生成するために使用される。 本稿では,現在のパラメータとその周辺における乱探索の混合である更新方向の分布から,最大至適勾配の分布をサンプリングする,最大至適誘導パラメータ探索(MGS)を提案する。 以上の結果から,MGS は,機械翻訳における最小リスクトレーニングに比べて,繰り返しや非終端の大幅な削減を図り,シーケンスレベルの損失を最適化できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-04T22:21:22Z)
• Objective-Sensitive Principal Component Analysis for High-Dimensional Inverse Problems [0.0]
  本稿では,大規模乱数場の適応的,微分可能なパラメータ化手法を提案する。 開発した手法は主成分分析(PCA)に基づくが,目的関数の振る舞いを考慮した主成分の純粋にデータ駆動に基づく基礎を変更する。 最適パラメータ分解のための3つのアルゴリズムを2次元合成履歴マッチングの目的に適用した。
  論文  参考訳（メタデータ） (2020-06-02T18:51:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。