論文の概要: Transfer learning with affine model transformation
- arxiv url: http://arxiv.org/abs/2210.09745v2
- Date: Fri, 19 Jan 2024 19:00:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 22:23:48.361236
- Title: Transfer learning with affine model transformation
- Title(参考訳): アフィンモデル変換による伝達学習
- Authors: Shunya Minami, Kenji Fukumizu, Yoshihiro Hayashi, Ryo Yoshida
- Abstract要約: 本稿では,アフィンモデル転送と呼ばれる,伝達学習の一般的なクラスについて述べる。
アフィンモデル転送は、ニューラル特徴抽出器に基づく最も一般的な手順を含む、様々な既存手法を幅広く包含していることが示されている。
- 参考スコア(独自算出の注目度): 18.13383101189326
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Supervised transfer learning has received considerable attention due to its
potential to boost the predictive power of machine learning in scenarios where
data are scarce. Generally, a given set of source models and a dataset from a
target domain are used to adapt the pre-trained models to a target domain by
statistically learning domain shift and domain-specific factors. While such
procedurally and intuitively plausible methods have achieved great success in a
wide range of real-world applications, the lack of a theoretical basis hinders
further methodological development. This paper presents a general class of
transfer learning regression called affine model transfer, following the
principle of expected-square loss minimization. It is shown that the affine
model transfer broadly encompasses various existing methods, including the most
common procedure based on neural feature extractors. Furthermore, the current
paper clarifies theoretical properties of the affine model transfer such as
generalization error and excess risk. Through several case studies, we
demonstrate the practical benefits of modeling and estimating inter-domain
commonality and domain-specific factors separately with the affine-type
transfer models.
- Abstract(参考訳): 教師付き転送学習は、データが不足しているシナリオにおける機械学習の予測能力を高める可能性から、多くの注目を集めている。
一般に、与えられたソースモデルとターゲットドメインからのデータセットを用いて、統計的にドメインシフトとドメイン固有の要素を学習することにより、事前訓練されたモデルをターゲットドメインに適応させる。
このような手続き的かつ直感的に可能な手法は、幅広い現実世界の応用において大きな成功を収めてきたが、理論的基盤の欠如は、さらなる方法論の発展を妨げる。
本稿では,期待二乗損失最小化の原理に従って,アフィンモデル伝達と呼ばれる伝達学習回帰の一般クラスを提案する。
アフィンモデル転送は、ニューラル特徴抽出器に基づく最も一般的な手順を含む、様々な既存手法を幅広く含むことが示されている。
さらに,本論文は,一般化誤差や過剰リスクなどのアフィンモデル伝達の理論的性質を明らかにする。
いくつかのケーススタディを通じて,アフィン型トランスファーモデルと分離したドメイン間共通性とドメイン固有因子のモデル化と推定の実用的利点を実証する。
関連論文リスト
- Reflected Schr\"odinger Bridge for Constrained Generative Modeling [16.72888494254555]
反射拡散モデルは、現実の応用における大規模生成モデルのゴートメソッドとなっている。
本稿では,様々な領域内でデータを生成するために最適化されたエントロピー規則化された最適輸送手法であるReflectioned Schrodinger Bridgeアルゴリズムを紹介する。
提案アルゴリズムは,多様な領域におけるロバストな生成モデリングを実現し,そのスケーラビリティは,標準画像ベンチマークによる実世界の制約付き生成モデリングにおいて実証される。
論文 参考訳(メタデータ) (2024-01-06T14:39:58Z) - Fairness-Aware Domain Generalization under Covariate and Dependence
Shifts [29.663115314034126]
ドメインシフトに対処する新しい領域一般化手法を提案する。
我々は、基礎となる変換モデルの存在が、あるドメインから別のドメインへデータを変換できると主張している。
モデルを用いて合成ドメインのデータを生成することにより、公正に認識された不変な分類器が学習される。
論文 参考訳(メタデータ) (2023-11-23T05:52:00Z) - A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳(メタデータ) (2023-11-13T01:48:08Z) - Representation Transfer Learning via Multiple Pre-trained models for
Linear Regression [3.5788754401889014]
サンプルが少ないデータ領域(ターゲット)で線形回帰モデルを学習する問題を考察する。
学習を支援するために、私たちは、潜在的に異なるデータドメインでトレーニングされた事前訓練された回帰モデルセットを提供しています。
対象モデルを構築するための表現伝達に基づく学習手法を提案する。
論文 参考訳(メタデータ) (2023-05-25T19:35:24Z) - Transfer Learning with Uncertainty Quantification: Random Effect
Calibration of Source to Target (RECaST) [1.8047694351309207]
我々はRECaSTと呼ばれる伝達学習に基づくモデル予測のための統計的枠組みを開発する。
線形モデル間の伝達学習におけるRECaST手法の有効性を数学的・実験的に実証した。
シミュレーション研究における本手法の性能と実際の病院データへの適用について検討する。
論文 参考訳(メタデータ) (2022-11-29T19:39:47Z) - Learning from few examples with nonlinear feature maps [68.8204255655161]
我々はこの現象を探求し、AIモデルの特徴空間の次元性、データ分散の非退化、モデルの一般化能力の間の重要な関係を明らかにする。
本分析の主な推力は、元のデータを高次元および無限次元空間にマッピングする非線形特徴変換が結果のモデル一般化能力に与える影響である。
論文 参考訳(メタデータ) (2022-03-31T10:36:50Z) - A Class of Geometric Structures in Transfer Learning: Minimax Bounds and
Optimality [5.2172436904905535]
我々はソースとターゲットドメインの幾何学的構造を転写学習に活用する。
提案手法は,中等度・高次元の両方で最先端の伝達学習法より優れる。
論文 参考訳(メタデータ) (2022-02-23T18:47:53Z) - Model Reprogramming: Resource-Efficient Cross-Domain Machine Learning [65.268245109828]
視覚、言語、音声などのデータに富む領域では、ディープラーニングが高性能なタスク固有モデルを提供するのが一般的である。
リソース制限されたドメインでのディープラーニングは、(i)限られたデータ、(ii)制約付きモデル開発コスト、(iii)効果的な微調整のための適切な事前学習モデルの欠如など、多くの課題に直面している。
モデル再プログラミングは、ソースドメインから十分に訓練されたモデルを再利用して、モデル微調整なしでターゲットドメインのタスクを解くことで、リソース効率のよいクロスドメイン機械学習を可能にする。
論文 参考訳(メタデータ) (2022-02-22T02:33:54Z) - Towards Principled Disentanglement for Domain Generalization [90.9891372499545]
機械学習モデルの根本的な課題は、アウト・オブ・ディストリビューション(OOD)データへの一般化である。
私たちはまず、DEC(Disentanglement-Constrained Domain Generalization)と呼ばれる制約付き最適化としてOOD一般化問題を定式化する。
この変換に基づいて、結合表現の不絡合と領域一般化のための原始双対アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-11-27T07:36:32Z) - Self-balanced Learning For Domain Generalization [64.99791119112503]
ドメインの一般化は、モデルが未知の統計を持つ対象のドメインに一般化できるように、マルチドメインのソースデータの予測モデルを学ぶことを目的としている。
既存のアプローチのほとんどは、ソースデータがドメインとクラスの両方の観点からバランスよく調整されているという前提の下で開発されている。
本稿では,多領域ソースデータの分布の違いによるバイアスを軽減するために,損失の重み付けを適応的に学習する自己均衡型領域一般化フレームワークを提案する。
論文 参考訳(メタデータ) (2021-08-31T03:17:54Z) - Learning Invariant Representations and Risks for Semi-supervised Domain
Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。
共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文 参考訳(メタデータ) (2020-10-09T15:42:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。