論文の概要: Transfer learning with affine model transformation
- arxiv url: http://arxiv.org/abs/2210.09745v1
- Date: Tue, 18 Oct 2022 10:50:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-19 13:47:21.752928
- Title: Transfer learning with affine model transformation
- Title（参考訳）: アフィンモデル変換による伝達学習
- Authors: Shunya Minami, Kenji Fukumizu, Yoshihiro Hayashi, Ryo Yoshida
- Abstract要約: 対象ドメインからのソースモデルとサンプルのセットを使用して、ドメイン間の差異をモデル化し、推定する。
本研究では,ドメインシフトとドメイン固有因子を同時に推定するTLフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 16.41476388508298
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Supervised transfer learning (TL) has received considerable attention because
of its potential to boost the predictive power of machine learning in cases
with limited data. In a conventional scenario, cross-domain differences are
modeled and estimated using a given set of source models and samples from a
target domain. For example, if there is a functional relationship between
source and target domains, only domain-specific factors are additionally
learned using target samples to shift the source models to the target. However,
the general methodology for modeling and estimating such cross-domain shifts
has been less studied. This study presents a TL framework that simultaneously
and separately estimates domain shifts and domain-specific factors using given
target samples. Assuming consistency and invertibility of the domain
transformation functions, we derive an optimal family of functions to represent
the cross-domain shift. The newly derived class of transformation functions
takes the same form as invertible neural networks using affine coupling layers,
which are widely used in generative deep learning. We show that the proposed
method encompasses a wide range of existing methods, including the most common
TL procedure based on feature extraction using neural networks. We also clarify
the theoretical properties of the proposed method, such as the convergence rate
of the generalization error, and demonstrate the practical benefits of
separately modeling and estimating domain-specific factors through several case
studies.
- Abstract（参考訳）: supervised transfer learning (tl) は、限られたデータを扱う場合の機械学習の予測能力を高める可能性があるため、多くの注目を集めている。
従来のシナリオでは、対象ドメインから与えられたソースモデルとサンプルのセットを使用して、ドメイン間の差異をモデル化し、推定する。
例えば、ソースドメインとターゲットドメインの間に機能的な関係がある場合、ターゲットサンプルを使用して、ソースモデルをターゲットに移動するドメイン固有の要素のみを学習する。
しかし、そのようなドメイン間のシフトをモデル化し、推定する一般的な手法は、あまり研究されていない。
本研究では,ドメインシフトとドメイン固有因子を同時に,かつ個別に推定するTLフレームワークを提案する。
領域変換関数の整合性と可逆性を仮定すると、クロスドメインシフトを表現するのに最適な関数群を導出する。
新たに派生した変換関数のクラスは、生成的ディープラーニングで広く使われているアフィン結合層を用いた可逆ニューラルネットワークと同じ形を取る。
提案手法は,ニューラルネットワークを用いた特徴抽出に基づく最も一般的なtl手続きを含む,幅広い既存手法を包含することを示す。
また,一般化誤差の収束率など,提案手法の理論的特性を明らかにし,いくつかのケーススタディを通して,ドメイン固有因子を個別にモデル化し,推定することの実際的利点を実証する。
関連論文リスト
- Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。
因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
論文 参考訳（メタデータ） (2024-06-07T14:29:21Z) - Transfer Learning for Diffusion Models [43.10840361752551]
拡散モデルは高品質な合成サンプルを一貫して生成する。
コレクションコストや関連するリスクのため、現実のアプリケーションでは実用的ではありません。
本稿では,従来の微調整法や正規化法とは異なる新しいアプローチであるTransfer Guided Diffusion Process (TGDP)を紹介する。
論文 参考訳（メタデータ） (2024-05-27T06:48:58Z) - Reflected Schr\"odinger Bridge for Constrained Generative Modeling [16.72888494254555]
反射拡散モデルは、現実の応用における大規模生成モデルのゴートメソッドとなっている。
本稿では,様々な領域内でデータを生成するために最適化されたエントロピー規則化された最適輸送手法であるReflectioned Schrodinger Bridgeアルゴリズムを紹介する。
提案アルゴリズムは,多様な領域におけるロバストな生成モデリングを実現し,そのスケーラビリティは,標準画像ベンチマークによる実世界の制約付き生成モデリングにおいて実証される。
論文 参考訳（メタデータ） (2024-01-06T14:39:58Z) - A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳（メタデータ） (2023-11-13T01:48:08Z) - Distribution-free Deviation Bounds and The Role of Domain Knowledge in Learning via Model Selection with Cross-validation Risk Estimation [0.0]
リスク推定とモデル選択のためのクロスバリデーション技術は、統計学や機械学習で広く利用されている。
本稿では,クロスバリデーションリスク推定を用いたモデル選択による学習を汎用的な学習フレームワークとして提案する。
論文 参考訳（メタデータ） (2023-03-15T17:18:31Z) - Transfer Learning with Uncertainty Quantification: Random Effect
Calibration of Source to Target (RECaST) [1.8047694351309207]
我々はRECaSTと呼ばれる伝達学習に基づくモデル予測のための統計的枠組みを開発する。
線形モデル間の伝達学習におけるRECaST手法の有効性を数学的・実験的に実証した。
シミュレーション研究における本手法の性能と実際の病院データへの適用について検討する。
論文 参考訳（メタデータ） (2022-11-29T19:39:47Z) - Learning from few examples with nonlinear feature maps [68.8204255655161]
我々はこの現象を探求し、AIモデルの特徴空間の次元性、データ分散の非退化、モデルの一般化能力の間の重要な関係を明らかにする。
本分析の主な推力は、元のデータを高次元および無限次元空間にマッピングする非線形特徴変換が結果のモデル一般化能力に与える影響である。
論文 参考訳（メタデータ） (2022-03-31T10:36:50Z) - A Class of Geometric Structures in Transfer Learning: Minimax Bounds and
Optimality [5.2172436904905535]
我々はソースとターゲットドメインの幾何学的構造を転写学習に活用する。
提案手法は,中等度・高次元の両方で最先端の伝達学習法より優れる。
論文 参考訳（メタデータ） (2022-02-23T18:47:53Z) - Model Reprogramming: Resource-Efficient Cross-Domain Machine Learning [65.268245109828]
視覚、言語、音声などのデータに富む領域では、ディープラーニングが高性能なタスク固有モデルを提供するのが一般的である。
リソース制限されたドメインでのディープラーニングは、(i)限られたデータ、(ii)制約付きモデル開発コスト、(iii)効果的な微調整のための適切な事前学習モデルの欠如など、多くの課題に直面している。
モデル再プログラミングは、ソースドメインから十分に訓練されたモデルを再利用して、モデル微調整なしでターゲットドメインのタスクを解くことで、リソース効率のよいクロスドメイン機械学習を可能にする。
論文 参考訳（メタデータ） (2022-02-22T02:33:54Z) - Self-balanced Learning For Domain Generalization [64.99791119112503]
ドメインの一般化は、モデルが未知の統計を持つ対象のドメインに一般化できるように、マルチドメインのソースデータの予測モデルを学ぶことを目的としている。
既存のアプローチのほとんどは、ソースデータがドメインとクラスの両方の観点からバランスよく調整されているという前提の下で開発されている。
本稿では,多領域ソースデータの分布の違いによるバイアスを軽減するために,損失の重み付けを適応的に学習する自己均衡型領域一般化フレームワークを提案する。
論文 参考訳（メタデータ） (2021-08-31T03:17:54Z) - Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。
本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。
次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文 参考訳（メタデータ） (2020-10-25T18:51:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。