論文の概要: A Correlation-Ratio Transfer Learning and Variational Stein's Paradox
- arxiv url: http://arxiv.org/abs/2206.06086v1
- Date: Fri, 10 Jun 2022 01:59:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-14 15:00:06.820634
- Title: A Correlation-Ratio Transfer Learning and Variational Stein's Paradox
- Title（参考訳）: 相関-相対性伝達学習と変分 stein のパラドックス
- Authors: Lu Lin and Weiyu Li
- Abstract要約: 本稿では,モデル間の正確な関係を構築するために,線形相関比という新たな戦略を提案する。
実用面では、新しいフレームワークはいくつかのアプリケーションシナリオ、特にデータストリームと医学研究の分野に適用されます。
- 参考スコア（独自算出の注目度）: 7.652701739127332
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A basic condition for efficient transfer learning is the similarity between a
target model and source models. In practice, however, the similarity condition
is difficult to meet or is even violated. Instead of the similarity condition,
a brand-new strategy, linear correlation-ratio, is introduced in this paper to
build an accurate relationship between the models. Such a correlation-ratio can
be easily estimated by historical data or a part of sample. Then, a
correlation-ratio transfer learning likelihood is established based on the
correlation-ratio combination. On the practical side, the new framework is
applied to some application scenarios, especially the areas of data streams and
medical studies. Methodologically, some techniques are suggested for
transferring the information from simple source models to a relatively complex
target model. Theoretically, some favorable properties, including the global
convergence rate, are achieved, even for the case where the source models are
not similar to the target model. All in all, it can be seen from the theories
and experimental results that the inference on the target model is
significantly improved by the information from similar or dissimilar source
models. In other words, a variational Stein's paradox is illustrated in the
context of transfer learning.
- Abstract（参考訳）: 効率的な伝達学習の基本的な条件は、ターゲットモデルとソースモデルとの類似性である。
しかし実際には、類似性条件は満たすのが難しいか、あるいは破られる場合さえある。
本論文では、類似性条件の代わりに、モデル間の正確な関係を構築するために、新しい戦略である線形相関比を導入する。
このような相関比は、過去のデータやサンプルの一部から容易に推定できる。
そして、相関比の組合せに基づいて相関比移動学習確率を確立する。
実用面では、新しいフレームワークはいくつかのアプリケーションシナリオ、特にデータストリームと医学研究の分野に適用されます。
方法論的には、単純なソースモデルから比較的複雑なターゲットモデルへ情報を転送する手法が提案されている。
理論的には、ソースモデルがターゲットモデルと似ていない場合であっても、大域収束率を含むいくつかの好ましい特性が達成される。
全体として、対象モデルの推論は、類似または異質なソースモデルの情報によって著しく改善されているという理論と実験結果から見ることができる。
言い換えると、変分シュタインのパラドックスは転置学習の文脈で示される。
関連論文リスト
- Comparing Foundation Models using Data Kernels [13.099029073152257]
基礎モデルの埋め込み空間幾何学を直接比較するための方法論を提案する。
提案手法はランダムグラフ理論に基づいており, 埋め込み類似性の有効な仮説検証を可能にする。
本稿では, 距離関数を付加したモデルの多様体が, 下流の指標と強く相関することを示す。
論文 参考訳（メタデータ） (2023-05-09T02:01:07Z) - Less is More: Mitigate Spurious Correlations for Open-Domain Dialogue
Response Generation Models by Causal Discovery [52.95935278819512]
本研究で得られたCGDIALOGコーパスに基づくオープンドメイン応答生成モデルのスプリアス相関に関する最初の研究を行った。
因果探索アルゴリズムに着想を得て,反応生成モデルの学習と推論のための新しいモデル非依存手法を提案する。
論文 参考訳（メタデータ） (2023-03-02T06:33:48Z) - On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
一般化は、見えないデータを分類するモデルの能力をキャプチャする。
不変性はデータの変換におけるモデル予測の一貫性を測定する。
データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
論文 参考訳（メタデータ） (2022-07-14T17:08:25Z) - Bias-inducing geometries: an exactly solvable data model with fairness
implications [13.690313475721094]
我々は、正確に解決可能なデータ不均衡の高次元モデルを導入する。
この合成フレームワークで訓練された学習モデルの典型的特性を解析的に解き放つ。
フェアネス評価によく用いられる観測対象の正確な予測値を得る。
論文 参考訳（メタデータ） (2022-05-31T16:27:57Z) - Similarity learning for wells based on logging data [8.265576412171702]
本稿では,深層学習モデルに基づく地質プロファイルの類似度推定手法を提案する。
我々の類似性モデルは、データを入力としてよく記録し、出力としてウェルの類似性を提供します。
モデルテストでは、ニュージーランドとノルウェーを起源とする2つのオープンデータセットを使用しました。
論文 参考訳（メタデータ） (2022-02-11T12:47:56Z) - Estimation of Bivariate Structural Causal Models by Variational Gaussian
Process Regression Under Likelihoods Parametrised by Normalising Flows [74.85071867225533]
因果機構は構造因果モデルによって記述できる。
最先端の人工知能の大きな欠点の1つは、説明責任の欠如である。
論文 参考訳（メタデータ） (2021-09-06T14:52:58Z) - Split Modeling for High-Dimensional Logistic Regression [0.2676349883103404]
短時間コンパイルしたアンサンブルロジスティック分類モデルに対して,新しい手法を提案する。
本手法は,予測精度に優れたバイアスオフの活用法を学習する。
提案手法を実装したオープンソースソフトウェアライブラリを議論する。
論文 参考訳（メタデータ） (2021-02-17T05:57:26Z) - Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [55.28436972267793]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。
本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。
次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文 参考訳（メタデータ） (2020-10-25T18:51:15Z) - Few-shot Visual Reasoning with Meta-analogical Contrastive Learning [141.2562447971]
本稿では,類似推論に頼って,数ショット(または低ショット)の視覚推論問題を解くことを提案する。
両領域の要素間の構造的関係を抽出し、類似学習と可能な限り類似するように強制する。
RAVENデータセット上での本手法の有効性を検証し, トレーニングデータが少ない場合, 最先端の手法より優れることを示す。
論文 参考訳（メタデータ） (2020-07-23T14:00:34Z) - Pairwise Supervision Can Provably Elicit a Decision Boundary [84.58020117487898]
類似性学習は、パターンのペア間の関係を予測することによって有用な表現を引き出す問題である。
類似性学習は、決定境界を直接引き出すことによって二項分類を解くことができることを示す。
論文 参考訳（メタデータ） (2020-06-11T05:35:16Z) - Amortized Bayesian model comparison with evidential deep learning [0.12314765641075436]
本稿では,専門的なディープラーニングアーキテクチャを用いたベイズモデルの比較手法を提案する。
提案手法は純粋にシミュレーションベースであり,観測された各データセットに対して,すべての代替モデルを明示的に適合させるステップを回避している。
提案手法は,本研究で検討した事例に対して,精度,キャリブレーション,効率の点で優れた結果が得られることを示す。
論文 参考訳（メタデータ） (2020-04-22T15:15:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。