論文の概要: A Correlation-Ratio Transfer Learning and Variational Stein's Paradox
- arxiv url: http://arxiv.org/abs/2206.06086v1
- Date: Fri, 10 Jun 2022 01:59:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-14 15:00:06.820634
- Title: A Correlation-Ratio Transfer Learning and Variational Stein's Paradox
- Title（参考訳）: 相関-相対性伝達学習と変分 stein のパラドックス
- Authors: Lu Lin and Weiyu Li
- Abstract要約: 本稿では,モデル間の正確な関係を構築するために,線形相関比という新たな戦略を提案する。
実用面では、新しいフレームワークはいくつかのアプリケーションシナリオ、特にデータストリームと医学研究の分野に適用されます。
- 参考スコア（独自算出の注目度）: 7.652701739127332
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A basic condition for efficient transfer learning is the similarity between a
target model and source models. In practice, however, the similarity condition
is difficult to meet or is even violated. Instead of the similarity condition,
a brand-new strategy, linear correlation-ratio, is introduced in this paper to
build an accurate relationship between the models. Such a correlation-ratio can
be easily estimated by historical data or a part of sample. Then, a
correlation-ratio transfer learning likelihood is established based on the
correlation-ratio combination. On the practical side, the new framework is
applied to some application scenarios, especially the areas of data streams and
medical studies. Methodologically, some techniques are suggested for
transferring the information from simple source models to a relatively complex
target model. Theoretically, some favorable properties, including the global
convergence rate, are achieved, even for the case where the source models are
not similar to the target model. All in all, it can be seen from the theories
and experimental results that the inference on the target model is
significantly improved by the information from similar or dissimilar source
models. In other words, a variational Stein's paradox is illustrated in the
context of transfer learning.
- Abstract（参考訳）: 効率的な伝達学習の基本的な条件は、ターゲットモデルとソースモデルとの類似性である。
しかし実際には、類似性条件は満たすのが難しいか、あるいは破られる場合さえある。
本論文では、類似性条件の代わりに、モデル間の正確な関係を構築するために、新しい戦略である線形相関比を導入する。
このような相関比は、過去のデータやサンプルの一部から容易に推定できる。
そして、相関比の組合せに基づいて相関比移動学習確率を確立する。
実用面では、新しいフレームワークはいくつかのアプリケーションシナリオ、特にデータストリームと医学研究の分野に適用されます。
方法論的には、単純なソースモデルから比較的複雑なターゲットモデルへ情報を転送する手法が提案されている。
理論的には、ソースモデルがターゲットモデルと似ていない場合であっても、大域収束率を含むいくつかの好ましい特性が達成される。
全体として、対象モデルの推論は、類似または異質なソースモデルの情報によって著しく改善されているという理論と実験結果から見ることができる。
言い換えると、変分シュタインのパラドックスは転置学習の文脈で示される。
関連論文リスト
- Accelerated Stochastic ExtraGradient: Mixing Hessian and Gradient Similarity to Reduce Communication in Distributed and Federated Learning [50.382793324572845]
分散コンピューティングはデバイス間の通信を伴うため、効率性とプライバシという2つの重要な問題を解決する必要がある。
本稿では,データ類似性とクライアントサンプリングのアイデアを取り入れた新しい手法について分析する。
プライバシー問題に対処するために,付加雑音の手法を適用し,提案手法の収束への影響を解析する。
論文 参考訳（メタデータ） (2024-09-22T00:49:10Z) - Comparing Foundation Models using Data Kernels [13.099029073152257]
基礎モデルの埋め込み空間幾何学を直接比較するための方法論を提案する。
提案手法はランダムグラフ理論に基づいており, 埋め込み類似性の有効な仮説検証を可能にする。
本稿では, 距離関数を付加したモデルの多様体が, 下流の指標と強く相関することを示す。
論文 参考訳（メタデータ） (2023-05-09T02:01:07Z) - Less is More: Mitigate Spurious Correlations for Open-Domain Dialogue
Response Generation Models by Causal Discovery [52.95935278819512]
本研究で得られたCGDIALOGコーパスに基づくオープンドメイン応答生成モデルのスプリアス相関に関する最初の研究を行った。
因果探索アルゴリズムに着想を得て,反応生成モデルの学習と推論のための新しいモデル非依存手法を提案する。
論文 参考訳（メタデータ） (2023-03-02T06:33:48Z) - On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
一般化は、見えないデータを分類するモデルの能力をキャプチャする。
不変性はデータの変換におけるモデル予測の一貫性を測定する。
データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
論文 参考訳（メタデータ） (2022-07-14T17:08:25Z) - Bias-inducing geometries: an exactly solvable data model with fairness
implications [13.690313475721094]
我々は、正確に解決可能なデータ不均衡の高次元モデルを導入する。
この合成フレームワークで訓練された学習モデルの典型的特性を解析的に解き放つ。
フェアネス評価によく用いられる観測対象の正確な予測値を得る。
論文 参考訳（メタデータ） (2022-05-31T16:27:57Z) - Model Comparison in Approximate Bayesian Computation [0.456877715768796]
自然科学における一般的な問題は、観測されたデータに照らして競合するモデルの比較である。
この枠組みは、実際に使用されるほとんどのモデルにとって難解な確率関数の計算に依存している。
ABCにおけるベイズモデルの比較を行うための新しい効率的な手法を提案する。
論文 参考訳（メタデータ） (2022-03-15T10:24:16Z) - Similarity learning for wells based on logging data [8.265576412171702]
本稿では,深層学習モデルに基づく地質プロファイルの類似度推定手法を提案する。
我々の類似性モデルは、データを入力としてよく記録し、出力としてウェルの類似性を提供します。
モデルテストでは、ニュージーランドとノルウェーを起源とする2つのオープンデータセットを使用しました。
論文 参考訳（メタデータ） (2022-02-11T12:47:56Z) - Estimation of Bivariate Structural Causal Models by Variational Gaussian
Process Regression Under Likelihoods Parametrised by Normalising Flows [74.85071867225533]
因果機構は構造因果モデルによって記述できる。
最先端の人工知能の大きな欠点の1つは、説明責任の欠如である。
論文 参考訳（メタデータ） (2021-09-06T14:52:58Z) - Few-shot Visual Reasoning with Meta-analogical Contrastive Learning [141.2562447971]
本稿では,類似推論に頼って,数ショット(または低ショット)の視覚推論問題を解くことを提案する。
両領域の要素間の構造的関係を抽出し、類似学習と可能な限り類似するように強制する。
RAVENデータセット上での本手法の有効性を検証し, トレーニングデータが少ない場合, 最先端の手法より優れることを示す。
論文 参考訳（メタデータ） (2020-07-23T14:00:34Z) - Pairwise Supervision Can Provably Elicit a Decision Boundary [84.58020117487898]
類似性学習は、パターンのペア間の関係を予測することによって有用な表現を引き出す問題である。
類似性学習は、決定境界を直接引き出すことによって二項分類を解くことができることを示す。
論文 参考訳（メタデータ） (2020-06-11T05:35:16Z) - Amortized Bayesian model comparison with evidential deep learning [0.12314765641075436]
本稿では,専門的なディープラーニングアーキテクチャを用いたベイズモデルの比較手法を提案する。
提案手法は純粋にシミュレーションベースであり,観測された各データセットに対して,すべての代替モデルを明示的に適合させるステップを回避している。
提案手法は,本研究で検討した事例に対して,精度,キャリブレーション,効率の点で優れた結果が得られることを示す。
論文 参考訳（メタデータ） (2020-04-22T15:15:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。