Fugu-MT 論文翻訳(概要): On the impact of measure pre-conditionings on general parametric ML models and transfer learning via domain adaptation

論文の概要: On the impact of measure pre-conditionings on general parametric ML models and transfer learning via domain adaptation

arxiv url: http://arxiv.org/abs/2403.02432v1
Date: Mon, 4 Mar 2024 19:26:39 GMT
ステータス: 処理完了
システム内更新日: 2024-03-06 17:08:40.913460
Title: On the impact of measure pre-conditionings on general parametric ML models and transfer learning via domain adaptation
Title（参考訳）: 一般パラメトリックMLモデルとドメイン適応による伝達学習に及ぼす測定前条件の影響について
Authors: Joaqu\'in S\'anchez Garc\'ia
Abstract要約: 収束は、ガンマ収束をもたらすファトゥの補題の類似を通して理解できることを示す。一般的な機械学習タスクやドメイン適応トランスファー学習における妥当性と応用について述べる。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study a new technique for understanding convergence of learning agents under small modifications of data. We show that such convergence can be understood via an analogue of Fatou's lemma which yields gamma-convergence. We show it's relevance and applications in general machine learning tasks and domain adaptation transfer learning.
Abstract（参考訳）: データの小さな修正の下で学習エージェントの収束を理解するための新しい手法について検討する。このような収束は、ガンマコンバージェンスをもたらすファトゥの補題の類似によって理解できることを示す。一般的な機械学習タスクやドメイン適応トランスファー学習における関連性と応用を示す。

関連論文リスト

Adaptive Meta-Domain Transfer Learning (AMDTL): A Novel Approach for Knowledge Transfer in AI [0.0]
AMDTLは、ドメインのミスアライメント、負の転送、破滅的な忘れなど、トランスファーラーニングの主な課題に対処することを目的としている。このフレームワークは、タスクの多様な分散に訓練されたメタラーナー、ドメインの特徴分布を整合させる敵のトレーニング技術、動的特徴制御機構を統合している。ベンチマークデータセットによる実験結果から,AMDTLは既存の移動学習手法よりも精度,適応効率,堅牢性に優れていた。
論文参考訳（メタデータ） (2024-09-10T18:11:48Z)
MergeNet: Knowledge Migration across Heterogeneous Models, Tasks, and Modalities [72.68829963458408]
異種モデルのパラメータ空間のギャップを埋めることを学ぶMergeNetを提案する。 MergeNetの中核となるメカニズムはパラメータアダプタにあり、ソースモデルの低ランクパラメータをクエリすることで動作する。 MergeNetは両方のモデルと共に学習され、我々のフレームワークは、現在のステージに関する知識を動的に転送し、適応することができます。
論文参考訳（メタデータ） (2024-04-20T08:34:39Z)
Seeking Neural Nuggets: Knowledge Transfer in Large Language Models from a Parametric Perspective [106.92016199403042]
パラメトリック・パースペクティブを用いて,大規模モデルから小規模モデルへの知識伝達を実証的に検討する。感性に基づく手法を用いて、異なる大言語モデル間で知識固有のパラメータを抽出・調整する。本研究は,パラメトリックな知識伝達の過程に寄与する重要な要因を明らかにする。
論文参考訳（メタデータ） (2023-10-17T17:58:34Z)
In-Context Convergence of Transformers [63.04956160537308]
勾配降下法により訓練したソフトマックスアテンションを有する一層変圧器の学習力学について検討した。不均衡な特徴を持つデータに対しては、学習力学が段階的に収束する過程をとることを示す。
論文参考訳（メタデータ） (2023-10-08T17:55:33Z)
Unsupervised Learning of Invariance Transformations [105.54048699217668]
近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
論文参考訳（メタデータ） (2023-07-24T17:03:28Z)
Interpretations of Domain Adaptations via Layer Variational Analysis [10.32456826351215]
本研究は,Deep Learningにおける伝達学習理論を定式化するために,形式的導出と解析の両方を確立する。階層変動解析を利用した枠組みは, 転送学習の成功を, 対応するデータ条件で保証できることを証明している。我々の理論計算は知識伝達過程に対する直観的な解釈をもたらす。
論文参考訳（メタデータ） (2023-02-03T15:10:17Z)
Transfer learning with affine model transformation [18.13383101189326]
本稿では,アフィンモデル転送と呼ばれる,伝達学習の一般的なクラスについて述べる。アフィンモデル転送は、ニューラル特徴抽出器に基づく最も一般的な手順を含む、様々な既存手法を幅広く包含していることが示されている。
論文参考訳（メタデータ） (2022-10-18T10:50:24Z)
Variational Transfer Learning using Cross-Domain Latent Modulation [1.9662978733004601]
本稿では,効率的な転送学習を実現するために,新しいドメイン間遅延変調機構を変分オートエンコーダフレームワークに導入する。ソース領域とターゲット領域の深部表現は、まず統一推論モデルにより抽出され、勾配逆数を用いて整列される。学習した深層表現は、一貫性の制約が適用される代替ドメインの潜在エンコーディングにクロスモデレートされる。
論文参考訳（メタデータ） (2022-05-31T03:47:08Z)
A Scaling Law for Synthetic-to-Real Transfer: A Measure of Pre-Training [52.93808218720784]
合成から現実への変換学習は,実タスクのための合成画像と接地真実アノテーションを用いた事前学習を行うフレームワークである。合成画像はデータの不足を克服するが、事前訓練されたモデルで微調整性能がどのようにスケールするかは定かではない。我々は、合成事前学習データの様々なタスク、モデル、複雑さにおける学習曲線を一貫して記述する、単純で一般的なスケーリング法則を観察する。
論文参考訳（メタデータ） (2021-08-25T02:29:28Z)
Uniform Priors for Data-Efficient Transfer [65.086680950871]
もっとも移動可能な特徴は埋め込み空間において高い均一性を有することを示す。我々は、未確認のタスクやデータへの適応を容易にする能力の正規化を評価する。
論文参考訳（メタデータ） (2020-06-30T04:39:36Z)
Limits of Transfer Learning [0.0]
我々は、転送する情報の集合を慎重に選択する必要性と、転送される情報とターゲット問題との依存関係の必要性を示す。これらの結果は、機械学習のためのアルゴリズム検索フレームワークの上に構築され、転送を用いた幅広い学習問題に適用できる。
論文参考訳（メタデータ） (2020-06-23T01:48:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。