論文の概要: An Improved Transfer Model: Randomized Transferable Machine

• arxiv url: http://arxiv.org/abs/2011.13629v2
• Date: Thu, 21 Apr 2022 05:13:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-20 01:39:01.759380
• Title: An Improved Transfer Model: Randomized Transferable Machine
• Title（参考訳）: 改良された転送モデル:ランダム化転送機
• Authors: Pengfei Wei, Xinghua Qu, Yew Soon Ong, Zejun Ma
• Abstract要約: そこで本研究では,Randomized Transferable Machine (RTM) と呼ばれる新しいトランスファーモデルを提案する。 具体的には,既存の特徴量に基づく転送手法から得られた新たなソースとターゲットデータについて検討する。 原則として、汚職が多くなるほど、新しいターゲットデータの確率が高くなると、構築されたソースデータ人口でカバーできる。
• 参考スコア（独自算出の注目度）: 32.50263074872975
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Feature-based transfer is one of the most effective methodologies for transfer learning. Existing studies usually assume that the learned new feature representation is \emph{domain-invariant}, and thus train a transfer model $\mathcal{M}$ on the source domain. In this paper, we consider a more realistic scenario where the new feature representation is suboptimal and small divergence still exists across domains. We propose a new transfer model called Randomized Transferable Machine (RTM) to handle such small divergence of domains. Specifically, we work on the new source and target data learned from existing feature-based transfer methods. The key idea is to enlarge source training data populations by randomly corrupting the new source data using some noises, and then train a transfer model $\widetilde{\mathcal{M}}$ that performs well on all the corrupted source data populations. In principle, the more corruptions are made, the higher the probability of the new target data can be covered by the constructed source data populations, and thus better transfer performance can be achieved by $\widetilde{\mathcal{M}}$. An ideal case is with infinite corruptions, which however is infeasible in reality. We develop a marginalized solution that enables to train an $\widetilde{\mathcal{M}}$ without conducting any corruption but equivalent to be trained using infinite source noisy data populations. We further propose two instantiations of $\widetilde{\mathcal{M}}$, which theoretically show the transfer superiority over the conventional transfer model $\mathcal{M}$. More importantly, both instantiations have closed-form solutions, leading to a fast and efficient training process. Experiments on various real-world transfer tasks show that RTM is a promising transfer model.
• Abstract（参考訳）: 機能ベースの転送は、転送学習の最も効果的な方法の1つです。 既存の研究は通常、学習した新しい特徴表現が \emph{ domain-invariant} であると仮定し、ソースドメイン上で転送モデル $\mathcal{M}$ をトレーニングする。 本稿では,新しい特徴表現が準最適であり,領域にまたがる小さな分岐が存在する,より現実的なシナリオを考える。 このようなドメインの小さな分散を扱うために,Randomized Transferable Machine (RTM) と呼ばれる新しい転送モデルを提案する。 具体的には、既存の機能ベースの転送方法から学んだ、新しいソースおよびターゲットデータに取り組んでいます。 鍵となるアイデアは、新しいソースデータをノイズを使ってランダムに破壊し、ソーストレーニングデータ集団を拡大し、すべての破損したソースデータ集団でうまく機能する転送モデル $\widetilde{\mathcal{m}}$ をトレーニングすることだ。 原則として、より多くの汚職が発生するほど、新しいターゲットデータの確率が高くなると、構築されたソースデータ人口によってカバーされ、より優れた転送性能が$\widetilde{\mathcal{M}}$によって達成される。 理想的なケースは無限の腐敗であり、実際には実現不可能である。 汚職を行なわずに$\widetilde{\mathcal{M}}$をトレーニングできる限界化ソリューションを開発したが、無限ソースノイズデータを用いたトレーニングに等価である。 さらに、$\widetilde{\mathcal{M}}$ の2つのインスタンスを提案し、これは理論上、従来の転送モデル $\mathcal{M}$ よりも転送優位性を示す。 さらに重要なことに、両方のインスタンスはクローズドフォームソリューションを持ち、高速かつ効率的なトレーニングプロセスに繋がる。 様々な実世界の転送タスクの実験により、rtmは有望な転送モデルであることが示されている。

関連論文リスト

• Deep Transfer Learning: Model Framework and Error Analysis [4.898032902660655]
  本稿では,単ドメインダウンストリームタスクに対して,サンプル$n$を多用したディープトランスファー学習のためのフレームワークを提案する。 本稿では,下流教師ありタスクにおけるリプシッツ関数の学習における収束率を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-10-12T06:24:35Z)
• Transfer Learning Beyond Bounded Density Ratios [21.522183597134234]
  学習アルゴリズムは、あるソース分布からデータを収集するが、異なるターゲット分布に対して$Q$である。 我々の主な結果は、ドメインの$mathbbRn$に対する一般的な転送不等式であり、非常に穏やかな仮定の下では、低次数に対する非自明な転送学習が可能であることを証明している。
  論文  参考訳（メタデータ） (2024-03-18T17:02:41Z)
• Informative Data Mining for One-Shot Cross-Domain Semantic Segmentation [84.82153655786183]
  Informative Data Mining (IDM) と呼ばれる新しいフレームワークを提案し、セマンティックセグメンテーションのための効率的なワンショットドメイン適応を実現する。 IDMは、最も情報性の高いサンプルを特定するために不確実性に基づく選択基準を提供し、迅速に適応し、冗長なトレーニングを減らす。 提案手法は,GTA5/SYNTHIAからCityscapesへの適応タスクにおいて,既存の手法より優れ,56.7%/55.4%の最先端のワンショット性能を実現している。
  論文  参考訳（メタデータ） (2023-09-25T15:56:01Z)
• Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized Language Model Finetuning Using Shared Randomness [86.61582747039053]
  分散環境での言語モデルトレーニングは、交換の通信コストによって制限される。 分散微調整を低帯域幅で行うために,共有ランダムネスを用いた最近の作業を拡張した。
  論文  参考訳（メタデータ） (2023-06-16T17:59:51Z)
• $\Delta$-Patching: A Framework for Rapid Adaptation of Pre-trained Convolutional Networks without Base Performance Loss [71.46601663956521]
  大規模なデータセットで事前トレーニングされたモデルはしばしば、時間とともにやってくる新しいタスクやデータセットをサポートするように微調整される。 モデルコピーを格納することなく、効率よく微調整ニューラルネットワークモデルに$Delta$-Patchingを提案する。 我々の実験によると、$Delta$-Networksは、トレーニングされるパラメータのごく一部しか必要とせず、初期のモデルパッチ作業より優れています。
  論文  参考訳（メタデータ） (2023-03-26T16:39:44Z)
• The Power and Limitation of Pretraining-Finetuning for Linear Regression under Covariate Shift [127.21287240963859]
  本研究では,対象データに基づく事前学習と微調整を併用した伝達学習手法について検討する。 大規模な線形回帰インスタンスの場合、$O(N2)$ソースデータによる転送学習は、$N$ターゲットデータによる教師あり学習と同じくらい効果的である。
  論文  参考訳（メタデータ） (2022-08-03T05:59:49Z)
• When does Bias Transfer in Transfer Learning? [89.22641454588278]
  トランスファーラーニングを使用して、トレーニング済みの"ソースモデル"を下流の"ターゲットタスク"に適応させることで、ダウンサイドのないように見えるパフォーマンスを劇的に向上させることができる。 結局のところ、バイアス伝達や、モデルがターゲットクラスに適応した後でも、ソースモデルのバイアスが持続する傾向というマイナス面が存在することを実証する。
  論文  参考訳（メタデータ） (2022-07-06T17:58:07Z)
• MixACM: Mixup-Based Robustness Transfer via Distillation of Activated Channel Maps [24.22149102286949]
  ディープ・ニューラル・ネットワークは、自然の入力において、敵対的に作り上げられた、小さく、知覚できない変化に感受性がある。 敵の訓練は、損失の反復的一般化による訓練中の敵の例を構築する。 このmin-maxの一般化には、より多くのデータ、より大きなキャパシティモデル、追加のコンピューティングリソースが必要である。 本研究では,教師モデルから学生モデルへのロバストネスの伝達性について,ミックスアップ強化の助けを借りて示す。
  論文  参考訳（メタデータ） (2021-11-09T12:03:20Z)
• On Generating Transferable Targeted Perturbations [102.3506210331038]
  伝達性の高い標的摂動に対する新しい生成的アプローチを提案する。 私たちのアプローチは、ターゲットクラスの「乱れた画像分布」にマッチし、高いターゲット転送率につながります。
  論文  参考訳（メタデータ） (2021-03-26T17:55:28Z)
• Generalized Zero and Few-Shot Transfer for Facial Forgery Detection [3.8073142980733]
  フォージェリ検出の文脈でゼロおよび少数ショット転送の問題に対処する新しいトランスファー学習手法を提案する。 従来の分類や最先端のドメイン適応/ファウショット学習手法と比較して,この学習戦略は驚くほど効果的である。
  論文  参考訳（メタデータ） (2020-06-21T18:10:52Z)
• Automatic Cross-Domain Transfer Learning for Linear Regression [0.0]
  本稿では,線形回帰問題に対する伝達学習能力の拡張を支援する。 通常のデータセットでは、移行学習に潜伏したドメイン情報が利用できると仮定する。
  論文  参考訳（メタデータ） (2020-05-08T15:05:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。