論文の概要: Anti-Transfer Learning for Task Invariance in Convolutional Neural
Networks for Speech Processing
- arxiv url: http://arxiv.org/abs/2006.06494v2
- Date: Wed, 13 Jan 2021 11:15:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 09:20:19.275456
- Title: Anti-Transfer Learning for Task Invariance in Convolutional Neural
Networks for Speech Processing
- Title（参考訳）: 音声処理のための畳み込みニューラルネットワークにおけるタスク不変性の反トランスファー学習
- Authors: Eric Guizzo, Tillman Weyde, Giacomo Tarroni
- Abstract要約: 本稿では,畳み込みニューラルネットワークを用いた音声処理におけるアンチトランスファー学習の概念を紹介する。
提案手法は, 実際にタスクに対する意図的不変性や, 対象タスクに対してより適切な機能に導かれることを示す。
- 参考スコア（独自算出の注目度）: 6.376852004129252
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We introduce the novel concept of anti-transfer learning for speech
processing with convolutional neural networks. While transfer learning assumes
that the learning process for a target task will benefit from re-using
representations learned for another task, anti-transfer avoids the learning of
representations that have been learned for an orthogonal task, i.e., one that
is not relevant and potentially misleading for the target task, such as speaker
identity for speech recognition or speech content for emotion recognition. In
anti-transfer learning, we penalize similarity between activations of a network
being trained and another one previously trained on an orthogonal task, which
yields more suitable representations. This leads to better generalization and
provides a degree of control over correlations that are spurious or
undesirable, e.g. to avoid social bias. We have implemented anti-transfer for
convolutional neural networks in different configurations with several
similarity metrics and aggregation functions, which we evaluate and analyze
with several speech and audio tasks and settings, using six datasets. We show
that anti-transfer actually leads to the intended invariance to the orthogonal
task and to more appropriate features for the target task at hand.
Anti-transfer learning consistently improves classification accuracy in all
test cases. While anti-transfer creates computation and memory cost at training
time, there is relatively little computation cost when using pre-trained models
for orthogonal tasks. Anti-transfer is widely applicable and particularly
useful where a specific invariance is desirable or where trained models are
available and labeled data for orthogonal tasks are difficult to obtain.
- Abstract（参考訳）: 本稿では,畳み込みニューラルネットワークを用いた音声処理におけるアンチトランスファー学習の概念を紹介する。
トランスファー学習は、対象タスクの学習プロセスが他のタスクで学習された表現の再使用から恩恵を受けると仮定するが、反トランスファー学習は、直交タスクで学習された表現の学習、すなわち、音声認識のための話者識別や感情認識のための音声コンテンツなど、対象タスクに関連性がなく、潜在的に誤解を招くものを避ける。
アンチトランスファー学習では、トレーニング対象のネットワークのアクティベーションと、直交タスクでトレーニング済みのネットワークとの類似性をペナルティ化し、より適切な表現を生成する。
これにより一般化が改善され、社会的偏見を避けるために、散発的あるいは望ましくない相関をある程度制御できる。
我々は,様々な構成の畳み込みニューラルネットワークに対して,いくつかの類似度指標と集約関数を用いたアンチトランスファーを実装し,6つのデータセットを用いて,複数の音声・音声タスクと設定を用いて評価・分析を行った。
本研究は, 反伝達が, 直交タスクに対する意図的不変性や, 対象タスクに対してより適切な特徴をもたらすことを示す。
アンチトランスファー学習は、全てのテストケースの分類精度を一貫して改善する。
反トランスファーは、トレーニング時に計算とメモリコストを生成するが、直交タスクのために事前訓練されたモデルを使用する場合、計算コストは比較的低い。
反移動は広く適用可能であり、特に特定の不変性が望ましい場合や、訓練されたモデルが利用可能で、直交作業のためのラベル付きデータを得るのが困難である場合に有用である。
関連論文リスト
- An Exploration of Data Efficiency in Intra-Dataset Task Transfer for
Dialog Understanding [65.75873687351553]
本研究は,対話領域における逐次移動学習における目標タスク訓練データ量の影響について検討する。
非意図的に、我々のデータでは、タスクトレーニングデータのサイズを目標とする場合、シーケンシャルトランスファーラーニングがトランスファーラーニングなしで同じモデルと比較した場合、最小限の効果が示される。
論文 参考訳（メタデータ） (2022-10-21T04:36:46Z) - Transfer Learning via Test-Time Neural Networks Aggregation [11.42582922543676]
ディープニューラルネットワークが従来の機械学習より優れていることが示されている。
ディープ・ネットワークは一般性に欠けており、異なる分布から引き出された新しい(テスト)セットでは性能が良くない。
論文 参考訳（メタデータ） (2022-06-27T15:46:05Z) - Identifying Suitable Tasks for Inductive Transfer Through the Analysis
of Feature Attributions [78.55044112903148]
我々は、単一タスクモデル間のニューラルネットワークアクティベーションの比較を通じて、タスクペアが相補的になるかどうかを予測するために、説明可能性技術を使用する。
提案手法により,TREC-IS 2020-Aデータセットでは,正のクラスF1の0.034の削減に留まらず,最大83.5%のトレーニング時間を短縮することが可能である。
論文 参考訳（メタデータ） (2022-02-02T15:51:07Z) - Learning Curves for Sequential Training of Neural Networks:
Self-Knowledge Transfer and Forgetting [9.734033555407406]
我々は,タスクからタスクまでの目標関数を継続的に学習するニューラルネットワークをニューラルネットワークとして検討する。
モデルが複数のタスクで同じターゲット関数を学習する連続学習の変種について検討する。
同じターゲットであっても、トレーニングされたモデルは、各タスクのサンプルサイズに応じて、何らかの転送と忘れを見せる。
論文 参考訳（メタデータ） (2021-12-03T00:25:01Z) - A Bayesian Approach to (Online) Transfer Learning: Theory and Algorithms [6.193838300896449]
本稿では,パラメトリック統計モデルを用いたベイズ的観点からの移動学習について検討する。
具体的には,移動学習問題,即時学習,オンライン学習,時変学習の3つの変種について検討する。
各問題に対して、適切な目的関数を定義し、学習性能の正確な表現または上限を提供する。
例は、小さなサンプルサイズであっても、導出した境界が正確であることを示している。
論文 参考訳（メタデータ） (2021-09-03T08:43:29Z) - Frustratingly Easy Transferability Estimation [64.42879325144439]
本稿では,TransRate という,シンプルで効率的かつ効果的な転送可能性尺度を提案する。
TransRateは、事前訓練されたモデルによって抽出された対象サンプルの特徴とそれらのラベルとの間の相互情報として、転送可能性を測定する。
10行のコードで並外れた単純さにもかかわらず、TransRateは、22の事前訓練されたモデルと16のダウンストリームタスクに対する広範囲な評価において、非常にうまく機能している。
論文 参考訳（メタデータ） (2021-06-17T10:27:52Z) - Multi-task Supervised Learning via Cross-learning [102.64082402388192]
我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。
我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。
これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
論文 参考訳（メタデータ） (2020-10-24T21:35:57Z) - Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。
私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。
提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
論文 参考訳（メタデータ） (2020-09-24T15:40:55Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2020-04-20T02:47:49Z) - Inter- and Intra-domain Knowledge Transfer for Related Tasks in Deep
Character Recognition [2.320417845168326]
ImageNetデータセットでディープニューラルネットワークを事前トレーニングすることは、ディープラーニングモデルをトレーニングするための一般的なプラクティスである。
1つのタスクで事前トレーニングを行い、新しいタスクで再トレーニングするテクニックは、トランスファーラーニング(transfer learning)と呼ばれる。
本稿では,文字認識タスクにおけるDeep Transfer Learningの有効性について分析する。
論文 参考訳（メタデータ） (2020-01-02T14:18:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。