論文の概要: Transferred Discrepancy: Quantifying the Difference Between
Representations
- arxiv url: http://arxiv.org/abs/2007.12446v1
- Date: Fri, 24 Jul 2020 10:59:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-07 06:03:27.713616
- Title: Transferred Discrepancy: Quantifying the Difference Between
Representations
- Title(参考訳): 伝達離散性:表現の差の定量化
- Authors: Yunzhen Feng, Runtian Zhai, Di He, Liwei Wang, Bin Dong
- Abstract要約: Transferred discrepancy (TD) は、2つの表現間の差を定義する指標である。
本稿では、TDが下流タスクとどのように相関し、そのようなタスク依存の方法でメトリクスを定義する必要があるかを示す。
TDは異なるトレーニング戦略の有効性を評価するためにも用いられる。
- 参考スコア(独自算出の注目度): 35.957762733342804
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding what information neural networks capture is an essential
problem in deep learning, and studying whether different models capture similar
features is an initial step to achieve this goal. Previous works sought to
define metrics over the feature matrices to measure the difference between two
models. However, different metrics sometimes lead to contradictory conclusions,
and there has been no consensus on which metric is suitable to use in practice.
In this work, we propose a novel metric that goes beyond previous approaches.
Recall that one of the most practical scenarios of using the learned
representations is to apply them to downstream tasks. We argue that we should
design the metric based on a similar principle. For that, we introduce the
transferred discrepancy (TD), a new metric that defines the difference between
two representations based on their downstream-task performance. Through an
asymptotic analysis, we show how TD correlates with downstream tasks and the
necessity to define metrics in such a task-dependent fashion. In particular, we
also show that under specific conditions, the TD metric is closely related to
previous metrics. Our experiments show that TD can provide fine-grained
information for varied downstream tasks, and for the models trained from
different initializations, the learned features are not the same in terms of
downstream-task predictions. We find that TD may also be used to evaluate the
effectiveness of different training strategies. For example, we demonstrate
that the models trained with proper data augmentations that improve the
generalization capture more similar features in terms of TD, while those with
data augmentations that hurt the generalization will not. This suggests a
training strategy that leads to more robust representation also trains models
that generalize better.
- Abstract(参考訳): ニューラルネットワークがどのような情報をキャプチャするかを理解することは、ディープラーニングにおいて重要な問題であり、異なるモデルが同様の特徴をキャプチャするかどうかを研究することが、この目標を達成するための最初のステップである。
以前の作業では、2つのモデルの違いを測定するために、機能マトリックス上のメトリクスを定義しようとしていました。
しかし、異なる測度が矛盾する結論につながる場合もあり、どの測度が実際に使用するのに適したのかについては合意が得られていない。
本研究では,従来のアプローチを超越した新しい指標を提案する。
学習した表現を使用する最も実践的なシナリオの1つは、下流のタスクに適用することである。
我々は同様の原理に基づいて計量を設計すべきだと主張する。
そこで本研究では、下流タスクのパフォーマンスに基づいて、2つの表現間の差を定義する新しい尺度であるTransfer Disrepancy (TD)を導入する。
漸近分析を通じて,tdが下流タスクとどのように相関するか,タスクに依存したメトリクス定義の必要性を示す。
特に、特定の条件下では、TDメトリックは以前のメトリクスと密接に関連していることを示す。
実験の結果,tdは下流タスクの細かな情報を提供することができ,初期化の異なるモデルでは,学習された機能は下流タスクの予測では同じではないことがわかった。
また,TDは異なるトレーニング戦略の有効性を評価するためにも用いられる可能性がある。
例えば、一般化を改善する適切なデータ拡張で訓練されたモデルが、TDに関してより類似した特徴を捉えているのに対し、一般化を損なうデータ拡張ではそうはならないことを実証する。
これは、より堅牢な表現につながるトレーニング戦略と、より一般化したモデルのトレーニングを示唆する。
関連論文リスト
- Latent State Models of Training Dynamics [51.88132043461152]
異なるランダムなシードでモデルをトレーニングし、トレーニングを通じてさまざまなメトリクスを計算します。
次に、結果のメトリクス列に隠れマルコフモデル(HMM)を適合させる。
我々はHMM表現を用いて相転移を研究し、収束を遅くする潜伏状態(detour state)を特定する。
論文 参考訳(メタデータ) (2023-08-18T13:20:08Z) - SuSana Distancia is all you need: Enforcing class separability in metric
learning via two novel distance-based loss functions for few-shot image
classification [0.9236074230806579]
本稿では,少数のデータ間のクラス内距離とクラス間距離を調べることで,埋め込みベクトルの重要性を考慮に入れた2つの損失関数を提案する。
以上の結果から,miniImagenNetベンチマークの精度は,他のメトリクスベースの数ショット学習手法に比べて2%向上した。
論文 参考訳(メタデータ) (2023-05-15T23:12:09Z) - The Trade-off between Universality and Label Efficiency of
Representations from Contrastive Learning [32.15608637930748]
2つのデシダラタの間にはトレードオフがあることを示し、同時に両方を達成できない可能性があることを示す。
我々は、理論データモデルを用いて分析を行い、より多様な事前学習データにより、異なるタスクに対してより多様な機能が得られる一方で、タスク固有の機能に重点を置いていないことを示す。
論文 参考訳(メタデータ) (2023-02-28T22:14:33Z) - Amortised Invariance Learning for Contrastive Self-Supervision [11.042648980854485]
対照的な自己監督のために, 償却不変学習の概念を導入する。
我々のアモーテッド機能は、異なる不変条件で様々な下流タスクを学習する信頼性の高い方法を提供することを示す。
これは、汎用表現学習の分野での新しい地平を開くエキサイティングな視点を提供する。
論文 参考訳(メタデータ) (2023-02-24T16:15:11Z) - How Well Do Sparse Imagenet Models Transfer? [75.98123173154605]
転送学習は、大規模な"上流"データセットで事前訓練されたモデルが、"下流"データセットで良い結果を得るために適応される古典的なパラダイムである。
本研究では、ImageNetデータセットでトレーニングされた畳み込みニューラルネットワーク(CNN)のコンテキストにおいて、この現象を詳細に調査する。
スパースモデルでは, 高空間であっても, 高密度モデルの転送性能にマッチしたり, 性能に優れることを示す。
論文 参考訳(メタデータ) (2021-11-26T11:58:51Z) - Towards Accurate Knowledge Transfer via Target-awareness Representation
Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。
TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。
各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文 参考訳(メタデータ) (2020-10-16T17:45:08Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳(メタデータ) (2020-04-20T02:47:49Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳(メタデータ) (2020-02-27T10:22:17Z) - Towards GAN Benchmarks Which Require Generalization [48.075521136623564]
関数を推定するにはモデルからの大きなサンプルが必要であると我々は主張する。
我々は、分布を区別するために訓練されたニューラルネットワークの用語で定義されるニューラルネットワーク分散(NND)に目を向ける。
結果として得られたベンチマークは、トレーニングセットの記憶によって"ウォン"することはできないが、それでも知覚的に相関があり、サンプルからのみ計算可能である。
論文 参考訳(メタデータ) (2020-01-10T20:18:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。