論文の概要: Transferred Discrepancy: Quantifying the Difference Between Representations

• arxiv url: http://arxiv.org/abs/2007.12446v1
• Date: Fri, 24 Jul 2020 10:59:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-07 06:03:27.713616
• Title: Transferred Discrepancy: Quantifying the Difference Between Representations
• Title（参考訳）: 伝達離散性:表現の差の定量化
• Authors: Yunzhen Feng, Runtian Zhai, Di He, Liwei Wang, Bin Dong
• Abstract要約: Transferred discrepancy (TD) は、2つの表現間の差を定義する指標である。 本稿では、TDが下流タスクとどのように相関し、そのようなタスク依存の方法でメトリクスを定義する必要があるかを示す。 TDは異なるトレーニング戦略の有効性を評価するためにも用いられる。
• 参考スコア（独自算出の注目度）: 35.957762733342804
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding what information neural networks capture is an essential problem in deep learning, and studying whether different models capture similar features is an initial step to achieve this goal. Previous works sought to define metrics over the feature matrices to measure the difference between two models. However, different metrics sometimes lead to contradictory conclusions, and there has been no consensus on which metric is suitable to use in practice. In this work, we propose a novel metric that goes beyond previous approaches. Recall that one of the most practical scenarios of using the learned representations is to apply them to downstream tasks. We argue that we should design the metric based on a similar principle. For that, we introduce the transferred discrepancy (TD), a new metric that defines the difference between two representations based on their downstream-task performance. Through an asymptotic analysis, we show how TD correlates with downstream tasks and the necessity to define metrics in such a task-dependent fashion. In particular, we also show that under specific conditions, the TD metric is closely related to previous metrics. Our experiments show that TD can provide fine-grained information for varied downstream tasks, and for the models trained from different initializations, the learned features are not the same in terms of downstream-task predictions. We find that TD may also be used to evaluate the effectiveness of different training strategies. For example, we demonstrate that the models trained with proper data augmentations that improve the generalization capture more similar features in terms of TD, while those with data augmentations that hurt the generalization will not. This suggests a training strategy that leads to more robust representation also trains models that generalize better.
• Abstract（参考訳）: ニューラルネットワークがどのような情報をキャプチャするかを理解することは、ディープラーニングにおいて重要な問題であり、異なるモデルが同様の特徴をキャプチャするかどうかを研究することが、この目標を達成するための最初のステップである。 以前の作業では、2つのモデルの違いを測定するために、機能マトリックス上のメトリクスを定義しようとしていました。 しかし、異なる測度が矛盾する結論につながる場合もあり、どの測度が実際に使用するのに適したのかについては合意が得られていない。 本研究では,従来のアプローチを超越した新しい指標を提案する。 学習した表現を使用する最も実践的なシナリオの1つは、下流のタスクに適用することである。 我々は同様の原理に基づいて計量を設計すべきだと主張する。 そこで本研究では、下流タスクのパフォーマンスに基づいて、2つの表現間の差を定義する新しい尺度であるTransfer Disrepancy (TD)を導入する。 漸近分析を通じて,tdが下流タスクとどのように相関するか,タスクに依存したメトリクス定義の必要性を示す。 特に、特定の条件下では、TDメトリックは以前のメトリクスと密接に関連していることを示す。 実験の結果,tdは下流タスクの細かな情報を提供することができ,初期化の異なるモデルでは,学習された機能は下流タスクの予測では同じではないことがわかった。 また,TDは異なるトレーニング戦略の有効性を評価するためにも用いられる可能性がある。 例えば、一般化を改善する適切なデータ拡張で訓練されたモデルが、TDに関してより類似した特徴を捉えているのに対し、一般化を損なうデータ拡張ではそうはならないことを実証する。 これは、より堅牢な表現につながるトレーニング戦略と、より一般化したモデルのトレーニングを示唆する。

関連論文リスト

• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• MTP: Advancing Remote Sensing Foundation Model via Multi-Task Pretraining [73.81862342673894]
  ファンデーションモデルは、様々な画像解釈タスクを強化することで、リモートセンシング(RS)のランドスケープを再構築した。 事前訓練されたモデルを下流のタスクに転送することは、イメージ分類やオブジェクト識別タスクとして事前訓練の定式化によるタスクの相違に遭遇する可能性がある。 SAMRSデータセット上で、セマンティックセグメンテーション、インスタンスセグメンテーション、回転オブジェクト検出を含むマルチタスクによる事前トレーニングを行う。 我々のモデルは、シーン分類、水平・回転物体検出、セマンティックセグメンテーション、変化検出など、様々なRS下流タスクに基づいて微調整される。
  論文  参考訳（メタデータ） (2024-03-20T09:17:22Z)
• The Trade-off between Universality and Label Efficiency of Representations from Contrastive Learning [32.15608637930748]
  2つのデシダラタの間にはトレードオフがあることを示し、同時に両方を達成できない可能性があることを示す。 我々は、理論データモデルを用いて分析を行い、より多様な事前学習データにより、異なるタスクに対してより多様な機能が得られる一方で、タスク固有の機能に重点を置いていないことを示す。
  論文  参考訳（メタデータ） (2023-02-28T22:14:33Z)
• Amortised Invariance Learning for Contrastive Self-Supervision [11.042648980854485]
  対照的な自己監督のために, 償却不変学習の概念を導入する。 我々のアモーテッド機能は、異なる不変条件で様々な下流タスクを学習する信頼性の高い方法を提供することを示す。 これは、汎用表現学習の分野での新しい地平を開くエキサイティングな視点を提供する。
  論文  参考訳（メタデータ） (2023-02-24T16:15:11Z)
• How Well Do Sparse Imagenet Models Transfer? [75.98123173154605]
  転送学習は、大規模な"上流"データセットで事前訓練されたモデルが、"下流"データセットで良い結果を得るために適応される古典的なパラダイムである。 本研究では、ImageNetデータセットでトレーニングされた畳み込みニューラルネットワーク(CNN)のコンテキストにおいて、この現象を詳細に調査する。 スパースモデルでは, 高空間であっても, 高密度モデルの転送性能にマッチしたり, 性能に優れることを示す。
  論文  参考訳（メタデータ） (2021-11-26T11:58:51Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)
• Towards GAN Benchmarks Which Require Generalization [48.075521136623564]
  関数を推定するにはモデルからの大きなサンプルが必要であると我々は主張する。 我々は、分布を区別するために訓練されたニューラルネットワークの用語で定義されるニューラルネットワーク分散(NND)に目を向ける。 結果として得られたベンチマークは、トレーニングセットの記憶によって"ウォン"することはできないが、それでも知覚的に相関があり、サンプルからのみ計算可能である。
  論文  参考訳（メタデータ） (2020-01-10T20:18:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。