論文の概要: Manifold Characteristics That Predict Downstream Task Performance

• arxiv url: http://arxiv.org/abs/2205.07477v1
• Date: Mon, 16 May 2022 06:59:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-17 23:00:32.109951
• Title: Manifold Characteristics That Predict Downstream Task Performance
• Title（参考訳）: 下流タスク性能を予測するマニフォールド特性
• Authors: Ruan van der Merwe, Gregory Newman, Etienne Barnard
• Abstract要約: 表現多様体を直接調べることで、メソッド間の差異をより明確に理解できることが示される。 異なるRMを計測・比較するためのフレームワークと新しいメトリクスを提案する。 自己教師型手法は,変化が大きなが一定の大きさの変化をもたらすようなRMを学習し,完全な教師型手法よりもスムーズなRMを示す。
• 参考スコア（独自算出の注目度）: 2.642698101441705
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretraining methods are typically compared by evaluating the accuracy of linear classifiers, transfer learning performance, or visually inspecting the representation manifold's (RM) lower-dimensional projections. We show that the differences between methods can be understood more clearly by investigating the RM directly, which allows for a more detailed comparison. To this end, we propose a framework and new metric to measure and compare different RMs. We also investigate and report on the RM characteristics for various pretraining methods. These characteristics are measured by applying sequentially larger local alterations to the input data, using white noise injections and Projected Gradient Descent (PGD) adversarial attacks, and then tracking each datapoint. We calculate the total distance moved for each datapoint and the relative change in distance between successive alterations. We show that self-supervised methods learn an RM where alterations lead to large but constant size changes, indicating a smoother RM than fully supervised methods. We then combine these measurements into one metric, the Representation Manifold Quality Metric (RMQM), where larger values indicate larger and less variable step sizes, and show that RMQM correlates positively with performance on downstream tasks.
• Abstract（参考訳）: プリトレーニング法は通常、線形分類器の精度、転送学習性能、または表現多様体(rm)の低次元射影を視覚的に検査することによって比較される。 rm を直接調査することで,メソッド間の差異をより明確に理解することができ,より詳細な比較が可能となる。 この目的のために、異なるrmを測定し比較するためのフレームワークと新しいメトリックを提案する。 また,各種予習法のrm特性について検討し,報告する。 これらの特徴は、入力データに順次大きな局所変化を適用し、ホワイトノイズインジェクションとPGD(Projected Gradient Descent)対向攻撃を用いて、各データポイントを追跡することで測定される。 各データポイントの移動距離と連続した変更間の距離の相対的変化を算出した。 自己教師付きメソッドは,変更が大きなが一定のサイズ変化をもたらすrmを学習し,完全な教師付きメソッドよりも滑らかなrmを示す。 次に、これらの測定値を1つのメトリクス、Representation Manifold Quality Metric (RMQM)に組み合わせて、大きな値が大きなステップサイズと低いステップサイズを示し、RMQMが下流タスクのパフォーマンスと正の相関を示す。

関連論文リスト

• Interpreting Language Reward Models via Contrastive Explanations [14.578645682339983]
  リワードモデル(RM)は、大きな言語モデル(LLM)出力と人間の値のアライメントにおいて重要な要素である。 本稿では,RM によるバイナリ応答比較について,対照的な説明を用いて説明することを提案する。
  論文  参考訳（メタデータ） (2024-11-25T15:37:27Z)
• What Representational Similarity Measures Imply about Decodable Information [6.5879381737929945]
  我々は、デコーディングの観点から、いくつかのニューラルネットワーク類似度尺度が等価に動機付けられることを示した。 CKAやCCAといった手法は、デコードタスクの分散を通して最適な線形読み込み間の平均的なアライメントを定量化します。 全体として、我々の研究は、神経表現の幾何学と情報を線形に復号する能力の密接な関係を実証している。
  論文  参考訳（メタデータ） (2024-11-12T21:37:10Z)
• Understanding Probe Behaviors through Variational Bounds of Mutual Information [53.520525292756005]
  情報理論を利用した新しい数学的枠組みを構築することで線形探索のガイドラインを提供する。 まず、プローブ設計を緩和するために、相互情報の変動境界(MI)と探索を結合し、線形探索と微調整を同一視する。 中間表現は、分離性の向上とMIの減少のトレードオフのため、最大のMI推定値を持つことが示される。
  論文  参考訳（メタデータ） (2023-12-15T18:38:18Z)
• Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
  最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。 この研究は、増強に基づく事前訓練の統計的分析に発展する。
  論文  参考訳（メタデータ） (2023-06-01T15:18:55Z)
• Exogenous Data in Forecasting: FARM -- A New Measure for Relevance Evaluation [62.997667081978825]
  FARM - Forward Relevance Aligned Metricという新しいアプローチを導入する。 我々のフォワード法は、その後のデータポイントの変化を時系列に合わせるために比較する角測度に依存する。 第1の検証ステップとして、FARMアプローチの合成信号・代表信号への適用について述べる。
  論文  参考訳（メタデータ） (2023-04-21T15:22:33Z)
• Deep Metric Learning for Unsupervised Remote Sensing Change Detection [60.89777029184023]
  リモートセンシング変化検出(RS-CD)は、マルチテンポラルリモートセンシング画像(MT-RSI)から関連する変化を検出することを目的とする。 既存のRS-CD法の性能は、大規模な注釈付きデータセットのトレーニングによるものである。 本稿では,これらの問題に対処可能なディープメトリック学習に基づく教師なしCD手法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T17:52:45Z)
• GULP: a prediction-based metric between representations [9.686474898346392]
  本稿では,下流予測タスクによって動機付けられた表現間の距離測定のファミリであるGULPを紹介する。 構成により、GULPは2つの表現間の予測性能の差を均一に制御する。 我々は、GULPがアーキテクチャファミリを正しく区別し、トレーニングの過程で収束し、下流線形タスクにおける一般化性能をキャプチャすることを示した。
  論文  参考訳（メタデータ） (2022-10-12T19:17:27Z)
• Learning Multi-Modal Volumetric Prostate Registration with Weak Inter-Subject Spatial Correspondence [2.6894568533991543]
  MRシークエンスにおける前立腺の位置に関する事前情報のための補助入力をニューラルネットワークに導入する。 MR-TRUS前立腺データのラベルが弱いことから,最先端のディープラーニング手法に匹敵する登録品質を示した。
  論文  参考訳（メタデータ） (2021-02-09T16:48:59Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• Evaluating representations by the complexity of learning low-loss predictors [55.94170724668857]
  下流タスクの解決に使用されるデータの表現を評価することの問題点を考察する。 本稿では,関心のあるタスクにおける低損失を実現する表現の上に,予測器を学習する複雑性によって表現の質を測定することを提案する。
  論文  参考訳（メタデータ） (2020-09-15T22:06:58Z)
• Transferred Discrepancy: Quantifying the Difference Between Representations [35.957762733342804]
  Transferred discrepancy (TD) は、2つの表現間の差を定義する指標である。 本稿では、TDが下流タスクとどのように相関し、そのようなタスク依存の方法でメトリクスを定義する必要があるかを示す。 TDは異なるトレーニング戦略の有効性を評価するためにも用いられる。
  論文  参考訳（メタデータ） (2020-07-24T10:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。