Fugu-MT 論文翻訳(概要): Simple Control Baselines for Evaluating Transfer Learning

論文の概要: Simple Control Baselines for Evaluating Transfer Learning

arxiv url: http://arxiv.org/abs/2202.03365v1
Date: Mon, 7 Feb 2022 17:26:26 GMT
ステータス: 処理完了
システム内更新日: 2022-02-08 15:31:20.467002
Title: Simple Control Baselines for Evaluating Transfer Learning
Title（参考訳）: 伝達学習評価のための簡易制御ベースライン
Authors: Andrei Atanov, Shijian Xu, Onur Beker, Andrei Filatov, Amir Zamir
Abstract要約: 我々は,伝達学習のパフォーマンスを定量化し,伝達することを目的とした評価基準を共有している。自己教師型学習に関するいくつかの基本的な質問について,実証的研究を例に紹介する。
参考スコア（独自算出の注目度）: 1.0499611180329802
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Transfer learning has witnessed remarkable progress in recent years, for example, with the introduction of augmentation-based contrastive self-supervised learning methods. While a number of large-scale empirical studies on the transfer performance of such models have been conducted, there is not yet an agreed-upon set of control baselines, evaluation practices, and metrics to report, which often hinders a nuanced and calibrated understanding of the real efficacy of the methods. We share an evaluation standard that aims to quantify and communicate transfer learning performance in an informative and accessible setup. This is done by baking a number of simple yet critical control baselines in the evaluation method, particularly the blind-guess (quantifying the dataset bias), scratch-model (quantifying the architectural contribution), and maximal-supervision (quantifying the upper-bound). To demonstrate how the evaluation standard can be employed, we provide an example empirical study investigating a few basic questions about self-supervised learning. For example, using this standard, the study shows the effectiveness of existing self-supervised pre-training methods is skewed towards image classification tasks versus dense pixel-wise predictions. In general, we encourage using/reporting the suggested control baselines in evaluating transfer learning in order to gain a more meaningful and informative understanding.
Abstract（参考訳）: 転校学習は近年,強化型コントラスト型自己教師付き学習手法の導入など,著しい進歩を遂げている。このようなモデルの転送性能に関する大規模な実証研究がいくつか行われているが、報告すべき制御基準、評価プラクティス、メトリクスのセットはまだ一致していない。トランスファー学習性能の定量化とコミュニケーションを目的とした評価基準を,情報とアクセスの容易な設定で共有する。これは、評価方法、特にブラインドグス(データセットバイアスの量子化)、スクラッチモデル(アーキテクチャ貢献の量子化)、最大スーパービジョン(上限の量子化)など、単純だが重要なコントロールベースラインを焼くことで実現される。評価基準をどのように採用できるかを実証するために,自己教師付き学習に関するいくつかの基本的な質問を考察した。例えば、この標準を用いて、既存の自己教師付き事前学習手法が画像分類タスクに対して、高密度ピクセルワイズ予測よりもスキューされていることを示す。一般に,提案する制御ベースラインを用いて伝達学習の評価を行い,より意味のある情報的理解を得ることを推奨する。

関連論文リスト

Data Adaptive Traceback for Vision-Language Foundation Models in Image Classification [34.37262622415682]
我々はData Adaptive Tracebackと呼ばれる新しい適応フレームワークを提案する。具体的には、ゼロショット法を用いて、事前学習データの最もダウンストリームなタスク関連サブセットを抽出する。我々は、擬似ラベルに基づく半教師付き手法を採用し、事前学習画像の再利用と、半教師付き学習における確証バイアス問題に対処するための視覚言語コントラスト学習手法を提案する。
論文参考訳（メタデータ） (2024-07-11T18:01:58Z)
Unlearning with Control: Assessing Real-world Utility for Large Language Model Unlearning [97.2995389188179]
最近の研究は、勾配上昇(GA)を通した大規模言語モデル(LLM)の未学習にアプローチし始めている。その単純さと効率性にもかかわらず、我々はGAベースの手法が過剰な未学習の傾向に直面することを示唆している。過剰な未学習の度合いを制御できるいくつかの制御手法を提案する。
論文参考訳（メタデータ） (2024-06-13T14:41:00Z)
From Pretext to Purpose: Batch-Adaptive Self-Supervised Learning [32.18543787821028]
本稿では,自己教師付きコントラスト学習におけるバッチ融合の適応的手法を提案する。公平な比較で最先端のパフォーマンスを達成する。提案手法は,データ駆動型自己教師型学習研究の進展に寄与する可能性が示唆された。
論文参考訳（メタデータ） (2023-11-16T15:47:49Z)
A Survey of the Impact of Self-Supervised Pretraining for Diagnostic Tasks with Radiological Images [71.26717896083433]
自己教師付き事前学習は,伝達学習における特徴表現の改善に有効であることが観察されている。本総説ではX線, CT, 磁気共鳴, 超音波画像における使用法について概説する。
論文参考訳（メタデータ） (2023-09-05T19:45:09Z)
Unsupervised Embedding Quality Evaluation [6.72542623686684]
SSLモデルは、他のドメインに転送された時に正常に動作するかどうか、しばしば不明である。安定した方法でデータを線形に分離することがいかに容易か、定量化できますか? 本稿では,自己教師付き学習における高次元幾何学構造理解の最近の進歩に基づく新しい手法を提案する。
論文参考訳（メタデータ） (2023-05-26T01:06:44Z)
Systematic Evaluation of Predictive Fairness [60.0947291284978]
バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。データ条件が相対モデルの性能に強い影響を与えることがわかった。
論文参考訳（メタデータ） (2022-10-17T05:40:13Z)
On Modality Bias Recognition and Reduction [70.69194431713825]
マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
論文参考訳（メタデータ） (2022-02-25T13:47:09Z)
Towards the Generalization of Contrastive Self-Supervised Learning [11.889992921445849]
本稿では, 自己教師付き事前学習モデルが下流タスクにどのように一般化するかを理論的に説明する。さらに,SimCLR と Barlow Twins についても検討する。
論文参考訳（メタデータ） (2021-11-01T07:39:38Z)
Partial Is Better Than All: Revisiting Fine-tuning Strategy for Few-shot Learning [76.98364915566292]
一般的なプラクティスは、まずベースセット上でモデルをトレーニングし、その後、微調整によって新しいクラスに移行することである。本稿では,基本モデル内の特定の層を凍結あるいは微調整することにより,部分的知識の伝達を提案する。提案手法の有効性を実証するために, CUB と mini-ImageNet の広範な実験を行った。
論文参考訳（メタデータ） (2021-02-08T03:27:05Z)
Self-Supervised Prototypical Transfer Learning for Few-Shot Classification [11.96734018295146]
自己教師ありトランスファー学習アプローチ ProtoTransferは、数ショットタスクにおいて、最先端の教師なしメタラーニング手法より優れている。ドメインシフトを用いた数ショットの実験では、我々のアプローチは教師付きメソッドに匹敵する性能を持つが、ラベルの桁数は桁違いである。
論文参考訳（メタデータ） (2020-06-19T19:00:11Z)
Revisiting Meta-Learning as Supervised Learning [69.2067288158133]
メタラーニングと従来の教師付き学習の関連性を再考し,強化することで,原則的,統一的なフレームワークの提供を目指す。タスク固有のデータセットとターゲットモデルを(機能、ラベル)サンプルとして扱うことで、多くのメタ学習アルゴリズムを教師付き学習のインスタンスに還元することができる。この視点は、メタラーニングを直感的で実践的なフレームワークに統一するだけでなく、教師付き学習から直接洞察を伝達してメタラーニングを改善することができる。
論文参考訳（メタデータ） (2020-02-03T06:13:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。