論文の概要: G2L: A Geometric Approach for Generating Pseudo-labels that Improve Transfer Learning

• arxiv url: http://arxiv.org/abs/2207.03554v1
• Date: Thu, 7 Jul 2022 20:03:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-15 09:23:49.162282
• Title: G2L: A Geometric Approach for Generating Pseudo-labels that Improve Transfer Learning
• Title（参考訳）: G2L:転送学習を改善する擬似ラベル生成のための幾何学的アプローチ
• Authors: John R. Kender, Bishwaranjan Bhattacharjee, Parijat Dube, Brian Belgodere
• Abstract要約: トランスファーラーニング(Transfer Learning)は、人間の注釈付きラベルが高価で制限されている場合の学習問題を改善させる技術である。 このようなラベルの代わりに、新しいターゲットデータセットのベースモデルをトレーニングするための初期重みとして、 well-chosenソースモデルからトレーニング済みの重みを使用する。 我々は高次元の幾何学から古典的な結果に基づいて、効率的でチューナブルなアルゴリズムに基づいて擬似ラベルを生成する。
• 参考スコア（独自算出の注目度）: 5.4094619120792204
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transfer learning is a deep-learning technique that ameliorates the problem of learning when human-annotated labels are expensive and limited. In place of such labels, it uses instead the previously trained weights from a well-chosen source model as the initial weights for the training of a base model for a new target dataset. We demonstrate a novel but general technique for automatically creating such source models. We generate pseudo-labels according to an efficient and extensible algorithm that is based on a classical result from the geometry of high dimensions, the Cayley-Menger determinant. This G2L (``geometry to label'') method incrementally builds up pseudo-labels using a greedy computation of hypervolume content. We demonstrate that the method is tunable with respect to expected accuracy, which can be forecast by an information-theoretic measure of dataset similarity (divergence) between source and target. The results of 280 experiments show that this mechanical technique generates base models that have similar or better transferability compared to a baseline of models trained on extensively human-annotated ImageNet1K labels, yielding an overall error decrease of 0.43\%, and an error decrease in 4 out of 5 divergent datasets tested.
• Abstract（参考訳）: 転送学習は、人間の注釈ラベルが高価で制限された場合に学習の問題を緩和するディープラーニング技術である。 このようなラベルの代わりに、新しいターゲットデータセットのベースモデルをトレーニングするための初期重みとして、 well-chosenソースモデルからトレーニング済みの重みを使用する。 我々は、そのようなソースモデルを自動的に作成するための、斬新だが一般的なテクニックを実証する。 高次元の幾何学、ケイリー・メンガー行列式に基づく古典的結果に基づく、効率的で拡張可能なアルゴリズムに従って擬似ラベルを生成する。 このg2l(``geometry to label'')メソッドは、超ボリュームコンテンツの欲張りな計算を使って擬似ラベルを段階的に構築する。 提案手法は予測精度に対して調整可能であり,ソースとターゲット間のデータセット類似性(ばらつき)の情報理論によって予測できることを示す。 280の実験の結果、この機械的な手法は、広範囲に人間の注釈付きimagenet1kラベルで訓練されたモデルのベースラインと同等または優れた転送性を持つベースモデルを生成し、全体の誤差が 0.43\%減少し、5つの異なるデータセットのうち4つでエラーが減少することを示した。

関連論文リスト

• The Persian Rug: solving toy models of superposition using large-scale symmetries [0.0]
  入力次元が大きければ最小限の非線形スパースデータオートエンコーダによって学習されたアルゴリズムの完全なメカニスティック記述を示す。 我々の研究は、オートエンコーダの構造を理解する技術を導入することによって、ニューラルネットワークの解釈可能性に貢献している。
  論文  参考訳（メタデータ） (2024-10-15T22:52:45Z)
• Exploring Beyond Logits: Hierarchical Dynamic Labeling Based on Embeddings for Semi-Supervised Classification [49.09505771145326]
  モデル予測に依存しない階層型動的ラベル付け(HDL)アルゴリズムを提案し,画像埋め込みを用いてサンプルラベルを生成する。 本手法は,半教師付き学習における擬似ラベル生成のパラダイムを変える可能性がある。
  論文  参考訳（メタデータ） (2024-04-26T06:00:27Z)
• A Deep Dive into the Connections Between the Renormalization Group and Deep Learning in the Ising Model [0.0]
  再正規化群(Renormalization group、RG)は、統計物理学と量子場理論において必須の手法である。 本研究では, 1D と 2D Ising モデルに対する広範な再正規化手法を開発し, 比較のためのベースラインを提供する。 2次元イジングモデルでは、Wolffアルゴリズムを用いてIsingモデルサンプルを生成し、準決定論的手法を用いてグループフローを実行した。
  論文  参考訳（メタデータ） (2023-08-21T22:50:54Z)
• Are labels informative in semi-supervised learning? -- Estimating and leveraging the missing-data mechanism [4.675583319625962]
  半教師付き学習は、ラベルのないデータを利用して機械学習モデルを改善するための強力な技術である。 これは、あるクラスが他のクラスよりもラベル付けされる可能性が高い場合に発生する、情報的ラベルの存在に影響される可能性がある。 本稿では,データ不足のメカニズムを推定し,逆確率重み付けを用いてSSLアルゴリズムを劣化させることにより,この問題に対処する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-02-15T09:18:46Z)
• Learned Label Aggregation for Weak Supervision [8.819582879892762]
  本稿では,ラベル付きデータを容易に生成するために,弱い監視信号を集約するデータプログラミング手法を提案する。 生成したラベルの質は、すべてのLFからノイズの多いラベルを集約し、基底真実のラベルを推測するラベル集約モデルに依存する。 合成されたデータを用いてモデルをトレーニングし、モデルに効果的なアーキテクチャを設計できることを示す。
  論文  参考訳（メタデータ） (2022-07-27T14:36:35Z)
• Adapting the Mean Teacher for keypoint-based lung registration under geometric domain shifts [75.51482952586773]
  ディープニューラルネットワークは一般的に、ラベル付きトレーニングデータが多く必要であり、トレーニングデータとテストデータの間のドメインシフトに弱い。 本稿では,ラベル付きソースからラベル付きターゲットドメインへのモデルの適用により,画像登録のための幾何学的領域適応手法を提案する。 本手法は,ベースラインモデルの精度を目標データに適合させながら,ベースラインモデルの50%/47%を継続的に改善する。
  論文  参考訳（メタデータ） (2022-07-01T12:16:42Z)
• Weakly Supervised Change Detection Using Guided Anisotropic Difusion [97.43170678509478]
  我々は、このようなデータセットを変更検出の文脈で活用するのに役立つ独自のアイデアを提案する。 まず,意味的セグメンテーション結果を改善する誘導異方性拡散(GAD)アルゴリズムを提案する。 次に、変化検出に適した2つの弱い教師付き学習戦略の可能性を示す。
  論文  参考訳（メタデータ） (2021-12-31T10:03:47Z)
• X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
  ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。 両世界の力を生かすために,我々は新しいX-モデルを提案する。 X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
  論文  参考訳（メタデータ） (2021-10-09T13:56:48Z)
• Evaluating State-of-the-Art Classification Models Against Bayes Optimality [106.50867011164584]
  正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。 われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
  論文  参考訳（メタデータ） (2021-06-07T06:21:20Z)
• Semi-Supervised Learning with Meta-Gradient [123.26748223837802]
  半教師付き学習における簡単なメタ学習アルゴリズムを提案する。 その結果,提案アルゴリズムは最先端の手法に対して良好に動作することがわかった。
  論文  参考訳（メタデータ） (2020-07-08T08:48:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。