論文の概要: Towards Galaxy Foundation Models with Hybrid Contrastive Learning

• arxiv url: http://arxiv.org/abs/2206.11927v1
• Date: Thu, 23 Jun 2022 18:07:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-27 14:26:49.878679
• Title: Towards Galaxy Foundation Models with Hybrid Contrastive Learning
• Title（参考訳）: ハイブリッドコントラスト学習によるGalaxy Foundationモデルに向けて
• Authors: Mike Walmsley, Inigo Val Slijepcevic, Micah Bowles, Anna M. M. Scaife
• Abstract要約: 我々は、ラベルを事前訓練タスクとして活用するために、対照的なフレームワークであるBYOLを適用します。 GZ-Evo v0.1は、552kの銀河画像に対する96.5Mのボランティア反応である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: New astronomical tasks are often related to earlier tasks for which labels have already been collected. We adapt the contrastive framework BYOL to leverage those labels as a pretraining task while also enforcing augmentation invariance. For large-scale pretraining, we introduce GZ-Evo v0.1, a set of 96.5M volunteer responses for 552k galaxy images plus a further 1.34M comparable unlabelled galaxies. Most of the 206 GZ-Evo answers are unknown for any given galaxy, and so our pretraining task uses a Dirichlet loss that naturally handles unknown answers. GZ-Evo pretraining, with or without hybrid learning, improves on direct training even with plentiful downstream labels (+4% accuracy with 44k labels). Our hybrid pretraining/contrastive method further improves downstream accuracy vs. pretraining or contrastive learning, especially in the low-label transfer regime (+6% accuracy with 750 labels).
• Abstract（参考訳）: 新しい天文学的なタスクは、ラベルが既に収集されている以前のタスクとしばしば関連がある。 我々は、これらのラベルを事前学習タスクとして活用し、拡張不変性も強化する対照的なフレームワークであるBYOLを適用した。 大規模な事前トレーニングのために、GZ-Evo v0.1は、552kの銀河画像に対する96.5Mのボランティア応答と、さらに1.34Mの非競合銀河を導入した。 206 GZ-Evoの解答のほとんどは、任意の銀河で未知であるため、我々の事前学習タスクは、未知の解答を自然に処理するディリクレ損失を使用する。 GZ-Evoプレトレーニングは、ハイブリッド学習の有無にかかわらず、豊富な下流ラベル(44kラベルで+4%精度)でも直接トレーニングを改善する。 我々のハイブリッドプレトレーニング/コントラスト法は、特に低ラベル転送方式(750ラベルで+6%の精度)において、下流の精度を向上する。

関連論文リスト

• SOAR: Self-supervision Optimized UAV Action Recognition with Efficient Object-Aware Pretraining [65.9024395309316]
  無人航空機(UAV)が捉えた航空映像の自己監督型事前学習アルゴリズムについて紹介する。 我々は,UAVビデオの事前学習効率と下流行動認識性能を向上させるために,事前学習プロセスを通じて人体知識を取り入れた。
  論文  参考訳（メタデータ） (2024-09-26T21:15:22Z)
• OTTER: Effortless Label Distribution Adaptation of Zero-shot Models [13.789436156370893]
  最適輸送による事前学習モデル予測を調整するための,シンプルで軽量な手法を提案する。 我々は,ゼロショット画像とテキスト分類タスクの広範囲で検証を行い,精度を4.8%,平均15.9%向上させた。
  論文  参考訳（メタデータ） (2024-04-12T13:18:47Z)
• Few-Shot Learning from Augmented Label-Uncertain Queries in Bongard-HOI [23.704284537118543]
  本稿では,クエリ入力の多様性を高めるために,ラベル不確実なクエリ拡張手法を提案する。 提案手法は,Bongard-HOIベンチマークにおいて68.74%の精度でSOTA(State-of-the-art)性能を実現する。 HICO-FSの精度は73.27%であり、5-way 5-shot タスクでは以前のSOTAの71.20%を上回った。
  論文  参考訳（メタデータ） (2023-12-17T02:18:10Z)
• Unsupervised Dense Retrieval with Relevance-Aware Contrastive Pre-Training [81.3781338418574]
  関連性を考慮したコントラスト学習を提案する。 我々は、BEIRおよびオープンドメインQA検索ベンチマークにおいて、SOTAアン教師なしコントリバーモデルを一貫して改善する。 本手法は, 目標コーパスの事前訓練後, BM25に打ち勝つだけでなく, 優れた数発学習者として機能する。
  論文  参考訳（メタデータ） (2023-06-05T18:20:27Z)
• Seamless Iterative Semi-Supervised Correction of Imperfect Labels in Microscopy Images [57.42492501915773]
  生体内試験は、医療機器の毒性に対する動物実験の代替手段である。 人間の疲労は、深層学習を魅力的なものにするために、エラー作成に重要な役割を果たします。 我々は、不完全ラベルのシームレス反復半監督補正(SISSI)を提案する。 本手法は,物体検出に適応的な早期学習補正技術を提供する。
  論文  参考訳（メタデータ） (2022-08-05T18:52:20Z)
• Revisiting Pretraining for Semi-Supervised Learning in the Low-Label Regime [15.863530936691157]
  半教師付き学習(SSL)は、擬似ラベル付けによって大きなラベル付きデータを活用することでラベル付きデータの欠如に対処する。 近年の研究では、訓練済み重量の微調整(FT)をSSLと組み合わせて課題を緩和し、低ラベル体制においてより優れた結果を主張している。
  論文  参考訳（メタデータ） (2022-05-06T03:53:25Z)
• Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases [55.45617404586874]
  我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。 大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:19:52Z)
• WildGait: Learning Gait Representations from Raw Surveillance Streams [1.90365714903665]
  歩行認識の既存の方法は、単一の人がカメラの前で直線で複数回歩いている協調歩行シナリオを必要とします。 本稿では,多数の自動注釈付きスケルトン配列上で時空間グラフ畳み込みネットワークを訓練する,新しい弱教師付き学習フレームワークwildgaitを提案する。 以上の結果から,現状のポーズに基づく歩容認識ソリューションは,微調整により認識精度を上回った。
  論文  参考訳（メタデータ） (2021-05-12T09:11:32Z)
• Are Fewer Labels Possible for Few-shot Learning? [81.89996465197392]
  ごく限られたデータとラベルのため、わずかなショット学習は難しい。 近年のBiT (Big Transfer) 研究は、異なる領域における大規模ラベル付きデータセットの事前トレーニングによって、少数ショット学習が大きな恩恵を受けることを示した。 本稿では,ファインチューニングにおけるクラスタリングと固有サンプルの共進化を活かし,ショット学習の削減を図る。
  論文  参考訳（メタデータ） (2020-12-10T18:59:29Z)
• iTAML: An Incremental Task-Agnostic Meta-learning Approach [123.10294801296926]
  人間は経験が成長するにつれて、新しい知識を継続的に学ぶことができる。 ディープニューラルネットワークにおける以前の学習は、新しいタスクでトレーニングされたときにすぐに消えてしまう可能性がある。 遭遇した全てのタスク間の平衡を維持するために,新しいメタラーニング手法を導入する。
  論文  参考訳（メタデータ） (2020-03-25T21:42:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。