論文の概要: Scaling Laws for Galaxy Images

• arxiv url: http://arxiv.org/abs/2404.02973v1
• Date: Wed, 3 Apr 2024 18:00:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-05 18:54:31.455376
• Title: Scaling Laws for Galaxy Images
• Title（参考訳）: 銀河画像のスケーリング法則
• Authors: Mike Walmsley, Micah Bowles, Anna M. M. Scaife, Jason Shingirai Makechemu, Alexander J. Gordon, Annette M. N. Ferguson, Robert G. Mann, James Pearson, Jürgen J. Popp, Jo Bovy, Josh Speagle, Hugh Dickinson, Lucy Fortson, Tobias Géron, Sandor Kruk, Chris J. Lintott, Kameswara Mantha, Devina Mohan, David O'Ryan, Inigo V. Slijepevic,
• Abstract要約: 我々は840kの銀河画像と、Galaxy Zooのボランティアによる1億以上のアノテーションを使い、スケールはImagenet-1Kに匹敵する。 注釈付き銀河画像を追加することで、すべてのアーキテクチャと全てのタスクでパフォーマンスが向上することがわかった。 次に、ImageNet-12k単独で事前訓練された微調整モデルの下流性能と、銀河画像で追加訓練された微調整モデルの比較を行った。
• 参考スコア（独自算出の注目度）: 26.76726064628892
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present the first systematic investigation of supervised scaling laws outside of an ImageNet-like context - on images of galaxies. We use 840k galaxy images and over 100M annotations by Galaxy Zoo volunteers, comparable in scale to Imagenet-1K. We find that adding annotated galaxy images provides a power law improvement in performance across all architectures and all tasks, while adding trainable parameters is effective only for some (typically more subjectively challenging) tasks. We then compare the downstream performance of finetuned models pretrained on either ImageNet-12k alone vs. additionally pretrained on our galaxy images. We achieve an average relative error rate reduction of 31% across 5 downstream tasks of scientific interest. Our finetuned models are more label-efficient and, unlike their ImageNet-12k-pretrained equivalents, often achieve linear transfer performance equal to that of end-to-end finetuning. We find relatively modest additional downstream benefits from scaling model size, implying that scaling alone is not sufficient to address our domain gap, and suggest that practitioners with qualitatively different images might benefit more from in-domain adaption followed by targeted downstream labelling.
• Abstract（参考訳）: 我々は、銀河の画像に対して、ImageNetのようなコンテキスト外における教師付きスケーリング法則を初めて体系的に研究した。 我々は840kの銀河画像と、Galaxy Zooのボランティアによる1億以上のアノテーションを使い、スケールはImagenet-1Kに匹敵する。 注釈付き銀河画像を追加することで、全てのアーキテクチャと全てのタスクのパフォーマンスが向上する一方で、トレーニング可能なパラメータを追加することは、いくつかの(典型的にはより主観的な)タスクにのみ有効であることがわかった。 次に、ImageNet-12k単独で事前訓練された微調整モデルの下流性能と、銀河画像で追加訓練された微調整モデルの比較を行った。 科学的関心のある5つの下流タスクにおいて,平均相対誤差率を31%削減する。 我々の微調整モデルはよりラベル効率が良く、ImageNet-12kで事前訓練された同等のモデルとは異なり、しばしばエンドツーエンドの微調整と同等の線形転送性能を達成する。 モデルのサイズをスケールすることによる、比較的控えめなダウンストリームのメリットは、ドメインギャップに対処するのにスケーリングだけでは不十分であることを示唆し、質的に異なるイメージを持つ実践者は、ドメイン内の適応と、ターゲットとするダウンストリームラベリングの恩恵を受ける可能性があることを示唆している。

関連論文リスト

• Scaling Backwards: Minimal Synthetic Pre-training? [52.78699562832907]
  予備学習は最小限の合成画像でも有効であることを示す。 その結果,1kから1kへの合成画像の大幅な削減は,事前学習性能の向上につながることが判明した。 提案手法は,合成画像から実画像へ拡張し,単一の実画像が類似した事前学習効果を示すかどうかを確認する。
  論文  参考訳（メタデータ） (2024-08-01T16:20:02Z)
• xT: Nested Tokenization for Larger Context in Large Images [79.37673340393475]
  xTは、グローバルコンテキストを局所的な詳細で集約するビジョントランスフォーマーのフレームワークである。 我々は、挑戦的な分類タスクにおいて、精度を最大8.6%向上させることができる。
  論文  参考訳（メタデータ） (2024-03-04T10:29:58Z)
• Sigmoid Loss for Language Image Pre-Training [93.91385557929604]
  本稿では,Language-Image Pre-Training (SigLIP) のための単純なペアワイズ・シグモイド・ロスを提案する。 シグモイド損失は画像とテキストのペアのみに作用し、正規化のためにペアの類似点のグローバルなビューを必要としない。 Locked-image Tuningと4つのTPUv4チップの組み合わせで、84.5%のImageNetゼロショット精度を2日間で達成するSigLiTモデルを訓練する。
  論文  参考訳（メタデータ） (2023-03-27T15:53:01Z)
• SeiT: Storage-Efficient Vision Training with Tokens Using 1% of Pixel Storage [52.317406324182215]
  大規模データセットに対する視覚分類器の記憶効率向上のための学習手法を提案する。 私たちのトークンストレージは、JPEG圧縮されたオリジナルの生ピクセルの1%しか必要としない。 ImageNet-1kによる実験結果から,本手法は,他のストレージ効率のトレーニング手法よりも大幅に優れており,大きなギャップがあることがわかった。
  論文  参考訳（メタデータ） (2023-03-20T13:55:35Z)
• Improving Zero-shot Generalization and Robustness of Multi-modal Models [70.14692320804178]
  CLIPやLiTのようなマルチモーダルな画像テキストモデルは、画像分類ベンチマークで顕著な性能を示している。 本研究は,この性能差の原因を考察し,テキストプロンプトの曖昧さによる障害事例の多くが原因であることを示す。 本稿では,WordNet階層を用いて,不確実な画像の精度を向上させるための簡易かつ効率的な手法を提案する。
  論文  参考訳（メタデータ） (2022-12-04T07:26:24Z)
• Scaling Laws For Deep Learning Based Image Reconstruction [26.808569077500128]
  トレーニングセットのサイズをスケールアップすることで、大きなパフォーマンス向上が期待できるかどうかを調査する。 初期の急激なパワーロースケーリングは、適度なトレーニングセットサイズですでに大幅に遅くなっています。 我々は、線形推定器の性能を早期に停止勾配降下によって解析的に評価した。
  論文  参考訳（メタデータ） (2022-09-27T14:44:57Z)
• With a Little Help from My Friends: Nearest-Neighbor Contrastive Learning of Visual Representations [87.72779294717267]
  対比損失で最も近い隣り合わせを正として使用すると、ImageNet分類でパフォーマンスが大幅に向上します。 提案手法が複雑なデータ拡張に依存しないことを実証的に証明する。
  論文  参考訳（メタデータ） (2021-04-29T17:56:08Z)
• Galaxy Morphology Classification using EfficientNet Architectures [0.0]
  我々はEfficientNetsの使用法とそのGalaxy Morphology Classificationへの応用について検討する。 我々は、EfficientNetsを使用して、KaggleのGalaxy Zoo 2チャレンジの79,975枚のテスト画像の投票率を予測する。 我々は、効率の良いNetB5を用いて銀河を7つのクラスに分類する微調整アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-08-31T14:00:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。