論文の概要: Data-Efficient Challenges in Visual Inductive Priors: A Retrospective

• arxiv url: http://arxiv.org/abs/2506.08612v1
• Date: Tue, 10 Jun 2025 09:21:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:42.158354
• Title: Data-Efficient Challenges in Visual Inductive Priors: A Retrospective
• Title（参考訳）: ビジュアルインダクティブプライオリティにおけるデータ効率の課題:ふりかえり
• Authors: Robert-Jan Bruintjes, Attila Lengyel, Osman Semih Kayhan, Davide Zambrano, Nergis Tömen, Hadi Jamali-Rad, Jan van Gemert,
• Abstract要約: ディープラーニングは、うまく動作するモデルをトレーニングするために、大量のデータを必要とします。 データ不足の設定では、パフォーマンスが劣化する可能性がある。 データ不足環境でのトレーニングモデルにどのようなディープラーニング手法が有用かを検討する。
• 参考スコア（独自算出の注目度）: 9.961131337487243
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Learning requires large amounts of data to train models that work well. In data-deficient settings, performance can be degraded. We investigate which Deep Learning methods benefit training models in a data-deficient setting, by organizing the "VIPriors: Visual Inductive Priors for Data-Efficient Deep Learning" workshop series, featuring four editions of data-impaired challenges. These challenges address the problem of training deep learning models for computer vision tasks with limited data. Participants are limited to training models from scratch using a low number of training samples and are not allowed to use any form of transfer learning. We aim to stimulate the development of novel approaches that incorporate prior knowledge to improve the data efficiency of deep learning models. Successful challenge entries make use of large model ensembles that mix Transformers and CNNs, as well as heavy data augmentation. Novel prior knowledge-based methods contribute to success in some entries.
• Abstract（参考訳）: ディープラーニングは、うまく動作するモデルをトレーニングするために、大量のデータを必要とします。 データ不足の設定では、パフォーマンスが劣化する可能性がある。 VIPriors: Visual Inductive Priors for Data-Efficient Deep Learning”ワークショップシリーズを編成し、データ不足の課題を4つのエディションにまとめた。 これらの課題は、限られたデータでコンピュータビジョンタスクのディープラーニングモデルをトレーニングする際の問題に対処する。 参加者は、少ない数のトレーニングサンプルを使用してスクラッチからトレーニングモデルに制限され、転送学習のいかなる形式も使用できない。 我々は、ディープラーニングモデルのデータ効率を改善するために、事前知識を取り入れた新しいアプローチの開発を促進することを目的としている。 成功したチャレンジエントリでは、TransformerとCNNを混ぜた大きなモデルのアンサンブルと、重いデータ拡張が使用されている。 知識に基づく新しい手法は、いくつかの項目で成功に寄与する。

関連論文リスト

• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• Accelerating Large Language Model Pretraining via LFR Pedagogy: Learn, Focus, and Review [50.78587571704713]
  Learn-Focus-Review(LFR)は、モデルの学習進捗に適応する動的トレーニングアプローチである。 LFRは、データブロック(トークンのシーケンス)にわたるモデルの学習パフォーマンスを追跡し、データセットの困難な領域を再検討する。 フルデータセットでトレーニングされたベースラインモデルと比較して、LFRは一貫して低いパープレキシティと高い精度を達成した。
  論文  参考訳（メタデータ） (2024-09-10T00:59:18Z)
• VIPriors 4: Visual Inductive Priors for Data-Efficient Deep Learning Challenges [12.615348941903594]
  VIPriors: Visual Inductive Priors for Data-Efficient Deep Learning”ワークショップの第4版では、2つのデータ不足の課題が紹介されている。 これらの課題は、限られたデータでコンピュータビジョンタスクのディープラーニングモデルをトレーニングする際の問題に対処する。 深層学習モデルのデータ効率を向上させるために,帰納的バイアスを取り入れた新しい手法の開発を促進することを目的としている。
  論文  参考訳（メタデータ） (2024-06-26T08:50:51Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• VIPriors 3: Visual Inductive Priors for Data-Efficient Deep Learning Challenges [13.085098213230568]
  VIPriors: Visual Inductive Priors for Data-Efficient Deep Learning”ワークショップの第3版では、4つのデータ不足の課題が紹介された。 課題は、コンピュータビジョンタスクのためのディープラーニングモデルのトレーニングにおいて、データ可用性の限界に対処することに焦点を当てた。
  論文  参考訳（メタデータ） (2023-05-31T09:31:54Z)
• Knowledge Distillation as Efficient Pre-training: Faster Convergence, Higher Data-efficiency, and Better Transferability [53.27240222619834]
  効率的な事前学習としての知識蒸留は、学習した特徴表現を学習済みモデルから将来の下流タスクのための新しい学生モデルに効率的に転送することを目的としている。 提案手法は,3つの下流タスクにおける教師付き事前学習タスクと,10倍少ないデータと5倍少ない事前学習時間を必要とする9つの下流データセットとを比較検討する。
  論文  参考訳（メタデータ） (2022-03-10T06:23:41Z)
• VIPriors 2: Visual Inductive Priors for Data-Efficient Deep Learning Challenges [13.085098213230568]
  VIPriors: Visual Inductive Priors for Data-Efficient Deep Learning”の第2版。 モデルは、様々な重要なコンピュータビジョンタスクのためのトレーニングサンプルの少ない数に基づいて、スクラッチからトレーニングされる。 結果: 提供されたベースラインは,5つの課題すべてにおいて,大きなマージンで優れています。
  論文  参考訳（メタデータ） (2022-01-21T10:20:52Z)
• Training Deep Networks from Zero to Hero: avoiding pitfalls and going beyond [59.94347858883343]
  このチュートリアルでは、基本的なステップと、モデルを改善するためのより最近のオプションを取り上げている。 これは特に、課題のデータセットほど準備が不十分なデータセットで有用である。
  論文  参考訳（メタデータ） (2021-09-06T21:31:42Z)
• VIPriors 1: Visual Inductive Priors for Data-Efficient Deep Learning Challenges [8.50468505606714]
  私たちは、モデルをスクラッチからトレーニングする4つのデータ障害課題を提供し、トレーニングサンプルの数を全セットのごく一部に削減します。 データ効率を向上するため、事前学習されたモデルやその他の移動学習技術の使用を禁止した。
  論文  参考訳（メタデータ） (2021-03-05T15:58:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。