論文の概要: Task2Sim : Towards Effective Pre-training and Transfer from Synthetic Data

• arxiv url: http://arxiv.org/abs/2112.00054v1
• Date: Tue, 30 Nov 2021 19:25:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-02 14:03:58.148577
• Title: Task2Sim : Towards Effective Pre-training and Transfer from Synthetic Data
• Title（参考訳）: タスク2Sim : 効率的な事前学習と合成データ転送を目指して
• Authors: Samarth Mishra, Rameswar Panda, Cheng Perng Phoo, Chun-Fu Chen, Leonid Karlinsky, Kate Saenko, Venkatesh Saligrama, Rogerio S. Feris
• Abstract要約: 本稿では,グラフィックスシミュレータから下流タスクへの合成データに基づく事前学習モデルの転送可能性について検討する。 本稿では、最適なシミュレーションパラメータに対する下流タスク表現を統一したモデルマッピングであるTask2Simを紹介する。 このマッピングはトレーニングによって学習し、"見える"タスクのセットで最適なパラメータのセットを見つける。 トレーニングが完了すると、ワンショットで新しい"見えない"タスクの最適なシミュレーションパラメータを予測するために使用することができる。
• 参考スコア（独自算出の注目度）: 74.66568380558172
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-training models on Imagenet or other massive datasets of real images has led to major advances in computer vision, albeit accompanied with shortcomings related to curation cost, privacy, usage rights, and ethical issues. In this paper, for the first time, we study the transferability of pre-trained models based on synthetic data generated by graphics simulators to downstream tasks from very different domains. In using such synthetic data for pre-training, we find that downstream performance on different tasks are favored by different configurations of simulation parameters (e.g. lighting, object pose, backgrounds, etc.), and that there is no one-size-fits-all solution. It is thus better to tailor synthetic pre-training data to a specific downstream task, for best performance. We introduce Task2Sim, a unified model mapping downstream task representations to optimal simulation parameters to generate synthetic pre-training data for them. Task2Sim learns this mapping by training to find the set of best parameters on a set of "seen" tasks. Once trained, it can then be used to predict best simulation parameters for novel "unseen" tasks in one shot, without requiring additional training. Given a budget in number of images per class, our extensive experiments with 20 diverse downstream tasks show Task2Sim's task-adaptive pre-training data results in significantly better downstream performance than non-adaptively choosing simulation parameters on both seen and unseen tasks. It is even competitive with pre-training on real images from Imagenet.
• Abstract（参考訳）: Imagenetや他の実画像の大規模なデータセットの事前トレーニングモデルは、キュレーションコスト、プライバシ、使用権、倫理的問題に関連する欠点を伴って、コンピュータビジョンに大きな進歩をもたらした。 本稿では,グラフィックスシミュレータが生成する合成データから,異なる領域のダウンストリームタスクへの事前学習モデルの転送可能性について初めて検討する。 このような合成データを用いて事前学習を行うことで,シミュレーションパラメータの異なる構成(照明,物体のポーズ,背景など)によって異なるタスクのダウンストリーム性能が好まれると同時に,単サイズのソリューションが存在しないことが分かった。 したがって、最適なパフォーマンスのために、特定の下流タスクに合成事前トレーニングデータを調整した方がよい。 我々は,下流タスク表現を最適シミュレーションパラメータにマッピングして合成事前学習データを生成する統合モデルであるtask2simを提案する。 Task2Simはトレーニングによってこのマッピングを学び、"seen"タスクのセットで最適なパラメータのセットを見つけます。 一度トレーニングすれば、追加のトレーニングを必要とせずに、新しい"unseen"タスクの最適なシミュレーションパラメータを1ショットで予測することができる。 20種類のダウンストリームタスクによる大規模な実験では、Task2Simのタスク適応型事前学習データにより、表示されたタスクと見えないタスクのシミュレーションパラメータを非適応的に選択するよりも、ダウンストリームのパフォーマンスが大幅に向上した。 imagenetからの実際のイメージの事前トレーニングとも競合する。

関連論文リスト

• Scaling Backwards: Minimal Synthetic Pre-training? [52.78699562832907]
  予備学習は最小限の合成画像でも有効であることを示す。 その結果,1kから1kへの合成画像の大幅な削減は,事前学習性能の向上につながることが判明した。 提案手法は,合成画像から実画像へ拡張し,単一の実画像が類似した事前学習効果を示すかどうかを確認する。
  論文  参考訳（メタデータ） (2024-08-01T16:20:02Z)
• The Unmet Promise of Synthetic Training Images: Using Retrieved Real Images Performs Better [39.57368843211441]
  すべての合成画像は、最終的にジェネレータを訓練するために使用される上流データに由来する。 我々は, LAION-2Bから直接取得した目標実画像に対して, 安定拡散によって生成されたタスク関連ターゲット合成データを微調整と比較した。 解析の結果,このアンダーパフォーマンスは生成物と,合成画像中のタスク関連視覚的詳細が不正確なためであることが示唆された。
  論文  参考訳（メタデータ） (2024-06-07T18:04:21Z)
• Improving the Effectiveness of Deep Generative Data [5.856292656853396]
  下流の画像処理タスクのための純粋合成画像のモデルを訓練すると、実際のデータに対するトレーニングに比べ、望ましくない性能低下が生じる。 本稿では,この現象に寄与する要因を記述した新しい分類法を提案し,CIFAR-10データセットを用いて検討する。 本手法は,合成データと合成データの混合による学習と合成データのみの学習において,下流分類タスクのベースラインに優れる。
  論文  参考訳（メタデータ） (2023-11-07T12:57:58Z)
• SynBench: Task-Agnostic Benchmarking of Pretrained Representations using Synthetic Data [78.21197488065177]
  近年、下流のタスクで大規模なデータで事前訓練された微調整大型モデルが成功し、ディープラーニングにおける重要なパラダイムシフトにつながった。 本稿では,合成データを用いて事前学習した表現の質を測定するためのタスク非依存フレームワークであるtextitSynBenchを提案する。
  論文  参考訳（メタデータ） (2022-10-06T15:25:00Z)
• Pro-tuning: Unified Prompt Tuning for Vision Tasks [133.12978197265596]
  ファインチューニングは、トレーニング済みの視覚モデルを利用して下流タスクを実行するデファクトアプローチである。 本研究では,様々な下流視覚タスクに凍結視覚モデルを適用するために,パラメータ効率のよいプロンプトチューニング(Pro-tuning)を提案する。
  論文  参考訳（メタデータ） (2022-07-28T21:09:31Z)
• Replacing Labeled Real-image Datasets with Auto-generated Contours [20.234550996148748]
  公式駆動型教師あり学習は,実画像を用いることなく,ImageNet-21kのそれと一致したり,超えたりできることを示す。 公式によって生成された画像は、プライバシ/コピーライトの問題、コストとエラーのラベル付け、実際の画像が抱えるバイアスを回避します。
  論文  参考訳（メタデータ） (2022-06-18T06:43:38Z)
• Task-Customized Self-Supervised Pre-training with Scalable Dynamic Routing [76.78772372631623]
  セルフ教師付き事前トレーニングの一般的な実践は、できるだけ多くのデータを使用することである。 しかし、特定のダウンストリームタスクでは、事前トレーニングで無関係なデータを含むと、ダウンストリームのパフォーマンスが低下する可能性がある。 異なるタスクのための事前トレーニングで、異なるダウンストリームタスクにカスタマイズされたデータセットを使用することは、重荷であり、実現不可能である。
  論文  参考訳（メタデータ） (2022-05-26T10:49:43Z)
• Two-shot Spatially-varying BRDF and Shape Estimation [89.29020624201708]
  形状とSVBRDFを段階的に推定した新しいディープラーニングアーキテクチャを提案する。 ドメインランダム化された幾何学と現実的な材料を用いた大規模合成学習データセットを作成する。 合成データセットと実世界のデータセットの両方の実験により、合成データセットでトレーニングされたネットワークが、実世界の画像に対してうまく一般化できることが示されている。
  論文  参考訳（メタデータ） (2020-04-01T12:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。