論文の概要: Towards Lifelong Self-Supervision For Unpaired Image-to-Image Translation

• arxiv url: http://arxiv.org/abs/2004.00161v1
• Date: Tue, 31 Mar 2020 23:23:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-18 00:47:39.293184
• Title: Towards Lifelong Self-Supervision For Unpaired Image-to-Image Translation
• Title（参考訳）: 不適切な画像間翻訳のための生涯セルフスーパービジョンに向けて
• Authors: Victor Schmidt, Makesh Narsimhan Sreedhar, Mostafa ElAraby, Irina Rish
• Abstract要約: ライフロング・セルフ・スーパービジョン(LiSS)は,一組の自己監督型補助タスクにおいて,I2ITモデルを事前学習するための方法である。 また,LiSSでトレーニングしたモデルは,カラーバイアスやエンティティの絡み合いに対して,CycleGANベースラインよりも堅牢であることを示す。
• 参考スコア（独自算出の注目度）: 8.597098266150295
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Unpaired Image-to-Image Translation (I2IT) tasks often suffer from lack of data, a problem which self-supervised learning (SSL) has recently been very popular and successful at tackling. Leveraging auxiliary tasks such as rotation prediction or generative colorization, SSL can produce better and more robust representations in a low data regime. Training such tasks along an I2IT task is however computationally intractable as model size and the number of task grow. On the other hand, learning sequentially could incur catastrophic forgetting of previously learned tasks. To alleviate this, we introduce Lifelong Self-Supervision (LiSS) as a way to pre-train an I2IT model (e.g., CycleGAN) on a set of self-supervised auxiliary tasks. By keeping an exponential moving average of past encoders and distilling the accumulated knowledge, we are able to maintain the network's validation performance on a number of tasks without any form of replay, parameter isolation or retraining techniques typically used in continual learning. We show that models trained with LiSS perform better on past tasks, while also being more robust than the CycleGAN baseline to color bias and entity entanglement (when two entities are very close).
• Abstract（参考訳）: I2IT(Unpaired Image-to- Image Translation)タスクは、データ不足に悩まされることが多い。 ローテーション予測や生成的色付けといった補助的なタスクを活用することで、SSLは低データ構造において、より優れた、より堅牢な表現を生成することができる。 しかし、i2itタスクに沿ってそのようなタスクをトレーニングすることは、モデルのサイズとタスク数の増加によって計算的に難解である。 一方、逐次学習は、以前に学習したタスクを壊滅的に忘れてしまう可能性がある。 そこで本研究では,I2ITモデル(例えばCycleGAN)を自己監督型補助タスクのセットで事前学習する手段として,LiSS(Lifelong Self-Supervision)を導入する。 過去のエンコーダの指数的な移動平均を保ち、蓄積した知識を蒸留することにより、連続学習で一般的に使用されるリプレイ、パラメータ分離、リトレーニングの手法を使わずに、ネットワークの検証性能を維持することができる。 また,LiSSでトレーニングしたモデルは,カラーバイアスやエンティティの絡み合い(二つの実体が非常に近い場合)に対して,CycleGANベースラインよりも堅牢であることを示す。

関連論文リスト

• Continual Diffuser (CoD): Mastering Continual Offline Reinforcement Learning with Experience Rehearsal [54.93261535899478]
  強化学習のロボット制御のような現実世界の応用では、タスクが変化し、新しいタスクが順次発生する。 この状況は、タスクの変更に適応し、獲得した知識を保持するエージェントを訓練する上で、可塑性-安定トレードオフという新たな課題を生じさせる。 本研究では,連続拡散器(Continuous diffuser,CoD)と呼ばれるリハーサルに基づく連続拡散モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-04T08:21:47Z)
• Controlling Forgetting with Test-Time Data in Continual Learning [15.455400390299593]
  継続学習研究は、新しい知識が得られたときの過去の情報の破滅的な忘れを克服する技術を提供する。 テストタイムデータには,従来の学習タスクのモデルメモリをリフレッシュするために,自己管理的な方法で活用できる優れた情報がある,と我々は主張する。
  論文  参考訳（メタデータ） (2024-06-19T15:56:21Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Preventing Catastrophic Forgetting in Continual Learning of New Natural Language Tasks [17.879087904904935]
  マルチタスク学習(MTL)は、自然言語処理において、1つのモデルで複数の関連するタスクを学習するための標準技術として広く受け入れられている。 通常、システムは時間とともに進化するので、既存のMTLモデルに新しいタスクを追加するには、通常、すべてのタスクをスクラッチから再トレーニングする必要があります。 本稿では、n+1タスクを解くための新しいタスクに、既に訓練済みのnタスクに関するモデルの知識を蒸留することにより、MTLモデルの能力を漸進的に拡張し、新しいタスクを時間とともに解決する問題にアプローチする。
  論文  参考訳（メタデータ） (2023-02-22T00:18:25Z)
• Learn from Yesterday: A Semi-Supervised Continual Learning Method for Supervision-Limited Text-to-SQL Task Streams [18.010095381310972]
  本稿では,半教師付き学習 (SSL) と連続学習 (CL) をテキストからラベル付きタスクのストリームに統合することを提案する。 2つのデータセットの実験は、SFNetが広く使用されているSSLのみとCLのみのベースラインを、複数のメトリクスで上回っていることを示している。
  論文  参考訳（メタデータ） (2022-11-21T07:40:28Z)
• Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
  既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。 タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。 我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
  論文  参考訳（メタデータ） (2022-10-12T15:02:04Z)
• Task-Customized Self-Supervised Pre-training with Scalable Dynamic Routing [76.78772372631623]
  セルフ教師付き事前トレーニングの一般的な実践は、できるだけ多くのデータを使用することである。 しかし、特定のダウンストリームタスクでは、事前トレーニングで無関係なデータを含むと、ダウンストリームのパフォーマンスが低下する可能性がある。 異なるタスクのための事前トレーニングで、異なるダウンストリームタスクにカスタマイズされたデータセットを使用することは、重荷であり、実現不可能である。
  論文  参考訳（メタデータ） (2022-05-26T10:49:43Z)
• Hierarchical Few-Shot Imitation with Skill Transition Models [66.81252581083199]
  FIST(Few-shot Imitation with Skill Transition Models)は、オフラインデータからスキルを抽出し、それらを利用して見えないタスクに一般化するアルゴリズムである。 本稿では,FISTが新たなタスクに一般化し,ナビゲーション実験において従来のベースラインを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2021-07-19T15:56:01Z)
• Adversarial Training of Variational Auto-encoders for Continual Zero-shot Learning [1.90365714903665]
  本稿では,全タスクの情報を保持する共有VAEモジュールとタスク固有のプライベートVAEモジュールで構成されるハイブリッドネットワークを提案する。 モデルのサイズは各タスクで増加し、タスク固有のスキルの破滅的な忘れを防止する。 ZSL (Zero-Shot Learning) と GZSL (Generalized Zero-Shot Learning) による逐次学習よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-02-07T11:21:24Z)
• Representation Ensembling for Synergistic Lifelong Learning with Quasilinear Complexity [17.858926093389737]
  生涯学習では、データは現在のタスクだけでなく、以前に遭遇したタスクや、未報告のタスクでもパフォーマンスを向上させるために使用される。 私たちの重要な洞察は、異なるタスクで独立して学習された表現を相乗的にアンサンブルすることで、前方と後方の両方の転送を可能にします。
  論文  参考訳（メタデータ） (2020-04-27T16:16:30Z)
• Generalized Hindsight for Reinforcement Learning [154.0545226284078]
  1つのタスクを解決しようとするときに収集された低リワードデータは、そのタスクを解決するための信号をほとんど、あるいは全く提供しない、と我々は主張する。 本稿では,動作を適切なタスクで再現するための近似逆強化学習手法であるGeneralized Hindsightを提案する。
  論文  参考訳（メタデータ） (2020-02-26T18:57:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。