論文の概要: Regeneration Learning: A Learning Paradigm for Data Generation
- arxiv url: http://arxiv.org/abs/2301.08846v1
- Date: Sat, 21 Jan 2023 01:33:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-24 16:07:37.490782
- Title: Regeneration Learning: A Learning Paradigm for Data Generation
- Title（参考訳）: 再生学習: データ生成のための学習パラダイム
- Authors: Xu Tan, Tao Qin, Jiang Bian, Tie-Yan Liu, Yoshua Bengio
- Abstract要約: 再生学習は、データ生成のための対象データYの抽象化(Y’)を処理する。
再生学習はデータ生成のパラダイムとして広く利用されている。
- 参考スコア（独自算出の注目度）: 214.95167972337055
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning methods for conditional data generation usually build a
mapping from source conditional data X to target data Y. The target Y (e.g.,
text, speech, music, image, video) is usually high-dimensional and complex, and
contains information that does not exist in source data, which hinders
effective and efficient learning on the source-target mapping. In this paper,
we present a learning paradigm called regeneration learning for data
generation, which first generates Y' (an abstraction/representation of Y) from
X and then generates Y from Y'. During training, Y' is obtained from Y through
either handcrafted rules or self-supervised learning and is used to learn
X-->Y' and Y'-->Y. Regeneration learning extends the concept of representation
learning to data generation tasks, and can be regarded as a counterpart of
traditional representation learning, since 1) regeneration learning handles the
abstraction (Y') of the target data Y for data generation while traditional
representation learning handles the abstraction (X') of source data X for data
understanding; 2) both the processes of Y'-->Y in regeneration learning and
X-->X' in representation learning can be learned in a self-supervised way
(e.g., pre-training); 3) both the mappings from X to Y' in regeneration
learning and from X' to Y in representation learning are simpler than the
direct mapping from X to Y. We show that regeneration learning can be a
widely-used paradigm for data generation (e.g., text generation, speech
recognition, speech synthesis, music composition, image generation, and video
generation) and can provide valuable insights into developing data generation
methods.
- Abstract（参考訳）: 対象y(例えば、テキスト、音声、音楽、画像、ビデオ)は、通常、高次元で複雑であり、ソースデータには存在せず、ソース・ターゲット・マッピング上で効果的かつ効率的な学習を妨げる情報を含んでいる。
本稿では,まずxからy’(yの抽象化/表現)を生成し,次にyからyを生成する,データ生成のための再生学習という学習パラダイムを提案する。
トレーニング中、Y'は、手作りルールまたは自己指導学習によってYから得られ、X->Y'とY'->Yを学習するために使用される。
再生学習は、表現学習の概念をデータ生成タスクに拡張し、従来の表現学習と対応するものと見なすことができる。
1)再生学習は,データ生成のための対象データyの抽象化(y')を,従来の表現学習はデータ理解のためのソースデータxの抽象化(x')を処理します。
2) 再生学習におけるY'->Yの過程と表現学習におけるX'->X'は、自己指導的な方法で学習することができる(例えば、事前学習)。
3)再生学習におけるxからyへのマッピングと表現学習におけるx’からyへのマッピングは、xからyへの直接マッピングよりも単純であり、再生学習は、データ生成(例えば、テキスト生成、音声認識、音声合成、楽曲合成、画像生成、ビデオ生成)において広く使われているパラダイムであり、データ生成手法の開発に有用な洞察を提供することができる。
関連論文リスト
- Data Augmentation for Sparse Multidimensional Learning Performance Data Using Generative AI [17.242331892899543]
学習パフォーマンスデータは、適応学習における正しい解答や問題解決の試みを記述している。
学習性能データは、適応的なアイテム選択のため、ほとんどの実世界のアプリケーションでは、非常にスパースな(80%(sim)90%の欠落)傾向にある。
本稿では,学習者のデータの分散性に対処するために,学習者のデータを拡張するための体系的フレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-24T00:25:07Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳（メタデータ） (2023-12-07T07:17:24Z) - Active Retrieval Augmented Generation [123.68874416084499]
外部知識資源から情報を取得することで、大きな言語モデル(LM)を拡張することは、有望な解決策である。
ほとんどの既存の検索拡張LMは、入力に基づいて一度だけ情報を検索する検索と生成のセットアップを採用している。
本稿では,将来的な内容を予測するために,文の予測を反復的に利用する汎用手法であるフォワード・フォワード・アクティブ・レトリヴァル・ジェネレーション・ジェネレーション(FLARE)を提案する。
論文 参考訳（メタデータ） (2023-05-11T17:13:40Z) - X-Learner: Learning Cross Sources and Tasks for Universal Visual
Representation [71.51719469058666]
本稿では,X-Learnerという表現学習フレームワークを提案する。
X-Learnerは、様々なソースによって管理される複数の視覚タスクの普遍的な特徴を学習する。
X-Learnerは、追加のアノテーションやモダリティ、計算コストを使わずに、様々なタスクで強力なパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-03-16T17:23:26Z) - GenNI: Human-AI Collaboration for Data-Backed Text Generation [102.08127062293111]
Table2Textシステムは、機械学習を利用した構造化データに基づいてテキスト出力を生成する。
GenNI (Generation Negotiation Interface) は、対話型ビジュアルシステムである。
論文 参考訳（メタデータ） (2021-10-19T18:07:07Z) - Fractional Transfer Learning for Deep Model-Based Reinforcement Learning [0.966840768820136]
強化学習(Reinforcement Learning, RL)は、RLエージェントが複雑なタスクを実行することを学ぶために大量のデータを必要とすることで知られている。
モデルベースRLの最近の進歩により、エージェントはずっとデータ効率が良い。
簡単な代替手法として、分数変換学習を提案する。
論文 参考訳（メタデータ） (2021-08-14T12:44:42Z) - Curious Representation Learning for Embodied Intelligence [81.21764276106924]
近年,自己指導型表現学習は顕著な成功を収めている。
しかし、真にインテリジェントなエージェントを構築するためには、環境から学習できる表現学習アルゴリズムを構築する必要がある。
本稿では,強化学習方針と視覚的表現モデルを同時に学習する,好奇心をそそる表現学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-05-03T17:59:20Z) - Guided Generative Adversarial Neural Network for Representation Learning
and High Fidelity Audio Generation using Fewer Labelled Audio Data [31.00018800567942]
GAN(Generative Adversarial Neural Networks)の最近の改良は、高品質なサンプルを生成する能力を示している。
GANをベースとした表現学習手法の多くは,利用後のシナリオを無視した表現を学習する。
本稿では,新たなGANフレームワークであるGGAN(Guid Generative Neural Network)を提案する。
論文 参考訳（メタデータ） (2020-03-05T11:01:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。