論文の概要: Reinforcement Learning for Generative AI: A Survey
- arxiv url: http://arxiv.org/abs/2308.14328v1
- Date: Mon, 28 Aug 2023 06:15:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-29 15:33:37.332852
- Title: Reinforcement Learning for Generative AI: A Survey
- Title（参考訳）: 生成型aiのための強化学習:調査
- Authors: Yuanjiang Cao and Lina Yao and Julian McAuley and Quan Z. Sheng
- Abstract要約: この調査は、さまざまなアプリケーション領域にまたがるハイレベルなレビューに光を当てることを目的としています。
この領域では厳格な分類法を提供し、様々なモデルや応用について十分なカバレッジを提供している。
この調査は、現在のモデルの限界に対処し、生成AIのフロンティアを拡大する可能性のある潜在的方向を示すことで締めくくられる。
- 参考スコア（独自算出の注目度）: 40.21640713844258
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Generative AI has been a long-standing essential topic in the machine
learning community, which can impact a number of application areas like text
generation and computer vision. The major paradigm to train a generative model
is maximum likelihood estimation, which pushes the learner to capture and
approximate the target data distribution by decreasing the divergence between
the model distribution and the target distribution. This formulation
successfully establishes the objective of generative tasks, while it is
incapable of satisfying all the requirements that a user might expect from a
generative model. Reinforcement learning, serving as a competitive option to
inject new training signals by creating new objectives that exploit novel
signals, has demonstrated its power and flexibility to incorporate human
inductive bias from multiple angles, such as adversarial learning,
hand-designed rules and learned reward model to build a performant model.
Thereby, reinforcement learning has become a trending research field and has
stretched the limits of generative AI in both model design and application. It
is reasonable to summarize and conclude advances in recent years with a
comprehensive review. Although there are surveys in different application areas
recently, this survey aims to shed light on a high-level review that spans a
range of application areas. We provide a rigorous taxonomy in this area and
make sufficient coverage on various models and applications. Notably, we also
surveyed the fast-developing large language model area. We conclude this survey
by showing the potential directions that might tackle the limit of current
models and expand the frontiers for generative AI.
- Abstract（参考訳）: Deep Generative AIは、テキスト生成やコンピュータビジョンなど、多くのアプリケーション領域に影響を与える可能性がある、機械学習コミュニティにおいて、長年にわたって重要なトピックだった。
生成モデルを学ぶための主要なパラダイムは、モデル分布とターゲット分布との分岐を減少させることで、学習者が目標データ分布をキャプチャし、近似するように促す最大確率推定である。
この定式化は、ユーザが生成モデルから期待する全ての要件を満たすことができないにもかかわらず、生成タスクの目的をうまく確立する。
強化学習は、新しい信号を利用する新しい目標を作成することで、新しい訓練信号を注入する競争的選択肢として機能し、敵対的学習、手作りルール、学習報酬モデルなど、複数の角度から人間の帰納バイアスを組み込む能力と柔軟性を実証した。
これにより、強化学習はトレンド研究分野となり、モデル設計と応用の両方における生成AIの限界を拡大した。
近年の進歩を包括的レビューで要約し、結論付けるのが妥当である。
最近、さまざまなアプリケーション領域で調査が行われていますが、この調査は、さまざまなアプリケーション領域にまたがるハイレベルなレビューに光を当てることを目的としています。
この領域では厳密な分類法を提供し、様々なモデルや応用について十分なカバレッジを提供している。
特に,開発速度の速い大規模言語モデル領域についても調査した。
この調査は、現在のモデルの限界に対処し、生成AIのフロンティアを拡大する可能性のある潜在的方向を示すことで締めくくられる。
関連論文リスト
- Transfer Learning with Foundational Models for Time Series Forecasting using Low-Rank Adaptations [0.0]
本研究はLlama Lora-Integrated Autorregresive ModelであるLLIAMを提案する。
低ランク適応は、微調整フェーズとして知られる様々な時系列データセットでモデルの知識を高めるために使用される。
論文 参考訳（メタデータ） (2024-10-15T12:14:01Z) - Deep Generative Models in Robotics: A Survey on Learning from Multimodal Demonstrations [52.11801730860999]
近年、ロボット学習コミュニティは、大規模なデータセットの複雑さを捉えるために、深層生成モデルを使うことへの関心が高まっている。
本稿では,エネルギーベースモデル,拡散モデル,アクションバリューマップ,生成的敵ネットワークなど,コミュニティが探求してきたさまざまなモデルについて述べる。
また,情報生成から軌道生成,コスト学習に至るまで,深層生成モデルを用いた様々なアプリケーションについて述べる。
論文 参考訳（メタデータ） (2024-08-08T11:34:31Z) - On the Challenges and Opportunities in Generative AI [135.2754367149689]
現在の大規模生成AIモデルは、ドメイン間で広く採用されるのを妨げるいくつかの基本的な問題に十分対応していない、と我々は主張する。
本研究は、現代の生成型AIパラダイムにおける重要な未解決課題を特定し、その能力、汎用性、信頼性をさらに向上するために取り組まなければならない。
論文 参考訳（メタデータ） (2024-02-28T15:19:33Z) - On the Resurgence of Recurrent Models for Long Sequences -- Survey and
Research Opportunities in the Transformer Era [59.279784235147254]
この調査は、Recurrenceの統一の傘の下に構築されたこれらのトレンドの概要を提供することを目的としている。
長いシーケンスを処理するという考え方を捨てる際に顕著になる新しい研究機会を強調している。
論文 参考訳（メタデータ） (2024-02-12T23:55:55Z) - A Survey of Serverless Machine Learning Model Inference [0.0]
ジェネレーティブAI、コンピュータビジョン、自然言語処理は、AIモデルをさまざまな製品に統合するきっかけとなった。
本調査は,大規模ディープラーニングサービスシステムにおける新たな課題と最適化の機会を要約し,分類することを目的としている。
論文 参考訳（メタデータ） (2023-11-22T18:46:05Z) - A Comprehensive Review of Trends, Applications and Challenges In
Out-of-Distribution Detection [0.76146285961466]
アウト・オブ・ディストリビューション・データ・サブセットの検出とより包括的な一般化の実現に焦点をあてた研究分野が誕生した。
多くのディープラーニングベースのモデルは、ベンチマークデータセットでほぼ完璧な結果を得たため、これらのモデルの信頼性と信頼性を評価する必要性は、これまで以上に強く感じられる。
本稿では,本分野における70以上の論文のレビューに加えて,今後の研究の課題と方向性を提示するとともに,データシフトの多種多様さを統一的に把握し,より一般化するためのソリューションを提案する。
論文 参考訳（メタデータ） (2022-09-26T18:13:14Z) - Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。
本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。
提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
論文 参考訳（メタデータ） (2020-07-14T16:42:59Z) - Plausible Counterfactuals: Auditing Deep Learning Classifiers with
Realistic Adversarial Examples [84.8370546614042]
ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。
GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。
その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
論文 参考訳（メタデータ） (2020-03-25T11:08:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。