Fugu-MT 論文翻訳(概要): Offline Reinforcement Learning from Human Feedback in Real-World Sequence-to-Sequence Tasks

論文の概要: Offline Reinforcement Learning from Human Feedback in Real-World Sequence-to-Sequence Tasks

arxiv url: http://arxiv.org/abs/2011.02511v3
Date: Wed, 9 Jun 2021 07:23:44 GMT
ステータス: 処理完了
システム内更新日: 2022-09-29 21:31:08.175902
Title: Offline Reinforcement Learning from Human Feedback in Real-World Sequence-to-Sequence Tasks
Title（参考訳）: 実世界のシーケンス対シーケンスタスクにおける人間のフィードバックからのオフライン強化学習
Authors: Julia Kreutzer, Stefan Riezler, Carolin Lawrence
Abstract要約: リアルタイムにデプロイされるNLPシステムから大量の対話ログを収集することができる。このようなインタラクションログをオフラインの強化学習設定で使用することは、有望なアプローチである。しかし、NLPタスクの性質と生産システムの制約により、一連の課題が発生する。
参考スコア（独自算出の注目度）: 28.124323697456845
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large volumes of interaction logs can be collected from NLP systems that are deployed in the real world. How can this wealth of information be leveraged? Using such interaction logs in an offline reinforcement learning (RL) setting is a promising approach. However, due to the nature of NLP tasks and the constraints of production systems, a series of challenges arise. We present a concise overview of these challenges and discuss possible solutions.
Abstract（参考訳）: 現実世界にデプロイされたnlpシステムから大量のインタラクションログを収集することができる。この豊富な情報をどうやって活用できるのか? このような相互作用ログをオフライン強化学習(RL)設定で使用することは、有望なアプローチである。しかし、NLPタスクの性質と生産システムの制約により、一連の課題が発生する。我々は,これらの課題を簡潔に概観し,可能な解決策について議論する。

関連論文リスト

Offline Reinforcement Learning from Datasets with Structured Non-Stationarity [50.35634234137108]
現在の強化学習(RL)は、成功するポリシーを学ぶのに必要な大量のデータによって制限されることが多い。本稿では,データセットを収集しながら,各エピソードの遷移と報酬関数が徐々に変化するが,各エピソード内で一定に保たれるような新しいオフラインRL問題に対処する。本稿では、オフラインデータセットにおけるこの非定常性を識別し、ポリシーのトレーニング時にそれを説明し、評価中に予測するContrastive Predictive Codingに基づく手法を提案する。
論文参考訳（メタデータ） (2024-05-23T02:41:36Z)
Reinforcement Learning Problem Solving with Large Language Models [0.0]
大規模言語モデル (LLM) には膨大な量の世界知識があり、自然言語処理 (NLP) タスクの性能向上のために様々な分野に応用できるようになっている。これはまた、人間とAIシステム間の会話に基づく対話による、意図した問題を解決するための、よりアクセスしやすいパラダイムを促進する。研究科学者」と「レガリー・マター・インテーク」の2つの詳細なケーススタディを通して、我々のアプローチの実践性を示す。
論文参考訳（メタデータ） (2024-04-29T12:16:08Z)
O3D: Offline Data-driven Discovery and Distillation for Sequential Decision-Making with Large Language Models [16.91329676173649]
大規模言語モデル(LLM)を改善するために,オフラインデータ駆動型ディスカバリ・蒸留(O3D)を提案する。 O3Dは、再利用可能なスキルを自動的に発見し、オフラインインタラクションデータに基づいて、複数のタスクにまたがる一般化可能な知識を蒸留する。 2つの対話型意思決定ベンチマーク (ALFWorld と WebShop) による実証結果から,O3D が LLM の意思決定能力を著しく向上できることが確認された。
論文参考訳（メタデータ） (2023-10-22T20:28:33Z)
Automatically Correcting Large Language Models: Surveying the landscape of diverse self-correction strategies [104.32199881187607]
大規模言語モデル(LLM)は、幅広いNLPタスクで顕著な性能を示した。これらの欠陥を正すための有望なアプローチは自己補正であり、LLM自体が自身の出力で問題を修正するために誘導される。本稿では,この新技術について概観する。
論文参考訳（メタデータ） (2023-08-06T18:38:52Z)
Contrastive Example-Based Control [163.6482792040079]
報酬関数ではなく多段階遷移の暗黙的なモデルを学ぶオフラインのサンプルベース制御法を提案する。状態ベースおよび画像ベースのオフライン制御タスクの範囲で、学習された報酬関数を使用するベースラインよりも優れています。
論文参考訳（メタデータ） (2023-07-24T19:43:22Z)
Structure in Deep Reinforcement Learning: A Survey and Open Problems [22.77618616444693]
関数近似のためのディープニューラルネットワーク(DNN)の表現能力に支えられた強化学習(RL)は、多くのアプリケーションでかなりの成功を収めている。しかし、様々な現実のシナリオに対処する実践性は、多様で予測不可能なダイナミクスによって特徴づけられるが、依然として限られている。この制限は、データ効率の低下、一般化能力の制限、安全性保証の欠如、解釈可能性の欠如に起因している。
論文参考訳（メタデータ） (2023-06-28T08:48:40Z)
Robust Reinforcement Learning Objectives for Sequential Recommender Systems [7.44049827436013]
我々は、報酬の形で直接ユーザーフィードバックを取り入れ、ユーザのパーソナライズを高めるレコメンデーションシステムを開発する。 RLアルゴリズムを採用することで、政治外のトレーニング、拡張可能なアクションスペース、十分な報酬信号を持つデータセットの不足など、課題が提示される。これらの課題に対して、より効果的な解決策を提供するための拡張された方法論を導入します。
論文参考訳（メタデータ） (2023-05-30T08:09:08Z)
Flexible Job Shop Scheduling via Dual Attention Network Based Reinforcement Learning [73.19312285906891]
フレキシブルなジョブショップスケジューリング問題(FJSP)では、複数のマシンで操作を処理でき、操作とマシンの間の複雑な関係が生じる。近年, 深層強化学習(DRL)を用いて, FJSP解決のための優先派遣規則(PDR)を学習している。本稿では,Deep機能抽出のための自己注意モデルと,スケーラブルな意思決定のためのDRLの利点を生かした,エンドツーエンド学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-05-09T01:35:48Z)
Accelerating exploration and representation learning with offline pre-training [52.6912479800592]
1つのオフラインデータセットから2つの異なるモデルを別々に学習することで、探索と表現の学習を改善することができることを示す。ノイズコントラスト推定と補助報酬モデルを用いて状態表現を学習することで、挑戦的なNetHackベンチマークのサンプル効率を大幅に向上できることを示す。
論文参考訳（メタデータ） (2023-03-31T18:03:30Z)
Challenges and Opportunities in Offline Reinforcement Learning from Visual Observations [58.758928936316785]
連続的な行動空間を持つ視覚的観察からオフラインの強化学習は未探索のままである。 2つの一般的な視覚に基づくオンライン強化学習アルゴリズムの変更は、既存のオフラインRL法より優れていることを示す。
論文参考訳（メタデータ） (2022-06-09T22:08:47Z)
Symbolic Relational Deep Reinforcement Learning based on Graph Neural Networks and Autoregressive Policy Decomposition [0.0]
我々は、自然にオブジェクト、それらの関係、およびオブジェクト中心のアクションの観点で定義される関係問題における強化学習に焦点を当てる。本稿では、グラフニューラルネットワークと自己回帰ポリシー分解に基づく深いRLフレームワークを提案する。
論文参考訳（メタデータ） (2020-09-25T22:41:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。