論文の概要: Measuring Data Quality for Dataset Selection in Offline Reinforcement
Learning
- arxiv url: http://arxiv.org/abs/2111.13461v1
- Date: Fri, 26 Nov 2021 12:22:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-29 17:16:45.070846
- Title: Measuring Data Quality for Dataset Selection in Offline Reinforcement
Learning
- Title(参考訳): オフライン強化学習におけるデータセット選択のためのデータ品質測定
- Authors: Phillip Swazinna, Steffen Udluft, Thomas Runkler
- Abstract要約: 最近開発されたオフライン強化学習アルゴリズムにより、事前コンパイルされたデータセットから直接ポリシーを学習できるようになった。
アルゴリズムが提供できるパフォーマンスは、それらに提示されるデータセットに大きく依存するため、実践者は利用可能なデータセットの中から適切なデータセットを選択する必要がある。
予測相対回帰改善(ERI)、推定行動相対性(EAS)、および2つの組み合わせ(COI)の3つの非常に単純な指標を提案する。
- 参考スコア(独自算出の注目度): 2.3333090554192615
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently developed offline reinforcement learning algorithms have made it
possible to learn policies directly from pre-collected datasets, giving rise to
a new dilemma for practitioners: Since the performance the algorithms are able
to deliver depends greatly on the dataset that is presented to them,
practitioners need to pick the right dataset among the available ones. This
problem has so far not been discussed in the corresponding literature. We
discuss ideas how to select promising datasets and propose three very simple
indicators: Estimated relative return improvement (ERI) and estimated action
stochasticity (EAS), as well as a combination of the two (COI), and empirically
show that despite their simplicity they can be very effectively used for
dataset selection.
- Abstract(参考訳): 最近開発されたオフライン強化学習アルゴリズムによって、事前に収集したデータセットから直接ポリシを学習することが可能になり、実践者に新たなジレンマがもたらされた。
この問題は、これまでのところ、対応する文献では議論されていない。
予測相対回帰改善(eri)と予測行動確率性(eas)の3つの非常に単純な指標と、2つの組み合わせ(coi)を組み合わせることで、そのシンプルさにもかかわらず、データセットの選択に非常に効果的に使用できることを示す。
関連論文リスト
- LESS: Selecting Influential Data for Targeted Instruction Tuning [69.50855460630105]
本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。
LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。
我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
論文 参考訳(メタデータ) (2024-02-06T19:18:04Z) - One Shot Learning as Instruction Data Prospector for Large Language
Models [111.0897473747819]
Nuggetsは、ワンショット学習を用いて、拡張データセットから高品質な命令データを選択する手法である。
提案手法は,Nuggets が生成した例の上位1%による命令チューニングが,全データセットを使用する従来の手法よりも大幅に優れていたことを実証する。
論文 参考訳(メタデータ) (2023-12-16T03:33:12Z) - Optimal Sample Selection Through Uncertainty Estimation and Its
Application in Deep Learning [22.410220040736235]
コアセット選択とアクティブラーニングの両方に対処するための理論的に最適な解を提案する。
提案手法であるCOPSは,サブサンプルデータに基づいてトレーニングされたモデルの損失を最小限に抑えるために設計されている。
論文 参考訳(メタデータ) (2023-09-05T14:06:33Z) - Exploring Data Redundancy in Real-world Image Classification through
Data Selection [20.389636181891515]
ディープラーニングモデルはトレーニングに大量のデータを必要とすることが多く、結果としてコストが増大する。
実世界の画像データの冗長性を調べるために,シナプスインテリジェンスと勾配ノルムに基づく2つのデータ評価指標を提案する。
オンラインおよびオフラインのデータ選択アルゴリズムは、検査されたデータ値に基づいてクラスタリングとグループ化によって提案される。
論文 参考訳(メタデータ) (2023-06-25T03:31:05Z) - Time Series Contrastive Learning with Information-Aware Augmentations [57.45139904366001]
コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。
対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。
本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
論文 参考訳(メタデータ) (2023-03-21T15:02:50Z) - The Challenges of Exploration for Offline Reinforcement Learning [8.484491887821473]
本稿では,情報的経験の収集と最適な行動の推測という,強化学習の2つのプロセスについて考察する。
データ収集のタスクに依存しない設定は、タスクが優先順位を分かっていないが、特に興味がある。
我々は、この分離されたフレームワークを使用して、探索に関する直感と効果的なオフラインRLのためのデータ前提条件を強化する。
論文 参考訳(メタデータ) (2022-01-27T23:59:56Z) - Online Coreset Selection for Rehearsal-based Continual Learning [65.85595842458882]
継続的な学習では、後に再生されるトレーニング例(コアセット)のサブセットを格納し、破滅的な忘れを軽減します。
提案するオンラインコアセット選択(OCS, Online Coreset Selection)は, 各イテレーションにおいて最も代表的で情報性の高いコアセットを選択するシンプルで効果的な方法である。
提案手法は,過去のタスクに対して高親和性サンプルを選択しながら,目標データセットへのモデル適応を最大化し,破滅的忘れを直接的に抑制する。
論文 参考訳(メタデータ) (2021-06-02T11:39:25Z) - S^3-Rec: Self-Supervised Learning for Sequential Recommendation with
Mutual Information Maximization [104.87483578308526]
本稿では,シーケンスレコメンデーションのための自己改善学習のためのモデルS3-Recを提案する。
そこで本稿では,属性,項目,サブシーケンス,シーケンス間の相関関係を学習するために,4つの補助的自己教師対象を考案する。
6つの実世界のデータセットで実施された大規模な実験は、既存の最先端手法よりも提案手法が優れていることを示す。
論文 参考訳(メタデータ) (2020-08-18T11:44:10Z) - Improving Multi-Turn Response Selection Models with Complementary
Last-Utterance Selection by Instance Weighting [84.9716460244444]
我々は、データリソース自体の根底にある相関を利用して、異なる種類の監視信号を導出することを検討する。
2つの公開データセットで広範な実験を行い、両方のデータセットで大幅に改善した。
論文 参考訳(メタデータ) (2020-02-18T06:29:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。