論文の概要: PyCFRL: A Python library for counterfactually fair offline reinforcement learning via sequential data preprocessing

• arxiv url: http://arxiv.org/abs/2510.06935v1
• Date: Wed, 08 Oct 2025 12:19:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 16:41:20.478568
• Title: PyCFRL: A Python library for counterfactually fair offline reinforcement learning via sequential data preprocessing
• Title（参考訳）: PyCFRL: シーケンシャルデータ前処理による非実効的オフライン強化学習のためのPythonライブラリ
• Authors: Jianhan Zhang, Jitao Wang, Chengchun Shi, John D. Piette, Donglin Zeng, Zhenke Wu,
• Abstract要約: 強化学習(Reinforcement Learning, RL)は、シーケンシャルな意思決定ルールを学習し、評価することを目的としており、しばしば「政治」と呼ばれる。 我々はPyCFRLを紹介した。PyCFRLは、オフラインRLにおける対実的公平性を保証するPythonライブラリである。
• 参考スコア（独自算出の注目度）: 13.577985538159156
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) aims to learn and evaluate a sequential decision rule, often referred to as a "policy", that maximizes the population-level benefit in an environment across possibly infinitely many time steps. However, the sequential decisions made by an RL algorithm, while optimized to maximize overall population benefits, may disadvantage certain individuals who are in minority or socioeconomically disadvantaged groups. To address this problem, we introduce PyCFRL, a Python library for ensuring counterfactual fairness in offline RL. PyCFRL implements a novel data preprocessing algorithm for learning counterfactually fair RL policies from offline datasets and provides tools to evaluate the values and counterfactual unfairness levels of RL policies. We describe the high-level functionalities of PyCFRL and demonstrate one of its major use cases through a data example. The library is publicly available on PyPI and Github (https://github.com/JianhanZhang/PyCFRL), and detailed tutorials can be found in the PyCFRL documentation (https://pycfrl-documentation.netlify.app).
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、しばしば「政治」と呼ばれる連続的な決定規則を学習し、評価することを目的としている。 しかし、RLアルゴリズムによるシーケンシャルな決定は、集団全体の利益を最大化するために最適化されているものの、少数派または社会経済的に不利なグループに属する特定の個人には不利である可能性がある。 この問題に対処するために、オフラインRLにおける反ファクトフェアネスを保証するPythonライブラリであるPyCFRLを紹介する。 PyCFRLは、オフラインデータセットから反実的公正なRLポリシーを学習するための新しいデータ前処理アルゴリズムを実装し、RLポリシーの価値と反実的不公平レベルを評価するためのツールを提供する。 本稿では,PyCFRLの高次機能について述べるとともに,その主要なユースケースの1つをデータ例で示す。 ライブラリはPyPIとGithub(https://github.com/JianhanZhang/PyCFRL)で公開されており、詳細なチュートリアルはPyCFRLのドキュメント(https://pycfrl-documentation.netlify.app)で見ることができる。

関連論文リスト

• Policy Agnostic RL: Offline RL and Online RL Fine-Tuning of Any Class and Backbone [72.17534881026995]
  ポリシーに依存しないRL(PA-RL)と呼ばれるオフラインおよびオンラインの微調整手法を開発する。 オンラインRLファインチューニングアルゴリズムであるCal-QLを用いて、7BジェネラリストロボットポリシーであるOpenVLAのファインチューニングに成功した最初の結果を示す。
  論文  参考訳（メタデータ） (2024-12-09T17:28:03Z)
• Is Value Learning Really the Main Bottleneck in Offline RL? [70.54708989409409]
  ポリシー抽出アルゴリズムの選択はオフラインRLの性能とスケーラビリティに大きく影響することを示す。 本稿では,2つの簡易なテスト時ポリシー改善手法を提案し,これらの手法が性能向上につながることを示す。
  論文  参考訳（メタデータ） (2024-06-13T17:07:49Z)
• Beyond Uniform Sampling: Offline Reinforcement Learning with Imbalanced Datasets [53.8218145723718]
  オフラインポリシー学習は、既存のトラジェクトリのデータセットを使用して、追加データを収集せずに意思決定ポリシーを学ぶことを目的としている。 我々は、データセットが最適下軌道に支配されている場合、最先端のオフラインRLアルゴリズムはデータセットにおけるトラジェクトリの戻り平均よりも大幅に改善されないことを論じる。 本稿では,標準オフラインRLアルゴリズムにおいて,サンプリング戦略の実現と,プラグイン・アンド・プレイモジュールとして使用できるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-06T17:58:14Z)
• When Should We Prefer Offline Reinforcement Learning Over Behavioral Cloning? [86.43517734716606]
  オフライン強化学習(RL)アルゴリズムは、オンラインインタラクションなしで、以前に収集した経験を生かして効果的なポリシーを得ることができる。 行動クローニング(BC)アルゴリズムは、教師付き学習を通じてデータセットのサブセットを模倣する。 十分にノイズの多い準最適データに基づいて訓練されたポリシーは、専門家データを持つBCアルゴリズムよりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2022-04-12T08:25:34Z)
• Testing Stationarity and Change Point Detection in Reinforcement Learning [9.468399367975984]
  予め収集した履歴データに基づいて最適なQ-関数の非定常性をテストする一貫した手順を開発する。 さらに、非定常環境における政策最適化のための既存の最先端RL手法と自然に結合可能な逐次変化点検出法を開発した。
  論文  参考訳（メタデータ） (2022-03-03T13:30:28Z)
• ShinRL: A Library for Evaluating RL Algorithms from Theoretical and Practical Perspectives [11.675763847424786]
  本稿では、強化学習(RL)アルゴリズムを評価するためのオープンソースのライブラリであるShinRLを紹介する。 ShinRLは、RLアルゴリズムの振る舞いを掘り下げるためのメトリクスを計算することができるRL環境インターフェースを提供する。 ShinRLのこれらの2つの特徴を組み合わせることで、深層Q学習の振る舞いをより容易に分析できることを示す。
  論文  参考訳（メタデータ） (2021-12-08T05:34:46Z)
• d3rlpy: An Offline Deep Reinforcement Learning Library [0.0]
  我々は、Python用のオープンソースのオフライン深層学習(RL)ライブラリであるd3rlpyを紹介した。 d3rlpyは、オフラインのディープRLアルゴリズムと、ユーザフレンドリーなAPIによるオンラインアルゴリズムをサポートする。
  論文  参考訳（メタデータ） (2021-11-06T03:09:39Z)
• Near Real-World Benchmarks for Offline Reinforcement Learning [26.642722521820467]
  本稿では,近世界のベンチマークであるNewRLについて紹介する。 NewRLには、ポリシー検証を目的とした、コントロールされたサイズと追加のテストデータセットを備えた、さまざまなドメインのデータセットが含まれている。 我々は、データセットの報酬の代わりに、ポリシーのパフォーマンスを行動ポリシーの決定論的バージョンと比較するべきだと論じる。
  論文  参考訳（メタデータ） (2021-02-01T09:19:10Z)
• MushroomRL: Simplifying Reinforcement Learning Research [60.70556446270147]
  MushroomRLはオープンソースのPythonライブラリで、強化学習(RL)実験の実装と実行を簡単にするために開発された。 他の利用可能なライブラリと比較して、MushroomRLは、新しいRL方法論の実装とテストの労力を最小限に抑えるために、包括的で柔軟なフレームワークを提供することを目的として作られた。
  論文  参考訳（メタデータ） (2020-01-04T17:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。