論文の概要: Colour versus Shape Goal Misgeneralization in Reinforcement Learning: A Case Study

• arxiv url: http://arxiv.org/abs/2312.03762v1
• Date: Tue, 5 Dec 2023 19:00:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-08 17:35:40.813952
• Title: Colour versus Shape Goal Misgeneralization in Reinforcement Learning: A Case Study
• Title（参考訳）: 強化学習における色と形状の目標の誤一般化--事例研究
• Authors: Karolis Ramanauskas, \"Ozg\"ur \c{S}im\c{s}ek
• Abstract要約: ダイ・ランゴスコら(2022年)によるプロクゲン・マゼ環境における色対形状目標の誤一般化について検討する。 簡易な環境下で1000以上のエージェントを訓練し,1000万回以上のエピソードで評価した結果,特定の色チャンネルを通して目標物を検出することを学習したエージェントの行動に起因する可能性が示唆された。
• 参考スコア（独自算出の注目度）: 0.4480056704565156
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We explore colour versus shape goal misgeneralization originally demonstrated by Di Langosco et al. (2022) in the Procgen Maze environment, where, given an ambiguous choice, the agents seem to prefer generalization based on colour rather than shape. After training over 1,000 agents in a simplified version of the environment and evaluating them on over 10 million episodes, we conclude that the behaviour can be attributed to the agents learning to detect the goal object through a specific colour channel. This choice is arbitrary. Additionally, we show how, due to underspecification, the preferences can change when retraining the agents using exactly the same procedure except for using a different random seed for the training run. Finally, we demonstrate the existence of outliers in out-of-distribution behaviour based on training random seed alone.
• Abstract（参考訳）: プロジェン迷路環境においてdi langosco et al. (2022) によって実証された色と形状の目標の誤一般化について検討し, あいまいな選択をすると, エージェントは形ではなく色に基づく一般化を好むように見える。 簡易な環境下で1000以上のエージェントを訓練し,1000万回以上のエピソードで評価した結果,特定の色チャンネルを通して目標物を検出することを学習したエージェントの行動に起因する可能性が示唆された。 この選択は任意です。 さらに,不特定化により,トレーニング実行に異なるランダムシードを使用する場合を除き,全く同じ手順でエージェントを再トレーニングする場合,エージェントの好みがどう変化するかを示す。 最後に, ランダムシードのみの学習に基づく分布外行動における外れ値の存在を実証する。

関連論文リスト

• Identifying and Addressing Delusions for Target-Directed Decision-Making [81.22463009144987]
  ターゲット指向のエージェントは、問題のあるターゲットを盲目的に追跡する傾向があり、その結果、より一層の一般化と安全性の破滅が生じる。 これらの行動は、トレーニングに関する不適切な設計から生じる妄想の結果であることを示す。 我々は、エージェントが先制的かつ自律的に妄想に対処する方法を実証する。
  論文  参考訳（メタデータ） (2024-10-09T17:35:25Z)
• Generalizing to any diverse distribution: uniformity, gentle finetuning and rebalancing [55.791818510796645]
  我々は,訓練データから大きく逸脱した場合でも,様々なテスト分布によく適応するモデルを開発することを目的としている。 ドメイン適応、ドメイン一般化、ロバスト最適化といった様々なアプローチは、アウト・オブ・ディストリビューションの課題に対処しようと試みている。 我々は、既知のドメイン内の十分に多様なテスト分布にまたがる最悪のケースエラーを考慮することで、より保守的な視点を採用する。
  論文  参考訳（メタデータ） (2024-10-08T12:26:48Z)
• Personalized Path Recourse for Reinforcement Learning Agents [4.768286204382179]
  目標は、エージェントの本来のパスと高い類似性を確保しながら、望ましい目標を達成するために、与えられた行動経路を編集することである。 このようなパーソナライズされたパスを生成するために、パーソナライズされたリコースエージェントを訓練する。 提案手法は強化学習と教師あり学習設定の両方に適用できる。
  論文  参考訳（メタデータ） (2023-12-14T08:10:57Z)
• Probabilistic Test-Time Generalization by Variational Neighbor-Labeling [62.158807685159736]
  本稿では、ドメインの一般化を試み、モデルが未確認のターゲットドメインにデプロイされる前に、ソースドメインにのみトレーニングされる。 ソーストレーニングされたモデルをテスト時にターゲットドメインに一般化するための、ターゲットサンプルの擬似ラベル化の確率。 より堅牢な擬似ラベルを生成するために、近隣のターゲットサンプルの情報を含む変分隣接ラベル。
  論文  参考訳（メタデータ） (2023-07-08T18:58:08Z)
• A Robust Classifier Under Missing-Not-At-Random Sample Selection Bias [15.628927478079913]
  統計学において、グリーンの手法は、このタイプのサンプル選択を予測モデルとしてロジスティック回帰を用いて定式化する。 元のトレーニングセットを変更することでグリーンの手法を改善するアルゴリズムであるBiasCorrを提案する。 グリーン法よりもバイアスの偏りを解析し,BiasCorrの改良を理論的に保証する。
  論文  参考訳（メタデータ） (2023-05-25T01:39:51Z)
• Selective imitation on the basis of reward function similarity [0.0]
  模倣は人間の社会的行動の重要な要素である。 我々は、自分に類似した報酬機能を持つと考える他人の行動を、人々が優先的に模倣すると主張する。
  論文  参考訳（メタデータ） (2023-05-12T12:40:08Z)
• An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
  解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。 既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。 本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-07T06:50:27Z)
• Predicting Out-of-Domain Generalization with Neighborhood Invariance [59.05399533508682]
  局所変換近傍における分類器の出力不変性の尺度を提案する。 私たちの測度は計算が簡単で、テストポイントの真のラベルに依存しません。 画像分類,感情分析,自然言語推論のベンチマーク実験において,我々の測定値と実際のOOD一般化との間に強い相関関係を示す。
  論文  参考訳（メタデータ） (2022-07-05T14:55:16Z)
• Active Learning Helps Pretrained Models Learn the Intended Task [14.42594036213011]
  事前訓練されたモデルでは、不確実性に基づくアクティブラーニングを使用する場合、ラベルの最大5倍のコストが要求される。 これらの利益は、意図した振る舞いを曖昧にするような属性で例を選択できる能力から得られます。 これらの属性は、事前訓練されたモデルの表現空間において、非事前訓練されたモデルよりもはるかに線形に分離可能であり、この挙動のメカニズムを示唆している。
  論文  参考訳（メタデータ） (2022-04-18T18:00:19Z)
• Causal Confusion and Reward Misidentification in Preference-Based Reward Learning [33.944367978407904]
  選好から学習する際の因果的混乱と報酬的誤認について検討した。 その結果,非因果的障害の特徴,優先条件のノイズ,部分的状態観察性の存在が,報酬の誤認を悪化させることが判明した。
  論文  参考訳（メタデータ） (2022-04-13T18:41:41Z)
• Tracking disease outbreaks from sparse data with Bayesian inference [55.82986443159948]
  新型コロナウイルス(COVID-19)のパンデミックは、感染発生時の感染率を推定する新たな動機を与える。 標準的な手法は、より細かいスケールで共通する部分的な観測可能性とスパースなデータに対応するのに苦労する。 原理的に部分観測可能なベイズ的枠組みを提案する。
  論文  参考訳（メタデータ） (2020-09-12T20:37:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。