論文の概要: A Simple Way to Incorporate Novelty Detection in World Models
- arxiv url: http://arxiv.org/abs/2310.08731v1
- Date: Thu, 12 Oct 2023 21:38:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-16 15:33:13.307934
- Title: A Simple Way to Incorporate Novelty Detection in World Models
- Title(参考訳): 世界モデルにおける新規性検出の簡易化
- Authors: Geigh Zollicoffer, Kenneth Eaton, Jonathan Balloch, Julia Kim, Mark O.
Riedl, Robert Wright
- Abstract要約: 世界モデルを用いた強化学習(RL)は近年大きな成功を収めている。
しかし、突然世界力学や性質が変化した場合、エージェントの性能と信頼性は劇的に低下する。
本稿では,世界モデルRLエージェントにノベルティ検出を組み込むための単純なバウンディング手法を提案する。
- 参考スコア(独自算出の注目度): 15.91258156780494
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning (RL) using world models has found significant recent
successes. However, when a sudden change to world mechanics or properties
occurs then agent performance and reliability can dramatically decline. We
refer to the sudden change in visual properties or state transitions as {\em
novelties}. Implementing novelty detection within generated world model
frameworks is a crucial task for protecting the agent when deployed. In this
paper, we propose straightforward bounding approaches to incorporate novelty
detection into world model RL agents, by utilizing the misalignment of the
world model's hallucinated states and the true observed states as an anomaly
score. We first provide an ontology of novelty detection relevant to sequential
decision making, then we provide effective approaches to detecting novelties in
a distribution of transitions learned by an agent in a world model. Finally, we
show the advantage of our work in a novel environment compared to traditional
machine learning novelty detection methods as well as currently accepted RL
focused novelty detection algorithms.
- Abstract(参考訳): 世界モデルを用いた強化学習(RL)は近年大きな成功を収めている。
しかし、突然世界力学や性質が変化した場合、エージェントの性能と信頼性は劇的に低下する。
視覚特性や状態遷移の突然の変化を {\em novelties} と呼ぶ。
生成したワールドモデルフレームワークに新規性検出を実装することは、デプロイ時にエージェントを保護するための重要なタスクである。
本稿では,世界模型の幻覚状態と真の観測状態の誤配を異常スコアとして利用することにより,新規性検出を世界モデルRLエージェントに組み込むための単純なバウンダリング手法を提案する。
まず、逐次意思決定に関連する新規性検出のオントロジーを提供し、次いで、エージェントが世界モデルで学習した遷移の分布において、新規性を検出する効果的なアプローチを提案する。
最後に、従来の機械学習のノベルティ検出法や、現在受け入れられているrlにフォーカスしたノベルティ検出アルゴリズムと比較して、新しい環境での研究の利点を示す。
関連論文リスト
- ReCoRe: Regularized Contrastive Representation Learning of World Model [22.842308869723738]
我々は, (i) 対照的な教師なし学習と (ii) 介入不変正規化器を用いて不変特徴を学習する世界モデルを提案する。
提案手法は現状のモデルベースおよびモデルフリーのRL法よりも優れており,iGibsonベンチマークで評価された分布外点ナビゲーションタスクに大きく貢献する。
論文 参考訳(メタデータ) (2023-12-14T15:53:07Z) - Enhancing Novel Object Detection via Cooperative Foundational Models [75.30243629533277]
本稿では,既存のクローズドセット検出器をオープンセット検出器に変換する新しい手法を提案する。
私たちは、新しいクラスに対して7.2$ textAP_50 のマージンで現在の最先端を越えています。
論文 参考訳(メタデータ) (2023-11-19T17:28:28Z) - Activate and Reject: Towards Safe Domain Generalization under Category
Shift [71.95548187205736]
カテゴリーシフト(DGCS)下における領域一般化の実践的問題について検討する。
未知のクラスサンプルを同時に検出し、ターゲットドメイン内の既知のクラスサンプルを分類することを目的としている。
従来のDGと比較すると,1)ソースクラスのみを用いたトレーニングにおいて,未知の概念を学習する方法,2)ソーストレーニングされたモデルを未知の環境に適応する方法,の2つの新しい課題に直面している。
論文 参考訳(メタデータ) (2023-10-07T07:53:12Z) - Small Object Detection via Coarse-to-fine Proposal Generation and
Imitation Learning [52.06176253457522]
本稿では,粗粒度パイプラインと特徴模倣学習に基づく小型物体検出に適した2段階フレームワークを提案する。
CFINetは、大規模な小さなオブジェクト検出ベンチマークであるSODA-DとSODA-Aで最先端の性能を達成する。
論文 参考訳(メタデータ) (2023-08-18T13:13:09Z) - Lifelong Change Detection: Continuous Domain Adaptation for Small Object
Change Detection in Every Robot Navigation [5.8010446129208155]
地表面の視界変化検出は, 複雑な非線形視点投影と相まって, 視界の不確かさに悩まされる。
正規化のためには,手動で注釈付けされた高品質なオブジェクトクラス固有の先行手法が一般的である。
本手法は,日常のロボットナビゲーションにおいて検出される物体の変化を,将来的な変化検出タスクを改善するために,追加の事前として再利用できるという,強力で汎用的な考え方を採用する。
論文 参考訳(メタデータ) (2023-06-28T10:34:59Z) - Learning to Operate in Open Worlds by Adapting Planning Models [12.513121330508477]
プランニングエージェントは、ドメインモデルがもはや正確に世界を表すことができない新しい状況で振る舞うことができない。
オープンな世界で活動するエージェントに対して,新規性の存在を検知し,ドメインモデルに効果的に適用するアプローチを提案する。
論文 参考訳(メタデータ) (2023-03-24T21:04:16Z) - Neuro-Symbolic World Models for Adapting to Open World Novelty [9.707805250772129]
早急なノベルティ適応のための、エンドツーエンドのトレーニング可能なニューロシンボリックワールドモデルであるWorldClonerを紹介する。
WorldClonerは、プレノベルティ環境遷移の効率的なシンボル表現を学ぶ。
WorldClonerは、想像力に基づく適応を使用してポリシー学習プロセスを強化する。
論文 参考訳(メタデータ) (2023-01-16T07:49:12Z) - When Neural Networks Fail to Generalize? A Model Sensitivity Perspective [82.36758565781153]
ドメイン一般化 (Domain Generalization, DG) は、異なる分布の下で見えないドメインでうまく機能するようにモデルを訓練することを目的としている。
本稿では,より現実的で,より困難なシナリオである単一領域一般化(Single-DG)について考察する。
我々は「モデル感度」と命名する一般化と強く相関するモデルの性質を経験的に確認する。
本稿では、高感度の周波数をターゲットとした拡張画像を生成するために、スペクトル逆データ拡張(SADA)の新たな戦略を提案する。
論文 参考訳(メタデータ) (2022-12-01T20:15:15Z) - Towards Online Domain Adaptive Object Detection [79.89082006155135]
既存のオブジェクト検出モデルは、トレーニングデータとテストデータの両方が同じソースドメインからサンプリングされていると仮定します。
オンライン設定における対象領域の一般化を適応・改善する新しい統合適応フレームワークを提案する。
論文 参考訳(メタデータ) (2022-04-11T17:47:22Z) - TransductGAN: a Transductive Adversarial Model for Novelty Detection [4.574919718545737]
ノベルティ検出の一般的な設定は、トレーニング期間中に負のクラスの例のみが利用可能となる誘導的である。
一方、トランスダクティブノベルティ検出は、最近の関心の高まりを目撃したばかりでなく、トレーニング中に負のクラスを利用するだけでなく、新しい例を検出するための(ラベルのない)テストセットも組み込んでいる。
論文 参考訳(メタデータ) (2022-03-29T10:08:07Z) - Federated and Generalized Person Re-identification through Domain and
Feature Hallucinating [88.77196261300699]
人物再識別(re-ID)におけるフェデレーションドメイン一般化(FedDG)の問題について検討する。
一般化された局所的・グローバルなモデルを学ぶための多様な特徴を創出する手法として,DFH (Domain and Feature Hallucinating) を提案する。
提案手法は4つの大規模re-IDベンチマークにおいてFedDGの最先端性能を実現する。
論文 参考訳(メタデータ) (2022-03-05T09:15:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。