論文の概要: Disentangling Recognition and Decision Regrets in Image-Based Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2409.13108v1
- Date: Thu, 19 Sep 2024 22:26:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 11:52:12.913260
- Title: Disentangling Recognition and Decision Regrets in Image-Based Reinforcement Learning
- Title（参考訳）: 画像に基づく強化学習におけるディスタングル認識と決定規則
- Authors: Alihan Hüyük, Arndt Ryo Koblitz, Atefeh Mohajeri, Matthew Andrews,
- Abstract要約: 画像に基づく強化学習では、性能と急激な相関や意思決定に無関係な特徴が一般化性能の低下につながる可能性がある。
我々は,2つの誤りの原因を解き明かすために,認識の後悔と決定の後悔という概念を導入する。
本稿では,迷路環境とアタリゲームポンの両面において,過度に特有の表現と過小な表現の両方による観測過適合の例を示す。
- 参考スコア（独自算出の注目度）: 10.709424839120407
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In image-based reinforcement learning (RL), policies usually operate in two steps: first extracting lower-dimensional features from raw images (the "recognition" step), and then taking actions based on the extracted features (the "decision" step). Extracting features that are spuriously correlated with performance or irrelevant for decision-making can lead to poor generalization performance, known as observational overfitting in image-based RL. In such cases, it can be hard to quantify how much of the error can be attributed to poor feature extraction vs. poor decision-making. In order to disentangle the two sources of error, we introduce the notions of recognition regret and decision regret. Using these notions, we characterize and disambiguate the two distinct causes behind observational overfitting: over-specific representations, which include features that are not needed for optimal decision-making (leading to high decision regret), vs. under-specific representations, which only include a limited set of features that were spuriously correlated with performance during training (leading to high recognition regret). Finally, we provide illustrative examples of observational overfitting due to both over-specific and under-specific representations in maze environments as well as the Atari game Pong.
- Abstract（参考訳）: 画像に基づく強化学習(RL)では、まず原画像から低次元の特徴を抽出し("認識"ステップ)、抽出した特徴に基づいて行動を取る("決定"ステップ)。
画像ベースRLにおける観察オーバーフィットとして知られる、性能と急激な相関や意思決定に無関係な抽出特徴は、一般化性能の低下につながる可能性がある。
このようなケースでは、エラーのどれ程が機能抽出不良によるものか、判断不良によるものかを定量化することは困難である。
この2つの誤りの原因を解消するために,認識的後悔と決定的後悔という概念を導入する。
これらの概念を用いて、我々は観察過剰適合の背景にある2つの異なる原因を特徴づけ、曖昧にする: 最適な意思決定に必要のない特徴(高い決定の後悔につながる)を含む過特定表現と、訓練中のパフォーマンス(高い認識の後悔につながる)と急激な相関関係を持つ限られた特徴のみを含む過特定表現である。
最後に,迷路環境とアタリゲームポンの両面において,過剰固有表現と過小固有表現の両方による観測過適合の例を示す。
関連論文リスト
- Discrepancy-Guided Reconstruction Learning for Image Forgery Detection [10.221066530624373]
本稿ではまず,不規則な視覚パターンを抽出するDisrepancy-Guided (DisGE)を提案する。
次にDouHR(Dou-Head Reconstruction)モジュールを導入し、異なる粒度空間における真のコンパクトな視覚パターンを強化する。
さらに、DouHRでは、これらの真のコンパクトな視覚パターンを集約するDiscrepancy-Aggregation Detector (DisAD)を導入する。
論文 参考訳（メタデータ） (2023-04-26T07:40:43Z) - Visual Perturbation-aware Collaborative Learning for Overcoming the
Language Prior Problem [60.0878532426877]
本稿では,視覚的摂動校正の観点から,新しい協調学習手法を提案する。
具体的には、異なる摂動範囲で2種類のキュレートされた画像を構築するための視覚コントローラを考案する。
2つの診断VQA-CPベンチマークデータセットの実験結果は、その効果を明らかに示している。
論文 参考訳（メタデータ） (2022-07-24T23:50:52Z) - Stochastic Attribute Modeling for Face Super-Resolution [23.30144908939099]
高分解能(HR)画像が低分解能(LR)画像に分解されると、画像は既存の情報の一部を失う。
既存の手法のほとんどは、属性によって引き起こされる不確実性を考慮しておらず、確率論的に推測できるだけである。
本稿では,モデリングによる不確実性を考慮した新しい顔超解像(SR)手法を提案する。
論文 参考訳（メタデータ） (2022-07-16T13:38:05Z) - Towards Unsupervised Deep Image Enhancement with Generative Adversarial
Network [92.01145655155374]
監視されていない画像強調生成ネットワーク(UEGAN)を提案する。
教師なしの方法で所望の特性を持つ画像の集合から、対応する画像と画像のマッピングを学習する。
その結果,提案モデルは画像の美的品質を効果的に向上することがわかった。
論文 参考訳（メタデータ） (2020-12-30T03:22:46Z) - Gait Recognition using Multi-Scale Partial Representation Transformation
with Capsules [22.99694601595627]
本稿では,カプセルを用いたマルチスケール部分歩行表現の伝達を学習する,新しいディープネットワークを提案する。
我々のネットワークは、まず最先端のディープ部分特徴抽出器を用いて、マルチスケールな部分表現を得る。
その後、前向きと後向きの部分的特徴間のパターンの相関関係と共起関係を繰り返し学習する。
論文 参考訳（メタデータ） (2020-10-18T19:47:38Z) - Interpretable Detail-Fidelity Attention Network for Single Image
Super-Resolution [89.1947690981471]
本研究では,スムースとディテールを段階的に分割・収束的に処理する,目的・解釈可能なディテール・ファイダリティ・アテンション・ネットワークを提案する。
特に,詳細推論において顕著な解釈可能な特徴表現のためのヘシアンフィルタを提案する。
実験により,提案手法は最先端手法よりも優れた性能を示すことが示された。
論文 参考訳（メタデータ） (2020-09-28T08:31:23Z) - Deep Variational Network Toward Blind Image Restoration [60.45350399661175]
ブラインド画像復元はコンピュータビジョンでは一般的だが難しい問題である。
両利点を両立させることを目的として,新しいブラインド画像復元手法を提案する。
画像デノイングと超解像という2つの典型的なブラインド赤外線タスクの実験により,提案手法が現状よりも優れた性能を達成できることが実証された。
論文 参考訳（メタデータ） (2020-08-25T03:30:53Z) - Disentanglement for Discriminative Visual Recognition [7.954325638519141]
この章では、有害な要因を、タスク関連/非関連なセマンティックなバリエーションと、特定されていない潜伏的なバリエーションとして体系的に要約する。
統合された2つの完全に接続されたレイヤブランチフレームワークにおいて、ディープメトリックロスとソフトマックスロスを組み合わせることで、より優れたFER性能を実現することができる。
このフレームワークは、照明、化粧、変装耐性顔認証、顔属性認識など、一連のタスクにおいて最高のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2020-06-14T06:10:51Z) - An Attention-Based Deep Learning Model for Multiple Pedestrian
Attributes Recognition [4.6898263272139795]
本稿では,監視映像における歩行者の自動特徴付け問題に対する新しい解決策を提供する。
本稿では,より包括的な特徴表現を抽出するために,要素ワイド乗算層を用いたマルチタスクディープモデルを提案する。
実験は,2つのよく知られたデータセット (RAP と PETA) を用いて実施し,提案手法の最先端性に着目した。
論文 参考訳（メタデータ） (2020-04-02T16:21:14Z) - Gated Fusion Network for Degraded Image Super Resolution [78.67168802945069]
本稿では,基本特徴と回復特徴を別々に抽出する二分岐畳み込みニューラルネットワークを提案する。
特徴抽出ステップを2つのタスク非依存ストリームに分解することで、デュアルブランチモデルがトレーニングプロセスを容易にすることができる。
論文 参考訳（メタデータ） (2020-03-02T13:28:32Z) - Characteristic Regularisation for Super-Resolving Face Images [81.84939112201377]
既存の顔画像超解像法(SR)は、主に人工的にダウンサンプリングされた低解像度(LR)画像の改善に焦点を当てている。
従来の非教師なしドメイン適応(UDA)手法は、未ペアの真のLRとHRデータを用いてモデルをトレーニングすることでこの問題に対処する。
これにより、視覚的特徴を構成することと、画像の解像度を高めることの2つのタスクで、モデルをオーバーストレッチする。
従来のSRモデルとUDAモデルの利点を結合する手法を定式化する。
論文 参考訳（メタデータ） (2019-12-30T16:27:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。