論文の概要: Gray-box Adversarial Attack of Deep Reinforcement Learning-based Trading
Agents
- arxiv url: http://arxiv.org/abs/2309.14615v1
- Date: Tue, 26 Sep 2023 02:07:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-27 15:17:25.535821
- Title: Gray-box Adversarial Attack of Deep Reinforcement Learning-based Trading
Agents
- Title（参考訳）: 深層強化学習型取引エージェントのグレーボックス攻撃
- Authors: Foozhan Ataiefard, Hadi Hemmati
- Abstract要約: ディープRLベースのトレーディングエージェントを攻撃するための「グレーボックス」アプローチは、トレーディングエージェントに余分にアクセスすることなく、同じ株式市場で取引することで可能である。
逆エージェントは、ハイブリッドのDeep Neural Networkを、畳み込み層と完全に接続された層からなるポリシーとして使用する。
- 参考スコア（独自算出の注目度）: 0.8339831319589133
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, deep reinforcement learning (Deep RL) has been successfully
implemented as a smart agent in many systems such as complex games,
self-driving cars, and chat-bots. One of the interesting use cases of Deep RL
is its application as an automated stock trading agent. In general, any
automated trading agent is prone to manipulations by adversaries in the trading
environment. Thus studying their robustness is vital for their success in
practice. However, typical mechanism to study RL robustness, which is based on
white-box gradient-based adversarial sample generation techniques (like FGSM),
is obsolete for this use case, since the models are protected behind secure
international exchange APIs, such as NASDAQ. In this research, we demonstrate
that a "gray-box" approach for attacking a Deep RL-based trading agent is
possible by trading in the same stock market, with no extra access to the
trading agent. In our proposed approach, an adversary agent uses a hybrid Deep
Neural Network as its policy consisting of Convolutional layers and
fully-connected layers. On average, over three simulated trading market
configurations, the adversary policy proposed in this research is able to
reduce the reward values by 214.17%, which results in reducing the potential
profits of the baseline by 139.4%, ensemble method by 93.7%, and an automated
trading software developed by our industrial partner by 85.5%, while consuming
significantly less budget than the victims (427.77%, 187.16%, and 66.97%,
respectively).
- Abstract（参考訳）: 近年、深層強化学習(Deep RL)は、複雑なゲーム、自動運転車、チャットボットなど多くのシステムにおいて、スマートエージェントとして実装されている。
Deep RLの興味深いユースケースの1つは、自動株式取引エージェントとしての利用である。
一般に、任意の自動取引業者は、取引環境における敵による操作に弱い。
したがって、彼らの堅牢性を研究することは、実践の成功に不可欠である。
しかし, モデルがNASDAQなどのセキュアな国際交換APIの裏で保護されているため, ホワイトボックス勾配に基づく逆方向サンプル生成技術(FGSMなど)をベースとしたRLロバスト性研究の典型的なメカニズムは, このユースケースでは時代遅れである。
本研究では,同一株式市場で取引することで,取引業者に余分なアクセスを行わずに,深いrlベースのトレーディングエージェントを攻撃する「グレーボックス」アプローチが可能であることを実証する。
提案手法では,畳み込み層と完全連結層からなるポリシとして,ハイブリッドディープニューラルネットワークを用いる。
平均して3つ以上の模擬取引市場構成において、本研究で提案された敵意政策は、報酬価値を214.17%減らすことができ、それによってベースラインの潜在的な利益を139.4%減らし、アンサンブル方式を93.7%減らし、産業パートナーが開発する自動取引ソフトを85.5%減らし、被害者よりも大幅に少ない予算(427.77%、187.16%、66.97%)を消費する。
関連論文リスト
- Hierarchical Reinforced Trader (HRT): A Bi-Level Approach for Optimizing Stock Selection and Execution [0.9553307596675155]
本稿では,階層強化学習フレームワークを用いた新たなトレーディング戦略である階層強化トレーサ(HRT)を紹介する。
HRTは、戦略的株式選択のためのPPO(Proximal Policy Optimization)ベースのHigh-Level Controller(HLC)をDDPG(Deep Deterministic Policy Gradient)ベースのLow-Level Controller(LLC)と統合する。
論文 参考訳（メタデータ） (2024-10-19T01:29:38Z) - Improved Generation of Adversarial Examples Against Safety-aligned LLMs [72.38072942860309]
勾配に基づく手法を用いて生成した敵対的プロンプトは、安全対応のLDMに対して自動ジェイルブレイク攻撃を行う際、優れた性能を示す。
本稿では,この問題に対する新たな視点を探求し,トランスファーベースの攻撃にインスパイアされたイノベーションを活用することで緩和できることを示唆する。
この組み合わせによって生成されたクエリ固有逆接接尾辞の87%がLlama-2-7B-Chatを誘導し、AdvBench上のターゲット文字列と正確に一致する出力を生成することを示した。
論文 参考訳（メタデータ） (2024-05-28T06:10:12Z) - Fault Injection and Safe-Error Attack for Extraction of Embedded Neural Network Models [1.2499537119440245]
モノのインターネット(IoT)における32ビットマイクロコントローラの組み込みディープニューラルネットワークモデルに焦点をあてる。
攻撃を成功させるためのブラックボックス手法を提案する。
古典的畳み込みニューラルネットワークでは、1500個の入力で最も重要なビットの少なくとも90%を回復することに成功した。
論文 参考訳（メタデータ） (2023-08-31T13:09:33Z) - G$^2$uardFL: Safeguarding Federated Learning Against Backdoor Attacks
through Attributed Client Graph Clustering [116.4277292854053]
Federated Learning (FL)は、データ共有なしで協調的なモデルトレーニングを提供する。
FLはバックドア攻撃に弱いため、有害なモデル重みがシステムの整合性を損なう。
本稿では、悪意のあるクライアントの識別を属性グラフクラスタリング問題として再解釈する保護フレームワークであるG$2$uardFLを提案する。
論文 参考訳（メタデータ） (2023-06-08T07:15:04Z) - A Novel Deep Reinforcement Learning Based Automated Stock Trading System
Using Cascaded LSTM Networks [3.593955557310285]
そこで我々は,まずLSTMを用いて日次データから時系列特徴を抽出し,抽出した特徴を訓練エージェントに供給する,DRLベースの株式取引システムを提案する。
米国の市場におけるDJIと中国の株式市場におけるSSE50の実験は、当社のモデルが累積リターンとシャープ比で従来のベースラインモデルを上回っていることを示している。
論文 参考訳（メタデータ） (2022-12-06T03:22:06Z) - Deep Reinforcement Learning in Quantitative Algorithmic Trading: A
Review [0.0]
深層強化学習エージェントはChessやGoといった多くのゲームで想定される力であることが証明された。
本稿では、ファイナンスにおけるAIのサブドメインにおける深層強化学習の進歩を概観する。
我々は、株取引におけるDRLは、強い前提の下でプロのトレーダーと競合する可能性が大きいと結論付けている。
論文 参考訳（メタデータ） (2021-05-31T22:26:43Z) - BACKDOORL: Backdoor Attack against Competitive Reinforcement Learning [80.99426477001619]
バックドア攻撃を複数のエージェントを含むより複雑なRLシステムに移行する。
概念実証として、敵のエージェントが被害者エージェントのバックドアを独自のアクションでトリガーできることを実証します。
その結果, バックドアが作動すると, 有効でない場合と比較して, 被害者の勝利率は17%から37%に低下することがわかった。
論文 参考訳（メタデータ） (2021-05-02T23:47:55Z) - Adversarial Attacks on Deep Algorithmic Trading Policies [8.774604259603302]
深層強化学習(Dep Reinforcement Learning, DRL)は、株価や暗号通貨の高頻度取引などのアルゴリズム取引において魅力的なソリューションとなっている。
アルゴリズム取引DRLエージェントは、このような敵の手法によっても妥協され、ポリシー操作につながる可能性がある。
我々は、ディープトレーディングポリシーの脅威モデルを開発し、テスト時にそのようなポリシーの性能を操作するための2つの攻撃手法を提案する。
論文 参考訳（メタデータ） (2020-10-22T02:26:29Z) - Robust Deep Reinforcement Learning through Adversarial Loss [74.20501663956604]
近年の研究では、深層強化学習剤は、エージェントの入力に対する小さな逆方向の摂動に弱いことが示されている。
敵攻撃に対する堅牢性を向上した強化学習エージェントを訓練するための原則的フレームワークであるRADIAL-RLを提案する。
論文 参考訳（メタデータ） (2020-08-05T07:49:42Z) - Scalable Multi-Agent Inverse Reinforcement Learning via
Actor-Attention-Critic [54.2180984002807]
マルチエージェント逆逆強化学習 (MA-AIRL) は, 単エージェントAIRLをマルチエージェント問題に適用する最近の手法である。
本稿では,従来の手法よりもサンプル効率が高く,スケーラブルなマルチエージェント逆RLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-02-24T20:30:45Z) - Adversarial Attacks on Machine Learning Systems for High-Frequency
Trading [55.30403936506338]
逆機械学習の観点から,アルゴリズム取引のバリュエーションモデルについて検討する。
攻撃コストを最小限に抑えるサイズ制約で、このドメインに特有の新たな攻撃を導入する。
本稿では、金融モデルのロバスト性について研究・評価するための分析ツールとして、これらの攻撃がどのように利用できるかについて論じる。
論文 参考訳（メタデータ） (2020-02-21T22:04:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。