論文の概要: Structured Hierarchical Dialogue Policy with Graph Neural Networks
- arxiv url: http://arxiv.org/abs/2009.10355v1
- Date: Tue, 22 Sep 2020 07:23:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-15 22:25:51.557650
- Title: Structured Hierarchical Dialogue Policy with Graph Neural Networks
- Title(参考訳): グラフニューラルネットワークを用いた階層型対話ポリシー
- Authors: Zhi Chen, Xiaoyuan Liu, Lu Chen and Kai Yu
- Abstract要約: 階層的深部強化学習 (L) 法は, 複合作業において良好な性能を示した。
バニラHDRLでは、トップレベルとローレベルの両方のポリシーは多層パーセプトロン(MLP)によって表される
従来のHDRLアプローチはサンプリング効率が低く、転送性も低い。
階層型エージェントの構造をモデル化する新しいComNetを提案する。
- 参考スコア(独自算出の注目度): 32.30728273450509
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dialogue policy training for composite tasks, such as restaurant reservation
in multiple places, is a practically important and challenging problem.
Recently, hierarchical deep reinforcement learning (HDRL) methods have achieved
good performance in composite tasks. However, in vanilla HDRL, both top-level
and low-level policies are all represented by multi-layer perceptrons (MLPs)
which take the concatenation of all observations from the environment as the
input for predicting actions. Thus, traditional HDRL approach often suffers
from low sampling efficiency and poor transferability. In this paper, we
address these problems by utilizing the flexibility of graph neural networks
(GNNs). A novel ComNet is proposed to model the structure of a hierarchical
agent. The performance of ComNet is tested on composited tasks of the PyDial
benchmark. Experiments show that ComNet outperforms vanilla HDRL systems with
performance close to the upper bound. It not only achieves sample efficiency
but also is more robust to noise while maintaining the transferability to other
composite tasks.
- Abstract(参考訳): 複数の場所でのレストラン予約のような複合作業のための対話政策訓練は、事実上重要かつ困難な問題である。
近年,階層型深層強化学習 (hdrl) 法が複合作業において優れた性能を達成している。
しかしながら、バニラHDRLでは、トップレベルとローレベルの両方のポリシーは、全て多層パーセプトロン(MLP)によって表現され、環境からのすべての観測を、アクションを予測する入力として扱う。
したがって、従来のHDRLアプローチはサンプリング効率が低く、転送性も低い。
本稿では,グラフニューラルネットワーク(GNN)の柔軟性を利用して,これらの問題に対処する。
階層型エージェントの構造をモデル化する新しいComNetを提案する。
ComNetのパフォーマンスは、PyDialベンチマークの複合タスクでテストされる。
実験によると、comnetはバニラhdrlシステムよりも上限に近い性能で優れている。
サンプル効率を達成するだけでなく、他の複合タスクへの転送性を維持しながら、ノイズに対してより堅牢である。
関連論文リスト
- Informed deep hierarchical classification: a non-standard analysis inspired approach [0.0]
出力層の前に配置された特定のプロジェクション演算子を備えた多出力ディープニューラルネットワークで構成されている。
このようなアーキテクチャの設計は、LH-DNN(Lexicographic Hybrid Deep Neural Network)と呼ばれ、異なる研究分野と非常に離れた研究分野のツールを組み合わせることで実現されている。
アプローチの有効性を評価するために、階層的な分類タスクに適した畳み込みニューラルネットワークであるB-CNNと比較する。
論文 参考訳(メタデータ) (2024-09-25T14:12:50Z) - Joint Admission Control and Resource Allocation of Virtual Network Embedding via Hierarchical Deep Reinforcement Learning [69.00997996453842]
本稿では,仮想ネットワークの埋め込みにおいて,入出力制御と資源配分を併用して学習する深層強化学習手法を提案する。
HRL-ACRAは,受入率と長期平均収益の両面で,最先端のベースラインを上回っていることを示す。
論文 参考訳(メタデータ) (2024-06-25T07:42:30Z) - TOPIQ: A Top-down Approach from Semantics to Distortions for Image
Quality Assessment [53.72721476803585]
画像品質評価(IQA)は、ディープニューラルネットワークによる顕著な進歩を目の当たりにしたコンピュータビジョンの基本課題である。
本稿では,高レベルの意味論を用いてIQAネットワークを誘導し,意味的に重要な局所歪み領域に注目するトップダウンアプローチを提案する。
提案手法の重要な要素は,低レベル特徴に対するアテンションマップを算出した,クロススケールアテンション機構である。
論文 参考訳(メタデータ) (2023-08-06T09:08:37Z) - AGNN: Alternating Graph-Regularized Neural Networks to Alleviate
Over-Smoothing [29.618952407794776]
グラフ畳み込み層(GCL)とグラフ埋め込み層(GEL)からなる交代グラフ正規化ニューラルネットワーク(AGNN)を提案する。
GELはラプラシアン埋め込み項を含むグラフ正規化最適化から導かれる。
AGNNは、いくつかの多層または多次グラフニューラルネットワークのパフォーマンス比較を含む、多数の実験を通じて評価されている。
論文 参考訳(メタデータ) (2023-04-14T09:20:03Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳(メタデータ) (2022-05-11T17:43:54Z) - Soft Hierarchical Graph Recurrent Networks for Many-Agent Partially
Observable Environments [9.067091068256747]
本稿では,階層型グラフ再帰ネットワーク(HGRN)と呼ばれる新しいネットワーク構造を提案する。
以上の技術に基づいて,Soft-HGRNと呼ばれる値に基づくMADRLアルゴリズムと,SAC-HRGNというアクタクリティカルな変種を提案する。
論文 参考訳(メタデータ) (2021-09-05T09:51:25Z) - Smoother Network Tuning and Interpolation for Continuous-level Image
Processing [7.730087303035803]
フィルタ遷移ネットワーク(FTN)は、連続学習のための構造的にスムーズなモジュールである。
FTNは様々なタスクやネットワークをまたいでうまく一般化し、望ましくない副作用を少なくする。
FTNの安定学習のために,IDマッピングを用いた非線形ニューラルネットワーク層を提案する。
論文 参考訳(メタデータ) (2020-10-05T18:29:52Z) - Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。
複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。
本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
論文 参考訳(メタデータ) (2020-06-26T17:03:06Z) - Fitting the Search Space of Weight-sharing NAS with Graph Convolutional
Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。
この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文 参考訳(メタデータ) (2020-04-17T19:12:39Z) - Convolutional Networks with Dense Connectivity [59.30634544498946]
Dense Convolutional Network (DenseNet)を導入し、フィードフォワード方式で各レイヤを他のすべてのレイヤに接続する。
各レイヤについて、先行するすべてのレイヤのフィーチャーマップをインプットとして使用し、それ自身のフィーチャーマップをその後のすべてのレイヤへのインプットとして使用します。
提案したアーキテクチャを、4つの高度に競争力のあるオブジェクト認識ベンチマークタスクで評価する。
論文 参考訳(メタデータ) (2020-01-08T06:54:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。