このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス（CC 0, CC BY, CC BY-SA）の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。（arxivのメタデータは CC 0です。） 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。
公開日が20200222となっている論文です。
| Title | Authors | Abstract | 論文公表日・翻訳日 |
|---|---|---|---|
| # 顧客レビューがホテル評価に与える影響を理解する--実証的研究 Understanding the Impact of Customer Reviews on Hotel Rating: An Empirical Research ( http://arxiv.org/abs/2002.05342v3 ) ライセンス: Link先を確認 | J. Ahmad and H. Sami Ullah and S. Aslam | (参考訳) インターネットの普及は私たちの生活に多くの調整をもたらした。
インターネットは、私たちの生活を継続する方法、機会を過ごす方法、日々の会話の仕方、アイテムの購入方法を根本的に変えました。
ユーザ間のインターネット開発は、Webベースのライフ、レビューサイト、オンラインジャーナル、アイテムファンページなどによって、インターネット上のコンテンツを作成してきた。
これは、イベントを手配したり、適切なホテルを探す別の方法につながっている。
こうして、ホテルのレビューサイトは、訪問者が訪れたホテルの体験、レビュー、提案を共有するための有名なステージとなった。
ヨーロッパでは、ホテル業は国内で最も重要な通貨開発の中で際立った存在である。
ホテルの本質的な目的は、顧客を満足させ、高い管理能力を与え、ホテルに残る間、彼らに重要な浮気を与える能力を持つことである。
本試験の背景にある動機は、客の全般的な傾きに応じて要素の範囲を理解し、認識することであり、また顧客の欲求の度合いを決定するためのレビューを通じて追加される可能性がある。
オンラインレビューサイト、例えばBooking.comから情報が集められた。
テキスト分析は、収集したコンテンツを分析するために利用される。 The ascent of the Internet has caused numerous adjustments in our lives. The Internet has radically changed the manner in which we carry on with our lives, the manner in which we spend our occasions, how we speak with one another day by day, and how we buy items. The development of the Internet among users has created content on the Internet by sources, for example, web-based life, reviews site, online journals, item fan page and some more. This has a lead on to another method for arranging an occasion or searching for a reasonable hotel to remain. Thus, hotel review sites have turned into a famous stage for visitors to share their experiences, reviews, and suggestions on hotels, which they have visited. In Europe, the hotel business has been a standout amongst the most vital monetary developments of the nation. The essential objective of a hotel is to satisfy the customers, to have the capacity to give a high caliber of administration and give them a vital affair while remaining at the hotel. The motivation behind this examination is to comprehend and recognize the scope of elements, which may add as per the general inclination of customers and in addition through their reviews to decide the measures of customers' desires. Information was gathered from online review sites, for example, Booking.com. Text analytics is utilized to analyze the contents gathered. | 翻訳日:2023-06-03 19:19:31 公開日:2020-02-22 |
| # 非対称laguerre-gaussianビームを用いた電磁誘導透過の方位変調 Azimuthal modulation of electromagnetically-induced transparency by using asymmetrical Laguerre-Gaussian beams ( http://arxiv.org/abs/2002.09697v1 ) ライセンス: Link先を確認 | Seyedeh Hamideh Kazemi and Mohammad Mahmoudi | (参考訳) 近年、高容量光データストレージと量子技術の重要性から、構造化光フィールドの生成と検出が注目されている。
本稿では,プラズモンナノ構造近傍の4レベル二重V型量子系における光透過の方位変調について検討する。
ラゲール・ガウシアンビームと自由空間真空モードとの相互作用は、非渦プローブ場の位相依存吸収を生成するために用いられる。
まず,従来のlgビームに付随する方位指数をプローブ吸収の測定により同定し,その位相情報が角分布した葉の空間依存吸収プロファイル上に符号化されることを示す。
また、吸収スペクトルの周期的変動により、空間的に変化する光学透過性を形成することができる。
次に、非対称ラゲール・ガウシアンビームを用いて、非対称空間構造ウインドウへの選択的空間透過機構を拡張し、任意の位置における空間モードの光学的操作を可能にする。
さらに、非対称パラメータが空間的不均一性の特徴に与える影響について検討し、ビームがどのように軌道角運動量の位相情報を所望の位置に印加できるかを示す。 Recently, the generation and detection of structured light field have drawn a great deal of attention, due to their importance in high-capacity optical data storage and quantum technology. In this letter, we explore the azimuthal modulation of optical transparency in a four-level double-V type quantum system near a plasmonic nanostructure. A Laguerre-Gaussian beam and the interaction of the system with free-space vacuum modes have been employed to create the phase-dependent absorption of a non-vortex probe field. First, we demonstrate how to identify the azimuthal index associated with the conventional LG beam via measuring the probe absorption so that the phase information of such a beam gets encoded on the spatially-dependent absorption profile with angularly-distributed lobes. Also, a spatially-varying optical transparency can be formed, due to the periodic variation of the absorption spectrum. Then, asymmetrical Laguerre-Gaussian beams are used to extend the selective spatial transparency mechanism to asymmetric spatially-structured windows, allowing for optical manipulation of spatial modes at arbitrary positions. Moreover, we investigate the influence of the asymmetric parameter on the features of the spatial inhomogeneities and show how the beams enable us to imprint the phase information of the orbital angular momentum at a desired position. | 翻訳日:2023-06-02 09:05:02 公開日:2020-02-22 |
| # デジタル商品の公平かつ分散的な交換 Fair and Decentralized Exchange of Digital Goods ( http://arxiv.org/abs/2002.09689v1 ) ライセンス: Link先を確認 | Ariel Futoransky, Carlos Sarraute, Daniel Fernandez, Matias Travizano, Ariel Waissbein | (参考訳) 私たちは、パーティがトークンとデータを交換できる、プライバシの保存、分散、分散のマーケットプレースを構築しています。
この市場では、買い手と売り手はブロックチェーンで取引を行い、notaryと呼ばれるサードパーティと対話する。
データ・トケン交換(data-token exchange)のプロトコルを導入し、どちらの当事者も支払っているものよりも多くの情報を得ず、交換は公平である。
設定後、サードパーティの関与は不要で、紛争解決は不要である。 We construct a privacy-preserving, distributed and decentralized marketplace where parties can exchange data for tokens. In this market, buyers and sellers make transactions in a blockchain and interact with a third party, called notary, who has the ability to vouch for the authenticity and integrity of the data. We introduce a protocol for the data-token exchange where neither party gains more information than what it is paying for, and the exchange is fair: either both parties gets the other's item or neither does. No third party involvement is required after setup, and no dispute resolution is needed. | 翻訳日:2023-06-02 09:04:42 公開日:2020-02-22 |
| # 拡大格子における断熱的基底状態形成 Adiabatic ground state preparation in an expanding lattice ( http://arxiv.org/abs/2002.09592v1 ) ライセンス: Link先を確認 | Christopher T. Olund, Maxwell Block, Snir Gazit, John McGreevy and Norman Y. Yao | (参考訳) 我々は,2l$の大きさの格子上に量子多体基底波動関数を構築するために,$l$ と$l$ で対応する基底状態に対して断熱的進化を適用することで,$s$ のフレームワーク [phys. rev.~b 93, 045127 (2016)] にインスパイアされた数値アルゴリズムを実装し,特徴付ける。
手順を原則として繰り返して、システムのサイズを2倍にすることができる。
数個の1次元スピンモデルハミルトニアンに対するアルゴリズムを実装し、ギャップが大きく、興味深いことに、スケール不変臨界点において、構成が特にうまく機能することを発見した。
格子展開手順の自然な結果として,この特徴を説明する。
この振る舞いは、可積分な逆場イジングモデルと非可積分なバリエーションの両方に当てはまる。
また、横磁場イジングモデルのいずれの位相においても誤差を解析的摂動論的に理解し、パラメトリックな誤差低減のために回路をどのように修正できるかを示唆する。
1Dにおけるエンタングルメント再正規化の視点を強化することに加えて、このアルゴリズムは実験的に状態を構築するためにも使用することができ、低深さ量子回路による特定の長距離相関状態の実現を可能にした。 We implement and characterize a numerical algorithm inspired by the $s$-source framework [Phys. Rev.~B 93, 045127 (2016)] for building a quantum many-body ground state wavefunction on a lattice of size $2L$ by applying adiabatic evolution to the corresponding ground state at size $L$, along with $L$ interleaved ancillae. The procedure can in principle be iterated to repeatedly double the size of the system. We implement the algorithm for several one dimensional spin model Hamiltonians, and find that the construction works particularly well when the gap is large and, interestingly, at scale invariant critical points. We explain this feature as a natural consequence of the lattice expansion procedure. This behavior holds for both the integrable transverse-field Ising model and non-integrable variations. We also develop an analytic perturbative understanding of the errors deep in either phase of the transverse field Ising model, and suggest how the circuit could be modified to parametrically reduce errors. In addition to sharpening our perspective on entanglement renormalization in 1D, the algorithm could also potentially be used to build states experimentally, enabling the realization of certain long-range correlated states with low depth quantum circuits. | 翻訳日:2023-06-02 09:04:17 公開日:2020-02-22 |
| # ディープニューラルネットワークのロスレス圧縮 Lossless Compression of Deep Neural Networks ( http://arxiv.org/abs/2001.00218v3 ) ライセンス: Link先を確認 | Thiago Serra, Abhinav Kumar, Srikumar Ramalingam | (参考訳) ディープニューラルネットワークは、画像や言語認識など、多くの予測モデリングタスクで成功している。
したがって、モバイルデバイスのような限られた計算資源の下でこれらのネットワークをデプロイすることは困難である。
本研究では,生成した出力を変更せずにニューラルネットワークのユニットとレイヤを除去し,ロスレス圧縮を実現するアルゴリズムを提案する。
このアルゴリズムはLEO (Lossless Expressiveness Optimization) と呼ばれ、MILP(Mixed-Integer Linear Programming) を用いて、入力領域上の線形な振舞いでReLU(Rectified Linear Unit)を識別する。
このような振る舞いを誘導するためにl1正規化を使用することで、トレーニングされたニューラルネットワークがデプロイされる環境で使用されるよりも、より大きなアーキテクチャでのトレーニングの恩恵を受けることができます。 Deep neural networks have been successful in many predictive modeling tasks, such as image and language recognition, where large neural networks are often used to obtain good accuracy. Consequently, it is challenging to deploy these networks under limited computational resources, such as in mobile devices. In this work, we introduce an algorithm that removes units and layers of a neural network while not changing the output that is produced, which thus implies a lossless compression. This algorithm, which we denote as LEO (Lossless Expressiveness Optimization), relies on Mixed-Integer Linear Programming (MILP) to identify Rectified Linear Units (ReLUs) with linear behavior over the input domain. By using L1 regularization to induce such behavior, we can benefit from training over a larger architecture than we would later use in the environment where the trained neural network is deployed. | 翻訳日:2023-01-16 09:19:19 公開日:2020-02-22 |
| # BLK-REW:Reweighted Regularization法によるブロックベースDNN並列処理フレームワーク BLK-REW: A Unified Block-based DNN Pruning Framework using Reweighted Regularization Method ( http://arxiv.org/abs/2001.08357v2 ) ライセンス: Link先を確認 | Xiaolong Ma, Zhengang Li, Yifan Gong, Tianyun Zhang, Wei Niu, Zheng Zhan, Pu Zhao, Jian Tang, Xue Lin, Bin Ren, Yanzhi Wang | (参考訳) 様々なリソース制限のあるコンピューティングプラットフォーム上でのdnn実行の加速は長年の課題だった。
以前の研究では、L1ベースのグループラッソやADMMのような動的正規化を使用してDNNモデル上で構造化プルーニングを行い、並列コンピューティングアーキテクチャを活用している。
しかし、プルーニング次元とプルーニング手法には普遍性が欠如しており、性能が低下し、適用性が制限される。
そこで本稿では,汎用的で柔軟な構造的刈り取り次元と,強力で効率的な再重み付け正則化手法を組み合わせた新しいブロックベース刈り込みフレームワークを提案する。
我々のフレームワークは普遍的であり、cnnとrnnの両方に適用でき、2つの主要な計算集約層(conv層とfc層)を完全にサポートしています。
また、pruning-for-accelerationタスクのすべての側面を補完するために、DNN推論をリアルタイムに実行できるコンパイラベースのコード最適化をフレームワークに統合する。
我々の知る限りでは、リアルタイムモバイルアクセラレーションと精度の妥協のないCNNとRNNの両方に対して、ウェイトプルーニングフレームワークが普遍的なカバレッジを達成するのは初めてである。 Accelerating DNN execution on various resource-limited computing platforms has been a long-standing problem. Prior works utilize l1-based group lasso or dynamic regularization such as ADMM to perform structured pruning on DNN models to leverage the parallel computing architectures. However, both of the pruning dimensions and pruning methods lack universality, which leads to degraded performance and limited applicability. To solve the problem, we propose a new block-based pruning framework that comprises a general and flexible structured pruning dimension as well as a powerful and efficient reweighted regularization method. Our framework is universal, which can be applied to both CNNs and RNNs, implying complete support for the two major kinds of computation-intensive layers (i.e., CONV and FC layers). To complete all aspects of the pruning-for-acceleration task, we also integrate compiler-based code optimization into our framework that can perform DNN inference in a real-time manner. To the best of our knowledge, it is the first time that the weight pruning framework achieves universal coverage for both CNNs and RNNs with real-time mobile acceleration and no accuracy compromise. | 翻訳日:2023-01-07 09:54:47 公開日:2020-02-22 |
| # iCap:予測テキストによるインタラクティブな画像キャプション iCap: Interactive Image Captioning with Predictive Text ( http://arxiv.org/abs/2001.11782v3 ) ライセンス: Link先を確認 | Zhengxiong Jia and Xirong Li | (参考訳) 本稿では,ループ内の人間と対話的な画像キャプションの新たな話題について検討する。
推論段階において、与えられたテスト画像が唯一の入力である自動画像キャプションとは異なり、対話シナリオにおいて、テスト画像と(不完全な)ユーザ入力文のシーケンスの両方にアクセスすることができる。
問題を視覚条件付き文補完(VCSC)として定式化する。
本稿では,VCSCに対して,画像キャプション完了(ABD-Cap)のための非同期双方向デコーディングを提案する。
ABD-Capをコアモジュールとし,ユーザからのライブ入力に対して新たなテキストを予測可能なWebベースのインタラクティブ画像キャプションシステムであるiCapを構築した。
自動評価と実際のユーザ調査の両方をカバーする多くの実験が提案の有効性を示している。 In this paper we study a brand new topic of interactive image captioning with human in the loop. Different from automated image captioning where a given test image is the sole input in the inference stage, we have access to both the test image and a sequence of (incomplete) user-input sentences in the interactive scenario. We formulate the problem as Visually Conditioned Sentence Completion (VCSC). For VCSC, we propose asynchronous bidirectional decoding for image caption completion (ABD-Cap). With ABD-Cap as the core module, we build iCap, a web-based interactive image captioning system capable of predicting new text with respect to live input from a user. A number of experiments covering both automated evaluations and real user studies show the viability of our proposals. | 翻訳日:2023-01-05 06:56:43 公開日:2020-02-22 |
| # 教師なし領域適応を用いた数値オブザーバの学習 Learning Numerical Observers using Unsupervised Domain Adaptation ( http://arxiv.org/abs/2002.03763v2 ) ライセンス: Link先を確認 | Shenghua He and Weimin Zhou and Hua Li and Mark A. Anastasio | (参考訳) 医用イメージングシステムは、客観的な画質測定によって一般的に評価される。
タスクベース画像品質評価のための数値オブザーバを実装するために,教師付き深層学習法が検討されている。
しかし、ディープニューラルネットワークをトレーニングするために大量の実験データをラベル付けするのは面倒でコストがかかり、主観的な誤りを生じやすい。
計算機シミュレーション画像データを用いてこれらの問題を回避することができるが、複雑な解剖構造、ノイズ源、実世界のイメージングシステムの応答を計算的にモデル化することはしばしば困難である。
したがって、シミュレーション画像データは通常、エミュレートしようとする実験画像データと物理的および統計的差異を持つ。
マシンラーニングのコンテキストでは、これら2つのイメージのセットの違いをドメインシフトと呼ぶ。
本研究では、シミュレーション画像に基づいて訓練される深層学習型数値オブザーバ(DL-NOs)に対して、シミュレーション画像と実験画像データ間のドメインシフトの有害な影響を軽減するために、逆領域適応法を提案する。
提案手法では,まずコンピュータシミュレーション画像データに基づいてDL-NOを訓練し,ラベル付き実験画像を必要としない実験画像データに適応する。
概念実証として,バイナリ信号検出タスクを検討する。
シミュレーション画像データと実験画像データとの間の領域シフトの度合いの関数としてのこの戦略の成功について検討した。 Medical imaging systems are commonly assessed by use of objective image quality measures. Supervised deep learning methods have been investigated to implement numerical observers for task-based image quality assessment. However, labeling large amounts of experimental data to train deep neural networks is tedious, expensive, and prone to subjective errors. Computer-simulated image data can potentially be employed to circumvent these issues; however, it is often difficult to computationally model complicated anatomical structures, noise sources, and the response of real world imaging systems. Hence, simulated image data will generally possess physical and statistical differences from the experimental image data they seek to emulate. Within the context of machine learning, these differences between the sets of two images is referred to as domain shift. In this study, we propose and investigate the use of an adversarial domain adaptation method to mitigate the deleterious effects of domain shift between simulated and experimental image data for deep learning-based numerical observers (DL-NOs) that are trained on simulated images but applied to experimental ones. In the proposed method, a DL-NO will initially be trained on computer-simulated image data and subsequently adapted for use with experimental image data, without the need for any labeled experimental images. As a proof of concept, a binary signal detection task is considered. The success of this strategy as a function of the degree of domain shift present between the simulated and experimental image data is investigated. | 翻訳日:2023-01-04 08:13:00 公開日:2020-02-22 |
| # 半教師付きクラス発見 Semi-Supervised Class Discovery ( http://arxiv.org/abs/2002.03480v2 ) ライセンス: Link先を確認 | Jeremy Nixon, Jeremiah Liu, David Berthelot | (参考訳) 初期トレーニングディストリビューション(OOD)の外部にあるデータポイントを扱うための有望なアプローチの1つは、以前は分類不可能だったデータポイントの類似性をキャプチャする新しいクラスを作成することである。
ラベルを生成するシステムは任意の量のデータに対してデプロイすることができ、トレーニングを通じてデータの高品質な表現を生成する分類スキームを発見する。
本稿では,モデルのラベル作成能力の新規かつ重要な指標であるデータセット再構成精度について紹介する。
このデータセット再構成指標に対するベンチマークを導入する。
新たなヒューリスティックなクラス学習能力を適用して,トレーニングデータセットに付加価値があるかどうかを判断する。
本研究は,視覚と言語にクラス発見システムを適用できることを示し,新しいクラスを自動的に発見する上で,半教師付き学習の価値を示す。 One promising approach to dealing with datapoints that are outside of the initial training distribution (OOD) is to create new classes that capture similarities in the datapoints previously rejected as uncategorizable. Systems that generate labels can be deployed against an arbitrary amount of data, discovering classification schemes that through training create a higher quality representation of data. We introduce the Dataset Reconstruction Accuracy, a new and important measure of the effectiveness of a model's ability to create labels. We introduce benchmarks against this Dataset Reconstruction metric. We apply a new heuristic, class learnability, for deciding whether a class is worthy of addition to the training dataset. We show that our class discovery system can be successfully applied to vision and language, and we demonstrate the value of semi-supervised learning in automatically discovering novel classes. | 翻訳日:2023-01-02 07:22:10 公開日:2020-02-22 |
| # 条件付き集約を含む制約に対するaspセマンティクス An ASP semantics for Constraints involving Conditional Aggregates ( http://arxiv.org/abs/2002.06911v2 ) ライセンス: Link先を確認 | Pedro Cabalar and Jorge Fandinno and Torsten Schaub and Philipp Wanko | (参考訳) 我々は,ハイブリッド解集合プログラミング(asp)の形式的基礎を詳述し,制約値や変数よりも集約関数を基盤とする論理フレームワークを拡張した。
これは条件式の構築によって実現され、制約を評価しながら2つの代替案を検討することができる。
どちらの選択肢も解釈に依存し、関連する条件に従って選択される。
我々は線形制約を持つ論理プログラムに注目し,asp集約が条件付き線形制約の特定の場合としてどのように考えられるかを示す。
最後に、既存のハイブリッドaspソルバ上に条件付き集約の実装を概説し、このフレームワークから正規(条件なし)制約aspへの多項式サイズ、モジュラー、忠実な翻訳を導入する。 We elaborate upon the formal foundations of hybrid Answer Set Programming (ASP) and extend its underlying logical framework with aggregate functions over constraint values and variables. This is achieved by introducing the construct of conditional expressions, which allow for considering two alternatives while evaluating constraints. Which alternative is considered is interpretation-dependent and chosen according to an associated condition. We put some emphasis on logic programs with linear constraints and show how common ASP aggregates can be regarded as particular cases of so-called conditional linear constraints. Finally, we introduce a polynomial-size, modular and faithful translation from our framework into regular (condition-free) Constraint ASP, outlining an implementation of conditional aggregates on top of existing hybrid ASP solvers. | 翻訳日:2022-12-31 13:02:25 公開日:2020-02-22 |
| # コミュニケーション効率の良いエッジAI:アルゴリズムとシステム Communication-Efficient Edge AI: Algorithms and Systems ( http://arxiv.org/abs/2002.09668v1 ) ライセンス: Link先を確認 | Yuanming Shi, Kai Yang, Tao Jiang, Jun Zhang, and Khaled B. Letaief | (参考訳) ai(artificial intelligence)は、音声処理、画像分類、薬物発見など、幅広い分野において驚くべきブレークスルーを達成している。
これはデータの爆発的な成長、機械学習(特にディープラーニング)の進歩、そして非常に強力なコンピューティングリソースへの容易なアクセスによって引き起こされる。
特に、エッジデバイス(例えばIoTデバイス)の大規模展開は前例のない規模のデータを生成し、正確なモデルを導き、ネットワークエッジで様々なインテリジェントなアプリケーションを開発する機会を提供する。
しかしながら、このような巨大なデータは、チャネル品質やトラフィックの混雑、プライバシの懸念などによって、処理のためにエンドデバイスからクラウドに送信することはできない。
AIモデルの推論とトレーニングプロセスをエッジノードにプッシュすることで、エッジAIは有望な代替手段として浮上した。
最先端のaiは、スマートフォンやスマートカー、無線アクセスポイントや基地局のエッジサーバといったエッジデバイス間の緊密な連携を必要とするが、通信のオーバーヘッドは大きい。
本稿では,これらのコミュニケーション課題を克服する様々な手法の最近の展開を包括的に調査する。
具体的には、エッジAIシステムにおける重要なコミュニケーション課題を最初に特定する。
次に、ネットワークエッジでのトレーニングおよび推論タスクのためのアルゴリズムおよびシステムの観点から、通信効率のよい手法を導入する。
今後の研究の方向性も注目される。 Artificial intelligence (AI) has achieved remarkable breakthroughs in a wide range of fields, ranging from speech processing, image classification to drug discovery. This is driven by the explosive growth of data, advances in machine learning (especially deep learning), and easy access to vastly powerful computing resources. Particularly, the wide scale deployment of edge devices (e.g., IoT devices) generates an unprecedented scale of data, which provides the opportunity to derive accurate models and develop various intelligent applications at the network edge. However, such enormous data cannot all be sent from end devices to the cloud for processing, due to the varying channel quality, traffic congestion and/or privacy concerns. By pushing inference and training processes of AI models to edge nodes, edge AI has emerged as a promising alternative. AI at the edge requires close cooperation among edge devices, such as smart phones and smart vehicles, and edge servers at the wireless access points and base stations, which however result in heavy communication overheads. In this paper, we present a comprehensive survey of the recent developments in various techniques for overcoming these communication challenges. Specifically, we first identify key communication challenges in edge AI systems. We then introduce communication-efficient techniques, from both algorithmic and system perspectives for training and inference tasks at the network edge. Potential future research directions are also highlighted. | 翻訳日:2022-12-29 19:51:37 公開日:2020-02-22 |
| # 動的四足歩行ロボットの誘導制約ポリシ最適化 Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion ( http://arxiv.org/abs/2002.09676v1 ) ライセンス: Link先を確認 | Siddhant Gangapurwala, Alexander Mitchell and Ioannis Havoutis | (参考訳) 深層強化学習(RL)は、タスク固有の制御ポリシーを最適化するために、モデルフリーの技術を使用する。
複雑な問題に対する有望なアプローチとして現れたが、現実のアプリケーションで確実に使用するのは依然として困難である。
正確な報酬関数チューニング、不正確なセンシングとアクティベーション、非決定論的応答などの課題とは別に、既存のrl法は、実際のロボットシナリオに不可欠な安全制約の中での動作を保証するものではない。
そこで本研究では,制約付きポリシー最適化(GCPO)を提案する。このフレームワークは,制限付きポリシー最適化(CPPO)の実装に基づいて,規定された制約に従ってベースベロシティコマンドを追跡する。
また,制約違反の場合には,制約領域への状態回復を促すスキームも導入する。
実ANYmal四足歩行ロボットを用いてトレーニング手法の実験結果と実験を行った。
提案手法を制約のないrl法と比較し,誘導制約付きrl法が最適な最適値に近い高速収束を提供し,最適だが物理的に実現可能なロボット制御動作を,精密な報酬機能チューニングを必要とせずに実現可能であることを示した。 Deep reinforcement learning (RL) uses model-free techniques to optimize task-specific control policies. Despite having emerged as a promising approach for complex problems, RL is still hard to use reliably for real-world applications. Apart from challenges such as precise reward function tuning, inaccurate sensing and actuation, and non-deterministic response, existing RL methods do not guarantee behavior within required safety constraints that are crucial for real robot scenarios. In this regard, we introduce guided constrained policy optimization (GCPO), an RL framework based upon our implementation of constrained proximal policy optimization (CPPO) for tracking base velocity commands while following the defined constraints. We also introduce schemes which encourage state recovery into constrained regions in case of constraint violations. We present experimental results of our training method and test it on the real ANYmal quadruped robot. We compare our approach against the unconstrained RL method and show that guided constrained RL offers faster convergence close to the desired optimum resulting in an optimal, yet physically feasible, robotic control behavior without the need for precise reward function tuning. | 翻訳日:2022-12-29 19:51:18 公開日:2020-02-22 |
| # 時空間自己注意による解釈可能な群流予測 Interpretable Crowd Flow Prediction with Spatial-Temporal Self-Attention ( http://arxiv.org/abs/2002.09693v1 ) ライセンス: Link先を確認 | Haoxing Lin and Weijia Jia and Yongjian You and Yiping Sun | (参考訳) クラウドフロー予測は、都市管理システムの基本コンポーネントとして、インテリジェントな都市コンピューティング分野でますます研究されている。
群衆の流れを予測する最も難しい部分は、複雑な空間的時間的依存関係を測定することである。
現在の手法では、様々なアーキテクチャ(例えばCNN/GCN, LSTM)によって空間的および時間的情報を分割し、征服することが一般的である。
しかし, この戦略には, 1) 高度な依存関係も分割され, 部分的に分離される; 2) 空間的特徴は異なるアーキテクチャを通過する際に潜在表現に変換されるため, 予測された群集の流れを解釈することが困難である。
これらの問題に対処するため,ST符号化ゲートを用いた時空間自己意識ネットワーク(STSAN)を提案する。
さらに,空間的時間的情報にスケールドドット積の注意を適用し,依存関係を明示する注意重みを計測する多視点注意機構を開発した。
交通・移動データに関する実験結果から,提案手法はSOTAベースラインと比較して,Taxi-NYCデータセット上でのRMSEの流入と流出を16%,8%削減することを示した。 Crowd flow prediction has been increasingly investigated in intelligent urban computing field as a fundamental component of urban management system. The most challenging part of predicting crowd flow is to measure the complicated spatial-temporal dependencies. A prevalent solution employed in current methods is to divide and conquer the spatial and temporal information by various architectures (e.g., CNN/GCN, LSTM). However, this strategy has two disadvantages: (1) the sophisticated dependencies are also divided and therefore partially isolated; (2) the spatial-temporal features are transformed into latent representations when passing through different architectures, making it hard to interpret the predicted crowd flow. To address these issues, we propose a Spatial-Temporal Self-Attention Network (STSAN) with an ST encoding gate that calculates the entire spatial-temporal representation with positional and time encodings and therefore avoids dividing the dependencies. Furthermore, we develop a Multi-aspect attention mechanism that applies scaled dot-product attention over spatial-temporal information and measures the attention weights that explicitly indicate the dependencies. Experimental results on traffic and mobile data demonstrate that the proposed method reduces inflow and outflow RMSE by 16% and 8% on the Taxi-NYC dataset compared to the SOTA baselines. | 翻訳日:2022-12-29 19:50:58 公開日:2020-02-22 |
| # Image Stylization: 定義済みからパーソナライズへ Image Stylization: From Predefined to Personalized ( http://arxiv.org/abs/2002.10945v1 ) ライセンス: Link先を確認 | Ignacio Garcia-Dorado, Pascal Getreuer, Bartlomiej Wronski, Peyman Milanfar | (参考訳) 本稿では,多種多様なフィルタブロックを用いた新しい画像スタイライゼーションのインタラクティブな設計のためのフレームワークを提案する。
新規および既製のイメージフィルタリングとレンダリング技術の両方が拡張され、ユーザーが創造性を解き放ち、特定のフィルタセットから新しいスタイルを直感的に発明し、修正し、チューニングすることができる。
この手動設計と並行して、フィルタのシーケンスを自動的に組み立て、ユニークで斬新なスタイルへと導く新しい手続き手法を提案する。
私たちのフレームワークの重要な目的は、インタラクティブな探索とデザインを可能にし、ビデオやカメラストリームをオンザフライでスタイリッシュできるようにすることです。
このリアルタイムパフォーマンスを実現するために、複雑なフィルタブロックをリアルタイムにシミュレートする解釈可能な浅層機械学習手法である、‘textit{Best Linear Adaptive Enhancement}(BLADE)フレームワークを使用する。
私たちの代表的成果には、インタラクティブツールを使って設計された10以上のスタイル、手続き的に作成されたスタイルセット、BLADEアプローチでトレーニングされた新しいフィルタが含まれる。 We present a framework for interactive design of new image stylizations using a wide range of predefined filter blocks. Both novel and off-the-shelf image filtering and rendering techniques are extended and combined to allow the user to unleash their creativity to intuitively invent, modify, and tune new styles from a given set of filters. In parallel to this manual design, we propose a novel procedural approach that automatically assembles sequences of filters, leading to unique and novel styles. An important aim of our framework is to allow for interactive exploration and design, as well as to enable videos and camera streams to be stylized on the fly. In order to achieve this real-time performance, we use the \textit{Best Linear Adaptive Enhancement} (BLADE) framework -- an interpretable shallow machine learning method that simulates complex filter blocks in real time. Our representative results include over a dozen styles designed using our interactive tool, a set of styles created procedurally, and new filters trained with our BLADE approach. | 翻訳日:2022-12-29 19:47:59 公開日:2020-02-22 |
| # 水中センサネットワークのためのQラーニングによるAnypathルーティングプロトコルの設計 Anypath Routing Protocol Design via Q-Learning for Underwater Sensor Networks ( http://arxiv.org/abs/2002.09623v1 ) ライセンス: Link先を確認 | Yuan Zhou, Tao Cao, and Wei Xiang | (参考訳) 水中モノインターネットにおける有望な技術として、水中センサーネットワークは学術と産業の両方から広く注目を集めている。
しかし、水中センサネットワークのためのルーティングプロトコルの設計は、高エネルギー消費と水中環境における遅延が大きいため、大きな課題である。
本稿では,Qラーニングに基づくローカライゼーションフリーな任意の経路ルーティング(QLFR)プロトコルを提案する。
最適ルーティングポリシを目標とし、ルーティングプロセスを通してセンサノードの残エネルギーと深さ情報を共同で考慮してQ値を算出する。
より具体的には、レイテンシの低減とネットワーク寿命の延長を目的として、Qラーニングのための2つの報酬関数(深さ関連およびエネルギー関連報酬)を定義する。
また、パケット転送のための新たな保持時間機構を、転送候補ノードの優先度に応じて設計する。
さらに,提案したルーティングプロトコルの性能を解析するために,数学的解析を行った。
広範にシミュレーションされた結果から,提案したルーティングプロトコルの性能は,エンドツーエンドの遅延とネットワーク寿命の観点から評価できる。 As a promising technology in the Internet of Underwater Things, underwater sensor networks have drawn a widespread attention from both academia and industry. However, designing a routing protocol for underwater sensor networks is a great challenge due to high energy consumption and large latency in the underwater environment. This paper proposes a Q-learning-based localization-free anypath routing (QLFR) protocol to prolong the lifetime as well as reduce the end-to-end delay for underwater sensor networks. Aiming at optimal routing policies, the Q-value is calculated by jointly considering the residual energy and depth information of sensor nodes throughout the routing process. More specifically, we define two reward functions (i.e., depth-related and energy-related rewards) for Q-learning with the objective of reducing latency and extending network lifetime. In addition, a new holding time mechanism for packet forwarding is designed according to the priority of forwarding candidate nodes. Furthermore, a mathematical analysis is presented to analyze the performance of the proposed routing protocol. Extensive simulation results demonstrate the superiority performance of the proposed routing protocol in terms of the end-to-end delay and the network lifetime. | 翻訳日:2022-12-29 19:47:27 公開日:2020-02-22 |
| # ディープラーニングモデル診断のためのサンプリング(技術報告) Sampling for Deep Learning Model Diagnosis (Technical Report) ( http://arxiv.org/abs/2002.09754v1 ) ライセンス: Link先を確認 | Parmita Mehta, Stephen Portillo, Magdalena Balazinska, Andrew Connolly | (参考訳) ディープラーニング(DL)モデルは、画像、オーディオ、テキストなどの高次元データを持つ多くの分野において、パラダイムを変える性能を達成した。
しかし、深層ニューラルネットワークのブラックボックスの性質は、解釈が不可欠である医療診断のような応用に限らず、実行中のモデルの診断を阻害する障壁である。
dlモデルの診断や説明のタスクは、アクティベーション値や勾配などの追加のアーティファクトの計算を必要とする。
これらのアーティファクトはボリュームが大きく、計算、ストレージ、クエリが重要なデータ管理上の課題を引き起こします。
本稿では,dl診断をデータ管理の問題として定式化し,この新しいワークロードをサポートするシステムを評価するための汎用的かつ代表的なクエリセットを提案する。
さらに,これらのモデルデバッギングクエリに対して,近似的だが正確な結果を生成する新しいデータサンプリング手法を開発した。
サンプリング手法は,DLモデルで学習した低次元表現を利用し,この低次元空間におけるデータに対するモデル決定境界に焦点を当てる。
本手法は,1つの標準的なコンピュータビジョンと1つの科学的データセットで評価し,クエリの精度において,サンプリング手法が様々な最先端の代替技術より優れていることを示す。 Deep learning (DL) models have achieved paradigm-changing performance in many fields with high dimensional data, such as images, audio, and text. However, the black-box nature of deep neural networks is a barrier not just to adoption in applications such as medical diagnosis, where interpretability is essential, but also impedes diagnosis of under performing models. The task of diagnosing or explaining DL models requires the computation of additional artifacts, such as activation values and gradients. These artifacts are large in volume, and their computation, storage, and querying raise significant data management challenges. In this paper, we articulate DL diagnosis as a data management problem, and we propose a general, yet representative, set of queries to evaluate systems that strive to support this new workload. We further develop a novel data sampling technique that produce approximate but accurate results for these model debugging queries. Our sampling technique utilizes the lower dimension representation learned by the DL model and focuses on model decision boundaries for the data in this lower dimensional space. We evaluate our techniques on one standard computer vision and one scientific data set and demonstrate that our sampling technique outperforms a variety of state-of-the-art alternatives in terms of query accuracy. | 翻訳日:2022-12-29 19:47:08 公開日:2020-02-22 |
| # a$^3$:近似ニューラルネットワークにおける注意の促進機構 A$^3$: Accelerating Attention Mechanisms in Neural Networks with Approximation ( http://arxiv.org/abs/2002.10941v1 ) ライセンス: Link先を確認 | Tae Jun Ham, Sung Jun Jung, Seonghak Kim, Young H. Oh, Yeonhong Park, Yoonho Song, Jung-Hun Park, Sanghee Lee, Kyoung Park, Jae W. Lee, Deog-Kyoon Jeong | (参考訳) ニューラルネットワークの計算要求の増大に伴い、ニューラルネットワークのためのハードウェアアクセラレータが数多く提案されている。
このような既存のニューラルネットワークアクセラレータは、畳み込みニューラルネットワーク(CNN)やリカレントニューラルネットワーク(RNN)といった一般的なニューラルネットワークタイプに注目することが多いが、ニューラルネットワークが知識ベース、外部メモリ、過去の状態から最も関連性の高い情報を取得できる新興のニューラルネットワークプリミティブである注意機構にはあまり注目されていない。
注意機構はコンピュータビジョン、自然言語処理、機械翻訳など、最先端のニューラルネットワークの多くで広く採用されており、全体の実行時間の大部分を占めている。
行列ベクトル乗算を用いた今日のこの機構の実装は、注意機構が意味論的に、大量の計算が使われないコンテンツベースの探索であるため、最適ではない。
この観測に基づいて、アルゴリズム近似とハードウェア特殊化によるニューラルネットワークの注意機構を高速化するA3の設計と設計を行う。
提案する加速器は省エネ効率(性能/消費電力)を複数桁改善するとともに,従来型ハードウェアの大幅な高速化を実現している。 With the increasing computational demands of neural networks, many hardware accelerators for the neural networks have been proposed. Such existing neural network accelerators often focus on popular neural network types such as convolutional neural networks (CNNs) and recurrent neural networks (RNNs); however, not much attention has been paid to attention mechanisms, an emerging neural network primitive that enables neural networks to retrieve most relevant information from a knowledge-base, external memory, or past states. The attention mechanism is widely adopted by many state-of-the-art neural networks for computer vision, natural language processing, and machine translation, and accounts for a large portion of total execution time. We observe today's practice of implementing this mechanism using matrix-vector multiplication is suboptimal as the attention mechanism is semantically a content-based search where a large portion of computations ends up not being used. Based on this observation, we design and architect A3, which accelerates attention mechanisms in neural networks with algorithmic approximation and hardware specialization. Our proposed accelerator achieves multiple orders of magnitude improvement in energy efficiency (performance/watt) as well as substantial speedup over the state-of-the-art conventional hardware. | 翻訳日:2022-12-29 19:46:48 公開日:2020-02-22 |
| # SDO/HMIベクトル磁気データ生成物とリカレントニューラルネットワークを用いたコロナ質量放出予測 Predicting Coronal Mass Ejections Using SDO/HMI Vector Magnetic Data Products and Recurrent Neural Networks ( http://arxiv.org/abs/2002.10953v1 ) ライセンス: Link先を確認 | Hao Liu, Chang Liu, Jason T. L. Wang, Haimin Wang | (参考訳) 我々は,M級またはX級フレアを発生させるアクティブ領域(AR)が,コロナ質量放出(CME)を発生させるかどうかを予測するために,ゲートリカレントユニットと長期記憶に基づく2つのリカレントニューラルネットワーク(RNN)を提案する。
arのデータサンプルを時系列としてモデル化し,rnnを用いてデータサンプルの時間情報を取得する。
それぞれのデータサンプルには18の物理的パラメータ、または特徴があり、太陽動力学観測所(sdo)のヘリオサイスミック・磁気撮像装置(hmi)が撮影した光球ベクトル磁場データに由来する。
我々は,2010年5月から2019年5月にかけて,国立環境情報センター(NCEI)が提供する静止運用環境衛星のX線フレアカタログを用いて,M級およびX級フレアを調査し,それらのフレアをNCEIカタログ内の特定ARで選択した。
また,宇宙気象データベース(Space Weather Database of Notifications, Knowledge, Information, DONKI)からフレアとCMEの関連を抽出した。
上記の情報を使って、手元にあるデータサンプルのラベル(正対負)を構築します。
実験結果から,データサンプルのラベル予測における機械学習手法よりもRNNの方が優れていることが示された。
また,mクラスやxクラスのフレアがcmeを発生させる確率的推定を精度良く予測する手法の拡張についても検討した。
我々の知る限り、CME予測にRNNが使われたのはこれが初めてです。 We present two recurrent neural networks (RNNs), one based on gated recurrent units and the other based on long short-term memory, for predicting whether an active region (AR) that produces an M- or X-class flare will also produce a coronal mass ejection (CME). We model data samples in an AR as time series and use the RNNs to capture temporal information of the data samples. Each data sample has 18 physical parameters, or features, derived from photospheric vector magnetic field data taken by the Helioseismic and Magnetic Imager (HMI) on board the Solar Dynamics Observatory (SDO). We survey M- and X-class flares that occurred from 2010 May to 2019 May using the Geostationary Operational Environmental Satellite's X-ray flare catalogs provided by the National Centers for Environmental Information (NCEI), and select those flares with identified ARs in the NCEI catalogs. In addition, we extract the associations of flares and CMEs from the Space Weather Database Of Notifications, Knowledge, Information (DONKI). We use the information gathered above to build the labels (positive versus negative) of the data samples at hand. Experimental results demonstrate the superiority of our RNNs over closely related machine learning methods in predicting the labels of the data samples. We also discuss an extension of our approach to predict a probabilistic estimate of how likely an M- or X-class flare will initiate a CME, with good performance results. To our knowledge this is the first time that RNNs have been used for CME prediction. | 翻訳日:2022-12-29 19:45:51 公開日:2020-02-22 |
| # 産業用暖房換気・空調制御システムのための単一・ハイブリッド型ニューロファジィモデルの比較解析 Comparative Analysis of Single and Hybrid Neuro-Fuzzy-Based Models for an Industrial Heating Ventilation and Air Conditioning Control System ( http://arxiv.org/abs/2002.11042v1 ) ライセンス: Link先を確認 | Sina Ardabili, Bertalan Beszedes, Laszlo Nadai, Karoly Szell, Amir Mosavi, Felde Imre | (参考訳) ソフトコンピューティング技術による機械学習手法のハイブリダイゼーションは、予測モデルの性能を改善するための重要なアプローチである。
特にハイブリッド機械学習モデルは、高性能な制御システムの進歩で人気を集めている。
暖房・換気・空調(HVAC)システムの制御回路で使用されるエクセルギー破壊とエネルギー消費の予測モデルに対する高い精度と優れた性能は、エネルギーを節約するために産業規模で非常に経済的である。
本研究では,適応型ニューロファジー推論システム(anfis-pso)と適応型ニューロファジー推論システムジェネティックアルゴリズム(anfis-ga)のハイブリッドモデルを提案する。
結果は単一のANFISモデルと比較される。
ANFIS-PSOモデルはRMSEが0.0065、MAEが0.0028、R2が0.9999であり、最小偏差は0.0691(KJ/s)であり、ANFIS-GAと単一ANFISモデルより優れている。 Hybridization of machine learning methods with soft computing techniques is an essential approach to improve the performance of the prediction models. Hybrid machine learning models, particularly, have gained popularity in the advancement of the high-performance control systems. Higher accuracy and better performance for prediction models of exergy destruction and energy consumption used in the control circuit of heating, ventilation, and air conditioning (HVAC) systems can be highly economical in the industrial scale to save energy. This research proposes two hybrid models of adaptive neuro-fuzzy inference system-particle swarm optimization (ANFIS-PSO), and adaptive neuro-fuzzy inference system-genetic algorithm (ANFIS-GA) for HVAC. The results are further compared with the single ANFIS model. The ANFIS-PSO model with the RMSE of 0.0065, MAE of 0.0028, and R2 equal to 0.9999, with a minimum deviation of 0.0691 (KJ/s), outperforms the ANFIS-GA and single ANFIS models. | 翻訳日:2022-12-29 19:45:24 公開日:2020-02-22 |
| # 画像分割のためのバイナリラベル付き凸形状表現:モデルと高速アルゴリズム Convex Shape Representation with Binary Labels for Image Segmentation: Models and Fast Algorithms ( http://arxiv.org/abs/2002.09600v1 ) ライセンス: Link先を確認 | Shousheng Luo and Xue-Cheng Tai and Yang Wang | (参考訳) 凸形状の新規かつ効果的なバイナリ表現を提案する。
形状凸性と関連する指標関数のいくつかの性質との等価性を示す。
提案手法には2つの利点がある。
第一に、この表現は凸形状の定義よりもバイナリ関数上の単純な不等式制約に基づいているため、凸性以前に様々なアプリケーションに対して効率的なアルゴリズムを得ることができる。
第二に、この方法は関係する形状の寸法に依存しない。
提案手法の有効性を示すために,提案手法を凸性を持つ対象セグメント化の確率ベースモデルに組み込む。
ラグランジュ乗算法と線形近似を用いて提案したモデルの解法を効率よく行う。
提案手法の優越性を示すため,様々な実験を行った。 We present a novel and effective binary representation for convex shapes. We show the equivalence between the shape convexity and some properties of the associated indicator function. The proposed method has two advantages. Firstly, the representation is based on a simple inequality constraint on the binary function rather than the definition of convex shapes, which allows us to obtain efficient algorithms for various applications with convexity prior. Secondly, this method is independent of the dimension of the concerned shape. In order to show the effectiveness of the proposed representation approach, we incorporate it with a probability based model for object segmentation with convexity prior. Efficient algorithms are given to solve the proposed models using Lagrange multiplier methods and linear approximations. Various experiments are given to show the superiority of the proposed methods. | 翻訳日:2022-12-29 19:45:04 公開日:2020-02-22 |
| # 微粒化検出のための並列照明アナロジーによるアクティブ照明再帰 Active Lighting Recurrence by Parallel Lighting Analogy for Fine-Grained Change Detection ( http://arxiv.org/abs/2002.09663v1 ) ライセンス: Link先を確認 | Qian Zhang and Wei Feng and Liang Wan and Fei-Peng Tian and Xiaowei Wang and Ping Tan | (参考訳) 本稿では,光源を物理的に再配置し,同一場面の単一基準画像から照明条件を再現する能動照明反復(alr)という新たな問題について検討する。
一部の現象や微妙な変化は、特定の照明条件下でのみはっきりと観察できるため、alrはきめ細かい視認と変化検出に非常に重要である。
したがって、効果的なALRは、現実の照明と撮像プロセスの複雑さと多様性のために、ターゲットのポーズに向かって光源をオンラインでナビゲートできる必要がある。
そこで本研究では,単純な並列照明をアナロジーモデルとして使用し,ランベルティアンの法則に基づき,インスタントナビゲーションボールを構成することを提案する。
理論的には、現実的な近点光源と小さな近点光源に対するこのALRアプローチの有効性、すなわち等価性と収束性を証明している。
さらに,alrアプローチの正規化と照明分解の曖昧性に対する不均一性も理論的に証明した。
提案手法の有効性と優位性は,広範囲な定量的実験と,文化遺産のきめ細かい変化検出における実世界の課題によって検証されている。
また,非ランバート的場面に対するアプローチの一般性を検証する。 This paper studies a new problem, namely active lighting recurrence (ALR) that physically relocalizes a light source to reproduce the lighting condition from single reference image for a same scene, which may suffer from fine-grained changes during twice observations. ALR is of great importance for fine-grained visual inspection and change detection, because some phenomena or minute changes can only be clearly observed under particular lighting conditions. Therefore, effective ALR should be able to online navigate a light source toward the target pose, which is challenging due to the complexity and diversity of real-world lighting and imaging processes. To this end, we propose to use the simple parallel lighting as an analogy model and based on Lambertian law to compose an instant navigation ball for this purpose. We theoretically prove the feasibility, i.e., equivalence and convergence, of this ALR approach for realistic near point light source and small near surface light source. Besides, we also theoretically prove the invariance of our ALR approach to the ambiguity of normal and lighting decomposition. The effectiveness and superiority of the proposed approach have been verified by both extensive quantitative experiments and challenging real-world tasks on fine-grained change detection of cultural heritages. We also validate the generality of our approach to non-Lambertian scenes. | 翻訳日:2022-12-29 19:39:21 公開日:2020-02-22 |
| # 機能障害とGated Fusionによるロバストマルチモーダル脳腫瘍切除 Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion ( http://arxiv.org/abs/2002.09708v1 ) ライセンス: Link先を確認 | Cheng Chen, Qi Dou, Yueming Jin, Hao Chen, Jing Qin, Pheng-Ann Heng | (参考訳) 正確な医用画像分割は、一般的に、マルチモーダルデータからの補完的情報の効果的な学習を必要とする。
しかし,臨床実践では画像のモダリティの欠如という問題に遭遇することが多い。
本稿では,この課題に対処し,画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。
本ネットワークは,各モダリティに一意に固執するモダリティ特有の外観コードと,セグメンテーションタスクにマルチモダリティ情報を吸収するモダリティ不変コンテンツコードとに,入力モダリティを分解するために特徴ディスタングルを用いる。
改良されたモダリティ不変性により、各モダリティから切り離されたコンテンツコードは共有表現に融合され、欠落データに対して堅牢性を得る。
この融合は、異なる場所で異なるモダリティの寄与をゲートする学習ベースの戦略によって達成される。
我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーションタスクの検証を行った。
フルモダリティに対する最先端のアプローチと競合する性能を持つため,本手法は,腫瘍全層分画法では平均16%以上の精度で最先端法を大幅に上回る,様々な欠如モダリティ(ies)状況下で優れたロバスト性を実現する。 Accurate medical image segmentation commonly requires effective learning of the complementary information from multimodal data. However, in clinical practice, we often encounter the problem of missing imaging modalities. We tackle this challenge and propose a novel multimodal segmentation framework which is robust to the absence of imaging modalities. Our network uses feature disentanglement to decompose the input modalities into the modality-specific appearance code, which uniquely sticks to each modality, and the modality-invariant content code, which absorbs multimodal information for the segmentation task. With enhanced modality-invariance, the disentangled content code from each modality is fused into a shared representation which gains robustness to missing data. The fusion is achieved via a learning-based strategy to gate the contribution of different modalities at different locations. We validate our method on the important yet challenging multimodal brain tumor segmentation task with the BRATS challenge dataset. With competitive performance to the state-of-the-art approaches for full modality, our method achieves outstanding robustness under various missing modality(ies) situations, significantly exceeding the state-of-the-art method by over 16% in average for Dice on whole tumor segmentation. | 翻訳日:2022-12-29 19:38:45 公開日:2020-02-22 |
| # Shallow2Deep:シングルイメージ理解による屋内シーンモデリング Shallow2Deep: Indoor Scene Modeling by Single Image Understanding ( http://arxiv.org/abs/2002.09790v1 ) ライセンス: Link先を確認 | Yinyu Nie, Shihui Guo, Jian Chang, Xiaoguang Han, Jiahui Huang, Shi-Min Hu, Jian Jun Zhang | (参考訳) 2次元画像からの高密度屋内シーンモデリングは、奥行き情報や乱雑なオクルージョンの欠如によりボトルネックとなっている。
ニューラルネットワークの深い特徴を用いた屋内シーンの自動モデリング手法を提案する。
単一のrgb画像が与えられた場合, 室内環境コンテキストを推論することにより, 意味的内容, 3次元形状, 物体関係を同時に復元する。
特に,セマンティックシーン理解とモデリングのための畳み込みネットワークに基づいて,浅層から深層までのアーキテクチャを設計する。
屋内意味論/幾何学を非関係的および関係的知識に解析する多層畳み込みネットワークを含む。
浅い端ネットワーク(例えば、部屋のレイアウト、オブジェクトの幾何学)から抽出された非関係知識は、関係性意味論(例えば、サポート関係)を解析するためにより深いレベルに送られます。
オブジェクト間のサポート関係を推測する関係ネットワークを提案する。
上記の構造的なセマンティクスと幾何学はすべて、3dシーンモデリングのグローバル最適化を導くために組み立てられる。
質的,定量的分析により,再現精度,計算性能,シーンの複雑さを評価することにより,セマンティクスに富んだ屋内シーンの理解とモデル化が可能であることを示す。 Dense indoor scene modeling from 2D images has been bottlenecked due to the absence of depth information and cluttered occlusions. We present an automatic indoor scene modeling approach using deep features from neural networks. Given a single RGB image, our method simultaneously recovers semantic contents, 3D geometry and object relationship by reasoning indoor environment context. Particularly, we design a shallow-to-deep architecture on the basis of convolutional networks for semantic scene understanding and modeling. It involves multi-level convolutional networks to parse indoor semantics/geometry into non-relational and relational knowledge. Non-relational knowledge extracted from shallow-end networks (e.g. room layout, object geometry) is fed forward into deeper levels to parse relational semantics (e.g. support relationship). A Relation Network is proposed to infer the support relationship between objects. All the structured semantics and geometry above are assembled to guide a global optimization for 3D scene modeling. Qualitative and quantitative analysis demonstrates the feasibility of our method in understanding and modeling semantics-enriched indoor scenes by evaluating the performance of reconstruction accuracy, computation performance and scene complexity. | 翻訳日:2022-12-29 19:38:23 公開日:2020-02-22 |
| # 部分ラベル学習のためのプログレッシブな曖昧さを伴うネットワーク協調 Network Cooperation with Progressive Disambiguation for Partial Label Learning ( http://arxiv.org/abs/2002.11919v1 ) ライセンス: Link先を確認 | Yao Yao, Chen Gong, Jiehui Deng, Jian Yang | (参考訳) 部分ラベル学習(partmental label learning, pll)は、各トレーニングインスタンスが候補ラベルのセットに関連付けられている場合に、分類器をトレーニングすることを目的としている。
このような曖昧なラベル情報を扱う一般的な戦略は、候補ラベルセットを曖昧にすることである。
それでも、既存の方法はインスタンスの曖昧さの難しさを無視し、シングルトレンドトレーニング機構を採用する。
前者は偽陽性のラベルにモデルの脆弱性をもたらし、後者はエラー蓄積問題を引き起こす可能性がある。
本稿では,これら2つの欠点を補うために,PLLのためのネットワーク協調型プログレッシブ・ディアンビゲーション(NCPD)と呼ばれる新しいアプローチを提案する。
具体的には,まず単純なインスタンス上で非曖昧化操作を行い,その後,より複雑なインスタンスで徐々に曖昧化処理を行う漸進的曖昧化戦略を考案する。
したがって、複雑なインスタンスの偽陽性ラベルがもたらす負の影響は、単純なインスタンスから学習することでモデルの曖昧さが強化されたため、効果的に緩和することができる。
さらに,ニューラルネットワークをバックボーンとして利用することにより,相互に対話させることで協調的に2つのネットワークを訓練するネットワーク協調機構を利用する。
2つのネットワークは曖昧さの能力が異なるため、両者の相互作用はそれぞれの曖昧さの誤りを減らすのに有用であり、従ってシングルトレンドトレーニングプロセスを持つ既存のアルゴリズムよりもはるかに優れている。
様々なベンチマークと実践的なデータセットによる大規模な実験結果から、NCPDが他の最先端のPLL法よりも優れていることが示された。 Partial Label Learning (PLL) aims to train a classifier when each training instance is associated with a set of candidate labels, among which only one is correct but is not accessible during the training phase. The common strategy dealing with such ambiguous labeling information is to disambiguate the candidate label sets. Nonetheless, existing methods ignore the disambiguation difficulty of instances and adopt the single-trend training mechanism. The former would lead to the vulnerability of models to the false positive labels and the latter may arouse error accumulation problem. To remedy these two drawbacks, this paper proposes a novel approach termed "Network Cooperation with Progressive Disambiguation" (NCPD) for PLL. Specifically, we devise a progressive disambiguation strategy of which the disambiguation operations are performed on simple instances firstly and then gradually on more complicated ones. Therefore, the negative impacts brought by the false positive labels of complicated instances can be effectively mitigated as the disambiguation ability of the model has been strengthened via learning from the simple instances. Moreover, by employing artificial neural networks as the backbone, we utilize a network cooperation mechanism which trains two networks collaboratively by letting them interact with each other. As two networks have different disambiguation ability, such interaction is beneficial for both networks to reduce their respective disambiguation errors, and thus is much better than the existing algorithms with single-trend training process. Extensive experimental results on various benchmark and practical datasets demonstrate the superiority of our NCPD to other state-of-the-art PLL methods. | 翻訳日:2022-12-29 19:38:04 公開日:2020-02-22 |
| # 未知の真理と偽信念の論理の近傍意味論に関する注記 Notes on neighborhood semantics for logics of unknown truths and false beliefs ( http://arxiv.org/abs/2002.09622v1 ) ライセンス: Link先を確認 | Jie Fan | (参考訳) 本稿では,未知の真理と虚偽の信念の論理を近所のセマンティクスで研究する。
我々は2つの論理の相対表現率を比較する。
それらは様々な近傍モデルのクラスで比較不能であり、2つの論理の組み合わせは任意の近傍モデルのクラス上の標準様相論理として等しく表現可能であることが判明した。
我々は,各論理に対する射を提案することにより,フレーム定義可能性問題の検討,一般の健全性と完全性を示すとともに,いくつかの結果を文献に一般化する。
近隣フレームの様々なクラスで2つの論理を公理化する。
最後に、私たちはその結果を公開発表のケースにまで拡張します。 In this article, we study logics of unknown truths and false beliefs under neighborhood semantics. We compare the relative expressivity of the two logics. It turns out that they are incomparable over various classes of neighborhood models, and the combination of the two logics are equally expressive as standard modal logic over any class of neighborhood models. We propose morphisms for each logic, which can help us explore the frame definability problem, show a general soundness and completeness result, and generalize some results in the literature. We axiomatize the two logics over various classes of neighborhood frames. Last but not least, we extend the results to the case of public announcements, which has good applications to Moore sentences and some others. | 翻訳日:2022-12-29 19:37:38 公開日:2020-02-22 |
| # ALC(D)の時空間化と空間的制約を付加した交互オートマトンへの変換 A spatio-temporalisation of ALC(D) and its translation into alternating automata augmented with spatial constraints ( http://arxiv.org/abs/2002.12760v1 ) ライセンス: Link先を確認 | Amar Isli | (参考訳) 本研究の目的は,空間的変化全般,特に空間的場面の動きに関する定性的理論の族を提供することである。
To achieve this, we consider a spatio-temporalisation MTALC(Dx), of the well-known ALC(D) family of Description Logics (DLs) with a concrete domain: the MTALC(Dx) concepts are interpreted over infinite k-ary Sigma-trees, with the nodes standing for time points, and Sigma including, additionally to its uses in classical k-ary Sigma-trees, the description of the snapshot of an n-object spatial scene of interest; the roles split into m+n immediate-successor (accessibility) relations, which are serial, irreflexive and antisymmetric, and of which m are general, not necessarily functional, the other n functional; the concrete domain Dx is generated by an RCC8-like spatial Relation Algebra (RA) x, and is used to guide the change by imposing spatial constraints on objects of the "followed" spatial scene, eventually at different time points of the input trees.
文献で遭遇するほとんどのモーダル時間論理の表現性を捉えるため、モーダル時間演算子の減少特性を公理が捉えたMTALC(Dx)の弱循環的ターミノロジーボックス(TBoxes)を導入する。
我々は,MTALC(Dx) の概念を弱巡回的 TBox に対して満足できる重要な結果が,空間的制約を付加したBuchi弱交替オートマトンにおける空度問題に還元可能であることを示す。
また、これと相補的に、また本会議に提出した別の研究において、空間的制約により拡張されたbuchi automataを徹底的に調査し、特に、交替を非決定論的に翻訳し、後者の空虚性問題に対して効果的な決定手順を提供する。 The aim of this work is to provide a family of qualitative theories for spatial change in general, and for motion of spatial scenes in particular. To achieve this, we consider a spatio-temporalisation MTALC(Dx), of the well-known ALC(D) family of Description Logics (DLs) with a concrete domain: the MTALC(Dx) concepts are interpreted over infinite k-ary Sigma-trees, with the nodes standing for time points, and Sigma including, additionally to its uses in classical k-ary Sigma-trees, the description of the snapshot of an n-object spatial scene of interest; the roles split into m+n immediate-successor (accessibility) relations, which are serial, irreflexive and antisymmetric, and of which m are general, not necessarily functional, the other n functional; the concrete domain Dx is generated by an RCC8-like spatial Relation Algebra (RA) x, and is used to guide the change by imposing spatial constraints on objects of the "followed" spatial scene, eventually at different time points of the input trees. In order to capture the expressiveness of most modal temporal logics encountered in the literature, we introduce weakly cyclic Terminological Boxes (TBoxes) of MTALC(Dx), whose axioms capture the decreasing property of modal temporal operators. We show the important result that satisfiability of an MTALC(Dx) concept with respect to a weakly cyclic TBox can be reduced to the emptiness problem of a Buchi weak alternating automaton augmented with spatial constraints. In another work, complementary to this one, also submitted to this conference, we thoroughly investigate Buchi automata augmented with spatial constraints, and provide, in particular, a translation of an alternating into a nondeterministic, and an effective decision procedure for the emptiness problem of the latter. | 翻訳日:2022-12-29 19:37:27 公開日:2020-02-22 |
| # 深部強化学習による腎腫瘍分画の自動データ増補法 Automatic Data Augmentation via Deep Reinforcement Learning for Effective Kidney Tumor Segmentation ( http://arxiv.org/abs/2002.09703v1 ) ライセンス: Link先を確認 | Tiexin Qin and Ziyuan Wang and Kelei He and Yinghuan Shi and Yang Gao and Dinggang Shen | (参考訳) 医用画像セグメンテーションの性能を高めるために, 単純な前処理操作(前処理, 回転, 作物, 後処理)によって実現された従来のデータ拡張が有効である。
しかし、これらの従来の拡張法によって生成されたデータはランダムであり、後続のセグメンテーションには有害である。
本稿では, 深部強化学習(DRL)を用いた試行錯誤処理をモデル化した, 医用画像分割のための新しい学習ベースデータ拡張手法を開発した。
本手法では,データ拡張モジュールと後続のセグメンテーションモジュールをエンドツーエンドのトレーニング方法で一貫した損失と,革新的に組み合わせる。
具体的には、利用可能な検証セットのパフォーマンス改善(\ie, dice比)を直接最大化することにより、異なる基本操作の最良のシーケンシャルな組み合わせを自動的に学習する。
提案法の有効性を検証したCT腎腫瘍分節法について,本法を広範囲に評価した。 Conventional data augmentation realized by performing simple pre-processing operations (\eg, rotation, crop, \etc) has been validated for its advantage in enhancing the performance for medical image segmentation. However, the data generated by these conventional augmentation methods are random and sometimes harmful to the subsequent segmentation. In this paper, we developed a novel automatic learning-based data augmentation method for medical image segmentation which models the augmentation task as a trial-and-error procedure using deep reinforcement learning (DRL). In our method, we innovatively combine the data augmentation module and the subsequent segmentation module in an end-to-end training manner with a consistent loss. Specifically, the best sequential combination of different basic operations is automatically learned by directly maximizing the performance improvement (\ie, Dice ratio) on the available validation set. We extensively evaluated our method on CT kidney tumor segmentation which validated the promising results of our method. | 翻訳日:2022-12-29 19:36:13 公開日:2020-02-22 |
| # 対話状態追跡におけるコピー機構のためのデータ拡張 Data Augmentation for Copy-Mechanism in Dialogue State Tracking ( http://arxiv.org/abs/2002.09634v1 ) ライセンス: Link先を確認 | Xiaohui Song, Liangjun Zang, Yipeng Su, Xing Wu, Jizhong Han and Songlin Hu | (参考訳) 対話状態追跡(DST)に対する最先端のアプローチはいくつかのベンチマークで有望な性能を示しているが、スロット値(トレーニングセットとテストセットの両方で発生する値)と未確認値(トレーニングセットでは発生するが、テストセットでは発生しない値)の間には、依然として大きなパフォーマンスギャップがある。
近年、DSTモデルでは、ユーザ発話から直接スロット値をコピーする未確認スロット値を扱うために、コピー機構が広く使われている。
本稿では,DSTの共通複写機構モデルの一般化能力に影響を与える要因を明らかにすることを目的とする。
私たちの重要な観察は
1)複写機械主義は,文脈から推測するよりも価値を記憶する傾向にあり,それが不満足な一般化性能の主な理由である。
2) トレーニングセットにおけるスロット値の多様性は未確認値の性能を増加させるが, 観測値のパフォーマンスはわずかに低下する。
さらに,ユーザの発話をコピーし,実際のスロット値をランダムに生成された文字列に置き換えることで,入力データセットを拡張できるコピー機械モデルの学習に,データ拡張の単純かつ効果的なアルゴリズムを提案する。
ユーザは2つのハイパーパラメータを使用して、目に見えない値のパフォーマンスと、全体のパフォーマンスと計算コストの間のトレードオフを実現することができる。
3つのデータセット(woz 2.0、dstc2、multi-woz 2.0)の実験結果は、このアプローチの有効性を示している。 While several state-of-the-art approaches to dialogue state tracking (DST) have shown promising performances on several benchmarks, there is still a significant performance gap between seen slot values (i.e., values that occur in both training set and test set) and unseen ones (values that occur in training set but not in test set). Recently, the copy-mechanism has been widely used in DST models to handle unseen slot values, which copies slot values from user utterance directly. In this paper, we aim to find out the factors that influence the generalization ability of a common copy-mechanism model for DST. Our key observations include: 1) the copy-mechanism tends to memorize values rather than infer them from contexts, which is the primary reason for unsatisfactory generalization performance; 2) greater diversity of slot values in the training set increase the performance on unseen values but slightly decrease the performance on seen values. Moreover, we propose a simple but effective algorithm of data augmentation to train copy-mechanism models, which augments the input dataset by copying user utterances and replacing the real slot values with randomly generated strings. Users could use two hyper-parameters to realize a trade-off between the performances on seen values and unseen ones, as well as a trade-off between overall performance and computational cost. Experimental results on three widely used datasets (WoZ 2.0, DSTC2, and Multi-WoZ 2.0) show the effectiveness of our approach. | 翻訳日:2022-12-29 19:29:42 公開日:2020-02-22 |
| # テキスト分類のための適応ゲート注意による効果的なグローバル情報の導入 Incorporating Effective Global Information via Adaptive Gate Attention for Text Classification ( http://arxiv.org/abs/2002.09673v1 ) ライセンス: Link先を確認 | Xianming Li, Zongxi Li, Yingbin Zhao, Haoran Xie, Qing Li | (参考訳) 支配的なテキスト分類研究は、テキストインスタンスのみを使用したトレーニング分類や外部知識の導入(例えば、手工芸の特徴やドメインエキスパート知識)に焦点を当てている。
対照的に、単語頻度や分布といったコーパスレベルの統計機能はうまく活用されていない。
本研究は,いくつかのベースラインモデルと比較して,これらの単純な統計情報により分類性能が向上することを示す。
本稿では,グローバル情報を用いた適応ゲート注意モデル (AGA+GI) と呼ばれるゲート機構を持つ分類器を提案する。
オーバーフィッティング問題を緩和するために,一般化能力と性能安定性を向上させるための新しいLeaky Dropout機構を提案する。
提案手法は,複数のベンチマークでグローバル情報を得ることなく,cnnベースおよびrnnベースの手法よりも精度が向上することを示す。 The dominant text classification studies focus on training classifiers using textual instances only or introducing external knowledge (e.g., hand-craft features and domain expert knowledge). In contrast, some corpus-level statistical features, like word frequency and distribution, are not well exploited. Our work shows that such simple statistical information can enhance classification performance both efficiently and significantly compared with several baseline models. In this paper, we propose a classifier with gate mechanism named Adaptive Gate Attention model with Global Information (AGA+GI), in which the adaptive gate mechanism incorporates global statistical features into latent semantic features and the attention layer captures dependency relationship within the sentence. To alleviate the overfitting issue, we propose a novel Leaky Dropout mechanism to improve generalization ability and performance stability. Our experiments show that the proposed method can achieve better accuracy than CNN-based and RNN-based approaches without global information on several benchmarks. | 翻訳日:2022-12-29 19:28:44 公開日:2020-02-22 |
| # 糖尿病2型食事のエキスパートシステムの開発 Development of an Expert System for Diabetic Type-2 Diet ( http://arxiv.org/abs/2003.05104v1 ) ライセンス: Link先を確認 | Ibrahim M. Ahmed, Abeer M. Mahmoud | (参考訳) 治療目的の患者食品のインテリジェントな制御に成功するためには、患者の興味深い食品リストと医師による効率的な食品リストを組み合わせる必要がある。
実際、スーダンの多くの農村部は糖尿病食センターへのアクセスを極めて制限している。
人々は診療所や医療施設へ長い距離を旅し、これらの施設のほとんどは医療専門家が不足している。
その結果、サービスは遅くなり、患者は注意を払わずに長時間待つことになる。
したがって、糖尿病のダイエット専門家システムは、医療の専門家が容易に利用できない場合に重要な役割を果たす。
本稿では,スーダンでの使用を意図した糖尿病食に関する知的医療専門家システムの設計と実装について述べる。
提案されたエキスパートシステムの開発は、様々な段階を経て、識別、要求分析、知識獲得、形式化、設計、実装を必要とした。
Visual Prologはグラフィカルなユーザーインタフェースの設計とシステムの実装に使われた。
提案したエキスパートシステムは、医師の作業量を減らし、糖尿病患者にシンプルで価値のある支援を提供する、有望な有用なツールである。 A successful intelligent control of patient food for treatment purpose must combines patient interesting food list and doctors efficient treatment food list. Actually, many rural communities in Sudan have extremely limited access to diabetic diet centers. People travel long distances to clinics or medical facilities, and there is a shortage of medical experts in most of these facilities. This results in slow service, and patients end up waiting long hours without receiving any attention. Hence diabetic diet expert systems can play a significant role in such cases where medical experts are not readily available. This paper presents the design and implementation of an intelligent medical expert system for diabetes diet that intended to be used in Sudan. The development of the proposed expert system went through a number of stages such problem and need identification, requirements analysis, knowledge acquisition, formalization, design and implementation. Visual prolog was used for designing the graphical user interface and the implementation of the system. The proposed expert system is a promising helpful tool that reduces the workload for physicians and provides diabetics with simple and valuable assistance. | 翻訳日:2022-12-29 19:27:22 公開日:2020-02-22 |
| # 未来へ: 時間的深層学習による人間の3D推定 Back to the Future: Joint Aware Temporal Deep Learning 3D Human Pose Estimation ( http://arxiv.org/abs/2002.11251v1 ) ライセンス: Link先を確認 | Vikas Gupta | (参考訳) 我々は,3次元ビデオ人体ポーズ推定における関節位置と動作誤差を低減するために,より深いCNNチャネルフィルタと制約を導入した新しいディープラーニングネットワークを提案する。
提案モデルは,すべてのプロトコルと動作メトリクスにおいて,新たな最先端平均誤差低減に対応するヒューマン3.6mベンチマークにおいて,ジョイント単位の平均位置誤差,速度誤差,加速度誤差に基づく文献から得られた最良結果を上回っている。
1関節当たりの平均誤差は1%減少し, 速度誤差は7%, 加速度は13%低下した。
映像における位置精度と動きの円滑性の向上は,ネットワークの複雑さを増すことなく,将来的なエンドツーエンドネットワークと統合できる。
私たちのモデルとコードは、https://vnmr.github.io/キーワードで利用可能です。 3d, human, image, pose, action, detection, object, video, visual, supervised, joint, kinematic We propose a new deep learning network that introduces a deeper CNN channel filter and constraints as losses to reduce joint position and motion errors for 3D video human body pose estimation. Our model outperforms the previous best result from the literature based on mean per-joint position error, velocity error, and acceleration errors on the Human 3.6M benchmark corresponding to a new state-of-the-art mean error reduction in all protocols and motion metrics. Mean per joint error is reduced by 1%, velocity error by 7% and acceleration by 13% compared to the best results from the literature. Our contribution increasing positional accuracy and motion smoothness in video can be integrated with future end to end networks without increasing network complexity. Our model and code are available at https://vnmr.github.io/ Keywords: 3D, human, image, pose, action, detection, object, video, visual, supervised, joint, kinematic | 翻訳日:2022-12-29 19:20:26 公開日:2020-02-22 |
| # 深部脳刺激研究のための強化学習フレームワーク Reinforcement Learning Framework for Deep Brain Stimulation Study ( http://arxiv.org/abs/2002.10948v1 ) ライセンス: Link先を確認 | Dmitrii Krylov, Remi Tachet, Romain Laroche, Michael Rosenblum, Dmitry V. Dylov | (参考訳) 脳内の機能不全ニューロンは時折同期的に活動し、パーキンソン病など多くの神経疾患を引き起こすとされる。
したがって、この集団同期活動の抑制と制御は神経科学にとって非常に重要であり、生きた人間の脳を実験する必要があるため、限られた技術試験にのみ依存することができる。
本稿では、このニューロンの集合的挙動をエミュレートし、神経細胞の合成退化モデルの環境に対する抑制パラメータを見つけることができる最初の強化学習ジムフレームワークを提案する。
我々は,RLによる3つの信号伝達系に対する同期の抑制に成功し,フレームワークの雑音に対する安定性を特徴付けるとともに,複数のPPOエージェントを係合させることにより不要な振動を除去した。 Malfunctioning neurons in the brain sometimes operate synchronously, reportedly causing many neurological diseases, e.g. Parkinson's. Suppression and control of this collective synchronous activity are therefore of great importance for neuroscience, and can only rely on limited engineering trials due to the need to experiment with live human brains. We present the first Reinforcement Learning gym framework that emulates this collective behavior of neurons and allows us to find suppression parameters for the environment of synthetic degenerate models of neurons. We successfully suppress synchrony via RL for three pathological signaling regimes, characterize the framework's stability to noise, and further remove the unwanted oscillations by engaging multiple PPO agents. | 翻訳日:2022-12-29 19:20:08 公開日:2020-02-22 |
| # 連続ボリュームサンプリングによるカーネル補間 Kernel interpolation with continuous volume sampling ( http://arxiv.org/abs/2002.09677v1 ) ライセンス: Link先を確認 | Ayoub Belhadji, R\'emi Bardenet, Pierre Chainais | (参考訳) カーネル法における基本的な課題は、ノードと重みを選び、ノードにあるカーネル翻訳の重み付け和によって、RKHSから与えられた関数を近似することである。
これは、カーネル密度推定、カーネル二次数、または離散サンプルからの補間のcruxである。
さらに、RKHSは便利な数学的および計算のフレームワークを提供する。
我々は,分散分布(deshpande & vempala, 2006)の連続的なノード位置選択のための連続的ボリュームサンプリング(vs)を導入し,解析する。
我々の貢献は理論的であり、VSの下での補間と二次化のほぼ最適境界を証明している。同様の境界は、アドホックノード構造を用いて、いくつかの特定のRKHSに対して既に存在するが、VSは任意のマーサーカーネルに適用され、関連する積分作用素のスペクトルに依存する境界を提供する。
正規化レバレッジスコアや決定点プロセスに依存する従来のランダム化アプローチとは異なり、VSのpdfを評価するにはカーネルのポイントワイズ評価が必要である。
したがって、VS は MCMC のサンプルに自然に適用可能である。 A fundamental task in kernel methods is to pick nodes and weights, so as to approximate a given function from an RKHS by the weighted sum of kernel translates located at the nodes. This is the crux of kernel density estimation, kernel quadrature, or interpolation from discrete samples. Furthermore, RKHSs offer a convenient mathematical and computational framework. We introduce and analyse continuous volume sampling (VS), the continuous counterpart -- for choosing node locations -- of a discrete distribution introduced in (Deshpande & Vempala, 2006). Our contribution is theoretical: we prove almost optimal bounds for interpolation and quadrature under VS. While similar bounds already exist for some specific RKHSs using ad-hoc node constructions, VS offers bounds that apply to any Mercer kernel and depend on the spectrum of the associated integration operator. We emphasize that, unlike previous randomized approaches that rely on regularized leverage scores or determinantal point processes, evaluating the pdf of VS only requires pointwise evaluations of the kernel. VS is thus naturally amenable to MCMC samplers. | 翻訳日:2022-12-29 19:19:54 公開日:2020-02-22 |
| # 経済的分散のための効果的なエンドツーエンド学習フレームワーク Effective End-to-End Learning Framework for Economic Dispatch ( http://arxiv.org/abs/2002.12755v1 ) ライセンス: Link先を確認 | Chenbei Lu, Kui Wang, Chenye Wu | (参考訳) 経済派遣の有効性を向上させる従来の知恵は、できるだけ正確に負荷予測方法を設計することである。
しかし,システムコストと負荷予測誤差との時間的・空間的相関が問題となる。
これにより、エンド・ツー・エンドの機械学習の概念を採用し、経済的ディスパッチを行うためのタスク固有の学習基準を提案する。
具体的には、データ利用を最大化するために、学習プロセスのための効率的な最適化カーネルを設計する。
提案する学習フレームワークの有効性と効率を強調するために,理論解析と経験的洞察の両方を提供する。 Conventional wisdom to improve the effectiveness of economic dispatch is to design the load forecasting method as accurately as possible. However, this approach can be problematic due to the temporal and spatial correlations between system cost and load prediction errors. This motivates us to adopt the notion of end-to-end machine learning and to propose a task-specific learning criteria to conduct economic dispatch. Specifically, to maximize the data utilization, we design an efficient optimization kernel for the learning process. We provide both theoretical analysis and empirical insights to highlight the effectiveness and efficiency of the proposed learning framework. | 翻訳日:2022-12-29 19:19:01 公開日:2020-02-22 |
| # 音声における抑うつ認識のための新しい決定木 A Novel Decision Tree for Depression Recognition in Speech ( http://arxiv.org/abs/2002.12759v1 ) ライセンス: Link先を確認 | Zhenyu Liu, Dongyu Wang, Lan Zhang and Bin Hu | (参考訳) うつ病は世界中で一般的な精神疾患であり、深刻な結果をもたらす。
うつ病の診断は、患者が報告した尺度と精神科医の面接に依存している。
近年, 抑うつの認識に多くの研究者が注力しており, 効果的かつ客観的な指標となる可能性がある。
本研究では,抑うつ認識精度を向上させるための決定木に基づく新たな音声セグメント融合法を提案し,52名(抑うつ患者23名,健康管理29名)のサンプルを検証した。
識別精度は男女別モデルでそれぞれ75.8%、女性68.5%である。
提案する決定木モデルが抑うつ分類性能を向上できることをデータから結論付けることができる。 Depression is a common mental disorder worldwide which causes a range of serious outcomes. The diagnosis of depression relies on patient-reported scales and psychiatrist interview which may lead to subjective bias. In recent years, more and more researchers are devoted to depression recognition in speech , which may be an effective and objective indicator. This study proposes a new speech segment fusion method based on decision tree to improve the depression recognition accuracy and conducts a validation on a sample of 52 subjects (23 depressed patients and 29 healthy controls). The recognition accuracy are 75.8% and 68.5% for male and female respectively on gender-dependent models. It can be concluded from the data that the proposed decision tree model can improve the depression classification performance. | 翻訳日:2022-12-29 19:18:44 公開日:2020-02-22 |
| # 二重エントロピーを用いた説明語列の抽出と検証 Extracting and Validating Explanatory Word Archipelagoes using Dual Entropy ( http://arxiv.org/abs/2002.09581v1 ) ライセンス: Link先を確認 | Yukio Ohsawa and Teruaki Hayashi | (参考訳) テキストの論理接続は、列島を形成する単語の接続によって表される。
ここでは、各列島は特定の単語の発生の列島である。
ここの島は、単語が強調された文の局所的なシーケンスを意味し、その単語の出現と各時間ウィンドウの幅との分布について、エントロピーa(ウィンドウベースのエントロピー)の共変量を用いて、対象テキストに匹敵する長さの諸島を抽出する。
そして、文の分布に基づいて計算されたエントロピーB(グラフベースのエントロピー)に基づいて、単語の共起に基づいて得られた連結語クラスタに対するテキストの論理接続性を評価する。
その結果, 対象のテキストの一部に, エントロピーAで抽出した単語と, 学習あるいは準備された知識を伴わずに, ベースライン法で抽出した単語よりも小さいエントロピーBの説明部分を形成することがわかった。 The logical connectivity of text is represented by the connectivity of words that form archipelagoes. Here, each archipelago is a sequence of islands of the occurrences of a certain word. An island here means the local sequence of sentences where the word is emphasized, and an archipelago of a length comparable to the target text is extracted using the co-variation of entropy A (the window-based entropy) on the distribution of the word's occurrences with the width of each time window. Then, the logical connectivity of text is evaluated on entropy B (the graph-based entropy) computed on the distribution of sentences to connected word-clusters obtained on the co-occurrence of words. The results show the parts of the target text with words forming archipelagoes extracted on entropy A, without learned or prepared knowledge, form an explanatory part of the text that is of smaller entropy B than the parts extracted by the baseline methods. | 翻訳日:2022-12-29 19:18:18 公開日:2020-02-22 |
| # 時系列予測のための分解・再構成・アンサンブル・フレームワークを用いた新しい統合ディープラーニング手法 A New Unified Deep Learning Approach with Decomposition-Reconstruction-Ensemble Framework for Time Series Forecasting ( http://arxiv.org/abs/2002.09695v1 ) ライセンス: Link先を確認 | Guowei Zhang, Tao Ren, and Yifan Yang | (参考訳) 本稿では,時系列予測問題に対する新しい変分モード分解(vmd)に基づく深層学習手法を提案する。
まず、VMDは元の時系列をいくつかのサブシグナルに分解するために使用される。
そして、畳み込みニューラルネットワーク(CNN)を適用して、分解されたサブシグナルの再構成パターンを学習し、いくつかの再構成サブシグナルを得る。
最後に、分割されたサブシグナーと再構成されたサブシグナーを入力として時系列を予測するために、長期記憶(LSTM)ネットワークを用いる。
提案したVMD-CNN-LSTMアプローチは,再構成,単一予測,アンサンブルステップを統合ディープラーニングアプローチに組み込むことで,分解・再構成・アンサンブルフレームワークから導かれる。
提案手法の予測性能を検証するために,経験的解析のために4つの典型的な時系列データセットを導入する。
実験の結果,提案手法は予測精度においてベンチマーク手法よりも優れており,また,CNNによって得られた再構成サブシグナルが予測性能の向上に重要であることを示す。 A new variational mode decomposition (VMD) based deep learning approach is proposed in this paper for time series forecasting problem. Firstly, VMD is adopted to decompose the original time series into several sub-signals. Then, a convolutional neural network (CNN) is applied to learn the reconstruction patterns on the decomposed sub-signals to obtain several reconstructed sub-signals. Finally, a long short term memory (LSTM) network is employed to forecast the time series with the decomposed sub-signals and the reconstructed sub-signals as inputs. The proposed VMD-CNN-LSTM approach is originated from the decomposition-reconstruction-ensemble framework, and innovated by embedding the reconstruction, single forecasting, and ensemble steps in a unified deep learning approach. To verify the forecasting performance of the proposed approach, four typical time series datasets are introduced for empirical analysis. The empirical results demonstrate that the proposed approach outperforms consistently the benchmark approaches in terms of forecasting accuracy, and also indicate that the reconstructed sub-signals obtained by CNN is of importance for further improving the forecasting performance. | 翻訳日:2022-12-29 19:12:42 公開日:2020-02-22 |
| # FMore:MECにおけるフェデレーション学習のための多次元オークションのインセンティブスキーム FMore: An Incentive Scheme of Multi-dimensional Auction for Federated Learning in MEC ( http://arxiv.org/abs/2002.09699v1 ) ライセンス: Link先を確認 | Rongfei Zeng, Shixun Zhang, Jiaqi Wang and Xiaowen Chu | (参考訳) モバイルエッジコンピューティング(MEC)と組み合わせたフェデレーション学習の促進は、AI駆動型サービス提供の最も有望なソリューションの1つだと考えられている。
多くの研究は、パフォーマンスとセキュリティの観点からの連合学習にフォーカスしているが、インセンティブのメカニズムは無視している。
MECでは、エッジノードは自発的に学習に参加したくないため、多次元リソースの提供が異なるため、どちらもフェデレート学習の性能が低下する可能性がある。
また、軽量なスキームはMECのエッジノードにアピールする。
これらの特徴はMECのためによく設計されたインセンティブメカニズムを必要とする。
本稿では,K当選者の多次元調達オークションを用いたインセンティブメカニズムFMoreを提案する。
提案するfmoreは軽量でインセンティブに適合するだけでなく、より高品質なエッジノードに学習参加を奨励し、最終的には連合学習のパフォーマンスを向上させる。
また, エッジノードに対するnash平衡戦略の理論的な結果を示し, アグリゲータへのガイダンスを提供するために, 期待効用理論を用いる。
大規模なシミュレーションと実世界の実験の両方で、提案手法がトレーニングラウンドを効果的に削減し、AIタスクに挑戦するモデルの精度を大幅に改善できることが示されている。 Promising federated learning coupled with Mobile Edge Computing (MEC) is considered as one of the most promising solutions to the AI-driven service provision. Plenty of studies focus on federated learning from the performance and security aspects, but they neglect the incentive mechanism. In MEC, edge nodes would not like to voluntarily participate in learning, and they differ in the provision of multi-dimensional resources, both of which might deteriorate the performance of federated learning. Also, lightweight schemes appeal to edge nodes in MEC. These features require the incentive mechanism to be well designed for MEC. In this paper, we present an incentive mechanism FMore with multi-dimensional procurement auction of K winners. Our proposal FMore not only is lightweight and incentive compatible, but also encourages more high-quality edge nodes with low cost to participate in learning and eventually improve the performance of federated learning. We also present theoretical results of Nash equilibrium strategy to edge nodes and employ the expected utility theory to provide guidance to the aggregator. Both extensive simulations and real-world experiments demonstrate that the proposed scheme can effectively reduce the training rounds and drastically improve the model accuracy for challenging AI tasks. | 翻訳日:2022-12-29 19:12:13 公開日:2020-02-22 |
| # 一般化条件勾配法における安全スクリーニング Safe Screening for the Generalized Conditional Gradient Method ( http://arxiv.org/abs/2002.09718v1 ) ライセンス: Link先を確認 | Yifan Sun and Francis Bach | (参考訳) 条件勾配法 (CGM) は高速スパース近似に広く用いられており、構造化スパース正規化器の繰り返し当たりの計算コストは低い。
本稿では,ゲージペナルティに基づくペナルティ関数に制約を置き換える一般化CGM(gCGM)のスパーシティ取得特性について検討する。
有界イテレートを仮定せずに、関数値とgCGMのギャップの$O(1/t)$収束を示す。
これを安全なスクリーニングルールと組み合わせると、$O(1/(t\delta^2))$で、スクリーニングされたサポートはソリューションでのサポートと一致し、$\delta \geq 0$は、問題の退化がどの程度近いかを測定する。
実験では,これらの修正ペナルティに対するgcgmは共通ペナルティと同様の特徴選択特性を持つが,ハイパーパラメータの選択よりも安定性が向上する可能性が示唆された。 The conditional gradient method (CGM) has been widely used for fast sparse approximation, having a low per iteration computational cost for structured sparse regularizers. We explore the sparsity acquiring properties of a generalized CGM (gCGM), where the constraint is replaced by a penalty function based on a gauge penalty; this can be done without significantly increasing the per-iteration computation, and applies to general notions of sparsity. Without assuming bounded iterates, we show $O(1/t)$ convergence of the function values and gap of gCGM. We couple this with a safe screening rule, and show that at a rate $O(1/(t\delta^2))$, the screened support matches the support at the solution, where $\delta \geq 0$ measures how close the problem is to being degenerate. In our experiments, we show that the gCGM for these modified penalties have similar feature selection properties as common penalties, but with potentially more stability over the choice of hyperparameter. | 翻訳日:2022-12-29 19:11:54 公開日:2020-02-22 |
| # オブザーバネットワークによる敵対的深層学習攻撃の非侵入検出 Non-Intrusive Detection of Adversarial Deep Learning Attacks via Observer Networks ( http://arxiv.org/abs/2002.09772v1 ) ライセンス: Link先を確認 | Kirthi Shankar Sivamani, Rajeev Sahay, Aly El Gamal | (参考訳) 近年の研究では、深層学習モデルは、人間に準受け容れない特定の敵の入力に対して脆弱であることが示されている。
本稿では,従来のネットワークの隠れた層(畳み込み型カーネル出力)から入力を受け取り,その入力をクリーンあるいは逆順に分類する複数のバイナリ検出器(observer network)を用いて,主分類ネットワークを拡張して,逆入力を検出する新しい手法を提案する。
推論中は、検出器はアンサンブルネットワークの一部として扱われ、検出器の少なくとも半数がそれを分類すると、入力は逆であるとみなされる。
提案手法は,検出プロセス中に元の分類網が変更されないため,クリーンサンプルと逆サンプルの分類精度のトレードオフに対処する。
複数のオブザーバネットワークを使用することで、攻撃者が被害者分類器を認識している場合でも、検出機構を非自明に攻撃することができる。
我々は、MNISTデータセットで99.5%、CIFAR-10データセットで97.5%の精度で、半ホワイトボックス設定でFast Gradient Sign Attackを使用する。
偽陽性検出の数は、最悪のケースでは0.12%に過ぎない。 Recent studies have shown that deep learning models are vulnerable to specifically crafted adversarial inputs that are quasi-imperceptible to humans. In this letter, we propose a novel method to detect adversarial inputs, by augmenting the main classification network with multiple binary detectors (observer networks) which take inputs from the hidden layers of the original network (convolutional kernel outputs) and classify the input as clean or adversarial. During inference, the detectors are treated as a part of an ensemble network and the input is deemed adversarial if at least half of the detectors classify it as so. The proposed method addresses the trade-off between accuracy of classification on clean and adversarial samples, as the original classification network is not modified during the detection process. The use of multiple observer networks makes attacking the detection mechanism non-trivial even when the attacker is aware of the victim classifier. We achieve a 99.5% detection accuracy on the MNIST dataset and 97.5% on the CIFAR-10 dataset using the Fast Gradient Sign Attack in a semi-white box setup. The number of false positive detections is a mere 0.12% in the worst case scenario. | 翻訳日:2022-12-29 19:10:49 公開日:2020-02-22 |
| # ニューラルネットワークによる粒子群最適化のハイブリッドモデルによるコンバインハーベスターの性能解析 Performance Analysis of Combine Harvester using Hybrid Model of Artificial Neural Networks Particle Swarm Optimization ( http://arxiv.org/abs/2002.11041v1 ) ライセンス: Link先を確認 | Laszlo Nadai, Felde Imre, Sina Ardabili, Tarahom Mesri Gundoshmian, Pinter Gergo, Amir Mosavi | (参考訳) 最適な性能のために産業機械のパラメータをチューニングするための人工知能の新たな応用が急速に進んでいる。
コンバインの調整と機械性能の向上は、収穫中の廃棄物を劇的に削減し、機械のメンテナンスにも有用である。
文献には、様々な作物の収穫者の機能をモデル化するために使われていたいくつかのソフトコンピューティング、機械学習、最適化方法が含まれている。
問題の複雑さのため、期待できる結果とともに最適な性能を予測する機械学習手法が最近提案されている。
本稿では、粒子群最適化(ANN-PSO)と統合されたニューラルネットワークに基づく新しいハイブリッド機械学習モデルを提案することにより、共通コンバインダの性能解析を行う。
近年,ソフトコンピューティング技術による機械学習手法のハイブリッド化により,コンバイン収穫機の性能向上が期待されている。
本研究は,より高精度でより安定したモデルを提供することにより,結果をさらに改善することを目的としている。 Novel applications of artificial intelligence for tuning the parameters of industrial machines for optimal performance are emerging at a fast pace. Tuning the combine harvesters and improving the machine performance can dramatically minimize the wastes during harvesting, and it is also beneficial to machine maintenance. Literature includes several soft computing, machine learning and optimization methods that had been used to model the function of harvesters of various crops. Due to the complexity of the problem, machine learning methods had been recently proposed to predict the optimal performance with promising results. In this paper, through proposing a novel hybrid machine learning model based on artificial neural networks integrated with particle swarm optimization (ANN-PSO), the performance analysis of a common combine harvester is presented. The hybridization of machine learning methods with soft computing techniques has recently shown promising results to improve the performance of the combine harvesters. This research aims at improving the results further by providing more stable models with higher accuracy. | 翻訳日:2022-12-29 19:10:26 公開日:2020-02-22 |
| # 6Gネットワークにおける超信頼性・低レイテンシ通信のための深層学習 Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks ( http://arxiv.org/abs/2002.11045v1 ) ライセンス: Link先を確認 | Changyang She and Rui Dong and Zhouyou Gu and Zhanwei Hou and Yonghui Li and Wibowo Hardjawana and Chenyang Yang and Lingyang Song and Branka Vucetic | (参考訳) 将来の6世代ネットワークでは、超信頼性と低レイテンシ通信(URLLC)が、エンドツーエンドの遅延と信頼性に厳しい要件を持つ、新たなミッションクリティカルなアプリケーションの基礎となる。
URLLCに関する既存の研究は主に理論モデルと仮定に基づいている。
モデルベースのソリューションは有用な洞察を提供するが、実際に直接実装することはできない。
本稿では,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法をまず要約し,これらの手法のオープンな問題点について論じる。
このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
基本的な考え方は、遅延と信頼性を分析し、ディープニューラルネットワーク(DNN)をトレーニングするために、理論モデルと現実世界のデータを統合することである。
ディープトランスファー学習は、非定常ネットワークで事前学習されたdnnを微調整するためにアーキテクチャで採用されている。
さらに、各ユーザと各モバイルエッジコンピューティングサーバの計算能力が制限されていることを考慮し、フェデレーション学習を適用して学習効率を向上させる。
最後に,実験およびシミュレーションの結果を示し,今後の方向性について考察する。 In the future 6th generation networks, ultra-reliable and low-latency communications (URLLC) will lay the foundation for emerging mission-critical applications that have stringent requirements on end-to-end delay and reliability. Existing works on URLLC are mainly based on theoretical models and assumptions. The model-based solutions provide useful insights, but cannot be directly implemented in practice. In this article, we first summarize how to apply data-driven supervised deep learning and deep reinforcement learning in URLLC, and discuss some open problems of these methods. To address these open problems, we develop a multi-level architecture that enables device intelligence, edge intelligence, and cloud intelligence for URLLC. The basic idea is to merge theoretical models and real-world data in analyzing the latency and reliability and training deep neural networks (DNNs). Deep transfer learning is adopted in the architecture to fine-tune the pre-trained DNNs in non-stationary networks. Further considering that the computing capacity at each user and each mobile edge computing server is limited, federated learning is applied to improve the learning efficiency. Finally, we provide some experimental and simulation results and discuss some future directions. | 翻訳日:2022-12-29 19:09:59 公開日:2020-02-22 |
| # 深層学習を用いた視神経の光コヒーレンス・トモグラフィー画像のラベルフリー3次元分割に向けて Towards Label-Free 3D Segmentation of Optical Coherence Tomography Images of the Optic Nerve Head Using Deep Learning ( http://arxiv.org/abs/2002.09635v1 ) ライセンス: Link先を確認 | Sripad Krishna Devalla, Tan Hung Pham, Satish Kumar Panda, Liang Zhang, Giridhar Subramanian, Anirudh Swaminathan, Chin Zhi Yun, Mohan Rajan, Sujatha Mohan, Ramaswami Krishnadas, Vijayalakshmi Senthil, John Mark S. de Leon, Tin A. Tun, Ching-Yu Cheng, Leopold Schmetterer, Shamira Perera, Tin Aung, Alexandre H. Thiery, Michael J. A. Girard | (参考訳) 光コヒーレンストモグラフィー(OCT)の導入以来、緑内障の進行とともに発生する視神経頭(ONH)組織の複雑な3次元形態変化を研究することが可能である。
近年,これらの形態変化の自動抽出(セグメンテーション)と定量化のためにいくつかの深層学習(DL)技術が提案されているが,デバイス固有の性質と手動セグメンテーション(トレーニングデータ)作成の難しさは臨床応用を制限している。
いくつかの新しいメーカーと次世代octデバイスが市場に参入するにつれ、dlアルゴリズムを臨床で展開する複雑さは増大している。
そこで本研究では,ラベルフリーでOCTデバイス間で簡単に変換可能なDLベースの3Dセグメンテーションフレームワークを提案する。
具体的には,dlネットワークを2セット開発した。
最初の(エンハンサーとして参照)は、OCT画像の品質を3つのOCTデバイスから向上し、これらのデバイス間で調和した画像特性を実現した。
2回目は, onh組織6層からなる3次元セグメンテーションを行った。
セグメンテーションネットワークでは,エンハンサーの使用がデバイス依存の達成に不可欠であることが判明した。
言い換えれば、我々の3Dセグメンテーションネットワークは、他の2つのデバイスからOnH組織層を高い性能で分割することに成功した(Dice coefficient > 0.92)。
このようなアプローチにより、手動による分割データを必要とせずに、新しいOCTデバイスから自動的に画像を切り離すことができる。 Since the introduction of optical coherence tomography (OCT), it has been possible to study the complex 3D morphological changes of the optic nerve head (ONH) tissues that occur along with the progression of glaucoma. Although several deep learning (DL) techniques have been recently proposed for the automated extraction (segmentation) and quantification of these morphological changes, the device specific nature and the difficulty in preparing manual segmentations (training data) limit their clinical adoption. With several new manufacturers and next-generation OCT devices entering the market, the complexity in deploying DL algorithms clinically is only increasing. To address this, we propose a DL based 3D segmentation framework that is easily translatable across OCT devices in a label-free manner (i.e. without the need to manually re-segment data for each device). Specifically, we developed 2 sets of DL networks. The first (referred to as the enhancer) was able to enhance OCT image quality from 3 OCT devices, and harmonized image-characteristics across these devices. The second performed 3D segmentation of 6 important ONH tissue layers. We found that the use of the enhancer was critical for our segmentation network to achieve device independency. In other words, our 3D segmentation network trained on any of 3 devices successfully segmented ONH tissue layers from the other two devices with high performance (Dice coefficients > 0.92). With such an approach, we could automatically segment images from new OCT devices without ever needing manual segmentation data from such devices. | 翻訳日:2022-12-29 19:09:41 公開日:2020-02-22 |
| # 進化的最適化手法に基づくシステムのネットワーク情報システムの構造的組合せ Structural Combinatorial of Network Information System of Systems based on Evolutionary Optimization Method ( http://arxiv.org/abs/2002.09706v1 ) ライセンス: Link先を確認 | Tingting Zhang, Yushi Lan, Aiguo Song, Kun Liu, Nan Wang | (参考訳) ネットワーク情報システムは、進化特性を持つ軍用情報ネットワークシステムである。
進化とは、障害と秩序、カオスと均衡を置き換える過程である。
進化の概念は生物学的システムに由来することから,ネットワーク情報アーキテクチャの進化は遺伝的アルゴリズムによって解析され,ネットワーク情報アーキテクチャは染色体によって表現される。
さらに、遺伝的アルゴリズムはアーキテクチャ空間における最適な染色体を見つけるためにも用いられる。
進化的シミュレーションは、ネットワーク情報アーキテクチャの最適スキームを予測し、システム構築の基準を提供するために用いられる。 The network information system is a military information network system with evolution characteristics. Evolution is a process of replacement between disorder and order, chaos and equilibrium. Given that the concept of evolution originates from biological systems, in this article, the evolution of network information architecture is analyzed by genetic algorithms, and the network information architecture is represented by chromosomes. Besides, the genetic algorithm is also applied to find the optimal chromosome in the architecture space. The evolutionary simulation is used to predict the optimal scheme of the network information architecture and provide a reference for system construction. | 翻訳日:2022-12-29 19:02:53 公開日:2020-02-22 |
| # 説明可能な人工知能(XAI)の実践的転換 The Pragmatic Turn in Explainable Artificial Intelligence (XAI) ( http://arxiv.org/abs/2002.09595v1 ) ライセンス: Link先を確認 | Andr\'es P\'aez | (参考訳) 本稿では、AIにおける説明可能なモデルと解釈可能な決定の探索は、AIにおける理解の実践的・自然主義的な説明を提供するというより広範なプロジェクトの観点から、再考されなければならないと論じる。
直感的には、モデルや意思決定の説明を提供する目的は、ステークホルダーに理解できるようにすることである。
しかし、エージェントがモデルや決定を理解するということの意味を事前に把握しなければ、説明戦略には明確な目標が欠けている。
XAIのより明確な目的を提供するだけでなく、理解に焦点を当てることで、多くの機械学習モデルで実現不可能な説明の事実性条件を緩和し、その代わりにモデルとそれを理解するために配置された方法と装置の最適な適合を判断する実用的条件に集中することが可能になります。
哲学的・心理学的な文献で論じられた様々なタイプの理解を検証した結果、解釈的・近似的モデルは、機械学習モデルの客観的理解を達成する最善の方法を提供するだけでなく、ポストホックな解釈可能性を達成するために必要な条件でもあると結論づけた。
この結論は、ポストホック解釈可能性に対する純粋機能主義的アプローチの欠点が、近年の文献で圧倒的に多いことに基づくものである。 In this paper I argue that the search for explainable models and interpretable decisions in AI must be reformulated in terms of the broader project of offering a pragmatic and naturalistic account of understanding in AI. Intuitively, the purpose of providing an explanation of a model or a decision is to make it understandable to its stakeholders. But without a previous grasp of what it means to say that an agent understands a model or a decision, the explanatory strategies will lack a well-defined goal. Aside from providing a clearer objective for XAI, focusing on understanding also allows us to relax the factivity condition on explanation, which is impossible to fulfill in many machine learning models, and to focus instead on the pragmatic conditions that determine the best fit between a model and the methods and devices deployed to understand it. After an examination of the different types of understanding discussed in the philosophical and psychological literature, I conclude that interpretative or approximation models not only provide the best way to achieve the objectual understanding of a machine learning model, but are also a necessary condition to achieve post-hoc interpretability. This conclusion is partly based on the shortcomings of the purely functionalist approach to post-hoc interpretability that seems to be predominant in most recent literature. | 翻訳日:2022-12-29 19:02:44 公開日:2020-02-22 |
| # ロバストCNNのための分極フロントエンド Polarizing Front Ends for Robust CNNs ( http://arxiv.org/abs/2002.09580v1 ) ライセンス: Link先を確認 | Can Bakiskan, Soorya Gopalakrishnan, Metehan Cekic, Upamanyu Madhow, Ramtin Pedarsani | (参考訳) ニューラルネットワークの小さな逆向きに設計された摂動に対する脆弱性は、その「過剰な線形性」に起因する可能性がある。
本稿では,データを分極し定量化する非線形フロントエンドを用いて,対向摂動を減衰させるボトムアップ戦略を提案する。
理想的な分極は、摂動を完全に排除し、データのほぼ偏極ベースを学習するためのアルゴリズムを開発し、提案手法がMNISTおよびFashion MNISTデータセット上で有効であることを示す。 The vulnerability of deep neural networks to small, adversarially designed perturbations can be attributed to their "excessive linearity." In this paper, we propose a bottom-up strategy for attenuating adversarial perturbations using a nonlinear front end which polarizes and quantizes the data. We observe that ideal polarization can be utilized to completely eliminate perturbations, develop algorithms to learn approximately polarizing bases for data, and investigate the effectiveness of the proposed strategy on the MNIST and Fashion MNIST datasets. | 翻訳日:2022-12-29 19:02:23 公開日:2020-02-22 |
| # 非凸非凸ミニマックス問題に対する大域収束と分散縮小最適化 Global Convergence and Variance-Reduced Optimization for a Class of Nonconvex-Nonconcave Minimax Problems ( http://arxiv.org/abs/2002.09621v1 ) ライセンス: Link先を確認 | Junchi Yang, Negar Kiyavash, Niao He | (参考訳) 非凸ミニマックス問題は、生成的対向ネットワークや対向学習などの新興機械学習アプリケーションに頻繁に現れる。
勾配降下上昇(GDA)のような単純なアルゴリズムは、これらの非凸ゲームを解決するための一般的な手法であり、多くの経験的成功を得る。
しかし、これらのベニラGDAアルゴリズムは、凸設定においても、一定のステップサイズで分散することができることが知られている。
本研究では,いわゆる2面のPolyak-{\L}ojasiewicz不等式を満たす非凸・非凸対象のサブクラスに対して,交互勾配勾配勾配上昇(AGDA)アルゴリズムが線形速度でグローバルに収束し,確率AGDAが線形速度を達成することを示す。
さらに,この問題が有限和構造を持つ場合,agdaよりも確実に高速となる分散低減アルゴリズムを考案する。 Nonconvex minimax problems appear frequently in emerging machine learning applications, such as generative adversarial networks and adversarial learning. Simple algorithms such as the gradient descent ascent (GDA) are the common practice for solving these nonconvex games and receive lots of empirical success. Yet, it is known that these vanilla GDA algorithms with constant step size can potentially diverge even in the convex setting. In this work, we show that for a subclass of nonconvex-nonconcave objectives satisfying a so-called two-sided Polyak-{\L}ojasiewicz inequality, the alternating gradient descent ascent (AGDA) algorithm converges globally at a linear rate and the stochastic AGDA achieves a sublinear rate. We further develop a variance reduced algorithm that attains a provably faster rate than AGDA when the problem has the finite-sum structure. | 翻訳日:2022-12-29 19:02:14 公開日:2020-02-22 |
| # 原油価格予測のための新しいハイブリッドアプローチ--マルチスケールデータによるエビデンス A new hybrid approach for crude oil price forecasting: Evidence from multi-scale data ( http://arxiv.org/abs/2002.09656v1 ) ライセンス: Link先を確認 | Yang Yifan, Guo Ju'e, Sun Shaolong, and Li Yixin | (参考訳) 原油価格の変動に対する研究が拡大し、インターネット技術の発展が加速すると、google search volume indexのようなアクセス可能なデータがますます定量化され、予測手法に組み込まれている。
本稿では、GSVIデータと原油価格に関する従来の経済データの両方を独立変数とするマルチスケールデータを適用し、月次原油価格予測のための新たなハイブリッドアプローチを提案する。
このハイブリッド手法は,K平均法,カーネル主成分分析,カーネル極端学習機から成り,K平均法を用いて入力データを特定のクラスタに分割し,KPCAを用いて寸法を縮小し,KELMを用いて最終原油価格予測を行う。
実験結果は、データとメソッドレベルから分析することができる。
データレベルでは、GSVIデータは、レベル予測精度において経済データよりも優れているが、Hed Behaviorによる方向予測精度では反対のパフォーマンスで、ハイブリッドデータはそれらの利点を組み合わせ、レベルと方向の精度で最高の予測性能を得る。
方法レベルでは、K平均のアプローチはK平均のアプローチよりも優れており、この方法により、分割・征服戦略が予測性能を効果的に向上できることを示す。 Faced with the growing research towards crude oil price fluctuations influential factors following the accelerated development of Internet technology, accessible data such as Google search volume index are increasingly quantified and incorporated into forecasting approaches. In this paper, we apply multi-scale data that including both GSVI data and traditional economic data related to crude oil price as independent variables and propose a new hybrid approach for monthly crude oil price forecasting. This hybrid approach, based on divide and conquer strategy, consists of K-means method, kernel principal component analysis and kernel extreme learning machine , where K-means method is adopted to divide input data into certain clusters, KPCA is applied to reduce dimension, and KELM is employed for final crude oil price forecasting. The empirical result can be analyzed from data and method levels. At the data level, GSVI data perform better than economic data in level forecasting accuracy but with opposite performance in directional forecasting accuracy because of Herd Behavior, while hybrid data combined their advantages and obtain best forecasting performance in both level and directional accuracy. At the method level, the approaches with K-means perform better than those without K-means, which demonstrates that divide and conquer strategy can effectively improve the forecasting performance. | 翻訳日:2022-12-29 19:01:31 公開日:2020-02-22 |
| # マクロ反応による非明視ガウス過程の最適化 Nonmyopic Gaussian Process Optimization with Macro-Actions ( http://arxiv.org/abs/2002.09670v1 ) ライセンス: Link先を確認 | Dmitrii Kharkovskii, Chun Kai Ling, Kian Hsiang Low | (参考訳) 本稿では,非明視適応型BOアルゴリズムとは対照的に,既存の非明視適応型BOアルゴリズムとは対照的に,より大きな予算に対応するために,マクロアクションという概念を利用して,非明視適応型ガウスプロセス最適化(GPO)をベイズ最適化(BO)に向けた多段階的アプローチを提案する。
これを実現するために、GP上層信頼度を非明極適応マクロアクションポリシーで定義した新しい獲得関数に限定して一般化する。
この研究の貢献は、非筋適合性エプシロン-ベイズ-最適マクロ反応 GPO (epsilon-Macro-GPO) 政策の導出である。
そこで我々は,エプシロン-マクロ-GPOポリシーの漸近的最適時変を性能保証とともに提案する。
我々は,エプシロン-マクロ-GPOポリシーとその時変を,人工的および実世界のデータセットを用いたBOで実証的に評価した。 This paper presents a multi-staged approach to nonmyopic adaptive Gaussian process optimization (GPO) for Bayesian optimization (BO) of unknown, highly complex objective functions that, in contrast to existing nonmyopic adaptive BO algorithms, exploits the notion of macro-actions for scaling up to a further lookahead to match up to a larger available budget. To achieve this, we generalize GP upper confidence bound to a new acquisition function defined w.r.t. a nonmyopic adaptive macro-action policy, which is intractable to be optimized exactly due to an uncountable set of candidate outputs. The contribution of our work here is thus to derive a nonmyopic adaptive epsilon-Bayes-optimal macro-action GPO (epsilon-Macro-GPO) policy. To perform nonmyopic adaptive BO in real time, we then propose an asymptotically optimal anytime variant of our epsilon-Macro-GPO policy with a performance guarantee. We empirically evaluate the performance of our epsilon-Macro-GPO policy and its anytime variant in BO with synthetic and real-world datasets. | 翻訳日:2022-12-29 19:01:08 公開日:2020-02-22 |
| # 深部強化学習による無線センサネットワークにおける車両追跡 Vehicle Tracking in Wireless Sensor Networks via Deep Reinforcement Learning ( http://arxiv.org/abs/2002.09671v1 ) ライセンス: Link先を確認 | Jun Li, Zhichao Xing, Weibin Zhang, Yan Lin, and Feng Shu | (参考訳) 車両追跡は、救助、監視、交通監視などの分野における無線センサネットワーク(WSN)の重要な応用の1つとなっている。
しかし、追跡精度の向上はエネルギー消費の増大を必要とする。
本報告では,固定センシング領域と動的活性化領域との交点面積の調整に基づくトラッキング精度と省エネ率の両立を図るために,分散車両追跡戦略を考案した。
次に、活性化領域半径の動的選択に依存する2つの深部強化学習法(DRL)を提案する。
最後に,DRL支援設計の優位性を示すシミュレーション結果を得た。 Vehicle tracking has become one of the key applications of wireless sensor networks (WSNs) in the fields of rescue, surveillance, traffic monitoring, etc. However, the increased tracking accuracy requires more energy consumption. In this letter, a decentralized vehicle tracking strategy is conceived for improving both tracking accuracy and energy saving, which is based on adjusting the intersection area between the fixed sensing area and the dynamic activation area. Then, two deep reinforcement learning (DRL) aided solutions are proposed relying on the dynamic selection of the activation area radius. Finally, simulation results show the superiority of our DRL aided design. | 翻訳日:2022-12-29 19:00:47 公開日:2020-02-22 |
| # スパーシフィケーションと適応ピア選択を用いたコミュニケーション効率の高い分散学習 Communication-Efficient Decentralized Learning with Sparsification and Adaptive Peer Selection ( http://arxiv.org/abs/2002.09692v1 ) ライセンス: Link先を確認 | Zhenheng Tang, Shaohuai Shi, Xiaowen Chu | (参考訳) フェデレーション学習のような分散学習技術により、複数のワーカーが機械学習モデルを一緒にトレーニングすることで、トレーニング時間全体の削減が可能になる。
しかしながら、現在の分散トレーニングアルゴリズム(中央集権化または分散化)は、複数の低帯域ワーカ(集中型アーキテクチャ下のサーバ上でも)の通信ボトルネックに悩まされている。
分散アルゴリズムは一般に中央集権的なアルゴリズムよりも通信の複雑さが低いが、ネットワーク帯域の少ない労働者の通信ボトルネックに苦しんでいる。
本稿では,収束性能を維持しつつ通信問題に対処するために,次のような特徴を持つ分散学習アルゴリズムを提案する。
1) トレーニング中にモデルを維持するためにパラメータサーバを必要としないため、単一のピアに対する通信プレッシャーを回避できる。
2) 各作業者は,作業者の通信トラフィックを著しく低減できる高度に圧縮されたモデルを用いて,各通信ラウンドの1つのピアと通信するのみである。
理論的には、我々のスパーシフィケーションアルゴリズムは収束特性を保っている。
3) 各作業者は異なる通信ラウンドのピアを動的に選択し,帯域幅の資源をより活用する。
提案手法の有効性を検証するため,32名の労働者を対象に畳み込みニューラルネットワークを用いた実験を行った。
実験結果から,本アルゴリズムは通信トラフィックを大幅に削減し,比較的高帯域幅のピアを選択する。 Distributed learning techniques such as federated learning have enabled multiple workers to train machine learning models together to reduce the overall training time. However, current distributed training algorithms (centralized or decentralized) suffer from the communication bottleneck on multiple low-bandwidth workers (also on the server under the centralized architecture). Although decentralized algorithms generally have lower communication complexity than the centralized counterpart, they still suffer from the communication bottleneck for workers with low network bandwidth. To deal with the communication problem while being able to preserve the convergence performance, we introduce a novel decentralized training algorithm with the following key features: 1) It does not require a parameter server to maintain the model during training, which avoids the communication pressure on any single peer. 2) Each worker only needs to communicate with a single peer at each communication round with a highly compressed model, which can significantly reduce the communication traffic on the worker. We theoretically prove that our sparsification algorithm still preserves convergence properties. 3) Each worker dynamically selects its peer at different communication rounds to better utilize the bandwidth resources. We conduct experiments with convolutional neural networks on 32 workers to verify the effectiveness of our proposed algorithm compared to seven existing methods. Experimental results show that our algorithm significantly reduces the communication traffic and generally select relatively high bandwidth peers. | 翻訳日:2022-12-29 19:00:39 公開日:2020-02-22 |
| # 高次元時系列用縦型支持ベクトルマシン Longitudinal Support Vector Machines for High Dimensional Time Series ( http://arxiv.org/abs/2002.09763v1 ) ライセンス: Link先を確認 | Kristiaan Pelckmans and Hong-Li Zeng | (参考訳) 観測された機能データから分類器を学習する問題を考える。
ここで、各データポイントは単一の時系列の形をとり、多くの特徴を含んでいる。
各シリーズにバイナリラベルが付属していると仮定すると、新しい時系列のラベルを予測することの難しさが考慮される。
ここで、古典的サポートベクトルマシンの根底にある {\em margin} の概念は、そのようなデータに対して連続バージョンに拡張される。
縦支持ベクトルマシンも凸最適化問題であり、その双対形式も導出される。
有意テストのある特定事例に対する実験結果から, 長期多変量解析におけるこのアルゴリズムの有効性が示唆された。 We consider the problem of learning a classifier from observed functional data. Here, each data-point takes the form of a single time-series and contains numerous features. Assuming that each such series comes with a binary label, the problem of learning to predict the label of a new coming time-series is considered. Hereto, the notion of {\em margin} underlying the classical support vector machine is extended to the continuous version for such data. The longitudinal support vector machine is also a convex optimization problem and its dual form is derived as well. Empirical results for specified cases with significance tests indicate the efficacy of this innovative algorithm for analyzing such long-term multivariate data. | 翻訳日:2022-12-29 18:52:40 公開日:2020-02-22 |
| # ロバスト分類器の訓練のための凸緩和境界の厚さ改善 Improving the Tightness of Convex Relaxation Bounds for Training Certifiably Robust Classifiers ( http://arxiv.org/abs/2002.09766v1 ) ライセンス: Link先を確認 | Chen Zhu, Renkun Ni, Ping-yeh Chiang, Hengduo Li, Furong Huang, Tom Goldstein | (参考訳) 凸緩和は、ノルムバウンドの敵攻撃に対するニューラルネットワークのトレーニングと認証に有効であるが、認証と経験的堅牢性の間に大きなギャップを残している。
原則として、凸緩和は、緩和された問題の解が元の非凸問題に対して可能であれば、厳密な境界を与えることができる。
本稿では,より厳密な凸緩和境界を持つニューラルネットワークのトレーニングに使用できる2つの正則化器を提案する。
すべての実験において,提案する正規化器は非正規化ベースラインよりも精度が高い。 Convex relaxations are effective for training and certifying neural networks against norm-bounded adversarial attacks, but they leave a large gap between certifiable and empirical robustness. In principle, convex relaxation can provide tight bounds if the solution to the relaxed problem is feasible for the original non-convex problem. We propose two regularizers that can be used to train neural networks that yield tighter convex relaxation bounds for robustness. In all of our experiments, the proposed regularizers result in higher certified accuracy than non-regularized baselines. | 翻訳日:2022-12-29 18:52:32 公開日:2020-02-22 |
| # 多出力予測のための最適境界 Optimistic bounds for multi-output prediction ( http://arxiv.org/abs/2002.09769v1 ) ライセンス: Link先を確認 | Henry WJ Reeve, Ata Kaban | (参考訳) 教師付きデータセットに基づいてベクトル値関数を学習することが目的であるマルチアウトプット学習の課題について検討する。
これには、マルチターゲット回帰、マルチクラス分類、マルチラベル分類など、機械学習の重要な問題が含まれている。
古典リプシッツ条件と平滑性条件の多次元類似物の間を連続的に補間する多出力損失関数に対して自己拘束リプシッツ条件を導入することで解析を開始する。
次に, 自己拘束リプシッツ条件は, 対数因子の最小値であるマルチアウトプット学習の楽観的境界を生じさせることを示した。
この証明は、地元のラデマッハの複雑さと、スレブロ、スリドハラン、テワリによる強力なマイナー化の不平等を併用する。
応用として、多クラス勾配向上のための最先端の一般化を導出する。 We investigate the challenge of multi-output learning, where the goal is to learn a vector-valued function based on a supervised data set. This includes a range of important problems in Machine Learning including multi-target regression, multi-class classification and multi-label classification. We begin our analysis by introducing the self-bounding Lipschitz condition for multi-output loss functions, which interpolates continuously between a classical Lipschitz condition and a multi-dimensional analogue of a smoothness condition. We then show that the self-bounding Lipschitz condition gives rise to optimistic bounds for multi-output learning, which are minimax optimal up to logarithmic factors. The proof exploits local Rademacher complexity combined with a powerful minoration inequality due to Srebro, Sridharan and Tewari. As an application we derive a state-of-the-art generalization bound for multi-class gradient boosting. | 翻訳日:2022-12-29 18:52:22 公開日:2020-02-22 |
| # 研究整合性調査を支援する科学画像再利用のヌルモデルの推定 Estimating a Null Model of Scientific Image Reuse to Support Research Integrity Investigations ( http://arxiv.org/abs/2003.00878v1 ) ライセンス: Link先を確認 | Daniel E. Acuna and Ziyue Xiang | (参考訳) 科学において不審な人物再利用事件がある場合、研究の完全性調査官はしばしば「偶然に起こった」と著者に反論することは困難である。
言い換えれば、画像の特徴の「衝突」がある場合、それがまれに現れるかどうかを正当化することは困難である。
本稿では,すべての科学的画像に対してランダムに発生する確率を統計的に推定することにより,画像特徴のララリティを予測する手法を提案する。
提案手法は,PubMed Open Access Subset データセットの 7 万画像を用いたORB 特徴量の高次元密度推定に基づく。
本手法は,科学的画像再利用のためのヌル仮説を提供することにより,研究整合性調査中に有意義なフィードバックが得られることを示す。
より複雑な画像のサンプルにモデルを適用し、予想通り小さくp値が小さくなることを確認した。
研究の完全性調査や今後の研究への応用について論じる。 When there is a suspicious figure reuse case in science, research integrity investigators often find it difficult to rebut authors claiming that "it happened by chance". In other words, when there is a "collision" of image features, it is difficult to justify whether it appears rarely or not. In this article, we provide a method to predict the rarity of an image feature by statistically estimating the chance of it randomly occurring across all scientific imagery. Our method is based on high-dimensional density estimation of ORB features using 7+ million images in the PubMed Open Access Subset dataset. We show that this method can lead to meaningful feedback during research integrity investigations by providing a null hypothesis for scientific image reuse and thus a p-value during deliberations. We apply the model to a sample of increasingly complex imagery and confirm that it produces decreasingly smaller p-values as expected. We discuss applications to research integrity investigations as well as future work. | 翻訳日:2022-12-29 18:44:26 公開日:2020-02-22 |
| # 合成データを用いた質問応答モデルの学習 Training Question Answering Models From Synthetic Data ( http://arxiv.org/abs/2002.09599v1 ) ライセンス: Link先を確認 | Raul Puri, Ryan Spring, Mostofa Patwary, Mohammad Shoeybi, Bryan Catanzaro | (参考訳) 質問と回答の生成は、人間のラベル付きデータの限られた量から質問応答(QA)モデルを改善することを目的としたデータ拡張手法である。
しかし、合成物と人工物との間には大きなギャップが残っている。
この研究は、大きな言語モデルを活用することで、このギャップを狭めることを目的としており、モデルのサイズ、事前訓練されたモデルの品質、データ合成の規模、アルゴリズムの選択など、いくつかの要因を探求している。
SQuAD1.1の質問応答タスクでは、SQuAD1.1のトレーニングセットを単独で使用する場合よりも、単に合成された質問や回答の方が精度が高い。
実際のウィキペディアデータへのアクセスを取り除き、830億のパラメータ GPT-2 モデルで生成された合成コーパスから質問と回答を合成する。
人間の監督にアクセスできず、他のモデルへのアクセスしかできないため、squad1.1開発セットで88.4の正確な一致(em)と93.9のf1スコアを達成する、完全に生成されたデータに基づいて、アート質問応答ネットワークの状態をトレーニングすることができる。
さらに,本手法をSQuAD2.0に適用し,合成データを用いた先行研究と比較して,EMスコアの2.8絶対ゲインを示す。 Question and answer generation is a data augmentation method that aims to improve question answering (QA) models given the limited amount of human labeled data. However, a considerable gap remains between synthetic and human-generated question-answer pairs. This work aims to narrow this gap by taking advantage of large language models and explores several factors such as model size, quality of pretrained models, scale of data synthesized, and algorithmic choices. On the SQuAD1.1 question answering task, we achieve higher accuracy using solely synthetic questions and answers than when using the SQuAD1.1 training set questions alone. Removing access to real Wikipedia data, we synthesize questions and answers from a synthetic corpus generated by an 8.3 billion parameter GPT-2 model. With no access to human supervision and only access to other models, we are able to train state of the art question answering networks on entirely model-generated data that achieve 88.4 Exact Match (EM) and 93.9 F1 score on the SQuAD1.1 dev set. We further apply our methodology to SQuAD2.0 and show a 2.8 absolute gain on EM score compared to prior work using synthetic data. | 翻訳日:2022-12-29 18:43:59 公開日:2020-02-22 |
| # 世界モデルによる創発的コミュニケーション Emergent Communication with World Models ( http://arxiv.org/abs/2002.09604v1 ) ライセンス: Link先を確認 | Alexander I. Cowen-Rivers, Jason Naradowsky | (参考訳) 我々は,将来観測の潜在符号を予測して自然言語メッセージを解釈する言語条件生成モデルのクラスであるlanguage world modelを導入する。
これは、リスニングエージェントの視野の外のオブジェクトを含むかもしれない世界の観察が強化されたのと同様に、メッセージの視覚的基盤を提供する。
我々は、この「観測」を永続的なメモリ状態に統合し、リスニングエージェントのポリシーを条件付けし、世界モデルにおけるメモリとコントローラの関係に類似させる。
2d gridworld speaker-listenerナビゲーションタスクにおける効果的なコミュニケーションとタスク成功を示す。
さらに,ポジティブな情報伝達とポジティブリスニングを促進するために,モデルに基づく定式化に特化した2つの損失を発生させる。
最後に、メッセージは生成モデルで解釈されるので、モデル信念を可視化して、通信チャネルがどのように利用されるかを理解することができる。 We introduce Language World Models, a class of language-conditional generative model which interpret natural language messages by predicting latent codes of future observations. This provides a visual grounding of the message, similar to an enhanced observation of the world, which may include objects outside of the listening agent's field-of-view. We incorporate this "observation" into a persistent memory state, and allow the listening agent's policy to condition on it, akin to the relationship between memory and controller in a World Model. We show this improves effective communication and task success in 2D gridworld speaker-listener navigation tasks. In addition, we develop two losses framed specifically for our model-based formulation to promote positive signalling and positive listening. Finally, because messages are interpreted in a generative model, we can visualize the model beliefs to gain insight into how the communication channel is utilized. | 翻訳日:2022-12-29 18:43:37 公開日:2020-02-22 |