このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス（CC 0, CC BY, CC BY-SA）の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。（arxivのメタデータは CC 0です。） 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。
公開日が20200224となっている論文です。
| Title | Authors | Abstract | 論文公表日・翻訳日 |
|---|---|---|---|
| # 普遍重力補正のための量子プローブ Quantum probes for universal gravity corrections ( http://arxiv.org/abs/2002.05754v2 ) ライセンス: Link先を確認 | Alessandro Candeloro, Cristian Degli Esposti Boschi and Matteo G.A. Paris | (参考訳) 重力理論から生じる最小長さの推定について論じる。
特に、精度の境界を提供し、推定性能を向上させるために量子プローブの使用を評価する。
まず,最小長の概念を概観し,最小長に依存するパラメータに比例する任意の量子系のハミルトニアンに現れる摂動項を誘導することを示す。
そこで我々は, この摂動が複数の1次元システムの異なる状態準備に及ぼす影響を体系的に研究し, 推定手順の精度の最終的な限界を求めるために, 量子漁業情報を評価する。
最終的に,2次元正方形井戸と調和振動子を用いた最小長さの探査を行い,次元性の役割について検討する。
その結果,量子プローブは有用な資源であり,精度が向上する可能性が示唆された。
さらに,本研究では,最小長検出のための将来の実験をデザインするためのガイドラインを提示する。 We address estimation of the minimum length arising from gravitational theories. In particular, we provide bounds on precision and assess the use of quantum probes to enhance the estimation performances. At first, we review the concept of minimum length and show how it induces a perturbative term appearing in the Hamiltonian of any quantum system, which is proportional to a parameter depending on the minimum length. We then systematically study the effects of this perturbation on different state preparations for several 1-dimensional systems, and we evaluate the Quantum Fisher Information in order to find the ultimate bounds to the precision of any estimation procedure. Eventually, we investigate the role of dimensionality by analysing the use of two-dimensional square well and harmonic oscillator systems to probe the minimal length. Our results show that quantum probes are convenient resources, providing potential enhancement in precision. Additionally, our results provide a set of guidelines to design possible future experiments to detect minimal length. | 翻訳日:2023-06-03 19:00:28 公開日:2020-02-24 |
| # シリコンチップを用いた高品質フォトニック絡み合い High-quality photonic entanglement based on a silicon chip ( http://arxiv.org/abs/2002.10106v1 ) ライセンス: Link先を確認 | Dorian Oser, S\'ebastien Tanzilli, Florent Mazeas, Carlos Alonso-Ramos, Xavier Le Roux, Gr\'egory Sauder, Xin Hua, Olivier Alibart, Laurent Vivien, \'Eric Cassan and Laurent Labont\'e | (参考訳) 量子および集積フォトニクスの実りある結合は、コンパクトでスケーラブルなシステムを用いて光の量子状態の生成、操作、検出を約束する。
単一チップ以外のテレコム波長域で高品質なフォトニックの絡み合いを発生させるために必要なビルディングブロックを全て統合することは、主にオンチップ光拒絶フィルタの性能が限られているため、大きな課題である。
本稿では,単一基板,非線形光子対発生器,受動ポンプ拒絶フィルタを統合したスタンドアロンのテレコム対応デバイスについて報告する。
標準的なチャネルグリッドファイバデマルチプレクサを用いて、そのような集積回路の最初のエンタングルメント量子化を実証し、2つの通信波長帯上のエネルギー時間エンタングル光子の最も高い量子干渉可視性を示す。
したがって、ポンプフィルタによって得られる高レベルのノイズ抑圧により、純粋に最大の絡み合った状態を生成することができる。
これらの結果は、通信規格に準拠したより高度でスケーラブルなフォトニック集積量子システムの開発をさらに促進するだろう。 The fruitful association of quantum and integrated photonics holds the promise to produce, manipulate, and detect quantum states of light using compact and scalable systems. Integrating all the building-blocks necessary to produce high-quality photonic entanglement in the telecom wavelength range out of a single chip remains a major challenge, mainly due to the limited performance of on-chip light rejection filters. We report a stand-alone, telecom-compliant, device that integrates, on a single substrate, a nonlinear photon-pair generator and a passive pump rejection filter. Using standard channel-grid fiber demultiplexers, we demonstrate the first entanglement quantification of such a integrated circuit, showing the highest raw quantum interference visibility for energy-time entangled photons over two telecom-wavelength bands. Genuinely pure maximally entangled states can therefore be generated thanks to the high-level of noise suppression obtained with the pump filter. These results will certainly further promote the development of more advanced and scalable photonic-integrated quantum systems compliant with telecommunication standards. | 翻訳日:2023-06-02 05:26:53 公開日:2020-02-24 |
| # 変調量子ビットアレイにおける放射位相双光子状態 Radiative topological biphoton states in modulated qubit arrays ( http://arxiv.org/abs/2002.10074v1 ) ライセンス: Link先を確認 | Yongguan Ke, Janet Zhong, Alexander V. Poshakinskiy, Yuri S. Kivshar, Alexander N. Poddubny, Chaohong Lee | (参考訳) 導波路に結合した空間変調量子ビットアレイ(二層原子アレイ)における束縛された光子の位相特性について検討した。
束縛対はブロッホ波のように振る舞うが、重心運動量と変調位相によって形成されるパラメータ空間において位相的に非自明であり、後者は合成次元の役割を担う。
単位セルが3つの2レベル原子(量子ビット)を含む超格子では、有界光子バンドのチャーン数を計算し、これは1,-2,1)$である。
開放境界条件では、放射損失のあるエキゾチックなトポロジカル境界面状態が見つかる。
バルクエッジ対応の従来の場合とは異なり、これらの新しいエッジモードは境界ペアバンドを分離するギャップに存在するだけでなく、バンドにマージして侵入することもある。
空間変調の異なる2つの構造を結合することで、ストレージや量子情報処理に応用できる長寿命のインターフェイス状態を見つける。 We study topological properties of bound pairs of photons in spatially-modulated qubit arrays (arrays of two-level atoms) coupled to a waveguide. While bound pairs behave like Bloch waves, they are topologically nontrivial in the parameter space formed by the center-of-mass momentum and the modulation phase, where the latter plays the role of a synthetic dimension. In a superlattice where each unit cell contains three two-level atoms (qubits), we calculate the Chern numbers for the bound-state photon bands, which are found to be $(1,-2,1)$. For open boundary condition, we find exotic topological bound-pair edge states with radiative losses. Unlike the conventional case of the bulk-edge correspondence, these novel edge modes not only exist in gaps separating the bound-pair bands, but they also may merge with and penetrate into the bands. By joining two structures with different spatial modulations, we find long-lived interface states which may have applications in storage and quantum information processing. | 翻訳日:2023-06-02 05:26:34 公開日:2020-02-24 |
| # 超低温原子の高感度イメージングに有効な統計的フリンジ除去アルゴリズム Effective statistical fringe removal algorithm for high-sensitivity imaging of ultracold atoms ( http://arxiv.org/abs/2002.10053v1 ) ライセンス: Link先を確認 | Bo Song, Chengdong He, Zejian Ren, Entong Zhao, Jeongwon Lee and Gyu-Boong Jo | (参考訳) 超低温原子の高感度イメージングは、イメージング光に干渉パターンをインプリントする場合にしばしば難しい。
このような画像ノイズは信号対雑音比を低くし、微妙な物理量の抽出能力を制限する。
ここでは,超低温原子の吸収イメージングのための高度なフランジ除去アルゴリズムについて述べる。これは,少数のサンプル画像を用いて,追加の参照画像を取ることなく,不要なフランジパターンを効率的に抑制する。
このプロトコルは、拡張された画像ベースによる画像分解および投影法に基づいている。
本手法を縮退したフェルミガスの生吸収画像に適用し,原子密度変動と温度の測定を行う。
定量的解析により,数十枚の参照画像で画像ノイズを効率的に除去できることが示され,プロトコルの効率性が示された。
我々のアルゴリズムは、いくつかの物理パラメータを限られた時間内にスキャンする必要がある量子エミュレーション実験に特に興味を持つだろう。 High-sensitivity imaging of ultracold atoms is often challenging when interference patterns are imprinted on the imaging light. Such image noises result in low signal-to-noise ratio and limit the capability to extract subtle physical quantities. Here we demonstrate an advanced fringe removal algorithm for absorption imaging of ultracold atoms, which efficiently suppresses unwanted fringe patterns using a small number of sample images without taking additional reference images. The protocol is based on an image decomposition and projection method with an extended image basis. We apply this scheme to raw absorption images of degenerate Fermi gases for the measurement of atomic density fluctuations and temperatures. The quantitative analysis shows that image noises can be efficiently removed with only tens of reference images, which manifests the efficiency of our protocol. Our algorithm would be of particular interest for the quantum emulation experiments in which several physical parameters need to be scanned within a limited time duration. | 翻訳日:2023-06-02 05:26:15 公開日:2020-02-24 |
| # 量子コンピュータのための格子ゲージ理論 Lattice Gauge Theory for a Quantum Computer ( http://arxiv.org/abs/2002.10028v1 ) ライセンス: Link先を確認 | Richard C. Brower, David Berenstein and Hiroki Kawai | (参考訳) 量子リンク~\cite{Brower:1997ha} Hamiltonian はウィルソンのユークリッド格子 QCD の代替として20年前に導入され、ゲージ場は双線型フェルミオン/反フェルミオン作用素で表される。
一般化されたこの格子場理論の新しい微視的表現は、 {\tt d-理論~\cite{brower:2003vy} と呼ばれる。
実時間発展のためのミンコフスキー空間におけるハミルトニアンとして再キャストすると、d-理論は自然に量子量子ビットアルゴリズムへと繋がる。
ここでは、ゲージ理論のディジタル量子コンピューティングを探求するため、三角格子上のU(1)コンパクトQEDの最も単純な例を定義し、スズキ・トロッター展開のゲージ不変カーネルをIBM-Qや他の既存のノイズ中間スケール量子(NISQ)ハードウェア上でテスト可能なQubit回路として表現する。
これは、高エネルギー物理学と凝縮体場の量子論への将来の応用を導くd-理論の量子複雑性を探求する控えめなステップである。 The quantum link~\cite{Brower:1997ha} Hamiltonian was introduced two decades ago as an alternative to Wilson's Euclidean lattice QCD with gauge fields represented by bi-linear fermion/anti-fermion operators. When generalized this new microscopic representation of lattice field theories is referred as {\tt D-theory}~\cite{Brower:2003vy}. Recast as a Hamiltonian in Minkowski space for real time evolution, D-theory leads naturally to quantum Qubit algorithms. Here to explore digital quantum computing for gauge theories, the simplest example of U(1) compact QED on triangular lattice is defined and gauge invariant kernels for the Suzuki-Trotter expansions are expressed as Qubit circuits capable of being tested on the IBM-Q and other existing Noisy Intermediate Scale Quantum (NISQ) hardware. This is a modest step in exploring the quantum complexity of D-theory to guide future applications to high energy physics and condensed matter quantum field theories. | 翻訳日:2023-06-02 05:25:54 公開日:2020-02-24 |
| # ベイズ量子状態推定のための実用的かつ効率的な手法 A practical and efficient approach for Bayesian quantum state estimation ( http://arxiv.org/abs/2002.10354v1 ) ライセンス: Link先を確認 | Joseph M. Lukens, Kody J. H. Law, Ajay Jasra, and Pavel Lougovski | (参考訳) ベイズ推論は量子状態トモグラフィーの強力なパラダイムであり、有意義で情報的な方法で不確実性を扱う。
しかし, 複素確率分布からのサンプリングに伴う数値的課題は, ベイズ断層撮影を実際的に妨げている。
本稿ではベイズ量子状態推定のための改良された自己完結型アプローチを紹介する。
機械学習と統計学の進歩を活かし,高度に効率的な事前条件付きクランク-ニコルソンサンプリングと擬似的類似性に依拠する。
計算コストを理論的に解析し,実データとシミュレーションデータの両方に対する推論の明示的な例を示し,既存の手法に対する性能向上を示す。 Bayesian inference is a powerful paradigm for quantum state tomography, treating uncertainty in meaningful and informative ways. Yet the numerical challenges associated with sampling from complex probability distributions hampers Bayesian tomography in practical settings. In this Article, we introduce an improved, self-contained approach for Bayesian quantum state estimation. Leveraging advances in machine learning and statistics, our formulation relies on highly efficient preconditioned Crank--Nicolson sampling and a pseudo-likelihood. We theoretically analyze the computational cost, and provide explicit examples of inference for both actual and simulated datasets, illustrating improved performance with respect to existing approaches. | 翻訳日:2023-06-02 05:18:29 公開日:2020-02-24 |
| # 一般化拡張モーメント演算子 Generalized Extended Momentum Operator ( http://arxiv.org/abs/2002.10219v1 ) ライセンス: Link先を確認 | M. Izadparast and S. Habib Mazharimousavi | (参考訳) 拡張不確実性原理関係(EUP)を満たす運動量演算子を研究・一般化する。
この一般化された拡張運動量作用素 (GEMO) は、位置作用素の任意の補助関数 $\mu \left(x\right) $ からなり、GEMO は EUP 関係を満たすだけでなく、エルミートである。
次に、GEMOを適用して一般化した一次元シュルンダー方程式を構築する。
いわゆる点正準変換(PCT)を使用すると、一般化されたシュル「{o}dinger 方程式を $x$-space から $z$-space に変換し、変換された座標、$z$ はシュル「{o}dinger 方程式の標準形式である。
連続して、2つの例を研究し、対応する方程式を解析的に解いてエネルギースペクトルを求める。 We study and generalize the momentum operator satisfying the extended uncertainty principle relation (EUP). This generalized extended momentum operator (GEMO) consists of an arbitrary auxiliary function of position operator, $\mu \left( x\right) $, in such a combination that not only GEMO satisfies the EUP relation but also it is Hermitian. Next, we apply the GEMO to construct the generalized one-dimensional Schr\"{o}dinger equation. Upon using the so called point canonical transformation (PCT), we transform the generalized Schr\"{o}dinger equation from $x$-space to $z$-space where in terms of the transformed coordinate, $z$, it is of the standard form of the Schr\"{o}dinger equation. In continuation, we study two illustrative examples and solve the corresponding equations analytically to find the energy spectrum. | 翻訳日:2023-06-02 05:17:35 公開日:2020-02-24 |
| # CODAR: 各種NISQデバイスのためのコンテキスト継続時間対応クビットマッピング CODAR: A Contextual Duration-Aware Qubit Mapping for Various NISQ Devices ( http://arxiv.org/abs/2002.10915v1 ) ライセンス: Link先を確認 | Haowei Deng, Yu Zhang and Quanxi Li | (参考訳) NISQ時代の量子コンピューティングデバイスは、量子ビット間の接続の制限のような共通の特徴と課題を共有している。
2量子ビットゲートは制限された量子ビット対で許されるため、量子コンパイラはハードウェアの制約に合うように元の量子プログラムを変換しなければならない。
キュービットマッピングに関する以前の研究は、異なるゲートが同じ実行時間を持つと仮定しており、プログラムから並列性を調べることが制限されている。
この欠点に対処するため,マルチアーキテクチャ適応量子抽象機械 (maQAM) とCODAR (Context-sensitive and Duration-Aware Remapping Algorithm) を提案する。
CODARリマッパーはゲート長差とプログラムコンテキストを認識し、プログラムからより多くの並列性を抽出し、異なるアーキテクチャにおける平均1.23のシミュレーションで量子プログラムを高速化し、Origin Quantum Noisyシミュレータで実行する際の回路の忠実さを維持する。 Quantum computing devices in the NISQ era share common features and challenges like limited connectivity between qubits. Since two-qubit gates are allowed on limited qubit pairs, quantum compilers must transform original quantum programs to fit the hardware constraints. Previous works on qubit mapping assume different gates have the same execution duration, which limits them to explore the parallelism from the program. To address this drawback, we propose a Multi-architecture Adaptive Quantum Abstract Machine (maQAM) and a COntext-sensitive and Duration-Aware Remapping algorithm (CODAR). The CODAR remapper is aware of gate duration difference and program context, enabling it to extract more parallelism from programs and speed up the quantum programs by 1.23 in simulation on average in different architectures and maintain the fidelity of circuits when running on Origin Quantum noisy simulator. | 翻訳日:2023-06-02 05:09:51 公開日:2020-02-24 |
| # 幾何学的キュービットの動的デカップリング Dynamical decoupling of a geometric qubit ( http://arxiv.org/abs/2002.10596v1 ) ライセンス: Link先を確認 | Yuhei Sekiguchi, Yusuke Komura and Hideo Kosaka | (参考訳) 量子ビットや量子ビットは制御不能な環境と絡み合うことで自然に分解される。
これにより、周期的にキュービットベースを反転させることで、クビットを環境から切り離す必要があるが、回転誤差が蓄積する。
従来の量子ビットがSU(2)2レベル系内で回転するのに対し、V字型SU(3)3レベル系の退化部分空間で定義される幾何量子ビットは、第3の補助レベルを介して幾何学的に回転し、幾何位相を得る。
本稿では,ダイアモンド中の窒素空洞中心におけるスピン三重項電子上の幾何量子ビットの動的デカップリングを導入することで,誤りの蓄積を自発的に抑制できることを示す。
幾何学的ダイナミックデカップリングは、幾何量子ビットのコヒーレンス時間を1.9msまで延長し、緩和時間によって制限され、室温で128個のデカップリングゲートを持つ。
本手法は、逐次演算を必要とする様々な量子アプリケーションで使用するホロノミック量子メモリへの経路を開く Quantum bits or qubits naturally decohere by becoming entangled with uncontrollable environments. Dynamical decoupling is thereby required to disentangle qubits from an environment by periodically reversing the qubit bases, but this causes rotation error to accumulate. Whereas a conventional qubit is rotated within the SU(2) two-level system, a geometric qubit defined in the degenerate subspace of a V-shaped SU(3) three-level system is geometrically rotated via the third ancillary level to acquire a geometric phase. We here demonstrate that, simply by introducing detuning, the dynamical decoupling of the geometric qubit on a spin triplet electron in a nitrogen-vacancy center in diamond can be made to spontaneously suppress error accumulation. The geometric dynamical decoupling extends the coherence time of the geometric qubit up to 1.9 ms, limited by the relaxation time, with 128 decoupling gates at room temperature. Our technique opens a route to holonomic quantum memory for use in various quantum applications requiring sequential operations | 翻訳日:2023-06-02 05:09:26 公開日:2020-02-24 |
| # 中間quditによる効率的な量子回路分解 Efficient Quantum Circuit Decompositions via Intermediate Qudits ( http://arxiv.org/abs/2002.10592v1 ) ライセンス: Link先を確認 | Jonathan M. Baker, Casey Duckering, Frederic T. Chong | (参考訳) 多くの量子アルゴリズムは、計算中に一時的な情報を格納するために使われる追加の量子ビットであるancillaを使用して、総実行時間を短縮する。
量子コンピュータのリソース制限は今後何年も続くので、アンシラの要求を減らすことが不可欠だ。
本研究では,アイドル量子ビットからアンシラを生成する手法を,quditsと呼ばれる高値状態に置くことで提供する。
我々は、多くの$O(n)$アンシラで回路を取り、同じ漸近深さのアンシラフリー回路を設計する方法を示す。
これを用いて, in-place adder と constant adder の回路構成を, 一時的qudits と ancilla を使わずに$o(\log n)$ の深さで与える。 Many quantum algorithms make use of ancilla, additional qubits used to store temporary information during computation, to reduce the total execution time. Quantum computers will be resource-constrained for years to come so reducing ancilla requirements is crucial. In this work, we give a method to generate ancilla out of idle qubits by placing some in higher-value states, called qudits. We show how to take a circuit with many $O(n)$ ancilla and design an ancilla-free circuit with the same asymptotic depth. Using this, we give a circuit construction for an in-place adder and a constant adder both with $O(\log n)$ depth using temporary qudits and no ancilla. | 翻訳日:2023-06-02 05:09:05 公開日:2020-02-24 |
| # 高次元角2光子干渉と角qudit状態 High-dimensional Angular Two-Photon Interference and Angular Qudit States ( http://arxiv.org/abs/2002.10513v1 ) ライセンス: Link先を確認 | Graciana Puentes | (参考訳) 角軌道角運動量絡み込み光子を用いて、パラメトリック下方変換光子の相関を利用して、d$次元量子系の最大絡み合い状態(いわゆるqudits)を生成する実験を提案する。
ツイン光子の腕に$N$スリットを含む角回折マスクは、光子の代替経路によって張られる次元$N^2$のキューディット空間を定義する。
位相整合条件により、双子の光子は対称に反対の角スリットによってのみ通過し、これらの異なる経路の間に最大に絡み合った状態を生成する。
次元$D=N^2=4,16,25,36,100$のキュウディト・ヒルベルト空間に対応して、N = 2, 4, 6, 10$の角スリットの数値結果が報告される。
本研究では,空間光変調器(SLM)とSpontaneouos Parametric Down Conversion(SPDC)による双光子を用いた提案手法の実験的実装について検討する。
クディット状態の絡み合いは、干渉縞の視認性の観点から表現されるか、または絡み合い証人を用いて表現できる共起の観点から定量化することができる。
これらの結果は、量子シミュレーションと量子情報プロトコルの基本的なリソースである高次元における絡み合った量子状態を作成するための追加の手段を提供する。 Using angular position-orbital angular momentum entangled photons, we propose an experiment to generate maximally entangled states of $D$-dimensional quantum systems, the so called qudits, by exploiting correlations of parametric down-converted photons. Angular diffraction masks containing $N$-slits in the arms of each twin photon define a qudit space of dimension $N^2$, spanned by the alternative pathways of the photons. Due to phase-matching conditions, the twin photons will pass only by symmetrically opposite angular slits, generating maximally entangled states between these different paths, which can be detected by high-order two-photon interference fringes via coincidence counts. Numerical results for $N$ angular slits with $N = 2, 4, 5, 6, 10$ are reported, corresponding to qudit Hilbert spaces of dimension $D=N^2=4,16,25, 36,100$, respectively. We discuss relevant experimental parameters for an experimental implementation of the proposed scheme using Spatial Light Modulators (SLMs), and twin-photons produced by Spontaneouos Parametric Down Conversion (SPDC). The entanglement of the qudit state can be quantified in terms of the Concurrence, which can be expressed in terms of the visibility of the interference fringes, or by using Entanglement Witnesses. These results provide an additional means for preparing entangled quantum states in high-dimensions, a fundamental resource for quantum simulation and quantum information protocols. | 翻訳日:2023-06-02 05:08:50 公開日:2020-02-24 |
| # 弱-強光子結合と第一原理からの散逸ダイナミクス Weak-to-Strong Light-Matter Coupling and Dissipative Dynamics from First Principles ( http://arxiv.org/abs/2002.10461v1 ) ライセンス: Link先を確認 | Derek S. Wang, Tom\'a\v{s} Neuman, Johannes Flick, Prineha Narang | (参考訳) キャビティを介した光マッターカップリングは、分子の光電子的および物理化学的性質を劇的に変化させることができる。
これらのシステムのab initio理論予測は、非摂動的多体電子構造理論と空洞量子電磁力学と開量子系の理論を組み合わせる必要がある。
ここでは、量子-電気力学密度汎関数理論を一般化し、散逸ダイナミクスを考慮し、弱い対強結合状態における共役空洞-分子相互作用を記述する。
具体的には, この一般化技術を確立するために, ベンゼンとトルエンの励起状態ダイナミクスとスペクトル応答を弱い光-物質結合下で研究する。
結合をチューニングすることで、電子励起状態間の空洞によるエネルギー伝達を実現する。
この一般化されたab initio量子-電気力学密度汎関数論処理は、任意の電磁環境における空洞を介する相互作用を記述するために自然に拡張することができ、相関した光-マター可観測物にアクセスし、電子構造理論と量子光学のギャップを閉じることができる。 Cavity-mediated light-matter coupling can dramatically alter opto-electronic and physico-chemical properties of a molecule. Ab initio theoretical predictions of these systems need to combine non-perturbative, many-body electronic structure theory-based methods with cavity quantum electrodynamics and theories of open quantum systems. Here we generalize quantum-electrodynamical density functional theory to account for dissipative dynamics and describe coupled cavity-molecule interactions in the weak-to-strong-coupling regimes. Specifically, to establish this generalized technique, we study excited-state dynamics and spectral responses of benzene and toluene under weak-to-strong light-matter coupling. By tuning the coupling we achieve cavity-mediated energy transfer between electronic excited states. This generalized ab initio quantum-electrodynamical density functional theory treatment can be naturally extended to describe cavity-mediated interactions in arbitrary electromagnetic environments, accessing correlated light-matter observables and thereby closing the gap between electronic structure theory and quantum optics. | 翻訳日:2023-06-02 05:06:49 公開日:2020-02-24 |
| # 2量子光シミュレータにおける局所-グローバルノイズ遷移の実験的実現 Experimental realization of local-to-global noise transition in a two-qubit optical simulator ( http://arxiv.org/abs/2002.10426v1 ) ライセンス: Link先を確認 | Claudia Benedetti, Valeria Vento, Stefano Olivares, Matteo G. A. Paris, Simone Cialdi | (参考訳) 古典的ランダム変動を考慮した2ビット全光量子シミュレータにおいて局所雑音から大域雑音への遷移を示す。
量子ビットはパラメトリックダウンコンバージョン(PDC)によって生成される2つの絡み合った光子の偏光度で符号化され、環境は空間的自由度を用いて実装される。
空間光変調器の相関画素数とスペクトルPDC幅を高精度に操作することで、局所環境に量子ビットが埋め込まれたシナリオから、同じ大域的雑音を受ける状況への移行を制御できる。
2量子状態のデコヒーレンスを監視して遷移を目撃する。 We demonstrate the transition from local to global noise in a two-qubit all-optical quantum simulator subject to classical random fluctuations. Qubits are encoded in the polarization degree of freedom of two entangled photons generated by parametric down-conversion (PDC) while the environment is implemented using their spatial degrees of freedom. The ability to manipulate with high accuracy the number of correlated pixels of a spatial-light-modulator and the spectral PDC width, allows us to control the transition from a scenario where the qubits are embedded in local environments to the situation where they are subject to the same global noise. We witness the transition by monitoring the decoherence of the two-qubit state. | 翻訳日:2023-06-02 05:06:19 公開日:2020-02-24 |
| # 非エルミート位相状態の異常特徴 Anomalous features of non-Hermitian topological states ( http://arxiv.org/abs/2002.11105v1 ) ライセンス: Link先を確認 | C. Yuce | (参考訳) 非エルミート系の位相状態は、いくつかの異常な特徴を示すことが知られている。
ここでは、非エルミート位相状態の2つの新しい異常な特徴を見つける。
位相的ロバスト性は非エルミート系における位相的固有状態の線形結合に対して非エルミート的皮膚効果により実質的に失われることを示した。
二次元非エルミートチャーン絶縁体を考えると、位相状態のキラリティーはハミルトニアンのいくつかのパラメータで破れることを示した。
これは、トポロジカル状態が2Dの後方散乱に免疫を持たないことを意味する。 Topological states in non-Hermitian systems are known to exhibit some anomalous features. Here, we find two new anomalous features of non-Hermitian topological states. We consider a one dimensional nonreciprocal Hamiltonian and show that topological robustness can be practically lost for a linear combination of topological eigenstates in non-Hermitian systems due to the non-Hermitian skin effect. We consider a two dimensional non-Hermitian Chern insulator and show that chirality of topological states can be broken at some parameters of the Hamiltonan. This implies that the topological states are no longer immune to backscattering in 2D. | 翻訳日:2023-06-02 04:57:10 公開日:2020-02-24 |
| # ドーズフィンディング臨床試験における文脈制約学習 Contextual Constrained Learning for Dose-Finding Clinical Trials ( http://arxiv.org/abs/2001.02463v2 ) ライセンス: Link先を確認 | Hyun-Suk Lee, Cong Shen, James Jordon, Mihaela van der Schaar | (参考訳) 医療分野における臨床試験は予算によって制限される。
そのため、採用できる患者数は限られている。
患者が不均一な場合、特定の薬物、特に様々な薬物に対するサブグループ特異的反応を学習することが困難になる。
また, 臨床試験が患者に利益をもたらすことを目的としていないという事実から, 患者募集の難しさも指摘されている。
本稿では,予算と安全性の両制約下での線量探索のための文脈制約付き臨床試験アルゴリズムであるc3t-budgetを提案する。
このアルゴリズムは、試験中の薬物について学びながら、臨床試験における薬物の有効性を最大化することを目的としている。
C3T-Budgetは, 残りの予算, 残業時間, 人口分布, 推定有効性, 推定信頼性など, それぞれのグループの特徴を考慮した患者を募集する。
さらに、このアルゴリズムは安全でない用量を避けることを目的としている。
これらの特徴は、理論的分析を裏付け、効率的な予算使用とバランスのとれた学習・治療トレードオフを示すシミュレーション臨床試験でさらに示される。 Clinical trials in the medical domain are constrained by budgets. The number of patients that can be recruited is therefore limited. When a patient population is heterogeneous, this creates difficulties in learning subgroup specific responses to a particular drug and especially for a variety of dosages. In addition, patient recruitment can be difficult by the fact that clinical trials do not aim to provide a benefit to any given patient in the trial. In this paper, we propose C3T-Budget, a contextual constrained clinical trial algorithm for dose-finding under both budget and safety constraints. The algorithm aims to maximize drug efficacy within the clinical trial while also learning about the drug being tested. C3T-Budget recruits patients with consideration of the remaining budget, the remaining time, and the characteristics of each group, such as the population distribution, estimated expected efficacy, and estimation credibility. In addition, the algorithm aims to avoid unsafe dosages. These characteristics are further illustrated in a simulated clinical trial study, which corroborates the theoretical analysis and demonstrates an efficient budget usage as well as a balanced learning-treatment trade-off. | 翻訳日:2023-01-13 09:40:55 公開日:2020-02-24 |
| # ランダム応答によるプライベート機械学習 Private Machine Learning via Randomised Response ( http://arxiv.org/abs/2001.04942v2 ) ライセンス: Link先を確認 | David Barber | (参考訳) ランダムな応答に基づくプライベート機械学習のための一般学習フレームワークを提案する。
当社の仮定では、すべてのアクターは潜在的に敵対的であり、個々のデータポイントの単一のノイズバージョンのリリースのみを信頼しています。
我々は、真の基礎となる機械学習モデルを推定する一貫した方法を形成する一般的なアプローチについて議論し、ロジスティック回帰の場合、これを実証する。 We introduce a general learning framework for private machine learning based on randomised response. Our assumption is that all actors are potentially adversarial and as such we trust only to release a single noisy version of an individual's datapoint. We discuss a general approach that forms a consistent way to estimate the true underlying machine learning model and demonstrate this in the case of logistic regression. | 翻訳日:2023-01-11 12:06:47 公開日:2020-02-24 |
| # パラメータのGSNRによるニューラルネットワークの一般化 Understanding Why Neural Networks Generalize Well Through GSNR of Parameters ( http://arxiv.org/abs/2001.07384v2 ) ライセンス: Link先を確認 | Jinlong Liu, Guoqing Jiang, Yunzhi Bai, Ting Chen, Huayan Wang | (参考訳) ディープニューラルネットワーク(dnn)は多くのアプリケーションドメインで大きな成功を収めているため、研究者たちはなぜうまく一般化するのかについて多くの側面を探ろうとしました。
本稿では,DNNの学習過程におけるパラメータの勾配信号と雑音比(GSNR)を用いて,これらの問題に対する新たな視点を提供する。
パラメータのGSNRは、データ分布に対する勾配の2乗平均と分散の比として定義される。
いくつかの近似に基づいて,モデルパラメータのGSNRと一般化ギャップの定量的関係を確立する。
この関係は、トレーニング中のGSNRが大きいと一般化性能が向上することを示している。
さらに、浅いモデル(例えば、ロジスティック回帰、サポートベクターマシン)とは異なり、DNNの勾配降下最適化ダイナミクスは訓練中に自然に大きなGSNRを生成し、これはおそらくDNNの顕著な一般化能力の鍵となる。 As deep neural networks (DNNs) achieve tremendous success across many application domains, researchers tried to explore in many aspects on why they generalize well. In this paper, we provide a novel perspective on these issues using the gradient signal to noise ratio (GSNR) of parameters during training process of DNNs. The GSNR of a parameter is defined as the ratio between its gradient's squared mean and variance, over the data distribution. Based on several approximations, we establish a quantitative relationship between model parameters' GSNR and the generalization gap. This relationship indicates that larger GSNR during training process leads to better generalization performance. Moreover, we show that, different from that of shallow models (e.g. logistic regression, support vector machines), the gradient descent optimization dynamics of DNNs naturally produces large GSNR during training, which is probably the key to DNNs' remarkable generalization ability. | 翻訳日:2023-01-07 23:25:02 公開日:2020-02-24 |
| # 深部クラスタリングと非教師対象検出に応用した局所的・大域的表現アンタングル化フレームワーク An Explicit Local and Global Representation Disentanglement Framework with Applications in Deep Clustering and Unsupervised Object Detection ( http://arxiv.org/abs/2001.08957v2 ) ライセンス: Link先を確認 | Rujikorn Charakorn, Yuttapong Thawornwattana, Sirawaj Itthipuripat, Nick Pawlowski, Poramate Manoonpong, Nat Dilokthanakul | (参考訳) 視覚的データは、グローバル特徴が意味レベル情報に対応し、ローカル特徴がテクスチャパターンに対応する、さまざまなレベルの粒度で理解することができる。
本研究では,ローカルおよびグローバル情報を可変オートエンコーダ(vae)フレームワーク内の潜在変数の2つのセットに分離する,splitと呼ばれるフレームワークを提案する。
我々のフレームワークは、観測可能なデータの補助的集合を生成するために潜在変数のサブセットを必要とすることにより、VAEに生成的仮定を追加する。
この追加の帰納的仮定は、潜在変数を局所情報にプライミングし、他の潜在変数がグローバル情報を表すことを奨励する。
生成仮定の異なる3種類のVAEの風味について検討した。
これらのモデル内の局所的およびグローバルな情報を効果的に切り離すことができ、より優れたクラスタリングと教師なしのオブジェクト検出ベンチマークにより表現性の向上が期待できる。
最後に,SPLITと認知神経科学における人間の視覚知覚のゆがみに関する最近の研究の関連性を確立する。
実験のコードはhttps://github.com/51616/split-vae です。 Visual data can be understood at different levels of granularity, where global features correspond to semantic-level information and local features correspond to texture patterns. In this work, we propose a framework, called SPLIT, which allows us to disentangle local and global information into two separate sets of latent variables within the variational autoencoder (VAE) framework. Our framework adds generative assumption to the VAE by requiring a subset of the latent variables to generate an auxiliary set of observable data. This additional generative assumption primes the latent variables to local information and encourages the other latent variables to represent global information. We examine three different flavours of VAEs with different generative assumptions. We show that the framework can effectively disentangle local and global information within these models leads to improved representation, with better clustering and unsupervised object detection benchmarks. Finally, we establish connections between SPLIT and recent research in cognitive neuroscience regarding the disentanglement in human visual perception. The code for our experiments is at https://github.com/51616/split-vae . | 翻訳日:2023-01-07 05:05:40 公開日:2020-02-24 |
| # 動的セルフリーネットワークにおける多重アクセス:停止性能と深層強化学習に基づく設計 Multiple Access in Dynamic Cell-Free Networks: Outage Performance and Deep Reinforcement Learning-Based Design ( http://arxiv.org/abs/2002.02801v2 ) ライセンス: Link先を確認 | Yasser Al-Eryani, Mohamed Akrout, and Ekram Hossain | (参考訳) 将来のセルフリー(またはセルレス)無線ネットワークでは、地理的領域の多数のデバイスが、集中処理プールと協調する多数の分散アクセスポイント(AP)によって、直交しない多重アクセスシナリオで同時に提供される。
静的に事前定義されたビームフォーミング設計のセルフリーネットワークでは,まず,アップリンク毎の停止確率のクローズドフォーム表現を導出する。
多数のデバイスやAPが存在する場合のユーザ信号の共同処理の複雑さを大幅に軽減するため,我々は新しい動的セルフリーネットワークアーキテクチャを提案する。
このアーキテクチャでは、分散アンテナシステム(das)を備えた仮想apとして、各サブグループを機能する一連のサブグループに分散apを分割(すなわちクラスタ化)する。
従来の静的セルフリーネットワークは、クラスタサイズが1であるこの動的セルフリーネットワークの特別なケースである。
この動的セルフリーネットワークでは,逐次干渉キャンセル(sic)可能な信号検出手法と,ユーザ間干渉(iui)対応dasの受信ダイバーシティ結合方式を提案する。
次に、APをクラスタリングし、ビームフォーミングベクトルを最大化または最小化するために設計する一般的な問題を定式化する。
そこで本研究では,複雑なオンライン実装の最適化問題を解決するために,DDPG(Deep Deterministic Policy gradient)-deep double Q-network(DDQN)モデルというハイブリッド型深層強化学習(DRL)モデルを提案する。
総和レート最適化のためのDRLモデルは、ユーザ毎の平均レート性能で最小レートを最大化するために著しく優れる。
また, システム設定において, DDPG-DDQN方式は, 網羅的な検索ベース設計により, 達成可能なレートの約78 %を達成できることがわかった。 In future cell-free (or cell-less) wireless networks, a large number of devices in a geographical area will be served simultaneously in non-orthogonal multiple access scenarios by a large number of distributed access points (APs), which coordinate with a centralized processing pool. For such a centralized cell-free network with static predefined beamforming design, we first derive a closed-form expression of the uplink per-user probability of outage. To significantly reduce the complexity of joint processing of users' signals in presence of a large number of devices and APs, we propose a novel dynamic cell-free network architecture. In this architecture, the distributed APs are partitioned (i.e. clustered) among a set of subgroups with each subgroup acting as a virtual AP equipped with a distributed antenna system (DAS). The conventional static cell-free network is a special case of this dynamic cell-free network when the cluster size is one. For this dynamic cell-free network, we propose a successive interference cancellation (SIC)-enabled signal detection method and an inter-user-interference (IUI)-aware DAS's receive diversity combining scheme. We then formulate the general problem of clustering APs and designing the beamforming vectors with an objective to maximizing the sum rate or maximizing the minimum rate. To this end, we propose a hybrid deep reinforcement learning (DRL) model, namely, a deep deterministic policy gradient (DDPG)-deep double Q-network (DDQN) model, to solve the optimization problem for online implementation with low complexity. The DRL model for sum-rate optimization significantly outperforms that for maximizing the minimum rate in terms of average per-user rate performance. Also, in our system setting, the proposed DDPG-DDQN scheme is found to achieve around $78\%$ of the rate achievable through an exhaustive search-based design. | 翻訳日:2023-01-05 21:13:34 公開日:2020-02-24 |
| # レーダー下での計測と距離定位のためのロバストなキーポイントの予測 Under the Radar: Learning to Predict Robust Keypoints for Odometry Estimation and Metric Localisation in Radar ( http://arxiv.org/abs/2001.10789v3 ) ライセンス: Link先を確認 | Dan Barnes and Ingmar Posner | (参考訳) 本稿では,レーダーにおける計測および計測位置推定のためのロバストなキーポイントを検出するための自己教師型フレームワークを提案する。
アーキテクチャ内に異なるポイントベースのモーション推定器を埋め込むことで、ローカライゼーションエラーだけでキーポイントの位置、スコア、ディスクリプタを学習する。
このアプローチは、強固なキーポイントとなるものに対して仮定を課すことを回避し、当社のアプリケーションに最適化することを決定的に許容します。
さらに、アーキテクチャはセンサ非依存であり、ほとんどのモダリティに適用できる。
我々はOxford Radar RobotCar Datasetから280kmの現実世界での運転実験を行い、ポイントベースレーダオードメトリーの最先端性を改善し、誤差を最大45%削減し、桁違いの高速動作を実現し、同時にメートル法ループクロージャを解いた。
これらの出力を組み合わせることで,都市環境におけるレーダと完全なマッピングとローカライズが可能なフレームワークを提供する。 This paper presents a self-supervised framework for learning to detect robust keypoints for odometry estimation and metric localisation in radar. By embedding a differentiable point-based motion estimator inside our architecture, we learn keypoint locations, scores and descriptors from localisation error alone. This approach avoids imposing any assumption on what makes a robust keypoint and crucially allows them to be optimised for our application. Furthermore the architecture is sensor agnostic and can be applied to most modalities. We run experiments on 280km of real world driving from the Oxford Radar RobotCar Dataset and improve on the state-of-the-art in point-based radar odometry, reducing errors by up to 45% whilst running an order of magnitude faster, simultaneously solving metric loop closures. Combining these outputs, we provide a framework capable of full mapping and localisation with radar in urban environments. | 翻訳日:2023-01-05 21:01:38 公開日:2020-02-24 |
| # 深いアクティブ推論による知覚と計画の学習 Learning Perception and Planning with Deep Active Inference ( http://arxiv.org/abs/2001.11841v2 ) ライセンス: Link先を確認 | Ozan \c{C}atal, Tim Verbelen, Johannes Nauta, Cedric De Boom and Bart Dhoedt | (参考訳) 能動推論(active inference)は、すべての生物が(予想された)自由エネルギーを最小化するために行動を推論する脳のプロセス理論である。
しかし、現在の実験は事前に定義された、しばしば離散的な状態空間に限られている。
本稿では,近年のディープラーニングの進歩を用いて,状態空間を学習し,アクティブ推論に必要な確率分布を近似する。 Active inference is a process theory of the brain that states that all living organisms infer actions in order to minimize their (expected) free energy. However, current experiments are limited to predefined, often discrete, state spaces. In this paper we use recent advances in deep learning to learn the state space and approximate the necessary probability distributions to engage in active inference. | 翻訳日:2023-01-05 11:26:14 公開日:2020-02-24 |
| # Taylorized Training: 有限幅でのニューラルネットワークトレーニングの近似性向上を目指して Taylorized Training: Towards Better Approximation of Neural Network Training at Finite Width ( http://arxiv.org/abs/2002.04010v2 ) ライセンス: Link先を確認 | Yu Bai, Ben Krause, Huan Wang, Caiming Xiong, Richard Socher | (参考訳) 有限幅のニューラルネットワークトレーニングをより理解するための取り組みとして, \emph{taylorized training}を提案する。
Taylorized Trainingは、初期化時にニューラルネットワークの$k$-orderTaylor拡張をトレーニングすることを含み、線形化トレーニングの原則拡張であり、ディープラーニングの成功を理解するための最近提案された理論である。
我々は,現代のニューラルネットワークアーキテクチャにおけるテーラライズドトレーニングを実験し,(1)テーラライズドトレーニングは,k$の増加に伴って,フルニューラルネットワークトレーニングと一致し,(2)リニアライズトレーニングとフルトレーニングのパフォーマンスギャップを著しく縮小できることを示した。
線形化トレーニングと比較して、高次トレーニングは標準パラメータ化や大規模(初期)学習率といったより現実的な設定で動作する。
実験結果を理論的に補完し, 広域ニューラルネットワークにおいて, テイラー化モデルの近似誤差が指数関数的に$k$以上減衰することを示した。 We propose \emph{Taylorized training} as an initiative towards better understanding neural network training at finite width. Taylorized training involves training the $k$-th order Taylor expansion of the neural network at initialization, and is a principled extension of linearized training---a recently proposed theory for understanding the success of deep learning. We experiment with Taylorized training on modern neural network architectures, and show that Taylorized training (1) agrees with full neural network training increasingly better as we increase $k$, and (2) can significantly close the performance gap between linearized and full training. Compared with linearized training, higher-order training works in more realistic settings such as standard parameterization and large (initial) learning rate. We complement our experiments with theoretical results showing that the approximation error of $k$-th order Taylorized models decay exponentially over $k$ in wide neural networks. | 翻訳日:2023-01-02 07:59:26 公開日:2020-02-24 |
| # 過パラメタライズされた対人訓練:次元の曲線を克服する分析 Over-parameterized Adversarial Training: An Analysis Overcoming the Curse of Dimensionality ( http://arxiv.org/abs/2002.06668v2 ) ライセンス: Link先を確認 | Yi Zhang, Orestis Plevrakis, Simon S. Du, Xingguo Li, Zhao Song, Sanjeev Arora | (参考訳) 逆行訓練は、逆行性摂動に対する神経網の堅牢性を与える一般的な方法である。
実のところ、敵対的なトレーニングは、低い堅牢なトレーニング損失につながる。
しかし、なぜ自然条件下で起こるのかという厳密な説明はいまだに欠けている。
近年、標準(非敵対的)教師付き訓練のための収束理論が様々なグループによって開発された。
min-maxの目的のため、これらの結果を敵のトレーニングに拡張する方法は明らかでない。
近年,オンライン学習のツールを用いたGaoらによって,この方向への第一歩が達成されているが,入力次元$d$のemph{exponential}と,不自然なアクティベーション機能を備えたネットの幅を必要とする。
我々の研究は、自然仮定とReLUアクティベーションの下で指数関数ではなく、 \emph{polynomial} の幅に対する低ロバストなトレーニング損失への収束を証明している。
我々の証明の鍵となる要素は、初期化に近いReLUネットワークがステップ関数を近似できることを示すことである。 Adversarial training is a popular method to give neural nets robustness against adversarial perturbations. In practice adversarial training leads to low robust training loss. However, a rigorous explanation for why this happens under natural conditions is still missing. Recently a convergence theory for standard (non-adversarial) supervised training was developed by various groups for {\em very overparametrized} nets. It is unclear how to extend these results to adversarial training because of the min-max objective. Recently, a first step towards this direction was made by Gao et al. using tools from online learning, but they require the width of the net to be \emph{exponential} in input dimension $d$, and with an unnatural activation function. Our work proves convergence to low robust training loss for \emph{polynomial} width instead of exponential, under natural assumptions and with the ReLU activation. Key element of our proof is showing that ReLU networks near initialization can approximate the step function, which may be of independent interest. | 翻訳日:2022-12-31 17:50:55 公開日:2020-02-24 |
| # 大規模データモデルにおける$k$-Centerの解決法 How to Solve Fair $k$-Center in Massive Data Models ( http://arxiv.org/abs/2002.07682v2 ) ライセンス: Link先を確認 | Ashish Chiplunkar, Sagar Kale, Sivaramakrishnan Natarajan Ramamoorthy | (参考訳) 大量のデータにより、アルゴリズムの助けを借りて重要な意思決定が自動化されているため、アルゴリズムの公平性は特に重要な研究トピックとなっている。
本研究では,公平なデータ要約をモデル化した$k$-center問題に対して,新たなストリーミングおよび分散アルゴリズムを設計する。
ストリーミングおよび分散計算モデルは、メインメモリに収まらない巨大なデータセットを処理できるという魅力的な特徴を持っている。
私たちの主な貢献は
(a)最初の分散アルゴリズムで、確率的に一定の近似比を持ち、非常に並列化可能である
(b)最もよく知られたアルゴリズム(ストリーミングアルゴリズムではない)に適合する証明可能な近似を保証する2パスストリーミングアルゴリズム。
私たちのアルゴリズムは、実装が容易で、線形実行時間も速く、動作メモリと通信も非常に少なく、既存のアルゴリズムをいくつかの実データと合成データで上回っているという利点があります。
分散アルゴリズムを補完するために、自然分散アルゴリズムの難易度結果も提供します。 Fueled by massive data, important decision making is being automated with the help of algorithms, therefore, fairness in algorithms has become an especially important research topic. In this work, we design new streaming and distributed algorithms for the fair $k$-center problem that models fair data summarization. The streaming and distributed models of computation have an attractive feature of being able to handle massive data sets that do not fit into main memory. Our main contributions are: (a) the first distributed algorithm; which has provably constant approximation ratio and is extremely parallelizable, and (b) a two-pass streaming algorithm with a provable approximation guarantee matching the best known algorithm (which is not a streaming algorithm). Our algorithms have the advantages of being easy to implement in practice, being fast with linear running times, having very small working memory and communication, and outperforming existing algorithms on several real and synthetic data sets. To complement our distributed algorithm, we also give a hardness result for natural distributed algorithms, which holds for even the special case of $k$-center. | 翻訳日:2022-12-30 19:52:28 公開日:2020-02-24 |
| # Conv-TasNetの実証的研究 An empirical study of Conv-TasNet ( http://arxiv.org/abs/2002.08688v2 ) ライセンス: Link先を確認 | Berkan Kadioglu, Michael Horgan, Xiaoyu Liu, Jordi Pons, Dan Darcy, and Vivek Kumar | (参考訳) Conv-TasNetは、最近提案された波形に基づくディープニューラルネットワークである。
そのアーキテクチャは学習可能なエンコーダ/デコーダと、この学習空間上で動作するセパレータで構成されている。
Conv-TasNetに様々な改良が提案されている。
しかし、主にセパレータに集中し、エンコーダ/デコーダを(浅すぎる)線形演算子として残した。
本稿では,Conv-TasNetの実証的研究を行い,その(深い)非線形変種に基づくエンコーダ/デコーダの拡張を提案する。
さらに、より大きく多様なLibriTTSデータセットを実験し、より大規模なデータセットでトレーニングされた場合の学習モデルの一般化能力について検討する。
本稿では,WSJ0-2mix, LibriTTS, VCTKデータベースからの分離評価を含むクロスデータセット評価を提案する。
その結果,エンコーダ/デコーダの改良により,平均SI-SNR性能を1dB以上向上できることがわかった。
さらに、conv-tasnetの一般化機能とエンコーダ/デコーダの改善の潜在的な価値について考察する。 Conv-TasNet is a recently proposed waveform-based deep neural network that achieves state-of-the-art performance in speech source separation. Its architecture consists of a learnable encoder/decoder and a separator that operates on top of this learned space. Various improvements have been proposed to Conv-TasNet. However, they mostly focus on the separator, leaving its encoder/decoder as a (shallow) linear operator. In this paper, we conduct an empirical study of Conv-TasNet and propose an enhancement to the encoder/decoder that is based on a (deep) non-linear variant of it. In addition, we experiment with the larger and more diverse LibriTTS dataset and investigate the generalization capabilities of the studied models when trained on a much larger dataset. We propose cross-dataset evaluation that includes assessing separations from the WSJ0-2mix, LibriTTS and VCTK databases. Our results show that enhancements to the encoder/decoder can improve average SI-SNR performance by more than 1 dB. Furthermore, we offer insights into the generalization capabilities of Conv-TasNet and the potential value of improvements to the encoder/decoder. | 翻訳日:2022-12-30 07:34:52 公開日:2020-02-24 |
| # DIDIデータセット:デジタルインク図データ The DIDI dataset: Digital Ink Diagram data ( http://arxiv.org/abs/2002.09303v2 ) ライセンス: Link先を確認 | Philippe Gervais and Thomas Deselaers and Emre Aksan and Otmar Hilliges | (参考訳) 我々は,動的描画情報を含む図面描画のデータセットをリリースする。
このデータセットはインタラクティブなグラフィカルなシンボリック理解の研究を促進することを目的としている。
データセットは、インプットされたデータ収集によって取得された。 We are releasing a dataset of diagram drawings with dynamic drawing information. The dataset aims to foster research in interactive graphical symbolic understanding. The dataset was obtained using a prompted data collection effort. | 翻訳日:2022-12-30 07:33:59 公開日:2020-02-24 |
| # 自動音声認識のためのディープニューラルネットワーク音響モデルの分散学習 Distributed Training of Deep Neural Network Acoustic Models for Automatic Speech Recognition ( http://arxiv.org/abs/2002.10502v1 ) ライセンス: Link先を確認 | Xiaodong Cui, Wei Zhang, Ulrich Finkler, George Saon, Michael Picheny, David Kung | (参考訳) 過去10年間、ディープラーニングの進歩により、自動音声認識(ASR)に大きな進歩が見られた。
パフォーマンスの改善は、改善されたモデルと大規模なトレーニングデータの両方に起因する。
このようなモデルのトレーニングの鍵は、効率的な分散学習技術の雇用である。
本稿では、ASRのためのディープニューラルネットワーク音響モデルのための分散トレーニング手法の概要について述べる。
本稿では,データ並列確率勾配勾配(SGD)とASR音響モデルの基礎から,通信と計算のバランスを崩すことに重点を置いた,高性能コンピューティング(HPC)環境における分散トレーニング戦略とその実現について検討する。
調査戦略の収束,スピードアップ,認識性能を検討するため,人気のあるベンチマークを用いて実験を行った。 The past decade has witnessed great progress in Automatic Speech Recognition (ASR) due to advances in deep learning. The improvements in performance can be attributed to both improved models and large-scale training data. Key to training such models is the employment of efficient distributed learning techniques. In this article, we provide an overview of distributed training techniques for deep neural network acoustic models for ASR. Starting with the fundamentals of data parallel stochastic gradient descent (SGD) and ASR acoustic modeling, we will investigate various distributed training strategies and their realizations in high performance computing (HPC) environments with an emphasis on striking the balance between communication and computation. Experiments are carried out on a popular public benchmark to study the convergence, speedup and recognition performance of the investigated strategies. | 翻訳日:2022-12-29 04:46:49 公開日:2020-02-24 |
| # ヒルベルトスケールにおける逆学習 Inverse learning in Hilbert scales ( http://arxiv.org/abs/2002.10208v1 ) ライセンス: Link先を確認 | Abhishake Rastogi and Peter Math\'e | (参考訳) 統計的学習環境におけるノイズデータを含む線形不定逆問題について検討する。
ヒルベルトスケールの一般正規化スキームを用いてランダムノイズデータからの近似再構成を求める。
本稿では,事前仮定とリンク条件の下での正規化解の収束率について考察する。
我々は、ある距離関数の観点で誤差を表現する。
ソース条件で与えられた滑らかな回帰関数に対しては、エラー境界を明示的に確立することができる。 We study the linear ill-posed inverse problem with noisy data in the statistical learning setting. Approximate reconstructions from random noisy data are sought with general regularization schemes in Hilbert scale. We discuss the rates of convergence for the regularized solution under the prior assumptions and a certain link condition. We express the error in terms of certain distance functions. For regression functions with smoothness given in terms of source conditions the error bound can then be explicitly established. | 翻訳日:2022-12-29 04:42:44 公開日:2020-02-24 |
| # 制約付きニューラルネットワーク逆問題に対する外部近似誘導最適化手法 An Outer-approximation Guided Optimization Approach for Constrained Neural Network Inverse Problems ( http://arxiv.org/abs/2002.10404v1 ) ライセンス: Link先を確認 | Myun-Seok Cheon | (参考訳) 本稿では,直交線形単位を持つ制約付きニューラルネットワーク逆問題に対する外方近似誘導最適化法について述べる。
制約付きニューラルネットワーク逆問題とは、与えられたトレーニングされたニューラルネットワークの入力値の最適なセットを見つけるための最適化問題を指し、入力値に制約がある場合に予め定義された所望の出力を生成する。
本稿では,直交活性化ユニットを用いたニューラルネットワーク逆問題に対する最適解の特性を解析し,その特性を生かして外近似アルゴリズムを提案する。
提案する外近似誘導最適化は、主相と双対相を含む。
原始相は、隣の曲率と隣人の外近似を組み込んで過程を速める。
双対位相は局所凸領域の構造を同定し、局所最適解への収束を改善するために利用する。
最後に,提案手法が投影勾配法よりも優れていることを示す計算実験を行った。 This paper discusses an outer-approximation guided optimization method for constrained neural network inverse problems with rectified linear units. The constrained neural network inverse problems refer to an optimization problem to find the best set of input values of a given trained neural network in order to produce a predefined desired output in presence of constraints on input values. This paper analyzes the characteristics of optimal solutions of neural network inverse problems with rectified activation units and proposes an outer-approximation algorithm by exploiting their characteristics. The proposed outer-approximation guided optimization comprises primal and dual phases. The primal phase incorporates neighbor curvatures with neighbor outer-approximations to expedite the process. The dual phase identifies and utilizes the structure of local convex regions to improve the convergence to a local optimal solution. At last, computation experiments demonstrate the superiority of the proposed algorithm compared to a projected gradient method. | 翻訳日:2022-12-29 04:42:11 公開日:2020-02-24 |
| # Actor-Attention-Criticによるスケーラブル多エージェント逆強化学習 Scalable Multi-Agent Inverse Reinforcement Learning via Actor-Attention-Critic ( http://arxiv.org/abs/2002.10525v1 ) ライセンス: Link先を確認 | Wonseok Jeon, Paul Barde, Derek Nowrouzezahrai, Joelle Pineau | (参考訳) 多エージェント逆逆強化学習(MA-AIRL)は、エージェントのポリシーと専門家のような振る舞いを促進する報酬関数の両方を回復しようとするマルチエージェント問題に単エージェントAIRLを適用した最近のアプローチである。
MA-AIRLは協調的および競争的なタスクにおいて有望な結果を得ているが、サンプル非効率であり、少数のエージェントに対して実験的にのみ検証されている。
サンプル効率が高く,従来よりもスケーラブルなマルチエージェント逆RLアルゴリズムを提案する。
具体的には、逆RLプロシージャのRL内ループに対して、マルチエージェントアクター・アテンション・クリティック(MAAC)、すなわち、オフポリティィマルチエージェントRL(MARL)手法を用いる。
そうすることで、小さなタスクと大規模なタスクの両方で、最先端のベースラインと比較してサンプル効率を向上させることができます。
さらに,本手法で回収した報酬を訓練したrlエージェントは,ベースラインから得られた報酬を訓練したエージェントよりも専門家に適合する。
最後に, エージェント数の増加に伴い, エージェントと環境の相互作用ははるかに少なくなる。 Multi-agent adversarial inverse reinforcement learning (MA-AIRL) is a recent approach that applies single-agent AIRL to multi-agent problems where we seek to recover both policies for our agents and reward functions that promote expert-like behavior. While MA-AIRL has promising results on cooperative and competitive tasks, it is sample-inefficient and has only been validated empirically for small numbers of agents -- its ability to scale to many agents remains an open question. We propose a multi-agent inverse RL algorithm that is more sample-efficient and scalable than previous works. Specifically, we employ multi-agent actor-attention-critic (MAAC) -- an off-policy multi-agent RL (MARL) method -- for the RL inner loop of the inverse RL procedure. In doing so, we are able to increase sample efficiency compared to state-of-the-art baselines, across both small- and large-scale tasks. Moreover, the RL agents trained on the rewards recovered by our method better match the experts than those trained on the rewards derived from the baselines. Finally, our method requires far fewer agent-environment interactions, particularly as the number of agents increases. | 翻訳日:2022-12-29 04:41:58 公開日:2020-02-24 |
| # ビデオモニタリングクエリ Video Monitoring Queries ( http://arxiv.org/abs/2002.10537v1 ) ライセンス: Link先を確認 | Nick Koudas, Raymond Li, Ioannis Xarchakos | (参考訳) 近年の深層学習プリミティブを利用した映像処理の進歩は、フレーム分類やオブジェクト検出などのビデオ解析の基本的問題において画期的な成果を上げた。
本稿では,ビデオストリームにおける対話型宣言型クエリ処理の問題について検討する。
特に、特定のタイプのオブジェクト(例えば、車、トラックなど)をビデオフレーム上で関連付けられた空間的関係(例えば、トラックの左車)を含むクエリを高速化するための近似フィルタのセットを導入する。
結果のフィルタは、クエリ述語が真である場合、フレームのさらなる分析を進めることができ、そうでなければ、コストのかかるオブジェクト検出操作を避けるためにフレームをさらに考慮しない。
我々は、深層画像分類とオブジェクト検出の原則に適応するフィルタのクラスを、IC$とOD$の2つ提案する。
フィルタは拡張可能なディープニューラルアーキテクチャを使用し、デプロイや利用が容易である。
さらに,ビデオストリームに空間制約のあるオブジェクトを含む集約クエリを処理するための統計的クエリ処理手法を提案し,結果の集計推定精度を実験的に高めていることを示す。
これらのテクニックを組み合わせることで、ビデオ監視クエリ処理の堅牢なセットを構成する。
ビデオストリーム上での宣言的クエリと組み合わせて提案する手法の適用により,フレーム処理速度が劇的に向上し,クエリ処理が少なくとも2桁高速化できることを実証する。
本稿では,ベンチマークビデオデータセットを大規模に活用し,パフォーマンスのメリットと提案の実践的妥当性を実証する実験結果について述べる。 Recent advances in video processing utilizing deep learning primitives achieved breakthroughs in fundamental problems in video analysis such as frame classification and object detection enabling an array of new applications. In this paper we study the problem of interactive declarative query processing on video streams. In particular we introduce a set of approximate filters to speed up queries that involve objects of specific type (e.g., cars, trucks, etc.) on video frames with associated spatial relationships among them (e.g., car left of truck). The resulting filters are able to assess quickly if the query predicates are true to proceed with further analysis of the frame or otherwise not consider the frame further avoiding costly object detection operations. We propose two classes of filters $IC$ and $OD$, that adapt principles from deep image classification and object detection. The filters utilize extensible deep neural architectures and are easy to deploy and utilize. In addition, we propose statistical query processing techniques to process aggregate queries involving objects with spatial constraints on video streams and demonstrate experimentally the resulting increased accuracy on the resulting aggregate estimation. Combined these techniques constitute a robust set of video monitoring query processing techniques. We demonstrate that the application of the techniques proposed in conjunction with declarative queries on video streams can dramatically increase the frame processing rate and speed up query processing by at least two orders of magnitude. We present the results of a thorough experimental study utilizing benchmark video data sets at scale demonstrating the performance benefits and the practical relevance of our proposals. | 翻訳日:2022-12-29 04:41:37 公開日:2020-02-24 |
| # 深層強化学習を駆使したリコンフィグアブル・サーフェス支援マルチユーザMISOシステム Reconfigurable Intelligent Surface Assisted Multiuser MISO Systems Exploiting Deep Reinforcement Learning ( http://arxiv.org/abs/2002.10072v1 ) ライセンス: Link先を確認 | Chongwen Huang, Ronghong Mo and Chau Yuen | (参考訳) 近年,再構成可能な知的表面(RIS)は,将来の6世代(6G)無線通信システムにおいて,多数のマルチ入力多重出力(Massive-MIMO)技術を超えて,スマート無線環境を実現するための鍵となる技術のひとつと推測されている。
リフレクションアレイとして使用されるRISは、無線周波数チェーンを必要とせずにMIMO伝送を支援することができるため、消費電力は大幅に減少する。
本稿では,基地局におけるビームフォーミング行列とRISにおける位相シフト行列の接合設計について,最近の深部強化学習(DRL)の進歩を活用して検討する。
まず, 連続状態と行動の文脈で, 事前定義された報酬を観測することで環境と試行錯誤の相互作用により共同設計を行うdrlアルゴリズムを開発した。
送信ビームフォーミングと位相シフトを交互に得るために、交互最適化技術を利用した最も報告された研究とは異なり、提案したDRLベースのアルゴリズムは、DRLニューラルネットワークの出力として、ジョイントデザインを同時に取得する。
シミュレーションの結果,提案手法は環境から学習し,その動作を徐々に改善できるだけでなく,2つの最先端ベンチマークと同等の性能が得られることがわかった。
また、適切なニューラルネットワークパラメータ設定により、提案アルゴリズムの性能と収束率を大幅に向上することが観察された。 Recently, the reconfigurable intelligent surface (RIS), benefited from the breakthrough on the fabrication of programmable meta-material, has been speculated as one of the key enabling technologies for the future six generation (6G) wireless communication systems scaled up beyond massive multiple input multiple output (Massive-MIMO) technology to achieve smart radio environments. Employed as reflecting arrays, RIS is able to assist MIMO transmissions without the need of radio frequency chains resulting in considerable reduction in power consumption. In this paper, we investigate the joint design of transmit beamforming matrix at the base station and the phase shift matrix at the RIS, by leveraging recent advances in deep reinforcement learning (DRL). We first develop a DRL based algorithm, in which the joint design is obtained through trial-and-error interactions with the environment by observing predefined rewards, in the context of continuous state and action. Unlike the most reported works utilizing the alternating optimization techniques to alternatively obtain the transmit beamforming and phase shifts, the proposed DRL based algorithm obtains the joint design simultaneously as the output of the DRL neural network. Simulation results show that the proposed algorithm is not only able to learn from the environment and gradually improve its behavior, but also obtains the comparable performance compared with two state-of-the-art benchmarks. It is also observed that, appropriate neural network parameter settings will improve significantly the performance and convergence rate of the proposed algorithm. | 翻訳日:2022-12-29 04:40:02 公開日:2020-02-24 |
| # オックスフォード・ロボットカー・データセットのための実時間運動場真実 Real-time Kinematic Ground Truth for the Oxford RobotCar Dataset ( http://arxiv.org/abs/2002.10152v1 ) ライセンス: Link先を確認 | Will Maddern, Geoffrey Pascoe, Matthew Gadd, Dan Barnes, Brian Yeomans, Paul Newman | (参考訳) 大規模なOxford RobotCar Datasetに基づく長期ローカライゼーションおよびマッピングベンチマークに向けた参照データのリリースについて述べる。
このリリースには、イギリスのオックスフォードを通るルートを72回横断し、すべての照明、天候、交通条件を満たし、自動運転車が確実に運用されるであろう条件を代表している。
ポスト処理された生GPS, IMU, 静的GNSSの基地局記録を用いて, データセットの1年間にわたって, グローバルに一貫性のある精度の高い地上真実を作成した。
オンラインベンチマークサービスの計画と合わせて,気象変動に伴う都市環境における自動車の長期的自律性に着目した,異なるローカライズとマッピングアプローチの定量的評価と比較を可能にしたい。 We describe the release of reference data towards a challenging long-term localisation and mapping benchmark based on the large-scale Oxford RobotCar Dataset. The release includes 72 traversals of a route through Oxford, UK, gathered in all illumination, weather and traffic conditions, and is representative of the conditions an autonomous vehicle would be expected to operate reliably in. Using post-processed raw GPS, IMU, and static GNSS base station recordings, we have produced a globally-consistent centimetre-accurate ground truth for the entire year-long duration of the dataset. Coupled with a planned online benchmarking service, we hope to enable quantitative evaluation and comparison of different localisation and mapping approaches focusing on long-term autonomy for road vehicles in urban environments challenged by changing weather. | 翻訳日:2022-12-29 04:33:13 公開日:2020-02-24 |
| # プライバシによるグループメンバシップ検証:スパースかデンスか? Group Membership Verification with Privacy: Sparse or Dense? ( http://arxiv.org/abs/2002.10362v1 ) ライセンス: Link先を確認 | Marzieh Gheisari, Teddy Furon, Laurent Amsaleg | (参考訳) グループメンバー認証は、生体特性がそのメンバーの同一性を明らかにすることなく、グループの1つのメンバーに対応するかどうかをチェックする。
最近のコントリビューションは、テンプレートを個別の埋め込みに量子化し、複数のテンプレートを一つのグループ表現に集約する、2つのメカニズムを併用することで、グループメンバシッププロトコルのプライバシを提供する。
しかし、このスキームには欠点が1つある: グループを表すデータ構造はサイズが限られており、多くのテンプレートが集約されたときにノイズの多いクエリを認識することができない。
さらに、埋め込みの幅は性能検証において重要な役割を担っているようである。
本稿では,セキュリティ,コンパクト性,検証性能にスパーシティが与える影響を明らかにするために,グループメンバシップ検証のための数理モデルを提案する。
このモデルは、ノイズの多いクエリに対して堅牢なブルームフィルタへのギャップを埋める。
これは、クエリがほとんどノイズ無しでない限り、密度の高いソリューションの方が競争力があることを示している。 Group membership verification checks if a biometric trait corresponds to one member of a group without revealing the identity of that member. Recent contributions provide privacy for group membership protocols through the joint use of two mechanisms: quantizing templates into discrete embeddings and aggregating several templates into one group representation. However, this scheme has one drawback: the data structure representing the group has a limited size and cannot recognize noisy queries when many templates are aggregated. Moreover, the sparsity of the embeddings seemingly plays a crucial role on the performance verification. This paper proposes a mathematical model for group membership verification allowing to reveal the impact of sparsity on both security, compactness, and verification performances. This model bridges the gap towards a Bloom filter robust to noisy queries. It shows that a dense solution is more competitive unless the queries are almost noiseless. | 翻訳日:2022-12-29 04:32:43 公開日:2020-02-24 |
| # バイオメトリックグループメンバーシップのためのアサインメントと表現の連成学習 Joint Learning of Assignment and Representation for Biometric Group Membership ( http://arxiv.org/abs/2002.10363v1 ) ライセンス: Link先を確認 | Marzieh Gheisari, Teddy Furon, Laurent Amsaleg | (参考訳) 本稿では,興味あるが正直なサーバが登録された生体認証署名の再構築を防止し,問い合わせクライアントのアイデンティティを推測するグループメンバシッププロトコルの枠組みを提案する。
このフレームワークは、埋め込みパラメータ、グループ表現、割り当てを同時に学習する。
実験では、セキュリティ/プライバシーと検証/識別性能のトレードオフを示す。 This paper proposes a framework for group membership protocols preventing the curious but honest server from reconstructing the enrolled biometric signatures and inferring the identity of querying clients. This framework learns the embedding parameters, group representations and assignments simultaneously. Experiments show the trade-off between security/privacy and verification/identification performances. | 翻訳日:2022-12-29 04:32:28 公開日:2020-02-24 |
| # 深層学習は磁気共鳴画像から人工膝置換を予測する Deep learning predicts total knee replacement from magnetic resonance images ( http://arxiv.org/abs/2002.10591v1 ) ライセンス: Link先を確認 | Aniket A. Tolpadi, Jinhee J. Lee, Valentina Pedoia, Sharmila Majumdar | (参考訳) 変形性膝関節症(英語: Kneeartharthritis, OA)は、アメリカ合衆国において一般的な筋骨格疾患である。
早期に診断された場合、運動や体重減少などのライフスタイルの介入はOAの進行を遅らせるが、後期には全膝置換(TKR)という侵襲的な選択肢しか得られない。
一般的には手術が成功しているが、膝の「正常」を訴える患者は2/3に過ぎず、再手術を要する合併症が生じることがある。
これにより、tkrのリスクが高い集団、特にoaのより先進的な段階における集団を特定するモデルが必要となり、oaの進行が遅くtkrを遅らせる適切な治療が実現される。
AUC $0.834 \pm 0.036$ (p < 0.05)でTKRを予測するため,MRI画像と臨床および人口統計情報を利用したディープラーニングパイプラインを提案する。
最も注目すべきは、OAのない患者に対して、AUC $0.943 \pm 0.057$ (p < 0.05)でTKRを予測することである。
さらに,テストデータ中のケースコントロールペアのオクルージョンマップを開発し,両者で使用する領域を比較し,TKRイメージングバイオマーカーを同定する。
そこで,本研究は臨床的有用性のあるパイプラインを目指して進み,OAの進行と最終的なTKRの発症のさらなる理解をバイオマーカーで確認した。 Knee Osteoarthritis (OA) is a common musculoskeletal disorder in the United States. When diagnosed at early stages, lifestyle interventions such as exercise and weight loss can slow OA progression, but at later stages, only an invasive option is available: total knee replacement (TKR). Though a generally successful procedure, only 2/3 of patients who undergo the procedure report their knees feeling ''normal'' post-operation, and complications can arise that require revision. This necessitates a model to identify a population at higher risk of TKR, particularly at less advanced stages of OA, such that appropriate treatments can be implemented that slow OA progression and delay TKR. Here, we present a deep learning pipeline that leverages MRI images and clinical and demographic information to predict TKR with AUC $0.834 \pm 0.036$ (p < 0.05). Most notably, the pipeline predicts TKR with AUC $0.943 \pm 0.057$ (p < 0.05) for patients without OA. Furthermore, we develop occlusion maps for case-control pairs in test data and compare regions used by the model in both, thereby identifying TKR imaging biomarkers. As such, this work takes strides towards a pipeline with clinical utility, and the biomarkers identified further our understanding of OA progression and eventual TKR onset. | 翻訳日:2022-12-29 04:32:22 公開日:2020-02-24 |
| # 確率的到達性と安全仕様のための安全強化学習:リャプノフに基づくアプローチ Safe reinforcement learning for probabilistic reachability and safety specifications: A Lyapunov-based approach ( http://arxiv.org/abs/2002.10126v1 ) ライセンス: Link先を確認 | Subin Huh, Insoon Yang | (参考訳) 自律運転やロボット手術のようなロボット工学や自律システムにおける新たな応用は、システムモデルに関する情報が限られている場合でも満たさなければならない重要な安全上の制約を伴うことが多い。
本稿では、確率的到達可能性分析と安全強化学習(RL)を慎重に組み合わせ、安全運転の最大確率を学習するモデルフリー安全仕様法を提案する。
本手法は,それぞれの政策改善段階を抑制する安全な政策に関して,リアプノフ関数を構築する。
その結果、安全集合と呼ばれる安全な操作の範囲を決定する一連の安全なポリシーが得られ、単調に膨張し徐々に収束する。
また,未確認状態の安全性を識別するプロセスを高速化する効率的な安全な探索手法を開発した。
リアプノフ遮蔽を活用し, 危険状態を高い信頼度で回避するために探索政策を規制する。
高次元システムを扱うため,我々はラグランジュ緩和手法を導入して,より深いRLへのアプローチをさらに拡張し,トラクタクリティカルなアルゴリズムを確立する。
本手法の実証的な性能は,平面ロボットアームの到達タスクなど,連続制御ベンチマーク問題を通じて実証される。 Emerging applications in robotics and autonomous systems, such as autonomous driving and robotic surgery, often involve critical safety constraints that must be satisfied even when information about system models is limited. In this regard, we propose a model-free safety specification method that learns the maximal probability of safe operation by carefully combining probabilistic reachability analysis and safe reinforcement learning (RL). Our approach constructs a Lyapunov function with respect to a safe policy to restrain each policy improvement stage. As a result, it yields a sequence of safe policies that determine the range of safe operation, called the safe set, which monotonically expands and gradually converges. We also develop an efficient safe exploration scheme that accelerates the process of identifying the safety of unexamined states. Exploiting the Lyapunov shielding, our method regulates the exploratory policy to avoid dangerous states with high confidence. To handle high-dimensional systems, we further extend our approach to deep RL by introducing a Lagrangian relaxation technique to establish a tractable actor-critic algorithm. The empirical performance of our method is demonstrated through continuous control benchmark problems, such as a reaching task on a planar robot arm. | 翻訳日:2022-12-29 04:31:33 公開日:2020-02-24 |
| # ファイティングファンタジーゲームシステムにおける最適戦略:限られた資源を持つギャンブルによる確率力学への影響 Optimal strategies in the Fighting Fantasy gaming system: influencing stochastic dynamics by gambling with limited resource ( http://arxiv.org/abs/2002.10172v1 ) ライセンス: Link先を確認 | Iain G. Johnston | (参考訳) Fighting Fantasyは、世界で人気のあるレクリエーションファンタジーゲームシステムである。
このシステムでの戦闘は、一連のラウンドを含む確率ゲームを通じて進行し、それぞれが勝利または負ける可能性がある。
各ラウンドにおいて、限られた資源(`luck')をギャンブルに費やして、勝利の利益を増幅したり、赤字を損失から軽減したりすることができる。
しかし、このギャンブルの成功は、残りの資源の量によって異なり、ギャンブルが失敗した場合、利益は減少し、赤字は増加する。
したがって、プレイヤーはリソースを動的に選択してゲームの確率力学に影響を与えようとするが、正のリターンの確率は低下する。
勝利のための最適な戦略の特定は、まだ解決されていないマルコフの決定問題である。
本稿では,確率解析とシミュレーションを動的プログラミングと組み合わせて,ギャンブル政策の欠如と存在下でのシステムの動的挙動を特徴付ける。
幸運に基づく戦略を使わずに勝利確率の簡単な表現を導出する。
我々は,システムに対するベルマン方程式の解法と,ゲーム中の任意の状態に対する最適な戦略を特定するために,後方帰納法を用いる。
最適制御戦略は、成功確率を劇的に向上させることができるが、詳細な形状をとる。
本研究は,世界中の何百万人もの人がプレイするゲームの成功のロードマップを提供し,確率ゲームにおけるリターンの低下を伴う資源配分問題のクラスに通知する。 Fighting Fantasy is a popular recreational fantasy gaming system worldwide. Combat in this system progresses through a stochastic game involving a series of rounds, each of which may be won or lost. Each round, a limited resource (`luck') may be spent on a gamble to amplify the benefit from a win or mitigate the deficit from a loss. However, the success of this gamble depends on the amount of remaining resource, and if the gamble is unsuccessful, benefits are reduced and deficits increased. Players thus dynamically choose to expend resource to attempt to influence the stochastic dynamics of the game, with diminishing probability of positive return. The identification of the optimal strategy for victory is a Markov decision problem that has not yet been solved. Here, we combine stochastic analysis and simulation with dynamic programming to characterise the dynamical behaviour of the system in the absence and presence of gambling policy. We derive a simple expression for the victory probability without luck-based strategy. We use a backward induction approach to solve the Bellman equation for the system and identify the optimal strategy for any given state during the game. The optimal control strategies can dramatically enhance success probabilities, but take detailed forms; we use stochastic simulation to approximate these optimal strategies with simple heuristics that can be practically employed. Our findings provide a roadmap to improving success in the games that millions of people play worldwide, and inform a class of resource allocation problems with diminishing returns in stochastic games. | 翻訳日:2022-12-29 04:31:14 公開日:2020-02-24 |
| # 接続性に制約のある航空車両のナビゲーションのための二重Qラーニング手法 A Double Q-Learning Approach for Navigation of Aerial Vehicles with Connectivity Constraint ( http://arxiv.org/abs/2002.10563v1 ) ライセンス: Link先を確認 | Behzad Khamidehi and Elvino S. Sousa | (参考訳) 本稿では,初期位置と最終位置の2つの飛行をミッションとする航空機の軌道最適化問題について検討する。
目的は、航空車両の安全運転に必要な通信接続制約が満足することを保証するため、航空車両の走行時間を最小化することである。
我々は,2つの異なるシナリオにつながる航空機の接続制約の2つの異なる基準を検討する。
第1のシナリオでは、地上基地局(gbss)のカバー範囲外にある航空機の最大持続時間は所定のしきい値に制限されていると仮定する。
しかし、第2のシナリオでは、航空機がgbssでカバーされていない総期間が制限されていると仮定する。
これら2つの制約に基づき、2つの軌道最適化問題を定式化する。
このような非凸問題の解決には、モデルなし強化学習手法である二重Q-ラーニング法に基づくアプローチを用いるが、既存のアルゴリズムとは異なり、環境の完全な知識は必要ない。
さらに、よく知られたQ-ラーニング手法とは対照的に、我々の二重Q-ラーニングアルゴリズムは過大評価の問題に悩まされない。
シミュレーションの結果,本アルゴリズムは環境の事前情報を必要としないが,最適に近い性能を示すことがわかった。 This paper studies the trajectory optimization problem for an aerial vehicle with the mission of flying between a pair of given initial and final locations. The objective is to minimize the travel time of the aerial vehicle ensuring that the communication connectivity constraint required for the safe operation of the aerial vehicle is satisfied. We consider two different criteria for the connectivity constraint of the aerial vehicle which leads to two different scenarios. In the first scenario, we assume that the maximum continuous time duration that the aerial vehicle is out of the coverage of the ground base stations (GBSs) is limited to a given threshold. In the second scenario, however, we assume that the total time periods that the aerial vehicle is not covered by the GBSs is restricted. Based on these two constraints, we formulate two trajectory optimization problems. To solve these non-convex problems, we use an approach based on the double Q-learning method which is a model-free reinforcement learning technique and unlike the existing algorithms does not need perfect knowledge of the environment. Moreover, in contrast to the well-known Q-learning technique, our double Q-learning algorithm does not suffer from the over-estimation issue. Simulation results show that although our algorithm does not require prior information of the environment, it works well and shows near optimal performance. | 翻訳日:2022-12-29 04:30:48 公開日:2020-02-24 |
| # 同期通信における支配の発見の自動化 Automating Discovery of Dominance in Synchronous Computer-Mediated Communication ( http://arxiv.org/abs/2002.10582v1 ) ライセンス: Link先を確認 | Jim Samuel, Richard Holowczak, Raquel Benbunan-Fich, Ilan Levine | (参考訳) 電子的相互作用の出現により、支配(あるいは他者に対する支配の主張)は新しい次元を得た。
本研究では,隠れプロファイルタスクを解くグループの電子チャット書き起こしを解析し,仮想インタラクションにおける優位性のダイナミクスと特徴について検討する。
優位性を示すコンピュータによる通信行動パターンを調査し,多くの変数を同定する。
これらのインジケータは、テキスト書き起こしの自動および手作業によるコーディングで計算される。
両変数の比較は、自動テキスト解析手法が手動のコーディングと類似した結論をもたらすことを示している。
これらの知見は,テキスト解析法全般,特に仮想チーム支配研究において研究を進めることを奨励している。 With the advent of electronic interaction, dominance (or the assertion of control over others) has acquired new dimensions. This study investigates the dynamics and characteristics of dominance in virtual interaction by analyzing electronic chat transcripts of groups solving a hidden profile task. We investigate computer-mediated communication behavior patterns that demonstrate dominance and identify a number of relevant variables. These indicators are calculated with automatic and manual coding of text transcripts. A comparison of both sets of variables indicates that automatic text analysis methods yield similar conclusions than manual coding. These findings are encouraging to advance research in text analysis methods in general, and in the study of virtual team dominance in particular. | 翻訳日:2022-12-29 04:24:50 公開日:2020-02-24 |
| # OAEIの知識グラフトラック -ゴールドスタンダード、ベースライン、ゴールデンハマーバイアス The Knowledge Graph Track at OAEI -- Gold Standards, Baselines, and the Golden Hammer Bias ( http://arxiv.org/abs/2002.10283v1 ) ライセンス: Link先を確認 | Sven Hertling, Heiko Paulheim | (参考訳) オントロジーアライメント評価イニシアチブ(OAEI)は、オントロジーマッチングツールの年次評価である。
2018年に我々は、大規模知識グラフのエンティティとスキーマの同時マッチングを評価することを目的として、Knowledge Graphトラックを開始した。
本稿では,トラックの設計とゴールドスタンダード作成の2つの異なる戦略について論じる。
トラックの最初の版で得られた結果と経験を分析し、隠れたタスクを明らかにすることで、トラックに提出されたすべてのツール(おそらく他のトラックにも)が黄金のハンマーバイアスと呼ばれるバイアスに悩まされていることを示す。 The Ontology Alignment Evaluation Initiative (OAEI) is an annual evaluation of ontology matching tools. In 2018, we have started the Knowledge Graph track, whose goal is to evaluate the simultaneous matching of entities and schemas of large-scale knowledge graphs. In this paper, we discuss the design of the track and two different strategies of gold standard creation. We analyze results and experiences obtained in first editions of the track, and, by revealing a hidden task, we show that all tools submitted to the track (and probably also to other tracks) suffer from a bias which we name the golden hammer bias. | 翻訳日:2022-12-29 04:24:07 公開日:2020-02-24 |
| # 一階論理に基づく証明・補間・排除のためのパイ環境のファセット Facets of the PIE Environment for Proving, Interpolating and Eliminating on the Basis of First-Order Logic ( http://arxiv.org/abs/2002.10892v1 ) ライセンス: Link先を確認 | Christoph Wernhard | (参考訳) PIEは、一階述語論理に基づく自動推論のためのProlog組み込み環境である。
その主な焦点は、式マクロによって構成される複素形式化の構成として、そして二次量子化子除去やクレイグ補間のような推論タスクのアウトプットとして、公式である。
マクロ定義、推論の呼び出し、LaTeX形式の自然言語テキストを散在させるドキュメントベースのワークフローをサポートする。
本稿では,様々な事例からPIEの特徴と応用可能性,今後の研究の限界と課題について論じる。 PIE is a Prolog-embedded environment for automated reasoning on the basis of first-order logic. Its main focus is on formulas, as constituents of complex formalizations that are structured through formula macros, and as outputs of reasoning tasks such as second-order quantifier elimination and Craig interpolation. It supports a workflow based on documents that intersperse macro definitions, invocations of reasoners, and LaTeX-formatted natural language text. Starting from various examples, the paper discusses features and application possibilities of PIE along with current limitations and issues for future research. | 翻訳日:2022-12-29 04:23:54 公開日:2020-02-24 |
| # emosaic: 様々な粒度でテキストの感情コンテンツを可視化する Emosaic: Visualizing Affective Content of Text at Varying Granularity ( http://arxiv.org/abs/2002.10096v1 ) ライセンス: Link先を確認 | Philipp Geuder, Marie Claire Leidinger, Martin von Lupin, Marian D\"ork, Tobias Schr\"oder | (参考訳) 本稿では,感情の多次元と意味的粒度の違いを考慮し,テキスト文書の感情トーンを可視化するツールであるemosaicを提案する。
エモザイクは、言語、感情、色知覚の関係に関する心理学的研究に根ざしている。
我々は、人間の感情の3次元モデルを構築した: 原子価(良い、いい、悪い、悪い、悪い)、覚醒(カルム、受動的、エキサイティング、アクティブ)、支配(弱、コントロールする、強い、コントロールする)。
これまで、感情の多次元モデルがテキストデータの可視化にはほとんど使われていなかった。
さらに、最近までほとんどのテキストビジュアライゼーションは高いレベルにとどまり、テキストの深いセマンティックコンテンツとの密接な関係を保った。
経験的研究により,3次元の感情空間の任意の点をユニークな色に変換するカラーマッピングを導入する。
エモザイクは3つの感情的パラメータにアノテートされた単語の感情的辞書を使用し、テキストから感情的意味を抽出し、色空間の色パラメータに割り当てる。
感情を色にマッピングするこのアプローチは、読者がテキストの感情的トーンをより簡単に把握できるようにすることを目的としている。
エモザイクのいくつかの特徴は、読者がテキストの感情的な内容をより詳細に、例えば、ヒストグラムとして集約された形で、テキストの順序に従って連続的に、そしてテキスト表示自体に詳細を埋め込むことができる。
テキストとビジュアライゼーションのフィルタリングとナビゲートを可能にするインタラクション技術が含まれている。 This paper presents Emosaic, a tool for visualizing the emotional tone of text documents, considering multiple dimensions of emotion and varying levels of semantic granularity. Emosaic is grounded in psychological research on the relationship between language, affect, and color perception. We capitalize on an established three-dimensional model of human emotion: valence (good, nice vs. bad, awful), arousal (calm, passive vs. exciting, active) and dominance (weak, controlled vs. strong, in control). Previously, multi-dimensional models of emotion have been used rarely in visualizations of textual data, due to the perceptual challenges involved. Furthermore, until recently most text visualizations remained at a high level, precluding closer engagement with the deep semantic content of the text. Informed by empirical studies, we introduce a color mapping that translates any point in three-dimensional affective space into a unique color. Emosaic uses affective dictionaries of words annotated with the three emotional parameters of the valence-arousal-dominance model to extract emotional meanings from texts and then assigns to them corresponding color parameters of the hue-saturation-brightness color space. This approach of mapping emotion to color is aimed at helping readers to more easily grasp the emotional tone of the text. Several features of Emosaic allow readers to interactively explore the affective content of the text in more detail; e.g., in aggregated form as histograms, in sequential form following the order of text, and in detail embedded into the text display itself. Interaction techniques have been included to allow for filtering and navigating of text and visualizations. | 翻訳日:2022-12-29 04:23:44 公開日:2020-02-24 |
| # エンドツーエンドのニューラルダイアリゼーション:単純なマルチラベル分類としての話者ダイアリゼーションの再構成 End-to-End Neural Diarization: Reformulating Speaker Diarization as Simple Multi-label Classification ( http://arxiv.org/abs/2003.02966v1 ) ライセンス: Link先を確認 | Yusuke Fujita, Shinji Watanabe, Shota Horiguchi, Yawen Xue, Kenji Nagamatsu | (参考訳) 話者ダイアリゼーションの最も一般的なアプローチは話者埋め込みのクラスタリングである。
しかし、クラスタリングベースのアプローチには多くの問題がある。
(i)ダイアリゼーションエラーの最小化に最適化されていないこと。
(ii)話者重複を正しく処理できないこと、
(iii)話者重なりのある実際の音声録音に話者埋め込みモデルを適用するのに苦労している。
そこで本研究では,マルチスピーカー記録により,ニューラルネットワークが話者ダイアリゼーション結果を直接出力するエンド・ツー・エンドニューラルネットワークダイアリゼーション(eend)を提案する。
このようなエンドツーエンドモデルを実現するために,話者ダイアリゼーション問題をマルチラベル分類問題として定式化し,ダイアリゼーション誤差を直接最小化する置換自由目的関数を導入する。
エンドツーエンドの単純さに加えて、EENDメソッドはトレーニングや推論中に話者オーバーラップを明示的に処理することができる。
複数の話者の録音を対応する話者セグメントラベルで送ることで、本モデルが実際の会話に適応できる。
提案手法を実会話データセットと模擬音声混合を用いて評価した。
その結果、eend法が最先端のx-vectorクラスタリングベース法を上回り、話者重複を正しく処理した。
EEND法のニューラルネットワークアーキテクチャを検討した結果,自己注意型ニューラルネットワークが優れたパフォーマンスを実現する鍵であることが判明した。
双方向長短期メモリ(BLSTM)を用いて行われるように、ネットワークを前と次の隠れ状態のみに条件付けするのとは対照的に、自己注意は全てのフレームで直接条件付けされる。
注意重みを可視化することにより、局所的な音声活動のダイナミクスに加えて、自己注意がグローバルな話者特性を捉え、話者ダイアリゼーション問題に特に適していることを示す。 The most common approach to speaker diarization is clustering of speaker embeddings. However, the clustering-based approach has a number of problems; i.e., (i) it is not optimized to minimize diarization errors directly, (ii) it cannot handle speaker overlaps correctly, and (iii) it has trouble adapting their speaker embedding models to real audio recordings with speaker overlaps. To solve these problems, we propose the End-to-End Neural Diarization (EEND), in which a neural network directly outputs speaker diarization results given a multi-speaker recording. To realize such an end-to-end model, we formulate the speaker diarization problem as a multi-label classification problem and introduce a permutation-free objective function to directly minimize diarization errors. Besides its end-to-end simplicity, the EEND method can explicitly handle speaker overlaps during training and inference. Just by feeding multi-speaker recordings with corresponding speaker segment labels, our model can be easily adapted to real conversations. We evaluated our method on simulated speech mixtures and real conversation datasets. The results showed that the EEND method outperformed the state-of-the-art x-vector clustering-based method, while it correctly handled speaker overlaps. We explored the neural network architecture for the EEND method, and found that the self-attention-based neural network was the key to achieving excellent performance. In contrast to conditioning the network only on its previous and next hidden states, as is done using bidirectional long short-term memory (BLSTM), self-attention is directly conditioned on all the frames. By visualizing the attention weights, we show that self-attention captures global speaker characteristics in addition to local speech activity dynamics, making it especially suitable for dealing with the speaker diarization problem. | 翻訳日:2022-12-29 04:22:52 公開日:2020-02-24 |
| # リアルタイムSLAMにおけるビューベースとマップベースセマンティックラベリングの比較 Comparing View-Based and Map-Based Semantic Labelling in Real-Time SLAM ( http://arxiv.org/abs/2002.10342v1 ) ライセンス: Link先を確認 | Zoe Landgraf, Fabian Falck, Michael Bloesch, Stefan Leutenegger, Andrew Davison | (参考訳) 一般に有能な空間AIシステムは、幾何学的モデルと意味のあるセマンティックラベルを組み合わせた永続的なシーン表現を構築しなければならない。
シーンをラベル付けするための多くのアプローチは、入力されたビューワイズデータからラベルを推定するビューベースと、生成したシーンモデルに徐々に融合するマップベースという2つの明確なグループに分けられる。
しかし、ビューベースとマップベースのラベルを定量的に比較する試みは今のところない。
本稿では, リアルタイムマップ融合を公平な比較を行うためのプラットフォームとして利用し, さらなる体系的な研究への道を開く実験フレームワークと比較について述べる。 Generally capable Spatial AI systems must build persistent scene representations where geometric models are combined with meaningful semantic labels. The many approaches to labelling scenes can be divided into two clear groups: view-based which estimate labels from the input view-wise data and then incrementally fuse them into the scene model as it is built; and map-based which label the generated scene model. However, there has so far been no attempt to quantitatively compare view-based and map-based labelling. Here, we present an experimental framework and comparison which uses real-time height map fusion as an accessible platform for a fair comparison, opening up the route to further systematic research in this area. | 翻訳日:2022-12-29 04:15:06 公開日:2020-02-24 |
| # sketchformer: スケッチ構造のためのtransformerベースの表現 Sketchformer: Transformer-based Representation for Sketched Structure ( http://arxiv.org/abs/2002.10381v1 ) ライセンス: Link先を確認 | Leo Sampaio Ferraz Ribeiro, Tu Bui, John Collomosse, Moacir Ponti | (参考訳) sketchformerは、入力されたフリーハンドのスケッチをベクトル形式、すなわちストロークのシーケンスで符号化する、新しいトランスフォーマーベースの表現である。
Sketchformerはスケッチ分類、スケッチベース画像検索(SBIR)、スケッチの再構築と補間といった複数のタスクを効果的に扱う。
連続的およびトークン化された入力表現を探索するいくつかの変種を報告する。
辞書学習トークン化方式により学習された埋め込みは、LSTMシーケンスで駆動されるベースライン表現と、SketchRNNやデリバティブといったシーケンスアーキテクチャとの比較において、分類および画像検索タスクにおける技術性能の状態を出力する。
より長いストロークシーケンスを持つ複雑なスケッチに対するSketchformer埋め込みにより、スケッチ再構成と補間が大幅に改善されることを示す。 Sketchformer is a novel transformer-based representation for encoding free-hand sketches input in a vector form, i.e. as a sequence of strokes. Sketchformer effectively addresses multiple tasks: sketch classification, sketch based image retrieval (SBIR), and the reconstruction and interpolation of sketches. We report several variants exploring continuous and tokenized input representations, and contrast their performance. Our learned embedding, driven by a dictionary learning tokenization scheme, yields state of the art performance in classification and image retrieval tasks, when compared against baseline representations driven by LSTM sequence to sequence architectures: SketchRNN and derivatives. We show that sketch reconstruction and interpolation are improved significantly by the Sketchformer embedding for complex sketches with longer stroke sequences. | 翻訳日:2022-12-29 04:14:53 公開日:2020-02-24 |
| # 根拠のない登録の評価 Evaluating Registration Without Ground Truth ( http://arxiv.org/abs/2002.10534v1 ) ライセンス: Link先を確認 | Carole J. Twining, Vladimir S. Petrovi\'c, Timothy F. Cootes, Roy S. Schestowitz, William R. Crum, and Christopher J. Taylor | (参考訳) 基礎的真理の存在に依存せず,データ自体にのみ依存する,nrr(non-rigid registration)アルゴリズムの品質を評価する汎用的手法を提案する。
データは画像の集合です。
そのような画像の任意のNRRの出力は、集合全体にわたって密度の高い対応である。
このような密接な対応を考えると、集合全体の外観変化の様々な生成統計モデルを構築することができる。
この結果から, 登録の質を評価することは, 結果の統計モデルの品質を評価する問題に当てはまることを示す。
モデルの品質は、モデルとそれを構築するために使用された画像データの比較を必要とする。
このアプローチは、使用される登録アルゴリズムの具体性(例えば、画像の集合をグループ的にまたはペア的に登録するためにアルゴリズムが使われたかどうか)や、使用されるモデリングアプローチの具体性に依存しない。
画像モデルの品質評価に使用可能な画像モデル特異性の指標を導出し,登録の質を評価する。
このアプローチは、登録品質の評価と基底真理解剖学的ラベリングによる評価を比較して検証する。
我々は,本手法が真理を示さずにNRRを確実に評価できることを実証する。
最後に、本手法の実用性を示すため、3次元MR脳データにおける異なるNRRアルゴリズム(ペアワイズとグループワイズの両方)を比較した。 We present a generic method for assessing the quality of non-rigid registration (NRR) algorithms, that does not depend on the existence of any ground truth, but depends solely on the data itself. The data is a set of images. The output of any NRR of such a set of images is a dense correspondence across the whole set. Given such a dense correspondence, it is possible to build various generative statistical models of appearance variation across the set. We show that evaluating the quality of the registration can be mapped to the problem of evaluating the quality of the resultant statistical model. The quality of the model entails a comparison between the model and the image data that was used to construct it. It should be noted that this approach does not depend on the specifics of the registration algorithm used (i.e., whether a groupwise or pairwise algorithm was used to register the set of images), or on the specifics of the modelling approach used. We derive an index of image model specificity that can be used to assess image model quality, and hence the quality of registration. This approach is validated by comparing our assessment of registration quality with that derived from ground truth anatomical labeling. We demonstrate that our approach is capable of assessing NRR reliably without ground truth. Finally, to demonstrate the practicality of our method, different NRR algorithms -- both pairwise and groupwise -- are compared in terms of their performance on 3D MR brain data. | 翻訳日:2022-12-29 04:13:43 公開日:2020-02-24 |
| # 塩分指標の再検討--曲線下の最も新しい地域 Revisiting Saliency Metrics: Farthest-Neighbor Area Under Curve ( http://arxiv.org/abs/2002.10540v1 ) ライセンス: Link先を確認 | Sen Jia and Neil D.B. Bruce | (参考訳) 様々な視覚的応用において重要な役割を担っているため、唾液度検出は広く研究されてきたが、それぞれの測定値に独自のバイアスがあるため、唾液度システムを評価することは困難である。
本稿では,現代の畳み込みニューラルネットワーク(cnns)に広く用いられている塩分メトリクスを適用する問題を初めて再検討する。
調査の結果,パラメータの異なる選択に基づいてサリエンシデータセットを構築し,データセット固有の分布に適合するようにCNNを設計した。
第二に、Shuffled Area Under Curve(S-AUC)測定値がまだ空間バイアスに悩まされていることを示す。
本稿では,Farthest-Neighbor AUC(FN-AUC)と表記される,より指向性の高い負の集合をサンプリングすることを目的とした,AUC特性に基づく新しい唾液度指標を提案する。
また,サンプリングされた負集合の品質を測定する戦略を提案する。
われわれはFN-AUCがS-AUCよりも空間バイアス,中心および周辺を計測できることを示した。
第3に,aucメトリクスの計算における価値度(アウトプット量子化)の少ない問題を克服するための大域的平滑化関数を提案する。
ランダムノイズと比較すると,我々のスムース関数は,相対的塩分関係を失うことなく一意な値を生成できる。 Saliency detection has been widely studied because it plays an important role in various vision applications, but it is difficult to evaluate saliency systems because each measure has its own bias. In this paper, we first revisit the problem of applying the widely used saliency metrics on modern Convolutional Neural Networks(CNNs). Our investigation shows the saliency datasets have been built based on different choices of parameters and CNNs are designed to fit a dataset-specific distribution. Secondly, we show that the Shuffled Area Under Curve(S-AUC) metric still suffers from spatial biases. We propose a new saliency metric based on the AUC property, which aims at sampling a more directional negative set for evaluation, denoted as Farthest-Neighbor AUC(FN-AUC). We also propose a strategy to measure the quality of the sampled negative set. Our experiment shows FN-AUC can measure spatial biases, central and peripheral, more effectively than S-AUC without penalizing the fixation locations. Thirdly, we propose a global smoothing function to overcome the problem of few value degrees (output quantization) in computing AUC metrics. Comparing with random noise, our smooth function can create unique values without losing the relative saliency relationship. | 翻訳日:2022-12-29 04:13:20 公開日:2020-02-24 |
| # 個人再識別のためのトリプレットオンラインインスタンスマッチング損失 Triplet Online Instance Matching Loss for Person Re-identification ( http://arxiv.org/abs/2002.10560v1 ) ライセンス: Link先を確認 | Ye Li, Guangqiang Yin, Chunhui Liu, Xiaoyu Yang, Zhiguo Wang | (参考訳) 異なるシーンで同じアイデンティティの共有特徴と、同じシーンで異なるアイデンティティのユニークな特徴をマイニングすることは、人物再識別(reid)の分野において最も重要な課題である。
オンラインインスタンスマッチング(OIM)損失関数とトリプルト損失関数は、人物ReIDの主要な方法である。
残念なことに、両者とも欠点がある。
oimlosはすべてのサンプルを等しく処理し、ハードサンプルを強調しない。
三重項損失は複雑な複雑な方法でバッチ構成を処理し、ゆっくりと収束する。
これらの問題に対して,厳密なサンプルに重きを置くTriplet Online Instance Matching (TOIM)損失関数を提案し,その精度を効果的に向上する。
oim損失と三重項損失の利点を組み合わせることで、バッチ構築のプロセスを単純化し、より迅速な収束を実現する。
共同検出および識別タスクを扱う際に、オンラインでトレーニングすることができる。
損失関数を検証するために,499のアイデンティティと60,437のイメージを含む監視カメラから撮影した画像に基づいて,大規模ベンチマークデータセット(UESTC-PR)を収集,注釈する。
提案した損失関数をResNet-50を用いてDuke, Marker-1501, UESTC-PRで評価した結果, ソフトマックス損失, OIM損失, Triplet損失など, ベースライン法よりも21.7%高い性能を示した。 Mining the shared features of same identity in different scene, and the unique features of different identity in same scene, are most significant challenges in the field of person re-identification (ReID). Online Instance Matching (OIM) loss function and Triplet loss function are main methods for person ReID. Unfortunately, both of them have drawbacks. OIM loss treats all samples equally and puts no emphasis on hard samples. Triplet loss processes batch construction in a complicated and fussy way and converges slowly. For these problems, we propose a Triplet Online Instance Matching (TOIM) loss function, which lays emphasis on the hard samples and improves the accuracy of person ReID effectively. It combines the advantages of OIM loss and Triplet loss and simplifies the process of batch construction, which leads to a more rapid convergence. It can be trained on-line when handle the joint detection and identification task. To validate our loss function, we collect and annotate a large-scale benchmark dataset (UESTC-PR) based on images taken from surveillance cameras, which contains 499 identities and 60,437 images. We evaluated our proposed loss function on Duke, Marker-1501 and UESTC-PR using ResNet-50, and the result shows that our proposed loss function outperforms the baseline methods by a maximum of 21.7%, including Softmax loss, OIM loss and Triplet loss. | 翻訳日:2022-12-29 04:12:55 公開日:2020-02-24 |
| # スモーク:キーポイント推定による単眼3次元物体検出 SMOKE: Single-Stage Monocular 3D Object Detection via Keypoint Estimation ( http://arxiv.org/abs/2002.10111v1 ) ライセンス: Link先を確認 | Zechen Liu, Zizhang Wu, Roland T\'oth | (参考訳) 3次元の方向推定とオブジェクトの変換は、インフラストラクチャレスの自律ナビゲーションと運転に不可欠である。
単眼視の場合、成功法は主に2つの要素に基づいている。
i) 2次元領域の提案を生成するネットワーク
(ii)取得した領域を利用して3dオブジェクトのポーズを予測するr−cnn構造。
2次元検出ネットワークは冗長であり、3次元検出に不要なノイズを導入する。
そこで本論文では,1つのキーポイント推定値と回帰3次元変数を組み合わせることで,検出対象毎に3次元境界ボックスを予測する新しい3次元物体検出法であるsmokeを提案する。
第2の貢献として, 3dバウンディングボックスの構築において, 学習収束と検出精度の両立を著しく改善する多段階分離手法を提案する。
従来の3次元検出技術とは対照的に, 複雑な前処理, 余分なデータ, 改良段階を必要としない。
その構造的単純さにもかかわらず、提案するスモークネットワークはkittiデータセット上の既存のモノキュラー3d検出手法を上回っており、3dオブジェクト検出と鳥の目視評価の両方において最高の最先端の結果を与えている。
コードは公開される予定だ。 Estimating 3D orientation and translation of objects is essential for infrastructure-less autonomous navigation and driving. In case of monocular vision, successful methods have been mainly based on two ingredients: (i) a network generating 2D region proposals, (ii) a R-CNN structure predicting 3D object pose by utilizing the acquired regions of interest. We argue that the 2D detection network is redundant and introduces non-negligible noise for 3D detection. Hence, we propose a novel 3D object detection method, named SMOKE, in this paper that predicts a 3D bounding box for each detected object by combining a single keypoint estimate with regressed 3D variables. As a second contribution, we propose a multi-step disentangling approach for constructing the 3D bounding box, which significantly improves both training convergence and detection accuracy. In contrast to previous 3D detection techniques, our method does not require complicated pre/post-processing, extra data, and a refinement stage. Despite of its structural simplicity, our proposed SMOKE network outperforms all existing monocular 3D detection methods on the KITTI dataset, giving the best state-of-the-art result on both 3D object detection and Bird's eye view evaluation. The code will be made publicly available. | 翻訳日:2022-12-29 04:06:33 公開日:2020-02-24 |
| # 3DSSD:ポイントベース単段物体検出器 3DSSD: Point-based 3D Single Stage Object Detector ( http://arxiv.org/abs/2002.10187v1 ) ライセンス: Link先を確認 | Zetong Yang, Yanan Sun, Shu Liu, Jiaya Jia | (参考訳) 現在、ボクセルベースの3dシングルステージ検出器は数多く存在するが、ポイントベースのシングルステージ方式はまだ未検討である。
本稿では,まず,3DSSDと呼ばれる軽量で効率的な点ベース1次元物体検出装置を提案し,精度と効率のバランスを良くする。
このパラダイムでは、既存のすべてのポイントベース手法で必須であるアップサンプリング層と改善段階は、計算コストを大幅に削減するために放棄される。
本稿では,代表点の検出を少なくするために,ダウンサンプリングプロセスにおける核融合サンプリング戦略を提案する。
候補生成層を含む繊細なボックス予測ネットワーク,3次元中心性配置戦略を有するアンカーフリー回帰ヘッドは,精度と速度の要求に応えるように設計されている。
我々のパラダイムはエレガントな単一ステージのアンカーフリーフレームワークであり、他の既存の手法よりも優れていることを示す。
広く使われているKITTIデータセットとより困難なnuScenesデータセットを用いて3DSSDを評価する。
提案手法は,最先端のボクセルをベースとした一段法よりも高い性能を示し,従来の最先端の点法よりも2倍高速な25FPS以上の推論速度で2段階の点法に匹敵する性能を有する。 Currently, there have been many kinds of voxel-based 3D single stage detectors, while point-based single stage methods are still underexplored. In this paper, we first present a lightweight and effective point-based 3D single stage object detector, named 3DSSD, achieving a good balance between accuracy and efficiency. In this paradigm, all upsampling layers and refinement stage, which are indispensable in all existing point-based methods, are abandoned to reduce the large computation cost. We novelly propose a fusion sampling strategy in downsampling process to make detection on less representative points feasible. A delicate box prediction network including a candidate generation layer, an anchor-free regression head with a 3D center-ness assignment strategy is designed to meet with our demand of accuracy and speed. Our paradigm is an elegant single stage anchor-free framework, showing great superiority to other existing methods. We evaluate 3DSSD on widely used KITTI dataset and more challenging nuScenes dataset. Our method outperforms all state-of-the-art voxel-based single stage methods by a large margin, and has comparable performance to two stage point-based methods as well, with inference speed more than 25 FPS, 2x faster than former state-of-the-art point-based methods. | 翻訳日:2022-12-29 04:05:39 公開日:2020-02-24 |
| # 細粒度分類のための学習用ペアワイズインタラクション Learning Attentive Pairwise Interaction for Fine-Grained Classification ( http://arxiv.org/abs/2002.10191v1 ) ライセンス: Link先を確認 | Peiqin Zhuang, Yali Wang, Yu Qiao | (参考訳) きめ細かい分類は、高度に強調されたカテゴリ間で微妙な違いがあるため、難しい問題である。
ほとんどのアプローチでは、個々の入力画像の識別表現を学ぶことでこの困難に対処している。
一方、画像ペアを比較することで、人間は対照的な手がかりを効果的に識別することができる。
この事実にインスパイアされた本研究では,インタラクションによって一対のきめ細かいイメージを段階的に認識できる,シンプルで効果的な監視ペアワイドインタラクションネットワーク(API-Net)を提案する。
具体的には、API-Netはまず、入力ペアのセマンティックな違いをキャプチャする相互機能ベクトルを学習する。
次に、この相互ベクトルを個々のベクトルと比較し、入力画像ごとにゲートを生成する。
これらの異なるゲートベクトルは、意味的差異の相互文脈を継承しており、api-netは2つの画像間のペアリーな相互作用によって対照的な手がかりを注意深く捉えることができる。
さらに、api-netをエンドツーエンドでトレーニングし、スコアランキングの正規化を行い、機能優先事項を考慮してapi-netをさらに一般化します。
我々は,5つのベンチマークの詳細な分類実験を行った。
api-net は最近の sota メソッド、すなわち cub-200-2011 (90.0%), aircraft (93.9%), stanford cars (95.3%), stanford dogs (90.3%), nabirds (88.1%) よりも優れている。 Fine-grained classification is a challenging problem, due to subtle differences among highly-confused categories. Most approaches address this difficulty by learning discriminative representation of individual input image. On the other hand, humans can effectively identify contrastive clues by comparing image pairs. Inspired by this fact, this paper proposes a simple but effective Attentive Pairwise Interaction Network (API-Net), which can progressively recognize a pair of fine-grained images by interaction. Specifically, API-Net first learns a mutual feature vector to capture semantic differences in the input pair. It then compares this mutual vector with individual vectors to generate gates for each input image. These distinct gate vectors inherit mutual context on semantic differences, which allow API-Net to attentively capture contrastive clues by pairwise interaction between two images. Additionally, we train API-Net in an end-to-end manner with a score ranking regularization, which can further generalize API-Net by taking feature priorities into account. We conduct extensive experiments on five popular benchmarks in fine-grained classification. API-Net outperforms the recent SOTA methods, i.e., CUB-200-2011 (90.0%), Aircraft(93.9%), Stanford Cars (95.3%), Stanford Dogs (90.3%), and NABirds (88.1%). | 翻訳日:2022-12-29 04:05:16 公開日:2020-02-24 |
| # 校正カメラの画像から球中心の自動推定 Automatic Estimation of Sphere Centers from Images of Calibrated Cameras ( http://arxiv.org/abs/2002.10217v1 ) ライセンス: Link先を確認 | Levente Hajder and Tekla T\'oth and Zolt\'an Pusztai | (参考訳) 異なるモードを持つデバイスのキャリブレーションは、ロボットビジョンの重要な問題である。
平面のような通常の空間オブジェクトは、このタスクに頻繁に使用される。
本稿では,カメラ画像中の楕円を自動的に検出すると共に,検出した2次元楕円に対応する球面の3次元位置を推定する。
我々は2つの新しい方法を提案する。
(i)カメラ画像中の楕円を検出して
(ii)サイズが分かっていれば対応する球体の空間的位置を推定する。
アルゴリズムは定量的かつ定性的にテストされる。
デジタルカメラ、深度センサー、LiDARデバイスを備えた自動運転車のセンサーシステムの校正に応用される。 Calibration of devices with different modalities is a key problem in robotic vision. Regular spatial objects, such as planes, are frequently used for this task. This paper deals with the automatic detection of ellipses in camera images, as well as to estimate the 3D position of the spheres corresponding to the detected 2D ellipses. We propose two novel methods to (i) detect an ellipse in camera images and (ii) estimate the spatial location of the corresponding sphere if its size is known. The algorithms are tested both quantitatively and qualitatively. They are applied for calibrating the sensor system of autonomous cars equipped with digital cameras, depth sensors and LiDAR devices. | 翻訳日:2022-12-29 04:04:19 公開日:2020-02-24 |
| # 文書スケールテキストコンテンツ操作のためのバイアスペクト情報選択学習 Learning to Select Bi-Aspect Information for Document-Scale Text Content Manipulation ( http://arxiv.org/abs/2002.10210v1 ) ライセンス: Link先を確認 | Xiaocheng Feng, Yawei Sun, Bing Qin, Heng Gong, Yibo Sun, Wei Bi, Xiaojiang Liu, Ting Liu | (参考訳) 本稿では,テキストスタイル転送とは逆の文書サイズのテキストコンテンツ操作という,テキストスタイルを維持しながら内容を変更することを目的とした新しい実践的課題に焦点を当てる。
詳細には、入力は構造化レコードのセットであり、他のレコードセットを記述するための参照テキストである。
出力は、参照の同じ書き方でソースレコードセットの部分内容を正確に記述する要約である。
このタスクは並列データの欠如により教師なしであり、bi-aspect入力から適切なレコードとスタイルワードをそれぞれ選択し、忠実な長文を生成することが困難である。
これらの問題に対処するために,我々はまず,バスケットボールの試合報告コーパスをベースとしたデータセットを構築し,記録と参照テキスト間の意味的関係を学習し,より優れたコンテンツ転送とスタイル保存を実現するための対話型アテンション機構を備えた教師なしニューラルモデルを提案する。
また,擬似学習ペア構築作業におけるバックトランスレーションの有効性についても検討した。
実験結果から,我々のアプローチが競争的手法よりも優れていることを示し,そのモデルは文レベルのデータセットに新たな最先端の結果を与える。 In this paper, we focus on a new practical task, document-scale text content manipulation, which is the opposite of text style transfer and aims to preserve text styles while altering the content. In detail, the input is a set of structured records and a reference text for describing another recordset. The output is a summary that accurately describes the partial content in the source recordset with the same writing style of the reference. The task is unsupervised due to lack of parallel data, and is challenging to select suitable records and style words from bi-aspect inputs respectively and generate a high-fidelity long document. To tackle those problems, we first build a dataset based on a basketball game report corpus as our testbed, and present an unsupervised neural model with interactive attention mechanism, which is used for learning the semantic relationship between records and reference texts to achieve better content transfer and better style preservation. In addition, we also explore the effectiveness of the back-translation in our task for constructing some pseudo-training pairs. Empirical results show superiority of our approaches over competitive methods, and the models also yield a new state-of-the-art result on a sentence-level dataset. | 翻訳日:2022-12-29 03:56:55 公開日:2020-02-24 |
| # 低リソース知識接地対話生成 Low-Resource Knowledge-Grounded Dialogue Generation ( http://arxiv.org/abs/2002.10348v1 ) ライセンス: Link先を確認 | Xueliang Zhao, Wei Wu, Chongyang Tao, Can Xu, Dongyan Zhao, Rui Yan | (参考訳) 知識による応答は知的会話エージェントにとって重要な能力として認識されている。
しかし、そのような応答生成モデルを学ぶための学習データとして、知識接地対話を得るのは困難である。
実際の課題に動機づけられ,限られた訓練例しか得られないという自然な仮定の下で,知識に基づく対話生成を考える。
このような低リソース環境では、生成モデル全体から知識基底の対話に依存するパラメータを分離するために、不整合応答デコーダを考案する。
この方法では、モデルの主要な部分は多数の非接地対話や非構造化文書から学ぶことができ、残りの小さなパラメータは限られたトレーニング例を使用して適切に適合することができる。
2つのベンチマークによる評価結果は,1/8のトレーニングデータだけで,我々のモデルは最先端の性能を達成でき,ドメイン外の知識をうまく一般化できることを示している。 Responding with knowledge has been recognized as an important capability for an intelligent conversational agent. Yet knowledge-grounded dialogues, as training data for learning such a response generation model, are difficult to obtain. Motivated by the challenge in practice, we consider knowledge-grounded dialogue generation under a natural assumption that only limited training examples are available. In such a low-resource setting, we devise a disentangled response decoder in order to isolate parameters that depend on knowledge-grounded dialogues from the entire generation model. By this means, the major part of the model can be learned from a large number of ungrounded dialogues and unstructured documents, while the remaining small parameters can be well fitted using the limited training examples. Evaluation results on two benchmarks indicate that with only 1/8 training data, our model can achieve the state-of-the-art performance and generalize well on out-of-domain knowledge. | 翻訳日:2022-12-29 03:56:19 公開日:2020-02-24 |
| # 言語検索のための現代英語の構文解析 Parsing Early Modern English for Linguistic Search ( http://arxiv.org/abs/2002.10546v1 ) ライセンス: Link先を確認 | Seth Kulick and Neville Ryant | (参考訳) 我々は,過去数年間のNLPの進歩が,歴史的構文の研究に有用なデータサイズを大幅に増加させることを可能にしているかどうかを考察する。
これにより、NLPワードの埋め込み、タグ付け、パースといった一般的なツールが、自動アノテーション付きコーパスによる言語クエリのサービスに集約される。
我々は、10億語以上の類似したテキストをトレーニングしたELMo埋め込みを用いて、歴史的英語のコーパスにPOSタグとパーサをトレーニングする。
評価は、標準メトリクスと、解析されたデータを用いたクエリ検索の精度に基づいて行われる。 We investigate the question of whether advances in NLP over the last few years make it possible to vastly increase the size of data usable for research in historical syntax. This brings together many of the usual tools in NLP - word embeddings, tagging, and parsing - in the service of linguistic queries over automatically annotated corpora. We train a part-of-speech (POS) tagger and parser on a corpus of historical English, using ELMo embeddings trained over a billion words of similar text. The evaluation is based on the standard metrics, as well as on the accuracy of the query searches using the parsed data. | 翻訳日:2022-12-29 03:55:37 公開日:2020-02-24 |
| # 分布的シソーラス埋め込みを用いた共称検出 Using Distributional Thesaurus Embedding for Co-hyponymy Detection ( http://arxiv.org/abs/2002.11506v1 ) ライセンス: Link先を確認 | Abhik Jana, Nikhil Reddy Varimalla and Pawan Goyal | (参考訳) 分布的に類似した単語間の語彙関係を識別することは、自然言語処理(NLP)コミュニティにとって常に課題である。
本稿では,分布型シソーラスのネットワーク埋め込みを効果的に利用して,コホモニミー関係を検出できるかどうかを検討する。
分散シソーラスに node2vec を適用したベクトル表現は,3つのベンチマークデータセットに対する広範な実験により,コハイポニミーとハイポニミーのバイナリ分類と,コハイポニミーとメロニミーの2次分類における最先端モデルよりも大きなマージンを有することを示した。 Discriminating lexical relations among distributionally similar words has always been a challenge for natural language processing (NLP) community. In this paper, we investigate whether the network embedding of distributional thesaurus can be effectively utilized to detect co-hyponymy relations. By extensive experiments over three benchmark datasets, we show that the vector representation obtained by applying node2vec on distributional thesaurus outperforms the state-of-the-art models for binary classification of co-hyponymy vs. hypernymy, as well as co-hyponymy vs. meronymy, by huge margins. | 翻訳日:2022-12-29 03:55:29 公開日:2020-02-24 |
| # 認知的議論と抑制課題 Cognitive Argumentation and the Suppression Task ( http://arxiv.org/abs/2002.10149v1 ) ライセンス: Link先を確認 | Emmanuelle-Anna Dietz Saldanha, Antonis Kakas | (参考訳) 本稿では,認知的議論(cognitive argumentation)と呼ばれる新しい枠組みの中で,人間の推論をモデル化することの課題について述べる。
この枠組みは、人間の論理的推論は本質的に弁証的議論の過程であり、計算可能で実装可能な人間の推論の認知モデルを開発することを目的としている。
人間の認知形態を論理的推論するために、このフレームワークは認知科学における経験的および理論的研究に基づく認知原理に依存し、AIから計算議論の一般的な抽象的な枠組みを適宜適用する。
認知的議論のアプローチは、バーンの抑圧タスクに関して評価され、その目的は、異なる集団間の抑圧効果を捉えるだけでなく、各集団における推論のばらつきを考慮に入れることである。
2つの主要な認知原則は、参加者の反応を説明する人間の条件推論を捉えるために特に重要である。
(i)条件内条件の十分かつ/または必要と解釈すること
二 予測又は説明としての推論の態様
認知的議論は人間の条件的推論に一貫性と認知的に適切なモデルを提供し、決定的結論と妥当な結論を自然に区別し、文脈に敏感で相容れない推論の重要な特徴を示す。 This paper addresses the challenge of modeling human reasoning, within a new framework called Cognitive Argumentation. This framework rests on the assumption that human logical reasoning is inherently a process of dialectic argumentation and aims to develop a cognitive model for human reasoning that is computational and implementable. To give logical reasoning a human cognitive form the framework relies on cognitive principles, based on empirical and theoretical work in Cognitive Science, to suitably adapt a general and abstract framework of computational argumentation from AI. The approach of Cognitive Argumentation is evaluated with respect to Byrne's suppression task, where the aim is not only to capture the suppression effect between different groups of people but also to account for the variation of reasoning within each group. Two main cognitive principles are particularly important to capture human conditional reasoning that explain the participants' responses: (i) the interpretation of a condition within a conditional as sufficient and/or necessary and (ii) the mode of reasoning either as predictive or explanatory. We argue that Cognitive Argumentation provides a coherent and cognitively adequate model for human conditional reasoning that allows a natural distinction between definite and plausible conclusions, exhibiting the important characteristics of context-sensitive and defeasible reasoning. | 翻訳日:2022-12-29 03:55:03 公開日:2020-02-24 |
| # 確率的アンカーのための雑音データを用いた記号学習と推論 Symbolic Learning and Reasoning with Noisy Data for Probabilistic Anchoring ( http://arxiv.org/abs/2002.10373v1 ) ライセンス: Link先を確認 | Pedro Zuidberg Dos Martires, Nitesh Kumar, Andreas Persson, Amy Loutfi, Luc De Raedt | (参考訳) ロボットエージェントは、サブシンボリックなセンサーデータから学ぶことができ、同時に、物体について推論し、象徴的なレベルで人間と通信することができる。
これにより、シンボルとサブシンボルの人工知能のギャップを克服する方法について疑問が持ち上がる。
本稿では,世界のオブジェクト中心表現を用いたボトムアップオブジェクトアンカーに基づくセマンティックワールドモデリング手法を提案する。
知覚アンカーは連続した知覚センサデータを処理し、シンボル表現に対応する。
我々は,マルチモーダル確率分布を扱うアンカリングの定義を拡張し,結果として得られるシンボルアンカリングシステムを推論を行う確率論理推論器に結合する。
さらに、統計的リレーショナルラーニングを用いて、アンカーリングフレームワークが、ノイズやサブシンボリックセンサー入力から世界の確率論的論理則の集合の形でシンボル知識を学習できるようにする。
このフレームワークは知覚的アンカーと統計的リレーショナル学習を組み合わせたもので、時間とともに知覚された全てのオブジェクトのセマンティックワールドモデルを維持すると同時に、論理規則の表現性を利用して、感覚入力データから直接観測されていないオブジェクトの状態について推論することができる。
また,本手法の有効性を検証するために,多モード確率分布に対する確率論的推論を行い,その一方で,知覚観測によって生成したアンカードオブジェクトから確率論的論理則の学習を行うことを実証した。
学習された論理規則は,提案した確率的アンカー法の評価に使用される。
本システムでは,オブジェクトのオクルージョンの発生と,オブジェクトを正しくアンカーするには確率的推論が必要である。 Robotic agents should be able to learn from sub-symbolic sensor data, and at the same time, be able to reason about objects and communicate with humans on a symbolic level. This raises the question of how to overcome the gap between symbolic and sub-symbolic artificial intelligence. We propose a semantic world modeling approach based on bottom-up object anchoring using an object-centered representation of the world. Perceptual anchoring processes continuous perceptual sensor data and maintains a correspondence to a symbolic representation. We extend the definitions of anchoring to handle multi-modal probability distributions and we couple the resulting symbol anchoring system to a probabilistic logic reasoner for performing inference. Furthermore, we use statistical relational learning to enable the anchoring framework to learn symbolic knowledge in the form of a set of probabilistic logic rules of the world from noisy and sub-symbolic sensor input. The resulting framework, which combines perceptual anchoring and statistical relational learning, is able to maintain a semantic world model of all the objects that have been perceived over time, while still exploiting the expressiveness of logical rules to reason about the state of objects which are not directly observed through sensory input data. To validate our approach we demonstrate, on the one hand, the ability of our system to perform probabilistic reasoning over multi-modal probability distributions, and on the other hand, the learning of probabilistic logical rules from anchored objects produced by perceptual observations. The learned logical rules are, subsequently, used to assess our proposed probabilistic anchoring procedure. We demonstrate our system in a setting involving object interactions where object occlusions arise and where probabilistic inference is needed to correctly anchor objects. | 翻訳日:2022-12-29 03:54:40 公開日:2020-02-24 |
| # 複数の深層学習者のコミュニケーション内容を考慮したスケジューリング Communication Contention Aware Scheduling of Multiple Deep Learning Training Jobs ( http://arxiv.org/abs/2002.10105v1 ) ライセンス: Link先を確認 | Qiang Wang, Shaohuai Shi, Canhui Wang, Xiaowen Chu | (参考訳) 高性能GPUクラスタでのトレーニングパフォーマンス向上を支援するため、分散ディープラーニング(DDL)は急速に人気を高めている。
複数のジョブを同時にトレーニングする場合、クラスタ全体のパフォーマンスを最大化するために、効率的なジョブスケジューリングは不可欠である。
しかし、既存のスケジューラは、異なる分散トレーニングジョブからの複数のコミュニケーションタスクの通信競合を考慮せず、システム性能を悪化させ、ジョブ完了時間を延ばす可能性がある。
本稿では,まずDDLジョブをDAG(Directed Acyclic Graphs)として整理し,ノード間の通信競合を考慮した新しいDDLジョブスケジューリングフレームワークを確立する。
次に、GPU利用のバランスを保ち、各ジョブに割り当てられたGPUを統合するための効率的なアルゴリズム LWF-$\kappa$ を提案する。
これらのコミュニケーションタスクをスケジューリングする場合、全ての競合を避けたり、盲目的に受け入れたりすることは、仕事の完了時間を最小化するのに最適である。
そこで本研究では,これらの通信タスクを効率的にスケジュールするアルゴリズムであるadadualを提案する。
AdaDUALに基づいて,DDLジョブスケジューリング問題に対するAda-SRSFを提案する。
10Gbpsのイーサネットに接続された64-GPUクラスタのシミュレーションでは、LWF-$\kappa$は古典的なファーストフィットアルゴリズムよりも最大1.59\times$改善されている。
さらに重要なことに、Ada-SRSFは、SRSF(1)スキーム(全ての競合を回避)とSRSF(2)スキーム(すべての双方向通信競合を受け入れる)と比較して、平均的なジョブ完了時間を20.1\%と36.7\%に短縮する。 Distributed Deep Learning (DDL) has rapidly grown its popularity since it helps boost the training performance on high-performance GPU clusters. Efficient job scheduling is indispensable to maximize the overall performance of the cluster when training multiple jobs simultaneously. However, existing schedulers do not consider the communication contention of multiple communication tasks from different distributed training jobs, which could deteriorate the system performance and prolong the job completion time. In this paper, we first establish a new DDL job scheduling framework which organizes DDL jobs as Directed Acyclic Graphs (DAGs) and considers communication contention between nodes. We then propose an efficient algorithm, LWF-$\kappa$, to balance the GPU utilization and consolidate the allocated GPUs for each job. When scheduling those communication tasks, we observe that neither avoiding all the contention nor blindly accepting them is optimal to minimize the job completion time. We thus propose a provable algorithm, AdaDUAL, to efficiently schedule those communication tasks. Based on AdaDUAL, we finally propose Ada-SRSF for the DDL job scheduling problem. Simulations on a 64-GPU cluster connected with 10 Gbps Ethernet show that LWF-$\kappa$ achieves up to $1.59\times$ improvement over the classical first-fit algorithms. More importantly, Ada-SRSF reduces the average job completion time by $20.1\%$ and $36.7\%$, as compared to the SRSF(1) scheme (avoiding all the contention) and the SRSF(2) scheme (blindly accepting all of two-way communication contention) respectively. | 翻訳日:2022-12-29 03:48:46 公開日:2020-02-24 |
| # Attend and Brake: エンド・ツー・エンド運転における注意に基づくサリエンシマップ予測モデル See, Attend and Brake: An Attention-based Saliency Map Prediction Model for End-to-End Driving ( http://arxiv.org/abs/2002.11020v1 ) ライセンス: Link先を確認 | Ekrem Aksoy, Ahmet Yaz{\i}c{\i}, Mahmut Kasap | (参考訳) 視覚知覚は意思決定を駆動する上で最も重要な入力である。
本研究の目的は,サリエンシと運転意思決定の関係を理解することである。
本稿では、ブレーキ決定を行うための新しい注意ベース唾液マップ予測モデルを提案する。本手法は、駆動タスクに対する全体モデルを構築し、ステアリングや加速度などの他の駆動決定にも適用可能である。
提案モデルは,入力画像から抽出した特徴を注意機構を備えた再帰的ニューラルネットワークに供給する深層ニューラルネットワークモデルである。
そして、予測されたサリエンシマップを使用してブレーキ判定を行う。
ドライビングアテンションデータセットBDD-AとサリエンシデータセットCAT2000を用いて,トレーニングと評価を行った。 Visual perception is the most critical input for driving decisions. In this study, our aim is to understand relationship between saliency and driving decisions. We present a novel attention-based saliency map prediction model for making braking decisions This approach constructs a holistic model to the driving task and can be extended for other driving decisions like steering and acceleration. The proposed model is a deep neural network model that feeds extracted features from input image to a recurrent neural network with an attention mechanism. Then predicted saliency map is used to make braking decision. We trained and evaluated using driving attention dataset BDD-A, and saliency dataset CAT2000. | 翻訳日:2022-12-29 03:47:22 公開日:2020-02-24 |
| # 反応混合状態予測のための機械学習モデルの比較研究 A Comparative Study of Machine Learning Models for Predicting the State of Reactive Mixing ( http://arxiv.org/abs/2002.11511v1 ) ライセンス: Link先を確認 | B. Ahmmed, M. K. Mudunuru, S. Karra, S. C. James, and V. V. Vesselinov | (参考訳) 反応混合の正確な予測は多くの地球および環境科学問題にとって重要である。
異なるシナリオ下での時間的混合を研究するため、高速で可逆な二分子反応拡散方程式を解くために、高忠実有限要素に基づく数値モデルを構築し、様々な反応混合シナリオをシミュレートする。
速度場の渦構造の様々な空間的スケール、速度振動に関連する時間スケール、渦に基づく速度の摂動パラメータ、異方性分散コントラスト、分子拡散を含む様々なモデル入力パラメータを用いて、合計2,315のシミュレーションを行った。
出力は反応物および生成物の濃度プロファイルを含む。
これらのシミュレーションの入力と出力はそれぞれ特徴行列とラベル行列に結合し、20種類の機械学習エミュレータを訓練してシステムの挙動を近似させる。
線形法,ベイズ法,アンサンブル学習法,多層パーセプトロン(MLP)に基づく20個のMLエミュレータを比較し,これらのモデルを評価する。
MLエミュレータは、種の生成、崩壊、混合度を特徴付ける3種類の興味(QoIs)の混合状態の分類と予測を特別に訓練されている。
線形分類器と回帰器はQoIsを再現できないが、アンサンブル法(分類器と回帰器)とMLPは反応混合状態とQoIsを正確に分類する。
アンサンブル法のうち、ランダム森林と決定木に基づくAdaBoostはQoIを忠実に予測する。
実行時、トレーニングされたmlエミュレータは、高忠実度数値シミュレーションよりも約10^5$高速である。
アンサンブルモデルとMLPモデルの速度と精度は、QoIs上の不確実性境界を推定するために、通常1000回のモデル実行を必要とする不確実性定量化を促進する。 Accurate predictions of reactive mixing are critical for many Earth and environmental science problems. To investigate mixing dynamics over time under different scenarios, a high-fidelity, finite-element-based numerical model is built to solve the fast, irreversible bimolecular reaction-diffusion equations to simulate a range of reactive-mixing scenarios. A total of 2,315 simulations are performed using different sets of model input parameters comprising various spatial scales of vortex structures in the velocity field, time-scales associated with velocity oscillations, the perturbation parameter for the vortex-based velocity, anisotropic dispersion contrast, and molecular diffusion. Outputs comprise concentration profiles of the reactants and products. The inputs and outputs of these simulations are concatenated into feature and label matrices, respectively, to train 20 different machine learning (ML) emulators to approximate system behavior. The 20 ML emulators based on linear methods, Bayesian methods, ensemble learning methods, and multilayer perceptron (MLP), are compared to assess these models. The ML emulators are specifically trained to classify the state of mixing and predict three quantities of interest (QoIs) characterizing species production, decay, and degree of mixing. Linear classifiers and regressors fail to reproduce the QoIs; however, ensemble methods (classifiers and regressors) and the MLP accurately classify the state of reactive mixing and the QoIs. Among ensemble methods, random forest and decision-tree-based AdaBoost faithfully predict the QoIs. At run time, trained ML emulators are $\approx10^5$ times faster than the high-fidelity numerical simulations. Speed and accuracy of the ensemble and MLP models facilitate uncertainty quantification, which usually requires 1,000s of model run, to estimate the uncertainty bounds on the QoIs. | 翻訳日:2022-12-29 03:46:52 公開日:2020-02-24 |
| # ゼロサム確率ゲームの効率的な探索 Efficient exploration of zero-sum stochastic games ( http://arxiv.org/abs/2002.10524v1 ) ライセンス: Link先を確認 | Carlos Martin, Tuomas Sandholm | (参考訳) 我々は、ゲームを明確に記述していないが、金融や軍事シミュレーションやコンピュータゲームのようなゲームプレイを通して、oracleだけがそれにアクセスするという、ますます重要で一般的なゲーム解決設定を調査している。
限られたデュレーション学習フェーズにおいて、アルゴリズムは両方のプレイヤーのアクションを制御し、ゲームを学習し、それをうまくプレイする方法を学習する。
その後、アルゴリズムは、悪用性が低い戦略を生成する必要がある。
私たちのモチベーションは、クエリされた戦略プロファイルの報酬を評価するのにコストがかかる状況において、悪用可能性の低い戦略を素早く学ぶことです。
確率ゲームの設定には,可能環境上の信念分布によって引き起こされる状態行動値関数の分布を用いることを提案する。
我々は,トンプソンサンプリングとベイズucbの一般化を含む,この課題に対する様々な探索戦略の性能をこの新しい設定と比較した。
これら2つの戦略は一貫して他の戦略を上回っている。 We investigate the increasingly important and common game-solving setting where we do not have an explicit description of the game but only oracle access to it through gameplay, such as in financial or military simulations and computer games. During a limited-duration learning phase, the algorithm can control the actions of both players in order to try to learn the game and how to play it well. After that, the algorithm has to produce a strategy that has low exploitability. Our motivation is to quickly learn strategies that have low exploitability in situations where evaluating the payoffs of a queried strategy profile is costly. For the stochastic game setting, we propose using the distribution of state-action value functions induced by a belief distribution over possible environments. We compare the performance of various exploration strategies for this task, including generalizations of Thompson sampling and Bayes-UCB to this new setting. These two consistently outperform other strategies. | 翻訳日:2022-12-29 03:46:21 公開日:2020-02-24 |
| # gret:グローバル表現強化トランスフォーマ GRET: Global Representation Enhanced Transformer ( http://arxiv.org/abs/2002.10101v1 ) ライセンス: Link先を確認 | Rongxiang Weng, Haoran Wei, Shujian Huang, Heng Yu, Lidong Bing, Weihua Luo, Jiajun Chen | (参考訳) エンコーダ-デコーダフレームワークに基づくtransformerは、いくつかの自然言語生成タスクで最先端のパフォーマンスを達成している。
エンコーダは入力文中の単語を隠された状態の列にマッピングし、デコーダに送って出力文を生成する。
これらの隠れ状態は、通常入力された単語に対応し、ローカル情報を取得することに集中する。
しかし、グローバル情報(センテンスレベル)はほとんど探求されず、世代品質の向上の余地が残されている。
本稿では,トランスフォーマネットワークにおけるグローバル表現を明示的にモデル化するための,新しいグローバル表現拡張トランスフォーマ(GRET)を提案する。
具体的には、提案モデルにおいて、エンコーダからグローバル表現のための外部状態を生成する。
そして、デコードプロセス中にグローバル表現がデコーダに融合され、生成品質が向上する。
機械翻訳とテキスト要約という2つのテキスト生成タスクで実験を行う。
4つのWMT機械翻訳タスクとLCSTSテキスト要約タスクの実験結果は、自然言語生成における提案手法の有効性を示す。 Transformer, based on the encoder-decoder framework, has achieved state-of-the-art performance on several natural language generation tasks. The encoder maps the words in the input sentence into a sequence of hidden states, which are then fed into the decoder to generate the output sentence. These hidden states usually correspond to the input words and focus on capturing local information. However, the global (sentence level) information is seldom explored, leaving room for the improvement of generation quality. In this paper, we propose a novel global representation enhanced Transformer (GRET) to explicitly model global representation in the Transformer network. Specifically, in the proposed model, an external state is generated for the global representation from the encoder. The global representation is then fused into the decoder during the decoding process to improve generation quality. We conduct experiments in two text generation tasks: machine translation and text summarization. Experimental results on four WMT machine translation tasks and LCSTS text summarization task demonstrate the effectiveness of the proposed approach on natural language generation. | 翻訳日:2022-12-29 03:45:44 公開日:2020-02-24 |
| # 線形回帰訓練における高精度トレードオフ Precise Tradeoffs in Adversarial Training for Linear Regression ( http://arxiv.org/abs/2002.10477v1 ) ライセンス: Link先を確認 | Adel Javanmard, Mahdi Soltanolkotabi and Hamed Hassani | (参考訳) ブレークスルーのパフォーマンスにもかかわらず、現代の学習モデルは、入力における小さな敵対的摂動に対して非常に脆弱であることが知られている。
近年のemph{adversarial training}法は、摂動入力に対する堅牢性を改善するために有効であるが(ロバスト精度)、しばしばこの利点は良性入力に対する精度の低下(標準精度)を伴い、しばしば競合する目的間のトレードオフをもたらす。
さらに、最近の実証的証拠は、他の様々な要因(トレーニングデータのサイズや品質、モデルサイズなど)がこのトレードオフに多少驚くべき影響を及ぼすことを示唆している。
本稿では,ガウス的特徴を伴う線形回帰の文脈における対人訓練の役割について,正確かつ包括的に理解する。
特に,計算能力やトレーニングデータのサイズに関わらず,任意のアルゴリズムで達成可能な精度の基本的なトレードオフを特徴付ける。
さらに,データ点数とモデルのパラメータが互いに比例して増加する高次元状態において,同時代のミニマックス対逆トレーニング手法によって達成される標準/ロバスト精度とそれに対応するトレードオフを正確に特徴付ける。
逆行訓練アルゴリズムの理論は、様々な要因(トレーニングデータのサイズや品質、モデルの過度化など)がこれらの2つの競合するアキュラシー間のトレードオフにどのように影響するかを厳密に研究する上で役立ちます。 Despite breakthrough performance, modern learning models are known to be highly vulnerable to small adversarial perturbations in their inputs. While a wide variety of recent \emph{adversarial training} methods have been effective at improving robustness to perturbed inputs (robust accuracy), often this benefit is accompanied by a decrease in accuracy on benign inputs (standard accuracy), leading to a tradeoff between often competing objectives. Complicating matters further, recent empirical evidence suggest that a variety of other factors (size and quality of training data, model size, etc.) affect this tradeoff in somewhat surprising ways. In this paper we provide a precise and comprehensive understanding of the role of adversarial training in the context of linear regression with Gaussian features. In particular, we characterize the fundamental tradeoff between the accuracies achievable by any algorithm regardless of computational power or size of the training data. Furthermore, we precisely characterize the standard/robust accuracy and the corresponding tradeoff achieved by a contemporary mini-max adversarial training approach in a high-dimensional regime where the number of data points and the parameters of the model grow in proportion to each other. Our theory for adversarial training algorithms also facilitates the rigorous study of how a variety of factors (size and quality of training data, model overparametrization etc.) affect the tradeoff between these two competing accuracies. | 翻訳日:2022-12-29 03:38:29 公開日:2020-02-24 |
| # ランダム化数値線形代数アルゴリズムのためのサンプリング推定器の漸近解析 Asymptotic Analysis of Sampling Estimators for Randomized Numerical Linear Algebra Algorithms ( http://arxiv.org/abs/2002.10526v1 ) ライセンス: Link先を確認 | Ping Ma, Xinlian Zhang, Xin Xing, Jingyi Ma, and Michael W. Mahoney | (参考訳) 過去数年間のランダム化数値線形代数(RandNLA)アルゴリズムの統計的解析は、主に点推定器としての性能に焦点を当ててきた。
しかし、推定器の分布が不足しているため、信頼区間の構築や仮説検証など、統計的推論を行うには不十分である。
本稿では,最小二乗問題に対するRandNLAサンプリング推定器の分布を導出する漸近解析を開発する。
特に,任意のサンプリング確率を持つ一般サンプリング推定器の漸近分布を導出する。
分析は2つの相補的な設定、すなわち、興味の対象が全サンプル推定器を近似すること、または基礎となる基底真理モデルパラメータを推測することである。
各設定について,サンプリング推定器は漸近的に通常,穏やかな正規性条件下で分布することを示す。
さらに、サンプリング推定器は、両方の設定で漸近的に偏りがない。
症状分析では,Asymptotic Mean Squared Error (AMSE) とAsymptotic Mean Squared Error (EAMSE) の2つの基準を用いて,最適なサンプリング確率の同定を行った。
これらの最適なサンプリング確率分布のいくつかは、例えばルートレバレッジサンプリング推定器と予測長サンプリング推定器のような文献に新しいものである。
実験結果は, サンプリングプロセスにおけるレバレッジの役割を明らかにするとともに, 既存の方法よりも改善することを示す。 The statistical analysis of Randomized Numerical Linear Algebra (RandNLA) algorithms within the past few years has mostly focused on their performance as point estimators. However, this is insufficient for conducting statistical inference, e.g., constructing confidence intervals and hypothesis testing, since the distribution of the estimator is lacking. In this article, we develop an asymptotic analysis to derive the distribution of RandNLA sampling estimators for the least-squares problem. In particular, we derive the asymptotic distribution of a general sampling estimator with arbitrary sampling probabilities. The analysis is conducted in two complementary settings, i.e., when the objective of interest is to approximate the full sample estimator or is to infer the underlying ground truth model parameters. For each setting, we show that the sampling estimator is asymptotically normally distributed under mild regularity conditions. Moreover, the sampling estimator is asymptotically unbiased in both settings. Based on our asymptotic analysis, we use two criteria, the Asymptotic Mean Squared Error (AMSE) and the Expected Asymptotic Mean Squared Error (EAMSE), to identify optimal sampling probabilities. Several of these optimal sampling probability distributions are new to the literature, e.g., the root leverage sampling estimator and the predictor length sampling estimator. Our theoretical results clarify the role of leverage in the sampling process, and our empirical results demonstrate improvements over existing methods. | 翻訳日:2022-12-29 03:38:02 公開日:2020-02-24 |
| # twitter上のうわさの伝播と同定に対する情報拡散アプローチ An Information Diffusion Approach to Rumor Propagation and Identification on Twitter ( http://arxiv.org/abs/2002.11104v1 ) ライセンス: Link先を確認 | Abiola Osho, Caden Waters, George Amariucai | (参考訳) ニュースや情報の発信源としてのオンラインソーシャルネットワークの利用の増加に伴い、噂が広範に広まり、急速に広まる傾向にあること、特に、信頼できると思われた投稿に反応する決定を下す前に、投稿を事実チェックする時間が不足している災害状況において、大きな懸念が生じる。
本研究では,潜伏メッセージとユーザインタラクション属性に基づいて,顕微鏡レベルの誤情報拡散のダイナミクスを探索し,Twitter上での噂の伝播パターンを探索する。
特徴選択と予測のために教師付き学習を行う。
実世界のデータセットを用いた実験結果は、真と偽のトピックの拡散に対して、モデルの予測精度を約90\%で与える。
われわれの調査によると、噂のカスケードはより深く流れ、その噂はニュースとして隠され、恐怖を喚起するメッセージは他のメッセージよりも急速に拡散する。
予測パラメータと拡散を支配するメッセージ特徴の両方において、真および偽のメッセージ伝達のモデルが著しく異なることを示す。
最後に,拡散パターンはツイートの信頼性を特定する上で重要な指標であることを示す。 With the increasing use of online social networks as a source of news and information, the propensity for a rumor to disseminate widely and quickly poses a great concern, especially in disaster situations where users do not have enough time to fact-check posts before making the informed decision to react to a post that appears to be credible. In this study, we explore the propagation pattern of rumors on Twitter by exploring the dynamics of microscopic-level misinformation spread, based on the latent message and user interaction attributes. We perform supervised learning for feature selection and prediction. Experimental results with real-world data sets give the models' prediction accuracy at about 90\% for the diffusion of both True and False topics. Our findings confirm that rumor cascades run deeper and that rumor masked as news, and messages that incite fear, will diffuse faster than other messages. We show that the models for True and False message propagation differ significantly, both in the prediction parameters and in the message features that govern the diffusion. Finally, we show that the diffusion pattern is an important metric in identifying the credibility of a tweet. | 翻訳日:2022-12-29 03:36:38 公開日:2020-02-24 |
| # 分散センサを用いたDOA推定のための多周波キャリブレーション Multi-frequency calibration for DOA estimation with distributed sensors ( http://arxiv.org/abs/2002.11498v1 ) ライセンス: Link先を確認 | Martin Brossard, Virginie Ollier, Mohammed Nabil El Korso, R\'emy Boyer and Pascal Larzabal | (参考訳) 本研究では,センサアレイ処理におけるセンサゲインの不確かさの有無と方向摂動の有無を多周波数シナリオで検討する。
具体的には,コヒーレンスモデルが組み込まれ,局所エージェントがネットワーク内の接続ノード,すなわち融合センタを使わずに情報を交換する分散最適化方式を採用する。
数値シミュレーションは, 統計的および計算効率の観点から, 並列反復手法の利点を浮き彫りにする。 In this work, we investigate direction finding in the presence of sensor gain uncertainties and directional perturbations for sensor array processing in a multi-frequency scenario. Specifically, we adopt a distributed optimization scheme in which coherence models are incorporated and local agents exchange information only between connected nodes in the network, i.e., without a fusion center. Numerical simulations highlight the advantages of the proposed parallel iterative technique in terms of statistical and computational efficiency. | 翻訳日:2022-12-29 03:36:19 公開日:2020-02-24 |
| # バックプロパミン:神経修飾可塑性の異なる自己修飾ニューラルネットワークの訓練 Backpropamine: training self-modifying neural networks with differentiable neuromodulated plasticity ( http://arxiv.org/abs/2002.10585v1 ) ライセンス: Link先を確認 | Thomas Miconi and Aditya Rawal and Jeff Clune and Kenneth O. Stanley | (参考訳) 動物の脳における生涯学習は、主にシナプス接続の塑性変化によって実現される。
これらの変化は受動的ではなく、脳の制御下にある神経調節によって積極的に制御される。
結果として生じる脳の自己修飾能力は、学習と適応において重要な役割を果たし、生物学的強化学習の主要な基盤となっている。
ここでは,このような神経修飾可塑性を有するニューラルネットワークを勾配降下で訓練できることを初めて示す。
可塑性の神経調節に関する従来の研究を延長し,可塑性の神経調節に関する微分可能な定式化を提案する。
神経調節可塑性は強化学習と教師付き学習タスクの両方においてニューラルネットワークの性能を向上させる。
あるタスクでは、数百万のパラメータを持つニューロ変調プラスチックLSTMが、ベンチマーク言語モデリングタスク(パラメータ数を制御する)で標準LSTMより優れている。
我々は、可塑性の微分可能なニューロモジュレーションは、ニューラルネットワークをトレーニングするための強力な新しい枠組みを提供すると結論づける。 The impressive lifelong learning in animal brains is primarily enabled by plastic changes in synaptic connectivity. Importantly, these changes are not passive, but are actively controlled by neuromodulation, which is itself under the control of the brain. The resulting self-modifying abilities of the brain play an important role in learning and adaptation, and are a major basis for biological reinforcement learning. Here we show for the first time that artificial neural networks with such neuromodulated plasticity can be trained with gradient descent. Extending previous work on differentiable Hebbian plasticity, we propose a differentiable formulation for the neuromodulation of plasticity. We show that neuromodulated plasticity improves the performance of neural networks on both reinforcement learning and supervised learning tasks. In one task, neuromodulated plastic LSTMs with millions of parameters outperform standard LSTMs on a benchmark language modeling task (controlling for the number of parameters). We conclude that differentiable neuromodulation of plasticity offers a powerful new framework for training neural networks. | 翻訳日:2022-12-29 03:30:32 公開日:2020-02-24 |
| # ERA5とMENAシミュレーションのオフショア風力ポテンシャル予測への応用 Application of ERA5 and MENA simulations to predict offshore wind energy potential ( http://arxiv.org/abs/2002.10022v1 ) ライセンス: Link先を確認 | Shahab Shamshirband, Amir Mosavi, Narjes Nabipour, Kwok-wing Chau | (参考訳) 本研究は,オマーン湾を経由する風力エネルギー資源と,気候変動の影響による将来の変動性について検討した。
この点に関して、CORDEX-MENAシミュレーションから得られた表面の風速近傍のEC-EARTHは、エネルギーの歴史的および将来の予測に使用される。
ERA5風力データは、気候モデルの適合性を評価するために使用される。
さらに, 風速をタービンハブ高さの風速に変換する重要な変数として, 調査領域を横断するERA5波動データを適用し, 海面粗さを計算した。
電力分布, 浴量, コートからの距離を考慮すると, いくつかのスポットは, 方向性および時間的変動の詳細な評価と, 気候変動の影響の研究を行うための仮設ホットスポットである。
共通の気候シナリオとしてのRCP8.5は、選択された場所での将来のエネルギー変動を予測し、抽出するために用いられる。
本研究は, 風力タービンの計画と建設に最適なポテンシャルを有することを実証するものである。 This study explores wind energy resources in different locations through the Gulf of Oman and also their future variability due climate change impacts. In this regard, EC-EARTH near surface wind outputs obtained from CORDEX-MENA simulations are used for historical and future projection of the energy. The ERA5 wind data are employed to assess suitability of the climate model. Moreover, the ERA5 wave data over the study area are applied to compute sea surface roughness as an important variable for converting near surface wind speeds to those of wind speed at turbine hub-height. Considering the power distribution, bathymetry and distance from the coats, some spots as tentative energy hotspots to provide detailed assessment of directional and temporal variability and also to investigate climate change impact studies. RCP8.5 as a common climatic scenario is used to project and extract future variation of the energy in the selected sites. The results of this study demonstrate that the selected locations have a suitable potential for wind power turbine plan and constructions. | 翻訳日:2022-12-29 03:30:06 公開日:2020-02-24 |
| # データなしの粗粒化と集団変数発見のための埋め込み物理機械学習 Embedded-physics machine learning for coarse-graining and collective variable discovery without data ( http://arxiv.org/abs/2002.10148v1 ) ライセンス: Link先を確認 | Markus Sch\"oberl, Nicholas Zabaras, Phaedon-Stelios Koutsourelakis | (参考訳) 本稿では,分子動力学(md)の文脈における最新のデータ駆動粗粒的アプローチ,すなわちビッグデータの可用性の重大な欠点を回避しつつ,基礎となる物理を一貫して組み込む新しい学習フレームワークを提案する。
十分に大きなトレーニングデータセットの生成は計算的に要求されるタスクとなるが、原子構成空間の完全なカバレッジは保証されない。
その結果、データ駆動粗粒モデルの探索能力は制限され、バイアスのある「予測的」なツールが得られる。
原子間力場の形で利用可能な物理学を完全に組み込んだ逆クルバック・リーブラー分岐に基づく新しい目的を提案する。
データ生成手順からモデル学習を分離する代わりに、後者は力場によって支配される原子論的動きをシミュレートすることに依存している。
したがって、学習は力場の評価に依存するが、MDシミュレーションは不要である。
生成した生成粗粒モデルは、原子構成を予測し、関連する可観測性を予測するための効率的なサロゲートモデルとして機能する。
予測粗粒度モデルを得る以外に, 発見されている低次元表現では, 集合変数 (cvs) が物理化学的性質と関連していることを示す。
本研究では,二様ポテンシャルエネルギー関数とアラニンジペプチドに対するcvsの予測能力と物理的意味の観点からアルゴリズムの進歩を示す。 We present a novel learning framework that consistently embeds underlying physics while bypassing a significant drawback of most modern, data-driven coarse-grained approaches in the context of molecular dynamics (MD), i.e., the availability of big data. The generation of a sufficiently large training dataset poses a computationally demanding task, while complete coverage of the atomistic configuration space is not guaranteed. As a result, the explorative capabilities of data-driven coarse-grained models are limited and may yield biased "predictive" tools. We propose a novel objective based on reverse Kullback-Leibler divergence that fully incorporates the available physics in the form of the atomistic force field. Rather than separating model learning from the data-generation procedure - the latter relies on simulating atomistic motions governed by force fields - we query the atomistic force field at sample configurations proposed by the predictive coarse-grained model. Thus, learning relies on the evaluation of the force field but does not require any MD simulation. The resulting generative coarse-grained model serves as an efficient surrogate model for predicting atomistic configurations and estimating relevant observables. Beyond obtaining a predictive coarse-grained model, we demonstrate that in the discovered lower-dimensional representation, the collective variables (CVs) are related to physicochemical properties, which are essential for gaining understanding of unexplored complex systems. We demonstrate the algorithmic advances in terms of predictive ability and the physical meaning of the revealed CVs for a bimodal potential energy function and the alanine dipeptide. | 翻訳日:2022-12-29 03:29:38 公開日:2020-02-24 |
| # 安定・揮発性市場環境における日内相関予測-深層学習からの証拠 Predictive intraday correlations in stable and volatile market environments: Evidence from deep learning ( http://arxiv.org/abs/2002.10385v1 ) ライセンス: Link先を確認 | Ben Moews and Gbenga Ibikunle | (参考訳) 金融の標準的手法や理論は、大規模なデータセットに基づく金融予測問題における高度に非線形な相互作用を捉えるのに不適切であり、ディープラーニングは複雑なシステムとしての市場における相関に関する洞察を得る手段を提供する。
本稿では,econometricly built gradients(econometricly built gradients)を用いて,s&p 500株間の遅延相関を学習・活用し,安定・揮発性市場環境におけるモデル行動の比較を行い,予測のための対象株情報を排除した。
時間的地平線の影響を測定するため, 日内, 日内株価変動を各間隔で予測し, モデルアーキテクチャの変更により, 問題の複雑さを評価する。
以上の結果から,有意な評価を保ちながら,市場におけるラベル付き相関の活用可能性を示す一方で,予測地平線が短くなる傾向が示唆された。
ポートフォリオマネージャのための調査ツールとしての現代金融理論と作業の適用性について論じる。
最後に,2007/2008年の金融危機の環境に導入することで,不安定な市場においてモデルの性能が一貫したことを示す。 Standard methods and theories in finance can be ill-equipped to capture highly non-linear interactions in financial prediction problems based on large-scale datasets, with deep learning offering a way to gain insights into correlations in markets as complex systems. In this paper, we apply deep learning to econometrically constructed gradients to learn and exploit lagged correlations among S&P 500 stocks to compare model behaviour in stable and volatile market environments, and under the exclusion of target stock information for predictions. In order to measure the effect of time horizons, we predict intraday and daily stock price movements in varying interval lengths and gauge the complexity of the problem at hand with a modification of our model architecture. Our findings show that accuracies, while remaining significant and demonstrating the exploitability of lagged correlations in stock markets, decrease with shorter prediction horizons. We discuss implications for modern finance theory and our work's applicability as an investigative tool for portfolio managers. Lastly, we show that our model's performance is consistent in volatile markets by exposing it to the environment of the recent financial crisis of 2007/2008. | 翻訳日:2022-12-29 03:27:46 公開日:2020-02-24 |
| # 非共存属性によるクラスタリングと分類:受刑不一致尺度に基づく手法 Clustering and Classification with Non-Existence Attributes: A Sentenced Discrepancy Measure Based Technique ( http://arxiv.org/abs/2002.10411v1 ) ライセンス: Link先を確認 | Y. A. Joarder, Emran Hossain and Al Faisal Mahmud | (参考訳) データインスタンスの一部あるいはすべてについて、独立世界のクラスタリングの問題の多くは、属性の喪失や欠落による不完全なデータ特徴づけに悩まされている。
典型的なクラスタリングアプローチは、計算や限界化といったテクニックによる事前処理がなければ、そのようなデータに直接適用することはできない。
我々はこの欠点を,AWPD(Attribute Weighted Penalty Based Discrepancy)と呼ばれるセンテンシブ・ディフレナンシ・尺度(Sentenced Discrepancy Measure)を用いて克服した。
AWPD尺度を用いて,クラスタリングアルゴリズムにK-MEANS++,クラスタリングアルゴリズムにK-MEANS++,分類にk Nearest Neighbor(kNN)を改良し,非存在属性を持つデータセットに直接適用できるようにした。
本稿では,新しいawpdベースのk-means++,スケーラブルなk-means++,knnアルゴリズムが反復数の中で局所素数にマージされることを示す,詳細な理論的解析を行った。
我々は, 様々な非共存形態のベンチマークデータセットについて詳細な実験を行い, 予測されたクラスタリングと分類手法が, 一般に不十分なデータを処理するために使用される有名なインプテーション手法に比べ, 良好な結果を示すことを報告した。
既存の属性を持たないデータセットに本手法を直接適用し、最適な精度と最小コストで非構造化の属性を検出する方法を確立します。 For some or all of the data instances a number of independent-world clustering issues suffer from incomplete data characterization due to losing or absent attributes. Typical clustering approaches cannot be applied directly to such data unless pre-processing by techniques like imputation or marginalization. We have overcome this drawback by utilizing a Sentenced Discrepancy Measure which we refer to as the Attribute Weighted Penalty based Discrepancy (AWPD). Using the AWPD measure, we modified the K-MEANS++ and Scalable K-MEANS++ for clustering algorithm and k Nearest Neighbor (kNN) for classification so as to make them directly applicable to datasets with non-existence attributes. We have presented a detailed theoretical analysis which shows that the new AWPD based K-MEANS++, Scalable K-MEANS++ and kNN algorithm merge into a local prime among the number of iterations is finite. We have reported in depth experiments on numerous benchmark datasets for various forms of Non-Existence showing that the projected clustering and classification techniques usually show better results in comparison to some of the renowned imputation methods that are generally used to process such insufficient data. This technique is designed to trace invaluable data to: directly apply our method on the datasets which have Non-Existence attributes and establish a method for detecting unstructured Non-Existence attributes with the best accuracy rate and minimum cost. | 翻訳日:2022-12-29 03:21:21 公開日:2020-02-24 |
| # 高次経路におけるニューラルメッセージパッシング Neural Message Passing on High Order Paths ( http://arxiv.org/abs/2002.10413v1 ) ライセンス: Link先を確認 | Daniel Flam-Shepherd, Tony Wu, Pascal Friederich and Alan Aspuru-Guzik | (参考訳) グラフニューラルネットワークは分子特性の予測において素晴らしい結果を得たが、機能群や分子幾何学のようなグラフの局所構造や隠れ構造を直接考慮していない。
各伝播ステップでは、gnnは第1次隣人のみを集約し、それに続く隣人に含まれる重要な情報やそれらの上位接続間の関係を無視する。
本研究では,グラフニューラルネットを一般化し,メッセージの送信と高次パスへの集約を行う。
これにより、情報はグラフの様々なレベルやサブ構造を伝播することができる。
我々は分子特性予測のいくつかのタスクでモデルを示す。 Graph neural network have achieved impressive results in predicting molecular properties, but they do not directly account for local and hidden structures in the graph such as functional groups and molecular geometry. At each propagation step, GNNs aggregate only over first order neighbours, ignoring important information contained in subsequent neighbours as well as the relationships between those higher order connections. In this work, we generalize graph neural nets to pass messages and aggregate across higher order paths. This allows for information to propagate over various levels and substructures of the graph. We demonstrate our model on a few tasks in molecular property prediction. | 翻訳日:2022-12-29 03:20:57 公開日:2020-02-24 |
| # シーケンスモデリングのための変分ハイパーrnn Variational Hyper RNN for Sequence Modeling ( http://arxiv.org/abs/2002.10501v1 ) ライセンス: Link先を確認 | Ruizhi Deng, Yanshuai Cao, Bo Chang, Leonid Sigal, Greg Mori, Marcus A. Brubaker | (参考訳) そこで本研究では,時系列データにおいて,時系列データと個別シーケンスの双方で高い変動率を捉えることができる確率列モデルを提案する。
提案手法では,時間潜時変数を用いて基礎となるデータパターンに関する情報を捕捉し,その潜時情報をベースデコーダとリカレントモデルの重み付けに動的に復号する。
提案手法の有効性は,大規模変動,レジームシフト,複雑なダイナミクスを示す合成および実世界のシーケンシャルデータに対して実証された。 In this work, we propose a novel probabilistic sequence model that excels at capturing high variability in time series data, both across sequences and within an individual sequence. Our method uses temporal latent variables to capture information about the underlying data pattern and dynamically decodes the latent information into modifications of weights of the base decoder and recurrent model. The efficacy of the proposed method is demonstrated on a range of synthetic and real-world sequential data that exhibit large scale variations, regime shifts, and complex dynamics. | 翻訳日:2022-12-29 03:20:01 公開日:2020-02-24 |
| # 幾何学的クラスタリングのための変分wasserstein barycenters Variational Wasserstein Barycenters for Geometric Clustering ( http://arxiv.org/abs/2002.10543v1 ) ライセンス: Link先を確認 | Liang Mi, Tianshu Yu, Jose Bento, Wen Zhang, Baoxin Li, Yalin Wang | (参考訳) 本稿では,モンジュ写像を変分原理で解くことにより,WB(Wasserstein Barycenters)を計算することを提案する。
我々はWBsの計量特性について論じ、その関係、特にモンジュWBsのK平均クラスタリングとコクラスタリングについて考察する。
また,不均衡測度と球面領域に対するmonge wbの実現可能性についても論じる。
正規化K平均とWasserstein Barycenter圧縮という2つの新しい問題を提案する。
クラスタリングに関連する問題の解決にVWBを使うことを実証する。 We propose to compute Wasserstein barycenters (WBs) by solving for Monge maps with variational principle. We discuss the metric properties of WBs and explore their connections, especially the connections of Monge WBs, to K-means clustering and co-clustering. We also discuss the feasibility of Monge WBs on unbalanced measures and spherical domains. We propose two new problems -- regularized K-means and Wasserstein barycenter compression. We demonstrate the use of VWBs in solving these clustering-related problems. | 翻訳日:2022-12-29 03:19:39 公開日:2020-02-24 |
| # nullクラスを使用して決定空間を制限し、ニューラルネットワークの敵攻撃を防御する Utilizing a null class to restrict decision spaces and defend against neural network adversarial attacks ( http://arxiv.org/abs/2002.10084v1 ) ライセンス: Link先を確認 | Matthew J. Roos | (参考訳) Despite recent progress, deep neural networks generally continue to be vulnerable to so-called adversarial examples--input images with small perturbations that can result in changes in the output classifications, despite no such change in the semantic meaning to human viewers. This is true even for seemingly simple challenges such as the MNIST digit classification task. In part, this suggests that these networks are not relying on the same set of object features as humans use to make these classifications. In this paper we examine an additional, and largely unexplored, cause behind this phenomenon--namely, the use of the conventional training paradigm in which the entire input space is parcellated among the training classes.
このパラダイムにより、個々のクラスに対する学習された決定空間は入力空間の過大な領域にまたがり、トレーニングセット内の画像と意味的に類似しない画像を含む。
本研究では,nullクラスを含むモデルを訓練する。
つまり、入力イメージを桁クラスの1つとして分類する「オプトアウト」を行うことができる。
トレーニング中、ヌルイメージはさまざまなメソッドを通じて作成され、digitクラスに対してより強く、より意味的に意味のある決定空間を作ろうとする。
最高のパフォーマンスモデルは、不正な桁数クラスのメンバーと誤解するのではなく、ほとんど全ての敵の例をヌルとして分類し、同時に非摂動テストセット上で高い精度を維持する。
ここで提示されるnullクラスの使用とトレーニングパラダイムは、いくつかのアプリケーションに対する敵攻撃に対する効果的な防御を提供する可能性がある。
この研究を複製するコードは、https://github.com/mattroos/null_class_adversarial_defenseで利用可能になる。 Despite recent progress, deep neural networks generally continue to be vulnerable to so-called adversarial examples--input images with small perturbations that can result in changes in the output classifications, despite no such change in the semantic meaning to human viewers. This is true even for seemingly simple challenges such as the MNIST digit classification task. In part, this suggests that these networks are not relying on the same set of object features as humans use to make these classifications. In this paper we examine an additional, and largely unexplored, cause behind this phenomenon--namely, the use of the conventional training paradigm in which the entire input space is parcellated among the training classes. Owing to this paradigm, learned decision spaces for individual classes span excessively large regions of the input space and include images that have no semantic similarity to images in the training set. In this study, we train models that include a null class. That is, models may "opt-out" of classifying an input image as one of the digit classes. During training, null images are created through a variety of methods, in an attempt to create tighter and more semantically meaningful decision spaces for the digit classes. The best performing models classify nearly all adversarial examples as nulls, rather than mistaking them as a member of an incorrect digit class, while simultaneously maintaining high accuracy on the unperturbed test set. The use of a null class and the training paradigm presented herein may provide an effective defense against adversarial attacks for some applications. Code for replicating this study will be made available at https://github.com/mattroos/null_class_adversarial_defense . | 翻訳日:2022-12-29 03:19:00 公開日:2020-02-24 |
| # 局所事前マッチングによる半教師付き音声認識 Semi-Supervised Speech Recognition via Local Prior Matching ( http://arxiv.org/abs/2002.10336v1 ) ライセンス: Link先を確認 | Wei-Ning Hsu, Ann Lee, Gabriel Synnaeve, Awni Hannun | (参考訳) 音声認識のようなシーケンス変換タスクでは、強い構造化事前モデルが対象空間に関する豊富な情報をエンコードし、低い確率を割り当てることで暗黙的に無効なシーケンスを除外する。
本研究では,無ラベル音声で訓練された識別モデルに対して学習信号を提供するために,強い先行(言語モデルなど)からの知識を蒸留する半教師付き目標である局所事前マッチング(lpm)を提案する。
我々は,LPMが理論的に動機付けられ,実装が容易であり,既存の知識蒸留技術に比較して優れていることを示した。
100時間のラベル付き音声でトレーニングされたベースラインから始まり、360時間のラベル付きデータを追加して、同じデータ上の完全に教師付きモデルと比較して、クリーンでノイズの多いテストセットで単語エラー率の54%と73%をリカバリする。 For sequence transduction tasks like speech recognition, a strong structured prior model encodes rich information about the target space, implicitly ruling out invalid sequences by assigning them low probability. In this work, we propose local prior matching (LPM), a semi-supervised objective that distills knowledge from a strong prior (e.g. a language model) to provide learning signal to a discriminative model trained on unlabeled speech. We demonstrate that LPM is theoretically well-motivated, simple to implement, and superior to existing knowledge distillation techniques under comparable settings. Starting from a baseline trained on 100 hours of labeled speech, with an additional 360 hours of unlabeled data, LPM recovers 54% and 73% of the word error rate on clean and noisy test sets relative to a fully supervised model on the same data. | 翻訳日:2022-12-29 03:18:39 公開日:2020-02-24 |
| # FSinR: 機能選択のための徹底的なパッケージ FSinR: an exhaustive package for feature selection ( http://arxiv.org/abs/2002.10330v1 ) ライセンス: Link先を確認 | F. Arag\'on-Roy\'on, A. Jim\'enez-V\'ilchez, A. Arauzo-Azofra, J. M. Ben\'itez | (参考訳) 特徴選択(FS)は機械学習における重要なタスクである。
モデル構築やデータ分析に関連する多くの変数を選択することで構成される。
本稿では,広く知られているフィルタおよびラッパーメソッドと検索アルゴリズムを実装したrパッケージであるfsinrを提案する。
したがって、パッケージは、機能のサブセットに対するガイド付き検索と、それらのサブセットの評価尺度を返すフィルタまたはラッパーメソッドの組み合わせからなる、機能選択プロセスを実行することができる。
本稿では、パッケージの使用例と、機能選択のメソッドを含むRで利用可能な他のパッケージとの比較について述べる。 Feature Selection (FS) is a key task in Machine Learning. It consists in selecting a number of relevant variables for the model construction or data analysis. We present the R package, FSinR, which implements a variety of widely known filter and wrapper methods, as well as search algorithms. Thus, the package provides the possibility to perform the feature selection process, which consists in the combination of a guided search on the subsets of features with the filter or wrapper methods that return an evaluation measure of those subsets. In this article, we also present some examples on the usage of the package and a comparison with other packages available in R that contain methods for feature selection. | 翻訳日:2022-12-29 03:11:25 公開日:2020-02-24 |
| # ブラックボックス対応事例に対するモデルベース微分自由アプローチ:BOBYQA A Model-Based Derivative-Free Approach to Black-Box Adversarial Examples: BOBYQA ( http://arxiv.org/abs/2002.10349v1 ) ライセンス: Link先を確認 | Giuseppe Ughi, Vinayak Abrol, Jared Tanner | (参考訳) モデルベース微分自由最適化アルゴリズムは,非モデルベース手法よりも少ないネットワーククエリを用いて,ディープネットワークの逆対象誤分類を生成することができることを示す。
具体的には、ブラックボックスの設定を考慮し、許容される$\ell^{\infty}$摂動エネルギーを減らすか、敵の誤分類に対する防御でネットワークを訓練することにより、ネットワーククエリの数がより困難になることを示す。
我々は,bobiqaアルゴリズムと,遺伝的,コンビネート,直接探索アルゴリズムに基づく最先端のモデルフリーな敵を対象とする誤分類アプローチを対比することにより,これを説明する。
ネットワーク上の高$\ell^{\infty}$エネルギー摂動の場合、上記の単純なモデルフリーな手法は最も少ないクエリを必要とする。
対照的に,提案手法では,摂動エネルギーが低下したり,ネットワークが対向摂動に対して訓練された場合,最先端の結果が得られる。 We demonstrate that model-based derivative free optimisation algorithms can generate adversarial targeted misclassification of deep networks using fewer network queries than non-model-based methods. Specifically, we consider the black-box setting, and show that the number of networks queries is less impacted by making the task more challenging either through reducing the allowed $\ell^{\infty}$ perturbation energy or training the network with defences against adversarial misclassification. We illustrate this by contrasting the BOBYQA algorithm with the state-of-the-art model-free adversarial targeted misclassification approaches based on genetic, combinatorial, and direct-search algorithms. We observe that for high $\ell^{\infty}$ energy perturbations on networks, the aforementioned simpler model-free methods require the fewest queries. In contrast, the proposed BOBYQA based method achieves state-of-the-art results when the perturbation energy decreases, or if the network is trained against adversarial perturbations. | 翻訳日:2022-12-29 03:11:15 公開日:2020-02-24 |
| # ディープネットワークトレーニングの2つのレジーム The Two Regimes of Deep Network Training ( http://arxiv.org/abs/2002.10376v1 ) ライセンス: Link先を確認 | Guillaume Leclerc, Aleksander Madry | (参考訳) 学習率のスケジュールは、ディープラーニングモデルのパフォーマンスに大きな影響を与えます。
それでも、スケジュールの選択はしばしばヒューリスティックである。
我々は,異なる学習率スケジュールの効果と,それらを選択する適切な方法を正確に理解することを目的とする。
この目的のために、我々は2つの異なる訓練段階を分離し、第1に「大規模段階」レギュレーションと呼び、最適化の観点からはかなり貧弱な性能を示すが、モデル一般化の主要な要因である。
これらの制度を個別に扱い、トレーニングアルゴリズムをそれぞれに特化することで、学習率のスケジュールを大幅に単純化できることがわかった。 Learning rate schedule has a major impact on the performance of deep learning models. Still, the choice of a schedule is often heuristical. We aim to develop a precise understanding of the effects of different learning rate schedules and the appropriate way to select them. To this end, we isolate two distinct phases of training, the first, which we refer to as the "large-step" regime, exhibits a rather poor performance from an optimization point of view but is the primary contributor to model generalization; the latter, "small-step" regime exhibits much more "convex-like" optimization behavior but used in isolation produces models that generalize poorly. We find that by treating these regimes separately-and em specializing our training algorithm to each one of them, we can significantly simplify learning rate schedules. | 翻訳日:2022-12-29 03:10:57 公開日:2020-02-24 |
| # バイオインスパイアされた最適化:最適化のためのメタヒューリスティックアルゴリズム Bio-inspired Optimization: metaheuristic algorithms for optimization ( http://arxiv.org/abs/2003.11637v1 ) ライセンス: Link先を確認 | Pravin S Game, Dr. Vinod Vaze, Dr. Emmanuel M | (参考訳) 今日では、現実世界の複雑な問題を解決することは、基本的に不可欠で重要なタスクになっている。
これらの多くは組合せ問題であり、最適解は正確な解ではなく、求めるものである。
従来の最適化手法は小規模な問題に有効である。
しかし、現実世界の大規模問題では、従来の手法はスケールアップしないか、最適な解を得ることができないか、あるいは長い実行時間後に解を与えることになる。
これらの問題を解決するために使われた初期の人工知能ベースの技術でさえ、許容できる結果を与えられなかった。
しかし、この20年で、生物の特性と行動に基づいて、生物にインスパイアされたり、自然にインスパイアされた最適化アルゴリズムとして分類されたAIの新しい手法が数多く見られた。
これらの手法はメタヒューリスティック最適化法とも呼ばれ、理論的に証明され、多くの有用なアプリケーションを作成するためにシミュレーションを用いて実装されている。
それらは、手元の問題に容易に理解でき、柔軟で、簡単に適応でき、そして最も重要なのは、局所的なオプティマトラップから抜け出す能力のため、多くの産業的および工学的な複雑な問題を解決するために広く使われている。
この局所最適回避特性は、大域最適解を見つけるのに役立つ。
本研究の目的は,多くの最適化アルゴリズム,それらの基本的な分類,最近のバイオインスパイアされた最適化アルゴリズムとその応用について理解することである。 In today's day and time solving real-world complex problems has become fundamentally vital and critical task. Many of these are combinatorial problems, where optimal solutions are sought rather than exact solutions. Traditional optimization methods are found to be effective for small scale problems. However, for real-world large scale problems, traditional methods either do not scale up or fail to obtain optimal solutions or they end-up giving solutions after a long running time. Even earlier artificial intelligence based techniques used to solve these problems could not give acceptable results. However, last two decades have seen many new methods in AI based on the characteristics and behaviors of the living organisms in the nature which are categorized as bio-inspired or nature inspired optimization algorithms. These methods, are also termed meta-heuristic optimization methods, have been proved theoretically and implemented using simulation as well used to create many useful applications. They have been used extensively to solve many industrial and engineering complex problems due to being easy to understand, flexible, simple to adapt to the problem at hand and most importantly their ability to come out of local optima traps. This local optima avoidance property helps in finding global optimal solutions. This paper is aimed at understanding how nature has inspired many optimization algorithms, basic categorization of them, major bio-inspired optimization algorithms invented in recent time with their applications. | 翻訳日:2022-12-29 02:55:02 公開日:2020-02-24 |
| # KBSET -- 宣言的なLaTeXマークアップとSWI-Prologで書かれたコアによるScholarly Editing and Text Processingの知識ベースサポート KBSET -- Knowledge-Based Support for Scholarly Editing and Text Processing with Declarative LaTeX Markup and a Core Written in SWI-Prolog ( http://arxiv.org/abs/2002.10329v1 ) ライセンス: Link先を確認 | Jana Kittelmann, Christoph Wernhard | (参考訳) KBSETは2つのフレーバーで学術的な編集をサポートする環境である: まず、文書からPDFとHTMLのプレゼンテーションまで、特に18世紀から19世紀にかけての)対応書の版の開発に付随する実践的なツールKBSET/Lettersである。
第二に、自動名義認識を中心にした新しい書式の研究形態を実験的に研究するためのプロトタイプツールKBSET/NERとしてである。
KBSETはLaTeX表記で表される宣言的なアプリケーション固有のマークアップを処理でき、RDFで通常提供される大きな外部ファクトベースを組み込むことができる。
KBSETには特別に開発されたLaTeXスタイルとSWI-Prologで記述されたコアシステムが含まれており、Prologを統一言語として実現している。 KBSET is an environment that provides support for scholarly editing in two flavors: First, as a practical tool KBSET/Letters that accompanies the development of editions of correspondences (in particular from the 18th and 19th century), completely from source documents to PDF and HTML presentations. Second, as a prototypical tool KBSET/NER for experimentally investigating novel forms of working on editions that are centered around automated named entity recognition. KBSET can process declarative application-specific markup that is expressed in LaTeX notation and incorporate large external fact bases that are typically provided in RDF. KBSET includes specially developed LaTeX styles and a core system that is written in SWI-Prolog, which is used there in many roles, utilizing that it realizes the potential of Prolog as a unifying language. | 翻訳日:2022-12-29 02:54:39 公開日:2020-02-24 |
| # 依存関係解析へのハイブリッドアプローチ:ルールと形態とディープラーニングを組み合わせる A Hybrid Approach to Dependency Parsing: Combining Rules and Morphology with Deep Learning ( http://arxiv.org/abs/2002.10116v1 ) ライセンス: Link先を確認 | \c{S}aziye Bet\"ul \"Ozate\c{s} (1), Arzucan \"Ozg\"ur (1), Tunga G\"ung\"or (1), Balk{\i}z \"Ozt\"urk (2) ((1) Department of Computer Engineering, Bo\u{g}azi\c{c}i University, (2) Department of Linguistics, Bo\u{g}azi\c{c}i University) | (参考訳) 完全なデータ駆動深層学習モデルは通常言語に依存しないように設計されており、多くの自然言語処理タスクで成功している。
しかし、学習言語が低リソースであり、トレーニングデータの量が不足している場合、これらのモデルは自然言語文法情報の統合の恩恵を受けることができる。
本稿では,特に訓練データ量に制限のある言語に対して,依存関係解析の2つのアプローチを提案する。
第1のアプローチは、最先端のディープラーニングベースのパーサーとルールベースのアプローチを組み合わせ、第2のアプローチは、形態情報をパーサーに組み込む。
ルールベースのアプローチでは、ルールによる解析決定を符号化し、深層ネットワークへの付加情報として入力語のベクトル表現と結合する。
形態素に基づくアプローチでは、単語の形態的構造をパーサネットワークに含める異なる手法を提案する。
IMST-UDツリーバンクで実験を行い,ルールベースの解析システムと形態解析により,対象言語に関する明示的な知識をニューラルパーザに統合することで,より正確なアノテーションが得られ,アタッチメントスコアの点から解析性能が向上することが示唆された。
提案手法はトルコ語向けに開発されたが、他の言語にも適用できる。 Fully data-driven, deep learning-based models are usually designed as language-independent and have been shown to be successful for many natural language processing tasks. However, when the studied language is low-resourced and the amount of training data is insufficient, these models can benefit from the integration of natural language grammar-based information. We propose two approaches to dependency parsing especially for languages with restricted amount of training data. Our first approach combines a state-of-the-art deep learning-based parser with a rule-based approach and the second one incorporates morphological information into the parser. In the rule-based approach, the parsing decisions made by the rules are encoded and concatenated with the vector representations of the input words as additional information to the deep network. The morphology-based approach proposes different methods to include the morphological structure of words into the parser network. Experiments are conducted on the IMST-UD Treebank and the results suggest that integration of explicit knowledge about the target language to a neural parser through a rule-based parsing system and morphological analysis leads to more accurate annotations and hence, increases the parsing performance in terms of attachment scores. The proposed methods are developed for Turkish, but can be adapted to other languages as well. | 翻訳日:2022-12-29 02:54:19 公開日:2020-02-24 |
| # 自己組織化と自己蒸留によるBERT微細調整の改善 Improving BERT Fine-Tuning via Self-Ensemble and Self-Distillation ( http://arxiv.org/abs/2002.10345v1 ) ライセンス: Link先を確認 | Yige Xu, Xipeng Qiu, Ligao Zhou, Xuanjing Huang | (参考訳) BERTのような微調整済みの言語モデルは、NLPにおいて有効な方法となり、多くの下流タスクで最先端の結果が得られる。
BERTを新しいタスクに適用する最近の研究は、主にモデル構造の変更、事前訓練タスクの再設計、外部データと知識の活用に焦点を当てている。
微調整戦略自体はまだ完全には検討されていない。
本稿では, BERTの微細調整を, 自己組織化と自己蒸留の2つの効果的なメカニズムで改善する。
テキスト分類と自然言語推論タスクに関する実験により,提案手法は外部データや知識を使わずにBERTの適応性を大幅に向上できることを示した。 Fine-tuning pre-trained language models like BERT has become an effective way in NLP and yields state-of-the-art results on many downstream tasks. Recent studies on adapting BERT to new tasks mainly focus on modifying the model structure, re-designing the pre-train tasks, and leveraging external data and knowledge. The fine-tuning strategy itself has yet to be fully explored. In this paper, we improve the fine-tuning of BERT with two effective mechanisms: self-ensemble and self-distillation. The experiments on text classification and natural language inference tasks show our proposed methods can significantly improve the adaption of BERT without any external data or knowledge. | 翻訳日:2022-12-29 02:53:54 公開日:2020-02-24 |
| # チェスとアタリからStarCraftとBeyond:ゲームAIがAIの世界を駆り立てる方法 From Chess and Atari to StarCraft and Beyond: How Game AI is Driving the World of AI ( http://arxiv.org/abs/2002.10433v1 ) ライセンス: Link先を確認 | Sebastian Risi and Mike Preuss | (参考訳) 本稿では,ゲームAIの分野を概観する。ゲームAIは特定のゲームでプレイできるエージェントを作成するだけでなく,ゲームコンテンツの自動作成やゲーム分析,ゲームモデリングといった分野も扱う。
Game AIは長い間、大きな科学コミュニティからはあまり認知されていなかったが、最も高度なAIアルゴリズムとStarCraft 2やQuake IIIのようなビデオゲームの習得の進歩に関する記事の開発とテストのための研究分野としての地位を確立してきた。
この分野の成長のため、単一のレビューで完全にカバーすることはできない。
そこで我々は,ゲームAIの進歩が,ロボット工学や化学物質合成といったゲーム以外の領域にまで拡張され始めていることを含む,最近の重要な発展に焦点をあてた。
本稿では、これらのブレークスルーの道を開いたアルゴリズムと手法をレビューし、Game AI研究の他の重要な領域について報告するとともに、Game AIの将来に対するエキサイティングな方向性を指摘する。 This paper reviews the field of Game AI, which not only deals with creating agents that can play a certain game, but also with areas as diverse as creating game content automatically, game analytics, or player modelling. While Game AI was for a long time not very well recognized by the larger scientific community, it has established itself as a research area for developing and testing the most advanced forms of AI algorithms and articles covering advances in mastering video games such as StarCraft 2 and Quake III appear in the most prestigious journals. Because of the growth of the field, a single review cannot cover it completely. Therefore, we put a focus on important recent developments, including that advances in Game AI are starting to be extended to areas outside of games, such as robotics or the synthesis of chemicals. In this article, we review the algorithms and methods that have paved the way for these breakthroughs, report on the other important areas of Game AI research, and also point out exciting directions for the future of Game AI. | 翻訳日:2022-12-29 02:53:06 公開日:2020-02-24 |
| # ディープqエージェントが学習した表現はどの程度転送可能か? How Transferable are the Representations Learned by Deep Q Agents? ( http://arxiv.org/abs/2002.10021v1 ) ライセンス: Link先を確認 | Jacob Tyo and Zachary Lipton | (参考訳) 本稿では,Deep Reinforcement Learning(DRL)のサンプル複雑性の源泉について考察し,環境状態の有用な表現を学習することの要件と,政策学習のサンプル複雑性がどの程度の原因であるかを問う。
DRLエージェントについては,表現と政策の区別が明確でない場合があるが,一連の移動学習実験を通じて新たな知見を求める。
それぞれの実験では、同じゲームまたは関連するゲームでトレーニングされたいくつかのレイヤを保持し、移行学習の利点とポリシーをスクラッチから学習することを比較します。
興味深いことに、転送による利点は一般的に非常に可変であり、タスクのペア間で非対称である。
我々の実験では、より単純な環境から移行することで、より複雑な下流タスクのパフォーマンスが向上する可能性が示唆され、有用な表現を学ぶことの要件は、環境に基づいたサンプル複雑性の大部分にまで及ぶ可能性がある。
さらに, 微調整は, 移動層を凍結したトレーニングよりも優れており, 分類設定で最初に指摘された知見が確認できた。 In this paper, we consider the source of Deep Reinforcement Learning (DRL)'s sample complexity, asking how much derives from the requirement of learning useful representations of environment states and how much is due to the sample complexity of learning a policy. While for DRL agents, the distinction between representation and policy may not be clear, we seek new insight through a set of transfer learning experiments. In each experiment, we retain some fraction of layers trained on either the same game or a related game, comparing the benefits of transfer learning to learning a policy from scratch. Interestingly, we find that benefits due to transfer are highly variable in general and non-symmetric across pairs of tasks. Our experiments suggest that perhaps transfer from simpler environments can boost performance on more complex downstream tasks and that the requirements of learning a useful representation can range from negligible to the majority of the sample complexity, based on the environment. Furthermore, we find that fine-tuning generally outperforms training with the transferred layers frozen, confirming an insight first noted in the classification setting. | 翻訳日:2022-12-29 02:52:48 公開日:2020-02-24 |
| # バイレベル最適化による模倣学習のための証明可能表現学習 Provable Representation Learning for Imitation Learning via Bi-level Optimization ( http://arxiv.org/abs/2002.10544v1 ) ライセンス: Link先を確認 | Sanjeev Arora, Simon S. Du, Sham Kakade, Yuping Luo, and Nikunj Saunshi | (参考訳) 現代学習システムにおける一般的な戦略は、多くのタスク、すなわち表現学習に役立つ表現を学ぶことである。
我々は,複数の専門家の軌道が利用できるマルコフ決定過程(MDP)の模倣学習環境でこの戦略を研究する。
そこで,「外」最適化が協調表現を学習し,「内」最適化が模倣学習設定を符号化し,タスク固有のパラメータを学習しようとする2段階最適化問題として表現学習を定式化する。
このフレームワークを,行動クローニングと観察学習の模倣学習設定のためにインスタンス化する。
理論的には、表現学習は両方の場面で模倣学習にサンプル複雑性の利点をもたらすことを示す。
また,概念実証実験を行い,理論を検証する。 A common strategy in modern learning systems is to learn a representation that is useful for many tasks, a.k.a. representation learning. We study this strategy in the imitation learning setting for Markov decision processes (MDPs) where multiple experts' trajectories are available. We formulate representation learning as a bi-level optimization problem where the "outer" optimization tries to learn the joint representation and the "inner" optimization encodes the imitation learning setup and tries to learn task-specific parameters. We instantiate this framework for the imitation learning settings of behavior cloning and observation-alone. Theoretically, we show using our framework that representation learning can provide sample complexity benefits for imitation learning in both settings. We also provide proof-of-concept experiments to verify our theory. | 翻訳日:2022-12-29 02:45:44 公開日:2020-02-24 |
| # 階層関係伝播によるディープニューラルネットワークのより良い説明性向上のためのバッチ正規化 Breaking Batch Normalization for better explainability of Deep Neural Networks through Layer-wise Relevance Propagation ( http://arxiv.org/abs/2002.11018v1 ) ライセンス: Link先を確認 | Mathilde Guillemot, Catherine Heusele, Rodolphe Korichi, Sylvianne Schnebert, Liming Chen | (参考訳) ニューラルネットワークの透明性の欠如は、その使用にとって大きな障害である。
Layerwise Relevance Propagation技術は、モデル決定における各入力の関連性を表すヒートマップを構築する。
関連性は、Deep Neural Networkの最後の層から第1層まで後方に広がる。
レイヤワイズ・レバレンス・プロパゲーションは正規化レイヤを管理しませんが、この作業では正規化レイヤを含める手法を提案します。
具体的には,正規化層と畳み込み層,あるいは完全連結層を組み合わせた等価ネットワークを構築する。
mnistおよびcifar 10データセットを用いた熱マップは畳み込み層に対してより正確である。
本研究は,連結層と正規化層の組み合わせを含むネットワークとの層間関係の伝播を防止している。 The lack of transparency of neural networks stays a major break for their use. The Layerwise Relevance Propagation technique builds heat-maps representing the relevance of each input in the model s decision. The relevance spreads backward from the last to the first layer of the Deep Neural Network. Layer-wise Relevance Propagation does not manage normalization layers, in this work we suggest a method to include normalization layers. Specifically, we build an equivalent network fusing normalization layers and convolutional or fully connected layers. Heatmaps obtained with our method on MNIST and CIFAR 10 datasets are more accurate for convolutional layers. Our study also prevents from using Layerwise Relevance Propagation with networks including a combination of connected layers and normalization layer. | 翻訳日:2022-12-29 02:44:58 公開日:2020-02-24 |
| # 階層的表現の進歩的学習と絡み合い Progressive Learning and Disentanglement of Hierarchical Representations ( http://arxiv.org/abs/2002.10549v1 ) ライセンス: Link先を確認 | Zhiyuan Li, Jaideep Vitthal Murkute, Prashnna Kumar Gyawali and Linwei Wang | (参考訳) データから豊かな表現を学ぶことは、可変オートエンコーダ(VAE)のような深層生成モデルにとって重要なタスクである。
しかし、ボトムアップ推論プロセスにおいて高レベルな抽象化を抽出することにより、トップダウン生成のバリエーションのすべての要因を保存するという目標が損なわれる。
小さく始める」という概念に動機づけられた我々は、ハイレベルからローレベルな抽象概念から独立した階層表現を段階的に学習する戦略を提示する。
モデルはまず最も抽象的な表現を学び、その後徐々にネットワークアーキテクチャを成長させ、異なる抽象レベルで新しい表現を導入する。
提案手法は,従来の2つのベンチマークデータセットと比較して,従来提案されていた情報ギャップの指標を補完する新たな指標を含む,3つのアンタングルメント指標を用いて,アンタングルメントを改善する能力について定量的に検証した。
さらに,学習の進歩が階層的表現の分離をいかに改善するかの質的,定量的な証拠を提示する。
階層的表現学習とプログレッシブ・ラーニングのそれぞれの利点を浮き彫りにすることで、この知識は階層的表現を徐々に学習するvaeの能力を増大させることで、絡み合いを改善する最初の試みである。 Learning rich representation from data is an important task for deep generative models such as variational auto-encoder (VAE). However, by extracting high-level abstractions in the bottom-up inference process, the goal of preserving all factors of variations for top-down generation is compromised. Motivated by the concept of "starting small", we present a strategy to progressively learn independent hierarchical representations from high- to low-levels of abstractions. The model starts with learning the most abstract representation, and then progressively grow the network architecture to introduce new representations at different levels of abstraction. We quantitatively demonstrate the ability of the presented model to improve disentanglement in comparison to existing works on two benchmark data sets using three disentanglement metrics, including a new metric we proposed to complement the previously-presented metric of mutual information gap. We further present both qualitative and quantitative evidence on how the progression of learning improves disentangling of hierarchical representations. By drawing on the respective advantage of hierarchical representation learning and progressive learning, this is to our knowledge the first attempt to improve disentanglement by progressively growing the capacity of VAE to learn hierarchical representations. | 翻訳日:2022-12-29 02:44:28 公開日:2020-02-24 |
| # 深部近傍異常検出 Deep Nearest Neighbor Anomaly Detection ( http://arxiv.org/abs/2002.10445v1 ) ライセンス: Link先を確認 | Liron Bergman and Niv Cohen and Yedid Hoshen | (参考訳) 最寄りの隣人は、異常検出の成功と長期にわたる技術である。
最近、自己管理のディープメソッド(RotNetなど)によって重要な進歩が達成されている。
自己監督機能は通常、イメージネットの事前訓練機能に劣る。
本研究では,近年の進歩が,Imagenet事前学習機能空間で動作する最寄りのメソッドよりも優れているかどうかを検討する。
画像分布の仮定を少なくしつつ, 精度, ショット一般化, トレーニング時間, ノイズロバスト性など, 自己教師あり手法を上回っている。 Nearest neighbors is a successful and long-standing technique for anomaly detection. Significant progress has been recently achieved by self-supervised deep methods (e.g. RotNet). Self-supervised features however typically under-perform Imagenet pre-trained features. In this work, we investigate whether the recent progress can indeed outperform nearest-neighbor methods operating on an Imagenet pretrained feature space. The simple nearest-neighbor based-approach is experimentally shown to outperform self-supervised methods in: accuracy, few shot generalization, training time and noise robustness while making fewer assumptions on image distributions. | 翻訳日:2022-12-29 02:43:27 公開日:2020-02-24 |
| # SupRB:継続的問題解決のためのルールベース学習システム SupRB: A Supervised Rule-based Learning System for Continuous Problems ( http://arxiv.org/abs/2002.10295v1 ) ライセンス: Link先を確認 | Michael Heider and David P\"atzel and J\"org H\"ahner | (参考訳) 多次元連続決定問題における教師あり学習のための新しいピッツバーグスタイル学習分類システム(LCS)であるSupRB学習システムを提案する。
suprbは、例(状況、選択、関連する品質)から品質関数の近似を学び、最適な選択を行い、与えられた状況において選択の質を予測することができる。
SupRBの応用分野の1つは工業機械のパラメトリゼーションである。
この分野では、機械学習システムの推奨を受け入れることは、オペレーターの信頼に大きく依存している。
その信頼に欠かせない、広く研究されている要素は予測品質であるが、それだけでは不十分である。
少なくとも重要なことは、リコメンデーションの背後にある理由を人間には理解できない説明である。
人工ニューラルネットワークのような最先端の手法はこれには不足しているが、suprbのようなlcssは、非常に容易に理解可能な、可読性のあるルールを提供する。
一般的なLCSは、連続的な選択のサポートがないため、この問題に直接適用されない。
本稿では,SupRBの基礎を概説し,加法製造問題の単純化モデルに適用可能性を示す。 We propose the SupRB learning system, a new Pittsburgh-style learning classifier system (LCS) for supervised learning on multi-dimensional continuous decision problems. SupRB learns an approximation of a quality function from examples (consisting of situations, choices and associated qualities) and is then able to make an optimal choice as well as predict the quality of a choice in a given situation. One area of application for SupRB is parametrization of industrial machinery. In this field, acceptance of the recommendations of machine learning systems is highly reliant on operators' trust. While an essential and much-researched ingredient for that trust is prediction quality, it seems that this alone is not enough. At least as important is a human-understandable explanation of the reasoning behind a recommendation. While many state-of-the-art methods such as artificial neural networks fall short of this, LCSs such as SupRB provide human-readable rules that can be understood very easily. The prevalent LCSs are not directly applicable to this problem as they lack support for continuous choices. This paper lays the foundations for SupRB and shows its general applicability on a simplified model of an additive manufacturing problem. | 翻訳日:2022-12-29 02:37:00 公開日:2020-02-24 |
| # ニューラルネットワークトレーニングの初期段階 The Early Phase of Neural Network Training ( http://arxiv.org/abs/2002.10365v1 ) ライセンス: Link先を確認 | Jonathan Frankle and David J. Schwab and Ari S. Morcos | (参考訳) 近年の研究では、ニューラルネットワーク学習の多くの重要な側面が、トレーニングのごく初期のイテレーションやエポックで起こっていることが示されている。
例えば、スパースでトレーニング可能なサブネットワーク(Frankle et al., 2019)、勾配降下は小さなサブスペース(Gur-Ari et al., 2018)に移行し、ネットワークは臨界期(Achille et al., 2019)を経ている。
本稿では,この初期訓練における深層ニューラルネットワークの変化について検討する。
トレーニングの初期段階においてネットワーク状態の広範な測定を行い、Frankle et al. (2019) のフレームワークを利用して、データセットの重み分布とその様々な側面への依存性を定量的に調査する。
このフレームワーク内では、ディープネットワークは、サインを維持しながらランダムな重みで再起動する堅牢なものではなく、数百回の反復の後でも重み分布は非常に非依存である。
この挙動にもかかわらず、ぼやけた入力や補助的な自己教師付きタスクによる事前トレーニングは教師付きネットワークの変化を近似することができ、これらの変更は本質的にラベルに依存しないが、ラベルはこのプロセスを大幅に加速することを示唆している。
これらの結果は、この重要な学習期間に生じるネットワークの変化を解明するのに役立ちます。 Recent studies have shown that many important aspects of neural network learning take place within the very earliest iterations or epochs of training. For example, sparse, trainable sub-networks emerge (Frankle et al., 2019), gradient descent moves into a small subspace (Gur-Ari et al., 2018), and the network undergoes a critical period (Achille et al., 2019). Here, we examine the changes that deep neural networks undergo during this early phase of training. We perform extensive measurements of the network state during these early iterations of training and leverage the framework of Frankle et al. (2019) to quantitatively probe the weight distribution and its reliance on various aspects of the dataset. We find that, within this framework, deep networks are not robust to reinitializing with random weights while maintaining signs, and that weight distributions are highly non-independent even after only a few hundred iterations. Despite this behavior, pre-training with blurred inputs or an auxiliary self-supervised task can approximate the changes in supervised networks, suggesting that these changes are not inherently label-dependent, though labels significantly accelerate this process. Together, these results help to elucidate the network changes occurring during this pivotal initial period of learning. | 翻訳日:2022-12-29 02:36:46 公開日:2020-02-24 |
| # ホワイトニングによるSTDPに基づく視覚特徴学習の改善 Improving STDP-based Visual Feature Learning with Whitening ( http://arxiv.org/abs/2002.10177v1 ) ライセンス: Link先を確認 | Pierre Falez and Pierre Tirilly and Ioan Marius Bilasco | (参考訳) 近年、深層ニューラルネットワーク(DNN)の代替としてスパイクニューラルネットワーク(SNN)が出現している。
SNNは低消費電力のニューロモルフィックハードウェアを用いて高い計算効率を示し、スパイクタイミング依存可塑性(STDP)のような局所的および教師なし学習規則を用いてトレーニングするためにラベル付きデータが少ない。
SNNは、MNISTのような単純なデータセット上の画像分類において、その効果を証明している。
しかし,自然画像の処理には前処理が必要となる。
ガウス差分フィルタ(DoG)は、通常、オンセンタ/オフセンタ符号と共に使用されるが、分類性能に有害な情報の損失をもたらす。
本稿では,stdpで特徴を学習する前に,事前処理ステップとしてホワイトニングの利用を提案する。
CIFAR-10の実験では、標準的なニューラルネットワークで学んだものに近い視覚的特徴をSTDPが学習できることが示されており、DoGフィルタリングと比較して分類性能が大幅に向上している。
また,ニューロモルフィックなハードウェアに実装するのに適した,学習コストがより安価である,畳み込みカーネルとしての白化の近似も提案する。
CIFAR-10の実験では、通常の白化と同様の機能を示す。
CIFAR-10とSTL-10のクロスデータセット実験もまた、データセット間ではかなり安定していることを示し、異なるデータセットを処理するために単一のホワイトニング変換を学ぶことができる。 In recent years, spiking neural networks (SNNs) emerge as an alternative to deep neural networks (DNNs). SNNs present a higher computational efficiency using low-power neuromorphic hardware and require less labeled data for training using local and unsupervised learning rules such as spike timing-dependent plasticity (STDP). SNN have proven their effectiveness in image classification on simple datasets such as MNIST. However, to process natural images, a pre-processing step is required. Difference-of-Gaussians (DoG) filtering is typically used together with on-center/off-center coding, but it results in a loss of information that is detrimental to the classification performance. In this paper, we propose to use whitening as a pre-processing step before learning features with STDP. Experiments on CIFAR-10 show that whitening allows STDP to learn visual features that are closer to the ones learned with standard neural networks, with a significantly increased classification performance as compared to DoG filtering. We also propose an approximation of whitening as convolution kernels that is computationally cheaper to learn and more suited to be implemented on neuromorphic hardware. Experiments on CIFAR-10 show that it performs similarly to regular whitening. Cross-dataset experiments on CIFAR-10 and STL-10 also show that it is fairly stable across datasets, making it possible to learn a single whitening transformation to process different datasets. | 翻訳日:2022-12-29 02:35:55 公開日:2020-02-24 |
| # FONDUE:ネットワーク埋め込みを用いたノードの曖昧化フレームワーク FONDUE: A Framework for Node Disambiguation Using Network Embeddings ( http://arxiv.org/abs/2002.10127v1 ) ライセンス: Link先を確認 | Ahmad Mel, Bo Kang, Jefrey Lijffijt, Tijl De Bie | (参考訳) 現実世界のデータはしばしばネットワークの形で表現される。
例えば、ソーシャルネットワーク、引用ネットワーク、生物ネットワーク、知識グラフなどがある。
最も単純な形式では、ネットワークは実生活の実体(人、論文、タンパク質、概念)をノードとして表現し、これらのノード間のエッジによって他のエンティティとの関係を記述している。
これは、情報拡散の研究から書誌分析、バイオインフォマティクス研究、質問応答まで、様々な目的に有用である。
ネットワークの品質はしばしば問題となり、ダウンストリームタスクに影響を与えます。
本稿では,ネットワーク内のノードが複数の実生活エンティティに対応するという共通問題に焦点をあてる。
特に,ノードの曖昧さに対するネットワーク埋め込みに基づくアルゴリズムであるFONDUEを紹介する。
ネットワークが与えられた場合、FONDUEは複数のエンティティに対応するノードを識別する。
12のベンチマークデータセットに関する広範囲な実験により、フォンドゥは、既存の最先端ノードに比べて曖昧なノード識別に対して、計算コストは同等であるが、曖昧なノードを分割する最善の方法を決定するには最適ではないことが示されている。 Real-world data often presents itself in the form of a network. Examples include social networks, citation networks, biological networks, and knowledge graphs. In their simplest form, networks represent real-life entities (e.g. people, papers, proteins, concepts) as nodes, and describe them in terms of their relations with other entities by means of edges between these nodes. This can be valuable for a range of purposes from the study of information diffusion to bibliographic analysis, bioinformatics research, and question-answering. The quality of networks is often problematic though, affecting downstream tasks. This paper focuses on the common problem where a node in the network in fact corresponds to multiple real-life entities. In particular, we introduce FONDUE, an algorithm based on network embedding for node disambiguation. Given a network, FONDUE identifies nodes that correspond to multiple entities, for subsequent splitting. Extensive experiments on twelve benchmark datasets demonstrate that FONDUE is substantially and uniformly more accurate for ambiguous node identification compared to the existing state-of-the-art, at a comparable computational cost, while less optimal for determining the best way to split ambiguous nodes. | 翻訳日:2022-12-29 02:35:13 公開日:2020-02-24 |
| # 翻訳計算のためのニューラルネットワークにおけるインジェクティブドメイン知識 Injective Domain Knowledge in Neural Networks for Transprecision Computing ( http://arxiv.org/abs/2002.10214v1 ) ライセンス: Link先を確認 | Andrea Borghesi, Federico Baldo, Michele Lombardi, Michela Milano | (参考訳) 機械学習(ml)モデルは、大きなデータセットから意味のある情報を抽出する能力があるため、多くの学習タスクで非常に効果的です。
それでも、純粋なデータ(例えば、不足データや近似される非常に複雑な関数など)に頼って簡単には解けない学習問題が存在する。
幸いなことに、多くのコンテキストにおいて、ドメイン知識は明示的に利用可能であり、より良いMLモデルのトレーニングに使用できる。
本稿では,非自明な学習タスク,すなわち超精密計算アプリケーションの精密チューニングを扱う際に,事前知識を統合することで得られる改善について述べる。
ドメイン情報はMLモデルに異なる方法で注入される: I)追加機能, II)アドホックグラフベースのネットワークトポロジー, III)正規化スキーム。
その結果,問題固有情報を利用したMLモデルは純粋にデータ駆動モデルよりも優れており,平均精度は38%向上した。 Machine Learning (ML) models are very effective in many learning tasks, due to the capability to extract meaningful information from large data sets. Nevertheless, there are learning problems that cannot be easily solved relying on pure data, e.g. scarce data or very complex functions to be approximated. Fortunately, in many contexts domain knowledge is explicitly available and can be used to train better ML models. This paper studies the improvements that can be obtained by integrating prior knowledge when dealing with a non-trivial learning task, namely precision tuning of transprecision computing applications. The domain information is injected in the ML models in different ways: I) additional features, II) ad-hoc graph-based network topology, III) regularization schemes. The results clearly show that ML models exploiting problem-specific information outperform the purely data-driven ones, with an average accuracy improvement around 38%. | 翻訳日:2022-12-29 02:34:30 公開日:2020-02-24 |