このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス（CC 0, CC BY, CC BY-SA）の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。（arxivのメタデータは CC 0です。） 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。
公開日が20201028となっている論文です。
| Title | Authors | Abstract | 論文公表日・翻訳日 |
|---|---|---|---|
| # 一次元量子格子モデルにおける有限温度輸送 Finite-temperature transport in one-dimensional quantum lattice models ( http://arxiv.org/abs/2003.03334v3 ) ライセンス: Link先を確認 | B. Bertini, F. Heidrich-Meisner, C. Karrasch, T. Prosen, R. Steinigeweg, and M. Znidaric | (参考訳) この10年で、クリーンで1次元の量子格子系の輸送特性の理論的理解が著しく進歩した。
1次元の物理的に関連する多くのモデルは、異方性スピン1/2ハイゼンベルク(spin-1/2 xxz chainとも呼ばれる)やフェルミ-ハバードモデルを含むbethe-ansatz integrableである。
それでも、例えば相関関数と輸送係数の実用的な計算は、概念的および技術的な観点から難しい問題を生じさせる。
一方の可積分系の理論の最近の進歩と、他方の数値法の発展により、その有限温度と非平衡輸送特性を定量的に計算することが可能になった。
最も重要なことは、準局所保存量の新しいクラスの発見により、弾道的有限温度輸送の起源を定性的に理解し、可積分格子モデルにおいて拡散的または超拡散的部分リード補正さえも得るようになったことである。
特にスピン1/2 xxz とフェルミ・ハバードモデルのパラダイム的例において、一次元格子モデルにおける輸送の現在の理解を概観し、解析的および計算的アプローチを含む最先端の理論的手法について詳述する。
本稿では, 行列生成状態に基づくシミュレーション手法, 動的典型, 特に一般化された流体力学について論じる。
理論モデルと最近の実験の密接かつ実りある関係について論じ、量子磁石の領域と光学格子中の超低温量子ガスの両方から例を挙げる。 The last decade has witnessed an impressive progress in the theoretical understanding of transport properties of clean, one-dimensional quantum lattice systems. Many physically relevant models in one dimension are Bethe-ansatz integrable, including the anisotropic spin-1/2 Heisenberg (also called spin-1/2 XXZ chain) and the Fermi-Hubbard model. Nevertheless, practical computations of, for instance, correlation functions and transport coefficients pose hard problems from both the conceptual and technical point of view. Only due to recent progress in the theory of integrable systems on the one hand and due to the development of numerical methods on the other hand has it become possible to compute their finite temperature and nonequilibrium transport properties quantitatively. Most importantly, due to the discovery of a novel class of quasilocal conserved quantities, there is now a qualitative understanding of the origin of ballistic finite-temperature transport, and even diffusive or super-diffusive subleading corrections, in integrable lattice models. We shall review the current understanding of transport in one-dimensional lattice models, in particular, in the paradigmatic example of the spin-1/2 XXZ and Fermi-Hubbard models, and we elaborate on state-of-the-art theoretical methods, including both analytical and computational approaches. Among other novel techniques, we discuss matrix-product-states based simulation methods, dynamical typicality, and, in particular, generalized hydrodynamics. We will discuss the close and fruitful connection between theoretical models and recent experiments, with examples from both the realm of quantum magnets and ultracold quantum gases in optical lattices. | 翻訳日:2023-05-30 08:58:25 公開日:2020-10-28 |
| # トラッピングボソニックガス中におけるサイドバンド遷移を用いたXXZスピンモデルのシミュレーション Simulation of XXZ Spin Models using Sideband Transitions in Trapped Bosonic Gases ( http://arxiv.org/abs/2004.01282v2 ) ライセンス: Link先を確認 | Anjun Chu, Johannes Will, Jan Arlt, Carsten Klempt, Ana Maria Rey | (参考訳) 可変長範囲XXZスピンモデルの設計に$^{87}$Rb原子の閉じ込められたアンサンブルにおける運動側バンドの使用を理論的に提案し,実験的に実証する。
我々は,リプキン・メシュコフ・グリック(lmg)モデルにおける強磁性から常磁性への相転移,集合xxzモデル,さらにラビ分光法による横・縦方向の場を探索し,シミュレーションのベンチマークを行った。
平均場理論予測とよく一致した動的位相間の境界を実験的に再構成する。
本研究は、異方性スピンスピン相互作用の量子シミュレーションと、多体絡みによって強化された量子メロロジーの新しい可能性を紹介する。 We theoretically propose and experimentally demonstrate the use of motional sidebands in a trapped ensemble of $^{87}$Rb atoms to engineer tunable long-range XXZ spin models. We benchmark our simulator by probing a ferromagnetic to paramagnetic dynamical phase transition in the Lipkin-Meshkov-Glick (LMG) model, a collective XXZ model plus additional transverse and longitudinal fields, via Rabi spectroscopy. We experimentally reconstruct the boundary between the dynamical phases, which is in good agreement with mean-field theoretical predictions. Our work introduces new possibilities in quantum simulation of anisotropic spin-spin interactions and quantum metrology enhanced by many-body entanglement. | 翻訳日:2023-05-27 03:06:21 公開日:2020-10-28 |
| # VQEおよび関連アルゴリズムにおけるシングルキュービット回転量の削減 Reducing the amount of single-qubit rotations in VQE and related algorithms ( http://arxiv.org/abs/2005.13548v2 ) ライセンス: Link先を確認 | S. E. Rasmussen, N. J. S. Loft, T. B{\ae}kkegaard, M. Kues, N. T. Zinner | (参考訳) パラメータ化量子回路を用いたハイブリッド量子古典アルゴリズムの出現により、これらのアルゴリズムと回路の最適化方法が浮上する。
本稿では,パラメータ化量子回路における単一量子ビットの回転数を,回路の相対的表現性や絡み合い性を損なうことなく減少させることができることを示す。
また, 変分量子固有解法の性能は, 同様の1量子ビット回転の減少に影響を受けないことを示した。
パラメータ化された量子回路における異なる数の量子ビット間の相対表現可能性と絡み合い能力を比較する。
ハイブリッド量子古典アルゴリズムのプラットフォームとしての高次元quditsは、文献におけるラリティである。
したがって、量子周波数コムフォトニクスをそのようなアルゴリズムのプラットフォームとみなし、最高のパラメータ化量子回路に匹敵する相対的表現性と絡み合う能力が得られることを示す。 With the advent of hybrid quantum classical algorithms using parameterized quantum circuits the question of how to optimize these algorithms and circuits emerges. In this paper we show that the number of single-qubit rotations in parameterized quantum circuits can be decreased without compromising the relative expressibility or entangling capability of the circuit. We also show that the performance of a variational quantum eigensolver is unaffected by a similar decrease in single-qubit rotations. We compare relative expressibility and entangling capability across different number of qubits in parameterized quantum circuits. High-dimensional qudits as a platform for hybrid quantum classical algorithms is a rarity in the literature. Therefore we consider quantum frequency comb photonics as a platform for such algorithms and show that we can obtain an relative expressibility and entangling capability comparable to the best regular parameterized quantum circuits. | 翻訳日:2023-05-18 05:03:51 公開日:2020-10-28 |
| # $\mathbb{z}_2$-射影的翻訳対称性保護位相相 $\mathbb{Z}_2$-projective translational symmetry protected topological phases ( http://arxiv.org/abs/2007.00575v3 ) ライセンス: Link先を確認 | Y. X. Zhao, Yue-Xin Huang and Shengyuan A. Yang | (参考訳) 対称性は位相相の基本である。
ゲージ場が存在する場合、空間対称性は射影的に表現され、その代数構造を変更して新しい位相を生成する。
我々は、$\mathbb{Z}_2$ が射影的に表される翻訳対称性作用素が異なる可換関係を持ち、二倍非同型対称性に類似する運動量となることを示す。
他の内部あるいは外部の対称性と組み合わせることで、ブリルアンゾーンの境界全体の縮退、ブリルアンゾーン角に固定された1つの4倍ディラック点、すべての運動量点におけるクラマーズ縮退など、多くのエキゾチックなバンドトポロジーが生じる。
興味深いことに、ディラック点臨界性は1つの原始翻訳を破ることで持ち上げることができ、結果として位相的絶縁子相となり、エッジバンドはM\"{o}bius twistを持つ。
我々の研究は、射影的に表現された空間群によって保護される位相位相を探索するための新しい研究領域を開く。 Symmetry is fundamental to topological phases. In the presence of a gauge field, spatial symmetries will be projectively represented, which may alter their algebraic structure and generate novel topological phases. We show that the $\mathbb{Z}_2$ projectively represented translational symmetry operators adopt a distinct commutation relation, and become momentum dependent analogous to twofold nonsymmorphic symmetries. Combined with other internal or external symmetries, they give rise to many exotic band topology, such as the degeneracy over the whole boundary of the Brillouin zone, the single fourfold Dirac point pinned at the Brillouin zone corner, and the Kramers degeneracy at every momentum point. Intriguingly, the Dirac point criticality can be lifted by breaking one primitive translation, resulting in a topological insulator phase, where the edge bands have a M\"{o}bius twist. Our work opens a new arena of research for exploring topological phases protected by projectively represented space groups. | 翻訳日:2023-05-11 22:58:44 公開日:2020-10-28 |
| # 量子原子光学:理論と量子技術への応用 Quantum Atom Optics: Theory and Applications to Quantum Technology ( http://arxiv.org/abs/2007.14601v2 ) ライセンス: Link先を確認 | Tim Byrnes and Ebubechukwu O. Ilo-Okeke | (参考訳) これは、量子原子光学に関する本が出版される前のバージョンである。
基礎量子力学の知識を前提に、中性原子物質波系の基本原理を量子技術応用に重点を置いて記述し、大学院から中等レベルの教科書として執筆されている。
多体系の第二量子化の導入、ボース・アインシュタイン凝縮、秩序パラメータとグロス・ピタエフスキー方程式、原子のスピンダイナミクス、スピンボース・アインシュタイン凝縮、原子回折、原子干渉法 標準限界を超えた原子間相互作用、量子シミュレーション、原子アンサンブルによるスクイージングと絡み合い、原子アンサンブルによる量子情報。
この本は、中性原子多体原子系を扱うために必要な技術を得たい、または学部または大学院レベルのコースのテキストとして使用できる学生に適合する。
これは本書のほぼ最終稿であるが、必然的に誤りが生じる可能性がある。
もし何かエラーが見つかったら、連絡を頂き、公開前に修正します。
(TB:tim.byrnes[at]nyu.edu, EI:ebube[at]nyu.edu) This is a pre-publication version of a forthcoming book on quantum atom optics. It is written as a senior undergraduate to junior graduate level textbook, assuming knowledge of basic quantum mechanics, and covers the basic principles of neutral atom matter wave systems with an emphasis on quantum technology applications. The topics covered include: introduction to second quantization of many-body systems, Bose-Einstein condensation, the order parameter and Gross-Pitaevskii equation, spin dynamics of atoms, spinor Bose-Einstein condensates, atom diffraction, atomic interferometry beyond the standard limit, quantum simulation, squeezing and entanglement with atomic ensembles, quantum information with atomic ensembles. This book would suit students who wish to obtain the necessary skills for working with neutral atom many-body atomic systems, or could be used as a text for an undergraduate or graduate level course (exercises are included throughout). This is a near-final draft of the book, but inevitably errors may be present. If any errors are found, we welcome you to contact us and it will be corrected before publication. (TB: tim.byrnes[at]nyu.edu, EI: ebube[at]nyu.edu) | 翻訳日:2023-05-07 20:51:00 公開日:2020-10-28 |
| # カイラル導波路光力学: $\mathbb{z}_3$ symmetry breaking/による一階量子位相遷移 Chiral waveguide optomechanics: first order quantum phase transitions with $\mathbb{Z}_3$ symmetry breaking/ ( http://arxiv.org/abs/2009.01289v3 ) ライセンス: Link先を確認 | Denis Sedov, Valerii Kozin, Ivan Iorsh | (参考訳) キラル導波路近傍で調和的に閉じ込められた原子の量子光力学的問題と一般化量子ラビモデルとの直接マッピングを行い、フォトニック構造における原子鎖の自己組織化と超強結合状態におけるディッケ様量子相転移の類似性について論じる。
パリティ$\mathbb{Z}2$対称性ではなく、$\mathbb{Z}_3$を持つ系に対する超ラジアント相転移のクラスを拡張し、これらの系における多成分シュロディンガー基底状態の出現を実証する。 We present a direct mapping between the quantum optomechanical problem of the atoms harmonically trapped in the vicinity of a chiral waveguide and a generalized quantum Rabi model and discuss the analogy between the self-organization of atomic chains in photonic structures and Dicke-like quantum phase transitions in the ultrastrong coupling regime. We extend the class of the superradiant phase transitions for the systems possessing $\mathbb{Z}_3$ rather than parity $\mathbb{Z}_2$ symmetry and demonstrate the emergence of the multicomponent Schrodinger cat ground states in these systems. | 翻訳日:2023-05-04 00:53:09 公開日:2020-10-28 |
| # 時間周期量子系の変分原理 Variational principle for time-periodic quantum systems ( http://arxiv.org/abs/2010.14829v1 ) ライセンス: Link先を確認 | Nils Kr\"uger | (参考訳) 周期的時間依存量子系の個々のフロケ状態を計算できる変動原理を定式化し、線形駆動型高調波発振器の解析可解モデルによって提供されるベンチマークシステムに対して正常にテストする。
この原理はパラメータ空間を通して個々のフロッケ状態を追跡するのに特に適しており、既知の標準数値法では処理できない非常に高次元のシステムでもフロッケ状態を得ることができる。 A variational principle enabling one to compute individual Floquet states of a periodically time-dependent quantum system is formulated, and successfully tested against the benchmark system provided by the analytically solvable model of a linearly driven harmonic oscillator. The principle is particularly well suited for tracing individual Floquet states through parameter space, and may allow one to obtain Floquet states even for very high-dimensional systems which cannot be treated by the known standard numerical methods. | 翻訳日:2023-04-27 06:33:42 公開日:2020-10-28 |
| # ミニエントロピー : ワンショット・プライベート・ステート・トランスファー、量子マスキング、状態遷移の資源として The Min-entropy as a Resource for One-Shot Private State Transfer, Quantum Masking and State Transition ( http://arxiv.org/abs/2010.14796v1 ) ライセンス: Link先を確認 | Seok Hyung Lie and Seongjeon Choi and Hyunseok Jeong | (参考訳) 我々は、様々な相互接続されたタスクの資源測度として量子状態のミンエントロピーに操作的意味を与える。
特に、平滑化を伴わないミンエントロピーは、量子状態がランダム/相関源として使用される場合、ワンショット設定で完全に隠蔽またはエンコードできる量子情報の量を測定する。
まず, 純二成分状態の絡み合いの最小エントロピーは, 状態が量子ワンタイムパッドとして使用されるとき, プライベート転送可能な量子ビットの最大数であることを示す。
そして、量子秘密共有(QSS)のようなプロトコルの等価性を通じて、量子状態の最小エントロピーが量子マスキングプロセスのランダムネス源として使用されるとき、マスクできる量子ビットの最大数であることを示す。
その結果、量子状態のミンエントロピーは、触媒により脱相できる量子状態の半分の大きさであり、状態遷移過程の触媒にとって必要十分条件となる。 We give an operational meaning to the min-entropy of a quantum state as a resource measure for various interconnected tasks. In particular, we show that the min-entropy without smoothing measures the amount of quantum information that can be hidden or encoded perfectly in the one-shot setting when the quantum state is used as a randomness/correlation source. First, we show that the min-entropy of entanglement of a pure bipartite state is the maximum number of qubits privately transferable when the state is used as quantum one-time pad. Then, through the equivalence of quantum secret sharing(QSS)-like protocols, it is also shown that the min-entropy of a quantum state is the maximum number of qubits that can be masked when the state is used as a randomness source for a quantum masking process. Consequently we show that the min-entropy of a quantum state is the half of the size of quantum state it can catalytically dephase.This gives a necessary and sufficient condition for catalysts for state transition processes. | 翻訳日:2023-04-27 06:33:18 公開日:2020-10-28 |
| # 相対パラメータの情報を符号化する Encoding the information in relative parameters ( http://arxiv.org/abs/2010.14735v1 ) ライセンス: Link先を確認 | F. Rezazadeh and A. Mani | (参考訳) 共有参照フレームがない場合に3つのパラメータを通信する問題について検討する。
スピンの相対角度を用いてパラメータを符号化する2つの手法を探索する。
第1の方法では,情報を相対角度で搬送する3つのスピンを用い,第2の方法では3つの非接合スピンペアを使用し,各ペアの相対角度を介して情報を送信する。
第1の方法では、各キュービットによって伝達される情報は第2のキュービットよりも多く、すなわち、粒子の少ない値であることを示す。 We investigate the problem of communicating three parameters in the absence of shared reference frame. We explore two methods in which the relative angles of spins are used to encode the parameters. In the first method we use three spins that carry the information in their relative angles while in the second method we use three disjoint spin-pairs and the information is sent through the relative angles of each individual pair. We show that in the first method, the information conveyed by each qubit is more than the second one, and that is while it requires fewer particles. | 翻訳日:2023-04-27 06:32:02 公開日:2020-10-28 |
| # non-hermitian n-state degeneracies:反対称非調和によるユニタリ実現 Non-Hermitian N-state degeneracies: unitary realizations via antisymmetric anharmonicities ( http://arxiv.org/abs/2010.15014v1 ) ライセンス: Link先を確認 | Miloslav Znojil | (参考訳) 境界状態の1万〜4千ドルの縮退現象は、閉(すなわちユニタリ)系の量子論の枠組みで研究されている。
基礎となるハミルトニアンの$H=H(\lambda)$に対して、縮退はカトーの例外点$\lambda^{(EPN)}$の位数$N$とスペクトル幾何学的多重度$K<N$で起こる。
概念の現象論的魅力(量子相転移として、あるいはシステムの可観測性を失う一元的過程として引き出すことができる)にもかかわらず、専門文献は、主に、$n=2$と$k=1$というモデルを扱う。
そこで本論文では,非エルミート的アンハーモニック・オシレータ・トイ・モデル・ハミルトンの幅広いクラスに対して,退化過程のベンチマークモデルである$N>2$と$K>1$の構築が実現可能で非数値となることを示す。
非同値過程の排他的分類は、非摂動スペクトルを同値かつ中心非摂動部分スペクトルに分割することによって与えられる。 The phenomenon of degeneracy of an $N-$plet of bound states is studied in the framework of quantum theory of closed (i.e., unitary) systems. For an underlying Hamiltonian $H=H(\lambda)$ the degeneracy occurs at a Kato's exceptional point $\lambda^{(EPN)}$ of order $N$ and of the spectral geometric multiplicity $K<N$. In spite of the phenomenological appeal of the concept (tractable as a quantum phase transition, or as a unitary processes of the loss of the observability of the system), the dedicated literature deals, predominantly, just with the models where $N=2$ and $K=1$. In our paper it is shown that the construction of the $N>2$ and $K>1$ benchmark models of the process of degeneracy becomes feasible and non-numerical for a broad class of specific, maximally non-Hermitian anharmonic-oscillator toy-model Hamiltonians. An exhaustive classification of non-equivalent processes is given by a partitioning of the unperturbed spectrum into equidistant and centered unperturbed subspectra. | 翻訳日:2023-04-27 06:23:44 公開日:2020-10-28 |
| # 古典的スーパーコンピュータ上での量子コンピューティングのシミュレーション Simulation of Quantum Computing on Classical Supercomputers ( http://arxiv.org/abs/2010.14962v1 ) ライセンス: Link先を確認 | Ya-Qian Zhao, Ren-Gang Li, Jin-Zhe Jiang, Chen Li, Hong-Zhen Li, En-Dong Wang, Wei-Feng Gong, Xin Zhang and Zhi-Qiang Wei | (参考訳) スーパーコンピュータ上での量子コンピューティングのシミュレーションは重要な研究テーマであり、量子アルゴリズムの検証、エラー耐性検証、その他の応用において重要な役割を果たす。
密度行列に基づくテンソルネットワークの縮小は、重要な単一振幅シミュレーション戦略であるが、現在の分散コンピューティングシステムでは実行が困難である。
本稿では,この問題を深く掘り下げ,無向グラフの切断エッジに基づくスキームを提案する。
この方式では,木幅の大きい無向グラフのエッジを切断し,木幅の小さい多数の無向グラフを得る。
スレーブコアの収縮結果は、元のテンソルネットワーク収縮と一致するマスターノードで要約される。
したがって、単一コアよりも大規模な量子回路をシミュレートできる。
さらに,グローバルな最適切削エッジを見つけるためにはNPの難解な問題であり,そのアプローチのためのヒューリスティックアルゴリズムに基づく探索戦略を提案する。
提案手法の有効性を検証するため,QAOA アルゴリズムに基づくテストを行い,4096 コアのスーパーコンピュータ上で 120-qubit 3-regular QAOA アルゴリズムをシミュレートする。 Simulation of quantum computing on supercomputers is a significant research topic, which plays a vital role in quantum algorithm verification, error-tolerant verification and other applications. Tensor network contraction based on density matrix is an important single-amplitude simulation strategy, but it is hard to execute on the distributed computing systems currently. In this paper, we dive deep into this problem, and propose a scheme based on cutting edges of undirected graphs. This scheme cuts edges of undirected graphs with large tree width to obtain many undirected subgraphs with small tree width, and these subgraphs contracted on different computing cores. The contraction results of slave cores are summarized in the master node, which is consistent with the original tensor network contraction. Thus, we can simulate the larger scale quantum circuit than single core. Moreover, it's an NP-hard problem to find the global optimum cutting edges, and we propose a search strategy based on a heuristic algorithm to approach it. In order to verify the effectiveness of our scheme, we conduct tests based on QAOA algorithm, and it can simulate 120-qubit 3-regular QAOA algorithm on 4096-core supercomputer, which greatly exceeds the simulation scale on a single core of 100-qubit. | 翻訳日:2023-04-27 06:23:12 公開日:2020-10-28 |
| # 導波路QED格子による光伝搬におけるコヒーレンスと相互作用の相互作用 Interplay of coherence and interaction in light propagation through waveguide QED lattices ( http://arxiv.org/abs/2010.14935v1 ) ライセンス: Link先を確認 | Tarush Tiwari, Dibyendu Roy, Rajeev Singh | (参考訳) 本稿では,2種類の導波路QED格子を用いた光伝搬における光非線形性の役割について検討する。
量子ビットの非線形性に媒介される光子-光子相互作用および関連する光子遮断により、これらの格子の強度が増大するコヒーレント光伝達の損失を示すために、効率的な切断ハイゼンベルク・ランジュバン方程式法を適用した。
直接結合量子ビットとは対照的に、光子による量子ビットの飽和により比較的高強度の側結合量子ビットにおけるコヒーレント光伝送が復活する。
さらに、これらの格子は、幅広いパラメータの集合に失敗する準古典近似の中で研究する。
さらに, 準古典解析の修正手法を考案し, より優れた結果を得る。
最後に、サイドカップリング量子ビットの不均一格子内の光伝搬を観察し、光強度を増大させる光伝達における非単調性を観察した。 We investigate the role of optical nonlinearity in light propagation through two different waveguide QED lattices, namely a chain of qubits with direct coupling between the nearest neighbors and a chain of connected resonators to each of which a qubit is side-coupled. We apply an efficient truncated Heisenberg-Langevin equations method to show loss of coherent light transmission with increasing intensity in these lattices due to effective photon-photon interactions and related photon blockade mediated by nonlinearity in qubits. In contrast to the direct-coupled qubits, we find a revival in the coherent light transmission in the side-coupled qubits at relatively higher intensities due to saturation of qubits by photons. We further study these lattices within the quasi-classical approximation, which fails for a broad set of parameters. We then devise a technique to modify the quasi-classical analysis to give much better results. Lastly, we examine light propagation in an inhomogeneous lattice of side-coupled qubits and observe non-monotonicity in light transmission with increasing light intensity. | 翻訳日:2023-04-27 06:22:52 公開日:2020-10-28 |
| # 散逸量子系における完全バルク境界対応を持つ点ギャップ位相 Point-gap topology with complete bulk-boundary correspondence in dissipative quantum systems ( http://arxiv.org/abs/2010.14862v1 ) ライセンス: Link先を確認 | Jian-Song Pan, Linhu Li, and Jiangbin Gong | (参考訳) フォック空間における減衰振動子によってモデル化された散逸量子系のスペクトルおよび力学特性を位相的観点から検討した。
自然に開境界条件下にある物理格子系とは異なり、フォック空間の有界-外的性質は、実際の物理格子で導かれる半無限境界条件の下で非エルミートスキンモードを理解し検証するための一意な設定を与える。
リウビリアンスーパーオペレーターの複素スペクトルに基づく位相的特徴付けを提案し、関連する位相的に保護されたスキンモードの完全集合を同定し、リアルな材料に一般的に存在しないポイントギャップトポロジーの完全なバルク・バウンダリー対応を反映した。
さらに, 量子系が純粋に散逸しているにもかかわらず, 指数的増幅を伴う異常皮膚モードも発見する。
この結果は、非エルミート的トポロジカルな物質の研究が量子開系の研究に大きな恩恵をもたらすことを示唆している。 The spectral and dynamical properties of dissipative quantum systems, as modeled by a damped oscillator in the Fock space, are investigated from a topological point of view. Unlike a physical lattice system that is naturally under the open boundary condition, the bounded-from-below nature of the Fock space offers a unique setting for understanding and verifying non-Hermitian skin modes under semi-infinity boundary conditions that are elusive in actual physical lattices. A topological characterization based on the complex spectra of the Liouvillian superoperator is proposed and the associated complete set of topologically protected skin modes can be identified, thus reflecting the complete bulk-boundary correspondence of point-gap topology generally absent in realistic materials. Moreover, we discover anomalous skin modes with exponential amplification even though the quantum system is purely dissipative. Our results indicate that current studies of non-Hermitian topological matter can greatly benefit research on quantum open systems and vice versa. | 翻訳日:2023-04-27 06:21:58 公開日:2020-10-28 |
| # スマートシティのマイクロモビリティ:ビッグデータによる共有ドックレスE-Scootersのクローズアップ Micromobility in Smart Cities: A Closer Look at Shared Dockless E-Scooters via Big Social Data ( http://arxiv.org/abs/2010.15203v1 ) ライセンス: Link先を確認 | Yunhe Feng, Dong Zhong, Peng Sun, Weijian Zheng, Qinglei Cao, Xi Luo, Zheng Lu | (参考訳) マイクロモビリティは、都市部でのファーストマイルとラストマイルの旅行を形作っている。
近年、共用ドックレス電動スクーター(eスクーター)は、手頃な価格、アプリ経由のアクセシビリティ、排出ゼロといった理由から、大都市の短距離通勤者のための運転代替手段として日々登場している。
一方、E-Scootersは交通規制、公共安全、駐車場規制、責任問題といった都市管理の課題を抱えている。
本稿では,2018年10月から2020年3月までに270万人が生成した,スクータータグ付きツイート580万と144,197件の画像を収集・調査し,クラウドソーシングデータ分析による共有型電子スクーターについて検討した。
本研究では,空間的時間的視点から e-Scooter の使用状況を調査し,異なるビジネス役割 (ライダー,ギグワーカー,ライドシェアリング会社) を探求し,運転パターン(傷害タイプ,駐車行動など)を調査し,感情分析を行った。
本論文は,ソーシャル・データを用いた共有型電子スクーターに関する最初の大規模体系的研究である。 The micromobility is shaping first- and last-mile travels in urban areas. Recently, shared dockless electric scooters (e-scooters) have emerged as a daily alternative to driving for short-distance commuters in large cities due to the affordability, easy accessibility via an app, and zero emissions. Meanwhile, e-scooters come with challenges in city management, such as traffic rules, public safety, parking regulations, and liability issues. In this paper, we collected and investigated 5.8 million scooter-tagged tweets and 144,197 images, generated by 2.7 million users from October 2018 to March 2020, to take a closer look at shared e-scooters via crowdsourcing data analytics. We profiled e-scooter usages from spatial-temporal perspectives, explored different business roles (i.e., riders, gig workers, and ridesharing companies), examined operation patterns (e.g., injury types, and parking behaviors), and conducted sentiment analysis. To our best knowledge, this paper is the first large-scale systematic study on shared e-scooters using big social data. | 翻訳日:2023-04-27 06:16:24 公開日:2020-10-28 |
| # 人工原子の集合体における室温量子コヒーレント復活 Room Temperature Quantum Coherent Revival in an Ensemble of Artificial Atoms ( http://arxiv.org/abs/2010.15198v1 ) ライセンス: Link先を確認 | Igor Khanonkin, Ori Eyal, Johann Peter Reithmaier, and Gadi Eisenstein | (参考訳) 量子ドット(qd)の室温アンサンブルにおける周期的崩壊と量子コヒーレンス(qcr)の復活という、量子光学のホールマーク概念の実証を報告する。
QCRに固有の量子状態の制御と動的QD特性は、量子情報処理の実用的な室温構築ブロックの機会を与える。
QCRの振幅減衰はQD均一線幅によって予測され、二重パルスラムゼー型実験においてその抽出を可能にする。
より一般的なフォトンエコー技術も実行され、同じライン幅が得られた。
横緩和時間の電気的バイアスと温度依存性の測定により、キャリアーキャリアー・キャリアー・フォノン散乱の2つの主なデコヒーレンス機構が決定される。 We report a demonstration of the hallmark concept of quantum optics: periodic collapse and revival of quantum coherence (QCR) in a room temperature ensemble of quantum dots (QD). Control over quantum states, inherent to QCR, together with the dynamical QD properties present an opportunity for practical room temperature building blocks of quantum information processing. The amplitude decay of QCR is dictated by the QD homogeneous linewidth, thus, enabling its extraction in a double-pulse Ramsey-type experiment. The more common photon echo technique was also invoked and yielded the same linewidth. Measured electrical bias and temperature dependencies of the transverse relaxation times enable to determine the two main decoherence mechanisms: carrier-carrier and carrier-phonon scatterings. | 翻訳日:2023-04-27 06:16:03 公開日:2020-10-28 |
| # 一般1次元位相の量子エンタングルメントによる準粒子の可視化 Visualizing Quasiparticles from Quantum Entanglement for general 1D phases ( http://arxiv.org/abs/2010.15137v1 ) ライセンス: Link先を確認 | Elisabeth Wybo, Frank Pollmann, S. L. Sondhi, Yizhi You | (参考訳) 本研究では、一次元(1次元)系における様々な量子位相における低エネルギー準粒子(qp)励起の絡み合い挙動に関する量子情報枠組みを提案する。
まず、自由フェルミオンに対する相関行列とQPエンタングルメントハミルトニアンとの正確な対応を確立し、QPアンタングルメントハミルトニアンの位置不確実性の結果、QPエンタングルメントハミルトニアンにおいて拡張されたインギャップ状態を求める。
このようなギャップ状態のより一般的な理解は、強い相互作用を持つ系にも適用されるQP絡み合いのクラマーズ定理に拡張することができる。
さらに,1次元対称性で保護された位相相におけるQPの絡み合い,条件付き相互情報,および測定による非局所絡み合いといった,ユビキタスな絡み合いスペクトルの特徴について述べる。
この結果から,QPの絡み合いの観点から異なる相の物質を識別する新たな枠組みが得られた。 In this work, we present a quantum information framework for the entanglement behavior of the low energy quasiparticle (QP) excitations in various quantum phases in one-dimensional (1D) systems. We first establish an exact correspondence between the correlation matrix and the QP entanglement Hamiltonian for free fermions and find an extended in-gap state in the QP entanglement Hamiltonian as a consequence of the position uncertainty of the QP. A more general understanding of such an in-gap state can be extended to a Kramers theorem for the QP entanglement Hamiltonian, which also applies to strongly interacting systems. Further, we present a set of ubiquitous entanglement spectrum features, dubbed entanglement fragmentation, conditional mutual information, and measurement induced non-local entanglement for QPs in 1D symmetry protected topological phases. Our result thus provides a new framework to identify different phases of matter in terms of their QP entanglement. | 翻訳日:2023-04-27 06:15:22 公開日:2020-10-28 |
| # 量子ラビモデルからJaynes-Cummingsモデル:対称性を破る量子相転移、位相相転移、多臨界 From quantum Rabi model to Jaynes-Cummings model: symmetry-breaking quantum phase transitions, topological phase transitions and multicriticalities ( http://arxiv.org/abs/2010.15113v1 ) ライセンス: Link先を確認 | Zu-Jian Ying | (参考訳) 基本QRMとJaynes-Cummingsモデル(JCM)を接続する異方性量子Rabiモデル(QRM)の基底状態(GS)と励起ギャップについて検討する。
gsは2階の量子相転移 (qpt) を低周波の限界に持つが、有限の周波数をオンにすると位相図上に新しい光を放出し、一階の遷移級数の微細構造を照らす。
QPTは隠れ対称性の破れを伴うのに対し、新興級数遷移は対称性の破れのない位相遷移である。
波動関数の位相構造は、QRMとJCMをブリッジする際の新しい普遍性分類を提供する。
従来確立されていた三点点が実際には四重点あるいは六重点であり,五重項・六重項臨界の後に一連の四重項臨界が発生することを示す。 We study the ground state (GS) and excitation gap of anisotropic quantum Rabi model (QRM) which connects the fundamental QRM and the Jaynes-Cummings model (JCM). While the GS has a second-order quantum phase transition (QPT) in the low frequency limit, turning on finite frequencies we shed a novel light on the phase diagram to illuminate a fine structure of first-order transition series. We find the QPT is accompanied with a hidden symmetry breaking, whereas the emerging series transitions are topological transitions without symmetry breaking. The topological structure of the wave function provides a novel universality classification in bridging the QRM and the JCM. We show that the conventionally established triple point is actually a quintuple or sextuple point and following the penta-/hexa-criticality emerge a series of tetra-criticalities. | 翻訳日:2023-04-27 06:14:42 公開日:2020-10-28 |
| # mTOCS:糖尿病患者の視力改善を目的とした地域間遠隔眼科 mTOCS: Mobile Teleophthalmology in Community Settings to improve Eye-health in Diabetic Population ( http://arxiv.org/abs/2011.05762v1 ) ライセンス: Link先を確認 | Jannat Tumpa, Riddhiman Adib, Dipranjan Das, Nathalie Abenoza, Andrew Zolot, Velinka Medic, Judy Kim, Al Castro, Mirtha Sosa Pacheco, Jay Romant and Sheikh Iqbal Ahamed | (参考訳) 糖尿病性眼疾患、特に糖尿病網膜症は、視力喪失の主要な原因であり、年間眼球スクリーニングによる早期診断によって予防できる。
しかし、コスト、医療格差、文化的な制限などが、定期的なスクリーニングに対する主要な障壁である。
コミュニティイベントにおけるアイスクリーニングは, 地域住民の定期的なチェックアップと, 地域住民の意識の発達を, 従来の臨床環境と比較して促進する。
しかし、ネイティブ言語を用いたコミュニティパートナーとのコラボレーションにより、コミュニティ設定でのスクリーニングを行うための技術サポートが不十分である。
本稿では,コミュニティパートナーと眼科医および各都市の保健部職員を連携させ,このスクリーニングプロセスを迅速化するソフトウェアフレームワーク"mobile teleophthalomogy in community settings(mtocs)"の開発を提案し,検討した。
また,本研究は,コミュニティ参加者のコミュニティベーススクリーニング手法の受容と,コミュニティパートナー間のmtocsの有効性についての分析を行った。
その結果、mTOCSは、視線スクリーニング率の向上と健康状態の改善を実現していることがわかった。 Diabetic eye diseases, particularly Diabetic Retinopathy,is the leading cause of vision loss worldwide and can be prevented by early diagnosis through annual eye-screenings. However, cost, healthcare disparities, cultural limitations, etc. are the main barriers against regular screening. Eye-screenings conducted in community events with native-speaking staffs can facilitate regular check-up and development of awareness among underprivileged communities compared to traditional clinical settings. However, there are not sufficient technology support for carrying out the screenings in community settings with collaboration from community partners using native languages. In this paper, we have proposed and discussed the development of our software framework, "Mobile Teleophthalomogy in Community Settings (mTOCS)", that connects the community partners with eye-specialists and the Health Department staffs of respective cities to expedite this screening process. Moreover, we have presented the analysis from our study on the acceptance of community-based screening methods among the community participants as well as on the effectiveness of mTOCS among the community partners. The results have evinced that mTOCS has been capable of providing an improved rate of eye-screenings and better health outcomes. | 翻訳日:2023-04-27 06:05:44 公開日:2020-10-28 |
| # 炭素を追いかける:コンピューティングの環境的足跡を解明する Chasing Carbon: The Elusive Environmental Footprint of Computing ( http://arxiv.org/abs/2011.02839v1 ) ライセンス: Link先を確認 | Udit Gupta, Young Geun Kim, Sylvia Lee, Jordan Tse, Hsien-Hsin S. Lee, Gu-Yeon Wei, David Brooks, Carole-Jean Wu | (参考訳) 最近のアルゴリズム、ソフトウェア、ハードウェアの革新を考えると、コンピューティングは多くの新しいアプリケーションを実現している。
しかし、コンピューティングがますます普及するにつれて、その環境への影響も高まる。
本稿では,コンピュータシステム研究者の注意を喚起する。
我々の分析は、産業報告による評価に基づいて、炭素排出量の観点から計算の環境効果を定量化する。
炭素排出量は、運用エネルギー消費とハードウェア製造とインフラの2つの源がある。
前者からの二酸化炭素排出量は、性能と電力効率を高めるアルゴリズム、ソフトウェア、ハードウェアの革新によって減少しているが、コンピュータシステム全体の炭素フットプリントは成長を続けている。
この研究は、コンピュータシステムの炭素出力を定量化し、現代のモバイルおよびデータセンター機器に関連するほとんどの排出量がハードウェア製造とインフラから来ていることを示す。
そこで我々は,コンピューティングシステムの環境への影響を最小化するための今後の方向性を概説する。 Given recent algorithm, software, and hardware innovation, computing has enabled a plethora of new applications. As computing becomes increasingly ubiquitous, however, so does its environmental impact. This paper brings the issue to the attention of computer-systems researchers. Our analysis, built on industry-reported characterization, quantifies the environmental effects of computing in terms of carbon emissions. Broadly, carbon emissions have two sources: operational energy consumption, and hardware manufacturing and infrastructure. Although carbon emissions from the former are decreasing thanks to algorithmic, software, and hardware innovations that boost performance and power efficiency, the overall carbon footprint of computer systems continues to grow. This work quantifies the carbon output of computer systems to show that most emissions related to modern mobile and data-center equipment come from hardware manufacturing and infrastructure. We therefore outline future directions for minimizing the environmental impact of computing systems. | 翻訳日:2023-04-27 06:05:25 公開日:2020-10-28 |
| # 励起カオス固有関数の短周期軌道法 The short periodic orbit method for excited chaotic eigenfunctions ( http://arxiv.org/abs/2011.02033v1 ) ライセンス: Link先を確認 | F. Revuelta, E. Vergini, R. M. Benito, and F. Borondo | (参考訳) 本稿では, 任意のエネルギー窓における励起カオス固有関数の計算法について述べる。
本研究では,不安定周期軌道上で局所化された波動関数を,古典的カオス系におけるこの課題の効率的な基底集合として用いる可能性を示す。
必要な局所化された波動関数の数は、比 t h / t e の次数のみであり、t h はハイゼンベルク時間、t e はエーレンフェスト時間である。
例示として,カオスダイナミクスを持つ結合2次元四次発振器について,説得力のある結果を示す。 In this paper [published in Phys. Rev. E 102, 042210 (2020)], a new method for the calculation of excited chaotic eigenfunctions in arbitrary energy windows is presented. We demonstrate the feasibility of using wavefunctions localized on unstable periodic orbits as efficient basis sets for this task in classically chaotic systems. The number of required localized wavefunctions is only of the order of the ratio t H /t E , with t H the Heisenberg time and t E the Ehrenfest time. As an illustration, we present convincing results for a coupled two-dimensional quartic oscillator with chaotic dynamics. | 翻訳日:2023-04-27 06:05:14 公開日:2020-10-28 |
| # Rosenzweig-Porter アンサンブルにおける2レベル系の対称性の破れと障害の対応 Correspondence between symmetry breaking of 2-level systems and disorder in Rosenzweig-Porter ensemble ( http://arxiv.org/abs/2010.16394v1 ) ライセンス: Link先を確認 | Adway Kumar Das, Anandamohan Ghosh | (参考訳) ランダム行列理論(RMT)は、スペクトル特性がポアソン的(可積分)からウィグナー・ダイソン(カオス)に変化する物理系を理解するためのツールを提供する。
このような遷移はランダム行列要素のゆらぎを調整することでRPE(Rosnzweig-Porter ensemble)で見ることができる。
任意の2レベル系における可積分あるいはカオス的レジームは対称性破壊特性によって一意的に制御できることを示した。
我々はこれらの行列アンサンブルのNearest Neighbour Spacing(NNS)分布を計算し、それらがRPEのそれと正確に一致することを発見した。
本研究は, 可積分性の喪失が2レベルシステムにおける障害の程度に正確にマッピングできることを示す。 Random Matrix Theory (RMT) provides a tool to understand physical systems in which spectral properties can be changed from Poissonian (integrable) to Wigner-Dyson (chaotic). Such transitions can be seen in Rosenzweig-Porter ensemble (RPE) by tuning the fluctuations in the random matrix elements. We show that integrable or chaotic regimes in any 2-level system can be uniquely controlled by the symmetry-breaking properties. We compute the Nearest Neighbour Spacing (NNS) distributions of these matrix ensembles and find that they exactly match with that of RPE. Our study indicates that the loss of integrability can be exactly mapped to the extent of disorder in 2-level systems. | 翻訳日:2023-04-27 06:05:02 公開日:2020-10-28 |
| # 国家危機時の政治偏見分析にTwitterを使う Using Twitter to Analyze Political Polarization During National Crises ( http://arxiv.org/abs/2010.15669v1 ) ライセンス: Link先を確認 | Parth Shisode | (参考訳) 民主党と共和党は過去30年間で分裂しているようだ。
今日我々が知っているように、アメリカは間違いなく二党派であるので、この現象は殆どにとって驚きのようには見えません。
しかし、民主党と共和党の間で意見の相違が相次ぐ原因は、両党が時間とともに徐々に成長してきたことよりも高い。
この研究は、一般的に全ての個人に有害な国家出来事が引き金となるという考えを分析した。
3つのイベント(hurricane sandy [2012], n. korea missile test surge [2019], covid-19 [2020])の前後でtwitterデータを使って分極をテストした結果、民主党と共和党の間で分極の計測可能なスパイクが起きていることが示された。
分極性を測定するために、民主党や共和党と並んでいるtwitterユーザーの感情は、同一の実体(イベント、人、場所など)で比較される。
数十万のデータサンプルを使用して、危機発生時に比べて2.8%の分極が測定された。
苦悩やストレスの時、政党間のギャップが大きくなるという理由にもかかわらず、その他の生活の面から見ても、国民的出来事の時、パルチザンの格差が悪化することは確実である。 Democrats and Republicans have seemed to grow apart in the past three decades. Since the United States as we know it today is undeniably bipartisan, this phenomenon would not appear as a surprise to most. However, there are triggers which can cause spikes in disagreements between Democrats and Republicans at a higher rate than how the two parties have been growing apart gradually over time. This study has analyzed the idea that national events which generally are detrimental to all individuals can be one of those triggers. By testing polarization before and after three events (Hurricane Sandy [2012], N. Korea Missile Test Surge [2019], COVID-19 [2020]) using Twitter data, we show that a measurable spike in polarization occurs between the Democrat and Republican party. In order to measure polarization, sentiments of Twitter users aligned to the Democrat and Republican parties are compared on identical entities (events, people, locations, etc.). Using hundreds of thousands of data samples, a 2.8% increase in polarization was measured during times of crisis compared to times where no crises were occurring. Regardless of the reasoning that the gap between political parties can increase so much during times of suffering and stress, it is definitely alarming to see that among other aspects of life, the partisan gap worsens during detrimental national events. | 翻訳日:2023-04-27 06:04:28 公開日:2020-10-28 |
| # PeopleXploit -- 公開データを収集するハイブリッドツール PeopleXploit -- A hybrid tool to collect public data ( http://arxiv.org/abs/2010.15668v1 ) ライセンス: Link先を確認 | Arjun Anand V, Buvanasri A K, Meenakshi R, Dr. Karthika S, Ashok Kumar Mohan | (参考訳) 本稿では,個人の知的プロファイリングにおける重要な応用として,オープンソースインテリジェンス(OSINT)の概念を紹介する。
さまざまなツールが利用可能であれば、インターネットの存在を分析した結果として、個人に対して重要なデータが取得されるが、これらはすべて、信頼性の低いコストが伴う。
プロファイリングの関連性を高めるため、PeopleXploitが導入されている。
PeopleXploitは、与えられた入力に信頼性と関連性のある公開情報収集を支援するハイブリッドツールである。
このツールは、名前、メール、電話番号、ユーザーidなどのデジタルフットプリントでターゲットを追跡し追跡するために使用され、ツールは、インターネットから利用可能な公開レコードから他の関連データをスキャンして検索し、ターゲットに対して要約レポートを作成する。
PeopleXploitは著者分析を使って人物をプロファイルし、最もよく一致する推測を見つける。
また、実施される分析の種類(プロフェッショナル/マトリモニアル/犯罪実体)は、ユーザの要求に応じて変化する。 This paper introduces the concept of Open Source Intelligence (OSINT) as an important application in intelligent profiling of individuals. With a variety of tools available, significant data shall be obtained on an individual as a consequence of analyzing his/her internet presence but all of this comes at the cost of low relevance. To increase the relevance score in profiling, PeopleXploit is being introduced. PeopleXploit is a hybrid tool which helps in collecting the publicly available information that is reliable and relevant to the given input. This tool is used to track and trace the given target with their digital footprints like Name, Email, Phone Number, User IDs etc. and the tool will scan & search other associated data from public available records from the internet and create a summary report against the target. PeopleXploit profiles a person using authorship analysis and finds the best matching guess. Also, the type of analysis performed (professional/matrimonial/criminal entity) varies with the requirement of the user. | 翻訳日:2023-04-27 06:04:05 公開日:2020-10-28 |
| # 離散時間量子ウォークにおけるコヒーレンスと耐雑音性:自己集中と呼吸のダイナミクス Probing coherence and noise tolerance in discrete-time quantum walks: unveiling self-focusing and breathing dynamics ( http://arxiv.org/abs/2010.15281v1 ) ライセンス: Link先を確認 | A. R. C. Buarque and W.S. Dias | (参考訳) 量子システムの外部外乱に対する感度は、機能的量子デバイス、量子情報、計算の実装において根本的な問題である。
光学および超低温ガスの顕著な実験的進展に基づき,n$-cycle 上で伝播する qubit に強度依存位相獲得が関与する一方,短時間(瞬時)ノイズの影響について検討した。
量子コヒーレンス測度を用いることで、自己集中や呼吸ダイナミクスなど、未知の量子ウォークが発生する不安定な状態の出現を報告できる。
その結果, 安定な状態が好ましく, 漸近分布は弱い非線形性に留まり, 熱力学限界では1/N$で消失することがわかった。
異なる状態間のしきい値を示す図は、パウリZに近い量子ゲートをより耐雑音性を示す。
pauli-x量子ゲートに移動すると、このような適性は劇的に低下し、自己集中状態のしきい値はほぼ避けられなくなる。
ハダマールに近い量子ゲートは特異な性質を示し、非線形強度の増分は自己集中状態からダイナミクスを取り除くことができる。 The sensitivity of quantum systems to external disturbances is a fundamental problem for the implementation of functional quantum devices, quantum information and computation. Based on remarkable experimental progress in optics and ultra-cold gases, we study the consequences of a short-time (instantaneous) noise while an intensity-dependent phase acquisition is associated with a qubit propagating on $N$-cycle. By employing quantum coherence measures, we report emerging unstable regimes in which hitherto unknown quantum walks arise, such as self-focusing and breathing dynamics. Our results unveil appropriate settings which favor the stable regime, with the asymptotic distribution surviving for weak nonlinearities and disappearing in the thermodynamic limit with $1/N$. The diagram showing the threshold between different regimes reveals the quantum gates close to Pauli-Z as more noise-tolerant. As we move towards the Pauli-X quantum gate, such aptness dramatically decreases and the threshold to self-focusing regime becomes almost unavoidable. Quantum gates close to Hadamard exhibit an unusual aspect, in which an increment of the nonlinear strength can remove the dynamics from self-focusing regime. | 翻訳日:2023-04-27 06:03:39 公開日:2020-10-28 |
| # 非低温相転移の存在における温度の局在と相関 Locality of temperature and correlations in the presence of non-zero-temperature phase transitions ( http://arxiv.org/abs/2010.15256v1 ) ライセンス: Link先を確認 | Senaida Hern\'andez Santana, Andras Molnar, Christian Gogolin, J. Ignacio Cirac, Antonio Ac\'in | (参考訳) 温度は標準的な熱力学において集中的な量としてよく理解されているが、特に古典的なアナログを持たない量子系の場合において、強い相関が存在するかどうかは不明である。
問題は、強い相関関係の存在下では、熱平衡系のサブシステムは一般に、大域系と同じ温度の温度で熱状態によって記述されないため、局所的な温度を割り当てることができないという事実にある。
しかし、熱状態の相関が十分に早く崩壊し、そのサブシステムの状態が、サブシステム自体よりもわずかに大きい平衡系の還元状態によって非常によく近似できる状況が特定されており、温度の有効な局所的な定義が可能となっている。
本研究では,非ゼロ温度で相転移する局所的相互作用を持つボソニック系において,温度が局所的によく定義されるかという問題に対処する。
大標準状態の3次元ボソニックモデルを検討し、温度によらず一定の温度の局所性が保たれていること、および相転移の臨界温度以下で無限範囲の相関が存在するにもかかわらず検証する。 While temperature is well understood as an intensive quantity in standard thermodynamics, it is less clear whether the same holds in the presence of strong correlations, especially in the case of quantum systems, which may even display correlations with no classical analogue. The problem lies in the fact that, under the presence of strong correlations, subsystems of a system in thermal equilibrium are, in general, not described by a thermal state at the same temperature as the global system and thus one cannot simply assign a local temperature to them. However, there have been identified situations in which correlations in thermal states decay sufficiently fast so that the state of their subsystems can be very well approximated by the reduced states of equilibrium systems that are only slightly bigger than the subsystems themselves, hence allowing for a valid local definition of temperature. In this work, we address the question of whether temperature is locally well defined for a bosonic system with local interactions that undergoes a phase transition at non-zero temperature. We consider a three-dimensional bosonic model in the grand canonical state and verify that a certain form of locality of temperature holds regardless of the temperature, and despite the presence of infinite-range correlations at and below the critical temperature of the phase transition. | 翻訳日:2023-04-27 06:03:19 公開日:2020-10-28 |
| # トランスモン量子ビットを用いたハイブリッド電気機械システムにおける大型フラックス媒介結合 Large flux-mediated coupling in hybrid electromechanical system with a transmon qubit ( http://arxiv.org/abs/2001.05700v2 ) ライセンス: Link先を確認 | Tanmoy Bera, Sourav Majumder, Sudhir Kumar Sahu and Vibhor Singh | (参考訳) 質量振動子の量子状態の制御は、いくつかの技術応用や量子力学の基本的な限界をテストする上で重要である。
発振器に内部自由度を加えることは、そのような制御にとって貴重な資源である。
近年, 超伝導量子ビットを用いたハイブリッド電気機械システムの実現が成功している。
そこで,超伝導トランスモン量子ビットと磁気束を結合した機械共振器を組み合わせたハイブリッドデバイスを実現する。
結合は、トンネル接合を横切る超伝導相の量子干渉に由来する。
トランスモン量子ビットを再生キャビティと共振させることにより,最大4khzの真空電気機械結合速度を示す。
これにより、1光子以下で平均占有率でハイブリッドモードを駆動することにより機械共振器の熱移動を検出する。
クビットをキャビティから遠ざけることで、電気機械的結合を40kHzに拡張することができる。
この限界において、機械共振器上の小さなコヒーレント駆動は、量子ビットスペクトルの分裂を引き起こし、ランダウ-ツェナー-シュタッケルベルク効果による干渉信号が観測される。
量子ビットコヒーレンスの改善により、このシステムはリッチな相互作用を実現する新しいプラットフォームを提供し、量子運動状態を完全に制御できる可能性がある。 Control over the quantum states of a massive oscillator is important for several technological applications and to test the fundamental limits of quantum mechanics. Addition of an internal degree of freedom to the oscillator could be a valuable resource for such control. Recently, hybrid electromechanical systems using superconducting qubits, based on electric-charge mediated coupling, have been quite successful. Here, we realize a hybrid device, consisting of a superconducting transmon qubit and a mechanical resonator coupled using the magnetic-flux. The coupling stems from the quantum-interference of the superconducting phase across the tunnel junctions. We demonstrate a vacuum electromechanical coupling rate up to 4 kHz by making the transmon qubit resonant with the readout cavity. Consequently, thermal-motion of the mechanical resonator is detected by driving the hybridized-mode with mean-occupancy well below one photon. By tuning qubit away from the cavity, electromechanical coupling can be enhanced to 40 kHz. In this limit, a small coherent drive on the mechanical resonator results in the splitting of qubit spectrum, and we observe interference signature arising from the Landau-Zener-St\"uckelberg effect. With improvements in qubit coherence, this system offers a novel platform to realize rich interactions and could potentially provide full control over the quantum motional states. | 翻訳日:2023-01-11 00:55:38 公開日:2020-10-28 |
| # ランク2r$反復最小二乗:少ないエントリから不条件下階行列の効率的な回復 Rank $2r$ iterative least squares: efficient recovery of ill-conditioned low rank matrices from few entries ( http://arxiv.org/abs/2002.01849v2 ) ライセンス: Link先を確認 | Jonathan Bauch, Boaz Nadler and Pini Zilber | (参考訳) 低階行列補完のための新しい,単純で,計算効率のよい反復法を提案する。
本手法は因子分解型反復アルゴリズムのクラスに着想を得たものであるが,問題のキャスティング方法とは大きく異なる。
正確には、対象の階数 $r$ が与えられたとき、階数 $r$ の多様体を最適化する代わりに、中間推定行列が特定の過度な階数 $2r$ 構造を持つようにします。
r2rils for rank $2r$ iterative least squaresと表記されたこのアルゴリズムは、メモリ要件が低く、各イテレーションで計算コストの低い最小二乗問題を解く。
ランク-1行列の簡素な場合に対する理論解析により, アルゴリズムの動機付けを行う。
経験的に、R2RILSは情報限界に近い非常に少数の観測結果から、条件の悪い低ランク行列を復元することができ、付加雑音に対して安定である。 We present a new, simple and computationally efficient iterative method for low rank matrix completion. Our method is inspired by the class of factorization-type iterative algorithms, but substantially differs from them in the way the problem is cast. Precisely, given a target rank $r$, instead of optimizing on the manifold of rank $r$ matrices, we allow our interim estimated matrix to have a specific over-parametrized rank $2r$ structure. Our algorithm, denoted R2RILS for rank $2r$ iterative least squares, has low memory requirements, and at each iteration it solves a computationally cheap sparse least-squares problem. We motivate our algorithm by its theoretical analysis for the simplified case of a rank-1 matrix. Empirically, R2RILS is able to recover ill conditioned low rank matrices from very few observations -- near the information limit, and it is stable to additive noise. | 翻訳日:2023-01-03 21:56:37 公開日:2020-10-28 |
| # 仕上げ感のある顔幻覚 Face Hallucination with Finishing Touches ( http://arxiv.org/abs/2002.03308v2 ) ライセンス: Link先を確認 | Yang Zhang, Ivor W.Tsang, Jun Li, Ping Liu, Xiaobo Lu, and Xin Yu | (参考訳) 低解像度(lr)非前面画像から高品質の正面画像を得ることは、多くの顔分析アプリケーションにおいて重要となる。
しかし、主流は超解像に近いLR面や、非正面高解像度(HR)面に焦点をあてている。
日常の制約のない顔画像に対して、両タスクをシームレスに実行することが望ましい。
本稿では, 顔画像の超解像化とフロンティア化を同時に行う, Vivid Face Hallucination Generative Adversarial Network (VividGAN) を提案する。
VividGANは粗いレベルと細かなレベルのFace Hallucination Networks (FHnet)と、粗いDとファインDの2つの識別器で構成される。
粗いレベルFHnetは、前部粗いHR顔を生成し、その後、微細レベルFHnetは、前部粗い顔成分、すなわち、きめ細かい顔成分を利用して、真正な詳細で前部粗いHR顔画像を得る。
ファインレベルFHnetでは、正面粗いHR顔と事前情報とを正確に整合・統合するための手がかりとして、顔形状誘導を用いた顔成分認識モジュールを設計する。
一方、2段階の判別器は、顔画像の全体輪郭と詳細な顔の特徴の両方を捉えるように設計されている。
粗いdは粗い幻覚面を直立させて完成させ、細かいdは細かい幻覚面に焦点を当てて細部を鋭くする。
広汎な実験により、我々のVividGANは、他の最先端手法と比較して、下流タスク、すなわち顔認識と表現の分類において優れたパフォーマンスを達成できることを示した。 Obtaining a high-quality frontal face image from a low-resolution (LR) non-frontal face image is primarily important for many facial analysis applications. However, mainstreams either focus on super-resolving near-frontal LR faces or frontalizing non-frontal high-resolution (HR) faces. It is desirable to perform both tasks seamlessly for daily-life unconstrained face images. In this paper, we present a novel Vivid Face Hallucination Generative Adversarial Network (VividGAN) for simultaneously super-resolving and frontalizing tiny non-frontal face images. VividGAN consists of coarse-level and fine-level Face Hallucination Networks (FHnet) and two discriminators, i.e., Coarse-D and Fine-D. The coarse-level FHnet generates a frontal coarse HR face and then the fine-level FHnet makes use of the facial component appearance prior, i.e., fine-grained facial components, to attain a frontal HR face image with authentic details. In the fine-level FHnet, we also design a facial component-aware module that adopts the facial geometry guidance as clues to accurately align and merge the frontal coarse HR face and prior information. Meanwhile, two-level discriminators are designed to capture both the global outline of a face image as well as detailed facial characteristics. The Coarse-D enforces the coarsely hallucinated faces to be upright and complete while the Fine-D focuses on the fine hallucinated ones for sharper details. Extensive experiments demonstrate that our VividGAN achieves photo-realistic frontal HR faces, reaching superior performance in downstream tasks, i.e., face recognition and expression classification, compared with other state-of-the-art methods. | 翻訳日:2023-01-02 14:44:17 公開日:2020-10-28 |
| # ReLUネットワークのリプシッツ定数に対する半代数最適化 Semialgebraic Optimization for Lipschitz Constants of ReLU Networks ( http://arxiv.org/abs/2002.03657v4 ) ライセンス: Link先を確認 | Tong Chen, Jean-Bernard Lasserre, Victor Magron, Edouard Pauwels | (参考訳) ネットワークのリプシッツ定数は、堅牢性認証やWasserstein Generative Adversarial Networkなど、ディープラーニングの多くの応用において重要な役割を果たす。
本稿では,多層深層ニューラルネットワークのグローバルおよびローカルリプシッツ定数を推定するために,半定義型プログラミング階層を導入する。
新規性は、ReLU関数の多項式リフトとプーチナーの正の証明の弱い一般化を組み合わせることである。
このアイデアは、機械学習の他の、ほぼスパースな多項式最適化問題にも適用できる。
我々は,この手法が線形プログラミング手法の現状に対してトレードオフをもたらすことを実証的に証明し,場合によってはより少ない時間でより良い境界を求める。 The Lipschitz constant of a network plays an important role in many applications of deep learning, such as robustness certification and Wasserstein Generative Adversarial Network. We introduce a semidefinite programming hierarchy to estimate the global and local Lipschitz constant of a multiple layer deep neural network. The novelty is to combine a polynomial lifting for ReLU functions derivatives with a weak generalization of Putinar's positivity certificate. This idea could also apply to other, nearly sparse, polynomial optimization problems in machine learning. We empirically demonstrate that our method provides a trade-off with respect to state of the art linear programming approach, and in some cases we obtain better bounds in less time. | 翻訳日:2023-01-02 09:37:58 公開日:2020-10-28 |
| # グラフニューラルネットワークはサブ構造を数えるか? Can Graph Neural Networks Count Substructures? ( http://arxiv.org/abs/2002.04025v4 ) ライセンス: Link先を確認 | Zhengdao Chen, Lei Chen, Soledad Villar, Joan Bruna | (参考訳) グラフ内の特定の部分構造を検出してカウントする能力は、グラフ構造データ、特に計算化学や生物学の文脈や社会ネットワーク分析の多くの課題を解決する上で重要である。
そこで我々は, グラフニューラルネットワーク(GNN)の表現力について, 属性付きグラフのサブ構造を数える能力を用いて検討し, グラフ同型テストおよび関数近似におけるその能力を検証した最近の研究を拡張した。
我々は2種類のサブストラクチャカウントを区別する: インダクション・サブグラフカウントとサブグラフカウント、そして一般的なGNNアーキテクチャの正と負の両方の答えを確立する。
具体的には,メッセージパッシングニューラルネットワーク (mpnns), 2-weisfeiler-lehman (2-wl), 2-invariant graph networks (2-igns) が3つ以上のノードからなるサブ構造の誘導サブグラフ数を行えないことを証明した。
中間ステップとして、2-WL と 2-IGN が非同型グラフの区別において等価であることを証明する。
また、k-WL と k-IGN の正の結果と、k-WL の負の結果を有限反復数で証明する。
次に,MPNNと2-IGNの理論的結果を支持する実験を行う。
さらに,マーフィーら(2019)に触発されたサブストラクチャーカウントに動機づけられ,局所的リレーショナルプーリングモデルを提案し,サブストラクショナルプーリングに有効であるだけでなく,分子予測タスクにおける競合性能も発揮できることを実証した。 The ability to detect and count certain substructures in graphs is important for solving many tasks on graph-structured data, especially in the contexts of computational chemistry and biology as well as social network analysis. Inspired by this, we propose to study the expressive power of graph neural networks (GNNs) via their ability to count attributed graph substructures, extending recent works that examine their power in graph isomorphism testing and function approximation. We distinguish between two types of substructure counting: induced-subgraph-count and subgraph-count, and establish both positive and negative answers for popular GNN architectures. Specifically, we prove that Message Passing Neural Networks (MPNNs), 2-Weisfeiler-Lehman (2-WL) and 2-Invariant Graph Networks (2-IGNs) cannot perform induced-subgraph-count of substructures consisting of 3 or more nodes, while they can perform subgraph-count of star-shaped substructures. As an intermediary step, we prove that 2-WL and 2-IGNs are equivalent in distinguishing non-isomorphic graphs, partly answering an open problem raised in Maron et al. (2019). We also prove positive results for k-WL and k-IGNs as well as negative results for k-WL with a finite number of iterations. We then conduct experiments that support the theoretical results for MPNNs and 2-IGNs. Moreover, motivated by substructure counting and inspired by Murphy et al. (2019), we propose the Local Relational Pooling model and demonstrate that it is not only effective for substructure counting but also able to achieve competitive performance on molecular prediction tasks. | 翻訳日:2023-01-02 08:40:28 公開日:2020-10-28 |
| # BERTを用いたQAウェブサイトの主観的特徴予測 Predicting Subjective Features of Questions of QA Websites using BERT ( http://arxiv.org/abs/2002.10107v4 ) ライセンス: Link先を確認 | Issa Annamoradnejad, Mohammadamin Fazli, Jafar Habibi | (参考訳) コミュニティ質問-StackOverflowやQuoraといったWebサイトは、ユーザがコンテンツ品質を維持するために、特定のガイドラインに従うことを期待している。
これらのシステムは主に、コンテンツ評価のためのコミュニティレポートに依存しており、違反の処理の遅さ、正常および経験者時間の喪失、レポートの質の低下、新規ユーザへのフィードバックの回避といった深刻な問題を抱えている。
そこで本研究では,Q&A Webサイトにおけるモデレーション行動を自動化するソリューションを提供することを目標とし,QA Webサイトにおける質問の質や主観的な側面を20程度予測するモデルの提供を目的とする。
この目的のために、私たちは、2019年にGoogle ResearchでCrowdSourceチームが収集したデータと、私たちの問題に関する詳細なトレーニング済みのBERTモデルを使用しました。
mean-squared-error (mse) による評価に基づいて、2回のトレーニングで0.046の値を得たが、これは次のモデルでは大幅に改善されなかった。
結果は、単純な微調整によって、少ない時間と少ないデータ量で正確なモデルを実現できることを確認した。 Community Question-Answering websites, such as StackOverflow and Quora, expect users to follow specific guidelines in order to maintain content quality. These systems mainly rely on community reports for assessing contents, which has serious problems such as the slow handling of violations, the loss of normal and experienced users' time, the low quality of some reports, and discouraging feedback to new users. Therefore, with the overall goal of providing solutions for automating moderation actions in Q&A websites, we aim to provide a model to predict 20 quality or subjective aspects of questions in QA websites. To this end, we used data gathered by the CrowdSource team at Google Research in 2019 and a fine-tuned pre-trained BERT model on our problem. Based on the evaluation by Mean-Squared-Error (MSE), the model achieved a value of 0.046 after 2 epochs of training, which did not improve substantially in the next ones. Results confirm that by simple fine-tuning, we can achieve accurate models in little time and on less amount of data. | 翻訳日:2022-12-29 02:35:31 公開日:2020-10-28 |
| # Spyke Flow を用いた EMNIST 分類のための二分分類層付き深層教師なし特徴学習スパイクニューラルネットワーク A Deep Unsupervised Feature Learning Spiking Neural Network with Binarized Classification Layers for EMNIST Classification using SpykeFlow ( http://arxiv.org/abs/2002.11843v4 ) ライセンス: Link先を確認 | Ruthvik Vaila, John Chiasson, Vishal Saxena | (参考訳) エンドユーザAIは、ユーザから収集されたデータによって、大規模なサーバファームでトレーニングされる。
IOTデバイスに対する需要がますます高まる中、エネルギー効率のよい方法で(エッジで)実装可能なディープラーニングアプローチが必要である。
本研究では、スパイクニューラルネットワークを用いてこれをアプローチする。
二元活性化を用いたスパイクタイミング依存塑性(STDP)の教師なし学習技術を用いて,スパイク入力データから特徴を抽出する。
勾配降下(バックプロパゲーション)は出力層でのみ使用され、分類のための訓練を行う。
バランスの取れたEMNISTデータセットの精度は他の手法と比較した。
ネットワークの学習能力に及ぼす確率勾配降下(SGD)近似の影響についても検討した。 End user AI is trained on large server farms with data collected from the users. With ever increasing demand for IOT devices, there is a need for deep learning approaches that can be implemented (at the edge) in an energy efficient manner. In this work we approach this using spiking neural networks. The unsupervised learning technique of spike timing dependent plasticity (STDP) using binary activations are used to extract features from spiking input data. Gradient descent (backpropagation) is used only on the output layer to perform the training for classification. The accuracies obtained for the balanced EMNIST data set compare favorably with other approaches. The effect of stochastic gradient descent (SGD) approximations on learning capabilities of our network are also explored. | 翻訳日:2022-12-28 13:57:11 公開日:2020-10-28 |
| # 何があったのかいつ?
時系列モデルにおけるインスタンスワイズ特徴の重要性 What went wrong and when? Instance-wise Feature Importance for Time-series Models ( http://arxiv.org/abs/2003.02821v3 ) ライセンス: Link先を確認 | Sana Tonekaboni, Shalmali Joshi, Kieran Campbell, David Duvenaud, Anna Goldenberg | (参考訳) 時系列モデルの説明は医療などの高利害な応用に有用であるが、機械学習の文献ではほとんど注目されていない。
予測分布の時間的変化を定量化することにより,多変量時系列ブラックボックスモデルにおける観測の重要性を評価するフレームワークであるFITを提案する。
FITは、KL分割の下での分布シフトへの寄与に基づく観測の重要性を定義し、予測分布と、他の特徴が観測されない反事実を対比する。
また,時間依存分布シフトの制御の必要性を実証する。
我々は,シミュレーションおよび実世界の臨床データに基づく最先端のベースラインと比較し,本手法が時系列の重要点や観察に優れていることを示す。 Explanations of time series models are useful for high stakes applications like healthcare but have received little attention in machine learning literature. We propose FIT, a framework that evaluates the importance of observations for a multivariate time-series black-box model by quantifying the shift in the predictive distribution over time. FIT defines the importance of an observation based on its contribution to the distributional shift under a KL-divergence that contrasts the predictive distribution against a counterfactual where the rest of the features are unobserved. We also demonstrate the need to control for time-dependent distribution shifts. We compare with state-of-the-art baselines on simulated and real-world clinical data and demonstrate that our approach is superior in identifying important time points and observations throughout the time series. | 翻訳日:2022-12-26 06:43:20 公開日:2020-10-28 |
| # Deep Learningがデータアライメントに出会ったとき - Deep Registration Networks(DRNs)のレビュー When Deep Learning Meets Data Alignment: A Review on Deep Registration Networks (DRNs) ( http://arxiv.org/abs/2003.03167v2 ) ライセンス: Link先を確認 | Victor Villena-Martinez, Sergiu Oprea, Marcelo Saval-Calvo, Jorge Azorin-Lopez, Andres Fuster-Guillo, Robert B. Fisher | (参考訳) 登録は、データのセットを整列する変換を計算するプロセスである。
一般的に、登録プロセスは、ターゲットの選択、特徴抽出、特徴マッチング、アライメントのための変換計算の4つの主要なステップに分けられる。
結果の正確性は,入力データの量,ノイズの存在,異常や咬合の有無,抽出された特徴の質,リアルタイム要件,変換のタイプ,特に非剛性変形などの複数のパラメータによって定義されるものなど,複数の要因に依存する。
機械学習の最近の進歩は、特に、入力データの抽象的な理解を通じて複数のコンピュータビジョンの問題を改善するのに役立つディープラーニング(dl)技術の開発において、これらの問題の転換点となり得る。
本稿では,深層学習に基づく登録手法について概説する。
従来の登録パイプラインから抽出したフレームワークを提案する異なる論文を分類し,新しい学習に基づく提案の強みを分析した。
Deep Registration Networks (DRN)は、従来のパイプラインの一部をネットワークに置き換えるか、登録問題を完全に解決するか、アライメントタスクの解決を試みる。
抽出された主な結論は、その一方である。
1) 学習に基づく登録技術は,必ずしも従来のパイプラインに明確に分類することはできない。
2)これらのアプローチは、従来の3dデータセットと同様に、概念モデルのようなより複雑な入力を可能にする。
3)学習の一般化にもかかわらず,現在の提案は相変わらずアドホックな解決法である。
最後に
4)これはまだ、従来のアプローチに影響を与える問題に対処できる一般的なソリューションに到達するために、多大な努力を必要とする若いトピックです。 Registration is the process that computes the transformation that aligns sets of data. Commonly, a registration process can be divided into four main steps: target selection, feature extraction, feature matching, and transform computation for the alignment. The accuracy of the result depends on multiple factors, the most significant are the quantity of input data, the presence of noise, outliers and occlusions, the quality of the extracted features, real-time requirements and the type of transformation, especially those ones defined by multiple parameters, like non-rigid deformations. Recent advancements in machine learning could be a turning point in these issues, particularly with the development of deep learning (DL) techniques, which are helping to improve multiple computer vision problems through an abstract understanding of the input data. In this paper, a review of deep learning-based registration methods is presented. We classify the different papers proposing a framework extracted from the traditional registration pipeline to analyse the new learning-based proposal strengths. Deep Registration Networks (DRNs) try to solve the alignment task either replacing part of the traditional pipeline with a network or fully solving the registration problem. The main conclusions extracted are, on the one hand, 1) learning-based registration techniques cannot always be clearly classified in the traditional pipeline. 2) These approaches allow more complex inputs like conceptual models as well as the traditional 3D datasets. 3) In spite of the generality of learning, the current proposals are still ad hoc solutions. Finally, 4) this is a young topic that still requires a large effort to reach general solutions able to cope with the problems that affect traditional approaches. | 翻訳日:2022-12-26 01:10:52 公開日:2020-10-28 |
| # no surprises: 逆行性攻撃による低用量ctスキャンのための頑健な肺結節検出訓練 No Surprises: Training Robust Lung Nodule Detection for Low-Dose CT Scans by Augmenting with Adversarial Attacks ( http://arxiv.org/abs/2003.03824v2 ) ライセンス: Link先を確認 | Siqi Liu, Arnaud Arindra Adiyoso Setio, Florin C. Ghesu, Eli Gibson, Sasa Grbic, Bogdan Georgescu, Dorin Comaniciu | (参考訳) 早期に悪性肺結節を検出することで、肺癌患者の生存率を高める医療介入が可能になる。
結節の検出にコンピュータビジョン技術を使用すると、肺癌検診における胸部ctの感度と解釈速度が向上する。
多くの研究はcnnを用いて結節候補を検出する。
このようなアプローチは、検出精度に関する従来の画像処理手法を上回ることも示されているが、cnnは、トレーニングセットで提示されていないサンプルを一般化し、不可避なノイズの摂動が起こりやすいことも知られている。
このような制限はデータセットやモデルをスケールアップすることで簡単に対処できない。
本研究では, 肺結節検出システムの一般化と堅牢性を向上させるために, 対向性合成結節と対向性攻撃サンプルをトレーニングデータに追加することを提案する。
微分可能な結節シンセサイザーから結節のハードな例を生成するために,射影勾配降下(pgd)を用いて境界近傍の潜在コードを探索し,検出応答を減少させる結節を生成する。
予測外のノイズ摂動に対してネットワークをより堅牢にするために、PGDを用いて、ネットワークが過度に信頼できない誤りを犯す可能性のあるノイズパターンを探索する。
3人の放射線技師によるコンセンサスアノテーションを含む2つのベンチマークデータセットを評価した結果,提案手法は実際のCTデータの検出性能を向上させることができることがわかった。
また,従来のネットワークと提案する拡張ネットワークの両方の限界を理解するため,異なる種類の人工パッチを供給することにより,偽陽性低減ネットワーク上でストレステストを行う。
拡張されたネットワークは雑音の摂動にも耐えられるだけでなく,低表示のノイズにも耐えられることを示した。 Detecting malignant pulmonary nodules at an early stage can allow medical interventions which may increase the survival rate of lung cancer patients. Using computer vision techniques to detect nodules can improve the sensitivity and the speed of interpreting chest CT for lung cancer screening. Many studies have used CNNs to detect nodule candidates. Though such approaches have been shown to outperform the conventional image processing based methods regarding the detection accuracy, CNNs are also known to be limited to generalize on under-represented samples in the training set and prone to imperceptible noise perturbations. Such limitations can not be easily addressed by scaling up the dataset or the models. In this work, we propose to add adversarial synthetic nodules and adversarial attack samples to the training data to improve the generalization and the robustness of the lung nodule detection systems. To generate hard examples of nodules from a differentiable nodule synthesizer, we use projected gradient descent (PGD) to search the latent code within a bounded neighbourhood that would generate nodules to decrease the detector response. To make the network more robust to unanticipated noise perturbations, we use PGD to search for noise patterns that can trigger the network to give over-confident mistakes. By evaluating on two different benchmark datasets containing consensus annotations from three radiologists, we show that the proposed techniques can improve the detection performance on real CT data. To understand the limitations of both the conventional networks and the proposed augmented networks, we also perform stress-tests on the false positive reduction networks by feeding different types of artificially produced patches. We show that the augmented networks are more robust to both under-represented nodules as well as resistant to noise perturbations. | 翻訳日:2022-12-25 14:16:22 公開日:2020-10-28 |
| # Manifold-to-Manifold Distanceによるダイナミックポイント雲のデノイング Dynamic Point Cloud Denoising via Manifold-to-Manifold Distance ( http://arxiv.org/abs/2003.08355v3 ) ライセンス: Link先を確認 | Wei Hu, Qianjiang Hu, Zehua Wang, Xiang Gao | (参考訳) 3d動的ポイントクラウドは、没入型テレプレゼンス、自律運転、監視、 \etcといった幅広い応用を含む、実世界のオブジェクトやシーンの自然な離散表現を提供する。
それにもかかわらず、動的ポイントクラウドはハードウェア、ソフトウェア、その他の原因によるノイズによってしばしば混乱する。
静的な点雲を分断する手法は数多く提案されているが、動的点雲を分断する試みはほとんど行われておらず、空間的・時間的にも不規則なサンプリングパターンのため非常に困難である。
本稿では,空間時間グラフ上で動的点雲を自然に表現し,基礎となる表面(多様体)に対する時間的整合性を利用する。
特に、グラフ作用素がリーマン多様体上の汎函数の離散対応であるようなとき、時間領域における表面パッチ間の変動に基づく内在距離を測定するために、多様体から多様体への距離とそのグラフ上の離散対応を定義する。
そして,空間領域内の隣接パッチの点間と時間的距離に基づいて,対応する表面パッチ間の空間時空間グラフ接続を構築する。
初期グラフ表現を活用し、所望の点クラウドと基礎となるグラフ表現の協調最適化として動的点クラウドを定式化し、空間的滑らかさと時間的一貫性を両立させる。
最適化を再構築し,効率的なアルゴリズムを提案する。
実験結果から,提案手法はガウス雑音とlidar雑音の両方において,最先端の静的点雲から各フレームの独立な分断を著しく上回ることがわかった。 3D dynamic point clouds provide a natural discrete representation of real-world objects or scenes in motion, with a wide range of applications in immersive telepresence, autonomous driving, surveillance, \etc. Nevertheless, dynamic point clouds are often perturbed by noise due to hardware, software or other causes. While a plethora of methods have been proposed for static point cloud denoising, few efforts are made for the denoising of dynamic point clouds, which is quite challenging due to the irregular sampling patterns both spatially and temporally. In this paper, we represent dynamic point clouds naturally on spatial-temporal graphs, and exploit the temporal consistency with respect to the underlying surface (manifold). In particular, we define a manifold-to-manifold distance and its discrete counterpart on graphs to measure the variation-based intrinsic distance between surface patches in the temporal domain, provided that graph operators are discrete counterparts of functionals on Riemannian manifolds. Then, we construct the spatial-temporal graph connectivity between corresponding surface patches based on the temporal distance and between points in adjacent patches in the spatial domain. Leveraging the initial graph representation, we formulate dynamic point cloud denoising as the joint optimization of the desired point cloud and underlying graph representation, regularized by both spatial smoothness and temporal consistency. We reformulate the optimization and present an efficient algorithm. Experimental results show that the proposed method significantly outperforms independent denoising of each frame from state-of-the-art static point cloud denoising approaches, on both Gaussian noise and simulated LiDAR noise. | 翻訳日:2022-12-22 21:14:49 公開日:2020-10-28 |
| # 離散空間における逆不確実性サンプリングによる能動文学習 Active Sentence Learning by Adversarial Uncertainty Sampling in Discrete Space ( http://arxiv.org/abs/2004.08046v2 ) ライセンス: Link先を確認 | Dongyu Ru, Jiangtao Feng, Lin Qiu, Hao Zhou, Mingxuan Wang, Weinan Zhang, Yong Yu, Lei Li | (参考訳) 文理解のための能動的学習は、注釈のための情報的未ラベルデータを発見し、それによってラベル付きデータの需要を減らすことを目的としている。
アクティブな学習のための典型的な不確実性サンプリング手法は時間を要するため、リアルタイムでは動作しないため、非効率なサンプル選択につながる可能性がある。
本稿では, 離散空間 (AUSDS) における逆不確実性サンプリングを提案し, より効率的に情報付き未ラベルサンプルを検索する。
AUSDSは、一般的な訓練済み言語モデルによって生成された潜在空間に文をマッピングし、敵攻撃によるアノテーションのための情報のないテキストサンプルを発見する。
提案手法は10倍以上の高速化を有する従来の不確実性サンプリングと比較して極めて効率的である。
5つのデータセットの実験結果から、AUSDSは有効性において強いベースラインを上回ります。 Active learning for sentence understanding aims at discovering informative unlabeled data for annotation and therefore reducing the demand for labeled data. We argue that the typical uncertainty sampling method for active learning is time-consuming and can hardly work in real-time, which may lead to ineffective sample selection. We propose adversarial uncertainty sampling in discrete space (AUSDS) to retrieve informative unlabeled samples more efficiently. AUSDS maps sentences into latent space generated by the popular pre-trained language models, and discover informative unlabeled text samples for annotation via adversarial attack. The proposed approach is extremely efficient compared with traditional uncertainty sampling with more than 10x speedup. Experimental results on five datasets show that AUSDS outperforms strong baselines on effectiveness. | 翻訳日:2022-12-12 10:15:08 公開日:2020-10-28 |
| # グラフェン電界効果トランジスタを用いた非一様ランダム変量生成システム A System for Generating Non-Uniform Random Variates using Graphene Field-Effect Transistors ( http://arxiv.org/abs/2004.14111v2 ) ライセンス: Link先を確認 | Nathaniel Joseph Tye, James Timothy Meech, Bilgesu Arif Bilgin, Phillip Stanley-Marbell | (参考訳) 本稿では,グラフェン電界効果トランジスタ (GFET) の転送特性に基づいたハードウェア非一様乱数生成手法を提案する。
この方法は任意の単変量分布のサンプルを提供するカスタムコンピューティングシステムに統合できる。
また、ターゲット分布のウェーブレット分解を用いて、マルチGFETアレイにおけるGFETバイアス電圧を決定する。
提案手法は,複数のGFETを作製し,その転写特性が本手法に依存する非線形性を示すことを実験的に検証する。
提案手法のシミュレーションでは,動的選択可能な非一様確率分布からサンプルを生成するためにキャラクタリゼーションデータを用いる。
様々なバイアス条件下でのGFETの実験的測定とGFETに基づく非一様ランダム変量発生器アーキテクチャのシミュレーションを組み合わせることで,モンテカルロ積分を最大2$\times$で高速化することを示した。
このスピードアップは、回路から出力を読み取るアナログ-デジタル変換器が、メモリアクセスの実行に要する時間と同じ時間でサンプルを生成することができると仮定する。 We introduce a new method for hardware non-uniform random number generation based on the transfer characteristics of graphene field-effect transistors (GFETs) which requires as few as two transistors and a resistor (or transimpedance amplifier). The method could be integrated into a custom computing system to provide samples from arbitrary univariate distributions. We also demonstrate the use of wavelet decomposition of the target distribution to determine GFET bias voltages in a multi-GFET array. We implement the method by fabricating multiple GFETs and experimentally validating that their transfer characteristics exhibit the nonlinearity on which our method depends. We use the characterization data in simulations of a proposed architecture for generating samples from dynamically-selectable non-uniform probability distributions. Using a combination of experimental measurements of GFETs under a range of biasing conditions and simulation of the GFET-based non-uniform random variate generator architecture, we demonstrate a speedup of Monte Carlo integration by a factor of up to 2$\times$. This speedup assumes the analog-to-digital converters reading the outputs from the circuit can produce samples in the same amount of time that it takes to perform memory accesses. | 翻訳日:2022-12-08 23:44:54 公開日:2020-10-28 |
| # 文書アライメントにおける文順の活用 Exploiting Sentence Order in Document Alignment ( http://arxiv.org/abs/2004.14523v2 ) ライセンス: Link先を確認 | Brian Thompson and Philipp Koehn | (参考訳) 文順情報を候補生成と候補再描画の両方に組み込んだ簡単な文書アライメント手法を提案する。
提案手法は,WMT16文書アライメント共有タスクの既報結果と比較して,エラーの相対的減少率を61%とした。
本手法は,paracrawl の web-scraped sinhala- english 文書における下流 mt 性能を向上し,最新の paracrawl リリースにおける文書アライメント法を上回っている。
また、同じ多言語埋め込みを使用するコーパス法よりも優れており、最終ゴールが文レベルのbitextであっても、文順の活用が有益であることを示す。 We present a simple document alignment method that incorporates sentence order information in both candidate generation and candidate re-scoring. Our method results in 61% relative reduction in error compared to the best previously published result on the WMT16 document alignment shared task. Our method improves downstream MT performance on web-scraped Sinhala--English documents from ParaCrawl, outperforming the document alignment method used in the most recent ParaCrawl release. It also outperforms a comparable corpora method which uses the same multilingual embeddings, demonstrating that exploiting sentence order is beneficial even if the end goal is sentence-level bitext. | 翻訳日:2022-12-08 03:58:36 公開日:2020-10-28 |
| # なぜ、いつプールにするか?
リカレントアーキテクチャにおけるプールの解析 Why and when should you pool? Analyzing Pooling in Recurrent Architectures ( http://arxiv.org/abs/2005.00159v2 ) ライセンス: Link先を確認 | Pratyush Maini, Keshav Kolluru, Danish Pruthi, Mausam | (参考訳) プールベースのリカレントニューラルアーキテクチャは、プールなしで一貫してそのアーキテクチャを上回っている。
しかし、その性能向上の理由はほとんど検討されていない。
本研究では,一般的な3つのプーリング手法(平均プーリング,最大プーリング,注意)について検討し,文章中の予測トークン間の相互作用を効果的に捉えたmax-attentionを提案する。
プールベースのアーキテクチャは、学習能力と位置バイアスの非プール等価性 - パフォーマンス上のメリットを解明する - とは大きく異なることが分かっています。
勾配伝播の解析により,BiLSTMと比較して,プーリングにより勾配流が良くなることがわかった。
さらに、BiLSTMがシーケンスの開始と終了においてトークンにどのように偏っているかを明らかにする。
プール化はこのようなバイアスを軽減する。
その結果、プールが大きなメリットをもたらす設定を特定します。
(i)低資源シナリオにおいて、
(二)重要な言葉が文の中央に横たわっているとき。
プーリング手法の中で、最大アテンションが最も効果的であり、いくつかのテキスト分類タスクにおいて大きなパフォーマンス向上をもたらす。 Pooling-based recurrent neural architectures consistently outperform their counterparts without pooling. However, the reasons for their enhanced performance are largely unexamined. In this work, we examine three commonly used pooling techniques (mean-pooling, max-pooling, and attention), and propose max-attention, a novel variant that effectively captures interactions among predictive tokens in a sentence. We find that pooling-based architectures substantially differ from their non-pooling equivalents in their learning ability and positional biases--which elucidate their performance benefits. By analyzing the gradient propagation, we discover that pooling facilitates better gradient flow compared to BiLSTMs. Further, we expose how BiLSTMs are positionally biased towards tokens in the beginning and the end of a sequence. Pooling alleviates such biases. Consequently, we identify settings where pooling offers large benefits: (i) in low resource scenarios, and (ii) when important words lie towards the middle of the sentence. Among the pooling techniques studied, max-attention is the most effective, resulting in significant performance gains on several text classification tasks. | 翻訳日:2022-12-07 22:53:17 公開日:2020-10-28 |
| # マニピュレーション顔検出のための注意的意味探索 Attentive Semantic Exploring for Manipulated Face Detection ( http://arxiv.org/abs/2005.02958v2 ) ライセンス: Link先を確認 | Zehao Chen and Hua Yang | (参考訳) 顔の操作法は近年急速に発展し、社会に潜在的なリスクが検出法の研究の台頭の原因となっている。
しかし、操作方法の多様性と偽画像の品質の高さにより、検出方法は一般化能力の欠如に悩まされている。
この問題を解決するために,画像のセグメンテーションを意味的フラグメントに分割することは,識別的欠陥や歪みがそのようなフラグメントと密接な関係にあるため,効果的であると考えられる。
また, フラグメントの識別領域を強調表示し, フラグメントの最終的な予測への寄与を測定することは, 一般化能力の向上に有効である。
そこで本稿では,多レベル顔のセマンティックセマンティックセグメンテーションとカスケード注意機構に基づく顔検出手法を提案する。
提案手法を評価するため,GGFIとFFMIの2つのデータセットを再構成し,また2つのオープンソースデータセットを収集する。
4つのデータセットの実験は、他の最先端技術、特に一般化能力に対するアプローチの利点を検証する。 Face manipulation methods develop rapidly in recent years, whose potential risk to society accounts for the emerging of researches on detection methods. However, due to the diversity of manipulation methods and the high quality of fake images, detection methods suffer from a lack of generalization ability. To solve the problem, we find that segmenting images into semantic fragments could be effective, as discriminative defects and distortions are closely related to such fragments. Besides, to highlight discriminative regions in fragments and to measure contribution to the final prediction of each fragment is efficient for the improvement of generalization ability. Therefore, we propose a novel manipulated face detection method based on Multilevel Facial Semantic Segmentation and Cascade Attention Mechanism. To evaluate our method, we reconstruct two datasets: GGFI and FFMI, and also collect two open-source datasets. Experiments on four datasets verify the advantages of our approach against other state-of-the-arts, especially its generalization ability. | 翻訳日:2022-12-06 05:51:09 公開日:2020-10-28 |
| # MAPデコーディングは必要か?
ニューラルネットワーク翻訳におけるモードの不適切性 Is MAP Decoding All You Need? The Inadequacy of the Mode in Neural Machine Translation ( http://arxiv.org/abs/2005.10283v2 ) ライセンス: Link先を確認 | Bryan Eikema and Wilker Aziz | (参考訳) 最近の研究では、神経機械翻訳(NMT)システムの多くの病理が明らかにされている。
これらを説明する仮説は、NMTがモデルまたはそのトレーニングアルゴリズムである最大推定(MLE)に根本的な誤りがあることを主に示唆している。
これらの証拠の多くは、最上位の翻訳、すなわちモードを特定するための決定規則である最大後部復号法(MAP)を用いて収集された。
我々は,MAPデコーディングの不適切さが,モデルとそのトレーニングアルゴリズムに対する疑念を招きかねないことを論じる。
本研究では,翻訳分布がデータの様々な統計をよく再現するが,ビーム探索はそのような統計から逸脱することを示す。
NMTの病態とバイアスのいくつかはMAP復号によるものであり,NMTの統計的仮定やMLEによるものではない。
特に、モデルの下で最も可能性の高い翻訳は、ほとんど確率質量を蓄積しないので、モードは本質的に任意のものと考えられる。
そこで我々は,翻訳分布を階層的に考慮した決定規則の利用を提唱する。
最小ベイズリスクデコードへの近似は、nmtモデルが期待通りに翻訳の重要な側面を捉えていることを示す競合結果を与える。 Recent studies have revealed a number of pathologies of neural machine translation (NMT) systems. Hypotheses explaining these mostly suggest there is something fundamentally wrong with NMT as a model or its training algorithm, maximum likelihood estimation (MLE). Most of this evidence was gathered using maximum a posteriori (MAP) decoding, a decision rule aimed at identifying the highest-scoring translation, i.e. the mode. We argue that the evidence corroborates the inadequacy of MAP decoding more than casts doubt on the model and its training algorithm. In this work, we show that translation distributions do reproduce various statistics of the data well, but that beam search strays from such statistics. We show that some of the known pathologies and biases of NMT are due to MAP decoding and not to NMT's statistical assumptions nor MLE. In particular, we show that the most likely translations under the model accumulate so little probability mass that the mode can be considered essentially arbitrary. We therefore advocate for the use of decision rules that take into account the translation distribution holistically. We show that an approximation to minimum Bayes risk decoding gives competitive results confirming that NMT models do capture important aspects of translation well in expectation. | 翻訳日:2022-12-01 05:31:17 公開日:2020-10-28 |
| # FTのスピーチ:デンマーク議会のスピーチコーパス FT Speech: Danish Parliament Speech Corpus ( http://arxiv.org/abs/2005.12368v2 ) ライセンス: Link先を確認 | Andreas Kirkedal, Marija Stepanovi\'c, Barbara Plank | (参考訳) 本稿では,デンマーク議会の会議記録から作成した音声コーパスであるFT Speechを紹介する。
コーパスには、合計434人の話者による1,800時間以上の音声書き起こしが含まれている。
デンマーク語で使われている公用語コーパスよりも、継続時間、語彙、自発的な発話量がかなり大きい。
事前処理方法やアライメント手順など,設計上の課題について概説する。
コーパスの品質を評価するため,我々は新たな資源を用いた音声認識システムを訓練し,これまでにデンマークで最大の公的なASRコーパスであるSpr\r{a}kbankenのデンマーク部分で訓練されたシステムと比較した。
その結果,新しいコーパスで14.01 WERを達成することができた。
ftスピーチとドメイン内言語データの組み合わせは、spr\r{a}kbankenで特別にトレーニングされたモデルと同等の結果を提供する。
興味深いことに、我々の結果は逆ではないことを示している。
このことは、FT音声がデンマーク語ASRの研究をより自発的に促進するための貴重な資源であることを示している。 This paper introduces FT Speech, a new speech corpus created from the recorded meetings of the Danish Parliament, otherwise known as the Folketing (FT). The corpus contains over 1,800 hours of transcribed speech by a total of 434 speakers. It is significantly larger in duration, vocabulary, and amount of spontaneous speech than the existing public speech corpora for Danish, which are largely limited to read-aloud and dictation data. We outline design considerations, including the preprocessing methods and the alignment procedure. To evaluate the quality of the corpus, we train automatic speech recognition systems on the new resource and compare them to the systems trained on the Danish part of Spr\r{a}kbanken, the largest public ASR corpus for Danish to date. Our baseline results show that we achieve a 14.01 WER on the new corpus. A combination of FT Speech with in-domain language data provides comparable results to models trained specifically on Spr\r{a}kbanken, showing that FT Speech transfers well to this data set. Interestingly, our results demonstrate that the opposite is not the case. This shows that FT Speech provides a valuable resource for promoting research on Danish ASR with more spontaneous speech. | 翻訳日:2022-11-29 05:27:58 公開日:2020-10-28 |
| # NLPにおけるニューラルアン教師なしドメイン適応--サーベイ Neural Unsupervised Domain Adaptation in NLP---A Survey ( http://arxiv.org/abs/2006.00632v2 ) ライセンス: Link先を確認 | Alan Ramponi and Barbara Plank | (参考訳) ディープニューラルネットワークはラベル付きデータから学習し、さまざまな自然言語処理タスクにおける最先端の結果を達成する。
対照的に、ラベルのないデータ、特にドメインシフト下での学習は依然として課題である。
最新の進歩に動機づけられた本研究では,ラベル付き対象領域データを必要としないニューラルネットワーク非教師なし領域適応手法について検討する。
これはもっと難しいが、より広く適用可能な設定だ。
従来の非神経的手法から事前学習されたモデル伝達までの手法を概説する。
我々はまた、ドメインの概念を再考し、最も注目を集めた自然言語処理タスクの種類に偏りを見出した。
最後に,今後の方向,特に今後のNLPの配布外一般化の必要性について概説する。 Deep neural networks excel at learning from labeled data and achieve state-of-the-art resultson a wide array of Natural Language Processing tasks. In contrast, learning from unlabeled data, especially under domain shift, remains a challenge. Motivated by the latest advances, in this survey we review neural unsupervised domain adaptation techniques which do not require labeled target domain data. This is a more challenging yet a more widely applicable setup. We outline methods, from early traditional non-neural methods to pre-trained model transfer. We also revisit the notion of domain, and we uncover a bias in the type of Natural Language Processing tasks which received most attention. Lastly, we outline future directions, particularly the broader need for out-of-distribution generalization of future NLP. | 翻訳日:2022-11-26 12:49:17 公開日:2020-10-28 |
| # ハイパーグラフクラスタリングによる多元群と経験群の探索 Hypergraph Clustering for Finding Diverse and Experienced Groups ( http://arxiv.org/abs/2006.05645v3 ) ライセンス: Link先を確認 | Ilya Amburg, Nate Veldt, Austin R. Benson | (参考訳) チームや個人のグループを作るとき、私たちはしばしば特定のタスクにおける専門知識のバランスを求め、同時に各グループ内のスキルの多様性を維持します。
本稿では,複数のエッジ型を持つハイパーグラフのクラスタリングとして,多様な経験を持つグループを見つけるという課題を考察する。
入力データはハイパーグラフで、複数のハイパーエッジ型 -- 個人の過去の経験を表す -- を持ち、出力はノードのグループである。
公正なクラスタリングやバランスの取れたクラスタリングに関する問題とは対照的に、エッジタイプへの参加に関して経験と多様性の両方を持つグループを形成することを目的として、過去のさまざまな経験(例えば、保護された属性など)の観点から多様性をモデル化する。
言い換えれば、多様性と経験の両方は、ハイパーエッジのタイプから測定される。
我々のクラスタリングモデルは、エッジベースのハイパーグラフクラスタリング目的の正規化バージョンに基づいており、また、ナイーブな目的が実際に多様性経験のトレードオフを持たないことを示す。
目的関数はNP-hardで最適化できるが、効率的な2-近似アルゴリズムを設計し、また、有意義な多様性-経験トレードオフをもたらす正規化ハイパーパラメータのバウンダリを計算する方法を示す。
オンラインレビュープラットフォームにおけるこのフレームワークの応用を実演し、製品タイプのユーザレビューのセットをキュレートすることを目的としている。
この文脈では、"experience"は製品の種類に詳しいユーザ、"diversity"は関連する製品をレビューしたユーザに対応している。 When forming a team or group of individuals, we often seek a balance of expertise in a particular task while at the same time maintaining diversity of skills within each group. Here, we view the problem of finding diverse and experienced groups as clustering in hypergraphs with multiple edge types. The input data is a hypergraph with multiple hyperedge types -- representing information about past experiences of groups of individuals -- and the output is groups of nodes. In contrast to related problems on fair or balanced clustering, we model diversity in terms of variety of past experience (instead of, e.g., protected attributes), with a goal of forming groups that have both experience and diversity with respect to participation in edge types. In other words, both diversity and experience are measured from the types of the hyperedges. Our clustering model is based on a regularized version of an edge-based hypergraph clustering objective, and we also show how naive objectives actually have no diversity-experience tradeoff. Although our objective function is NP-hard to optimize, we design an efficient 2-approximation algorithm and also show how to compute bounds for the regularization hyperparameter that lead to meaningful diversity-experience tradeoffs. We demonstrate an application of this framework in online review platforms, where the goal is to curate sets of user reviews for a product type. In this context, "experience" corresponds to users familiar with the type of product, and "diversity" to users that have reviewed related products. | 翻訳日:2022-11-23 05:34:36 公開日:2020-10-28 |
| # スパースシンプレクティック集積型ニューラルネットワーク Sparse Symplectically Integrated Neural Networks ( http://arxiv.org/abs/2006.12972v2 ) ライセンス: Link先を確認 | Daniel M. DiPietro, Shiying Xiong and Bo Zhu | (参考訳) データからハミルトン力学系を学習するための新しいモデルであるSparse Symplectically Integrated Neural Networks (SSINNs)を紹介する。
SSINNは4階シンプレクティック積分と、数学的にエレガントな関数空間を通してスパース回帰を用いて得られたハミルトンの学習パラメータ化を結合する。
これによりシンプレクティックな帰納的バイアスを取り入れ、メモリ要件の少ない解釈可能なモデルが可能になる。
我々は,H\'enon-Heiles系,非線形結合振動子,多粒子質量ばね系,振り子系という4つの古典的ハミルトン力学問題に対するSSINNの評価を行った。
本研究では,システム予測とエネルギー保存の両方において,現在のブラックボックス予測手法を桁違いに上回る有望性を示す。
さらに、SSINNは、非常に制限されたノイズの多いデータから真の支配方程式に収束し、新しい物理支配方程式の発見に潜在的に適用可能であることを示す。 We introduce Sparse Symplectically Integrated Neural Networks (SSINNs), a novel model for learning Hamiltonian dynamical systems from data. SSINNs combine fourth-order symplectic integration with a learned parameterization of the Hamiltonian obtained using sparse regression through a mathematically elegant function space. This allows for interpretable models that incorporate symplectic inductive biases and have low memory requirements. We evaluate SSINNs on four classical Hamiltonian dynamical problems: the H\'enon-Heiles system, nonlinearly coupled oscillators, a multi-particle mass-spring system, and a pendulum system. Our results demonstrate promise in both system prediction and conservation of energy, often outperforming the current state-of-the-art black-box prediction techniques by an order of magnitude. Further, SSINNs successfully converge to true governing equations from highly limited and noisy data, demonstrating potential applicability in the discovery of new physical governing equations. | 翻訳日:2022-11-23 05:26:09 公開日:2020-10-28 |
| # 推定ホークスネットワークの不確かさの定量化 Uncertainty Quantification for Inferring Hawkes Networks ( http://arxiv.org/abs/2006.07506v2 ) ライセンス: Link先を確認 | Haoyun Wang, Liyan Xie, Alex Cuozzo, Simon Mak, Yao Xie | (参考訳) 多変量ホークスプロセスは、様々なアプリケーションでストリーミングされたイベントデータをモデル化するために一般的に使用される。
しかし、不確実性定量化を伴う複雑なデータセットから信頼できる推論を抽出することは依然として課題である。
そこで我々は,対象とする有向グラフがグランガー因果関係を意味するネットワークデータからノード間の因果関係を学習するための統計的推論フレームワークを開発した。
非漸近的信頼セットを提供することにより、ネットワーク多変量ホークス過程の最大推定値の不確かさを定量化する。
主な手法は連続時間マルティンゲールの濃度不等式に基づいている。
提案手法を,前述した漸近性ホークスプロセスの信頼区間と比較し,ニューロン接続再構築への応用における手法の強みを示す。 Multivariate Hawkes processes are commonly used to model streaming networked event data in a wide variety of applications. However, it remains a challenge to extract reliable inference from complex datasets with uncertainty quantification. Aiming towards this, we develop a statistical inference framework to learn causal relationships between nodes from networked data, where the underlying directed graph implies Granger causality. We provide uncertainty quantification for the maximum likelihood estimate of the network multivariate Hawkes process by providing a non-asymptotic confidence set. The main technique is based on the concentration inequalities of continuous-time martingales. We compare our method to the previously-derived asymptotic Hawkes process confidence interval, and demonstrate the strengths of our method in an application to neuronal connectivity reconstruction. | 翻訳日:2022-11-22 04:01:22 公開日:2020-10-28 |
| # スペクトルカーネル学習によるグラフ上のガウス過程 Gaussian Processes on Graphs via Spectral Kernel Learning ( http://arxiv.org/abs/2006.07361v3 ) ライセンス: Link先を確認 | Yin-Cong Zhi, Yin Cheng Ng, Xiaowen Dong | (参考訳) グラフのノード上で定義された信号の予測のためのグラフスペクトルに基づくガウス過程を提案する。
このモデルは、グラフスペクトル領域に柔軟な多項式関数を組み込んだ高適応カーネルを通じて、様々なグラフ信号構造をキャプチャするように設計されている。
既存の手法と異なり、多項式設定によってグラフラプラシアンの固有分解を必要とせずに学習できるようなスペクトルカーネルを学習することを提案する。
さらに、このカーネルは、スペクトルの肯定性を強制する分岐最大度学習アルゴリズムによって達成されるグラフフィルタリングの解釈可能性を有する。
合成実験では, 様々な基底真理スペクトルフィルタを精度良く復元できることを示すとともに, 適応性は, 種々の特性を持つ実世界のグラフデータの予測において, 優れた性能を示す。 We propose a graph spectrum-based Gaussian process for prediction of signals defined on nodes of the graph. The model is designed to capture various graph signal structures through a highly adaptive kernel that incorporates a flexible polynomial function in the graph spectral domain. Unlike most existing approaches, we propose to learn such a spectral kernel, where the polynomial setup enables learning without the need for eigen-decomposition of the graph Laplacian. In addition, this kernel has the interpretability of graph filtering achieved by a bespoke maximum likelihood learning algorithm that enforces the positivity of the spectrum. We demonstrate the interpretability of the model in synthetic experiments from which we show the various ground truth spectral filters can be accurately recovered, and the adaptability translates to superior performances in the prediction of real-world graph data of various characteristics. | 翻訳日:2022-11-22 03:51:57 公開日:2020-10-28 |
| # DeepFake Detection Challenge (DFDC) データセット The DeepFake Detection Challenge (DFDC) Dataset ( http://arxiv.org/abs/2006.07397v4 ) ライセンス: Link先を確認 | Brian Dolhansky, Joanna Bitton, Ben Pflaum, Jikuo Lu, Russ Howes, Menglin Wang, Cristian Canton Ferrer | (参考訳) deepfakesは、誰もが1つのビデオで2つのアイデンティティを交換できる、最近市販の操作技術だ。
Deepfakes以外にも、さまざまなGANベースのフェイススワップメソッドが付属コードとともに公開されている。
この新たな脅威に対処するため,我々は,検出モデルのトレーニングを可能にするために,非常に大きな顔スワップビデオデータセットを構築し,それに伴うdeepfake detection challenge (dfdc) kaggleコンペティションを組織した。
重要なことに、記録されたすべての被験者は、顔障害者データセットの構築中にその類似性を修正することに同意した。
DFDCデータセットは、これまでで最大で一般公開されている顔スワップビデオデータセットであり、Deepfake、GANベース、および非学習メソッドを使用した3,426人の有償アクターから出力された合計10万本以上のクリップがある。
データセット構築に使用する手法を説明することに加えて,Kaggleコンテストの上位提案を詳細に分析する。
DFDCでのみ訓練されたディープフェイク検出モデルは、非常に困難であり、未解決の課題であるにもかかわらず、実際の「夢中」ディープフェイクビデオに一般化することが可能であり、このモデルが、潜在的ディープフェイク動画を分析する上で有用な分析ツールであることを示す。
トレーニング、検証、テストコーパスはhttps://ai.facebook.com/datasets/dfdc.comからダウンロードできる。 Deepfakes are a recent off-the-shelf manipulation technique that allows anyone to swap two identities in a single video. In addition to Deepfakes, a variety of GAN-based face swapping methods have also been published with accompanying code. To counter this emerging threat, we have constructed an extremely large face swap video dataset to enable the training of detection models, and organized the accompanying DeepFake Detection Challenge (DFDC) Kaggle competition. Importantly, all recorded subjects agreed to participate in and have their likenesses modified during the construction of the face-swapped dataset. The DFDC dataset is by far the largest currently and publicly available face swap video dataset, with over 100,000 total clips sourced from 3,426 paid actors, produced with several Deepfake, GAN-based, and non-learned methods. In addition to describing the methods used to construct the dataset, we provide a detailed analysis of the top submissions from the Kaggle contest. We show although Deepfake detection is extremely difficult and still an unsolved problem, a Deepfake detection model trained only on the DFDC can generalize to real "in-the-wild" Deepfake videos, and such a model can be a valuable analysis tool when analyzing potentially Deepfaked videos. Training, validation and testing corpuses can be downloaded from https://ai.facebook.com/datasets/dfdc. | 翻訳日:2022-11-22 03:16:37 公開日:2020-10-28 |
| # ニューラルネットワークにおける単純性バイアスの落とし穴 The Pitfalls of Simplicity Bias in Neural Networks ( http://arxiv.org/abs/2006.07710v2 ) ライセンス: Link先を確認 | Harshay Shah, Kaustav Tamuly, Aditi Raghunathan, Prateek Jain, Praneeth Netrapalli | (参考訳) 単純さバイアス (sb) - 確率的勾配降下 (sgd) のような、単純なモデルを見つけるための標準的なトレーニング手順の傾向 - ニューラルネットワークがうまく一般化する理由を正当化するために [arpit et al. 2017 nakkiran et al. 2019, soudry et al. 2018]。
しかし、単純さの正確な概念はいまだ曖昧である。
さらに、ニューラルネットワークが一般化する理由を理論的に正当化するためにSBを使用した以前の設定では、ニューラルネットワークの非破壊性を同時に捉えることはできない。
我々は、SBとニューラルネットワークの優れた標準一般化を、データセットを設計することで、実際に観測された非ロバスト性と整合しようとする。
a)単純さの正確な概念を取り入れる
b) 様々なレベルの単純さを持つ複数の予測的特徴から構成され、
c) 実データに基づいてトレーニングされたニューラルネットワークの非ロバスト性をキャプチャする。
これらのデータセットの理論と経験を通して、我々は4つの観察を行う。
(i)SGDのSBと変種は極端であり、ニューラルネットワークは最も単純な特徴にのみ依存し、全ての予測複雑な特徴に不変である。
(II) SBの極端な側面は, 見かけの配向変化と小対向摂動がモデル性能を著しく低下させる理由を説明できる。
三 従来の知恵とは対照的に、SBは、最も単純な特徴がより複雑な特徴よりも予測力が少ない場合でも、同じデータ分布の一般化を損なうことがある。
四 一般化と堅牢性を改善するための共通アプローチ-アンサンブルと敵の訓練--SBとその落とし穴の軽減に失敗する。
ニューラルネットワークのトレーニングにおけるSBの役割を考えると、提案されたデータセットとメソッドが、SBの落とし穴を避けることを目的とした新しいアルゴリズムアプローチを評価する効果的なテストベッドとして機能することを期待する。 Several works have proposed Simplicity Bias (SB)---the tendency of standard training procedures such as Stochastic Gradient Descent (SGD) to find simple models---to justify why neural networks generalize well [Arpit et al. 2017, Nakkiran et al. 2019, Soudry et al. 2018]. However, the precise notion of simplicity remains vague. Furthermore, previous settings that use SB to theoretically justify why neural networks generalize well do not simultaneously capture the non-robustness of neural networks---a widely observed phenomenon in practice [Goodfellow et al. 2014, Jo and Bengio 2017]. We attempt to reconcile SB and the superior standard generalization of neural networks with the non-robustness observed in practice by designing datasets that (a) incorporate a precise notion of simplicity, (b) comprise multiple predictive features with varying levels of simplicity, and (c) capture the non-robustness of neural networks trained on real data. Through theory and empirics on these datasets, we make four observations: (i) SB of SGD and variants can be extreme: neural networks can exclusively rely on the simplest feature and remain invariant to all predictive complex features. (ii) The extreme aspect of SB could explain why seemingly benign distribution shifts and small adversarial perturbations significantly degrade model performance. (iii) Contrary to conventional wisdom, SB can also hurt generalization on the same data distribution, as SB persists even when the simplest feature has less predictive power than the more complex features. (iv) Common approaches to improve generalization and robustness---ensembles and adversarial training---can fail in mitigating SB and its pitfalls. Given the role of SB in training neural networks, we hope that the proposed datasets and methods serve as an effective testbed to evaluate novel algorithmic approaches aimed at avoiding the pitfalls of SB. | 翻訳日:2022-11-21 20:25:25 公開日:2020-10-28 |
| # 注意モデルのための正規化前方デコーダ Regularized Forward-Backward Decoder for Attention Models ( http://arxiv.org/abs/2006.08506v2 ) ライセンス: Link先を確認 | Tobias Watzel, Ludwig K\"urzinger, Lujun Li, Gerhard Rigoll | (参考訳) 現在、注目モデルは音声認識の一般的な候補の1つである。
これまでの多くの研究は、主にエンコーダ構造やアテンションモジュールに注目し、これらのモデルの性能を向上させる。
しかし、デコーダはほとんど無視します。
本稿では,訓練中に第2のデコーダを組み込んだ新しい正規化手法を提案する。
このデコーダは、事前に時間反転ターゲットラベルに最適化されており、将来の文脈から知識を追加することで、トレーニング中に標準デコーダをサポートする。
トレーニング中にのみ追加されるので、ネットワークの基本構造を変更したり、デコーディング中に複雑さを追加したりしません。
より小さなTEDLiumv2とより大きなLibriSpeechデータセットに対する我々のアプローチを評価し、両者で一貫した改善を実現した。 Nowadays, attention models are one of the popular candidates for speech recognition. So far, many studies mainly focus on the encoder structure or the attention module to enhance the performance of these models. However, mostly ignore the decoder. In this paper, we propose a novel regularization technique incorporating a second decoder during the training phase. This decoder is optimized on time-reversed target labels beforehand and supports the standard decoder during training by adding knowledge from future context. Since it is only added during training, we are not changing the basic structure of the network or adding complexity during decoding. We evaluate our approach on the smaller TEDLIUMv2 and the larger LibriSpeech dataset, achieving consistent improvements on both of them. | 翻訳日:2022-11-21 04:46:11 公開日:2020-10-28 |
| # GNNGuard: 敵攻撃に対するグラフニューラルネットワークの防御 GNNGuard: Defending Graph Neural Networks against Adversarial Attacks ( http://arxiv.org/abs/2006.08149v3 ) ライセンス: Link先を確認 | Xiang Zhang, Marinka Zitnik | (参考訳) グラフの深層学習法は、様々な領域で顕著な性能を達成する。
しかし、近年の研究では、グラフ構造の小さな、目立たない摂動が、最強で最も人気のあるグラフニューラルネットワーク(GNN)の性能を破滅的に低下させることが示されている。
本稿では、離散グラフ構造を乱す様々な訓練時間攻撃に対して防御する汎用アルゴリズムであるGNNGuardを開発する。
GNNGuardは任意のGNNに直接組み込むことができる。
その中核的な原理は、グラフ構造とノードの特徴の間の関係を検出し定量化し、その関係を利用して攻撃の負の効果を緩和することである。GNNGuardは、関係のないノード間のエッジを切断しながら、類似ノードを接続するエッジに、より高い重みを割り当てる方法を学ぶ。
修正されたエッジは、基盤となるGNNでニューラルネットワークの堅牢な伝搬を可能にする。
GNNGuardは,2つの新しいコンポーネント,隣り合う重要度推定とレイヤワイドグラフメモリを導入し,両コンポーネントが防御に必要であることを実証的に示す。
5つのGNN、3つの防衛方法、5つのデータセット、挑戦的なヒトの疾患グラフを含む実験により、GNNGuardが既存の防衛アプローチを平均15.3%上回ったことが示されている。
注目すべきは、GNNGuardは、ターゲットや非ターゲット攻撃を含む様々な敵攻撃に直面したGNNの最先端のパフォーマンスを効果的に回復することができ、異種グラフに対する攻撃を防御することができることである。 Deep learning methods for graphs achieve remarkable performance across a variety of domains. However, recent findings indicate that small, unnoticeable perturbations of graph structure can catastrophically reduce performance of even the strongest and most popular Graph Neural Networks (GNNs). Here, we develop GNNGuard, a general algorithm to defend against a variety of training-time attacks that perturb the discrete graph structure. GNNGuard can be straight-forwardly incorporated into any GNN. Its core principle is to detect and quantify the relationship between the graph structure and node features, if one exists, and then exploit that relationship to mitigate negative effects of the attack.GNNGuard learns how to best assign higher weights to edges connecting similar nodes while pruning edges between unrelated nodes. The revised edges allow for robust propagation of neural messages in the underlying GNN. GNNGuard introduces two novel components, the neighbor importance estimation, and the layer-wise graph memory, and we show empirically that both components are necessary for a successful defense. Across five GNNs, three defense methods, and five datasets,including a challenging human disease graph, experiments show that GNNGuard outperforms existing defense approaches by 15.3% on average. Remarkably, GNNGuard can effectively restore state-of-the-art performance of GNNs in the face of various adversarial attacks, including targeted and non-targeted attacks, and can defend against attacks on heterophily graphs. | 翻訳日:2022-11-21 02:47:48 公開日:2020-10-28 |
| # デュアルレゾリューション対応ネットワーク Dual-Resolution Correspondence Networks ( http://arxiv.org/abs/2006.08844v2 ) ライセンス: Link先を確認 | Xinghui Li, Kai Han, Shuda Li, Victor Adrian Prisacariu | (参考訳) 一対の画像間の高密度画素対応を確立する問題に取り組む。
本研究では,Dual-Resolution Cor correspondingence Networks (DualRC-Net) を導入し,粗い方法で画素単位の対応を求める。
DualRC-Netは粗い特徴マップと細かな特徴マップを抽出する。
粗い写像は、完全だが粗い4D相関テンソルを生成するために使用され、学習可能な近傍収束モジュールによって洗練される。
微細分解能特徴写像を用いて、精製された粗い4D相関テンソルで導かれる最終密度対応を得る。
選択された粗度マッチングスコアは、高信頼の可能な限られた数のマッチにのみ焦点を合わせることができる。
このようにして、DualRC-Netは信頼性とローカライゼーションの精度を劇的に向上させ、高額な4D畳み込みカーネルを高精細な特徴写像に適用することを避けた。
我々は,HPatches,InLoc,Aachen Day-Nightなどの大規模公開ベンチマークにおいて,この手法を総合的に評価した。
それらすべてに対して最先端の結果が得られます。 We tackle the problem of establishing dense pixel-wise correspondences between a pair of images. In this work, we introduce Dual-Resolution Correspondence Networks (DualRC-Net), to obtain pixel-wise correspondences in a coarse-to-fine manner. DualRC-Net extracts both coarse- and fine- resolution feature maps. The coarse maps are used to produce a full but coarse 4D correlation tensor, which is then refined by a learnable neighbourhood consensus module. The fine-resolution feature maps are used to obtain the final dense correspondences guided by the refined coarse 4D correlation tensor. The selected coarse-resolution matching scores allow the fine-resolution features to focus only on a limited number of possible matches with high confidence. In this way, DualRC-Net dramatically increases matching reliability and localisation accuracy, while avoiding to apply the expensive 4D convolution kernels on fine-resolution feature maps. We comprehensively evaluate our method on large-scale public benchmarks including HPatches, InLoc, and Aachen Day-Night. It achieves the state-of-the-art results on all of them. | 翻訳日:2022-11-20 21:06:26 公開日:2020-10-28 |
| # 低リソース言語における文埋め込みの探究--タスク評価のための構造設計の選択について How to Probe Sentence Embeddings in Low-Resource Languages: On Structural Design Choices for Probing Task Evaluation ( http://arxiv.org/abs/2006.09109v2 ) ライセンス: Link先を確認 | Steffen Eger and Johannes Daxenberger and Iryna Gurevych | (参考訳) 文エンコーダは、下流アプリケーションで使用する実値ベクトルに文をマッピングする。
これらの表現(例えば、結果の解釈可能性を高めるために)を覗くために、言語知識を問うタスクが設計されている。
しかし、これらは大規模な注釈付きデータや(高品質)依存パーサを欠いていることが多いため、より少ないリソースの言語に対する探索タスクの設計は難しい。
このような場合における文埋め込みの探索方法について検討するため,構造設計選択に対するタスク結果の感度の検討を行い,最初の大規模研究を行った。
注釈付き探索データセットのサイズや評価に用いる分類器の種類などの設計上の選択が探索結果に影響を及ぼすことを示す。
次に、英語で特定した「安定な領域」にある設計選択を多言語に組み込んだ埋め込みを探索し、英語の検索結果が他の言語に転送されないことを確かめる。
したがって、より公平で包括的な文レベルの探索評価は、将来複数の言語で実施されるべきである。 Sentence encoders map sentences to real valued vectors for use in downstream applications. To peek into these representations - e.g., to increase interpretability of their results - probing tasks have been designed which query them for linguistic knowledge. However, designing probing tasks for lesser-resourced languages is tricky, because these often lack large-scale annotated data or (high-quality) dependency parsers as a prerequisite of probing task design in English. To investigate how to probe sentence embeddings in such cases, we investigate sensitivity of probing task results to structural design choices, conducting the first such large scale study. We show that design choices like size of the annotated probing dataset and type of classifier used for evaluation do (sometimes substantially) influence probing outcomes. We then probe embeddings in a multilingual setup with design choices that lie in a 'stable region', as we identify for English, and find that results on English do not transfer to other languages. Fairer and more comprehensive sentence-level probing evaluation should thus be carried out on multiple languages in the future. | 翻訳日:2022-11-20 20:56:29 公開日:2020-10-28 |
| # 最大平均差分法による校正信頼回帰 Calibrated Reliable Regression using Maximum Mean Discrepancy ( http://arxiv.org/abs/2006.10255v2 ) ライセンス: Link先を確認 | Peng Cui, Wenbo Hu, Jun Zhu | (参考訳) 不確実性の正確な定量化は、機械学習の現実の応用に不可欠である。
しかし、現代のディープニューラルネットワークは信頼できない予測の不確実性を生み出し、しばしば過信な予測をもたらす。
本稿では,回帰タスクの予測を高度に調整することに関心を寄せる。
カーネル埋め込み測度を最小化することにより,最大平均偏差を用いた校正回帰法を提案する。
理論的には,本手法のキャリブレーション誤差は,試料サイズが十分大きいと漸近的にゼロに収束する。
非自明な実データセットの実験により,本手法は高い校正と鋭い予測間隔を生成できることを示す。 Accurate quantification of uncertainty is crucial for real-world applications of machine learning. However, modern deep neural networks still produce unreliable predictive uncertainty, often yielding over-confident predictions. In this paper, we are concerned with getting well-calibrated predictions in regression tasks. We propose the calibrated regression method using the maximum mean discrepancy by minimizing the kernel embedding measure. Theoretically, the calibration error of our method asymptotically converges to zero when the sample size is large enough. Experiments on non-trivial real datasets show that our method can produce well-calibrated and sharp prediction intervals, which outperforms the related state-of-the-art methods. | 翻訳日:2022-11-19 10:07:32 公開日:2020-10-28 |
| # gce in a new light: ベイズグラフ畳み込みニューラルネットワークによる$\gamma$-ray skyの分離 The GCE in a New Light: Disentangling the $\gamma$-ray Sky with Bayesian Graph Convolutional Neural Networks ( http://arxiv.org/abs/2006.12504v2 ) ライセンス: Link先を確認 | Florian List, Nicholas L. Rodd, Geraint F. Lewis, Ishaan Bhat | (参考訳) GCE(Galactic Center Excess)に関する根本的な問題は、その基盤構造が点状か滑らかかである。
この議論は、しばしばミリ秒のパルサーや、放出の暗黒物質(DM)の起源という観点で表され、決定的な解決を待つ。
本研究では,ベイズグラフ畳み込みニューラルネットワークを用いてこの問題を考察する。
シミュレーションデータでは、ニューラルネットワーク(nn)は内部銀河放出成分のフラックスを平均$\sim$0.5%まで再構成することができ、非ポアソニアンテンプレートフィット(nptf)に匹敵する。
実際の$\textit{Fermi}$-LATデータに適用すると、背景テンプレートからのフラックス分画のNN推定値がNPTFと一致することが分かるが、GCEはほぼ完全に滑らかな放出によるものである。
NNは1$\sigma$検出しきい値付近でピークとなる点ソースのフラックスを過小評価する傾向があるため、GCEに対する決定的な解決は主張しない。
しかし、この技術は、注入されたdmの再構成、拡散的誤モデリング、非モデリングの南北非対称性など、多くの体系的手法に堅牢性を示している。
NNは現在、GCEのスムーズな起源を示唆しているが、さらなる改良により、ベイジアンディープラーニングはこのDMミステリーを解決するのに十分適していると主張している。 A fundamental question regarding the Galactic Center Excess (GCE) is whether the underlying structure is point-like or smooth. This debate, often framed in terms of a millisecond pulsar or annihilating dark matter (DM) origin for the emission, awaits a conclusive resolution. In this work we weigh in on the problem using Bayesian graph convolutional neural networks. In simulated data, our neural network (NN) is able to reconstruct the flux of inner Galaxy emission components to on average $\sim$0.5%, comparable to the non-Poissonian template fit (NPTF). When applied to the actual $\textit{Fermi}$-LAT data, we find that the NN estimates for the flux fractions from the background templates are consistent with the NPTF; however, the GCE is almost entirely attributed to smooth emission. While suggestive, we do not claim a definitive resolution for the GCE, as the NN tends to underestimate the flux of point-sources peaked near the 1$\sigma$ detection threshold. Yet the technique displays robustness to a number of systematics, including reconstructing injected DM, diffuse mismodeling, and unmodeled north-south asymmetries. So while the NN is hinting at a smooth origin for the GCE at present, with further refinements we argue that Bayesian Deep Learning is well placed to resolve this DM mystery. | 翻訳日:2022-11-18 07:01:28 公開日:2020-10-28 |
| # 相対偏差マージン境界 Relative Deviation Margin Bounds ( http://arxiv.org/abs/2006.14950v2 ) ライセンス: Link先を確認 | Corinna Cortes and Mehryar Mohri and Ananda Theertha Suresh | (参考訳) 我々は,予測者の経験的マージン損失に依存する,新たな,より好ましいマージンベースの学習保証を提示する。
ラデマッハの複雑性や経験値の$\ell_\infty$が使われる仮説集合の数に関して、分布に依存し、一般家族に有効である2種類の学習境界を与える。
さらに, 相対偏差マージン境界を用いて, 有限モーメントを仮定した非有界損失関数の分布依存一般化境界を求める。
また、これらの境界のいくつかの応用を簡潔に取り上げ、既存の結果との関係について論じる。 We present a series of new and more favorable margin-based learning guarantees that depend on the empirical margin loss of a predictor. We give two types of learning bounds, both distribution-dependent and valid for general families, in terms of the Rademacher complexity or the empirical $\ell_\infty$ covering number of the hypothesis set used. Furthermore, using our relative deviation margin bounds, we derive distribution-dependent generalization bounds for unbounded loss functions under the assumption of a finite moment. We also briefly highlight several applications of these bounds and discuss their connection with existing results. | 翻訳日:2022-11-16 21:04:19 公開日:2020-10-28 |
| # CovidDeep: ウェアラブル医療センサとニューラルネットワークを用いたSARS-CoV-2/COVID-19テスト CovidDeep: SARS-CoV-2/COVID-19 Test Based on Wearable Medical Sensors and Efficient Neural Networks ( http://arxiv.org/abs/2007.10497v3 ) ライセンス: Link先を確認 | Shayan Hassantabar, Novati Stefano, Vishweshwar Ghanakota, Alessandra Ferrari, Gregory N. Nicola, Raffaele Bruno, Ignazio R. Marino, Kenza Hamidouche, and Niraj K. Jha | (参考訳) 新型コロナウイルス(SARS-CoV-2)がパンデミックを引き起こしている。
SARS-CoV-2の逆転写-ポリメラーゼ連鎖反応に基づく現在の試験体制は、テスト要求に沿うことができず、その結果のCOVID-19疾患の初期段階では比較的低い陽性検出率に悩まされている。
そのため、SARS-CoV-2/COVID-19の大規模なテストを繰り返し行う代替アプローチが必要である。
我々は,効率的なDNNと市販のWMSを組み合わせたCovidDeepというフレームワークを提案する。
健常者,無症状者,症状患者を含む3つのコホートにまたがる87人のデータを収集した。
我々は6つのWMSおよびアンケートカテゴリから自動的に抽出された特徴の様々なサブセットに基づいてDNNを訓練し、3方向分類におけるテスト精度の点でどのサブセットが最も有効かを決定する。
最高試験精度は98.1%であった。
また,同じ確率分布から得られた合成トレーニングデータセットを用いて実トレーニングデータセットを拡張し,dnnの重み付けに事前を課し,dnnのアーキテクチャと重み付けの両方を学ぶために,成長・予備合成パラダイムを活用した。
これにより、様々なDNNの精度をさらに高め、サイズと浮動小数点演算を同時に削減した。 The novel coronavirus (SARS-CoV-2) has led to a pandemic. The current testing regime based on Reverse Transcription-Polymerase Chain Reaction for SARS-CoV-2 has been unable to keep up with testing demands, and also suffers from a relatively low positive detection rate in the early stages of the resultant COVID-19 disease. Hence, there is a need for an alternative approach for repeated large-scale testing of SARS-CoV-2/COVID-19. We propose a framework called CovidDeep that combines efficient DNNs with commercially available WMSs for pervasive testing of the virus. We collected data from 87 individuals, spanning three cohorts including healthy, asymptomatic, and symptomatic patients. We trained DNNs on various subsets of the features automatically extracted from six WMS and questionnaire categories to perform ablation studies to determine which subsets are most efficacious in terms of test accuracy for a three-way classification. The highest test accuracy obtained was 98.1%. We also augmented the real training dataset with a synthetic training dataset drawn from the same probability distribution to impose a prior on DNN weights and leveraged a grow-and-prune synthesis paradigm to learn both DNN architecture and weights. This boosted the accuracy of the various DNNs further and simultaneously reduced their size and floating-point operations. | 翻訳日:2022-11-08 13:41:06 公開日:2020-10-28 |
| # binary-integer表現における局所性の再検討 Revisiting Locality in Binary-Integer Representations ( http://arxiv.org/abs/2007.12159v2 ) ライセンス: Link先を確認 | Hrishee Shastri, Eitan Frachtenberg | (参考訳) 突然変異と組換え演算子は、遺伝進化アルゴリズム(GEAs)の速度と品質を決定する上で重要な役割を果たしている。
先行研究は、これらの演算子が遺伝子型の変化に与える影響を分析し、それらの演算子に対する遺伝子型表現の感度と安定性を測定する局所性メトリクスを用いていることが多い。
本稿では,非冗長なビットストリング-整数表現という,表現の重要な部分集合に着目し,ロスラウフの広く用いられている局所性指標のレンズを通して解析する。
まず、ドメインに合わせて調整されたrothlaufと等価な局所性メトリクスを定義します。 単一ビット突然変異の \textit{point locality} と再結合の \textit{general locality} です。
これらの定義により、接境界と点局所性に対する閉形式期待値が導出される。
一般の局所性については、すべての表現と作用素に対して漸近同値であることを示す。
また,gea性能における点局所性の予測力を理解するための3つの確立されたgea実験を再現した。
標準バイナリは、間違いなくGrayのエンコーディングよりも、Grayのリフレクションを含む、悪いローカリティがないことを示す。
この結果について,二分法が標準二分法を上回ってグレーに反映しているという過去の研究の文脈で考察し,局所性は性能の強い説明にはなり得ないと主張する。
最後に,弱点局所性表現はgeaの探索段階における性能に有益であり,強点局所性表現は開拓段階においてより有益であることを示す。 Mutation and recombination operators play a key role in determining the speed and quality of Genetic and Evolutionary Algorithms (GEAs). Prior work has analyzed the effects of these operators on genotypic variation, often using locality metrics that measure the sensitivity and stability of genotype-phenotype representations to these operators. In this paper, we focus on an important subset of representations, namely nonredundant bitstring-to-integer representations, and analyze them through the lens of Rothlauf's widely used locality metrics. We first define locality metrics equivalent to Rothlauf's that are tailored to our domain: the \textit{point locality} for single-bit mutation and \textit{general locality} for recombination. With these definitions, we derive tight bounds and a closed form expected value for point locality. For general locality we show that it is asymptotically equivalent across all representations and operators. We also recreate three established GEA experiments to understand the predictive power of point locality on GEA performance, focusing on two popular and often juxtaposed representations: standard binary and binary reflected Gray. We show that standard binary has provably no worse locality than any Gray encoding, including binary reflected Gray. We discuss this result in the context of previous studies that found binary reflected Gray to outperform standard binary, and we argue that locality cannot be the explanation for strong performance. Finally, we provide empirical evidence that weak point locality representations can be beneficial to performance in the exploration phase of the GEA, while strong point locality representations are more beneficial in the exploitation phase. | 翻訳日:2022-11-07 12:02:52 公開日:2020-10-28 |
| # 固定点投影(RED-PRO)による正規化 Regularization by Denoising via Fixed-Point Projection (RED-PRO) ( http://arxiv.org/abs/2008.00226v2 ) ライセンス: Link先を確認 | Regev Cohen, Michael Elad and Peyman Milanfar | (参考訳) 画像処理における逆問題は通常、データ忠実度と正規化項の安定化からなる最適化タスクとして扱われる。
最近の大きな関心の正規化戦略は、変速エンジンの力を利用する。
このような方法にはpnp(plug-and-play prior)とred(re regularization by denoising)がある。
どちらも様々な回復作業における最先端の結果を示しているが、理論上の正当化は不完全である。
本稿では、REDとPnPの橋渡しを目標とし、両方のフレームワークの理解を深める。
そこで我々は, RED を凸最適化問題として, RED-PRO をデミコントラクティブデノイザの固定点集合上に投影する。
そこで我々は, pnp 近位勾配法が red-pro の特別な場合であることを示すとともに, 両フレームワークのグローバル最適解への収束の保証を提供する。
さらに, RED-PRO の緩和により, 有限点集合でデノイザを扱えるようにした。
最後に、画像劣化と超解像のタスクに対してRED-PROを実証し、オリジナルのREDフレームワークに関して改善された結果を示す。 Inverse problems in image processing are typically cast as optimization tasks, consisting of data-fidelity and stabilizing regularization terms. A recent regularization strategy of great interest utilizes the power of denoising engines. Two such methods are the Plug-and-Play Prior (PnP) and Regularization by Denoising (RED). While both have shown state-of-the-art results in various recovery tasks, their theoretical justification is incomplete. In this paper, we aim to bridge between RED and PnP, enriching the understanding of both frameworks. Towards that end, we reformulate RED as a convex optimization problem utilizing a projection (RED-PRO) onto the fixed-point set of demicontractive denoisers. We offer a simple iterative solution to this problem, by which we show that PnP proximal gradient method is a special case of RED-PRO, while providing guarantees for the convergence of both frameworks to globally optimal solutions. In addition, we present relaxations of RED-PRO that allow for handling denoisers with limited fixed-point sets. Finally, we demonstrate RED-PRO for the tasks of image deblurring and super-resolution, showing improved results with respect to the original RED framework. | 翻訳日:2022-11-04 01:04:23 公開日:2020-10-28 |
| # 不確実性比較クエリによるアクティブ分類 Active Classification with Uncertainty Comparison Queries ( http://arxiv.org/abs/2008.00645v2 ) ライセンス: Link先を確認 | Zhenghang Cui, Issei Sato | (参考訳) 対話的にバイナリ分類器を学習するクエリ全体の複雑さを改善するために、ペアワイズ比較フィードバックが組み込まれている。
データポイントのペアを考えると、より肯定的である可能性が高いフィードバックを提供するために、textit{positivity comparison oracle} が使用される。
このオラクルだけで正確なラベルを推測することは不可能であり、分類しきい値を知ることなく、既存のメソッドは、データポイントを与えられたラベルに直接答える従来の \textit{explicit labeling oracle} に依存している。
既存の方法はすべてのデータポイントをソートし、明示的なラベル付けオラクルを使用して分類しきい値を見つける。
しかし,現在の手法では,(1)ラベル推論の不要なソートが必要であり,(2)クイックソートがノイズフィードバックに適応し,実用性能に悪影響を及ぼすという欠点がある。
この非効率を回避し、分類しきい値の情報を入手するために、不確実性に関する新しいペアワイズ比較オラクルを提案する。
このオラクルは2つのデータポイントを、高い不確実性を持つ入力と答えとして受け取る。
そこで我々は,提案したオラクルと肯定的比較オラクルを用いた適応ラベリングアルゴリズムを提案する。
さらに,提案するアルゴリズムをアクティブラーニングアルゴリズムにプラグインすることで処理可能なデータセットサイズに対して,ラベリング予算が不十分な状況にも対処する。
さらに,提案するオラクルの実現可能性と提案アルゴリズムの性能を理論的,実証的に検証する。 Noisy pairwise comparison feedback has been incorporated to improve the overall query complexity of interactively learning binary classifiers. The \textit{positivity comparison oracle} is used to provide feedback on which is more likely to be positive given a pair of data points. Because it is impossible to infer accurate labels using this oracle alone \textit{without knowing the classification threshold}, existing methods still rely on the traditional \textit{explicit labeling oracle}, which directly answers the label given a data point. Existing methods conduct sorting on all data points and use explicit labeling oracle to find the classification threshold. The current methods, however, have two drawbacks: (1) they needs unnecessary sorting for label inference; (2) quick sort is naively adapted to noisy feedback and negatively affects practical performance. In order to avoid this inefficiency and acquire information of the classification threshold, we propose a new pairwise comparison oracle concerning uncertainties. This oracle receives two data points as input and answers which one has higher uncertainty. We then propose an efficient adaptive labeling algorithm using the proposed oracle and the positivity comparison oracle. In addition, we also address the situation where the labeling budget is insufficient compared to the dataset size, which can be dealt with by plugging the proposed algorithm into an active learning algorithm. Furthermore, we confirm the feasibility of the proposed oracle and the performance of the proposed algorithm theoretically and empirically. | 翻訳日:2022-11-03 05:47:41 公開日:2020-10-28 |
| # Proof-Carrying Plans: AIプランニングのためのリソース論理 Proof-Carrying Plans: a Resource Logic for AI Planning ( http://arxiv.org/abs/2008.04165v2 ) ライセンス: Link先を確認 | Alasdair Hill, Ekaterina Komendantskaya, Ronald P. A. Petrick | (参考訳) AI検証と説明可能なAIの最近の傾向は、AI計画技術を検証することができるかどうかという疑問を提起している。
本稿では,AIプランナが作成した計画の検証に使用できる新しい資源論理,Proof Carrying Plans (PCP) ロジックを提案する。
PCPロジックは、既存のリソースロジック(線形論理や分離論理など)や、状態のモデリングやリソース対応プランの実行に関して、Hoareロジックからインスピレーションを得ている。
また、機能としての計画、型としての事前およびポストコンディションの扱いにおいて、論理に対するカレーホワードのアプローチにも乗じている。
本稿は2つの主な結果を示す。
理論的な観点からは、PCP論理はAI計画で使用される標準的な世界意味論と比較して健全であることを示す。
実用の観点からは,PCP論理の完全形式化とその健全性証明について述べる。
さらに、aiプランを自動的にagdaの証明に解析するライブラリを補足することで、この実装のカレーホワード(機能的)な価値を提示する。
このライブラリと結果のAgda関数の評価を行う。 Recent trends in AI verification and Explainable AI have raised the question of whether AI planning techniques can be verified. In this paper, we present a novel resource logic, the Proof Carrying Plans (PCP) logic that can be used to verify plans produced by AI planners. The PCP logic takes inspiration from existing resource logics (such as Linear logic and Separation logic) as well as Hoare logic when it comes to modelling states and resource-aware plan execution. It also capitalises on the Curry-Howard approach to logics, in its treatment of plans as functions and plan pre- and post-conditions as types. This paper presents two main results. From the theoretical perspective, we show that the PCP logic is sound relative to the standard possible world semantics used in AI planning. From the practical perspective, we present a complete Agda formalisation of the PCP logic and of its soundness proof. Moreover, we showcase the Curry-Howard, or functional, value of this implementation by supplementing it with the library that parses AI plans into Agda's proofs automatically. We provide evaluation of this library and the resulting Agda functions. | 翻訳日:2022-10-31 23:32:20 公開日:2020-10-28 |
| # ゼロショット多言語翻訳としてのパラフレーズ生成:語彙と構文の多様性から意味的類似性を引き離す Paraphrase Generation as Zero-Shot Multilingual Translation: Disentangling Semantic Similarity from Lexical and Syntactic Diversity ( http://arxiv.org/abs/2008.04935v2 ) ライセンス: Link先を確認 | Brian Thompson and Matt Post | (参考訳) 近年の研究では、多言語ニューラルマシン翻訳(nmt)モデルを使用して、ある文が同じ言語で別の文をパラフレージングするかを判断できることが示されている(thompson and post, 2020)。
本稿では,入力に存在するn-gramの生成を阻害する単純なパラフレーズ生成アルゴリズムを提案する。
一つの多言語NMTモデルから多くの言語でパラフレーズ生成が可能となる。
さらに、入力と出力の間の語彙の多様性の量を生成時に制御することができる。
本手法は,英語合成パラフレーズデータベースであるparabank 2 (hu et al., 2019c) で訓練されたパラフレーズと人間による評価を行い,語彙多様性の同じレベルにおいて,意味を保存し,よりグラマティックなパラフレーズを生成することを見出した。
我々のアプローチは2つの非英語言語でも機能することを示した。 Recent work has shown that a multilingual neural machine translation (NMT) model can be used to judge how well a sentence paraphrases another sentence in the same language (Thompson and Post, 2020); however, attempting to generate paraphrases from such a model using standard beam search produces trivial copies or near copies. We introduce a simple paraphrase generation algorithm which discourages the production of n-grams that are present in the input. Our approach enables paraphrase generation in many languages from a single multilingual NMT model. Furthermore, the amount of lexical diversity between the input and output can be controlled at generation time. We conduct a human evaluation to compare our method to a paraphraser trained on the large English synthetic paraphrase database ParaBank 2 (Hu et al., 2019c) and find that our method produces paraphrases that better preserve meaning and are more gramatical, for the same level of lexical diversity. Additional smaller human assessments demonstrate our approach also works in two non-English languages. | 翻訳日:2022-10-31 11:27:21 公開日:2020-10-28 |
| # 今後の展望 Pursuing a Prospective Perspective ( http://arxiv.org/abs/2009.00707v2 ) ライセンス: Link先を確認 | Steven Kearnes | (参考訳) 予測モデルのふりかえりテストは、モデルをデプロイする現実世界のコンテキストを考慮しない。
一方、予測検証は、訓練されたモデルを取り入れ、再現性に影響を与える主観的な決定を考慮し、データ生成プロセス間で有意義な比較を可能にする。
予測実験はモデリングの一貫した進歩に不可欠である。 Retrospective testing of predictive models does not consider the real-world context in which models are deployed. Prospective validation, on the other hand, enables meaningful comparisons between data generation processes by incorporating trained models and considering the subjective decisions that affect reproducibility. Prospective experiments are essential for consistent progress in modeling. | 翻訳日:2022-10-24 21:54:37 公開日:2020-10-28 |
| # Gravilon: 機械学習への新しいグラディエントDescent法の応用 Gravilon: Applications of a New Gradient Descent Method to Machine Learning ( http://arxiv.org/abs/2008.11370v2 ) ライセンス: Link先を確認 | Chad Kelterborn, Marcin Mazur, and Bogdan V. Petrenko | (参考訳) 勾配降下アルゴリズムはニュートン法の導入以来無数の応用に使われてきた。
ニューラルネットワークの応用数の爆発的な増加は、効率と精度の両面で標準勾配降下法を改善するために近年再エネルギー化されている。
これらの方法はパラメータの値を更新する際の勾配の影響を変更する。
これらの変更は、しばしばハイパーパラメータを含む:プログラムの開始時に値が指定されなければならない追加の変数。
下記のように、グラビロンと呼ばれる新しい勾配降下アルゴリズムを提供し、超曲面の幾何学を用いて勾配の方向におけるステップの長さを変化させる。
ニューラルネットを用いて,mnist桁分類におけるグラビロン法と一般的な勾配降下アルゴリズムの精度と効率を比較した有望な実験結果を提供する。 Gradient descent algorithms have been used in countless applications since the inception of Newton's method. The explosion in the number of applications of neural networks has re-energized efforts in recent years to improve the standard gradient descent method in both efficiency and accuracy. These methods modify the effect of the gradient in updating the values of the parameters. These modifications often incorporate hyperparameters: additional variables whose values must be specified at the outset of the program. We provide, below, a novel gradient descent algorithm, called Gravilon, that uses the geometry of the hypersurface to modify the length of the step in the direction of the gradient. Using neural networks, we provide promising experimental results comparing the accuracy and efficiency of the Gravilon method against commonly used gradient descent algorithms on MNIST digit classification. | 翻訳日:2022-10-24 20:52:54 公開日:2020-10-28 |
| # ロジスティック回帰入門 Introduction to logistic regression ( http://arxiv.org/abs/2008.13567v2 ) ライセンス: Link先を確認 | Moo K. Chung | (参考訳) 脳画像における多重比較補正に基づく確率場理論では、確率場の超越分布を計算することがしばしば必要となる。
残念ながら、ランダムフィールドの上限分布の計算は簡単ではなく、実データでは正しくないかもしれない多くの分布仮定を満たす必要がある。
したがって、p-値を計算するのに必要な従来の統計的仮説テストパラダイムを使用しない別のフレームワークを考える必要がある。
これはモチベーションとして、p値の計算を必要とせず、なおも脳ネットワークの違いの領域をローカライズできるロジスティック回帰と呼ばれる別のアプローチを用いることができる。
事前選択された特徴ベクトルを分類しようとする他の判別法や分類法とは異なり、この方法は事前選択された特徴ベクトルを必要とせず、各エッジレベルで分類を行う。 For random field theory based multiple comparison corrections In brain imaging, it is often necessary to compute the distribution of the supremum of a random field. Unfortunately, computing the distribution of the supremum of the random field is not easy and requires satisfying many distributional assumptions that may not be true in real data. Thus, there is a need to come up with a different framework that does not use the traditional statistical hypothesis testing paradigm that requires to compute p-values. With this as a motivation, we can use a different approach called the logistic regression that does not require computing the p-value and still be able to localize the regions of brain network differences. Unlike other discriminant and classification techniques that tried to classify preselected feature vectors, the method here does not require any preselected feature vectors and performs the classification at each edge level. | 翻訳日:2022-10-24 01:56:43 公開日:2020-10-28 |
| # 個別化されたリコースを超えて:行動可能なリコースの解釈可能でインタラクティブなサマリ Beyond Individualized Recourse: Interpretable and Interactive Summaries of Actionable Recourses ( http://arxiv.org/abs/2009.07165v3 ) ライセンス: Link先を確認 | Kaivalya Rawal, Himabindu Lakkaraju | (参考訳) 予測モデルがハイテイクな意思決定に展開される傾向にあるため、影響を受けた個人に会話を提供するアルゴリズムの開発に多くの関心が寄せられている。
このようなツールの開発は重要だが、予測モデルを分析、解釈することがさらに重要であり、それが現実世界に展開する前に、それが意味があり差別的でないことを確実にするために徹底的に検証する。
この目的のために,本研究では,グローバルな対実的説明を構築するために,Actionable Recourse Summaries (AReS) と呼ばれる新しいモデル非依存フレームワークを提案する。
我々は,リコースの正しさと説明の解釈可能性を同時に最適化する新しい目的を定式化し,全体のリコースコストを最小化する。
より具体的には、我々の目的は、データ内の適切に定義されたサブポピュレーションに対するリコースをキャプチャする少数のコンパクトルールセットにおいて、リコースの正確性に関する最適性を保証することで、学習を可能にする。
また,従来提案されていた個人向け談話生成手法が,フレームワークの特別な事例であることも理論的に実証した。
実世界のデータセットとユーザスタディによる実験的評価により、我々のフレームワークは、あらゆるブラックボックスモデルに対応するリコースの包括的な概要を意思決定者に提供でき、その結果、望ましくないモデルのバイアスや差別を検出するのに役立ちます。 As predictive models are increasingly being deployed in high-stakes decision-making, there has been a lot of interest in developing algorithms which can provide recourses to affected individuals. While developing such tools is important, it is even more critical to analyse and interpret a predictive model, and vet it thoroughly to ensure that the recourses it offers are meaningful and non-discriminatory before it is deployed in the real world. To this end, we propose a novel model agnostic framework called Actionable Recourse Summaries (AReS) to construct global counterfactual explanations which provide an interpretable and accurate summary of recourses for the entire population. We formulate a novel objective which simultaneously optimizes for correctness of the recourses and interpretability of the explanations, while minimizing overall recourse costs across the entire population. More specifically, our objective enables us to learn, with optimality guarantees on recourse correctness, a small number of compact rule sets each of which capture recourses for well defined subpopulations within the data. We also demonstrate theoretically that several of the prior approaches proposed to generate recourses for individuals are special cases of our framework. Experimental evaluation with real world datasets and user studies demonstrate that our framework can provide decision makers with a comprehensive overview of recourses corresponding to any black box model, and consequently help detect undesirable model biases and discrimination. | 翻訳日:2022-10-18 05:40:05 公開日:2020-10-28 |
| # 美味しいバーガー、ソギーフライ:アスペクトベース感性分析におけるアスペクトロバストネスの探索 Tasty Burgers, Soggy Fries: Probing Aspect Robustness in Aspect-Based Sentiment Analysis ( http://arxiv.org/abs/2009.07964v4 ) ライセンス: Link先を確認 | Xiaoyu Xing, Zhijing Jin, Di Jin, Bingning Wang, Qi Zhang, and Xuanjing Huang | (参考訳) アスペクトベースの感情分析(ABSA)は、テキストの特定の側面に対する感情を予測することを目的としている。
しかし、既存のABSAテストセットは、モデルが対象のアスペクトの感情を非ターゲットのアスペクトと区別できるかどうかを調査するために使用できない。
この問題を解決するために,ABSAテストセットを充実させるシンプルな,効果的な手法を開発した。
具体的には、対象の側面の感情から対象でない側面の矛盾する感情を解き放つための新しい例を生成する。
SemEval 2014データセットに基づいて、ABSAモデルのアスペクトロバスト性に関する包括的調査として、アスペクトロバストネステストセット(ARTS)を構築した。
ARTSのデータの92%以上は、人間の評価によって、あらゆる面において高い頻度と望ましい感情を示している。
ARTSを用いて9つのABSAモデルの堅牢性を解析し、その精度が69.73%まで低下するのを驚くほど観察する。
アスペクトロバスト性を改善するいくつかの方法を模索し、敵のトレーニングがARTSのモデルの性能を最大32.85%向上させることを発見した。
私たちのコードと新しいテストセットはhttps://github.com/zhijing-jin/arts_testsetで利用可能です。 Aspect-based sentiment analysis (ABSA) aims to predict the sentiment towards a specific aspect in the text. However, existing ABSA test sets cannot be used to probe whether a model can distinguish the sentiment of the target aspect from the non-target aspects. To solve this problem, we develop a simple but effective approach to enrich ABSA test sets. Specifically, we generate new examples to disentangle the confounding sentiments of the non-target aspects from the target aspect's sentiment. Based on the SemEval 2014 dataset, we construct the Aspect Robustness Test Set (ARTS) as a comprehensive probe of the aspect robustness of ABSA models. Over 92% data of ARTS show high fluency and desired sentiment on all aspects by human evaluation. Using ARTS, we analyze the robustness of nine ABSA models, and observe, surprisingly, that their accuracy drops by up to 69.73%. We explore several ways to improve aspect robustness, and find that adversarial training can improve models' performance on ARTS by up to 32.85%. Our code and new test set are available at https://github.com/zhijing-jin/ARTS_TestSet | 翻訳日:2022-10-17 23:27:48 公開日:2020-10-28 |
| # MDLフレームワークを用いた原子ノルムによる雑音からの低域行列復元 Low-Rank Matrix Recovery from Noise via an MDL Framework-based Atomic Norm ( http://arxiv.org/abs/2009.08297v2 ) ライセンス: Link先を確認 | Anyong Qin, Lina Xian, Yongliang Yang, Taiping Zhang, and Yuan Yan Tang | (参考訳) スパースノイズ/アウトリアーで破損したクリーンデータの下位低ランク構造の回復が注目されている。
しかし、多くの低レベルの視覚問題では、基底構造の正確な目標ランクとスパース異常値の特定の位置と値が分かっていない。
したがって, 従来の手法では, 低ランク成分とスパース成分を完全に分離することはできない。
そこで本研究では,これらの制限を克服するために,最小記述長(MDL)原理と原子ノルムを用いる。
まず、原子ノルムを用いて、低ランク項とスパース項の全ての候補原子を見つけ、次にモデルの記述長を最小化し、低ランク項とスパース行列の適切な原子をそれぞれ選択する。
提案手法は, 観察回数が限られている場合や腐敗率が高い場合においても, 最先端手法よりも高い成功率が得られることを示す。
合成データと実センシング(高ダイナミックレンジイメージング,バックグラウンドモデリング,ノイズ除去,シャドー)を用いた実験により,提案手法の有効性,ロバスト性,効率性を実証した。 The recovery of the underlying low-rank structure of clean data corrupted with sparse noise/outliers is attracting increasing interest. However, in many low-level vision problems, the exact target rank of the underlying structure and the particular locations and values of the sparse outliers are not known. Thus, the conventional methods cannot separate the low-rank and sparse components completely, especially in the case of gross outliers or deficient observations. Therefore, in this study, we employ the minimum description length (MDL) principle and atomic norm for low-rank matrix recovery to overcome these limitations. First, we employ the atomic norm to find all the candidate atoms of low-rank and sparse terms, and then we minimize the description length of the model in order to select the appropriate atoms of low-rank and the sparse matrices, respectively. Our experimental analyses show that the proposed approach can obtain a higher success rate than the state-of-the-art methods, even when the number of observations is limited or the corruption ratio is high. Experimental results utilizing synthetic data and real sensing applications (high dynamic range imaging, background modeling, removing noise and shadows) demonstrate the effectiveness, robustness and efficiency of the proposed method. | 翻訳日:2022-10-17 11:48:07 公開日:2020-10-28 |
| # 付加型分類網によるMRI脳腫瘍分離の促進 Enhancing MRI Brain Tumor Segmentation with an Additional Classification Network ( http://arxiv.org/abs/2009.12111v2 ) ライセンス: Link先を確認 | Hieu T. Nguyen, Tung T. Le, Thang V. Nguyen, Nhan T. Nguyen | (参考訳) 脳腫瘍のセグメンテーションは、医療画像解析において重要な役割を果たす。
近年の研究では, 深層畳み込みニューラルネットワーク (DCNN) は, 腫瘍のセグメンテーション課題に取り組む上で極めて強力である。
本稿では,ネットワークに新たな分類枝を追加することにより,セグメンテーション結果を向上させる新しい訓練手法を提案する。
ネットワーク全体のトレーニングは、multimodal brain tumor segmentation challenge (brats) 2020 training datasetで行われている。
ブラッツの検証セットでは、造影腫瘍、腫瘍全体、腫瘍コアについて平均78.43%、89.99%、84.22%のdiceスコアを達成した。 Brain tumor segmentation plays an essential role in medical image analysis. In recent studies, deep convolution neural networks (DCNNs) are extremely powerful to tackle tumor segmentation tasks. We propose in this paper a novel training method that enhances the segmentation results by adding an additional classification branch to the network. The whole network was trained end-to-end on the Multimodal Brain Tumor Segmentation Challenge (BraTS) 2020 training dataset. On the BraTS's validation set, it achieved an average Dice score of 78.43%, 89.99%, and 84.22% respectively for the enhancing tumor, the whole tumor, and the tumor core. | 翻訳日:2022-10-14 23:15:44 公開日:2020-10-28 |
| # BERTを用いたペルシア語単語分割補正とゼロ幅非線形認識 Joint Persian Word Segmentation Correction and Zero-Width Non-Joiner Recognition Using BERT ( http://arxiv.org/abs/2010.00287v2 ) ライセンス: Link先を確認 | Ehsan Doostmohammadi, Minoo Nassajian, Adel Rahimi | (参考訳) 単語はペルシャ文字体系に適切に区分されるが、実際にはこれらの表記規則は無視されることが多く、単一の単語が不一致に書かれ、複数の単語が白いスペースなしで書かれる。
本稿では,ペルシャ語における単語セグメンテーションとゼロ幅ノンジョイント(ZWNJ)認識の問題に対処し,シーケンスラベリング問題として共同でアプローチする。
高難易度500文の注意深く収集したコーパスにおいて,マクロ平均f1スコア92.40%を達成した。 Words are properly segmented in the Persian writing system; in practice, however, these writing rules are often neglected, resulting in single words being written disjointedly and multiple words written without any white spaces between them. This paper addresses the problems of word segmentation and zero-width non-joiner (ZWNJ) recognition in Persian, which we approach jointly as a sequence labeling problem. We achieved a macro-averaged F1-score of 92.40% on a carefully collected corpus of 500 sentences with a high level of difficulty. | 翻訳日:2022-10-12 08:01:56 公開日:2020-10-28 |
| # HeroからZ\'eroeへ:低レベル敵攻撃のベンチマーク From Hero to Z\'eroe: A Benchmark of Low-Level Adversarial Attacks ( http://arxiv.org/abs/2010.05648v2 ) ライセンス: Link先を確認 | Steffen Eger and Yannik Benz | (参考訳) 敵攻撃は、機械を騙すために設計されたが人間ではない機械学習分類器の入力に対するラベル保存の修正である。
自然言語処理(NLP)は主に、入力テキストのパラフレーズ化のような高度な攻撃シナリオに焦点を当てている。
ソーシャルメディアのような一般的なアプリケーションシナリオでは現実的ではなく、文字レベルに対する低レベルな攻撃に焦点を当てている、と我々は主張する。
人間の認知能力と人間の堅牢性から導かれ,Z'eroeを疑うような,視覚的および音声的敵対者を含む9つの異なる攻撃モードを含む,最初の大規模対人攻撃のカタログとベンチマークを提案する。
現在NLPのワークホースであるRoBERTaが攻撃に失敗していることを示す。
我々のデータセットは、将来のより人間らしいNLPモデルの堅牢性をテストするためのベンチマークを提供する。 Adversarial attacks are label-preserving modifications to inputs of machine learning classifiers designed to fool machines but not humans. Natural Language Processing (NLP) has mostly focused on high-level attack scenarios such as paraphrasing input texts. We argue that these are less realistic in typical application scenarios such as in social media, and instead focus on low-level attacks on the character-level. Guided by human cognitive abilities and human robustness, we propose the first large-scale catalogue and benchmark of low-level adversarial attacks, which we dub Z\'eroe, encompassing nine different attack modes including visual and phonetic adversaries. We show that RoBERTa, NLP's current workhorse, fails on our attacks. Our dataset provides a benchmark for testing robustness of future more human-like NLP models. | 翻訳日:2022-10-08 06:50:17 公開日:2020-10-28 |
| # 教師なしモデル適応によるモデルベースポリシー最適化 Model-based Policy Optimization with Unsupervised Model Adaptation ( http://arxiv.org/abs/2010.09546v2 ) ライセンス: Link先を確認 | Jian Shen, Han Zhao, Weinan Zhang, Yong Yu | (参考訳) モデルに基づく強化学習手法は、実データを環境からサンプリングしたダイナミクスモデルを学び、それを利用してエージェントを導出するシミュレーションデータを生成する。
しかしながら、シミュレーションデータと実データとの分散ミスマッチの可能性から、パフォーマンスが低下する可能性がある。
この分散ミスマッチの削減に多くの労力が費やされているにもかかわらず、既存のメソッドは明示的に解決することができない。
本稿では,不正確なモデル推定による実データとシミュレーションデータのギャップを埋めて,より良い政策最適化を行う方法について検討する。
まず、期待したリターンの低いバウンダリを導出し、シミュレーションおよび実データ分布を整列させることにより、自然界最大化アルゴリズムを導出する。
本研究では,実データとシミュレーションデータから特徴分布間の積分確率メトリック(ipm)を最小化するために教師なしモデル適応を導入する,新しいモデルベース強化学習フレームワークampoを提案する。
我々のフレームワークをWasserstein-1距離で検証することは、実用的なモデルベースのアプローチをもたらす。
経験的に、本手法は連続制御ベンチマークタスクのサンプル効率の観点から最先端の性能を実現する。 Model-based reinforcement learning methods learn a dynamics model with real data sampled from the environment and leverage it to generate simulated data to derive an agent. However, due to the potential distribution mismatch between simulated data and real data, this could lead to degraded performance. Despite much effort being devoted to reducing this distribution mismatch, existing methods fail to solve it explicitly. In this paper, we investigate how to bridge the gap between real and simulated data due to inaccurate model estimation for better policy optimization. To begin with, we first derive a lower bound of the expected return, which naturally inspires a bound maximization algorithm by aligning the simulated and real data distributions. To this end, we propose a novel model-based reinforcement learning framework AMPO, which introduces unsupervised model adaptation to minimize the integral probability metric (IPM) between feature distributions from real and simulated data. Instantiating our framework with Wasserstein-1 distance gives a practical model-based approach. Empirically, our approach achieves state-of-the-art performance in terms of sample efficiency on a range of continuous control benchmark tasks. | 翻訳日:2022-10-05 20:11:24 公開日:2020-10-28 |
| # 分散確率バンディットに対するベイズアルゴリズム Bayesian Algorithms for Decentralized Stochastic Bandits ( http://arxiv.org/abs/2010.10569v2 ) ライセンス: Link先を確認 | Anusha Lalitha and Andrea Goldsmith | (参考訳) ネットワーク上で接続されたK$アームとN$エージェントを用いた分散協調型マルチエージェントマルチアームバンド問題について検討した。
我々のモデルでは、各アームの報酬分布は全てのエージェントで同じであり、報酬はエージェントや時間経過とともに独立して引き出される。
各ラウンドでは、エージェントがプレーする腕を選択し、次に隣人にメッセージを送信する。
目標は、ネットワーク全体の平均的な累積的後悔を最小限にすることである。
本稿では,単一エージェントのベイジアンバンディットアルゴリズムを分散設定に拡張した分散ベイジアンマルチアームドバンディットフレームワークを提案する。
具体的には,既存のベイズアルゴリズムと組み合わせることができる情報同化アルゴリズムについて検討し,これを用いて,分散トンプソンサンプリングアルゴリズムと分散ベイズUCBアルゴリズムを提案する。
ベルヌーイ報酬の下で,分散型トンプソンサンプリングアルゴリズムを解析し,累積的後悔に対する問題依存上界を確立する。
後悔は時間軸上で対数的にスケールし、最適な集中型エージェントの値とネットワーク全体のすべての観測値と一致する定数を示す。
また,ネットワーク構造における累積的後悔を特徴付ける分析を行った。
広範な数値的な研究を通して、トンプソンサンプリングとベイズUCBの拡張は、アッパー信頼境界アルゴリズムにインスパイアされた最先端のアルゴリズムよりも累積的後悔の少ないことを示す。
提案する分散トンプソンサンプリングをゴシッププロトコルで実装し,各通信リンクに障害の確率が一定である時間変動ネットワーク上で実装する。 We study a decentralized cooperative multi-agent multi-armed bandit problem with $K$ arms and $N$ agents connected over a network. In our model, each arm's reward distribution is same for all agents, and rewards are drawn independently across agents and over time steps. In each round, agents choose an arm to play and subsequently send a message to their neighbors. The goal is to minimize cumulative regret averaged over the entire network. We propose a decentralized Bayesian multi-armed bandit framework that extends single-agent Bayesian bandit algorithms to the decentralized setting. Specifically, we study an information assimilation algorithm that can be combined with existing Bayesian algorithms, and using this, we propose a decentralized Thompson Sampling algorithm and decentralized Bayes-UCB algorithm. We analyze the decentralized Thompson Sampling algorithm under Bernoulli rewards and establish a problem-dependent upper bound on the cumulative regret. We show that regret incurred scales logarithmically over the time horizon with constants that match those of an optimal centralized agent with access to all observations across the network. Our analysis also characterizes the cumulative regret in terms of the network structure. Through extensive numerical studies, we show that our extensions of Thompson Sampling and Bayes-UCB incur lesser cumulative regret than the state-of-art algorithms inspired by the Upper Confidence Bound algorithm. We implement our proposed decentralized Thompson Sampling under gossip protocol, and over time-varying networks, where each communication link has a fixed probability of failure. | 翻訳日:2022-10-05 06:18:55 公開日:2020-10-28 |
| # 摂動リーマン確率再帰勾配による多様体上のエスケープサドル点の高速化 Escape saddle points faster on manifolds via perturbed Riemannian stochastic recursive gradient ( http://arxiv.org/abs/2010.12191v2 ) ライセンス: Link先を確認 | Andi Han, Junbin Gao | (参考訳) 本稿では,単純摂動を用いて二次収束保証と脱出サドル点を実現するリーマン確率的再帰的勾配手法の変種を提案する。
この考え方は、勾配が小さいときに反復を摂動させ、接空間上で確率的再帰的な勾配更新を行う。
これはリーマン幾何学の複雑さを避ける。
有限サム設定下では、アルゴリズムは$(\epsilon, \delta)$-second-order 臨界点を求めるために$\widetilde{\mathcal{o}}\big( \frac{ \sqrt{n}}{\epsilon^2} + \frac{\sqrt{n} }{\delta^4} + \frac{n}{\delta^3}\big)$ 確率的勾配クエリを要求する。
これは摂動リーマン勾配降下の複雑さを厳密に改善し、大きなサンプル設定下で摂動リーマン加速度勾配降下よりも優れている。
また、オンライン最適化のために、$\widetilde{\mathcal{O}} \big( \frac{1}{\epsilon^3} + \frac{1}{\delta^3 \epsilon^2} + \frac{1}{\delta^4 \epsilon} \big)$の複雑さも提供する。 In this paper, we propose a variant of Riemannian stochastic recursive gradient method that can achieve second-order convergence guarantee and escape saddle points using simple perturbation. The idea is to perturb the iterates when gradient is small and carry out stochastic recursive gradient updates over tangent space. This avoids the complication of exploiting Riemannian geometry. We show that under finite-sum setting, our algorithm requires $\widetilde{\mathcal{O}}\big( \frac{ \sqrt{n}}{\epsilon^2} + \frac{\sqrt{n} }{\delta^4} + \frac{n}{\delta^3}\big)$ stochastic gradient queries to find a $(\epsilon, \delta)$-second-order critical point. This strictly improves the complexity of perturbed Riemannian gradient descent and is superior to perturbed Riemannian accelerated gradient descent under large-sample settings. We also provide a complexity of $\widetilde{\mathcal{O}} \big( \frac{1}{\epsilon^3} + \frac{1}{\delta^3 \epsilon^2} + \frac{1}{\delta^4 \epsilon} \big)$ for online optimization, which is novel on Riemannian manifold in terms of second-order convergence using only first-order information. | 翻訳日:2022-10-04 00:04:58 公開日:2020-10-28 |
| # 予め訓練した凝縮蒸留 Pre-trained Summarization Distillation ( http://arxiv.org/abs/2010.13002v2 ) ライセンス: Link先を確認 | Sam Shleifer and Alexander M. Rush | (参考訳) 大規模な事前学習型トランスフォーマーモデルを用いた最近の要約手法
これらのモデルをより小さな学生モデルに蒸留することは実用上非常に重要であるが、nlp文献では様々な蒸留方法が提案されている。
近年の分類・回帰作業におけるBERT蒸留の研究は, 直接的知識蒸留による高い性能を示している。
あるいは、機械翻訳の実践者は擬似ラベルを用いて蒸留し、小さなモデルをより大きなモデルの翻訳に基づいて訓練する。
第三に、より単純なアプローチは'shrink and fine-tune' (SFT) であり、より小さな学生モデルにパラメータをコピーして微調整することで明確な蒸留を避ける。
ペガサスとバートの蒸留,現在の技術,事前訓練された要約モデルを比較し,sftがcnn/dailymailデータセットの知識蒸留と疑似ラベルよりも優れているが,より抽象的なxsumデータセットでは疑似ラベルが低くなることを見出した。
PyTorchコードとさまざまなサイズのチェックポイントは、Hugging Face Transformerを通じて提供されている。 Recent state-of-the-art approaches to summarization utilize large pre-trained Transformer models. Distilling these models to smaller student models has become critically important for practical use; however there are many different distillation methods proposed by the NLP literature. Recent work on distilling BERT for classification and regression tasks shows strong performance using direct knowledge distillation. Alternatively, machine translation practitioners distill using pseudo-labeling, where a small model is trained on the translations of a larger model. A third, simpler approach is to 'shrink and fine-tune' (SFT), which avoids any explicit distillation by copying parameters to a smaller student model and then fine-tuning. We compare these three approaches for distillation of Pegasus and BART, the current and former state of the art, pre-trained summarization models, and find that SFT outperforms knowledge distillation and pseudo-labeling on the CNN/DailyMail dataset, but under-performs pseudo-labeling on the more abstractive XSUM dataset. PyTorch Code and checkpoints of different sizes are available through Hugging Face transformers here http://tiny.cc/4iy0tz. | 翻訳日:2022-10-03 11:59:28 公開日:2020-10-28 |
| # 解釈可能性の実施とその統計的影響:正確性と解釈可能性のトレードオフ Enforcing Interpretability and its Statistical Impacts: Trade-offs between Accuracy and Interpretability ( http://arxiv.org/abs/2010.13764v2 ) ライセンス: Link先を確認 | Gintare Karolina Dziugaite, Shai Ben-David, Daniel M. Roy | (参考訳) これまで、機械学習における解釈可能性の統計的コストに関する公式な研究は行われていない。
そのため、潜在的なトレードオフに関する議論はしばしば非公式であり、誤解は多い。
本研究は,これらのトレードオフの正式な研究を開始することを目的としている。
一見不可能な障害は、解釈可能性の定義に合意されていないことである。
代わりに、視点の変化を提案します。
解釈可能性を定義するのではなく、emph{enforcing} 解釈可能性の \emph{act} をモデル化することを提案する。
出発点として、二項分類における経験的リスク最小化の設定に焦点をあて、解釈可能性を学習上の制約と見なす。
つまり、データ分布や文脈の他の側面によって解釈可能であると考えられる仮説のサブセットが与えられたと仮定する。
次に,解釈可能性の行使を,解釈可能な仮説の集合に対して経験的リスク最小化を行う行為としてモデル化する。
このモデルにより、統計的学習理論における既知の結果を用いて、解釈可能性の強制の統計的意味を推論することができる。
正確性に焦点をあててケース分析を行い,解釈可能な分類器に対する制限が過度な統計リスクを伴わない場合の正確性と解釈可能性のトレードオフを観測しうる理由を説明する。
いくつかの実例といくつかの未解決問題で締めくくっており、解釈可能性に関わるトレードオフに関するさらなる理論的発展を促すことを望んでいる。 To date, there has been no formal study of the statistical cost of interpretability in machine learning. As such, the discourse around potential trade-offs is often informal and misconceptions abound. In this work, we aim to initiate a formal study of these trade-offs. A seemingly insurmountable roadblock is the lack of any agreed upon definition of interpretability. Instead, we propose a shift in perspective. Rather than attempt to define interpretability, we propose to model the \emph{act} of \emph{enforcing} interpretability. As a starting point, we focus on the setting of empirical risk minimization for binary classification, and view interpretability as a constraint placed on learning. That is, we assume we are given a subset of hypothesis that are deemed to be interpretable, possibly depending on the data distribution and other aspects of the context. We then model the act of enforcing interpretability as that of performing empirical risk minimization over the set of interpretable hypotheses. This model allows us to reason about the statistical implications of enforcing interpretability, using known results in statistical learning theory. Focusing on accuracy, we perform a case analysis, explaining why one may or may not observe a trade-off between accuracy and interpretability when the restriction to interpretable classifiers does or does not come at the cost of some excess statistical risk. We close with some worked examples and some open problems, which we hope will spur further theoretical development around the tradeoffs involved in interpretability. | 翻訳日:2022-10-02 18:11:45 公開日:2020-10-28 |
| # qbsum:実世界アプリケーションからの大規模クエリベース文書要約データセット QBSUM: a Large-Scale Query-Based Document Summarization Dataset from Real-world Applications ( http://arxiv.org/abs/2010.14108v2 ) ライセンス: Link先を確認 | Mingjun Zhao, Shengli Yan, Bang Liu, Xinwang Zhong, Qian Hao, Haolan Chen, Di Niu, Bowei Long and Weidong Guo | (参考訳) クエリベースの文書要約は、検索クエリに直接答える、または関連する文書の要約を抽出または生成することを目的としている。
これは、検索エンジン、文書レベルの機械読解、チャットボットなど、様々なアプリケーションにとって有益な重要な技術である。
現在、クエリベースの要約用に設計されたデータセットは数が少なく、既存のデータセットもスケールと品質の両方で制限されている。
さらに,我々の知る限り,中国語クエリベースの文書要約のためのデータセットは公開されていない。
本稿では,中国語クエリに基づく文書要約作業のための49,000以上のデータサンプルからなる高品質な大規模データセットQBSUMを提案する。
また,タスクに対する教師なしおよび教師なしの複数のソリューションを提案し,オフライン実験とオンラインA/Bテストによる高速推論と優れた性能を示す。
この研究分野の今後の進歩を促進するため、QBSUMデータセットがリリースされた。 Query-based document summarization aims to extract or generate a summary of a document which directly answers or is relevant to the search query. It is an important technique that can be beneficial to a variety of applications such as search engines, document-level machine reading comprehension, and chatbots. Currently, datasets designed for query-based summarization are short in numbers and existing datasets are also limited in both scale and quality. Moreover, to the best of our knowledge, there is no publicly available dataset for Chinese query-based document summarization. In this paper, we present QBSUM, a high-quality large-scale dataset consisting of 49,000+ data samples for the task of Chinese query-based document summarization. We also propose multiple unsupervised and supervised solutions to the task and demonstrate their high-speed inference and superior performance via both offline experiments and online A/B tests. The QBSUM dataset is released in order to facilitate future advancement of this research field. | 翻訳日:2022-10-02 12:06:25 公開日:2020-10-28 |
| # リアルタイム乗客負荷予測を考慮した都市バスエネルギー管理のためのクラウド型動的プログラミング Cloud-Based Dynamic Programming for an Electric City Bus Energy Management Considering Real-Time Passenger Load Prediction ( http://arxiv.org/abs/2010.15239v1 ) ライセンス: Link先を確認 | Junzhe Shi, Bin Xu, Xingyu Zhou, Jun Hou | (参考訳) 近年は、温室効果ガスの排出が低く、騒音レベルが低いなど、都市バスの人気が高まっている。
乗用車と異なり、市内バスの重量は乗車客の量によって大きく異なり、既存の文献ではよく研究されていない。
本研究は, 平日, 日時, 天気, 気温, 風量, 休日情報を入力として利用する乗客負荷予測モデルを提案する。
乗客負荷予測では,平均モデル,回帰木,勾配ブースト決定木,ニューラルネットワークモデルを比較した。
勾配ブースト決定木モデルはその最適精度と高い安定性のために選択される。
予測された乗客負荷から、動的プログラミングアルゴリズムは、クラウドにおけるバッテリーの老朽化とエネルギー利用を最適化することにより、スーパーキャパシタとバッテリの最適電力需要を決定する。
そして、動的プログラミング結果に基づいてルール抽出を行い、そのルールを車載コントローラにリアルタイムでロードする。
乗客負荷予測を伴うクラウドベースの動的プログラミングとルール抽出フレームワークは、オフピーク時間とピーク時のバス運用コストをそれぞれ4%と11%削減している。
提案するフレームワークによる運用コストは,真の乗客負荷情報を備えた動的プログラミングの1%以下である。 Electric city bus gains popularity in recent years for its low greenhouse gas emission, low noise level, etc. Different from a passenger car, the weight of a city bus varies significantly with different amounts of onboard passengers, which is not well studied in existing literature. This study proposes a passenger load prediction model using day-of-week, time-of-day, weather, temperatures, wind levels, and holiday information as inputs. The average model, Regression Tree, Gradient Boost Decision Tree, and Neural Networks models are compared in the passenger load prediction. The Gradient Boost Decision Tree model is selected due to its best accuracy and high stability. Given the predicted passenger load, dynamic programming algorithm determines the optimal power demand for supercapacitor and battery by optimizing the battery aging and energy usage in the cloud. Then rule extraction is conducted on dynamic programming results, and the rule is real-time loaded to onboard controllers of vehicles. The proposed cloud-based dynamic programming and rule extraction framework with the passenger load prediction shows 4% and 11% fewer bus operating costs in off-peak and peak hours, respectively. The operating cost by the proposed framework is less than 1% shy of the dynamic programming with the true passenger load information. | 翻訳日:2022-10-02 06:39:26 公開日:2020-10-28 |
| # google検索とyoutubeの履歴ログからうつ病の個人を検出する Detecting Individuals with Depressive Disorder fromPersonal Google Search and YouTube History Logs ( http://arxiv.org/abs/2010.15670v1 ) ライセンス: Link先を確認 | Boyu Zhang, Anis Zaman, Rupam Acharyya, Ehsan Hoque, Vincent Silenzio, Henry Kautz | (参考訳) うつ病は世界人口の中で最も多い精神疾患の1つである。
しかし、従来のスクリーニング手法では、対人インタビューの正確化が必要であり、即時介入ができない可能性がある。
本研究では,抑うつ障害のある人を検出するために,ユビキタスな個人検索とYouTubeエンゲージメントログを活用する。
われわれはgoogle検索とyoutubeの履歴データと臨床うつ病の評価結果を212ドルの参加者から集めた(そのうち99ドルは中等度から重度のうつ病に苦しんだ)。
次に,オンライン活動の時間的・意味的側面を捉えた相互引用点プロセスに基づいて,抑うつ症状の有無を分類するパーソナライズドフレームワークを提案する。
ベストモデルでは,平均F1スコアが0.77 pm 0.04$,AUC ROCが0.81 pm 0.02$であった。 Depressive disorder is one of the most prevalent mental illnesses among the global population. However, traditional screening methods require exacting in-person interviews and may fail to provide immediate interventions. In this work, we leverage ubiquitous personal longitudinal Google Search and YouTube engagement logs to detect individuals with depressive disorder. We collected Google Search and YouTube history data and clinical depression evaluation results from $212$ participants ($99$ of them suffered from moderate to severe depressions). We then propose a personalized framework for classifying individuals with and without depression symptoms based on mutual-exciting point process that captures both the temporal and semantic aspects of online activities. Our best model achieved an average F1 score of $0.77 \pm 0.04$ and an AUC ROC of $0.81 \pm 0.02$. | 翻訳日:2022-10-02 06:38:56 公開日:2020-10-28 |
| # 異種材料変形のメタモデルにおける伝達学習の可能性を探る Exploring the potential of transfer learning for metamodels of heterogeneous material deformation ( http://arxiv.org/abs/2010.16260v1 ) ライセンス: Link先を確認 | Emma Lejeune and Bill Zhao | (参考訳) ナノスケールからマクロスケールまで、生体組織は空間的に異種である。
組織行動がよく理解されている場合でも、材料特性の正確な対象特定空間分布はよく分かっていない。
そして, 生体組織の計算モデルを開発する場合, 興味のある各問題に対する材料特性の空間分布をシミュレートすることは, 通常, 計算コストが大きすぎる。
したがって、生物学的組織の正確な計算モデルを開発する上での大きな課題の1つは、この空間的不均一性の潜在的な影響を捉えることである。
近年、機械学習に基づくメタモデルが、限られた数の直接シミュレーション実行に基づいて予測できるため、この問題を克服するための計算可能な方法として人気を集めている。
これらのメタモデルは有望であるが、許容可能な性能を達成するためには、しばしば多くの直接シミュレーションを必要とする。
ここでは、ある問題を解きながら得られた知識を別の問題を解き明かす戦略である伝達学習が、この制限を克服するのに役立つことを示す。
重要なことは、トランスファーラーニングは、異なるが関連する機械的問題を解く結果である低忠実度シミュレーションデータとシミュレーションデータの両方を利用することができる。
本稿では、大変形中の異種材料のオープンソースベンチマークデータセットであるMechanical MNISTを拡張し、CPU時間を大幅に短縮する2-4オーダーの低忠実度シミュレーション結果の選択を含む。
そして,これらの低忠実度シミュレーション結果に基づいて学習したメタモデルに蓄積された知識を伝達することで,高忠実度シミュレーションの結果を予測するメタモデルの性能を大幅に向上させることができることを示す。 From the nano-scale to the macro-scale, biological tissue is spatially heterogeneous. Even when tissue behavior is well understood, the exact subject specific spatial distribution of material properties is often unknown. And, when developing computational models of biological tissue, it is usually prohibitively computationally expensive to simulate every plausible spatial distribution of material properties for each problem of interest. Therefore, one of the major challenges in developing accurate computational models of biological tissue is capturing the potential effects of this spatial heterogeneity. Recently, machine learning based metamodels have gained popularity as a computationally tractable way to overcome this problem because they can make predictions based on a limited number of direct simulation runs. These metamodels are promising, but they often still require a high number of direct simulations to achieve an acceptable performance. Here we show that transfer learning, a strategy where knowledge gained while solving one problem is transferred to solving a different but related problem, can help overcome this limitation. Critically, transfer learning can be used to leverage both low-fidelity simulation data and simulation data that is the outcome of solving a different but related mechanical problem. In this paper, we extend Mechanical MNIST, our open source benchmark dataset of heterogeneous material undergoing large deformation, to include a selection of low-fidelity simulation results that require 2-4 orders of magnitude less CPU time to run. Then, we show that transferring the knowledge stored in metamodels trained on these low-fidelity simulation results can vastly improve the performance of metamodels used to predict the results of high-fidelity simulations. | 翻訳日:2022-10-02 06:38:41 公開日:2020-10-28 |
| # ノットの学習 Learning to Unknot ( http://arxiv.org/abs/2010.16263v1 ) ライセンス: Link先を確認 | Sergei Gukov, James Halverson, Fabian Ruehle, Piotr Su{\l}kowski | (参考訳) 我々は,結び目理論の研究に自然言語処理を導入し,結び目の編み言葉表現が自然に行うようにした。
与えられた結び目がunknotであるか否かを判定するunknot問題について検討する。
N$-crossing braidsとその結び目閉鎖をランダムに生成するアルゴリズムを記述し、結び目分布に先立って発生した問題を議論した後、UNKNOT決定問題に二項分類を適用する。
改良型および共有型QKトランスフォーマーネットワークアーキテクチャは、すべてよく機能するが、完全に接続されたネットワークよりも優れていることがわかった。
おそらく驚くべきことに、ブレイド語の長さによって精度が上昇し、ネットワークは予測の信頼度とジョーンズ多項式の次数の間に直接相関を学習する。
最後に,強化学習(rl)を用いて,ノットを単純化するマルコフ運動とブレイド関係の列を探索し,unknottingアクションのシーケンスを明示的に与えることでunknotを識別する。
trust region policy optimization (trpo) は、幅広い交差数に対して一貫して機能し、他のrlアルゴリズムやランダムウォーカーを大きく上回っている。
これらの作用を研究することで、ブレイド関係はマルコフ運動の1つよりもunknotへの単純化に有用であることが分かる。 We introduce natural language processing into the study of knot theory, as made natural by the braid word representation of knots. We study the UNKNOT problem of determining whether or not a given knot is the unknot. After describing an algorithm to randomly generate $N$-crossing braids and their knot closures and discussing the induced prior on the distribution of knots, we apply binary classification to the UNKNOT decision problem. We find that the Reformer and shared-QK Transformer network architectures outperform fully-connected networks, though all perform well. Perhaps surprisingly, we find that accuracy increases with the length of the braid word, and that the networks learn a direct correlation between the confidence of their predictions and the degree of the Jones polynomial. Finally, we utilize reinforcement learning (RL) to find sequences of Markov moves and braid relations that simplify knots and can identify unknots by explicitly giving the sequence of unknotting actions. Trust region policy optimization (TRPO) performs consistently well for a wide range of crossing numbers and thoroughly outperformed other RL algorithms and random walkers. Studying these actions, we find that braid relations are more useful in simplifying to the unknot than one of the Markov moves. | 翻訳日:2022-10-02 06:38:15 公開日:2020-10-28 |
| # SeqGANを用いたメロディ合成歌詞生成 Melody-Conditioned Lyrics Generation with SeqGANs ( http://arxiv.org/abs/2010.14709v1 ) ライセンス: Link先を確認 | Yihao Chen, Alexander Lerch | (参考訳) 自動歌詞生成は、音楽とAIコミュニティの両方から長年注目を集めてきた。
初期のルールベースのアプローチは、データ駆動モデルにおける計算能力と進化の増大により----主にディープラーニングベースのシステムに置き換えられた。
しかし、既存の多くのアプローチは、音楽や歌詞の以前の知識に大きく依存するか、メロディ的な情報とテキストとの関係を大きく捨ててタスクを単純化する。
本稿では,対応するメロディを入力とする歌詞列を生成するシーケンス生成広告ネットワーク(seqgan)に基づく,エンド・ツー・エンドのメロディ条件付き歌詞生成システムを提案する。
さらに,生成する歌詞のテーマやオーケストレートといった,追加の入力条件によるジェネレータの性能についても検討する。
入力条件が評価指標に悪影響を与えることはなく,ネットワークがより有意義な結果が得られることを示す。 Automatic lyrics generation has received attention from both music and AI communities for years. Early rule-based approaches have~---due to increases in computational power and evolution in data-driven models---~mostly been replaced with deep-learning-based systems. Many existing approaches, however, either rely heavily on prior knowledge in music and lyrics writing or oversimplify the task by largely discarding melodic information and its relationship with the text. We propose an end-to-end melody-conditioned lyrics generation system based on Sequence Generative Adversarial Networks (SeqGAN), which generates a line of lyrics given the corresponding melody as the input. Furthermore, we investigate the performance of the generator with an additional input condition: the theme or overarching topic of the lyrics to be generated. We show that the input conditions have no negative impact on the evaluation metrics while enabling the network to produce more meaningful results. | 翻訳日:2022-10-02 06:37:52 公開日:2020-10-28 |
| # 高次元推論:統計力学の観点から High-dimensional inference: a statistical mechanics perspective ( http://arxiv.org/abs/2010.14863v1 ) ライセンス: Link先を確認 | Jean Barbier | (参考訳) 統計的推論は、データからシステムに関する結論を引き出す科学である。
現代の信号処理と機械学習では、推論は非常に高次元で行われており、システムに関する非常に多くの未知の特性を高次元ノイズデータから推定する必要がある。
この「高次元の体制」は、その微視的な相互作用の知識に基づいて複雑なシステムのマクロな振る舞いを記述することを目的とした統計力学を思い起こさせる。
現在、推論と統計物理学の間には多くの関係があることは明らかである。
本稿では、統計力学の言語における高次元推論のパラダイムモデルの記述を通じて、これらの明らかに分離された分野を結び付ける深いリンクのいくつかを強調することを目的とする。
この記事は、イタリアの科学の大衆化に関する雑誌、ithacaの人工知能に関する記事に載っている。
選択されたトピックや参照は非常に偏りがあり、いかなる方法でも徹底的ではない。
その目的は、私の好みと限られた知識に対応する非常に特定の角度を通じて推論の統計力学の導入である。 Statistical inference is the science of drawing conclusions about some system from data. In modern signal processing and machine learning, inference is done in very high dimension: very many unknown characteristics about the system have to be deduced from a lot of high-dimensional noisy data. This "high-dimensional regime" is reminiscent of statistical mechanics, which aims at describing the macroscopic behavior of a complex system based on the knowledge of its microscopic interactions. It is by now clear that there are many connections between inference and statistical physics. This article aims at emphasizing some of the deep links connecting these apparently separated disciplines through the description of paradigmatic models of high-dimensional inference in the language of statistical mechanics. This article has been published in the issue on artificial intelligence of Ithaca, an Italian popularization-of-science journal. The selected topics and references are highly biased and not intended to be exhaustive in any ways. Its purpose is to serve as introduction to statistical mechanics of inference through a very specific angle that corresponds to my own tastes and limited knowledge. | 翻訳日:2022-10-02 06:37:38 公開日:2020-10-28 |
| # 大規模MIDIベースコンストラクタ分類 Large-Scale MIDI-based Composer Classification ( http://arxiv.org/abs/2010.14805v1 ) ライセンス: Link先を確認 | Qiuqiang Kong, Keunwoo Choi, Yuxuan Wang | (参考訳) 音楽の分類は、楽曲をジャンルや作曲家などのラベルに分類する作業である。
本稿では,GitanMIDI-Pianoを用いた大規模なMIDIベース作曲分類システムを提案する。
本稿では,ピアノロール,オンセットロール,速度ロールを入力表現として使用し,ディープニューラルネットワークを分類器として用いることを提案する。
私たちの知る限りでは、100人までの作曲家による作曲家分類問題を最初に調査した。
畳み込み型リカレントニューラルネットワークをモデルとして、midiベースの作曲家分類システムは、それぞれ0.648と0.385(30秒クリップで評価)と0.739と0.489(楽曲で評価)の10作曲家と100作曲者分類アキュラをそれぞれ達成する。
midiベースのコントリビュータシステムは,複数のオーディオベースベースベースライン分類システムよりも優れており,コンパクトmidi表現を用いたコントリビュータ分類の有効性を示す。 Music classification is a task to classify a music piece into labels such as genres or composers. We propose large-scale MIDI based composer classification systems using GiantMIDI-Piano, a transcription-based dataset. We propose to use piano rolls, onset rolls, and velocity rolls as input representations and use deep neural networks as classifiers. To our knowledge, we are the first to investigate the composer classification problem with up to 100 composers. By using convolutional recurrent neural networks as models, our MIDI based composer classification system achieves a 10-composer and a 100-composer classification accuracies of 0.648 and 0.385 (evaluated on 30-second clips) and 0.739 and 0.489 (evaluated on music pieces), respectively. Our MIDI based composer system outperforms several audio-based baseline classification systems, indicating the effectiveness of using compact MIDI representations for composer classification. | 翻訳日:2022-10-02 06:33:08 公開日:2020-10-28 |
| # wikipediaデータを用いたインフルエンザ様シンプトムの流行率推定法 A general method for estimating the prevalence of Influenza-Like-Symptoms with Wikipedia data ( http://arxiv.org/abs/2010.14903v1 ) ライセンス: Link先を確認 | Giovanni De Toni, Cristian Consonni, Alberto Montresor | (参考訳) インフルエンザ(Influenza)は、世界中で何百万人もの人が感染し、ヨーロッパだけで数千人が死亡する急性呼吸器疾患である。
病気が特定の国に与える影響を、迅速かつ信頼性の高い方法で推定できることは、効果的な対策を計画し、組織化するために不可欠である。
本研究では, 欧州4カ国(イタリア, ドイツ, ベルギー, オランダ)で発生したインフルエンザ様疾患の正確な推定値を得るために, ウィキペディアが選択した記事のページビューと機械学習モデルの情報を活用できる可能性を示す。
そこで本研究では,パーソナライズされたpagerankとcyclerankという2つのアルゴリズムに基づき,専門家の監督を必要とせず,監視対象の最も関連するwikipediaページを自動的に選択する新しい言語非依存手法を提案する。
そして、これまでのソリューションと比較することで、私たちのモデルが最先端の結果に到達できることを示します。 Influenza is an acute respiratory seasonal disease that affects millions of people worldwide and causes thousands of deaths in Europe alone. Being able to estimate in a fast and reliable way the impact of an illness on a given country is essential to plan and organize effective countermeasures, which is now possible by leveraging unconventional data sources like web searches and visits. In this study, we show the feasibility of exploiting information about Wikipedia's page views of a selected group of articles and machine learning models to obtain accurate estimates of influenza-like illnesses incidence in four European countries: Italy, Germany, Belgium, and the Netherlands. We propose a novel language-agnostic method, based on two algorithms, Personalized PageRank and CycleRank, to automatically select the most relevant Wikipedia pages to be monitored without the need for expert supervision. We then show how our model is able to reach state-of-the-art results by comparing it with previous solutions. | 翻訳日:2022-10-02 06:32:28 公開日:2020-10-28 |
| # 自律走行車における異常検出のための集団的認識 Collective Awareness for Abnormality Detection in Connected Autonomous Vehicles ( http://arxiv.org/abs/2010.14908v1 ) ライセンス: Link先を確認 | Divya Thekke Kanapram, Fabio Patrone, Pablo Marin-Plaza, Mario Marchese, Eliane L. Bodanese, Lucio Marcenaro, David Mart\'in G\'omez, Carlo Regazzoni | (参考訳) 現代のコネクテッドおよび自律走行車の進歩は、エージェントに自身の状態や状況のダイナミクスを認識し予測する能力を提供するツールの提供を要求する。
本稿では,知的エージェントのネットワークにおける集団意識の初期レベルを開発するための新しいアプローチを提案する。
特定の集団的自己認識機能、すなわち、ネットワーク内のエージェントの周囲の環境に存在する異常な状況を検出するエージェントについて検討する。
さらに、これらの異常が各エージェントの今後の行動にどのように影響を与えるかを分析することができるべきである。
データ駆動動的ベイズネットワーク(dbn)モデルは、タスクの実現(エージェントネットワーク経験)中に記録された一連の感覚データから学習され、異常検出と予測に使用される。
エージェントに関連するDBNのセットを使用して、ネットワーク内のエージェントが、DBNが学習されたタスクの新たなインスタンスで利用可能なモデルが使用されるときに発生する可能性のある異常を同期的に認識できるようにする。
成長するニューラルガス(GNG)アルゴリズムを用いてDBNモデルのノードをリンクするノード変数と条件確率を学習し、学習DBNをフィルタパラメータとして各エージェントの状態推定と異常検出にマルコフジャンプ粒子フィルタ(MJPF)を用いる。
アルゴリズムの信頼性と正確性を評価するために、パフォーマンスメトリクスが議論される。
また、ネットワークの各エージェントによって分散的に検知されたデータを共有するために、ネットワークが使用する通信チャネルによって影響を評価する。
IEEE 802.11pプロトコル標準はエージェント間の通信のために検討されている。
リアルデータセットは、制御された環境で異なるタスクを実行する自動運転車によっても利用されます。 The advancements in connected and autonomous vehicles in these times demand the availability of tools providing the agents with the capability to be aware and predict their own states and context dynamics. This article presents a novel approach to develop an initial level of collective awareness in a network of intelligent agents. A specific collective self awareness functionality is considered, namely, agent centered detection of abnormal situations present in the environment around any agent in the network. Moreover, the agent should be capable of analyzing how such abnormalities can influence the future actions of each agent. Data driven dynamic Bayesian network (DBN) models learned from time series of sensory data recorded during the realization of tasks (agent network experiences) are here used for abnormality detection and prediction. A set of DBNs, each related to an agent, is used to allow the agents in the network to each synchronously aware possible abnormalities occurring when available models are used on a new instance of the task for which DBNs have been learned. A growing neural gas (GNG) algorithm is used to learn the node variables and conditional probabilities linking nodes in the DBN models; a Markov jump particle filter (MJPF) is employed for state estimation and abnormality detection in each agent using learned DBNs as filter parameters. Performance metrics are discussed to asses the algorithms reliability and accuracy. The impact is also evaluated by the communication channel used by the network to share the data sensed in a distributed way by each agent of the network. The IEEE 802.11p protocol standard has been considered for communication among agents. Real data sets are also used acquired by autonomous vehicles performing different tasks in a controlled environment. | 翻訳日:2022-10-02 06:32:09 公開日:2020-10-28 |
| # マルチタスク学習による高分子インフォマティクス Polymer Informatics with Multi-Task Learning ( http://arxiv.org/abs/2010.15166v1 ) ライセンス: Link先を確認 | Christopher K\"unneth, Arunkumar Chitteth Rajan, Huan Tran, Lihua Chen, Chiho Kim, Rampi Ramprasad | (参考訳) 現代のデータ駆動ツールは、アプリケーション固有のポリマー開発サイクルを変えつつある。
新しいポリマーの性質を予測するために訓練できるサロゲートモデルが一般的になりつつある。
にもかかわらず、これらのモデルはデータセットで利用可能な知識の完全な広さを利用せず、しばしばスパースであり、異なるプロパティデータセット間の固有の相関は無視される。
本稿では,このような固有相関を効果的に活用するマルチタスク学習手法の有効性を示す。
13,000ドルを超えるポリマー(データポイント23,000ドル以上に相当する)の36の異なる特性に関するデータは統合され、ディープラーニングマルチタスクアーキテクチャに供給される。
従来のシングルタスク学習モデル(個々のプロパティデータセットで個別にトレーニングされている)と比較して、マルチタスクアプローチは正確で、効率的で、スケーラブルで、同じあるいは異なるプロパティでより多くのデータが利用可能になると、学習を転送できる。
さらに、これらのモデルは解釈可能である。
特定の特徴が特定の特性値のトレンドを制御する方法を説明する化学規則は、現在の研究から生まれ、望まれる特性や性能の目的を満たすアプリケーション固有のポリマーの合理的な設計の道を開く。 Modern data-driven tools are transforming application-specific polymer development cycles. Surrogate models that can be trained to predict the properties of new polymers are becoming commonplace. Nevertheless, these models do not utilize the full breadth of the knowledge available in datasets, which are oftentimes sparse; inherent correlations between different property datasets are disregarded. Here, we demonstrate the potency of multi-task learning approaches that exploit such inherent correlations effectively, particularly when some property dataset sizes are small. Data pertaining to 36 different properties of over $13, 000$ polymers (corresponding to over $23,000$ data points) are coalesced and supplied to deep-learning multi-task architectures. Compared to conventional single-task learning models (that are trained on individual property datasets independently), the multi-task approach is accurate, efficient, scalable, and amenable to transfer learning as more data on the same or different properties become available. Moreover, these models are interpretable. Chemical rules, that explain how certain features control trends in specific property values, emerge from the present work, paving the way for the rational design of application specific polymers meeting desired property or performance objectives. | 翻訳日:2022-10-02 06:30:56 公開日:2020-10-28 |
| # 金融時系列分類のためのデータ拡張評価 Evaluating data augmentation for financial time series classification ( http://arxiv.org/abs/2010.15111v1 ) ライセンス: Link先を確認 | Elizabeth Fons, Paula Dawson, Xiao-jun Zeng, John Keane and Alexandros Iosifidis | (参考訳) ディープニューラルネットワークと組み合わせたデータ拡張手法は、分類タスクのコンピュータビジョンで広く使われ、大きな成功を収めているが、時系列分類におけるそれらの利用はまだ初期段階にある。
これは、データが小さく、騒々しく、非定常的な傾向にある金融予測の分野ではさらにそうである。
本稿では,2つの最先端ディープラーニングモデルを用いて,ストックデータセットに適用する拡張手法について評価する。
以上の結果から,取引戦略と組み合わせて運用した場合の業績が著しく向上することが示唆された。
比較的小さなデータセット(約30k$サンプル)では、リスク調整されたリターンパフォーマンスが最大400\%改善され、より大きなストックデータセット(約300k$サンプル)では、結果が最大40\%$改善される。 Data augmentation methods in combination with deep neural networks have been used extensively in computer vision on classification tasks, achieving great success; however, their use in time series classification is still at an early stage. This is even more so in the field of financial prediction, where data tends to be small, noisy and non-stationary. In this paper we evaluate several augmentation methods applied to stocks datasets using two state-of-the-art deep learning models. The results show that several augmentation methods significantly improve financial performance when used in combination with a trading strategy. For a relatively small dataset ($\approx30K$ samples), augmentation methods achieve up to $400\%$ improvement in risk adjusted return performance; for a larger stock dataset ($\approx300K$ samples), results show up to $40\%$ improvement. | 翻訳日:2022-10-02 06:23:54 公開日:2020-10-28 |
| # 標準座標を持たないハミルトン力学の予測 Forecasting Hamiltonian dynamics without canonical coordinates ( http://arxiv.org/abs/2010.15201v1 ) ライセンス: Link先を確認 | Anshul Choudhary, John F. Lindner, Elliott G. Holliday, Scott T. Miller, Sudeshna Sinha, William L. Ditto | (参考訳) 従来のニューラルネットワークは普遍関数近似器であるが、基礎となる対称性や物理法則を知らないため、非線形力学を近似するためには不規則に多くのトレーニングデータが必要である。
近年導入されたハミルトニアンニューラルネットワークは、エネルギーを節約する力学系を効率的に学習し予測することができるが、データから推測するのが難しい正準座標と呼ばれる特別な入力を必要とする。
ここでは、観測可能な座標を含む任意の一般化座標のセットでネットワークを訓練する簡単な方法を示すことにより、ネットワークの範囲を大幅に拡大する。 Conventional neural networks are universal function approximators, but because they are unaware of underlying symmetries or physical laws, they may need impractically many training data to approximate nonlinear dynamics. Recently introduced Hamiltonian neural networks can efficiently learn and forecast dynamical systems that conserve energy, but they require special inputs called canonical coordinates, which may be hard to infer from data. Here we significantly expand the scope of such networks by demonstrating a simple way to train them with any set of generalised coordinates, including easily observable ones. | 翻訳日:2022-10-02 06:23:40 公開日:2020-10-28 |
| # ニューラルネットワークと情報可視化を用いた音声に基づく感情認識 Speech-Based Emotion Recognition using Neural Networks and Information Visualization ( http://arxiv.org/abs/2010.15229v1 ) ライセンス: Link先を確認 | Jumana Almahmoud and Kruthika Kikkeri | (参考訳) 感情認識は一般的に健康評価に使用される。
しかし, 治療評価の典型的な指標は, 患者・医師による評価に基づいている。
このプロセスは主観性の問題に陥り得る一方で、医療専門家は膨大な量の情報を扱う必要がある。
したがって、機械学習アルゴリズムは感情の分類に有用なツールになり得る。
この領域でいくつかのモデルが開発されているが、治療のための感情分類システムのユーザフレンドリーな表現が欠けている。
本稿では,音声要素から音声サンプルを抽出し,機械学習モデルを用いて感情(幸福感,悲しみ感,怒り感,驚き感,中立感,クラム感,嫌悪感,恐怖感)を識別するツールを提案する。
このダッシュボードは、患者とのセッションの洞察と情報分析を得るために、音声データの直感的な表現をローカルセラピストのニーズに基づいて設計されている。 Emotions recognition is commonly employed for health assessment. However, the typical metric for evaluation in therapy is based on patient-doctor appraisal. This process can fall into the issue of subjectivity, while also requiring healthcare professionals to deal with copious amounts of information. Thus, machine learning algorithms can be a useful tool for the classification of emotions. While several models have been developed in this domain, there is a lack of userfriendly representations of the emotion classification systems for therapy. We propose a tool which enables users to take speech samples and identify a range of emotions (happy, sad, angry, surprised, neutral, clam, disgust, and fear) from audio elements through a machine learning model. The dashboard is designed based on local therapists' needs for intuitive representations of speech data in order to gain insights and informative analyses of their sessions with their patients. | 翻訳日:2022-10-02 06:23:05 公開日:2020-10-28 |
| # C. elegans Connectomeにおける抑制ニューロンの分布は協調神経活動の自己最適化を促進する The distribution of inhibitory neurons in the C. elegans connectome facilitates self-optimization of coordinated neural activity ( http://arxiv.org/abs/2010.15272v1 ) ライセンス: Link先を確認 | Alejandro Morales and Tom Froese | (参考訳) 線虫由来の土壌性線虫caenorhabditis elegansの神経系は、小ささにもかかわらず著しく複雑である。
一般的な課題は、抑制結合の機能的役割を含む、システムレベルでの神経組織と神経活動の関係をより深く理解することである。
ここでは,各ニューロンの神経伝達物質同一性に近似するc. elegansコネクトームの抽象シミュレーションモデルを実装し,神経活動におけるこれらの生理的差異の機能的役割について検討した。
特に、抑制性神経伝達物質によって特徴づけられる全てのワームのニューロンが抑制性外部接続に割り当てられるホップフィールドニューラルネットワークを開発した。
そして,同じ数の抑制接続がネットワーク全体に任意に分布する制御条件を作成した。
これらの2つの条件を比較すると、抑制結合の生物学的分布が協調神経活動の自己最適化を促進することが示され、抑制結合の任意の分布と比較された。 The nervous system of the nematode soil worm Caenorhabditis elegans exhibits remarkable complexity despite the worm's small size. A general challenge is to better understand the relationship between neural organization and neural activity at the system level, including the functional roles of inhibitory connections. Here we implemented an abstract simulation model of the C. elegans connectome that approximates the neurotransmitter identity of each neuron, and we explored the functional role of these physiological differences for neural activity. In particular, we created a Hopfield neural network in which all of the worm's neurons characterized by inhibitory neurotransmitters are assigned inhibitory outgoing connections. Then, we created a control condition in which the same number of inhibitory connections are arbitrarily distributed across the network. A comparison of these two conditions revealed that the biological distribution of inhibitory connections facilitates the self-optimization of coordinated neural activity compared with an arbitrary distribution of inhibitory connections. | 翻訳日:2022-10-02 06:22:52 公開日:2020-10-28 |
| # 回帰対分類問題としてのnilm:しきい値化の重要性 NILM as a regression versus classification problem: the importance of thresholding ( http://arxiv.org/abs/2010.16050v1 ) ライセンス: Link先を確認 | Daniel Precioso and David G\'omez-Ullate | (参考訳) 非侵入負荷モニタリング(Non-Intrusive Load Monitoring, NILM)は、集積電力負荷を知ることで家庭内家電の状況や消費を予測することを目的としている。
NILMは回帰問題や分類問題として定式化することができる。
スマートメータによって収集されるほとんどのデータセットは、自然に回帰問題を定義することができるが、それに対応する分類問題は、電力信号から閾値法による各デバイスの状態への変換を必要とするため、導出問題である。
本稿では,この課題を実行するために3つの異なるしきい値法を扱い,その違いをUK-DALEデータセットから議論する。
回帰問題と分類問題の両方において,ディープラーニングの最先端アーキテクチャの性能を解析し,最も便利なしきい値選択法を選択するための基準を導入する。 Non-Intrusive Load Monitoring (NILM) aims to predict the status or consumption of domestic appliances in a household only by knowing the aggregated power load. NILM can be formulated as regression problem or most often as a classification problem. Most datasets gathered by smart meters allow to define naturally a regression problem, but the corresponding classification problem is a derived one, since it requires a conversion from the power signal to the status of each device by a thresholding method. We treat three different thresholding methods to perform this task, discussing their differences on various devices from the UK-DALE dataset. We analyze the performance of deep learning state-of-the-art architectures on both the regression and classification problems, introducing criteria to select the most convenient thresholding method. | 翻訳日:2022-10-02 06:22:12 公開日:2020-10-28 |
| # DeepFoldit - タンパク質を折り畳むディープ強化学習ニューラルネットワーク DeepFoldit -- A Deep Reinforcement Learning Neural Network Folding Proteins ( http://arxiv.org/abs/2011.03442v1 ) ライセンス: Link先を確認 | Dimitra N. Panou and Martin Reczko | (参考訳) かなりの進歩にもかかわらず、ab initioタンパク質の構造予測は最適でないままである。
クラウドソーシングのアプローチはオンラインパズルゲームfolditで、アルゴリズムによって計算されたソリューションとマッチするか、あるいは上回る結果を提供する。
foldit を用いて、wefold 群集はタンパク質構造予測手法の批判的評価にいくつかの成功をおさめた。
先日のfolditスタンドアロンバージョンに基づいて,deepfolditと呼ばれる深層強化ニューラルネットワークをトレーニングし,経験リプレイを用いたq-learning法を用いて,展開したタンパク質に割り当てられたスコアを改善した。
本稿ではハイパーパラメータチューニングによるモデル改善に着目する。
モデルの精度を向上させるために,異なるモデルアーキテクチャを検証し,ハイパーパラメータ値を変更することで,様々な実装について検討した。
新しいモデルであるハイパーパラメーターもその一般化能力を改善した。
最新の実装からの最初の結果は、小さな展開されたトレーニングタンパク質が与えられたとき、DeepFolditはトレーニングセットと新しいテストタンパク質の両方でスコアを改善するアクションシーケンスを学習することを示している。
このアプローチでは, foldit の直感的なユーザインターフェースと深層強化学習の効率を組み合わせる。 Despite considerable progress, ab initio protein structure prediction remains suboptimal. A crowdsourcing approach is the online puzzle video game Foldit, that provided several useful results that matched or even outperformed algorithmically computed solutions. Using Foldit, the WeFold crowd had several successful participations in the Critical Assessment of Techniques for Protein Structure Prediction. Based on the recent Foldit standalone version, we trained a deep reinforcement neural network called DeepFoldit to improve the score assigned to an unfolded protein, using the Q-learning method with experience replay. This paper is focused on model improvement through hyperparameter tuning. We examined various implementations by examining different model architectures and changing hyperparameter values to improve the accuracy of the model. The new model hyper-parameters also improved its ability to generalize. Initial results, from the latest implementation, show that given a set of small unfolded training proteins, DeepFoldit learns action sequences that improve the score both on the training set and on novel test proteins. Our approach combines the intuitive user interface of Foldit with the efficiency of deep reinforcement learning. | 翻訳日:2022-10-02 06:21:38 公開日:2020-10-28 |
| # 広域空中画像における誤検出を減らすための物体の触覚と形態的閉鎖 Object sieving and morphological closing to reduce false detections in wide-area aerial imagery ( http://arxiv.org/abs/2010.15260v1 ) ライセンス: Link先を確認 | Xin Gao, Sundaresh Ram, and Jeffrey J. Rodriguez | (参考訳) 広域空中画像における物体検出には、通常、誤検出を減らすために後処理が必要である。
そこで本稿では,エリアスレッディング・シービングとモルフォロジー・クローズ操作を組み合わせた2段階のポストプロセッシング方式を提案する。
本研究では,5つの物体検出アルゴリズムの性能を不在時と後処理方式の有無で比較するために,広域空中映像を2本使用した。
自動検出結果と接地物体との比較を行った。
パフォーマンス比較にはいくつかのメトリクスが使用される。 For object detection in wide-area aerial imagery, post-processing is usually needed to reduce false detections. We propose a two-stage post-processing scheme which comprises an area-thresholding sieving process and a morphological closing operation. We use two wide-area aerial videos to compare the performance of five object detection algorithms in the absence and in the presence of our post-processing scheme. The automatic detection results are compared with the ground-truth objects. Several metrics are used for performance comparison. | 翻訳日:2022-10-02 06:15:07 公開日:2020-10-28 |
| # 騒々しい推論:人間はどのように数学を構成し、数学はいかに宇宙を構成するか Noisy Deductive Reasoning: How Humans Construct Math, and How Math Constructs Universes ( http://arxiv.org/abs/2012.08298v1 ) ライセンス: Link先を確認 | David H. Wolpert and David Kinney | (参考訳) 本稿では,数学が基本確率過程である数学的推論の計算モデルを提案する。
すなわち、我々のモデルでは、ある公理系において与えられた公式が定理と見なされるか否かは確実性の問題ではなく、その代わりに確率分布によって支配される。
次に、この枠組みが数学的実践のいくつかの側面について説得力のある説明を与えることを示す。
以下を含む。
1) 数学者が研究プログラムを作成する方法
2)数学的ヒューリスティックスのベイズモデルの適用性
3)数学における帰納的推論の役割
4) 命題の複数の証明がその命題に対する我々の信条の程度を強化することができる方法
5) 物理的に可能な宇宙に同型な複数の形式系が存在するという仮説の性質。
したがって、数学のモデルを完全には予測できないものとして受け入れることで、数学の認識論と実践に関する新しい実りある視点を生み出す。 We present a computational model of mathematical reasoning according to which mathematics is a fundamentally stochastic process. That is, on our model, whether or not a given formula is deemed a theorem in some axiomatic system is not a matter of certainty, but is instead governed by a probability distribution. We then show that this framework gives a compelling account of several aspects of mathematical practice. These include: 1) the way in which mathematicians generate research programs, 2) the applicability of Bayesian models of mathematical heuristics, 3) the role of abductive reasoning in mathematics, 4) the way in which multiple proofs of a proposition can strengthen our degree of belief in that proposition, and 5) the nature of the hypothesis that there are multiple formal systems that are isomorphic to physically possible universes. Thus, by embracing a model of mathematics as not perfectly predictable, we generate a new and fruitful perspective on the epistemology and practice of mathematics. | 翻訳日:2022-10-02 06:14:19 公開日:2020-10-28 |
| # 行動クローニングにおけるコピーキャット剤との闘い : 観察履歴から Fighting Copycat Agents in Behavioral Cloning from Observation Histories ( http://arxiv.org/abs/2010.14876v1 ) ライセンス: Link先を確認 | Chuan Wen, Jierui Lin, Trevor Darrell, Dinesh Jayaraman, Yang Gao | (参考訳) 模倣学習は、入力観察から専門家が選択するアクションにマップするポリシーを訓練する。
この設定では、分布シフトは、観測された変数間のニュアサンス相関に対する専門家アクションの誤分配の効果をしばしば悪化させる。
この因果的混乱の一般的な例は、専門家の行動が時間とともに強く相関しているときに部分的に観察される状況において起こることを観察する。
この「コピキャット問題」に対処するために,我々は,先行する専門家行動のニュアサンス関係に関する過剰な情報を排除しつつ,次の行動を予測するために必要な情報を保持しながら,特徴表現を学習するための敵対的アプローチを提案する。
実験では, 様々な模倣学習タスクにおいて, 性能が大幅に向上した。 Imitation learning trains policies to map from input observations to the actions that an expert would choose. In this setting, distribution shift frequently exacerbates the effect of misattributing expert actions to nuisance correlates among the observed variables. We observe that a common instance of this causal confusion occurs in partially observed settings when expert actions are strongly correlated over time: the imitator learns to cheat by predicting the expert's previous action, rather than the next action. To combat this "copycat problem", we propose an adversarial approach to learn a feature representation that removes excess information about the previous expert action nuisance correlate, while retaining the information necessary to predict the next action. In our experiments, our approach improves performance significantly across a variety of partially observed imitation learning tasks. | 翻訳日:2022-10-02 06:13:26 公開日:2020-10-28 |
| # ラベル付き多ターゲット密度によるGCI融合の一手法 An Approach for GCI Fusion With Labeled Multitarget Densities ( http://arxiv.org/abs/2010.14943v1 ) ライセンス: Link先を確認 | Yongwen Jin and Jianxun Li | (参考訳) 本稿では、ラベル付きランダム有限集合に対する一般化共分散切断(GCI)融合法について述べる。
本稿では,ラベルワイドGCI融合アルゴリズムのラベル整合条件を回避し,異なるエージェント間のラベル関連を表現するために,融合ラベル付きランダム有限集合をサポートするためのジョイントラベル空間を提案する。
具体的には、各エージェントに対する全てのラベル空間の直積による結合ラベル空間を考案する。
次に, GCI融合法を適用し, 共同ラベル付き多ターゲット密度を求める。
共同ラベル付き RFS は一般ラベル付き RFS に縁取りされ、それぞれのターゲットがユニークなラベルを持つ単一のベルヌーイ成分によって表現される。
異なる薬剤からLMB RFSを融合させるジョイントラベル付きGCI(JL-GCI)を実証した。
また、シナリオにおいてターゲットが適切に分離されているという仮定から、単純化されたJL-GCI法を提案する。
シミュレーションの結果, ラベル不整合が有効であり, 課題追跡シナリオにおける優れた性能を示す。 This paper addresses the Generalized Covariance Intersection (GCI) fusion method for labeled random finite sets. We propose a joint label space for the support of fused labeled random finite sets to represent the label association between different agents, avoiding the label consistency condition for the label-wise GCI fusion algorithm. Specifically, we devise the joint label space by the direct product of all label spaces for each agent. Then we apply the GCI fusion method to obtain the joint labeled multi-target density. The joint labeled RFS is then marginalized into a general labeled RFS, providing that each target is represented by a single Bernoulli component with a unique label. The joint labeled GCI (JL-GCI) for fusing LMB RFSs from different agents is demonstrated. We also propose the simplified JL-GCI method given the assumption that targets are well-separated in the scenario. The simulation result presents the effectiveness of label inconsistency and excellent performance in challenging tracking scenarios. | 翻訳日:2022-10-02 06:12:57 公開日:2020-10-28 |
| # インテリジェント車における自己認識:経験に基づく異常検出 Self-awareness in Intelligent Vehicles: Experience Based Abnormality Detection ( http://arxiv.org/abs/2010.15056v1 ) ライセンス: Link先を確認 | Divya Kanapram, Pablo Marin-Plaza, Lucio Marcenaro, David Martin, Arturo de la Escalera, Carlo Regazzoni | (参考訳) 近年のインテリジェントトランスポーテーションシステムの進化は、自動運転エージェント、すなわち自己認識意識の開発を必要としている。
本稿では,車両の内部相関パラメータに基づいて異常を検出する新しい手法を提案する。
機械学習を実装する前に、すべての変数をチェックし、追跡するのが非常に難しい巨大なネスト条件を作成することで、異常の検出を手作業でプログラムした。
現在では、動的ベイズネットワーク(dbn)モデルを訓練して、車両の誤動作を自動評価して検出することが可能である。
本稿では,dbnモデルのセマンティクスセグメンテーションと異常測定のためのヘリンガー距離測定を用いた周辺監視タスクのためのスイッチングdbnのトレーニングとテストを行うために,異なるシナリオが設定されている。 The evolution of Intelligent Transportation System in recent times necessitates the development of self-driving agents: the self-awareness consciousness. This paper aims to introduce a novel method to detect abnormalities based on internal cross-correlation parameters of the vehicle. Before the implementation of Machine Learning, the detection of abnormalities were manually programmed by checking every variable and creating huge nested conditions that are very difficult to track. Nowadays, it is possible to train a Dynamic Bayesian Network (DBN) model to automatically evaluate and detect when the vehicle is potentially misbehaving. In this paper, different scenarios have been set in order to train and test a switching DBN for Perimeter Monitoring Task using a semantic segmentation for the DBN model and Hellinger Distance metric for abnormality measurements. | 翻訳日:2022-10-02 06:12:44 公開日:2020-10-28 |
| # エンドツーエンドコードスイッチング音声認識のための発音と言語分離 Decoupling Pronunciation and Language for End-to-end Code-switching Automatic Speech Recognition ( http://arxiv.org/abs/2010.14798v1 ) ライセンス: Link先を確認 | Shuai Zhang, Jiangyan Yi, Zhengkun Tian, Ye Bai, Jianhua Tao, Zhengqi wen | (参考訳) コードスイッチのためのエンドツーエンド(e2e)asrシステムで最近目撃された重要な進歩にもかかわらず、音声テキストペアデータ用のハンガーはモデルの性能をさらに向上させる。
本稿では,モノリンガルペアデータと未ペアテキストデータを用いて,コードスイッチングデータ不足の問題を緩和する疎結合変換器モデルを提案する。
モデルはA2P(Audio-to-phoneme)ネットワークとP2T(P2T)ネットワークの2つの部分に分けられる。
a2pネットワークは、大規模単言語対データを用いて音響パターンシナリオを学習できる。
一方、トレーニングプロセス中に、単一音声データの複数の音素シーケンス候補をリアルタイムで生成する。
そして、生成された音素テキストペアデータを用いてP2Tネットワークをトレーニングする。
このネットワークは、大量の外部のアンペアテキストデータで事前学習することができる。
モノリンガルデータと未ペアテキストデータを使用することで、疎結合トランスフォーマーモデルは、E2Eモデルのコードスイッチングペアリングトレーニングデータへの高依存性をある程度低減する。
最後に、2つのネットワークは、注意融合によって共同で最適化される。
提案手法を公開mandarin- english code-switching dataset上で評価する。
提案手法は変換器ベースラインと比較して18.14%の相対混合誤差率低減を実現する。 Despite the recent significant advances witnessed in end-to-end (E2E) ASR system for code-switching, hunger for audio-text paired data limits the further improvement of the models' performance. In this paper, we propose a decoupled transformer model to use monolingual paired data and unpaired text data to alleviate the problem of code-switching data shortage. The model is decoupled into two parts: audio-to-phoneme (A2P) network and phoneme-to-text (P2T) network. The A2P network can learn acoustic pattern scenarios using large-scale monolingual paired data. Meanwhile, it generates multiple phoneme sequence candidates for single audio data in real-time during the training process. Then the generated phoneme-text paired data is used to train the P2T network. This network can be pre-trained with large amounts of external unpaired text data. By using monolingual data and unpaired text data, the decoupled transformer model reduces the high dependency on code-switching paired training data of E2E model to a certain extent. Finally, the two networks are optimized jointly through attention fusion. We evaluate the proposed method on the public Mandarin-English code-switching dataset. Compared with our transformer baseline, the proposed method achieves 18.14% relative mix error rate reduction. | 翻訳日:2022-10-02 06:06:34 公開日:2020-10-28 |
| # PPGに基づく対向表現学習による歌声変換 PPG-based singing voice conversion with adversarial representation learning ( http://arxiv.org/abs/2010.14804v1 ) ライセンス: Link先を確認 | Zhonghao Li, Benlai Tang, Xiang Yin, Yuan Wan, Ling Xu, Chen Shen, Zejun Ma | (参考訳) 歌声変換(SVC)は、歌唱内容とメロディを維持しながら、ある歌手の声を他の歌手の声に変換することを目的としている。
近年の音声変換作業に加えて,自然さとイントネーションを保ちながら着実に歌を変換する新しいモデルを提案する。
我々はエンドツーエンドのアーキテクチャを構築し、音声後部グラフ(PPG)を入力とし、メルスペクトログラムを生成する。
具体的には,PPGをコンテンツとして符号化し,メルスペクトログラムを圧縮して音響情報と音楽情報を供給する2つの分離エンコーダを実装した。
音色とメロディの性能を向上させるため、モデルに対向的なシンガー混乱モジュールとメリー回帰表現学習モジュールを設計する。
客観的,主観的な実験は中国民謡コーパスで行なわれた。
ベースラインと比較すると,本手法は自然性,メロディ,および音声類似性の観点から変換性能を著しく向上させることができる。
さらに,本手法は雑音源に対して頑健であることを示した。 Singing voice conversion (SVC) aims to convert the voice of one singer to that of other singers while keeping the singing content and melody. On top of recent voice conversion works, we propose a novel model to steadily convert songs while keeping their naturalness and intonation. We build an end-to-end architecture, taking phonetic posteriorgrams (PPGs) as inputs and generating mel spectrograms. Specifically, we implement two separate encoders: one encodes PPGs as content, and the other compresses mel spectrograms to supply acoustic and musical information. To improve the performance on timbre and melody, an adversarial singer confusion module and a mel-regressive representation learning module are designed for the model. Objective and subjective experiments are conducted on our private Chinese singing corpus. Comparing with the baselines, our methods can significantly improve the conversion performance in terms of naturalness, melody, and voice similarity. Moreover, our PPG-based method is proved to be robust for noisy sources. | 翻訳日:2022-10-02 06:06:16 公開日:2020-10-28 |
| # INT8 モバイルデバイス上に展開した Conv1D 付き ASR モデルのWinograd 高速化 INT8 Winograd Acceleration for Conv1D Equipped ASR Models Deployed on Mobile Devices ( http://arxiv.org/abs/2010.14841v1 ) ライセンス: Link先を確認 | Yiwu Yao, Yuchao Li, Chengyu Wang, Tianhang Yu, Houjiang Chen, Xiaotang Jiang, Jun Yang, Jun Huang, Wei Lin, Hui Shu, Chengfei Lv | (参考訳) 自動音声認識(ASR)モデルの集中的な計算は、モバイルデバイスへの展開を妨げる。
本稿では,ASRモデルのモバイルデバイス上での効率的な推論高速化を実現するために,量子化と高速畳み込みを組み合わせた新しい量子化Winograd最適化パイプラインを提案する。
量子化とウィノグラード畳み込みの組み合わせによる情報損失を避けるために, 量子化範囲を拡大し, 高精度値から知識を蒸留するために, range-scaled quantization (rsq) トレーニング法が提案されている。
さらに、モバイルデプロイメント用に改良されたConv1D搭載DFSMN(ConvDFSMN)モデルも設計されている。
convdfsmnモデルとwav2レターモデルの両方について広範な実験を行った。
結果は、提案したパイプラインでモデルを効果的に最適化できることを示す。
特にwav2letterは1.48*のスピードアップを達成し、armv7ベースのモバイルデバイスではおよそ0.07%減少している。 The intensive computation of Automatic Speech Recognition (ASR) models obstructs them from being deployed on mobile devices. In this paper, we present a novel quantized Winograd optimization pipeline, which combines the quantization and fast convolution to achieve efficient inference acceleration on mobile devices for ASR models. To avoid the information loss due to the combination of quantization and Winograd convolution, a Range-Scaled Quantization (RSQ) training method is proposed to expand the quantized numerical range and to distill knowledge from high-precision values. Moreover, an improved Conv1D equipped DFSMN (ConvDFSMN) model is designed for mobile deployment. We conduct extensive experiments on both ConvDFSMN and Wav2letter models. Results demonstrate the models can be effectively optimized with the proposed pipeline. Especially, Wav2letter achieves 1.48* speedup with an approximate 0.07% WER decrease on ARMv7-based mobile devices. | 翻訳日:2022-10-02 06:05:58 公開日:2020-10-28 |
| # SFU-Store-Nav:屋内ナビゲーションのためのマルチモーダルデータセット SFU-Store-Nav: A Multimodal Dataset for Indoor Human Navigation ( http://arxiv.org/abs/2010.14802v1 ) ライセンス: Link先を確認 | Zhitian Zhang, Jimin Rhim, Taher Ahmadi, Kefan Yang, Angelica Lim, Mo Chen | (参考訳) この記事では、人間の参加者とロボットを含む一連の実験で収集されたデータセットについて述べる。
一連の実験は、カナダのバーナビーのサイモン・フレイザー大学(英語版)にあるcompute science robotics lab(英語版)で行われ、その目的は、自律ロボットのナビゲーションに関連する人間のナビゲーション意図を示す、共通のジェスチャー、動き、その他の行動を含むデータを収集することである。
この実験は、人間の参加者が買い物リストからアイテムを拾い、人間の参加者を助けるためにプログラムされたPepperロボットと対話するショッピングシナリオをシミュレートする。
108人の被験者から視覚データとモーションキャプチャーデータを収集した。
視覚データは、実験のライブ記録を含み、モーションキャプチャデータは、世界座標における人間の参加者の位置と向きを含む。
このデータセットは、ロボティクス、機械学習、コンピュータビジョンコミュニティの研究者にとって価値のあるものだ。 This article describes a dataset collected in a set of experiments that involves human participants and a robot. The set of experiments was conducted in the computing science robotics lab in Simon Fraser University, Burnaby, BC, Canada, and its aim is to gather data containing common gestures, movements, and other behaviours that may indicate humans' navigational intent relevant for autonomous robot navigation. The experiment simulates a shopping scenario where human participants come in to pick up items from his/her shopping list and interact with a Pepper robot that is programmed to help the human participant. We collected visual data and motion capture data from 108 human participants. The visual data contains live recordings of the experiments and the motion capture data contains the position and orientation of the human participants in world coordinates. This dataset could be valuable for researchers in the robotics, machine learning and computer vision community. | 翻訳日:2022-10-02 06:04:59 公開日:2020-10-28 |
| # ゲル電気泳動画像の操作検出のための偽造ブラインド検査 Forgery Blind Inspection for Detecting Manipulations of Gel Electrophoresis Images ( http://arxiv.org/abs/2010.15086v1 ) ライセンス: Link先を確認 | Hao-Chiang Shao, Ya-Jen Cheng, Meng-Yun Duh, Chia-Wen Lin | (参考訳) 近年,研究ミス行為に関する論文に偽造画像が発見されている。
しかし, 画像偽造検出手法は数多く存在するが, 分子生物学実験画像のための設計は行われていない。
本稿では,2種類の分子実験,すなわちウエスタンブロット(WB)とポリメラーゼ鎖反応(PCR)から得られた画像の完全性について,FBI$_{GEL}$という高速盲検法を提案する。
FBI$_{GEL}$は、局所的な残基を強調表示できる最適化された擬似背景に基づいて、WB/PCR画像に不適切な局所的な修正を示唆する追跡可能な証拠を明らかにすることができる。
さらに、最適化された擬似バックグラウンドはクローズドフォームの解に従って導出されるため、FBI$_{GEL}$は計算効率が良く、WB/PCR画像整合性のための大規模調査タスクに適している。
我々は、FBI$_{GEL}$を、一般大衆が問ういくつかの論文に適用し、これらの論文の数字が確かに疑わしい不自然なパターンを含んでいることを示す。 Recently, falsified images have been found in papers involved in research misconducts. However, although there have been many image forgery detection methods, none of them was designed for molecular-biological experiment images. In this paper, we proposed a fast blind inquiry method, named FBI$_{GEL}$, for integrity of images obtained from two common sorts of molecular experiments, i.e., western blot (WB) and polymerase chain reaction (PCR). Based on an optimized pseudo-background capable of highlighting local residues, FBI$_{GEL}$ can reveal traceable vestiges suggesting inappropriate local modifications on WB/PCR images. Additionally, because the optimized pseudo-background is derived according to a closed-form solution, FBI$_{GEL}$ is computationally efficient and thus suitable for large scale inquiry tasks for WB/PCR image integrity. We applied FBI$_{GEL}$ on several papers questioned by the public on \textbf{PUBPEER}, and our results show that figures of those papers indeed contain doubtful unnatural patterns. | 翻訳日:2022-10-02 06:04:26 公開日:2020-10-28 |
| # 畳み込みニューラルネットワークを用いたグラウンドロール抑制 Ground Roll Suppression using Convolutional Neural Networks ( http://arxiv.org/abs/2010.15209v1 ) ライセンス: Link先を確認 | Dario Augusto Borges Oliveira, Daniil Semin, Semen Zaytsev | (参考訳) 地震データ処理は, 地震解析性能のほとんどを条件として, 地震探査において重要な役割を果たす。
この文脈では、信頼性の高いポストスタック地震データの生成は、効率的なプレスタックノイズ減衰ツールの配置にも依存する。
ここでは, 地震前データで観測される最も困難で一般的な騒音の一つである地すべり騒音に対処する。
グラウンドロールは比較的低い周波数と高い振幅で特徴付けられるため、その抑制に最もよく使われるアプローチはグラウンドロール特性バンドの周波数振幅フィルタに基づいている。
しかし、信号とノイズが同じ周波数範囲を持つ場合、これらの方法は通常、信号抑圧や残留ノイズも与える。
本稿では,畳み込みニューラルネットワークの非線形特性を活用し,異なるアーキテクチャを用いてショット集合のグラウンドロールを検出し,最終的には条件付き生成逆数ネットワークを用いてそれらを抑制することを提案する。
さらに, グラウンドロール抑制を評価するための指標を提案し, エキスパートフィルタリングと比較し, 強い結果を示す。
最後に,本提案の有効性をよりよく理解するために,類似した地質学と異なる地質学の訓練モデルの一般化について論じる。 Seismic data processing plays a major role in seismic exploration as it conditions much of the seismic interpretation performance. In this context, generating reliable post-stack seismic data depends also on disposing of an efficient pre-stack noise attenuation tool. Here we tackle ground roll noise, one of the most challenging and common noises observed in pre-stack seismic data. Since ground roll is characterized by relative low frequencies and high amplitudes, most commonly used approaches for its suppression are based on frequency-amplitude filters for ground roll characteristic bands. However, when signal and noise share the same frequency ranges, these methods usually deliver also signal suppression or residual noise. In this paper we take advantage of the highly non-linear features of convolutional neural networks, and propose to use different architectures to detect ground roll in shot gathers and ultimately to suppress them using conditional generative adversarial networks. Additionally, we propose metrics to evaluate ground roll suppression, and report strong results compared to expert filtering. Finally, we discuss generalization of trained models for similar and different geologies to better understand the feasibility of our proposal in real applications. | 翻訳日:2022-10-02 06:04:06 公開日:2020-10-28 |
| # 自律運転のためのセマンティックビデオセグメンテーション Semantic video segmentation for autonomous driving ( http://arxiv.org/abs/2010.15250v1 ) ライセンス: Link先を確認 | Minh Triet Chau | (参考訳) 本研究の目的は,自動運転における意味的ビデオセグメンテーション,すなわちリアルタイムビデオにおける道路検出の解決である(shelhamer et al., 2016a)。
完全畳み込みネットワークは良好な結果をもたらすが,精度を保ちながら速度を半減できることを示す。
テストデータセットはKITTIで、ドイツの街路の実際の映像で構成されている。 We aim to solve semantic video segmentation in autonomous driving, namely road detection in real time video, using techniques discussed in (Shelhamer et al., 2016a). While fully convolutional network gives good result, we show that the speed can be halved while preserving the accuracy. The test dataset being used is KITTI, which consists of real footage from Germany's streets. | 翻訳日:2022-10-02 06:03:48 公開日:2020-10-28 |
| # GEN: 生成エンコーディングネットワーク GENs: Generative Encoding Networks ( http://arxiv.org/abs/2010.15283v1 ) ライセンス: Link先を確認 | Surojit Saha, Shireen Elhabian, Ross T. Whitaker | (参考訳) 既知の分散ファミリへのデータのマッピングは、機械学習とデータ分析において重要なトピックとなっている。
深い生成モデル(例えば、生成的敵ネットワーク)は、既知の分布と未知の分布とを効果的にマッチングするために使われてきた。
それにもかかわらず、対象分布の形式が知られているとき、分析手法は証明可能な特性を持つ堅牢な結果を提供するのに有利である。
本稿では,非パラメトリック密度法を用いて,未知のデータ分布をガウス分布やガウス分布などの既知の対象分布とマッチングするために,潜在空間においてjensen-shannon分岐を推定する手法を提案し,解析する。
この分析法には、サンプル量のトレーニングが低い場合のより良い挙動、証明可能な収束特性、比較的少ないパラメータを解析的に導出できるという利点がある。
提案手法を用いて,自動エンコーダの潜在表現を,学習フレームワークにおける目標分布に適合させるために強制する。
ここでは, 潜在空間におけるデータの期待分布を導出し, 潜在空間の特性評価, サンプル再構成, 生成サンプルの評価を行うとともに, 実世界における手法の適用性を示す数値的手法を提案する。 Mapping data from and/or onto a known family of distributions has become an important topic in machine learning and data analysis. Deep generative models (e.g., generative adversarial networks ) have been used effectively to match known and unknown distributions. Nonetheless, when the form of the target distribution is known, analytical methods are advantageous in providing robust results with provable properties. In this paper, we propose and analyze the use of nonparametric density methods to estimate the Jensen-Shannon divergence for matching unknown data distributions to known target distributions, such Gaussian or mixtures of Gaussians, in latent spaces. This analytical method has several advantages: better behavior when training sample quantity is low, provable convergence properties, and relatively few parameters, which can be derived analytically. Using the proposed method, we enforce the latent representation of an autoencoder to match a target distribution in a learning framework that we call a {\em generative encoding network}. Here, we present the numerical methods; derive the expected distribution of the data in the latent space; evaluate the properties of the latent space, sample reconstruction, and generated samples; show the advantages over the adversarial counterpart; and demonstrate the application of the method in real world. | 翻訳日:2022-10-02 05:58:11 公開日:2020-10-28 |
| # パラメータ化ニューラル正規微分方程式:計算物理問題への応用 Parameterized Neural Ordinary Differential Equations: Applications to Computational Physics Problems ( http://arxiv.org/abs/2010.14685v1 ) ライセンス: Link先を確認 | Kookjin Lee and Eric J. Parish | (参考訳) 本研究では,NODE に付加的な ODE 入力パラメータを導入することにより,ニューラル常微分方程式(NODE)の拡張を提案する。
この拡張により、NODEは入力パラメータインスタンスによって指定された複数のダイナミクスを学習できる。
この拡張は、計算科学や工学の文脈で広く研究されているパラメータ化された常微分方程式の概念に着想を得ている。
提案するパラメータ化ノード(pnodes)を計算物理学における複雑な力学過程の潜性ダイナミクスの学習に応用し,時間的物理学応用のための高速数値シミュレーションを実現するための必須要素である。
そこで本研究では,遅延ダイナミクスをPNODEとしてモデル化したエンコーダデコーダ型フレームワークを提案する。
計算物理から重要なベンチマーク問題を用いてPNODEの有効性を示す。 This work proposes an extension of neural ordinary differential equations (NODEs) by introducing an additional set of ODE input parameters to NODEs. This extension allows NODEs to learn multiple dynamics specified by the input parameter instances. Our extension is inspired by the concept of parameterized ordinary differential equations, which are widely investigated in computational science and engineering contexts, where characteristics of the governing equations vary over the input parameters. We apply the proposed parameterized NODEs (PNODEs) for learning latent dynamics of complex dynamical processes that arise in computational physics, which is an essential component for enabling rapid numerical simulations for time-critical physics applications. For this, we propose an encoder-decoder-type framework, which models latent dynamics as PNODEs. We demonstrate the effectiveness of PNODEs with important benchmark problems from computational physics. | 翻訳日:2022-10-02 05:57:49 公開日:2020-10-28 |
| # トロリー問題から離れてリスクマネジメントへ Away from Trolley Problems and Toward Risk Management ( http://arxiv.org/abs/2010.15217v1 ) ライセンス: Link先を確認 | Noah J. Goodall | (参考訳) 自動運転車がメディアから注目を集めるにつれて、車両が確実に安全な結果を得ることなく、特定の事故状況で行わざるを得ない倫理的選択のカバレッジが、同等に増加した。
この報道の多くは「トローリー問題」として知られる哲学的思考実験に焦点を合わせており、トロリーの自動化車両と傍観者の車のソフトウェアを代替している。
これは、自動走行車の倫理的決定の真正な例であるが、もしそれが大衆の心の中で唯一の倫理的問題となるなら、全分野を疎外するリスクがある。
本章では,トロリー問題の欠点について論じ,クラッシュリスクと不確実性を伴うより微妙な例を紹介する。
リスクマネジメントは代替アプローチとして導入され、その倫理的側面が議論される。 As automated vehicles receive more attention from the media, there has been an equivalent increase in the coverage of the ethical choices a vehicle may be forced to make in certain crash situations with no clear safe outcome. Much of this coverage has focused on a philosophical thought experiment known as the "trolley problem," and substituting an automated vehicle for the trolley and the car's software for the bystander. While this is a stark and straightforward example of ethical decision making for an automated vehicle, it risks marginalizing the entire field if it is to become the only ethical problem in the public's mind. In this chapter, I discuss the shortcomings of the trolley problem, and introduce more nuanced examples that involve crash risk and uncertainty. Risk management is introduced as an alternative approach, and its ethical dimensions are discussed. | 翻訳日:2022-10-02 05:56:47 公開日:2020-10-28 |
| # DNA: ネットワークアクセラレータの共同検索 DNA: Differentiable Network-Accelerator Co-Search ( http://arxiv.org/abs/2010.14778v1 ) ライセンス: Link先を確認 | Yongan Zhang, Yonggan Fu, Weiwen Jiang, Chaojian Li, Haoran You, Meng Li, Vikas Chandra, Yingyan Lin | (参考訳) 強力で複雑なディープニューラルネットワーク(DNN)は、DNN駆動のインテリジェンスを多数のアプリケーションに導入するために、効率的なDNNソリューションの需要が急増している。
ネットワークとアクセラレータを共同で最適化することで、最適なパフォーマンスを提供することができる。
しかし、ネットワークとその加速器の広大かつ絡み合った異なる設計空間を同時に探索することの難しさから、そのようなソリューションの大きな可能性はまだ明らかにされていない。
そこで本研究では,マッチングされたネットワークとアクセラレータを自動的に検索し,タスクの精度と高速化効率を最大化する,ネットワーク・アクセラレータ共探索フレームワークであるdnaを提案する。
Specifically, DNA integrates two enablers: (1) a generic design space for DNN accelerators that is applicable to both FPGA- and ASIC-based DNN accelerators and compatible with DNN frameworks such as PyTorch to enable algorithmic exploration for more efficient DNNs and their accelerators; and (2) a joint DNN network and accelerator co-search algorithm that enables simultaneously searching for optimal DNN structures and their accelerators' micro-architectures and mapping methods to maximize both the task accuracy and acceleration efficiency.
FPGA測定とASIC合成に基づく実験およびアブレーション研究により、一致したネットワークとDNAによって生成されたアクセラレータは、常に最先端(SOTA)のDNNとDNNアクセラレータ(例えば、画像Netの精度が5.46%向上した3.04倍のFPS)を上回り、SOTAの共同探索法よりも探索時間(最大1234.3倍)が大幅に短縮された。
すべてのコードは受理時に解放される。 Powerful yet complex deep neural networks (DNNs) have fueled a booming demand for efficient DNN solutions to bring DNN-powered intelligence into numerous applications. Jointly optimizing the networks and their accelerators are promising in providing optimal performance. However, the great potential of such solutions have yet to be unleashed due to the challenge of simultaneously exploring the vast and entangled, yet different design spaces of the networks and their accelerators. To this end, we propose DNA, a Differentiable Network-Accelerator co-search framework for automatically searching for matched networks and accelerators to maximize both the task accuracy and acceleration efficiency. Specifically, DNA integrates two enablers: (1) a generic design space for DNN accelerators that is applicable to both FPGA- and ASIC-based DNN accelerators and compatible with DNN frameworks such as PyTorch to enable algorithmic exploration for more efficient DNNs and their accelerators; and (2) a joint DNN network and accelerator co-search algorithm that enables simultaneously searching for optimal DNN structures and their accelerators' micro-architectures and mapping methods to maximize both the task accuracy and acceleration efficiency. Experiments and ablation studies based on FPGA measurements and ASIC synthesis show that the matched networks and accelerators generated by DNA consistently outperform state-of-the-art (SOTA) DNNs and DNN accelerators (e.g., 3.04x better FPS with a 5.46% higher accuracy on ImageNet), while requiring notably reduced search time (up to 1234.3x) over SOTA co-exploration methods, when evaluated over ten SOTA baselines on three datasets. All codes will be released upon acceptance. | 翻訳日:2022-10-02 05:48:26 公開日:2020-10-28 |
| # 高次線形変圧器 Higher Order Linear Transformer ( http://arxiv.org/abs/2010.14816v1 ) ライセンス: Link先を確認 | Jean Mercat | (参考訳) Katharopoulosらによる記事の線形変圧器部分について、Shenらからこのアイデアを引用し、注意機構の線形複雑性を生み出すトリックを再使用し、ソフトマックス正規化の2階近似まで拡張する。 Following up on the linear transformer part of the article from Katharopoulos et al., that takes this idea from Shen et al., the trick that produces a linear complexity for the attention mechanism is re-used and extended to a second-order approximation of the softmax normalization. | 翻訳日:2022-10-02 05:47:56 公開日:2020-10-28 |
| # Ego-Thingsにおける意思決定に対する動的ベイズ的アプローチ Dynamic Bayesian Approach for decision-making in Ego-Things ( http://arxiv.org/abs/2010.14900v1 ) ライセンス: Link先を確認 | Divya Kanapram, Damian Campo, Mohamad Baydoun, Lucio Marcenaro, Eliane L. Bodanese, Carlo Regazzoni, Mario Marchese | (参考訳) 本稿では,多感覚データと特徴選択に基づく動的システムの異常を検出する新しい手法を提案する。
提案手法は観測データのいくつかの特徴を考慮し,複数の推論モデルを生成する。
この研究は、将来のインスタンスを予測し、異常を検出するための最も正確な特徴の獲得を容易にする。
成長型ニューラルガス(GNG)は、データのセマンティック解釈を提供し、予測目的の局所線形モデルを定義するノードの集合に多感覚データをクラスタリングするために使用される。
本手法はマルコフジャンプ粒子フィルタ(mjpf)を用いて状態推定と異常検出を行う。
提案手法は、状態予測や意思決定、異常検出プロセスが好まれるなど、ネットワーク操作で共有される最適な集合特徴の選択に使用できる。
この作業は、制御された環境でいくつかのタスクを実行する移動車両からなる実際のデータセットを用いて評価される。 This paper presents a novel approach to detect abnormalities in dynamic systems based on multisensory data and feature selection. The proposed method produces multiple inference models by considering several features of the observed data. This work facilitates the obtainment of the most precise features for predicting future instances and detecting abnormalities. Growing neural gas (GNG) is employed for clustering multisensory data into a set of nodes that provide a semantic interpretation of data and define local linear models for prediction purposes. Our method uses a Markov Jump particle filter (MJPF) for state estimation and abnormality detection. The proposed method can be used for selecting the optimal set features to be shared in networking operations such that state prediction, decision-making, and abnormality detection processes are favored. This work is evaluated by using a real dataset consisting of a moving vehicle performing some tasks in a controlled environment. | 翻訳日:2022-10-02 05:47:49 公開日:2020-10-28 |
| # ネットワークシステムにおける高速・低オーバーヘッド学習のためのオンライン機能選択 Online feature selection for rapid, low-overhead learning in networked systems ( http://arxiv.org/abs/2010.14907v1 ) ライセンス: Link先を確認 | Xiaoxuan Wang (1), Forough Shahab Samani (1 and 2), Rolf Stadler (1 and 2) ((1) KTH Royal Institute of Technology, Sweden (2) RISE Research Institutes of Sweden) | (参考訳) 運用と管理のためのデータ駆動機能は、しばしばモデルトレーニングと予測の監視を通じて収集された測定を必要とする。
データソースの数は非常に多いため、継続的なデータ抽出と収集、マシンラーニングモデルのトレーニングと更新には、通信と計算のオーバーヘッドが大幅に必要になる。
我々はOSFSと呼ばれるオンラインアルゴリズムを提案し、多数の利用可能なデータソースから小さな特徴を抽出し、迅速で低オーバーヘッドで効果的な学習と予測を可能にする。
OSFSは機能ランキングアルゴリズムを用いてインスタンス化され,本論文で紹介する安定機能セットの概念を適用している。
室内テストベッドからのデータに対して,本手法を広範囲に実験的に評価した。
osfsはデータソースの数を2桁削減するために数百の計測が必要であり、そのモデルから許容可能な予測精度でトレーニングされる。
提案手法はヒューリスティックであり,多くの点で改善可能であるが,多くの学習タスクが長時間の監視フェーズや高価なオフライントレーニングを必要としないことを示唆する。 Data-driven functions for operation and management often require measurements collected through monitoring for model training and prediction. The number of data sources can be very large, which requires a significant communication and computing overhead to continuously extract and collect this data, as well as to train and update the machine-learning models. We present an online algorithm, called OSFS, that selects a small feature set from a large number of available data sources, which allows for rapid, low-overhead, and effective learning and prediction. OSFS is instantiated with a feature ranking algorithm and applies the concept of a stable feature set, which we introduce in the paper. We perform extensive, experimental evaluation of our method on data from an in-house testbed. We find that OSFS requires several hundreds measurements to reduce the number of data sources by two orders of magnitude, from which models are trained with acceptable prediction accuracy. While our method is heuristic and can be improved in many ways, the results clearly suggests that many learning tasks do not require a lengthy monitoring phase and expensive offline training. | 翻訳日:2022-10-02 05:47:37 公開日:2020-10-28 |
| # オートエンコーダを用いたCPPSデータの次元化と異常検出 Dimensionality Reduction and Anomaly Detection for CPPS Data using Autoencoder ( http://arxiv.org/abs/2010.14957v1 ) ライセンス: Link先を確認 | Benedikt Eiteneuer and Nemanja Hranisavljevic and Oliver Niggemann | (参考訳) 非教師付き異常検出(AD)は、サイバー物理生産システム(CPPS)の分野における主要なトピックである。
密接に関連する関心事は、次元還元(DR)である。
1) 広告ソリューションにおける前処理ステップとしてよく用いられる。
2) 一種のadは、学習されたデータ多様体に対する観測の適合性の尺度を提供する。
CPPS異常検出法では2つの側面が相補的である可能性が示唆された。
本研究では,非線形オートエンコーダ(ae)をdr/adアプローチとして注目する。
この作品の貢献は次のとおりである。
1) CPPSデータにおけるAD判定基準としてのAE再構成誤差の適合性を検討する。
2) AE潜伏空間における潜在第2相ADアプローチとの関係を解析する。
3)3つの実世界のデータセットに対するアプローチの性能を評価する。
さらにこのアプローチは、比較的単純で簡単なアプリケーションとともに、最先端の技術よりも優れています。 Unsupervised anomaly detection (AD) is a major topic in the field of Cyber-Physical Production Systems (CPPSs). A closely related concern is dimensionality reduction (DR) which is: 1) often used as a preprocessing step in an AD solution, 2) a sort of AD, if a measure of observation conformity to the learned data manifold is provided. We argue that the two aspects can be complementary in a CPPS anomaly detection solution. In this work, we focus on the nonlinear autoencoder (AE) as a DR/AD approach. The contribution of this work is: 1) we examine the suitability of AE reconstruction error as an AD decision criterion in CPPS data. 2) we analyze its relation to a potential second-phase AD approach in the AE latent space 3) we evaluate the performance of the approach on three real-world datasets. Moreover, the approach outperforms state-of-the-art techniques, alongside a relatively simple and straightforward application. | 翻訳日:2022-10-02 05:47:20 公開日:2020-10-28 |
| # DeepRite: 現代の縦断観測データにおける時間変化コンバウンディング調整のための逆処理量重み付け DeepRite: Deep Recurrent Inverse TreatmEnt Weighting for Adjusting Time-varying Confounding in Modern Longitudinal Observational Data ( http://arxiv.org/abs/2010.15028v1 ) ライセンス: Link先を確認 | Yanbo Xu, Cao Xiao, Jimeng Sun | (参考訳) 事実予測とは、観測されていない状況の結果をデータから予測することである。
例えば、ある患者が薬物Aである場合、彼女が薬物Bに切り替えたらどうなるか。
しかし、多くの応用は時間とともに複数の治療のような時間的変動を伴う効果を持つ。
縦断観測データから時間変動効果をモデル化する方法
データの複雑な高次元依存をモデル化する方法?
そこで本研究では,2相の調整に再帰ニューラルネットワークを組み込むことにより,最近の縦断データに時間変動が組み合わさった場合の重み付け(deeprite)を提案する。
第i相コホート再重み付けでは、時間に依存する治療の逆確率を放出するために1つのネットワークに適合し、それらを使用して擬似バランスコホートを生成する。
フェーズIIの結果の進行では、修正されたデータをその後の予測ネットワークに入力し、偽の予測を行う。
集中治療室の敗血症患者から収集した合成データと実データからDeepRiteを評価した。
DeepRiteは、合成データから基礎的な真実を回復し、バランスの取れたコホートを作成できるため、敗血症管理の標準ガイドラインに適合し得る、実際のデータから偏りのない治療効果を推定する。 Counterfactual prediction is about predicting outcome of the unobserved situation from the data. For example, given patient is on drug A, what would be the outcome if she switch to drug B. Most of existing works focus on modeling counterfactual outcome based on static data. However, many applications have time-varying confounding effects such as multiple treatments over time. How to model such time-varying effects from longitudinal observational data? How to model complex high-dimensional dependency in the data? To address these challenges, we propose Deep Recurrent Inverse TreatmEnt weighting (DeepRite) by incorporating recurrent neural networks into two-phase adjustments for the existence of time-varying confounding in modern longitudinal data. In phase I cohort reweighting we fit one network for emitting time dependent inverse probabilities of treatment, use them to generate a pseudo balanced cohort. In phase II outcome progression, we input the adjusted data to the subsequent predictive network for making counterfactual predictions. We evaluate DeepRite on both synthetic data and a real data collected from sepsis patients in the intensive care units. DeepRite is shown to recover the ground truth from synthetic data, and estimate unbiased treatment effects from real data that can be better aligned with the standard guidelines for management of sepsis thanks to its applicability to create balanced cohorts. | 翻訳日:2022-10-02 05:47:08 公開日:2020-10-28 |
| # 線形回帰ゲーム:近似分散解に対する収束保証 Linear Regression Games: Convergence Guarantees to Approximate Out-of-Distribution Solutions ( http://arxiv.org/abs/2010.15234v1 ) ライセンス: Link先を確認 | Kartik Ahuja, Karthikeyan Shanmugam, Amit Dhurandhar | (参考訳) 近年,out-of-distribution (ood) 一般化に対処するための有望な解決策として,irm (arjovsky et al.) が提案されている。
Ahujaらでは、新しいタイプの「アンサンブルゲーム」のナッシュ均衡の解法はIRMの解法と同値であることが示されている。
本研究では,Ahujaらによる線形回帰のためのフレームワークを拡張し,$\ell_{\infty}$ Ball上でアンサンブルゲームを投影する。
このような射影は完全不変性が得られていないにもかかわらず、自明な ood 保証を達成するのに役立つ。
共同創設者を持つ線形モデルの場合、これらのゲームのナッシュ平衡は標準的な経験的リスク最小化(ERM)よりも理想的なOOD解に近づき、ナッシュ平衡に確実に収束する学習アルゴリズムも提供する。
提案手法と最先端技術との実証的な比較は, 反因果変数や共同設立者を含むいくつかの条件下でのOODソリューションの実現において一貫した利得を示している。 Recently, invariant risk minimization (IRM) (Arjovsky et al.) was proposed as a promising solution to address out-of-distribution (OOD) generalization. In Ahuja et al., it was shown that solving for the Nash equilibria of a new class of "ensemble-games" is equivalent to solving IRM. In this work, we extend the framework in Ahuja et al. for linear regressions by projecting the ensemble-game on an $\ell_{\infty}$ ball. We show that such projections help achieve non-trivial OOD guarantees despite not achieving perfect invariance. For linear models with confounders, we prove that Nash equilibria of these games are closer to the ideal OOD solutions than the standard empirical risk minimization (ERM) and we also provide learning algorithms that provably converge to these Nash Equilibria. Empirical comparisons of the proposed approach with the state-of-the-art show consistent gains in achieving OOD solutions in several settings involving anti-causal variables and confounders. | 翻訳日:2022-10-02 05:46:40 公開日:2020-10-28 |
| # エクストリームモビリティにおける信頼性の高いセルラーネットワークハンドオーバのためのバンドポリシー Bandit Policies for Reliable Cellular Network Handovers in Extreme Mobility ( http://arxiv.org/abs/2010.15237v1 ) ライセンス: Link先を確認 | Yuanjie Li, Esha Datta, Jiaxin Ding, Ness Shroff, Xin Liu | (参考訳) 高速列車や車両などの極端なユーザモビリティの下でのシームレスなインターネットアクセスの需要は、例外ではなく規範となっている。
しかし、4g/5g移動ネットワークは、基地局間のハンドオーバ時に無視できない障害が発生して、この要求を満たすことができるとは限らない。
信頼性の基本的な課題は、十分なハンドオーバのためのより多くの測定値の探索と、タイムリーなハンドオーバの活用のバランスを取ることである。
本稿では,2つの異なる多腕バンディット問題の合成として,極端な移動性におけるこのトレードオフを定式化する。
極端モビリティにおけるハンドオーバ障害の後悔を最小限に抑えるため,Bandit and Threshold Tuning (BATT)を提案する。
BATTは、$\epsilon$-binary-searchを使用して、サーブセルの信号強度の閾値を最適化し、$\mathcal{O}(\log J \log T)$ regretでハンドオーバ手順を開始する。さらに、$\mathcal{O}(\log T)$ regretで信頼性の高いハンドオーバを測定するために、ターゲットセルのシーケンスを最適化する機会論的トンプソンサンプリングを考案する。 The demand for seamless Internet access under extreme user mobility, such as on high-speed trains and vehicles, has become a norm rather than an exception. However, the 4G/5G mobile network is not always reliable to meet this demand, with non-negligible failures during the handover between base stations. A fundamental challenge of reliability is to balance the exploration of more measurements for satisfactory handover, and exploitation for timely handover (before the fast-moving user leaves the serving base station's radio coverage). This paper formulates this trade-off in extreme mobility as a composition of two distinct multi-armed bandit problems. We propose Bandit and Threshold Tuning (BATT) to minimize the regret of handover failures in extreme mobility. BATT uses $\epsilon$-binary-search to optimize the threshold of the serving cell's signal strength to initiate the handover procedure with $\mathcal{O}(\log J \log T)$ regret.It further devises opportunistic Thompson sampling, which optimizes the sequence of the target cells to measure for reliable handover with $\mathcal{O}(\log T)$ regret.Our experiment over a real LTE dataset from Chinese high-speed rails validates significant regret reduction and a 29.1% handover failure reduction. | 翻訳日:2022-10-02 05:46:20 公開日:2020-10-28 |
| # 視覚的質問応答の活用によるテキスト・画像合成の改善 Leveraging Visual Question Answering to Improve Text-to-Image Synthesis ( http://arxiv.org/abs/2010.14953v1 ) ライセンス: Link先を確認 | Stanislav Frolov, Shailza Jolly, J\"orn Hees, Andreas Dengel | (参考訳) テキスト記述から画像を生成することは、最近多くの関心を集めている。
現在のモデルは、鳥や人間の顔などの個々の物体の写実的画像を生成することができるが、複数の物体による画像合成は依然として非常に困難である。
本稿では,テキスト・ツー・イメージ(T2I)合成とVisual Question Answering(VQA)を組み合わせることで,VQA 2.0データセットを利用して生成画像の画質と画像テキストのアライメントを改善する方法を提案する。
質問と回答(QA)ペアを連結して追加のトレーニングサンプルを作成し、標準VQAモデルを用いてT2Iモデルに補助的な学習信号を提供する。
我々はQAペアから生成された画像が現実的に見えるようにし、外部VQA損失を最小化することを推奨する。
提案手法はFIDを27.84から25.38に下げ,R-precを増加させる。
ベースラインと比較して83.82%から84.79%まで、標準のVQAモデルでT2I合成をうまく改善できることを示している。 Generating images from textual descriptions has recently attracted a lot of interest. While current models can generate photo-realistic images of individual objects such as birds and human faces, synthesising images with multiple objects is still very difficult. In this paper, we propose an effective way to combine Text-to-Image (T2I) synthesis with Visual Question Answering (VQA) to improve the image quality and image-text alignment of generated images by leveraging the VQA 2.0 dataset. We create additional training samples by concatenating question and answer (QA) pairs and employ a standard VQA model to provide the T2I model with an auxiliary learning signal. We encourage images generated from QA pairs to look realistic and additionally minimize an external VQA loss. Our method lowers the FID from 27.84 to 25.38 and increases the R-prec. from 83.82% to 84.79% when compared to the baseline, which indicates that T2I synthesis can successfully be improved using a standard VQA model. | 翻訳日:2022-10-02 05:40:08 公開日:2020-10-28 |
| # Object Hider: オブジェクト検出器に対する逆パッチ攻撃 Object Hider: Adversarial Patch Attack Against Object Detectors ( http://arxiv.org/abs/2010.14974v1 ) ライセンス: Link先を確認 | Yusheng Zhao, Huanqian Yan, Xingxing Wei | (参考訳) ディープニューラルネットワークは多くのコンピュータビジョンタスクで広く使われている。
しかし、入力に加えられた小さい、知覚できない摂動の影響を受けやすいことが証明されている。
深層学習モデルを騙す精巧な設計の摂動を持つ入力は、逆例と呼ばれ、深層ニューラルネットワークの安全性に関する大きな懸念を提起している。
オブジェクト検出アルゴリズムは、画像やビデオ中のオブジェクトの特定と分類のために設計されており、多くのコンピュータビジョンタスクの中核であり、研究価値と幅広い応用がある。
本稿では,最先端の物体検出モデルに対する敵意攻撃に着目した。
実用的な代替手段として、攻撃には敵パッチを使用します。
2つの逆パッチ生成アルゴリズムが提案されている:ヒートマップに基づくアルゴリズムとコンセンサスに基づくアルゴリズムである。
実験の結果,提案手法は高い有効性,転送性,汎用性を示した。
さらに,提案手法を,alibaba が tianchi プラットフォーム上で実施し,1701 チームでトップ 7 を獲得した "オブジェクト検出に関する敵対的課題" に対抗するために適用した。
コードは、https://github.com/FenHua/DetDakで入手できる。 Deep neural networks have been widely used in many computer vision tasks. However, it is proved that they are susceptible to small, imperceptible perturbations added to the input. Inputs with elaborately designed perturbations that can fool deep learning models are called adversarial examples, and they have drawn great concerns about the safety of deep neural networks. Object detection algorithms are designed to locate and classify objects in images or videos and they are the core of many computer vision tasks, which have great research value and wide applications. In this paper, we focus on adversarial attack on some state-of-the-art object detection models. As a practical alternative, we use adversarial patches for the attack. Two adversarial patch generation algorithms have been proposed: the heatmap-based algorithm and the consensus-based algorithm. The experiment results have shown that the proposed methods are highly effective, transferable and generic. Additionally, we have applied the proposed methods to competition "Adversarial Challenge on Object Detection" that is organized by Alibaba on the Tianchi platform and won top 7 in 1701 teams. Code is available at: https://github.com/FenHua/DetDak | 翻訳日:2022-10-02 05:39:50 公開日:2020-10-28 |
| # Detectron2と高速R-CNNによる道路損傷検出と分類 Road Damage Detection and Classification with Detectron2 and Faster R-CNN ( http://arxiv.org/abs/2010.15021v1 ) ライセンス: Link先を確認 | Vung Pham, Chau Pham, and Tommy Dang | (参考訳) 道路は生活の多くの面において不可欠であり、道路維持は人間の安全にとって不可欠である。
道路損傷のタイムリーな修復を可能にする重要なタスクの1つは、それらを迅速かつ効率的に検出し分類することである。
この研究は、これらのタスクで評価された戦略と実験について詳述する。
具体的には,異なるベースモデルと構成を用いた高速R-CNNの実装について評価する。
我々はまた、これらのアプローチを、IEEE Big Data 2020 Big Data Cup ChallengeデータセットのトラックであるGlobal Road Damage Detection Challenge 2020を用いて実験した。
その結果,Tectron2のデフォルト構成を持つ高速R-CNN用のX101-FPNベースモデルは,この課題において,様々な国に転送できるほど効率的かつ汎用的であることがわかった。
このアプローチでは、テスト1とテスト2のそれぞれ51.0%と51.4%のf1スコアが得られる。
視覚化は良い予測結果を示すが、F1スコアは低い。
また,既存のアノテーションに対する予測結果を評価し,いくつかの相違点を見出す。
したがって、このデータセットのラベル付けプロセスを改善するための戦略も提案する。 The road is vital for many aspects of life, and road maintenance is crucial for human safety. One of the critical tasks to allow timely repair of road damages is to quickly and efficiently detect and classify them. This work details the strategies and experiments evaluated for these tasks. Specifically, we evaluate Detectron2's implementation of Faster R-CNN using different base models and configurations. We also experiment with these approaches using the Global Road Damage Detection Challenge 2020, A Track in the IEEE Big Data 2020 Big Data Cup Challenge dataset. The results show that the X101-FPN base model for Faster R-CNN with Detectron2's default configurations are efficient and general enough to be transferable to different countries in this challenge. This approach results in F1 scores of 51.0% and 51.4% for the test1 and test2 sets of the challenge, respectively. Though the visualizations show good prediction results, the F1 scores are low. Therefore, we also evaluate the prediction results against the existing annotations and discover some discrepancies. Thus, we also suggest strategies to improve the labeling process for this dataset. | 翻訳日:2022-10-02 05:39:12 公開日:2020-10-28 |
| # 効率的なディープネットワークのためのデータ非依存フィルタゲーティング Data Agnostic Filter Gating for Efficient Deep Networks ( http://arxiv.org/abs/2010.15041v1 ) ライセンス: Link先を確認 | Xiu Su, Shan You, Tao Huang, Hongyan Xu, Fei Wang, Chen Qian, Changshui Zhang, Chang Xu | (参考訳) 十分に訓練されたcnnモデルをローエンドの計算エッジデバイスにデプロイするには、通常、一定の計算予算(例えばフロップス)の下でモデルを圧縮またはプルする。
現在のフィルタプルーニング法は、主に特徴マップを利用して、フィルタの重要なスコアを生成し、より小さなスコアでプルーンし、入力バッチの分散をフィルタ上のスパース構造の違いに無視する。
本稿では,daggerモジュールと呼ばれる補助ネットワークを用いてpruningを誘導し,事前学習した重みを入力として各フィルタの重要性を学習するデータ非依存フィルタpruning手法を提案する。
さらに,特定のFLOP制約でプルーネフィルタを支援するために,明示的なFLOPを意識した正規化を活用して,プルーニングフィルタを直接ターゲットFLOPに向けて推進する。
CIFAR-10とImageNetデータセットの大規模な実験結果は、他の最先端のフィルタプルーニング法よりも優れていることを示している。
例えば、50\%のFLOPs ResNet-50は、ImageNetデータセット上で76.1\%のTop-1精度を実現し、他の多くのフィルタプルーニングメソッドを上回ります。 To deploy a well-trained CNN model on low-end computation edge devices, it is usually supposed to compress or prune the model under certain computation budget (e.g., FLOPs). Current filter pruning methods mainly leverage feature maps to generate important scores for filters and prune those with smaller scores, which ignores the variance of input batches to the difference in sparse structure over filters. In this paper, we propose a data agnostic filter pruning method that uses an auxiliary network named Dagger module to induce pruning and takes pretrained weights as input to learn the importance of each filter. In addition, to help prune filters with certain FLOPs constraints, we leverage an explicit FLOPs-aware regularization to directly promote pruning filters toward target FLOPs. Extensive experimental results on CIFAR-10 and ImageNet datasets indicate our superiority to other state-of-the-art filter pruning methods. For example, our 50\% FLOPs ResNet-50 can achieve 76.1\% Top-1 accuracy on ImageNet dataset, surpassing many other filter pruning methods. | 翻訳日:2022-10-02 05:38:56 公開日:2020-10-28 |
| # 深層シェル : 最適輸送による教師なし形状対応 Deep Shells: Unsupervised Shape Correspondence with Optimal Transport ( http://arxiv.org/abs/2010.15261v1 ) ライセンス: Link先を確認 | Marvin Eisenberger, Aysim Toker, Laura Leal-Taix\'e, Daniel Cremers | (参考訳) 深層ニューラルネットワークにマルチスケールのマッチングパイプラインを構築する3次元形状対応のための教師なし学習手法を提案する。
このアプローチは、現在の最先端の公理的対応法である滑らかなシェルに基づいており、初期ポーズの空間を事前確率的に探索する必要がある。
私たちの目標は、入力面から適切な初期化を直接学習することで、コストのかかる前処理ステップを置き換えることです。
そこで我々は,エントロピー正規化最適輸送から,完全に微分可能な階層的マッチングパイプラインを体系的に導出する。
これにより、滑らかで断続的なスペクトル畳み込みフィルタに基づく局所特徴抽出器と組み合わせることができる。
最後に,提案手法は,最新の教師あり手法と比較しても,複数のデータセットの最先端処理よりも大幅に改善することを示す。
さらに,学習したフィルタをトレーニングセットから著しく逸脱した例に適用することにより,説得力のある一般化結果を示す。 We propose a novel unsupervised learning approach to 3D shape correspondence that builds a multiscale matching pipeline into a deep neural network. This approach is based on smooth shells, the current state-of-the-art axiomatic correspondence method, which requires an a priori stochastic search over the space of initial poses. Our goal is to replace this costly preprocessing step by directly learning good initializations from the input surfaces. To that end, we systematically derive a fully differentiable, hierarchical matching pipeline from entropy regularized optimal transport. This allows us to combine it with a local feature extractor based on smooth, truncated spectral convolution filters. Finally, we show that the proposed unsupervised method significantly improves over the state-of-the-art on multiple datasets, even in comparison to the most recent supervised methods. Moreover, we demonstrate compelling generalization results by applying our learned filters to examples that significantly deviate from the training set. | 翻訳日:2022-10-02 05:38:36 公開日:2020-10-28 |
| # TopicModel4J: トピックモデルのためのJavaパッケージ TopicModel4J: A Java Package for Topic Models ( http://arxiv.org/abs/2010.14707v1 ) ライセンス: Link先を確認 | Yang Qian, Yuanchun Jiang, Yidong Chai, Yezheng Liu, Jiansha Sun | (参考訳) トピックモデルは、高次元共起データにおける隠れ構造を探索するための柔軟で原則化されたフレームワークを提供し、テキストの自然言語処理(NLP)として一般的に使われている。
本稿では,トピックモデルに適合する13種類の代表的なアルゴリズムを含むjavaパッケージである topicmodel4j の設計と実装を行う。
Javaプログラミング環境のTopicModel4Jは、データアナリストがアルゴリズムを実行するための使いやすいインターフェースを提供し、データの入力と出力を容易にする。
さらに、このパッケージは、テキストデータを単語に分割する、単語を下げる、補間を行う、役に立たない文字、url、ストップワードを削除するなど、いくつかの非構造化テキスト前処理技術を提供する。 Topic models provide a flexible and principled framework for exploring hidden structure in high-dimensional co-occurrence data and are commonly used natural language processing (NLP) of text. In this paper, we design and implement a Java package, TopicModel4J, which contains 13 kinds of representative algorithms for fitting topic models. The TopicModel4J in the Java programming environment provides an easy-to-use interface for data analysts to run the algorithms, and allow to easily input and output data. In addition, this package provides a few unstructured text preprocessing techniques, such as splitting textual data into words, lowercasing the words, preforming lemmatization and removing the useless characters, URLs and stop words. | 翻訳日:2022-10-02 05:37:53 公開日:2020-10-28 |
| # MILR:CNNの平文空間誤差補正のための数学的誘導層復元 MILR: Mathematically Induced Layer Recovery for Plaintext Space Error Correction of CNNs ( http://arxiv.org/abs/2010.14687v1 ) ライセンス: Link先を確認 | Jonathan Ponader, Sandip Kundu, Yan Solihin | (参考訳) ミッションクリティカルシステムにおける畳み込みニューラルネットワーク(CNN)の利用の増加により、自然発生の障害とセキュリティ攻撃の両方に直面した堅牢でレジリエントなネットワークの必要性が高まっている。
堅牢性とレジリエンスの欠如は、信頼できない推論結果をもたらす可能性がある。
CNNの堅牢性に対処する現在の方法は、ハードウェアの変更、ネットワーク修正、ネットワーク重複を必要とする。
本稿では,単一および複数ビットの誤りからネットワークの自己修復を可能にするソフトウェアベースのcnnエラー検出および誤り訂正システムであるmilを提案する。
自己修復能力は、レイヤの入力、出力、パラメータ(重み)の間の数学的関係に基づいており、これらの関係を利用して、レイヤとネットワークを通して誤ったパラメータ(重み)を回復することができる。
MILRは、CNNにおける全重および全層エラーを補正する能力から、平文空間誤り訂正(PSEC)に適している。 The increased use of Convolutional Neural Networks (CNN) in mission critical systems has increased the need for robust and resilient networks in the face of both naturally occurring faults as well as security attacks. The lack of robustness and resiliency can lead to unreliable inference results. Current methods that address CNN robustness require hardware modification, network modification, or network duplication. This paper proposes MILR a software based CNN error detection and error correction system that enables self-healing of the network from single and multi bit errors. The self-healing capabilities are based on mathematical relationships between the inputs,outputs, and parameters(weights) of a layers, exploiting these relationships allow the recovery of erroneous parameters (weights) throughout a layer and the network. MILR is suitable for plaintext-space error correction (PSEC) given its ability to correct whole-weight and even whole-layer errors in CNNs. | 翻訳日:2022-10-02 05:37:25 公開日:2020-10-28 |
| # 第9回教育用ソフトウェアの定理証明コンポーネントに関する国際ワークショップ Proceedings 9th International Workshop on Theorem Proving Components for Educational Software ( http://arxiv.org/abs/2010.15832v1 ) ライセンス: Link先を確認 | Pedro Quaresma (University of Coimbra, Portugal), Walther Neuper (JKU Johannes Kepler University, Linz, Austria), Jo\~ao Marcos (UFRN, Brazil) | (参考訳) 第9回Theorem-Proving Components for Educational Software (ThEdu'20)国際ワークショップは6月29日にパリで開催されたIJCAR-FSCD 2020合同会議の衛星として開催された。
しかし、新型コロナウイルス(COVID-19)のパンデミックは驚き、メインカンファレンスは仮想化された。
オンラインミーティングは、コミュニティがtheduイニシアチブの通常の対面ネットワークの機会を完全に再現できないことを恐れ、theduの運営委員会はワークショップの中止を決定した。
われわれの多くがすでにこの瞬間に計画して働いていたことを考えると、ThEdu'20はETPCSボリュームの形で生き続けることができると決めました。
EPTCSは、この非常に特異な状況を認識し、ThEdu'20に提出された論文で特別な問題を整理する提案を受け入れた。
その後、論文の公募が発行され、5件の提出書が寄せられ、いずれも審査員によって受理され、各コントリビューションについて慎重に3つのレポートが作成されました。
修正された論文は、現在巻にまとめられている。
筆者らは,この論文集が,定理証明ベースのソフトウェアの開発をさらに促進し,コンピュータ数学者と教育関係者の相互理解を改善するために協力することを期待している。
運がよければ、一世紀で最悪の衛生危機によって設定された非常に特殊な状況が、認定されたコンポーネントの応用と、従来の現場での学習経験が推奨されない場合にも利用できる教育ソフトウェアの生産のための検証方法の必要性を補強することを期待している。 The 9th International Workshop on Theorem-Proving Components for Educational Software (ThEdu'20) was scheduled to happen on June 29 as a satellite of the IJCAR-FSCD 2020 joint meeting, in Paris. The COVID-19 pandemic came by surprise, though, and the main conference was virtualised. Fearing that an online meeting would not allow our community to fully reproduce the usual face-to-face networking opportunities of the ThEdu initiative, the Steering Committee of ThEdu decided to cancel our workshop. Given that many of us had already planned and worked for that moment, we decided that ThEdu'20 could still live in the form of an EPTCS volume. The EPTCS concurred with us, recognising this very singular situation, and accepted our proposal of organising a special issue with papers submitted to ThEdu'20. An open call for papers was then issued, and attracted five submissions, all of which have been accepted by our reviewers, who produced three careful reports on each of the contributions. The resulting revised papers are collected in the present volume. We, the volume editors, hope that this collection of papers will help further promoting the development of theorem-proving-based software, and that it will collaborate to improve the mutual understanding between computer mathematicians and stakeholders in education. With some luck, we would actually expect that the very special circumstances set up by the worst sanitary crisis in a century will happen to reinforce the need for the application of certified components and of verification methods for the production of educational software that would be available even when the traditional on-site learning experiences turn out not to be recommendable. | 翻訳日:2022-10-02 05:31:24 公開日:2020-10-28 |
| # 感情分析のための顔面時空間表現動態の定量化 Quantified Facial Temporal-Expressiveness Dynamics for Affect Analysis ( http://arxiv.org/abs/2010.14705v1 ) ライセンス: Link先を確認 | Md Taufeeq Uddin, Shaun Canavan | (参考訳) 視覚影響データ(例えば顔画像)の定量化は、自動影響モデリングシステムの構築と監視を効率的に行うのに不可欠である。
そこで本研究では,人間の顔の表現力を定量化するために,顔の時間的表現性ダイナミクス(TED)を提案する。
提案アルゴリズムは,静的および動的情報を組み込むことで,顔の表情の正確な測定を可能にする。
tedは非構造化視覚データの要約や自動的感情認識モデルの期待や解釈といったハイレベルなタスクに使用できることを示す。
UNBC-McMaster 自発肩痛データセットを用いて, 自発性痛に対するTEDの有用性について検討した。
実験の結果, 定量的影響分析におけるTEDの有用性が示された。 The quantification of visual affect data (e.g. face images) is essential to build and monitor automated affect modeling systems efficiently. Considering this, this work proposes quantified facial Temporal-expressiveness Dynamics (TED) to quantify the expressiveness of human faces. The proposed algorithm leverages multimodal facial features by incorporating static and dynamic information to enable accurate measurements of facial expressiveness. We show that TED can be used for high-level tasks such as summarization of unstructured visual data, and expectation from and interpretation of automated affect recognition models. To evaluate the positive impact of using TED, a case study was conducted on spontaneous pain using the UNBC-McMaster spontaneous shoulder pain dataset. Experimental results show the efficacy of using TED for quantified affect analysis. | 翻訳日:2022-10-02 05:30:55 公開日:2020-10-28 |
| # 高精度光流量推定のための変位不変マッチングコスト学習 Displacement-Invariant Matching Cost Learning for Accurate Optical Flow Estimation ( http://arxiv.org/abs/2010.14851v1 ) ライセンス: Link先を確認 | Jianyuan Wang, Yiran Zhong, Yuchao Dai, Kaihao Zhang, Pan Ji, Hongdong Li | (参考訳) 3次元特徴量に3次元畳み込みを適用して3次元コストボリュームを学習する、最先端の立体マッチング手法の成功には、学習のマッチングコストが不可欠であることが示されている。
しかし、この機構は光学フロータスクに採用されていない。
これは主に、光学フロー計算の場合の探索次元が大幅に大きくなるため、計算的に禁止される5D特徴量を処理するために、単純な拡張は密度の高い4D畳み込みを必要とする。
本稿では,ネットワークがデータから適切なマッチングコストを学習できると同時に,5次元特徴量構築の必要性を回避できる新しい解を提案する。
我々の重要な革新は、2次元変位間の接続を分離し、各2次元変位仮説において一致するコストを独立に学習することである。
具体的には、各2次元変位仮説に独立して同じ2次元畳み込みに基づくマッチングネットを適用し、4次元コストボリュームを学習する。
さらに, 異なる変位候補間の相関を再考し, 学習コストボリュームにおけるマルチモーダル問題を緩和する, 学習コストボリュームをスケールする変位対応投影層を提案する。
その後、コストは2次元ソフトアルグミン層による光流量推定に投射される。
広汎な実験により,本手法は各種データセットにおける最先端の精度を実現し,Sintelベンチマークにおける全光フロー法より優れていた。 Learning matching costs has been shown to be critical to the success of the state-of-the-art deep stereo matching methods, in which 3D convolutions are applied on a 4D feature volume to learn a 3D cost volume. However, this mechanism has never been employed for the optical flow task. This is mainly due to the significantly increased search dimension in the case of optical flow computation, ie, a straightforward extension would require dense 4D convolutions in order to process a 5D feature volume, which is computationally prohibitive. This paper proposes a novel solution that is able to bypass the requirement of building a 5D feature volume while still allowing the network to learn suitable matching costs from data. Our key innovation is to decouple the connection between 2D displacements and learn the matching costs at each 2D displacement hypothesis independently, ie, displacement-invariant cost learning. Specifically, we apply the same 2D convolution-based matching net independently on each 2D displacement hypothesis to learn a 4D cost volume. Moreover, we propose a displacement-aware projection layer to scale the learned cost volume, which reconsiders the correlation between different displacement candidates and mitigates the multi-modal problem in the learned cost volume. The cost volume is then projected to optical flow estimation through a 2D soft-argmin layer. Extensive experiments show that our approach achieves state-of-the-art accuracy on various datasets, and outperforms all published optical flow methods on the Sintel benchmark. | 翻訳日:2022-10-02 05:29:15 公開日:2020-10-28 |
| # この頭字語はどういう意味ですか。
頭字語識別と曖昧化のための新しいデータセットの導入 What Does This Acronym Mean? Introducing a New Dataset for Acronym Identification and Disambiguation ( http://arxiv.org/abs/2010.14678v1 ) ライセンス: Link先を確認 | Amir Pouran Ben Veyseh, Franck Dernoncourt, Quan Hung Tran, Thien Huu Nguyen | (参考訳) 頭字語は、文書中の長い文を伝達し、文章の主文の1つとして機能する短い形式の句である。
その重要性から、頭字語と対応する句(つまり、頭字語識別(AI))を識別し、各頭字語(すなわち、頭字語曖昧化(AD))の正しい意味を見つけることは、テキスト理解に不可欠である。
このタスクの最近の進歩にもかかわらず、既存のデータセットにはいくつかの制限があり、さらなる改善を妨げる。
より具体的には、自動生成された頭字語識別データセットにおける手作業によるaiデータセットやノイズのサイズが制限され、高度な頭字語識別モデルの設計が妨げられる。
さらに、既存のデータセットは医療領域に限られており、他のドメインを無視している。
これら2つの制限に対処するため、我々はまず、科学領域のための手動で注釈付き大規模AIデータセットを作成します。
このデータセットには、17,506の文が含まれている。
次に、従来の科学的なadデータセットよりもはるかに大きい62,441サンプルからなる科学領域の広告データセットを作成する。
実験の結果,本研究で提案する2つのデータセットにおいて,既存の最先端モデルが人間レベルの性能にはるかに及ばないことが判明した。
さらに,文の構文構造を利用して,曖昧な頭字語を文内に拡張する新しい深層学習モデルを提案する。
提案されたモデルは、新しいadデータセットの最先端モデルよりも優れており、このデータセットに関する今後の研究に強力なベースラインを提供する。 Acronyms are the short forms of phrases that facilitate conveying lengthy sentences in documents and serve as one of the mainstays of writing. Due to their importance, identifying acronyms and corresponding phrases (i.e., acronym identification (AI)) and finding the correct meaning of each acronym (i.e., acronym disambiguation (AD)) are crucial for text understanding. Despite the recent progress on this task, there are some limitations in the existing datasets which hinder further improvement. More specifically, limited size of manually annotated AI datasets or noises in the automatically created acronym identification datasets obstruct designing advanced high-performing acronym identification models. Moreover, the existing datasets are mostly limited to the medical domain and ignore other domains. In order to address these two limitations, we first create a manually annotated large AI dataset for scientific domain. This dataset contains 17,506 sentences which is substantially larger than previous scientific AI datasets. Next, we prepare an AD dataset for scientific domain with 62,441 samples which is significantly larger than the previous scientific AD dataset. Our experiments show that the existing state-of-the-art models fall far behind human-level performance on both datasets proposed by this work. In addition, we propose a new deep learning model that utilizes the syntactical structure of the sentence to expand an ambiguous acronym in a sentence. The proposed model outperforms the state-of-the-art models on the new AD dataset, providing a strong baseline for future research on this dataset. | 翻訳日:2022-10-02 05:22:30 公開日:2020-10-28 |
| # 2次無教師型ニューラル依存構文解析 Second-Order Unsupervised Neural Dependency Parsing ( http://arxiv.org/abs/2010.14720v1 ) ライセンス: Link先を確認 | Songlin Yang, Yong Jiang, Wenjuan Han, Kewei Tu | (参考訳) 教師なしの依存関係解析のほとんどは、親子情報のみを考慮した一階確率的生成モデルに基づいている。
親子や兄弟姉妹の情報を組み込んだ教師なし神経依存モデルの2階拡張を提案する。
また,依存モデルのニューラルパラメータ化と最適化の新たな設計法を提案する。
二階モデルでは、語彙サイズの増加に伴って文法規則の数が立方体的に増加するため、何千もの単語を含む語彙化モデルの訓練が困難になる。
2次解析と語彙化の両面から恩恵を受けながらこの問題を回避するため,合意に基づく学習フレームワークを用いて2次非語彙化モデルと1次語彙化モデルを共同で学習する。
複数のデータセットの実験は、最近の最先端手法と比較して、2階モデルの有効性を示している。
我々のジョイントモデルは、全WSJテストセットにおける前回の最先端パーサよりも10%改善する。 Most of the unsupervised dependency parsers are based on first-order probabilistic generative models that only consider local parent-child information. Inspired by second-order supervised dependency parsing, we proposed a second-order extension of unsupervised neural dependency models that incorporate grandparent-child or sibling information. We also propose a novel design of the neural parameterization and optimization methods of the dependency models. In second-order models, the number of grammar rules grows cubically with the increase of vocabulary size, making it difficult to train lexicalized models that may contain thousands of words. To circumvent this problem while still benefiting from both second-order parsing and lexicalization, we use the agreement-based learning framework to jointly train a second-order unlexicalized model and a first-order lexicalized model. Experiments on multiple datasets show the effectiveness of our second-order models compared with recent state-of-the-art methods. Our joint model achieves a 10% improvement over the previous state-of-the-art parser on the full WSJ test set | 翻訳日:2022-10-02 05:21:40 公開日:2020-10-28 |
| # テキスト翻訳におけるモダリティギャップのブリッジ化 Bridging the Modality Gap for Speech-to-Text Translation ( http://arxiv.org/abs/2010.14920v1 ) ライセンス: Link先を確認 | Yuchen Liu, Junnan Zhu, Jiajun Zhang, and Chengqing Zong | (参考訳) エンドツーエンドの音声翻訳は、ある言語の音声を、エンドツーエンドの方法で別の言語のテキストに変換することを目的としている。
既存の方法の多くは、単一のエンコーダを持つエンコーダ-デコーダ構造を使用して音響表現と意味情報を同時に学習し、音声とテキストのモーダリティの違いを無視し、エンコーダを過負荷にする。
これらの問題に対処するため,音声とテキスト間のモダリティギャップを埋めることにより,エンドツーエンドモデルの性能向上を目的とした音声翻訳用音声適応モデルを提案する。
具体的には、音声翻訳エンコーダを3つの部分に分け、音声表現の長さと対応するテキストの書き起こしとを一致させる縮小機構を導入する。
セマンティック表現を改善するために、テキストベースの翻訳モデルをSTASTに完全に統合し、同じ潜在空間で2つのタスクを訓練する。
さらに,音声とテキスト間の距離を縮めるためのクロスモーダル適応法を提案する。
英語・フランス語・ドイツ語の音声翻訳コーパスの実験結果から,本モデルが強いベースラインを著しく上回り,新たな最先端性能を実現することが示された。 End-to-end speech translation aims to translate speech in one language into text in another language via an end-to-end way. Most existing methods employ an encoder-decoder structure with a single encoder to learn acoustic representation and semantic information simultaneously, which ignores the speech-and-text modality differences and makes the encoder overloaded, leading to great difficulty in learning such a model. To address these issues, we propose a Speech-to-Text Adaptation for Speech Translation (STAST) model which aims to improve the end-to-end model performance by bridging the modality gap between speech and text. Specifically, we decouple the speech translation encoder into three parts and introduce a shrink mechanism to match the length of speech representation with that of the corresponding text transcription. To obtain better semantic representation, we completely integrate a text-based translation model into the STAST so that two tasks can be trained in the same latent space. Furthermore, we introduce a cross-modal adaptation method to close the distance between speech and text representation. Experimental results on English-French and English-German speech translation corpora have shown that our model significantly outperforms strong baselines, and achieves the new state-of-the-art performance. | 翻訳日:2022-10-02 05:21:19 公開日:2020-10-28 |
| # オンライン虐待コンテンツ検出におけるデザインによる倫理 Towards Ethics by Design in Online Abusive Content Detection ( http://arxiv.org/abs/2010.14952v1 ) ライセンス: Link先を確認 | Svetlana Kiritchenko and Isar Nejadgholi | (参考訳) オンラインコミュニケーションにおける安全性と包摂性を支援するため、NLP研究における重要な取り組みは、一般的には教師付き分類タスクとして定義される乱用コンテンツ検出の問題に対処することを目的としている。
研究の成果は、ヘイトスピーチの検出、毒性、サイバーいじめなど、関連するいくつかのサブエリアに広がっている。
タスクの定式化、データセットの設計、パフォーマンス評価のための共通フレームワークの下で、フィールドを統合する必要がある。
さらに,最新の技術で高い分類精度が達成されているにもかかわらず,いくつかの倫理的問題が明らかにされている。
倫理的問題を先導し、2段階のプロセスとして統一されたフレームワークを提案する。
まず、オンラインコンテンツは、個人的およびアイデンティティ関連の主題に分類される。
第二に、各カテゴリーにおける比較アノテーションによって虐待の深刻度を識別する。
新たなフレームワークは、設計原則による倫理に導かれ、より正確で信頼できるモデルを構築するための一歩である。 To support safety and inclusion in online communications, significant efforts in NLP research have been put towards addressing the problem of abusive content detection, commonly defined as a supervised classification task. The research effort has spread out across several closely related sub-areas, such as detection of hate speech, toxicity, cyberbullying, etc. There is a pressing need to consolidate the field under a common framework for task formulation, dataset design and performance evaluation. Further, despite current technologies achieving high classification accuracies, several ethical issues have been revealed. We bring ethical issues to forefront and propose a unified framework as a two-step process. First, online content is categorized around personal and identity-related subject matters. Second, severity of abuse is identified through comparative annotation within each category. The novel framework is guided by the Ethics by Design principle and is a step towards building more accurate and trusted models. | 翻訳日:2022-10-02 05:20:56 公開日:2020-10-28 |
| # 単語表現モデルに関する包括的調査 : 古典語から最先端語表現言語モデルへ A Comprehensive Survey on Word Representation Models: From Classical to State-Of-The-Art Word Representation Language Models ( http://arxiv.org/abs/2010.15036v1 ) ライセンス: Link先を確認 | Usman Naseem, Imran Razzak, Shah Khalid Khan, Mukesh Prasad | (参考訳) 単語表現は、自然言語処理(NLP)の歴史において、常に重要な研究領域である。
このような複雑なテキストデータの理解は、情報に富み、様々なアプリケーションで広く利用することができるため、必須である。
本研究では,従来の語表現モデルから現代語表現言語モデル(LMS)まで,異なる語表現モデルとその表現力について検討する。
我々は様々なテキスト表現法を記述し、モデル設計はSOTA LMを含むNLPの文脈で花を咲かせている。
これらのモデルは、大量のテキストを、同じ意味情報をキャプチャする効果的なベクトル表現に変換することができる。
さらに、このような表現は、さまざまなNLP関連タスクに対して、さまざまな機械学習(ML)アルゴリズムによって利用することができる。
最後に,ML および DL ベースの分類器,評価指標,およびこれらの単語を異なる NLP タスクに埋め込むための応用について概説する。 Word representation has always been an important research area in the history of natural language processing (NLP). Understanding such complex text data is imperative, given that it is rich in information and can be used widely across various applications. In this survey, we explore different word representation models and its power of expression, from the classical to modern-day state-of-the-art word representation language models (LMS). We describe a variety of text representation methods, and model designs have blossomed in the context of NLP, including SOTA LMs. These models can transform large volumes of text into effective vector representations capturing the same semantic information. Further, such representations can be utilized by various machine learning (ML) algorithms for a variety of NLP related tasks. In the end, this survey briefly discusses the commonly used ML and DL based classifiers, evaluation metrics and the applications of these word embeddings in different NLP tasks. | 翻訳日:2022-10-02 05:20:43 公開日:2020-10-28 |
| # 自然言語学習のための visuospatial dataset A Visuospatial Dataset for Naturalistic Verb Learning ( http://arxiv.org/abs/2010.15225v1 ) ライセンス: Link先を確認 | Dylan Ebert, Ellie Pavlick | (参考訳) 基礎言語モデルのトレーニングと評価のための新しいデータセットを導入する。
私たちのデータは仮想現実環境内で収集され、言語前の子供がアクセスしそうな言語データの品質をエミュレートするように設計されています。
収集したデータを用いて,複数の分布セマンティクスモデルを比較し,動詞学習を行う。
我々は,2D(ピクセル)特徴に基づくニューラルモデルと3D(シンボル的,空間的)特徴に基づく特徴工学モデルを評価し,どちらのモデリング手法も良好な性能を達成できないことを示す。
本研究は,ナイーブ分布データから動詞を学習することの難しさを強調する,児童言語習得の証拠と一致している。
我々は,認知的インスパイアされた基礎言語学習の今後の研究への道筋を議論し,その研究を促進する目的でコーパスを開放する。 We introduce a new dataset for training and evaluating grounded language models. Our data is collected within a virtual reality environment and is designed to emulate the quality of language data to which a pre-verbal child is likely to have access: That is, naturalistic, spontaneous speech paired with richly grounded visuospatial context. We use the collected data to compare several distributional semantics models for verb learning. We evaluate neural models based on 2D (pixel) features as well as feature-engineered models based on 3D (symbolic, spatial) features, and show that neither modeling approach achieves satisfactory performance. Our results are consistent with evidence from child language acquisition that emphasizes the difficulty of learning verbs from naive distributional data. We discuss avenues for future work on cognitively-inspired grounded language learning, and release our corpus with the intent of facilitating research on the topic. | 翻訳日:2022-10-02 05:20:27 公開日:2020-10-28 |
| # Hill-Valleyクラスタリングによる進化的マルチモーダル多目的最適化 Real-valued Evolutionary Multi-modal Multi-objective Optimization by Hill-Valley Clustering ( http://arxiv.org/abs/2010.14998v1 ) ライセンス: Link先を確認 | S. C. Maree, T. Alderliesten, P. A. N. Bosman | (参考訳) モデルベース進化アルゴリズム(eas)では、例えば決定変数間の依存関係に基づいて、基礎となる探索分布が問題に適応される。
hill-valleyクラスタリングは適応型ニチング手法であり、各クラスタが適合環境において単一のモードに対応するように解の集合をクラスタ化する。
これにより、eaの検索分布をモード数に適応させ、各モードを別々に探索することができる。
特にモードの数が未定のブラックボックス設定では、適応的なアプローチが優れたパフォーマンスに不可欠である。
本研究では,多目的ヒルバレークラスタリングを導入し,多目的ヒルバレーEA(MO-HillVallEA)にMAMaLGaMと組み合わせる。
我々は,MO-HillVallEAがベンチマーク関数の集合上でMAMaLGaMや他のよく知られた多目的最適化アルゴリズムより優れていることを示す。
さらに,おそらく最も重要なのは,mo-hillvallea が時間とともに複数の近似集合を同時に獲得し,維持できることである。 In model-based evolutionary algorithms (EAs), the underlying search distribution is adapted to the problem at hand, for example based on dependencies between decision variables. Hill-valley clustering is an adaptive niching method in which a set of solutions is clustered such that each cluster corresponds to a single mode in the fitness landscape. This can be used to adapt the search distribution of an EA to the number of modes, exploring each mode separately. Especially in a black-box setting, where the number of modes is a priori unknown, an adaptive approach is essential for good performance. In this work, we introduce multi-objective hill-valley clustering and combine it with MAMaLGaM, a multi-objective EA, into the multi-objective hill-valley EA (MO-HillVallEA). We empirically show that MO-HillVallEA outperforms MAMaLGaM and other well-known multi-objective optimization algorithms on a set of benchmark functions. Furthermore, and perhaps most important, we show that MO-HillVallEA is capable of obtaining and maintaining multiple approximation sets simultaneously over time. | 翻訳日:2022-10-02 05:19:43 公開日:2020-10-28 |
| # eldersim:高齢者の行動認識のための合成データ生成プラットフォーム ElderSim: A Synthetic Data Generation Platform for Human Action Recognition in Eldercare Applications ( http://arxiv.org/abs/2010.14742v1 ) ライセンス: Link先を確認 | Hochul Hwang, Cheongjae Jang, Geonwoo Park, Junghyun Cho, Ig-Jae Kim | (参考訳) 高齢者の日常生活行動の視覚に基づく行動認識のための深層学習モデルを訓練するには,様々な生活環境や環境下での大規模活動データセットが必要である。
しかしながら、人間の行動認識に使用されるほとんどの公開データセットは、多くの点で高齢者の活動が異なるか、限定的なカバレッジを持っているため、既存のデータセットのみを利用することで高齢者の日々の活動の認識が困難である。
近年,現実的なシミュレーション環境から合成データを生成し,それらのデータを用いてディープラーニングモデルを訓練することで,利用可能なデータセットの制限を積極的に補償している。
本稿では,これらのアイデアに基づき,高齢者の日常活動に関する合成データを生成する行動シミュレーションプラットフォームである eldersim を開発した。
高齢者の55種類の頻繁な日常活動では,様々な調整可能なデータ生成オプションを備えた合成文字のリアルな動作を生成し,rgbビデオ,2次元および3次元骨格軌跡などの出力モードを提供する。
次に,高齢者の日常生活活動に関する大規模合成データセットであるkist synadlを eldersim から生成し,そのデータに加えて,実データを用いて3つの最先端のヒューマンアクション認識モデルをトレーニングする。
実験では, 実データと合成データセットの異なる構成を前提として, 新たに提案されたいくつかのシナリオから, 合成データの増大による顕著な性能向上を観察した。
また,高齢者の日常活動の認識を支援するために,合成データの有効活用に関する知見を提示する。 To train deep learning models for vision-based action recognition of elders' daily activities, we need large-scale activity datasets acquired under various daily living environments and conditions. However, most public datasets used in human action recognition either differ from or have limited coverage of elders' activities in many aspects, making it challenging to recognize elders' daily activities well by only utilizing existing datasets. Recently, such limitations of available datasets have actively been compensated by generating synthetic data from realistic simulation environments and using those data to train deep learning models. In this paper, based on these ideas we develop ElderSim, an action simulation platform that can generate synthetic data on elders' daily activities. For 55 kinds of frequent daily activities of the elders, ElderSim generates realistic motions of synthetic characters with various adjustable data-generating options, and provides different output modalities including RGB videos, two- and three-dimensional skeleton trajectories. We then generate KIST SynADL, a large-scale synthetic dataset of elders' activities of daily living, from ElderSim and use the data in addition to real datasets to train three state-of the-art human action recognition models. From the experiments following several newly proposed scenarios that assume different real and synthetic dataset configurations for training, we observe a noticeable performance improvement by augmenting our synthetic data. We also offer guidance with insights for the effective utilization of synthetic data to help recognize elders' daily activities. | 翻訳日:2022-10-02 05:14:21 公開日:2020-10-28 |
| # 時空間不均一衛星データを用いたリアルタイム熱帯サイクロン強度推定 Real-time Tropical Cyclone Intensity Estimation by Handling Temporally Heterogeneous Satellite Data ( http://arxiv.org/abs/2010.14977v1 ) ライセンス: Link先を確認 | Boyo Chen, Buo-Fu Chen, Yun-Nung Chen | (参考訳) 様々な衛星プラットフォーム上の複数の先端センサーによって収集された大規模地球物理観測データの解析は、地球物理システムの理解を促進する。
例えば、畳み込みニューラルネットワーク(cnn)は、一定の時間周波数(例えば3h)の衛星データに基づいて熱帯サイクロン(tc)強度を推定することに成功した。
しかし、よりタイムリー(30分以下)で正確なTC強度推定を行うには、時間的に不均一な衛星観測を扱うために深層学習モデルが必要である。
具体的には、赤外線(ir1)と水蒸気(wv)の画像は15分毎に、受動マイクロ波雨量(pmw)は約3時間毎に利用可能である。
一方、可視チャネル(VIS)はノイズや日光の強度に深刻な影響を受けており、利用が困難である。
そこで本研究では,GAN(Generative Adversarial Network)とCNNを組み合わせた新たなフレームワークを提案する。
このモデルは、トレーニングフェーズ中にVISとPMW情報を含むすべてのデータを使用し、最終的に予測フェーズ中に強度推定を提供するために、高頻度のIR1とWVデータのみを使用する。
実験の結果,gan-cnnハイブリッドフレームワークは,最大推定周波数を3時間以内から15分未満に増やす能力を有しながら,最先端モデルと同等の精度を達成した。 Analyzing big geophysical observational data collected by multiple advanced sensors on various satellite platforms promotes our understanding of the geophysical system. For instance, convolutional neural networks (CNN) have achieved great success in estimating tropical cyclone (TC) intensity based on satellite data with fixed temporal frequency (e.g., 3 h). However, to achieve more timely (under 30 min) and accurate TC intensity estimates, a deep learning model is demanded to handle temporally-heterogeneous satellite observations. Specifically, infrared (IR1) and water vapor (WV) images are available under every 15 minutes, while passive microwave rain rate (PMW) is available for about every 3 hours. Meanwhile, the visible (VIS) channel is severely affected by noise and sunlight intensity, making it difficult to be utilized. Therefore, we propose a novel framework that combines generative adversarial network (GAN) with CNN. The model utilizes all data, including VIS and PMW information, during the training phase and eventually uses only the high-frequent IR1 and WV data for providing intensity estimates during the predicting phase. Experimental results demonstrate that the hybrid GAN-CNN framework achieves comparable precision to the state-of-the-art models, while possessing the capability of increasing the maximum estimation frequency from 3 hours to less than 15 minutes. | 翻訳日:2022-10-02 05:13:13 公開日:2020-10-28 |
| # 非局所マスクR-CNNと病理組織学的根拠を用いたバイパラメトリックMRIの正確な前立腺癌検出と分画 Accurate Prostate Cancer Detection and Segmentation on Biparametric MRI using Non-local Mask R-CNN with Histopathological Ground Truth ( http://arxiv.org/abs/2010.15233v1 ) ライセンス: Link先を確認 | Zhenzhen Dai, Ivan Jambor, Pekka Taimen, Milan Pantelic, Mohamed Elshaikh, Craig Rogers, Otto Ettala, Peter Bostr\"om, Hannu Aronen, Harri Merisaari and Ning Wen | (参考訳) 目的:総量 prostatectomy specimen-based delineation を用いて,bp-mri 上の前立腺内病変 (il) の検出と分節化を改善するため,深部機械学習 (dl) モデルの開発を目標とした。
また,移動学習と自己学習が,少量のラベル付きデータで結果を改善するかどうかについても検討した。
方法:bp-MRIをベースとしたMRIで不審な病変が158例,前立腺全摘片によるMRIで非定型化が64例,非定型化が40例であった。
セグメンテーション精度を向上させるために非局所マスクR-CNNを提案した。
mri-based delineationとprostatectomy-based delineationを用いてトレーニングしたモデルを用いてトランスファーラーニングを微調整した。
自己学習では2つのラベル選択戦略が検討された。
モデルの性能は, 3次元検出率, dice類似度係数 (dsc), 95%のhausdrauff (95 hd, mm) およびtrue positive ratio (tpr) を用いて評価した。
結果: prostatectomy-based delineation では,非局所マスクr-cnn の微調整と自己訓練により評価指標が大幅に改善した。
最も検出率が高いモデルでは、Gleason Grade Group(GGG)の80.5%(33/41)が0.548[0.165]、95 HD(5.72[3.17]、TPR(0.613[0.193])で検出された。
そのうち, GGG > 2 病変の94.7% (18/19) が DSC 0.604[0.135], 95 HD 6.26[3.44], TPR 0.580[0.190] で検出された。
結論: DLモデルは, 組織像からのアノテーションに基づいて, bp-MRIの高前立腺癌検出と分画精度を達成できる。
パフォーマンスをさらに向上させるためには、MRIと全量の前立腺摘出標本のアノテーションを含むより多くのデータが必要である。 Purpose: We aimed to develop deep machine learning (DL) models to improve the detection and segmentation of intraprostatic lesions (IL) on bp-MRI by using whole amount prostatectomy specimen-based delineations. We also aimed to investigate whether transfer learning and self-training would improve results with small amount labelled data. Methods: 158 patients had suspicious lesions delineated on MRI based on bp-MRI, 64 patients had ILs delineated on MRI based on whole mount prostatectomy specimen sections, 40 patients were unlabelled. A non-local Mask R-CNN was proposed to improve the segmentation accuracy. Transfer learning was investigated by fine-tuning a model trained using MRI-based delineations with prostatectomy-based delineations. Two label selection strategies were investigated in self-training. The performance of models was evaluated by 3D detection rate, dice similarity coefficient (DSC), 95 percentile Hausdrauff (95 HD, mm) and true positive ratio (TPR). Results: With prostatectomy-based delineations, the non-local Mask R-CNN with fine-tuning and self-training significantly improved all evaluation metrics. For the model with the highest detection rate and DSC, 80.5% (33/41) of lesions in all Gleason Grade Groups (GGG) were detected with DSC of 0.548[0.165], 95 HD of 5.72[3.17] and TPR of 0.613[0.193]. Among them, 94.7% (18/19) of lesions with GGG > 2 were detected with DSC of 0.604[0.135], 95 HD of 6.26[3.44] and TPR of 0.580[0.190]. Conclusion: DL models can achieve high prostate cancer detection and segmentation accuracy on bp-MRI based on annotations from histologic images. To further improve the performance, more data with annotations of both MRI and whole amount prostatectomy specimens are required. | 翻訳日:2022-10-02 05:12:31 公開日:2020-10-28 |
| # 深部表現学習を用いた胸部X線による挿管支援の予測 Predicting intubation support requirement of patients using Chest X-ray with Deep Representation Learning ( http://arxiv.org/abs/2011.01787v1 ) ライセンス: Link先を確認 | Aniket Maurya | (参考訳) 近年のDeep Learningによる医用画像の進歩は、自動診断と予後の証拠である。
また、現在利用可能な診断方法の補完となることもある。
ディープラーニングは診断、重度予測、挿管支援予測、その他多くの類似タスクに活用できる。
深部表現学習を用いた胸部X線患者の挿管支援要件の予測について述べる。
ソースコードはhttps://github.com/aniketmaurya/covid-researchで公開しています。 Recent developments in medical imaging with Deep Learning presents evidence of automated diagnosis and prognosis. It can also be a complement to currently available diagnosis methods. Deep Learning can be leveraged for diagnosis, severity prediction, intubation support prediction and many similar tasks. We present prediction of intubation support requirement for patients from the Chest X-ray using Deep representation learning. We release our source code publicly at https://github.com/aniketmaurya/covid-research. | 翻訳日:2022-10-02 05:11:22 公開日:2020-10-28 |
| # CompRess: 表現の圧縮による自己指導型学習 CompRess: Self-Supervised Learning by Compressing Representations ( http://arxiv.org/abs/2010.14713v1 ) ライセンス: Link先を確認 | Soroush Abbasi Koohpayegani, Ajinkya Tejankar, and Hamed Pirsiavash | (参考訳) 自己教師付き学習は、ラベルのないデータで優れた表現を学ぶことを目的としている。
近年の研究では、より大規模なモデルはより小さなモデルよりも自己教師付き学習の恩恵を受けていることが示されている。
その結果,大規模モデルでは,教師付き学習と自己教師型学習のギャップが大きく減っている。
本研究では,自己教師付き学習のための新しい疑似タスクを設計する代わりに,学習済みの深い自己教師付きモデル(教師)をより小さいもの(学生)に圧縮するモデル圧縮手法を開発した。
教師の埋め込み空間におけるデータポイント間の相対的類似性を模倣するように、学生モデルを訓練する。
AlexNetでは、画像ネット線形評価(56.5%と比較すると59.0%)や近接評価(41.4%と比較すると50.7%)の完全教師付きモデルを含む従来の手法よりも優れていた。
私たちの知る限りでは、imagenet分類において、自己監視型alexnetが監視型を上回ったのはこれが初めてです。
私たちのコードはこちらで入手可能です。 Self-supervised learning aims to learn good representations with unlabeled data. Recent works have shown that larger models benefit more from self-supervised learning than smaller models. As a result, the gap between supervised and self-supervised learning has been greatly reduced for larger models. In this work, instead of designing a new pseudo task for self-supervised learning, we develop a model compression method to compress an already learned, deep self-supervised model (teacher) to a smaller one (student). We train the student model so that it mimics the relative similarity between the data points in the teacher's embedding space. For AlexNet, our method outperforms all previous methods including the fully supervised model on ImageNet linear evaluation (59.0% compared to 56.5%) and on nearest neighbor evaluation (50.7% compared to 41.4%). To the best of our knowledge, this is the first time a self-supervised AlexNet has outperformed supervised one on ImageNet classification. Our code is available here: https://github.com/UMBCvision/CompRess | 翻訳日:2022-10-02 05:04:42 公開日:2020-10-28 |
| # クラス非依存セグメンテーション損失とその有能物体検出・セグメンテーションへの応用 Class-Agnostic Segmentation Loss and Its Application to Salient Object Detection and Segmentation ( http://arxiv.org/abs/2010.14793v1 ) ライセンス: Link先を確認 | Angira Sharma, Naeemullah Khan, Ganesh Sundaramoorthi, Philip Torr | (参考訳) 本稿では,CAS損失(class-agnostic segmentation)と呼ばれる新しい損失関数を提案する。
cas損失により、クラス記述子はネットワークのトレーニング中に学習される。
クラス a-priori のラベルを定義する必要はないが、CAS の損失クラスタは、よく似た外観を、弱教師付きで一緒に定義する。
さらに,cas損失関数はクラス不均衡に弱く,有界であり,ロバストであることを示した。
本研究では,完全畳み込みresnet101とdeeplab-v3アーキテクチャを用いたcas損失関数を,salient object detectionのバイナリセグメンテーション問題に適用する。
本研究では,7つの有意な対象検出データセットに対する低・高忠実度トレーニングデータの2つの設定における最先端手法に対する性能について検討する。
低忠実度トレーニングデータ(不正確なクラスラベル)では、クラス非依存なセグメンテーション損失は、約50%のマージンを停滞させることで、サルエントオブジェクト検出データセットの最先端メソッドを上回っている。
高忠実性トレーニングデータ(正しいクラスラベル)では、クラスに依存しないセグメンテーションモデルは最先端のアプローチと同等に機能し、ほとんどのデータセットで最先端の手法を上回ります。
また、各領域にまたがる損失関数の有用性を示すために、一般セグメンテーションデータセットを用いて、クラスに依存しないセグメンテーション損失は、領域とエッジの両方で大きなマージンで、クロスエントロピーベースの損失より優れることを示す。 In this paper we present a novel loss function, called class-agnostic segmentation (CAS) loss. With CAS loss the class descriptors are learned during training of the network. We don't require to define the label of a class a-priori, rather the CAS loss clusters regions with similar appearance together in a weakly-supervised manner. Furthermore, we show that the CAS loss function is sparse, bounded, and robust to class-imbalance. We apply our CAS loss function with fully-convolutional ResNet101 and DeepLab-v3 architectures to the binary segmentation problem of salient object detection. We investigate the performance against the state-of-the-art methods in two settings of low and high-fidelity training data on seven salient object detection datasets. For low-fidelity training data (incorrect class label) class-agnostic segmentation loss outperforms the state-of-the-art methods on salient object detection datasets by staggering margins of around 50%. For high-fidelity training data (correct class labels) class-agnostic segmentation models perform as good as the state-of-the-art approaches while beating the state-of-the-art methods on most datasets. In order to show the utility of the loss function across different domains we also test on general segmentation dataset, where class-agnostic segmentation loss outperforms cross-entropy based loss by huge margins on both region and edge metrics. | 翻訳日:2022-10-02 05:04:13 公開日:2020-10-28 |
| # 自己監督型映像表現学習のためのサイクルコントラスト Cycle-Contrast for Self-Supervised Video Representation Learning ( http://arxiv.org/abs/2010.14810v1 ) ライセンス: Link先を確認 | Quan Kong, Wenpeng Wei, Ziwei Deng, Tomoaki Yoshinaga, Tomokazu Murakami | (参考訳) 本稿では,ビデオ表現を学習する新たな自己指導手法であるCCLを提案する。
CCLは、ビデオとそのフレームの帰属関係と包摂関係があることから、それぞれのドメインにおけるコントラスト表現を考慮したフレームとビデオ間の対応を見つけるように設計されている。
フレームやクリップ間の対応を単に学習する最近のアプローチとは異なる。
本手法では,R3Dアーキテクチャに基づく単一ネットワークからフレームとビデオの表現を学習し,サイクルコントラスト損失の前にフレームとビデオの特徴を埋め込むための非線形変換を共用する。
我々は,cclが学習した映像表現を,ビデオ理解の下流タスクによく移行でき,最寄りの検索における従来の手法を上回り,utf101,hmdb51,mmactの動作認識タスクを上回ることができることを示す。 We present Cycle-Contrastive Learning (CCL), a novel self-supervised method for learning video representation. Following a nature that there is a belong and inclusion relation of video and its frames, CCL is designed to find correspondences across frames and videos considering the contrastive representation in their domains respectively. It is different from recent approaches that merely learn correspondences across frames or clips. In our method, the frame and video representations are learned from a single network based on an R3D architecture, with a shared non-linear transformation for embedding both frame and video features before the cycle-contrastive loss. We demonstrate that the video representation learned by CCL can be transferred well to downstream tasks of video understanding, outperforming previous methods in nearest neighbour retrieval and action recognition tasks on UCF101, HMDB51 and MMAct. | 翻訳日:2022-10-02 05:03:48 公開日:2020-10-28 |
| # ほとんどのReLUネットワークは$\ell^2$の逆摂動から生じる Most ReLU Networks Suffer from $\ell^2$ Adversarial Perturbations ( http://arxiv.org/abs/2010.14927v1 ) ライセンス: Link先を確認 | Amit Daniely and Hadas Schacham | (参考訳) 本稿では,各層で寸法が減少するランダム重み付きReLUネットワークについて考察する。
そのようなネットワークのほとんどにおいて、ほとんどの例では、x$ はユークリッド距離 $o\left(\frac{\|x\|}{\sqrt{d}}\right)$ で逆摂動を認め、ここで $d$ は入力次元である。
さらに、この摂動は、十分に小さなステップの勾配降下と同様に、勾配流を介して見られる。
この結果は、敵の例の豊富さと、それらが勾配降下によって見つかるという事実の説明と見ることができる。 We consider ReLU networks with random weights, in which the dimension decreases at each layer. We show that for most such networks, most examples $x$ admit an adversarial perturbation at an Euclidean distance of $O\left(\frac{\|x\|}{\sqrt{d}}\right)$, where $d$ is the input dimension. Moreover, this perturbation can be found via gradient flow, as well as gradient descent with sufficiently small steps. This result can be seen as an explanation to the abundance of adversarial examples, and to the fact that they are found via gradient descent. | 翻訳日:2022-10-02 05:02:38 公開日:2020-10-28 |
| # プラズマ核融合設計のためのスパースマトリックス分解による絡み合った物理関係の同定 Identifying Entangled Physics Relationships through Sparse Matrix Decomposition to Inform Plasma Fusion Design ( http://arxiv.org/abs/2010.15208v1 ) ライセンス: Link先を確認 | M. Giselle Fern\'andez-Godino, Michael J. Grosskopf, Julia B. Nakhleh, Brandon M. Wilson, John Kline, and Gowri Srinivasan | (参考訳) 慣性核融合(ICF)による持続可能な燃焼プラットフォームは、50年以上にわたって進行中の課題である。
エンジニアリングの制限を緩和し、現在の設計を改善するには、物理プロセスの複雑な結合を理解する必要がある。
高度なシミュレーションコードはICFインロジョンをモデル化するために使用されるが、これらのツールは必要な数値近似を含むが、予測能力を制限する物理過程を見逃す。
icf実験における制御可能な設計入力と測定可能な結果(例えば収量、形状)の関係の同定は、実験の将来設計とシミュレーションコードの開発を導く助けとなり、icf実験のシミュレーションに使用される計算モデルの精度を向上させる可能性がある。
スパース行列分解法を用いていくつかの設計変数のクラスタを同定する。
スパース主成分分析 (spca) は、変数の物理的起源(レーザー、ホラウム、カプセル)に関連するグループを識別する。
可変重要性解析により、ピケットパワーやレーザーエネルギーといった中性子収率と高い相関を持つ変数に加えて、パルスステップの数などのICF設計の劇的な変化を表す変数も非常に重要であることがわかった。
次に得られたスパース成分を用いて、ランダム森林(RF)シュロゲートをトレーニングし、総収量を予測する。
トレーニングおよびテストデータにおけるRF性能は、考慮されたすべての設計変数を用いて訓練されたRFサロゲートの性能と比較する。
この研究は、専門家の直観とシミュレーション結果の強化により、将来のicf実験における設計変更を知らせることを目的としている。 A sustainable burn platform through inertial confinement fusion (ICF) has been an ongoing challenge for over 50 years. Mitigating engineering limitations and improving the current design involves an understanding of the complex coupling of physical processes. While sophisticated simulations codes are used to model ICF implosions, these tools contain necessary numerical approximation but miss physical processes that limit predictive capability. Identification of relationships between controllable design inputs to ICF experiments and measurable outcomes (e.g. yield, shape) from performed experiments can help guide the future design of experiments and development of simulation codes, to potentially improve the accuracy of the computational models used to simulate ICF experiments. We use sparse matrix decomposition methods to identify clusters of a few related design variables. Sparse principal component analysis (SPCA) identifies groupings that are related to the physical origin of the variables (laser, hohlraum, and capsule). A variable importance analysis finds that in addition to variables highly correlated with neutron yield such as picket power and laser energy, variables that represent a dramatic change of the ICF design such as number of pulse steps are also very important. The obtained sparse components are then used to train a random forest (RF) surrogate for predicting total yield. The RF performance on the training and testing data compares with the performance of the RF surrogate trained using all design variables considered. This work is intended to inform design changes in future ICF experiments by augmenting the expert intuition and simulations results. | 翻訳日:2022-10-02 05:02:08 公開日:2020-10-28 |
| # 連続ペアワイズマルコフ確率場学習について On Learning Continuous Pairwise Markov Random Fields ( http://arxiv.org/abs/2010.15031v1 ) ライセンス: Link先を確認 | Abhin Shah, Devavrat Shah, Gregory W. Wornell | (参考訳) i.i.dサンプルから連続値変数を持つスパースペアワイズマルコフ確率場(mrf)を学習することを検討する。
vuffray et al. (2019) のアルゴリズムをこの設定に適応させ、離散的およびガウス的設定のように、変数数に対数的にスケールするサンプル複雑性を明らかにする有限サンプル分析を提供する。
本手法は連続変数を持つペアワイズmrfの大規模クラスに適用できるとともに,温和な条件下での一貫性や正規性など,望ましい漸近的特性を有する。
さらに, vuffray et al. (2019) で採用されている最適化基準の集団バージョンを, 局所的最大確率推定 (mle) と解釈できることを確認した。
分析の一環として,本研究では,sparse linear regression a` la lasso のロバストな変動について紹介する。 We consider learning a sparse pairwise Markov Random Field (MRF) with continuous-valued variables from i.i.d samples. We adapt the algorithm of Vuffray et al. (2019) to this setting and provide finite-sample analysis revealing sample complexity scaling logarithmically with the number of variables, as in the discrete and Gaussian settings. Our approach is applicable to a large class of pairwise MRFs with continuous variables and also has desirable asymptotic properties, including consistency and normality under mild conditions. Further, we establish that the population version of the optimization criterion employed in Vuffray et al. (2019) can be interpreted as local maximum likelihood estimation (MLE). As part of our analysis, we introduce a robust variation of sparse linear regression a` la Lasso, which may be of interest in its own right. | 翻訳日:2022-10-02 04:54:39 公開日:2020-10-28 |
| # 深層学習とカーネル学習--ロスランドスケープ幾何学とニューラルタンジェントカーネルの時間進化の実証的研究 Deep learning versus kernel learning: an empirical study of loss landscape geometry and the time evolution of the Neural Tangent Kernel ( http://arxiv.org/abs/2010.15110v1 ) ライセンス: Link先を確認 | Stanislav Fort, Gintare Karolina Dziugaite, Mansheej Paul, Sepideh Kharaghani, Daniel M. Roy, Surya Ganguli | (参考訳) 適切な初期化ワイドネットワークでは、小さな学習レートがディープニューラルネットワーク(dnn)をニューラルネットワーク(ntk)マシンに変換し、トレーニングダイナミクスは初期化時のネットワークの線形重み拡大によって近似される。
しかし、標準的な訓練は、その線形化からほとんど理解されていない方法で分岐する。
本研究では,非線形深層ネットワークのトレーニング力学,損失ランドスケープの幾何学,およびデータ依存NTKの時間発展の関係について検討する。
我々は,大規模現象学的なトレーニング分析を通じて,損失景観幾何学とNTKダイナミクスを特徴付ける多様な尺度を合成する。
複数のニューラルアーキテクチャとデータセットにおいて、これらの多様な尺度は高度に相関して進化し、ディープラーニングプロセスの普遍的なイメージを明らかにする。
この図では、深層ネットワークトレーニングは、2～3時間以内にトレーニングの終点を含む低損失の最終線形連結盆地を決定する、非常にカオスな急速初期過渡性を示す。
このカオス的過渡期において、NTKは急速に変化し、トレーニングデータから有用な特徴を学習し、標準のNTKを3から4エポック未満の3倍に向上させることができる。
この急激なカオス的過渡期の後、NTKは一定速度で変化し、その性能はトレーニング時間の15%から45%で完全なネットワークトレーニングと一致する。
全体として、我々の分析は、トレーニング時間におけるさまざまなメトリクスセットの相関関係を明らかにするもので、最初の数回のカオスから安定的な移行によって管理され、共により正確なディープラーニング理論の開発に挑戦し、機会をもたらします。 In suitably initialized wide networks, small learning rates transform deep neural networks (DNNs) into neural tangent kernel (NTK) machines, whose training dynamics is well-approximated by a linear weight expansion of the network at initialization. Standard training, however, diverges from its linearization in ways that are poorly understood. We study the relationship between the training dynamics of nonlinear deep networks, the geometry of the loss landscape, and the time evolution of a data-dependent NTK. We do so through a large-scale phenomenological analysis of training, synthesizing diverse measures characterizing loss landscape geometry and NTK dynamics. In multiple neural architectures and datasets, we find these diverse measures evolve in a highly correlated manner, revealing a universal picture of the deep learning process. In this picture, deep network training exhibits a highly chaotic rapid initial transient that within 2 to 3 epochs determines the final linearly connected basin of low loss containing the end point of training. During this chaotic transient, the NTK changes rapidly, learning useful features from the training data that enables it to outperform the standard initial NTK by a factor of 3 in less than 3 to 4 epochs. After this rapid chaotic transient, the NTK changes at constant velocity, and its performance matches that of full network training in 15% to 45% of training time. Overall, our analysis reveals a striking correlation between a diverse set of metrics over training time, governed by a rapid chaotic to stable transition in the first few epochs, that together poses challenges and opportunities for the development of more accurate theories of deep learning. | 翻訳日:2022-10-02 04:53:45 公開日:2020-10-28 |
| # 機械学習アルゴリズムによるテストセット最適化 Test Set Optimization by Machine Learning Algorithms ( http://arxiv.org/abs/2010.15240v1 ) ライセンス: Link先を確認 | Kaiming Fu and Yulu Jin and Zhousheng Chen | (参考訳) 診断結果はテストセットの量に大きく依存する。
最も効率的なテストセットを導出するために,比較的正確な診断を行う最小限のテストデータを予測するための機械学習に基づくいくつかの手法を提案する。
故障した回路から出力を収集することにより、テスト終了点の推論情報を含む特徴行列とラベルベクトルを生成する。
そこで我々は,データに適合する予測モデルを開発し,テスト終了時期を決定する。
検討された手法は,LASSO と Support Vector Machine (SVM) で,目標(ラベル) と予測器(フィーチャーマトリックス) の関係は LASSO では線形であり,SVM では非線形であると考えられる。
その結果、svmの診断精度は90.4%に達し、テストの体積は35.24%減少した。 Diagnosis results are highly dependent on the volume of test set. To derive the most efficient test set, we propose several machine learning based methods to predict the minimum amount of test data that produces relatively accurate diagnosis. By collecting outputs from failing circuits, the feature matrix and label vector are generated, which involves the inference information of the test termination point. Thus we develop a prediction model to fit the data and determine when to terminate testing. The considered methods include LASSO and Support Vector Machine(SVM) where the relationship between goals(label) and predictors(feature matrix) are considered to be linear in LASSO and nonlinear in SVM. Numerical results show that SVM reaches a diagnosis accuracy of 90.4% while deducting the volume of test set by 35.24%. | 翻訳日:2022-10-02 04:53:14 公開日:2020-10-28 |
| # 騒々しい学習者のための根拠のない独立テスト Independence Tests Without Ground Truth for Noisy Learners ( http://arxiv.org/abs/2010.15662v1 ) ライセンス: Link先を確認 | Andr\'es Corrada-Emmanuel, Edward Pantridge, Eddie Zahrebelski, Aditya Chaganti, Simeon Simeonov | (参考訳) 完全基底真理不変多項式系は任意に関連付けられた二項分類器に対して書ける。
それらの解は、サンプル内の正しいラベルの基底真理の知識を必要とするサンプル統計に対して推定を与える。
これらの多項式系のうち、閉形式で解かれたものはわずかである。
ここでは,独立バイナリ分類器の厳密な解決法について論じる。
その実用性は、唯一の仮定によって妨げられ、分類器はそのサンプルエラーに独立していなければならない。
我々は,閉じた形状の解を用いて,独立性の仮定自体が正しいラベルの根拠の真理を欠いていることを検証できる自己整合性テストを作成する方法について論じる。
それは未解決のバイナリ分類子に対する代数的幾何予想としてキャストできる。
基底真理不変代数系のスカラー回帰器に対する同様の予想は解決可能であり、ここでは解を提示する。
また、Penn ML Benchmark分類タスクに関する実験を議論し、この予想が二項分類器の多項式系に対して真であることを示す。 Exact ground truth invariant polynomial systems can be written for arbitrarily correlated binary classifiers. Their solutions give estimates for sample statistics that require knowledge of the ground truth of the correct labels in the sample. Of these polynomial systems, only a few have been solved in closed form. Here we discuss the exact solution for independent binary classifiers - resolving an outstanding problem that has been presented at this conference and others. Its practical applicability is hampered by its sole remaining assumption - the classifiers need to be independent in their sample errors. We discuss how to use the closed form solution to create a self-consistent test that can validate the independence assumption itself absent the correct labels ground truth. It can be cast as an algebraic geometry conjecture for binary classifiers that remains unsolved. A similar conjecture for the ground truth invariant algebraic system for scalar regressors is solvable, and we present the solution here. We also discuss experiments on the Penn ML Benchmark classification tasks that provide further evidence that the conjecture may be true for the polynomial system of binary classifiers. | 翻訳日:2022-10-02 04:52:59 公開日:2020-10-28 |
| # icuにおける酸素療法が死亡率に及ぼす影響を推定するための知識拡張型構造因果モデル Structural Causal Model with Expert Augmented Knowledge to Estimate the Effect of Oxygen Therapy on Mortality in the ICU ( http://arxiv.org/abs/2010.14774v1 ) ライセンス: Link先を確認 | Md Osman Gani, Shravan Kethireddy, Marvi Bikak, Paul Griffin, Mohammad Adibuzzaman | (参考訳) 因果推論手法の最近の進歩、具体的には構造因果モデルの理論において、因果グラフが識別可能である場合の観測データから因果効果を識別するための枠組みを提供する。
しかし,この概念を臨床例で示す研究は行われていない。
本稿では, モデル開発段階における専門知識を増強し, 実践的臨床応用により, 観察データから因果効果を推定する枠組みを提案する。
本研究は,集中治療室(icu)における酸素療法介入の効果を時間的かつ重要な研究課題とし,icuの重症急性呼吸器症候群(sars-cov-2)患者を含む様々な疾患に有用である。
モラルに対する酸素療法の効果を推定するために,マサチューセッツ州ボストンのicuから,58,976件の登録情報を含む,機械学習コミュニティの標準データベースであるmime iiiデータベースのデータを用いた。
また,よりパーソナライズされた介入のために,酸素療法に対するコバルト特異的な効果をモデルから同定した。 Recent advances in causal inference techniques, more specifically, in the theory of structural causal models, provide the framework for identification of causal effects from observational data in the cases where the causal graph is identifiable, i.e., the data generating mechanism can be recovered from the joint distribution. However, no such studies have been done to demonstrate this concept with a clinical example. We present a complete framework to estimate the causal effect from observational data by augmenting expert knowledge in the model development phase and with a practical clinical application. Our clinical application entails a timely and important research question, i.e., the effect of oxygen therapy intervention in the intensive care unit (ICU); the result of this project is useful in a variety of disease conditions, including severe acute respiratory syndrome coronavirus-2 (SARS-CoV-2) patients in the ICU. We used data from the MIMIC III database, a standard database in the machine learning community that contains 58,976 admissions from an ICU in Boston, MA, for estimating the oxygen therapy effect on morality. We also identified the covariate-specific effect to oxygen therapy from the model for more personalized intervention. | 翻訳日:2022-10-02 04:47:13 公開日:2020-10-28 |
| # 人間の学習に触発された連続学習の効率性に関する研究 A Study on Efficiency in Continual Learning Inspired by Human Learning ( http://arxiv.org/abs/2010.15187v1 ) ライセンス: Link先を確認 | Philip J. Ball, Yingzhen Li, Angus Lamb, Cheng Zhang | (参考訳) 人間は効率的な連続学習システムであり、有限の細胞と資源で誕生から新しいスキルを継続的に学習する。
私たちの学習は容量と時間の両面で高度に最適化されています。
本研究では,人間の学習からインスピレーションを得て,継続学習システムの効率性を検討する。
特に,睡眠のメカニズムに着想を得て,packnetをケーススタディとして活用し,プルーニングに基づく連続学習アルゴリズムを評価した。
まず,生物の正当性のない連続的な学習で用いられる体重凍結は,与えられた性能のレベルに使用される重量の2ドル以上となる可能性があることを確かめる。
第2に,PackNetのトレーニング・プルーニング・フェーズとヒトの昼夜行動と夜間行動の類似点について述べる。
本研究では,刈り込み段階に時間的予算が与えられる環境について検討し,反復刈り込みと複数の睡眠サイクルの関連性を明らかにする。
異なるタスクを与えられた反復対エポックの最適選択が存在することを示す。 Humans are efficient continual learning systems; we continually learn new skills from birth with finite cells and resources. Our learning is highly optimized both in terms of capacity and time while not suffering from catastrophic forgetting. In this work we study the efficiency of continual learning systems, taking inspiration from human learning. In particular, inspired by the mechanisms of sleep, we evaluate popular pruning-based continual learning algorithms, using PackNet as a case study. First, we identify that weight freezing, which is used in continual learning without biological justification, can result in over $2\times$ as many weights being used for a given level of performance. Secondly, we note the similarity in human day and night time behaviors to the training and pruning phases respectively of PackNet. We study a setting where the pruning phase is given a time budget, and identify connections between iterative pruning and multiple sleep cycles in humans. We show there exists an optimal choice of iteration v.s. epochs given different tasks. | 翻訳日:2022-10-02 04:46:40 公開日:2020-10-28 |
| # 強化学習におけるグレディフィケーションと組み合わせた近似政策評価の方法論の理解 Understanding the Pathologies of Approximate Policy Evaluation when Combined with Greedification in Reinforcement Learning ( http://arxiv.org/abs/2010.15268v1 ) ライセンス: Link先を確認 | Kenny Young and Richard S. Sutton | (参考訳) 実証的な成功にもかかわらず、値関数近似を用いた強化学習理論(RL)は基本的に不完全である。
先行研究は、概略オンポリシー評価と欲欲化を組み合わせたrlアルゴリズムで生じる様々な病的行動を特定した。
1つの顕著な例はポリシーの発振であり、アルゴリズムは一定の点に収束するのではなく、ポリシーの間を無限に循環することができる。
しかし、よく理解されていないのは、振動領域における政策の質である。
本稿では、ポリシーの振動と複数の固定点に加えて、同じ基本的な問題が与えられた近似に対する最悪のポリシーに収束する可能性があることを示す単純な例を示す。
このような振る舞いは、アルゴリズムが現在のポリシーの下で起こる状態の分布によって重みづけられた評価精度を最適化する場合に起こりうるが、この分布下では希少または存在しない状態の値に基づいてグリード化される。
これは、欲求化に用いられる値は信頼できないことを意味し、望ましくない方向に政策を操縦することができる。
これが最悪のポリシーにつながる可能性があるという我々の観測は、一般的な意味ではそのようなアルゴリズムは信頼できないことを示している。
このような例の存在は、可能な理論的な保証の種類と、役に立つであろうアルゴリズム的なアイデアの種類を狭めるのに役立つ。
我々は、そのような病理学的挙動が、ブートストラップや線形関数近似、ニューラルネットワークのようなより複雑なパラメータ化関数など、幅広いRLおよび動的プログラミングアルゴリズムに影響を及ぼすことを解析的および実験的に実証した。 Despite empirical success, the theory of reinforcement learning (RL) with value function approximation remains fundamentally incomplete. Prior work has identified a variety of pathological behaviours that arise in RL algorithms that combine approximate on-policy evaluation and greedification. One prominent example is policy oscillation, wherein an algorithm may cycle indefinitely between policies, rather than converging to a fixed point. What is not well understood however is the quality of the policies in the region of oscillation. In this paper we present simple examples illustrating that in addition to policy oscillation and multiple fixed points -- the same basic issue can lead to convergence to the worst possible policy for a given approximation. Such behaviours can arise when algorithms optimize evaluation accuracy weighted by the distribution of states that occur under the current policy, but greedify based on the value of states which are rare or nonexistent under this distribution. This means the values used for greedification are unreliable and can steer the policy in undesirable directions. Our observation that this can lead to the worst possible policy shows that in a general sense such algorithms are unreliable. The existence of such examples helps to narrow the kind of theoretical guarantees that are possible and the kind of algorithmic ideas that are likely to be helpful. We demonstrate analytically and experimentally that such pathological behaviours can impact a wide range of RL and dynamic programming algorithms; such behaviours can arise both with and without bootstrapping, and with linear function approximation as well as with more complex parameterized functions like neural networks. | 翻訳日:2022-10-02 04:45:53 公開日:2020-10-28 |
| # 関数接続解析のための疎対称テンソル回帰 Sparse Symmetric Tensor Regression for Functional Connectivity Analysis ( http://arxiv.org/abs/2010.14700v1 ) ライセンス: Link先を確認 | Da Xu | (参考訳) CP回帰やタッカー回帰のようなテンソル回帰モデルは、共変体が超高次元で複雑な空間構造を持つ神経画像解析において多くの成功を収めている。
高次元共変量配列はテンソルとしても知られ、ローランク構造によって近似することができ、一般化線形モデルに適合する。
結果として生じるテンソル回帰は、推定と予測において効率を保ちながら、次元の大幅な減少を達成する。
脳機能接続は脳活動の重要な指標であり、アルツハイマー病などの神経疾患と重要な関連性を示している。
関数接続の対称性の性質は、以前のテンソル回帰モデルでは研究されていない性質である。
本研究では,様々なシミュレーション設定の下で,自由パラメータの数をさらに削減し,対称性および通常のCP回帰よりも優れた性能が得られる疎対称テンソル回帰を提案する。
提案手法をバークレー高齢コーホート研究(BACS)からアルツハイマー病(AD)と正常年齢の研究に適用し,ADにとって重要な2つの関心領域を検出する。 Tensor regression models, such as CP regression and Tucker regression, have many successful applications in neuroimaging analysis where the covariates are of ultrahigh dimensionality and possess complex spatial structures. The high-dimensional covariate arrays, also known as tensors, can be approximated by low-rank structures and fit into the generalized linear models. The resulting tensor regression achieves a significant reduction in dimensionality while remaining efficient in estimation and prediction. Brain functional connectivity is an essential measure of brain activity and has shown significant association with neurological disorders such as Alzheimer's disease. The symmetry nature of functional connectivity is a property that has not been explored in previous tensor regression models. In this work, we propose a sparse symmetric tensor regression that further reduces the number of free parameters and achieves superior performance over symmetrized and ordinary CP regression, under a variety of simulation settings. We apply the proposed method to a study of Alzheimer's disease (AD) and normal ageing from the Berkeley Aging Cohort Study (BACS) and detect two regions of interest that have been identified important to AD. | 翻訳日:2022-10-02 04:44:34 公開日:2020-10-28 |
| # 半教師付きテキスト注釈のためのベイズ法 Bayesian Methods for Semi-supervised Text Annotation ( http://arxiv.org/abs/2010.14872v1 ) ライセンス: Link先を確認 | Kristian Miok, Gregor Pirs and Marko Robnik-Sikonja | (参考訳) 人間のアノテーションは自然言語理解アプローチの開発において重要な情報源である。
生産性アノテータの圧力により、与えられたテキストに異なるラベルを割り当てることができるため、生成されたアノテーションの品質は頻繁に変化する。
特に、意思決定が難しく、認知的負荷が高く、より広い文脈の認識、あるいは背景知識の慎重に検討する必要がある場合である。
この問題を軽減するために,ベイズ型深層学習モデルとベイズ型アンサンブル法という,アノテーションプロセスを導くための半教師付き手法を提案する。
ベイズ的深層学習法を用いて,信頼できないアノテーションや再注釈を必要とするアノテーションを発見できる。
最近提案されているベイズアンサンブル手法は、アノテーションのラベルとトレーニングされたモデルの予測を組み合わせるのに役立つ。
3つのヘイトスピーチ検出実験から得られた結果から,提案手法はBERTモデルのアノテーションと予測性能を向上させることができる。 Human annotations are an important source of information in the development of natural language understanding approaches. As under the pressure of productivity annotators can assign different labels to a given text, the quality of produced annotations frequently varies. This is especially the case if decisions are difficult, with high cognitive load, requires awareness of broader context, or careful consideration of background knowledge. To alleviate the problem, we propose two semi-supervised methods to guide the annotation process: a Bayesian deep learning model and a Bayesian ensemble method. Using a Bayesian deep learning method, we can discover annotations that cannot be trusted and might require reannotation. A recently proposed Bayesian ensemble method helps us to combine the annotators' labels with predictions of trained models. According to the results obtained from three hate speech detection experiments, the proposed Bayesian methods can improve the annotations and prediction performance of BERT models. | 翻訳日:2022-10-02 04:36:13 公開日:2020-10-28 |
| # Few-Shot分類と補間を組み合わせた低リソース対話システムにおけるクラス不均衡処理 Handling Class Imbalance in Low-Resource Dialogue Systems by Combining Few-Shot Classification and Interpolation ( http://arxiv.org/abs/2010.15090v1 ) ライセンス: Link先を確認 | Vishal Sunder and Eric Fosler-Lussier | (参考訳) 低リソース対話システムにおける発話分類性能は、必然的に高いデータ不均衡によって制限される。
我々は,この現象に対処するために,発話表現に数発の分類機能を導入し,発話表現の補間を通じてデータを増大させることにより,新たなエンドツーエンドのペアワイズ学習フレームワークを提案する。
我々のアプローチは汎用学習手法であり,発話の符号化に使用されるニューラルネットワークとは無関係である。
3種類のニューラルアーキテクチャの標準クロスエントロピートレーニングよりもマクロf1スコアが大幅に向上し,仮想患者対話データセットやスイッチボード対話法分類データセットの低リソースエミュレーションも改善した。 Utterance classification performance in low-resource dialogue systems is constrained by an inevitably high degree of data imbalance in class labels. We present a new end-to-end pairwise learning framework that is designed specifically to tackle this phenomenon by inducing a few-shot classification capability in the utterance representations and augmenting data through an interpolation of utterance representations. Our approach is a general purpose training methodology, agnostic to the neural architecture used for encoding utterances. We show significant improvements in macro-F1 score over standard cross-entropy training for three different neural architectures, demonstrating improvements on a Virtual Patient dialogue dataset as well as a low-resourced emulation of the Switchboard dialogue act classification dataset. | 翻訳日:2022-10-02 04:35:49 公開日:2020-10-28 |
| # CopyNext: シーケンスモデルにおける明示的なスパンコピーとアライメント CopyNext: Explicit Span Copying and Alignment in Sequence to Sequence Models ( http://arxiv.org/abs/2010.15266v1 ) ライセンス: Link先を確認 | Abhinav Singh, Patrick Xia, Guanghui Qin, Mahsa Yarmohammadi, Benjamin Van Durme | (参考訳) コピー機構は、入力から出力への単語の複製を生成するためにシーケンスモデル(seq2seq)に使用される。
語彙型レベルで動作しているこれらのフレームワークは、各トークンがコピーされた場所を記録する明示的なアライメントを提供していない。
さらに、入力(スパン)からの連続したトークンシーケンスを個別にコピーする必要がある。
明示的なトークンレベルのコピー操作を持つモデルを示し、それを全スパンのコピーに拡張する。
我々のモデルは入力と出力のスパン間のハードアライメントを提供し、情報抽出のような非伝統的なセq2seqの応用を可能にする。
我々はNested Named Entity Recognitionのアプローチを実証し、復号速度を桁違いに増加させ、最先端の精度に近づいた。 Copy mechanisms are employed in sequence to sequence models (seq2seq) to generate reproductions of words from the input to the output. These frameworks, operating at the lexical type level, fail to provide an explicit alignment that records where each token was copied from. Further, they require contiguous token sequences from the input (spans) to be copied individually. We present a model with an explicit token-level copy operation and extend it to copying entire spans. Our model provides hard alignments between spans in the input and output, allowing for nontraditional applications of seq2seq, like information extraction. We demonstrate the approach on Nested Named Entity Recognition, achieving near state-of-the-art accuracy with an order of magnitude increase in decoding speed. | 翻訳日:2022-10-02 04:35:37 公開日:2020-10-28 |
| # 熱帯サイクロン構造解析のための極座標画像のcnnプロファイラ CNN Profiler on Polar Coordinate Images for Tropical Cyclone Structure Analysis ( http://arxiv.org/abs/2010.15158v1 ) ライセンス: Link先を確認 | Boyo Chen, Buo-Fu Chen, Chun-Min Hsiao | (参考訳) 畳み込みニューラルネットワーク(CNN)は、TC強度推定など、衛星画像を用いた熱帯サイクロン(TC)の分析において大きな成功を収めている。
対照的に、気象専門家によって主観的に推定されるいくつかのパラメータによって通常記述されるtc構造は、客観的かつ日常的にプロファイルされるのは難しい。
本研究は、衛星画像にCNNを適用して、全構造パラメータをカバーするTC構造プロファイルを作成する。
気象領域の知識を利用して、歴史的構造パラメータに基づいたTCM風力プロファイルを構築することにより、新しいベンチマークデータセットでトレーニングに有用なラベルを提供する。
このようなデータセットによって、私たちはデータサイエンティストの間でこの重要な問題にもっと注意を向けたいと思っています。
一方、ベースラインは極座標で動作する特殊な畳み込みモデルで確立される。
TCの回転と渦巻きの性質によれば、カルト座標ではなく極座標に関する構造情報を抽出することはより実現可能であり、物理的に妥当であることがわかった。
実験結果から,提案モデルの堅牢性を検証し,ほとんど開発されていないが重要なトピックに対して深層学習技術を適用する可能性を実証した。 Convolutional neural networks (CNN) have achieved great success in analyzing tropical cyclones (TC) with satellite images in several tasks, such as TC intensity estimation. In contrast, TC structure, which is conventionally described by a few parameters estimated subjectively by meteorology specialists, is still hard to be profiled objectively and routinely. This study applies CNN on satellite images to create the entire TC structure profiles, covering all the structural parameters. By utilizing the meteorological domain knowledge to construct TC wind profiles based on historical structure parameters, we provide valuable labels for training in our newly released benchmark dataset. With such a dataset, we hope to attract more attention to this crucial issue among data scientists. Meanwhile, a baseline is established with a specialized convolutional model operating on polar-coordinates. We discovered that it is more feasible and physically reasonable to extract structural information on polar-coordinates, instead of Cartesian coordinates, according to a TC's rotational and spiral natures. Experimental results on the released benchmark dataset verified the robustness of the proposed model and demonstrated the potential for applying deep learning techniques for this barely developed yet important topic. | 翻訳日:2022-10-02 04:35:26 公開日:2020-10-28 |
| # テキスト文書のベクトル埋め込みからのグラフに基づくトピック抽出:ニュース記事のコーパスへの適用 Graph-based Topic Extraction from Vector Embeddings of Text Documents: Application to a Corpus of News Articles ( http://arxiv.org/abs/2010.15067v1 ) ライセンス: Link先を確認 | M. Tarik Altuncu, Sophia N. Yaliraki, Mauricio Barahona | (参考訳) ニュースコンテンツの生産は驚くべきペースで増加している。
大量のテキストを管理・監視するためには、コンテンツ領域の洞察を提供する効率的な手法を開発し、非構造化コーパスをコンテンツ類似性から生ずる「トピック」に階層化する必要性が高まっている。
ここでは、自然言語処理からの強力なベクトル埋め込みと、コーパス内のクラスタ数に関する事前仮定を行うことなく、異なる解像度での自然なパーティショニングを明らかにするマルチスケールグラフパーティショニングツールを結合した、教師なしのフレームワークを提案する。
本稿では,従来のBag-of-WordsからDoc2Vec,最新の変換器ベースモデルBertまで,さまざまなテキストベクトル埋め込みを評価するとともに,他の一般的なクラスタリングやトピックモデリング手法とエンドツーエンド比較によるグラフベースのクラスタリングの利点を示す。
この比較研究は2016年の大統領選挙の際、米国のニュース報道のコーパスの分析を通じて行われた。 Production of news content is growing at an astonishing rate. To help manage and monitor the sheer amount of text, there is an increasing need to develop efficient methods that can provide insights into emerging content areas, and stratify unstructured corpora of text into `topics' that stem intrinsically from content similarity. Here we present an unsupervised framework that brings together powerful vector embeddings from natural language processing with tools from multiscale graph partitioning that can reveal natural partitions at different resolutions without making a priori assumptions about the number of clusters in the corpus. We show the advantages of graph-based clustering through end-to-end comparisons with other popular clustering and topic modelling methods, and also evaluate different text vector embeddings, from classic Bag-of-Words to Doc2Vec to the recent transformers based model Bert. This comparative work is showcased through an analysis of a corpus of US news coverage during the presidential election year of 2016. | 翻訳日:2022-10-02 04:28:40 公開日:2020-10-28 |
| # 学術領域における自然言語処理と機械学習技術を活用した知識グラフの作成 Generating Knowledge Graphs by Employing Natural Language Processing and Machine Learning Techniques within the Scholarly Domain ( http://arxiv.org/abs/2011.01103v1 ) ライセンス: Link先を確認 | Danilo Dess\`i, Francesco Osborne, Diego Reforgiato Recupero, Davide Buscaldi, Enrico Motta | (参考訳) 科学文献の継続的な成長はイノベーションをもたらし、同時に新たな課題を提起する。
そのうちの1つは,アノテーションや管理に手作業が必要とされる論文の大量発生により,解析が困難になったことに関連している。
研究者、研究政策立案者、企業は科学的研究を時間効率よく閲覧し、分析し、予測するために新しい技術基盤が必要である。
知識グラフ、すなわちエンティティと関係のネットワークは、この分野において効果的な解であることが証明されている。
科学知識グラフは学術分野に焦点を当てており、典型的には著者、会場、組織、研究トピック、引用などの研究出版物を記述するメタデータを含んでいる。
しかし、現在の知識グラフは研究論文に示された知識の明示的な表現を欠いている。
そこで本稿では,研究論文からエンティティや関係を抽出し,それらを大規模知識グラフに統合する自然言語処理と機械学習の手法を活用した新しいアーキテクチャを提案する。
この研究の中で私たちは
一 最先端の自然言語処理及びテキストマイニングツールを用いて知識抽出の課題に取り組むこと。
二 これらのツールが生み出す実体及び関係を統合するための方法を記述すること。
iii) 代替アプローチよりもハイブリッドシステムの利点を示し,vi) 選択したユースケースとして,セマンティックwebドメイン内の論文の要約26,827点から抽出した109,105点を含む科学的知識グラフを作成した。
我々のアプローチは一般的であり、あらゆる分野に適用できるので、科学知識の管理、分析、普及、処理を促進できると期待している。 The continuous growth of scientific literature brings innovations and, at the same time, raises new challenges. One of them is related to the fact that its analysis has become difficult due to the high volume of published papers for which manual effort for annotations and management is required. Novel technological infrastructures are needed to help researchers, research policy makers, and companies to time-efficiently browse, analyse, and forecast scientific research. Knowledge graphs i.e., large networks of entities and relationships, have proved to be effective solution in this space. Scientific knowledge graphs focus on the scholarly domain and typically contain metadata describing research publications such as authors, venues, organizations, research topics, and citations. However, the current generation of knowledge graphs lacks of an explicit representation of the knowledge presented in the research papers. As such, in this paper, we present a new architecture that takes advantage of Natural Language Processing and Machine Learning methods for extracting entities and relationships from research publications and integrates them in a large-scale knowledge graph. Within this research work, we i) tackle the challenge of knowledge extraction by employing several state-of-the-art Natural Language Processing and Text Mining tools, ii) describe an approach for integrating entities and relationships generated by these tools, iii) show the advantage of such an hybrid system over alternative approaches, and vi) as a chosen use case, we generated a scientific knowledge graph including 109,105 triples, extracted from 26,827 abstracts of papers within the Semantic Web domain. As our approach is general and can be applied to any domain, we expect that it can facilitate the management, analysis, dissemination, and processing of scientific knowledge. | 翻訳日:2022-10-02 04:28:23 公開日:2020-10-28 |
| # 信頼性の高いネットワーク解釈のためのネットワーク圧縮における帰属保存 Attribution Preservation in Network Compression for Reliable Network Interpretation ( http://arxiv.org/abs/2010.15054v1 ) ライセンス: Link先を確認 | Geondo Park, June Yong Yang, Sung Ju Hwang, Eunho Yang | (参考訳) 自動運転車やウェアラブル健康モニターなどの安全に敏感なアプリケーションに埋め込まれたニューラルネットワークは、2つの重要な技術に依存している。
本稿では,これらの一見無関係な手法が,ネットワーク圧縮が生成した帰属を変形させるため,ミッションクリティカルなアプリケーションに対して悲惨な結果をもたらす可能性があることを示す。
この現象は、従来のネットワーク圧縮手法が、帰属の品質を無視しながら、ネットワークの予測のみを保存するという事実から生じる。
帰属不整合問題を解決するために,ネットワークを圧縮しながら帰属を保存できる枠組みを提案する。
重み付き分解アトリビューションマッチング正則化器を用いることで、ネットワークの帰属マップが圧縮された前圧縮前の自己と一致する。
本アルゴリズムは,様々な圧縮法において定量的かつ定性的に有効性を示す。 Neural networks embedded in safety-sensitive applications such as self-driving cars and wearable health monitors rely on two important techniques: input attribution for hindsight analysis and network compression to reduce its size for edge-computing. In this paper, we show that these seemingly unrelated techniques conflict with each other as network compression deforms the produced attributions, which could lead to dire consequences for mission-critical applications. This phenomenon arises due to the fact that conventional network compression methods only preserve the predictions of the network while ignoring the quality of the attributions. To combat the attribution inconsistency problem, we present a framework that can preserve the attributions while compressing a network. By employing the Weighted Collapsed Attribution Matching regularizer, we match the attribution maps of the network being compressed to its pre-compression former self. We demonstrate the effectiveness of our algorithm both quantitatively and qualitatively on diverse compression methods. | 翻訳日:2022-10-02 04:26:24 公開日:2020-10-28 |