このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス(CC 0, CC BY, CC BY-SA)の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。(arxivのメタデータは CC 0です。) 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。

本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。

公開日が20211225となっている論文です。

PDF登録状況(公開日: 20211225)

TitleAuthorsAbstract論文公表日・翻訳日
# 相対論的トランザクション解釈と量子直接作用理論

The Relativistic Transactional Interpretation and The Quantum Direct-Action Theory ( http://arxiv.org/abs/2101.00712v2 )

ライセンス: Link先を確認
R. E. Kastner(参考訳) 本稿では、相対論的トランザクション解釈の基礎となる量子相対論的直接作用理論の重要な側面を紹介する。 直接作用理論の伝統的な解釈が量子論の発展を妨げているいくつかの重要な方法に言及している。 具体的には、(1)いわゆる「ライトタイトボックス」条件が再検討され、この条件の量子バージョンは、これまで考えられてきたよりもはるかに制限が小さいことが示され、(2)実(実)光子の概念を曖昧化・修正し、実(実)光子が実際に放出・吸収され、したがって有限の寿命を持つことを考慮に入れる。 また、実の物理的非ユニタリ性は場の量子直作用理論において自然に生じ、外部の観測者に言及せず、量子理論自体を変更する必要もなく、測定遷移が理論の内部から明確に定義される。 場の量子化は非単体相互作用から生じることが示されている。

This paper presents key aspects of the quantum relativistic direct-action theory that underlies the Relativistic Transactional Interpretation. It notes some crucial ways in which traditional interpretations of the direct-action theory have impeded progress in developing its quantum counterpart. Specifically, (1) the so-called 'light tight box' condition is re-examined and it is shown that the quantum version of this condition is much less restrictive than has long been assumed; and (2) the notion of a 'real photon' is disambiguated and revised to take into account that real (on-shell) photons are indeed both emitted and absorbed and therefore have finite lifetimes. Also discussed is the manner in which real, physical non-unitarity naturally arises in the quantum direct-action theory of fields, such that the measurement transition can be clearly defined from within the theory, without reference to external observers and without any need to modify quantum theory itself. It is shown that field quantization arises from the non-unitary interaction.
翻訳日:2023-04-18 00:10:54 公開日:2021-12-25
# 弾道磁気ジョセフソン接合における超電流崩壊

Supercurrent decay in ballistic magnetic Josephson junctions ( http://arxiv.org/abs/2101.10601v3 )

ライセンス: Link先を確認
Herv\'e Ness, Ivan A. Sadovskyy, Andrey E. Antipov, Mark van Schilfgaarde, Roman M. Lutchyn(参考訳) 弾道磁気ジョセフソン接合の輸送特性について検討し,超電流の抑制が障害のない場合においても接合の固有の特性であることを示す。 強磁性体厚、磁化、結晶配向の役割を研究することによって、超電流が厚さとともに指数関数的に崩壊する様子を示し、その効果の原因となる2つのメカニズムを同定する。 (i)大規模な取引所分割は、アンドレフ反射の抑制につながる少数または過半数のキャリアを分断する可能性がある。 (II) 準粒子速度と横運動量との有意な分散により, 異なるモード間の同期が失われる。 Nb/Ni/Nb接合は最近の実験結果とよく一致している。 本手法は密度汎関数理論とボゴリューボフ・ド・ゲンスモデルを組み合わせて,磁性ジョセフソン接合および超伝導スピンバルブにおける材料組成最適化の道を開く。

We investigate transport properties of ballistic magnetic Josephson junctions and establish that suppression of supercurrent is an intrinsic property of the junctions, even in absence of disorder. By studying the role of ferromagnet thickness, magnetization, and crystal orientation we show how the supercurrent decays exponentially with thickness and identify two mechanisms responsible for the effect: (i) large exchange splitting may gap out minority or majority carriers leading to the suppression of Andreev reflection in the junction, (ii) loss of synchronization between different modes due to the significant dispersion of the quasiparticle velocity with the transverse momentum. Our results for Nb/Ni/Nb junctions are in good agreement with recent experimental studies. Our approach combines density functional theory and Bogoliubov-de Gennes model and opens a path for material composition optimization in magnetic Josephson junctions and superconducting magnetic spin valves.
翻訳日:2023-04-13 22:28:24 公開日:2021-12-25
# 古典・量子分野のシステム理論と量子コンピューティング・制御への応用

Systems Theory of Classical and Quantum Fields and Applications to Quantum Computing and Control ( http://arxiv.org/abs/2104.01596v3 )

ライセンス: Link先を確認
M. Yanagisawa(参考訳) 量子コンピューティングと制御の分野理論的なアプローチを探求する。 この本は三部構成である。 システム理論とフィールド理論の基礎は、第1部で概説されている。 パートIIでは、ゲージ理論はシステム理論の観点から再解釈され、量子ゲートの定式化に適用される。 量子系はゲートにフィードバックを導入することで定義される。 パートIIIでは、量子ゲートとシステムは、S-行列を用いて量子場理論の観点から再構成される。 また、ゲージ場とフィードバックの関係についても論じる。

We explore a field theoretical approach to quantum computing and control. This book consists of three parts. The basics of systems theory and field theory are reviewed in Part I. In Part II, a gauge theory is reinterpreted from a systems theoretical perspective and applied to the formulation of quantum gates. Then quantum systems are defined by introducing feedback to the gates. In Part III, quantum gates and systems are reformulated from a quantum field theoretical perspective using S-matrices. We also discuss how gauge fields are related to feedback.
翻訳日:2023-04-05 08:33:15 公開日:2021-12-25
# 層状単光子を用いたマクロリアリズムのループホール自由干渉試験

Loophole free interferometric test of macrorealism using heralded single photons ( http://arxiv.org/abs/2105.11881v2 )

ライセンス: Link先を確認
Kaushik Joarder, Debashis Saha, Dipankar Home, Urbasi Sinha(参考訳) 1つのマッハ・ツェンダー干渉計と、置換されたサニャック干渉計を併用し、LGIやWLGIのような異なるマクロリアリズムの不平等の曖昧な違反を示す。 負の結果測定(NRM)は、マクロリアリズムの定義に使用される非侵襲的測定可能性の推定を検証するために行われる。 マクロリアリズムのテストに先立つすべての実験の中で、本実験は関連する抜け穴を包括的に解決する上で際立っている。 異常な抜け穴は、NEMの実装に関わる古典的な侵入性の精密な検査によって解決される。 これは、LGI/WLGI違反を示すために行われた3つのペアワイズ実験において、量子力学的に(QM)が関連する2時間の無信号状態(NSIT)のすべての有効性を予測できるように、実験パラメータを適切に選択することによる。 さらに、非ゼロ検出効率に対するLGI/WLGI違反の実証を可能にする測定戦略において、適切な修正を施すことにより、検出効率の抜け穴に対処する。 また、この実験では、複数の光子放出ループホール、偶然のループホール、準備状態ループホールなど、他の関連するループホールがどのように閉ざされているかを示す。 我々は、LGIの1.32 pm 0.04$とWLGIの0.10 pm 0.02$の違反を報告し、この違反の規模は、実実験の非理想性を考慮して推定したLGIのQM予測値の範囲と完全に一致し、それぞれ8倍と5倍の誤差値である。 同時に、実験的に観察された確率は、実装されたNRMの非侵襲性を保証する10^{-2}$までの2回のNSIT条件をすべて満たす。

We show unambiguous violations of different macrorealist inequalities, like the LGI and the WLGI using a heralded, single-photon based experimental setup comprising one Mach-Zehnder interferometer followed by a displaced Sagnac one. The negative result measurements (NRM) are implemented in order to validate the presumption of non-invasive measurability used in defining macrorealism. Among all the experiments to date testing macrorealism, the present experiment stands out in comprehensively addressing the relevant loopholes. The clumsiness loophole is addressed through precision testing of any classical invasiveness involved in the implementation of NRMs. This is done by suitably choosing the experimental parameters so that the quantum mechanically (QM) predicted validity of all the relevant two-time no-signalling in time (NSIT) conditions is maintained in all the three pairwise experiments performed to show LGI/WLGI violation. Further, importantly, the detection efficiency loophole is addressed by adopting suitable modifications in the measurement strategy enabling the demonstration of the violation of LGI/WLGI for any non-zero detection efficiency. We also show how other relevant loopholes like the multiphoton emission loophole, coincidence loophole, and the preparation state loophole are all closed in the present experiment. We report the LGI violation of $1.32 \pm 0.04$ and the WLGI violation of $0.10 \pm 0.02$, where the magnitudes of violation are respectively 8 times and 5 times the corresponding error values, while agreeing perfectly with the ranges of the QM predicted values of the LGI, WLGI expressions that we estimate by taking into account the non-idealities of the actual experiment. Simultaneously, the experimentally observed probabilities satisfy all the two-time NSIT conditions up to the order of $10^{-2}$, which ensures non-invasiveness in the implemented NRMs.
翻訳日:2023-03-29 20:59:38 公開日:2021-12-25
# クープマン・フォン・ノイマン力学入門

Introduction to Koopman-von Neumann Mechanics ( http://arxiv.org/abs/2112.05619v2 )

ライセンス: Link先を確認
Daniel Piasecki(参考訳) この研究は、koopman-von neumann (kvn) 力学の現在の文献を、単純で分かりやすいテキストにまとめることである。 KvN Mechanicsは古典力学の一分野であり、量子力学の数学的言語に再キャストされている。 kvn力学は、興味のある可観測値(位置、運動量などの予測値)の期待値を計算するために、作用素とヒルベルト位相空間を利用する。 KvNメカニクスの多くの重要な応用がここ10年間開発されてきた。

This work is to consolidate current literature on Koopman-von Neumann (KvN) Mechanics into a simple and easy to understand text. KvN Mechanics is a branch of Classical Mechanics that has been recast into the mathematical language of Quantum Mechanics. KvN Mechanics utilizes a Hilbert phase space with operators to calculate the expectation values of observables of interest (expectation values such as position, momentum, etc.) It is an important tool in statistical physics and guide to illuminate the mysterious relationship between Quantum and Classical Physics. A lot of important applications of KvN Mechanics have been developed in the last decade.
翻訳日:2023-03-04 22:32:43 公開日:2021-12-25
# 量子投射体の最も近いアプローチ

Closest approach of a quantum projectile ( http://arxiv.org/abs/2112.13296v1 )

ライセンス: Link先を確認
A Kumar, T Krisnanda, P Arumugam, T Paterek(参考訳) 我々は、ラザフォード散乱の最も単純な場合、すなわち正面衝突、すなわち発射体が量子力学的に扱われる場合を考える。 反発的なクーロン力の凸性は、エレンフェストとハミルトンの力学の間の不一致を引き起こす。 我々は、量子射影が対応する古典的なものほど接近できないことを示し、最も近いアプローチの平均距離は、射影を記述する波動関数の位置拡散に依存することを示した。

We consider the simplest case of Rutherford scattering, i.e. the head-on collision, where the projectile is treated quantum mechanically. The convexity of repulsive Coulomb force invokes a disagreement between the Ehrenfest's and Hamilton's dynamics. We show that the quantum projectile cannot approach as close as the corresponding classical one, and that the average distance of closest approach depends on the position spread of the wave function describing the projectile.
翻訳日:2023-03-03 07:32:06 公開日:2021-12-25
# 異方性光-物質相互作用におけるギャップ閉鎖のない隠れシングルキュービットトポロジカル相転移

Hidden Single-Qubit Topological Phase Transition without Gap Closing in Anisotropic Light-Matter Interactions ( http://arxiv.org/abs/2112.13263v1 )

ライセンス: Link先を確認
Zu-Jian Ying(参考訳) 伝統的に位相相転移(tpts)の発生にはギャップクローズが必要であるが、ギャップクローズを必要としない非伝統的なケースもある。 伝統的にTPTは凝縮物質中の多体系に存在するが、TPTのどちらの場合も少数体系で類似している可能性がある。 実際、基底状態ノード番号はシングルキュービットシステムのトポロジカル分類を提供する。 スピンレス系のノード定理は、光-物質相互作用における基本的な量子 Rabi モデルにも制限があることが示されるが、ノード定理の制限は、小さな反回転項(CRT)だけでなく、異なるTPTを持つ豊富な位相図を作成する大CRTレジームにおいても破れることが示されている。 これらの遷移は、主にギャップ閉鎖とパリティ反転を伴うが、隠れたノード相転移は、ギャップ閉鎖もパリティ変化もないことが明らかとなり、これは凝縮物中の非伝統的なTPTの類似であることがわかった。 ガッピング位相における振幅スクイーズから位相スクイーズへの遷移により、非慣習的tptに対するヒステリシスサインが開示される。 また、wigner関数のインプリントも対応している。 明快なメカニズムは、crtの微妙な役割に対する特別な洞察を与える。

Conventionally the occurrence of topological phase transitions (TPTs) requires gap closing, whereas there are also unconventional cases without need of gap closing. Although traditionally TPTs lie in many-body systems in condensed matter, both cases of TPTs may find analogs in few-body systems. Indeed, the ground-state node number provides a topological classification for single-qubit systems. While the no-node theorem of spinless systems is shown to also restrict the fundamental quantum Rabi model in light-matter interactions, it is demonstrated that the limitation of the no-node theorem can be broken not only in a small counter-rotating term (CRT) but also in the large-CRT regime, which striates a rich phase diagram with different TPTs. While these transitions are mostly accompanied with gap closing and parity reversal, a hidden node-phase transition is revealed that has neither gap closing nor parity change, which turns out to be an analog of the unconventional TPT in condensed matter. A hysteresis sign for the unconventional TPT is unveiled via the transition from amplitude squeezing to phase squeezing in the gapped phase. The imprints in the Wigner function are also addressed. The clarified mechanisms provide some special insights for the subtle role of the CRT.
翻訳日:2023-03-03 07:31:18 公開日:2021-12-25
# トモグラムにおける絡み合いの変化と同期開始の出現

Manifestations of changes in entanglement and onset of synchronization in tomograms ( http://arxiv.org/abs/2112.13262v1 )

ライセンス: Link先を確認
Soumyabrata Paul, S. Lakshmibala, V. Balakrishnan, and S. Ramanan(参考訳) 放射場のような連続変数系の量子状態再構成は、主にヒルベルト空間の大きな次元から生じる課題を提起する。 標準的な再構築プロトコルから機械学習の応用まで、多くの状態再構成の提案がある。 しかし、任意の光状態の光学式断層写真からウィグナー関数を抽出するための普遍的なプロトコルは存在しない。 動的進化と量子同期の開始における絡み合いの変化のような非古典的効果は、光学的断層図自体の質的変化に反映され、この目的のために状態再構成の必要性を回避している。

Quantum state reconstruction for continuous-variable systems such as the radiation field poses challenges which arise primarily from the large dimensionality of the Hilbert space. Many proposals for state reconstruction exist, ranging from standard reconstruction protocols to applications of machine learning. No universally applicable protocol exists, however, for extracting the Wigner function from the optical tomogram of an arbitrary state of light. We establish that nonclassical effects such as entanglement changes during dynamical evolution and the onset of quantum synchronization are mirrored in qualitative changes in optical tomograms themselves, circumventing the need for state reconstruction for this purpose.
翻訳日:2023-03-03 07:30:54 公開日:2021-12-25
# 量子ネットワークにおける多部GHZ状態測定のロバスト自己検査

Robust self-testing of multipartite GHZ-state measurements in quantum networks ( http://arxiv.org/abs/2112.13239v1 )

ライセンス: Link先を確認
Qing Zhou, Xin-Yu Xu, Shuai Zhao, Yi-Zheng Zhen, Li Li, Nai-Le Liu, Kai Chen(参考訳) 自己テスト(英: self-testing)は、観測統計の相関に基づく量子デバイスのデバイスに依存しない検査である。 測定のための自己テスト戦略(Phys. Lett. 121, 250507 (2018))と状態(New J. Phys. 20, 083041 (2018))のエレガントな進歩により、多部式一般化GHZ状態測定のための一般的な自己テスト手順を開発した。 鍵となるステップは、一般のn量子ビットマルチパーティタイトghz状態測定のための全ての測定固有状態の自己テストである。 以上の結果から, n-partite eigenstate の n-2 個の選択された当事者について局所的な測定を行い, 残りの2つの当事者に対するtilted clauser-horne-shimony-holt (chsh) ベル不等式に対する最大違反を継続する。 さらに、このアプローチは実験的な観点から物理的に動作します。 その結果、3量子GHZ状態測定の既存の結果が特別の場合として回収された。 一方,白色雑音に対してロバストな自己検査手法を開発した。

Self-testing is a device-independent examination of quantum devices based on correlations of observed statistics. Motivated by elegant progresses on self-testing strategies for measurements [Phys. Rev. Lett. 121, 250507 (2018)] and for states [New J. Phys. 20, 083041 (2018)], we develop a general self-testing procedure for multipartite generalized GHZ-state measurements. The key step is self-testing all measurement eigenstates for a general N-qubit multipartite GHZ-state measurement. Following our procedure, one only needs to perform local measurements on N-2 chosen parties of the N-partite eigenstate and maintain to achieve the maximal violation of tilted Clauser-Horne-Shimony-Holt (CHSH) Bell inequality for remaining two parties. Moreover, this approach is physically operational from an experimental point of view. It turns out that the existing result for three-qubit GHZ-state measurement is recovered as a special case. Meanwhile, we develop the self-testing method to be robust against certain white noise.
翻訳日:2023-03-03 07:30:13 公開日:2021-12-25
# 原子間相互作用と駆動場を有する拡張ディッケ量子電池

Extended Dicke quantum battery with interatomic interactions and driving field ( http://arxiv.org/abs/2112.13226v1 )

ライセンス: Link先を確認
Fu-Quan Dou, You-Qi Lu, Yuan-Jin Wang, Jian-An Sun(参考訳) 量子バッテリ(qb)システムの原子間相互作用と外部駆動場の両方を有する拡張ディッケモデルにおける帯電過程について検討した。 本稿では,QBの充電性能に及ぼす原子間相互作用と外部駆動場の影響に着目し,QBの最大蓄積エネルギーが臨界現象であることを示す。 我々は臨界挙動を分析し、臨界原子相互作用の解析的表現を得る。 また, 最大蓄積エネルギー, エネルギー量子揺らぎ, 最大チャージパワーの2レベル系の数 n$ に対する依存性についても考察した。 特に、最大充電電力に対して、超線形スケーリング関係をほぼ満足するQBの量子的優位性は、スケーリング指数$\alpha$が2レベル系の数$N$と異なる場合において得られる。 超強結合系では、原子間相互作用はより高速な電池充電につながり、量子的な利点である$\alpha = 1.88$が達成される。 深い結合状態にある間、QBの最大充電力の量子的優位性はディックQBと同じ、すなわち$\alpha=1.5$である。

We investigate the charging process of quantum battery (QB) systems in an extended Dicke model with both atomic interactions and an external driving field. We focus on the effects of the atomic interaction and the external driving field on the charging performance of QB and find that the maximum stored energy of QB has a critical phenomenon. We analyze the critical behavior and obtain the analytical expression of the critical atomic interaction. The dependence of the maximum stored energy, the energy quantum fluctuations and the maximum charging power on the number $N$ of the two-level systems are also discussed. In particular, for the maximum charging power, we obtain the quantum advantage of the QB, which approximately satisfies a superlinear scaling relation $P_{max}\propto N^{\alpha}$, where scaling exponent $\alpha$ varies with the number $N$ of the two-level systems. In the ultra-strong coupling regime, the atomic interaction can lead to a faster battery charging, and the quantum advantage $\alpha = 1.88$ can be achieved. While in the deep-strong coupling regime, the quantum advantage of the QB's maximum charging power is the same as that of the Dicke QB, i.e., $\alpha=1.5$.
翻訳日:2023-03-03 07:29:48 公開日:2021-12-25
# 永続量子逆流を特徴とする相対論的電子波パケット

Relativistic electron wave packets featuring persistent quantum backflow ( http://arxiv.org/abs/2112.13180v1 )

ライセンス: Link先を確認
Siddhant Das(参考訳) 半無限円筒導波管内に伝播するディラック方程式の閉形式で正規化可能な解は、通常のベッセル関数および修正ベッセル関数の項で得られる。 これらの相対論的波束は、導波路に沿って実質的に任意の距離でシリンダーの断面上の量子バックフローを誘導し、非相対論的極限でスピン分極する。 予測逆流は時間的に安定であり、初期波動関数によらず現れる。

Closed-form, normalizable solutions of Dirac's equation propagating within a semi-infinite cylindrical waveguide are obtained in terms of ordinary and modified Bessel functions. These relativistic wave packets induce quantum backflow on a cross-section of the cylinder at practically any distance along the waveguide, becoming spin-polarized in the nonrelativistic limit. The predicted backflow is stable in time and is manifest regardless of the initial wave function.
翻訳日:2023-03-03 07:29:08 公開日:2021-12-25
# 映像予測の知覚的品質の理解

Understanding the Perceived Quality of Video Predictions ( http://arxiv.org/abs/2005.00356v5 )

ライセンス: Link先を確認
Nagabhushan Somraj, Manoj Surya Kashi, S. P. Arun and Rajiv Soundararajan(参考訳) 映像予測モデルの研究は,映像表現学習の基本的なアプローチであると考えられている。 過去数個のフレームから将来のフレーム画素値を予測するための多くの生成モデルが存在するが、予測されたフレームの定量的評価は極めて困難である。 本研究では,予測ビデオの品質評価の問題点について検討する。 我々は、異なるデータセットに異なる予測モデルを適用し、人間の意見スコアを伴って得られた300本のビデオからなる、インド科学研究所予測ビデオ品質評価(iisc pvqa)データベースを作成する。 これらのビデオでは,50人の被験者から主観的品質評価を収集した。 主観的調査の結果,人間の観察者は予測ビデオの品質判断において高い一貫性を示した。 ビデオ予測の評価に広く用いられているいくつかの指標をベンチマークし、これらの主観的スコアと適切に相関しないことを示す。 予測ビデオの品質を効果的に把握するための2つの新機能、過去のフレームとの予測フレームの深い特徴の運動補償コサイン類似性、および再スケールされたフレーム差から抽出された深い特徴を紹介する。 我々の特徴設計は,我々のIISc PVQAデータベース上での人的判断にしたがって,品質予測の状況につながることを示す。 データベースとコードは、プロジェクトのWebサイトで公開されています。

The study of video prediction models is believed to be a fundamental approach to representation learning for videos. While a plethora of generative models for predicting the future frame pixel values given the past few frames exist, the quantitative evaluation of the predicted frames has been found to be extremely challenging. In this context, we study the problem of quality assessment of predicted videos. We create the Indian Institute of Science Predicted Videos Quality Assessment (IISc PVQA) Database consisting of 300 videos, obtained by applying different prediction models on different datasets, and accompanying human opinion scores. We collected subjective ratings of quality from 50 human participants for these videos. Our subjective study reveals that human observers were highly consistent in their judgments of quality of predicted videos. We benchmark several popularly used measures for evaluating video prediction and show that they do not adequately correlate with these subjective scores. We introduce two new features to effectively capture the quality of predicted videos, motion-compensated cosine similarities of deep features of predicted frames with past frames, and deep features extracted from rescaled frame differences. We show that our feature design leads to state of the art quality prediction in accordance with human judgments on our IISc PVQA Database. The database and code are publicly available on our project website: https://nagabhushansn95.github.io/publications/2020/pvqa
翻訳日:2022-12-08 00:21:32 公開日:2021-12-25
# テンソルコンプリートを実用化

Tensor Completion Made Practical ( http://arxiv.org/abs/2006.03134v2 )

ライセンス: Link先を確認
Allen Liu and Ankur Moitra(参考訳) テンソル完備化(Tensor completion)は、行列完備化の自然な高次一般化であり、その目的は、そのエントリのスパース観測から低ランクテンソルを回復することである。 既存のアルゴリズムは証明可能な保証なしにヒューリスティックであり、実行できない大きな半定値プログラムの解法に基づいているか、あるいは要素をほぼ直交的であるように要求するといった強い仮定をする。 本稿では, 交互化最小化の新たな変種を紹介し, 行列設定における交互化最小化の収束を導く進行度をテンソル設定に適応させる方法の理解に着想を得た。 アルゴリズムが高相関性を持ち、ほぼ線形時間で実装できる場合でも、真のテンソルに線形に収束することを示すなど、証明可能な強い保証を示す。 さらに,本アルゴリズムは極めて実用的であり,1000次元の3次テンソルを,その成分のごく一部を観測することで完備できることを示す。 対照的に、驚くべきことに、交代最小化の標準的なバージョンは、我々の新しいツイストなしで、実際に劇的に遅い速度で収束できることが示される。

Tensor completion is a natural higher-order generalization of matrix completion where the goal is to recover a low-rank tensor from sparse observations of its entries. Existing algorithms are either heuristic without provable guarantees, based on solving large semidefinite programs which are impractical to run, or make strong assumptions such as requiring the factors to be nearly orthogonal. In this paper we introduce a new variant of alternating minimization, which in turn is inspired by understanding how the progress measures that guide convergence of alternating minimization in the matrix setting need to be adapted to the tensor setting. We show strong provable guarantees, including showing that our algorithm converges linearly to the true tensors even when the factors are highly correlated and can be implemented in nearly linear time. Moreover our algorithm is also highly practical and we show that we can complete third order tensors with a thousand dimensions from observing a tiny fraction of its entries. In contrast, and somewhat surprisingly, we show that the standard version of alternating minimization, without our new twist, can converge at a drastically slower rate in practice.
翻訳日:2022-11-25 12:48:47 公開日:2021-12-25
# BERTに基づく関係抽出のロバスト性とバイアス解析について

On Robustness and Bias Analysis of BERT-based Relation Extraction ( http://arxiv.org/abs/2009.06206v5 )

ライセンス: Link先を確認
Luoqiu Li, Xiang Chen, Hongbin Ye, Zhen Bi, Shumin Deng, Ningyu Zhang, Huajun Chen(参考訳) 訓練済みの微調整モデルは、標準自然言語処理ベンチマークで素晴らしいパフォーマンスを達成した。 しかし、結果のモデル一般化性はあまり理解されていない。 例えば、いかに優れた性能が一般化モデルの完全化につながるかは、よく分かっていない。 本研究では,関係抽出を用いた細調整BERTモデルの解析を行った。 また,提案する改良により,一般化手法の違いを特徴付ける。 経験的な実験から、BERTはランダム化、対向的および反事実的テスト、偏見(選択と意味)によって頑健さのボトルネックに悩まされていることが分かる。 これらの発見は将来の改善の機会を浮き彫りにしている。 オープンソースのテストベッドDiagnoseREは、 \url{https://github.com/zjunlp/DiagnoseRE}で利用可能です。

Fine-tuning pre-trained models have achieved impressive performance on standard natural language processing benchmarks. However, the resultant model generalizability remains poorly understood. We do not know, for example, how excellent performance can lead to the perfection of generalization models. In this study, we analyze a fine-tuned BERT model from different perspectives using relation extraction. We also characterize the differences in generalization techniques according to our proposed improvements. From empirical experimentation, we find that BERT suffers a bottleneck in terms of robustness by way of randomizations, adversarial and counterfactual tests, and biases (i.e., selection and semantic). These findings highlight opportunities for future improvements. Our open-sourced testbed DiagnoseRE is available in \url{https://github.com/zjunlp/DiagnoseRE}.
翻訳日:2022-10-18 12:17:14 公開日:2021-12-25
# グラフニューラルネットワークに関する実践的チュートリアル

A Practical Tutorial on Graph Neural Networks ( http://arxiv.org/abs/2010.05234v3 )

ライセンス: Link先を確認
Isaac Ronald Ward, Jack Joyner, Casey Lickfold, Yulan Guo and Mohammed Bennamoun(参考訳) グラフニューラルネットワーク(GNN)は、入力データとして比較的非構造化データ型を取り込み、人工知能(AI)の分野で最近人気が高まっている。 GNNアーキテクチャのいくつかの要素は、概念的には従来のニューラルネットワーク(およびニューラルネットワークの変種)と似ているが、他の要素は従来のディープラーニング技術から逸脱している。 このチュートリアルでは、GNNのモチベーション、概念、数学、そして最も一般的でパフォーマンスの良いGNNの応用に関する詳細を照合し提示することで、AI実践者にGNNのパワーとノベルティを公開している。 ここでは,本チュートリアルを実例とともに簡潔に提示し,GNNのトピックに関する実践的かつアクセシブルなチュートリアルを提供する。

Graph neural networks (GNNs) have recently grown in popularity in the field of artificial intelligence (AI) due to their unique ability to ingest relatively unstructured data types as input data. Although some elements of the GNN architecture are conceptually similar in operation to traditional neural networks (and neural network variants), other elements represent a departure from traditional deep learning techniques. This tutorial exposes the power and novelty of GNNs to AI practitioners by collating and presenting details regarding the motivations, concepts, mathematics, and applications of the most common and performant variants of GNNs. Importantly, we present this tutorial concisely, alongside practical examples, thus providing a practical and accessible tutorial on the topic of GNNs.
翻訳日:2022-10-08 13:05:27 公開日:2021-12-25
# (参考訳) 説明可能なシグネチャに基づく機械学習による太陽光発電システムにおける故障の同定

Explainable Signature-based Machine Learning Approach for Identification of Faults in Grid-Connected Photovoltaic Systems ( http://arxiv.org/abs/2112.14842v1 )

ライセンス: CC BY 4.0
Syed Wali and Irfan Khan(参考訳) 再生可能エネルギー資源,特に電力網に接続された太陽光発電(PV)システムの大量浸透レベルを持つスマートグリッドへの従来の電力網の転換により,効率的な故障同定システムの必要性が高まっている。 グリッド接続型PVシステムの単一コンポーネントの故障は、グリッド不安定やその他の深刻な結果を引き起こす可能性があり、信頼性の高い障害識別システムが、運用上の整合性を確保するための最大の要件であることを示している。 そこで本稿では,PV運転状態の統計的シグネチャに基づく新しい故障同定手法を提案する。 これらのシグネチャは、それぞれの断層が電気システムに異なる性質と独特な影響を持っているため、ユニークなものである。 その結果, 抽出されたシグネチャに基づいて学習したランダム森林分類器は, あらゆる種類の断層を100%精度良く同定できた。 さらに、提案フレームワークと他の機械学習分類器のパフォーマンス比較では、その信頼性が示されている。 さらに、予測結果に対するユーザの信頼を高めるために、トレーニング段階でshap(shapley additive description)を利用して、完全なモデル応答(グローバル説明)を抽出した。 この抽出されたグローバルな説明は,特徴量の観点から各予測を復号することで,予測結果の信頼性を評価するのに役立つ。 したがって、提案された説明可能なシグネチャベースのフォールト識別技術は信頼性が高く、スマートグリッドの要件をすべて満たしている。

The transformation of conventional power networks into smart grids with the heavy penetration level of renewable energy resources, particularly grid-connected Photovoltaic (PV) systems, has increased the need for efficient fault identification systems. Malfunctioning any single component in grid-connected PV systems may lead to grid instability and other serious consequences, showing that a reliable fault identification system is the utmost requirement for ensuring operational integrity. Therefore, this paper presents a novel fault identification approach based on statistical signatures of PV operational states. These signatures are unique because each fault has a different nature and distinctive impact on the electrical system. Thus, the Random Forest Classifier trained on these extracted signatures showed 100% accuracy in identifying all types of faults. Furthermore, the performance comparison of the proposed framework with other Machine Learning classifiers depicts its credibility. Moreover, to elevate user trust in the predicted outcomes, SHAP (Shapley Additive Explanation) was utilized during the training phase to extract a complete model response (global explanation). This extracted global explanation can help in the assessment of predicted outcomes credibility by decoding each prediction in terms of features contribution. Hence, the proposed explainable signature-based fault identification technique is highly credible and fulfills all the requirements of smart grids.
翻訳日:2022-01-09 15:20:45 公開日:2021-12-25
# (参考訳) 多次元アラビア音声認識

Multi-Dialect Arabic Speech Recognition ( http://arxiv.org/abs/2112.14678v1 )

ライセンス: CC BY 4.0
Abbas Raza Ali(参考訳) 本稿では,アラビア語用マルチダイアレクト自動音声認識の設計と開発について述べる。 ディープニューラルネットワークは、特にシステムのエンドツーエンドのトレーニングを採用することで、シーケンシャルなデータ問題を解決する効果的なツールになりつつある。 アラビア語の音声認識は、複数の方言が存在すること、大きなコーパスが利用できないこと、発声が欠けていることなど、複雑なタスクである。 したがって、この研究の最初の貢献は、完全なまたは少なくとも部分的に発声された転写を持つ大きな多方言コーパスの開発である。 さらに、オープンソースコーパスは、共通文字セットを定義することによって正規化される非標準アラビア語のアルファベットを転写にもたらす複数のソースから集められている。 第2の貢献は、最先端のパフォーマンスを実現する音響モデルをトレーニングするためのフレームワークの開発である。 ネットワークアーキテクチャは畳み込み層と再帰層の組み合わせで構成されている。 音声データのスペクトログラム特徴を周波数対時間領域で抽出し、ネットワークに供給する。 繰り返しモデルによって生成された出力フレームはさらに訓練され、オーディオ特徴と対応する転写シーケンスを整列する。 このシーケンスアライメントは、テトラグラム言語モデルを持つビームサーチデコーダを用いて行われる。 提案方式は14%の誤差率を達成し,従来のシステムより優れていた。

This paper presents the design and development of multi-dialect automatic speech recognition for Arabic. Deep neural networks are becoming an effective tool to solve sequential data problems, particularly, adopting an end-to-end training of the system. Arabic speech recognition is a complex task because of the existence of multiple dialects, non-availability of large corpora, and missing vocalization. Thus, the first contribution of this work is the development of a large multi-dialectal corpus with either full or at least partially vocalized transcription. Additionally, the open-source corpus has been gathered from multiple sources that bring non-standard Arabic alphabets in transcription which are normalized by defining a common character-set. The second contribution is the development of a framework to train an acoustic model achieving state-of-the-art performance. The network architecture comprises of a combination of convolutional and recurrent layers. The spectrogram features of the audio data are extracted in the frequency vs time domain and fed in the network. The output frames, produced by the recurrent model, are further trained to align the audio features with its corresponding transcription sequences. The sequence alignment is performed using a beam search decoder with a tetra-gram language model. The proposed system achieved a 14% error rate which outperforms previous systems.
翻訳日:2021-12-31 09:14:29 公開日:2021-12-25
# (参考訳) セマンティッククラスタリングに基づく画像認識と分類のための推論学習

Semantic Clustering based Deduction Learning for Image Recognition and Classification ( http://arxiv.org/abs/2112.13165v1 )

ライセンス: CC BY 4.0
Wenchi Ma, Xuemin Tu, Bo Luo, Guanghui Wang(参考訳) 本稿では,人間の脳の学習・思考過程を模倣した意味クラスタリングに基づく推論学習を提案する。 人間は経験と認知に基づいて判断を行うことができ、その結果、未知の動物を車として認識することはできない。 本研究は,動物に属する猫や自動車に関連する車などの分類属性から意味的推論と要約の能力を用いて,モデルの学習を指導する,クラスタリングを用いたディープラーニングモデルを訓練することを提案する。 特に、画像が猫としてラベル付けされた場合、モデルは「この画像は動物の異常値である無作為なクラスではない」ことを学ぶように訓練される。 提案手法はセマンティック空間における高レベルクラスタリングを実現し,学習過程における様々なクラス間の関係をモデル化する。 さらに,クラスタリングのスムーズな分布と分類器のロバスト性を保証するために,逆ラベルに対する意味的先行的ランダム探索を導入する。 提案手法は広範な実験を通じて理論的,実証的に支持される。 一般的なベンチマークでは,最先端の分類器間での性能を比較し,データセットにノイズラベリングを加えることで一般化能力を検証する。 実験の結果,提案手法の優位性を示した。

The paper proposes a semantic clustering based deduction learning by mimicking the learning and thinking process of human brains. Human beings can make judgments based on experience and cognition, and as a result, no one would recognize an unknown animal as a car. Inspired by this observation, we propose to train deep learning models using the clustering prior that can guide the models to learn with the ability of semantic deducing and summarizing from classification attributes, such as a cat belonging to animals while a car pertaining to vehicles. %Specifically, if an image is labeled as a cat, then the model is trained to learn that "this image is totally not any random class that is the outlier of animal". The proposed approach realizes the high-level clustering in the semantic space, enabling the model to deduce the relations among various classes during the learning process. In addition, the paper introduces a semantic prior based random search for the opposite labels to ensure the smooth distribution of the clustering and the robustness of the classifiers. The proposed approach is supported theoretically and empirically through extensive experiments. We compare the performance across state-of-the-art classifiers on popular benchmarks, and the generalization ability is verified by adding noisy labeling to the datasets. Experimental results demonstrate the superiority of the proposed approach.
翻訳日:2021-12-29 09:53:51 公開日:2021-12-25
# (参考訳) チェビシェフグラフ畳み込みネットワークを用いた大規模スマートグリッドのサイバー攻撃検出

Cyberattack Detection in Large-Scale Smart Grids using Chebyshev Graph Convolutional Networks ( http://arxiv.org/abs/2112.13166v1 )

ライセンス: CC BY 4.0
Osman Boyaci, Mohammad Rasoul Narimani, Katherine Davis, and Erchin Serpedin(参考訳) 高度に複雑で統合されたサイバー物理システムとして、現代の電力網はサイバー攻撃にさらされている。 偽データインジェクション攻撃(False Data Injection attack, FDIA)は、測定データの整合性をターゲットとして、スマートグリッドに対するサイバー脅威の主要なクラスである。 これらのサイバー攻撃を検出するために様々な解決策が提案されているが、ほとんどの作業は電力グリッド測定の固有のグラフ構造を無視し、数百台未満の小さなテストシステムでのみ検出器を検証する。 本稿では,スマートグリッド計測の空間相関をよりよく活用するために,チェビシェフグラフ畳み込みネットワーク(cgcn)を用いた大規模交流電力グリッドにおけるサイバー攻撃検出のための深層学習モデルを提案する。 スペクトルグラフフィルタの複雑さを低減し、局所化させることで、CGCNはグラフ構造的スマートグリッドデータをモデル化するための高速で効率的な畳み込み演算を提供する。 提案手法は,2848系統の大規模送電網において,検出率7.86,誤警報率9.67で最先端モデルを上回ることを数値的に検証した。 提案手法は,2848バスシステムにおいて4ミリ秒未満のサイバー攻撃を検出することで,大規模システムにおけるサイバー攻撃のリアルタイム検出に適した候補となる。

As a highly complex and integrated cyber-physical system, modern power grids are exposed to cyberattacks. False data injection attacks (FDIAs), specifically, represent a major class of cyber threats to smart grids by targeting the measurement data's integrity. Although various solutions have been proposed to detect those cyberattacks, the vast majority of the works have ignored the inherent graph structure of the power grid measurements and validated their detectors only for small test systems with less than a few hundred buses. To better exploit the spatial correlations of smart grid measurements, this paper proposes a deep learning model for cyberattack detection in large-scale AC power grids using Chebyshev Graph Convolutional Networks (CGCN). By reducing the complexity of spectral graph filters and making them localized, CGCN provides a fast and efficient convolution operation to model the graph structural smart grid data. We numerically verify that the proposed CGCN based detector surpasses the state-of-the-art model by 7.86 in detection rate and 9.67 in false alarm rate for a large-scale power grid with 2848 buses. It is notable that the proposed approach detects cyberattacks under 4 milliseconds for a 2848-bus system, which makes it a good candidate for real-time detection of cyberattacks in large systems.
翻訳日:2021-12-29 09:42:26 公開日:2021-12-25
# (参考訳) 勾配漏洩攻撃弾力性深層学習

Gradient Leakage Attack Resilient Deep Learning ( http://arxiv.org/abs/2112.13178v1 )

ライセンス: CC BY 4.0
Wenqi Wei and Ling Liu(参考訳) グラディエント・リーク攻撃は、モデルトレーニングの質を損なうことなく反復的なトレーニング中に秘密裏に勾配の更新をスパイし、高い攻撃成功率のリーク勾配を用いて機密性の高いトレーニングデータを秘密裏に再構築するため、ディープラーニングにおける最も悪質なプライバシー脅威の1つと考えられている。 差分プライバシーを持つディープラーニングは、差分プライバシー保証を持つディープラーニングモデルを公開するためのデファクトスタンダードであるが、固定プライバシーパラメータを持つ差分プライベートアルゴリズムは、勾配リーク攻撃に対して脆弱であることを示す。 本稿では,ディファレンシャルプライバシ(dp)を用いた勾配漏洩弾性深層学習の代替手法について検討する。 まず,固定ノイズ分散を用いて,固定プライバシパラメータを用いて,すべてのレイヤの勾配に一定のノイズを注入する差分プライバシを用いた,既存のディープラーニングの実装を分析する。 DP保証が提供されたにもかかわらず、この手法は低い精度に悩まされ、勾配リーク攻撃に弱い。 第2に、動的プライバシーパラメータを用いて、差分プライバシー保証を伴う勾配リーク耐性深層学習手法を提案する。 一定のノイズ分散をもたらす固定パラメータ戦略とは異なり、異なる動的パラメータ戦略は、微分プライベートモデルトレーニング中に勾配更新の傾向に密接に一致する適応ノイズ分散と適応ノイズ注入を導入する代替手法を提案する。 最後に,代替手法を評価するための4つの補完的指標について述べる。

Gradient leakage attacks are considered one of the wickedest privacy threats in deep learning as attackers covertly spy gradient updates during iterative training without compromising model training quality, and yet secretly reconstruct sensitive training data using leaked gradients with high attack success rate. Although deep learning with differential privacy is a defacto standard for publishing deep learning models with differential privacy guarantee, we show that differentially private algorithms with fixed privacy parameters are vulnerable against gradient leakage attacks. This paper investigates alternative approaches to gradient leakage resilient deep learning with differential privacy (DP). First, we analyze existing implementation of deep learning with differential privacy, which use fixed noise variance to injects constant noise to the gradients in all layers using fixed privacy parameters. Despite the DP guarantee provided, the method suffers from low accuracy and is vulnerable to gradient leakage attacks. Second, we present a gradient leakage resilient deep learning approach with differential privacy guarantee by using dynamic privacy parameters. Unlike fixed-parameter strategies that result in constant noise variance, different dynamic parameter strategies present alternative techniques to introduce adaptive noise variance and adaptive noise injection which are closely aligned to the trend of gradient updates during differentially private model training. Finally, we describe four complementary metrics to evaluate and compare alternative approaches.
翻訳日:2021-12-29 09:30:21 公開日:2021-12-25
# (参考訳) ニューラルセマンティックパーシングにおける依存性ツリーの爆発的改善

Combining Improvements for Exploiting Dependency Trees in Neural Semantic Parsing ( http://arxiv.org/abs/2112.13179v1 )

ライセンス: CC BY 4.0
Defeng Xie and Jianmin Ji and Jiafei Xu and Ran Ji(参考訳) 自然言語文の依存木は意味論と単語の相互作用を捉えることができる。 しかし,このような依存情報を利用して意味解析を行う手法が組み合わさって,それらの手法のさらなる改良と関係性を実現することができるかどうかは不明である。 本稿では,トランスフォーマーに基づくセマンティックパーサにそのような依存情報を組み込む3つの手法について検討し,それらの組み合わせを実証的に研究する。 まず,エンコーダの標準自己注意ヘッドを,各トークンの依存性親への参加が可能な親スケール自己注意ヘッド(PASCAL)に置き換える。 次に、構文認識型単語表現(SAWR)、すなわち、ニューラル依存パーサの中間的隠蔽表現を通常の単語埋め込みと結合してエンコーダを強化する。 その後、エンコーダに構成的注意 (CA) モジュールを挿入し、入力文の固有の依存構造をよりよく把握できる追加的な制約をアテンションヘッドに追加する。 モデル集約にはトランスダクティブアンサンブル学習(tel)を用い,各手法の寄与を示すためにアブレーション研究を行った。 実験の結果,CAはPASCALやSAWRと相補的であり,PASCAL+CAはATIS,GEO,JOBSに対する神経アプローチの最先端性能を提供することがわかった。

The dependency tree of a natural language sentence can capture the interactions between semantics and words. However, it is unclear whether those methods which exploit such dependency information for semantic parsing can be combined to achieve further improvement and the relationship of those methods when they combine. In this paper, we examine three methods to incorporate such dependency information in a Transformer based semantic parser and empirically study their combinations. We first replace standard self-attention heads in the encoder with parent-scaled self-attention (PASCAL) heads, i.e., the ones that can attend to the dependency parent of each token. Then we concatenate syntax-aware word representations (SAWRs), i.e., the intermediate hidden representations of a neural dependency parser, with ordinary word embedding to enhance the encoder. Later, we insert the constituent attention (CA) module to the encoder, which adds an extra constraint to attention heads that can better capture the inherent dependency structure of input sentences. Transductive ensemble learning (TEL) is used for model aggregation, and an ablation study is conducted to show the contribution of each method. Our experiments show that CA is complementary to PASCAL or SAWRs, and PASCAL + CA provides state-of-the-art performance among neural approaches on ATIS, GEO, and JOBS.
翻訳日:2021-12-29 08:59:10 公開日:2021-12-25
# (参考訳) クレジットスコアリングのための異常検出法と平衡サンプリング法を組み合わせた機械学習モデルの比較研究

A comparative study on machine learning models combining with outlier detection and balanced sampling methods for credit scoring ( http://arxiv.org/abs/2112.13196v1 )

ライセンス: CC BY 4.0
Hongyi Qian, Shen Zhang, Baohui Wang, Lei Peng, Songfeng Gao, You Song(参考訳) ピアツーピア(P2P)貸付プラットフォームは,ネットワークインフラの改善と個人貸付需要の増加に伴い,過去10年間で急速に成長している。 このようなプラットフォームにより、ユーザーは従来の金融機関の助けなしにピアツーピアの融資関係を作成できる。 借り手のクレジットを評価することは、デフォルトレートを下げ、p2pプラットフォームの良質な開発に不可欠である。 個人クレジットスコアリング機械学習モデルの構築は、ユーザがP2Pプラットフォームでローンを返済するかどうかを効果的に予測することができる。 そして、データ異常値の処理とサンプル不均衡問題は、機械学習モデルの最終効果に影響を与える可能性がある。 バランスドサンプリング法に関する研究がいくつかあるが、異常検出法とバランスドサンプリング法の組み合わせが機械学習モデルの有効性に与える影響は十分に研究されていない。 本稿では,汎用機械学習モデルにおける異常検出法と平衡サンプリング法の違いが与える影響について検討した。 44,487のLending Clubサンプルを用いた実験では、適切なアウトラヤ検出が機械学習モデルの有効性を向上させることが示され、バランスの取れたサンプリング手法はMLPのような機械学習モデルにのみ良い効果がある。

Peer-to-peer (P2P) lending platforms have grown rapidly over the past decade as the network infrastructure has improved and the demand for personal lending has grown. Such platforms allow users to create peer-to-peer lending relationships without the help of traditional financial institutions. Assessing the borrowers' credit is crucial to reduce the default rate and benign development of P2P platforms. Building a personal credit scoring machine learning model can effectively predict whether users will repay loans on the P2P platform. And the handling of data outliers and sample imbalance problems can affect the final effect of machine learning models. There have been some studies on balanced sampling methods, but the effect of outlier detection methods and their combination with balanced sampling methods on the effectiveness of machine learning models has not been fully studied. In this paper, the influence of using different outlier detection methods and balanced sampling methods on commonly used machine learning models is investigated. Experiments on 44,487 Lending Club samples show that proper outlier detection can improve the effectiveness of the machine learning model, and the balanced sampling method only has a good effect on a few machine learning models, such as MLP.
翻訳日:2021-12-29 08:46:59 公開日:2021-12-25
# (参考訳) 共同コミュニティ検出と直交群同期のためのスペクトル法

A Spectral Method for Joint Community Detection and Orthogonal Group Synchronization ( http://arxiv.org/abs/2112.13199v1 )

ライセンス: CC BY 4.0
Yifeng Fan, Yuehaw Khoo, and Zhizhen Zhao(参考訳) コミュニティ検出と直交群同期はどちらも科学と工学における様々な重要な応用の基本的な問題である。 本研究では,コミュニティを回復し,同時に同期することを目的とした,コミュニティ検出と直交グループ同期の連立問題を考察する。 この目的のために、スペクトル分解ステップとブロックワイドカラムピボットQR因子分解(CPQR)からなる単純なアルゴリズムを提案する。 提案アルゴリズムは効率的で,データ点数に応じて線形にスケールする。 また,最近開発された「リーブ・ワン・アウト」手法を利用して,クラスターメンバシップの完全回復と直交変換の安定回復の至近保証を確立する。 数値実験により,本アルゴリズムの効率と有効性を示し,その理論的特徴を検証した。

Community detection and orthogonal group synchronization are both fundamental problems with a variety of important applications in science and engineering. In this work, we consider the joint problem of community detection and orthogonal group synchronization which aims to recover the communities and perform synchronization simultaneously. To this end, we propose a simple algorithm that consists of a spectral decomposition step followed by a blockwise column pivoted QR factorization (CPQR). The proposed algorithm is efficient and scales linearly with the number of data points. We also leverage the recently developed `leave-one-out' technique to establish a near-optimal guarantee for exact recovery of the cluster memberships and stable recovery of the orthogonal transforms. Numerical experiments demonstrate the efficiency and efficacy of our algorithm and confirm our theoretical characterization of it.
翻訳日:2021-12-29 08:29:00 公開日:2021-12-25
# (参考訳) 財務会計データの継続的監査における教師なし異常検出の継続学習

Continual Learning for Unsupervised Anomaly Detection in Continuous Auditing of Financial Accounting Data ( http://arxiv.org/abs/2112.13215v1 )

ライセンス: CC BY 4.0
Hamed Hemati, Marco Schreyer, Damian Borth(参考訳) 国際監査基準では、財務諸表の基礎となる会計雑誌の項目を直接評価する必要がある。 人工知能の進歩によって、大量のジャーナルエントリデータを調べるためにディープラーニングにインスパイアされた監査技術が出現した。 しかし、定期的な監査では、提案手法のほとんどが、例えば財務四半期や年度の定期刊行物から学ぶために適用される。 トレーニングデータに監査関連ディストリビューションの変更が明らかでない、あるいは時間とともに段階的に利用可能になる状況の無視。 対照的に、継続的監査では、ディープラーニングモデルは、例えば前時間の記録されたジャーナルエントリのストリームで継続的に訓練される。 以前の知識が新しい情報に干渉し、完全に上書きされる状況における結果。 本研究は、両課題を克服し、ジャーナルエントリデータエクスペリエンスのストリームから学ぶように設計された連続的異常検出フレームワークを提案する。 このフレームワークは、意図的に設計された監査シナリオと2つの実世界のデータセットに基づいて評価される。 実験結果から,このような学習手法が偽陽性の警告と偽陰性判定を低減できることを示す。

International audit standards require the direct assessment of a financial statement's underlying accounting journal entries. Driven by advances in artificial intelligence, deep-learning inspired audit techniques emerged to examine vast quantities of journal entry data. However, in regular audits, most of the proposed methods are applied to learn from a comparably stationary journal entry population, e.g., of a financial quarter or year. Ignoring situations where audit relevant distribution changes are not evident in the training data or become incrementally available over time. In contrast, in continuous auditing, deep-learning models are continually trained on a stream of recorded journal entries, e.g., of the last hour. Resulting in situations where previous knowledge interferes with new information and will be entirely overwritten. This work proposes a continual anomaly detection framework to overcome both challenges and designed to learn from a stream of journal entry data experiences. The framework is evaluated based on deliberately designed audit scenarios and two real-world datasets. Our experimental results provide initial evidence that such a learning scheme offers the ability to reduce false-positive alerts and false-negative decisions.
翻訳日:2021-12-29 08:28:01 公開日:2021-12-25
# (参考訳) 不均衡マルチクラスマルウェア分類のための事前学習トランスフォーマーモデルのアンサンブル

An Ensemble of Pre-trained Transformer Models For Imbalanced Multiclass Malware Classification ( http://arxiv.org/abs/2112.13236v1 )

ライセンス: CC BY 4.0
Ferhat Demirk{\i}ran, Aykut \c{C}ay{\i}r, U\u{g}ur \"Unal, Hasan Da\u{g}(参考訳) マルウェアファミリーの分類は、デバイス、コンピュータ、システムにどのように感染するかを包括的に理解するために重要である。 これにより、セキュリティ研究者やインシデント対応者がマルウェアを予防し、緩和を加速することができる。 マルウェアによるAPI呼び出しシーケンスは、マルウェアの振る舞いを表すため、マルウェア分類のための機械学習モデルやディープラーニングモデルによって広く利用されている。 しかし、従来の機械学習とディープラーニングモデルは、api呼び出し間のシーケンス関係をキャプチャできないままである。 一方,変換器をベースとしたモデルではシーケンス全体を処理し,マルチヘッドアテンション機構と位置埋め込みによるAPI呼び出し間の関係を学習する。 実験により, 1つのトランスブロック層を有するトランスモデルが, 広く使用されているベースアーキテクチャLSTMを超越したことを示す。 さらに、評価指標、f1-score、aucスコアによって高度に不均衡なマルウェアファミリーの分類において、bertまたはcanineが事前学習したトランスフォーマーモデルよりも優れている。 さらに, bert または canine のアンサンブルであるbagging-based random transformer forest (rtf) は, 4つのデータセットのうち3つ, 特に, ベンチマークデータセットの1つで 0.6149 の最先端評価点に達した。

Classification of malware families is crucial for a comprehensive understanding of how they can infect devices, computers, or systems. Thus, malware identification enables security researchers and incident responders to take precautions against malware and accelerate mitigation. API call sequences made by malware are widely utilized features by machine and deep learning models for malware classification as these sequences represent the behavior of malware. However, traditional machine and deep learning models remain incapable of capturing sequence relationships between API calls. On the other hand, the transformer-based models process sequences as a whole and learn relationships between API calls due to multi-head attention mechanisms and positional embeddings. Our experiments demonstrate that the transformer model with one transformer block layer surpassed the widely used base architecture, LSTM. Moreover, BERT or CANINE, pre-trained transformer models, outperformed in classifying highly imbalanced malware families according to evaluation metrics, F1-score, and AUC score. Furthermore, the proposed bagging-based random transformer forest (RTF), an ensemble of BERT or CANINE, has reached the state-of-the-art evaluation scores on three out of four datasets, particularly state-of-the-art F1-score of 0.6149 on one of the commonly used benchmark dataset.
翻訳日:2021-12-29 08:12:14 公開日:2021-12-25
# (参考訳) cabace: acronym と long-form 抽出のための文字配列情報とドメイン知識の注入

CABACE: Injecting Character Sequence Information and Domain Knowledge for Enhanced Acronym and Long-Form Extraction ( http://arxiv.org/abs/2112.13237v1 )

ライセンス: CC BY 4.0
Nithish Kannen, Divyanshu Sheth, Abhranil Chandra, Shubhraneel Pal(参考訳) 頭字語や長い形は研究文書によく見られるが、科学的・法的領域の文書にも見られる。 このような文書で使われる多くの頭字語はドメイン固有であり、通常のテキストコーパスにはほとんど見つからない。 このため、トランスフォーマーベースのNLPモデルは、特に非英語言語において、頭字語トークンのOOV(Out of Vocabulary)をしばしば検出し、そのパフォーマンスは抽出中に頭字語を長い形にリンクする。 さらに、bertのような事前訓練されたトランスフォーマーモデルは、科学的および法的文書を扱う専門的ではない。 本研究の背景にあるモチベーションは,テキスト中の文字配列を考慮に入れ,マスク付き言語モデリングにより科学的・法的領域に適応する新しいフレームワーク CABACE: Character-Aware BERT for ACronym extract を提案する。 さらに, CABACEのトレーニングにおいて, 最大損失とマスク損失項を標準的なクロスエントロピー損失に追加し, 目標を拡張損失関数で用いる。 さらに,擬似ラベリングと逆データ生成を利用して,フレームワークの汎用性を向上させる。 実験結果から,提案フレームワークの各種ベースラインに対する優位性が確認された。 さらに,提案手法は,非英語言語へのゼロショット一般化のためのベースラインモデルよりも適していることを示す。 当社のチームであるBacKGPropは、フランス語データセットの最高スコア、デンマーク語とベトナム語で2位、そしてSDU AAAI-22で共有された頭字語抽出(AE)タスクのグローバルリーダーボードで3位だった。

Acronyms and long-forms are commonly found in research documents, more so in documents from scientific and legal domains. Many acronyms used in such documents are domain-specific and are very rarely found in normal text corpora. Owing to this, transformer-based NLP models often detect OOV (Out of Vocabulary) for acronym tokens, especially for non-English languages, and their performance suffers while linking acronyms to their long forms during extraction. Moreover, pretrained transformer models like BERT are not specialized to handle scientific and legal documents. With these points being the overarching motivation behind this work, we propose a novel framework CABACE: Character-Aware BERT for ACronym Extraction, which takes into account character sequences in text and is adapted to scientific and legal domains by masked language modelling. We further use an objective with an augmented loss function, adding the max loss and mask loss terms to the standard cross-entropy loss for training CABACE. We further leverage pseudo labelling and adversarial data generation to improve the generalizability of the framework. Experimental results prove the superiority of the proposed framework in comparison to various baselines. Additionally, we show that the proposed framework is better suited than baseline models for zero-shot generalization to non-English languages, thus reinforcing the effectiveness of our approach. Our team BacKGProp secured the highest scores on the French dataset, second-highest on Danish and Vietnamese, and third-highest in the English-Legal dataset on the global leaderboard for the acronym extraction (AE) shared task at SDU AAAI-22.
翻訳日:2021-12-29 08:11:10 公開日:2021-12-25
# (参考訳) ニューロン表現・意味論・浅層解析に基づく文学的韻律生成に関する予備的研究

A Preliminary Study for Literary Rhyme Generation based on Neuronal Representation, Semantics and Shallow Parsing ( http://arxiv.org/abs/2112.13241v1 )

ライセンス: CC BY 4.0
Luis-Gil Moreno-Jim\'enez, Juan-Manuel Torres-Moreno, Roseli S. Wedemann(参考訳) 近年,コンピュータ・クリエイティビティ(Computational Creativity)分野の研究者が,形式的な手順で再現するための異なるアプローチを提案する人間の創造過程を研究している。 本稿では,言語モデルとニューラルネットワークモデルの構造%(\textit{word2vec})を組み合わせた,スペイン語における文学的韻律生成モデルを提案する。 %となり, 意味的同化構造が得られた。 提案アルゴリズムが生成したテキストを手動で評価し,その有効性を推し進める。

In recent years, researchers in the area of Computational Creativity have studied the human creative process proposing different approaches to reproduce it with a formal procedure. In this paper, we introduce a model for the generation of literary rhymes in Spanish, combining structures of language and neural network models %(\textit{Word2vec}).%, into a structure for semantic assimilation. The results obtained with a manual evaluation of the texts generated by our algorithm are encouraging.
翻訳日:2021-12-29 07:59:11 公開日:2021-12-25
# (参考訳) 視覚運動錯覚の進化的生成

Evolutionary Generation of Visual Motion Illusions ( http://arxiv.org/abs/2112.13243v1 )

ライセンス: CC BY 4.0
Lana Sinapayen and Eiji Watanabe(参考訳) なぜ静止画像が動いているかのように知覚するのでしょうか? 視覚運動錯覚は、持続的な人気を享受するが、なぜ働くのかという疑問に対する明確な答えはない。 我々は,新しい視覚運動錯覚を生成する生成モデルである進化的錯覚生成器(eigen)を提案する。 固有運動の構造は、目からの生の視覚入力を知覚するのではなく、脳の予測を知覚した結果かもしれないという仮説を支持している。 本論文の科学的動機は、視覚運動の知覚が脳の予測能力の副作用であることを示すことである。 この論文の哲学的動機は、人工知能と人工生命の研究にふさわしいアウトレットとして、生物システムが失敗すると人工システムが失敗する「モチベーションされた失敗」の未解決の可能性に注意を向けることである。

Why do we sometimes perceive static images as if they were moving? Visual motion illusions enjoy a sustained popularity, yet there is no definitive answer to the question of why they work. We present a generative model, the Evolutionary Illusion GENerator (EIGen), that creates new visual motion illusions. The structure of EIGen supports the hypothesis that illusory motion might be the result of perceiving the brain's own predictions rather than perceiving raw visual input from the eyes. The scientific motivation of this paper is to demonstrate that the perception of illusory motion could be a side effect of the predictive abilities of the brain. The philosophical motivation of this paper is to call attention to the untapped potential of "motivated failures", ways for artificial systems to fail as biological systems fail, as a worthy outlet for Artificial Intelligence and Artificial Life research.
翻訳日:2021-12-29 07:50:27 公開日:2021-12-25
# (参考訳) 時間進化的不均一データに関するフェデレーション学習に向けて

Towards Federated Learning on Time-Evolving Heterogeneous Data ( http://arxiv.org/abs/2112.13246v1 )

ライセンス: CC BY 4.0
Yongxin Guo, Tao Lin, Xiaoying Tang(参考訳) Federated Learning(FL)は、エッジデバイス上でクライアントデータのローカリティを保証することによって、プライバシを保護する、新たな学習パラダイムである。 flの最適化は、学習システムの多様性と多様性のため、実際に困難である。 ヘテロジニアスデータの最適化に関する最近の研究にもかかわらず、トレーニング中のクライアントデータの変更や断続的なクライアントの参加や離脱といった現実世界のシナリオにおいて、時間発展する異種データの影響はよく研究されていない。 本研究では,FLの時間的不均一性を捉えるために,フレキシブルなフレームワークであるContinual Federated Learning (CFL)を提案する。 cflは、過去のローカルデータセットの情報を抽出し、ローカル目的関数を近似することで、以前のfl定式化で評価するのが難しい、複雑で現実的なシナリオをカバーしている。 理論的には、CFL法は時間発展シナリオにおいて \fedavg よりも早く収束率を達成でき、その利点は近似品質に依存する。 一連の実験では,数値的な解析結果が収束解析と一致し,CFL法は他のSOTA FL法よりも有意に優れていた。

Federated Learning (FL) is an emerging learning paradigm that preserves privacy by ensuring client data locality on edge devices. The optimization of FL is challenging in practice due to the diversity and heterogeneity of the learning system. Despite recent research efforts on improving the optimization of heterogeneous data, the impact of time-evolving heterogeneous data in real-world scenarios, such as changing client data or intermittent clients joining or leaving during training, has not been well studied. In this work, we propose Continual Federated Learning (CFL), a flexible framework, to capture the time-evolving heterogeneity of FL. CFL covers complex and realistic scenarios -- which are challenging to evaluate in previous FL formulations -- by extracting the information of past local datasets and approximating the local objective functions. Theoretically, we demonstrate that CFL methods achieve a faster convergence rate than \fedavg in time-evolving scenarios, with the benefit being dependent on approximation quality. In a series of experiments, we show that the numerical findings match the convergence analysis, and CFL methods significantly outperform the other SOTA FL baselines.
翻訳日:2021-12-29 07:41:29 公開日:2021-12-25
# (参考訳) 関係抽出を用いた臨床文書理解の深化

Deeper Clinical Document Understanding Using Relation Extraction ( http://arxiv.org/abs/2112.13259v1 )

ライセンス: CC BY 4.0
Hasham Ul Haq, Veysel Kocaman, David Talby(参考訳) バイオメディカル文献とデジタル臨床記録の急増はテキストマイニング技術の必要性を高めており、非構造化データの実体を識別するだけでなく意味的に関連付けることもできる。 本稿では,先行研究を3つの方法で拡張した名前付きエンティティ認識(ner)と関係抽出(re)モデルからなるテキストマイニングフレームワークを提案する。 まず,BioBERTに基づく精度最適化アーキテクチャと,FCNN(Fully Connected Neural Network)上のクラフト機能を活用した速度最適化アーキテクチャの2つを紹介する。 第2に,2012年i2b2臨床時間関係チャレンジ(f1:73.6, +1.2%, 2010年i2b2臨床関係チャレンジ(f1: 69.1, +1.2%), 2019年表現型遺伝子関係データセット(f1: 87.9, +8.5%), 2012年有害薬物事象薬物反応データセット(f1: 90.0, +6.3%), 2018年n2c2ポソロジー関連データセット(96.7, +0.6%)の2つのモデルを評価した。 第3に,生物医学的知識グラフの構築と臨床コードへのエンティティマッピングの精度向上という,このフレームワークの2つの実践的応用例を示す。 システムはSpark NLPライブラリを使用して構築されており、プロダクショングレード、ネイティブにスケーラブル、ハードウェア最適化、トレーニング可能、チューニング可能なNLPフレームワークを提供する。

The surging amount of biomedical literature & digital clinical records presents a growing need for text mining techniques that can not only identify but also semantically relate entities in unstructured data. In this paper we propose a text mining framework comprising of Named Entity Recognition (NER) and Relation Extraction (RE) models, which expands on previous work in three main ways. First, we introduce two new RE model architectures -- an accuracy-optimized one based on BioBERT and a speed-optimized one utilizing crafted features over a Fully Connected Neural Network (FCNN). Second, we evaluate both models on public benchmark datasets and obtain new state-of-the-art F1 scores on the 2012 i2b2 Clinical Temporal Relations challenge (F1 of 73.6, +1.2% over the previous SOTA), the 2010 i2b2 Clinical Relations challenge (F1 of 69.1, +1.2%), the 2019 Phenotype-Gene Relations dataset (F1 of 87.9, +8.5%), the 2012 Adverse Drug Events Drug-Reaction dataset (F1 of 90.0, +6.3%), and the 2018 n2c2 Posology Relations dataset (F1 of 96.7, +0.6%). Third, we show two practical applications of this framework -- for building a biomedical knowledge graph and for improving the accuracy of mapping entities to clinical codes. The system is built using the Spark NLP library which provides a production-grade, natively scalable, hardware-optimized, trainable & tunable NLP framework.
翻訳日:2021-12-29 07:40:09 公開日:2021-12-25
# (参考訳) cycle consistent adversarial neural network を用いた眼底画像のアーチファクト削減

Artifact Reduction in Fundus Imaging using Cycle Consistent Adversarial Neural Networks ( http://arxiv.org/abs/2112.13264v1 )

ライセンス: CC0 1.0
Sai Koushik S S, and K.G. Srinivasa(参考訳) 眼底画像は様々な眼疾患の同定に非常に有用である。 しかし、人工物の存在により、網膜の視認性は深刻な影響を受ける。 これは疾患の誤診を引き起こし、より複雑な問題を引き起こす可能性がある。 ディープラーニングは、人間の介入を伴わないデータからパターンを抽出する強力なツールであるため、画像から画像への変換問題にも適用できる。 本論文では, 底面画像に存在する人工物を自動的に修正する試みを行っている。 我々は、画像のアーティファクトを減らすために、残差ブロックからなるcycleganベースのモデルを使用する。 既存の技術と比べて大きな改善が見られる。

Fundus images are very useful in identifying various ophthalmic disorders. However, due to the presence of artifacts, the visibility of the retina is severely affected. This may result in misdiagnosis of the disorder which may lead to more complicated problems. Since deep learning is a powerful tool to extract patterns from data without much human intervention, they can be applied to image-to-image translation problems. An attempt has been made in this paper to automatically rectify such artifacts present in the images of the fundus. We use a CycleGAN based model which consists of residual blocks to reduce the artifacts in the images. Significant improvements are seen when compared to the existing techniques.
翻訳日:2021-12-29 07:31:48 公開日:2021-12-25
# (参考訳) グラフニューラルネットワークにおけるタスクとモデル非依存の逆攻撃

Task and Model Agnostic Adversarial Attack on Graph Neural Networks ( http://arxiv.org/abs/2112.13267v1 )

ライセンス: CC BY 4.0
Kartik Sharma, Samidha Verma, Sourav Medya, Sayan Ranu, Arnab Bhattacharya(参考訳) グラフニューラルネットワーク(GNN)は、様々な予測タスクにおける印象的なパフォーマンスのため、業界内で大きな採用が見られた。 しかし、パフォーマンスだけでは不十分だ。 広くデプロイされた機械学習アルゴリズムは、敵攻撃に対して堅牢でなければならない。 本研究では、GNNのこの側面を調査し、脆弱性を特定し、よりセキュアで堅牢なGNNの開発につながる可能性のあるグラフプロパティにリンクする。 具体的には、未知の下流タスクの性能に影響を与えるために、敵がテストグラフを変更するタスクおよびモデル非依存回避攻撃の問題を定式化する。 提案アルゴリズムであるGRAND(Gr$aph $A$ttack via $N$eighborhood $D$istortion)は,ノード近傍の歪みが予測性能を大幅に向上させる効果を示す。 近傍歪みはNPハード問題であるが、GRANDはグラフ同型ネットワークと深い$Q$ラーニングの組み合わせによって効果的なヒューリスティックを設計する。 実際のデータセットに関する広範囲な実験によって、grandは平均して、最先端の技術よりも50〜%効果的でありながら、100ドル以上高速であることが示された。

Graph neural networks (GNNs) have witnessed significant adoption in the industry owing to impressive performance on various predictive tasks. Performance alone, however, is not enough. Any widely deployed machine learning algorithm must be robust to adversarial attacks. In this work, we investigate this aspect for GNNs, identify vulnerabilities, and link them to graph properties that may potentially lead to the development of more secure and robust GNNs. Specifically, we formulate the problem of task and model agnostic evasion attacks where adversaries modify the test graph to affect the performance of any unknown downstream task. The proposed algorithm, GRAND ($Gr$aph $A$ttack via $N$eighborhood $D$istortion) shows that distortion of node neighborhoods is effective in drastically compromising prediction performance. Although neighborhood distortion is an NP-hard problem, GRAND designs an effective heuristic through a novel combination of Graph Isomorphism Network with deep $Q$-learning. Extensive experiments on real datasets show that, on average, GRAND is up to $50\%$ more effective than state of the art techniques, while being more than $100$ times faster.
翻訳日:2021-12-29 07:17:49 公開日:2021-12-25
# (参考訳) スプリアス定常点の存在下での過パラメータ行列分解

Over-Parametrized Matrix Factorization in the Presence of Spurious Stationary Points ( http://arxiv.org/abs/2112.13269v1 )

ライセンス: CC BY 4.0
Armin Eftekhari(参考訳) 信号処理や機械学習における補間機械の役割の台頭により、過度にパラメータ化された行列分解の計算的側面を考える。 この文脈では、最適化のランドスケープは、フルランク行列であることが証明された突発的な定常点(SSP)を含むかもしれない。 これらの SSP の存在は、過度にパラメータ化された行列分解における大域的な保証を期待することは不可能であることを意味する。 例えば、SSPで初期化されると、勾配流は永遠にそこに閉じ込められる。 にもかかわらず、これらのsspsにもかかわらず、この研究では、対応するメリット関数の勾配フローが大域的最小化に収束することを確立し、その初期化がランク不足であり、最適化問題の実現可能な集合に十分近いことを仮定する。 原始双対アルゴリズムにインスパイアされた勾配流のヒューリスティックな離散化がランダムに初期化されると成功することを数値的に観察する。 その結果,最適化問題の最適集合に近い初期化を必要とする局所的改良法とは対照的である。 より具体的には、SSPが設定したトラップは、勾配流が常にランク不足であり、近くにSSPがないためではないため、うまく回避できる。 後者は局所的改良法の場合である。 さらに、広く使われている制限等尺性は、本研究の主な成果には何の役割も果たさない。

Motivated by the emerging role of interpolating machines in signal processing and machine learning, this work considers the computational aspects of over-parametrized matrix factorization. In this context, the optimization landscape may contain spurious stationary points (SSPs), which are proved to be full-rank matrices. The presence of these SSPs means that it is impossible to hope for any global guarantees in over-parametrized matrix factorization. For example, when initialized at an SSP, the gradient flow will be trapped there forever. Nevertheless, despite these SSPs, we establish in this work that the gradient flow of the corresponding merit function converges to a global minimizer, provided that its initialization is rank-deficient and sufficiently close to the feasible set of the optimization problem. We numerically observe that a heuristic discretization of the proposed gradient flow, inspired by primal-dual algorithms, is successful when initialized randomly. Our result is in sharp contrast with the local refinement methods which require an initialization close to the optimal set of the optimization problem. More specifically, we successfully avoid the traps set by the SSPs because the gradient flow remains rank-deficient at all times, and not because there are no SSPs nearby. The latter is the case for the local refinement methods. Moreover, the widely-used restricted isometry property plays no role in our main result.
翻訳日:2021-12-29 06:51:35 公開日:2021-12-25
# (参考訳) 解釈モデル学習のための教育則抽出

Pedagogical Rule Extraction for Learning Interpretable Models ( http://arxiv.org/abs/2112.13285v1 )

ライセンス: CC BY-SA 4.0
Vadim Arzamasov, Benjamin Jochum, Klemens B\"ohm(参考訳) 機械学習モデルはユビキタスです。 いくつかの領域、例えば医学では、モデルの予測は解釈されなければならない。 決定木、分類規則、サブグループ発見は、解釈可能なルールの形で知識を示す教師付き機械学習モデルの3つの幅広いカテゴリである。 小さなデータセットから学んだこれらのモデルの精度は通常低い。 大きなデータセットを得ることは、しばしば不可能ではない。 我々は,小データからよりよいルールを学ぶためのprelimというフレームワークを提案する。 統計モデルを使用してデータを拡張し、ルールベースのモデルを学ぶ。 実験の結果,PreLIMの構成は最先端よりも優れていた。

Machine-learning models are ubiquitous. In some domains, for instance, in medicine, the models' predictions must be interpretable. Decision trees, classification rules, and subgroup discovery are three broad categories of supervised machine-learning models presenting knowledge in the form of interpretable rules. The accuracy of these models learned from small datasets is usually low. Obtaining larger datasets is often hard to impossible. We propose a framework dubbed PRELIM to learn better rules from small data. It augments data using statistical models and employs it to learn a rulebased model. In our extensive experiments, we identified PRELIM configurations that outperform state-of-the-art.
翻訳日:2021-12-29 06:12:33 公開日:2021-12-25
# (参考訳) バイナリ分類システムの精度における有病率閾値と限界

Prevalence Threshold and bounds in the Accuracy of Binary Classification Systems ( http://arxiv.org/abs/2112.13289v1 )

ライセンス: CC BY 4.0
Jacques Balayla(参考訳) 二分分類システムの精度は、分類モデルまたは計算アルゴリズムによって作られた正と負の両方の正しい予測の比率として定義される。 0(精度なし)と1(完全精度)の間の値、分類モデルの精度は、特に、分類規則やアルゴリズム、分類に用いるツールの固有特性、分類される要素の相対周波数など、いくつかの要因に依存する。 いくつかの精度指標が存在し、それぞれが異なる分類シナリオにおいて独自の利点がある。 本書では,精度曲線における最大曲率臨界点である正の精度閾値(\phi_e$)に対して,F{_{\beta}}$スコアが 1 と 1.8/1.5/1.2 for $\beta$値が 0.5/1.0/2.0,F_1$スコアが 1 と 1.5,Fowlkes-Mallows Index (FM) が 1 と $\sqrt{2} \approx 1.414$,それぞれ有界であることを示す。 同様に、$\phi_n$$>$$\phi_e$のように、負の予測値-値曲線の最も鋭い曲率のレベルである、新しい$ negative$prevalence threshold(\phi_n$)を記述します。 これらの閾値の間の領域は、$\sqrt{2}/2$と$\sqrt{2}$の間のマシューズ相関係数(MCC)の境界である。 逆に、有病率閾値以下の任意の点($\phi_e$)に対する最大可能な精度の比率は、有病率を下げて無限大になる。 応用は多いが、ここで議論されている考え方は、計算複雑性理論、人工知能、医療スクリーニングなどで用いられる。 計算時間が制限資源である場合、二項分類システムにおける有病率しきい値を達成することは、最大有病率で同等の精度を得るのに十分である。

The accuracy of binary classification systems is defined as the proportion of correct predictions - both positive and negative - made by a classification model or computational algorithm. A value between 0 (no accuracy) and 1 (perfect accuracy), the accuracy of a classification model is dependent on several factors, notably: the classification rule or algorithm used, the intrinsic characteristics of the tool used to do the classification, and the relative frequency of the elements being classified. Several accuracy metrics exist, each with its own advantages in different classification scenarios. In this manuscript, we show that relative to a perfect accuracy of 1, the positive prevalence threshold ($\phi_e$), a critical point of maximum curvature in the precision-prevalence curve, bounds the $F{_{\beta}}$ score between 1 and 1.8/1.5/1.2 for $\beta$ values of 0.5/1.0/2.0, respectively; the $F_1$ score between 1 and 1.5, and the Fowlkes-Mallows Index (FM) between 1 and $\sqrt{2} \approx 1.414$. We likewise describe a novel $negative$ prevalence threshold ($\phi_n$), the level of sharpest curvature for the negative predictive value-prevalence curve, such that $\phi_n$ $>$ $\phi_e$. The area between both these thresholds bounds the Matthews Correlation Coefficient (MCC) between $\sqrt{2}/2$ and $\sqrt{2}$. Conversely, the ratio of the maximum possible accuracy to that at any point below the prevalence threshold, $\phi_e$, goes to infinity with decreasing prevalence. Though applications are numerous, the ideas herein discussed may be used in computational complexity theory, artificial intelligence, and medical screening, amongst others. Where computational time is a limiting resource, attaining the prevalence threshold in binary classification systems may be sufficient to yield levels of accuracy comparable to that under maximum prevalence.
翻訳日:2021-12-29 05:54:41 公開日:2021-12-25
# DSRGAN: 生成的対向ネットワークによる知覚的単一画像超解像

DSRGAN: Detail Prior-Assisted Perceptual Single Image Super-Resolution via Generative Adversarial Networks ( http://arxiv.org/abs/2112.13191v1 )

ライセンス: Link先を確認
Ziyang Liu, Zhengguo Li, Xingming Wu, Zhong Liu, and Weihai Chen(参考訳) GAN(Generative Adversarial Network)は、知覚単一画像超解像(SISR)の研究に成功している。 しかし、GANはしばしば、実際のものと矛盾しない高周波の詳細の画像を生成する傾向にある。 従来の詳細強化アルゴリズムにヒントを得て,この問題を緩和し,より現実的な詳細を復元する上で,GANを支援する新しい事前知識,詳細を提示する。 提案手法はDSRGANと呼ばれ,画像から最も重要な高周波情報を抽出する詳細抽出アルゴリズムを含む。 次に、画像領域および細部領域復元の監督に2つの判別器を利用する。 DSRGANは、復元された詳細を詳細拡張方法で最終的な出力にマージする。 DSRGANの特殊設計は、モデルに基づく従来のアルゴリズムとデータ駆動ディープラーニングネットワークの両方の利点を生かしている。 実験の結果,DSRGANは知覚的指標において最先端のSISR法よりも優れており,忠実度指標の点で同等の結果が得られた。 dsrganに続いて、他の従来の画像処理アルゴリズムをディープラーニングネットワークに組み込むことで、モデルベースのdeep sisrを形成することができる。

The generative adversarial network (GAN) is successfully applied to study the perceptual single image superresolution (SISR). However, the GAN often tends to generate images with high frequency details being inconsistent with the real ones. Inspired by conventional detail enhancement algorithms, we propose a novel prior knowledge, the detail prior, to assist the GAN in alleviating this problem and restoring more realistic details. The proposed method, named DSRGAN, includes a well designed detail extraction algorithm to capture the most important high frequency information from images. Then, two discriminators are utilized for supervision on image-domain and detail-domain restorations, respectively. The DSRGAN merges the restored detail into the final output via a detail enhancement manner. The special design of DSRGAN takes advantages from both the model-based conventional algorithm and the data-driven deep learning network. Experimental results demonstrate that the DSRGAN outperforms the state-of-the-art SISR methods on perceptual metrics and achieves comparable results in terms of fidelity metrics simultaneously. Following the DSRGAN, it is feasible to incorporate other conventional image processing algorithms into a deep learning network to form a model-based deep SISR.
翻訳日:2021-12-28 17:42:22 公開日:2021-12-25
# 学習した全方位画像圧縮のための擬似円錐形コンボリューション

Pseudocylindrical Convolutions for Learned Omnidirectional Image Compression ( http://arxiv.org/abs/2112.13227v1 )

ライセンス: Link先を確認
Mu Li, Kede Ma, Jinxing Li, and David Zhang(参考訳) 等角射影(ERP)は全方位画像(360度画像とも呼ばれる)を保存するのに便利な形式であるが、等距離でも等角でもないため、その後の視覚通信には適さない。 画像圧縮の文脈では、ERPは極付近のものをオーバーサンプリングし変形させ、知覚的に最適なビット割り当てを困難にする。 従来の360度画像圧縮では,領域パッキングやタイル表現などの技術を導入して過剰サンプリング問題を軽減し,限定的な成功を収めている。 本稿では,全方位画像圧縮のための深層ニューラルネットワークを学習する最初の試みの一つである。 まずパラメトリック擬似円筒表現を共通擬似円筒写像投影の一般化として記述する。 計算的に抽出可能なグリード法を提示し、その擬似円筒表現の(サブ)最適構成を、レート歪み性能の新たなプロキシ目的の観点から決定する。 次に,360度画像圧縮のための擬似円筒畳み込みを提案する。 パラメトリック表現の合理的な制約の下では、擬似円筒の畳み込みは、いわゆる擬似円筒パディングとの標準畳み込みによって効率的に実装することができる。 提案手法の実現可能性を示すため,学習した擬似円筒表現,解析変換,非一様量子化器,合成変換,エントロピーモデルからなるエンドツーエンドの360度画像圧縮システムを実装した。 全方位画像19,790ドルの実験結果から,本手法は,本手法よりも高いレートゆがみ性能が得られることがわかった。 さらに,全ビットレートの映像に対して,提案手法による視覚品質が大幅に向上した。

Although equirectangular projection (ERP) is a convenient form to store omnidirectional images (also known as 360-degree images), it is neither equal-area nor conformal, thus not friendly to subsequent visual communication. In the context of image compression, ERP will over-sample and deform things and stuff near the poles, making it difficult for perceptually optimal bit allocation. In conventional 360-degree image compression, techniques such as region-wise packing and tiled representation are introduced to alleviate the over-sampling problem, achieving limited success. In this paper, we make one of the first attempts to learn deep neural networks for omnidirectional image compression. We first describe parametric pseudocylindrical representation as a generalization of common pseudocylindrical map projections. A computationally tractable greedy method is presented to determine the (sub)-optimal configuration of the pseudocylindrical representation in terms of a novel proxy objective for rate-distortion performance. We then propose pseudocylindrical convolutions for 360-degree image compression. Under reasonable constraints on the parametric representation, the pseudocylindrical convolution can be efficiently implemented by standard convolution with the so-called pseudocylindrical padding. To demonstrate the feasibility of our idea, we implement an end-to-end 360-degree image compression system, consisting of the learned pseudocylindrical representation, an analysis transform, a non-uniform quantizer, a synthesis transform, and an entropy model. Experimental results on $19,790$ omnidirectional images show that our method achieves consistently better rate-distortion performance than the competing methods. Moreover, the visual quality by our method is significantly improved for all images at all bitrates.
翻訳日:2021-12-28 17:42:00 公開日:2021-12-25
# アクティブディレクトリスタイルアタックグラフの実用的固定パラメータアルゴリズム

Practical Fixed-Parameter Algorithms for Defending Active Directory Style Attack Graphs ( http://arxiv.org/abs/2112.13175v1 )

ライセンス: Link先を確認
Mingyu Guo, Jialiang Li, Aneta Neumann, Frank Neumann, Hung Nguyen(参考訳) Active DirectoryはWindowsドメインネットワークのデフォルトのセキュリティ管理システムである。 アクティブディレクトリスタイルの攻撃グラフを防御するための最短経路エッジ断続問題について検討する。 この問題は、1人のディフェンダーと1人のアタッカーの間のスタックルバーグゲームとして定式化されている。 攻撃グラフは、1つの宛先ノードと複数のエントリノードを含む。 攻撃者の入力ノードは自然に選択される。 ディフェンダーは、予算によって制限された一連のエッジをブロックすることを選ぶ。 攻撃者は最短の非ブロック攻撃経路を選択する。 ディフェンダーは攻撃者にとって期待される最短経路長を最大化することを目指している。 実用的なアクティブディレクトリアタックグラフは攻撃経路の長さが最大で、構造的には木に近い。 まず,最大攻撃経路長が一定であっても,ディフェンダーの予算に関して,問題は依然として$w[1]$-hardであることを示す。 攻撃経路の最大長と予算が小さいため、固定パラメータアルゴリズムを設計するには不十分である。 さらに、エントリノードの数が小さいと仮定すると、固定パラメータ抽出可能なアルゴリズムが導出される。 次に、木のような特徴を活用し、他の2つの固定パラメータアルゴリズムを提案する。 1つは木の分解に基づいており、木幅が小さい。 もう一方は、少数の分割ノード(複数の外部エッジを持つノード)を仮定する。 最後に、最後のアルゴリズムは、より分割されたノードを持つ大きなグラフにスケールする、グラフ畳み込みニューラルネットワークに基づくヒューリスティックに変換される。

Active Directory is the default security management system for Windows domain networks. We study the shortest path edge interdiction problem for defending Active Directory style attack graphs. The problem is formulated as a Stackelberg game between one defender and one attacker. The attack graph contains one destination node and multiple entry nodes. The attacker's entry node is chosen by nature. The defender chooses to block a set of edges limited by his budget. The attacker then picks the shortest unblocked attack path. The defender aims to maximize the expected shortest path length for the attacker, where the expectation is taken over entry nodes. We observe that practical Active Directory attack graphs have small maximum attack path lengths and are structurally close to trees. We first show that even if the maximum attack path length is a constant, the problem is still $W[1]$-hard with respect to the defender's budget. Having a small maximum attack path length and a small budget is not enough to design fixed-parameter algorithms. If we further assume that the number of entry nodes is small, then we derive a fixed-parameter tractable algorithm. We then propose two other fixed-parameter algorithms by exploiting the tree-like features. One is based on tree decomposition and requires a small tree width. The other assumes a small number of splitting nodes (nodes with multiple out-going edges). Finally, the last algorithm is converted into a graph convolutional neural network based heuristic, which scales to larger graphs with more splitting nodes.
翻訳日:2021-12-28 17:38:18 公開日:2021-12-25
# Edge Robotics:エッジコンピューティングによるマルチロボットの同時ローカライゼーションとマッピング

Edge Robotics: Edge-Computing-Accelerated Multi-Robot Simultaneous Localization and Mapping ( http://arxiv.org/abs/2112.13222v1 )

ライセンス: Link先を確認
Peng Huang and Liekang Zeng and Xu Chen and Ke Luo and Zhi Zhou and Shuai Yu(参考訳) 多岐にわたる分野におけるスマートロボットの普及に伴い、ロボティクスにおける同時ローカライゼーション・マッピング(slam)技術がコミュニティの注目を集めている。 しかし、SLAMの集約的なグラフィックス計算とロボットの限られた計算能力との間にパフォーマンス上の矛盾があるため、複数のロボット上でSLAMを共同作業することは依然として困難である。 従来のソリューションは、外部の計算プロバイダとして機能する強力なクラウドサーバを頼りにしていますが、実際の測定では、データオフロードにおける通信オーバーヘッドが実際のデプロイメントの実践性を妨げることが示されています。 これらの課題に対処するため,本論文では,新興エッジコンピューティングパラダイムをマルチロボットSLAMに拡張し,ロボットエッジクラウドアーキテクチャ下でのマップ構築プロセスの高速化に焦点を当てたマルチロボットレーザSLAMシステムであるRecSLAMを提案する。 従来のマルチロボットslamとは対照的に、reslamは、ロボットの生データをエッジサーバにリアルタイム融合のために誘導し、次にグローバルマージのためにクラウドに送信する階層的地図融合技術を開発した。 パイプライン全体を最適化するために、効率的なマルチロボットSLAM協調処理フレームワークを導入し、異種エッジリソース条件に適したロボット間オフロードを適応的に最適化し、エッジサーバ間のワークロードバランスを確保する。 大規模な評価では、RecSLAMは最先端よりも39%の処理遅延を削減できる。 さらに、概念実証プロトタイプが開発され、実際のシーンにデプロイされ、その効果を示す。

With the wide penetration of smart robots in multifarious fields, Simultaneous Localization and Mapping (SLAM) technique in robotics has attracted growing attention in the community. Yet collaborating SLAM over multiple robots still remains challenging due to performance contradiction between the intensive graphics computation of SLAM and the limited computing capability of robots. While traditional solutions resort to the powerful cloud servers acting as an external computation provider, we show by real-world measurements that the significant communication overhead in data offloading prevents its practicability to real deployment. To tackle these challenges, this paper promotes the emerging edge computing paradigm into multi-robot SLAM and proposes RecSLAM, a multi-robot laser SLAM system that focuses on accelerating map construction process under the robot-edge-cloud architecture. In contrast to conventional multi-robot SLAM that generates graphic maps on robots and completely merges them on the cloud, RecSLAM develops a hierarchical map fusion technique that directs robots' raw data to edge servers for real-time fusion and then sends to the cloud for global merging. To optimize the overall pipeline, an efficient multi-robot SLAM collaborative processing framework is introduced to adaptively optimize robot-to-edge offloading tailored to heterogeneous edge resource conditions, meanwhile ensuring the workload balancing among the edge servers. Extensive evaluations show RecSLAM can achieve up to 39% processing latency reduction over the state-of-the-art. Besides, a proof-of-concept prototype is developed and deployed in real scenes to demonstrate its effectiveness.
翻訳日:2021-12-28 17:37:59 公開日:2021-12-25
# AI-Bind:新しいタンパク質ターゲットとリガンドの結合予測を改善する

AI-Bind: Improving Binding Predictions for Novel Protein Targets and Ligands ( http://arxiv.org/abs/2112.13168v1 )

ライセンス: Link先を確認
Ayan Chatterjee, Omair Shafi Ahmed, Robin Walters, Zohair Shafi, Deisy Gysi, Rose Yu, Tina Eliassi-Rad, Albert-L\'aszl\'o Barab\'asi and Giulia Menichetti(参考訳) 新規な薬物標的相互作用(DTI)の同定は、薬物発見における臨界かつ速度制限のステップである。 同定過程を加速する深層学習モデルが提案されているが、最先端のモデルでは新しい構造(つまり、それまで見たことのない構造)に一般化できないことを示す。 この欠点の原因となるメカニズムを最初に明らかにし、ノードの特徴を学習するのではなく、タンパク質リガンド二部体ネットワークのトポロジを利用するショートカットにモデルがどのように依存しているかを示した。 次に,ネットワークベースのサンプリング戦略と教師なし事前学習を組み合わせたパイプラインであるai-bindを導入し,アノテーションの不均衡を制限し,新規タンパク質とリガンドの結合予測を改善する。 我々は,SARS-CoV-2ウイルスタンパク質と関連するヒトタンパク質に結合した薬剤や天然化合物を予測し,AI-Bindの価値を説明する。 また,これらの予測を自動ドッキングシミュレーションを用いて検証し,最近の実験結果と比較した。 AI-Bindは、ドラッグとターゲットの組み合わせを識別するための強力なハイスループットのアプローチを提供する。

Identifying novel drug-target interactions (DTI) is a critical and rate limiting step in drug discovery. While deep learning models have been proposed to accelerate the identification process, we show that state-of-the-art models fail to generalize to novel (i.e., never-before-seen) structures. We first unveil the mechanisms responsible for this shortcoming, demonstrating how models rely on shortcuts that leverage the topology of the protein-ligand bipartite network, rather than learning the node features. Then, we introduce AI-Bind, a pipeline that combines network-based sampling strategies with unsupervised pre-training, allowing us to limit the annotation imbalance and improve binding predictions for novel proteins and ligands. We illustrate the value of AI-Bind by predicting drugs and natural compounds with binding affinity to SARS-CoV-2 viral proteins and the associated human proteins. We also validate these predictions via auto-docking simulations and comparison with recent experimental evidence. Overall, AI-Bind offers a powerful high-throughput approach to identify drug-target combinations, with the potential of becoming a powerful tool in drug discovery.
翻訳日:2021-12-28 17:34:02 公開日:2021-12-25
# N-Omniglot:時空間スパースファウショット学習のための大規模データセット

N-Omniglot: a Large-scale Dataset for Spatio-Temporal Sparse Few-shot Learning ( http://arxiv.org/abs/2112.13230v1 )

ライセンス: Link先を確認
Yang Li, Yiting Dong, Dongcheng Zhao, Yi Zeng(参考訳) ごくわずかの学習(サンプルの学習)は人間の脳の最も重要な能力の1つである。 しかし、現在の人工知能システムは、生物学的に妥当なスパイクニューラルネットワーク(SNN)のように、この能力を達成するのに難しい。 伝統的な数ショットの学習領域のデータセットは、時間的情報が少ない。 そして、ニューロモルフィックデータセットがないことは、SNNのための数発の学習を妨げている。 ここでは、dynamic vision sensor (dvs) を用いた最初のニューロモルフィックデータセット n-omniglot を提供する。 手書き文字のカテゴリは1623種類あり、クラスごとにサンプルは20種類しかない。 N-Omniglotは、高い予備性と極めて時間的コヒーレンスを持つSNNのためのニューロモルフィックデータセットの必要性を排除する。 さらに、このデータセットは、ストロークの時系列情報のために、数ショットの学習領域でSNNアルゴリズムを開発するための強力なチャレンジと適切なベンチマークを提供する。 またspykingバージョンでは,改良された近距離,畳み込みネットワーク,siamesenet,メタラーニングアルゴリズムも提供する。

Few-shot learning (learning with a few samples) is one of the most important capacities of the human brain. However, the current artificial intelligence systems meet difficulties in achieving this ability, so as the biologically plausible spiking neural networks (SNNs). Datasets for traditional few-shot learning domains provide few amounts of temporal information. And the absence of the neuromorphic datasets has hindered the development of few-shot learning for SNNs. Here, we provide the first neuromorphic dataset: N-Omniglot, using the Dynamic Vision Sensor (DVS). It contains 1623 categories of handwritten characters, with only 20 samples per class. N-Omniglot eliminates the need for a neuromorphic dataset for SNNs with high spareness and tremendous temporal coherence. Additionally, the dataset provides a powerful challenge and a suitable benchmark for developing SNNs algorithm in the few-shot learning domain due to the chronological information of strokes. We also provide the improved nearest neighbor, convolutional network, SiameseNet, and meta-learning algorithm in spiking version for verification.
翻訳日:2021-12-28 17:33:43 公開日:2021-12-25
# network-aware 5g edge computing for object detection: ウェアラブルを"より多く、より遠く、より速く"見るように拡張する

Network-Aware 5G Edge Computing for Object Detection: Augmenting Wearables to "See'' More, Farther and Faster ( http://arxiv.org/abs/2112.13194v1 )

ライセンス: Link先を確認
Zhongzheng Yuan, Tommy Azzino, Yu Hao, Yixuan Lyu, Haoyang Pei, Alain Boldini, Marco Mezzavilla, Mahya Beheshti, Maurizio Porfiri, Todd Hudson, William Seiple, Yi Fang, Sundeep Rangan, Yao Wang, J.R. Rizzo(参考訳) 高度なウェアラブルデバイスは、高解像度のマルチカメラシステムを取り込んでいる。 画像データを処理するための最先端のニューラルネットワークが計算上要求されているため、この処理をクラウドにオフロードするために第5世代(5g)ワイヤレス接続とモバイルエッジコンピューティングを活用することへの関心が高まっている。 そこで本稿では,視覚障害者(bvi)のための,パワフルで新しいスマートウェアラブルであるvis4ionを用いて,物体検出のための5g無線オフロードの詳細なシミュレーションと評価を行う。 現行のVIS4IONシステムは、高解像度カメラ、視覚処理、触覚とオーディオのフィードバックを備えた電子ブックバッグである。 本稿では,カメラデータをモバイルエッジクラウドにアップロードして,リアルタイムなオブジェクト検出と検出結果をウェアラブルに送信することを検討する。 ビデオの要件を決定するために,ビデオビットレートと解像度が物体検出精度と範囲に与える影響を評価する。 BVIナビゲーションに関連するラベル付きオブジェクトを持つ新たなストリートシーンデータセットを解析に活用する。 このビジョン評価は、詳細なフルスタック無線ネットワークシミュレーションと組み合わせて、都市環境における新しい高解像度3dモデルからの実際のナビゲーションパスとレイトレーシングによるスループットと遅延の分布を決定する。 比較のために、無線シミュレーションは標準の4G-Long Term Evolution(LTE)キャリアと高レートの5Gミリ波キャリア(mmWave)キャリアの両方を考慮する。 この作業は、高い帯域幅と低レイテンシの要件を持つアプリケーションにおいて、mmWave接続によるエッジコンピューティングの徹底的で現実的な評価を提供する。

Advanced wearable devices are increasingly incorporating high-resolution multi-camera systems. As state-of-the-art neural networks for processing the resulting image data are computationally demanding, there has been growing interest in leveraging fifth generation (5G) wireless connectivity and mobile edge computing for offloading this processing to the cloud. To assess this possibility, this paper presents a detailed simulation and evaluation of 5G wireless offloading for object detection within a powerful, new smart wearable called VIS4ION, for the Blind-and-Visually Impaired (BVI). The current VIS4ION system is an instrumented book-bag with high-resolution cameras, vision processing and haptic and audio feedback. The paper considers uploading the camera data to a mobile edge cloud to perform real-time object detection and transmitting the detection results back to the wearable. To determine the video requirements, the paper evaluates the impact of video bit rate and resolution on object detection accuracy and range. A new street scene dataset with labeled objects relevant to BVI navigation is leveraged for analysis. The vision evaluation is combined with a detailed full-stack wireless network simulation to determine the distribution of throughputs and delays with real navigation paths and ray-tracing from new high-resolution 3D models in an urban environment. For comparison, the wireless simulation considers both a standard 4G-Long Term Evolution (LTE) carrier and high-rate 5G millimeter-wave (mmWave) carrier. The work thus provides a thorough and realistic assessment of edge computing with mmWave connectivity in an application with both high bandwidth and low latency requirements.
翻訳日:2021-12-28 17:30:03 公開日:2021-12-25
# 線形補体系の学習

Learning Linear Complementarity Systems ( http://arxiv.org/abs/2112.13284v1 )

ライセンス: Link先を確認
Wanxin Jin, Alp Aydinoglu, Mathew Halm, Michael Posa(参考訳) 本稿では,線形相補性システム (LCS) と呼ばれる,一括結合型力学系の学習,あるいはシステム同定について検討する。 本稿では,グラデーションに基づく手法を用いて,ハイブリッドモード境界の事前知識を必要とせずに,lcsパラメータ化の効率的な学習を可能にする違反ベース損失を提案する。 提案する違反に基づく損失は、ダイナミクス予測損失と新しい相補性違反損失の両方を組み込んでいる。 この損失定式化によって達成されたいくつかの性質は、その微分可能性、一階および二階導関数の効率的な計算、そして相補性を厳密に強制する従来の予測損失との関係などである。 我々は、この違反に基づく損失定式化を適用し、何万もの(潜在的に硬い)ハイブリッドモードでLCSを学習する。 この結果から,非滑らかな線形相補性問題から差別化を図り,より優れた評価方法が得られた。

This paper investigates the learning, or system identification, of a class of piecewise-affine dynamical systems known as linear complementarity systems (LCSs). We propose a violation-based loss which enables efficient learning of the LCS parameterization, without prior knowledge of the hybrid mode boundaries, using gradient-based methods. The proposed violation-based loss incorporates both dynamics prediction loss and a novel complementarity - violation loss. We show several properties attained by this loss formulation, including its differentiability, the efficient computation of first- and second-order derivatives, and its relationship to the traditional prediction loss, which strictly enforces complementarity. We apply this violation-based loss formulation to learn LCSs with tens of thousands of (potentially stiff) hybrid modes. The results demonstrate a state-of-the-art ability to identify piecewise-affine dynamics, outperforming methods which must differentiate through non-smooth linear complementarity problems.
翻訳日:2021-12-28 17:26:10 公開日:2021-12-25
# DBC-Forest: 双発信頼性スクリーニングによる深い森

DBC-Forest: Deep forest with binning confidence screening ( http://arxiv.org/abs/2112.13182v1 )

ライセンス: Link先を確認
Pengfei Ma, Youxi Wu, Yan Li, Lei Guo, Zhao Li(参考訳) 深層学習モデルとして、深い信頼度スクリーニング林(gcForestcs)は様々なアプリケーションで大きな成功を収めている。 従来のディープフォレストアプローチと比較して、gcforestcsは、高信頼領域のインスタンスを最終段階に直接渡すことで、高コストを効果的に削減する。 しかし,高信頼領域では,誤分割インスタンスと呼ばれる,精度の低いインスタンス群が存在する。 そこで本論文では,すべてのインスタンスを信頼度に基づいてビンにまとめる,DBC-Forest(Deep binning confidence screening forest)モデルを提案する。 このようにして、より正確なインスタンスを最終ステージに渡すことができ、パフォーマンスが向上する。 実験の結果,DBC-Forestは同一のハイパーパラメータの高精度な予測が可能であり,他の類似モデルよりも高速であることがわかった。

As a deep learning model, deep confidence screening forest (gcForestcs) has achieved great success in various applications. Compared with the traditional deep forest approach, gcForestcs effectively reduces the high time cost by passing some instances in the high-confidence region directly to the final stage. However, there is a group of instances with low accuracy in the high-confidence region, which are called mis-partitioned instances. To find these mis-partitioned instances, this paper proposes a deep binning confidence screening forest (DBC-Forest) model, which packs all instances into bins based on their confidences. In this way, more accurate instances can be passed to the final stage, and the performance is improved. Experimental results show that DBC-Forest achieves highly accurate predictions for the same hyperparameters and is faster than other similar models to achieve the same accuracy.
翻訳日:2021-12-28 16:29:24 公開日:2021-12-25
# ニューラルネットワークモジュールの分解と再分解

Neural Network Module Decomposition and Recomposition ( http://arxiv.org/abs/2112.13208v1 )

ライセンス: Link先を確認
Hiroaki Kingetsu, Kenichi Kobayashi, Taiji Suzuki(参考訳) 本稿では,DNN(Deep Neural Network)を機能の観点から小さなモジュールに分解し,他のタスクのために新しいモデルに再構成するモジュール化手法を提案する。 分解されたモジュールは、小さなサイズのため、解釈可能性と検証可能性の利点が期待できる。 移動学習モデルのような再学習を伴う再利用モデルに基づく既存研究とは対照的に,提案手法は再訓練を必要としないため,既存の機能モジュールと容易に組み合わせることができる。 提案手法は重みマスクを用いてモジュールを抽出し,任意のDNNに適用できる。 既存の研究とは異なり、ネットワークアーキテクチャに関する仮定は必要ない。 モジュールを抽出するために,モジュール間の共有重みを最大化する学習法と損失関数を設計した。 その結果,抽出したモジュールはサイズが大きく増大することなく再分解できることがわかった。 提案手法は,高い圧縮率と高い精度でdnnを分解・再構成でき,モジュール間の重みの共有により既存の手法よりも優れていることを示す。

We propose a modularization method that decomposes a deep neural network (DNN) into small modules from a functionality perspective and recomposes them into a new model for some other task. Decomposed modules are expected to have the advantages of interpretability and verifiability due to their small size. In contrast to existing studies based on reusing models that involve retraining, such as a transfer learning model, the proposed method does not require retraining and has wide applicability as it can be easily combined with existing functional modules. The proposed method extracts modules using weight masks and can be applied to arbitrary DNNs. Unlike existing studies, it requires no assumption about the network architecture. To extract modules, we designed a learning method and a loss function to maximize shared weights among modules. As a result, the extracted modules can be recomposed without a large increase in the size. We demonstrate that the proposed method can decompose and recompose DNNs with high compression ratio and high accuracy and is superior to the existing method through sharing weights between modules.
翻訳日:2021-12-28 16:29:07 公開日:2021-12-25
# PerCQA: ペルシャのコミュニティ質問がデータセットに回答

PerCQA: Persian Community Question Answering Dataset ( http://arxiv.org/abs/2112.13238v1 )

ライセンス: Link先を確認
Naghme Jamali, Yadollah Yaghoobzadeh, Hesham Faili(参考訳) コミュニティ質問回答 (Community Question Answering, CQA) は、現実の質問に対する回答を提供するフォーラムである。 大規模なため、これらのフォーラムは機械学習研究者の間で非常に人気がある。 自動回答選択、回答ランキング、質問検索、エキスパート検索、ファクトチェックは、CQAデータを用いて実行されるサンプル学習タスクである。 本稿では,CQAの最初のペルシア語データセットであるPerCQAを紹介する。 このデータセットには、最も有名なペルシアのフォーラムからクロールされた質問と回答が含まれている。 データ取得後、厳密なガイドラインを反復的なプロセスで提供し、SemEvalCQA形式の質問応答ペアのアノテーションを提供する。 PerCQAには989の質問と21,915の注釈付き回答が含まれている。 ペルシアのCQAの研究を促進するために、PerCQAを公開しています。 また,単言語および多言語事前学習言語モデルを用いて,PerCQAにおける回答選択作業のための強力なベンチマークを構築した。

Community Question Answering (CQA) forums provide answers for many real-life questions. Thanks to the large size, these forums are very popular among machine learning researchers. Automatic answer selection, answer ranking, question retrieval, expert finding, and fact-checking are example learning tasks performed using CQA data. In this paper, we present PerCQA, the first Persian dataset for CQA. This dataset contains the questions and answers crawled from the most well-known Persian forum. After data acquisition, we provide rigorous annotation guidelines in an iterative process, and then the annotation of question-answer pairs in SemEvalCQA format. PerCQA contains 989 questions and 21,915 annotated answers. We make PerCQA publicly available to encourage more research in Persian CQA. We also build strong benchmarks for the task of answer selection in PerCQA by using mono- and multi-lingual pre-trained language models
翻訳日:2021-12-28 16:10:43 公開日:2021-12-25
# スタンス定量化:問題の定義

Stance Quantification: Definition of the Problem ( http://arxiv.org/abs/2112.13288v1 )

ライセンス: Link先を確認
Dilek K\"u\c{c}\"uk(参考訳) スタンス検出は、テキスト生成者の位置を目標に向けて自動決定するプロセスとして一般的に定義される。 本稿では,スタンス検出,すなわちスタンス定量化に関連する研究問題を初めて定義する。 本研究では,(1)自然言語テキスト項目の集合と(2)ターゲットを含むペアのスタンス定量化を定義する。 姿勢定量化工程の終了時に、入力対の目標に対してそれぞれ好ましくないものとして分類されたテキスト項目数の割合からなるトリプルを得る。 また, 本論文では, 姿勢定量化問題, すなわち多目的姿勢定量化の重要部分問題として定義されている。 我々は,多くのアプリケーション設定において,集団レベルでのスタンス定量化は実りある結果をもたらすと信じており,また,プライバシに関する懸念が研究者が汎用的なスタンス検出を適用するのを妨げている環境では,スタンス定量化が唯一のスタンス関連分析方法であると考えている。

Stance detection is commonly defined as the automatic process of determining the positions of text producers, towards a target. In this paper, we define a research problem closely related to stance detection, namely, stance quantification, for the first time. We define stance quantification on a pair including (1) a set of natural language text items and (2) a target. At the end of the stance quantification process, a triple is obtained which consists of the percentages of the number of text items classified as Favor, Against, Neither, respectively, towards the target in the input pair. Also defined in the current paper is a significant subproblem of the stance quantification problem, namely, multi-target stance quantification. We believe that stance quantification at the aggregate level can lead to fruitful results in many application settings, and furthermore, stance quantification might be the sole stance related analysis alternative in settings where privacy concerns prevent researchers from applying generic stance detection.
翻訳日:2021-12-28 16:08:45 公開日:2021-12-25
# 薬理ビジランスのための説明可能な人工知能:副次的なアウトカムを予測する上で重要な特徴は何か?

Explainable Artificial Intelligence for Pharmacovigilance: What Features Are Important When Predicting Adverse Outcomes? ( http://arxiv.org/abs/2112.13210v1 )

ライセンス: Link先を確認
Isaac Ronald Ward, Ling Wang, Juan lu, Mohammed Bennamoun, Girish Dwivedi, Frank M Sanfilippo(参考訳) 説明可能な人工知能(xai)は、機械学習(ml)モデルを用いた予測を行う際に特徴の重要性を決定するための有効な方法として認識されている。 本研究では、個人の健康情報(例えば、その薬物の歴史や共生性)を入力として取り込んだモデルを作成し、急性冠症候群(ACS)の予後を予測した。 XAIを用いて、特定の薬物がこれらのACS予測に与えた貢献を定量化し、ACSが検出する有害な結果の例として、薬物移動監視のためのXAIベースのテクニックを作成した。 1993年から2009年の間、65歳以上の患者がM群(解剖学的治療薬M群)または心血管系(ATCクラスC群)の薬物を投与し、その薬歴、共同性、その他の重要な特徴をオーストラリア西部のデータセットから抽出した。 複数のMLモデルは、これらの個人がACSに関連する副作用(すなわち、ALSの退院診断を伴う死亡または入院)を予測するために訓練され、MLとXAIの様々な手法が、これらの予測にどの特徴(具体的にどの薬物が原因であるか)を計算するために使用された。 その結果、ロフェコキシブとセロコキシブの薬物放出特性は、ACS関連副作用予測(平均)に0以上の寄与があることが判明し、ACS関連副作用予測は72%の精度で予測できることが判明した。 さらに,XAI ライブラリ LIME と SHAP は重要な特徴と重要でない特徴の両方を同定し,SHAP は LIME をわずかに上回った。 XAIアルゴリズムと連動した管理健康データセットに基づいてトレーニングされたMLモデルは、機能の重要性の定量化に成功し、さらなる発展に伴い、薬物移動監視技術として使われる可能性がある。

Explainable Artificial Intelligence (XAI) has been identified as a viable method for determining the importance of features when making predictions using Machine Learning (ML) models. In this study, we created models that take an individual's health information (e.g. their drug history and comorbidities) as inputs, and predict the probability that the individual will have an Acute Coronary Syndrome (ACS) adverse outcome. Using XAI, we quantified the contribution that specific drugs had on these ACS predictions, thus creating an XAI-based technique for pharmacovigilance monitoring, using ACS as an example of the adverse outcome to detect. Individuals aged over 65 who were supplied Musculo-skeletal system (anatomical therapeutic chemical (ATC) class M) or Cardiovascular system (ATC class C) drugs between 1993 and 2009 were identified, and their drug histories, comorbidities, and other key features were extracted from linked Western Australian datasets. Multiple ML models were trained to predict if these individuals would have an ACS related adverse outcome (i.e., death or hospitalisation with a discharge diagnosis of ACS), and a variety of ML and XAI techniques were used to calculate which features -- specifically which drugs -- led to these predictions. The drug dispensing features for rofecoxib and celecoxib were found to have a greater than zero contribution to ACS related adverse outcome predictions (on average), and it was found that ACS related adverse outcomes can be predicted with 72% accuracy. Furthermore, the XAI libraries LIME and SHAP were found to successfully identify both important and unimportant features, with SHAP slightly outperforming LIME. ML models trained on linked administrative health datasets in tandem with XAI algorithms can successfully quantify feature importance, and with further development, could potentially be used as pharmacovigilance monitoring techniques.
翻訳日:2021-12-28 15:12:34 公開日:2021-12-25
# ニューロフェア:バイアスドニューロン同定によるホワイトボックスフェアネステスト

NeuronFair: Interpretable White-Box Fairness Testing through Biased Neuron Identification ( http://arxiv.org/abs/2112.13214v1 )

ライセンス: Link先を確認
Haibin Zheng, Zhiqing Chen, Tianyu Du, Xuhong Zhang, Yao Cheng, Shouling Ji, Jingyi Wang, Yue Yu, and Jinyin Chen(参考訳) ディープニューラルネットワーク(DNN)は、様々な領域でその性能を実証している。 しかし、特に教育、融資、雇用などの貴重な資源配分を含むセンシティブなドメインに適用された場合、DNNが信頼性と公正な決定を下せるかどうかという社会的懸念が高まる。 DNNがそのようなセンシティブなドメインに確実にデプロイされる前に、フェアネステストを実施することが重要である。 しかし、既存のテストメソッドは、解釈可能性、パフォーマンス、一般化性という3つの側面から制限されている。 この課題を克服するために,我々は,(1)解釈可能 - バイアス決定に対するDNNの公正性違反を定量的に解釈する; (2)有効 - 解釈結果を用いて,より多様なインスタンスの生成を少ない時間でガイドする;(3)汎用 - 構造化データと非構造化データの両方を扱うことができる,といういくつかの重要な側面において,従来のDNNの公正性テストフレームワークであるNeuronFairを提案する。 7つのデータセットと対応するdnnの広範な評価は、neuronfairの優れたパフォーマンスを示している。 例えば、構造化データセットでは、より多くのインスタンス(~x5.84)を生成し、最先端の手法と比較して、より多くの時間(平均速度534.56%)を節約する。 さらに、NeuronFairのインスタンスを利用してバイアスのあるDNNの公平性を向上させることで、より公平で信頼性の高いディープラーニングシステムを構築することができる。

Deep neural networks (DNNs) have demonstrated their outperformance in various domains. However, it raises a social concern whether DNNs can produce reliable and fair decisions especially when they are applied to sensitive domains involving valuable resource allocation, such as education, loan, and employment. It is crucial to conduct fairness testing before DNNs are reliably deployed to such sensitive domains, i.e., generating as many instances as possible to uncover fairness violations. However, the existing testing methods are still limited from three aspects: interpretability, performance, and generalizability. To overcome the challenges, we propose NeuronFair, a new DNN fairness testing framework that differs from previous work in several key aspects: (1) interpretable - it quantitatively interprets DNNs' fairness violations for the biased decision; (2) effective - it uses the interpretation results to guide the generation of more diverse instances in less time; (3) generic - it can handle both structured and unstructured data. Extensive evaluations across 7 datasets and the corresponding DNNs demonstrate NeuronFair's superior performance. For instance, on structured datasets, it generates much more instances (~x5.84) and saves more time (with an average speedup of 534.56%) compared with the state-of-the-art methods. Besides, the instances of NeuronFair can also be leveraged to improve the fairness of the biased DNNs, which helps build more fair and trustworthy deep learning systems.
翻訳日:2021-12-28 14:42:22 公開日:2021-12-25
# スケーラブルベイズ推論のためのリアクティブメッセージパッシング

Reactive Message Passing for Scalable Bayesian Inference ( http://arxiv.org/abs/2112.13251v1 )

ライセンス: Link先を確認
Dmitry Bagaev and Bert de Vries(参考訳) 確率モデルの因子グラフ表現において、スケジュールのない、堅牢でスケーラブルなメッセージパッシングベースの推論を実行するためのフレームワークとして、リアクティブメッセージパッシング(RMP)を導入する。 RMPは、ファクタグラフのノードが接続ノードの変化にどのように反応するかを記述したリアクティブプログラミングスタイルに基づいている。 固定メッセージパッシングスケジュールがないと、推論手順の堅牢性、スケーラビリティ、実行時間が向上する。 また、制約されたBethe自由エネルギーの最小化によりRMPを実現するためのJuliaパッケージであるReactiveMP.jlを提案する。 局所形式のユーザ定義と変分後分布の因子化制約により、reactivemp.jlは信念伝播、変分メッセージ通過、期待伝播、期待最大化更新ルールを含むハイブリッドメッセージパッシングアルゴリズムを実行する。 ベイズ推定のための他のJuliaパッケージと比較して,ReactiveMPベースのRMPの性能が改善したことを示す実験結果が得られた。 特に、RMPフレームワークは、標準ラップトップコンピュータ上で数十万のランダム変数を持つ大規模確率的状態空間モデルに対してベイズ推定を実行可能であることを示す。

We introduce Reactive Message Passing (RMP) as a framework for executing schedule-free, robust and scalable message passing-based inference in a factor graph representation of a probabilistic model. RMP is based on the reactive programming style that only describes how nodes in a factor graph react to changes in connected nodes. The absence of a fixed message passing schedule improves robustness, scalability and execution time of the inference procedure. We also present ReactiveMP.jl, which is a Julia package for realizing RMP through minimization of a constrained Bethe free energy. By user-defined specification of local form and factorization constraints on the variational posterior distribution, ReactiveMP.jl executes hybrid message passing algorithms including belief propagation, variational message passing, expectation propagation, and expectation maximisation update rules. Experimental results demonstrate the improved performance of ReactiveMP-based RMP in comparison to other Julia packages for Bayesian inference across a range of probabilistic models. In particular, we show that the RMP framework is able to run Bayesian inference for large-scale probabilistic state space models with hundreds of thousands of random variables on a standard laptop computer.
翻訳日:2021-12-28 14:41:55 公開日:2021-12-25
# 共変量による動的価格設定について

On Dynamic Pricing with Covariates ( http://arxiv.org/abs/2112.13254v1 )

ライセンス: Link先を確認
Hanzhao Wang, Kalyan Talluri, Xiaocheng Li(参考訳) 一般線形需要モデルの下で共変量を用いた動的価格問題を考える: 売り手は商品の価格を時間的水平線上で動的に調整することができ、各時点の$t$は、その価格と観測可能な共変量ベクトル$x_t\in\mathbb{R}^d$によって、未知の一般化線形モデルにより、製品の需要を共同で決定する。 既存の文献の多くは、共変ベクトル $x_t$'s は独立かつ同一に分布していると仮定している(つまり、この仮定を緩和する数少ない論文は、モデル一般性を犠牲にするか、準最適後悔境界を与えるかのいずれかである)。 本稿では,covariates $x_t$(任意に選択することもできる)の統計構造を仮定することなく,簡単な価格設定アルゴリズムが$o(d\sqrt{t}\log t)$ regret upperboundを持つことを示す。 後悔の上限は(i.i.d.仮定の下でも)対数的要因による下限に一致する。 私たちの論文は (i)低い後悔を得るためには、i.d.仮定は不要であり、 (ii) 後悔境界は、前の境界に存在する$x_t$'sの共分散行列の(逆)最小固有値とは独立である。 さらに,よりよい後悔が達成できる条件と,トンプソンサンプリングアルゴリズムを適用して,効率的な価格計算を行う方法について検討する。

We consider the dynamic pricing problem with covariates under a generalized linear demand model: a seller can dynamically adjust the price of a product over a horizon of $T$ time periods, and at each time period $t$, the demand of the product is jointly determined by the price and an observable covariate vector $x_t\in\mathbb{R}^d$ through an unknown generalized linear model. Most of the existing literature assumes the covariate vectors $x_t$'s are independently and identically distributed (i.i.d.); the few papers that relax this assumption either sacrifice model generality or yield sub-optimal regret bounds. In this paper we show that a simple pricing algorithm has an $O(d\sqrt{T}\log T)$ regret upper bound without assuming any statistical structure on the covariates $x_t$ (which can even be arbitrarily chosen). The upper bound on the regret matches the lower bound (even under the i.i.d. assumption) up to logarithmic factors. Our paper thus shows that (i) the i.i.d. assumption is not necessary for obtaining low regret, and (ii) the regret bound can be independent of the (inverse) minimum eigenvalue of the covariance matrix of the $x_t$'s, a quantity present in previous bounds. Furthermore, we discuss a condition under which a better regret is achievable and how a Thompson sampling algorithm can be applied to give an efficient computation of the prices.
翻訳日:2021-12-28 14:38:58 公開日:2021-12-25
# 燃焼パンデミックにおける説明可能な人工知能手法:システムレビュー

Explainable Artificial Intelligence Methods in Combating Pandemics: A Systematic Review ( http://arxiv.org/abs/2112.12705v2 )

ライセンス: Link先を確認
Felipe Giuste, Wenqi Shi, Yuanda Zhu, Tarun Naren, Monica Isgut, Ying Sha, Li Tong, Mitali Gupte, and May D. Wang(参考訳) 新型コロナウイルス感染症(covid-19)に対する新しいai(人工知能)ベースのソリューションを実証する無数の査読論文があるが、臨床的な影響はほとんどない。 新型コロナウイルスのパンデミックにおける人工知能の影響は、モデルの透明性の欠如によって大幅に制限された。 この系統的なレビューでは、パンデミックにおける説明可能な人工知能(XAI)の使用と、実際の成功への障壁を克服する方法について検討する。 XAIを成功させることで、モデルの性能を改善し、エンドユーザに信頼を与え、ユーザの意思決定に影響を与えるのに必要な価値を提供する。 我々は,一般的なXAI技術,その実用性,アプリケーションの具体的な例について紹介する。 また,AIに基づく臨床意思決定支援システムの価値を最大化するための重要なステップとして,XAI結果の評価も議論されている。 我々は,新しいXAI技術の進化を解明するために,XAIの古典的,近代的,将来的な動向を説明する。 最後に、最近の出版物がサポートする実験的な設計プロセス中に提案のチェックリストを提供する。 aiソリューションの実装における一般的な課題は、潜在的なソリューションの具体例で対処される。 このレビューが、将来のAIベースのソリューションの臨床的影響を改善するためのガイドになることを期待している。

Despite the myriad peer-reviewed papers demonstrating novel Artificial Intelligence (AI)-based solutions to COVID-19 challenges during the pandemic, few have made significant clinical impact. The impact of artificial intelligence during the COVID-19 pandemic was greatly limited by lack of model transparency. This systematic review examines the use of Explainable Artificial Intelligence (XAI) during the pandemic and how its use could overcome barriers to real-world success. We find that successful use of XAI can improve model performance, instill trust in the end-user, and provide the value needed to affect user decision-making. We introduce the reader to common XAI techniques, their utility, and specific examples of their application. Evaluation of XAI results is also discussed as an important step to maximize the value of AI-based clinical decision support systems. We illustrate the classical, modern, and potential future trends of XAI to elucidate the evolution of novel XAI techniques. Finally, we provide a checklist of suggestions during the experimental design process supported by recent publications. Common challenges during the implementation of AI solutions are also addressed with specific examples of potential solutions. We hope this review may serve as a guide to improve the clinical impact of future AI-based solutions.
翻訳日:2021-12-28 12:16:59 公開日:2021-12-25