このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス（CC 0, CC BY, CC BY-SA）の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。（arxivのメタデータは CC 0です。） 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。
公開日が20201003となっている論文です。
| Title | Authors | Abstract | 論文公表日・翻訳日 |
|---|---|---|---|
| # 浅reluモデルにおける最小対称性の破れ原理について On the Principle of Least Symmetry Breaking in Shallow ReLU Models ( http://arxiv.org/abs/1912.11939v2 ) ライセンス: Link先を確認 | Yossi Arjevani, Michael Field | (参考訳) 本研究では,2層reluネットワークを対象ネットワークで生成するラベルを仮定した2層損失に対して適合させる最適化問題を考える。
まず, 標準ガウス入力に着目し, 確率勾配降下 (sgd) によって検出されるスプリアス局所極小の構造は, 十分に定義された意味では, 対象の重みに対して, \emph{least loss of symmetry} であることを示した。
この分析をよく見ると、この最小対称性の破れの原理がより広い範囲の設定に適用できることを示している。
そこで本研究では,非等方性非生成物分布の異なるクラス,滑らかな活性化関数,いくつかの層を有するネットワークについて,この仮説を裏付ける一連の実験を行った。 We consider the optimization problem associated with fitting two-layer ReLU networks with respect to the squared loss, where labels are assumed to be generated by a target network. Focusing first on standard Gaussian inputs, we show that the structure of spurious local minima detected by stochastic gradient descent (SGD) is, in a well-defined sense, the \emph{least loss of symmetry} with respect to the target weights. A closer look at the analysis indicates that this principle of least symmetry breaking may apply to a broader range of settings. Motivated by this, we conduct a series of experiments which corroborate this hypothesis for different classes of non-isotropic non-product distributions, smooth activation functions and networks with a few layers. | 翻訳日:2023-06-10 08:01:12 公開日:2020-10-03 |
| # 無限成分ベクトルスピンによって生成されるオープンディッケ型モデルについて On the open Dicke-type model generated by an infinite-component vector spin ( http://arxiv.org/abs/2003.02262v3 ) ライセンス: Link先を確認 | Ryota Kyokawa, Hajime Moriya, Hiroshi Tamura | (参考訳) 単一の無限成分ベクトルスピンと、それら間のJaynes-Cummings型相互作用によって接続される単一モード調和振動子からなる開ディックモデルを考える。
この開量子モデルは、OISD(Open Infinite-component Spin Dicke)モデルと呼ばれる。
OISDリウヴィリアンの代数構造は密度行列の空間に作用する超作用素によって研究される。
明示可逆超作用素(以前は完全正のトレース保存写像)が得られ、オアズド・リウビリアンを2つの独立したリウビリアンの和に変換し、一方は変装スピンのみで生成し、もう一方は変装調和振動子のみによって生成される。
オアズド・リウヴィリアンが生成する時間発展は、スピンと調和振動子の同期周波数で調整されたリウビリアンが生成する漸近的同値であることが示されている。
この漸近同値性は、OISDモデルの時間的進化がいかなる(小さな)散逸の存在下で完全に散逸することを意味する。 We consider an open Dicke model comprising a single infinite-component vector spin and a single-mode harmonic oscillator which are connected by Jaynes--Cummings-type interaction between them. This open quantum model is referred to as the OISD (Open Infinite-component Spin Dicke) model. The algebraic structure of the OISD Liouvillian is studied in terms of superoperators acting on the space of density matrices. An explicit invertible superoperator (precisely, a completely positive trace-preserving map) is obtained that transforms the OISD Liouvillian into a sum of two independent Liouvillians, one generated by a dressed spin only, the other generated by a dressed harmonic oscillator only. The time evolution generated by the OISD Liouvillian is shown to be asymptotically equivalent to that generated by an adjusted decoupled Liouvillian with some synchronized frequencies of the spin and the harmonic oscillator. This asymptotic equivalence implies that the time evolution of the OISD model dissipates completely in the presence of any (tiny) dissipation. | 翻訳日:2023-05-31 05:17:40 公開日:2020-10-03 |
| # qutrit と ququint のマジック状態 Qutrit and Ququint Magic States ( http://arxiv.org/abs/2003.07164v2 ) ライセンス: Link先を確認 | Akalank Jain and Shiroman Prakash | (参考訳) クリフォード作用素の非安定化子固有状態は、マジック状態蒸留ルーチンの終点の自然な候補である。
我々は、全ての非同値な非安定化器 Clifford 固有状態について、クォートリットとクァクィントに対して明示的な等式を提供する。
四重項には4つの非退化固有状態と2つの退化固有状態がある。
ququintsには8つの非退化固有状態と3つの退化固有状態がある。
これらの状態のうち、クリフォードのシンプレクティック回転の同時固有ベクトルは、最も魔法の四重項状態と最も対称な四重項状態の両方として区別される。
奇数次元 $d>3$ の qudit に対して、立方体奇数状態の類似性(すなわち、すべてのシンプレクティック回転の同時固有ベクトルは存在しない)が存在しないことを示す。 Non-stabilizer eigenstates of Clifford operators are natural candidates for endpoints of magic state distillation routines. We provide an explicit bestiary of all inequivalent non-stabilizer Clifford eigenstates for qutrits and ququints. For qutrits, there are four non-degenerate eigenstates, and two families of degenerate eigenstates. For ququints, there are eight non-degenerate eigenstates, and three families of degenerate eigenstates. Of these states, a simultaneous eigenvector of all Clifford symplectic rotations known as the qutrit strange state is distinguished as both the most magic qutrit state and the most symmetric qutrit state. We show that no analogue of the qutrit strange state (i.e., no simultaneous eigenvector of all symplectic rotations) exists for qudits of any odd prime dimension $d>3$. | 翻訳日:2023-05-29 00:25:08 公開日:2020-10-03 |
| # ユニタリチャネルのアルベルティ・ウルマン条件について On the Alberti-Uhlmann Condition for Unital Channels ( http://arxiv.org/abs/2003.07889v3 ) ライセンス: Link先を確認 | Sagnik Chakraborty, Dariusz Chru\'sci\'nski, Gniewomir Sarbicki and Frederik vom Ende | (参考訳) 2組の密度行列間の完全正のトレース保存(CPTP)マップの存在の問題に対処する。
アルベルトとウルマンの結果を洗練させ、最終的に3つの単純な不等式に沸騰する2組の量子ビット状態の間のユニタリチャネルの存在に必要な十分条件を導出する。 We address the problem of existence of completely positive trace preserving (CPTP) maps between two sets of density matrices. We refine the result of Alberti and Uhlmann and derive a necessary and sufficient condition for the existence of a unital channel between two pairs of qubit states which ultimately boils down to three simple inequalities. | 翻訳日:2023-05-28 22:10:41 公開日:2020-10-03 |
| # 説明可能性事例研究 Explainability Case Studies ( http://arxiv.org/abs/2009.00246v2 ) ライセンス: Link先を確認 | Ben Zevenbergen and Allison Woodruff and Patrick Gage Kelley | (参考訳) 説明可能性(Explainability)は、AIシステムの設計における重要な倫理概念の1つである。
しかし、これまでこの概念を運用しようとする試みは、モデル解釈可能性のための新しいソフトウェアやチェックリストによるガイドラインのようなアプローチにフォーカスする傾向があった。
既存のツールやガイダンスによって、AIシステムのデザイナは、システムにおける説明の役割について、批判的かつ戦略的に考えることができる。
本稿では, 製品設計者, 開発者, 学生, 教育者に対して, 製品に対する総合的な説明可能性戦略を開発するための教育ツールとして機能する, 仮説的AI対応製品に関する一連のケーススタディを提案する。 Explainability is one of the key ethical concepts in the design of AI systems. However, attempts to operationalize this concept thus far have tended to focus on approaches such as new software for model interpretability or guidelines with checklists. Rarely do existing tools and guidance incentivize the designers of AI systems to think critically and strategically about the role of explanations in their systems. We present a set of case studies of a hypothetical AI-enabled product, which serves as a pedagogical tool to empower product designers, developers, students, and educators to develop a holistic explainability strategy for their own products. | 翻訳日:2023-05-04 03:30:13 公開日:2020-10-03 |
| # スマートグリッドアプリケーションのための2次元局所バイナリパターンのヒストグラム後処理を用いたアプライアンス同定 Appliance identification using a histogram post-processing of 2D local binary patterns for smart grid applications ( http://arxiv.org/abs/2010.01414v1 ) ライセンス: Link先を確認 | Yassine Himeur and Abdullah Alsalemi and Faycal Bensaali and Abbes Amira | (参考訳) スマートグリッドにおける家電機器の特定は、電力使用量管理の改善と、家電レベルの異常の検出に役立てる。
スマートグリッド上の異なるアプライアンスを識別する能力の高いロバストな特徴抽出スキームを開発する場合のみ、効率的な識別を実現することができる。
そこで本稿では,より符号化可能性の高い2次元空間に電力信号を変換して電力シグネチャを抽出する新しい手法を提案する。
続いて,後処理段階を用いて従来のlppの識別能力を向上させるための改良型ローカルバイナリパターン(lbp)を提案する。
2次元パワーマトリックスから2次元固有値マップ(BEVM)を抽出し、生成したLPP表現を後処理する。
次に、2つのヒストグラム、すなわち上下ヒストグラムを構築し、それを連結して大域ヒストグラムを形成する。
GREENDとWithEDという2つの異なるデータセットで総合的な性能評価を行い、それぞれ1Hzと44000Hzのサンプリングレートで電力データを収集した。
その結果, LBP-BEVM ベースのシステムでは, 他の2次元ディスクリプタや既存の識別フレームワークに比べて識別性能が優れていた。 Identifying domestic appliances in the smart grid leads to a better power usage management and further helps in detecting appliance-level abnormalities. An efficient identification can be achieved only if a robust feature extraction scheme is developed with a high ability to discriminate between different appliances on the smart grid. Accordingly, we propose in this paper a novel method to extract electrical power signatures after transforming the power signal to 2D space, which has more encoding possibilities. Following, an improved local binary patterns (LBP) is proposed that relies on improving the discriminative ability of conventional LBP using a post-processing stage. A binarized eigenvalue map (BEVM) is extracted from the 2D power matrix and then used to post-process the generated LBP representation. Next, two histograms are constructed, namely up and down histograms, and are then concatenated to form the global histogram. A comprehensive performance evaluation is performed on two different datasets, namely the GREEND and WITHED, in which power data were collected at 1 Hz and 44000 Hz sampling rates, respectively. The obtained results revealed the superiority of the proposed LBP-BEVM based system in terms of the identification performance versus other 2D descriptors and existing identification frameworks. | 翻訳日:2023-04-30 02:17:46 公開日:2020-10-03 |
| # バイアスおよび非線形相互作用を持つ量子ラビモデルにおける対称性破断パターン、三重性および四重点 Symmetry breaking patterns, tricriticalities and quadruple points in quantum Rabi model with bias and nonlinear interaction ( http://arxiv.org/abs/2010.01379v1 ) ライセンス: Link先を確認 | Zu-Jian Ying | (参考訳) 量子ラビモデル(QRM)は、その広い関連性だけでなく、少数ボディの量子相転移によっても魅力的である。
実際、QRMにおけるバイアスと非線形結合は実験装置において重要な制御パラメータである。
基底状態におけるバイアスの相互作用と線形結合との非線形相互作用について検討し,対称性の破れと遷移順序の異なるパターンを示す。
低周波限界と有限周波で三臨界性のいくつかの状況が明らかにされる。
完全な量子力学的効果は、半古典的図像をはるかに超えた、新しい遷移、三臨界点、四重点をもたらす。
我々は,量子状態のエネルギー競合と本質的変化を解析することにより,最も解析的な位相境界を抽出することを可能にするメカニズムを明らかにする。 Quantum Rabi model (QRM) is fascinating not only because of its broad relevance and but also due to its few-body quantum phase transition. In practice both the bias and the nonlinear coupling in QRM are important controlling parameters in experimental setups. We study the interplay of the bias and the nonlinear interaction with the linear coupling in the ground state which exhibits various patterns of symmetry breaking and different orders of transitions. Several situations of tricriticality are unveiled in the low frequency limit and at finite frequencies. We find that the full quantum-mechanical effect leads to novel transitions, tricriticalities and quadruple points, which are much beyond the semiclassical picture. We clarify the underlying mechanisms by analyzing the energy competitions and the essential changeovers of the quantum states, which enables us to extract most analytic phase boundaries. | 翻訳日:2023-04-30 02:17:25 公開日:2020-10-03 |
| # 超伝導空洞への曲率結合によるエンコードスピン量子ビット上の変調縦ゲート Modulated longitudinal gates on encoded spin-qubits via curvature couplings to a superconducting cavity ( http://arxiv.org/abs/2010.01233v1 ) ライセンス: Link先を確認 | Rusko Ruskov, Charles Tahan | (参考訳) エンコードされたスピン量子ビットの超伝導空洞へのエネルギー曲率結合に基づく絡み合い演算を提案し、ゲート電圧変動に対する非線形量子ビット応答を探索する。
2キュービット(n$-qubit)のエンタングリングゲートでは、キュービットとキャビティがはるかにデチューニングされている場合でも、10秒のゲートタイムを提供する、時間変調された縦方向の$\sigma_z$-couplingを通じて取得した幾何位相を探索する。
量子ビットの逆 $\sigma_x$-結合は、符号化されたスピン量子ビットの完全なスイートスポット(三重量子ドット三電子交換のみの量子ビットまたは二重量子ドット一重項量子ビット)においてゼロである。
このアプローチにより、例えば、常時オンの交換専用キュービットは、ゲート操作中に「スイートスポット」に留まり、電荷ノイズを最小限に抑え、常時オンの静的な長手量子ビット結合を排除できる。
1) 共振器の拡散(Johnson) ノイズと(2) 減衰による主ゲート誤差,(3) 縦方向結合における1/f$のノイズキュービットゲートの強調と1/f$の雑音,(4) 量子ビットの劣化とアクスタークの周波数シフト,(5) スピン依存共振器の周波数シフト(分散形静的曲率結合による)など,これらの多くは非零量子キュービットエネルギー曲率(量子容量)に関係している。
最適条件下でのスピン-エコ様の誤差抑制を用いて、実験的なパラメータで10^{-2}-10^{-3}$のゲート不完全性を達成できる。
提案されたスキームは、2つのスピン量子ビットまたはスピン量子ビットのクラスタのリモートスピンからスピンへの絡み合いに適しているように見える。 We propose entangling operations based on the energy curvature couplings of encoded spin qubits to a superconducting cavity, exploring the non-linear qubit response to a gate voltage variation. For a two-qubit ($n$-qubit) entangling gate we explore acquired geometric phases via a time-modulated longitudinal $\sigma_z$-coupling, offering gate times of 10s of ns even when the qubits and the cavity are far detuned. No dipole moment is necessary: the qubit transverse $\sigma_x$-coupling to the resonator is zero at the full sweet spot of the encoded spin qubit of interest (a triple quantum dot three-electron exchange-only qubit or a double quantum dot singlet-triplet qubit). This approach allows always-on, exchange-only qubits, for example, to stay on their "sweet spots" during gate operations, minimizing the charge noise and eliminating an always-on static longitudinal qubit-qubit coupling. We calculate the main gate errors due to the (1) diffusion (Johnson) noise and (2) damping of the resonator, the (3) $1/f$-charge noise qubit gate dephasing and $1/f$-noise on the longitudinal coupling, (4) qubit dephasing and ac-Stark frequency shifts via photon fluctuations in the resonator, and (5) spin-dependent resonator frequency shifts (via a "dispersive-like" static curvature coupling), most of them associated with the non-zero qubit energy curvature (quantum capacitance). Using spin-echo-like error suppression at optimal regimes, gate infidelities of $10^{-2}-10^{-3}$ can be achieved with experimentally existing parameters. The proposed schemes seem suitable for remote spin-to-spin entanglement of two spin-qubits or a cluster of spin-qubits: an important resource of quantum computing. | 翻訳日:2023-04-30 02:16:08 公開日:2020-10-03 |
| # クレジットの割り当てを学ぶ Learning credit assignment ( http://arxiv.org/abs/2001.03354v2 ) ライセンス: Link先を確認 | Chan Li and Haiping Huang | (参考訳) ディープラーニングは、さまざまな科学分野や産業分野において、驚くべき予測精度を達成した。
しかし、深層学習のネストされた非線形性は、学習がいかに多くのパラメータを協調させ、意思決定を達成するのかを、非常に非透明なものにする。
この階層的信用代入を説明するために,単一ネットワークではなくサブネットワークのアンサンブルが分類タスクのために訓練されていることを前提として,平均場学習モデルを提案する。
驚くべきことに、我々のモデルは、隣り合う2つのニューロンを繋ぐ決定論的シナプス重みとは別に、欠落する可能性のある多くの接続が存在し、他の接続がそれらの重み値の広範な分布を可能にすることを明らかにしている。
したがってシナプス接続は3つのカテゴリに分類できる: 非常に重要なもの、重要でないもの、そして部分的に迷惑要因を符号化する可能性のある可変性のもの。
そこで本モデルは,決定に至る信用割り当てを学習し,同じタスクを遂行できるサブネットワークの集合を予測し,シナプス重みの異なる役割のレンズを通して深層学習のマクロな挙動を理解するための洞察を与える。 Deep learning has achieved impressive prediction accuracies in a variety of scientific and industrial domains. However, the nested non-linear feature of deep learning makes the learning highly non-transparent, i.e., it is still unknown how the learning coordinates a huge number of parameters to achieve a decision making. To explain this hierarchical credit assignment, we propose a mean-field learning model by assuming that an ensemble of sub-networks, rather than a single network, are trained for a classification task. Surprisingly, our model reveals that apart from some deterministic synaptic weights connecting two neurons at neighboring layers, there exist a large number of connections that can be absent, and other connections can allow for a broad distribution of their weight values. Therefore, synaptic connections can be classified into three categories: very important ones, unimportant ones, and those of variability that may partially encode nuisance factors. Therefore, our model learns the credit assignment leading to the decision, and predicts an ensemble of sub-networks that can accomplish the same task, thereby providing insights toward understanding the macroscopic behavior of deep learning through the lens of distinct roles of synaptic weights. | 翻訳日:2023-01-12 23:05:39 公開日:2020-10-03 |
| # BERT-of-theseus:Progressive Module ReplacingによるBERT圧縮 BERT-of-Theseus: Compressing BERT by Progressive Module Replacing ( http://arxiv.org/abs/2002.02925v4 ) ライセンス: Link先を確認 | Canwen Xu and Wangchunshu Zhou and Tao Ge and Furu Wei and Ming Zhou | (参考訳) 本稿では,プログレッシブモジュール置換によりBERTを効果的に圧縮する新しいモデル圧縮手法を提案する。
我々のアプローチはまず、元のBERTを複数のモジュールに分割し、そのコンパクトな代替品を構築する。
そして、元のモジュールをランダムにその代替モジュールに置き換え、コンパクトモジュールを訓練して元のモジュールの振る舞いを模倣します。
トレーニングを通じて、置換の確率を徐々に増加させます。
このようにして、我々のアプローチはオリジナルモデルとコンパクトモデルの間により深いレベルの相互作用をもたらす。
BERT圧縮における従来の知識蒸留手法と比較して, 新たな損失関数は導入されていない。
提案手法は,モデル圧縮の新しい視点を示し,既存の知識蒸留手法よりも優れている。 In this paper, we propose a novel model compression approach to effectively compress BERT by progressive module replacing. Our approach first divides the original BERT into several modules and builds their compact substitutes. Then, we randomly replace the original modules with their substitutes to train the compact modules to mimic the behavior of the original modules. We progressively increase the probability of replacement through the training. In this way, our approach brings a deeper level of interaction between the original and compact models. Compared to the previous knowledge distillation approaches for BERT compression, our approach does not introduce any additional loss function. Our approach outperforms existing knowledge distillation approaches on GLUE benchmark, showing a new perspective of model compression. | 翻訳日:2023-01-03 03:43:24 公開日:2020-10-03 |
| # アグリゲートデータによる推論:最適なトランスポートアプローチ Inference with Aggregate Data: An Optimal Transport Approach ( http://arxiv.org/abs/2003.13933v2 ) ライセンス: Link先を確認 | Rahul Singh, Isabel Haasler, Qinsheng Zhang, Johan Karlsson, Yongxin Chen | (参考訳) 多数の個人が生成した集合データを用いた確率的グラフィカルモデルに対する推論(フィルタリング)問題を考察する。
本稿では,木構造グラフ上の多項式計算複雑性と大域収束保証を備えた,新しい効率的な信念伝達型アルゴリズムを提案する。
これは、人口の増加に伴って禁制的な複雑さを示すか、収束を保証しない以前の方法とは対照的である。
本手法は, 最適輸送理論, あるいはより具体的には, 最適輸送理論に基づく。
特に,総括観測による推定問題を考えると,基礎となるグラフに従ってコスト関数が分解される構造的多元的最適輸送問題と見なすことができる。
したがって,マルチマルジナル最適輸送のための有名なシンクホーン/イテレーティブスケーリングアルゴリズムは,標準信念伝達アルゴリズムと併用して,シンクホーン信念伝播 (sbp) と呼ばれる効率的な推論手法を確立することができる。
さらに,制御および推定において,隠れマルコフモデルに関連する場合に対して,sbpアルゴリズムを特殊化する。
総括観測から人口フローを推定するなど,本アルゴリズムの性能を実演する。
また,観測結果が単一個人によって生成される特殊な場合において,本アルゴリズムは自然に標準信念伝播アルゴリズムに還元されることを示す。 We consider inference (filtering) problems over probabilistic graphical models with aggregate data generated by a large population of individuals. We propose a new efficient belief propagation type algorithm over tree-structured graphs with polynomial computational complexity as well as a global convergence guarantee. This is in contrast to previous methods that either exhibit prohibitive complexity as the population grows or do not guarantee convergence. Our method is based on optimal transport, or more specifically, multi-marginal optimal transport theory. In particular, we consider an inference problem with aggregate observations, that can be seen as a structured multi-marginal optimal transport problem where the cost function decomposes according to the underlying graph. Consequently, the celebrated Sinkhorn/iterative scaling algorithm for multi-marginal optimal transport can be leveraged together with the standard belief propagation algorithm to establish an efficient inference scheme which we call Sinkhorn belief propagation (SBP). We further specialize the SBP algorithm to cases associated with hidden Markov models due to their significance in control and estimation. We demonstrate the performance of our algorithm on applications such as inferring population flow from aggregate observations. We also show that in the special case where the observations are generated by a single individual, our algorithm naturally reduces to the standard belief propagation algorithm. | 翻訳日:2022-12-18 00:31:05 公開日:2020-10-03 |
| # ロバストリカレントニューラルネットワークの凸パラメータ化 A Convex Parameterization of Robust Recurrent Neural Networks ( http://arxiv.org/abs/2004.05290v2 ) ライセンス: Link先を確認 | Max Revay, Ruigang Wang, Ian R. Manchester | (参考訳) リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、シーケンシャル・ツー・シーケンス・マップをモデル化するのによく用いられる非線形力学系のクラスである。
rnnは優れた表現力を持つが、多くのアプリケーションに必要な安定性や堅牢性保証が欠如している。
本稿では,RNNの凸集合を安定性とロバスト性保証で定式化する。
保証はインクリメンタル二次制約を用いて導出され、すべての解のグローバル指数的安定性を保証し、インクリメンタル$ \ell_2 $ gain(学習シーケンス対シーケンスマッピングのリプシッツ定数)にバウンドする。
暗黙的なモデル構造を用いて,モデルパラメータと安定性証明書を併用したrnnのパラメータ化を行う。
このモデル構造は、以前に提案された全ての安定RNNの凸集合を特別な場合として含むとともに、全ての安定線形力学系も含むことを証明している。
本稿では,非線形システム同定におけるモデルクラスの有用性について述べる。 Recurrent neural networks (RNNs) are a class of nonlinear dynamical systems often used to model sequence-to-sequence maps. RNNs have excellent expressive power but lack the stability or robustness guarantees that are necessary for many applications. In this paper, we formulate convex sets of RNNs with stability and robustness guarantees. The guarantees are derived using incremental quadratic constraints and can ensure global exponential stability of all solutions, and bounds on incremental $ \ell_2 $ gain (the Lipschitz constant of the learned sequence-to-sequence mapping). Using an implicit model structure, we construct a parametrization of RNNs that is jointly convex in the model parameters and stability certificate. We prove that this model structure includes all previously-proposed convex sets of stable RNNs as special cases, and also includes all stable linear dynamical systems. We illustrate the utility of the proposed model class in the context of non-linear system identification. | 翻訳日:2022-12-14 12:40:57 公開日:2020-10-03 |
| # 出力重み付き最適サンプリングによるベイズ最適化 Bayesian Optimization with Output-Weighted Optimal Sampling ( http://arxiv.org/abs/2004.10599v4 ) ライセンス: Link先を確認 | Antoine Blanchard and Themistoklis Sapsis | (参考訳) ベイズ最適化では、入力に対する出力の重要性を考慮に入れることは、最終結果を大幅に改善できるが、しばしば不正確で厄介なエントロピー推定を伴うため、非常に難しい作業である。
我々は,重要サンプリング理論の観点からこの問題にアプローチし,目的関数が異常に小さい値を仮定する入力空間の領域に探索アルゴリズムを誘導する可能性比の利用を提唱する。
確率比はサンプリング重量として作用し、アルゴリズムの全体的な効率を著しく劣化させることなく各イテレーションで計算できる。
特に、このアプローチを高次元で扱いやすいものにする方法で近似することができる。
この研究で導入された「類似度重み付け」獲得関数は、多くのアプリケーションでそれらの非重み付け関数よりも優れていることが分かる。 In Bayesian optimization, accounting for the importance of the output relative to the input is a crucial yet challenging exercise, as it can considerably improve the final result but often involves inaccurate and cumbersome entropy estimations. We approach the problem from the perspective of importance-sampling theory, and advocate the use of the likelihood ratio to guide the search algorithm towards regions of the input space where the objective function to be minimized assumes abnormally small values. The likelihood ratio acts as a sampling weight and can be computed at each iteration without severely deteriorating the overall efficiency of the algorithm. In particular, it can be approximated in a way that makes the approach tractable in high dimensions. The "likelihood-weighted" acquisition functions introduced in this work are found to outperform their unweighted counterparts in a number of applications. | 翻訳日:2022-12-10 17:19:54 公開日:2020-10-03 |
| # Network Lassoによるローカルグラフクラスタリング Local Graph Clustering with Network Lasso ( http://arxiv.org/abs/2004.12199v3 ) ライセンス: Link先を確認 | Alexander Jung and Yasmin SarcheshmehPour | (参考訳) 局所グラフクラスタリングのためのネットワークlasso法の統計と計算特性について検討した。
nLassoによって提供されるクラスタは、クラスタ境界とシードノードの間のネットワークフローを通じて、エレガントに特徴付けられる。
スペクトルクラスタリング法はグラフラプラシア二次形式の最小化によって導かれるが、nLassoはクラスタインジケータ信号の総変動を最小化する。
理論的にも数値的にも示されるように、nLasso法はスペクトルクラスタリングが困難である非常にスパースなクラスタ(チェーンのような)を扱うことができる。
また,ノンスムース最適化のための原始双対法によって,nlasso解を最適最短収束率で近似できることを検証した。 We study the statistical and computational properties of a network Lasso method for local graph clustering. The clusters delivered by nLasso can be characterized elegantly via network flows between cluster boundary and seed nodes. While spectral clustering methods are guided by a minimization of the graph Laplacian quadratic form, nLasso minimizes the total variation of cluster indicator signals. As demonstrated theoretically and numerically, nLasso methods can handle very sparse clusters (chain-like) which are difficult for spectral clustering. We also verify that a primal-dual method for nonsmooth optimization allows to approximate nLasso solutions with optimal worst-case convergence rate. | 翻訳日:2022-12-09 21:27:18 公開日:2020-10-03 |
| # Fact or Fiction: 科学的主張の検証 Fact or Fiction: Verifying Scientific Claims ( http://arxiv.org/abs/2004.14974v6 ) ライセンス: Link先を確認 | David Wadden, Shanchuan Lin, Kyle Lo, Lucy Lu Wang, Madeleine van Zuylen, Arman Cohan, Hannaneh Hajishirzi | (参考訳) 科学クレーム検証(scientific claims verification)という,ある科学クレームを裏付ける証拠を含む研究文献から抽象概念を抽出し,各決定を正当化する根拠を同定する新たなタスクを導入する。
この課題を研究するために,ラベルや合理性に注釈が付されたエビデンスを含む抽象概念とペアリングされた1.4kの専門家による科学クレームのデータセットであるscifactを構築した。
我々は、scifactのベースラインモデルを開発し、wikipediaやpolitic newsでトレーニングされたモデルと比較して、単純なドメイン適応手法がパフォーマンスを大幅に向上させることを示した。
我々は,CORD-19コーパスの証拠を同定することにより,新型コロナウイルス関連の主張を検証できることを示す。
私たちの実験では、scifactは専門的なドメイン知識を含むコーパスを検索し推論するように設計された新しいシステムの開発に挑戦的なテストベッドを提供すると示しています。
この新しいタスクのデータとコードはhttps://github.com/allenai/scifact.comで公開されている。
leaderboardとcovid-19 fact-checkingのデモはhttps://scifact.apps.allenai.orgで公開されている。 We introduce scientific claim verification, a new task to select abstracts from the research literature containing evidence that SUPPORTS or REFUTES a given scientific claim, and to identify rationales justifying each decision. To study this task, we construct SciFact, a dataset of 1.4K expert-written scientific claims paired with evidence-containing abstracts annotated with labels and rationales. We develop baseline models for SciFact, and demonstrate that simple domain adaptation techniques substantially improve performance compared to models trained on Wikipedia or political news. We show that our system is able to verify claims related to COVID-19 by identifying evidence from the CORD-19 corpus. Our experiments indicate that SciFact will provide a challenging testbed for the development of new systems designed to retrieve and reason over corpora containing specialized domain knowledge. Data and code for this new task are publicly available at https://github.com/allenai/scifact. A leaderboard and COVID-19 fact-checking demo are available at https://scifact.apps.allenai.org. | 翻訳日:2022-12-08 04:32:01 公開日:2020-10-03 |
| # 時間依存構文解析のための文脈付きニューラルネットワークモデルの検討 Exploring Contextualized Neural Language Models for Temporal Dependency Parsing ( http://arxiv.org/abs/2004.14577v2 ) ライセンス: Link先を確認 | Hayley Ross, Jonathon Cai, Bonan Min | (参考訳) イベントと時間表現の間の時間関係を抽出するには、イベントタイムラインの構築や時間に関する質問応答など、多くの応用がある。
BERT(Devlin et al., 2019)のような深く文脈化された言語モデル(LM)によって捉えられるかもしれない、文や談話レベルでの統語的・意味的な情報を必要とする難しい問題である。
本稿では,BERTをベースとした時間依存性解析器の開発を行い,時間依存性解析の大幅な改善を示す(Zhang and Xue, 2018a)。
また、深く文脈化されたニューラルLMがなぜ役に立ち、どこで不足するかを詳細に分析する。
ソースコードとリソースはhttps://github.com/bnmin/tdp_rankingで入手できる。 Extracting temporal relations between events and time expressions has many applications such as constructing event timelines and time-related question answering. It is a challenging problem which requires syntactic and semantic information at sentence or discourse levels, which may be captured by deep contextualized language models (LMs) such as BERT (Devlin et al., 2019). In this paper, we develop several variants of BERT-based temporal dependency parser, and show that BERT significantly improves temporal dependency parsing (Zhang and Xue, 2018a). We also present a detailed analysis on why deep contextualized neural LMs help and where they may fall short. Source code and resources are made available at https://github.com/bnmin/tdp_ranking. | 翻訳日:2022-12-08 04:06:48 公開日:2020-10-03 |
| # CMSオープンデータの逆学習による異常検出:トップクォークの再発見 Adversarially Learned Anomaly Detection on CMS Open Data: re-discovering the top quark ( http://arxiv.org/abs/2005.01598v2 ) ライセンス: Link先を確認 | Oliver Knapp and Guenther Dissertori and Olmo Cerri and Thong Q. Nguyen and Jean-Roch Vlimant and Maurizio Pierini | (参考訳) 大型ハドロン衝突型加速器における陽子-陽子衝突における新しい物理過程の検出問題に対して, 逆学習型異常検出(alad)アルゴリズムを適用した。
ALADに基づく異常検出は変分オートエンコーダが到達した性能と一致し、場合によっては大幅に改善されている。
8TeV CMS Open Dataの4.4fb-1でALADアルゴリズムをトレーニングし、LHCにおけるt-tbar実験シグネチャの主な特徴を識別してトップクォークを再発見し、データ駆動型異常検出と特徴付けが実際にどのように機能するかを示す。 We apply an Adversarially Learned Anomaly Detection (ALAD) algorithm to the problem of detecting new physics processes in proton-proton collisions at the Large Hadron Collider. Anomaly detection based on ALAD matches performances reached by Variational Autoencoders, with a substantial improvement in some cases. Training the ALAD algorithm on 4.4 fb-1 of 8 TeV CMS Open Data, we show how a data-driven anomaly detection and characterization would work in real life, re-discovering the top quark by identifying the main features of the t-tbar experimental signature at the LHC. | 翻訳日:2022-12-07 01:50:31 公開日:2020-10-03 |
| # インド、新型コロナウイルスのパンデミックを阻止へ-機械学習に基づくトピックモデリングを用いた政策分析 India nudges to contain COVID-19 pandemic: a reactive public policy analysis using machine-learning based topic modelling ( http://arxiv.org/abs/2005.06619v2 ) ライセンス: Link先を確認 | Ramit Debnath and Ronita Bardhan | (参考訳) インドは新型コロナウイルスの感染拡大を受け、2020年3月25日に13億人を封鎖した。
経済コストは98億米ドルと見積もられたが、社会的コストはまだ不明である。
本研究は、政府による新型コロナウイルス対策の取組みについて検討した。
一次データは、政府計画、政策、プログラムイニシアチブ、成果のプレスリリースとして、広報情報局 (PIB) から収集された。
PIBから396の文書から260,852語のテキストコーパスが作成された。
テキストコーパス上で潜在ディリクレ割当(lda)アルゴリズムを用いた教師なしのマシンベーストピックモデリングを行った。
政策部門で高い確率の話題を抽出するために行われた。
抽出された話題の解釈は、政府の批判的政策ヒューリスティックスを引き出すためのヌージ理論レンズによってなされた。
以上の結果から,ほとんどの介入は外的トリガーを用いて内因性核生成を目標とした。
特に、インド首相の恨みは、全国のロックダウンや社会的距離の基準に深刻な影響を及ぼすことになった。
同様の効果は公衆衛生(公共空間におけるマスク、免疫のためのヨガとエアルヴェーダ)、輸送(例えば、隔離区に改造された古い列車)、マイクロ、中小企業(例えば、ppeとマスクの急速な生産)、科学技術部門(例えば、診断キット、ロボット、ナノテクノロジー)、内務(例えば、監視とロックダウン)、都市(例えば、ドローン、gis-ツール)、教育(例えば、オンライン学習)でも見られた。
これらのヒューリスティックを活用するという結論は、ロックダウンの緩和計画に不可欠である。 India locked down 1.3 billion people on March 25, 2020 in the wake of COVID-19 pandemic. The economic cost of it was estimated at USD 98 billion, while the social costs are still unknown. This study investigated how government formed reactive policies to fight coronavirus across its policy sectors. Primary data was collected from the Press Information Bureau (PIB) in the form press releases of government plans, policies, programme initiatives and achievements. A text corpus of 260,852 words was created from 396 documents from the PIB. An unsupervised machine-based topic modelling using Latent Dirichlet Allocation (LDA) algorithm was performed on the text corpus. It was done to extract high probability topics in the policy sectors. The interpretation of the extracted topics was made through a nudge theoretic lens to derive the critical policy heuristics of the government. Results showed that most interventions were targeted to generate endogenous nudge by using external triggers. Notably, the nudges from the Prime Minister of India was critical in creating herd effect on lockdown and social distancing norms across the nation. A similar effect was also observed around the public health (e.g., masks in public spaces; Yoga and Ayurveda for immunity), transport (e.g., old trains converted to isolation wards), micro, small and medium enterprises (e.g., rapid production of PPE and masks), science and technology sector (e.g., diagnostic kits, robots and nano-technology), home affairs (e.g., surveillance and lockdown), urban (e.g. drones, GIS-tools) and education (e.g., online learning). A conclusion was drawn on leveraging these heuristics are crucial for lockdown easement planning. | 翻訳日:2022-12-03 04:38:41 公開日:2020-10-03 |
| # オートエンコーダの情報平面について On the Information Plane of Autoencoders ( http://arxiv.org/abs/2005.07783v2 ) ライセンス: Link先を確認 | Nicol\'as I. Tapia, Pablo A. Est\'evez | (参考訳) 深層学習における隠れ層のトレーニング力学は理論上はあまり理解されていない。
近年,情報理論に基づく相互情報(MI)に基づく情報平面(IP)が提案されている。
Information Bottleneck (IB) 理論は、レイヤが関連する情報を最大化し、無関係な情報を圧縮することを予測している。
サンプルからのMI推定に制限があるため、教師付き学習ケースにおけるIPの特性に関する議論が進行中である。
本研究では,自動エンコーダのIPに関する理論的収束を導出する。
この理論は、大きなボトルネック層を持つ理想的なオートエンコーダは入力情報を圧縮しないが、小さなサイズはエンコーダ層にのみ圧縮を引き起こすと予測している。
実験では,最近文献に提案されているグラム行列に基づくmi推定器を用いた。
スケールと次元効果を補償するパラメータを調整するための新しいルールを提案する。
提案法則を用いて理論に近い実験的なIPを得る。
自動エンコーダの理論的IPは、ニューラルネットワークのMIを推定する新しい手法を検証するベンチマークとして使用できる。
このように、実験的な制限が認識され修正され、教師付き学習ケースに関する議論が進行するのに役立つ。 The training dynamics of hidden layers in deep learning are poorly understood in theory. Recently, the Information Plane (IP) was proposed to analyze them, which is based on the information-theoretic concept of mutual information (MI). The Information Bottleneck (IB) theory predicts that layers maximize relevant information and compress irrelevant information. Due to the limitations in MI estimation from samples, there is an ongoing debate about the properties of the IP for the supervised learning case. In this work, we derive a theoretical convergence for the IP of autoencoders. The theory predicts that ideal autoencoders with a large bottleneck layer size do not compress input information, whereas a small size causes compression only in the encoder layers. For the experiments, we use a Gram-matrix based MI estimator recently proposed in the literature. We propose a new rule to adjust its parameters that compensates scale and dimensionality effects. Using our proposed rule, we obtain experimental IPs closer to the theory. Our theoretical IP for autoencoders could be used as a benchmark to validate new methods to estimate MI in neural networks. In this way, experimental limitations could be recognized and corrected, helping with the ongoing debate on the supervised learning case. | 翻訳日:2022-12-02 22:53:28 公開日:2020-10-03 |
| # RED:スリープ脳波イベント検出のためのディープリカレントニューラルネットワーク RED: Deep Recurrent Neural Networks for Sleep EEG Event Detection ( http://arxiv.org/abs/2005.07795v2 ) ライセンス: Link先を確認 | Nicol\'as I. Tapia, Pablo A. Est\'evez | (参考訳) 脳の電気活動は、睡眠中にいくつかの短い出来事を示し、脳波(EEG)の特徴的な微細構造として観察される。
これらの出来事は生物学的プロセスや神経障害と関連しており、睡眠医学の研究テーマとなっている。
しかし、手動検出は時間を要するため研究を制限し、専門家間の大きな変動の影響を受け、自動的なアプローチを動機付けている。
本稿では,睡眠脳波イベント検出のための畳み込みおよび繰り返しニューラルネットワークに基づく深層学習手法であるrecurrent event detector (red)を提案する。
REDは2つの入力表現のうちの1つを使用します。
a) 時間領域脳波信号、又は
b)連続ウェーブレット変換(cwt)により得られた信号の複素分光図。
従来のアプローチとは異なり、固定時間ウィンドウは避けられ、時間コンテキストは専門家の視覚的基準をよりうまくエミュレートするために統合される。
MASSデータセットで評価すると、我々の検出器は、それぞれ80.9%と82.6%の平均F1スコアで睡眠スピンドルとK-プレプレックス検出の両方において、技術の現状より優れている。
cwtドメインモデルは、時間領域モデルと同様の性能を得たが、前者は、スペクトログラムの使用により、原則としてより解釈可能な入力表現を可能にする。
提案手法は事象を認識せず、他の種類の睡眠イベントを検出するために直接使用できる。 The brain electrical activity presents several short events during sleep that can be observed as distinctive micro-structures in the electroencephalogram (EEG), such as sleep spindles and K-complexes. These events have been associated with biological processes and neurological disorders, making them a research topic in sleep medicine. However, manual detection limits their study because it is time-consuming and affected by significant inter-expert variability, motivating automatic approaches. We propose a deep learning approach based on convolutional and recurrent neural networks for sleep EEG event detection called Recurrent Event Detector (RED). RED uses one of two input representations: a) the time-domain EEG signal, or b) a complex spectrogram of the signal obtained with the Continuous Wavelet Transform (CWT). Unlike previous approaches, a fixed time window is avoided and temporal context is integrated to better emulate the visual criteria of experts. When evaluated on the MASS dataset, our detectors outperform the state of the art in both sleep spindle and K-complex detection with a mean F1-score of at least 80.9% and 82.6%, respectively. Although the CWT-domain model obtained a similar performance than its time-domain counterpart, the former allows in principle a more interpretable input representation due to the use of a spectrogram. The proposed approach is event-agnostic and can be used directly to detect other types of sleep events. | 翻訳日:2022-12-02 22:52:54 公開日:2020-10-03 |
| # アンサンブルとシナリオ低減のためのエネルギー距離 The energy distance for ensemble and scenario reduction ( http://arxiv.org/abs/2005.14670v2 ) ライセンス: Link先を確認 | Florian Ziel | (参考訳) シナリオ削減手法は、特にエネルギー・電力システムにおける高度な動的・確率的プログラムの解法に広く適用されているが、確率的予測、クラスタリング、生成的逆ネットワーク(gans)にも用いられる。
本稿では,最大平均不一致(MMD)の特別な場合であるエネルギー距離に基づいて,アンサンブルとシナリオ削減のための新しい手法を提案する。
本稿では,エネルギー距離の選択について,特にシナリオ削減文学を主体とする一般的なwasserstein距離と比較検討する。
エネルギー距離(英: energy distance)は、任意の多変量分布や独立性に対する強力なテストを可能にする確率測度の間の計量である。
後者のおかげで、アンサンブルとシナリオリダクションの問題に適した候補となっている。
理論的性質と考察された例は、縮小されたシナリオ集合が、ワッサーシュタイン距離に対する対応する還元よりもエネルギー距離の統計的性質が優れていることを示している。
我々はBernoulliランダムウォークと2つの実データに基づく電力需要プロファイルと日頭電気価格の例を示す。 Scenario reduction techniques are widely applied for solving sophisticated dynamic and stochastic programs, especially in energy and power systems, but also used in probabilistic forecasting, clustering and estimating generative adversarial networks (GANs). We propose a new method for ensemble and scenario reduction based on the energy distance which is a special case of the maximum mean discrepancy (MMD). We discuss the choice of energy distance in detail, especially in comparison to the popular Wasserstein distance which is dominating the scenario reduction literature. The energy distance is a metric between probability measures that allows for powerful tests for equality of arbitrary multivariate distributions or independence. Thanks to the latter, it is a suitable candidate for ensemble and scenario reduction problems. The theoretical properties and considered examples indicate clearly that the reduced scenario sets tend to exhibit better statistical properties for the energy distance than a corresponding reduction with respect to the Wasserstein distance. We show applications to a Bernoulli random walk and two real data based examples for electricity demand profiles and day-ahead electricity prices. | 翻訳日:2022-11-26 23:22:13 公開日:2020-10-03 |
| # 関係表現性を高めるランダムウェイト・非トレーニングニューラルテンソルネットワーク Randomly Weighted, Untrained Neural Tensor Networks Achieve Greater Relational Expressiveness ( http://arxiv.org/abs/2006.12392v2 ) ライセンス: Link先を確認 | Jinyung Hong, Theodore P. Pavlic | (参考訳) ニューラルネットワーク(NTN)は、一対のエンティティ間の関係の度合いを符号化するために構成され、一階述語論理における統計的関係学習(SRL)を促進するために、論理テンソルネットワーク(LTN)で使用される。
本稿では、ランダムに描画された未学習テンソルをトレーニングされたデコーダネットワークを備えたNTNエンコーダネットワークに組み込むランダム重み付きテンソルネットワーク(RWTN)を提案する。
rwtnは,一階述語論理を用いた推論の方法の典型例として用いられてきた意味的画像解釈(sii)タスクにおいて,伝統的に訓練されたltnの性能を満たしているか,あるいは超えていることを示す。
RWTNは、オブジェクト間の関係を検出するためにLTNよりも優れており、学習に少ないパラメータを使用しながら、オブジェクト分類においてLTNと同じような性能が得られることを示す。
さらに、ランダム化重みはデータに依存しないため、複数のデコーダネットワークは単一のNTNを共有でき、RWTNは同時分類タスクのための空間スケールのユニークな経済性を与える。 Neural Tensor Networks (NTNs), which are structured to encode the degree of relationship among pairs of entities, are used in Logic Tensor Networks (LTNs) to facilitate Statistical Relational Learning (SRL) in first-order logic. In this paper, we propose Randomly Weighted Tensor Networks (RWTNs), which incorporate randomly drawn, untrained tensors into an NTN encoder network with a trained decoder network. We show that RWTNs meet or surpass the performance of traditionally trained LTNs for Semantic Image Interpretation (SII) tasks that have been used as a representative example of how LTNs utilize reasoning over first-order logic to exceed the performance of solely data-driven methods. We demonstrate that RWTNs outperform LTNs for the detection of the relevant part-of relations between objects, and we show that RWTNs can achieve similar performance as LTNs for object classification while using fewer parameters for learning. Furthermore, we demonstrate that because the randomized weights do not depend on the data, several decoder networks can share a single NTN, giving RWTNs a unique economy of spatial scale for simultaneous classification tasks. | 翻訳日:2022-11-26 06:33:06 公開日:2020-10-03 |
| # SALD: デリバティブによるAgnostic Learningのサイン SALD: Sign Agnostic Learning with Derivatives ( http://arxiv.org/abs/2006.05400v2 ) ライセンス: Link先を確認 | Matan Atzmon and Yaron Lipman | (参考訳) ポイントクラウドや三角形スープ、無指向メッシュなど、生のデータから直接3dジオメトリを学ぶことは、下流のコンピュータビジョンやグラフィックアプリケーションの多くを養う課題である。
本稿では,生データから直接形状の暗黙的な神経表現を学習する手法であるsaldを提案する。
入力された生データに対して符号なし距離関数が与えられたとき、新しい符号なし回帰損失を提唱し、符号なし距離関数の点値と勾配の両方を取り入れている。
この損失を最適化すると符号付き暗黙関数解となり、そのゼロレベル集合は入力3Dデータに対する高品質で有効な多様体近似となる。
SALDの背後にある動機は、回帰損失に誘導体を組み込むことでサンプルの複雑さが小さくなり、結果として適合性が良くなることである。
さらに、SALが2次元の最小長性を持ち、最小長解が好ましいことを証明した。
さらに重要なことは、この性質がまだSALD、すなわち微分を含むものであることを示すことができる。
不整合配向と非多様体メッシュを含むShapeNetと、生の3Dスキャン(三角形スープ)を含むD-Faustの2つの課題に対して、SALDの有効性を示す。
どちらのデータセットも、最先端の結果を示す。 Learning 3D geometry directly from raw data, such as point clouds, triangle soups, or unoriented meshes is still a challenging task that feeds many downstream computer vision and graphics applications. In this paper, we introduce SALD: a method for learning implicit neural representations of shapes directly from raw data. We generalize sign agnostic learning (SAL) to include derivatives: given an unsigned distance function to the input raw data, we advocate a novel sign agnostic regression loss, incorporating both pointwise values and gradients of the unsigned distance function. Optimizing this loss leads to a signed implicit function solution, the zero level set of which is a high quality and valid manifold approximation to the input 3D data. The motivation behind SALD is that incorporating derivatives in a regression loss leads to a lower sample complexity, and consequently better fitting. In addition, we prove that SAL enjoys a minimal length property in 2D, favoring minimal length solutions. More importantly, we are able to show that this property still holds for SALD, i.e., with derivatives included. We demonstrate the efficacy of SALD for shape space learning on two challenging datasets: ShapeNet that contains inconsistent orientation and non-manifold meshes, and D-Faust that contains raw 3D scans (triangle soups). On both these datasets, we present state-of-the-art results. | 翻訳日:2022-11-23 14:45:59 公開日:2020-10-03 |
| # 低次元マニフォールドにおける比較器による外挿可能な関係推論 Extrapolatable Relational Reasoning With Comparators in Low-Dimensional Manifolds ( http://arxiv.org/abs/2006.08698v2 ) ライセンス: Link先を確認 | Duo Wang, Mateja Jamnik, Pietro Lio | (参考訳) 現代のディープ・ニューラル・アーキテクチャは、テストデータがトレーニングデータと同じ分布からサンプリングされるとうまく一般化するが、テストデータ分布がトレーニング分布と異なる場合、数次元でも失敗する。
このアウトオブディストリビューションの一般化の欠如は、リレーショナル推論のようなタスクがより抽象的で複雑になるにつれて、ますます現れています。
本稿では,現在のニューラルネットワークアーキテクチャと容易に融合して,関係推論タスクにおけるアウトオブディストリビューション(o.o.d)一般化性能を向上させる神経科学に触発されたインダクティブバイアスモジュールを提案する。
このモジュールは、より効率的で一般化可能な関係比較のために、低次元多様体に高次元オブジェクト表現を投影することを学ぶ。
この帰納的バイアスを持つニューラルネットは、様々な関係推論タスクのo.o.d一般化性能を大幅に向上させる。
最終的に、提案した帰納的バイアスモジュールを解析して、低次元射影の重要性を理解し、アルゴリズムアライメント理論への拡張を提案し、アルゴリズムアライメントと一般化をよりよく測定する。 While modern deep neural architectures generalise well when test data is sampled from the same distribution as training data, they fail badly for cases when the test data distribution differs from the training distribution even along a few dimensions. This lack of out-of-distribution generalisation is increasingly manifested when the tasks become more abstract and complex, such as in relational reasoning. In this paper we propose a neuroscience-inspired inductive-biased module that can be readily amalgamated with current neural network architectures to improve out-of-distribution (o.o.d) generalisation performance on relational reasoning tasks. This module learns to project high-dimensional object representations to low-dimensional manifolds for more efficient and generalisable relational comparisons. We show that neural nets with this inductive bias achieve considerably better o.o.d generalisation performance for a range of relational reasoning tasks. We finally analyse the proposed inductive bias module to understand the importance of lower dimension projection, and propose an augmentation to the algorithmic alignment theory to better measure algorithmic alignment with generalisation. | 翻訳日:2022-11-21 03:24:32 公開日:2020-10-03 |
| # 等尺オートエンコーダ Isometric Autoencoders ( http://arxiv.org/abs/2006.09289v2 ) ライセンス: Link先を確認 | Amos Gropp, Matan Atzmon, Yaron Lipman | (参考訳) 高次元データは、しばしば低次元多様体またはその近くに集中していると仮定される。
オートエンコーダ(AE)は、リコンストラクションエラーを最小限に抑えながら、低次元のボトルネックを持つニューラルネットワークを通じて、そのようなデータの表現を学習する一般的なテクニックである。
高容量AEを使用すると、多くの最小化器が集まり、その多くがデータによくフィットするが一般化が不十分な低次元多様体を表す。
悪い一般化の2つの源は、学習された多様体がデータから遠く離れた外部部分を持つ extrinsic と、エンコーダとデコーダが低次元パラメタライゼーションにおいて任意の歪みを導入する intrinsic である。
これらの問題を緩和するために取られたアプローチは、特定の解を好む正規化器を追加することである。
本稿では,等尺性(局所的距離保存)正則化を提唱する。
特に 正規化剤は
i) 等尺形となる復号器,及び
(ii)デコーダの擬似逆元であるエンコーダ、すなわちエンコーダは直交射影によりデコーダの逆元を周囲空間に拡張する。
ひと言で言えば、。
(i)および
(二)本質的・外生的自由度を両立させ、主成分分析(PCA)への非線形一般化を提供する。
次元減少タスクにおける等長正規化子の実験は、有用な低次元データ表現を生成する。 High dimensional data is often assumed to be concentrated on or near a low-dimensional manifold. Autoencoders (AE) is a popular technique to learn representations of such data by pushing it through a neural network with a low dimension bottleneck while minimizing a reconstruction error. Using high capacity AE often leads to a large collection of minimizers, many of which represent a low dimensional manifold that fits the data well but generalizes poorly. Two sources of bad generalization are: extrinsic, where the learned manifold possesses extraneous parts that are far from the data; and intrinsic, where the encoder and decoder introduce arbitrary distortion in the low dimensional parameterization. An approach taken to alleviate these issues is to add a regularizer that favors a particular solution; common regularizers promote sparsity, small derivatives, or robustness to noise. In this paper, we advocate an isometry (i.e., local distance preserving) regularizer. Specifically, our regularizer encourages: (i) the decoder to be an isometry; and (ii) the encoder to be the decoder's pseudo-inverse, that is, the encoder extends the inverse of the decoder to the ambient space by orthogonal projection. In a nutshell, (i) and (ii) fix both intrinsic and extrinsic degrees of freedom and provide a non-linear generalization to principal component analysis (PCA). Experimenting with the isometry regularizer on dimensionality reduction tasks produces useful low-dimensional data representations. | 翻訳日:2022-11-20 19:37:59 公開日:2020-10-03 |
| # ラベル平滑化の理解に向けて Towards Understanding Label Smoothing ( http://arxiv.org/abs/2006.11653v2 ) ライセンス: Link先を確認 | Yi Xu, Yuanhong Xu, Qi Qian, Hao Li, Rong Jin | (参考訳) ラベル平滑化正規化(lsr)は、確率的勾配降下などの確率的アルゴリズムによるディープニューラルネットワークの訓練において大きな成功を収めている。
しかし、最適化の観点からのそのパワーの理論的理解はいまだに稀である。
本研究は,LSRの深い理解への扉を開き,解析を開始した。
本稿では,非凸問題を解くためのラベルスムーズな正規化による確率勾配勾配勾配の収束挙動を解析し,分散を減少させることで収束を高速化できることを示す。
より興味深いことに、我々は2段階ラベル平滑化アルゴリズム (TSLA) という単純な手法を提案し、これは初期の訓練エポックにおいてLSRを用いており、後の訓練エポックではそれをオフにする。
第1段階ではLSRの恩恵を受け、第2段階では基本的により高速に収束する、TSLAの収束結果の改善から観察する。
我々の知る限りでは、非凸最適化におけるLSRによる確率的手法の収束複雑性を確立することにより、LSRのパワーを理解するための最初の研究である。
本稿では,ベンチマークデータセットを用いたResNetモデルのトレーニングにおけるベースラインと比較して,提案手法の有効性を実証的に示す。 Label smoothing regularization (LSR) has a great success in training deep neural networks by stochastic algorithms such as stochastic gradient descent and its variants. However, the theoretical understanding of its power from the view of optimization is still rare. This study opens the door to a deep understanding of LSR by initiating the analysis. In this paper, we analyze the convergence behaviors of stochastic gradient descent with label smoothing regularization for solving non-convex problems and show that an appropriate LSR can help to speed up the convergence by reducing the variance. More interestingly, we proposed a simple yet effective strategy, namely Two-Stage LAbel smoothing algorithm (TSLA), that uses LSR in the early training epochs and drops it off in the later training epochs. We observe from the improved convergence result of TSLA that it benefits from LSR in the first stage and essentially converges faster in the second stage. To the best of our knowledge, this is the first work for understanding the power of LSR via establishing convergence complexity of stochastic methods with LSR in non-convex optimization. We empirically demonstrate the effectiveness of the proposed method in comparison with baselines on training ResNet models over benchmark data sets. | 翻訳日:2022-11-18 21:51:58 公開日:2020-10-03 |
| # 稀な結果を伴う医療データベース研究における複数治療の因果効果の推定 Estimation of causal effects of multiple treatments in healthcare database studies with rare outcomes ( http://arxiv.org/abs/2008.07687v2 ) ライセンス: Link先を確認 | Liangyuan Hu, Chenyang Gu | (参考訳) 大規模医療データベースの優位性は、比較効果研究に十分な機会をもたらす。
情報的治療決定に必要な証拠は、少数の個人で観察された関心の結果に対する複数の治療オプションの有効性の比較にしばしば依存する。
複数の治療と稀な結果を伴う因果推論は、文献に散発的に扱われる主題である。
本稿では,我々の医療データベース研究の構造を代表する3つのシミュレーションセットをデザインし,その構成に因果分析戦略を提案する。
ベイズ加法回帰木 (bart) , 一般化プロペンサリティスコア (rams) の多変量スプラインの回帰調整, 多項ロジスティック回帰あるいは一般化ブーストモデルを用いた治療重み付けの逆確率 (iptw) の3種類の手法の動作特性を比較検討した。
以上の結果から,bartとramはバイアスと平均二乗誤差を低減し,広く用いられているiptw手法は好ましくない動作特性をもたらすことが示唆された。
本研究は,非小細胞肺癌に対するロボット外科手術,胸腔鏡下手術,開胸手術の比較検討を行った。 The preponderance of large-scale healthcare databases provide abundant opportunities for comparative effectiveness research. Evidence necessary to making informed treatment decisions often relies on comparing effectiveness of multiple treatment options on outcomes of interest observed in a small number of individuals. Causal inference with multiple treatments and rare outcomes is a subject that has been treated sparingly in the literature. This paper designs three sets of simulations, representative of the structure of our healthcare database study, and propose causal analysis strategies for such settings. We investigate and compare the operating characteristics of three types of methods and their variants: Bayesian Additive Regression Trees (BART), regression adjustment on multivariate spline of generalized propensity scores (RAMS) and inverse probability of treatment weighting (IPTW) with multinomial logistic regression or generalized boosted models. Our results suggest that BART and RAMS provide lower bias and mean squared error, and the widely used IPTW methods deliver unfavorable operating characteristics. We illustrate the methods using a case study evaluating the comparative effectiveness of robotic-assisted surgery, video-assisted thoracoscopic surgery and open thoracotomy for treating non-small cell lung cancer. | 翻訳日:2022-10-27 22:05:48 公開日:2020-10-03 |
| # 羊飼い剤による影響の乱れは群発声時の感覚雑音よりも影響が大きい Disturbances in Influence of a Shepherding Agent is More Impactful than Sensorial Noise During Swarm Guidance ( http://arxiv.org/abs/2008.12708v2 ) ライセンス: Link先を確認 | Hung The Nguyen, Matthew Garratt, Lam Thu Bui, and Hussein Abbass | (参考訳) 大きな群れの誘導は、困難な制御問題である。
シェパーディングは、いくつかのシェパーディングエージェント(シェプドッグ)を使用して大きな群れを誘導する1つのアプローチを提供する。
ノイズは多くの現実世界の問題に固有の特徴であるが、羊飼いにノイズが与える影響はよく研究されている問題ではない。
我々は2種類のノイズを研究している。
まず,羊飼いが受信した羊の位置に関するセンサ情報のノイズを評価する。
第2に,羊飼いの運動時の外乱力による騒音が羊に及ぼす影響を評価する。
本稿では,両騒音について検討し,これらのアクティベーションと知覚雑音に対するstr\"{o}mbomのアプローチの性能について検討した。
アルゴリズムのパラメータ化が安定した性能を実現するためには、安定性を達成するまでランダムなエピソード数を増やしながら、多数のシミュレーションを実行する必要がある。
次に,センサとアクティベーションノイズが性能に与える影響を系統的に検討した。
str\"{o}mbomのアプローチは、知覚ノイズよりもアクチベーションノイズに敏感であることが判明した。
これは、羊飼いのエージェントが、センサーのノイズを減らすよりも、アクチベーションノイズを減らすことによって、羊により正確に影響を与えることがより重要であることを意味する。
さらに、異なるレベルのノイズは、異なるノイズレベルに対してアストレイヒツを収集するか否かを決定するために、エージェントのしきい値を決定する羊飼い剤に対して異なるパラメータ化を必要とした。 The guidance of a large swarm is a challenging control problem. Shepherding offers one approach to guide a large swarm using a few shepherding agents (sheepdogs). While noise is an inherent characteristic in many real-world problems, the impact of noise on shepherding is not a well-studied problem. We study two forms of noise. First, we evaluate noise in the sensorial information received by the shepherd about the location of sheep. Second, we evaluate noise in the ability of the sheepdog to influence sheep due to disturbance forces occurring during actuation. We study both types of noise in this paper, and investigate the performance of Str\"{o}mbom's approach under these actuation and perception noises. To ensure that the parameterisation of the algorithm creates a stable performance, we need to run a large number of simulations, while increasing the number of random episodes until stability is achieved. We then systematically study the impact of sensorial and actuation noise on performance. Str\"{o}mbom's approach is found to be more sensitive to actuation noise than perception noise. This implies that it is more important for the shepherding agent to influence the sheep more accurately by reducing actuation noise than attempting to reduce noise in its sensors. Moreover, different levels of noise required different parameterisation for the shepherding agent, where the threshold needed by an agent to decide whether or not to collect astray sheep is different for different noise levels. | 翻訳日:2022-10-24 02:23:45 公開日:2020-10-03 |
| # 逆・外分布設定におけるベイズ深層学習における近似的後部推論の変異 Ramifications of Approximate Posterior Inference for Bayesian Deep Learning in Adversarial and Out-of-Distribution Settings ( http://arxiv.org/abs/2009.01798v2 ) ライセンス: Link先を確認 | John Mitros and Arjun Pakrashi and Brian Mac Namee | (参考訳) ディープニューラルネットワークは、様々な識別的分類タスクで成功しているが、分類された予測に高い確率を割り当てる場合が多い。
潜在的な結果は、実際のアプリケーションにデプロイされたモデルの信頼性と説明責任につながり、その信頼性スコアに基づいて予測が評価される。
既存のソリューションは、深層ニューラルネットワークとベイズ推論を組み合わせて、曖昧なデータポイントに対するモデルの予測に対する不確実性を定量化することで得られる利点を示唆している。
本研究では,分布検出(OoD)の課題において,確率に基づくモデルの有効性を検証することを提案する。
データセットとメトリクスの相違から,ベイジアン深層学習モデルでは,従来のニューラルネットワークを極端に上回り,イン/アウト分布クラス間の重複が最小限である場合には,OoDデータ検出時のAUCスコアの低下を示す。
予備的な調査は、初期化、アーキテクチャ、アクティベーション関数の選択によるバイアスの潜在的固有の役割を示している。
我々は、ニューラルネットワークの入力の見当たらない感度は、次元の呪いによってしばしば増幅される異なる設計上の選択から生じる多要素現象であると仮定する。
さらに,ベイズ深層学習者の逆雑音のロバスト性について検討するとともに,分布内および分布外性能に及ぼす逆雑音抵抗法の影響について検討した。 Deep neural networks have been successful in diverse discriminative classification tasks, although, they are poorly calibrated often assigning high probability to misclassified predictions. Potential consequences could lead to trustworthiness and accountability of the models when deployed in real applications, where predictions are evaluated based on their confidence scores. Existing solutions suggest the benefits attained by combining deep neural networks and Bayesian inference to quantify uncertainty over the models' predictions for ambiguous datapoints. In this work we propose to validate and test the efficacy of likelihood based models in the task of out of distribution detection (OoD). Across different datasets and metrics we show that Bayesian deep learning models on certain occasions marginally outperform conventional neural networks and in the event of minimal overlap between in/out distribution classes, even the best models exhibit a reduction in AUC scores in detecting OoD data. Preliminary investigations indicate the potential inherent role of bias due to choices of initialisation, architecture or activation functions. We hypothesise that the sensitivity of neural networks to unseen inputs could be a multi-factor phenomenon arising from the different architectural design choices often amplified by the curse of dimensionality. Furthermore, we perform a study to find the effect of the adversarial noise resistance methods on in and out-of-distribution performance, as well as, also investigate adversarial noise robustness of Bayesian deep learners. | 翻訳日:2022-10-22 06:49:20 公開日:2020-10-03 |
| # プライベート・ノーフェアも:データ不均衡が差別プライバシーの実用性と公正性に及ぼす影響 Neither Private Nor Fair: Impact of Data Imbalance on Utility and Fairness in Differential Privacy ( http://arxiv.org/abs/2009.06389v3 ) ライセンス: Link先を確認 | Tom Farrand, Fatemehsadat Mireshghallah, Sahib Singh, Andrew Trask | (参考訳) さまざまな分野や産業におけるディープラーニングの展開は、データと計算の可用性に依存するパフォーマンスのため、日々成長している。
データはしばしばクラウドソースされ、そのコントリビューターに関する機密情報を含んでいる。
厳密なプライバシー保証を実現するために、異なるプライベートトレーニング機構が使用される。
しかし、ディファレンシャルプライバシがデータ内の既存のバイアスを悪化させ、異なるサブグループのデータの精度に異なる影響を与えることが最近示されている。
本稿では,これらの効果を微分プライベート深層学習で研究することを目的とする。
具体的には,データの不均衡レベルの違いが,モデルによる決定の正確性や公平性にどのように影響するかを検討する。
我々は、小さな不均衡と緩いプライバシー保証さえも、異なる影響を引き起こす可能性があることを実証する。 Deployment of deep learning in different fields and industries is growing day by day due to its performance, which relies on the availability of data and compute. Data is often crowd-sourced and contains sensitive information about its contributors, which leaks into models that are trained on it. To achieve rigorous privacy guarantees, differentially private training mechanisms are used. However, it has recently been shown that differential privacy can exacerbate existing biases in the data and have disparate impacts on the accuracy of different subgroups of data. In this paper, we aim to study these effects within differentially private deep learning. Specifically, we aim to study how different levels of imbalance in the data affect the accuracy and the fairness of the decisions made by the model, given different levels of privacy. We demonstrate that even small imbalances and loose privacy guarantees can cause disparate impacts. | 翻訳日:2022-10-20 02:33:46 公開日:2020-10-03 |
| # 時間表現型ネットワークを用いたニューラル対話状態追跡 Neural Dialogue State Tracking with Temporally Expressive Networks ( http://arxiv.org/abs/2009.07615v2 ) ライセンス: Link先を確認 | Junfan Chen, Richong Zhang, Yongyi Mao, Jie Xu | (参考訳) 対話状態追跡(DST)は音声対話システムにおいて重要な部分である。
既存のDSTモデルは、対話中の時間的特徴依存を無視したり、対話における時間的状態依存を明示的にモデル化しない。
本研究では,DSTにおける2種類の時間依存を協調的にモデル化するためのテンポラリ表現型ネットワーク(TEN)を提案する。
TENモデルは、リカレントネットワークと確率的グラフィカルモデルのパワーを利用する。
標準データセット上での評価では、ターンレベル状態予測と状態集約の精度向上に有効であることが示されている。 Dialogue state tracking (DST) is an important part of a spoken dialogue system. Existing DST models either ignore temporal feature dependencies across dialogue turns or fail to explicitly model temporal state dependencies in a dialogue. In this work, we propose Temporally Expressive Networks (TEN) to jointly model the two types of temporal dependencies in DST. The TEN model utilizes the power of recurrent networks and probabilistic graphical models. Evaluating on standard datasets, TEN is demonstrated to be effective in improving the accuracy of turn-level-state prediction and the state aggregation. | 翻訳日:2022-10-17 23:53:53 公開日:2020-10-03 |
| # プロのように無力にsimileを生成する - simile生成のためのスタイル転送アプローチ Generating similes effortlessly like a Pro: A Style Transfer Approach for Simile Generation ( http://arxiv.org/abs/2009.08942v2 ) ライセンス: Link先を確認 | Tuhin Chakrabarty, Smaranda Muresan, Nanyun Peng | (参考訳) 詩から物語までの文学的傾向は、人間の想像力とコミュニケーションの危機にある。
simileのような具体的言語は、読者に新たな洞察とインスピレーションを与えるため、平易な表現を越えている。
本稿では,シミール生成の問題に取り組む。
simileを生成するには、2つの概念間のプロパティを効果的にマッピングするための適切な理解が必要である。
そこで本研究では,Redditから収集した多数のシミュラを,構造化された常識知識を用いてリテラルに変換することで,並列コーパスを自動構築する手法を提案する。
次に,順序モデルbart~\cite{lewis2019bart} をリテラル-simileペア上で微調整して一般化可能とし,リテラル文を与えられた新しいsimilesを生成することを提案する。
実験により,本手法はトレーニングデータとプロパティを共有しない新規なシミュラを8,8 %以上生成することがわかった。
人間によるリテラルステートメントの独立した集合の評価は、我々のモデルは2人の文芸専門家 \textit{37\%}\footnote{we average 32.6\% and 41.3\% よりも優れたシミールを生成することを示している。
最新のメタファ生成モデル \textit{71\%}\footnote{We average 82\% ,63\%,68\% for three baseline{We average 82\% ,63\% を含む3つのベースラインシステムについて検討した。
ペアで比較した場合の時間。
タイトルのsimileは、私たちの最高のモデルによって生成される。
入力: similes の生成を懸命に、出力: similes \textit{like a Pro} を生成する。
マシン生成ストーリーの最良のモデルから、リテラル文をsimilesに置き換えることで、挑発性が向上し、人間の判断によって受け入れられるようになることも示します。 Literary tropes, from poetry to stories, are at the crux of human imagination and communication. Figurative language such as a simile go beyond plain expressions to give readers new insights and inspirations. In this paper, we tackle the problem of simile generation. Generating a simile requires proper understanding for effective mapping of properties between two concepts. To this end, we first propose a method to automatically construct a parallel corpus by transforming a large number of similes collected from Reddit to their literal counterpart using structured common sense knowledge. We then propose to fine-tune a pretrained sequence to sequence model, BART~\cite{lewis2019bart}, on the literal-simile pairs to gain generalizability, so that we can generate novel similes given a literal sentence. Experiments show that our approach generates $88\%$ novel similes that do not share properties with the training data. Human evaluation on an independent set of literal statements shows that our model generates similes better than two literary experts \textit{37\%}\footnote{We average 32.6\% and 41.3\% for 2 humans.} of the times, and three baseline systems including a recent metaphor generation model \textit{71\%}\footnote{We average 82\% ,63\% and 68\% for three baselines.} of the times when compared pairwise.\footnote{The simile in the title is generated by our best model. Input: Generating similes effortlessly, output: Generating similes \textit{like a Pro}.} We also show how replacing literal sentences with similes from our best model in machine generated stories improves evocativeness and leads to better acceptance by human judges. | 翻訳日:2022-10-17 02:25:22 公開日:2020-10-03 |
| # secure maximum average discrepancy によるプライバシー保護転送学習 Privacy-preserving Transfer Learning via Secure Maximum Mean Discrepancy ( http://arxiv.org/abs/2009.11680v2 ) ライセンス: Link先を確認 | Bin Zhang, Cen Chen, Li Wang | (参考訳) 機械学習アルゴリズムの成功は、高性能なモデルをトレーニングするために、大量の高品質データに依存することが多い。
しかし、データは貴重なリソースであり、現実には、常に異なる当事者によって保持される。
このようなデータ分離問題の効果的な解決策は、複数のパーティが協力してモデルをトレーニングできるフェデレートされた学習を採用することである。
本稿では,データプライバシを損なうことなく,データフェデレーション設定下で効果的な知識伝達を実現するために,同型暗号化に基づく広く使用されている最大平均離散性(SMMD)のセキュアバージョンを提案する。
提案したSMMDは、ソースとターゲットデータ分布を整列する際の転送学習における潜在的な情報漏洩を回避することができる。
その結果、ソースドメインとターゲットドメインの両方が、データを完全に活用して、よりスケーラブルなモデルを構築することができます。
実験の結果,提案するSMMDは安全かつ有効であることが示唆された。 The success of machine learning algorithms often relies on a large amount of high-quality data to train well-performed models. However, data is a valuable resource and are always held by different parties in reality. An effective solution to such a data isolation problem is to employ federated learning, which allows multiple parties to collaboratively train a model. In this paper, we propose a Secure version of the widely used Maximum Mean Discrepancy (SMMD) based on homomorphic encryption to enable effective knowledge transfer under the data federation setting without compromising the data privacy. The proposed SMMD is able to avoid the potential information leakage in transfer learning when aligning the source and target data distribution. As a result, both the source domain and target domain can fully utilize their data to build more scalable models. Experimental results demonstrate that our proposed SMMD is secure and effective. | 翻訳日:2022-10-15 04:14:37 公開日:2020-10-03 |
| # 機械学習による粗いグリッド計算流体力学シミュレーションの強化 Using Machine Learning to Augment Coarse-Grid Computational Fluid Dynamics Simulations ( http://arxiv.org/abs/2010.00072v2 ) ライセンス: Link先を確認 | Jaideep Pathak, Mustafa Mustafa, Karthik Kashinath, Emmanuel Motheau, Thorsten Kurth, Marcus Day | (参考訳) 高レイノルズ数での乱流のシミュレーションは、気候科学、空気力学、燃焼といった様々な分野における多くの工学的および科学的応用に関連する計算上の課題である。
乱流は典型的にはナビエ・ストークス方程式によってモデル化される。
乱流運動のすべてのスケールを捉えるのに十分な数値分解能を持つナビエ・ストークス方程式の直接数値シミュレーション(DNS)は、極めて高価である。
粗いグリッド上の低分解能シミュレーションは重大な誤差をもたらす。
本稿では,高レイノルズ数での乱流の粗いグリッドシミュレーションにより発生する数値誤差を補正し,高分解能場の推定を同時に行うディープニューラルネットワークアーキテクチャに基づく機械学習(ML)手法を提案する。
提案手法は,システムPDEを低分解能で解きながら,意味のある高分解能解軌道を得ることができるハイブリッドML-PDE解法である。
このアプローチは乱流シミュレーションの費用を劇的に削減する可能性がある。
概念実証として,2次元乱流(レイリー数$Ra=10^9$)レイリー-ブエナード対流(RBC)問題に対するML-PDE戦略を実証する。 Simulation of turbulent flows at high Reynolds number is a computationally challenging task relevant to a large number of engineering and scientific applications in diverse fields such as climate science, aerodynamics, and combustion. Turbulent flows are typically modeled by the Navier-Stokes equations. Direct Numerical Simulation (DNS) of the Navier-Stokes equations with sufficient numerical resolution to capture all the relevant scales of the turbulent motions can be prohibitively expensive. Simulation at lower-resolution on a coarse-grid introduces significant errors. We introduce a machine learning (ML) technique based on a deep neural network architecture that corrects the numerical errors induced by a coarse-grid simulation of turbulent flows at high-Reynolds numbers, while simultaneously recovering an estimate of the high-resolution fields. Our proposed simulation strategy is a hybrid ML-PDE solver that is capable of obtaining a meaningful high-resolution solution trajectory while solving the system PDE at a lower resolution. The approach has the potential to dramatically reduce the expense of turbulent flow simulations. As a proof-of-concept, we demonstrate our ML-PDE strategy on a two-dimensional turbulent (Rayleigh Number $Ra=10^9$) Rayleigh-B\'enard Convection (RBC) problem. | 翻訳日:2022-10-13 00:38:30 公開日:2020-10-03 |
| # 深い行列分解 Deep matrix factorizations ( http://arxiv.org/abs/2010.00380v2 ) ライセンス: Link先を確認 | Pierre De Handschutter, Nicolas Gillis, Xavier Siebert | (参考訳) 制約付き低ランク行列近似は何十年もの間、大規模データセットに含まれる情報を関連する方法で抽出できる強力な線形次元減少技術として知られていた。
しかし、そのような低ランクなアプローチは階層的意味論の根底にある複雑なインターリーブされた特徴をマイニングすることはできない。
近年,いくつかの特徴の抽出にdeep matrix factorization (deep mf)が導入された。
deep mfは、概念的にはいくつかのニューラルネットワークパラダイムに近いため、ディープラーニングの成功に動機付けられたものだ。
本稿では,総合的な文献レビューを通じて,深部MFの主なモデル,アルゴリズム,応用について述べる。
また,研究の理論的疑問と展望についても論じる。 Constrained low-rank matrix approximations have been known for decades as powerful linear dimensionality reduction techniques to be able to extract the information contained in large data sets in a relevant way. However, such low-rank approaches are unable to mine complex, interleaved features that underlie hierarchical semantics. Recently, deep matrix factorization (deep MF) was introduced to deal with the extraction of several layers of features and has been shown to reach outstanding performances on unsupervised tasks. Deep MF was motivated by the success of deep learning, as it is conceptually close to some neural networks paradigms. In this paper, we present the main models, algorithms, and applications of deep MF through a comprehensive literature review. We also discuss theoretical questions and perspectives of research. | 翻訳日:2022-10-12 07:26:44 公開日:2020-10-03 |
| # 部分観測型ソーシャルネットワークにおける構造と拡散の合同推論 Joint Inference of Structure and Diffusion in Partially Observed Social Networks ( http://arxiv.org/abs/2010.01400v1 ) ライセンス: Link先を確認 | Maryam Ramezani, Amirmohammad Ziaei, and Hamid R. Rabiee | (参考訳) 大規模ネットワークにおける完全なデータへのアクセスは、しばしば実現不可能である。
したがって、現実のソーシャルネットワークの分析とモデリングにおいて、データ不足の問題は重要かつ避けられない問題である。
しかし、ソーシャルネットワークのさまざまな側面に関する研究の多くは、この制限を考慮していない。
この問題を解決する効果的な方法は、不足したデータを前処理のステップとして回収することです。
本稿では,部分的に観測されたデータからモデルを学習することにより,拡散ネットワークとネットワーク構造の両方から観測されていないデータを推測する。
我々はネットワーク構造と省略拡散活動の隠れリンクを共同で発見する確率的生成モデル「DiffStru」を開発した。
提案手法では,ノードリンクとカスケードプロセス間の相互関係を,学習結合型低次元潜在因子を用いて活用する。
未知のデータの推定に加えて、学習された潜伏要因は、コミュニティ検出などのネットワーク分類問題にも役立つ。
合成および実世界のデータセットのシミュレーション結果は、リンク予測と見えない社会行動の同一性や感染時間の発見の観点から、提案手法の優れた性能を示す。 Access to complete data in large scale networks is often infeasible. Therefore, the problem of missing data is a crucial and unavoidable issue in analysis and modeling of real-world social networks. However, most of the research on different aspects of social networks do not consider this limitation. One effective way to solve this problem is to recover the missing data as a pre-processing step. The present paper tries to infer the unobserved data from both diffusion network and network structure by learning a model from the partially observed data. We develop a probabilistic generative model called "DiffStru" to jointly discover the hidden links of network structure and the omitted diffusion activities. The interrelations among links of nodes and cascade processes are utilized in the proposed method via learning coupled low dimensional latent factors. In addition to inferring the unseen data, the learned latent factors may also help network classification problems such as community detection. Simulation results on synthetic and real-world datasets show the excellent performance of the proposed method in terms of link prediction and discovering the identity and infection time of invisible social behaviors. | 翻訳日:2022-10-11 11:47:34 公開日:2020-10-03 |
| # 極度勾配ブースティングとランキングによるタンパク質構造予測のためのdecoy選択 Decoy Selection for Protein Structure Prediction Via Extreme Gradient Boosting and Ranking ( http://arxiv.org/abs/2010.01441v1 ) ライセンス: Link先を確認 | Nasrin Akhter and Gopinath Chennupati and Hristo Djidjev and Amarda Shehu | (参考訳) 数百万の非ネイティブデコイから1つ以上の生物活性/ネイティブデコイを同定することは、計算構造生物学における大きな課題の1つである。
正および負のサンプル(ネイティブおよび非ネイティブのデコイ)のデコイ集合における極端なバランスの欠如は、問題をさらに複雑にする。
コンセンサス法は、大きなデコイ集合やデコイ集合のクラスタ化に関連するいくつかの問題があるにもかかわらず、デコイ選択の課題を扱うのに成功している。
エネルギーランドスケープに基づくデコイ選択アプローチに関する最近の調査は、将来性を示している。
しかし、様々なテストケースに対する一般化の欠如は、これらの方法のボトルネックである。
テンプレートフリーなデコイ生成によって探索される構造空間に付随するエネルギー景観を利用する機械学習フレームワークである,新しいデコイ選択手法ML-Selectを提案する。
提案手法は, クラスタリング法とエネルギーランク付け法の両方で性能が向上する一方で, 各種テストケースの性能も向上する。
さらに、ML-Selectは、主に低品質のデコイからなるデコイ集合に対しても有望な結果を示す。
ML-Selectはデコイ選択に有用な方法である。
この研究は、テンプレートフリーなタンパク質構造予測におけるデコイ選択のロバストなパフォーマンスを達成するために、機械学習フレームワークを採用するためのより効果的な方法を見つけるためのさらなる研究を示唆している。 Identifying one or more biologically-active/native decoys from millions of non-native decoys is one of the major challenges in computational structural biology. The extreme lack of balance in positive and negative samples (native and non-native decoys) in a decoy set makes the problem even more complicated. Consensus methods show varied success in handling the challenge of decoy selection despite some issues associated with clustering large decoy sets and decoy sets that do not show much structural similarity. Recent investigations into energy landscape-based decoy selection approaches show promises. However, lack of generalization over varied test cases remains a bottleneck for these methods. We propose a novel decoy selection method, ML-Select, a machine learning framework that exploits the energy landscape associated with the structure space probed through a template-free decoy generation. The proposed method outperforms both clustering and energy ranking-based methods, all the while consistently offering better performance on varied test-cases. Moreover, ML-Select shows promising results even for the decoy sets consisting of mostly low-quality decoys. ML-Select is a useful method for decoy selection. This work suggests further research in finding more effective ways to adopt machine learning frameworks in achieving robust performance for decoy selection in template-free protein structure prediction. | 翻訳日:2022-10-11 11:47:02 公開日:2020-10-03 |
| # ユーザ負荷機能K平均クラスタリングによるUAV搭載移動基地局の配置 Placement of UAV-Mounted Mobile Base Station through User Load-Feature K-means Clustering ( http://arxiv.org/abs/2010.01236v1 ) ライセンス: Link先を確認 | Amir Mirzaeinia, Mehdi Mirzaeinia, Mohammad Shekaramiz, Mostafa Hassanalian | (参考訳) セルラーネットワークにおける一時的高トラフィック要求は、解決が難しい問題である。
無人航空機の最近の進歩は、これらの交通をカバーしている。
UAV-Mounted Mobile Base Stations配置は高性能化に難題である。
異なるアプローチが提案されているが、UAV配置ではユーザ要求トラフィックは考慮されていない。
最適なクラスタを見つけるために,K平均クラスタリングに適用する新機能を提案する。
ユーザ要求トラフィックは、UAVにユーザを割り当てる新機能として定義される。
シミュレーションの結果,UAVは高トラフィック利用者に近づき,高い性能を実現することができた。 Temporary high traffic requests in cellular networks is a challenging problem to address. Recent advances in Unmanned Aerial Vehicles applied to cover these types of traffics. UAV -Mounted Mobile Base Stations placement is a challenging problem to achieve high performance. Different approaches have been proposed; however, user required traffic is not considered in UAV placement. We propose a new feature to apply to K-means clustering to find the optimum clusters. User required traffic is defined as a new feature to assign users to the UAVs. Our simulation results show that UAVs could be placed closer to the high traffic users to achieve higher performance. | 翻訳日:2022-10-11 11:46:27 公開日:2020-10-03 |
| # 深部強化学習を用いた非線形エネルギーハーベスティングにおけるトラクター選択 Attractor Selection in Nonlinear Energy Harvesting Using Deep Reinforcement Learning ( http://arxiv.org/abs/2010.01255v1 ) ライセンス: Link先を確認 | Xue-She Wang, Brian P. Mann | (参考訳) 近年の研究では、非線形利用がエネルギー収穫システムの能力を高めることが示されている。
非線形収穫機で生じる主な課題の1つは、非線形性は、望ましい応答と望ましくない応答の両方が共存する複数の誘引子をもたらすことがあることである。
本稿では, 変換-回転磁気伝送に基づく非線形エネルギ回収装置を提案し, 電力出力の異なる共存誘電体を示す。
さらに, 拘束力を有するアトラクタ間のアトラクタ切替を実現するために, 深部強化学習を用いた制御手法を提案した。 Recent research efforts demonstrate that the intentional use of nonlinearity enhances the capabilities of energy harvesting systems. One of the primary challenges that arise in nonlinear harvesters is that nonlinearities can often result in multiple attractors with both desirable and undesirable responses that may co-exist. This paper presents a nonlinear energy harvester which is based on translation-to-rotational magnetic transmission and exhibits coexisting attractors with different levels of electric power output. In addition, a control method using deep reinforcement learning was proposed to realize attractor switching between coexisting attractors with constrained actuation. | 翻訳日:2022-10-11 11:46:18 公開日:2020-10-03 |
| # Asynchronous Stochastic Successive Convex Approximation による実践的プリコーディング Practical Precoding via Asynchronous Stochastic Successive Convex Approximation ( http://arxiv.org/abs/2010.01360v1 ) ライセンス: Link先を確認 | Basil M. Idrees, Javed Akhtar, Ketan Rajawat | (参考訳) 凸非スムース正則化器を有する滑らかな非凸損失関数の確率的最適化を考える。
オンライン環境では、各イテレーションで損失の確率的勾配の1つのサンプルが利用可能である場合、近位確率的勾配降下(proximal stochastic gradient descent, sgd)アルゴリズムとその変種を用いて問題を解くことができる。
しかし、多くの問題、特に通信や信号処理で発生する問題では、損失関数の構造のおかげで確率的勾配を超える情報が得られる。
このような漸進的な情報はSGDでは使われていないが、例えば確率的予想最大化、確率的偏極最小化、確率的連続凸近似(SCA)アプローチなどにおいて有用であることが示されている。
各繰り返しで損失関数の確率的凸を強く支持することにより、確率的SCAアルゴリズムは損失関数の構造特性を利用して、SGDと比較して優れた経験的性能を得ることができる。
本研究では,確率的scaアルゴリズムを詳細に検討し,無線ネットワークにおけるリソース割り当てに使用可能な非同期型を開発した。
確率的SCAアルゴリズムは漸近的に収束することが知られているが、そのイテレーションの複雑さは十分に研究されておらず、現在の作業の焦点となっている。
非漸近解析から得られた知見により、より実用的な確率的SCAアルゴリズムの非同期版を開発し、初期の反復で計算されたサロゲートの使用を可能にする。
我々は、アルゴリズムが許容できる最大遅延の正確な境界を特徴付けるが、同じ収束率を達成できる。
このアルゴリズムを無線センサネットワークにおける線形プリコーディング問題に適用し,低複雑性で実装できるが,実際に機能することを示す。 We consider stochastic optimization of a smooth non-convex loss function with a convex non-smooth regularizer. In the online setting, where a single sample of the stochastic gradient of the loss is available at every iteration, the problem can be solved using the proximal stochastic gradient descent (SGD) algorithm and its variants. However in many problems, especially those arising in communications and signal processing, information beyond the stochastic gradient may be available thanks to the structure of the loss function. Such extra-gradient information is not used by SGD, but has been shown to be useful, for instance in the context of stochastic expectation-maximization, stochastic majorization-minimization, and stochastic successive convex approximation (SCA) approaches. By constructing a stochastic strongly convex surrogates of the loss function at every iteration, the stochastic SCA algorithms can exploit the structural properties of the loss function and achieve superior empirical performance as compared to the SGD. In this work, we take a closer look at the stochastic SCA algorithm and develop its asynchronous variant which can be used for resource allocation in wireless networks. While the stochastic SCA algorithm is known to converge asymptotically, its iteration complexity has not been well-studied, and is the focus of the current work. The insights obtained from the non-asymptotic analysis allow us to develop a more practical asynchronous variant of the stochastic SCA algorithm which allows the use of surrogates calculated in earlier iterations. We characterize precise bound on the maximum delay the algorithm can tolerate, while still achieving the same convergence rate. We apply the algorithm to the problem of linear precoding in wireless sensor networks, where it can be implemented at low complexity but is shown to perform well in practice. | 翻訳日:2022-10-11 11:46:07 公開日:2020-10-03 |
| # 適応型ヘッセン近似確率勾配MCMC法 An adaptive Hessian approximated stochastic gradient MCMC method ( http://arxiv.org/abs/2010.01384v1 ) ライセンス: Link先を確認 | Yating Wang, Wei Deng, Guang Lin | (参考訳) ベイズアプローチはディープニューラルネットワークのトレーニングにうまく統合されている。
1つの一般的なファミリーは確率勾配連鎖モンテカルロ法(SG-MCMC)であり、大きなデータセットを扱うスケーラビリティと過度な適合を避ける能力によって関心が高まりつつある。
標準SG-MCMC法は様々な問題において優れた性能を示したが、対象の後方密度のランダム変数がスケール差がある場合や高い相関性がある場合、非効率である可能性がある。
本研究では,後方からのサンプリング中に局所幾何学情報を組み込む適応型ヘッセン近似確率勾配MCMC法を提案する。
この考え方は確率近似を適用し、各イテレーションで事前条件行列を逐次更新する。
プリコンディショナは、二階情報を有し、サンプリング者のランダムウォークを効率的に導くことができる。
検体後部のHessianを計算・保存する代わりに、サンプルの限られたメモリとその確率勾配を用いて、更新式における逆 Hessian-vector乗法を近似する。
さらに,プレコンディショニング行列をスムーズに最適化することにより,制御可能なバイアスで目標分布に漸近的に収束させることができる。
計算負荷のトレーニングとテストを減らすため,ネットワークのスパース性を強化するために,マグニチュードベースの重みの刈り取り手法を適用した。
本手法はユーザフレンドリで,プリコンディショナの追加による標準SG-MCMC更新ルールにスケーラブルである。
逆ヘッセンのスパース近似は、大次元モデルの記憶と計算複雑性を緩和する。
確率近似によって生じるバイアスは制御可能であり、理論的に解析することができる。
数値実験はいくつかの問題で行われている。 Bayesian approaches have been successfully integrated into training deep neural networks. One popular family is stochastic gradient Markov chain Monte Carlo methods (SG-MCMC), which have gained increasing interest due to their scalability to handle large datasets and the ability to avoid overfitting. Although standard SG-MCMC methods have shown great performance in a variety of problems, they may be inefficient when the random variables in the target posterior densities have scale differences or are highly correlated. In this work, we present an adaptive Hessian approximated stochastic gradient MCMC method to incorporate local geometric information while sampling from the posterior. The idea is to apply stochastic approximation to sequentially update a preconditioning matrix at each iteration. The preconditioner possesses second-order information and can guide the random walk of a sampler efficiently. Instead of computing and saving the full Hessian of the log posterior, we use limited memory of the sample and their stochastic gradients to approximate the inverse Hessian-vector multiplication in the updating formula. Moreover, by smoothly optimizing the preconditioning matrix, our proposed algorithm can asymptotically converge to the target distribution with a controllable bias under mild conditions. To reduce the training and testing computational burden, we adopt a magnitude-based weight pruning method to enforce the sparsity of the network. Our method is user-friendly and is scalable to standard SG-MCMC updating rules by implementing an additional preconditioner. The sparse approximation of inverse Hessian alleviates storage and computational complexities for large dimensional models. The bias introduced by stochastic approximation is controllable and can be analyzed theoretically. Numerical experiments are performed on several problems. | 翻訳日:2022-10-11 11:45:37 公開日:2020-10-03 |
| # ドローン撮影のためのシミュレーション環境 A simulation environment for drone cinematography ( http://arxiv.org/abs/2010.01315v1 ) ライセンス: Link先を確認 | Fan Zhang, David Hall, Tao Xu, Stephen Boyle and David Bull | (参考訳) 本稿では,unreal engine 4 (ue4) で構築された実環境を利用したドローン操作シミュレーションのワークフローを提案する。
フレキシブルでユーザフレンドリーなシミュレーションインタフェースとともに、環境画像キャプチャー、3D再構成(フォトグラム)、および前景資産の作成方法を示す。
選択された領域の地理的位置とカメラパラメーターを考慮し、まず画像キャプチャーのために走査戦略とその関連する飛行パラメータを決定する。
ソース画像は仮想地球ソフトウェアから抽出したり、シーンの空中写真(ドローンなど)を通じて取得することができる。
後者のケースは明らかに時間がかかりますが、特に仮想地球ソフトウェアのカバレッジが制限されている場合に、詳細を拡張できます。
撮影された画像は、フォトグラメトリーソフトウェアを使用した3dバックグラウンド環境モデルを生成するために使用される。
再構成された3Dモデルは、撮影計画とリハーサルの基礎となる適切な前景オブジェクトモデルとともに、背景環境資産としてシミュレーションインターフェースにインポートされる。
このツールは、フリーフライトとパラメータ可能な標準ショットタイプの両方をサポートし、前景アセットとイベントダイナミクスに関連するプログラマブルなシナリオをサポートする。
飛行計画の輸出も支援している。
カメラショットは、撮影中に現れる必要のあるランドマークを適切にカバーするように設計することもできる。
このシミュレーションツールは生産性の向上、安全性の向上(群衆や建物の認識と緩和)、オペレータやディレクターの信頼向上、最終的にはビューアエクスペリエンスの質向上に寄与する。 In this paper, we present a workflow for the simulation of drone operations exploiting realistic background environments constructed within Unreal Engine 4 (UE4). Methods for environmental image capture, 3D reconstruction (photogrammetry) and the creation of foreground assets are presented along with a flexible and user-friendly simulation interface. Given the geographical location of the selected area and the camera parameters employed, the scanning strategy and its associated flight parameters are first determined for image capture. Source imagery can be extracted from virtual globe software or obtained through aerial photography of the scene (e.g. using drones). The latter case is clearly more time consuming but can provide enhanced detail, particularly where coverage of virtual globe software is limited. The captured images are then used to generate 3D background environment models employing photogrammetry software. The reconstructed 3D models are then imported into the simulation interface as background environment assets together with appropriate foreground object models as a basis for shot planning and rehearsal. The tool supports both free-flight and parameterisable standard shot types along with programmable scenarios associated with foreground assets and event dynamics. It also supports the exporting of flight plans. Camera shots can also be designed to provide suitable coverage of any landmarks which need to appear in-shot. This simulation tool will contribute to enhanced productivity, improved safety (awareness and mitigations for crowds and buildings), improved confidence of operators and directors and ultimately enhanced quality of viewer experience. | 翻訳日:2022-10-11 11:40:41 公開日:2020-10-03 |
| # gaussian vector: 顔のランドマーク検出のための効率的な解法 Gaussian Vector: An Efficient Solution for Facial Landmark Detection ( http://arxiv.org/abs/2010.01318v1 ) ライセンス: Link先を確認 | Yilin Xiong, Zijian Zhou, Yuhao Dou and Zhizhong Su | (参考訳) 畳み込みニューラルネットワークの開発により、顔のランドマーク検出に顕著な進歩が見られた。
広く使われているアルゴリズムは座標回帰法とヒートマップに基づく方法に分類される。
しかし、前者は空間的な情報を失うため性能が低下し、後者は大きな出力サイズや処理後の複雑さに苦しむ。
本稿では,空間情報を保存し,出力サイズを小さくし,後処理を簡素化する新しい手法であるガウスベクトルを提案する。
提案手法は,新しいベクトル監督を提供し,ヒートマップをランドマーク毎に一対のベクトルに変換するバンドプーリングモジュールを導入する。
これはシンプルで効果的なプラグアンドプレイコンポーネントです。
さらに、顔境界ボックスからランドマークを処理するために、beyond box戦略が提案されている。
提案手法を300W, COFW, WFLW, JDランドマークで評価した。
これまでの成果を大きく上回る結果が、我々のアプローチの有効性を示している。 Significant progress has been made in facial landmark detection with the development of Convolutional Neural Networks. The widely-used algorithms can be classified into coordinate regression methods and heatmap based methods. However, the former loses spatial information, resulting in poor performance while the latter suffers from large output size or high post-processing complexity. This paper proposes a new solution, Gaussian Vector, to preserve the spatial information as well as reduce the output size and simplify the post-processing. Our method provides novel vector supervision and introduces Band Pooling Module to convert heatmap into a pair of vectors for each landmark. This is a plug-and-play component which is simple and effective. Moreover, Beyond Box Strategy is proposed to handle the landmarks out of the face bounding box. We evaluate our method on 300W, COFW, WFLW and JD-landmark. That the results significantly surpass previous works demonstrates the effectiveness of our approach. | 翻訳日:2022-10-11 11:40:20 公開日:2020-10-03 |
| # Actionet:3D環境におけるタスクベースのデータ収集と拡張のための対話型エンドツーエンドプラットフォーム Actionet: An Interactive End-To-End Platform For Task-Based Data Collection And Augmentation In 3D Environment ( http://arxiv.org/abs/2010.01357v1 ) ライセンス: Link先を確認 | Jiafei Duan, Samson Yu, Hui Li Tan, Cheston Tan | (参考訳) 人工エージェントのタスクプランニングの問題は未解決のままである。
人工エージェントのタスク計画研究におけるデータ駆動型アプローチへの関心が高まっているが、大きなボトルネックは大規模な包括的なタスクベースデータセットの破壊である。
本稿では,データ収集と3次元環境におけるタスクベースデータセット拡張のための対話型エンドツーエンドプラットフォームであるActioNetを提案する。
actionetを使用して,3000以上の階層的タスク構造とビデオからなる,大規模な総合的なタスクベースデータセットを収集した。
階層的なタスク構造を使って、ビデオはさらに50の異なるシーンに拡張され、150,000以上のビデオが提供される。
私たちの知る限り、actionetはこのようなタスクベースのデータセット生成のための最初の対話型エンドツーエンドプラットフォームです。
ActioNetプラットフォームとデータセットが利用可能になり、階層的なタスク計画の研究が容易になる。 The problem of task planning for artificial agents remains largely unsolved. While there has been increasing interest in data-driven approaches for the study of task planning for artificial agents, a significant remaining bottleneck is the dearth of large-scale comprehensive task-based datasets. In this paper, we present ActioNet, an interactive end-to-end platform for data collection and augmentation of task-based dataset in 3D environment. Using ActioNet, we collected a large-scale comprehensive task-based dataset, comprising over 3000 hierarchical task structures and videos. Using the hierarchical task structures, the videos are further augmented across 50 different scenes to give over 150,000 video. To our knowledge, ActioNet is the first interactive end-to-end platform for such task-based dataset generation and the accompanying dataset is the largest task-based dataset of such comprehensive nature. The ActioNet platform and dataset will be made available to facilitate research in hierarchical task planning. | 翻訳日:2022-10-11 11:40:07 公開日:2020-10-03 |
| # 翻訳」にコメントするコード:データ、メトリクス、ベースラインと評価 Code to Comment "Translation": Data, Metrics, Baselining & Evaluation ( http://arxiv.org/abs/2010.01410v1 ) ライセンス: Link先を確認 | David Gros, Hariharan Sezhiyan, Prem Devanbu, Zhou Yu | (参考訳) コードに対するコメントの関係、特にコードによって有用なコメントを生成するタスクは、長い間関心を集めてきた。
初期のアプローチはコメント構造に関する強い構文理論に基づいており、テキストテンプレートに依存していた。
近年、研究者はこのタスクにディープラーニングの手法を適用し、特に自然言語(ドイツ語から英語など)の翻訳に非常に適していることが知られている、訓練可能な生成翻訳モデルを適用している。
コメント生成のタスクは自然言語間の翻訳のタスクと十分に類似しており、類似したモデルや評価指標が利用できるという前提を慎重に検討する。
このタスクのために、codenn、deepcom、funcom、docstringといった最近のコードコミットデータセットを分析した。
WMT19と比較し、アート自然言語翻訳者の状態のトレーニングに頻繁に使用される標準データセットと比較する。
我々は、コードコミットデータとwmt19自然言語データとの間にいくつかの興味深い違いを発見した。
次に、BLEU(コメント品質の指標として一般的に用いられる)の校正のためのいくつかの研究について述べる。
異なるプロジェクト、同じプロジェクト、同じクラスなどからのメソッドの"アフィニティペア"を同じクラス内で使用すること。
我々はまた、このタスクにおいてかなり単純な情報検索(IR)手法は妥当なベースラインと見なすのに十分であると主張する。
最後に,この領域における今後の研究において,我々の研究成果をどのように活用するかについて提案する。 The relationship of comments to code, and in particular, the task of generating useful comments given the code, has long been of interest. The earliest approaches have been based on strong syntactic theories of comment-structures, and relied on textual templates. More recently, researchers have applied deep learning methods to this task, and specifically, trainable generative translation models which are known to work very well for Natural Language translation (e.g., from German to English). We carefully examine the underlying assumption here: that the task of generating comments sufficiently resembles the task of translating between natural languages, and so similar models and evaluation metrics could be used. We analyze several recent code-comment datasets for this task: CodeNN, DeepCom, FunCom, and DocString. We compare them with WMT19, a standard dataset frequently used to train state of the art natural language translators. We found some interesting differences between the code-comment data and the WMT19 natural language data. Next, we describe and conduct some studies to calibrate BLEU (which is commonly used as a measure of comment quality). using "affinity pairs" of methods, from different projects, in the same project, in the same class, etc; Our study suggests that the current performance on some datasets might need to be improved substantially. We also argue that fairly naive information retrieval (IR) methods do well enough at this task to be considered a reasonable baseline. Finally, we make some suggestions on how our findings might be used in future research in this area. | 翻訳日:2022-10-11 11:39:22 公開日:2020-10-03 |
| # 対立摂動に頑健なアートメディア分類のための深層遺伝的プログラミング手法 A Deep Genetic Programming based Methodology for Art Media Classification Robust to Adversarial Perturbations ( http://arxiv.org/abs/2010.01238v1 ) ライセンス: Link先を確認 | Gustavo Olague and Gerardo Ibarra-Vazquez and Mariana Chan-Ley and Cesar Puente and Carlos Soubervielle-Montalvo and Axel Martinez | (参考訳) 美術メディア分類問題(Art Media Classification problem)は,高価値美術品の特徴の複雑な抽出と分析によって注目されている研究分野である。
人間は自動的な観察の信頼性を確保しながら、アートワークのバイアスのある解釈に従うことがあるため、属性の認識は主観的ではない。
機械学習は、手作りの特徴検出器を設計する代わりに、画像から人工的特徴抽出の学習プロセスを通じて、多くの領域で性能を上げた。
しかし、入力画像(敵攻撃)に意図的に小さな摂動がある場合、その予測は完全に変更できるため、信頼性に関する大きな懸念が注目されている。
この方法では,(1)現在のニューラルネットワーク手法における敵対的攻撃の問題を解決するか,(2)敵対的攻撃の影響を伴わずに深層学習に挑戦できる別のアプローチを提案する。
最初の攻撃はまだ解決されておらず、敵の攻撃はさらに複雑になっている。
そのため、この研究は、深層学習と競合する深層遺伝プログラミング(Brain Programming)と呼ばれる手法を提示し、アート専門家が作成した2つのアートデータベースを用いて、敵対的攻撃の伝達可能性を研究する。
その結果,Brain Programming法はAlexNetと比較して性能を保ち,これらの摂動に頑健であり,Deep Learningのパフォーマンスと競合することを示す。 Art Media Classification problem is a current research area that has attracted attention due to the complex extraction and analysis of features of high-value art pieces. The perception of the attributes can not be subjective, as humans sometimes follow a biased interpretation of artworks while ensuring automated observation's trustworthiness. Machine Learning has outperformed many areas through its learning process of artificial feature extraction from images instead of designing handcrafted feature detectors. However, a major concern related to its reliability has brought attention because, with small perturbations made intentionally in the input image (adversarial attack), its prediction can be completely changed. In this manner, we foresee two ways of approaching the situation: (1) solve the problem of adversarial attacks in current neural networks methodologies, or (2) propose a different approach that can challenge deep learning without the effects of adversarial attacks. The first one has not been solved yet, and adversarial attacks have become even more complex to defend. Therefore, this work presents a Deep Genetic Programming method, called Brain Programming, that competes with deep learning and studies the transferability of adversarial attacks using two artworks databases made by art experts. The results show that the Brain Programming method preserves its performance in comparison with AlexNet, making it robust to these perturbations and competing to the performance of Deep Learning. | 翻訳日:2022-10-11 11:38:28 公開日:2020-10-03 |
| # 逆領域特徴適応を用いた夜間画像の教師なし単眼深度推定 Unsupervised Monocular Depth Estimation for Night-time Images using Adversarial Domain Feature Adaptation ( http://arxiv.org/abs/2010.01402v1 ) ライセンス: Link先を確認 | Madhu Vankadari, Sourav Garg, Anima Majumder, Swagat Kumar, and Ardhendu Behera | (参考訳) 本稿では,未拘束のrgb単眼夜間画像からピクセル単位の深度マップを推定する問題について検討する。
現状の日時深度推定法は,その間に大きなドメインシフトがあるため,夜間画像でテストした場合に不都合に失敗する。
これらのネットワークのトレーニングに使用される通常のフォトメトリックの損失は、昼間画像によく見られる均一な照明がないため、夜間画像では役に立たないため、解決が難しい。
そこで本稿では,昼夜画像で訓練されたネットワークを夜間画像に適応させるドメイン適応問題として,この問題を解決することを提案する。
具体的には、PatchGANに基づく敵対的識別学習法を用いて、昼間画像と区別できない夜間画像から特徴を生成するために、エンコーダを訓練する。
ネットワークの深度予測(ネットワーク出力)を直接適用する既存の手法とは違って,エンコーダネットワークから得られた特徴マップを適応させて,事前学習した日時深度デコーダを直接使用して,これらの特徴から深度を予測する方法を提案する。
したがって、この手法は「Adversarial Domain Feature Adaptation (ADFA)」と呼ばれ、オックスフォードの夜間運転データセットに挑戦する実験を通してその効果を実証する。
また,ADFA方式のモジュール型エンコーダデコーダアーキテクチャでは,他の多くのアプリケーションで使用可能な機能抽出器としてエンコーダモジュールを利用することができる。
適応エンコーダネットワークから得られた特徴が視覚的位置認識問題において他の最先端手法よりも優れており、提案手法の有用性と有効性がさらに確立されることを示す。 In this paper, we look into the problem of estimating per-pixel depth maps from unconstrained RGB monocular night-time images which is a difficult task that has not been addressed adequately in the literature. The state-of-the-art day-time depth estimation methods fail miserably when tested with night-time images due to a large domain shift between them. The usual photo metric losses used for training these networks may not work for night-time images due to the absence of uniform lighting which is commonly present in day-time images, making it a difficult problem to solve. We propose to solve this problem by posing it as a domain adaptation problem where a network trained with day-time images is adapted to work for night-time images. Specifically, an encoder is trained to generate features from night-time images that are indistinguishable from those obtained from day-time images by using a PatchGAN-based adversarial discriminative learning method. Unlike the existing methods that directly adapt depth prediction (network output), we propose to adapt feature maps obtained from the encoder network so that a pre-trained day-time depth decoder can be directly used for predicting depth from these adapted features. Hence, the resulting method is termed as "Adversarial Domain Feature Adaptation (ADFA)" and its efficacy is demonstrated through experimentation on the challenging Oxford night driving dataset. Also, The modular encoder-decoder architecture for the proposed ADFA method allows us to use the encoder module as a feature extractor which can be used in many other applications. One such application is demonstrated where the features obtained from our adapted encoder network are shown to outperform other state-of-the-art methods in a visual place recognition problem, thereby, further establishing the usefulness and effectiveness of the proposed approach. | 翻訳日:2022-10-11 11:37:48 公開日:2020-10-03 |
| # Async-RED:Deep Denoising Priorsを用いた,おそらく収束した非同期ブロック並列確率法 Async-RED: A Provably Convergent Asynchronous Block Parallel Stochastic Method using Deep Denoising Priors ( http://arxiv.org/abs/2010.01446v1 ) ライセンス: Link先を確認 | Yu Sun, Jiaming Liu, Yiran Sun, Brendt Wohlberg, Ulugbek S. Kamilov | (参考訳) Denoising (RED) による正規化は、画像の先行として高度な denoiser を統合することで、逆問題を解決するための最近開発されたフレームワークである。
最近の研究は、事前訓練されたディープデノイザーと組み合わせることで、最先端の性能を示している。
しかし、現在のREDアルゴリズムはマルチコアシステムでの並列処理には不十分である。
本稿では,データの非同期並列処理を可能にする新しい非同期RED(ASYNC-RED)アルゴリズムを提案することでこの問題に対処する。
ASYNC-REDの計算複雑性は、各イテレーションにおける測定のランダムなサブセットを使用することにより、さらに減少する。
本研究では,データ忠実性とデノイザーに対する明示的な仮定の下での収束性を確立することにより,アルゴリズムの完全理論的解析を行う。
我々は,事前訓練したディープデノイザを先行として,画像回復におけるASYNC-REDの有効性を検証した。 Regularization by denoising (RED) is a recently developed framework for solving inverse problems by integrating advanced denoisers as image priors. Recent work has shown its state-of-the-art performance when combined with pre-trained deep denoisers. However, current RED algorithms are inadequate for parallel processing on multicore systems. We address this issue by proposing a new asynchronous RED (ASYNC-RED) algorithm that enables asynchronous parallel processing of data, making it significantly faster than its serial counterparts for large-scale inverse problems. The computational complexity of ASYNC-RED is further reduced by using a random subset of measurements at every iteration. We present complete theoretical analysis of the algorithm by establishing its convergence under explicit assumptions on the data-fidelity and the denoiser. We validate ASYNC-RED on image recovery using pre-trained deep denoisers as priors. | 翻訳日:2022-10-11 11:36:54 公開日:2020-10-03 |
| # x線およびct画像からcovid-19を検出するための自動機械学習サービスの評価 - スマートフォンのリアルタイム応用例 Assessing Automated Machine Learning service to detect COVID-19 from X-Ray and CT images: A Real-time Smartphone Application case study ( http://arxiv.org/abs/2010.02715v1 ) ライセンス: Link先を確認 | Razib Mustafiz, Khaled Mohsin | (参考訳) SARS COV-2の最近の流行は、非介入的で持続可能なAIソリューションを研究するユニークな機会となった。
肺疾患は、世界中で高い死亡率と死亡率を持つ主要な医療課題である。
主な肺疾患は肺癌であった。
最近まで、世界は新型コロナウイルス(COVID-19)の世界的な流行を目撃してきた。
我々は、肺と心臓のウイルス感染が世界中で数千人の命を奪った経験がある。
近年の人工知能の先例のない進歩により、機械学習は医療画像の検出と分類に利用することができる。
これはヒトの放射線学者よりもはるかに高速で精度が高い。
一度実装すると、コスト効率が上がり、時間を節約できます。
X線およびCT画像による他のウイルス/細菌性肺炎からのCOVID19誘発肺炎の検出と分類におけるMicrosoft Cognitive Serviceの有効性について検討した。
我々は,医療画像診断の分野で,自動MLベースのRapid Application Development(RAD)環境の意義と正確性を評価したかった。
この研究は、COVID-19のようなパンデミックな状況に対して、MLベースの診断決定支援システム(DSS)に反応するのに適したものである。
最適化後、トレーニングされたネットワークは平均96.8%の精度を達成した。
しかし、リアルタイム推論のためにスマートフォンに移植された場合、同じ訓練を受けたネットワークはWebアプリケーションのように動作しなかった。
それが我々の研究の主な関心だった。
著者らはこの問題についてさらなる研究の余地があると考えている。
本研究の主な目的の1つは,AIを用いたスマートフォンを用いたリアルタイムアプリケーションの性能評価である。
信頼性の低い地域医療センターで、信頼性の低いインターネットサービスで一次診断サービスを提供する。 The recent outbreak of SARS COV-2 gave us a unique opportunity to study for a non interventional and sustainable AI solution. Lung disease remains a major healthcare challenge with high morbidity and mortality worldwide. The predominant lung disease was lung cancer. Until recently, the world has witnessed the global pandemic of COVID19, the Novel coronavirus outbreak. We have experienced how viral infection of lung and heart claimed thousands of lives worldwide. With the unprecedented advancement of Artificial Intelligence in recent years, Machine learning can be used to easily detect and classify medical imagery. It is much faster and most of the time more accurate than human radiologists. Once implemented, it is more cost-effective and time-saving. In our study, we evaluated the efficacy of Microsoft Cognitive Service to detect and classify COVID19 induced pneumonia from other Viral/Bacterial pneumonia based on X-Ray and CT images. We wanted to assess the implication and accuracy of the Automated ML-based Rapid Application Development (RAD) environment in the field of Medical Image diagnosis. This study will better equip us to respond with an ML-based diagnostic Decision Support System(DSS) for a Pandemic situation like COVID19. After optimization, the trained network achieved 96.8% Average Precision which was implemented as a Web Application for consumption. However, the same trained network did not perform the same like Web Application when ported to Smartphone for Real-time inference. Which was our main interest of study. The authors believe, there is scope for further study on this issue. One of the main goal of this study was to develop and evaluate the performance of AI-powered Smartphone-based Real-time Application. Facilitating primary diagnostic services in less equipped and understaffed rural healthcare centers of the world with unreliable internet service. | 翻訳日:2022-10-11 11:36:39 公開日:2020-10-03 |
| # hit ratio:ハッシュタグ推薦のための評価指標 Hit ratio: An Evaluation Metric for Hashtag Recommendation ( http://arxiv.org/abs/2010.01258v1 ) ライセンス: Link先を確認 | Areej Alsini, Du Q. Huynh, Amitava Datta | (参考訳) ハッシュタグのレコメンデーションは重要なタスクであり、特に過去10年間にTwitterのようなソーシャルメディアプラットフォームを使うことへの関心が高まっている。
ハッシュタグレコメンデーションシステムは、ツイートを書きながら自動的にハッシュタグをユーザに提案する。
ハッシュタグレコメンデーション領域の研究の多くは、ハッシュタグレコメンデーションシステムの精度を測定するために、ヒットレート、精度、リコール、F1スコアといった古典的な指標を使用してきた。
これらの指標は、推奨ハッシュタグと対応する基底真理との正確な一致に基づいている。
しかし、これらの指標がハッシュタグのレコメンデーションを評価するのにどの程度適しているかは明らかではない。
これらの指標は、ツイート中の真実のハッシュタグの数が非常に変動している場合にハッシュタグレコメンデーションシステムを評価するのに十分なのか?
本稿では,ハッシュタグ推薦のためのヒット率と呼ばれる新しい指標を提案する。
一連のハッシュタグレコメンデーションモデルにおける仮説例と実世界の応用による広範囲な評価は、ヒット比が有用な指標であることを示している。
ヒット率と古典的評価指標を比較すると,その限界が明らかになる。 Hashtag recommendation is a crucial task, especially with an increase of interest in using social media platforms such as Twitter in the last decade. Hashtag recommendation systems automatically suggest hashtags to a user while writing a tweet. Most of the research in the area of hashtag recommendation have used classical metrics such as hit rate, precision, recall, and F1-score to measure the accuracy of hashtag recommendation systems. These metrics are based on the exact match of the recommended hashtags with their corresponding ground truth. However, it is not clear how adequate these metrics to evaluate hashtag recommendation. The research question that we are interested in seeking an answer is: are these metrics adequate for evaluating hashtag recommendation systems when the numbers of ground truth hashtags in tweets are highly variable? In this paper, we propose a new metric which we call hit ratio for hashtag recommendation. Extensive evaluation through hypothetical examples and real-world application across a range of hashtag recommendation models indicate that the hit ratio is a useful metric. A comparison of hit ratio with the classical evaluation metrics reveals their limitations. | 翻訳日:2022-10-11 11:35:52 公開日:2020-10-03 |
| # クロスドキュメントによるマルチレベルテキストアライメント Multilevel Text Alignment with Cross-Document Attention ( http://arxiv.org/abs/2010.01263v1 ) ライセンス: Link先を確認 | Xuhui Zhou, Nikolaos Pappas, Noah A. Smith | (参考訳) テキストアライメントは引用レコメンデーションや盗作検出などのタスクで応用されている。
既存のアライメントメソッドは、1つの事前定義されたレベルで動作し、例えば文や文書のレベルでテキストのアライメントを学べない。
本稿では,文書を文書横断的に表現するための階層的アテンションエンコーダを新たに導入し,文書間(文書間)と文書間(文書間)の構造的比較を可能にする学習手法を提案する。
私たちのコンポーネントはドキュメントペアから弱く管理されており、複数のレベルで調整することができます。
提案手法は,文書間の構造的対応を意識しない再帰的・変換的文脈化に基づく階層的,注意的エンコーダよりも優れていることを示す。 Text alignment finds application in tasks such as citation recommendation and plagiarism detection. Existing alignment methods operate at a single, predefined level and cannot learn to align texts at, for example, sentence and document levels. We propose a new learning approach that equips previously established hierarchical attention encoders for representing documents with a cross-document attention component, enabling structural comparisons across different levels (document-to-document and sentence-to-document). Our component is weakly supervised from document pairs and can align at multiple levels. Our evaluation on predicting document-to-document relationships and sentence-to-document relationships on the tasks of citation recommendation and plagiarism detection shows that our approach outperforms previously established hierarchical, attention encoders based on recurrent and transformer contextualization that are unaware of structural correspondence between documents. | 翻訳日:2022-10-11 09:12:38 公開日:2020-10-03 |
| # 遠隔監視による部分整合データ対テキスト生成 Partially-Aligned Data-to-Text Generation with Distant Supervision ( http://arxiv.org/abs/2010.01268v1 ) ライセンス: Link先を確認 | Zihao Fu, Bei Shi, Wai Lam, Lidong Bing, Zhiyuan Liu | (参考訳) data-to-textタスクは、与えられた構造化データを記述するための人読み可能なテキストを生成することを目的としている。
しかしながら、典型的な生成タスクは、入手が困難でコストがかかる整列したデータを必要とするため、いくつかの特定のドメインに限定される。
部分的に整合したデータを使用することは、データセットの不足問題を解決する方法のひとつだ。
この種のデータは、自動的に生成できるので、入手がずっと簡単です。
しかし、この種のデータを使用することで、既存のモデルでは過剰な問題が発生し、生成手順中に無関係な抜粋を追加する傾向があります。
自動アノテートされた部分アライメントデータセットを効果的に活用するために、従来の生成タスクをPADTG(Partially-Aligned Data-to-Text Generation)と呼ばれる洗練されたタスクに拡張する。
この新しい課題に取り組むために,新しい遠隔監督生成フレームワークを提案する。
まず、対象単語毎の入力データの支持度を推定器で推定し、その後、サポート性適応器とリバランスビーム探索を適用して、訓練および生成段階における過剰発生問題を活用する。
また、ウィキペディアから文をサンプリングし、Wikidataから各文に対応するKBトリプルを自動的に抽出することで、https://github.com/fuzihaofzh/distant_supervision_nlgからデータとソースコードを得ることが出来る。
実験の結果,本フレームワークはすべてのベースラインモデルを上回る性能を示し,部分整合データの利用可能性を検証する。 The Data-to-Text task aims to generate human-readable text for describing some given structured data enabling more interpretability. However, the typical generation task is confined to a few particular domains since it requires well-aligned data which is difficult and expensive to obtain. Using partially-aligned data is an alternative way of solving the dataset scarcity problem. This kind of data is much easier to obtain since it can be produced automatically. However, using this kind of data induces the over-generation problem posing difficulties for existing models, which tends to add unrelated excerpts during the generation procedure. In order to effectively utilize automatically annotated partially-aligned datasets, we extend the traditional generation task to a refined task called Partially-Aligned Data-to-Text Generation (PADTG) which is more practical since it utilizes automatically annotated data for training and thus considerably expands the application domains. To tackle this new task, we propose a novel distant supervision generation framework. It firstly estimates the input data's supportiveness for each target word with an estimator and then applies a supportiveness adaptor and a rebalanced beam search to harness the over-generation problem in the training and generation phases respectively. We also contribute a partially-aligned dataset (The data and source code of this paper can be obtained from https://github.com/fuzihaofzh/distant_supervision_nlg by sampling sentences from Wikipedia and automatically extracting corresponding KB triples for each sentence from Wikidata. The experimental results show that our framework outperforms all baseline models as well as verify the feasibility of utilizing partially-aligned data. | 翻訳日:2022-10-11 09:12:26 公開日:2020-10-03 |
| # パラグラフ効果の解釈的推論に向けて Towards Interpretable Reasoning over Paragraph Effects in Situation ( http://arxiv.org/abs/2010.01272v1 ) ライセンス: Link先を確認 | Mucheng Ren, Xiubo Geng, Tao Qin, Heyan Huang, Daxin Jiang | (参考訳) 本稿では,背景項に記載された原因や影響をモデルで理解し,その知識を新たな状況に応用することが必要な状況において,段落効果を推論する作業に焦点をあてる。
既存の作業では複雑な推論プロセスを無視し、ワンステップの"ブラックボックス"モデルで解きます。
本稿では,人間の認知過程に着想を得て,ニューラルネットワークモジュールを用いて推論過程の各ステップを明示的にモデル化する手法を提案する。
特に、5つの推論モジュールはエンドツーエンドで設計され、学習され、より解釈可能なモデルとなる。
ROPESデータセットの実験結果は,提案手法の有効性と説明可能性を示している。 We focus on the task of reasoning over paragraph effects in situation, which requires a model to understand the cause and effect described in a background paragraph, and apply the knowledge to a novel situation. Existing works ignore the complicated reasoning process and solve it with a one-step "black box" model. Inspired by human cognitive processes, in this paper we propose a sequential approach for this task which explicitly models each step of the reasoning process with neural network modules. In particular, five reasoning modules are designed and learned in an end-to-end manner, which leads to a more interpretable model. Experimental results on the ROPES dataset demonstrate the effectiveness and explainability of our proposed approach. | 翻訳日:2022-10-11 09:11:56 公開日:2020-10-03 |
| # 自然言語対応例生成のための幾何学的インスパイア攻撃 A Geometry-Inspired Attack for Generating Natural Language Adversarial Examples ( http://arxiv.org/abs/2010.01345v1 ) ライセンス: Link先を確認 | Zhao Meng, Roger Wattenhofer | (参考訳) 自然言語は離散的な記号で構成されており、例はしばしば可変長であるので、自然言語の逆例の生成は困難である。
本稿では,自然言語の逆例を生成するための幾何学的攻撃を提案する。
我々の攻撃は、Deep Neural Networks (DNN) の決定境界を反復的に近似することで敵の例を生成する。
2つの異なるモデルによる2つのデータセットの実験から、我々の攻撃はいくつかの単語を置き換えつつ、高い成功率で自然言語モデルを騙すことが示されている。
人間による評価は、我々の攻撃によって生じる敵の例は、人間が認識することが難しいことを示している。
さらなる実験により、敵の訓練は攻撃に対するモデル堅牢性を向上できることが示された。 Generating adversarial examples for natural language is hard, as natural language consists of discrete symbols, and examples are often of variable lengths. In this paper, we propose a geometry-inspired attack for generating natural language adversarial examples. Our attack generates adversarial examples by iteratively approximating the decision boundary of Deep Neural Networks (DNNs). Experiments on two datasets with two different models show that our attack fools natural language models with high success rates, while only replacing a few words. Human evaluation shows that adversarial examples generated by our attack are hard for humans to recognize. Further experiments show that adversarial training can improve model robustness against our attack. | 翻訳日:2022-10-11 09:11:26 公開日:2020-10-03 |
| # 深部畳み込みニューラルネットワークを用いた野生における表情認識 Deep Convolutional Neural Network Based Facial Expression Recognition in the Wild ( http://arxiv.org/abs/2010.01301v1 ) ライセンス: Link先を確認 | Hafiq Anas, Bacha Rehman, Wee Hong Ong | (参考訳) 本稿では、ABAW(Affective Behavior Analysis in-the-wild)コンペティション2020のChallengeTrack 2(Expr Challenge Track)に参加する際の方法論、使用データ、および結果について述べる。
このコンペティションでは,提案する深層畳み込みニューラルネットワーク(cnn)モデルを用いて,与えられたデータセット上で自動表情認識(afer)を行う。
提案モデルは,検証セットにおいて,精度50.77%,f1スコア29.16%を達成している。 This paper describes the proposed methodology, data used and the results of our participation in the ChallengeTrack 2 (Expr Challenge Track) of the Affective Behavior Analysis in-the-wild (ABAW) Competition 2020. In this competition, we have used a proposed deep convolutional neural network (CNN) model to perform automatic facial expression recognition (AFER) on the given dataset. Our proposed model has achieved an accuracy of 50.77% and an F1 score of 29.16% on the validation set. | 翻訳日:2022-10-11 09:09:43 公開日:2020-10-03 |
| # プライベートピアリングにおけるトラフィックオーバーフロー予測 Predicting traffic overflows on private peering ( http://arxiv.org/abs/2010.01380v1 ) ライセンス: Link先を確認 | Elad Rapaport, Ingmar Poese, Polina Zilberman, Oliver Holschke, Rami Puzis | (参考訳) 大規模コンテンツプロバイダとコンテンツ配信ネットワークオペレータは通常、専用のプライベートピアリングを通じて大規模インターネットサービスプロバイダ(eyeballネットワーク)と接続する。
これらのプライベートネットワーク相互接続の容量は、ユーザによる実際のコンテンツ要求のボリュームに合わせて設定される。
残念なことに、例えば、ある国でコンテンツがトレンドになっているため、トラフィック需要が急増した場合、プライベートインターコネクトの容量が枯渇し、コンテンツプロバイダ/ディストリビューターは、トランジットプロバイダを介して余分なトラフィックを振り替えなければならない。
このようなオーバーフローイベントは稀だが、コンテンツプロバイダ、インターネットサービスプロバイダ、エンドユーザに大きな悪影響がある。
これには、予期せぬ遅延やユーザエクスペリエンスの品質低下、インターネットサービスプロバイダがトランジットプロバイダに支払う直接的なコストなどが含まれる。
もしトラフィックオーバーフローイベントが予測できれば、インターネットサービスプロバイダは、過度のトラフィックのために選択されたルートに影響を与え、コストを削減し、ユーザエクスペリエンスの品質を向上させることができるだろう。
本稿では,2～6時間の短期的地平線上でのオーバーフローイベントを予測し,オーバーフロートラフィックを阻害する特定の相互接続を予測するための,ディープラーニングモデルに基づく手法を提案する。
この手法は、ヨーロッパの大手インターネットサービスプロバイダから2.5年間のトラフィック測定データを用いて評価され、真正率は0.8であり、偽陽性率は0.05である。
新型コロナウイルス(covid-19)パンデミックによるロックダウンにより、オーバーフロー予測の精度が低下した。
それにもかかわらず、2020年4月末から徐々にロックダウンが解除され、パンデミック前にトレーニングされた古いモデルは等しく機能する。 Large content providers and content distribution network operators usually connect with large Internet service providers (eyeball networks) through dedicated private peering. The capacity of these private network interconnects is provisioned to match the volume of the real content demand by the users. Unfortunately, in case of a surge in traffic demand, for example due to a content trending in a certain country, the capacity of the private interconnect may deplete and the content provider/distributor would have to reroute the excess traffic through transit providers. Although, such overflow events are rare, they have significant negative impacts on content providers, Internet service providers, and end-users. These include unexpected delays and disruptions reducing the user experience quality, as well as direct costs paid by the Internet service provider to the transit providers. If the traffic overflow events could be predicted, the Internet service providers would be able to influence the routes chosen for the excess traffic to reduce the costs and increase user experience quality. In this article we propose a method based on an ensemble of deep learning models to predict overflow events over a short term horizon of 2-6 hours and predict the specific interconnections that will ingress the overflow traffic. The method was evaluated with 2.5 years' traffic measurement data from a large European Internet service provider resulting in a true-positive rate of 0.8 while maintaining a 0.05 false-positive rate. The lockdown imposed by the COVID-19 pandemic reduced the overflow prediction accuracy. Nevertheless, starting from the end of April 2020 with the gradual lockdown release, the old models trained before the pandemic perform equally well. | 翻訳日:2022-10-11 09:04:16 公開日:2020-10-03 |
| # フェデレーションラーニングにおけるクライアント選択:収束分析とChoice選択戦略 Client Selection in Federated Learning: Convergence Analysis and Power-of-Choice Selection Strategies ( http://arxiv.org/abs/2010.01243v1 ) ライセンス: Link先を確認 | Yae Jee Cho and Jianyu Wang and Gauri Joshi | (参考訳) フェデレートラーニング(Federated Learning)は、多数のリソース制限されたクライアントノードがデータ共有なしで協調的にモデルをトレーニングできる分散最適化パラダイムである。
いくつかの研究は、データの不均一性、通信と計算の制限、および部分的なクライアント参加を考慮し、連合学習の収束を分析した。
しかし彼らは、クライアントがランダムに、あるいはデータサイズの割合で選択される、偏見のないクライアント参加を前提としている。
本稿では,バイアスドクライアント選択戦略におけるフェデレーション最適化の最初の収束解析を行い,選択バイアスが収束速度に与える影響を定量化する。
局所的損失の高いクライアントに対するクライアント選択の偏りは,エラー収束の高速化を実現する。
この知見を用いて,収束速度と解バイアスのトレードオフを柔軟に乗り越える通信と計算効率のよいクライアント選択フレームワークpower-of-choiceを提案する。
実験の結果,パワー・オブ・チョイスの戦略は3$\times$高速に収束し,ベースラインのランダム選択よりも10$%高いテスト精度が得られた。 Federated learning is a distributed optimization paradigm that enables a large number of resource-limited client nodes to cooperatively train a model without data sharing. Several works have analyzed the convergence of federated learning by accounting of data heterogeneity, communication and computation limitations, and partial client participation. However, they assume unbiased client participation, where clients are selected at random or in proportion of their data sizes. In this paper, we present the first convergence analysis of federated optimization for biased client selection strategies, and quantify how the selection bias affects convergence speed. We reveal that biasing client selection towards clients with higher local loss achieves faster error convergence. Using this insight, we propose Power-of-Choice, a communication- and computation-efficient client selection framework that can flexibly span the trade-off between convergence speed and solution bias. Our experiments demonstrate that Power-of-Choice strategies converge up to 3 $\times$ faster and give $10$% higher test accuracy than the baseline random selection. | 翻訳日:2022-10-11 09:03:49 公開日:2020-10-03 |
| # NLPのための差分表現:形式的保証とプライバシと公正性に関する実証的研究 Differentially Private Representation for NLP: Formal Guarantee and An Empirical Study on Privacy and Fairness ( http://arxiv.org/abs/2010.01285v1 ) ライセンス: Link先を確認 | Lingjuan Lyu, Xuanli He, Yitong Li | (参考訳) 深層モデルによって学習された隠れ表現は入力のプライベート情報をエンコードできるため、妥当な精度でそれらの情報を復元することができる。
そこで本研究では,テキストから抽出した表現のプライバシを保護するために,DPNR(differially Private Neural Representation)と呼ばれる新しい手法を提案する。
DPNRは、正式なプライバシー保証を提供するために差分プライバシー(DP)を利用している。
さらに、ドロップアウトで単語をマスキングすることで、プライバシーをさらに強化できることを示す。
学習表現の有用性を維持するために,dp-noisy表現をロバストなトレーニングプロセスに統合し,ロバストなターゲットモデルを導出する。
パラメータ設定によるベンチマークデータセットの実験結果から,DPNRはメインタスクのパフォーマンスを著しく損なうことなく,プライバシリークを大幅に低減することが示された。 It has been demonstrated that hidden representation learned by a deep model can encode private information of the input, hence can be exploited to recover such information with reasonable accuracy. To address this issue, we propose a novel approach called Differentially Private Neural Representation (DPNR) to preserve the privacy of the extracted representation from text. DPNR utilises Differential Privacy (DP) to provide a formal privacy guarantee. Further, we show that masking words via dropout can further enhance privacy. To maintain utility of the learned representation, we integrate DP-noisy representation into a robust training process to derive a robust target model, which also helps for model fairness over various demographic variables. Experimental results on benchmark datasets under various parameter settings demonstrate that DPNR largely reduces privacy leakage without significantly sacrificing the main task performance. | 翻訳日:2022-10-11 09:03:05 公開日:2020-10-03 |
| # スパース量子化スペクトルクラスタリング Sparse Quantized Spectral Clustering ( http://arxiv.org/abs/2010.01376v1 ) ライセンス: Link先を確認 | Zhenyu Liao, Romain Couillet, Michael W. Mahoney | (参考訳) 大規模データ行列が与えられた場合、他のエントリーワイド非線形演算は、コア数値線形代数問題に対する反復アルゴリズムの高速化から、最先端のニューラルネットワークモデルの設計のための非線形フィルタの提供まで、多くの利点がある。
本稿では,ランダム行列理論のツールを用いて,行列の固有スペクトルがこのような非線形変換の下でどのように変化するかを正確に述べる。
特に,著しいスパース化/量子化の下でも情報的固有構造にはほとんど変化が見られないことを示し,その結果,非常に積極的なスパース化または量子化スペクトルクラスタリングによって下流性能の損失がほとんど生じないことを示した。
これらの結果がいかに非線形性に依存するかを説明し、スペクトルクラスタリングが可能である相転移を特徴付けるとともに、そのような非線形変換が突発的でない固有ベクトルを導入できることを示す。 Given a large data matrix, sparsifying, quantizing, and/or performing other entry-wise nonlinear operations can have numerous benefits, ranging from speeding up iterative algorithms for core numerical linear algebra problems to providing nonlinear filters to design state-of-the-art neural network models. Here, we exploit tools from random matrix theory to make precise statements about how the eigenspectrum of a matrix changes under such nonlinear transformations. In particular, we show that very little change occurs in the informative eigenstructure even under drastic sparsification/quantization, and consequently that very little downstream performance loss occurs with very aggressively sparsified or quantized spectral clustering. We illustrate how these results depend on the nonlinearity, we characterize a phase transition beyond which spectral clustering becomes possible, and we show when such nonlinear transformations can introduce spurious non-informative eigenvectors. | 翻訳日:2022-10-11 09:02:22 公開日:2020-10-03 |
| # Wikipediaカテゴリからの自然言語推論のためのマイニング知識 Mining Knowledge for Natural Language Inference from Wikipedia Categories ( http://arxiv.org/abs/2010.01239v1 ) ライセンス: Link先を確認 | Mingda Chen, Zewei Chu, Karl Stratos, Kevin Gimpel | (参考訳) 正確な語彙制限 (LE) と自然言語推論 (NLI) は、しばしば大量の高価なアノテーションを必要とする。
ラベル付きデータの必要性を軽減するため、NLIおよびLEタスクのモデルパフォーマンスを改善するリソースであるWikiNLIを紹介する。
ウィキペディアには、自然に注釈付けされたカテゴリー階層から作られた428,899の句が含まれている。
我々は、BERTやRoBERTaのような強力なベースラインをWikiNLIで事前訓練し、下流タスクでモデルを転送することで改善できることを示す。
我々は,WordNetやWikidataなどの知識ベースから抽出したフレーズと体系的に比較し,WikiNLIでの事前学習が最高のパフォーマンスをもたらすことを確認する。
さらに,他の言語でWikiNLIを構築し,それを用いた事前学習により,対応する言語のNLIタスクの性能が向上することを示す。 Accurate lexical entailment (LE) and natural language inference (NLI) often require large quantities of costly annotations. To alleviate the need for labeled data, we introduce WikiNLI: a resource for improving model performance on NLI and LE tasks. It contains 428,899 pairs of phrases constructed from naturally annotated category hierarchies in Wikipedia. We show that we can improve strong baselines such as BERT and RoBERTa by pretraining them on WikiNLI and transferring the models on downstream tasks. We conduct systematic comparisons with phrases extracted from other knowledge bases such as WordNet and Wikidata to find that pretraining on WikiNLI gives the best performance. In addition, we construct WikiNLI in other languages, and show that pretraining on them improves performance on NLI tasks of corresponding languages. | 翻訳日:2022-10-11 09:00:52 公開日:2020-10-03 |
| # パープレキシティフリーパラメトリックt-SNE Perplexity-free Parametric t-SNE ( http://arxiv.org/abs/2010.01359v1 ) ライセンス: Link先を確認 | Francesco Crecchi, Cyril de Bodt, Michel Verleysen, John A. Lee and Davide Bacciu | (参考訳) t-distributed stochastic neighbor embedded (t-sne) アルゴリズムはユビキタスに採用された次元還元法である。
非パラメトリックな性質と印象的な有効性はパラメトリック拡張を動機づけた。
しかし、ユーザ定義のパープレキシティパラメータに拘束され、最近開発されたマルチスケールパープレキシティフリーアプローチと比較してDR品質が制限される。
そこで本稿では, パープレキシティチューニングから解放されたマルチスケールパラメトリックt-SNE方式と, マッピングを実装したディープニューラルネットワークを提案する。
サンプル外拡張による信頼性の高い埋め込みを生成し、複数のデータセットの近傍保存の観点から最も複雑な調整と競合する。 The t-distributed Stochastic Neighbor Embedding (t-SNE) algorithm is a ubiquitously employed dimensionality reduction (DR) method. Its non-parametric nature and impressive efficacy motivated its parametric extension. It is however bounded to a user-defined perplexity parameter, restricting its DR quality compared to recently developed multi-scale perplexity-free approaches. This paper hence proposes a multi-scale parametric t-SNE scheme, relieved from the perplexity tuning and with a deep neural network implementing the mapping. It produces reliable embeddings with out-of-sample extensions, competitive with the best perplexity adjustments in terms of neighborhood preservation on multiple data sets. | 翻訳日:2022-10-11 08:54:19 公開日:2020-10-03 |
| # 畳み込みネットワークと完全接続ネットワークの計算的分離 Computational Separation Between Convolutional and Fully-Connected Networks ( http://arxiv.org/abs/2010.01369v1 ) ライセンス: Link先を確認 | Eran Malach, Shai Shalev-Shwartz | (参考訳) 畳み込みニューラルネットワーク(CNN)は、多数のコンピュータビジョンタスクにおいて不整合性能を示す。
しかし、完全接続ネットワーク上で畳み込みネットワークを使用することの利点は理論的には理解されていない。
本研究では,畳み込みネットワークがデータの局所性をどのように活用し,完全に接続されたネットワークに対して計算上の優位性を実現するかを示す。
具体的には, 勾配descentで学習した畳み込みネットワークを用いて効率的に解くことができるが, 多項式サイズの完全連結ネットワークでは学習が困難である問題の種類を示す。 Convolutional neural networks (CNN) exhibit unmatched performance in a multitude of computer vision tasks. However, the advantage of using convolutional networks over fully-connected networks is not understood from a theoretical perspective. In this work, we show how convolutional networks can leverage locality in the data, and thus achieve a computational advantage over fully-connected networks. Specifically, we show a class of problems that can be efficiently solved using convolutional networks trained with gradient-descent, but at the same time is hard to learn using a polynomial-size fully-connected network. | 翻訳日:2022-10-11 08:54:08 公開日:2020-10-03 |
| # 不規則サンプリングシーケンスに対するキュービックスプライン平滑化補償 Cubic Spline Smoothing Compensation for Irregularly Sampled Sequences ( http://arxiv.org/abs/2010.01381v1 ) ライセンス: Link先を確認 | Jing Shi, Jing Bi, Yingru Liu, Chenliang Xu | (参考訳) 再帰的ニューラルネットワークと神経常微分ネットワーク(ode-rnn)の結合は、不規則に観測されたシーケンスのモデル化に有効である。
ODEは観測間隔間でスムーズな隠れ状態を生成するが、新しい観測が到着するとRNNは隠れ状態ジャンプをトリガーし、補間不連続問題を引き起こす。
そこで本研究では,ODE-RNNの出力と隠れ状態のいずれにおいてもスタンドアロンモジュールであり,エンドツーエンドでトレーニング可能な立方体スプライン平滑化補償法を提案する。
解析解を導出し、理論的補間誤差境界を提供する。
広範な実験は、ode-rnnと立方体スプラインの補間に対する利点を示している。 The marriage of recurrent neural networks and neural ordinary differential networks (ODE-RNN) is effective in modeling irregularly-observed sequences. While ODE produces the smooth hidden states between observation intervals, the RNN will trigger a hidden state jump when a new observation arrives, thus cause the interpolation discontinuity problem. To address this issue, we propose the cubic spline smoothing compensation, which is a stand-alone module upon either the output or the hidden state of ODE-RNN and can be trained end-to-end. We derive its analytical solution and provide its theoretical interpolation error bound. Extensive experiments indicate its merits over both ODE-RNN and cubic spline interpolation. | 翻訳日:2022-10-11 08:53:59 公開日:2020-10-03 |
| # Random Coordinate Langevin Monte Carlo Random Coordinate Langevin Monte Carlo ( http://arxiv.org/abs/2010.01405v1 ) ライセンス: Link先を確認 | Zhiyan Ding and Qin Li and Jianfeng Lu and Stephen J. Wright | (参考訳) ランゲヴィン・モンテカルロ(Langevin Monte Carlo、LMC)は、マルコフ連鎖モンテカルロサンプリング法である。
1つの欠点は、各繰り返しにおける全勾配の計算を必要とすることである。
提案手法は, ランダムコーディネート LMC (RC-LMC) である。
各イテレーションで、1つの座標がランダムに選択され、この方向とノイズに沿って部分微分の倍数で更新され、他の全ての座標は未修正のままである。
本研究では,rc-lmcの全複雑性を調査し,ログコンケーブ確率分布の古典的lmcと比較する。
対数密度の勾配がリプシッツであるとき、対数密度が高次元問題に対して高度に歪んだ場合、RC-LMC は古典的 LMC よりも安価であり、また、対数密度の勾配とヘシアンの両方がリプシッツであるとき、RC-LMC は古典的 LMC よりも常に安い。
後者の場合、我々の複雑性の見積もりは次元に関して鋭い。 Langevin Monte Carlo (LMC) is a popular Markov chain Monte Carlo sampling method. One drawback is that it requires the computation of the full gradient at each iteration, an expensive operation if the dimension of the problem is high. We propose a new sampling method: Random Coordinate LMC (RC-LMC). At each iteration, a single coordinate is randomly selected to be updated by a multiple of the partial derivative along this direction plus noise, and all other coordinates remain untouched. We investigate the total complexity of RC-LMC and compare it with the classical LMC for log-concave probability distributions. When the gradient of the log-density is Lipschitz, RC-LMC is less expensive than the classical LMC if the log-density is highly skewed for high dimensional problems, and when both the gradient and the Hessian of the log-density are Lipschitz, RC-LMC is always cheaper than the classical LMC, by a factor proportional to the square root of the problem dimension. In the latter case, our estimate of complexity is sharp with respect to the dimension. | 翻訳日:2022-10-11 08:53:33 公開日:2020-10-03 |
| # 人物識別のためのCNNアンサンブルのエンドツーエンドトレーニング End-to-End Training of CNN Ensembles for Person Re-Identification ( http://arxiv.org/abs/2010.01342v1 ) ライセンス: Link先を確認 | Ayse Serbetci and Yusuf Sinan Akgul | (参考訳) 本稿では,識別モデルにおける過剰適合問題に対処するため,個人再識別のためのエンドツーエンドアンサンブル手法を提案する。
これらのモデルは容易に収束することが知られているが、一般にトレーニングデータに偏りがあり、オーバーフィッティングとして知られる高いモデルの分散を生み出す可能性がある。
ReIDタスクは、トレーニングとテストの分散に大きな違いがあるため、この問題に対処する傾向があります。
この問題に対処するため,提案するアンサンブル学習フレームワークは,単一のDenseNetにおいて多種多様な,正確なベース学習者を生成する。
コストのかかるブロックのほとんどが共有されているため,本手法は計算効率が良く,従来のアンサンブルモデルと比較して好適である。
いくつかのベンチマークデータセットを用いた実験により,本手法が最先端の結果を得ることを示す。
特に比較的小さなデータセットにおいて、注目すべきパフォーマンス改善は、提案手法がオーバーフィッティング問題を効果的に扱うことを示す。 We propose an end-to-end ensemble method for person re-identification (ReID) to address the problem of overfitting in discriminative models. These models are known to converge easily, but they are biased to the training data in general and may produce a high model variance, which is known as overfitting. The ReID task is more prone to this problem due to the large discrepancy between training and test distributions. To address this problem, our proposed ensemble learning framework produces several diverse and accurate base learners in a single DenseNet. Since most of the costly dense blocks are shared, our method is computationally efficient, which makes it favorable compared to the conventional ensemble models. Experiments on several benchmark datasets demonstrate that our method achieves state-of-the-art results. Noticeable performance improvements, especially on relatively small datasets, indicate that the proposed method deals with the overfitting problem effectively. | 翻訳日:2022-10-11 08:52:26 公開日:2020-10-03 |
| # MagGAN: Mask-Guided Generative Adversarial Network を用いた高解像度顔属性編集 MagGAN: High-Resolution Face Attribute Editing with Mask-Guided Generative Adversarial Network ( http://arxiv.org/abs/2010.01424v1 ) ライセンス: Link先を確認 | Yi Wei, Zhe Gan, Wenbo Li, Siwei Lyu, Ming-Ching Chang, Lei Zhang, Jianfeng Gao, Pengchuan Zhang | (参考訳) 本稿では,事前学習した顔パーサから意味的な顔マスクを用いて細粒度画像編集プロセスを指導する,高分解能顔属性編集のためのマスク誘導生成広告ネットワーク(maggan)を提案する。
マスクガイドによる再建損失の導入により、MagGANは、属性非関連領域(例えば、帽子、修正用のスカーフ「To Bald」)を保存しながら、望ましい属性変化に関連する顔の部分のみを編集することを学ぶ。
さらに、各属性変化の影響領域をジェネレータに組み込むために、新しいマスク誘導条件付け戦略を導入する。
さらに,マルチレベルパッチワイズ判別器構造を提案し,高精細度 (1024 \times 1024$) 顔編集のためのモデルを拡張した。
CelebAベンチマーク実験により,提案手法は画像品質と編集性能の両面において,従来の手法よりも大幅に優れていた。 We present Mask-guided Generative Adversarial Network (MagGAN) for high-resolution face attribute editing, in which semantic facial masks from a pre-trained face parser are used to guide the fine-grained image editing process. With the introduction of a mask-guided reconstruction loss, MagGAN learns to only edit the facial parts that are relevant to the desired attribute changes, while preserving the attribute-irrelevant regions (e.g., hat, scarf for modification `To Bald'). Further, a novel mask-guided conditioning strategy is introduced to incorporate the influence region of each attribute change into the generator. In addition, a multi-level patch-wise discriminator structure is proposed to scale our model for high-resolution ($1024 \times 1024$) face editing. Experiments on the CelebA benchmark show that the proposed method significantly outperforms prior state-of-the-art approaches in terms of both image quality and editing performance. | 翻訳日:2022-10-11 08:52:11 公開日:2020-10-03 |
| # corrattack:構造化検索によるブラックボックス攻撃 CorrAttack: Black-box Adversarial Attack with Structured Search ( http://arxiv.org/abs/2010.01250v1 ) ライセンス: Link先を確認 | Zhichao Huang, Yaowei Huang, Tong Zhang | (参考訳) そこで本研究では,攻撃者が対象モデルの損失を問合せするスコアベース逆攻撃法を提案する。
本手法では,損失関数の勾配の関係をキャプチャする構造を持つパラメータ化された探索空間を用いる。
構造化空間上での探索は,攻撃者が関連するアームの特徴を付けて入力の修正を行い,損失関数の削減として即時報酬を受け取る時間的変動コンテキストバンディット問題によって近似できることを示す。
時変の文脈的バンディット問題はベイズ最適化手順によって解決され、構造化されたアクション空間の特徴を活用できる。
ImageNetとGoogle Cloud Vision APIの実験は、提案手法が、未定義モデルと防御モデルの両方で、技術成功率とクエリ効率の状態を達成していることを示している。 We present a new method for score-based adversarial attack, where the attacker queries the loss-oracle of the target model. Our method employs a parameterized search space with a structure that captures the relationship of the gradient of the loss function. We show that searching over the structured space can be approximated by a time-varying contextual bandits problem, where the attacker takes feature of the associated arm to make modifications of the input, and receives an immediate reward as the reduction of the loss function. The time-varying contextual bandits problem can then be solved by a Bayesian optimization procedure, which can take advantage of the features of the structured action space. The experiments on ImageNet and the Google Cloud Vision API demonstrate that the proposed method achieves the state of the art success rates and query efficiencies for both undefended and defended models. | 翻訳日:2022-10-11 08:45:31 公開日:2020-10-03 |
| # wemix: データ拡張をより有効に活用する方法 WeMix: How to Better Utilize Data Augmentation ( http://arxiv.org/abs/2010.01267v1 ) ライセンス: Link先を確認 | Yi Xu, Asaf Noy, Ming Lin, Qi Qian, Hao Li, Rong Jin | (参考訳) データ拡張は、ネットワークの一般化能力を改善するためにディープラーニングで広く使われているトレーニングトリックである。
多くの奨励的な結果にもかかわらず、最近のいくつかの研究は、あるシナリオにおける従来のデータ拡張スキームの限界を指摘し、データ拡張に関するより理論的に理解することを求めた。
本研究では,データ拡張の長所と短所を明らかにする包括的分析を開発する。
データ増大の主な制限は、データバイアス、すなわち、拡張データ分布が元のものとは大きく異なる可能性があることから生じる。
このデータバイアスは、既存のデータ拡張メソッドを最適以下のパフォーマンスに導く。
この目的のために,データ拡張におけるデータバイアスを補正するために,"augdrop" と "mixloss" と呼ばれる2つの新しいアルゴリズムを開発した。
理論的解析により, 両アルゴリズムは, 偏差補正によるデータ増大効果を向上させることが保証され, 実証実験によりさらに検証された。
最後に,AugDropとMixLossを組み合わせた汎用アルゴリズム"WeMix"を提案する。 Data augmentation is a widely used training trick in deep learning to improve the network generalization ability. Despite many encouraging results, several recent studies did point out limitations of the conventional data augmentation scheme in certain scenarios, calling for a better theoretical understanding of data augmentation. In this work, we develop a comprehensive analysis that reveals pros and cons of data augmentation. The main limitation of data augmentation arises from the data bias, i.e. the augmented data distribution can be quite different from the original one. This data bias leads to a suboptimal performance of existing data augmentation methods. To this end, we develop two novel algorithms, termed "AugDrop" and "MixLoss", to correct the data bias in the data augmentation. Our theoretical analysis shows that both algorithms are guaranteed to improve the effect of data augmentation through the bias correction, which is further validated by our empirical studies. Finally, we propose a generic algorithm "WeMix" by combining AugDrop and MixLoss, whose effectiveness is observed from extensive empirical evaluations. | 翻訳日:2022-10-11 08:45:16 公開日:2020-10-03 |
| # 意味的役割ラベリングによるマルチターン対話リライト Semantic Role Labeling Guided Multi-turn Dialogue ReWriter ( http://arxiv.org/abs/2010.01417v1 ) ライセンス: Link先を確認 | Kun Xu and Haochen Tan and Linfeng Song and Han Wu and Haisong Zhang and Linqi Song and Dong Yu | (参考訳) 多ターン対話の書き直しには,対話文脈における言語知識を効果的にモデル化し,ノイズを除去する能力が不可欠である。
既存の注意モデルでは、すべての単語に前もって焦点を合わせることなく対応している。
本稿では,誰が誰に何をしたのかの中核的な意味情報を強調する意味的役割ラベリング(srl)を用いて,書き直しモデルに対する追加ガイダンスを提供する。
実験の結果、この情報は従来の最先端システムを上回るRoBERTaベースのモデルを大幅に改善することが示された。 For multi-turn dialogue rewriting, the capacity of effectively modeling the linguistic knowledge in dialog context and getting rid of the noises is essential to improve its performance. Existing attentive models attend to all words without prior focus, which results in inaccurate concentration on some dispensable words. In this paper, we propose to use semantic role labeling (SRL), which highlights the core semantic information of who did what to whom, to provide additional guidance for the rewriter model. Experiments show that this information significantly improves a RoBERTa-based model that already outperforms previous state-of-the-art systems. | 翻訳日:2022-10-11 08:44:59 公開日:2020-10-03 |
| # 教育領域におけるアスペクトベース感性分析 Aspect-Based Sentiment Analysis in Education Domain ( http://arxiv.org/abs/2010.01429v1 ) ライセンス: Link先を確認 | Rinor Hajrizi and Krenare Pireva Nu\c{c}i | (参考訳) 大量のデータの分析は常に機関や組織に価値をもたらしてきた。
近年、テキストで表現された人々の意見は、この分析の非常に重要な側面となっている。
この課題に対応するために、Aspect-Based Sentiment Analysis (ABSA)として知られる自然言語処理技術が登場した。
ABSAは意見のそれぞれの側面の極性を別々に抽出する能力を持っているため、幅広い領域において有用であることが分かってきた。
教育はABSAをうまく活用できる領域の1つである。
コース、教授、教育方法論について、学生が好きなものを理解して、あまり好きでないものを見つけ出すことは、各機関にとって非常に重要である。
このタスクはユニークなnlpチャレンジであるが、多くの研究がこの問題に取り組むための異なるアプローチを提案している。
本稿では、ABSAにおける既存の研究の総合的なレビューを、教育分野に焦点をあてて紹介する。
幅広い方法論が議論され、結論が導かれる。 Analysis of a large amount of data has always brought value to institutions and organizations. Lately, people's opinions expressed through text have become a very important aspect of this analysis. In response to this challenge, a natural language processing technique known as Aspect-Based Sentiment Analysis (ABSA) has emerged. Having the ability to extract the polarity for each aspect of opinions separately, ABSA has found itself useful in a wide range of domains. Education is one of the domains in which ABSA can be successfully utilized. Being able to understand and find out what students like and don't like most about a course, professor, or teaching methodology can be of great importance for the respective institutions. While this task represents a unique NLP challenge, many studies have proposed different approaches to tackle the problem. In this work, we present a comprehensive review of the existing work in ABSA with a focus in the education domain. A wide range of methodologies are discussed and conclusions are drawn. | 翻訳日:2022-10-11 08:44:49 公開日:2020-10-03 |
| # UCP: 深部畳み込みニューラルネットワーク圧縮と高速化のための一様チャネルプルーニング UCP: Uniform Channel Pruning for Deep Convolutional Neural Networks Compression and Acceleration ( http://arxiv.org/abs/2010.01251v1 ) ライセンス: Link先を確認 | Jingfei Chang and Yang Lu and Ping Xue and Xing Wei and Zhen Wei | (参考訳) モバイル端末や携帯機器にディープcnnを適用するために、多くの研究者が最近、ディープ畳み込みニューラルネットワークの圧縮と加速に取り組んでいる。
そこで本研究では, 深部CNNをプルークする一様チャネルプルーニング(UCP)手法を提案し, 畳み込み層におけるチャネルの重要性を計測するために, 改良型圧縮励磁ブロック(MSEB)を用いる。
それらに関連する畳み込みカーネルを含む重要でないチャネルは直接プルーニングされ、ストレージコストと計算回数を大幅に削減する。
ResNetには2種類の残留ブロックがある。
ボトルネックのあるResNetでは、ブロックの中央にある3x3畳み込み層をトリムするために、従来のCNNを使ったプルーニング手法を用いる。
基本的残差ブロックを持つResNetに対して、コンパクトなネットワーク構造が次元的に正しいことを保証するため、同じステージ内の残差ブロックを一貫するアプローチを提案する。
プルーニング後にネットワークがかなりの情報を失うことと、プルーニング振幅が大きくなればなるほど、失われる情報が増えることを考慮し、プルーニング後のネットワークの精度を回復するために、微調整ではなくスクラッチから再トレーニングする。
CIFAR-10, CIFAR-100, ILSVRC-2012で画像分類を行った。
その結果,スクラッチから再トレーニング後の小型ネットワークの性能は,刈り取り速度が小さい場合,元のネットワークよりも良好であることが示唆された。
プルーニング振幅が大きい場合でも、精度を維持またはわずかに低下させることができる。
CIFAR-100では、パラメータとFLOPをそれぞれ82%と62%に減少させると、VGG-19の精度は再トレーニング後に0.54%向上した。 To apply deep CNNs to mobile terminals and portable devices, many scholars have recently worked on the compressing and accelerating deep convolutional neural networks. Based on this, we propose a novel uniform channel pruning (UCP) method to prune deep CNN, and the modified squeeze-and-excitation blocks (MSEB) is used to measure the importance of the channels in the convolutional layers. The unimportant channels, including convolutional kernels related to them, are pruned directly, which greatly reduces the storage cost and the number of calculations. There are two types of residual blocks in ResNet. For ResNet with bottlenecks, we use the pruning method with traditional CNN to trim the 3x3 convolutional layer in the middle of the blocks. For ResNet with basic residual blocks, we propose an approach to consistently prune all residual blocks in the same stage to ensure that the compact network structure is dimensionally correct. Considering that the network loses considerable information after pruning and that the larger the pruning amplitude is, the more information that will be lost, we do not choose fine-tuning but retrain from scratch to restore the accuracy of the network after pruning. Finally, we verified our method on CIFAR-10, CIFAR-100 and ILSVRC-2012 for image classification. The results indicate that the performance of the compact network after retraining from scratch, when the pruning rate is small, is better than the original network. Even when the pruning amplitude is large, the accuracy can be maintained or decreased slightly. On the CIFAR-100, when reducing the parameters and FLOPs up to 82% and 62% respectively, the accuracy of VGG-19 even improved by 0.54% after retraining. | 翻訳日:2022-10-11 08:44:39 公開日:2020-10-03 |
| # 脳mri画像における深層畳み込みニューラルネットワークモデルに基づく脳腫瘍検出 Deep Convolutional Neural Networks Model-based Brain Tumor Detection in Brain MRI Images ( http://arxiv.org/abs/2010.11978v1 ) ライセンス: Link先を確認 | Md. Abu Bakr Siddique, Shadman Sakib, Mohammad Mahmudur Rahman Khan, Abyaz Kader Tanzeem, Madiha Chowdhury, Nowrin Yasmin | (参考訳) 磁気共鳴イメージング(MRI)による脳腫瘍の診断は、主に医学分野において長年にわたって大きな進歩を遂げてきた。
MR画像による脳腫瘍の検出および/または分割は、膨大な時間と労力を犠牲にして達成され、多くの専門知識を必要とする。
これは自律型モデル脳腫瘍診断を作製する必要性を実証する。
我々の研究は、MR画像から脳腫瘍を診断するためのディープ畳み込みニューラルネットワーク(DCNN)を実装することである。
本論文で用いたデータセットは253個の脳MR画像からなり、155個の画像に腫瘍が認められる。
本モデルでは, 腫瘍でMR像を抽出し, 全体的な精度は96%であった。
このモデルは、テストデータセット(precision = 0.93, sensitivity = 1.00, f1-score = 0.97)において、既存の従来の脳腫瘍の診断方法よりも優れていた。
さらに,提案モデルの平均精度は0.93,コーエンのKappa 0.91,AUC 0.95である。
そこで本モデルでは,脳腫瘍の有無を臨床専門家に確認し,治療手順の高速化を図る。 Diagnosing Brain Tumor with the aid of Magnetic Resonance Imaging (MRI) has gained enormous prominence over the years, primarily in the field of medical science. Detection and/or partitioning of brain tumors solely with the aid of MR imaging is achieved at the cost of immense time and effort and demands a lot of expertise from engaged personnel. This substantiates the necessity of fabricating an autonomous model brain tumor diagnosis. Our work involves implementing a deep convolutional neural network (DCNN) for diagnosing brain tumors from MR images. The dataset used in this paper consists of 253 brain MR images where 155 images are reported to have tumors. Our model can single out the MR images with tumors with an overall accuracy of 96%. The model outperformed the existing conventional methods for the diagnosis of brain tumor in the test dataset (Precision = 0.93, Sensitivity = 1.00, and F1-score = 0.97). Moreover, the proposed model's average precision-recall score is 0.93, Cohen's Kappa 0.91, and AUC 0.95. Therefore, the proposed model can help clinical experts verify whether the patient has a brain tumor and, consequently, accelerate the treatment procedure. | 翻訳日:2022-10-11 08:37:04 公開日:2020-10-03 |
| # BERT単語埋め込みアンサンブル上のタグ付きSVMを用いたパーソナリティトラフィック検出 Personality Trait Detection Using Bagged SVM over BERT Word Embedding Ensembles ( http://arxiv.org/abs/2010.01309v1 ) ライセンス: Link先を確認 | Amirmohammad Kazameini, Samin Fatehi, Yash Mehta, Sauleh Eetemadi, Erik Cambria | (参考訳) 近年,パーソナリティ特性の自動予測が注目され,感情コンピューティングの分野ではホットな話題となっている。
本稿では,テキストからのパーソナリティ自動検出のための深層学習に基づく新しいアプローチを提案する。
自然言語理解における最先端の技術、すなわちbert言語モデルを活用して、テキストデータから文脈化された単語埋め込みを抽出し、著者のパーソナリティの自動検出を行う。
本研究の目的は,膨大な計算資源を利用せずに,多人数で容易に利用できる計算効率が高く高性能な人格予測モデルを開発することである。
このイデオロギーを念頭に置いて広範な実験を行った結果,パーソナリティ特性予測のための心言語学的特徴に加えて,文脈的埋め込みを付与する新たなモデルが開発されました。
私たちのモデルは以前の技術よりも1.04%優れており、同時にトレーニングの計算効率もかなり高いのです。
我々は、パーソナリティ検出のための有名なゴールドスタンダードエッセイデータセットについて結果を報告する。 Recently, the automatic prediction of personality traits has received increasing attention and has emerged as a hot topic within the field of affective computing. In this work, we present a novel deep learning-based approach for automated personality detection from text. We leverage state of the art advances in natural language understanding, namely the BERT language model to extract contextualized word embeddings from textual data for automated author personality detection. Our primary goal is to develop a computationally efficient, high-performance personality prediction model which can be easily used by a large number of people without access to huge computation resources. Our extensive experiments with this ideology in mind, led us to develop a novel model which feeds contextualized embeddings along with psycholinguistic features toa Bagged-SVM classifier for personality trait prediction. Our model outperforms the previous state of the art by 1.04% and, at the same time is significantly more computationally efficient to train. We report our results on the famous gold standard Essays dataset for personality detection. | 翻訳日:2022-10-11 08:36:45 公開日:2020-10-03 |
| # 逆影響関数によるロバスト最適化の解釈 Interpreting Robust Optimization via Adversarial Influence Functions ( http://arxiv.org/abs/2010.01247v1 ) ライセンス: Link先を確認 | Zhun Deng, Cynthia Dwork, Jialiang Wang, Linjun Zhang | (参考訳) ロバスト最適化は、今日のデータ科学、特に敵の訓練で広く使われている。
しかしながら、最適化が標準トレーニングと比較していかに頑健な最適化と予測損失を変化させるかを定量化する研究はほとんど行われていない。
本稿では、ロバストな統計における影響関数に着想を得て、ロバストな最適化によって生成されるソリューションを調査するためのツールとして、Adversarial Influence Function (AIF)を導入する。
提案したAIFは閉形式を楽しみ、効率的に計算できる。
AIFの使用法を説明するために,頑健な最適化を行った後,自然データに対する予測損失の変化を捉えるために定義されたモデル感度について検討する。
AIFを用いて、モデルの複雑さとランダムな平滑化が特定のモデルに対するモデルの感度に与える影響を分析する。
さらに,ニューラル・タンジェント・カーネルを特に応用した,カーネル回帰に対するaifの導出を行い,提案するaifの有効性を実験的に実証する。
最後に、AIFの理論は分散ロバストな最適化に拡張される。 Robust optimization has been widely used in nowadays data science, especially in adversarial training. However, little research has been done to quantify how robust optimization changes the optimizers and the prediction losses comparing to standard training. In this paper, inspired by the influence function in robust statistics, we introduce the Adversarial Influence Function (AIF) as a tool to investigate the solution produced by robust optimization. The proposed AIF enjoys a closed-form and can be calculated efficiently. To illustrate the usage of AIF, we apply it to study model sensitivity -- a quantity defined to capture the change of prediction losses on the natural data after implementing robust optimization. We use AIF to analyze how model complexity and randomized smoothing affect the model sensitivity with respect to specific models. We further derive AIF for kernel regressions, with a particular application to neural tangent kernels, and experimentally demonstrate the effectiveness of the proposed AIF. Lastly, the theories of AIF will be extended to distributional robust optimization. | 翻訳日:2022-10-11 08:36:27 公開日:2020-10-03 |
| # Beyond Tabula-Rasa: 物理埋め込み3Dソコバンのためのモジュール強化学習アプローチ Beyond Tabula-Rasa: a Modular Reinforcement Learning Approach for Physically Embedded 3D Sokoban ( http://arxiv.org/abs/2010.01298v1 ) ライセンス: Link先を確認 | Peter Karkus, Mehdi Mirza, Arthur Guez, Andrew Jaegle, Timothy Lillicrap, Lars Buesing, Nicolas Heess, Theophane Weber | (参考訳) 知的ロボットは、具体的で時空間的に複雑な感覚情報と運動制御を用いて抽象的な目的を達成する必要がある。
タブララサ深層強化学習(RL)は視覚的、抽象的、身体的推論のいずれにおいても要求される課題に取り組んできたが、これらを共同で解決することは依然として困難な課題である。
この課題を統合した最近の未解決のベンチマークタスクは、ロボットが2Dソコバンパズルから生成された3D倉庫を配置する必要があるMujobanである。
我々は,モジュールが従来のロボットアーキテクチャとよく似た役割を担っている感覚計画的階層でRLモジュールを組み立てることで,Mujobanのような統合タスクが解決できるかどうかを考察する。
典型的なモデルベースアーキテクチャとは異なり、rlや教師付き学習でトレーニングされたモデルフリーのモジュールのみを使用します。
モジュラRLアプローチはムジョバンの最先端のモノリシックRLエージェントよりも劇的に優れています。
さらに、学習されたモジュールは、例えば、異なるロボットプラットフォームを使用して同じタスクを解決する場合に再利用することができる。
この結果はモジュラーRL設計の研究の重要性を強く裏付けるものである。
プロジェクトウェブサイト: https://sites.google.com/view/modular-rl/ Intelligent robots need to achieve abstract objectives using concrete, spatiotemporally complex sensory information and motor control. Tabula rasa deep reinforcement learning (RL) has tackled demanding tasks in terms of either visual, abstract, or physical reasoning, but solving these jointly remains a formidable challenge. One recent, unsolved benchmark task that integrates these challenges is Mujoban, where a robot needs to arrange 3D warehouses generated from 2D Sokoban puzzles. We explore whether integrated tasks like Mujoban can be solved by composing RL modules together in a sense-plan-act hierarchy, where modules have well-defined roles similarly to classic robot architectures. Unlike classic architectures that are typically model-based, we use only model-free modules trained with RL or supervised learning. We find that our modular RL approach dramatically outperforms the state-of-the-art monolithic RL agent on Mujoban. Further, learned modules can be reused when, e.g., using a different robot platform to solve the same task. Together our results give strong evidence for the importance of research into modular RL designs. Project website: https://sites.google.com/view/modular-rl/ | 翻訳日:2022-10-11 08:35:32 公開日:2020-10-03 |
| # 変化点検出のためのオンラインニューラルネットワーク Online Neural Networks for Change-Point Detection ( http://arxiv.org/abs/2010.01388v1 ) ライセンス: Link先を確認 | Mikhail Hushchyn, Kenenbek Arzymatov, Denis Derkach | (参考訳) 時系列が変化したときのモーメントは変化点と呼ばれる。
このような点の検出はよく知られた問題であり、産業プロセスの品質モニタリング、複雑なシステムにおける障害検出、健康モニタリング、音声認識、ビデオ分析など多くのアプリケーションで見られる。
変更点の発生は、システムの状態が変更され、そのタイムリーな検出が望ましくない結果を防ぐのに役立つことを意味する。
本稿では,ニューラルネットワークに基づく2つのオンライン変更点検出手法を提案する。
これらのアルゴリズムは線形計算複雑性を示し、大規模時系列における変化点検出に適している。
様々な合成および実世界のデータセット上で最もよく知られたアルゴリズムと比較する。
実験の結果,提案手法は既知の手法よりも優れていた。 Moments when a time series changes its behaviour are called change points. Detection of such points is a well-known problem, which can be found in many applications: quality monitoring of industrial processes, failure detection in complex systems, health monitoring, speech recognition and video analysis. Occurrence of change point implies that the state of the system is altered and its timely detection might help to prevent unwanted consequences. In this paper, we present two online change-point detection approaches based on neural networks. These algorithms demonstrate linear computational complexity and are suitable for change-point detection in large time series. We compare them with the best known algorithms on various synthetic and real world data sets. Experiments show that the proposed methods outperform known approaches. | 翻訳日:2022-10-11 08:34:51 公開日:2020-10-03 |
| # 主観的時間スケールモデル学習のための韻律記憶 Episodic Memory for Learning Subjective-Timescale Models ( http://arxiv.org/abs/2010.01430v1 ) ライセンス: Link先を確認 | Alexey Zakharov, Matthew Crosby, Zafeirios Fountas | (参考訳) モデルに基づく学習では、エージェントのモデルは、しばしば複数のステップのタイムスケールの推論を必要とするにもかかわらず、環境の連続状態間の遷移に対して一般的に定義される。
対照的に、生物の知的行動は、文脈によって異なる時間スケールで計画する能力によって特徴づけられる。
人間の時間知覚に関する最近の研究に触発されて、エージェントの主観的な時間スケールを定義したエピソディック記憶のシーケンスに基づいて、トランジッションダイナミクスモデルを学ぶための新しいアプローチを考案する。
我々はこれをアクティブな推論の枠組みで実装し、結果の主観的時間スケールモデル(STM)が、同じ計算効率を維持しながら、その予測の時間的範囲を体系的に変化させることができることを示した。
さらに,stmの予測により,将来的なサルエントイベント(例えば,目に入る新しい物体)がもたらされる可能性が高く,環境の新たな領域を探索するインセンティブが高まることが示された。
その結果、STMはより情報的な行動条件付きロールアウトを生成し、エージェントがより良い意思決定を行うのを助ける。
我々は,動物-AI環境におけるSTMエージェントの性能を,環境の客観的・時間スケールのダイナミクスを用いてトレーニングしたベースラインシステムに対して著しく改善することを検証する。 In model-based learning, an agent's model is commonly defined over transitions between consecutive states of an environment even though planning often requires reasoning over multi-step timescales, with intermediate states either unnecessary, or worse, accumulating prediction error. In contrast, intelligent behaviour in biological organisms is characterised by the ability to plan over varying temporal scales depending on the context. Inspired by the recent works on human time perception, we devise a novel approach to learning a transition dynamics model, based on the sequences of episodic memories that define the agent's subjective timescale - over which it learns world dynamics and over which future planning is performed. We implement this in the framework of active inference and demonstrate that the resulting subjective-timescale model (STM) can systematically vary the temporal extent of its predictions while preserving the same computational efficiency. Additionally, we show that STM predictions are more likely to introduce future salient events (for example new objects coming into view), incentivising exploration of new areas of the environment. As a result, STM produces more informative action-conditioned roll-outs that assist the agent in making better decisions. We validate significant improvement in our STM agent's performance in the Animal-AI environment against a baseline system, trained using the environment's objective-timescale dynamics. | 翻訳日:2022-10-11 08:34:42 公開日:2020-10-03 |
| # 一般ロバスト性に対する逆および自然摂動 Adversarial and Natural Perturbations for General Robustness ( http://arxiv.org/abs/2010.01401v1 ) ライセンス: Link先を確認 | Sadaf Gulshad, Jan Hendrik Metzen, Arnold Smeulders | (参考訳) 本稿では,逆方向と自然摂動を利用したニューラルネットワーク分類器の汎用ロバスト性について検討する。
ニューラルネットワークの対向的摂動に対する堅牢性の研究を主眼とする従来の研究と異なり, 強弱化前後の自然摂動に対する頑健性も評価した。
対人摂動と自然摂動の比較を標準化した後、対人トレーニングは対人摂動に対するネットワークの性能を向上させるが、クリーンサンプル以外の自然摂動サンプルの性能は低下することを示した。
対照的に, 弾性変形, 咬合, 波動などの自然摂動は, 自然摂動に対する性能を向上させるだけでなく, 逆摂動に対する性能の向上にもつながる。
さらに、クリーンな画像に精度を落とさない。 In this paper we aim to explore the general robustness of neural network classifiers by utilizing adversarial as well as natural perturbations. Different from previous works which mainly focus on studying the robustness of neural networks against adversarial perturbations, we also evaluate their robustness on natural perturbations before and after robustification. After standardizing the comparison between adversarial and natural perturbations, we demonstrate that although adversarial training improves the performance of the networks against adversarial perturbations, it leads to drop in the performance for naturally perturbed samples besides clean samples. In contrast, natural perturbations like elastic deformations, occlusions and wave does not only improve the performance against natural perturbations, but also lead to improvement in the performance for the adversarial perturbations. Additionally they do not drop the accuracy on the clean images. | 翻訳日:2022-10-11 08:34:21 公開日:2020-10-03 |