このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス（CC 0, CC BY, CC BY-SA）の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。（arxivのメタデータは CC 0です。） 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。
公開日が20200629となっている論文です。
| Title | Authors | Abstract | 論文公表日・翻訳日 |
|---|---|---|---|
| # ディープラーニングと検証を組み合わせた正確なオブジェクトインスタンス検出 Combining Deep Learning and Verification for Precise Object Instance Detection ( http://arxiv.org/abs/1912.12270v4 ) ライセンス: Link先を確認 | Siddharth Ancha, Junyu Nan, David Held | (参考訳) 深層学習オブジェクト検出器は、しばしば非常に高い信頼を持って偽陽性を返す。
平均平均精度(mAP)などの一般的な検出性能を最適化するが、信頼性は設計されていない。
信頼性の高い検出システムでは、高い信頼度検出が行われた場合、オブジェクトが実際に検出されたことを高い確信を持って欲しい。
これを実現するために,提案する検出を受理しなければならない一連の検証テストを開発した。
我々は、ある仮定の下で、検証テストが偽陽性を受け入れないことを示す理論的枠組みを開発する。
この枠組みの近似に基づいて,機械学習に基づく物体検出器のそれぞれの検出が正しいかどうかを高精度に検証可能な実用的な検出システムを提案する。
これらのテストにより、ベース検出器の全体的な精度が向上し、受け入れられたサンプルが正しい可能性が極めて高いことを示す。
これにより、検出器は高精度に動作でき、信頼性の高いインスタンス検出方法としてロボットの知覚システムで使用できる。
コードはhttps://github.com/siddancha/flowverifyで入手できる。 Deep learning object detectors often return false positives with very high confidence. Although they optimize generic detection performance, such as mean average precision (mAP), they are not designed for reliability. For a reliable detection system, if a high confidence detection is made, we would want high certainty that the object has indeed been detected. To achieve this, we have developed a set of verification tests which a proposed detection must pass to be accepted. We develop a theoretical framework which proves that, under certain assumptions, our verification tests will not accept any false positives. Based on an approximation to this framework, we present a practical detection system that can verify, with high precision, whether each detection of a machine-learning based object detector is correct. We show that these tests can improve the overall accuracy of a base detector and that accepted examples are highly likely to be correct. This allows the detector to operate in a high precision regime and can thus be used for robotic perception systems as a reliable instance detection method. Code is available at https://github.com/siddancha/FlowVerify. | 翻訳日:2023-06-09 23:18:05 公開日:2020-06-29 |
| # ゼノ効果下における開量子系の絡み合い証人とエントロピー不確かさ Entanglement witness and entropy uncertainty of open Quantum systems under Zeno effect ( http://arxiv.org/abs/2003.09106v2 ) ライセンス: Link先を確認 | Rongfang Liu, Hong-Mei Zou, Jianhe Yang, Danping Lin | (参考訳) 量子ゼノ効果下での開二原子系の擬モード理論を用いて、絡み合いの証人およびエントロピーの不確実性について検討した。
その結果、2つのスペクトルが原子との強い結合を満たしているときのみ、絡み合いの目撃時間が長くなり、エントロピーの不確かさの下限が小さくなり、絡み合いを何度も目撃できることがわかった。
我々はまた、非マルコビアン性による対応する物理的説明も与えた。
ゼノ効果は、エンタングルメント証人の時間を大幅に延長し、エントロピー不確かさの下限を低減できるだけでなく、エンタングルメント証人の時間を大幅に向上させ、証人のエンタングルメント値を低減することができる。 The entanglement witness and the entropy uncertainty are investigated by using the pseudomode theory for the open two-atom system under the quantum Zeno effect. The results show that, only when the two spectrums satisfy strong coupling with the atom, the time of entanglement witness can be prolonged and the lower bound of the entropic uncertainty can be reduced, and the entanglement can be witnessed many times. We also gave the corresponding physical explanation by the non-Markovianity. The Zeno effect not only can very effectively prolong the time of entanglement witness and reduce the lower bound of the entropy uncertainty, but also can greatly enhance the time of entanglement witness and reduce the entanglement value of witness. | 翻訳日:2023-05-28 15:47:20 公開日:2020-06-29 |
| # 断熱的遷移の限界 Bounds for nonadiabatic transitions ( http://arxiv.org/abs/2005.03284v2 ) ライセンス: Link先を確認 | Takuya Hatomura and Go Kato | (参考訳) 我々は、断熱摂動理論と量子速度制限の観点から、非断熱遷移のバウンダリについて論じる。
n$th レベルから $m$th レベルへの断熱的遷移の量は、$m$th レベルに対する量子幾何学的テンソルの関数によって有界であることが示されている。
我々は、断熱摂動理論の観点から、この境界を解析する。
さらに、この境界と量子速度制限の観点は、力学変換と断熱変換の間の非自明な関係を示唆している。
また、いかなる非断熱遷移に対しても普遍的境界を導出する。
この境界は反断熱的ハミルトニアンによって記述される。 We discuss bounds for nonadiabatic transitions from the viewpoints of the adiabatic perturbation theory and the quantum speed limit. We show that the amount of nonadiabatic transitions from the $n$th level to the $m$th level is bounded by a function of the quantum geometric tensor for the $m$th level. We analyze this bound from the viewpoint of the adiabatic perturbation theory. In addition, this bound and the viewpoint of the quantum speed limit suggest nontrivial relationship between the dynamical transformation and the adiabatic transformation. We also derive a universal bound for any nonadiabatic transition. This bound is written in terms of the counterdiabatic Hamiltonian. | 翻訳日:2023-05-20 22:41:15 公開日:2020-06-29 |
| # MOS互換シリコンデバイスにおける交換結合単一ドナースピン量子ビットの条件量子演算 Conditional quantum operation of two exchange-coupled single-donor spin qubits in a MOS-compatible silicon device ( http://arxiv.org/abs/2006.04483v2 ) ライセンス: Link先を確認 | Mateusz T. M\k{a}dzik, Arne Laucht, Fay E. Hudson, Alexander M. Jakob, Brett C. Johnson, David N. Jamieson, Kohei M. Itoh, Andrew S. Dzurak, Andrea Morello | (参考訳) シリコンナノエレクトロニクスデバイスは1量子ビットの量子論理演算を99.9%未満でホストできる。
イオン注入によりシリコン中に導入された単一のドナー原子に結合した電子のスピンに対して、量子情報は1秒近く保存することができる。
しかし、この方法でスケーラブルな量子プロセッサを製造することは、量子ビット間のカップリングを媒介する交換相互作用の指数的感度のため、難しいと考えられている。
ここでは、シリコンに埋め込まれた交換結合した$^{31}$Pドナーの対における電子スピン量子ビットの条件付きコヒーレント制御を示す。
結合強度の$J = 32.06 \pm 0.06$ MHzは分光学的に前例のない精度で測定される。
カップリングは電子核超微粒子カップリングの$A \approx 90$ MHzより弱いため、単純な電子スピン共鳴パルスによってネイティブ2量子制御回転ゲートが得られる。
このスキームはJ$の正確な値に敏感であり、古典的な電子産業で一般的に使用される金属酸化物-半導体製造プロトコルを利用するシリコンのドナーベースの量子コンピュータのスケールアップに適している。 Silicon nanoelectronic devices can host single-qubit quantum logic operations with fidelity better than 99.9%. For the spins of an electron bound to a single donor atom, introduced in the silicon by ion implantation, the quantum information can be stored for nearly 1 second. However, manufacturing a scalable quantum processor with this method is considered challenging, because of the exponential sensitivity of the exchange interaction that mediates the coupling between the qubits. Here we demonstrate the conditional, coherent control of an electron spin qubit in an exchange-coupled pair of $^{31}$P donors implanted in silicon. The coupling strength, $J = 32.06 \pm 0.06$ MHz, is measured spectroscopically with unprecedented precision. Since the coupling is weaker than the electron-nuclear hyperfine coupling $A \approx 90$ MHz which detunes the two electrons, a native two-qubit Controlled-Rotation gate can be obtained via a simple electron spin resonance pulse. This scheme is insensitive to the precise value of $J$, which makes it suitable for the scale-up of donor-based quantum computers in silicon that exploit the Metal-Oxide-Semiconductor fabrication protocols commonly used in the classical electronics industry. | 翻訳日:2023-05-16 07:18:47 公開日:2020-06-29 |
| # 設計によるエンジニアリングプライバシ: エンジニアは課題に対応する準備ができているか? Engineering Privacy by Design: Are engineers ready to live up to the challenge? ( http://arxiv.org/abs/2006.04579v2 ) ライセンス: Link先を確認 | Kathrin Bednar, Sarah Spiekermann and Marc Langheinrich | (参考訳) 顧客がより良いデータ保護を求めるのと同様に、組織は法的要件の遵守に苦労しています。
実装レベルでは、製品やサービスにプライバシ保護を組み込むことは、それらを設計するエンジニアのコミットメントに依存する。
我々は,it企業や研究機関をグローバルにリードする6人のシニアエンジニアにインタビューを行い,プライバシ規制を遵守するモチベーションと能力について調査した。
我々の発見は、法的世界との相互作用に対する責任、統制、自律性、フラストレーションの欠如を示している。
私たちはますますエンジニアに、機能的な要求を超えて、ますます技術社会の人間的価値に反応するよう求めていますが、エンジニアに、現在受け入れる準備ができていない課題を乗り越えるよう求めるジレンマに直面しています。 Organizations struggle to comply with legal requirements as well as customers calls for better data protection. On the implementation level, incorporation of privacy protections in products and services depends on the commitment of the engineers who design them. We interviewed six senior engineers, who work for globally leading IT corporations and research institutions to investigate their motivation and ability to comply with privacy regulations. Our findings point to a lack of perceived responsibility, control, autonomy, and frustrations with interactions with the legal world. While we increasingly call on engineers to go beyond functional requirements and be responsive to human values in our increasingly technological society, we may be facing the dilemma of asking engineers to live up to a challenge they are currently not ready to embrace. | 翻訳日:2023-05-16 07:08:24 公開日:2020-06-29 |
| # bell-testsはローカルな非互換性だけなのだろうか? Are Bell-tests only about local incompatibility? ( http://arxiv.org/abs/2006.08607v2 ) ライセンス: Link先を確認 | Diederik Aerts and Massimiliano Sassoli de Bianchi | (参考訳) ベルテストは量子観測可能性の局所的非可逆性にのみ関係し、量子非局所性は物理学において不要な概念である、という見解が存在する。
本稿では,Bell-CHSH不等式違反に重要な局所的レベルにおいて非局所的レベルの非局所的レベルにおいて不整合性が重要であることを強調する。
したがって、非局所性はある種のジョイント量子測定の結果を適切に解釈するために必要な概念である。 The view exists that Bell-tests would only be about local incompatibility of quantum observables and that quantum non-locality would be an unnecessary concept in physics. In this note, we emphasize that it is not incompatibility at the local level that is important for the violation of Bell-CHSH inequality, but incompatibility at the non-local level of the joint measurements. Hence, non-locality remains a necessary concept to properly interpret the outcomes of certain joint quantum measurements. | 翻訳日:2023-05-14 19:03:11 公開日:2020-06-29 |
| # 非断熱量子高調波オットーエンジンと冷凍機の性能限界 Performance bounds of non-adiabatic quantum harmonic Otto engine and refrigerator under a squeezed thermal reservoir ( http://arxiv.org/abs/2006.08311v2 ) ライセンス: Link先を確認 | Varinder Singh and \"Ozg\"ur E. M\"ustecapl{\i}o\u{g}lu | (参考訳) 量子オットーサイクルの性能を解析し, 時間依存高調波発振器を作動流体として使用し, 断熱期の突然の膨張と圧縮ストロークを行い, 圧縮した貯水池と結合した。
まず,我々のエンジンが達成できる最大効率は1/2のみであることを示し,これはスクイーズド貯水池の影響で単位効率を主張する以前の研究とは対照的である。
次に,オットーサイクルの性能係数だけでなく,効率の上限値に対する解析式を求める。
得られた境界はシステムのパラメータとは独立であり、貯水池パラメータのみに依存する。
また, 熱硬化熱浴を用いて, 導出した上界を満足する最大作業時の効率解析式を得た。
また,冷水貯水池におけるスクイーズの存在下では,標準の場合では禁止されるオットー冷蔵庫の運転体制を規定する。 We analyze the performance of a quantum Otto cycle, employing time-dependent harmonic oscillator as the working fluid undergoing sudden expansion and compression strokes during the adiabatic stages, coupled to a squeezed reservoir. First, we show that the maximum efficiency that our engine can achieve is 1/2 only, which is in contrast with the earlier studies claiming unit efficiency under the effect of squeezed reservoir. Then, we obtain analytic expressions for the upper bound on the efficiency as well as on the coefficient of performance of the Otto cycle. The obtained bounds are independent of the parameters of the system and depends on the reservoir parameters only. Additionally, with hot squeezed thermal bath, we obtain analytic expression for the efficiency at maximum work which satisfies the derived upper bound. Further, in the presence of squeezing in the cold reservoir, we specify an operational regime for the Otto refrigerator otherwise forbidden in the standard case. | 翻訳日:2023-05-13 20:28:01 公開日:2020-06-29 |
| # 二次元半導体中のエクシトン-ポーラロンとTavis-Cummingsモデル Exciton-polarons in two-dimensional semiconductors and the Tavis-Cummings model ( http://arxiv.org/abs/2006.15963v1 ) ライセンス: Link先を確認 | Atac Imamoglu, Ovidiu Cotlet, Richard Schmidt | (参考訳) 2次元電子またはホール系の初等光学励起はエキシトン-フェルミ-ポーラロンと同定されている。
それでも、励起子と電子の結合状態(トリオンと呼ばれる)と励起子-ポラロンの結合は、進行中の議論の対象となっている。
ここで、量子光学のtavis-cummingsモデル(英語版)のアナロジーを用いて、エキシトン-ポーラロンは、非摂動フェルミ海における裸のエキシトンと多くのトリオンの明るい集団励起のコヒーレントな重ね合わせであるハイブリッド準粒子として理解できることを示す。
この類似性は、シビーアンサッツが励起子の動的スクリーニングの優れた説明を提供し、フェルミエネルギーがトリオン結合エネルギーよりもはるかに小さい場合において有効である。
我々は,2次元半導体の吸収スペクトルと発光スペクトルの顕著な差を説明するのに役立つ新たな洞察をもたらすことを期待する。 The elementary optical excitations of a two-dimensional electron or hole system have been identified as exciton-Fermi-polarons. Nevertheless, the connection between the bound state of an exciton and an electron, termed trion, and exciton-polarons is subject of ongoing debate. Here, we use an analogy to the Tavis-Cummings model of quantum optics to show that an exciton-polaron can be understood as a hybrid quasiparticle -- a coherent superposition of a bare exciton in an unperturbed Fermi sea and a bright collective excitation of many trions. The analogy is valid to the extent that the Chevy Ansatz provides a good description of dynamical screening of excitons and provided the Fermi energy is much smaller than the trion binding energy. We anticipate our results to bring new insight that could help to explain the striking differences between absorption and emission spectra of two-dimensional semiconductors. | 翻訳日:2023-05-12 03:48:52 公開日:2020-06-29 |
| # ストロンチウムの長寿命非自動循環型リドバーグ状態の調製 Preparation of Long-Lived, Non-Autoionizing Circular Rydberg States of Strontium ( http://arxiv.org/abs/2006.15921v1 ) ライセンス: Link先を確認 | R. C. Teixeira, A. Larrouy, A. Muni, L. Lachaud, J.-M. Raimond, S. Gleyzes,1 and M. Brune | (参考訳) アルカリ土類 ライドバーグ原子は量子技術の非常に有望な道具である。
非常に励起された外電子は、リドベルク原子の顕著な特性を提供し、特に、イオンコアが光学活性電子を保持する間、外部磁場や他のリドベルク原子と大きな結合を持つ。
しかし、低角運動量rydberg状態は、コアが励起されるとほぼ瞬時に自己イオン化する。
ここで、ストロンチウム円リドベルグ原子が4d$メタ安定レベルで励起されることは、数ミリ秒以上の時間スケールでの自己イオン化を妨げていることを実証する。
これにより、ライドバーグ原子をトラップし、レーザー冷却することができる。
さらに、コア光操作による一重項-三重項遷移を観測し、量子マイクロ波から光インターフェースへの道を開く。 Alkaline earth Rydberg atoms are very promising tools for quantum technologies. Their highly excited outer electron provides them with the remarkable properties of Rydberg atoms and, notably, with a huge coupling to external fields or to other Rydberg atoms while the ionic core retains an optically active electron. However, low angular-momentum Rydberg states suffer almost immediate autoionization when the core is excited. Here, we demonstrate that strontium circular Rydberg atoms with a core excited in a $4D$ metastable level are impervious to autoionization over more than a few millisecond time scale. This makes it possible to trap and laser-cool Rydberg atoms. Moreover, we observe singlet to triplet transitions due to the core optical manipulations, opening the way to a quantum microwave to optical interface. | 翻訳日:2023-05-12 03:48:09 公開日:2020-06-29 |
| # canarytrap: オンラインソーシャルネットワーク上のサードパーティアプリによるデータ誤用の検出 CanaryTrap: Detecting Data Misuse by Third-Party Apps on Online Social Networks ( http://arxiv.org/abs/2006.15794v1 ) ライセンス: Link先を確認 | Shehroze Farooqi and Maaz Musa and Zubair Shafiq and Fareed Zaffar | (参考訳) オンラインソーシャルネットワークは、多数のユーザーの個人情報にアクセス可能なサードパーティアプリの活気あるエコシステムをサポートする。
最近の著名事件にも拘わらず、オンラインソーシャルネットワーク上のサードパーティアプリによるデータ誤用を体系的に検出する手法は不足している。
サードパーティアプリと共有されるデータの誤用を検出するために,CanalyTrapを提案する。
canarytrapは、honeytokenをユーザアカウントに関連付けて、サードパーティアプリと共有した後、さまざまなチャネルで認識されていない使用状況をモニタする。
我々はfacebook上のサードパーティーアプリと共有されるデータの誤用を調査するためにcanarytrapを設計し、実装する。
具体的には、サードパーティのアプリをインストールすることで、Facebookアカウントに関連するメールアドレスをハネトケンとして共有します。
次に受信したメールを監視し、facebookの広告透明性ツールを使用して共有ハネトケンの使用を検知します。
Facebookアプリ1,024を監視するためにCanaryTrapをデプロイしたところ、ランサムウェア、スパム、ターゲット広告など、Facebook上のサードパーティアプリと共有されているデータの誤用が複数見つかった。 Online social networks support a vibrant ecosystem of third-party apps that get access to personal information of a large number of users. Despite several recent high-profile incidents, methods to systematically detect data misuse by third-party apps on online social networks are lacking. We propose CanaryTrap to detect misuse of data shared with third-party apps. CanaryTrap associates a honeytoken to a user account and then monitors its unrecognized use via different channels after sharing it with the third-party app. We design and implement CanaryTrap to investigate misuse of data shared with third-party apps on Facebook. Specifically, we share the email address associated with a Facebook account as a honeytoken by installing a third-party app. We then monitor the received emails and use Facebook's ad transparency tool to detect any unrecognized use of the shared honeytoken. Our deployment of CanaryTrap to monitor 1,024 Facebook apps has uncovered multiple cases of misuse of data shared with third-party apps on Facebook including ransomware, spam, and targeted advertising. | 翻訳日:2023-05-12 03:47:04 公開日:2020-06-29 |
| # 局所バイアス付き古典影を持つ量子ハミルトニアンの測定 Measurements of Quantum Hamiltonians with Locally-Biased Classical Shadows ( http://arxiv.org/abs/2006.15788v1 ) ライセンス: Link先を確認 | Charles Hadfield, Sergey Bravyi, Rudy Raymond, Antonio Mezzacapo | (参考訳) 量子可観測性の正確な推定を得ることは、変分量子アルゴリズムの重要なステップである。
量子コンピュータ上に用意された状態に基づいて得られた分子ハミルトニアンの期待値を推定する問題を考える。
本稿では,ハミルトニアンの知識と量子状態の古典的近似によって局所的に最適化された新しい推定器を提案する。
我々の推定器は量子状態の古典的な影の概念に基づいており、状態の準備のために回路深さを加算しないという重要な性質を持っている。
その性能を分子ハミルトニアンに対して数値的に検証し,回路の深さを増加させない電流測定プロトコルに対する分散の低減を見出した。 Obtaining precise estimates of quantum observables is a crucial step of variational quantum algorithms. We consider the problem of estimating expectation values of molecular Hamiltonians, obtained on states prepared on a quantum computer. We propose a novel estimator for this task, which is locally optimised with knowledge of the Hamiltonian and a classical approximation to the underlying quantum state. Our estimator is based on the concept of classical shadows of a quantum state, and has the important property of not adding to the circuit depth for the state preparation. We test its performance numerically for molecular Hamiltonians of increasing size, finding a sizable reduction in variance with respect to current measurement protocols that do not increase circuit depths. | 翻訳日:2023-05-12 03:46:45 公開日:2020-06-29 |
| # 分散最小化による変分量子固有解法 Variational quantum eigensolvers by variance minimization ( http://arxiv.org/abs/2006.15781v1 ) ライセンス: Link先を確認 | Dan-Bo Zhang, Zhan-Hao Yuan, Tao Yin | (参考訳) 変分量子固有解法(VQE)は通常、基底状態を見つけることを目的としたハイブリッド量子古典最適化によってエネルギーを最小化する。
本稿では、エネルギー分散を最小化してVQEを提案し、これは分散-VQE(VVQE)と呼ばれる。
VVQEは、ハミルトニアンに対する固有状態はエネルギーの分散がゼロであることから、設計により任意の固有状態に対する自己検証固有解法と見なすことができる。
量子化学問題を用いて励起状態の集合を解くためのVVQEの特性と利点を示す。
エネルギーと分散の組合せの最適化は、エネルギーの最小化や分散のみの分散よりも低エネルギー励起状態を見つける方が効率的であることを示す。
さらに、ハミルトニアンサンプリングによる確率勾配降下により最適化が促進され、ハミルトニアン数項しか使用せず、分散と勾配を評価するための量子資源が著しく減少することを明らかにした。 Variational quantum eigensolver(VQE) typically minimizes energy with hybrid quantum-classical optimization, which aims to find the ground state. Here, we propose a VQE by minimizing energy variance, which is called as variance-VQE(VVQE). The VVQE can be viewed as an self-verifying eigensolver for arbitrary eigenstate by designing, since an eigenstate for a Hamiltonian should have zero energy variance. We demonstrate properties and advantages of VVQE for solving a set of excited states with quantum chemistry problems. Remarkably, we show that optimization of a combination of energy and variance may be more efficient to find low-energy excited states than those of minimizing energy or variance alone. We further reveal that the optimization can be boosted with stochastic gradient descent by Hamiltonian sampling, which uses only a few terms of the Hamiltonian and thus significantly reduces the quantum resource for evaluating variance and its gradients. | 翻訳日:2023-05-12 03:46:32 公開日:2020-06-29 |
| # キャビティ浮遊ナノスフィアの擬似光力学的冷却 Quadratic optomechanical cooling of a cavity-levitated nanosphere ( http://arxiv.org/abs/2006.16103v1 ) ライセンス: Link先を確認 | N. P. Bullier, A. Pontin and P. F. Barker | (参考訳) ナノ粒子の中心運動は、その運動と高精細キャビティの光学場との純粋に2次結合により冷却される。
結果として生じる相互作用は、Van der Polの非線形減衰を生じさせ、これは、空洞が測定なしで受動的フィードバックを提供する従来のパラメトリックフィードバックと類似している。
フィードバック冷却と同様に, エネルギー分布は強い非熱的であり, キャビティの非線形減衰によって制御できることを実験的に示す。
二次結合は,非古典的な状態を生成するための提案プロトコルにおいて顕著な役割を担っているため,このような状態を生成するための第一歩となる。 We report on cooling the center-of-mass motion of a nanoparticle due to a purely quadratic coupling between its motion and the optical field of a high finesse cavity. The resulting interaction gives rise to a Van der Pol nonlinear damping, which is analogous to conventional parametric feedback where the cavity provides passive feedback without measurement. We show experimentally that like feedback cooling the resulting energy distribution is strongly nonthermal and can be controlled by the nonlinear damping of the cavity. As quadratic coupling has a prominent role in proposed protocols to generate deeply nonclassical states, our work represents a first step for producing such states in a levitated system. | 翻訳日:2023-05-12 03:39:53 公開日:2020-06-29 |
| # 公共交通機関におけるパッシブWi-Fiモニタリング--マデイラ島を事例として Passive Wi-Fi Monitoring in Public Transport: A case study in the Madeira Island ( http://arxiv.org/abs/2006.16083v1 ) ライセンス: Link先を確認 | Miguel Ribeiro, Bernardo Galv\~ao, Catia Prandi, Nuno Nunes | (参考訳) 近年は交通がますます重要になってきており、人々の満足度や生活の質に大きな影響を与えている。
本稿では,公共交通機関の監視,最適化,パーソナライズを目的とした受動Wi-Fiプローブ収集のための低コストなインフラを提案する。
我々は、受動Wi-Fiデータを用いた19の公共交通機関に展開する組込みシステムを開発した。
このデータは車両毎および停止毎単位で分析され、地上真理データ(ticketing)と比較され、また、乗客の出口推定、車両のピーク荷重の検出、目的地の習慣を用いている。
そこで我々は,このデータにより経路最適化が可能であり,より持続可能なモビリティを目指して,道路・交通管理の監視・最適化,アクセシビリティ問題の検出・防止,市民や観光客に提供されるサービスの改善をめざして,地方自治体や観光委員会に提供する。 Transportation has become of evermore importance in the last years, affecting people's satisfaction and significantly impacting their quality of life. In this paper we present a low-cost infrastructure to collect passive Wi-Fi probes with the aim of monitoring, optimizing and personalizing public transport, towards a more sustainable mobility. We developed an embedded system deployed in 19 public transportation vehicles using passive Wi-Fi data. This data is analyzed on a per-vehicle and per-stop basis and compared against ground truth data (ticketing), while also using a method of estimating passenger exits, detecting peak loads on vehicles, and origin destination habits. As such, we argue that this data enables route optimization and provides local authorities and tourism boards with a tool to monitor and optimize the management of routes and transportation, identify and prevent accessibility issues, with the aim of improving the services offered to citizens and tourists, towards a more sustainable mobility. | 翻訳日:2023-05-12 03:39:11 公開日:2020-06-29 |
| # スピンアンサンブルに強く結合する空洞を持つハイブリッド量子系の非マルコフ的デコヒーレンスダイナミクス:マスター方程式アプローチ Non-Markovian decoherence dynamics of the hybrid quantum system with a cavity strongly coupling to a spin ensemble: a master equation approach ( http://arxiv.org/abs/2006.16064v1 ) ライセンス: Link先を確認 | Kai-Ting Chaing and Wei-Min Zhang | (参考訳) 超伝導マイクロ波共振器結合のハイブリッド量子系に関する最近の実験を外部駆動場下での非均質拡大スピンアンサンブルに強く適用し,その非マルコフデコヒーレンスダイナミクスを精密マスター方程式を用いて検証した。
ここでスピンアンサンブルはダイヤモンド中の負の荷電窒素空孔(nv)欠陥によって作られる。
オープン系に対する厳密なマスター方程式理論は実験的なデコヒーレンス結果を表現し、非均一な拡張によって引き起こされるデコヒーレンスを強結合系で抑制するメカニズムを明らかにする。
さらに, スペクトルホール燃焼により局所状態が生成し, キャビティデコヒーレンスをさらに抑制できることを示す。
また, このシステムにおける2時間相関について検討し, 量子メモリの量子揺らぎがどのように現れるかを示す。 Based on the recent experiments on the hybrid quantum system of a superconducting microwave cavity coupling strongly to an inhomogeneous broadening spin ensemble under an external driving field, we use the exact master equation approach to investigate its non-Markovian decoherence dynamics. Here the spin ensemble is made by negatively charged nitrogen-vacancy (NV) defects in diamond. Our exact master equation theory for open systems depicts the experimental decoherence results and reveals the mechanism how the decoherence induced by the inhomogeneous broadening is suppressed in the strong-coupling regime. Moreover, we show how the spectral hole burning generates localized states to further suppress the cavity decoherence. We also investigate the two-time correlations in this system to further show how quantum fluctuations manifest quantum memory. | 翻訳日:2023-05-12 03:38:51 公開日:2020-06-29 |
| # ウィグナーの畳み込みの友人 Wigner's convoluted friends ( http://arxiv.org/abs/2006.16056v1 ) ライセンス: Link先を確認 | R. Muci\~no and E. Okon | (参考訳) ウィグナーの友人のシナリオの複雑な拡張を考えると、フレイチーガーとレンナー(fr)は「量子理論は自分自身の使用を一貫して記述できない」と述べている。
しかし、そのような結果は深刻な批判を受けており、崩壊機構の詳細に関する暗黙的かつ非自明な仮定に決定的に依存することが説得力強く主張されている。
結果として、結果は意図したほど堅牢でも一般的でもない。
これに加えて、この研究において、より単純な配置(基礎的にはEPRの設定)がFRと完全に類似した結果を得るのに十分であることを示す。
さらに、FRの結果から得られたすべての教訓は、基本的にはオリジナルのEPR論文に含まれると主張する。
FRの結果は量子論の概念的問題に対する新しい洞察を与えていないと結論づける。 Considering a complicated extension of a Wigner's friend scenario, Frauchiger and Renner (FR) allegedly showed that "quantum theory cannot consistently describe the use of itself". However, such a result has been under severe criticism, as it has been convincingly argued to crucially depend on an implicit, non-trivial assumption regarding details of the collapse mechanism. In consequence, the result is not as robust or general as intended. On top of all this, in this work we show that a much simpler arrangement--basically an EPR setting--is sufficient to derive a result fully analogous to that of FR. Moreover, we claim that all lessons learned from FR's result are essentially contained within the original EPR paper. We conclude that FR's result does not offer any novel insights into the conceptual problems of quantum theory. | 翻訳日:2023-05-12 03:38:34 公開日:2020-06-29 |
| # ハルダンナノリボン中の高ハーモニック光子のヘリシティフリップ Helicity flip of high-harmonic photons in Haldane nanoribbons ( http://arxiv.org/abs/2006.16037v1 ) ライセンス: Link先を確認 | Christoph J\"ur{\ss}, Dieter Bauer | (参考訳) 凝縮物質の高調波分光の最近の研究は、主に検討中の系の大部分に焦点を当てている。
本研究では,リボンに沿って線形に偏光する強いレーザーパルスに対する薄い六角形ナノリボンの応答について検討する。
このようなナノリボンは、一方の方向にバルク状で他方の方向に有限な2次元系の素例である。
線形偏光レーザ磁場に垂直な方向の原子的に薄いスケールにもかかわらず、交互オンサイト電位とハルダンホッピングを考慮した場合、放射されるハーモニクスは楕円的に偏光する。
ホッピングが与えられた場合、ある調和順序に対して突然ヘリシティが変化する。
このフリップの起源は、ブロッホ状態の成分間の位相差に遡ることができる。 Recent studies in high-harmonic spectroscopy of condensed matter mainly focused on the bulk of the system under consideration. In this work, we investigate the response of thin, hexagonal nanoribbons to an intense laser pulse that is linearly polarized along the ribbon. Such nanoribbons are prime examples of two-dimensional systems that are bulk-like in one direction and finite in the other direction. Despite the atomically thin scale in the direction perpendicular to the linearly polarized driving laser field, the emitted harmonics are elliptically polarized if an alternating onsite potential and Haldane hopping is taken into account. For given hoppings, we find a sudden change of the helicity for a certain harmonic order. The origin of this flip is traced back to phase differences between the components of Bloch states. | 翻訳日:2023-05-12 03:38:20 公開日:2020-06-29 |
| # 窒化アルミニウム集積光子の明るい高純度量子エミッタ Bright high-purity quantum emitters in aluminium nitride integrated photonics ( http://arxiv.org/abs/2006.16276v1 ) ライセンス: Link先を確認 | Tsung-Ju Lu, Benjamin Lienhard, Kwang-Yong Jeong, Hyowon Moon, Ava Iranmanesh, Gabriele Grosso, and Dirk Englund | (参考訳) 固体量子エミッタ(qes)はフォトニックベースの量子情報処理において基本である。
III-窒化物半導体の高品質QEの開発には、光エレクトロニクス、高電圧トランジスタ、マイクロ波増幅器などにおける大規模で成長する応用により、高い関心がある。
本稿では,窒化アルミニウム系フォトニック集積回路プラットフォームにおけるqesの生成と直接統合について報告する。
個別の導波管積分QEに対して、オフチップカウントレートは6 \times 10^{4}$ counts per second (cps) (飽和レート > 8.6 \times 10^{4}$ cps) を超える。
非パターンの薄膜試料では、$g^{(2)}(0) \sim 0.05$と8 \times 10^{5}$ cps(飽和速度 > $1 \times 10^{6}$ cps)を超える光子数率でアンチバンキングを測定する。
スピンおよび詳細な光線幅測定は将来の研究のために残されているが、これらの結果は、新しい量子デバイス機会と産業拡張を可能にする幅広いiii-窒化物デバイス技術にモノリシックに統合された高品質qesの可能性を示している。 Solid-state quantum emitters (QEs) are fundamental in photonic-based quantum information processing. There is strong interest to develop high-quality QEs in III-nitride semiconductors because of their sophisticated manufacturing driven by large and growing applications in optoelectronics, high voltage power transistors, and microwave amplifiers. Here, we report the generation and direct integration of QEs in an aluminium nitride-based photonic integrated circuit platform. For individual waveguide-integrated QEs, we measure an off-chip count rate exceeding $6 \times 10^{4}$ counts per second (cps) (saturation rate > $8.6 \times 10^{4}$ cps). In an unpatterned thin-film sample, we measure antibunching with $g^{(2)}(0) \sim 0.05$ and photon count rates exceeding $8 \times 10^{5}$ cps (saturation rate > $1 \times 10^{6}$ cps). Although spin and detailed optical linewidth measurements are left for future work, these results already show the potential for high-quality QEs monolithically integrated in a wide range of III-nitride device technologies that would enable new quantum device opportunities and industrial scalability. | 翻訳日:2023-05-12 03:31:12 公開日:2020-06-29 |
| # ウィグナー関数からのフェルミオンの絡み合いエントロピー:励起状態と開量子系 Entanglement Entropy of Fermions from Wigner Functions: Excited States and Open Quantum Systems ( http://arxiv.org/abs/2006.16271v1 ) ライセンス: Link先を確認 | Saranyo Moitra, Rajdeep Sensarma | (参考訳) 我々はケルディシュ場理論を用いてフェルミオンのサブシステムの絡み合いエントロピーを計算する新しい「ウィグナー特性」に基づく手法を定式化する。
これは、多くの体系に対するR\'{e}nyiエントロピーを計算するために複雑な多様体を扱うという要求をバイパスする。
任意のフォック状態において初期化される非相互作用の開量子系のR\'{e}nyi と von-Neumann 絡み合いエントロピーの正確な解析式を提供する。
この形式主義を用いて、1次元フェルミオンの運動量フォック状態の絡み合いエントロピーを調べる。
フォック状態の絡み合いエントロピーは、運動量分布の不連続性の数がサブシステムサイズよりも小さいか大きいかによって、サブシステムサイズと対数的または線形にスケール可能であることを示す。
占有モータのブロック数の観点からの状態の分類により、特定のサブシステムサイズに対する臨界および非臨界フォック状態の数を解析的に推定することができる。
また、この形式を用いて、開量子系の絡み合いのダイナミクスをシステムの中心に1つのドメインウォールから記述する。
絡み合いエントロピーと相互情報を用いて, ドメイン壁波面のコヒーレントな動き, ドメイン壁の生成と消滅, および粒子とバスとの非コヒーレントな交換のダイナミクスを解明する。 We formulate a new ``Wigner characteristics'' based method to calculate entanglement entropies of subsystems of Fermions using Keldysh field theory. This bypasses the requirements of working with complicated manifolds for calculating R\'{e}nyi entropies for many body systems. We provide an exact analytic formula for R\'{e}nyi and von-Neumann entanglement entropies of non-interacting open quantum systems, which are initialised in arbitrary Fock states. We use this formalism to look at entanglement entropies of momentum Fock states of one-dimensional Fermions. We show that the entanglement entropy of a Fock state can scale either logarithmically or linearly with subsystem size, depending on whether the number of discontinuities in the momentum distribution is smaller or larger than the subsystem size. This classification of states in terms number of blocks of occupied momenta allows us to analytically estimate the number of critical and non-critical Fock states for a particular subsystem size. We also use this formalism to describe entanglement dynamics of an open quantum system starting with a single domain wall at the center of the system. Using entanglement entropy and mutual information, we understand the dynamics in terms of coherent motion of the domain wall wavefronts, creation and annihilation of domain walls and incoherent exchange of particles with the bath. | 翻訳日:2023-05-12 03:30:13 公開日:2020-06-29 |
| # デジタル量子シミュレーションのための強化学習 Reinforcement Learning for Digital Quantum Simulation ( http://arxiv.org/abs/2006.16269v1 ) ライセンス: Link先を確認 | Adrien Bolens and Markus Heyl | (参考訳) デジタル量子シミュレーションは量子コンピュータにとって有望な応用である。
その自由プログラマビリティは、時間進化作用素を基本的な量子ゲートの列を通じて離散化することで、有界スペクトルを持つ多体ハミルトンのユニタリ進化をシミュレートすることができる。
この文脈における根本的な課題は、関連する量子ゲートの実験的不完全性から来ており、到達可能なゲートの数を合理的な精度で制限し、従って達成可能なシステムサイズとシミュレーション時間が決定的に制限される。
本研究では,量子ゲート数に強い制約を課すことで,ディジタル量子シミュレーションのための最適化量子回路を体系的に構築する強化学習アルゴリズムを提案する。
これにより、長い時間と大きなシステムサイズで3つの絡み合ったゲートを持つ物理観測可能な量子回路を一貫して取得する。
具体例として、我々の形式主義を長い範囲のイジング連鎖と格子シュウィンガーモデルに適用する。
本手法は,現在の実験技術の範囲内で大規模ディジタル量子シミュレーションを可能にする。 Digital quantum simulation is a promising application for quantum computers. Their free programmability provides the potential to simulate the unitary evolution of any many-body Hamiltonian with bounded spectrum by discretizing the time evolution operator through a sequence of elementary quantum gates, typically achieved using Trotterization. A fundamental challenge in this context originates from experimental imperfections for the involved quantum gates, which critically limits the number of attainable gates within a reasonable accuracy and therefore the achievable system sizes and simulation times. In this work, we introduce a reinforcement learning algorithm to systematically build optimized quantum circuits for digital quantum simulation upon imposing a strong constraint on the number of allowed quantum gates. With this we consistently obtain quantum circuits that reproduce physical observables with as little as three entangling gates for long times and large system sizes. As concrete examples we apply our formalism to a long range Ising chain and the lattice Schwinger model. Our method makes larger scale digital quantum simulation possible within the scope of current experimental technology. | 翻訳日:2023-05-12 03:29:44 公開日:2020-06-29 |
| # 標準模型、例外的ヨルダン代数、および試行性 The Standard Model, The Exceptional Jordan Algebra, and Triality ( http://arxiv.org/abs/2006.16265v1 ) ライセンス: Link先を確認 | Latham Boyle | (参考訳) ジョルダン、ウィグナー、フォン・ノイマンは、量子力学的可観測体の可能な代数を分類し、それらが4つの「通常の」族に、さらに1つの顕著な外れ値である例外的ジョルダン代数に分類した。
この代数の複素化と素粒子物理学の標準モデルとの興味深い関係を指摘し、その最小左対称 $SU(3)\times SU(2)_{L}\times SU(2)_{R}\times U(1)$ extension と $Spin(10)$ unification を指摘した。
これは、複素オクトニオン射影平面の接空間 $(\mathbb{C}\otimes\mathbb{O})^{2}$ によって標準模型フェルミオンの1世代が記述され、3世代の存在は $SO(8)$ の試行性に関係しているという幾何学的解釈を示唆している。 Jordan, Wigner and von Neumann classified the possible algebras of quantum mechanical observables, and found they fell into 4 "ordinary" families, plus one remarkable outlier: the exceptional Jordan algebra. We point out an intriguing relationship between the complexification of this algebra and the standard model of particle physics, its minimal left-right-symmetric $SU(3)\times SU(2)_{L}\times SU(2)_{R}\times U(1)$ extension, and $Spin(10)$ unification. This suggests a geometric interpretation, where a single generation of standard model fermions is described by the tangent space $(\mathbb{C}\otimes\mathbb{O})^{2}$ of the complex octonionic projective plane, and the existence of three generations is related to $SO(8)$ triality. | 翻訳日:2023-05-12 03:29:27 公開日:2020-06-29 |
| # サブシステム間の永続的量子相関の指標としての同期位相 Synchronisation phase as an indicator of persistent quantum correlations between subsystems ( http://arxiv.org/abs/2006.16209v1 ) ライセンス: Link先を確認 | Stefan Siwiak-Jaszek, Thao P. Le and Alexandra Olaya-Castro | (参考訳) 自発同期は、動的古典系と量子系の両方で起こる集合現象である。
ここでは, 生体刺激系におけるエネルギー移動を支援する振動の自発同期ダイナミクスを解析する。
発振器の自然な周波数が劣化するにつれて, 同期振動変位間の非ゼロ同期位相の出現が観測された。
この位相差は、長寿命の同期状態における局所モードの不斉参加から生じる。
さらに,同期相,復調相,同期サブシステム間の量子相関度の関係について検討し,同期相が古典的相関を持続的に上回っていることを示す。
我々の分析は、自然に同期する様々なオープン量子系に適用できることを示す。
そこで本研究は, 複雑な生体分子およびナノスケール化学系における非自明な量子現象を解明するための有望な道を開く。 Spontaneous synchronisation is a collective phenomenon that can occur in both dynamical classical and quantum systems. Here, we analyse the spontaneous synchronisation dynamics of vibrations assisting energy transfer in a bio-inspired system. We find the emergence of a constant non-zero `synchronisation phase' between synchronised vibrational displacements as the natural frequencies of the oscillators are detuned. This phase difference arises from the asymmetric participation of local modes in the long-lived synchronised state. Furthermore, we investigate the relationships between the synchronisation phase, detuning and the degree of quantum correlations between the synchronising subsystems and find that the synchronisation phase captures how quantum correlations persistently exceed classical correlations during the dynamics. We show that our analysis applies to a variety of spontaneously synchronising open quantum systems. Our work therefore opens up a promising avenue to investigate non-trivial quantum phenomena in complex biomolecular and nano-scale chemical systems. | 翻訳日:2023-05-12 03:27:26 公開日:2020-06-29 |
| # 光ツイーザを用いた超高速粘度測定 Ultrafast viscosity measurement with ballistic optical tweezers ( http://arxiv.org/abs/2007.03066v1 ) ライセンス: Link先を確認 | Lars S. Madsen, Muhammad Waleed, Catxere A. Casacio, Alexander B. Stilgoe, Michael A. Taylor, Warwick P. Bowen | (参考訳) 粘性は、活性生物材料や非ニュートン流体などの非平衡系の重要な性質であり、バイオマテリアルから地質学、エネルギー技術、医学まで幅広い分野において重要である。
しかし、非侵襲的粘度測定は通常、積分時間数秒を要する。
ここでは、20マイクロ秒までの速度を4桁改善し、基本的な熱雑音に支配される不確実性を示す。
光学式ツイーザにおける捕捉粒子の瞬時速度を用いてこれを実現する。
即時速度の解消のために,メガヘルツ帯域の粒子追跡が可能な構造光検出システムを開発した。
その結果、粘度を静的な平均値からアクティブなダイナミクスの時間スケールで動的に追跡できるものへ変換する。
これにより、相転移の高速ダイナミクスから運動分子のステッピングにおけるエネルギー散逸、平衡熱力学の揺らぎ則の違反に至るまで、平衡系外における新たな発見への道を開くことができる。 Viscosity is an important property of out-of-equilibrium systems such as active biological materials and driven non-Newtonian fluids, and for fields ranging from biomaterials to geology, energy technologies and medicine. However, noninvasive viscosity measurements typically require integration times of seconds. Here we demonstrate a four orders-of-magnitude improvement in speed, down to twenty microseconds, with uncertainty dominated by fundamental thermal noise for the first time. We achieve this using the instantaneous velocity of a trapped particle in an optical tweezer. To resolve the instantaneous velocity we develop a structured-light detection system that allows particle tracking with megahertz bandwidths. Our results translate viscosity from a static averaged property, to one that may be dynamically tracked on the timescales of active dynamics. This opens a pathway to new discoveries in out-of-equilibrium systems, from the fast dynamics of phase transitions, to energy dissipation in motor molecule stepping, to violations of fluctuation laws of equilibrium thermodynamics. | 翻訳日:2023-05-12 03:20:48 公開日:2020-06-29 |
| # Digital Contact Tracing Service: プライバシーと有効性のための分散設計の改善 Digital Contact Tracing Service: An improved decentralized design for privacy and effectiveness ( http://arxiv.org/abs/2006.16960v1 ) ライセンス: Link先を確認 | Kilian Holzapfel, Martina Karl, Linus Lotz, Georg Carle, Christian Djeffal, Christian Fruck, Christian Haack, Dirk Heckmann, Philipp H. Kindt, Michael K\"oppl, Patrick Krause, Lolian Shtembari, Lorenz Marx, Stephan Meighen-Berger, Birgit Neumair, Matthias Neumair, Julia Pollmann, Tina Pollmann, Elisa Resconi, Stefan Sch\"onert, Andrea Turcati, Christoph Wiesinger, Giovanni Zattera, Christopher Allan, Esteban Barco, Kai Bitterschulte, J\"orn Buchwald, Clara Fischer, Judith Gampe, Martin H\"acker, Jasin Islami, Anatol Pomplun, Sebastian Preisner, Nele Quast, Christian Romberg, Christoph Steinlehner, Tjark Ziehm | (参考訳) 本稿では,セキュリティ基準を満たしつつ,ユーザのプライバシーを設計的に保持する分散型ディジタル連絡先追跡サービスを提案する。
当社のアプローチはBluetoothをベースとして,実際の出会う時間,接触時間を測定し,接触の近さを推定する。
ユーザの位置追跡を防止し,データや身元を保護しながら,ユーザとの接触や感染拡大の可能性を追跡した。
疫学モデルに基づく追跡の影響を検証・改善する。
法的な観点から中央集権的・分散的アプローチを比較し,比例性とデータの最小化を考慮した分散的アプローチを見いだす。 We propose a decentralized digital contact tracing service that preserves the users' privacy by design while complying to the highest security standards. Our approach is based on Bluetooth and measures actual encounters of people, the contact time period, and estimates the proximity of the contact. We trace the users' contacts and the possible spread of infectious diseases while preventing location tracking of users, protecting their data and identity. We verify and improve the impact of tracking based on epidemiological models. We compare a centralized and decentralized approach on a legal perspective and find a decentralized approach preferable considering proportionality and data minimization. | 翻訳日:2023-05-12 03:20:16 公開日:2020-06-29 |
| # 領域適応のための量子部分空間アライメント Quantum subspace alignment for domain adaptation ( http://arxiv.org/abs/2001.02472v2 ) ライセンス: Link先を確認 | Xi He | (参考訳) ドメイン適応(DA)は、与えられた関連するが異なるラベル付きデータセットを持つ未処理データセットのラベルを適応的に取得するために使用される。
代表的DAアルゴリズムであるサブスペースアライメント(SA)は、2つの異なるデータセットのサブスペースをアライメントする線形変換を見つけようとする。
配列されたラベル付きデータセットでトレーニングされた分類器は、対象ラベルを予測するためにラベル付きデータセットに転送することができる。
本稿では,SAの量子バージョンを2つ提案し,DA法を量子デバイスに実装する。
量子部分空間アライメントアルゴリズム(QSA)は、与えられたサンプルの数と次元を2次的に高速化する。
もう1つの方法である変分量子部分空間アライメントアルゴリズム(vqsa)は、変分ハイブリッド量子古典的手続きを通じて近距離量子デバイスに実装することができる。
異なる種類のデータセットに対する数値実験の結果、VQSAは対応する古典的アルゴリズムと比較して競争性能を達成できることを示した。 Domain adaptation (DA) is used for adaptively obtaining labels of an unprocessed data set with a given related, but different labelled data set. Subspace alignment (SA), a representative DA algorithm, attempts to find a linear transformation to align the subspaces of the two different data sets. The classifier trained on the aligned labelled data set can be transferred to the unlabelled data set to predict the target labels. In this paper, two quantum versions of the SA are proposed to implement the DA procedure on quantum devices. One method, the quantum subspace alignment algorithm (QSA), achieves quadratic speedup in the number and dimension of given samples. The other method, the variational quantum subspace alignment algorithm (VQSA), can be implemented on the near term quantum devices through a variational hybrid quantum-classical procedure. The results of the numerical experiments on different types of datasets demonstrate that the VQSA can achieve competitive performance compared with the corresponding classical algorithm. | 翻訳日:2023-01-13 09:50:06 公開日:2020-06-29 |
| # 自動構造探索によるチャネルプルーニング Channel Pruning via Automatic Structure Search ( http://arxiv.org/abs/2001.08565v3 ) ライセンス: Link先を確認 | Mingbao Lin, Rongrong Ji, Yuxin Zhang, Baochang Zhang, Yongjian Wu, Yonghong Tian | (参考訳) チャネルプルーニングはディープニューラルネットワークを圧縮する主要なアプローチの一つである。
この目的のために、既存のプルーニング手法のほとんどは、サブ最適プルーニングの欠陥であるthumbルールに基づいた重要/最適化または正規化によるチャネル(フィルタ)の選択に焦点を当てている。
本稿では, ABCPruner と呼ばれる人工蜂コロニーアルゴリズム(ABC)に基づく新たなチャネル刈取手法を提案する。これは, 従来の作業のように「重要な」チャネルを選択するのではなく, それぞれの層に最適なプルーニング構造, すなわちチャネル番号を効率的に見つけることを目的としている。
深層ネットワークにおけるプルーンド構造の難易度の高い組み合わせを解決するため,まず,保存チャネルが特定の空間に制限されるような組み合わせを小さくすることを提案し,プルーンド構造の組み合わせを著しく低減することができる。
そして最適化問題として最適プルーン構造の探索を定式化し、abcアルゴリズムを統合して自動的に解くことで人間の干渉を減少させる。
ABCPrunerはより効果的であることが証明されており、細調整をエンドツーエンドで効率的に行うことができる。
ソースコードはhttps://github.com/lmbxmu/abcprunerで入手できる。 Channel pruning is among the predominant approaches to compress deep neural networks. To this end, most existing pruning methods focus on selecting channels (filters) by importance/optimization or regularization based on rule-of-thumb designs, which defects in sub-optimal pruning. In this paper, we propose a new channel pruning method based on artificial bee colony algorithm (ABC), dubbed as ABCPruner, which aims to efficiently find optimal pruned structure, i.e., channel number in each layer, rather than selecting "important" channels as previous works did. To solve the intractably huge combinations of pruned structure for deep networks, we first propose to shrink the combinations where the preserved channels are limited to a specific space, thus the combinations of pruned structure can be significantly reduced. And then, we formulate the search of optimal pruned structure as an optimization problem and integrate the ABC algorithm to solve it in an automatic manner to lessen human interference. ABCPruner has been demonstrated to be more effective, which also enables the fine-tuning to be conducted efficiently in an end-to-end manner. The source codes can be available at https://github.com/lmbxmu/ABCPruner. | 翻訳日:2023-01-07 13:04:27 公開日:2020-06-29 |
| # 機械学習のためのフォトニックテンソルコア Photonic tensor cores for machine learning ( http://arxiv.org/abs/2002.03780v2 ) ライセンス: Link先を確認 | Mario Miscuglio, Volker J. Sorger | (参考訳) ハードウェアのヘテロゲニティ向上に向けたコンピューティングのトレンドが続いている中、ドメイン固有のコプロセッサが集中型パラダイムの代替として登場している。
テンソルコアユニット (tpu) は、より高い信号とエネルギー効率により、グラフィックプロセスユニットを約3桁の等級で上回ることが示されている。
この文脈では、光子は多くの相乗的物理的性質を持ち、相変化材料はこれらの新興の非ファン・ノイマンアーキテクチャにおいて局所的な非揮発性メノニックな機能を許容する。
いくつかのフォトニックニューラルネットワークの設計が検討されているが、行列ベクトル乗算と和を行うフォトニックTPUはまだ未完成である。
ここでは、戦略的利用による統合フォトニクスベースのTPUを提案する。
a)波長分割多重化によるフォトニック並列化
b)光エレクトロニクス及びコンパクトフォトニック集積回路からのピコ秒短絡10秒で実現されたハイ2ペタ演算秒スループット
c) アモルファス状態の消失を特徴とする相変化材料に基づくゼロ電力消費新規多状態記憶
これらの物質, 機能, システムの物理的相乗効果を組み合わせることで, この8ビットフォトニックTPUの性能は, 類似のチップ領域を特徴とする電気的TPUよりも2～3桁高い。
この研究は、フォトニック特化プロセッサが電子システムを増強する可能性を示し、5Gネットワークを略奪するネットワークエッジデバイスで異常によく機能することを示している。 With an ongoing trend in computing hardware towards increased heterogeneity, domain-specific co-processors are emerging as alternatives to centralized paradigms. The tensor core unit (TPU) has shown to outperform graphic process units by almost 3-orders of magnitude enabled by higher signal throughout and energy efficiency. In this context, photons bear a number of synergistic physical properties while phase-change materials allow for local nonvolatile mnemonic functionality in these emerging distributed non van-Neumann architectures. While several photonic neural network designs have been explored, a photonic TPU to perform matrix vector multiplication and summation is yet outstanding. Here we introduced an integrated photonics-based TPU by strategically utilizing a) photonic parallelism via wavelength division multiplexing, b) high 2 Peta-operations-per second throughputs enabled by 10s of picosecond-short delays from optoelectronics and compact photonic integrated circuitry, and c) zero power-consuming novel photonic multi-state memories based on phase-change materials featuring vanishing losses in the amorphous state. Combining these physical synergies of material, function, and system, we show that the performance of this 8-bit photonic TPU can be 2-3 orders higher compared to an electrical TPU whilst featuring similar chip areas. This work shows that photonic specialized processors have the potential to augment electronic systems and may perform exceptionally well in network-edge devices in the looming 5G networks and beyond. | 翻訳日:2023-01-05 01:19:30 公開日:2020-06-29 |
| # 非滑らかな非凸関数の定常点を求める複雑さ Complexity of Finding Stationary Points of Nonsmooth Nonconvex Functions ( http://arxiv.org/abs/2002.04130v3 ) ライセンス: Link先を確認 | Jingzhao Zhang, Hongzhou Lin, Stefanie Jegelka, Ali Jadbabaie, Suvrit Sra | (参考訳) 非滑らかな非凸関数の定常点を求める最初の非漸近解析を提供する。
特に、アダマール半微分可能関数のクラス、おそらくは計算の連鎖則が持つ最大の非滑らかな関数のクラスについて研究する。
このクラスは、ReLUニューラルネットワークや他の非微分可能活性化関数を含む例を含む。
まず、一階法で$\epsilon$-stationary 点を求めることは有限時間で不可能であることを示す。
次に、$(\delta, \epsilon)$-stationarityという概念を導入し、$\epsilon$-approximate gradient を、解との距離$\delta$の点で評価された一般化された勾配の凸結合となるようにする。
ランダム化された一階法の一連の方法を提案し、$(\delta, \epsilon)$-stationary point を求める複雑性を解析する。
さらに、下限を提供し、確率的アルゴリズムが$\delta$にmin-maxの最適依存性を持つことを示す。
この手法は,ReLUニューラルネットワークのトレーニングに有効である。 We provide the first non-asymptotic analysis for finding stationary points of nonsmooth, nonconvex functions. In particular, we study the class of Hadamard semi-differentiable functions, perhaps the largest class of nonsmooth functions for which the chain rule of calculus holds. This class contains examples such as ReLU neural networks and others with non-differentiable activation functions. We first show that finding an $\epsilon$-stationary point with first-order methods is impossible in finite time. We then introduce the notion of $(\delta, \epsilon)$-stationarity, which allows for an $\epsilon$-approximate gradient to be the convex combination of generalized gradients evaluated at points within distance $\delta$ to the solution. We propose a series of randomized first-order methods and analyze their complexity of finding a $(\delta, \epsilon)$-stationary point. Furthermore, we provide a lower bound and show that our stochastic algorithm has min-max optimal dependence on $\delta$. Empirically, our methods perform well for training ReLU neural networks. | 翻訳日:2023-01-02 09:49:14 公開日:2020-06-29 |
| # 変圧器アーキテクチャにおける層正規化について On Layer Normalization in the Transformer Architecture ( http://arxiv.org/abs/2002.04745v2 ) ライセンス: Link先を確認 | Ruibin Xiong, Yunchang Yang, Di He, Kai Zheng, Shuxin Zheng, Chen Xing, Huishuai Zhang, Yanyan Lan, Liwei Wang, Tie-Yan Liu | (参考訳) Transformerは自然言語処理タスクで広く使われている。
しかし、Transformerをトレーニングするには、通常は慎重に設計された学習率ウォームアップステージが必要である。
本稿では,学習率ウォームアップ段階がなぜ必須なのかを理論的に検討し,階層正規化の位置が重要であることを示す。
具体的には,初期化時に残差ブロック間の層正規化を配置する原設計のポストln変圧器において,出力層近傍のパラメータの期待勾配が大きいことを平均場理論により証明する。
したがって、これらの勾配に対する学習率が大きいため、トレーニングは不安定である。
ウォームアップステージは、この問題を避けるのに役立ちます。
一方, この理論は, 層正規化を残差ブロック(現在は Pre-LN Transformer として提案されている)内に置けば, 勾配は初期化時に良好であることを示す。
これは、Pre-LNトランスフォーマーのトレーニングのウォームアップステージを取り除く動機となります。
ウォームアップステージのないPre-LNトランスフォーマーは、トレーニング時間とハイパーパラメータチューニングを広範囲のアプリケーションで大幅に削減しつつ、ベースラインで同等の結果が得られることを示す。 The Transformer is widely used in natural language processing tasks. To train a Transformer however, one usually needs a carefully designed learning rate warm-up stage, which is shown to be crucial to the final performance but will slow down the optimization and bring more hyper-parameter tunings. In this paper, we first study theoretically why the learning rate warm-up stage is essential and show that the location of layer normalization matters. Specifically, we prove with mean field theory that at initialization, for the original-designed Post-LN Transformer, which places the layer normalization between the residual blocks, the expected gradients of the parameters near the output layer are large. Therefore, using a large learning rate on those gradients makes the training unstable. The warm-up stage is practically helpful for avoiding this problem. On the other hand, our theory also shows that if the layer normalization is put inside the residual blocks (recently proposed as Pre-LN Transformer), the gradients are well-behaved at initialization. This motivates us to remove the warm-up stage for the training of Pre-LN Transformers. We show in our experiments that Pre-LN Transformers without the warm-up stage can reach comparable results with baselines while requiring significantly less training time and hyper-parameter tuning on a wide range of applications. | 翻訳日:2023-01-01 18:45:03 公開日:2020-06-29 |
| # 文脈の明示的表現による未知環境への適応 Adapting to Unseen Environments through Explicit Representation of Context ( http://arxiv.org/abs/2002.05640v2 ) ライセンス: Link先を確認 | Cem C. Tutum and Risto Miikkulainen | (参考訳) 自律的なエージェントを自律運転、インフラ管理、医療、金融などのドメインに展開するためには、目に見えない状況に安全に適応する必要がある。
このようなエージェントを構築する現在のアプローチは、可能な限りトレーニングにバリエーションを取り入れて、可能なバリエーション内で一般化することです。
本稿では,コンテキストモジュールをスキルモジュールと共進化させる原則的アプローチを提案する。
コンテキストモジュールは、変化を認識し、スキルモジュールを変調し、システム全体が目に見えない状況でうまく機能するようにします。
このアプローチは、アクションの効果が時間とともに変化するFlappy Birdゲームにおいて、挑戦的なバージョンで評価される。
Context+Skillアプローチは、以前は目に見えなかった影響のある環境において、はるかに堅牢な振る舞いをもたらす。
このような原則化された一般化能力は、現実世界のタスクに自律的なエージェントを配置するのに必須であり、継続的な学習の基盤としても機能する。 In order to deploy autonomous agents to domains such as autonomous driving, infrastructure management, health care, and finance, they must be able to adapt safely to unseen situations. The current approach in constructing such agents is to try to include as much variation into training as possible, and then generalize within the possible variations. This paper proposes a principled approach where a context module is coevolved with a skill module. The context module recognizes the variation and modulates the skill module so that the entire system performs well in unseen situations. The approach is evaluated in a challenging version of the Flappy Bird game where the effects of the actions vary over time. The Context+Skill approach leads to significantly more robust behavior in environments with previously unseen effects. Such a principled generalization ability is essential in deploying autonomous agents in real world tasks, and can serve as a foundation for continual learning as well. | 翻訳日:2023-01-01 10:11:14 公開日:2020-06-29 |
| # 量子力学による分子設計のための強化学習 Reinforcement Learning for Molecular Design Guided by Quantum Mechanics ( http://arxiv.org/abs/2002.07717v2 ) ライセンス: Link先を確認 | Gregor N. C. Simm, Robert Pinsler, Jos\'e Miguel Hern\'andez-Lobato | (参考訳) 深部強化学習(RL)を用いた分子設計の自動化は、新しい化合物の発見を加速する公約である。
既存のアプローチは分子グラフを扱うため、空間内の原子の位置を無視し、それらを制限する。
1)単一有機分子を発生させ、
2)ヒューリスティック報酬機能。
これを解決するために、カルト座標における分子設計のための新しいRL式を示し、それによって構築できる分子のクラスを拡張する。
我々の報酬関数は、高速量子化学法で近似したエネルギーのような基本的な物理的性質に基づいている。
脱ノボ分子設計に向けての進展を可能にするため,いくつかの挑戦的な分子設計タスクとベースラインを含むRL環境であるMolGymを導入する。
本実験では, 翻訳および回転不変状態-作用空間で作業することで, エージェントがスクラッチからこれらの課題を効率的に解けることを示す。 Automating molecular design using deep reinforcement learning (RL) holds the promise of accelerating the discovery of new chemical compounds. Existing approaches work with molecular graphs and thus ignore the location of atoms in space, which restricts them to 1) generating single organic molecules and 2) heuristic reward functions. To address this, we present a novel RL formulation for molecular design in Cartesian coordinates, thereby extending the class of molecules that can be built. Our reward function is directly based on fundamental physical properties such as the energy, which we approximate via fast quantum-chemical methods. To enable progress towards de-novo molecular design, we introduce MolGym, an RL environment comprising several challenging molecular design tasks along with baselines. In our experiments, we show that our agent can efficiently learn to solve these tasks from scratch by working in a translation and rotation invariant state-action space. | 翻訳日:2022-12-30 19:34:31 公開日:2020-06-29 |
| # シンボリックネットワーク:リレーショナルMDPのための一般化ニューラルポリシー Symbolic Network: Generalized Neural Policies for Relational MDPs ( http://arxiv.org/abs/2002.07375v2 ) ライセンス: Link先を確認 | Sankalp Garg, Aniket Bajpai, Mausam | (参考訳) リレーショナルマルコフ決定過程(Relational Markov Decision Process, RMDP)は、単一の確率的計画領域のすべてのインスタンスを、おそらく無界なオブジェクト数で表現する一階述語である。
RMDPの初期の研究は、ドメインのすべてのインスタンスを一度に解決する手段として一般化された(インスタンスに依存しない)1次ポリシーや値関数を出力した。
残念ながら、このような方針や値関数で使われる表現空間固有の制限のために、この一連の作業は限られた成功を収めた。
ニューラルネットワークは、より複雑な一般化ポリシーを簡単に表現することで、欠落したリンクを提供することができるだろうか?
RDDLの確率計画言語で表現されるRMDPを解くための最初のニューラルネットワークであるSymNetを提案する。
SymNetはそのドメインからトレーニングインスタンスを使用してRDDLドメインの共有パラメータセットをトレーニングする。
それぞれのインスタンスに対して、SymNetはまずそれをインスタンスグラフに変換し、次にリレーショナルニューラルネットワークを使用してノードの埋め込みを計算する。
次に、各グラウンドアクションを、アクションに関連する一階アクションシンボルとノード埋め込みの関数としてスコアする。
同じドメインから新しいテストインスタンスが与えられた場合、事前トレーニングされたパラメータを持つSymNetアーキテクチャは、各基底アクションをスコアし、最良のアクションを選択する。
これは、テストインスタンスを再トレーニングすることなく、単一のフォワードパスで達成できるため、ドメイン全体の神経一般化ポリシーを暗黙的に表現することができる。
IPPC の 9 つのRDDL ドメインに対する実験により,SymNet のポリシーは,現在最先端の深層反応ポリシーをゼロからトレーニングするよりも,ランダムで,時には効果的であることが示された。 A Relational Markov Decision Process (RMDP) is a first-order representation to express all instances of a single probabilistic planning domain with possibly unbounded number of objects. Early work in RMDPs outputs generalized (instance-independent) first-order policies or value functions as a means to solve all instances of a domain at once. Unfortunately, this line of work met with limited success due to inherent limitations of the representation space used in such policies or value functions. Can neural models provide the missing link by easily representing more complex generalized policies, thus making them effective on all instances of a given domain? We present SymNet, the first neural approach for solving RMDPs that are expressed in the probabilistic planning language of RDDL. SymNet trains a set of shared parameters for an RDDL domain using training instances from that domain. For each instance, SymNet first converts it to an instance graph and then uses relational neural models to compute node embeddings. It then scores each ground action as a function over the first-order action symbols and node embeddings related to the action. Given a new test instance from the same domain, SymNet architecture with pre-trained parameters scores each ground action and chooses the best action. This can be accomplished in a single forward pass without any retraining on the test instance, thus implicitly representing a neural generalized policy for the whole domain. Our experiments on nine RDDL domains from IPPC demonstrate that SymNet policies are significantly better than random and sometimes even more effective than training a state-of-the-art deep reactive policy from scratch. | 翻訳日:2022-12-30 18:58:19 公開日:2020-06-29 |
| # カテゴリーの確率についてベイジアンであるさま Being Bayesian about Categorical Probability ( http://arxiv.org/abs/2002.07965v2 ) ライセンス: Link先を確認 | Taejong Joo, Uijung Chung, Min-Gwan Seo | (参考訳) ニューラルネットワークは、不確実性表現能力に欠ける過信問題を含む分類タスクにおいて、ソフトマックスをビルディングブロックとして利用する。
ソフトマックスのベイズ的代替として、クラスラベル上のカテゴリー的確率のランダム変数を考える。
この枠組みでは、事前分布は観測ラベルに内在する推定ノイズを明示的にモデル化し、複数の課題タスクにおける一般化性能の一貫性をもたらす。
提案手法は,不確実性推定とモデルキャリブレーションを改善するベイズアプローチの利点を継承する。
クロスエントロピー損失関数を持つソフトマックスと比較して計算オーバーヘッドが無視できるプラグ・アンド・プレイ損失関数として実装できる。 Neural networks utilize the softmax as a building block in classification tasks, which contains an overconfidence problem and lacks an uncertainty representation ability. As a Bayesian alternative to the softmax, we consider a random variable of a categorical probability over class labels. In this framework, the prior distribution explicitly models the presumed noise inherent in the observed label, which provides consistent gains in generalization performance in multiple challenging tasks. The proposed method inherits advantages of Bayesian approaches that achieve better uncertainty estimation and model calibration. Our method can be implemented as a plug-and-play loss function with negligible computational overhead compared to the softmax with the cross-entropy loss function. | 翻訳日:2022-12-30 12:58:22 公開日:2020-06-29 |
| # 高速微分可能なソートとランキング Fast Differentiable Sorting and Ranking ( http://arxiv.org/abs/2002.08871v2 ) ライセンス: Link先を確認 | Mathieu Blondel, Olivier Teboul, Quentin Berthet, Josip Djolonga | (参考訳) ソート操作は、コンピュータプログラミングにおいて最もよく使われるビルディングブロックの1つである。
機械学習では、しばしば堅牢な統計に使用される。
しかし、函数として見なされ、区分線型であり、その結果、微分不能な多くの公理を含んでいる。
より問題となるのは関連するランキングオペレータで、順序統計やランキング指標によく使用される。
これは一意的に定数関数であり、その微分は null あるいは undefined である。
多くの作品がソートとランキングに微分可能なプロキシを提案しているが、ソートとランキング操作に期待する$o(n \log n)$の複雑さを達成していない。
本稿では、最初に$O(n \log n)$ time と $O(n)$ space complexity を持つ微分可能なソートおよびランク演算子を提案する。
さらに、我々は正確な計算と微分を楽しみます。
この偉業は、置換の凸包であるペルムタヘドロンへの射影として微分可能作用素を構築し、等方最適化への還元を用いて達成する。
経験的に、我々のアプローチは既存のアプローチよりも桁違いに速く、微分可能なスピアマンのランク相関係数と最小トリミング正方形という2つの新しい応用を示す。 The sorting operation is one of the most commonly used building blocks in computer programming. In machine learning, it is often used for robust statistics. However, seen as a function, it is piecewise linear and as a result includes many kinks where it is non-differentiable. More problematic is the related ranking operator, often used for order statistics and ranking metrics. It is a piecewise constant function, meaning that its derivatives are null or undefined. While numerous works have proposed differentiable proxies to sorting and ranking, they do not achieve the $O(n \log n)$ time complexity one would expect from sorting and ranking operations. In this paper, we propose the first differentiable sorting and ranking operators with $O(n \log n)$ time and $O(n)$ space complexity. Our proposal in addition enjoys exact computation and differentiation. We achieve this feat by constructing differentiable operators as projections onto the permutahedron, the convex hull of permutations, and using a reduction to isotonic optimization. Empirically, we confirm that our approach is an order of magnitude faster than existing approaches and showcase two novel applications: differentiable Spearman's rank correlation coefficient and least trimmed squares. | 翻訳日:2022-12-30 07:00:56 公開日:2020-06-29 |
| # 力学系の高速インバージョンのための微分可能相 Differentiable Likelihoods for Fast Inversion of 'Likelihood-Free' Dynamical Systems ( http://arxiv.org/abs/2002.09301v2 ) ライセンス: Link先を確認 | Hans Kersting, Nicholas Kr\"amer, Martin Schiegg, Christian Daniel, Michael Tiemann, Philipp Hennig | (参考訳) Likelihood-free(シミュレーションベース)推論問題は、高価な、または難解なフォワードモデルで逆問題である。
ODE逆問題は通常、その前方マップをODEソルバで数値的に近似する必要があるため、可能性のないものとして扱われる。
しかし、これは基本的な制約ではなく、従来の ode ソルバにおける機能の欠如であり、確率ではなく点推定を返すものではない。
この欠点に対処するために、我々はガウス的ODEフィルタリング(ODEの確率的数値法)を用いて局所ガウス近似を構築する。
この近似は、(log-) 様の勾配とヘシアンに対するトラクタブルな推定値をもたらす。
既存の勾配に基づく最適化とサンプリング手法へのこれらの推定器の導入により、ODE逆問題に対する新しい解法が導かれる。
これらの手法が3つのベンチマークシステムにおいて標準確率自由アプローチより優れていることを示す。 Likelihood-free (a.k.a. simulation-based) inference problems are inverse problems with expensive, or intractable, forward models. ODE inverse problems are commonly treated as likelihood-free, as their forward map has to be numerically approximated by an ODE solver. This, however, is not a fundamental constraint but just a lack of functionality in classic ODE solvers, which do not return a likelihood but a point estimate. To address this shortcoming, we employ Gaussian ODE filtering (a probabilistic numerical method for ODEs) to construct a local Gaussian approximation to the likelihood. This approximation yields tractable estimators for the gradient and Hessian of the (log-)likelihood. Insertion of these estimators into existing gradient-based optimization and sampling methods engenders new solvers for ODE inverse problems. We demonstrate that these methods outperform standard likelihood-free approaches on three benchmark-systems. | 翻訳日:2022-12-30 01:19:52 公開日:2020-06-29 |
| # プライバシ保存型アウトソース畳み込みニューラルネットワーク予測の最適化 Optimizing Privacy-Preserving Outsourced Convolutional Neural Network Predictions ( http://arxiv.org/abs/2002.10944v3 ) ライセンス: Link先を確認 | Minghui Li, Sherman S. M. Chow, Shengshan Hu, Yuejing Yan, Chao Shen, Qian Wang | (参考訳) 畳み込みニューラルネットワークは、コンピュータビジョンや医療画像解析など、様々な予測タスクに広く適用されている機械学習モデルである。
彼らの大きな予測能力は広範な計算を必要とするため、モデルオーナーはクラウドプラットフォームで予測サービスをホストすることができる。
最近の研究では、クエリと結果のプライバシに重点を置いているが、モデルホストサーバに対するモデルプライバシを提供しておらず、結果に関する部分的な情報を漏洩する可能性がある。
それらの一部は、querierや重い計算オーバーヘッドとの頻繁なインタラクションを必要とするため、querierが予測サービスを使用することを妨げている。
本稿では,アウトソース設定におけるプライバシ保存型ニューラルネットワークの予測手法,すなわち,サーバがクエリを学習できないこと,(中間)結果,モデルを提案する。
モデルプライバシを提供する代表的作業であるSecureML(S&P'17)と同様に、秘密共有とトリプルト生成を備えた2つの非凝固サーバを活用して、重厚暗号の使用を最小限にする。
さらに,スループット向上のために非同期計算を採用し,非ポリノミカルアクティベーション関数のためのガーブラード回路を設計し,基礎となるネットワークと同じ精度(近似の代わりに)を維持する。
MNISTデータセットを用いた実験により, SecureML, MiniONN (CCS'17), EzPC (EuroS&P'19) と比較して平均122x, 14.63x, 36.69xの遅延低減を実現した。
通信コストでは、SecureMLが1.09倍、MiniONNが36.69倍、EzPCが31.32倍である。
CIFARデータセットでは,MiniONNとEzPCと比較して7.14倍,3.48倍のレイテンシを実現する。
また、CIFARデータセット上のMiniONNやEzPCよりも13.88xと77.46x低い通信コストを提供する。 Convolutional neural network is a machine-learning model widely applied in various prediction tasks, such as computer vision and medical image analysis. Their great predictive power requires extensive computation, which encourages model owners to host the prediction service in a cloud platform. Recent researches focus on the privacy of the query and results, but they do not provide model privacy against the model-hosting server and may leak partial information about the results. Some of them further require frequent interactions with the querier or heavy computation overheads, which discourages querier from using the prediction service. This paper proposes a new scheme for privacy-preserving neural network prediction in the outsourced setting, i.e., the server cannot learn the query, (intermediate) results, and the model. Similar to SecureML (S&P'17), a representative work that provides model privacy, we leverage two non-colluding servers with secret sharing and triplet generation to minimize the usage of heavyweight cryptography. Further, we adopt asynchronous computation to improve the throughput, and design garbled circuits for the non-polynomial activation function to keep the same accuracy as the underlying network (instead of approximating it). Our experiments on MNIST dataset show that our scheme achieves an average of 122x, 14.63x, and 36.69x reduction in latency compared to SecureML, MiniONN (CCS'17), and EzPC (EuroS&P'19), respectively. For the communication costs, our scheme outperforms SecureML by 1.09x, MiniONN by 36.69x, and EzPC by 31.32x on average. On the CIFAR dataset, our scheme achieves a lower latency by a factor of 7.14x and 3.48x compared to MiniONN and EzPC, respectively. Our scheme also provides 13.88x and 77.46x lower communication costs than MiniONN and EzPC on the CIFAR dataset. | 翻訳日:2022-12-29 19:46:26 公開日:2020-06-29 |
| # 確率に基づく機械学習のコンポーネントによるシステムの安全性検証に向けて Towards Probability-based Safety Verification of Systems with Components from Machine Learning ( http://arxiv.org/abs/2003.01155v2 ) ライセンス: Link先を確認 | Hermann Kaindl and Stefan Kramer | (参考訳) 機械学習(ML)は最近、多くの新しい成功談を生み出した。
したがって、安全クリティカルシステムを含むソフトウェア集約システムにML技術を使用するという強い動機がある。
これはMLベースのシステムの安全性検証の問題を提起する。
我々は、次のようなML技術の特定の特性を考慮する必要があると考えている。
(i)ほとんどのMLアプローチはインダクティブであり、そのパワーとエラーの原因の両方である。
(ii) 深層学習によるニューラルネットワーク(NN)は, 最先端技術が透明でない状態にある。
その結果、常にエラーが残っており、少なくともディープNN(DNN)では、内部構造の検証は非常に困難である。
一般的に、安全工学は害が起こらないという完全な保証を与えることはできない。
そのため、例えばリスクや許容ハザードレート(THR)を指定するために、確率が使われる。
本稿では,制御実験によって推定された誤差の確率と帰納的学習型分類器自体による出力に基づく検証を提案する。
一般化誤差境界は、THRを超えてはならないハザードの確率に伝播する可能性がある。
その結果、安全クリティカルシステムにおけるml成分の分類誤差の確率を定量的に決定することで、後者の全体的な安全性検証の方法が明確に決定される。 Machine learning (ML) has recently created many new success stories. Hence, there is a strong motivation to use ML technology in software-intensive systems, including safety-critical systems. This raises the issue of safety verification of MLbased systems, which is currently thought to be infeasible or, at least, very hard. We think that it requires taking into account specific properties of ML technology such as: (i) Most ML approaches are inductive, which is both their power and their source of error. (ii) Neural networks (NN) resulting from deep learning are at the current state of the art not transparent. Consequently, there will always be errors remaining and, at least for deep NNs (DNNs), verification of their internal structure is extremely hard. In general, safety engineering cannot provide full guarantees that no harm will ever occur. That is why probabilities are used, e.g., for specifying a risk or a Tolerable Hazard Rate (THR). In this vision paper, we propose verification based on probabilities of errors both estimated by controlled experiments and output by the inductively learned classifier itself. Generalization error bounds may propagate to the probabilities of a hazard, which must not exceed a THR. As a result, the quantitatively determined bound on the probability of a classification error of an ML component in a safety-critical system contributes in a well-defined way to the latter's overall safety verification. | 翻訳日:2022-12-27 06:00:25 公開日:2020-06-29 |
| # 単一深部決定性ニューラルネットワークによる不確かさ推定 Uncertainty Estimation Using a Single Deep Deterministic Neural Network ( http://arxiv.org/abs/2003.02037v2 ) ライセンス: Link先を確認 | Joost van Amersfoort, Lewis Smith, Yee Whye Teh, Yarin Gal | (参考訳) 本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的深層モデルのトレーニング手法を提案する。
我々のアプローチである決定論的不確実性定量化(DUQ)はRBFネットワークの考え方に基づいている。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
勾配ペナルティを用いて入力の変化の検出性を強制することにより、分布データを確実に検出することができる。
我々の不確実性定量化は大規模なデータセットによく当てはまり、単一モデルを使用することで、FashionMNIST vs. MNIST、CIFAR-10 vs. SVHNのような顕著な難しいデータセット対に対して、分布検出からDeep Ensemblesを改善または適合させる。 We propose a method for training a deterministic deep model that can find and reject out of distribution data points at test time with a single forward pass. Our approach, deterministic uncertainty quantification (DUQ), builds upon ideas of RBF networks. We scale training in these with a novel loss function and centroid updating scheme and match the accuracy of softmax models. By enforcing detectability of changes in the input using a gradient penalty, we are able to reliably detect out of distribution data. Our uncertainty quantification scales well to large datasets, and using a single model, we improve upon or match Deep Ensembles in out of distribution detection on notable difficult dataset pairs such as FashionMNIST vs. MNIST, and CIFAR-10 vs. SVHN. | 翻訳日:2022-12-26 12:23:57 公開日:2020-06-29 |
| # 模擬アニーリングの学習複雑さ Learning Complexity of Simulated Annealing ( http://arxiv.org/abs/2003.02981v2 ) ライセンス: Link先を確認 | Avrim Blum, Chen Dan, Saeed Seddighin | (参考訳) シミュレーションアニーリングは、効果的で一般的な最適化方法である。
実際には、物質の温度が熱力学の挙動を決定づけるメタロギーにインスパイアされている。
同様に、シミュレート・アニーリングでは、アルゴリズムが行う動作は、温度の概念をキャプチャする変数の値に完全に依存する。
通常、シミュレーションされたアニールは高温から始まり、アルゴリズムはかなり予測不能になり、徐々に温度を下げてより安定になる。
シミュレート・アニーリングの性能において重要な役割を果たす重要な要素は、温度が変化する条件、すなわち冷却スケジュールである。
最適化問題の特定のクラスのインスタンスに十分なサンプルを割り当てることで、サンプルの複雑さとシミュレーションの複雑さの両方において、ランタイムを最小化する最適な(あるいはほぼ最適)冷却スケジュールを設計できるか、または、基礎となる問題を同じクラスからランダムにランダムに描画する場合、平均でアルゴリズムの成功率を最大化できるか?
サンプルの複雑さについて、$\tilde O(\sqrt{m})$サンプルは、長さ$m$のほぼ最適な冷却スケジュールを見つけるのに十分であることを示す。
この結果は、ほぼ最適な冷却スケジュールを提供する学習アルゴリズムのサンプル複雑性に基づいて、$\tilde \omega(m^{1/3})$という下限を与えることによって補完する。
これらの結果は一般的であり、仮定に頼らない。
しかし、シミュレーションの複雑さについては、アルゴリズムの成功率を測定するために追加の仮定を行う。
そこで本研究では,シミュレートアニーリングの性能をモデル化するモノトーン定常グラフを提案する。
このモデルに基づいて,学習問題に対する証明可能な保証付き多項式時間アルゴリズムを提案する。 Simulated annealing is an effective and general means of optimization. It is in fact inspired by metallurgy, where the temperature of a material determines its behavior in thermodynamics. Likewise, in simulated annealing, the actions that the algorithm takes depend entirely on the value of a variable which captures the notion of temperature. Typically, simulated annealing starts with a high temperature, which makes the algorithm pretty unpredictable, and gradually cools the temperature down to become more stable. A key component that plays a crucial role in the performance of simulated annealing is the criteria under which the temperature changes namely, the cooling schedule. Motivated by this, we study the following question in this work: "Given enough samples to the instances of a specific class of optimization problems, can we design optimal (or approximately optimal) cooling schedules that minimize the runtime or maximize the success rate of the algorithm on average when the underlying problem is drawn uniformly at random from the same class?" We provide positive results both in terms of sample complexity and simulation complexity. For sample complexity, we show that $\tilde O(\sqrt{m})$ samples suffice to find an approximately optimal cooling schedule of length $m$. We complement this result by giving a lower bound of $\tilde \Omega(m^{1/3})$ on the sample complexity of any learning algorithm that provides an almost optimal cooling schedule. These results are general and rely on no assumption. For simulation complexity, however, we make additional assumptions to measure the success rate of an algorithm. To this end, we introduce the monotone stationary graph that models the performance of simulated annealing. Based on this model, we present polynomial time algorithms with provable guarantees for the learning problem. | 翻訳日:2022-12-26 00:34:30 公開日:2020-06-29 |
| # HLS4MLを用いたFPGA上のディープニューラルネットワークの2進および3進精度圧縮 Compressing deep neural networks on FPGAs to binary and ternary precision with HLS4ML ( http://arxiv.org/abs/2003.06308v2 ) ライセンス: Link先を確認 | Giuseppe Di Guglielmo, Javier Duarte, Philip Harris, Duc Hoang, Sergo Jindariani, Edward Kreinar, Mia Liu, Vladimir Loncar, Jennifer Ngadiuba, Kevin Pedro, Maurizio Pierini, Dylan Rankin, Sheila Sagear, Sioni Summers, Nhan Tran, Zhenbin Wu | (参考訳) 本稿では,深いニューラルネットワークモデルをfpgaファームウェアを用いてディジタル回路に自動的に変換するように設計されたhls4mlライブラリにおけるバイナリおよび三元ニューラルネットワークの実装について述べる。
浮動小数点精度をトレーニングしたベンチマークモデルから,ネットワークパラメータの数値精度を2進数または3進数に下げることで,ネットワークリソース消費を削減するための異なる戦略を検討する。
モデル精度と資源消費のトレードオフについて論じる。
さらに,ネットワークコンポーネントの選択したサブセットに完全精度を保持することで,レイテンシと精度のバランスをとる方法を示す。
例えば、MNISTデータセットを用いた手書き桁認識と、CERN大ハドロン衝突による陽子-陽子衝突のシミュレーションによるジェット識別の2つのクラス分類タスクを考える。
二分法と三分法の実装は、FPGAリソースを劇的に減らしながら高い精度の実装と類似した性能を持つ。 We present the implementation of binary and ternary neural networks in the hls4ml library, designed to automatically convert deep neural network models to digital circuits with FPGA firmware. Starting from benchmark models trained with floating point precision, we investigate different strategies to reduce the network's resource consumption by reducing the numerical precision of the network parameters to binary or ternary. We discuss the trade-off between model accuracy and resource consumption. In addition, we show how to balance between latency and accuracy by retaining full precision on a selected subset of network components. As an example, we consider two multiclass classification tasks: handwritten digit recognition with the MNIST data set and jet identification with simulated proton-proton collisions at the CERN Large Hadron Collider. The binary and ternary implementation has similar performance to the higher precision implementation while using drastically fewer FPGA resources. | 翻訳日:2022-12-24 15:59:04 公開日:2020-06-29 |
| # 一貫性のない優先知識ベースを問合せし修復する:複雑度解析と抽象論へのリンク Querying and Repairing Inconsistent Prioritized Knowledge Bases: Complexity Analysis and Links with Abstract Argumentation ( http://arxiv.org/abs/2003.05746v2 ) ライセンス: Link先を確認 | Meghyn Bienvenu and Camille Bourgaux | (参考訳) 本稿では、オントロジー、事実の集合、矛盾する事実間の優先順位関係からなる、優先順位付けされた知識ベース(kbs)に対する非一貫性の取り扱いの問題を検討する。
データベース設定において、密接に関連するシナリオが研究され、優先順位付けされた一貫性のないデータベースの最適修復(グロバル、パレート、完了)の3つの異なる概念が定義された。
グローバル, パレート, コンプリート, 最適修理の概念を我々の設定に移行した後, 最適修理に基づく一貫性のないセマンティクスに基づくクエリエンテーメント, ユニークな最適修理の存在, 全最適修理の列挙など, コア推論タスクのデータ複雑性について検討した。
その結果,共通dl-lite方言で定式化したオントロジーに対するこれらのタスクのデータ複雑性のほぼ完全な図が得られた。
第2の貢献は、(セットベースの)議論フレームワークの最適修復と拡張概念の異なる関係を明らかにすることである。
この結果から, 安定な拡張(しばしば好まれる拡張)とパレート最適修復が一致することを示すとともに, 接地された拡張にインスパイアされ, 好適な計算特性を有する優先順位付けKBのセマンティクスを提案する。
本研究は、嗜好に基づく議論フレームワークに関する独立した関心の結果も得る。 In this paper, we explore the issue of inconsistency handling over prioritized knowledge bases (KBs), which consist of an ontology, a set of facts, and a priority relation between conflicting facts. In the database setting, a closely related scenario has been studied and led to the definition of three different notions of optimal repairs (global, Pareto, and completion) of a prioritized inconsistent database. After transferring the notions of globally-, Pareto- and completion-optimal repairs to our setting, we study the data complexity of the core reasoning tasks: query entailment under inconsistency-tolerant semantics based upon optimal repairs, existence of a unique optimal repair, and enumeration of all optimal repairs. Our results provide a nearly complete picture of the data complexity of these tasks for ontologies formulated in common DL-Lite dialects. The second contribution of our work is to clarify the relationship between optimal repairs and different notions of extensions for (set-based) argumentation frameworks. Among our results, we show that Pareto-optimal repairs correspond precisely to stable extensions (and often also to preferred extensions), and we propose a novel semantics for prioritized KBs which is inspired by grounded extensions and enjoys favourable computational properties. Our study also yields some results of independent interest concerning preference-based argumentation frameworks. | 翻訳日:2022-12-24 15:44:59 公開日:2020-06-29 |
| # グラフ構造化データのための畳み込みカーネルネットワーク Convolutional Kernel Networks for Graph-Structured Data ( http://arxiv.org/abs/2003.05189v2 ) ライセンス: Link先を確認 | Dexiong Chen, Laurent Jacob, Julien Mairal | (参考訳) 我々は,多層グラフカーネルのファミリーを導入し,グラフ畳み込みニューラルネットワークとカーネルメソッドの新たなリンクを確立する。
提案手法は,各ノードが局所グラフ部分構造に関する情報を格納するカーネル特徴写像の列としてグラフを表現することにより,畳み込みカーネルネットワークをグラフ構造データに一般化する。
一方、カーネル・ポイント・オブ・ビューは教師なし、表現力があり、データ表現が簡単で、限られたサンプルが利用できる場合に便利である。
一方、我々のモデルは大規模データに対してエンドツーエンドでトレーニングすることもでき、新しいタイプのグラフ畳み込みニューラルネットワークをもたらす。
本手法は,単純なモデル解釈を提供しながら,複数のグラフ分類ベンチマークで競合性能が得られることを示す。
私たちのコードはhttps://github.com/claying/GCKN.comで無料で利用可能です。 We introduce a family of multilayer graph kernels and establish new links between graph convolutional neural networks and kernel methods. Our approach generalizes convolutional kernel networks to graph-structured data, by representing graphs as a sequence of kernel feature maps, where each node carries information about local graph substructures. On the one hand, the kernel point of view offers an unsupervised, expressive, and easy-to-regularize data representation, which is useful when limited samples are available. On the other hand, our model can also be trained end-to-end on large-scale data, leading to new types of graph convolutional neural networks. We show that our method achieves competitive performance on several graph classification benchmarks, while offering simple model interpretation. Our code is freely available at https://github.com/claying/GCKN. | 翻訳日:2022-12-24 13:48:43 公開日:2020-06-29 |
| # 非同期微分プライベート機械学習におけるプライバシコスト The Cost of Privacy in Asynchronous Differentially-Private Machine Learning ( http://arxiv.org/abs/2003.08500v2 ) ライセンス: Link先を確認 | Farhad Farokhi, Nan Wu, David Smith, Mohamed Ali Kaafar | (参考訳) プライバシ設定の異なる複数のプライベートサーバと地理的に散乱したサーバ上のトレーニングデータを用いて機械学習モデルをトレーニングする。
データの性質が分散しているため、すべてのプライベートデータ所有者と同時に通信することは困難か不可能であることが証明される。
本稿では,複数のプライベートデータセット上で機械学習モデルを協調的に学習するための差分プライベート非同期アルゴリズムを開発した。
アルゴリズムの非同期性は、中央学習者が、フィットネス関数全体の勾配を構築するためにクエリ応答を集約することなく、通信可能なときに、プライベートデータ所有者と1対1で対話することを意味する。
したがって、アルゴリズムは多数のデータ所有者に効率的にスケールする。
プライバシのコストは、プライバシを保護しているマシンラーニングモデルの適合度と、プライバシの懸念のないトレーニングされたマシンラーニングモデルの適合度との差であると定義します。
提案したプライバシー保護非同期アルゴリズムの性能を予測できることを示す。
プライバシのコストは、トレーニングデータセットの平方乗とプライバシ予算の平方乗の合計に反比例する上限を持つことを実証する。
金融および医療データセットに関する実験により理論的結果を検証する。
この実験は、プライバシ予算が1以上の少なくとも10,000レコードを持つ10以上のデータ所有者間のコラボレーションが、データセットの1つだけを分離して訓練されたモデルと比較して優れたマシンラーニングモデルをもたらすことを示し、コラボレーションの価値とプライバシのコストを示す。
プライバシ予算が高ければ,コラボレーションするデータセットの数を削減できる。 We consider training machine learning models using Training data located on multiple private and geographically-scattered servers with different privacy settings. Due to the distributed nature of the data, communicating with all collaborating private data owners simultaneously may prove challenging or altogether impossible. In this paper, we develop differentially-private asynchronous algorithms for collaboratively training machine-learning models on multiple private datasets. The asynchronous nature of the algorithms implies that a central learner interacts with the private data owners one-on-one whenever they are available for communication without needing to aggregate query responses to construct gradients of the entire fitness function. Therefore, the algorithm efficiently scales to many data owners. We define the cost of privacy as the difference between the fitness of a privacy-preserving machine-learning model and the fitness of trained machine-learning model in the absence of privacy concerns. We prove that we can forecast the performance of the proposed privacy-preserving asynchronous algorithms. We demonstrate that the cost of privacy has an upper bound that is inversely proportional to the combined size of the training datasets squared and the sum of the privacy budgets squared. We validate the theoretical results with experiments on financial and medical datasets. The experiments illustrate that collaboration among more than 10 data owners with at least 10,000 records with privacy budgets greater than or equal to 1 results in a superior machine-learning model in comparison to a model trained in isolation on only one of the datasets, illustrating the value of collaboration and the cost of the privacy. The number of the collaborating datasets can be lowered if the privacy budget is higher. | 翻訳日:2022-12-22 10:08:11 公開日:2020-06-29 |
| # 同時翻訳のための再翻訳とストリーミング Re-translation versus Streaming for Simultaneous Translation ( http://arxiv.org/abs/2004.03643v3 ) ライセンス: Link先を確認 | Naveen Arivazhagan, Colin Cherry, Wolfgang Macherey and George Foster | (参考訳) ストリーミングマシン翻訳(streaming machine translation)は、より多くのソースコンテンツが利用可能になると、システムが増大する仮説を付加する同時パラダイムである。
本稿では,厳密な付加語以上の仮説の修正が許される関連する問題について検討する。
これはオーディオフィードのライブキャプションなどのアプリケーションに適している。
この設定では、各新しいソーストークンがスクラッチから異なる翻訳をトリガーする簡単な戦略である、リ翻訳に対するカスタムストリーミングアプローチを比較します。
ごくわずかなリビジョンを許容する制約の下で運用している場合でも、再翻訳は最先端のストリーミングシステムと同等あるいはそれ以上に優れていることが分かっています。
この成功の大部分は、トレーニングデータにプレフィックスペアを追加して、ストリーミング翻訳の強力なベースラインを形成するデータ拡張技術によるものである。
また,更新からベースモデルへの大幅な改善を示す実験により,任意の強力なMTシステムをラップする再翻訳機能についても強調した。 There has been great progress in improving streaming machine translation, a simultaneous paradigm where the system appends to a growing hypothesis as more source content becomes available. We study a related problem in which revisions to the hypothesis beyond strictly appending words are permitted. This is suitable for applications such as live captioning an audio feed. In this setting, we compare custom streaming approaches to re-translation, a straightforward strategy where each new source token triggers a distinct translation from scratch. We find re-translation to be as good or better than state-of-the-art streaming systems, even when operating under constraints that allow very few revisions. We attribute much of this success to a previously proposed data-augmentation technique that adds prefix-pairs to the training data, which alongside wait-k inference forms a strong baseline for streaming translation. We also highlight re-translation's ability to wrap arbitrarily powerful MT systems with an experiment showing large improvements from an upgrade to its base model. | 翻訳日:2022-12-16 00:08:24 公開日:2020-06-29 |
| # 学習した物理モデルの視覚的接地 Visual Grounding of Learned Physical Models ( http://arxiv.org/abs/2004.13664v2 ) ライセンス: Link先を確認 | Yunzhu Li, Toru Lin, Kexin Yi, Daniel M. Bear, Daniel L. K. Yamins, Jiajun Wu, Joshua B. Tenenbaum, Antonio Torralba | (参考訳) 人間は、物体の物理的特性を直感的に認識し、複雑な相互作用に従事している場合でも、その動きを予測する。
物理的推論を実行し、新しい環境に適応する能力は人間に固有のものだが、最先端の計算モデルには挑戦的だ。
そこで本研究では,物理の理屈と,視覚とダイナミクスに基づく将来の予測を同時に行うニューラルモデルを提案する。
視覚的先行は、視覚的観察から粒子に基づくシステムの表現を予測する。
推論モジュールは、これらの粒子上で動作し、粒子の位置、物体の状態、物理パラメータの推定を予測し、精算する。
固形物, 変形性材料, 流体を含む環境における本手法の有効性を実証する。
実験により、我々のモデルはいくつかの観測範囲内で物理的特性を推測できることが示され、モデルが目に見えないシナリオに迅速に適応し、将来正確な予測を行うことができる。 Humans intuitively recognize objects' physical properties and predict their motion, even when the objects are engaged in complicated interactions. The abilities to perform physical reasoning and to adapt to new environments, while intrinsic to humans, remain challenging to state-of-the-art computational models. In this work, we present a neural model that simultaneously reasons about physics and makes future predictions based on visual and dynamics priors. The visual prior predicts a particle-based representation of the system from visual observations. An inference module operates on those particles, predicting and refining estimates of particle locations, object states, and physical parameters, subject to the constraints imposed by the dynamics prior, which we refer to as visual grounding. We demonstrate the effectiveness of our method in environments involving rigid objects, deformable materials, and fluids. Experiments show that our model can infer the physical properties within a few observations, which allows the model to quickly adapt to unseen scenarios and make accurate predictions into the future. | 翻訳日:2022-12-08 21:57:55 公開日:2020-06-29 |
| # 言語モデルによるエンティティセット拡張の強化 Empower Entity Set Expansion via Language Model Probing ( http://arxiv.org/abs/2004.13897v2 ) ライセンス: Link先を確認 | Yunyi Zhang, Jiaming Shen, Jingbo Shang and Jiawei Han | (参考訳) エンティティセットの拡張は、同じセマンティッククラスに属する新しいエンティティでセットされた小さなシードエンティティの拡大を目的としており、質問応答、クエリ理解、分類学構築など、多くの下流のNLPおよびIRアプリケーションに恩恵をもたらす重要なタスクである。
既存のセット拡張メソッドは、コンテキスト特徴を適応的に選択し、新しいエンティティを抽出することでシードエンティティセットをブートストラップする。
エンティティセット拡張の鍵となる課題は、クラスセマンティクスをシフトし、後のイテレーションで累積エラーにつながる曖昧なコンテキスト機能を選択することを避けることである。
本研究では,セマンティックドリフト問題に対処するために,自動生成したクラス名を活用する新しい反復的集合拡張フレームワークを提案する。
各イテレーションにおいて、事前訓練された言語モデルを用いて1つの正のクラス名と複数の負のクラス名を選択し、さらに選択されたクラス名に基づいて各候補エンティティをスコアする。
2つのデータセットでの実験では、フレームワークが高品質なクラス名を生成し、以前の最先端メソッドを大幅に上回っています。 Entity set expansion, aiming at expanding a small seed entity set with new entities belonging to the same semantic class, is a critical task that benefits many downstream NLP and IR applications, such as question answering, query understanding, and taxonomy construction. Existing set expansion methods bootstrap the seed entity set by adaptively selecting context features and extracting new entities. A key challenge for entity set expansion is to avoid selecting ambiguous context features which will shift the class semantics and lead to accumulative errors in later iterations. In this study, we propose a novel iterative set expansion framework that leverages automatically generated class names to address the semantic drift issue. In each iteration, we select one positive and several negative class names by probing a pre-trained language model, and further score each candidate entity based on selected class names. Experiments on two datasets show that our framework generates high-quality class names and outperforms previous state-of-the-art methods significantly. | 翻訳日:2022-12-08 13:36:01 公開日:2020-06-29 |
| # ニューラル依存性解析のための効率的な2次treecrf Efficient Second-Order TreeCRF for Neural Dependency Parsing ( http://arxiv.org/abs/2005.00975v2 ) ライセンス: Link先を確認 | Yu Zhang, Zhenghua Li, Min Zhang | (参考訳) ディープラーニング(DL)時代には、コンテキスト表現における多層BiLSTMの顕著な能力のおかげで、構文解析モデルは極めて単純化され、性能にほとんど影響を与えない。
グラフベースの依存性パーサは高い効率と性能のために最も人気があり、ビスファインパーサはアーク分解仮定の下で単一の依存関係を直接スコアし、非常に単純な局所トークン単位のクロスエントロピートレーニング損失を採用する。
本稿では,バイファインパーサに2階のTreeCRF拡張を初めて提示する。
長い間、内向きアルゴリズムの複雑さと非効率さは、TreeCRFの人気を妨げてきた。
この問題に対処するため,GPU上での大きな行列演算を行うために内部アルゴリズムとビタビアルゴリズムをバッチ化し,効率的なバックプロパゲーションによって複雑な外部アルゴリズムを回避する効果的な方法を提案する。
構造学習(Global TreeCRF損失)や高次モデリング(High-order modeling)など,DL時代以前に開発された27のデータセットの実験と分析は依然として有用であり,特に注釈付きトレーニングデータにおいて,最先端のバイファインパーサに対する解析性能をさらに向上させることができる。
私たちはコードをhttps://github.com/yzhangcs/crfparでリリースします。 In the deep learning (DL) era, parsing models are extremely simplified with little hurt on performance, thanks to the remarkable capability of multi-layer BiLSTMs in context representation. As the most popular graph-based dependency parser due to its high efficiency and performance, the biaffine parser directly scores single dependencies under the arc-factorization assumption, and adopts a very simple local token-wise cross-entropy training loss. This paper for the first time presents a second-order TreeCRF extension to the biaffine parser. For a long time, the complexity and inefficiency of the inside-outside algorithm hinder the popularity of TreeCRF. To address this issue, we propose an effective way to batchify the inside and Viterbi algorithms for direct large matrix operation on GPUs, and to avoid the complex outside algorithm via efficient back-propagation. Experiments and analysis on 27 datasets from 13 languages clearly show that techniques developed before the DL era, such as structural learning (global TreeCRF loss) and high-order modeling are still useful, and can further boost parsing performance over the state-of-the-art biaffine parser, especially for partially annotated training data. We release our code at https://github.com/yzhangcs/crfpar. | 翻訳日:2022-12-07 06:32:39 公開日:2020-06-29 |
| # モデルベース強化学習における一般化のための文脈認識ダイナミクスモデル Context-aware Dynamics Model for Generalization in Model-Based Reinforcement Learning ( http://arxiv.org/abs/2005.06800v3 ) ライセンス: Link先を確認 | Kimin Lee, Younggyo Seo, Seunghyun Lee, Honglak Lee, Jinwoo Shin | (参考訳) モデルに基づく強化学習(RL)は、環境のダイナミクスのモデルを学ぶことによって、データ効率や計画といったいくつかの利点を享受する。
しかし、異なるダイナミクスをまたいで一般化できるグローバルモデルを学ぶことは難しい課題です。
この問題に取り組むために、グローバルダイナミクスモデルを学ぶタスクを2つのステージに分解する。
(a)局所ダイナミクスをキャプチャするコンテキスト潜在ベクトルを学習し、
(b)それを条件とした次の状態を予測すること。
本研究では,コンテキスト潜在ベクトルに動的情報をエンコードするために,コンテキスト潜在ベクトルを前方と後方の両方のダイナミクスを予測するのに役立つような新しい損失関数を導入する。
提案手法は,既存のRL方式と比較して,様々なシミュレーションロボットや制御タスクの一般化能力に優れる。 Model-based reinforcement learning (RL) enjoys several benefits, such as data-efficiency and planning, by learning a model of the environment's dynamics. However, learning a global model that can generalize across different dynamics is a challenging task. To tackle this problem, we decompose the task of learning a global dynamics model into two stages: (a) learning a context latent vector that captures the local dynamics, then (b) predicting the next state conditioned on it. In order to encode dynamics-specific information into the context latent vector, we introduce a novel loss function that encourages the context latent vector to be useful for predicting both forward and backward dynamics. The proposed method achieves superior generalization ability across various simulated robotics and control tasks, compared to existing RL schemes. | 翻訳日:2022-12-03 04:31:15 公開日:2020-06-29 |
| # ディープトランスファーラーニングを用いた上皮性卵巣癌全スライディング画像の分類 Classification of Epithelial Ovarian Carcinoma Whole-Slide Pathology Images Using Deep Transfer Learning ( http://arxiv.org/abs/2005.10957v2 ) ライセンス: Link先を確認 | Yiping Wang, David Farnell, Hossein Farahani, Mitchell Nursey, Basile Tessier-Cloutier, Steven J.M. Jones, David G. Huntsman, C. Blake Gilks, Ali Bashashati | (参考訳) 卵巣癌は女性生殖器で最も致命的ながんである。
上皮性卵巣癌には5ドルの組織学的サブタイプがあり、それぞれ異なる形態学的、遺伝的、臨床的特徴がある。
現在、これらの組織型は、病理学者による腫瘍全体スライド画像(WSI)の顕微鏡検査によって決定されている。
このプロセスは、貧弱なサーバ間契約(Cohen's kappa $0.54$-$0.67$)によって妨げられている。
convolutional neural networks (cnn) とprogressive resizingを用いた,上皮性卵巣癌wsisの自動分類法である \textit{two}-stage deep transfer learningアルゴリズムを用いた。
提案アルゴリズムは平均精度87.54\%、スライドレベルの分類でCohen's kappaは0.8106ドルを達成し、標準的なCNNや病理医に比較して、婦人科の訓練をしていない。 Ovarian cancer is the most lethal cancer of the female reproductive organs. There are $5$ major histological subtypes of epithelial ovarian cancer, each with distinct morphological, genetic, and clinical features. Currently, these histotypes are determined by a pathologist's microscopic examination of tumor whole-slide images (WSI). This process has been hampered by poor inter-observer agreement (Cohen's kappa $0.54$-$0.67$). We utilized a \textit{two}-stage deep transfer learning algorithm based on convolutional neural networks (CNN) and progressive resizing for automatic classification of epithelial ovarian carcinoma WSIs. The proposed algorithm achieved a mean accuracy of $87.54\%$ and Cohen's kappa of $0.8106$ in the slide-level classification of $305$ WSIs; performing better than a standard CNN and pathologists without gynecology-specific training. | 翻訳日:2022-11-30 09:33:06 公開日:2020-06-29 |
| # 確率零次最適化における収束改善のためのスパース摂動 Sparse Perturbations for Improved Convergence in Stochastic Zeroth-Order Optimization ( http://arxiv.org/abs/2006.01759v2 ) ライセンス: Link先を確認 | Mayumi Ohta, Nathaniel Berger, Artem Sokolov, Stefan Riezler | (参考訳) 確率ゼロオーダー法(SZO)への関心は、最近、深層ニューラルネットワークに対する逆ブラックボックス攻撃のようなブラックボックス最適化シナリオで復活している。
SZO法は、ランダムな入力ポイントで目的関数を評価する能力のみを必要とするが、その弱点は評価対象関数の次元性に対する収束速度の依存性である。
本稿では、学習中のランダム摂動の予測次元にこの因子を還元するスパースSZO最適化法を提案する。
非凸関数に対するスパースSZO最適化のこの削減を、目的関数のスパース性や勾配を仮定することなく正当化する証明を与える。
さらに, MNIST と CIFAR 上のニューラルネットワーク実験の結果, トレーニング損失とテスト精度の収束速度が向上し, スパースSZO の真の勾配への勾配近似距離が SZO よりも小さいことがわかった。 Interest in stochastic zeroth-order (SZO) methods has recently been revived in black-box optimization scenarios such as adversarial black-box attacks to deep neural networks. SZO methods only require the ability to evaluate the objective function at random input points, however, their weakness is the dependency of their convergence speed on the dimensionality of the function to be evaluated. We present a sparse SZO optimization method that reduces this factor to the expected dimensionality of the random perturbation during learning. We give a proof that justifies this reduction for sparse SZO optimization for non-convex functions without making any assumptions on sparsity of objective function or gradient. Furthermore, we present experimental results for neural networks on MNIST and CIFAR that show faster convergence in training loss and test accuracy, and a smaller distance of the gradient approximation to the true gradient in sparse SZO compared to dense SZO. | 翻訳日:2022-11-26 00:03:05 公開日:2020-06-29 |
| # ブラックボックスのクラック:ディープスポーツ分析を蒸留する Cracking the Black Box: Distilling Deep Sports Analytics ( http://arxiv.org/abs/2006.04551v4 ) ライセンス: Link先を確認 | Xiangyu Sun, Jack Davis, Oliver Schulte, Guiliang Liu | (参考訳) 本稿では,スポーツ分析に応用した深層学習における精度と透明性のトレードオフについて論じる。
ニューラルネットはディープラーニングを通じて予測精度が高く、スポーツ分析で人気がある。
しかし、ニューラルネットワークモデルを解釈することは難しく、その中に暗黙の知識から実行可能な洞察を抽出するのは難しいです。
そこで我々は,学習モデルの出力を模倣し,学習した知識を明示的に解釈可能な方法で表現する,単純で透明なモデルを構築した。
我々の模倣モデルは線形モデル木であり、線形モデルの集合と回帰木構造を組み合わせたものである。
ニューラルネットワークのツリーバージョンは高い忠実度を達成し、自身を説明し、アスリートやコーチといった専門家の利害関係者に洞察を与えます。
我々は,数百万のデータポイントを持つデータセットからの計算課題に対処するために,スケーラブルなモデル木学習ヒューリスティックを提案し,比較する。 This paper addresses the trade-off between Accuracy and Transparency for deep learning applied to sports analytics. Neural nets achieve great predictive accuracy through deep learning, and are popular in sports analytics. But it is hard to interpret a neural net model and harder still to extract actionable insights from the knowledge implicit in it. Therefore, we built a simple and transparent model that mimics the output of the original deep learning model and represents the learned knowledge in an explicit interpretable way. Our mimic model is a linear model tree, which combines a collection of linear models with a regression-tree structure. The tree version of a neural network achieves high fidelity, explains itself, and produces insights for expert stakeholders such as athletes and coaches. We propose and compare several scalable model tree learning heuristics to address the computational challenge from datasets with millions of data points. | 翻訳日:2022-11-25 09:32:32 公開日:2020-06-29 |
| # ゼロサム均衡探索のためのスパーシファイド線形計画法 Sparsified Linear Programming for Zero-Sum Equilibrium Finding ( http://arxiv.org/abs/2006.03451v2 ) ライセンス: Link先を確認 | Brian Hu Zhang, Tuomas Sandholm | (参考訳) 大規模なゼロサム広角不完全情報ゲームにおける計算平衡発見は、近年のAIのブレークスルーに繋がった。
この問題の最も速いアルゴリズムは、新しい形の反事実的後悔の最小化(Brown and Sandholm, 2019)です。
本稿では,従来の技術よりも競争力が高く,しばしば桁違いに優れた問題に対して,まったく異なるアプローチを提案する。
平衡フィリング問題は線形プログラム (LP) [Koller et al., 1994] として定式化できるが、LPソルバのメモリ要求のため、LPとして解くにはスケーラビリティがない。
我々は、大きなペイオフ行列を2つの行列からなる積に分解する効率的な実用的アルゴリズムを与える。
これにより,cfrより小さい対数因子のみの大きさの線形プログラムとして平衡探索問題を表現することができ,そのようなゲーム上で線形プログラムソルバを動作させることができる。
ポーカーエンドゲームに関する実験により,本研究では,現代リニアプログラムソルバが,大規模展開型ゲームの解法において,ゲーム特有のcfrの現代的変種とさえ競合することを初めて実証し,cfrのような反復的アルゴリズムと異なり,厳密な解法を計算できることを示した。 Computational equilibrium finding in large zero-sum extensive-form imperfect-information games has led to significant recent AI breakthroughs. The fastest algorithms for the problem are new forms of counterfactual regret minimization [Brown and Sandholm, 2019]. In this paper we present a totally different approach to the problem, which is competitive and often orders of magnitude better than the prior state of the art. The equilibrium-finding problem can be formulated as a linear program (LP) [Koller et al., 1994], but solving it as an LP has not been scalable due to the memory requirements of LP solvers, which can often be quadratically worse than CFR-based algorithms. We give an efficient practical algorithm that factors a large payoff matrix into a product of two matrices that are typically dramatically sparser. This allows us to express the equilibrium-finding problem as a linear program with size only a logarithmic factor worse than CFR, and thus allows linear program solvers to run on such games. With experiments on poker endgames, we demonstrate in practice, for the first time, that modern linear program solvers are competitive against even game-specific modern variants of CFR in solving large extensive-form games, and can be used to compute exact solutions unlike iterative algorithms like CFR. | 翻訳日:2022-11-25 04:28:46 公開日:2020-06-29 |
| # 最大エントロピーモデルロールアウト:複合エラーを伴わない高速モデルに基づくポリシー最適化 Maximum Entropy Model Rollouts: Fast Model Based Policy Optimization without Compounding Errors ( http://arxiv.org/abs/2006.04802v2 ) ライセンス: Link先を確認 | Chi Zhang, Sanmukh Rao Kuppannagari, Viktor K Prasanna | (参考訳) モデルベース強化学習では,モデル利用が中心的な課題である。
ディープニューラルネットワークに基づくダイナミクスモデルは、単一ステップ予測に優れた一般化を提供するが、複雑なエラーによる長い水平軌道の予測に使用される場合、そのような能力は過剰に活用される。
本研究では,最大エントロピーモデルロールアウト(MEMR)と呼ばれるDynaスタイルのモデルベース強化学習アルゴリズムを提案する。
複雑なエラーをなくすために、我々はモデルを使って単一ステップのロールアウトを生成する。
さらに, モデルロールアウトのエントロピーが最大になるような環境状態の非一様サンプリングにより, モデルロールアウトを生成することを提案する。
ガウス以前の1つのデータケースに対する最大エントロピーサンプリング基準を数学的に導出した。
この基準を達成するために,優先された体験再生を活用することを提案する。
提案手法は, 最適モデルベースアルゴリズムのサンプル効率を向上し, 最適モデルフリーアルゴリズムの漸近性能と一致し, その他のモデルベース手法の計算要求を大幅に低減することを示す。 Model usage is the central challenge of model-based reinforcement learning. Although dynamics model based on deep neural networks provide good generalization for single step prediction, such ability is over exploited when it is used to predict long horizon trajectories due to compounding errors. In this work, we propose a Dyna-style model-based reinforcement learning algorithm, which we called Maximum Entropy Model Rollouts (MEMR). To eliminate the compounding errors, we only use our model to generate single-step rollouts. Furthermore, we propose to generate \emph{diverse} model rollouts by non-uniform sampling of the environment states such that the entropy of the model rollouts is maximized. We mathematically derived the maximum entropy sampling criteria for one data case under Gaussian prior. To accomplish this criteria, we propose to utilize a prioritized experience replay. Our preliminary experiments in challenging locomotion benchmarks show that our approach achieves the same sample efficiency of the best model-based algorithms, matches the asymptotic performance of the best model-free algorithms, and significantly reduces the computation requirements of other model-based methods. | 翻訳日:2022-11-24 01:00:21 公開日:2020-06-29 |
| # クリックスルーレート予測のための時系列行動データを用いた検索ベースユーザ興味モデリング Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Prediction ( http://arxiv.org/abs/2006.05639v2 ) ライセンス: Link先を確認 | Pi Qi, Xiaoqiang Zhu, Guorui Zhou, Yujing Zhang, Zhe Wang, Lejian Ren, Ying Fan, and Kun Gai | (参考訳) リッチなユーザー行動データはクリックスルー率予測タスク、特にレコメンデーションシステムやオンライン広告のような産業アプリケーションにとって非常に有用であることが証明されている。
業界とアカデミーは、このトピックに多くの注意を払っており、長いシーケンシャルなユーザー行動データでモデリングするための異なるアプローチを提案している。
その中でも,Alibaba が提案するメモリネットワークモデル MIMN は,学習アルゴリズムとサービスシステムの共同設計により SOTA を実現する。
MIMNは、1000までのスケーリングでシーケンシャルなユーザ行動データをモデル化できる最初の産業用ソリューションである。
しかし、MIMNは、ユーザの行動シーケンスの長さが10倍以上に増加すると、特定の候補アイテムから与えられたユーザの興味を正確に捉えることができない。
この挑戦は以前に提案されたアプローチで広く存在する。
本稿では,検索ベース興味モデル(SIM)と呼ばれる新しいモデルパラダイムを設計することで,この問題に対処する。
SIMは2つのケースド検索ユニットでユーザーの興味を抽出する。
(i)一般検索部は、生及び任意に長い逐次行動データから、候補項目からの問い合わせ情報を検索し、候補項目に関連するサブユーザ行動シーケンスを取得する。
(ii)Exact Search Unitは、候補項目とSBSの正確な関係をモデル化する。
このカスケード検索パラダイムによってsimは、スケーラビリティと正確性の両方において、生涯のシーケンシャルな動作データをモデル化できる。
学習アルゴリズムとは別に,大規模産業システムにおけるSIMの実装方法についての実践経験も紹介する。
2019年以降、SIMはAlibabaのディスプレイ広告システムにデプロイされ、CTRは7.1\%、RPMは4.4\%となっている。
実際のシステムの主なトラフィックを提供するため、simは最大54000までのユーザ行動データをモデル化し、somaを54倍にプッシュします。 Rich user behavior data has been proven to be of great value for click-through rate prediction tasks, especially in industrial applications such as recommender systems and online advertising. Both industry and academy have paid much attention to this topic and propose different approaches to modeling with long sequential user behavior data. Among them, memory network based model MIMN proposed by Alibaba, achieves SOTA with the co-design of both learning algorithm and serving system. MIMN is the first industrial solution that can model sequential user behavior data with length scaling up to 1000. However, MIMN fails to precisely capture user interests given a specific candidate item when the length of user behavior sequence increases further, say, by 10 times or more. This challenge exists widely in previously proposed approaches. In this paper, we tackle this problem by designing a new modeling paradigm, which we name as Search-based Interest Model (SIM). SIM extracts user interests with two cascaded search units: (i) General Search Unit acts as a general search from the raw and arbitrary long sequential behavior data, with query information from candidate item, and gets a Sub user Behavior Sequence which is relevant to candidate item; (ii) Exact Search Unit models the precise relationship between candidate item and SBS. This cascaded search paradigm enables SIM with a better ability to model lifelong sequential behavior data in both scalability and accuracy. Apart from the learning algorithm, we also introduce our hands-on experience on how to implement SIM in large scale industrial systems. Since 2019, SIM has been deployed in the display advertising system in Alibaba, bringing 7.1\% CTR and 4.4\% RPM lift, which is significant to the business. Serving the main traffic in our real system now, SIM models user behavior data with maximum length reaching up to 54000, pushing SOTA to 54x. | 翻訳日:2022-11-23 06:09:19 公開日:2020-06-29 |
| # DisCont:コンテキストベクトルを用いた自己監督型視覚属性分散 DisCont: Self-Supervised Visual Attribute Disentanglement using Context Vectors ( http://arxiv.org/abs/2006.05895v2 ) ライセンス: Link先を確認 | Sarthak Bhagat, Vishaal Udandarao, Shagun Uppal | (参考訳) イメージ内の根底にある特徴属性を事前の監視なしに切り離すことは難しい作業である。
属性をアンタングルできるモデルは、高い解釈可能性と制御を提供する。
本稿では,画像内の構造的インダクティブバイアスを活用し,複数の属性の絡み合いを解消する自己教師付きフレームワークを提案する。
近年のコントラスト学習パラダイムの急増に動機づけられたこのモデルは,自己教師ありコントラスト学習アルゴリズムと教師なしディスタングルのギャップを橋渡ししている。
4つのベンチマークデータセットを用いて,定性的かつ定量的にアプローチの有効性を評価する。 Disentangling the underlying feature attributes within an image with no prior supervision is a challenging task. Models that can disentangle attributes well provide greater interpretability and control. In this paper, we propose a self-supervised framework DisCont to disentangle multiple attributes by exploiting the structural inductive biases within images. Motivated by the recent surge in contrastive learning paradigms, our model bridges the gap between self-supervised contrastive learning algorithms and unsupervised disentanglement. We evaluate the efficacy of our approach, both qualitatively and quantitatively, on four benchmark datasets. | 翻訳日:2022-11-23 06:00:52 公開日:2020-06-29 |
| # 最大独立集合に何を定義するかを学ぶ Learning What to Defer for Maximum Independent Sets ( http://arxiv.org/abs/2006.09607v2 ) ライセンス: Link先を確認 | Sungsoo Ahn, Younggyo Seo, Jinwoo Shin | (参考訳) 組合せ最適化のための効率的なアルゴリズムを設計することは、様々な科学分野においてユビキタスに現れる。
近年、深層強化学習(DRL)フレームワークが新たなアプローチとして注目されており、対象問題に関する高度なドメイン知識に頼らずに解決器の設計を自動化することができる。
しかし、既存のDRLソルバは解の要素数に比例する複数の段階を用いて解を決定するため、大規模グラフへの適用性が著しく制限される。
本稿では,各段階における解の要素的決定を学習によって適応的に縮小あるいは拡張する,新しいDRL方式(LwD)を提案することにより,この問題を解決することを目的とする。
提案手法を最大独立集合(MIS)問題に適用し、現状のDRL方式よりも大幅に改善したことを示す。
また、LwDは、数百万の頂点を持つ大規模グラフ上で、限られた時間予算で従来のMIS解法よりも優れていることを示す。 Designing efficient algorithms for combinatorial optimization appears ubiquitously in various scientific fields. Recently, deep reinforcement learning (DRL) frameworks have gained considerable attention as a new approach: they can automate the design of a solver while relying less on sophisticated domain knowledge of the target problem. However, the existing DRL solvers determine the solution using a number of stages proportional to the number of elements in the solution, which severely limits their applicability to large-scale graphs. In this paper, we seek to resolve this issue by proposing a novel DRL scheme, coined learning what to defer (LwD), where the agent adaptively shrinks or stretch the number of stages by learning to distribute the element-wise decisions of the solution at each stage. We apply the proposed framework to the maximum independent set (MIS) problem, and demonstrate its significant improvement over the current state-of-the-art DRL scheme. We also show that LwD can outperform the conventional MIS solvers on large-scale graphs having millions of vertices, under a limited time budget. | 翻訳日:2022-11-19 19:35:36 公開日:2020-06-29 |
| # pinterestのブートストラップが完成した Bootstrapping Complete The Look at Pinterest ( http://arxiv.org/abs/2006.10792v2 ) ライセンス: Link先を確認 | Eileen Li, Eric Kim, Andrew Zhai, Josh Beal, Kunlong Gu | (参考訳) 理想的な衣装を組み立てることは、創造性とスタイル直観を伴うプロセスである。
これにより、自動化が特に困難になります。
既存のスタイリング製品は通常、人間のスペシャリストと高度にキュレートされたファッションアイテムを含んでいる。
本稿では,Pinterest における Complete The Look (CTL) システムのブートストラップについて述べる。
これは、「スタイル互換性」の主観的なタスクを学習し、衣装を完成させる補完アイテムを推奨する技術である。
特に、興味のある項目と互換性のある他のカテゴリからのレコメンデーションを示したいと思っています。
例えば、このカクテルのドレスによく合うヒールは何でしょうか。
100万以上の服と400万のオブジェクトからなる私たちの服のデータセットを導入し、そのサブセットを研究コミュニティに提供し、データセットの取得と更新に使用するパイプラインについて説明します。
さらに,この主観的タスクをどのように評価し,複数のトレーニング手法でモデル性能を比較するかについて述べる。
最後に、実験から作業プロトタイプへの移行、本番環境での障害モードの緩和方法についての教訓を共有します。
我々の研究は、互換性に基づくファッションレコメンデーションのための産業規模のソリューションの最初の例の1つである。 Putting together an ideal outfit is a process that involves creativity and style intuition. This makes it a particularly difficult task to automate. Existing styling products generally involve human specialists and a highly curated set of fashion items. In this paper, we will describe how we bootstrapped the Complete The Look (CTL) system at Pinterest. This is a technology that aims to learn the subjective task of "style compatibility" in order to recommend complementary items that complete an outfit. In particular, we want to show recommendations from other categories that are compatible with an item of interest. For example, what are some heels that go well with this cocktail dress? We will introduce our outfit dataset of over 1 million outfits and 4 million objects, a subset of which we will make available to the research community, and describe the pipeline used to obtain and refresh this dataset. Furthermore, we will describe how we evaluate this subjective task and compare model performance across multiple training methods. Lastly, we will share our lessons going from experimentation to working prototype, and how to mitigate failure modes in the production environment. Our work represents one of the first examples of an industrial-scale solution for compatibility-based fashion recommendation. | 翻訳日:2022-11-19 13:58:33 公開日:2020-06-29 |
| # 局所化とマッピングのための深層学習に関する調査--空間機械知能の時代に向けて A Survey on Deep Learning for Localization and Mapping: Towards the Age of Spatial Machine Intelligence ( http://arxiv.org/abs/2006.12567v2 ) ライセンス: Link先を確認 | Changhao Chen, Bing Wang, Chris Xiaoxuan Lu, Niki Trigoni, Andrew Markham | (参考訳) ディープラーニングに基づくローカライゼーションとマッピングが最近注目されている。
物理モデルや幾何学理論を駆使して手作りのアルゴリズムを作る代わりに、ディープラーニングベースのソリューションは、データ駆動の方法で問題を解決する代替手段を提供する。
ますます増加するデータ量と計算能力から恩恵を受け、これらの手法は新しい領域に急速に進化し、動きを追跡し、現実のアプリケーションのためにシーンとそれらの構造を推定する正確で堅牢なシステムを提供している。
本研究では,包括的調査を行い,深層学習を用いた局所化とマッピングのための新しい分類法を提案する。
また,現在のモデルの限界についても議論し,今後の方向性を示唆する。
学習のオドメトリ推定、マッピング、グローバルローカライゼーション、同時ローカライゼーションとマッピング(slam)など、幅広いトピックがカバーされている。
我々は,車載センサを用いた自己運動とシーン理解の課題を再検討し,これらのモジュールをsmi(prospective spatial machine intelligence system)に統合することにより,その解決法を示す。
この研究がロボティクス、コンピュータビジョン、機械学習コミュニティの新たな成果と結びつき、将来の研究者が深層学習を応用してローカライゼーションやマッピングの問題に取り組むためのガイドとして役立てることを願っている。 Deep learning based localization and mapping has recently attracted significant attention. Instead of creating hand-designed algorithms through exploitation of physical models or geometric theories, deep learning based solutions provide an alternative to solve the problem in a data-driven way. Benefiting from ever-increasing volumes of data and computational power, these methods are fast evolving into a new area that offers accurate and robust systems to track motion and estimate scenes and their structure for real-world applications. In this work, we provide a comprehensive survey, and propose a new taxonomy for localization and mapping using deep learning. We also discuss the limitations of current models, and indicate possible future directions. A wide range of topics are covered, from learning odometry estimation, mapping, to global localization and simultaneous localization and mapping (SLAM). We revisit the problem of perceiving self-motion and scene understanding with on-board sensors, and show how to solve it by integrating these modules into a prospective spatial machine intelligence system (SMIS). It is our hope that this work can connect emerging works from robotics, computer vision and machine learning communities, and serve as a guide for future researchers to apply deep learning to tackle localization and mapping problems. | 翻訳日:2022-11-18 06:07:45 公開日:2020-06-29 |
| # ディープラーニングのセキュリティとプライバシ保護 Security and Privacy Preserving Deep Learning ( http://arxiv.org/abs/2006.12698v2 ) ライセンス: Link先を確認 | Saichethan Miriyala Reddy and Saisree Miriyala | (参考訳) ディープラーニング技術の成功は、トレーニングに利用可能なデータ量に直接比例するため、大規模にユーザデータを収集する商用企業は、このトレンドの主な受益者となっている。
ディープラーニングに必要な膨大なデータ収集は、明らかにプライバシーの問題をもたらす。
写真や音声録音などの機密性の高いデータは、収集する企業によって無期限に保持される。
ユーザーはそれを削除することも、使用する目的を制限することもできない。
だから最近のデータプライバシーは、政府や企業にとってとても重要な問題だ。
これは非常に興味深い課題を引き起こします。一方、私たちは高品質なモデルとアクセス可能なデータに向けてさらに前進していますが、一方で、意図的および偶発的な漏洩からデータを安全に保つ必要があります。
データがより個人的に制限されるほど、研究者が適切なトレーニングデータにアクセスできないため、機械学習を使用して対処する上で最も重要な社会問題の一部に対処できない。
しかし、プライバシーを保護する機械学習を学べば、病気の治癒など多くの社会的な問題を解決することができる。
深層ニューラルネットワークは、トレーニングデータに関する情報を記憶するさまざまな推論攻撃の影響を受けやすい。
この章では、異なる種類の統計分析が、プライバシとフェデレーション学習を損なわないよう保証する差分プライバシを導入し、我々がアクセスできないデータで機械学習モデルをトレーニングします。 Commercial companies that collect user data on a large scale have been the main beneficiaries of this trend since the success of deep learning techniques is directly proportional to the amount of data available for training. Massive data collection required for deep learning presents obvious privacy issues. Users personal, highly sensitive data such as photos and voice recordings are kept indefinitely by the companies that collect it. Users can neither delete it nor restrict the purposes for which it is used. So, data privacy has been a very important concern for governments and companies these days. It gives rise to a very interesting challenge since on the one hand, we are pushing further and further for high-quality models and accessible data, but on the other hand, we need to keep data safe from both intentional and accidental leakage. The more personal the data is it is more restricted it means some of the most important social issues cannot be addressed using machine learning because researchers do not have access to proper training data. But by learning how to machine learning that protects privacy we can make a huge difference in solving many social issues like curing disease etc. Deep neural networks are susceptible to various inference attacks as they remember information about their training data. In this chapter, we introduce differential privacy, which ensures that different kinds of statistical analyses dont compromise privacy and federated learning, training a machine learning model on a data to which we do not have access to. | 翻訳日:2022-11-17 22:24:46 公開日:2020-06-29 |
| # 能動推論と推論としての制御の関係について On the Relationship Between Active Inference and Control as Inference ( http://arxiv.org/abs/2006.12964v3 ) ライセンス: Link先を確認 | Beren Millidge, Alexander Tschantz, Anil K Seth, Christopher L Buckley | (参考訳) 能動推論 (active inference, aif) は脳科学における新たな枠組みであり、生物学的エージェントがモデル証拠の変動を最小限に抑えることを示唆している。
control-as-inference (cai) は強化学習におけるフレームワークであり、変分推論問題として意思決定をキャストする。
これらのフレームワークはどちらも変分推論のレンズによる行動選択を考慮しているが、それらの関係は未だ不明である。
ここでは,それらの形式的比較を行い,それぞれの生成モデルに価値がどのように組み込まれているかから,主な違いが生まれることを示す。
この比較の文脈では、これらのフレームワークが互いに情報を伝達する方法をいくつか紹介する。 Active Inference (AIF) is an emerging framework in the brain sciences which suggests that biological agents act to minimise a variational bound on model evidence. Control-as-Inference (CAI) is a framework within reinforcement learning which casts decision making as a variational inference problem. While these frameworks both consider action selection through the lens of variational inference, their relationship remains unclear. Here, we provide a formal comparison between them and demonstrate that the primary difference arises from how value is incorporated into their respective generative models. In the context of this comparison, we highlight several ways in which these frameworks can inform one another. | 翻訳日:2022-11-17 21:39:41 公開日:2020-06-29 |
| # UAV支援ネットワークにおけるエネルギー最小化:制約付きスケジューリング最適化のためのアクタクリティカルラーニング Energy Minimization in UAV-Aided Networks: Actor-Critic Learning for Constrained Scheduling Optimization ( http://arxiv.org/abs/2006.13610v2 ) ライセンス: Link先を確認 | Yaxiong Yuan, Lei Lei, Thang Xuan Vu, Symeon Chatzinotas, Sumei Sun and Bjorn Ottersten | (参考訳) 無人航空機(UAV)の応用では、UAVの限られたエネルギー供給と貯蔵が、インテリジェントなエネルギー保存スケジューリングソリューションの開発を引き起こしている。
本稿では,データ送信スケジューリングとUAVホバリング時間の共同最適化により,UAV支援通信ネットワークのエネルギー最小化について検討する。
定式化された問題は、双線型制約を伴う組合せと非凸である。
この問題に対処するため、まず、最適緩和近似解を提供し、準最適アルゴリズムを開発する。
提案されたソリューションはいずれもオフラインのパフォーマンスベンチマークとして提供されるが、オンライン操作には適さないかもしれない。
この目的のために、我々は深層強化学習(DRL)の観点からソリューションを開発する。
しかし、従来のRL/DRL、例えば深層Q-ラーニングは、制約付き組合せ最適化における2つの主要な問題、すなわち指数関数的に増加するアクション空間と実現不可能なアクションを扱う場合に限られている。
ソリューション開発のノベルティは、これら2つの問題に対処することである。
前者に対応するために,アクタ批判に基づく深層確率オンラインスケジューリング(AC-DSOS)アルゴリズムを提案し,アクション空間を閉じ込めるための一連のアプローチを開発する。
後者の場合、ソリューション実現可能性を保証するために、カスタマイズされた報酬関数を設計する。
数値的な結果から、AC-DSOSは同等の時間を消費することで実現可能なソリューションを提供し、従来のディープアクター・クリティカル法と比較して29.94%のエネルギーを節約できることが示されている。
開発された近似アルゴリズムと比較して、AC-DSOSは10%高いエネルギーを消費するが、計算時間を分単位からミリ秒単位に短縮する。 In unmanned aerial vehicle (UAV) applications, the UAV's limited energy supply and storage have triggered the development of intelligent energy-conserving scheduling solutions. In this paper, we investigate energy minimization for UAV-aided communication networks by jointly optimizing data-transmission scheduling and UAV hovering time. The formulated problem is combinatorial and non-convex with bilinear constraints. To tackle the problem, firstly, we provide an optimal relax-and-approximate solution and develop a near-optimal algorithm. Both the proposed solutions are served as offline performance benchmarks but might not be suitable for online operation. To this end, we develop a solution from a deep reinforcement learning (DRL) aspect. The conventional RL/DRL, e.g., deep Q-learning, however, is limited in dealing with two main issues in constrained combinatorial optimization, i.e., exponentially increasing action space and infeasible actions. The novelty of solution development lies in handling these two issues. To address the former, we propose an actor-critic-based deep stochastic online scheduling (AC-DSOS) algorithm and develop a set of approaches to confine the action space. For the latter, we design a tailored reward function to guarantee the solution feasibility. Numerical results show that, by consuming equal magnitude of time, AC-DSOS is able to provide feasible solutions and saves 29.94% energy compared with a conventional deep actor-critic method. Compared to the developed near-optimal algorithm, AC-DSOS consumes around 10% higher energy but reduces the computational time from minute-level to millisecond-level. | 翻訳日:2022-11-17 13:35:37 公開日:2020-06-29 |
| # 深層学習に基づく計算病理学による原発不明癌の発生予測 Deep Learning-based Computational Pathology Predicts Origins for Cancers of Unknown Primary ( http://arxiv.org/abs/2006.13932v2 ) ライセンス: Link先を確認 | Ming Y. Lu, Melissa Zhao, Maha Shady, Jana Lipkova, Tiffany Y. Chen, Drew F. K. Williamson, Faisal Mahmood | (参考訳) 原発不明癌 (CUP) は腫瘍由来の原発性解剖学的部位を特定できない診断群である。
化学療法療法や免疫チェックポイント阻害剤などの現代の治療法は原発性腫瘍に特異的であるため、これは大きな課題となる。
最近の研究は、腫瘍起源の同定にゲノム学と転写学を使うことに焦点をあてている。
しかし、ゲノム検査は全ての患者に対して行われておらず、低資源環境における臨床侵入が欠如している。
本稿では,これらの課題を克服するために,日常的に取得したヒストロジースライドを用いてCUPの鑑別診断を行う深層学習に基づく計算病理アルゴリズム-TOADを提案する。
われわれは17,486ギガピクセルのスライド画像と18の共通起源に散在する既知の予備画像を用いてマルチタスク深部モデルを訓練し,腫瘍を原発性または転移性と同定し,発生部位を推定した。
予備例4,932例の内的テストセットで,トップ1の精度が0.84例,トップ3の精度が0.94例,外的テストセットが202病院662例,トップ3の精度が0.79例,トップ3の精度が0.93例であった。
さらに151の異なる医療センターから717のCUP症例のデータセットを収集し,鑑別診断を行った290症例のサブセットを同定した。
モデル予測の結果,50%の症例(偶然に調整された場合,\k{appa}=0.4)とトップ3合意(75%)が一致した。
本手法は, 複雑な転移性およびCUP症例に鑑別診断を割り当てる補助具として使用することができ, 免疫組織化学的解析と広範な診断作業の併用によりCUPの発生を減少させることができる。 Cancer of unknown primary (CUP) is an enigmatic group of diagnoses where the primary anatomical site of tumor origin cannot be determined. This poses a significant challenge since modern therapeutics such as chemotherapy regimen and immune checkpoint inhibitors are specific to the primary tumor. Recent work has focused on using genomics and transcriptomics for identification of tumor origins. However, genomic testing is not conducted for every patient and lacks clinical penetration in low resource settings. Herein, to overcome these challenges, we present a deep learning-based computational pathology algorithm-TOAD-that can provide a differential diagnosis for CUP using routinely acquired histology slides. We used 17,486 gigapixel whole slide images with known primaries spread over 18 common origins to train a multi-task deep model to simultaneously identify the tumor as primary or metastatic and predict its site of origin. We tested our model on an internal test set of 4,932 cases with known primaries and achieved a top-1 accuracy of 0.84, a top-3 accuracy of 0.94 while on our external test set of 662 cases from 202 different hospitals, it achieved a top-1 and top-3 accuracy of 0.79 and 0.93 respectively. We further curated a dataset of 717 CUP cases from 151 different medical centers and identified a subset of 290 cases for which a differential diagnosis was assigned. Our model predictions resulted in concordance for 50% of cases (\k{appa}=0.4 when adjusted for agreement by chance) and a top-3 agreement of 75%. Our proposed method can be used as an assistive tool to assign differential diagnosis to complicated metastatic and CUP cases and could be used in conjunction with or in lieu of immunohistochemical analysis and extensive diagnostic work-ups to reduce the occurrence of CUP. | 翻訳日:2022-11-17 13:34:41 公開日:2020-06-29 |
| # MRIにおける複数の離散剛体面内運動アーチファクトの補正法 A Novel Approach for Correcting Multiple Discrete Rigid In-Plane Motions Artefacts in MRI Scans ( http://arxiv.org/abs/2006.13804v2 ) ライセンス: Link先を確認 | Michael Rotman, Rafi Brada, Israel Beniaminy, Sangtae Ahn, Christopher J. Hardy, Lior Wolf | (参考訳) MRIスキャン中に患者の動きによって生成される運動アーチファクトは、実際に頻繁に発生し、しばしば臨床的に使用不能となり、再スキャンを必要とする。
患者の動きの効果を改善するために多くの方法が用いられてきたが、実際は不足していることが多い。
本稿では,2つの入力枝を持つディープニューラルネットワークを用いて,動作タイミングを用いて患者ポーズを識別する動きアーチファクトを除去する手法を提案する。
第1のブランチは、単一の患者ポーズ中に収集された$k$-spaceデータのサブセットを受け取り、第2のブランチは、収集された$k$-spaceデータの残りの部分を受け取る。
提案法は患者の多動運動によって生成された人工物に適用できる。
さらに、$k$-spaceがアンダーサンプリングされた場合の動作を補正したり、スキャン時間を短縮したり、並列イメージングや圧縮センシングなどの手法で一般的なようにすることができる。
シミュレーションおよび実画像データによる実験結果から,本手法の有効性が示唆された。 Motion artefacts created by patient motion during an MRI scan occur frequently in practice, often rendering the scans clinically unusable and requiring a re-scan. While many methods have been employed to ameliorate the effects of patient motion, these often fall short in practice. In this paper we propose a novel method for removing motion artefacts using a deep neural network with two input branches that discriminates between patient poses using the motion's timing. The first branch receives a subset of the $k$-space data collected during a single patient pose, and the second branch receives the remaining part of the collected $k$-space data. The proposed method can be applied to artefacts generated by multiple movements of the patient. Furthermore, it can be used to correct motion for the case where $k$-space has been under-sampled, to shorten the scan time, as is common when using methods such as parallel imaging or compressed sensing. Experimental results on both simulated and real MRI data show the efficacy of our approach. | 翻訳日:2022-11-17 13:15:36 公開日:2020-06-29 |
| # 分類群落構造の統計的推論 Statistical inference of assortative community structures ( http://arxiv.org/abs/2006.14493v3 ) ライセンス: Link先を確認 | Lizhi Zhang and Tiago P. Peixoto | (参考訳) 本研究では,非パラメトリックベイズ的分割モデルの定式化に基づいて,ネットワーク内の代替的コミュニティを推定する手法を開発した。
モジュール性最大化(Modularity maximization)のような、人工的および実証的な例において体系的に過度に適合する代替手法とは異なり、このアプローチはネットワーク内で統計的に重要な代替モジュールを見つけることに成功していることを示す。
また,本手法は解決限界を満たさないことを示し,統計的な証拠がある限り,任意に多数のコミュニティを明らかにすることができることを示した。
我々の定式化は、確率的ブロックモデルに基づくより一般的なアプローチと比較可能なモデル選択手順に適しており、この方法では、アスカサティビティが実際に大規模な混合パターンを支配しているかどうかを明らかにする。
本研究は,いくつかの実験ネットワークとの比較を行い,従来のコミュニティ検出手法によってネットワークのソート性が誇張された多数の事例を特定し,より忠実なソート性が特定できることを示す。 We develop a principled methodology to infer assortative communities in networks based on a nonparametric Bayesian formulation of the planted partition model. We show that this approach succeeds in finding statistically significant assortative modules in networks, unlike alternatives such as modularity maximization, which systematically overfits both in artificial as well as in empirical examples. In addition, we show that our method is not subject to a resolution limit, and can uncover an arbitrarily large number of communities, as long as there is statistical evidence for them. Our formulation is amenable to model selection procedures, which allow us to compare it to more general approaches based on the stochastic block model, and in this way reveal whether assortativity is in fact the dominating large-scale mixing pattern. We perform this comparison with several empirical networks, and identify numerous cases where the network's assortativity is exaggerated by traditional community detection methods, and we show how a more faithful degree of assortativity can be identified. | 翻訳日:2022-11-17 04:33:48 公開日:2020-06-29 |
| # クロススーパービジョンオブジェクト検出 Cross-Supervised Object Detection ( http://arxiv.org/abs/2006.15056v2 ) ライセンス: Link先を確認 | Zitian Chen, Zhiqiang Shen, Jiahui Yu, Erik Learned-Miller | (参考訳) 画像レベルのアノテーション(オブジェクトバウンディングボックスなしで)から新しいオブジェクトカテゴリを学習した後、人間はそれらのオブジェクトを正確にローカライズするのに非常に優れている。
しかし、優れたオブジェクトローカライザ(つまり検出器)を構築するには、現在高価なインスタンスレベルのアノテーションが必要である。
弱いラベル付きサンプル(クラスラベルのみ)から検出器を学習する作業がいくつか行われているが、これらの検出器は局在性に乏しい。
本研究では,完全ラベル付きベースカテゴリから得られた知識を活用して,新しいカテゴリの弱いラベル付き画像からより優れた物体検出器を構築する方法を示す。
この新しい学習パラダイムをクロス教師付き物体検出と呼ぶ。
本稿では,インスタンスレベルのアノテーションから学習した検出ヘッドと画像レベルのアノテーションから学習した認識ヘッドと,検出と認識のギャップを埋める空間相関モジュールを組み合わせた統合フレームワークを提案する。
これらの貢献により、COCOデータセットのような複雑なマルチオブジェクトシーンにおいて、画像レベルのアノテーションを持つ新しいオブジェクトをよりよく検出できる。 After learning a new object category from image-level annotations (with no object bounding boxes), humans are remarkably good at precisely localizing those objects. However, building good object localizers (i.e., detectors) currently requires expensive instance-level annotations. While some work has been done on learning detectors from weakly labeled samples (with only class labels), these detectors do poorly at localization. In this work, we show how to build better object detectors from weakly labeled images of new categories by leveraging knowledge learned from fully labeled base categories. We call this novel learning paradigm cross-supervised object detection. We propose a unified framework that combines a detection head trained from instance-level annotations and a recognition head learned from image-level annotations, together with a spatial correlation module that bridges the gap between detection and recognition. These contributions enable us to better detect novel objects with image-level annotations in complex multi-object scenes such as the COCO dataset. | 翻訳日:2022-11-16 21:58:32 公開日:2020-06-29 |
| # 大規模最適潮流の高忠実度機械学習近似 High-Fidelity Machine Learning Approximations of Large-Scale Optimal Power Flow ( http://arxiv.org/abs/2006.16356v1 ) ライセンス: Link先を確認 | Minas Chatzos and Ferdinando Fioretto and Terrence W.K. Mak and Pascal Van Hentenryck | (参考訳) AC Optimal Power Flow (AC-OPF)は、多くの電力システムアプリケーションにおいて重要なビルディングブロックである。
電力需要を満たす最小のコストでジェネレータセットポイントを決定し、基礎となる物理的および運用上の制約を満たす。
非凸かつNPハードであり、大規模電力システムでは計算的に困難である。
本稿では, 生成スケジュールの確率性の向上と再生可能エネルギーの浸透の増大により, AC-OPFの高精度かつ高精度な近似を実現するための深層学習手法を提案する。
特に,深層ニューラルネットワークとラグランジュ双対性を統合し,物理的・操作的制約を捉えることを提案する。
OPF-DNNと呼ばれる結果のモデルは、最大3,400台のバスと4,500本の路線を持つフランスの送信システムによる実例調査で評価される。
計算結果から、OPF-DNNはコストが0.01%以内の高精度なAC-OPF近似を生成することが示された。
OPF-DNNは、高忠実度で問題制約をキャプチャするソリューションを生成する。 The AC Optimal Power Flow (AC-OPF) is a key building block in many power system applications. It determines generator setpoints at minimal cost that meet the power demands while satisfying the underlying physical and operational constraints. It is non-convex and NP-hard, and computationally challenging for large-scale power systems. Motivated by the increased stochasticity in generation schedules and increasing penetration of renewable sources, this paper explores a deep learning approach to deliver highly efficient and accurate approximations to the AC-OPF. In particular, the paper proposes an integration of deep neural networks and Lagrangian duality to capture the physical and operational constraints. The resulting model, called OPF-DNN, is evaluated on real case studies from the French transmission system, with up to 3,400 buses and 4,500 lines. Computational results show that OPF-DNN produces highly accurate AC-OPF approximations whose costs are within 0.01% of optimality. OPF-DNN generates, in milliseconds, solutions that capture the problem constraints with high fidelity. | 翻訳日:2022-11-15 15:35:17 公開日:2020-06-29 |
| # ピアレビューデータ分析におけるプライバシー利用トレードオフについて On the Privacy-Utility Tradeoff in Peer-Review Data Analysis ( http://arxiv.org/abs/2006.16385v1 ) ライセンス: Link先を確認 | Wenxin Ding, Nihar B. Shah, Weina Wang | (参考訳) ピアレビューの改善に関する研究における大きな障害は、レビューデータの公開は、レビュー者のアイデンティティを著者から守るという点において、ピアレビューデータの感度を損なう必要があるため、ピアレビューデータの有効性である。
プライバシ保護方式でピアレビューデータを公開するための技術開発の必要性を示唆する。
この問題を明らかにするため,本稿では,公開データの正確性(あるいは有用性)を重視した,特定の会議ピアレビューデータ(評価,誤校正,主観性の分布)のプライバシ保護のためのフレームワークを提案する。
フレームワークの要点は、レビューに関連するデータの一部がすでに公開されており、プライバシー保証を維持しながらデータの正確性(実用性)を向上させる方法で、この情報を使用して、プライバシメカニズムによってリリースされたデータを後処理することです。
当社のフレームワークは、摂動データを公開することによって動作するプライバシー保護機構で機能する。
プライバシとユーティリティのトレードオフを改善する多項式時間アルゴリズムを含む,いくつかの肯定的および否定的な理論結果を示す。 A major impediment to research on improving peer review is the unavailability of peer-review data, since any release of such data must grapple with the sensitivity of the peer review data in terms of protecting identities of reviewers from authors. We posit the need to develop techniques to release peer-review data in a privacy-preserving manner. Identifying this problem, in this paper we propose a framework for privacy-preserving release of certain conference peer-review data -- distributions of ratings, miscalibration, and subjectivity -- with an emphasis on the accuracy (or utility) of the released data. The crux of the framework lies in recognizing that a part of the data pertaining to the reviews is already available in public, and we use this information to post-process the data released by any privacy mechanism in a manner that improves the accuracy (utility) of the data while retaining the privacy guarantees. Our framework works with any privacy-preserving mechanism that operates via releasing perturbed data. We present several positive and negative theoretical results, including a polynomial-time algorithm for improving on the privacy-utility tradeoff. | 翻訳日:2022-11-15 15:35:00 公開日:2020-06-29 |
| # リカレントニューラルネットワークを用いたテールシッターUAVの遷移制御 Transition control of a tail-sitter UAV using recurrent neural networks ( http://arxiv.org/abs/2006.16401v1 ) ライセンス: Link先を確認 | Alejandro Flores and Gerardo Flores | (参考訳) 本稿では、テールシッターuavの飛行遷移操作(hover-cruise and vice)の安定化のためのリカレントニューラルネットワーク(rnn)ベースの制御器の実装について述べる。
制御戦略は姿勢と速度安定化に基づいている。
その目的のために、RNNは遷移段階における高非線形空力項の推定に使用される。
そして,この推定値とフィードバック線形化手法を用いてシステム全体の安定化を行う。
その結果, 遷移操作時の直線速度とピッチ角の収束性を示した。
提案する制御戦略の性能を分析するために,ホバーからクルーズへの遷移をシミュレーションし,その逆を行う。 This paper presents the implementation of a Recurrent Neural Network (RNN) based-controller for the stabilization of the flight transition maneuver (hover-cruise and vice versa) of a tail-sitter UAV. The control strategy is based on attitude and velocity stabilization. For that aim, the RNN is used for the estimation of high nonlinear aerodynamic terms during the transition stage. Then, this estimate is used together with a feedback linearization technique for stabilizing the entire system. Results show convergence of linear velocities and the pitch angle during the transition maneuver. To analyze the performance of our proposed control strategy, we present simulations for the transition from hover to cruise and vice versa. | 翻訳日:2022-11-15 15:33:52 公開日:2020-06-29 |
| # 伝達学習を用いた限られたデータによる材料特性のニューラルネットワーク予測の改善 Improving neural network predictions of material properties with limited data using transfer learning ( http://arxiv.org/abs/2006.16420v1 ) ライセンス: Link先を確認 | Schuyler Krawczuk and Daniele Venturi | (参考訳) 密度汎関数理論(dft)に基づくab initioシミュレーションから材料特性の予測を高速化する新しい伝達学習アルゴリズムを開発した。
転送学習は、材料科学以外のアプリケーションでデータ効率のよいモデリングに成功しており、大きなデータセットから学んだ転送可能な表現を、小さなデータセットでも新しいタスクを学習するために再利用することができる。
材料科学の文脈では、材料特性の大規模な(計算コストの高い)トレーニングセットを生成する必要なしに、他の材料で再利用可能な一般化可能なニューラルネットワークモデルを開発する可能性を開く。
提案した遷移学習アルゴリズムは光遷移金属酸化物のギブス自由エネルギーを予測する。 We develop new transfer learning algorithms to accelerate prediction of material properties from ab initio simulations based on density functional theory (DFT). Transfer learning has been successfully utilized for data-efficient modeling in applications other than materials science, and it allows transferable representations learned from large datasets to be repurposed for learning new tasks even with small datasets. In the context of materials science, this opens the possibility to develop generalizable neural network models that can be repurposed on other materials, without the need of generating a large (computationally expensive) training set of materials properties. The proposed transfer learning algorithms are demonstrated on predicting the Gibbs free energy of light transition metal oxides. | 翻訳日:2022-11-15 15:33:43 公開日:2020-06-29 |
| # 鉄道線路の超音波診断自動化問題における機械学習 Machine learning in problems of automation of ultrasound diagnostics of railway tracks ( http://arxiv.org/abs/2006.16844v1 ) ライセンス: Link先を確認 | Igonin Andrey, Ulybin Vitaliy | (参考訳) 本稿では,鉄道軌道欠陥図の自動復号化のためのシステムアーキテクチャについて述べる。
本システムは、超音波データ前処理モジュール、中性ネットワーク分類器のセット、決定ブロックを含む。
データの前処理には、測定情報のアフィン変換がニューラルネットワークの動作に適したフォーマットに含まれ、また、定義されている欠陥の種類に応じて測定チャネルに関する情報の組み合わせが含まれる。
分類器は畳み込みニューラルネットワーク上に構築される。
提案手法は、テンソルプロセッサやGPUを含む並列コンピューティングを実行するために、現代的な要素ベースで効果的に実装することができる。 The article presents the system architecture for automatic decoding of railway track defectograms in real time. The system includes an ultrasound data preprocessing module, a set of neutral network classifiers, a decision block. Preprocessing of data includes affine transformations of measurement information into a format suitable for the operation of a neural network, as well as a combination of information on measurement channels, depending on the type of defect being defined. The classifier is built on a convolutional neural network. The proposed solution can be effectively implemented on a modern elemental basis for performing parallel computing, including tensor processor and GPUs. | 翻訳日:2022-11-15 15:25:38 公開日:2020-06-29 |
| # 部分直交行列ベクトルテンソル分解によるハイパースペクトル画像の雑音化 Hyperspectral Image Denoising with Partially Orthogonal Matrix Vector Tensor Factorization ( http://arxiv.org/abs/2007.01056v1 ) ライセンス: Link先を確認 | Zhen Long, Yipeng Liu, Sixing Zeng, Jiani Liu, Fei Wen, Ce Zhu | (参考訳) ハイパースペクトル画像(HSI)は、スペクトルの余分な情報により、様々な用途の自然画像に対していくつかの利点がある。
取得中、ガウスノイズ、インパルスノイズ、期限、ストライプなどの深刻なノイズによって汚染されることが多い。
画質の劣化はいくつかの応用に悪影響を及ぼすだろう。
本稿では,滑らかでロバストな低階テンソル回復法というhsi復元法を提案する。
具体的には,HSIの線形スペクトル混合モデルに従って構造テンソル分解を提案する。
テンソルを外行列ベクトル積の和に分解し、ベクトルはエンドメンバースペクトルの独立性によって直交する。
これに基づいて、大域的な低階テンソル構造は、HSIデノナイジングのためによく説明できる。
さらに、hsiの空間的スペクトル分割平滑性には3次元異方性全変動が用いられる。
一方、l1標準正規化により、インパルスノイズ、期限、ストライプを含むスパースノイズを検出する。
フロベニウスノルムは、いくつかの実世界のシナリオにおける重いガウスノイズに使用される。
乗算器の交互方向法を用いて,HSIのグローバル低ランク特性と空間スペクトルの滑らかさを同時に活用する最適化モデルを提案する。
シミュレーションデータと実データの両方における数値実験は,提案手法が既存手法と比較して優れていることを示す。 Hyperspectral image (HSI) has some advantages over natural image for various applications due to the extra spectral information. During the acquisition, it is often contaminated by severe noises including Gaussian noise, impulse noise, deadlines, and stripes. The image quality degeneration would badly effect some applications. In this paper, we present a HSI restoration method named smooth and robust low rank tensor recovery. Specifically, we propose a structural tensor decomposition in accordance with the linear spectral mixture model of HSI. It decomposes a tensor into sums of outer matrix vector products, where the vectors are orthogonal due to the independence of endmember spectrums. Based on it, the global low rank tensor structure can be well exposited for HSI denoising. In addition, the 3D anisotropic total variation is used for spatial spectral piecewise smoothness of HSI. Meanwhile, the sparse noise including impulse noise, deadlines and stripes, is detected by the l1 norm regularization. The Frobenius norm is used for the heavy Gaussian noise in some real world scenarios. The alternating direction method of multipliers is adopted to solve the proposed optimization model, which simultaneously exploits the global low rank property and the spatial spectral smoothness of the HSI. Numerical experiments on both simulated and real data illustrate the superiority of the proposed method in comparison with the existing ones. | 翻訳日:2022-11-15 15:25:28 公開日:2020-06-29 |
| # クリックスルー率予測のためのニューラルインタラクションの自動検出 Towards Automated Neural Interaction Discovery for Click-Through Rate Prediction ( http://arxiv.org/abs/2007.06434v1 ) ライセンス: Link先を確認 | Qingquan Song, Dehua Cheng, Hanning Zhou, Jiyan Yang, Yuandong Tian, Xia Hu | (参考訳) CTR(Click-Through Rate)予測は、リコメンデータシステムにおいて最も重要な機械学習タスクのひとつであり、数十億の消費者に対してパーソナライズされたエクスペリエンスを駆動する。
ニューラルアーキテクチャサーチ(NAS)は、新たな分野として、強力なニューラルネットワークアーキテクチャを発見する能力を示し、CTR予測の可能性を探る動機となった。
故に
1) 多様な非構造的特徴相互作用
2)異質な特徴空間、及び
3) 高データ量と本質的データランダム性は,レコメンデーションモデルにおいて,異なるアーキテクチャを構築し,検索し,比較することが困難である。
これらの課題に対処するために,AutoCTR という CTR 予測のための自動対話アーキテクチャ探索フレームワークを提案する。
仮想ビルディングブロックとして単純だが代表的な相互作用をモジュール化し、直接非巡回グラフの空間に配線することにより、AutoCTRはアーキテクチャレベルでの学習からランクへのガイダンスによる進化的アーキテクチャ探索を行い、低忠実度モデルを用いて加速を実現する。
実証分析は、AutoCTRが人為的なアーキテクチャと比較して異なるデータセットで有効であることを示す。
発見されたアーキテクチャは、異なるデータセット間の一般化性と転送性も享受する。 Click-Through Rate (CTR) prediction is one of the most important machine learning tasks in recommender systems, driving personalized experience for billions of consumers. Neural architecture search (NAS), as an emerging field, has demonstrated its capabilities in discovering powerful neural network architectures, which motivates us to explore its potential for CTR predictions. Due to 1) diverse unstructured feature interactions, 2) heterogeneous feature space, and 3) high data volume and intrinsic data randomness, it is challenging to construct, search, and compare different architectures effectively for recommendation models. To address these challenges, we propose an automated interaction architecture discovering framework for CTR prediction named AutoCTR. Via modularizing simple yet representative interactions as virtual building blocks and wiring them into a space of direct acyclic graphs, AutoCTR performs evolutionary architecture exploration with learning-to-rank guidance at the architecture level and achieves acceleration using low-fidelity model. Empirical analysis demonstrates the effectiveness of AutoCTR on different datasets comparing to human-crafted architectures. The discovered architecture also enjoys generalizability and transferability among different datasets. | 翻訳日:2022-11-15 15:25:10 公開日:2020-06-29 |
| # ウェーブレットを用いた複合損失の自然勾配 Natural Gradient for Combined Loss Using Wavelets ( http://arxiv.org/abs/2006.15806v1 ) ライセンス: Link先を確認 | Lexing Ying | (参考訳) 自然勾配は確率空間上の損失汎関数の最適化に広く使われており、クルバック・ライバー分岐のフィッシャー-ラオ勾配降下、輸送関連関数のワッサーシュタイン勾配降下、二次損失汎関数のマハラノビス勾配降下などの重要な例がある。
ここでは、損失がこれらの例の凸線型結合である状況について考察する。
本研究では,コンパクトにサポートされたウェーブレットを併用した新しい自然勾配アルゴリズムを提案する。
提案アルゴリズムの効率性を示すために, 数値計算結果を含む。 Natural gradients have been widely used in optimization of loss functionals over probability space, with important examples such as Fisher-Rao gradient descent for Kullback-Leibler divergence, Wasserstein gradient descent for transport-related functionals, and Mahalanobis gradient descent for quadratic loss functionals. This note considers the situation in which the loss is a convex linear combination of these examples. We propose a new natural gradient algorithm by utilizing compactly supported wavelets to diagonalize approximately the Hessian of the combined loss. Numerical results are included to demonstrate the efficiency of the proposed algorithm. | 翻訳日:2022-11-15 15:24:49 公開日:2020-06-29 |
| # GLYFE:1型糖尿病におけるパーソナライズされたグルコース予測モデルの検討と評価 GLYFE: Review and Benchmark of Personalized Glucose Predictive Models in Type-1 Diabetes ( http://arxiv.org/abs/2006.15946v1 ) ライセンス: Link先を確認 | Maxime De Bois, Mehdi Ammi, and Moun\^im A. El Yacoubi | (参考訳) 糖尿病関連データの繊細な性質、研究間での共有を防止するため、グルコース予測の分野での進歩を評価するのは難しい。
本稿では,機械学習に基づくグルコース予測モデルのベンチマークであるGLYFE(GLYcemia Forecasting Evaluation)を提案する。
将来,結果の再現性とベンチマークのユーザビリティを確保するため,データフローに関する詳細な情報を提供する。
UVA/Padova Type 1 Diabetes Metabolic Simulator (T1DMS) の成人10名とOttoT1DMデータセットの糖尿病患者6名からなる2つのデータセットが使用されている。
予測モデルは患者にパーソナライズされ、3つの異なる予測地平線(30分、60分、120分)で評価され、その正確性と臨床受容性を評価する。
ブドウ糖沈降の文献から得られた9種類のモデルの結果を報告する。
まず、標準自己回帰線形モデルは、カーネルベースの非線形モデルとニューラルネットワークによってクラス外であることを示す。
特に、サポートベクトル回帰モデルは、最も正確かつ臨床的に許容されるモデルの1つであると同時に際立っている。
最後に、モデルの相対的なパフォーマンスは両方のデータセットで同じです。
これは、T1DMSでシミュレートされたデータは実世界のデータを完全に代表していないが、グルコース予測モデルの予測能力を評価するために使用できることを示している。
これらの結果は将来の研究における比較の基礎となる。
データの入手が困難で、異なる研究結果の比較がしばしば無関係である分野において、glyfeは研究者を標準化された共通環境の周りに集める機会を与える。 Due to the sensitive nature of diabetes-related data, preventing them from being shared between studies, progress in the field of glucose prediction is hard to assess. To address this issue, we present GLYFE (GLYcemia Forecasting Evaluation), a benchmark of machine-learning-based glucose-predictive models. To ensure the reproducibility of the results and the usability of the benchmark in the future, we provide extensive details about the data flow. Two datasets are used, the first comprising 10 in-silico adults from the UVA/Padova Type 1 Diabetes Metabolic Simulator (T1DMS) and the second being made of 6 real type-1 diabetic patients coming from the OhioT1DM dataset. The predictive models are personalized to the patient and evaluated on 3 different prediction horizons (30, 60, and 120 minutes) with metrics assessing their accuracy and clinical acceptability. The results of nine different models coming from the glucose-prediction literature are presented. First, they show that standard autoregressive linear models are outclassed by kernel-based non-linear ones and neural networks. In particular, the support vector regression model stands out, being at the same time one of the most accurate and clinically acceptable model. Finally, the relative performances of the models are the same for both datasets. This shows that, even though data simulated by T1DMS are not fully representative of real-world data, they can be used to assess the forecasting ability of the glucose-predictive models. Those results serve as a basis of comparison for future studies. In a field where data are hard to obtain, and where the comparison of results from different studies is often irrelevant, GLYFE gives the opportunity of gathering researchers around a standardized common environment. | 翻訳日:2022-11-15 15:24:36 公開日:2020-06-29 |
| # マルチアクセスエッジコンピューティングネットワークにおける計算オフロード:マルチタスク学習アプローチ Computation Offloading in Multi-Access Edge Computing Networks: A Multi-Task Learning Approach ( http://arxiv.org/abs/2006.16104v1 ) ライセンス: Link先を確認 | Bo Yang, Xuelin Cao, Joshua Bassey, Xiangfang Li, Timothy Kroecker, and Lijun Qian | (参考訳) マルチアクセスエッジコンピューティング(MEC)は、いくつかのタスクをMECサーバ(MES)に統合された近接アクセスポイント(AP)にオフロードすることで、モバイル機器が計算集約的なアプリケーションに耐える可能性をすでに示している。
しかし,MESのネットワーク条件や計算資源が限られているため,モバイル端末によるオフロード決定やMESが割り当てる計算資源は,低コストで効率的に達成できない。
本稿では、複数のデバイスが同じ周波数帯域でタスクをアップロードできるようにするために、アップリンク非直交多重アクセス(NOMA)を使用するMECネットワークのための動的オフロードフレームワークを提案する。
オフロード決定問題を多クラス分類問題として定式化し,MES計算資源割り当て問題を回帰問題として定式化する。
次に、マルチタスク学習に基づくfeedforward neural network(mtfnn)モデルを用いて、オフロード決定と計算リソース割り当てを共同で最適化する。
数値計算の結果,提案手法は推定精度と計算複雑性の点で従来の最適化手法よりも優れていた。 Multi-access edge computing (MEC) has already shown the potential in enabling mobile devices to bear the computation-intensive applications by offloading some tasks to a nearby access point (AP) integrated with a MEC server (MES). However, due to the varying network conditions and limited computation resources of the MES, the offloading decisions taken by a mobile device and the computational resources allocated by the MES may not be efficiently achieved with the lowest cost. In this paper, we propose a dynamic offloading framework for the MEC network, in which the uplink non-orthogonal multiple access (NOMA) is used to enable multiple devices to upload their tasks via the same frequency band. We formulate the offloading decision problem as a multiclass classification problem and formulate the MES computational resource allocation problem as a regression problem. Then a multi-task learning based feedforward neural network (MTFNN) model is designed to jointly optimize the offloading decision and computational resource allocation. Numerical results illustrate that the proposed MTFNN outperforms the conventional optimization method in terms of inference accuracy and computation complexity. | 翻訳日:2022-11-15 15:24:08 公開日:2020-06-29 |
| # 敵対的機械学習研究の法的リスク Legal Risks of Adversarial Machine Learning Research ( http://arxiv.org/abs/2006.16179v1 ) ライセンス: Link先を確認 | Ram Shankar Siva Kumar, Jonathon Penney, Bruce Schneier, Kendra Albert | (参考訳) Adversarial Machine Learningは、脆弱性を示すためにFacebook、Tesla、Microsoft、IBM、Googleなどの商用MLシステムをターゲットにするML研究者が急増している。
この論文では、"mlシステムを攻撃する際に、敵対的なml研究者にとって潜在的な法的リスクは何か"と問う。
あらゆる運用システムのセキュリティを調査またはテストすることは、ハッキングの責任を負う米国の連邦法典であるcomputer fraud and abuse act (cfaa) を実行する可能性がある。
我々は、Adversarial ML研究はおそらく変わらないと主張している。
我々の分析では、CFAAの解釈方法に違いがあるため、モデル逆転、メンバーシップ推論、モデル盗難、MLシステムの再プログラミング、毒殺攻撃といった敵対的ML攻撃の側面は、いくつかの管轄区域で認可され、他の領域では罰せられない可能性がある。
我々は、米国最高裁判所がヴァンビューレン対アメリカ合衆国裁判におけるCFAAの現在の不一致をどう解決するかを予測する分析で締めくくった。
我々は、裁判所がCFAAの狭い構成を採用する可能性があり、これが長期的には敵のMLセキュリティにより良い結果をもたらすと論じている。 Adversarial Machine Learning is booming with ML researchers increasingly targeting commercial ML systems such as those used in Facebook, Tesla, Microsoft, IBM, Google to demonstrate vulnerabilities. In this paper, we ask, "What are the potential legal risks to adversarial ML researchers when they attack ML systems?" Studying or testing the security of any operational system potentially runs afoul the Computer Fraud and Abuse Act (CFAA), the primary United States federal statute that creates liability for hacking. We claim that Adversarial ML research is likely no different. Our analysis show that because there is a split in how CFAA is interpreted, aspects of adversarial ML attacks, such as model inversion, membership inference, model stealing, reprogramming the ML system and poisoning attacks, may be sanctioned in some jurisdictions and not penalized in others. We conclude with an analysis predicting how the US Supreme Court may resolve some present inconsistencies in the CFAA's application in Van Buren v. United States, an appeal expected to be decided in 2021. We argue that the court is likely to adopt a narrow construction of the CFAA, and that this will actually lead to better adversarial ML security outcomes in the long term. | 翻訳日:2022-11-15 15:23:40 公開日:2020-06-29 |
| # ペルー・クズコの考古学遺産におけるジオタグ写真からの観光活動の学習パターンと写真 Learning Patterns of Tourist Movement and Photography from Geotagged Photos at Archaeological Heritage Sites in Cuzco, Peru ( http://arxiv.org/abs/2006.16424v1 ) ライセンス: Link先を確認 | Nicole D. Payntar, Wei-Lin Hsiao, R. Alan Covey, Kristen Grauman | (参考訳) 近年のメディア共有プラットフォームの人気は、多くのオープンソースデータを提供しており、遺産学者によって未使用のままである。
地理タグ付きインターネット写真と機械学習とコンピュータビジョンのアルゴリズムを組み合わせることで、現在ペルーのクズコにおける視覚文化と経験を定量化するために、視覚と遺産観光に関する人類学の現在の理論的談話を構築した。
大規模観光写真を活用した目的は,(1)遺産規制やソーシャルメディアと観光の激化がどう交わるかを把握し,クズコの遺産ランドスケープを横断する旅行パターンの具体化に寄与するか,(2)旅行物語がソーシャルメディア上でキュレーションされ,歴史史跡の表現に根ざした観光客の期待にいかに美的嗜好と視覚性が絡み合うかを評価することである。 The popularity of media sharing platforms in recent decades has provided an abundance of open source data that remains underutilized by heritage scholars. By pairing geotagged internet photographs with machine learning and computer vision algorithms, we build upon the current theoretical discourse of anthropology associated with visuality and heritage tourism to identify travel patterns across a known archaeological heritage circuit, and quantify visual culture and experiences in Cuzco, Peru. Leveraging large-scale in-the-wild tourist photos, our goals are to (1) understand how the intensification of tourism intersects with heritage regulations and social media, aiding in the articulation of travel patterns across Cuzco's heritage landscape; and to (2) assess how aesthetic preferences and visuality become entangled with the rapidly evolving expectations of tourists, whose travel narratives are curated on social media and grounded in historic site representations. | 翻訳日:2022-11-15 15:16:25 公開日:2020-06-29 |
| # 住宅用スマートグリッドにおけるインテリジェント負荷スケジューリングのための分散深層強化学習 Distributed Deep Reinforcement Learning for Intelligent Load Scheduling in Residential Smart Grids ( http://arxiv.org/abs/2006.16100v1 ) ライセンス: Link先を確認 | Hwei-Ming Chung, Sabita Maharjan, Yan Zhang, and Frank Eliassen | (参考訳) 家庭の電力消費は年々増え続けている。
この成長に対応するためには、家計の消費プロファイルのインテリジェントな管理が必要であり、家計は電気料金を節約でき、ピーク時の電力網へのストレスを低減できる。
しかし、電力価格の無作為性や家電製品の消費などにより、こうした方法の実施は困難である。
この課題に対処するために,不確実性に関する限られた情報を扱う世帯に対して,モデルフリー手法を適用する。
より具体的には、家庭と電力網の相互作用は非協調確率ゲームとしてモデル化することができ、そこでは電気価格が確率変数と見なされる。
ゲームのナッシュ均衡(NE)を探索するために,分散深部強化学習に基づく手法を採用する。
また,提案手法は,世帯のプライバシーを保護できる。
提案手法の性能を評価するために,1,000世帯以上の消費電力プロファイルを含むpecan street inc.の実世界データを利用する。
その結果,平均してピーク対平均比 (par) の約12%,負荷分散の11%の削減が可能となった。
このアプローチにより、電力グリッドの運用コストと世帯の電力コストを削減できる。 The power consumption of households has been constantly growing over the years. To cope with this growth, intelligent management of the consumption profile of the households is necessary, such that the households can save the electricity bills, and the stress to the power grid during peak hours can be reduced. However, implementing such a method is challenging due to the existence of randomness in the electricity price and the consumption of the appliances. To address this challenge, we employ a model-free method for the households which works with limited information about the uncertain factors. More specifically, the interactions between households and the power grid can be modeled as a non-cooperative stochastic game, where the electricity price is viewed as a stochastic variable. To search for the Nash equilibrium (NE) of the game, we adopt a method based on distributed deep reinforcement learning. Also, the proposed method can preserve the privacy of the households. We then utilize real-world data from Pecan Street Inc., which contains the power consumption profile of more than 1; 000 households, to evaluate the performance of the proposed method. In average, the results reveal that we can achieve around 12% reduction on peak-to-average ratio (PAR) and 11% reduction on load variance. With this approach, the operation cost of the power grid and the electricity cost of the households can be reduced. | 翻訳日:2022-11-15 15:15:34 公開日:2020-06-29 |
| # 自動ソフトウェアテストのための生成型ニューラルネットワークフレームワーク A Generative Neural Network Framework for Automated Software Testing ( http://arxiv.org/abs/2006.16335v1 ) ライセンス: Link先を確認 | Leonid Joffe, David J. Clark | (参考訳) 検索ベースソフトウェアテスト(英: Search Based Software Testing、SBST)は、フィードバックメカニズムを使用してソフトウェアの欠陥を検索する、一般的な自動テスト手法である。
その人気にもかかわらず、フィードバックの設計、構築、解釈に関する根本的な課題がある。
ニューラルネットワーク(nn)は、近年、さまざまなタスクで非常に人気を集めています。
我々は、一般的なSBSTアプローチに固有の多くの問題に対処できると考えている。
残念ながら、nnは大規模かつ代表的なトレーニングデータセットを必要とする。
本研究では,非畳み込み生成ニューラルネットワークに基づくSBSTフレームワークを提案する。
NNをSBSTタスクに適合させる有益な品質を保持するだけでなく、NNの使用を制限するトレーニングデータセットの取得を回避できる独自のトレーニングデータも生成している。
我々は、このアーキテクチャが可能かつ実用的であることを一連の実験を通して実証する。
プログラムの振る舞いの空間を探索しながら、多様で賢明なプログラム入力を生成する。
また、プログラムの振る舞いよりも有意義な順序付けを生成し、クラッシュする実行を見つけることができる。
これはすべて、プログラムの事前の知識なしで行われる。
我々は、この概念の証明が、SBSTとニューラルネットワークの交差点における今後の研究の新たな方向を開くと信じている。 Search Based Software Testing (SBST) is a popular automated testing technique which uses a feedback mechanism to search for faults in software. Despite its popularity, it has fundamental challenges related to the design, construction and interpretation of the feedback. Neural Networks (NN) have been hugely popular in recent years for a wide range of tasks. We believe that they can address many of the issues inherent to common SBST approaches. Unfortunately, NNs require large and representative training datasets. In this work we present an SBST framework based on a deconvolutional generative neural network. Not only does it retain the beneficial qualities that make NNs appropriate for SBST tasks, it also produces its own training data which circumvents the problem of acquiring a training dataset that limits the use of NNs. We demonstrate through a series of experiments that this architecture is possible and practical. It generates diverse, sensible program inputs, while exploring the space of program behaviours. It also creates a meaningful ordering over program behaviours and is able to find crashing executions. This is all done without any prior knowledge of the program. We believe this proof of concept opens new directions for future work at the intersection of SBST and neural networks. | 翻訳日:2022-11-15 15:14:27 公開日:2020-06-29 |
| # 雑音環境におけるx-ベクトル話者認識システムにおけるデータ拡張と雑音補償 Data augmentation versus noise compensation for x- vector speaker recognition systems in noisy environments ( http://arxiv.org/abs/2006.15903v1 ) ライセンス: Link先を確認 | Mohammad Mohammadamini (LIA), Driss Matrouf (LIA) | (参考訳) 利用可能な音声データの爆発とディープニューラルネットワーク(DNN)に基づく新しい話者モデリング手法により、より堅牢な話者認識システムの開発が可能になった。
dnn話者モデル手法のうち、x-vectorシステムは雑音環境におけるロバスト性を示す。
これまでの研究では、トレーニングデータ内の話者数を増やし、より堅牢な音声認識システムを使用することで、ノイズの多い環境では実現可能であることが示唆されている。
本研究では,これらのシステムの一般的な雑音頑健性に拘わらず,明示的な雑音補償技術が引き続き有効であるかを確認したい。
本研究では、2つの異なるx-vectorネットワークを使用する。1つはvoxceleb1(protocol1)で、もう1つはvoxceleb1+voxveleb2(protocol2)でトレーニングされる。
スコアの前にx-vectorサブシステムを追加することを提案する。
実験の結果、protocol2で使用されるx-vectorシステムは、他のprotocol1よりも堅牢であることが示されている。
この観察にもかかわらず、明示的なノイズ補償が両方のプロトコルでほぼ同じEER相対的な利得を与えることを示す。
例えば、Protocol2では、21%から66%がEERをデノーミング技術で改善しています。 The explosion of available speech data and new speaker modeling methods based on deep neural networks (DNN) have given the ability to develop more robust speaker recognition systems. Among DNN speaker modelling techniques, x-vector system has shown a degree of robustness in noisy environments. Previous studies suggest that by increasing the number of speakers in the training data and using data augmentation more robust speaker recognition systems are achievable in noisy environments. In this work, we want to know if explicit noise compensation techniques continue to be effective despite the general noise robustness of these systems. For this study, we will use two different x-vector networks: the first one is trained on Voxceleb1 (Protocol1), and the second one is trained on Voxceleb1+Voxveleb2 (Protocol2). We propose to add a denoising x-vector subsystem before scoring. Experimental results show that, the x-vector system used in Protocol2 is more robust than the other one used Protocol1. Despite this observation we will show that explicit noise compensation gives almost the same EER relative gain in both protocols. For example, in the Protocol2 we have 21% to 66% improvement of EER with denoising techniques. | 翻訳日:2022-11-15 15:07:32 公開日:2020-06-29 |
| # 信頼に富むグリッドマッピング Confidence-rich grid mapping ( http://arxiv.org/abs/2006.15754v1 ) ライセンス: Link先を確認 | Ali-akbar Agha-mohammadi, Eric Heiden, Karol Hausman, Gaurav S. Sukhatme | (参考訳) 環境の表現は、未知の環境でロボットが自律的に行動できるようにするための基本的なタスクである。
本研究では、3次元環境の空間的グリッドベースマッピングのための新しいアルゴリズムである信頼度リッチマッピング(crm)を提案する。
CRMは、各ボクセルの占有レベルをその信頼度によって増大させる。
CRMフィルタを使用して信頼性値を明示的に保存し、進化させることで、CRMは従来のグリッドマッピングを3つの方法で拡張する。
第2に、逆センサモデルを手作業で設計する必要性を緩和し、フォワードセンサモデルから原理的に導出可能なセンサ原因モデルの概念を提案する。
第3に、最も重要なことは、衝突リスク評価やモーションプランニングで確実に使用できる占有率推定よりも一貫した信頼度を提供することです。
CRMはオンラインで動作し、ボクセルが部分的に占有される可能性のあるマッピング環境を可能にする。
本手法は,シミュレーションおよび物理システムにおける各種データセットおよび環境上での性能を示す。
実世界実験では,従来の手法よりも精度の高いマップを実現することに加えて,提案手法は誤差と報告された信頼度との一貫性がはるかに高いことを示し,移動計画におけるより信頼性の高い衝突リスク評価を可能にする。 Representing the environment is a fundamental task in enabling robots to act autonomously in unknown environments. In this work, we present confidence-rich mapping (CRM), a new algorithm for spatial grid-based mapping of the 3D environment. CRM augments the occupancy level at each voxel by its confidence value. By explicitly storing and evolving confidence values using the CRM filter, CRM extends traditional grid mapping in three ways: first, it partially maintains the probabilistic dependence among voxels. Second, it relaxes the need for hand-engineering an inverse sensor model and proposes the concept of sensor cause model that can be derived in a principled manner from the forward sensor model. Third, and most importantly, it provides consistent confidence values over the occupancy estimation that can be reliably used in collision risk evaluation and motion planning. CRM runs online and enables mapping environments where voxels might be partially occupied. We demonstrate the performance of the method on various datasets and environments in simulation and on physical systems. We show in real-world experiments that, in addition to achieving maps that are more accurate than traditional methods, the proposed filtering scheme demonstrates a much higher level of consistency between its error and the reported confidence, hence, enabling a more reliable collision risk evaluation for motion planning. | 翻訳日:2022-11-15 15:07:12 公開日:2020-06-29 |
| # K平均クラスタリングを用いたハイパースペクトル文書画像の偽造検出 Forgery Detection in a Questioned Hyperspectral Document Image using K-means Clustering ( http://arxiv.org/abs/2006.16057v1 ) ライセンス: Link先を確認 | Maria Yaseen, Rammal Aftab Ahmed, Rimsha Mahrukh | (参考訳) ハイパースペクトルイメージングは、画像センサのスペクトル分解能に応じて数百のスペクトル帯の画像を分析することができる。
ハイパースペクトラル文書画像(hyperspectral document image)は、ハイパースペクトラルカメラによって撮影された文書であり、そのユニークなスペクトルシグネチャに基づいて、異なる帯域で文書を観察することができる。
ハイパースペクトルイメージングに基づく様々なインクミスマッチ検出技術が、視覚的に類似したインクを識別する大きな可能性を示した文書中の偽造を検出する。
異なる素材のインクは、同じ色であっても異なるスペクトルシグネチャを示す。
文書画像のハイパースペクトル解析は、視覚的に類似したインクの識別と識別を可能にする。
この分析に基づいて、法医学の専門家は文書の真正性を特定することができる。
本稿では,kmeanクラスタリングを用いて特異なスペクトル応答に基づいて異なるインクを識別し,異なるクラスタに分離する,広範なインクミスマッチ検出手法を提案する。 Hyperspectral imaging allows for analysis of images in several hundred of spectral bands depending on the spectral resolution of the imaging sensor. Hyperspectral document image is the one which has been captured by a hyperspectral camera so that the document can be observed in the different bands on the basis of their unique spectral signatures. To detect the forgery in a document various Ink mismatch detection techniques based on hyperspectral imaging have presented vast potential in differentiating visually similar inks. Inks of different materials exhibit different spectral signature even if they have the same color. Hyperspectral analysis of document images allows identification and discrimination of visually similar inks. Based on this analysis forensic experts can identify the authenticity of the document. In this paper an extensive ink mismatch detection technique is presented which uses KMean Clustering to identify different inks on the basis of their unique spectral response and separates them into different clusters. | 翻訳日:2022-11-15 15:05:25 公開日:2020-06-29 |
| # アイリスの認識: 固有の二項自由度 Iris Recognition: Inherent Binomial Degrees of Freedom ( http://arxiv.org/abs/2006.16107v1 ) ライセンス: Link先を確認 | J. Michael Rozmus (Eyelock LLC) | (参考訳) 人間の虹彩の特異性は、まず虹彩から特徴の集合を抽出し、符号化された特徴集合を比較して、それらが互いにどれだけ異なるかを決定することによって測定されてきた。
例えば、ジョン・ダウグマン(John Daugman)は、人間の虹彩の特異性を244自由度で測定し、ダウグマンの符号化地図は2 ^ 244 個の異なる可能性 [2] に相当する。
本稿では,高画質虹彩画像の画素別直接比較により,人間の虹彩に具現化された固有自由度数は,符号化によらず少なくとも536であることを示す。
これらの画像の解像度が徐々に小さくなると、テストされた最小解像度画像に対して、自由度は滑らかに123に減少する。 The distinctiveness of the human iris has been measured by first extracting a set of features from the iris, an encoding, and then comparing these encoded feature sets to determine how distinct they are from one another. For example, John Daugman measures the distinctiveness of the human iris at 244 degrees of freedom, that is, Daugman's encoding maps irises into the equivalent of 2 ^ 244 distinct possibilities [2]. This paper shows by direct pixel-by-pixel comparison of high-quality iris images that the inherent number of degrees of freedom embodied in the human iris, independent of any encoding, is at least 536. When the resolution of these images is gradually reduced, the number of degrees of freedom decreases smoothly to 123 for the lowest resolution images tested. | 翻訳日:2022-11-15 15:05:11 公開日:2020-06-29 |
| # 知識伝達のための非対称計量学習 Asymmetric metric learning for knowledge transfer ( http://arxiv.org/abs/2006.16331v1 ) ライセンス: Link先を確認 | Mateusz Budnik and Yannis Avrithis | (参考訳) 大規模教員モデルから小学生モデルへの知識伝達は,近年,細粒度分類に焦点をあてて,計量学習のために研究されている。
本研究では,インスタンスレベルの画像検索に着目し,教師がデータベースを表現し,学生が問合せを行う非対称テストタスクについて検討する。
この課題に触発されて、トレーニングで非対称表現を使用するという新しいパラダイムである非対称メトリック学習を導入した。
これは、元のメトリック学習タスクと知識転送の単純な組み合わせとして機能する。
新しい非対称テストと標準対称テストタスクにおいて,教師と生徒のモデル,メトリック学習と知識伝達損失関数を体系的に評価し,データベースと問合せを同じモデルで表現した。
単純な回帰は、より複雑な知識伝達メカニズムと比較して驚くほど効果的であり、非対称テストで最善を尽くす。
興味深いことに、非対称なメトリック学習アプローチは対称テストにおいて最もうまく機能し、生徒が教師よりも優れています。 Knowledge transfer from large teacher models to smaller student models has recently been studied for metric learning, focusing on fine-grained classification. In this work, focusing on instance-level image retrieval, we study an asymmetric testing task, where the database is represented by the teacher and queries by the student. Inspired by this task, we introduce asymmetric metric learning, a novel paradigm of using asymmetric representations at training. This acts as a simple combination of knowledge transfer with the original metric learning task. We systematically evaluate different teacher and student models, metric learning and knowledge transfer loss functions on the new asymmetric testing as well as the standard symmetric testing task, where database and queries are represented by the same model. We find that plain regression is surprisingly effective compared to more complex knowledge transfer mechanisms, working best in asymmetric testing. Interestingly, our asymmetric metric learning approach works best in symmetric testing, allowing the student to even outperform the teacher. | 翻訳日:2022-11-15 14:58:19 公開日:2020-06-29 |
| # 外観による車両属性認識 : 車両のタイプ・メーク・モデル分類のためのコンピュータビジョン手法 Vehicle Attribute Recognition by Appearance: Computer Vision Methods for Vehicle Type, Make and Model Classification ( http://arxiv.org/abs/2006.16400v1 ) ライセンス: Link先を確認 | Xingyang Ni, Heikki Huttunen | (参考訳) 本稿では,外観による車両属性認識について検討する。
文献では、画像に基づく目標認識は、顔認識などの多くのユースケースで広く研究されているが、車両属性認識の分野ではあまり研究されていない。
粗粒度(車種)から細粒度(車種・モデル)まで,車両特性を識別するアルゴリズムを多数調査する。
さらに,これらの課題に対して,簡単な分類法とより柔軟な計量学習法という2つの代替手法について検討した。
さらに、車両属性認識のための実世界のシミュレーションシナリオを設計し、2つのアプローチの実験的比較を示す。 This paper studies vehicle attribute recognition by appearance. In the literature, image-based target recognition has been extensively investigated in many use cases, such as facial recognition, but less so in the field of vehicle attribute recognition. We survey a number of algorithms that identify vehicle properties ranging from coarse-grained level (vehicle type) to fine-grained level (vehicle make and model). Moreover, we discuss two alternative approaches for these tasks, including straightforward classification and a more flexible metric learning method. Furthermore, we design a simulated real-world scenario for vehicle attribute recognition and present an experimental comparison of the two approaches. | 翻訳日:2022-11-15 14:58:02 公開日:2020-06-29 |
| # 未整備データからの教師なしランドマーク学習 Unsupervised Landmark Learning from Unpaired Data ( http://arxiv.org/abs/2007.01053v1 ) ライセンス: Link先を確認 | Yinghao Xu, Ceyuan Yang, Ziwei Liu, Bo Dai, Bolei Zhou | (参考訳) 教師なしランドマーク学習の最近の試みは、外観は似ているがポーズでは異なる合成画像対を活用する。
これらの方法は、オリジナル画像とスワップされた外観とポーズから再構成された画像との整合性を奨励することでランドマークを学習する。
合成画像対は事前に定義された変換を適用することで生成されるが、外観とポーズの実際の分散を完全に反映することはできない。
本稿では,自然画像コレクションから採取した未ペア画像(すなわち,非ペア画像ペア)のランドマークを学習し,外観とポーズの両面で異なるようにすることを目的としている。
そこで本研究では,スワッピング・リコンストラクション戦略を2回適用し,最終的な監視を行うクロスイメージ・サイクル整合性フレームワーク(C^3$)を提案する。
さらに、画像間の推定ランドマーク間の等価性を課すために、クロスイメージフローモジュールも導入する。
包括的実験により,提案フレームワークは強いベースラインを高いマージンで上回ることを示した。
定量的な結果に加えて、学習したモデルの可視化と解釈も提供し、学習したランドマークの有効性を検証するだけでなく、将来の研究に有益な重要な洞察をもたらす。 Recent attempts for unsupervised landmark learning leverage synthesized image pairs that are similar in appearance but different in poses. These methods learn landmarks by encouraging the consistency between the original images and the images reconstructed from swapped appearances and poses. While synthesized image pairs are created by applying pre-defined transformations, they can not fully reflect the real variances in both appearances and poses. In this paper, we aim to open the possibility of learning landmarks on unpaired data (i.e. unaligned image pairs) sampled from a natural image collection, so that they can be different in both appearances and poses. To this end, we propose a cross-image cycle consistency framework ($C^3$) which applies the swapping-reconstruction strategy twice to obtain the final supervision. Moreover, a cross-image flow module is further introduced to impose the equivariance between estimated landmarks across images. Through comprehensive experiments, our proposed framework is shown to outperform strong baselines by a large margin. Besides quantitative results, we also provide visualization and interpretation on our learned models, which not only verifies the effectiveness of the learned landmarks, but also leads to important insights that are beneficial for future research. | 翻訳日:2022-11-15 14:57:53 公開日:2020-06-29 |
| # 気候と経済の動的統合モデルの多目的最適制御:行動における進化 Multi-objective Optimal Control of Dynamic Integrated Model of Climate and Economy: Evolution in Action ( http://arxiv.org/abs/2007.00449v1 ) ライセンス: Link先を確認 | Mostapha Kalami Heris and Shahryar Rahnamayan | (参考訳) 気候変動の経済学を研究するために広く使われているモデルの1つは、2018年のノーベル経済学賞受賞者の1人であるウィリアム・ノルドハウス教授によって開発された、ダイナミック統合気候経済モデル(DICE)である。
元々は、社会福祉の最大化を目的とした、DICEのダイナミクスに基づいて、単一目的の最適制御問題を定義してきた。
本稿では, 社会福祉を最大化し, 大気の温度偏差を最小化することを目的とした, diceモデルに基づく二目的最適制御問題を提案する。
非支配的ソーティング遺伝的アルゴリズムII (NSGA-II) を用いて解く多目的最適制御問題もまた、この問題の単目的バージョンに関する以前の研究と比較される。
その結果、パレートフロントは以前の結果を再検討し、経済福祉を最適化しつつ、世界温度のずれを最小限に抑えるため、広範囲の非支配的なソリューションに一般化する。
これまで使用されていた単一目的アプローチは、このようなさまざまな可能性を生み出すことができないため、提供するソリューションは、ビジョンと到達可能なパフォーマンスに制限がある。
これとは別に、pareto-optimal set の結果は、地球環境において著しい技術進歩やポジティブな変化がない限り、温度の偏差が一定の下限を満たさないことを明らかにする。 One of the widely used models for studying economics of climate change is the Dynamic Integrated model of Climate and Economy (DICE), which has been developed by Professor William Nordhaus, one of the laureates of the 2018 Nobel Memorial Prize in Economic Sciences. Originally a single-objective optimal control problem has been defined on DICE dynamics, which is aimed to maximize the social welfare. In this paper, a bi-objective optimal control problem defined on DICE model, objectives of which are maximizing social welfare and minimizing the temperature deviation of atmosphere. This multi-objective optimal control problem solved using Non-Dominated Sorting Genetic Algorithm II (NSGA-II) also it is compared to previous works on single-objective version of the problem. The resulting Pareto front rediscovers the previous results and generalizes to a wide range of non-dominant solutions to minimize the global temperature deviation while optimizing the economic welfare. The previously used single-objective approach is unable to create such a variety of possibilities, hence, its offered solution is limited in vision and reachable performance. Beside this, resulting Pareto-optimal set reveals the fact that temperature deviation cannot go below a certain lower limit, unless we have significant technology advancement or positive change in global conditions. | 翻訳日:2022-11-15 14:57:34 公開日:2020-06-29 |
| # 人口動態線間の読解:毒性分類器におけるバイアスの解法 Reading Between the Demographic Lines: Resolving Sources of Bias in Toxicity Classifiers ( http://arxiv.org/abs/2006.16402v1 ) ライセンス: Link先を確認 | Elizabeth Reichert, Helen Qiu, Jasmine Bayrooti | (参考訳) 有毒なコメントの検閲は、しばしば不完全なモデルの判断に委ねられる。
Perspective APIはGoogleの技術インキュベータJigsawの作成であり、おそらく業界で最も広く使われている毒性分類器である。
残念なことに、Googleのモデルは、トレーニングデータでしばしば不敬な方法で参照されるため、一般的にターゲットとするグループのアイデンティティ(例えば、"woman"や"gay"など)を参照する単語を含むコメントに対して、より高い毒性スコアを不公平に割り当てる傾向にある。
結果として、そのアイデンティティを参照する辺縁グループによって生成されたコメントはしばしば誤って検閲される。
この意図しない偏見を認識し、その影響を緩和しようとすることが重要である。
この問題に対処するため,強い分類性能を維持しつつ,意図しないバイアスを低減する目的で,いくつかの毒性分類器を構築した。 The censorship of toxic comments is often left to the judgment of imperfect models. Perspective API, a creation of Google technology incubator Jigsaw, is perhaps the most widely used toxicity classifier in industry; the model is employed by several online communities including The New York Times to identify and filter out toxic comments with the goal of preserving online safety. Unfortunately, Google's model tends to unfairly assign higher toxicity scores to comments containing words referring to the identities of commonly targeted groups (e.g., "woman,'' "gay,'' etc.) because these identities are frequently referenced in a disrespectful manner in the training data. As a result, comments generated by marginalized groups referencing their identities are often mistakenly censored. It is important to be cognizant of this unintended bias and strive to mitigate its effects. To address this issue, we have constructed several toxicity classifiers with the intention of reducing unintended bias while maintaining strong classification performance. | 翻訳日:2022-11-15 14:56:55 公開日:2020-06-29 |
| # zs-POSGに対するベルマンの最適原理について On Bellman's Optimality Principle for zs-POSGs ( http://arxiv.org/abs/2006.16395v1 ) ライセンス: Link先を確認 | Olivier Buffet, Jilles Dibangoye, Aur\'elien Delage, Abdallah Saffidine, Vincent Thomas | (参考訳) 多くの非自明なシーケンシャルな意思決定問題はベルマンの最適性原理、すなわち、サブプロブレムが元の問題の中に再帰的に入れ替わるという事実を利用して効率的に解決される。
ここでは、2-player 0-sum part observable stochastic game (zs-POSGs) に対してどのように適用できるかを示す。
(一)中心計画者の視点をとれば、占有状態という十分な統計を理由付けることができる。
(2)そのような問題をゼロサム占有マルコフゲーム(zs-OMGs)に変換する。
次に、占有空間における値関数のリプシッツ連続性を利用して、有限時間で$\epsilon$-Nash平衡を証明できるHSVIアルゴリズム(Huristic Search Value Iteration)のバージョンを導出することができる。 Many non-trivial sequential decision-making problems are efficiently solved by relying on Bellman's optimality principle, i.e., exploiting the fact that sub-problems are nested recursively within the original problem. Here we show how it can apply to (infinite horizon) 2-player zero-sum partially observable stochastic games (zs-POSGs) by (i) taking a central planner's viewpoint, which can only reason on a sufficient statistic called occupancy state, and (ii) turning such problems into zero-sum occupancy Markov games (zs-OMGs). Then, exploiting the Lipschitz-continuity of the value function in occupancy space, one can derive a version of the HSVI algorithm (Heuristic Search Value Iteration) that provably finds an $\epsilon$-Nash equilibrium in finite time. | 翻訳日:2022-11-15 14:56:39 公開日:2020-06-29 |
| # 量子型ロボット知覚モデルにおけるマルチセンサー統合 Multi-sensory Integration in a Quantum-Like Robot Perception Model ( http://arxiv.org/abs/2006.16404v1 ) ライセンス: Link先を確認 | Davide Lanza, Paolo Solinas, Fulvio Mastrogiovanni | (参考訳) 量子理論に触発された形式主義は、認知科学で何十年も使われてきた。
実際、Quantum-Like(QL)アプローチは、知覚、認識、決定処理に本質的に適する記述的な機能を提供する。
限定的な知覚能力を有するロボットに対して、QLロボット認識モデルの有効性に関する予備的研究を行った。
本稿では,センサ読み取りに基づいて,多次元世界表現を生成する多感覚入力モデルについて一般化する。
3次元のケーススタディでは、このモデルがどのようにコンパクトでエレガントな表現を提供し、不確実性や決定のモデリングに非常に有用な特徴を具現化するかを強調する。
さらに、このモデルはクエリオペレーターを自然に定義し、任意の世界の状態を検査し、その状態に対するロボットの信念の度合いを定量化する。 Formalisms inspired by Quantum theory have been used in Cognitive Science for decades. Indeed, Quantum-Like (QL) approaches provide descriptive features that are inherently suitable for perception, cognition, and decision processing. A preliminary study on the feasibility of a QL robot perception model has been carried out for a robot with limited sensing capabilities. In this paper, we generalize such a model for multi-sensory inputs, creating a multidimensional world representation directly based on sensor readings. Given a 3-dimensional case study, we highlight how this model provides a compact and elegant representation, embodying features that are extremely useful for modeling uncertainty and decision. Moreover, the model enables to naturally define query operators to inspect any world state, which answers quantifies the robot's degree of belief on that state. | 翻訳日:2022-11-15 14:56:25 公開日:2020-06-29 |
| # EmotionNet Nano: リアルタイム表情認識のための効率的な深部畳み込みニューラルネットワーク設計 EmotionNet Nano: An Efficient Deep Convolutional Neural Network Design for Real-time Facial Expression Recognition ( http://arxiv.org/abs/2006.15759v1 ) ライセンス: Link先を確認 | James Ren Hou Lee, Linda Wang, and Alexander Wong | (参考訳) 近年のディープラーニングの進歩は表情分類(FEC)の大幅な改善につながっているが、そのようなシステムの普及のボトルネックとして残る大きな課題は、その高いアーキテクチャと計算の複雑さである。
低コスト組み込みデバイスに対するリアルタイム要求が望まれる安全、マーケティング、学習、補助的生活など、さまざまなFECアプリケーションの運用要件を考えると、これは特に困難である。
低コストな組み込みデバイス上でfecをリアルタイムに実行可能な、コンパクトで低レイテンシで正確なシステムの必要性に動機づけられた本研究は、人間と機械の協調設計戦略によって作成された、効率的な深層畳み込みニューラルネットワークであるemotionnet nanoを提案する。
EmotionNet Nanoの2つの異なるバリエーションが提示され、それぞれがアーキテクチャと計算の複雑さと精度のトレードオフを持っている。
CK+の表情ベンチマークデータセットを用いた実験の結果、提案したEmotionNet Nano Network は FEC ネットワークの最先端に匹敵する精度を示し、パラメータは大幅に少ない(例えば、23$\times$ より高い精度でより少ない)。
さらに,提案したEmotionNet Nano ネットワークは,ARM 組み込みプロセッサ上でのリアルタイム推論速度 (例えば $>25$ FPS と $>70$ FPS の 15W と 30W ) と高エネルギー効率 (例えば $>1.7$ image/sec/watt の 15W ) を実現し,EmotionNet Nano の組み込みデバイスへの展開の有効性を実証した。 While recent advances in deep learning have led to significant improvements in facial expression classification (FEC), a major challenge that remains a bottleneck for the widespread deployment of such systems is their high architectural and computational complexities. This is especially challenging given the operational requirements of various FEC applications, such as safety, marketing, learning, and assistive living, where real-time requirements on low-cost embedded devices is desired. Motivated by this need for a compact, low latency, yet accurate system capable of performing FEC in real-time on low-cost embedded devices, this study proposes EmotionNet Nano, an efficient deep convolutional neural network created through a human-machine collaborative design strategy, where human experience is combined with machine meticulousness and speed in order to craft a deep neural network design catered towards real-time embedded usage. Two different variants of EmotionNet Nano are presented, each with a different trade-off between architectural and computational complexity and accuracy. Experimental results using the CK+ facial expression benchmark dataset demonstrate that the proposed EmotionNet Nano networks demonstrated accuracies comparable to state-of-the-art in FEC networks, while requiring significantly fewer parameters (e.g., 23$\times$ fewer at a higher accuracy). Furthermore, we demonstrate that the proposed EmotionNet Nano networks achieved real-time inference speeds (e.g. $>25$ FPS and $>70$ FPS at 15W and 30W, respectively) and high energy efficiency (e.g. $>1.7$ images/sec/watt at 15W) on an ARM embedded processor, thus further illustrating the efficacy of EmotionNet Nano for deployment on embedded devices. | 翻訳日:2022-11-15 14:50:41 公開日:2020-06-29 |
| # 水中画像強調と水中物体検出のためのベンチマークデータセット A Benchmark dataset for both underwater image enhancement and underwater object detection ( http://arxiv.org/abs/2006.15789v1 ) ライセンス: Link先を確認 | Long Chen, Lei Tong, Feixiang Zhou, Zheheng Jiang, Zhenyang Li, Jialin Lv, Junyu Dong, and Huiyu Zhou | (参考訳) 水中画像の強調は、海洋工学や水生ロボットにおいて重要であるため、重要な視覚課題である。
これは通常、水中物体検出のような高レベルな視覚タスクのパフォーマンスを改善する前処理ステップとして機能する。
以前の多くの研究は水中画像強調アルゴリズムが検出器の検出精度を高めることを示していたが、これらの2つのタスクの関係を調べることに特に焦点を当てる作業は行われなかった。
これは主に、既存の水中データセットには、検出精度または画像品質評価指標が計算される基準画像のバウンディングボックスアノテーションが欠落しているためである。
水中画像強調法が水中物体検出タスクにどのように影響するかを検討するため,本稿では,境界ボックスアノテーションと高品質参照画像,すなわちOUCデータセットを併用した大規模水中物体検出データセットを提案する。
OUCデータセットは、水中物体検出タスクに対する水中画像強調アルゴリズムの影響を研究者が総合的に研究するためのプラットフォームを提供する。 Underwater image enhancement is such an important vision task due to its significance in marine engineering and aquatic robot. It is usually work as a pre-processing step to improve the performance of high level vision tasks such as underwater object detection. Even though many previous works show the underwater image enhancement algorithms can boost the detection accuracy of the detectors, no work specially focus on investigating the relationship between these two tasks. This is mainly because existing underwater datasets lack either bounding box annotations or high quality reference images, based on which detection accuracy or image quality assessment metrics are calculated. To investigate how the underwater image enhancement methods influence the following underwater object detection tasks, in this paper, we provide a large-scale underwater object detection dataset with both bounding box annotations and high quality reference images, namely OUC dataset. The OUC dataset provides a platform for researchers to comprehensive study the influence of underwater image enhancement algorithms on the underwater object detection task. | 翻訳日:2022-11-15 14:50:08 公開日:2020-06-29 |
| # RGBを生かすための人工モダリティの創出 Creating Artificial Modalities to Solve RGB Liveness ( http://arxiv.org/abs/2006.16028v1 ) ライセンス: Link先を確認 | Aleksandr Parkin and Oleg Grinchuk | (参考訳) 顔のスプーフィングに便利な機能を提供する特別なカメラは望ましいが、必ずしも選択肢ではない。
本研究では,RGBビデオから人工モダリティを作成することにより,ボナファイドとスプーフの動的外観の差を利用する手法を提案する。
我々は,スプーフ検出のためのエンドツーエンドパイプラインと組み合わせたランクプーリングとオプティカルフローの2種類の人工変換を導入する。
同一性や細かな特徴の少ない中間表現を用いることで、モデルロバスト性が高まり、無知な攻撃や無知な民族が生まれることを実証する。
提案手法は, 最大のクロスエスニシティ・フェイス・アンチ・スプーフィング・データセットであるCASIA-SURF CeFA (RGB) の最先端を実現する。 Special cameras that provide useful features for face anti-spoofing are desirable, but not always an option. In this work we propose a method to utilize the difference in dynamic appearance between bona fide and spoof samples by creating artificial modalities from RGB videos. We introduce two types of artificial transforms: rank pooling and optical flow, combined in end-to-end pipeline for spoof detection. We demonstrate that using intermediate representations that contain less identity and fine-grained features increase model robustness to unseen attacks as well as to unseen ethnicities. The proposed method achieves state-of-the-art on the largest cross-ethnicity face anti-spoofing dataset CASIA-SURF CeFA (RGB). | 翻訳日:2022-11-15 14:49:05 公開日:2020-06-29 |
| # ロボット支援手術における自動手術室動作認識 Automatic Operating Room Surgical Activity Recognition for Robot-Assisted Surgery ( http://arxiv.org/abs/2006.16166v1 ) ライセンス: Link先を確認 | Aidean Sharghi, Helene Haugerud, Daniel Oh, Omid Mohareri | (参考訳) 手術室(OR)における外科的活動の自動認識は、次世代のインテリジェントな手術装置とワークフローモニタリング/サポートシステムを作成するための鍵となる技術である。
このようなシステムはORの効率を高める可能性があり、その結果、コストが低下し、患者へのケア提供が改善する。
本稿では,ロボット支援手術における自動手術活動認識について検討する。
我々は、Time-of-Flightカメラで捉えたさまざまなロボット手術症例から400本のフル長のマルチパースペクティブビデオを含む、最初の大規模データセットを収集した。
ビデオに最も認識され,臨床的に関係のある10のクラスで注釈を付ける。
さらに,最先端のコンピュータビジョン行動認識技術を調査し,環境やデータセットに適用する。
まず、データセット上のクリップレベルのアクティビティ認識のためにInflated 3D ConvNet(I3D)を微調整し、ビデオから特徴を抽出する。
これらの機能は、隣接するクリップからコンテキストを抽出し、最終的にLong Short Term Memoryネットワークを通過してフル長ビデオのアクティビティの順序を学習する3つのテンポラルガウス混合層に供給される。
モデルを広範囲に評価し,平均精度88%のピーク性能を達成した。 Automatic recognition of surgical activities in the operating room (OR) is a key technology for creating next generation intelligent surgical devices and workflow monitoring/support systems. Such systems can potentially enhance efficiency in the OR, resulting in lower costs and improved care delivery to the patients. In this paper, we investigate automatic surgical activity recognition in robot-assisted operations. We collect the first large-scale dataset including 400 full-length multi-perspective videos from a variety of robotic surgery cases captured using Time-of-Flight cameras. We densely annotate the videos with 10 most recognized and clinically relevant classes of activities. Furthermore, we investigate state-of-the-art computer vision action recognition techniques and adapt them for the OR environment and the dataset. First, we fine-tune the Inflated 3D ConvNet (I3D) for clip-level activity recognition on our dataset and use it to extract features from the videos. These features are then fed to a stack of 3 Temporal Gaussian Mixture layers which extracts context from neighboring clips, and eventually go through a Long Short Term Memory network to learn the order of activities in full-length videos. We extensively assess the model and reach a peak performance of 88% mean Average Precision. | 翻訳日:2022-11-15 14:47:56 公開日:2020-06-29 |
| # 動的テクスチャビデオセグメンテーションのための教師なし学習合意モデル Unsupervised Learning Consensus Model for Dynamic Texture Videos Segmentation ( http://arxiv.org/abs/2006.16177v1 ) ライセンス: Link先を確認 | Lazhar Khelifi and Max Mignotte | (参考訳) 動的テクスチャ(DT)セグメンテーションとビデオ処理は、現在、多数のレイヤの配置を必要とするディープニューラルネットワークに基づく手法によって広く支配されている。
このパラメトリックなアプローチは、動的テクスチャセグメンテーションに優れたパフォーマンスを示しているが、現在のディープラーニング手法はすべて、トレーニングモデルへの十分な参照アノテーションの欠如と、それらを機能的にすることに関する大きな弱点に苦しんでいる。
本研究では,新しいビデオのセグメンテーションを行うためのトレーニングデータがない場合の教師なしセグメンテーション手法について検討する。
本稿では,動的テクスチャ(ulcm)のセグメンテーションに有効な教師なし学習コンセンサスモデルを提案する。
このモデルは、セグメンテーションの最終結果をより正確に達成するために、複数の品質領域と弱い領域を含む異なるセグメンテーションマップをマージするように設計されている。
合成プロセスに必要な多様なラベリングフィールドは、入力ビデオ(xy、yt、xtの3つの直交平面に基づいて)に適用される簡易なグループ化スキームによって得られる。
提案モデルでは,映像に再現される空間情報と時間情報の両方を表す特徴として,分類対象画素の周辺部におけるLBP(requantized local binary pattern)ヒストグラムの値のセットを用いる。
挑戦的なSynthDBデータセットで実施された実験によると、パラメータ推定やトレーニングステップを必要とする現在の動的テクスチャセグメンテーションアプローチとは対照的に、ULCMは大幅に高速で、コーディングが容易で、単純で、限られたパラメータを持つ。
YUP++データセットに基づくさらなる定性的実験は、ULCMの効率と競争性を証明している。 Dynamic texture (DT) segmentation, and video processing in general, is currently widely dominated by methods based on deep neural networks that require the deployment of a large number of layers. Although this parametric approach has shown superior performances for the dynamic texture segmentation, all current deep learning methods suffer from a significant main weakness related to the lack of a sufficient reference annotation to train models and to make them functional. This study explores the unsupervised segmentation approach that can be used in the absence of training data to segment new videos. We present an effective unsupervised learning consensus model for the segmentation of dynamic texture (ULCM). This model is designed to merge different segmentation maps that contain multiple and weak quality regions in order to achieve a more accurate final result of segmentation. The diverse labeling fields required for the combination process are obtained by a simplified grouping scheme applied to an input video (on the basis of a three orthogonal planes: xy, yt and xt). In the proposed model, the set of values of the requantized local binary patterns (LBP) histogram around the pixel to be classified are used as features which represent both the spatial and temporal information replicated in the video. Experiments conducted on the challenging SynthDB dataset show that, contrary to current dynamic texture segmentation approaches that either require parameter estimation or a training step, ULCM is significantly faster, easier to code, simple and has limited parameters. Further qualitative experiments based on the YUP++ dataset prove the efficiently and competitively of the ULCM. | 翻訳日:2022-11-15 14:47:37 公開日:2020-06-29 |
| # 単語レベルニューラルネットワーク探索における記憶効果の測定 Measuring Memorization Effect in Word-Level Neural Networks Probing ( http://arxiv.org/abs/2006.16082v1 ) ライセンス: Link先を確認 | Rudolf Rosa, Tom\'a\v{s} Musil, David Mare\v{c}ek | (参考訳) 複数の研究は、エンドツーエンドのNLPタスクのために訓練されたニューラルネットワークに現れる表現を探索し、表現にどの単語レベルの言語情報がエンコードされるかを検討した。
古典的探索において、分類器は対象の言語情報を抽出するために表現に基づいて訓練される。
しかし、表現から言語的抽象化を抽出する代わりに、個々の単語の言語ラベルを単に記憶するだけで、偽陽性の結果が報告されるという脅しがある。
暗記問題を最小化するためにかなりの努力がなされているが、分類器内で発生した暗記量を実際に測定する作業は、これまで検討されてきた。
そこで,本研究では,学習において見つからない比較テストワードの対称選択に基づいて,記憶効果を簡易に測定する手法を提案する。
提案手法は, 探索装置で発生した記憶量の定量化に有効であり, 適切な設定が選択可能であり, 検証結果が信頼性推定値で解釈可能である。
訓練されたニューラルマシン翻訳エンコーダにおける音声の一部を探索するケーススタディに,本手法を例示することにより,これを実証する。 Multiple studies have probed representations emerging in neural networks trained for end-to-end NLP tasks and examined what word-level linguistic information may be encoded in the representations. In classical probing, a classifier is trained on the representations to extract the target linguistic information. However, there is a threat of the classifier simply memorizing the linguistic labels for individual words, instead of extracting the linguistic abstractions from the representations, thus reporting false positive results. While considerable efforts have been made to minimize the memorization problem, the task of actually measuring the amount of memorization happening in the classifier has been understudied so far. In our work, we propose a simple general method for measuring the memorization effect, based on a symmetric selection of comparable sets of test words seen versus unseen in training. Our method can be used to explicitly quantify the amount of memorization happening in a probing setup, so that an adequate setup can be chosen and the results of the probing can be interpreted with a reliability estimate. We exemplify this by showcasing our method on a case study of probing for part of speech in a trained neural machine translation encoder. | 翻訳日:2022-11-15 14:41:02 公開日:2020-06-29 |
| # ツイート中の副作用を識別し、抽出し、正常化する?
RoBERTaの使用 Want to Identify, Extract and Normalize Adverse Drug Reactions in Tweets? Use RoBERTa ( http://arxiv.org/abs/2006.16146v1 ) ライセンス: Link先を確認 | Katikapalli Subramanyam Kalyan, S.Sangeetha | (参考訳) 本稿では,ソーシャル・メディア・マイニング・フォー・ヘルス(SMM4H)2020におけるタスク2とタスク3の取り組みについて述べる。
タスク2では、有害薬物反応(ADR)ツイートと非ADRツイートを区別し、バイナリ分類として扱う。
Task3はADR参照を抽出し、それらをMedDRAコードにマッピングする。
ADR参照の抽出はシーケンスラベリングとして扱われ、ADR参照の正規化はマルチクラス分類として扱われる。
我々のシステムは、事前訓練された言語モデルRoBERTaに基づいており、それを実現する。
a)タスク2におけるF1スコアの58%は平均スコアの12%以上である
b) 平均スコアより13.7%高いタスク3の70.1%のF1スコアを緩和し、平均スコアより5.8%高いタスク3の35%のF1スコアを緩和した。
全体として、我々のモデルは、平均スコアよりも大幅に改善された両方のタスクで有望な結果を達成する。 This paper presents our approach for task 2 and task 3 of Social Media Mining for Health (SMM4H) 2020 shared tasks. In task 2, we have to differentiate adverse drug reaction (ADR) tweets from nonADR tweets and is treated as binary classification. Task3 involves extracting ADR mentions and then mapping them to MedDRA codes. Extracting ADR mentions is treated as sequence labeling and normalizing ADR mentions is treated as multi-class classification. Our system is based on pre-trained language model RoBERTa and it achieves a) F1-score of 58% in task2 which is 12% more than the average score b) relaxed F1-score of 70.1% in ADR extraction of task 3 which is 13.7% more than the average score and relaxed F1-score of 35% in ADR extraction + normalization of task3 which is 5.8% more than the average score. Overall, our models achieve promising results in both the tasks with significant improvements over average scores. | 翻訳日:2022-11-15 14:40:44 公開日:2020-06-29 |
| # タングル語の形態処理の研究に向けて Towards the Study of Morphological Processing of the Tangkhul Language ( http://arxiv.org/abs/2006.16212v1 ) ライセンス: Link先を確認 | Mirinso Shadang, Navanath Saharia, Thoudam Doren Singh | (参考訳) タングル語の自然言語処理についてはほとんど研究されていない。
現在の研究は、教師なしのアプローチによるこの言語の形態素処理の控えめな始まりである。
テキストブックや短編,その他の話題の記事など,さまざまなソースから収集した小さなコーパスを使用する。
実験の結果, 形態素を用いた形態素識別タスクは, 小型コーパスを用いても, 合理的かつ興味深い出力が得られることがわかった。 There is no or little work on natural language processing of Tangkhul language. The current work is a humble beginning of morphological processing of this language using an unsupervised approach. We use a small corpus collected from different sources of text books, short stories and articles of other topics. Based on the experiments carried out, the morpheme identification task using morphessor gives reasonable and interesting output despite using a small corpus. | 翻訳日:2022-11-15 14:40:29 公開日:2020-06-29 |
| # ANA at SemEval-2020 Task 4: mUlti-task learNIng for cOmmonsense reasoNing (UNION) ANA at SemEval-2020 Task 4: mUlti-task learNIng for cOmmonsense reasoNing (UNION) ( http://arxiv.org/abs/2006.16403v1 ) ライセンス: Link先を確認 | Anandh Perumal, Chenyang Huang, Amine Trabelsi, Osmar R. Za\"iane | (参考訳) 本稿では,SemEval2020 Task 4 のタスク C に対して提出された cOmmonsense reasoNing (UNION) システムの mUlti-task learNIng について述べる。
しかし、初期の実験で、微調整 GPT2 のような単純な適応は、しばしば鈍く非形式的な世代(単純な否定など)をもたらすことが判明した。
より意味のある説明を生成するために、我々はいくつかの既存のコモンセンスデータセットを利用する統一的なエンドツーエンドフレームワークUNIONを提案し、モデルがコモンセンス推論の範囲内でより多くのダイナミクスを学習できるようにする。
また,モデル選択を効率よく,正確に,迅速に行うために,異なる視点からモデルを比較するために,補助的な自動評価指標をいくつか提案する。
提案システムは,提案した指標において優れた性能を示すだけでなく,BLEUスコアを15.7に保ちながら,人的評価において最高2.10のスコアで競合に勝っている。
私たちのコードはGitHubで公開されています。 In this paper, we describe our mUlti-task learNIng for cOmmonsense reasoNing (UNION) system submitted for Task C of the SemEval2020 Task 4, which is to generate a reason explaining why a given false statement is non-sensical. However, we found in the early experiments that simple adaptations such as fine-tuning GPT2 often yield dull and non-informative generations (e.g. simple negations). In order to generate more meaningful explanations, we propose UNION, a unified end-to-end framework, to utilize several existing commonsense datasets so that it allows a model to learn more dynamics under the scope of commonsense reasoning. In order to perform model selection efficiently, accurately and promptly, we also propose a couple of auxiliary automatic evaluation metrics so that we can extensively compare the models from different perspectives. Our submitted system not only results in a good performance in the proposed metrics but also outperforms its competitors with the highest achieved score of 2.10 for human evaluation while remaining a BLEU score of 15.7. Our code is made publicly available at GitHub. | 翻訳日:2022-11-15 14:40:22 公開日:2020-06-29 |
| # ニューロモルフィック回路の小型Gated-Synapseモデル A Compact Gated-Synapse Model for Neuromorphic Circuits ( http://arxiv.org/abs/2006.16302v1 ) ライセンス: Link先を確認 | Alexander Jones and Rashmi Jha | (参考訳) 本稿では,ゲートシナプスメモリの動作モデルについて報告する。
このモデルはVerilog-Aで開発され、新しいメモリを用いたニューロモルフィック回路のコンピュータ支援設計に容易に統合できる。
このモデルは単一のフレームワーク内で様々な形式のゲートシナプスを含み、単一のタイプに制限されない。
モデルの振る舞い理論は、デフォルトパラメータの設定の完全なリストと共に詳細に説明されている。
このモデルは、デバイスの理想的な設定時間、しきい値電圧、時間に対するコンダクタンスの一般的な進化、デバイスの状態の崩壊などのパラメータを含む。
最後に、モデルの有効性を広範囲なシミュレーションと、公開されたゲート-シナプスに関する実験的に報告されたデータにより示す。 This work reports a compact behavioral model for gated-synaptic memory. The model is developed in Verilog-A for easy integration into computer-aided design of neuromorphic circuits using emerging memory. The model encompasses various forms of gated synapses within a single framework and is not restricted to only a single type. The behavioral theory of the model is described in detail along with a full list of the default parameter settings. The model includes parameters such as a device's ideal set time, threshold voltage, general evolution of the conductance with respect to time, decay of the device's state, etc. Finally, the model's validity is shown via extensive simulation and fitting to experimentally reported data on published gated-synapses. | 翻訳日:2022-11-15 14:40:00 公開日:2020-06-29 |
| # 条件によるリビジョン: Hook から Arrow へ Revision by Conditionals: From Hook to Arrow ( http://arxiv.org/abs/2006.15811v1 ) ライセンス: Link先を確認 | Jake Chandler, Richard Booth | (参考訳) 信条改正の文献は、事実に関する情報に照らして信条を改定する方法の問題に大きく焦点が当てられている。
条件を入力として扱うためにリビジョン演算子を拡張するには、どうすればよいのか?
この「条件修正」の問題に対する我々のアプローチは、事実文による修正の仕方に関する議論の的になっている詳細を抽象化するものとして、独特である。
反復的信念修正演算子を条件付きケースに一意に拡張する「プラグアンドプレイ」手法を提案する。
本手法の柔軟性は,ラムゼイ試験条件("arrow")による条件修正の結果を,対応する材料条件("hook")によるプレーンリビジョンによって決定することにより達成される。
独立した関心を持つ多くの新しい制約を満たすことが示されている。 The belief revision literature has largely focussed on the issue of how to revise one's beliefs in the light of information regarding matters of fact. Here we turn to an important but comparatively neglected issue: How might one extend a revision operator to handle conditionals as input? Our approach to this question of 'conditional revision' is distinctive insofar as it abstracts from the controversial details of how to revise by factual sentences. We introduce a 'plug and play' method for uniquely extending any iterated belief revision operator to the conditional case. The flexibility of our approach is achieved by having the result of a conditional revision by a Ramsey Test conditional ('arrow') determined by that of a plain revision by its corresponding material conditional ('hook'). It is shown to satisfy a number of new constraints that are of independent interest. | 翻訳日:2022-11-15 14:39:49 公開日:2020-06-29 |
| # 人間科学のためのニューラルロボティクスライブラリー「hybrid primary intersubjectivity」に向けて Towards hybrid primary intersubjectivity: a neural robotics library for human science ( http://arxiv.org/abs/2006.15948v1 ) ライセンス: Link先を確認 | Hendry F. Chame, Ahmadreza Ahmadi, Jun Tani | (参考訳) 人間とロボットの相互作用は認知科学、特に社会認知の研究において興味深い分野になりつつある。
相互作用理論者は、主目的性は、特定のレベルのコミュニケーションと理解の基礎となる、非メンタリスト、前理論的、非概念的なプロセスであり、より高いレベルの認知スキルを支援するものであると考えている。
このような低レベルの認知相互作用は、制御がダイアドの出会いで共有されるものであり、ニューラルロボットによる研究に影響を受けやすい。
したがって、この作業では3つの主な目標を追求します。
第一に、能動推論という概念から、認知、認知、行動がディヤド相互作用におけるhermeneutic circleとして説明される予測的関与によって特徴づけられる第二人的視点としての主観的主観的主観性について研究する。
第2に,実験ロボットインタラクションのためのオープンソース手法である‘textit{neural Roboticss Library} (NRL) と,仮想カルテシアンロボット(VCBot)とリアルタイムに対話する実演プログラムを提案する。
最後に, 発達心理学, 教育技術, 認知リハビリテーションの分野など, ヒューマン・ロボット(ハイブリッド)のサブジェクティビティが人間科学研究にどのように貢献できるかを事例として論じる。 Human-robot interaction is becoming an interesting area of research in cognitive science, notably, for the study of social cognition. Interaction theorists consider primary intersubjectivity a non-mentalist, pre-theoretical, non-conceptual sort of processes that ground a certain level of communication and understanding, and provide support to higher-level cognitive skills. We argue this sort of low level cognitive interaction, where control is shared in dyadic encounters, is susceptible of study with neural robots. Hence, in this work we pursue three main objectives. Firstly, from the concept of active inference we study primary intersubjectivity as a second person perspective experience characterized by predictive engagement, where perception, cognition, and action are accounted for an hermeneutic circle in dyadic interaction. Secondly, we propose an open-source methodology named \textit{neural robotics library} (NRL) for experimental human-robot interaction, and a demonstration program for interacting in real-time with a virtual Cartesian robot (VCBot). Lastly, through a study case, we discuss some ways human-robot (hybrid) intersubjectivity can contribute to human science research, such as to the fields of developmental psychology, educational technology, and cognitive rehabilitation. | 翻訳日:2022-11-15 14:39:36 公開日:2020-06-29 |
| # 人工進化システムにおける環境変動の適切なモデルとしてのカラーノイズ時系列 Coloured noise time series as appropriate models for environmental variation in artificial evolutionary systems ( http://arxiv.org/abs/2006.16204v1 ) ライセンス: Link先を確認 | Matt Grove, James M. Borg, Fiona Polack | (参考訳) 生態学、環境学、地球物理学の時系列は、色(1/f^\b{eta})ノイズの特性を一貫して示している。
ここでは, 人工進化系における環境変動の適切なモデルとして, 色付きノイズ, 個体群持続性, および関連する進化力学に関する文献を概説する。
異なる雑音色の影響を説明するために、変動環境における特殊主義と一般主義のトレードオフを考察する単純な進化モデルを適用する。
モデルの結果は, 環境変動が「より白く」なるとともに, 環境変動が「赤く」なるにつれて, より一般化の必要性が明らかに示される。
白と赤の騒音の中間に位置するピンクノイズは、一般的な環境変動の適切なモデルとして「ピンカー」ノイズがますます見られるようになった理由について、一般化と特殊主義バランスの圧力がかかる点である。
この結果が、変動する環境に対する進化的反応に関するより広範な議論にどのように影響するかを議論する。
究極的には、分野としての人工生命は、環境変動のモデルを作成するために色付きノイズを使うべきだと主張する。 Ecological, environmental and geophysical time series consistently exhibit the characteristics of coloured (1/f^\b{eta}) noise. Here we briefly survey the literature on coloured noise, population persistence and related evolutionary dynamics, before introducing coloured noise as an appropriate model for environmental variation in artificial evolutionary systems. To illustrate and explore the effects of different noise colours, a simple evolutionary model that examines the trade-off between specialism and generalism in fluctuating environments is applied. The results of the model clearly demonstrate a need for greater generalism as environmental variability becomes `whiter', whilst specialisation is favoured as environmental variability becomes `redder'. Pink noise, sitting midway between white and red noise, is shown to be the point at which the pressures for generalism and specialism balance, providing some insight in to why `pinker' noise is increasingly being seen as an appropriate model of typical environmental variability. We go on to discuss how the results presented here feed in to a wider discussion on evolutionary responses to fluctuating environments. Ultimately we argue that Artificial Life as a field should embrace the use of coloured noise to produce models of environmental variability. | 翻訳日:2022-11-15 14:38:54 公開日:2020-06-29 |
| # 遺伝的プログラミングを用いた動的トレーニング・サブセット選択手法の適用 Applying Dynamic Training-Subset Selection Methods Using Genetic Programming for Forecasting Implied Volatility ( http://arxiv.org/abs/2007.07207v1 ) ライセンス: Link先を確認 | Sana Ben Hamida and Wafa Abdelmalek and Fathi Abid | (参考訳) ボラティリティはオプション価格、トレーディング、ヘッジ戦略において重要な変数である。
本研究の目的は,動的トレーニング-サブセット選択法を用いて遺伝的プログラミング(GP)の拡張を用いて,インプリッドボラティリティの予測精度を向上させることである。
これらの方法はサンプルパターンの適合性を改善するためにトレーニングデータを操作する。
1つのトレーニングデータサンプルを用いて静的サブセット選択法を適用した場合、GPはサンプル適合性に適応しない予測モデルを生成することができる。
生成したGPパターンの予測精度を向上させるため、GPアルゴリズムに動的サブセット選択法を導入し、進化中のトレーニングサンプルの定期的な変更を可能にする。
ランダム、シーケンシャル、適応的部分集合選択に基づく4つの動的トレーニング・サブセット選択法を提案する。
最新のアプローチでは、適合度ケースのエラーに応じてサンプルの難易度を測定する適応的なサブセット重みを使用する。
SP500インデックスオプションの実際のデータを用いて、これらの手法を静的サブセット選択法と比較する。
mseの総計と非適合率に基づき、動的アプローチにより生成されたgpモデルの予測性能が向上し、特にトレーニングサンプルのセット全体に適用した適応的ランダムトレーニングサブセット選択法により得られた。 Volatility is a key variable in option pricing, trading and hedging strategies. The purpose of this paper is to improve the accuracy of forecasting implied volatility using an extension of genetic programming (GP) by means of dynamic training-subset selection methods. These methods manipulate the training data in order to improve the out of sample patterns fitting. When applied with the static subset selection method using a single training data sample, GP could generate forecasting models which are not adapted to some out of sample fitness cases. In order to improve the predictive accuracy of generated GP patterns, dynamic subset selection methods are introduced to the GP algorithm allowing a regular change of the training sample during evolution. Four dynamic training-subset selection methods are proposed based on random, sequential or adaptive subset selection. The latest approach uses an adaptive subset weight measuring the sample difficulty according to the fitness cases errors. Using real data from SP500 index options, these techniques are compared to the static subset selection method. Based on MSE total and percentage of non fitted observations, results show that the dynamic approach improves the forecasting performance of the generated GP models, specially those obtained from the adaptive random training subset selection method applied to the whole set of training samples. | 翻訳日:2022-11-15 14:38:35 公開日:2020-06-29 |
| # 医療における対人多元移動学習 : 糖尿病患者の血糖予測への応用 Adversarial Multi-Source Transfer Learning in Healthcare: Application to Glucose Prediction for Diabetic People ( http://arxiv.org/abs/2006.15940v1 ) ライセンス: Link先を確認 | Maxime De Bois, Moun\^im A. El Yacoubi, and Mehdi Ammi | (参考訳) 特定のタスクに有望な結果が得られているにも関わらず、ディープラーニングは医療の一般的なプラクティスに革命をもたらしていない。
これは部分的には、モデルのトレーニングを損なう量の不足によるものだ。
この問題に対処するためには、トランスファーラーニングを利用することで、複数の医療アクターや患者からのデータを組み合わせることができる。
本稿では,複数のデータソース間の転送の質を向上させるために,複数のソース間で類似した特徴表現の学習を可能にする多元逆転送学習フレームワークを提案する。
このアイデアを,完全畳み込みニューラルネットワークを用いた糖尿病患者の血糖値予測に適用する。
この評価は,3つのデータセットを用いた様々な移動シナリオの探索によって行われる。
知識の伝達は一般的に有益であるが, 逆行訓練手法を用いることで, 統計的, 臨床的精度をさらに向上させることができることを示す。
特に、異なるデータセットのデータを使用したり、あるいはデータセット内の状況にデータが少ない場合に輝く。
モデルの振る舞いを理解するために,学習特徴表現を分析し,それに関して新しい指標を提案する。
標準的な転送とは対照的に、対向転送は患者やデータセットを識別せず、より一般的な特徴表現の学習に役立つ。
逆行訓練フレームワークは、多ソース環境における一般的な特徴表現の学習を改善し、未知のターゲットへの知識伝達を向上させる。
提案手法は,深層モデルの学習において,異なる医療従事者によって共有されるデータの効率を向上させるのに役立つ。 Deep learning has yet to revolutionize general practices in healthcare, despite promising results for some specific tasks. This is partly due to data being in insufficient quantities hurting the training of the models. To address this issue, data from multiple health actors or patients could be combined by capitalizing on their heterogeneity through the use of transfer learning. To improve the quality of the transfer between multiple sources of data, we propose a multi-source adversarial transfer learning framework that enables the learning of a feature representation that is similar across the sources, and thus more general and more easily transferable. We apply this idea to glucose forecasting for diabetic people using a fully convolutional neural network. The evaluation is done by exploring various transfer scenarios with three datasets characterized by their high inter and intra variability. While transferring knowledge is beneficial in general, we show that the statistical and clinical accuracies can be further improved by using of the adversarial training methodology, surpassing the current state-of-the-art results. In particular, it shines when using data from different datasets, or when there is too little data in an intra-dataset situation. To understand the behavior of the models, we analyze the learnt feature representations and propose a new metric in this regard. Contrary to a standard transfer, the adversarial transfer does not discriminate the patients and datasets, helping the learning of a more general feature representation. The adversarial training framework improves the learning of a general feature representation in a multi-source environment, enhancing the knowledge transfer to an unseen target. The proposed method can help improve the efficiency of data shared by different health actors in the training of deep models. | 翻訳日:2022-11-15 14:32:30 公開日:2020-06-29 |
| # gaussian marginalsにおける半空間とrelusを無知に学習するための近最適sq下限 Near-Optimal SQ Lower Bounds for Agnostically Learning Halfspaces and ReLUs under Gaussian Marginals ( http://arxiv.org/abs/2006.16200v1 ) ライセンス: Link先を確認 | Ilias Diakonikolas, Daniel M. Kane, Nikos Zarifis | (参考訳) 半空間とrelusをgaussian marginalsの下で無知に学習する根本的な問題について検討する。
前者問題では、ラベル付き例 $(\mathbf{x}, y)$ が$\mathbb{r}^d \times \{ \pm 1\}$ 上の未知の分布から与えられた場合、$\mathbf{x}$ の限界分布は標準ガウス分布であり、$y$ は任意であるので、目標は 0-1 の損失 $\mathrm{opt}+\epsilon$ の仮説を出力することである。
後者の問題では、ラベル付き例 $(\mathbf{x}, y)$ が未知分布上の未知分布 $\mathbb{R}^d \times \mathbb{R}$ に与えられたとき、$\mathbf{x}$ 上の余剰分布は標準ガウス分布であり、ラベル $y$ は任意の値であり、その目標は平方損失 $\mathrm{OPT}+\epsilon$ の仮説を出力することであり、$\mathrm{OPT}$ は最も適した ReLU の正則損失である。
これらの問題に対して、統計的クエリ (SQ) の$d^{\mathrm{poly}(1/\epsilon)} の下位境界を証明した。
我々の SQ 下位境界は、これらのタスクの現在の上限が本質的に最良のものであるという強い証拠を与える。 We study the fundamental problems of agnostically learning halfspaces and ReLUs under Gaussian marginals. In the former problem, given labeled examples $(\mathbf{x}, y)$ from an unknown distribution on $\mathbb{R}^d \times \{ \pm 1\}$, whose marginal distribution on $\mathbf{x}$ is the standard Gaussian and the labels $y$ can be arbitrary, the goal is to output a hypothesis with 0-1 loss $\mathrm{OPT}+\epsilon$, where $\mathrm{OPT}$ is the 0-1 loss of the best-fitting halfspace. In the latter problem, given labeled examples $(\mathbf{x}, y)$ from an unknown distribution on $\mathbb{R}^d \times \mathbb{R}$, whose marginal distribution on $\mathbf{x}$ is the standard Gaussian and the labels $y$ can be arbitrary, the goal is to output a hypothesis with square loss $\mathrm{OPT}+\epsilon$, where $\mathrm{OPT}$ is the square loss of the best-fitting ReLU. We prove Statistical Query (SQ) lower bounds of $d^{\mathrm{poly}(1/\epsilon)}$ for both of these problems. Our SQ lower bounds provide strong evidence that current upper bounds for these tasks are essentially best possible. | 翻訳日:2022-11-15 14:32:02 公開日:2020-06-29 |
| # Ultra2Speech - 超音波舌画像からのフォルマント周波数推定と追跡のためのディープラーニングフレームワーク Ultra2Speech -- A Deep Learning Framework for Formant Frequency Estimation and Tracking from Ultrasound Tongue Images ( http://arxiv.org/abs/2006.16367v1 ) ライセンス: Link先を確認 | Pramit Saha, Yadong Liu, Bryan Gick, Sidney Fels | (参考訳) 何千人もの個人が、毎年重篤な疾患のために喉頭を外科的に切除する必要があるため、音声ボックスが失われた後、音声を明瞭にするための代替的なコミュニケーションが必要である。
本研究は,音声(US)舌画像に基づく音声と音響のマッピング問題に対処し,日常的な対話を支援するサイレント音声インタフェース(SSI)を開発した。
提案手法は,us画像から最適な特徴集合を選択し,これらの特徴を音響空間にマッピングすることで,舌運動情報を自動的に抽出する。
新たな深層学習アーキテクチャを用いて,超音波2formant(u2f)ネットと呼ばれる,被検者の顎下に設置した米国探査機の舌イメージをフォルマントにマッピングした。
米国の画像から母音フォルマントを推定・追跡するために、ハイブリッド時空間3次元畳み込みに続いて特徴シャッフルを行う。
次に、ホルマント値をklattシンセサイザーを介して連続時間変化母音軌跡を合成する。
最善のモデルは回帰タスクで r-二乗 (r^2) 測度 99.96% を達成する。
私たちのネットワークは、明示的なアノテーションなしで舌の輪郭を自動的に内部表現として追跡するssiの基礎を築いている。 Thousands of individuals need surgical removal of their larynx due to critical diseases every year and therefore, require an alternative form of communication to articulate speech sounds after the loss of their voice box. This work addresses the articulatory-to-acoustic mapping problem based on ultrasound (US) tongue images for the development of a silent-speech interface (SSI) that can provide them with an assistance in their daily interactions. Our approach targets automatically extracting tongue movement information by selecting an optimal feature set from US images and mapping these features to the acoustic space. We use a novel deep learning architecture to map US tongue images from the US probe placed beneath a subject's chin to formants that we call, Ultrasound2Formant (U2F) Net. It uses hybrid spatio-temporal 3D convolutions followed by feature shuffling, for the estimation and tracking of vowel formants from US images. The formant values are then utilized to synthesize continuous time-varying vowel trajectories, via Klatt Synthesizer. Our best model achieves R-squared (R^2) measure of 99.96% for the regression task. Our network lays the foundation for an SSI as it successfully tracks the tongue contour automatically as an internal representation without any explicit annotation. | 翻訳日:2022-11-15 14:31:29 公開日:2020-06-29 |
| # マルチチャネルシーケンシャル広告のための動的ナップサック最適化 Dynamic Knapsack Optimization Towards Efficient Multi-Channel Sequential Advertising ( http://arxiv.org/abs/2006.16312v1 ) ライセンス: Link先を確認 | Xiaotian Hao, Zhaoqing Peng, Yi Ma, Guan Wang, Junqi Jin, Jianye Hao, Shan Chen, Rongquan Bai, Mingzhou Xie, Miao Xu, Zhenzhe Zheng, Chuan Yu, Han Li, Jian Xu, Kun Gai | (参考訳) 電子商取引では、商業者がターゲットユーザーに到達するためには広告が不可欠である。
典型的な目的は、予算制約の下で広告主の累積収入を一定期間に最大化することである。
実際のアプリケーションでは、広告(ad)は通常、ユーザーが最終的に収益に貢献するまで、同じユーザーに何度も露出する必要がある(例えば、注文を配置する)。
しかし、既存の広告システムは、主に単一の広告露出による即時収益に焦点を当てており、最終的な変換への各露出の寄与を無視しているため、通常は最適以下のソリューションに該当する。
本稿では,動的knapsack問題として逐次広告戦略最適化を定式化する。
理論的に保証された二段階最適化フレームワークを提案する。これにより、元の最適化空間の解空間を大幅に削減し、解の質を保証できる。
強化学習の探索効率を向上させるため,効果的な行動空間削減手法も考案した。
大規模なオフラインおよびオンライン実験は、累積収益の観点から、最先端のベースラインに対する我々のアプローチの優れたパフォーマンスを示している。 In E-commerce, advertising is essential for merchants to reach their target users. The typical objective is to maximize the advertiser's cumulative revenue over a period of time under a budget constraint. In real applications, an advertisement (ad) usually needs to be exposed to the same user multiple times until the user finally contributes revenue (e.g., places an order). However, existing advertising systems mainly focus on the immediate revenue with single ad exposures, ignoring the contribution of each exposure to the final conversion, thus usually falls into suboptimal solutions. In this paper, we formulate the sequential advertising strategy optimization as a dynamic knapsack problem. We propose a theoretically guaranteed bilevel optimization framework, which significantly reduces the solution space of the original optimization space while ensuring the solution quality. To improve the exploration efficiency of reinforcement learning, we also devise an effective action space reduction approach. Extensive offline and online experiments show the superior performance of our approaches over state-of-the-art baselines in terms of cumulative revenue. | 翻訳日:2022-11-15 14:30:31 公開日:2020-06-29 |
| # テキスト分類のためのコンボリューションとリカレントネットワークの組み合わせ Combine Convolution with Recurrent Networks for Text Classification ( http://arxiv.org/abs/2006.15795v1 ) ライセンス: Link先を確認 | Shengfei Lyu, Jiaqi Liu | (参考訳) convolutional neural network (cnn) と recurrent neural network (rnn) は、テキスト分類に用いられる2つの一般的なアーキテクチャである。
従来の2つのネットワークの強みを組み合わせる方法は、それらを合理化したり、抽出した特徴を結合したりすることに依存している。
本稿では,2つのネットワークの強度を極端に維持するための新しい手法を提案する。
提案モデルでは、畳み込みニューラルネットワークを用いて、各行が異なる側面から各単語の重要性を反映する2次元重み行列を学習する。
一方、双方向のRNNを用いて各単語を処理し、前後に隠された状態を融合して単語表現を得る神経テンソル層を用いる。
最後に、重み行列と単語表現を組み合わせて、テキスト用の2次元行列形式の表現を得る。
テキスト分類のためのいくつかのデータセットの実験を行う。
提案手法の有効性を実験的に検証した。 Convolutional neural network (CNN) and recurrent neural network (RNN) are two popular architectures used in text classification. Traditional methods to combine the strengths of the two networks rely on streamlining them or concatenating features extracted from them. In this paper, we propose a novel method to keep the strengths of the two networks to a great extent. In the proposed model, a convolutional neural network is applied to learn a 2D weight matrix where each row reflects the importance of each word from different aspects. Meanwhile, we use a bi-directional RNN to process each word and employ a neural tensor layer that fuses forward and backward hidden states to get word representations. In the end, the weight matrix and word representations are combined to obtain the representation in a 2D matrix form for the text. We carry out experiments on a number of datasets for text classification. The experimental results confirm the effectiveness of the proposed method. | 翻訳日:2022-11-15 14:30:15 公開日:2020-06-29 |
| # 統合的ローカル知識ベースに基づくソーシャルメディアフィードの事前処理フレームワーク A Framework for Pre-processing of Social Media Feeds based on Integrated Local Knowledge Base ( http://arxiv.org/abs/2006.15854v1 ) ライセンス: Link先を確認 | Taiwo Kolajo, Olawande Daramola, Ayodele Adebiyi, Seth Aaditeshwar | (参考訳) ソーシャルメディアフィードの意味分析に関するこれまでの研究のほとんどは、ソーシャルメディア投稿に埋め込まれたスラング、略語、頭字語に関連する曖昧性の問題を考慮していない。
これらの騒がしい用語は暗黙的な意味を持ち、ソーシャルメディアのフィードから完全な洞察を得るために分析されなければならないリッチな意味的文脈の一部を形成する。
本稿では,ソーシャルメディアフィードの事前処理によるパフォーマンス向上のためのフレームワークを提案する。
これを実現するために,地域知識源(naijalingo),都市辞書,インターネットスラングを含む統合知識ベース(ikb)を,ソーシャルメディアフィードの意味分析を容易にするためにleskアルゴリズムと組み合わせた。
実験の結果,提案手法は,ベクトルマシン,多層パーセプトロン,畳み込みニューラルネットワークをサポートする3つの機械学習モデルにおいて,既存の手法よりも優れた性能を示した。
このフレームワークは、標準データセットで94.07%、ツイートから感情を抽出するために使用されるローカライズされたデータセットで99.78%の精度を持っていた。
局所化データセットの性能向上は、特に文脈的に根付いた意味を持つスラング/アクロニム/省略を解釈する際に、ローカル知識ソースの使用をソーシャルメディアフィードの分析プロセスに統合する利点を明らかにする。 Most of the previous studies on the semantic analysis of social media feeds have not considered the issue of ambiguity that is associated with slangs, abbreviations, and acronyms that are embedded in social media posts. These noisy terms have implicit meanings and form part of the rich semantic context that must be analysed to gain complete insights from social media feeds. This paper proposes an improved framework for pre-processing of social media feeds for better performance. To do this, the use of an integrated knowledge base (ikb) which comprises a local knowledge source (Naijalingo), urban dictionary and internet slang was combined with the adapted Lesk algorithm to facilitate semantic analysis of social media feeds. Experimental results showed that the proposed approach performed better than existing methods when it was tested on three machine learning models, which are support vector machines, multilayer perceptron, and convolutional neural networks. The framework had an accuracy of 94.07% on a standardized dataset, and 99.78% on localised dataset when used to extract sentiments from tweets. The improved performance on the localised dataset reveals the advantage of integrating the use of local knowledge sources into the process of analysing social media feeds particularly in interpreting slangs/acronyms/abbreviations that have contextually rooted meanings. | 翻訳日:2022-11-15 14:30:02 公開日:2020-06-29 |
| # プライバシガイドトレーニングによるモデルインバージョンリスクの低減 Reducing Risk of Model Inversion Using Privacy-Guided Training ( http://arxiv.org/abs/2006.15877v1 ) ライセンス: Link先を確認 | Abigail Goldsteen, Gilad Ezov, Ariel Farkash | (参考訳) 機械学習モデルは、データがトレーニングセットの一部である個人のプライバシーに脅威をもたらすことが多い。
最近の攻撃では、モデルインバージョンや属性推論攻撃など、トレーニングされたモデルから機密情報を推測することができる。
これらの攻撃は、モデルのトレーニングに参加した個人の特定の敏感な特徴の値を明らかにすることができる。
また、いくつかの要因が機能の影響を含むモデル反転のリスクの増加に寄与することが示されている。
すべての機能が必ずしも同じレベルのプライバシーや感受性を共有しているわけではない。
多くの場合、モデルを訓練するのに使われる特定の特徴は特に敏感であり、逆転候補であると考えられている。
本稿では,木質モデルにおけるモデル逆転攻撃に対する対策として,これらのモデルにおける感度特性の影響を低減した手法を提案する。
これはまだ徹底的に調査されていない通りであり、属性推論に対する対策としてこれを利用する試みはごく初期のものである。
私たちの研究は、多くの場合、異なる方法でモデルをトレーニングすることができ、モデルの正確さを損なうことなく、さまざまな機能の影響レベルが異なることを示しています。
この事実を利用してモデルをトレーニングし、最も敏感な機能への依存を減らすと同時に、感度の低い機能の重要性を高めることができます。
この方法でのトレーニングモデルにより,ブラックボックス攻撃やホワイトボックス攻撃による推論のリスクが軽減されることを確認した。 Machine learning models often pose a threat to the privacy of individuals whose data is part of the training set. Several recent attacks have been able to infer sensitive information from trained models, including model inversion or attribute inference attacks. These attacks are able to reveal the values of certain sensitive features of individuals who participated in training the model. It has also been shown that several factors can contribute to an increased risk of model inversion, including feature influence. We observe that not all features necessarily share the same level of privacy or sensitivity. In many cases, certain features used to train a model are considered especially sensitive and therefore propitious candidates for inversion. We present a solution for countering model inversion attacks in tree-based models, by reducing the influence of sensitive features in these models. This is an avenue that has not yet been thoroughly investigated, with only very nascent previous attempts at using this as a countermeasure against attribute inference. Our work shows that, in many cases, it is possible to train a model in different ways, resulting in different influence levels of the various features, without necessarily harming the model's accuracy. We are able to utilize this fact to train models in a manner that reduces the model's reliance on the most sensitive features, while increasing the importance of less sensitive features. Our evaluation confirms that training models in this manner reduces the risk of inference for those features, as demonstrated through several black-box and white-box attacks. | 翻訳日:2022-11-15 14:23:21 公開日:2020-06-29 |
| # 制御可能な空間パターンをもつ二元ランダム投影 Binary Random Projections with Controllable Sparsity Patterns ( http://arxiv.org/abs/2006.16180v1 ) ライセンス: Link先を確認 | Wenye Li, Shuzhong Zhang | (参考訳) ランダム射影は高次元ベクトルを低次元空間に射影するのによく用いられ、対距離を概して保存する。
様々なデータ処理タスクにおいて強力なツールとして登場し、かなりの研究関心を集めている。
本稿では,神経科学における最近の発見に一部動機づけられ,制御可能なスパーシティパターンを持つ二元行列を用いたランダム射影問題について検討する。
具体的には、一般データベクトルで動作する2つの疎二元射影モデルを提案する。
予測行列が密集した従来のランダム投影モデルと比較すると,提案モデルは分散構造と経験的評価の精度向上により,計算上有意なアドバンテージを享受できる。 Random projection is often used to project higher-dimensional vectors onto a lower-dimensional space, while approximately preserving their pairwise distances. It has emerged as a powerful tool in various data processing tasks and has attracted considerable research interest. Partly motivated by the recent discoveries in neuroscience, in this paper we study the problem of random projection using binary matrices with controllable sparsity patterns. Specifically, we proposed two sparse binary projection models that work on general data vectors. Compared with the conventional random projection models with dense projection matrices, our proposed models enjoy significant computational advantages due to their sparsity structure, as well as improved accuracies in empirical evaluations. | 翻訳日:2022-11-15 14:23:00 公開日:2020-06-29 |
| # 時間変動推論によるロボットスキルの学習 Learning Robot Skills with Temporal Variational Inference ( http://arxiv.org/abs/2006.16232v1 ) ライセンス: Link先を確認 | Tanmay Shankar and Abhinav Gupta | (参考訳) 本稿では、教師なしの方法でデモからロボットオプションが発見されることに対処する。
具体的には,ロボットのさまざまなタスクを行うデモから,低レベル制御ポリシと高レベル制御ポリシを共同で学習するためのフレームワークを提案する。
オプションを連続潜伏変数として表現することで、これらのオプションを潜伏変数推論として学習する問題の枠組みとなる。
次に,軌道確率の時間分解に基づく変分推論の時間的定式化を行い,教師なしの方法で選択肢を推定する。
3つのロボットデモデータセットでこのような選択肢を学習するフレームワークの能力を実証する。 In this paper, we address the discovery of robotic options from demonstrations in an unsupervised manner. Specifically, we present a framework to jointly learn low-level control policies and higher-level policies of how to use them from demonstrations of a robot performing various tasks. By representing options as continuous latent variables, we frame the problem of learning these options as latent variable inference. We then present a temporal formulation of variational inference based on a temporal factorization of trajectory likelihoods,that allows us to infer options in an unsupervised manner. We demonstrate the ability of our framework to learn such options across three robotic demonstration datasets. | 翻訳日:2022-11-15 14:22:48 公開日:2020-06-29 |
| # タッカー分解の最適化景観 Optimization Landscape of Tucker Decomposition ( http://arxiv.org/abs/2006.16297v1 ) ライセンス: Link先を確認 | Abraham Frandsen, Rong Ge | (参考訳) タッカー分解は多くのデータ分析や機械学習アプリケーションで一般的なテクニックである。
タッカー分解を見つけることは非凸最適化問題である。
問題の規模が大きくなるにつれて、確率的勾配降下のような局所探索アルゴリズムが実際に普及している。
本稿では,タッカー分解問題の最適化景観を特徴付ける。
特に、テンソルが正確なタッカー分解を持つ場合、タッカー分解の標準的な非凸目的に対して、すべての局所ミニマも大域的に最適であることを示す。
また,多項式時間に近似した局所的(および大域的)最適解を求める局所探索アルゴリズムを提案する。 Tucker decomposition is a popular technique for many data analysis and machine learning applications. Finding a Tucker decomposition is a nonconvex optimization problem. As the scale of the problems increases, local search algorithms such as stochastic gradient descent have become popular in practice. In this paper, we characterize the optimization landscape of the Tucker decomposition problem. In particular, we show that if the tensor has an exact Tucker decomposition, for a standard nonconvex objective of Tucker decomposition, all local minima are also globally optimal. We also give a local search algorithm that can find an approximate local (and global) optimal solution in polynomial time. | 翻訳日:2022-11-15 14:22:15 公開日:2020-06-29 |
| # 事前条件付き確率勾配MCMCによるベイズスパース学習とその応用 Bayesian Sparse learning with preconditioned stochastic gradient MCMC and its applications ( http://arxiv.org/abs/2006.16376v1 ) ライセンス: Link先を確認 | Yating Wang, Wei Deng, Lin Guang | (参考訳) 本研究では,ベイズ型スパース深層学習アルゴリズムを提案する。
このアルゴリズムは、ディープニューラルネットワークのパラメータに対するスパイクとスラブの先行値のセットを利用する。
階層的ベイズ混合は適応的な経験的手法を用いて訓練される。
すなわち、事前条件付き確率勾配ランゲヴィンダイナミクス(PSGLD)を用いて後方からサンプルを採取し、確率近似を用いて潜伏変数を最適化する。
適応探索とペナライゼーションでハイパーパラメータを最適化し,ネットワークの幅を最適化する。
一般的なSG-MCMCアプローチはSGLD(Stochastic gradient Langevin dynamics)である。
しかし、非凸学習におけるモデルパラメータ空間の複雑な幾何学を考えると、SGLDのように各コンポーネントの普遍的なステップサイズを用いてパラメータを更新することは、遅い混合を引き起こす可能性がある。
この問題に対処するために,更新ルールに計算管理可能なプリコンディショナーを適用し,局所幾何学的性質に適応するためのステップサイズパラメータを提供する。
さらに,プレコンディショニング行列のハイパーパラメータをスムーズに最適化することにより,プリコンディショニングされたSGLDの補正項を無視することで,バイアスを減少させるアルゴリズムを提案する。
既存の理論的枠組みにより,提案アルゴリズムは温和な条件下で制御可能なバイアスで漸近的に正しい分布に収束できることを示す。
合成回帰問題と楕円型pdeの解法の両方について数値実験を行い,本研究の正確性と効率を示す。 In this work, we propose a Bayesian type sparse deep learning algorithm. The algorithm utilizes a set of spike-and-slab priors for the parameters in the deep neural network. The hierarchical Bayesian mixture will be trained using an adaptive empirical method. That is, one will alternatively sample from the posterior using preconditioned stochastic gradient Langevin Dynamics (PSGLD), and optimize the latent variables via stochastic approximation. The sparsity of the network is achieved while optimizing the hyperparameters with adaptive searching and penalizing. A popular SG-MCMC approach is Stochastic gradient Langevin dynamics (SGLD). However, considering the complex geometry in the model parameter space in non-convex learning, updating parameters using a universal step size in each component as in SGLD may cause slow mixing. To address this issue, we apply a computationally manageable preconditioner in the updating rule, which provides a step-size parameter to adapt to local geometric properties. Moreover, by smoothly optimizing the hyperparameter in the preconditioning matrix, our proposed algorithm ensures a decreasing bias, which is introduced by ignoring the correction term in preconditioned SGLD. According to the existing theoretical framework, we show that the proposed algorithm can asymptotically converge to the correct distribution with a controllable bias under mild conditions. Numerical tests are performed on both synthetic regression problems and learning the solutions of elliptic PDE, which demonstrate the accuracy and efficiency of present work. | 翻訳日:2022-11-15 14:22:07 公開日:2020-06-29 |
| # 様々な確率的学習アルゴリズムの学習率を自動的に決定する勾配専用線探索 Gradient-only line searches to automatically determine learning rates for a variety of stochastic training algorithms ( http://arxiv.org/abs/2007.01054v1 ) ライセンス: Link先を確認 | Dominic Kafka and Daniel Nicolas Wilke | (参考訳) 勾配のみおよび確率的ライン検索は、最近、動的ミニバッチサブサンプリングニューラルネットワークトレーニングで学習率を適応的に決定する能力を再導入した。
しかし、確率線探索はまだ初期段階であり、現在進行中の調査を要求する。
nag, adagrad, adadelta, adam, lbfgsなど,さまざまな損失関数を持つ異なるデータセットでトレーニングされた多数の浅層,深層,畳み込みニューラルネットワークアーキテクチャを備えた,一般的なニューラルネットワークトレーニングアルゴリズムの選択のための学習率スケジュールを自動的に決定するために,不必要(gols-i)である勾配のみの行探索の適用について検討した。
GOLS-Iの学習率スケジュールは、手作業によるチューニングされた学習率、最適化アルゴリズム7以上、ニューラルネットワークアーキテクチャ3タイプ、データセット23、損失関数2つと競合している。
支配的な運動量特性を含むアルゴリズムはGOLS-Iでの使用には適していないことを示す。
しかし、最も一般的なニューラルネットワークトレーニングアルゴリズムでは、GOLS-Iは15桁以上の学習率スケジュールを自動的に決定し、ニューラルネットワークトレーニングにおける学習率スケジュールの感度の高いハイパーパラメータを調整する必要性を効果的に除去する。 Gradient-only and probabilistic line searches have recently reintroduced the ability to adaptively determine learning rates in dynamic mini-batch sub-sampled neural network training. However, stochastic line searches are still in their infancy and thus call for an ongoing investigation. We study the application of the Gradient-Only Line Search that is Inexact (GOLS-I) to automatically determine the learning rate schedule for a selection of popular neural network training algorithms, including NAG, Adagrad, Adadelta, Adam and LBFGS, with numerous shallow, deep and convolutional neural network architectures trained on different datasets with various loss functions. We find that GOLS-I's learning rate schedules are competitive with manually tuned learning rates, over seven optimization algorithms, three types of neural network architecture, 23 datasets and two loss functions. We demonstrate that algorithms, which include dominant momentum characteristics, are not well suited to be used with GOLS-I. However, we find GOLS-I to be effective in automatically determining learning rate schedules over 15 orders of magnitude, for most popular neural network training algorithms, effectively removing the need to tune the sensitive hyperparameters of learning rate schedules in neural network training. | 翻訳日:2022-11-15 14:21:11 公開日:2020-06-29 |
| # 画像補完のためのベイジアン低ランクテンソルリングモデル Bayesian Low Rank Tensor Ring Model for Image Completion ( http://arxiv.org/abs/2007.01055v1 ) ライセンス: Link先を確認 | Zhen Long, Ce Zhu, Jiani Liu, Yipeng Liu | (参考訳) 低ランクテンソルリングモデルは、データ取得と変換の欠落エントリを回復する画像補完に強力である。
最近提案されたテンソルリング(TR)に基づく完備化アルゴリズムは、最小二乗法と予め定義された階数とを交互に組み合わせることで、一般に低階数最適化の問題を解決する。
本稿では,データの低階構造を自動学習することにより,画像補完のためのベイズ低階テンソルリングモデルを提案する。
低ランクテンソル環分解のための乗法的相互作用モデルが開発され、中核因子は学生-T分布に従うと仮定してスパースに強制される。
既存のほとんどの手法と比較して、提案手法はパラメータチューニングが不要であり、TRランクはベイズ推定によって得ることができる。
合成データ,異なるサイズのカラー画像,一ポーズに対するYaleFaceデータセットBなどを含む数値実験により,提案手法は,特に回復精度において最先端のものよりも優れていることが示された。 Low rank tensor ring model is powerful for image completion which recovers missing entries in data acquisition and transformation. The recently proposed tensor ring (TR) based completion algorithms generally solve the low rank optimization problem by alternating least squares method with predefined ranks, which may easily lead to overfitting when the unknown ranks are set too large and only a few measurements are available. In this paper, we present a Bayesian low rank tensor ring model for image completion by automatically learning the low rank structure of data. A multiplicative interaction model is developed for the low-rank tensor ring decomposition, where core factors are enforced to be sparse by assuming their entries obey Student-T distribution. Compared with most of the existing methods, the proposed one is free of parameter-tuning, and the TR ranks can be obtained by Bayesian inference. Numerical Experiments, including synthetic data, color images with different sizes and YaleFace dataset B with respect to one pose, show that the proposed approach outperforms state-of-the-art ones, especially in terms of recovery accuracy. | 翻訳日:2022-11-15 14:20:45 公開日:2020-06-29 |
| # 感情認識と感情分析のためのトランスフォーマーに基づくジョイントエンコーディング A Transformer-based joint-encoding for Emotion Recognition and Sentiment Analysis ( http://arxiv.org/abs/2006.15955v1 ) ライセンス: Link先を確認 | Jean-Benoit Delbrouck and No\'e Tits and Mathilde Brousmiche and St\'ephane Dupont | (参考訳) 表現された感情と感情を理解することは、人間のマルチモーダル言語において2つの重要な要素である。
本稿では,感情認識・感情分析のための変換器を用いた共同符号化(TBJE)について述べる。
Transformerアーキテクチャの使用に加えて、モジュールのコアテンションと1つ以上のモダリティを共同でエンコードするスニース層に依存しています。
提案されたソリューションは、CMU-MOSEIデータセットで評価するために、ACL20: Second Grand-Challenge on Multimodal Languageにも提出されている。
提示された実験を再現するコードは、オープンソースである。 Understanding expressed sentiment and emotions are two crucial factors in human multimodal language. This paper describes a Transformer-based joint-encoding (TBJE) for the task of Emotion Recognition and Sentiment Analysis. In addition to use the Transformer architecture, our approach relies on a modular co-attention and a glimpse layer to jointly encode one or more modalities. The proposed solution has also been submitted to the ACL20: Second Grand-Challenge on Multimodal Language to be evaluated on the CMU-MOSEI dataset. The code to replicate the presented experiments is open-source: https://github.com/jbdel/MOSEI_UMONS. | 翻訳日:2022-11-15 14:14:34 公開日:2020-06-29 |
| # メタヒューリスティックスアルゴリズムを用いたスマートグリッドにおけるIoT応用MKPの解決:並列処理の視点から Solving MKP Applied to IoT in Smart Grid Using Meta-heuristics Algorithms: A Parallel Processing Perspective ( http://arxiv.org/abs/2006.15927v1 ) ライセンス: Link先を確認 | Jandre Albertyn, Ling Cheng, Adnan M. Abu-Mahfouz | (参考訳) 南アフリカの電力価格の上昇と過負荷電力網による負荷削減の差し迫った脅威は、スマートグリッドのような需要側管理(dsm)デバイスの必要性につながった。
スマートグリッドがピークに達するためには、そのエネルギー管理コントローラ(EMC)システムを最適化する必要がある。
DSMの現在の解法とMKP(Multiple Knapsack Problem)の最適化について,DSMモデルの現状を明らかにするために検討した。
他のNP-Hard問題からの解法として、反復離散フラワーポリネレーションアルゴリズム (iDFPA) の形での解や、並列化による最適化の形での将来の拡張性オプションも提案されている。 Increasing electricity prices in South Africa and the imminent threat of load shedding due to the overloaded power grid has led to a need for Demand Side Management (DSM) devices like smart grids. For smart grids to perform to their peak, their energy management controller (EMC) systems need to be optimized. Current solutions for DSM and optimization of the Multiple Knapsack Problem (MKP) have been investigated in this paper to discover the current state of common DSM models. Solutions from other NP-Hard problems in the form of the iterative Discrete Flower Pollination Algorithm (iDFPA) as well as possible future scalability options in the form of optimization through parallelization have also been suggested. | 翻訳日:2022-11-15 14:14:10 公開日:2020-06-29 |
| # 強化学習による学習自動IoT攻撃検出に向けて Towards Learning-automation IoT Attack Detection through Reinforcement Learning ( http://arxiv.org/abs/2006.15826v1 ) ライセンス: Link先を確認 | Tianbo Gu, Allaukik Abhishek, Hao Fu, Huanle Zhang, Debraj Basu, Prasant Mohapatra | (参考訳) IoT(Internet of Things)デバイスの多くがデプロイされているため、IoTのセキュリティとプライバシの問題がますます注目を集めている。
IoT攻撃はIoTネットワークに大きな損失をもたらし、人間の安全を脅かしている。
従来のネットワークと比較して、IoTネットワークにはユニークな特徴があるため、攻撃検出がより困難になる。
まず、プラットフォーム、プロトコル、ソフトウェア、ハードウェアの多様性が、さまざまな脆弱性を公開する。
第二に、従来のハイレート攻撃に加えて、IoT攻撃者が合法的で悪意のあるトラフィックを難読化するために、低レート攻撃も広く使用されている。
これらの低レート攻撃は検出が困難であり、ネットワーク内で持続することができる。
最後に、攻撃者はよりインテリジェントに進化し、環境フィードバックに基づいて攻撃戦略を動的に変更して検出を避けることができるため、攻撃を識別するための一貫したパターンを見つけることがより困難になる。
そこで本研究では,IoT攻撃の新たな特徴に対応するために,攻撃パターンの変換を自動的に学習し,認識できる強化学習に基づく攻撃検出モデルを提案する。
そのため、人間の介入を減らしてIoT攻撃を継続的に検出できる。
本稿では、IoTトラフィックの重要な特徴について検討し、エントロピーベースのメトリクスを使用して、ハイレートとローレートの両方のIoT攻撃を検出する。
その後,強化学習手法を用いて,検出フィードバックに基づいて攻撃検出閾値を連続的に調整し,検出と誤報率を最適化する。
実際のIoT攻撃データセットに対して広範な実験を行い、IoT攻撃検出フレームワークの有効性を実証しています。 As a massive number of the Internet of Things (IoT) devices are deployed, the security and privacy issues in IoT arouse more and more attention. The IoT attacks are causing tremendous loss to the IoT networks and even threatening human safety. Compared to traditional networks, IoT networks have unique characteristics, which make the attack detection more challenging. First, the heterogeneity of platforms, protocols, software, and hardware exposes various vulnerabilities. Second, in addition to the traditional high-rate attacks, the low-rate attacks are also extensively used by IoT attackers to obfuscate the legitimate and malicious traffic. These low-rate attacks are challenging to detect and can persist in the networks. Last, the attackers are evolving to be more intelligent and can dynamically change their attack strategies based on the environment feedback to avoid being detected, making it more challenging for the defender to discover a consistent pattern to identify the attack. In order to adapt to the new characteristics in IoT attacks, we propose a reinforcement learning-based attack detection model that can automatically learn and recognize the transformation of the attack pattern. Therefore, we can continuously detect IoT attacks with less human intervention. In this paper, we explore the crucial features of IoT traffics and utilize the entropy-based metrics to detect both the high-rate and low-rate IoT attacks. Afterward, we leverage the reinforcement learning technique to continuously adjust the attack detection threshold based on the detection feedback, which optimizes the detection and the false alarm rate. We conduct extensive experiments over a real IoT attack dataset and demonstrate the effectiveness of our IoT attack detection framework. | 翻訳日:2022-11-15 14:13:40 公開日:2020-06-29 |
| # 集団ゲームにおける独立学習エージェントの進化ダイナミクス The Evolutionary Dynamics of Independent Learning Agents in Population Games ( http://arxiv.org/abs/2006.16068v1 ) ライセンス: Link先を確認 | Shuyue Hu, Chin-Wing Leung, Ho-fung Leung, Harold Soh | (参考訳) マルチエージェント環境下での強化学習の進化的ダイナミクスを理解することは、長い間オープンな問題であった。
先行研究は主に2人プレイのゲームに焦点を絞ったが,我々は,小規模エージェントと匿名エージェントからなる大規模集団の戦略的相互作用をモデル化した人口ゲームを考える。
本稿では,報奨信号に基づいて推論を行う独立学習エージェントの確率過程とダイナミクスの形式的関係について述べる。
マスター方程式を用いて,単一偏微分方程式 (theorem 1) による個体群動態を特徴付ける新しい統一フレームワークを提案する。
クロスラーニングエージェントを含むケーススタディを通じて、定理1は定性的に異なる進化のダイナミクスを識別し、定常状態を分析し、人口の期待された行動に対する洞察を得ることを可能にする。
さらに,Theorem 1が様々な学習方法や集団ゲームに有効であることを示す広範な実験結果を示す。 Understanding the evolutionary dynamics of reinforcement learning under multi-agent settings has long remained an open problem. While previous works primarily focus on 2-player games, we consider population games, which model the strategic interactions of a large population comprising small and anonymous agents. This paper presents a formal relation between stochastic processes and the dynamics of independent learning agents who reason based on the reward signals. Using a master equation approach, we provide a novel unified framework for characterising population dynamics via a single partial differential equation (Theorem 1). Through a case study involving Cross learning agents, we illustrate that Theorem 1 allows us to identify qualitatively different evolutionary dynamics, to analyse steady states, and to gain insights into the expected behaviour of a population. In addition, we present extensive experimental results validating that Theorem 1 holds for a variety of learning methods and population games. | 翻訳日:2022-11-15 14:13:17 公開日:2020-06-29 |
| # ワンショット多段木による非筋的ベイズ最適化の効率化 Efficient Nonmyopic Bayesian Optimization via One-Shot Multi-Step Trees ( http://arxiv.org/abs/2006.15779v1 ) ライセンス: Link先を確認 | Shali Jiang, Daniel R. Jiang, Maximilian Balandat, Brian Karrer, Jacob R. Gardner, Roman Garnett | (参考訳) ベイズ最適化は、高価なブラックボックス関数を最適化するためのシーケンシャルな意思決定フレームワークである。
完全なルックアヘッドポリシーの計算は、高度に難解な確率的動的プログラムの解法に等しい。
期待された改善のような近視的アプローチは、しばしば実際に採用されるが、即時決定の長期的な影響を無視する。
既存の非神秘的アプローチは、主にヒューリスティックで計算コストが高い。
本稿では,マルチステップシナリオツリー内のネスト最適化問題の列として定式化された,汎用多段階ベイズ最適化の最初の効率的な実装を提案する。
これらの問題をネストした方法で解決する代わりに、全木のすべての決定変数を‘ワンショット’形式で共同で最適化する。
これをマルチステップガウスプロセスである ‘fantasization'' の効率的な実装法と組み合わせることで,マルチステップ期待改善の計算性が向上し,既存の手法よりも幅広いベンチマークで性能が向上することを示す。 Bayesian optimization is a sequential decision making framework for optimizing expensive-to-evaluate black-box functions. Computing a full lookahead policy amounts to solving a highly intractable stochastic dynamic program. Myopic approaches, such as expected improvement, are often adopted in practice, but they ignore the long-term impact of the immediate decision. Existing nonmyopic approaches are mostly heuristic and/or computationally expensive. In this paper, we provide the first efficient implementation of general multi-step lookahead Bayesian optimization, formulated as a sequence of nested optimization problems within a multi-step scenario tree. Instead of solving these problems in a nested way, we equivalently optimize all decision variables in the full tree jointly, in a ``one-shot'' fashion. Combining this with an efficient method for implementing multi-step Gaussian process ``fantasization,'' we demonstrate that multi-step expected improvement is computationally tractable and exhibits performance superior to existing methods on a wide range of benchmarks. | 翻訳日:2022-11-15 14:13:01 公開日:2020-06-29 |
| # 変分ベイズニューラルネットワークの統計的基礎 Statistical Foundation of Variational Bayes Neural Networks ( http://arxiv.org/abs/2006.15786v1 ) ライセンス: Link先を確認 | Shrijita Bhattacharya and Tapabrata Maiti | (参考訳) 近年のベイズニューラルネットワークの普及にもかかわらず、完全な後続評価に伴う計算コストのため、複雑なデータやビッグデータの状況では多少制限されている。
変分ベイズ(vb)は、マルコフ連鎖モンテカルロ(mcmc)技術を用いて、真の後方からのサンプル生成に伴う計算コストと時間の複雑さを回避するための有用な代替手段を提供する。
VB法の有効性は機械学習文学においてよく確立されている。
しかし、その潜在的に広範な影響は、統計的観点からの理論的妥当性の欠如によって妨げられている。
しかしながら、特に非パラメトリック問題において、VBの理論的性質に反する結果はほとんどない。
本稿では,フィードフォワード人工ニューラルネットワークモデルにおける平均場変動後部(VP)の後方整合性の基本的結果を確立する。
この論文は、vpが真の密度関数のヘリンジャー近傍に集中することを保証するために必要な条件を強調する。
また,スケールパラメータの役割と収束率への影響についても考察した。
本論文は,(1) 真の後肢の成長率(2) 後方と変動後肢の間のkl距離の増大率の2つの結果に主に依存する。
この理論はベイズNNモデルの事前分布を構築し、対応するVB実装の精度を評価するためのガイドラインを提供する。 Despite the popularism of Bayesian neural networks in recent years, its use is somewhat limited in complex and big data situations due to the computational cost associated with full posterior evaluations. Variational Bayes (VB) provides a useful alternative to circumvent the computational cost and time complexity associated with the generation of samples from the true posterior using Markov Chain Monte Carlo (MCMC) techniques. The efficacy of the VB methods is well established in machine learning literature. However, its potential broader impact is hindered due to a lack of theoretical validity from a statistical perspective. However there are few results which revolve around the theoretical properties of VB, especially in non-parametric problems. In this paper, we establish the fundamental result of posterior consistency for the mean-field variational posterior (VP) for a feed-forward artificial neural network model. The paper underlines the conditions needed to guarantee that the VP concentrates around Hellinger neighborhoods of the true density function. Additionally, the role of the scale parameter and its influence on the convergence rates has also been discussed. The paper mainly relies on two results (1) the rate at which the true posterior grows (2) the rate at which the KL-distance between the posterior and variational posterior grows. The theory provides a guideline of building prior distributions for Bayesian NN models along with an assessment of accuracy of the corresponding VB implementation. | 翻訳日:2022-11-15 14:12:05 公開日:2020-06-29 |
| # 共変量シフト下における教師なし校正 Unsupervised Calibration under Covariate Shift ( http://arxiv.org/abs/2006.16405v1 ) ライセンス: Link先を確認 | Anusri Pampari and Stefano Ermon | (参考訳) 確率モデル(probabilistic model)は、その予測確率が対応する経験周波数と一致した場合に校正されるとされる。
キャリブレーションは、安全クリティカルな応用における不確実な定量化と意思決定に重要である。
分類器の校正は広く研究されているが、校正は不安定であり、最小の共変量シフトで容易に失われる。
ドメイン適応を含む既存の技術は主に予測精度に重点を置いており、理論上も実際においても校正を保証していない。
本研究では,ドメインシフト下でのキャリブレーションの問題を正式に導入し,それに対応する重要なサンプリングベースアプローチを提案する。
本手法の有効性を実世界データセットと合成データセットの両方で評価・検討する。 A probabilistic model is said to be calibrated if its predicted probabilities match the corresponding empirical frequencies. Calibration is important for uncertainty quantification and decision making in safety-critical applications. While calibration of classifiers has been widely studied, we find that calibration is brittle and can be easily lost under minimal covariate shifts. Existing techniques, including domain adaptation ones, primarily focus on prediction accuracy and do not guarantee calibration neither in theory nor in practice. In this work, we formally introduce the problem of calibration under domain shift, and propose an importance sampling based approach to address it. We evaluate and discuss the efficacy of our method on both real-world datasets and synthetic datasets. | 翻訳日:2022-11-15 14:05:34 公開日:2020-06-29 |
| # マルチスケール動的メモリを利用したリカレントニューラルネットワークのインクリメンタルトレーニング Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory ( http://arxiv.org/abs/2006.16800v1 ) ライセンス: Link先を確認 | Antonio Carta, Alessandro Sperduti, Davide Bacciu | (参考訳) 繰り返しニューラルネットワークの有効性は、異なる周波数と時間スケールで入力シーケンスから抽出された動的メモリ情報に格納する能力に大きく影響される。
このような機能は、動的メモリの適切なモジュール化によって、ニューラルネットワークアーキテクチャに導入することができる。
本稿では,マルチスケール学習を目標とした新しい漸進的学習型リカレントアーキテクチャを提案する。
まず、隠れた状態を異なるモジュールに分割し、それぞれ異なる周波数で隠れたアクティベーションをサブサンプリングすることで、単純なRNNのアーキテクチャを拡張する方法を示す。
次に,新しいモジュールを反復的にモデルに追加し,より長い依存関係を学習するトレーニングアルゴリズムについて検討する。
それぞれの新しいモジュールは以前のモジュールよりも遅い頻度で動作し、隠れたアクティベーションのサブサンプリングシーケンスをエンコードするように初期化される。
音声認識と手書き文字の合成および実世界のデータセットに対する実験結果から,モジュールアーキテクチャと漸進的学習アルゴリズムにより,ニューラルネットワークの長期依存性を捕捉する能力が改善された。 The effectiveness of recurrent neural networks can be largely influenced by their ability to store into their dynamical memory information extracted from input sequences at different frequencies and timescales. Such a feature can be introduced into a neural architecture by an appropriate modularization of the dynamic memory. In this paper we propose a novel incrementally trained recurrent architecture targeting explicitly multi-scale learning. First, we show how to extend the architecture of a simple RNN by separating its hidden state into different modules, each subsampling the network hidden activations at different frequencies. Then, we discuss a training algorithm where new modules are iteratively added to the model to learn progressively longer dependencies. Each new module works at a slower frequency than the previous ones and it is initialized to encode the subsampled sequence of hidden activations. Experimental results on synthetic and real-world datasets on speech recognition and handwritten characters show that the modular architecture and the incremental training algorithm improve the ability of recurrent neural networks to capture long-term dependencies. | 翻訳日:2022-11-15 14:04:56 公開日:2020-06-29 |
| # 差別的ジャックナイフ:高次影響関数による深層学習の不確かさの定量化 Discriminative Jackknife: Quantifying Uncertainty in Deep Learning via Higher-Order Influence Functions ( http://arxiv.org/abs/2007.13481v1 ) ライセンス: Link先を確認 | Ahmed M. Alaa, Mihaela van der Schaar | (参考訳) ディープラーニングモデルは幅広いタスクにわたって高い予測精度を達成するが、予測の不確実性を厳密に定量化することは依然として困難である。
予測の不確実性の予測は,(1)真の予測対象を高い確率でカバーし,(2)高信頼と低信頼の予測インスタンスを識別する。
既存の不確実性定量化の方法は、主にベイズニューラルネットワークに基づいており、(1) と (2) の不足、すなわちベイズ的信頼区間は頻繁なカバレッジを保証せず、近似的な後部推論は識別精度を損なう。
本稿では,モデルの損失関数の影響関数を利用して,予測信頼区間のjackknife(またはleft-one-out)推定器を構築する手法であるjackknife(dj)を開発した。
1)および(2)を満たすDJは、幅広いディープラーニングモデルに適用可能であり、実装が容易であり、モデルトレーニングに干渉したり、精度を妥協したりすることなく、ポストホックな方法で適用することができる。
実験により、djは既存のベイズ回帰ベースラインと非ベイズ回帰ベースラインとを比較できることを示した。 Deep learning models achieve high predictive accuracy across a broad spectrum of tasks, but rigorously quantifying their predictive uncertainty remains challenging. Usable estimates of predictive uncertainty should (1) cover the true prediction targets with high probability, and (2) discriminate between high- and low-confidence prediction instances. Existing methods for uncertainty quantification are based predominantly on Bayesian neural networks; these may fall short of (1) and (2) -- i.e., Bayesian credible intervals do not guarantee frequentist coverage, and approximate posterior inference undermines discriminative accuracy. In this paper, we develop the discriminative jackknife (DJ), a frequentist procedure that utilizes influence functions of a model's loss functional to construct a jackknife (or leave-one-out) estimator of predictive confidence intervals. The DJ satisfies (1) and (2), is applicable to a wide range of deep learning models, is easy to implement, and can be applied in a post-hoc fashion without interfering with model training or compromising its accuracy. Experiments demonstrate that DJ performs competitively compared to existing Bayesian and non-Bayesian regression baselines. | 翻訳日:2022-11-15 14:04:15 公開日:2020-06-29 |
| # ポラリメトリック合成開口レーダ画像分類のためのアクティブアンサンブル深層学習 Active Ensemble Deep Learning for Polarimetric Synthetic Aperture Radar Image Classification ( http://arxiv.org/abs/2006.15771v1 ) ライセンス: Link先を確認 | Sheng-Jie Liu, Haowen Luo, Qian Shi | (参考訳) ディープラーニングは画像分類タスクで大きな成功を収めているが、その性能はトレーニングサンプルの量と品質にかかっている。
ポラリメトリック合成開口レーダ(polsar)画像の分類では,視覚解釈から画像に注釈を付けることはほぼ不可能である。
したがって、リモートセンシング科学者は、ごく少数のトレーニングサンプルの条件下で、PolSAR画像分類の新しい技術を開発することが急務である。
本稿では,アクティブ・ラーニングの利点を活かし,PolSAR画像分類のためのアクティブ・アンサンブル・ディープ・ラーニング(AEDL)を提案する。
最初に、深層学習モデルのスナップショットの予測されたラベルの35%が、その収束付近で全く同じであることを示した。
スナップショット間の不一致は無視できない。
マルチビュー学習の観点からは、スナップショットはラベルのないインスタンスの重要性を評価するための良い委員会として機能する。
スナップショット委員会を用いてラベルなしデータの情報提供を行い、提案されたAEDLは、標準的なアクティブな学習戦略と比較して、2つの実際のPolSAR画像に対してより良いパフォーマンスを実現した。
86%と55%のトレーニングサンプルで同じ分類精度を達成し、flevolandデータセットのアクティブラーニングとランダム選択を破った。 Although deep learning has achieved great success in image classification tasks, its performance is subject to the quantity and quality of training samples. For classification of polarimetric synthetic aperture radar (PolSAR) images, it is nearly impossible to annotate the images from visual interpretation. Therefore, it is urgent for remote sensing scientists to develop new techniques for PolSAR image classification under the condition of very few training samples. In this letter, we take the advantage of active learning and propose active ensemble deep learning (AEDL) for PolSAR image classification. We first show that only 35\% of the predicted labels of a deep learning model's snapshots near its convergence were exactly the same. The disagreement between snapshots is non-negligible. From the perspective of multiview learning, the snapshots together serve as a good committee to evaluate the importance of unlabeled instances. Using the snapshots committee to give out the informativeness of unlabeled data, the proposed AEDL achieved better performance on two real PolSAR images compared with standard active learning strategies. It achieved the same classification accuracy with only 86% and 55% of the training samples compared with breaking ties active learning and random selection for the Flevoland dataset. | 翻訳日:2022-11-15 14:03:54 公開日:2020-06-29 |
| # 教師なし学習と細粒度マルチラベル認識に基づくエレベータの乗客流からの異常活動の捕捉 Abnormal activity capture from passenger flow of elevator based on unsupervised learning and fine-grained multi-label recognition ( http://arxiv.org/abs/2006.15873v1 ) ライセンス: Link先を確認 | Chunhua Jia, Wenhai Yi, Yu Wu, Hui Huang, Lei Zhang, Leilei Wu | (参考訳) 本稿では,多層住宅におけるエレベータの利用者フローを通じて,住民の異常活動の把握を目的とした作業フローを提案する。
エレベーターには、カメラとセンサー(ホールセンサー、光電センサー、ジャイロ、加速度計、気圧計、温度計)が取り付けられ、画像とデータを収集する。
インスタンスセグメンテーション、マルチラベル認識、埋め込み、クラスタリングなどのコンピュータビジョンアルゴリズムは、エレベータの乗客フロー、つまり、各階のエレベータの何人、どの種類の人が乗降するかを一般化するために適用される。
より具体的には, 性別, 年齢, 外観, 職業など, 人間の属性を認識するための, きめ細かいマルチラベル認識タスクのためのソリューションGraftNetを提案する。
そして、乗客フローデータに教師なし学習の異常検出を階層的に適用し、薬物取引、ピラミッド販売、売春、密集住宅等の安全上の危険をもたらす可能性のある住民の異常又は違法行為を捕捉する。
実験では効果があり、キャプチャされたレコードは顧客(プロパティマネージャ)に直接報告され、さらなる確認が行われます。 We present a work-flow which aims at capturing residents' abnormal activities through the passenger flow of elevator in multi-storey residence buildings. Camera and sensors (hall sensor, photoelectric sensor, gyro, accelerometer, barometer, and thermometer) with internet connection are mounted in elevator to collect image and data. Computer vision algorithms such as instance segmentation, multi-label recognition, embedding and clustering are applied to generalize passenger flow of elevator, i.e. how many people and what kinds of people get in and out of the elevator on each floor. More specifically in our implementation we propose GraftNet, a solution for fine-grained multi-label recognition task, to recognize human attributes, e.g. gender, age, appearance, and occupation. Then anomaly detection of unsupervised learning is hierarchically applied on the passenger flow data to capture abnormal or even illegal activities of the residents which probably bring safety hazard, e.g. drug dealing, pyramid sale gathering, prostitution, and over crowded residence. Experiment shows effects are there, and the captured records will be directly reported to our customer(property managers) for further confirmation. | 翻訳日:2022-11-15 14:03:34 公開日:2020-06-29 |
| # MoNet3D: 高精度なモノクロ3Dオブジェクトのリアルタイム局在を目指して MoNet3D: Towards Accurate Monocular 3D Object Localization in Real Time ( http://arxiv.org/abs/2006.16007v1 ) ライセンス: Link先を確認 | Xichuan Zhou, Yicong Peng, Chunqiao Long, Fengbo Ren, Cong Shi | (参考訳) 3d空間における単眼的多物体検出と局在化は難しい課題である。
MoNet3Dアルゴリズムは、モノクロ画像中の各オブジェクトの3D位置を予測し、各オブジェクトに対して3Dバウンディングボックスを描画できる、新しく効果的なフレームワークである。
MoNet3D法は、近接する物体の空間幾何学的相関の事前知識をディープニューラルネットワークトレーニングプロセスに組み込んで、3D物体の局在の精度を向上させる。
KITTIデータセットの実験では、3次元空間における物体の深さと水平座標の精度はそれぞれ96.25\%と94.74\%に達することが示されている。
さらに,27.85FPSのリアルタイム画像処理を実現し,組込み運転支援システムへの応用の可能性を示した。
私たちのコードはhttps://github.com/cqulearningsystemgroup/yicongpengで公開されています。 Monocular multi-object detection and localization in 3D space has been proven to be a challenging task. The MoNet3D algorithm is a novel and effective framework that can predict the 3D position of each object in a monocular image and draw a 3D bounding box for each object. The MoNet3D method incorporates prior knowledge of the spatial geometric correlation of neighbouring objects into the deep neural network training process to improve the accuracy of 3D object localization. Experiments on the KITTI dataset show that the accuracy for predicting the depth and horizontal coordinates of objects in 3D space can reach 96.25\% and 94.74\%, respectively. Moreover, the method can realize the real-time image processing at 27.85 FPS, showing promising potential for embedded advanced driving-assistance system applications. Our code is publicly available at https://github.com/CQUlearningsystemgroup/YicongPeng. | 翻訳日:2022-11-15 14:03:11 公開日:2020-06-29 |
| # 動的時空間関係に基づく人間の活動認識 Human Activity Recognition based on Dynamic Spatio-Temporal Relations ( http://arxiv.org/abs/2006.16132v1 ) ライセンス: Link先を確認 | Zhenyu Liu, Yaqiang Yao, Yan Liu, Yuening Zhu, Zhenchao Tao, Lei Wang, Yuhong Feng | (参考訳) 通常、人間の活動はいくつかの行動から成り、一般的に人や物体間の相互作用をカバーしている。
特に、人間の行動は特定の空間的および時間的関係を持ち、より複雑な活動の構成要素であり、時間とともに動的に進化する。
したがって、人間行動の単一記述と連続する人間の行動の進化のモデル化は、人間の行動認識において2つの大きな問題である。
本稿では,この2つの課題に取り組むためのヒューマンアクティビティ認識手法を提案する。
提案手法では,活動は時空間パターンで表される複数の連続的な行動に分割し,これらの行動の進化を逐次モデルにより捉えた。
改良された包括的時空間グラフを用いて、参加者オブジェクトの空間的および時間的関係を取り入れた人間の行動の質的表現である単一の行動を表現する。
次に、離散隠れマルコフモデルを適用し、アクションシーケンスの進化をモデル化する。
さらに, 長期人間の活動映像を, 変動対象と定性的空間関係に基づく複数の人間行動に分割する完全自動分割法を提案する。
最後に、人間の身体の階層的な分解を導入し、単一の行動に対する識別的表現を得る。
コーネル活動データセットにおける実験結果は、人間の活動の長い動画をよりよく認識できるようにする提案手法の効率と有効性を示している。 Human activity, which usually consists of several actions, generally covers interactions among persons and or objects. In particular, human actions involve certain spatial and temporal relationships, are the components of more complicated activity, and evolve dynamically over time. Therefore, the description of a single human action and the modeling of the evolution of successive human actions are two major issues in human activity recognition. In this paper, we develop a method for human activity recognition that tackles these two issues. In the proposed method, an activity is divided into several successive actions represented by spatio temporal patterns, and the evolution of these actions are captured by a sequential model. A refined comprehensive spatio temporal graph is utilized to represent a single action, which is a qualitative representation of a human action incorporating both the spatial and temporal relations of the participant objects. Next, a discrete hidden Markov model is applied to model the evolution of action sequences. Moreover, a fully automatic partition method is proposed to divide a long-term human activity video into several human actions based on variational objects and qualitative spatial relations. Finally, a hierarchical decomposition of the human body is introduced to obtain a discriminative representation for a single action. Experimental results on the Cornell Activity Dataset demonstrate the efficiency and effectiveness of the proposed approach, which will enable long videos of human activity to be better recognized. | 翻訳日:2022-11-15 14:02:56 公開日:2020-06-29 |
| # 深層学習による医用イメージング:MIDL 2020 -- 短距離紙線 Medical Imaging with Deep Learning: MIDL 2020 -- Short Paper Track ( http://arxiv.org/abs/2007.02319v1 ) ライセンス: Link先を確認 | Tal Arbel, Ismail Ben Ayed, Marleen de Bruijne, Maxime Descoteaux, Herve Lombaert, Chris Pal | (参考訳) このコンペンディウムは、2020年7月6日から9日にかけて、カナダ、モントリオールで開催された第3回医学画像会議(midl 2020)の要約を集めたものである。
MIDL 2020 Full Paper Track は Proceedings of Machine Learning Research (PMLR) に掲載されている。 This compendium gathers all the accepted extended abstracts from the Third International Conference on Medical Imaging with Deep Learning (MIDL 2020), held in Montreal, Canada, 6-9 July 2020. Note that only accepted extended abstracts are listed here, the Proceedings of the MIDL 2020 Full Paper Track are published in the Proceedings of Machine Learning Research (PMLR). | 翻訳日:2022-11-15 14:02:37 公開日:2020-06-29 |
| # 分割レストスクエア Partitioned Least Squares ( http://arxiv.org/abs/2006.16202v1 ) ライセンス: Link先を確認 | Roberto Esposito and Mattia Cerrato and Marco Locatelli | (参考訳) 本稿では, 線形最小二乗モデルの変種として, 実験者が入力特徴を変数群に分割し, 最終的な結果に類似して寄与することを提案する。
アウトプットにより、実践者はグループ内の各グループと各変数の重要性を評価することができる。
我々は,新たな定式化が凸性ではなく,最小二乗法に基づく非コンパクト法と,最小値が最適解であることが保証された指数関数数を用いた問題の修正に基づく厳密な方法の2つの方法を提案する。
正確な方法の正しさを正式に示し、また、正解が最小二乗解の交互に必要となる時間(分割数が小さいと仮定した場合)により良い結果をもたらすことを示す2つの解を比較する。
完全性のために,分割数が大きすぎる場合の正確な方法の代わりに,代替分岐と有界アルゴリズムも提供し,本論文で導入した最適化問題のNP完全性の証明を行う。 In this paper we propose a variant of the linear least squares model allowing practitioners to partition the input features into groups of variables that they require to contribute similarly to the final result. The output allows practitioners to assess the importance of each group and of each variable in the group. We formally show that the new formulation is not convex and provide two alternative methods to deal with the problem: one non-exact method based on an alternating least squares approach; and one exact method based on a reformulation of the problem using an exponential number of sub-problems whose minimum is guaranteed to be the optimal solution. We formally show the correctness of the exact method and also compare the two solutions showing that the exact solution provides better results in a fraction of the time required by the alternating least squares solution (assuming that the number of partitions is small). For the sake of completeness, we also provide an alternative branch and bound algorithm that can be used in place of the exact method when the number of partitions is too large, and a proof of NP-completeness of the optimization problem introduced in this paper. | 翻訳日:2022-11-15 13:56:38 公開日:2020-06-29 |
| # モデルに当てはまるか、データに当てはまるか? True to the Model or True to the Data? ( http://arxiv.org/abs/2006.16234v1 ) ライセンス: Link先を確認 | Hugh Chen, Joseph D. Janizek, Scott Lundberg, Su-In Lee | (参考訳) 機械学習における特徴属性に対する連立ゲームの説明概念であるShapley値の適用について、近年のさまざまな論文が議論されている。
しかし、機械学習モデルを連立ゲームに結びつける正しい方法が議論の的となっている。
提案されている2つの主なアプローチは、(1)介入的または(2)観察的条件的期待を用いて、既知の特徴を条件付ける方法が異なる。
以前の研究では、2つのアプローチのうちの1つが一般に望ましいと主張しているが、私たちは選択はアプリケーションに依存すると主張している。
さらに、この選択はモデルに忠実であるか、データに真実であることが望ましいかに起因していると論じている。
我々はこの選択を調べるために線形モデルを使う。
線形モデルに対する観測条件期待値の効率的な計算法を導出した後,シミュレーションデータの相関が観測条件期待値の収束に与える影響について検討した。
最後に,(1)信用リスクモデリングと(2)生物学的発見という,機能帰属の可能性を示す2つの実データ例を示す。
異なる価値関数の選択がそれぞれのシナリオでどのように機能するか、そして、モデル選択によってどのように属性が影響されるかを示す。 A variety of recent papers discuss the application of Shapley values, a concept for explaining coalitional games, for feature attribution in machine learning. However, the correct way to connect a machine learning model to a coalitional game has been a source of controversy. The two main approaches that have been proposed differ in the way that they condition on known features, using either (1) an interventional or (2) an observational conditional expectation. While previous work has argued that one of the two approaches is preferable in general, we argue that the choice is application dependent. Furthermore, we argue that the choice comes down to whether it is desirable to be true to the model or true to the data. We use linear models to investigate this choice. After deriving an efficient method for calculating observational conditional expectation Shapley values for linear models, we investigate how correlation in simulated data impacts the convergence of observational conditional expectation Shapley values. Finally, we present two real data examples that we consider to be representative of possible use cases for feature attribution -- (1) credit risk modeling and (2) biological discovery. We show how a different choice of value function performs better in each scenario, and how possible attributions are impacted by modeling choices. | 翻訳日:2022-11-15 13:55:01 公開日:2020-06-29 |
| # 逆ロバストなガウス分類に対する鋭い統計的保証 Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification ( http://arxiv.org/abs/2006.16384v1 ) ライセンス: Link先を確認 | Chen Dan, Yuting Wei, Pradeep Ravikumar | (参考訳) 現代の機械学習アプリケーションでは、敵対的ロバスト性が基本的な要件となっている。
しかし、これまでのところ統計的な理解は驚くほど少なかった。
本稿では, 対数的ロバストな分類の過大なリスクに対する最適ミニマックス保証の最初の結果について, \cite{schmidt2018adversarially} によって提案されたガウス混合モデルを用いて述べる。
結果はAdvSNR(Adversarial Signal-to-Noise Ratio, AdvSNR)の項で述べられ、標準的な線形分類と逆数設定との類似の概念を一般化する。
AdvSNR値が$r$のガウス混合に対して、位数 $\Theta(e^{-(\frac{1}{8}+o(1)) r^2} \frac{d}{n})$ の過剰リスク下限を確立し、この最適率を達成する計算効率の良い推定器を設計する。
我々の結果は、任意の$p \ge 1$に対して$\ell_p$の球を含む幅広い対向摂動をカバーしながら、最小の仮定に基づいて構築された。 Adversarial robustness has become a fundamental requirement in modern machine learning applications. Yet, there has been surprisingly little statistical understanding so far. In this paper, we provide the first result of the optimal minimax guarantees for the excess risk for adversarially robust classification, under Gaussian mixture model proposed by \cite{schmidt2018adversarially}. The results are stated in terms of the Adversarial Signal-to-Noise Ratio (AdvSNR), which generalizes a similar notion for standard linear classification to the adversarial setting. For the Gaussian mixtures with AdvSNR value of $r$, we establish an excess risk lower bound of order $\Theta(e^{-(\frac{1}{8}+o(1)) r^2} \frac{d}{n})$ and design a computationally efficient estimator that achieves this optimal rate. Our results built upon minimal set of assumptions while cover a wide spectrum of adversarial perturbations including $\ell_p$ balls for any $p \ge 1$. | 翻訳日:2022-11-15 13:53:43 公開日:2020-06-29 |
| # 深いガウス過程を用いた入力領域定義の異なる多元性モデリング Multi-fidelity modeling with different input domain definitions using Deep Gaussian Processes ( http://arxiv.org/abs/2006.15924v1 ) ライセンス: Link先を確認 | Ali Hebbal, Loic Brevault, Mathieu Balesdent, El-Ghazali Talbi and Nouredine Melab | (参考訳) 多忠実なアプローチは、予測精度を改善するために、少ないが正確なデータセット(高忠実なデータセット)と大きいが近似的なデータセット(低忠実なデータセット)の上に構築された異なるモデルを組み合わせる。
ガウス過程(英: Gaussian Processes、GP)は、これらの異なる忠実度レベルの間の相関を示す一般的なアプローチの1つである。
GPの関数構成であるディープガウス過程(DGP)も、マルチフィデリティディープガウスプロセスモデル(MF-DGP)を用いて多重フィデリティに適用されている。
このモデルは、ベイズフレームワーク内の忠実度間の非線形相関を考慮し、GPと比較して表現力を増加させる。
しかし、これらの多重忠実度法は、異なる忠実度モデルの入力が同じ定義領域(例えば同じ変数、同じ次元)上で定義される場合にのみ考慮される。
しかし、低忠実度モデルの単純化により、いくつかの変数を省略したり、高忠実度モデルと比較して異なるパラメータ化を用いることもできる。
本稿では,MF-DGP (Deep Gaussian Processes for Multi-fidelity) を,各忠実度に対して異なるパラメトリゼーションを用いる場合まで拡張する。
提案手法の性能は, 解析的テスト事例と構造的および空力的実物問題に基づいて評価する。 Multi-fidelity approaches combine different models built on a scarce but accurate data-set (high-fidelity data-set), and a large but approximate one (low-fidelity data-set) in order to improve the prediction accuracy. Gaussian Processes (GPs) are one of the popular approaches to exhibit the correlations between these different fidelity levels. Deep Gaussian Processes (DGPs) that are functional compositions of GPs have also been adapted to multi-fidelity using the Multi-Fidelity Deep Gaussian process model (MF-DGP). This model increases the expressive power compared to GPs by considering non-linear correlations between fidelities within a Bayesian framework. However, these multi-fidelity methods consider only the case where the inputs of the different fidelity models are defined over the same domain of definition (e.g., same variables, same dimensions). However, due to simplification in the modeling of the low-fidelity, some variables may be omitted or a different parametrization may be used compared to the high-fidelity model. In this paper, Deep Gaussian Processes for multi-fidelity (MF-DGP) are extended to the case where a different parametrization is used for each fidelity. The performance of the proposed multifidelity modeling technique is assessed on analytical test cases and on structural and aerodynamic real physical problems. | 翻訳日:2022-11-15 13:47:23 公開日:2020-06-29 |
| # トラベリングセールスマン問題における自動アルゴリズム選択のための競合的特徴自由アプローチとしてのディープラーニング Deep Learning as a Competitive Feature-Free Approach for Automated Algorithm Selection on the Traveling Salesperson Problem ( http://arxiv.org/abs/2006.15968v1 ) ライセンス: Link先を確認 | Moritz Seiler and Janina Pohl and Jakob Bossek and Pascal Kerschke and Heike Trautmann | (参考訳) 本研究は,euclidean travel salesperson problem (tsp) と,eaxとlkhの2つの高競合なヒューリスティックなtspソルバについて,as(per-instance algorithm selection)の文脈で考察する。
ソルバのパフォーマンスプロファイルが強く異なる1000ノードでインスタンスを進化させます。
これらの事例は、よく識別された問題特性(特徴)の同定に関する探索的研究の基礎となる。
その結果,(1)有望な機能が存在すること,(2)文献から得られたこれまでの結果と一致していること,(3)高度な機能選択手法を採用するモデルよりも訓練されたモデルの方が精度が高いこと,そして,その利点はペナルティ化された平均実行時間という観点で,仮想的ベストソルバに近づかないこと,そして単一のベストソルバよりもパフォーマンスが向上していること,などが判明した。
しかし,従来のASモデルの結果とすでに一致しているインスタンスの視覚表現のみに基づく,機能自由なディープニューラルネットワークに基づくアプローチは,今後の研究に大きな可能性を示す。 In this work we focus on the well-known Euclidean Traveling Salesperson Problem (TSP) and two highly competitive inexact heuristic TSP solvers, EAX and LKH, in the context of per-instance algorithm selection (AS). We evolve instances with 1,000 nodes where the solvers show strongly different performance profiles. These instances serve as a basis for an exploratory study on the identification of well-discriminating problem characteristics (features). Our results in a nutshell: we show that even though (1) promising features exist, (2) these are in line with previous results from the literature, and (3) models trained with these features are more accurate than models adopting sophisticated feature selection methods, the advantage is not close to the virtual best solver in terms of penalized average runtime and so is the performance gain over the single best solver. However, we show that a feature-free deep neural network based approach solely based on visual representation of the instances already matches classical AS model results and thus shows huge potential for future studies. | 翻訳日:2022-11-15 13:47:02 公開日:2020-06-29 |
| # ロバスト化シーケンスニューラルプロセス Robustifying Sequential Neural Processes ( http://arxiv.org/abs/2006.15987v1 ) ライセンス: Link先を確認 | Jaesik Yoon, Gautam Singh and Sungjin Ahn | (参考訳) タスクが時間とともに変化するとき、メタトランスファー学習は、メタラーニングとトランスファーラーニングの両方を通して新しいタスクを学習する効率を改善する。
標準的な注意は様々な場面で有効であるが,学習対象のタスクが動的であり,コンテキストの量も大幅に小さくなるため,メタトランスファー学習の改善に有効か疑問が持たれている。
本稿では,最近提案された逐次ニューラルプロセス(snp)というメタトランスファー学習モデルを用いて,神経プロセスによって推定される機能で見られる同様の不適合問題に苦しむことを実証的に示す。
しかし、メタラーニング設定とは異なり、標準注意機構はメタ転送設定において有効ではないことをさらに示している。
そこで本研究では,リカレントメモリ再構成(Recurrent Memory Reconstruction, RMR)と呼ばれる新たなアテンション機構を提案し,メタトランスファー学習において効果的なアテンションを実現する上で,リカレント・リカレント・コンテクストの提供が重要であることを示す。
さらに,SNP に RMR を組み込んだ Attentive Sequential Neural Processes-RMR (ASNP-RMR) を提案する。 When tasks change over time, meta-transfer learning seeks to improve the efficiency of learning a new task via both meta-learning and transfer-learning. While the standard attention has been effective in a variety of settings, we question its effectiveness in improving meta-transfer learning since the tasks being learned are dynamic and the amount of context can be substantially smaller. In this paper, using a recently proposed meta-transfer learning model, Sequential Neural Processes (SNP), we first empirically show that it suffers from a similar underfitting problem observed in the functions inferred by Neural Processes. However, we further demonstrate that unlike the meta-learning setting, the standard attention mechanisms are not effective in meta-transfer setting. To resolve, we propose a new attention mechanism, Recurrent Memory Reconstruction (RMR), and demonstrate that providing an imaginary context that is recurrently updated and reconstructed with interaction is crucial in achieving effective attention for meta-transfer learning. Furthermore, incorporating RMR into SNP, we propose Attentive Sequential Neural Processes-RMR (ASNP-RMR) and demonstrate in various tasks that ASNP-RMR significantly outperforms the baselines. | 翻訳日:2022-11-15 13:46:39 公開日:2020-06-29 |
| # 局所的近傍伝搬埋め込み Local Neighbor Propagation Embedding ( http://arxiv.org/abs/2006.16009v1 ) ライセンス: Link先を確認 | Shenglan Liu and Yang Yu | (参考訳) マニフォールド学習は非線形次元減少の分野において重要な役割を担い、その考え方は他の関連する手法にも役立つ。
グラフ畳み込みネットワーク(GCN)のようなグラフベースの手法は、異なる分野に属するが、多様体学習と共通する概念を示している。
GCNにインスパイアされた周辺伝播をLLEに導入し,LNPE(Local Neighbor Propagation Embedding)を提案する。
lleと比較して線形計算の複雑さが増大するにつれて、lnpe は近傍間の局所的な接続と相互作用を強化し、1ドルのhop近傍を$n$hop近傍に拡張する。
実験の結果、LNPEはより忠実で堅牢な埋め込みが得られ、より優れた位相的および幾何学的性質が得られることが示された。 Manifold Learning occupies a vital role in the field of nonlinear dimensionality reduction and its ideas also serve for other relevant methods. Graph-based methods such as Graph Convolutional Networks (GCN) show ideas in common with manifold learning, although they belong to different fields. Inspired by GCN, we introduce neighbor propagation into LLE and propose Local Neighbor Propagation Embedding (LNPE). With linear computational complexity increase compared with LLE, LNPE enhances the local connections and interactions between neighborhoods by extending $1$-hop neighbors into $n$-hop neighbors. The experimental results show that LNPE could obtain more faithful and robust embeddings with better topological and geometrical properties. | 翻訳日:2022-11-15 13:46:00 公開日:2020-06-29 |
| # softsort: argsort演算子に対する連続緩和 SoftSort: A Continuous Relaxation for the argsort Operator ( http://arxiv.org/abs/2006.16038v1 ) ライセンス: Link先を確認 | Sebastian Prillo and Julian Martin Eisenschlos | (参考訳) ソート処理はコンピュータ科学において重要な手順であるが、argsort演算子はベクトルを入力とし、そのソート置換を返すことで離散画像となり、ほとんどどこでも勾配がゼロとなる。
これにより、argsort演算子に依存するモデルのエンドツーエンドの勾配ベース学習が禁止される。
この問題を解決する自然な方法は、アーグソート作用素を連続緩和に置き換えることである。
最近の研究は様々な方法を示しているが、これまで提案されてきた緩和は計算的に複雑である。
本稿では、3行のコードで実装でき、最先端のパフォーマンスを実現し、数学的に推論しやすく、証明を大幅に単純化し、競合するアプローチよりも高速な、アーグソート演算子の簡単な連続緩和を提案する。
コードをオープンソースにして、すべての実験と結果を再現します。 While sorting is an important procedure in computer science, the argsort operator - which takes as input a vector and returns its sorting permutation - has a discrete image and thus zero gradients almost everywhere. This prohibits end-to-end, gradient-based learning of models that rely on the argsort operator. A natural way to overcome this problem is to replace the argsort operator with a continuous relaxation. Recent work has shown a number of ways to do this, but the relaxations proposed so far are computationally complex. In this work we propose a simple continuous relaxation for the argsort operator which has the following qualities: it can be implemented in three lines of code, achieves state-of-the-art performance, is easy to reason about mathematically - substantially simplifying proofs - and is faster than competing approaches. We open source the code to reproduce all of the experiments and results. | 翻訳日:2022-11-15 13:45:46 公開日:2020-06-29 |
| # 高信頼度誤り発見のための敵距離の活用 Harnessing Adversarial Distances to Discover High-Confidence Errors ( http://arxiv.org/abs/2006.16055v1 ) ライセンス: Link先を確認 | Walter Bennette, Karsten Maurer, Sean Sisti | (参考訳) ブラックボックスとして扱うディープニューラルネットワーク画像分類モデルとラベル付けされていない評価データセットから、分類器を評価可能な効率的な戦略を開発する。
ラベルのない評価データセットからランダムにインスタンスをサンプリングおよびラベリングすることで、精度、精度、リコールといった従来のパフォーマンス測定値の推定が可能になる。
しかし、ランダムサンプリングは、モデルがその予測に自信があるが間違っている稀な誤りを見逃す可能性がある。
これらの高い信頼度エラーはコストのかかる誤りを表現できるため、明示的に検索する必要がある。
過去の研究は、特定の信頼しきい値以上の分類エラーを見つけるための検索技術を開発したが、100\%未満の信頼レベルではエラーを期待すべきであるという事実は無視している。
本研究では,モデル信頼度から推定される以上の確率で誤りを見つける問題について検討する。
さらに,ブラックボックスモデルにおけるこれらの誤りを見つけるために,逆摂動に導かれるクエリ効率の高い新しい探索手法を提案する。
厳密な実証実験により,予測されたモデル信頼度よりも高い信頼度誤差が検出できることが実証された。 Given a deep neural network image classification model that we treat as a black box, and an unlabeled evaluation dataset, we develop an efficient strategy by which the classifier can be evaluated. Randomly sampling and labeling instances from an unlabeled evaluation dataset allows traditional performance measures like accuracy, precision, and recall to be estimated. However, random sampling may miss rare errors for which the model is highly confident in its prediction, but wrong. These high-confidence errors can represent costly mistakes, and therefore should be explicitly searched for. Past works have developed search techniques to find classification errors above a specified confidence threshold, but ignore the fact that errors should be expected at confidence levels anywhere below 100\%. In this work, we investigate the problem of finding errors at rates greater than expected given model confidence. Additionally, we propose a query-efficient and novel search technique that is guided by adversarial perturbations to find these mistakes in black box models. Through rigorous empirical experimentation, we demonstrate that our Adversarial Distance search discovers high-confidence errors at a rate greater than expected given model confidence. | 翻訳日:2022-11-15 13:45:31 公開日:2020-06-29 |
| # リニアバンディットにおける最適最適腕識別 Optimal Best-arm Identification in Linear Bandits ( http://arxiv.org/abs/2006.16073v1 ) ライセンス: Link先を確認 | Yassir Jedra, Alexandre Proutiere | (参考訳) 確率線形包帯の信頼度を一定としたベストアーム識別問題について検討する。
目的は、サンプリング予算を最小化しながら、所定の確信度で最適な腕を特定することである。
サンプリングの複雑さが既知のインスタンス固有の下限にほぼ確実に一致する単純なアルゴリズムを考案する。
このアルゴリズムは、アームドローの最適な比率を追跡するアームサンプリングルールに依存しており、理論的な保証を損なうことなく、非常に稀に更新することができる。
さらに,既存のベストアーム識別戦略とは異なり,本アルゴリズムは武器数に依存しない停止規則を用いる。
実験結果から,本アルゴリズムは既存のアルゴリズムを大きく上回っていることが示唆された。
さらに本論文は,連続的なアームセットを持つ線形バンディットにおける最良アーム識別問題の第一解析を提供する。 We study the problem of best-arm identification with fixed confidence in stochastic linear bandits. The objective is to identify the best arm with a given level of certainty while minimizing the sampling budget. We devise a simple algorithm whose sampling complexity matches known instance-specific lower bounds, asymptotically almost surely and in expectation. The algorithm relies on an arm sampling rule that tracks an optimal proportion of arm draws, and that remarkably can be updated as rarely as we wish, without compromising its theoretical guarantees. Moreover, unlike existing best-arm identification strategies, our algorithm uses a stopping rule that does not depend on the number of arms. Experimental results suggest that our algorithm significantly outperforms existing algorithms. The paper further provides a first analysis of the best-arm identification problem in linear bandits with a continuous set of arms. | 翻訳日:2022-11-15 13:45:11 公開日:2020-06-29 |
| # リッチ観測による線形ダイナミクスによる潜在状態表現の抽出 Extracting Latent State Representations with Linear Dynamics from Rich Observations ( http://arxiv.org/abs/2006.16128v1 ) ライセンス: Link先を確認 | Abraham Frandsen, Rong Ge | (参考訳) 近年, 線形力学の単純な場合, 特に線形二次レギュレータのような問題において, 多くの強化学習技術が証明可能な保証を持つことが示された。
しかし、実際には多くの強化学習問題は、画像のような豊かな高次元表現から直接ポリシーを学習しようとする。
正しい潜在表現(位置や速度など)で線形である基盤となるダイナミクスがあるとしても、リッチ表現は非線形であり、無関係な特徴を含む可能性がある。
本研究では,動力学が線形である隠れた線形部分空間が存在するモデルについて検討する。
このようなモデルに対して、線形部分空間を線形ダイナミクスで抽出する効率的なアルゴリズムを与える。
次に, 非線形写像の抽出にアイデアを拡張し, 単純な観測条件下でのアプローチの有効性を実証的に検証する。 Recently, many reinforcement learning techniques were shown to have provable guarantees in the simple case of linear dynamics, especially in problems like linear quadratic regulators. However, in practice, many reinforcement learning problems try to learn a policy directly from rich, high dimensional representations such as images. Even if there is an underlying dynamics that is linear in the correct latent representations (such as position and velocity), the rich representation is likely to be nonlinear and can contain irrelevant features. In this work we study a model where there is a hidden linear subspace in which the dynamics is linear. For such a model we give an efficient algorithm for extracting the linear subspace with linear dynamics. We then extend our idea to extracting a nonlinear mapping, and empirically verify the effectiveness of our approach in simple settings with rich observations. | 翻訳日:2022-11-15 13:44:41 公開日:2020-06-29 |
| # 多重配列アライメントのためのニューラルタイムワーピング Neural Time Warping For Multiple Sequence Alignment ( http://arxiv.org/abs/2006.15753v1 ) ライセンス: Link先を確認 | Keisuke Kawano, Takuro Kutsuna, Satoshi Koide | (参考訳) マルチシーケンスアライメント(MSA)は、時系列分析における従来の課題である。
MSA問題は離散最適化問題として定式化され、一般に動的プログラミングによって解決される。
しかし、計算複雑性は入力シーケンスの数に関して指数関数的に増加する。
本稿では,元のmsaを連続的最適化に緩和し,ニューラルネットワークを用いてアライメントを得るニューラルタイムウォーピング(ntw)を提案する。
NTWにより得られた解は、軽度条件下での元の離散最適化問題に対して実現可能な解であることが保証される。
実験の結果,NTWは100の時系列の整列に成功し,MSA問題の解法に優れていた。
また,ntwの応用の一つとして,平均時系列データを得る手法を提案する。
既存のバリーセンタと比較して、平均時系列データは入力時系列データの特徴を保持する。 Multiple sequences alignment (MSA) is a traditional and challenging task for time-series analyses. The MSA problem is formulated as a discrete optimization problem and is typically solved by dynamic programming. However, the computational complexity increases exponentially with respect to the number of input sequences. In this paper, we propose neural time warping (NTW) that relaxes the original MSA to a continuous optimization and obtains the alignments using a neural network. The solution obtained by NTW is guaranteed to be a feasible solution for the original discrete optimization problem under mild conditions. Our experimental results show that NTW successfully aligns a hundred time-series and significantly outperforms existing methods for solving the MSA problem. In addition, we show a method for obtaining average time-series data as one of applications of NTW. Compared to the existing barycenters, the mean time series data retains the features of the input time-series data. | 翻訳日:2022-11-15 13:39:05 公開日:2020-06-29 |
| # 構造ランドマークと相互作用モデリング:グラフ分類における解像度ジレンマについて Structural Landmarking and Interaction Modelling: on Resolution Dilemmas in Graph Classification ( http://arxiv.org/abs/2006.15763v1 ) ライセンス: Link先を確認 | Kai Zhang, Yaokang Zhu, Jun Wang, Jie Zhang, Hongyuan Zha | (参考訳) グラフニューラルネットワークは、グラフ構造化データによる学習と推論に有望なアーキテクチャである。
しかし、 '`parts' と '`interactions'' をモデル化する困難さは、グラフプールを通してグラフ全体を単一のベクトルに絞ることでグラフレベルの表現が得られるグラフ分類の観点で依然として続いている。
複雑なシステムの観点から、システムのすべての部分を混ぜ合わせることは、複雑なシステムの特性は、そのコンポーネント間の相互作用から生じるため、モデル解釈可能性と予測性能の両方に影響を与える可能性がある。
本研究では,「解像ジレンマ」という統一概念の下でのグラフ分類における本質的難しさを分析し,構造ランドマークと相互作用モデリングのための帰納的ニューラルネットワークモデルである「スリム」を提案する。
その結果、解法ジレンマを解き、その複雑さを説明するためにグラフの構成要素間の明示的な相互作用関係を活用することで、SLIMはより解釈可能で正確であり、グラフ表現学習における新たな洞察を提供することがわかった。 Graph neural networks are promising architecture for learning and inference with graph-structured data. Yet difficulties in modelling the ``parts'' and their ``interactions'' still persist in terms of graph classification, where graph-level representations are usually obtained by squeezing the whole graph into a single vector through graph pooling. From complex systems point of view, mixing all the parts of a system together can affect both model interpretability and predictive performance, because properties of a complex system arise largely from the interaction among its components. We analyze the intrinsic difficulty in graph classification under the unified concept of ``resolution dilemmas'' with learning theoretic recovery guarantees, and propose ``SLIM'', an inductive neural network model for Structural Landmarking and Interaction Modelling. It turns out, that by solving the resolution dilemmas, and leveraging explicit interacting relation between component parts of a graph to explain its complexity, SLIM is more interpretable, accurate, and offers new insight in graph representation learning. | 翻訳日:2022-11-15 13:38:53 公開日:2020-06-29 |
| # 多クラス分類のための確率的分類ベクトルマシン Probabilistic Classification Vector Machine for Multi-Class Classification ( http://arxiv.org/abs/2006.15791v1 ) ライセンス: Link先を確認 | Shengfei Lyu, Xing Tian, Yang Li, Bingbing Jiang, Huanhuan Chen | (参考訳) 確率的分類ベクトルマシン(PCVM)は、支持ベクトルマシンと関連するベクトルマシンの両方の利点を合成し、分類問題に対するスパースベイズ解を提供する。
しかし、現在PCVMはバイナリケースにのみ適用できる。
PCVMを1-vs-restや1-vs-oneのようなヒューリスティックな投票戦略によってマルチクラスに拡張すると、分類器が矛盾する予測を行うジレンマが発生し、それらの戦略は確率的出力の利点を失う可能性がある。
この問題を解決するため、PCVMを拡張し、マルチクラス確率分類ベクトルマシン(mPCVM)を提案する。
mPCVMでは、トップダウンアルゴリズムとボトムアップアルゴリズムの2つの学習アルゴリズムが実装されている。
トップダウンアルゴリズムは、期待最大化アルゴリズムに基づいてパラメータの最大アフター(MAP)点推定値を取得し、ボトムアップアルゴリズムは、限界確率を最大化して漸進パラダイムである。
mPCVMの優れた性能は、特に研究対象のクラスが多ければ、合成データセットやベンチマークデータセットで広く評価される。 The probabilistic classification vector machine (PCVM) synthesizes the advantages of both the support vector machine and the relevant vector machine, delivering a sparse Bayesian solution to classification problems. However, the PCVM is currently only applicable to binary cases. Extending the PCVM to multi-class cases via heuristic voting strategies such as one-vs-rest or one-vs-one often results in a dilemma where classifiers make contradictory predictions, and those strategies might lose the benefits of probabilistic outputs. To overcome this problem, we extend the PCVM and propose a multi-class probabilistic classification vector machine (mPCVM). Two learning algorithms, i.e., one top-down algorithm and one bottom-up algorithm, have been implemented in the mPCVM. The top-down algorithm obtains the maximum a posteriori (MAP) point estimates of the parameters based on an expectation-maximization algorithm, and the bottom-up algorithm is an incremental paradigm by maximizing the marginal likelihood. The superior performance of the mPCVMs, especially when the investigated problem has a large number of classes, is extensively evaluated on synthetic and benchmark data sets. | 翻訳日:2022-11-15 13:38:19 公開日:2020-06-29 |
| # ラベル多様性を伴う奥行き回帰 Deep Ordinal Regression with Label Diversity ( http://arxiv.org/abs/2006.15864v1 ) ライセンス: Link先を確認 | Axel Berg, Magnus Oskarsson and Mark O'Connor | (参考訳) RvC(Regression via classification)は、ディープラーニングにおける回帰問題において、ターゲット変数が連続した値の集合に属する一般的な方法である。
非重複クラスにターゲットを識別することで、分類器のトレーニングが標準的な回帰アプローチよりもニューラルネットワークの精度を向上させることが示されている。
しかし、離散クラスのセットがどう選択されるべきか、そしてそれが全体的なソリューションにどのように影響するかは明らかではない。
本研究では,複数の離散データ表現を同時に使用することで,単一の表現よりもニューラルネットワーク学習を改善することを提案する。
我々のアプローチはエンドツーエンドの微分可能であり、ディープニューラルネットワークのような従来の学習方法への単純な拡張として追加することができる。
我々は,3つの課題に対して本手法を検証し,モデル複雑性を維持しつつ,ベースラインRvC手法と比較して予測誤差を低減させることを示した。 Regression via classification (RvC) is a common method used for regression problems in deep learning, where the target variable belongs to a set of continuous values. By discretizing the target into a set of non-overlapping classes, it has been shown that training a classifier can improve neural network accuracy compared to using a standard regression approach. However, it is not clear how the set of discrete classes should be chosen and how it affects the overall solution. In this work, we propose that using several discrete data representations simultaneously can improve neural network learning compared to a single representation. Our approach is end-to-end differentiable and can be added as a simple extension to conventional learning methods, such as deep neural networks. We test our method on three challenging tasks and show that our method reduces the prediction error compared to a baseline RvC approach while maintaining a similar model complexity. | 翻訳日:2022-11-15 13:36:44 公開日:2020-06-29 |
| # 動的連続時間連鎖イベントグラフの伝播 Propagation for Dynamic Continuous Time Chain Event Graphs ( http://arxiv.org/abs/2006.15865v1 ) ライセンス: Link先を確認 | Aditi Shenvi and Jim Q. Smith | (参考訳) 連鎖イベントグラフ(英語: chain event graphs、cegs)は、非対称状態空間問題によって通常提示される、文脈固有の条件付き独立性を表現するイベントベースのグラフィカルモデル群である。
連続時間動的CEG(CT-DCEG)のクラスは、連続時間におけるプロセスの長手進行軌跡の因子的表現を提供する。
CT-DCEGの時間的証拠は、その遷移と保持時間分布の依存性をもたらす。
本稿では、dbn を「展開」して標準ジャンクションツリー推定を行う離散動的ベイズネットワーク (dbns) に対する kj{\ae}rulff (1992) のスキームに類似した可搬的完全推論スキームを提案する。
本手法を実現するため,標準CEG伝搬アルゴリズムの拡張(Thwaites et al., 2008)を提案する。
興味深いことに、CT-DCEGは、非対称ネットワーク内のまだ関連する対称性を維持しながら、互換性のある証拠を観察する際のグラフの単純化の恩恵を受けている。
以上の結果から,CT-DCEGはDBNや連続時間BNよりも,有意な非対称性とプロセス進化の自然な全順序付けを含む文脈で望ましいことが示唆された。 Chain Event Graphs (CEGs) are a family of event-based graphical models that represent context-specific conditional independences typically exhibited by asymmetric state space problems. The class of continuous time dynamic CEGs (CT-DCEGs) provides a factored representation of longitudinally evolving trajectories of a process in continuous time. Temporal evidence in a CT-DCEG introduces dependence between its transition and holding time distributions. We present a tractable exact inferential scheme analogous to the scheme in Kj{\ae}rulff (1992) for discrete Dynamic Bayesian Networks (DBNs) which employs standard junction tree inference by "unrolling" the DBN. To enable this scheme, we present an extension of the standard CEG propagation algorithm (Thwaites et al., 2008). Interestingly, the CT-DCEG benefits from simplification of its graph on observing compatible evidence while preserving the still relevant symmetries within the asymmetric network. Our results indicate that the CT-DCEG is preferred to DBNs and continuous time BNs under contexts involving significant asymmetry and a natural total ordering of the process evolution. | 翻訳日:2022-11-15 13:29:20 公開日:2020-06-29 |
| # テキスト分類に留意したマルチチャネルCNN Multichannel CNN with Attention for Text Classification ( http://arxiv.org/abs/2006.16174v1 ) ライセンス: Link先を確認 | Zhenyu Liu, Haiwei Huang, Chaohong Lu, Shengfei Lyu | (参考訳) 近年、ニューラルネットワークに基づくアプローチは文のモデリングに顕著な可能性を示している。
リカレントニューラルネットワーク(RNN)と畳み込みニューラルネットワーク(CNN)の2つの主要なニューラルネットワーク構造がある。
RNNは長期の依存関係をキャプチャし、以前の情報のセマンティクスを固定サイズのベクトルに格納することができる。
しかし、RNNはバイアスモデルであり、グローバルな意味論を抽出する能力は固定サイズのベクトルによって制限される。
また、cnnは畳み込みフィルタを利用してテキストのn-gram特徴をキャプチャできる。
しかし畳み込みフィルタの幅は性能を制限している。
本稿では,2種類のネットワークの強みを組み合わせ,その欠点を軽減するために,テキスト分類のための注意型マルチチャネル畳み込みニューラルネットワーク(AMCNN)を提案する。
AMCNNは、単語の歴史と将来の情報を高次元表現に符号化するために双方向の長短期記憶を利用するため、文の前と後ろの両方の情報を完全に表現することができる。
次に、スカラー注意とベクトル注意を適用してマルチチャネル表現を得る。
スカラー注意は単語レベルの重要度を計算し、ベクトル的注意は特徴レベルの重要度を計算できる。
分類タスクにおいて、AMCNNは重み付け和を計算する代わりに、スカラーおよびベクトル的アテンション機構によって生成された表現に関する単語関係をCNN構造を用いて決定する。
テキストのn-gram特徴を効果的に抽出できる。
ベンチマークデータセットの実験結果は、AMCNNが最先端の手法よりも優れたパフォーマンスを達成していることを示している。
さらに、可視化結果により、マルチチャネル表現のセマンティックリッチ性を検証する。 Recent years, the approaches based on neural networks have shown remarkable potential for sentence modeling. There are two main neural network structures: recurrent neural network (RNN) and convolution neural network (CNN). RNN can capture long term dependencies and store the semantics of the previous information in a fixed-sized vector. However, RNN is a biased model and its ability to extract global semantics is restricted by the fixed-sized vector. Alternatively, CNN is able to capture n-gram features of texts by utilizing convolutional filters. But the width of convolutional filters restricts its performance. In order to combine the strengths of the two kinds of networks and alleviate their shortcomings, this paper proposes Attention-based Multichannel Convolutional Neural Network (AMCNN) for text classification. AMCNN utilizes a bi-directional long short-term memory to encode the history and future information of words into high dimensional representations, so that the information of both the front and back of the sentence can be fully expressed. Then the scalar attention and vectorial attention are applied to obtain multichannel representations. The scalar attention can calculate the word-level importance and the vectorial attention can calculate the feature-level importance. In the classification task, AMCNN uses a CNN structure to cpture word relations on the representations generated by the scalar and vectorial attention mechanism instead of calculating the weighted sums. It can effectively extract the n-gram features of the text. The experimental results on the benchmark datasets demonstrate that AMCNN achieves better performance than state-of-the-art methods. In addition, the visualization results verify the semantic richness of multichannel representations. | 翻訳日:2022-11-15 13:28:43 公開日:2020-06-29 |
| # メタラーニングによる普遍的言語インダクティブバイアス Universal linguistic inductive biases via meta-learning ( http://arxiv.org/abs/2006.16324v1 ) ライセンス: Link先を確認 | R. Thomas McCoy, Erin Grant, Paul Smolensky, Thomas L. Griffiths, Tal Linzen | (参考訳) 学習者が利用可能な限られたデータから言語を取得するには?
このプロセスには、学習者の一般化に影響を及ぼす要因である帰納的バイアスがいくらか含まれなければならないが、言語習得における観察されたパターンをどの帰納的バイアスが説明できるのかは定かではない。
この問題に対処するための計算モデルを容易にするために,ニューラルネットワークモデルに特定の言語的帰納バイアスを与える枠組みを導入する。
このフレームワークは、ニューラルネットワークのパラメータの初期値にエンコードされた普遍的帰納バイアスを、ニューラルネットワークが与えられた言語のデータから学ばなければならない非普遍的要因から切り離す。
帰納バイアスを符号化する初期状態はメタラーニング(メタラーニング)によって発見され、モデルが多くの可能な言語に露出することで、新しい言語をより容易に取得する方法を発見する。
メタ学習中に使用される言語の特性を制御することにより、メタ学習が持つ帰納的バイアスを制御できる。
本稿では,この枠組みを音節構造に基づくケーススタディで示す。
まず、モデルに与えようとする帰納的バイアスを特定し、その帰納的バイアスをモデルがメタ学習可能な言語空間に変換する。
最後に,既存の分析手法を用いて,本手法が言語的帰納的バイアスを付与したことを確認した。 How do learners acquire languages from the limited data available to them? This process must involve some inductive biases - factors that affect how a learner generalizes - but it is unclear which inductive biases can explain observed patterns in language acquisition. To facilitate computational modeling aimed at addressing this question, we introduce a framework for giving particular linguistic inductive biases to a neural network model; such a model can then be used to empirically explore the effects of those inductive biases. This framework disentangles universal inductive biases, which are encoded in the initial values of a neural network's parameters, from non-universal factors, which the neural network must learn from data in a given language. The initial state that encodes the inductive biases is found with meta-learning, a technique through which a model discovers how to acquire new languages more easily via exposure to many possible languages. By controlling the properties of the languages that are used during meta-learning, we can control the inductive biases that meta-learning imparts. We demonstrate this framework with a case study based on syllable structure. First, we specify the inductive biases that we intend to give our model, and then we translate those inductive biases into a space of languages from which a model can meta-learn. Finally, using existing analysis techniques, we verify that our approach has imparted the linguistic inductive biases that it was intended to impart. | 翻訳日:2022-11-15 13:28:21 公開日:2020-06-29 |
| # コストによる観測による最適制御の探索 Exploring Optimal Control With Observations at a Cost ( http://arxiv.org/abs/2006.15757v1 ) ライセンス: Link先を確認 | Rui Aguiar, Nikka Mofid, Hyunji Alex Nam | (参考訳) 医療文献の強化学習では、臨床データセットを作成するために、研究者は、患者の現在の状態の正確な指標であるとして、ギャップを埋めるために last-observation-carried-forward (locf) と呼ばれる非アドベラルテストの最終結果を実行する。
これらの値は、どのようにインプットされたかの情報を正確に保持することなく前進し、あいまいさにつながる。
当社のアプローチは,OpenAI GymのMountain Carを用いてこの問題をモデル化し,患者の生理状態をいつ観察するか,また,観察後にのみ行動できると仮定して介入するかを考察する。
So far, we have found that for a last-observation-carried-forward implementation of the state space, augmenting the state with counters for each state variable tracking the time since last observation was made, improves the predictive performance of an agent, supporting the notion of "informative missingness", and using a neural network based Dynamics Model to predict the most probable next state value of non-observed state variables instead of carrying forward the last observed value through LOCF further improves the agent's performance, leading to faster convergence and reduced variance. There has been a current trend in reinforcement learning for healthcare literature, where in order to prepare clinical datasets, researchers will carry forward the last results of the non-administered test known as the last-observation-carried-forward (LOCF) value to fill in gaps, assuming that it is still an accurate indicator of the patient's current state. These values are carried forward without maintaining information about exactly how these values were imputed, leading to ambiguity. Our approach models this problem using OpenAI Gym's Mountain Car and aims to address when to observe the patient's physiological state and partly how to intervene, as we have assumed we can only act after following an observation. So far, we have found that for a last-observation-carried-forward implementation of the state space, augmenting the state with counters for each state variable tracking the time since last observation was made, improves the predictive performance of an agent, supporting the notion of "informative missingness", and using a neural network based Dynamics Model to predict the most probable next state value of non-observed state variables instead of carrying forward the last observed value through LOCF further improves the agent's performance, leading to faster convergence and reduced variance. | 翻訳日:2022-11-15 13:27:15 公開日:2020-06-29 |
| # 決定木の欠落データを扱う:確率論的アプローチ Handling Missing Data in Decision Trees: A Probabilistic Approach ( http://arxiv.org/abs/2006.16341v1 ) ライセンス: Link先を確認 | Pasha Khosravi, Antonio Vergari, YooJung Choi, Yitao Liang, Guy Van den Broeck | (参考訳) 決定木は、解釈可能性や異種データを扱う能力といった魅力的な性質から、一般的なモデル群である。
同時に、データ欠落は機械学習モデルのパフォーマンスを妨げる一般的な発生である。
したがって、決定木における欠落データを扱うことはよく研究されている問題である。
本稿では,確率論的アプローチを用いてこの問題に対処する。
デプロイ時には、トラクタブル密度推定器を使用して、モデルの"予測予測"を計算します。
学習時には,その「予測予測損失」を最小化することで,既に学習した木々のパラメータを微調整する。
提案手法の有効性を示す簡単な実験を少数のベースラインと比較した。 Decision trees are a popular family of models due to their attractive properties such as interpretability and ability to handle heterogeneous data. Concurrently, missing data is a prevalent occurrence that hinders performance of machine learning models. As such, handling missing data in decision trees is a well studied problem. In this paper, we tackle this problem by taking a probabilistic approach. At deployment time, we use tractable density estimators to compute the "expected prediction" of our models. At learning time, we fine-tune parameters of already learned trees by minimizing their "expected prediction loss" w.r.t.\ our density estimators. We provide brief experiments showcasing effectiveness of our methods compared to few baselines. | 翻訳日:2022-11-15 13:19:35 公開日:2020-06-29 |
| # 時間変化学習による3次元畳み込みニューラルネットワーク Explainable 3D Convolutional Neural Networks by Learning Temporal Transformations ( http://arxiv.org/abs/2006.15983v1 ) ライセンス: Link先を確認 | Gabri\"elle Ras, Luca Ambrogioni, Pim Haselager, Marcel A.J. van Gerven, Umut G\"u\c{c}l\"u | (参考訳) 本稿では、時間分解型3D畳み込み(3TConv)を通常の3D畳み込み(3DConv)の解釈可能な代替として紹介する。
3TConvでは、2Dフィルタと一連の時間変換パラメータを学習して3D畳み込みフィルタを得る。
3TConvは直接解釈可能な時間変換を学習することを示した。
時間的パラメータは、既存の様々な2次元可視化手法と組み合わせて使用できる。
また,モデルレベルでの変換パラメータ統計を解析することにより,モデルが何を学習するかについての洞察が得られることを示した。
最後に、人気のあるConvNetsでは、2DConvを3TConvに置き換えることができ、重みを事前に訓練された3TConvに変換することができることを暗黙的に示す。
事前トレーニングされた3TConvnetは、イメージ分類ベンチマークで優れた結果をもたらすことが証明された機能を利用することで、従来の2DConvNetでの10年以上の作業を活用する。 In this paper we introduce the temporally factorized 3D convolution (3TConv) as an interpretable alternative to the regular 3D convolution (3DConv). In a 3TConv the 3D convolutional filter is obtained by learning a 2D filter and a set of temporal transformation parameters, resulting in a sparse filter where the 2D slices are sequentially dependent on each other in the temporal dimension. We demonstrate that 3TConv learns temporal transformations that afford a direct interpretation. The temporal parameters can be used in combination with various existing 2D visualization methods. We also show that insight about what the model learns can be achieved by analyzing the transformation parameter statistics on a layer and model level. Finally, we implicitly demonstrate that, in popular ConvNets, the 2DConv can be replaced with a 3TConv and that the weights can be transferred to yield pretrained 3TConvs. pretrained 3TConvnets leverage more than a decade of work on traditional 2DConvNets by being able to make use of features that have been proven to deliver excellent results on image classification benchmarks. | 翻訳日:2022-11-15 13:19:27 公開日:2020-06-29 |
| # 微小ショット顕微鏡による細胞分離 Few-Shot Microscopy Image Cell Segmentation ( http://arxiv.org/abs/2007.01671v1 ) ライセンス: Link先を確認 | Youssef Dawoud, Julia Hornauer, Gustavo Carneiro, and Vasileios Belagiannis | (参考訳) 顕微鏡画像の自動セグメンテーションは、完全な監視で訓練されたディープニューラルネットワークのサポートとうまく機能する。
しかし、画像の収集と注釈は、新しい顕微鏡データベースと細胞タイプごとに持続可能なソリューションではない。
代わりに、異なる領域(ソース)からの注釈付き画像データセットの多元体と興味領域(ターゲット)からの注釈付き画像データセットの限られた数にアクセスできると仮定する。
そこでは、利用可能なソースドメインデータセットとセルセグメンテーションタスクから、汎用的で適応可能な数ショット学習モデルを学ぶことを目標としている。
モデルはその後、異なる画像外観と異なるセルタイプを含むターゲットドメインの少数の注釈付き画像に微調整することができる。
メタラーニングトレーニングでは,細胞をセグメンテーションし,ドメイン間タスクを用いた分類境界からセグメンテーション結果を移動し,ソースドメインのタスク間の不変表現を学習する3つの目的関数の組み合わせを提案する。
5つの公開データベースの実験では,標準セグメンテーションニューラルネットワークアーキテクチャを用いた1ショットから10ショットのメタラーニングの結果が期待できることがわかった。 Automatic cell segmentation in microscopy images works well with the support of deep neural networks trained with full supervision. Collecting and annotating images, though, is not a sustainable solution for every new microscopy database and cell type. Instead, we assume that we can access a plethora of annotated image data sets from different domains (sources) and a limited number of annotated image data sets from the domain of interest (target), where each domain denotes not only different image appearance but also a different type of cell segmentation problem. We pose this problem as meta-learning where the goal is to learn a generic and adaptable few-shot learning model from the available source domain data sets and cell segmentation tasks. The model can be afterwards fine-tuned on the few annotated images of the target domain that contains different image appearance and different cell type. In our meta-learning training, we propose the combination of three objective functions to segment the cells, move the segmentation results away from the classification boundary using cross-domain tasks, and learn an invariant representation between tasks of the source domains. Our experiments on five public databases show promising results from 1- to 10-shot meta-learning using standard segmentation neural network architectures. | 翻訳日:2022-11-15 13:18:48 公開日:2020-06-29 |
| # 不均衡超音波画像を用いた乳癌診断のための深達度教師付きトランスファーネットワーク Deep Doubly Supervised Transfer Network for Diagnosis of Breast Cancer with Imbalanced Ultrasound Imaging Modalities ( http://arxiv.org/abs/2007.06634v1 ) ライセンス: Link先を確認 | Han Xiangmin, Wang Jun, Zhou Weijun, Chang Cai, Ying Shihui and Shi Jun | (参考訳) エラストグラフィー超音波(eus)は、乳癌の診断において、bモード超音波(bus)の病変に関する生体力学的インフォーメーションを提供する。
しかし, 地方病院における eus 機器の欠如により, 乳がんのコンピュータ支援診断 (cad) における新しいモダリティ不均衡問題を引き起こすため, バスと eus の併用は一般的ではない。
現在の転写学習(TL)は、この特別な臨床的モダリティ不均衡の問題、すなわちソースドメイン(EUSモダリティ)はターゲットドメイン(BUSモダリティ)よりもラベル付きサンプルが少ないことにはほとんど注意を払わない。
さらに、これらのTL手法はラベル情報を完全に利用して、2つのモダリティ間の本質的な関係を探索し、促進された知識伝達を導くことはできない。
そこで本稿では,Learning Using Privileged Information (LUPI) パラダイムと最大平均離散性 (MMD) 基準を統合された深層TLフレームワークに統合する,新しい2重教師付きTLネットワーク(DDSTN)を提案する。
提案アルゴリズムは、LUPIパラダイムによる知識伝達を効果的に導くために共有ラベルをフル活用するだけでなく、未使用データ間の超視覚的転送も行う。
さらに,知識伝達を強化するためにMDD基準を導入する。
胸部ultra-soundデータセットにおける実験結果から,提案するddstnは,バスベースcadの最先端アルゴリズムに匹敵することがわかった。 Elastography ultrasound (EUS) provides additional bio-mechanical in-formation about lesion for B-mode ultrasound (BUS) in the diagnosis of breast cancers. However, joint utilization of both BUS and EUS is not popular due to the lack of EUS devices in rural hospitals, which arouses a novel modality im-balance problem in computer-aided diagnosis (CAD) for breast cancers. Current transfer learning (TL) pay little attention to this special issue of clinical modality imbalance, that is, the source domain (EUS modality) has fewer labeled samples than those in the target domain (BUS modality). Moreover, these TL methods cannot fully use the label information to explore the intrinsic relation between two modalities and then guide the promoted knowledge transfer. To this end, we propose a novel doubly supervised TL network (DDSTN) that integrates the Learning Using Privileged Information (LUPI) paradigm and the Maximum Mean Discrepancy (MMD) criterion into a unified deep TL framework. The proposed algorithm can not only make full use of the shared labels to effectively guide knowledge transfer by LUPI paradigm, but also perform additional super-vised transfer between unpaired data. We further introduce the MMD criterion to enhance the knowledge transfer. The experimental results on the breast ultra-sound dataset indicate that the proposed DDSTN outperforms all the compared state-of-the-art algorithms for the BUS-based CAD. | 翻訳日:2022-11-15 13:18:28 公開日:2020-06-29 |
| # 生物学的に誘発される対人ロバスト性機構 Biologically Inspired Mechanisms for Adversarial Robustness ( http://arxiv.org/abs/2006.16427v1 ) ライセンス: Link先を確認 | Manish V. Reddy, Andrzej Banburski, Nishka Pant, Tomaso Poggio | (参考訳) 畳み込みニューラルネットワークは、合理的な計算と性能のコストで敵の摂動に強く耐えられていない。
霊長類の視覚腹側流は、視覚刺激の小さな摂動に対して頑健であるように見えるが、この頑健な知覚を引き起こすメカニズムは理解されていない。
本研究は,2つの生物学的に妥当なメカニズムが敵の強靭性に果たす役割について考察する。
霊長類網膜による非一様サンプリングと、各偏心度における受容野の大きさの異なる複数の受容野の存在は、ニューラルネットワークの頑健さを小さな対向摂動に改善させることを示した。
これら2つのメカニズムが勾配難読化に苦しめられていないことを確認し、アブレーション研究を通じて敵の頑健性への寄与を研究する。 A convolutional neural network strongly robust to adversarial perturbations at reasonable computational and performance cost has not yet been demonstrated. The primate visual ventral stream seems to be robust to small perturbations in visual stimuli but the underlying mechanisms that give rise to this robust perception are not understood. In this work, we investigate the role of two biologically plausible mechanisms in adversarial robustness. We demonstrate that the non-uniform sampling performed by the primate retina and the presence of multiple receptive fields with a range of receptive field sizes at each eccentricity improve the robustness of neural networks to small adversarial perturbations. We verify that these two mechanisms do not suffer from gradient obfuscation and study their contribution to adversarial robustness through ablation studies. | 翻訳日:2022-11-15 13:17:40 公開日:2020-06-29 |
| # FSMとしてモデル化された産業用4.0環境をOpenAI Gymラッパーに変換するツールの概念と実装 Concept and the implementation of a tool to convert industry 4.0 environments modeled as FSM to an OpenAI Gym wrapper ( http://arxiv.org/abs/2006.16035v1 ) ライセンス: Link先を確認 | Kallil M. C. Zielinski and Marcelo Teixeira and Richardson Ribeiro and Dalcimar Casanova | (参考訳) 産業用4.0システムは、コストの最小化、生産の最大化、あるいはアクチュエータを同期させて製品の製造を完了または高速化するなど、タスクの最適化に高い需要がある。
これらの課題により、産業環境は現代の強化学習(rl)の概念を適用するのに適したシナリオとなる。
しかし、主な困難は、その産業環境の欠如である。
このようにして、本研究では、fsmとしてモデル化された動的システムをオープンソースのジムラッパーに変換できるツールの概念と実装を紹介する。
その後、任意のRLメソッドを使用して任意のタスクを最適化することが可能になる。
提案ツールの最初のテストでは,2つの単純な環境で動作する従来のQラーニング手法と深層Qラーニング手法を示す。 Industry 4.0 systems have a high demand for optimization in their tasks, whether to minimize cost, maximize production, or even synchronize their actuators to finish or speed up the manufacture of a product. Those challenges make industrial environments a suitable scenario to apply all modern reinforcement learning (RL) concepts. The main difficulty, however, is the lack of that industrial environments. In this way, this work presents the concept and the implementation of a tool that allows us to convert any dynamic system modeled as an FSM to the open-source Gym wrapper. After that, it is possible to employ any RL methods to optimize any desired task. In the first tests of the proposed tool, we show traditional Q-learning and Deep Q-learning methods running over two simple environments. | 翻訳日:2022-11-15 13:17:27 公開日:2020-06-29 |
| # DNNから多種多種多様な特徴成分の解釈と解離 Interpreting and Disentangling Feature Components of Various Complexity from DNNs ( http://arxiv.org/abs/2006.15920v1 ) ライセンス: Link先を確認 | Jie Ren, Mingjie Li, Zexu Liu, Quanshi Zhang | (参考訳) 本稿では,DNNが学習した特徴量の定義,定量化,解析を目的とする。
特徴複雑性の一般的な定義を提案する。
DNNの特定の層の特徴を考えると、我々のメソッドは機能から異なる複雑さの要素を分離する。
さらに、信頼性、有効性、およびこれらの機能コンポーネントの過剰フィッティングの重要性を評価するためのメトリクスセットも設計する。
さらに,特徴量とDNNの性能の密接な関係を見出すことができた。
汎用的な数学的ツールとして、ネットワーク圧縮と知識蒸留の成功を分析するために、機能複雑性と提案メトリクスを用いることもできる。 This paper aims to define, quantify, and analyze the feature complexity that is learned by a DNN. We propose a generic definition for the feature complexity. Given the feature of a certain layer in the DNN, our method disentangles feature components of different complexity orders from the feature. We further design a set of metrics to evaluate the reliability, the effectiveness, and the significance of over-fitting of these feature components. Furthermore, we successfully discover a close relationship between the feature complexity and the performance of DNNs. As a generic mathematical tool, the feature complexity and the proposed metrics can also be used to analyze the success of network compression and knowledge distillation. | 翻訳日:2022-11-15 13:11:04 公開日:2020-06-29 |
| # 癌病理報告の分類 : 大規模比較研究 Classification of cancer pathology reports: a large-scale comparative study ( http://arxiv.org/abs/2006.16370v1 ) ライセンス: Link先を確認 | Stefano Martina, Leonardo Ventura, Paolo Frasconi | (参考訳) ICD-O3トポグラフィーと形態素コードの自動割当てに対する最先端のディープラーニング技術のフリーテキスト癌レポートへの応用について報告する。
大規模データセット(8 000 以上のラベル付き,5 0000 以上の匿名化レポートをイタリアで記述し,10年以上にわたってトスカーナの病院から収集した)と,多数のクラス(134 種類のクラスと61 の地形クラス)について報告する。
予測精度と解釈可能性の観点から代替アーキテクチャを比較し,地形の配置において90.3%,形態型割り当てでは84.8%のマルチクラス精度を達成できることを示した。
この文脈では階層モデルは平坦モデルよりは良くなく、要素ワイドの最大アグリゲータはサイト分類における注意モデルよりもわずかに優れていることがわかった。
さらに、最大アグリゲータは分類過程を解釈する方法を提供する。 We report about the application of state-of-the-art deep learning techniques to the automatic and interpretable assignment of ICD-O3 topography and morphology codes to free-text cancer reports. We present results on a large dataset (more than 80 000 labeled and 1 500 000 unlabeled anonymized reports written in Italian and collected from hospitals in Tuscany over more than a decade) and with a large number of classes (134 morphological classes and 61 topographical classes). We compare alternative architectures in terms of prediction accuracy and interpretability and show that our best model achieves a multiclass accuracy of 90.3% on topography site assignment and 84.8% on morphology type assignment. We found that in this context hierarchical models are not better than flat models and that an element-wise maximum aggregator is slightly better than attentive models on site classification. Moreover, the maximum aggregator offers a way to interpret the classification process. | 翻訳日:2022-11-15 13:10:13 公開日:2020-06-29 |
| # 非自己回帰条件列生成へのemアプローチ An EM Approach to Non-autoregressive Conditional Sequence Generation ( http://arxiv.org/abs/2006.16378v1 ) ライセンス: Link先を確認 | Zhiqing Sun, Yiming Yang | (参考訳) オートレグレッシブ(ar)モデルは条件付きシーケンス生成において優位なアプローチだが、高い推論遅延の問題に苦しんでいる。
非自己回帰モデル(NAR)は、最近、全ての出力トークンを並列に生成することでレイテンシを低減するために提案されているが、主にシーケンス生成におけるマルチモーダリティの扱いが困難であるために、自己回帰モデルよりも低い精度しか達成できない。
本稿では,ARモデルとNARモデルの両方を統合期待最大化(EM)フレームワークで協調的に最適化する手法を提案する。
Eステップでは、ARモデルは、NARモデルの正規化後部を近似することを学ぶ。
mステップでは、narモデルが新しい後方で更新され、次のarモデルのトレーニング例を選択する。
この反復プロセスは、システムが出力シーケンスのマルチモダリティを取り除くのを効果的に導くことができる。
我々の知る限り、これはNARシーケンス生成に対する最初のEMアプローチである。
本手法を機械翻訳の課題として評価する。
ベンチマークデータセットを用いた実験結果から,提案手法は既存のNARモデルとの競合性を向上し,推論遅延を大幅に低減することが示された。 Autoregressive (AR) models have been the dominating approach to conditional sequence generation, but are suffering from the issue of high inference latency. Non-autoregressive (NAR) models have been recently proposed to reduce the latency by generating all output tokens in parallel but could only achieve inferior accuracy compared to their autoregressive counterparts, primarily due to a difficulty in dealing with the multi-modality in sequence generation. This paper proposes a new approach that jointly optimizes both AR and NAR models in a unified Expectation-Maximization (EM) framework. In the E-step, an AR model learns to approximate the regularized posterior of the NAR model. In the M-step, the NAR model is updated on the new posterior and selects the training examples for the next AR model. This iterative process can effectively guide the system to remove the multi-modality in the output sequences. To our knowledge, this is the first EM approach to NAR sequence generation. We evaluate our method on the task of machine translation. Experimental results on benchmark data sets show that the proposed approach achieves competitive, if not better, performance with existing NAR models and significantly reduces the inference latency. | 翻訳日:2022-11-15 13:09:56 公開日:2020-06-29 |
| # 強化学習による仮説の実証検証 Empirically Verifying Hypotheses Using Reinforcement Learning ( http://arxiv.org/abs/2006.15762v1 ) ライセンス: Link先を確認 | Kenneth Marino, Rob Fergus, Arthur Szlam, Abhinav Gupta | (参考訳) 本稿では,仮説検証をRL問題として定式化する。
具体的には、世界の力学に関する仮説を前提として、仮説が真か偽かを予測するのに役立つ観測結果を生成することができるエージェントを構築することを目的とする。
既存のRLアルゴリズムはこの問題を単純な環境でも解決できない。
エージェントを訓練するために、多くの仮説の基盤構造を利用して、それらを {pre-condition, action sequence, post-condition}三つ子として分解する。
この構造を利用することで、rlエージェントがそのタスクで成功できることを示す。
さらに、その後のポリシーの微調整により、エージェントは上記の因子化に従わない仮説を正しく検証することができる。 This paper formulates hypothesis verification as an RL problem. Specifically, we aim to build an agent that, given a hypothesis about the dynamics of the world, can take actions to generate observations which can help predict whether the hypothesis is true or false. Existing RL algorithms fail to solve this task, even for simple environments. In order to train the agents, we exploit the underlying structure of many hypotheses, factorizing them as {pre-condition, action sequence, post-condition} triplets. By leveraging this structure we show that RL agents are able to succeed at the task. Furthermore, subsequent fine-tuning of the policies allows the agent to correctly verify hypotheses not amenable to the above factorization. | 翻訳日:2022-11-15 13:09:00 公開日:2020-06-29 |
| # Retro*:ニューラルガイドA*探索による再合成計画学習 Retro*: Learning Retrosynthetic Planning with Neural Guided A* Search ( http://arxiv.org/abs/2006.15820v1 ) ライセンス: Link先を確認 | Binghong Chen, Chengtao Li, Hanjun Dai, Le Song | (参考訳) 再合成計画(Retrosynthetic Planning)は、有機化学において重要な課題であり、標的生成物の合成につながる一連の反応を特定する。
膨大な量の化学変換が可能であり、探索空間の大きさは非常に大きく、経験豊富な化学者でも逆合成計画が難しい。
しかし、既存の手法では、高いばらつきを持つロールアウトによる高価なリターン推定が必要か、品質よりも検索速度を最適化する必要がある。
本稿では,高品質な合成経路を効率よく見つけるニューラルネットワークA*-likeアルゴリズムRetro*を提案する。
検索をand-orツリーとして維持し、オフポリシーデータでニューラルネットワークの検索バイアスを学ぶ。
そして、このニューラルネットワークによってガイドされ、新しい計画エピソードの間、ベストファースト検索を効率的に行う。
ベンチマークUSPTOデータセットの実験から,提案手法は,成功率とソリューション品質の両方において,既存の最先端技術よりも優れ,同時に効率がよいことを示す。 Retrosynthetic planning is a critical task in organic chemistry which identifies a series of reactions that can lead to the synthesis of a target product. The vast number of possible chemical transformations makes the size of the search space very big, and retrosynthetic planning is challenging even for experienced chemists. However, existing methods either require expensive return estimation by rollout with high variance, or optimize for search speed rather than the quality. In this paper, we propose Retro*, a neural-based A*-like algorithm that finds high-quality synthetic routes efficiently. It maintains the search as an AND-OR tree, and learns a neural search bias with off-policy data. Then guided by this neural network, it performs best-first search efficiently during new planning episodes. Experiments on benchmark USPTO datasets show that, our proposed method outperforms existing state-of-the-art with respect to both the success rate and solution quality, while being more efficient at the same time. | 翻訳日:2022-11-15 13:08:49 公開日:2020-06-29 |