このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス（CC 0, CC BY, CC BY-SA）の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。（arxivのメタデータは CC 0です。） 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。
公開日が20200225となっている論文です。
| Title | Authors | Abstract | 論文公表日・翻訳日 |
|---|---|---|---|
| # キラル真空中における理想金属板間のカシミール力 Casimir force between ideal metal plates in a chiral vacuum ( http://arxiv.org/abs/2002.01719v2 ) ライセンス: Link先を確認 | Johan S. H{\o}ye and Iver Brevik | (参考訳) カシミール力は、2つの平行理想金属板の間を介在するキラル媒質が存在するときに計算する。
量子統計力学の手法を用いて、この力がどのように単純でコンパクトな方法で見つけるかを示す。
力の表現は、最近 Q によって得られたものと一致している。
-D。
JiangとF. Wilczek。
B {\displaystyle B} 99}, 125403 (2019)] はグリーン関数法を用いている。 We calculate the Casimir force between two parallel ideal metal plates when there is an intervening chiral medium present. Making use of methods of quantum statistical mechanics we show how the force can be found in a simple and compact way. The expression for the force is in agreement with that obtained recently by Q.-D. Jiang and F. Wilczek [Phys. Rev. B {\bf 99}, 125403 (2019)], in their case with the use of Green function methods. | 翻訳日:2023-06-04 16:26:14 公開日:2020-02-25 |
| # 非線形周波数変換による多次元合成キラルチューブ格子 Multidimensional synthetic chiral-tube lattices via nonlinear frequency conversion ( http://arxiv.org/abs/2002.08591v2 ) ライセンス: Link先を確認 | Kai Wang, Bryn Bell, Alexander S. Solntsev, Dragomir N. Neshev, Benjamin J. Eggleton, Andrey A. Sukhorukov | (参考訳) 幾何学的次元は離散格子に生じる位相効果において根本的に重要な役割を果たす。
直接実験は3つの空間次元で制限されるが、フォトニクスの周波数自由度によって実装される合成次元の研究は急速に進んでいる。
このような人工格子における光の操作は、典型的には電気光学変調によって実現されるが、その動作帯域幅は異なる周波数成分間の相互作用範囲に実用的な制約を課している。
本稿では、非線形導波路における周波数変換を介する離散スペクトル線間の特別に調整された短距離と長距離の相互作用を含む全光合成次元を実験的に提案する。
三角キラルチューブ格子を3次元空間で実現し,その4次元一般化を探究する。
非零磁束を持つ合成ゲージ場を実装し、関連する周波数コムの多次元ダイナミクスを観測する。
本手法は,高次元物理学の基礎研究に新たな手段を提供し,時間領域と周波数領域で動作する光デバイスにおいて位相効果を利用するための重要なステップとなることを期待する。 Geometrical dimensionality plays a fundamentally important role in the topological effects arising in discrete lattices. While direct experiments are limited by three spatial dimensions, the research topic of synthetic dimensions implemented by the frequency degree of freedom in photonics is rapidly advancing. The manipulation of light in such artificial lattices is typically realized through electro-optic modulation, yet their operating bandwidth imposes practical constraints on the range of interactions between different frequency components. Here we propose and experimentally realize all-optical synthetic dimensions involving specially tailored simultaneous short- and long-range interactions between discrete spectral lines mediated by frequency conversion in a nonlinear waveguide. We realize triangular chiral-tube lattices in three-dimensional space and explore their four-dimensional generalization. We implement a synthetic gauge field with nonzero magnetic flux and observe the associated multidimensional dynamics of frequency combs, all within one physical spatial port. We anticipate that our method will provide a new means for the fundamental study of high-dimensional physics and act as an important step towards using topological effects in optical devices operating in the time and frequency domains. | 翻訳日:2023-06-03 02:54:49 公開日:2020-02-25 |
| # 時相符号化を用いた構成可能なセキュリティデコイ状態量子鍵分布の実験 Experimental composable security decoy-state quantum key distribution using time-phase encoding ( http://arxiv.org/abs/2002.10668v1 ) ライセンス: Link先を確認 | Hua-Lei Yin and Peng Liu and Wei-Wei Dai and Zhao-Hui Ci and Jie Gu and Tian Gao and Qiang-Wei Wang and Zi-Yao Shen | (参考訳) 量子鍵分布(QKD)は、確実に安全な通信を約束する。
秘密鍵レートを改善するために,バイアスベース選択とデコイ状態法を組み合わせた手法を提案する。
同時に、時間相符号化のような実用的なシステムでは、通常満足できない基底非依存の検出効率条件が存在する。
幸いなことに、この欠陥は、2つの塩基で合成された単光子状態の期待収率が所定の測定基準で同じであるという事実を用いて、理論的および実験的に最近取り除かれた。
しかし、セキュリティ証明は一般的な攻撃に対する有限キー効果を十分に考慮していない。
そこで本研究では,四重項ドコイ状態bb84 qkdに対する厳密な有限鍵セキュリティ境界を,普遍的構成可能なフレームワークにおけるコヒーレント攻撃に対して提供する。
さらに,本プロトコルを実装するために,200mhzクロックの時相符号化システムを構築し,50kmのシングルモードファイバ上で60kbps以上のリアルタイム秘密鍵レートを実現する。 Quantum key distribution (QKD) promises provably secure communications. In order to improve the secret key rate, combining a biased basis choice with the decoy-state method is proposed. Concomitantly, there is a basis-independent detection efficiency condition, which usually cannot be satisfied in a practical system, such as the time-phase encoding. Fortunately, this flaw has been recently removed theoretically and experimentally using the fact that the expected yields of single-photon states prepared in two bases stay the same for a given measurement basis. However, the security proofs do not fully consider the finite-key effects for general attacks. In this work, we provide the rigorous finite-key security bounds for four-intensity decoy-state BB84 QKD against coherent attacks in the universally composable framework. Furthermore, we build a time-phase encoding system with 200 MHz clocked to implement this protocol, in which the real-time secret key rate is more than 60 kbps over 50 km single-mode fiber. | 翻訳日:2023-06-02 00:13:00 公開日:2020-02-25 |
| # 量子鍵分布の安全かつ効率的な同期方式 Secure and efficient synchronization scheme for quantum key distribution ( http://arxiv.org/abs/2002.10662v1 ) ライセンス: Link先を確認 | Peng Liu and Hua-Lei Yin | (参考訳) 量子鍵分布における2つのユーザ間の時間参照フレームを確立するためには、通常、ゲートモード単一光子検出器(spds)を使用する場合に同期校正処理を適用する。
伝統的に、同期校正は各spdの線長測定によって独立に実装される。
しかし、これは特別な攻撃によって実験的に実証された抜け穴を残します。
本稿では,全spd間の信号時間窓の相対的遅延を固定し,低精度と高精度の同期を併用した複数spdによる線長計測を共同で行うことで,代替同期方式を提案する。
この新しいスキームは脆弱性の影響を受けないだけでなく、同期時間を通常数秒から数ミリ秒に短縮する。 To establish a time reference frame between two users in quantum key distribution, a synchronization calibration process is usually applied for the case of using gated mode single-photon detectors (SPDs). Traditionally, the synchronization calibration is independently implemented by the line length measurement for each SPD. However, this will leave a loophole which has been experimentally demonstrated by a special attack. Here, we propose an alternative synchronization scheme by fixing the relative delay of the signal time window among all SPDs and jointly performing the line length measurement with multiple SPDs under combining low-precision with high-precision synchronization. The new scheme is not only immune to the vulnerability but also improves the synchronization time from usually a few seconds to tens of milliseconds. | 翻訳日:2023-06-02 00:12:47 公開日:2020-02-25 |
| # コヒーレント低周波量子ビットの普遍的高速フラックス制御 Universal fast flux control of a coherent, low-frequency qubit ( http://arxiv.org/abs/2002.10653v1 ) ライセンス: Link先を確認 | Helin Zhang, Srivatsan Chakram, Tanay Roy, Nathan Earnest, Yao Lu, Ziwen Huang, Daniel Weiss, Jens Koch, David I. Schuster | (参考訳) textit{heavy-fluxonium}回路は超伝導量子プロセッサにとって、長い緩和と半流束フラストレーション点での遅延時間のために有望な構成要素である。
しかし、電荷行列素子の抑制と遷移周波数の低さにより、標準プロトコルを用いた高速シングルキュービットゲートの実行が困難になっている。
我々は,14mhzのトランジッション周波数を持つ量子ビットの高画質動作を可能にする,リセット,高速コヒーレント制御,読み出しのための新しいプロトコルについて報告する。
我々は高濃度のフラックスニウムを用いて、90〜\mathrm{\mu k}$ の冷却に対応する9.7$\%の忠実度で量子ビットを初期化する。
本研究では, 直接合成可能な高速パルスからなる単一サイクルフラックスゲートの集合を用いた高忠実度制御を実現し, プラズモンによる読み出しを計測に用いた。
t_1, t_{2e}\sim$~300~$\mathrm{\mu s}$のキュービットでは、平均ゲート忠実度99.8\%$の20〜60$~nのシングルキュービットゲートがランダム化ベンチマークで特徴付けられる。 The \textit{heavy-fluxonium} circuit is a promising building block for superconducting quantum processors due to its long relaxation and dephasing time at the half-flux frustration point. However, the suppressed charge matrix elements and low transition frequency have made it challenging to perform fast single-qubit gates using standard protocols. We report on new protocols for reset, fast coherent control, and readout, that allow high-quality operation of the qubit with a 14 MHz transition frequency, an order of magnitude lower in energy than the ambient thermal energy scale. We utilize higher levels of the fluxonium to initialize the qubit with $97$\% fidelity, corresponding to cooling it to $190~\mathrm{\mu K}$. We realize high-fidelity control using a universal set of single-cycle flux gates, which are comprised of directly synthesizable fast pulses, while plasmon-assisted readout is used for measurements. On a qubit with $T_1, T_{2e}\sim$~300~$\mathrm{\mu s}$, we realize single-qubit gates in $20-60$~ns with an average gate fidelity of $99.8\%$ as characterized by randomized benchmarking. | 翻訳日:2023-06-02 00:12:34 公開日:2020-02-25 |
| # ダイアモンドプリンセス」における感染者数-群集流のシミュレーションに基づくウイルス感染モデルによる予測 How many infections of COVID-19 there will be in the "Diamond Princess"-Predicted by a virus transmission model based on the simulation of crowd flow ( http://arxiv.org/abs/2002.10616v1 ) ライセンス: Link先を確認 | Zhiming Fang, Zhongyi Huang, Xiaolian Li, Jun Zhang, Wei Lv, Lei Zhuang, Xingpeng Xu, Nan Huang | (参考訳) 対象:クルーズ船内での新型コロナウイルスの感染過程をシミュレートし、「ダイアモンド・プリンセス」の3711人の感染数を判断し、大量感染を防ぐための対策を分析。
方法: 群集流モデルに基づいて, クルーズ船上での歩行者の日常活動において, 密接な接触によるウイルスの拡散をシミュレートする, 歩行者間のウイルス伝達規則を確立する。
測定と主な結果:3種類のシミュレーションシナリオが設計され、基本シナリオはウイルスキャリアによるウイルス感染のプロセスと、ウイルスに対する個人的保護措置の効果に焦点を当てている。
自己保護のシナリオでは、オリジナルのウイルスキャリアが中途半端に脱落し、より多くの人が自己保護を強化するという条件が考えられているが、これは「ダイアモンドプリンセス」クルーズの実態と比較的一致している。
コントロールシナリオは、「ダイアモンド・プリンセス」の航海中に新型コロナウイルスに感染した850〜1009人(大きな確率で)が、ウイルス感染の推奨または強制的な措置をとる効果をシミュレートするために設定されている。
集団感染率は、新型コロナウイルス(covid-19)感染の警戒期間に直ちに推奨または強制措置が講じられる場合、効果的にコントロールされる。 Objectives: Simulate the transmission process of COVID-19 in a cruise ship, and then to judge how many infections there will be in the 3711 people in the "Diamond Princess" and analyze measures that could have prevented mass transmission. Methods: Based on the crowd flow model, the virus transmission rule between pedestrians is established, to simulate the spread of the virus caused by the close contact during pedestrians' daily activities on the cruise ship. Measurements and main results: Three types of simulation scenarios are designed, the Basic scenario focus on the process of virus transmission caused by a virus carrier and the effect of the personal protective measure against the virus. The condition that the original virus carriers had disembarked halfway and more and more people strengthen self-protection are considered in the Self-protection scenario, which would comparatively accord with the actual situation of "Diamond princess" cruise. Control scenario are set to simulate the effect of taking recommended or mandatory measures on virus transmission Conclusions: There are 850~1009 persons (with large probability) who have been infected with COVID-19 during the voyage of "Diamond Princess". The crowd infection percentage would be controlled effectively if the recommended or mandatory measures can be taken immediately during the alert phase of COVID-19 outbreaks. | 翻訳日:2023-06-02 00:12:11 公開日:2020-02-25 |
| # 散逸回路量子力学におけるLandau-Zener-St\"uckelberg干渉 Landau-Zener-St\"uckelberg Interferometry in dissipative Circuit Quantum Electrodynamics ( http://arxiv.org/abs/2002.10827v1 ) ライセンス: Link先を確認 | Mariano Bonifacio, Daniel Dom\'inguez and Mar\'ia Jos\'e S\'anchez | (参考訳) 我々は, 散逸の影響下でのcQEDアーキテクチャにおけるLandau-Zener-St\"uckelberg(LZS)干渉法について検討した。
具体的には、dc+ac信号により駆動され伝送線路共振器に結合された超伝導量子ビットについて検討する。
環境を考慮した場合、共振器はオーミック量子浴と結合していると仮定する。
Floquet-Born-Markovマスター方程式は、ドライブの任意の振幅と異なる時間スケールに対するシステムのダイナミクスを得るために数値的に解かれる。
我々は, 量子ビット-共振器相互作用における強結合系と超強結合系の共鳴パターンに, 主に系のエネルギースペクトルにおけるフォトニックギャップの大きさに起因する重要な違いを明らかにした。
我々はLZSパターンにおいて、クビットギャップとフォトニックギャップの寄与を同定し、大きな駆動振幅に対して、異なるギャップのコントリビューションの相互交差による織り構造を示すことを示す。 We study Landau-Zener-St\"uckelberg (LZS) interferometry in a cQED architecture under effects of dissipation. To be specific, we consider a superconducting qubit driven by a dc+ac signal and coupled to a transmission line resonator, but our results are valid for general qubit-resonators devices. To take the environment into account, we assume that the resonator is coupled to an ohmic quantum bath. The Floquet-Born-Markov master equation is numerically solved to obtain the dynamics of the system for arbitrary amplitude of the drive and different time scales. We unveil important differences in the resonant patterns between the Strong Coupling and Ultra Strong Coupling regimes in the qubit-resonator interaction, which are mainly due to the magnitude of photonic gaps in the energy spectrum of the system. We identify in the LZS patterns the contribution of the qubit gap and the photonic gaps, showing that for large driving amplitudes the patterns present a weaving structure due to the combined intercrossing of the different gaps contributions. | 翻訳日:2023-06-02 00:07:54 公開日:2020-02-25 |
| # 軌道角運動量を持つ光ビーム中の量子回転子原子:高精度回転センサ Quantum Rotor Atoms in Light Beams with Orbital Angular Momentum: Highly Accurate Rotation Sensor ( http://arxiv.org/abs/2002.10794v1 ) ライセンス: Link先を確認 | Igor Kuzmenko, Tetyana Kuzmenko, Yehuda B. Band | (参考訳) 赤い変形したレトロ反射したラゲール・ガウシアンビームに閉じ込められた原子は、レーザービームの軸に中心があるリング内で軌道運動を行う。
我々は、そのような量子ローター(QR)の波動関数、エネルギー、縮退を定め、エネルギー準位間のマイクロ波遷移を解明する。
このようなQR原子が、リングが単独で占有されている場合、どのようにして高精度な回転センサとして使用できるかを示す。 Atoms trapped in a red detuned retro-reflected Laguerre-Gaussian beam undergo orbital motion within rings whose centers are on the axis of the laser beam. We determine the wave functions, energies and degeneracies of such quantum rotors (QRs), and the microwave transitions between the energy levels are elucidated. We then show how such QR atoms can be used as high-accuracy rotation sensors when the rings are singly-occupied. | 翻訳日:2023-06-02 00:06:03 公開日:2020-02-25 |
| # フィールドエンハンス原子干渉法の限界 Limitations for field-enhanced atom interferometry ( http://arxiv.org/abs/2002.10785v1 ) ライセンス: Link先を確認 | D. Comparat (LAC) | (参考訳) 干渉計の両腕に異なる外界勾配を用いて開域を拡大することにより、光干渉計装置の感度を高める可能性について議論する。
電場と磁場の組み合わせは干渉計を脱相化する非線形項をキャンセルする。
これはよく定義された(典型的にはn$\sim$ 20 Rydberg)状態、Teslaの少ない磁場と$\sim$ 10V/cm 2の電場勾配を使って実現できる。
しかし、これは数十$\mu$sの順序での相互作用時間のみが許容され、標準光パルス原子干渉計よりもわずか1ないし2桁の精度で到達可能である。
さらに、フィールドと状態と3次元軌道の制御は到達可能な精度に厳しい制限を与える。
したがって、このアイデアは正確な測定には適さないが、反物質研究において重力や中立性のために使われる可能性がある。 We discuss the possibility to enhance the sensitivity of optical interferometric devices by increasing its open area using an external field gradient that act differently on the two arms of the interfer-ometers. The use of combined electric and magnetic field cancel non linear terms that dephases the interferometer. This is possible using well defined (typically with n $\sim$ 20 Rydberg) states, a magnetic field of few Tesla and an electric field gradient of $\sim$ 10V/cm 2. However this allows only for interaction times on the order of tens of $\mu$s leading a reachable accuracy of only 1 or 2 order of magnitude higher than standard light-pulse atom interferometers. Furthermore, the control of fields and states and 3D trajectories puts severe limits to the reachable accuracy. This idea is therefore not suitable for precision measurement but might eventually be used for gravity or neutrality in antimatter studies. | 翻訳日:2023-06-02 00:05:53 公開日:2020-02-25 |
| # 全電気的シリコン量子コンピューティングは長期的には可能か? Is all-electrical silicon quantum computing feasible in the long term? ( http://arxiv.org/abs/2002.10784v1 ) ライセンス: Link先を確認 | Elena Ferraro and Enrico Prati | (参考訳) 第1世代の商用量子コンピュータの開発は、それぞれ超伝導量子ビットと閉じ込められたイオンに基づいている。
半導体量子ドット、中性イオン、光子といった他の技術は、原則として、中期的に同等の結果を得るための代替手段を提供することができる。
1つ以上の量子コンピュータが、長期にわたって数百万の量子ビットに対するスケーラビリティに対処する上で、より効果的であるかどうかを評価することが重要である。
二重量子ドットハイブリッド量子ビット(double quantum dot hybrid qubit)と呼ばれる全電動シリコンスピン量子ビットと、既存のシリコンサプライチェーンによるナノスケールデバイスの大規模製造技術の両方に依存する量子技術について検討する。 The development of the first generation of commercial quantum computers is based on superconductive qubits and trapped ions respectively. Other technologies such as semiconductor quantum dots, neutral ions and photons could in principle provide an alternative to achieve comparable results in the medium term. It is relevant to evaluate if one or more of them is potentially more effective to address scalability to millions of qubits in the long term, in view of creating a universal quantum computer. We review an all-electrical silicon spin qubit, that is the double quantum dot hybrid qubit, a quantum technology which relies on both solid theoretical grounding on one side, and massive fabrication technology of nanometric scale devices by the existing silicon supply chain on the other. | 翻訳日:2023-06-02 00:05:39 公開日:2020-02-25 |
| # 点変換:量子時間依存質量非定常発振器の厳密解 Point transformations: exact solutions of the quantum time-dependent mass nonstationary oscillator ( http://arxiv.org/abs/2002.10748v1 ) ライセンス: Link先を確認 | Kevin Zelaya, V\'eronique Hussin | (参考訳) 本稿では,周波数と時間に依存する質量項との振動子様相互作用によって構成される時間依存ハミルトニアンの厳密な解について述べる。
後者は、定常振動子のシュリンガー方程式を時間依存モデルの1つに変形させるような適切な点変換を構築することで達成される。
したがって、後者の解は定常振動子のよく知られた解の変形と見なすことができ、直交する解の集合を直交的に決定することができる。
後者は、内積構造が点変換によって保存されるため可能である。
また、定常発振器の任意の不変作用素は時間依存モデルの不変量に変換される。
この性質は、アンザッツを使わずに運動定数を決定する簡単な方法につながる。 In this note we address the exact solutions of a time-dependent Hamiltonian composed by an oscillator-like interaction with both a frequency and a mass term that depend on time. The latter is achieved by constructing the appropriate point transformation such that it deforms the Schr\"odinger equation of a stationary oscillator into the one of the time-dependent model. Thus, the solutions of the latter can be seen as deformations of the well known solutions of the stationary oscillator, and thus an orthogonal set of solutions can be determined in a straightforward way. The latter is possible since the inner product structure is preserved by the point transformation. Also, any invariant operator of the stationary oscillator is transformed into an invariant of the time-dependent model. This property leads to a straightforward way to determine constants of motion without requiring to use ansatz. | 翻訳日:2023-06-02 00:05:14 公開日:2020-02-25 |
| # 量子熱力学におけるエントロピー生成 No Entropy Production in Quantum Thermodynamics ( http://arxiv.org/abs/2002.10747v1 ) ライセンス: Link先を確認 | B. Ahmadi, S. Salimi and A. S. Khorashad | (参考訳) この研究で、顕微鏡量子熱力学とマクロ古典熱力学の間には根本的な違いがあることが示される。
量子熱力学におけるエントロピー生成は常に閉と開の両方の量子熱力学系において消滅することが証明される。
この新奇で非常に驚くべき結果は、クラウシウスが最初に熱力学の科学を確立するために使った真の推論に基づいている。
この結果から、任意の非平衡量子系に対する一般化温度が定義される。 In this work we will show that there exists a fundamental difference between microscopic quantum thermodynamics and macroscopic classical thermodynamics. It will be proved that the entropy production in quantum thermodynamics always vanishes for both closed and open quantum thermodynamic systems. This novel and very surprising result is derived based on the genuine reasoning Clausius used to establish the science of thermodynamics in the first place. This result will interestingly lead to define the generalized temperature for any non-equilibrium quantum system. | 翻訳日:2023-06-02 00:05:00 公開日:2020-02-25 |
| # 量子コンピュータにおける指数和とリーマンゼータ関数の評価 Evaluation of exponential sums and Riemann zeta function on quantum computer ( http://arxiv.org/abs/2002.11094v1 ) ライセンス: Link先を確認 | Sandeep Tyagi | (参考訳) S(f, N)= \sum_{k=0}^{N-1} \sqrt{w_k} e^{2 \pi i f(k)}, \end{equation*} の指数和(ES)を量子コンピュータ(QC)で効率的に行うことができることを示す。
ここで$n$ は指数関数的に大きくなり、$w_k$ は実数であり、sum $s_w(m)=\sum_{k=0}^{m-1} w_k$ は任意の$m$、$s_w(n)=1$、$f(x)$ は実関数であり、qc上で容易に実装できると仮定される。
この手法の適用例として、臨界ストリップにおけるリーマンゼータ (RZ) 関数 $\zeta(\sigma + i t)$, $\{0 \le \sigma <1, t \in \mathbb{R} \}$ がpolyLog(t) 時間で得られることを示す。
別の設定では、RZ 関数はスケーリング $t^{1/D}$ で得ることができ、$D \ge 2$ は任意の整数である。
これらの方法は、よく知られた古典的アルゴリズムよりも大幅に改善され、多くは$t^{4/13}$としてスケールすることが知られている。
qc 上で直接$\lvert s(f,n) \rvert$を求めるための代替法を提案する。
この方法は、計算基底の振幅として$a_k$を持つ$n$-量子ビット量子状態の等級$a=\lvert \sum_0^{n-1} a_k \rvert$を求めることに依拠する。
A$を得るには2つの異なる方法を提示します。
最後に,位相/振幅推定法について簡単な考察を行った。 We show that exponential sums (ES) of the form \begin{equation*} S(f, N)= \sum_{k=0}^{N-1} \sqrt{w_k} e^{2 \pi i f(k)}, \end{equation*} can be efficiently carried out with a quantum computer (QC). Here $N$ can be exponentially large, $w_k$ are real numbers such that sum $S_w(M)=\sum_{k=0}^{M-1} w_k$ can be calculated in a closed form for any $M$, $S_w(N)=1$ and $f(x)$ is a real function, that is assumed to be easily implementable on a QC. As an application of the technique, we show that Riemann zeta (RZ) function, $\zeta(\sigma+ i t)$ in the critical strip, $\{0 \le \sigma <1, t \in \mathbb{R} \}$, can be obtained in polyLog(t) time. In another setting, we show that RZ function can be obtained with a scaling $t^{1/D}$, where $D \ge 2$ is any integer. These methods provide a vast improvement over the best known classical algorithms; best of which is known to scale as $t^{4/13}$. We present alternative methods to find $\lvert S(f,N) \rvert$ on a QC directly. This method relies on finding the magnitude $A=\lvert \sum_0^{N-1} a_k \rvert$ of a $n$-qubit quantum state with $a_k$ as amplitudes in the computational basis. We present two different ways to do obtain $A$. Finally, a brief discussion of phase/amplitude estimation methods is presented. | 翻訳日:2023-06-01 23:56:17 公開日:2020-02-25 |
| # 非バイナリエラー検出ハイブリッド符号 Nonbinary Error-Detecting Hybrid Codes ( http://arxiv.org/abs/2002.11075v1 ) ライセンス: Link先を確認 | Andrew Nemec and Andreas Klappenecker | (参考訳) ハイブリッドコードは量子情報と古典情報の両方を同時に符号化し、量子チャネルをまたいで両方の伝送を可能にする。
1つのエラーを検出できると同時に、残余類環上で1つの古典ビットを符号化できる非バイナリエラー検出ハイブリッド安定化符号のファミリーを構築し、非バイナリ非加法符号の構成にインスパイアされた。 Hybrid codes simultaneously encode both quantum and classical information, allowing for the transmission of both across a quantum channel. We construct a family of nonbinary error-detecting hybrid stabilizer codes that can detect one error while also encoding a single classical bit over the residue class rings $\mathbb{Z}_{q}$ inspired by constructions of nonbinary non-additive codes. | 翻訳日:2023-06-01 23:55:39 公開日:2020-02-25 |
| # 周期駆動メソスコピック導体におけるコヒーレント輸送:散乱行列から量子熱力学へ Coherent Transport in Periodically Driven Mesoscopic Conductors: From Scattering Matrices to Quantum Thermodynamics ( http://arxiv.org/abs/2002.11063v1 ) ライセンス: Link先を確認 | Kay Brandner | (参考訳) 散乱理論は、メソスコピック系における輸送現象を記述するための標準ツールである。
本稿では、電界または磁場の振動によって駆動されるナノスケール導体に対するこの方法の詳細な導出について述べる。
我々のアプローチは、周期時間依存ハミルトニアン系への従来のリップマン・シュウィンガー形式主義の拡張に基づいている。
その結果, フラケット散乱振幅の系統的摂動スキームが得られ, 周期的に駆動される試料を通して輸送キャリアの遷移を記述する。
一般的なマルチ端末構成では, 平均値と時間積分相関関数, 物質およびエネルギー電流のゼロ周波ノイズの顕微鏡的表現を導出し, 先行研究の結果を統一する。
この枠組みは熱力学の第1および第2法則と本質的に一致することを示し、エントロピー生成の平均速度は系内の全ての電流がゼロである場合にのみ消滅することを示す。
応用として、グリーン・クボ関係を一般化し、適切な選択された電流間の時間積分相関関数を用いて、温度と化学的ポテンシャル勾配の小さな変化に対する平均電流の応答を表現できるようにする。
最後に,今後の研究の課題を考察し,確率的および量子熱力学におけるフロッケ散乱法の量子輸送への応用について述べる。 Scattering theory is a standard tool for the description of transport phenomena in mesoscopic systems. Here, we provide a detailed derivation of this method for nano-scale conductors that are driven by oscillating electric or magnetic fields. Our approach is based on an extension of the conventional Lippmann-Schwinger formalism to systems with a periodically time dependent Hamiltonian. As a key result, we obtain a systematic perturbation scheme for the Floquet scattering amplitudes that describe the transition of a transport carrier through a periodically driven sample. Within a general multi-terminal setup, we derive microscopic expressions for the mean values and time-integrated correlation functions, or zero-frequency noise, of matter and energy currents, thus unifying the results of earlier studies. We show that this framework is inherently consistent with the first and the second law of thermodynamics and prove that the mean rate of entropy production vanishes only if all currents in the system are zero. As an application, we derive a generalized Green-Kubo relation, which makes it possible to express the response of any mean currents to small variations of temperature and chemical potential gradients in terms of time integrated correlation functions between properly chosen currents. Finally, we discuss potential topics for future studies and further reaching applications of the Floquet scattering approach to quantum transport in stochastic and quantum thermodynamics. | 翻訳日:2023-06-01 23:55:32 公開日:2020-02-25 |
| # 古典ディックモデルの実験的実現 Experimental realization of the classical Dicke model ( http://arxiv.org/abs/2002.11062v1 ) ライセンス: Link先を確認 | Mario A. Quiroz-Ju\'arez, Jorge Ch\'avez-Carlos, Jos\'e L. Arag\'on, Jorge G. Hirsch and Roberto de J. Le\'on-Montiel | (参考訳) 完全反射共振器内の単モード電磁場と相互作用する多数の2レベル原子を記述した半古典近似におけるディックモデルの実験的実装を報告する。
これは、アナログ電気部品を用いて実装された2つの非線形結合型合成LC回路を用いて管理される。
プラットフォームの単純性と汎用性は、Dickeモデルにおける正規およびカオス軌跡の共存を実験的に探索するだけでなく、いわゆる基底状態および励起状態の「量子」相転移を直接観察することを可能にする。
本分析では, 位相空間の軌跡, リアプノフ指数, 最近導入されたOut-of-Time-Order-Correlator (OTOC) を用いて, 電子機器の異なる動作状態を特定する。
実験と理論の定量的および定性的な一致を示すために, 実験数値シミュレーションを行った。 We report the experimental implementation of the Dicke model in the semiclassical approximation, which describes a large number of two-level atoms interacting with a single-mode electromagnetic field in a perfectly reflecting cavity. This is managed by making use of two non-linearly coupled active, synthetic LC circuits, implemented by means of analog electrical components. The simplicity and versatility of our platform allows us not only to experimentally explore the coexistence of regular and chaotic trajectories in the Dicke model but also to directly observe the so-called ground-state and excited-state ``quantum'' phase transitions. In this analysis, the trajectories in phase space, Lyapunov exponents and the recently introduced Out-of-Time-Order-Correlator (OTOC) are used to identify the different operating regimes of our electronic device. Exhaustive numerical simulations are performed to show the quantitative and qualitative agreement between theory and experiment. | 翻訳日:2023-06-01 23:55:09 公開日:2020-02-25 |
| # NV-NMR分光計の磁場不均一性に対するロバスト性について On the robustness of the NV-NMR spectrometer setup to magnetic field inhomogeneities ( http://arxiv.org/abs/2002.10852v1 ) ライセンス: Link先を確認 | Yotam Vaknin, Benedikt Tratzmiller, Tuvia Gefen, Ilai Schwartz, Martin Plenio and Alex Retzker | (参考訳) NV-NMR分光計はナノスケールでのNMR信号の検出に有望な候補である。
しかし、磁場不均一性は、芸術的NV-NMR実験におけるスペクトル分解能を制限する主要なノイズ源であり、ナノスケールNMRの開発において大きなボトルネックとなっている。
本稿では、ナノメートルスケールと検出器の量子性を利用して、この制限をNV-NMR分光器実験で回避できる経路を提案する。 The NV-NMR spectrometer is a promising candidate for detection of NMR signals at the nano scale. Field inhomogeneities, however, are a major source of noise that limits spectral resolution in state of the art NV - NMR experiments and constitutes a major bottleneck in the development of nano scale NMR. Here we propose, a route in which this limitation could be circumvented in NV-NMR spectrometer experiments, by utilising the nanometric scale and the quantumness of the detector. | 翻訳日:2023-06-01 23:54:09 公開日:2020-02-25 |
| # 超高速アト秒単一イオン化ダイナミクスにおける電子-電子相関の影響 The impact of electron-electron correlation in ultrafast attosecond single ionization dynamics ( http://arxiv.org/abs/2002.11633v1 ) ライセンス: Link先を確認 | Friedrich Georg Fr\"obel (1 and 2), Karl Michael Ziems (1 and 3), Ulf Peschel (2 and 4), Stefanie Gr\"afe (1,2 and 3) and Alexander Schubert (1) ((1) Institute of Physical Chemistry, Friedrich Schiller University Jena, Germany. (2) Abbe Center of Photonics, Friedrich Schiller University Jena, Germany. (3) Max Planck School of Photonics, Jena, Germany. (4) Institute for Condensed Matter Theory and Solid State Optics, Friedrich Schiller University Jena, Germany.) | (参考訳) 相関した2電子または多電子系のアト秒超高速イオン化ダイナミクスは、これまで主に原子系の研究に取り組んできた。
単一イオン化の場合、電子-電子相関は単一活性電子像を超えるイオン化ダイナミクスと可観測性を変化させ、オージャー効果やシェイクアップ/ダウン、ノックアップ/ダウンといった効果をもたらすことが知られている。
ここでは,2電子動力学と非断熱核動力学を関連づけた分子系のアト秒イオン化の研究により,これらの研究を拡大する。
強い電子と弱い電子の2つの異なる有界電子を持つ電荷移動分子モデルシステムを用いて、イオン化につながる異なる経路を、弾性および非弾性電子散乱過程を含む直接イオン化またはイオン化と区別する。
異なる経路が親分子イオンの電子集団の差異をもたらすことが判明し、その後、異なる時間スケールで異なる(非断熱的な)ポストイオン化ダイナミクスが伴うことが判明した。 The attosecond ultrafast ionization dynamics of correlated two- or many-electron systems have, so far, been mainly addressed investigating atomic systems. In the case of single ionization, it is well known that electron-electron correlation modifies the ionization dynamics and observables beyond the single active electron picture, resulting in effects such as the Auger effect or shake-up/down and knock-up/down processes. Here, we extend these works by investigating the attosecond ionization of a molecular system involving correlated two-electron dynamics, as well as non-adiabatic nuclear dynamics. Employing a charge-transfer molecular model system with two differently bound electrons, a strongly and a weakly bound electron, we distinguish different pathways leading to ionization, be it direct ionization or ionization involving elastic and inelastic electron scattering processes. We find that different pathways result in a difference in the electronic population of the parent molecular ion, which, in turn, involves different subsequent (non-adiabatic) postionization dynamics on different time scales. | 翻訳日:2023-06-01 23:47:24 公開日:2020-02-25 |
| # interactive summarizing -- 生成学習ツールとしてのスライドの自動ローカライズ技術 Interactive Summarizing -- Automatic Slide Localization Technology as Generative Learning Tool ( http://arxiv.org/abs/2002.11203v1 ) ライセンス: Link先を確認 | Lili Yan and Kai Li | (参考訳) 要約は講義学習における一般的な学習戦略である。
これは、学習者が伝統的な講義とビデオ講義の両方に携わる効果的な方法である。
映像要約は,ビデオ講義における学習者の要約体験を高めるために有効な技術である。
本稿では,講義ビデオ学習に最先端の自動スライド定位技術を適用することを提案する。
対話型要約モデルは,畳み込みニューラルネットワークが支援するビデオ講義学習プロセスと,関連する学習分析の可能性を説明するために設計された。 Making a summary is a common learning strategy in lecture learning. It is an effective way for learners to engage in both traditional and video lectures. Video summarization is an effective technology applied to enhance learners' summarizing experience in a video lecture. In this article, we propose to apply cutting-edge automatic slide localization technology to lecture video learning experience. An interactive summarizing model is designed to explain how learners are engaged in the video lecture learning process supported by convolutional neural network and the possibility of related learning analytics. | 翻訳日:2023-06-01 23:46:46 公開日:2020-02-25 |
| # 短期量子コンピュータにおける物質の量子シミュレーション Quantum simulations of materials on near-term quantum computers ( http://arxiv.org/abs/2002.11173v1 ) ライセンス: Link先を確認 | He Ma, Marco Govoni, Giulia Galli | (参考訳) 量子コンピュータは分子や物質の特性の効率的なシミュレーションを可能にすると約束しているが、現時点では数個の原子のab initio計算しか許していない。
大規模システムのシミュレーションにおいて、短期量子コンピュータのパワーを利用するためには、量子計算をシステムの一部に限定したハイブリッド量子古典的手法を開発することが望ましい。
これは、活性領域が環境よりも高い理論的精度を必要とする分子や固体に特に関係している。
ここでは、活性領域の強相関電子状態の計算のための量子埋め込み理論を示し、残りの系は密度汎関数理論で記述する。
量子情報技術に大きな関心を持つ半導体のいくつかの欠陥量子ビットを探索することにより、アプローチの精度と有効性を示す。
量子コンピュータ上で計算を行い、古典的アーキテクチャの正確な対角化で得られたものと一致して結果が得られることを示し、近い将来の量子コンピュータにおける現実的な材料のシミュレーションへの道を開く。 Quantum computers hold promise to enable efficient simulations of the properties of molecules and materials; however, at present they only permit ab initio calculations of a few atoms, due to a limited number of qubits. In order to harness the power of near-term quantum computers for simulations of larger systems, it is desirable to develop hybrid quantum-classical methods where the quantum computation is restricted to a small portion of the system. This is of particular relevance for molecules and solids where an active region requires a higher level of theoretical accuracy than its environment. Here we present a quantum embedding theory for the calculation of strongly-correlated electronic states of active regions, with the rest of the system described within density functional theory. We demonstrate the accuracy and effectiveness of the approach by investigating several defect quantum bits in semiconductors that are of great interest for quantum information technologies. We perform calculations on quantum computers and show that they yield results in agreement with those obtained with exact diagonalization on classical architectures, paving the way to simulations of realistic materials on near-term quantum computers. | 翻訳日:2023-06-01 23:45:51 公開日:2020-02-25 |
| # 航空救急車の車両配置最適化アルゴリズム Algorithms for Optimizing Fleet Staging of Air Ambulances ( http://arxiv.org/abs/2001.05291v2 ) ライセンス: Link先を確認 | Joseph Tassone, Geoffrey Pond, Salimur Choudhury | (参考訳) 災害時、救急車による迅速な対応が患者の生存の決定要因となることが多い。
障害物は、地理的な遠隔性と車両配置の制限によって、この状況を強化します。
これらの要素を考慮すると、応答者の配置は最も重要な決定である。
本研究は,実ミッションデータを利用して,整数線形計画を用いた最適カバレッジ問題を構成する。
正確な比較のために、Gurobiオプティマイザは開発モデルでプログラムされ、性能に適していた。
ベースランキングを実装したソリューションとして,ローカル検索とタブ検索に基づくアルゴリズムが開発された。
局所探索アルゴリズムはカバレッジを最大化するには不十分であり, タブ探索は最適に近い結果を得た。
後者の場合、総走行距離は最小化され、ランタイムはgurobiが生成したものを大幅に上回った。
さらに、並列CUDA処理を利用した変更により、アルゴリズムランタイムはさらに低下した。
テストミッションの数が増えるにつれて、これらは優れていることが分かり、同じ最小距離を維持した。 In a disaster situation, air ambulance rapid response will often be the determining factor in patient survival. Obstacles intensify this circumstance, with geographical remoteness and limitations in vehicle placement making it an arduous task. Considering these elements, the arrangement of responders is a critical decision of the utmost importance. Utilizing real mission data, this research structured an optimal coverage problem with integer linear programming. For accurate comparison, the Gurobi optimizer was programmed with the developed model and timed for performance. A solution implementing base ranking followed by both local and Tabu search-based algorithms was created. The local search algorithm proved insufficient for maximizing coverage, while the Tabu search achieved near-optimal results. In the latter case, the total vehicle travel distance was minimized and the runtime significantly outperformed the one generated by Gurobi. Furthermore, variations utilizing parallel CUDA processing further decreased the algorithmic runtime. These proved superior as the number of test missions increased, while also maintaining the same minimized distance. | 翻訳日:2023-01-12 23:03:04 公開日:2020-02-25 |
| # グラフ畳み込みネットワークにおける自己平滑化を回避するポアソンカーネル Poisson Kernel Avoiding Self-Smoothing in Graph Convolutional Networks ( http://arxiv.org/abs/2002.02589v2 ) ライセンス: Link先を確認 | Ziqing Yang, Shoudong Han and Jun Zhao | (参考訳) グラフ畳み込みネットワーク(GCN)は、社会行動分析におけるソーシャルネットワーク、化学分野における分子構造解析、骨格に基づく行動認識などの非ユークリッドデータを扱う効果的なツールとなっている。
グラフ畳み込みカーネルは、ノードの特徴を抽出するGCNで最も重要な要素の1つであり、いくつかの改善は理論的および実験的に有望な性能に達した。
しかし、異なるデータ型とグラフ構造がこれらのカーネルのパフォーマンスにどのように影響するかに関する研究は限られている。
既存のほとんどの手法は、与えられたグラフ構造を扱うために適応的な畳み込みカーネルを使用していた。
本稿では,スペクトルグラフの理論的解析から始め,既存のグラフ畳み込み核の特性について検討した。
特定のパラメータを持つ設計データセットをいくつか考慮しながら,畳み込みカーネルの自己喫煙現象を明らかにした。
その後,適応カーネルを訓練することなく自己平滑化を回避できるPoissonカーネルを提案する。
実験の結果、我々のPoissonカーネルは、最先端のメソッドが正常に動作するベンチマークデータセットだけでなく、合成データセットよりも明らかに優れていることが示された。 Graph convolutional network (GCN) is now an effective tool to deal with non-Euclidean data, such as social networks in social behavior analysis, molecular structure analysis in the field of chemistry, and skeleton-based action recognition. Graph convolutional kernel is one of the most significant factors in GCN to extract nodes' feature, and some improvements of it have reached promising performance theoretically and experimentally. However, there is limited research about how exactly different data types and graph structures influence the performance of these kernels. Most existing methods used an adaptive convolutional kernel to deal with a given graph structure, which still not reveals the internal reasons. In this paper, we started from theoretical analysis of the spectral graph and studied the properties of existing graph convolutional kernels. While taking some designed datasets with specific parameters into consideration, we revealed the self-smoothing phenomenon of convolutional kernels. After that, we proposed the Poisson kernel that can avoid self-smoothing without training any adaptive kernel. Experimental results demonstrate that our Poisson kernel not only works well on the benchmark dataset where state-of-the-art methods work fine, but also is evidently superior to them in synthetic datasets. | 翻訳日:2023-01-03 04:09:57 公開日:2020-02-25 |
| # be like water:adaptive feature normalizationによる外部変数へのロバスト性 Be Like Water: Robustness to Extraneous Variables Via Adaptive Feature Normalization ( http://arxiv.org/abs/2002.04019v2 ) ライセンス: Link先を確認 | Aakash Kaku, Sreyas Mohan, Avinash Parnandi, Heidi Schambra and Carlos Fernandez-Granda | (参考訳) 外部変数は特定のタスクに関係のない変数であるが、利用可能なデータの分布に大きな影響を与える。
本研究では,このような変数が存在すると,ディープラーニングモデルの性能が低下することを示す。
脳卒中患者の上体運動の分類,手術活動の注記,腐敗画像の認識という,既知の外来変数の影響が強い3つのデータセットについて検討した。
バッチ正規化で訓練されたモデルは、外部変数に強く依存する特徴を学ぶ。
バッチ正規化では、特徴を正規化するために使用される統計は、トレーニングセットから学習され、テスト時に固定される。
我々は,例えば正規化のように,推論中に特徴統計量を適応的に推定することでこの問題に対処し,外部変数の変化に対してより堅牢な正規化特徴を生成することを示した。
これにより、異なるネットワークアーキテクチャのパフォーマンスと機能統計の選択が大幅に向上する。 Extraneous variables are variables that are irrelevant for a certain task, but heavily affect the distribution of the available data. In this work, we show that the presence of such variables can degrade the performance of deep-learning models. We study three datasets where there is a strong influence of known extraneous variables: classification of upper-body movements in stroke patients, annotation of surgical activities, and recognition of corrupted images. Models trained with batch normalization learn features that are highly dependent on the extraneous variables. In batch normalization, the statistics used to normalize the features are learned from the training set and fixed at test time, which produces a mismatch in the presence of varying extraneous variables. We demonstrate that estimating the feature statistics adaptively during inference, as in instance normalization, addresses this issue, producing normalized features that are more robust to changes in the extraneous variables. This results in a significant gain in performance for different network architectures and choices of feature statistics. | 翻訳日:2023-01-02 07:59:10 公開日:2020-02-25 |
| # 連続リカレントニューラルネットワークを用いた動的システムシミュレーションと制御 Dynamic Systems Simulation and Control Using Consecutive Recurrent Neural Networks ( http://arxiv.org/abs/2002.10228v2 ) ライセンス: Link先を確認 | Srikanth Chandar and Harsha Sunder | (参考訳) 本稿では,適応学習とニューラルネットワークを任意のマシンの制御システムパラダイムに接続する新しいアーキテクチャを提案する。
2つの連続リカレントニューラルネットワーク(RNN)は、コントローラ、アクチュエータ、モーターを含む電気機械システムの動的特性を正確にモデル化するために用いられる。
複素制御系の固有非線形性の複雑さを捉えない簡易な手法として, 比例定数, 積分定数, 微分定数を用いることで制御を実現する古い方法がよく理解されている。
電気機械システムの制御とシミュレーションの文脈において,2つのリカレントニューラルネットワークを用いたPIDコントローラの代替を提案する。
第1のRNNはコントローラの動作をエミュレートし、第2のアクチュエータ/モーターをエミュレートする。
第2のRNNは単独で使用される場合、電気機械システムの既存の試験方法の代替となる可能性がある。 In this paper, we introduce a novel architecture to connecting adaptive learning and neural networks into an arbitrary machine's control system paradigm. Two consecutive Recurrent Neural Networks (RNNs) are used together to accurately model the dynamic characteristics of electromechanical systems that include controllers, actuators and motors. The age-old method of achieving control with the use of the- Proportional, Integral and Derivative constants is well understood as a simplified method that does not capture the complexities of the inherent nonlinearities of complex control systems. In the context of controlling and simulating electromechanical systems, we propose an alternative to PID controllers, employing a sequence of two Recurrent Neural Networks. The first RNN emulates the behavior of the controller, and the second the actuator/motor. The second RNN when used in isolation, potentially serves as an advantageous alternative to extant testing methods of electromechanical systems. | 翻訳日:2023-01-01 03:55:57 公開日:2020-02-25 |
| # 乗法重みによるガウス図形モデルの学習 Learning Gaussian Graphical Models via Multiplicative Weights ( http://arxiv.org/abs/2002.08663v2 ) ライセンス: Link先を確認 | Anamay Chaturvedi and Jonathan Scarlett | (参考訳) マルコフ確率場におけるグラフィカルモデル選択は統計学と機械学習の基本的な問題である。
特に顕著な2つのモデル、イジングモデルとガウスモデル(英語版)は、異なる(しばしば関連する)手法を用いて並列に開発され、厳密なサンプル複雑性境界を持ついくつかの実用的なアルゴリズムがそれぞれ確立されている。
本稿では,Ising モデルから Gauss モデルへの乗算重み更新手法に基づく,最近提案された Klivans and Meka (FOCS, 2017) アルゴリズムを,アルゴリズムと解析の両方に非自明な修正により適応する。
このアルゴリズムは、文献上の他のものと定性的に類似したサンプル複雑性境界を楽しみ、$m$サンプルと$p$ノードの場合、低ランタイムの$O(mp^2)$を持ち、オンラインで簡単に実装することができる。 Graphical model selection in Markov random fields is a fundamental problem in statistics and machine learning. Two particularly prominent models, the Ising model and Gaussian model, have largely developed in parallel using different (though often related) techniques, and several practical algorithms with rigorous sample complexity bounds have been established for each. In this paper, we adapt a recently proposed algorithm of Klivans and Meka (FOCS, 2017), based on the method of multiplicative weight updates, from the Ising model to the Gaussian model, via non-trivial modifications to both the algorithm and its analysis. The algorithm enjoys a sample complexity bound that is qualitatively similar to others in the literature, has a low runtime $O(mp^2)$ in the case of $m$ samples and $p$ nodes, and can trivially be implemented in an online manner. | 翻訳日:2022-12-30 07:45:47 公開日:2020-02-25 |
| # 畳み込みニューラルネットワークのグラフ空間への応用 A Convolutional Neural Network into graph space ( http://arxiv.org/abs/2002.09285v2 ) ライセンス: Link先を確認 | Maxime Martineau, Romain Raveaux, Donatello Conte, Gilles Venturini | (参考訳) 数十年で、畳み込みニューラルネットワーク(CNN)は、分類コンテキストにおける既存の技術手法の状態を上回りました。
しかし、それらの形式化の過程で、CNNはユークリッド空間で動作することが義務付けられている。
実際、畳み込みはユークリッド空間上で定義される信号演算である。
これは、音や画像などのユークリッド定義データに対するディープラーニングの主な使用を制限する。
しかし、多くのコンピュータ応用分野(ネットワーク分析、計算社会科学、化学情報学、コンピュータグラフィックスなど)は、グラフ、ネットワーク、多様体などの非ユークリッド的に定義されたデータを誘導する。
本稿では,グラフ空間に直接定義した新しい畳み込みニューラルネットワークアーキテクチャを提案する。
畳み込みとプーリング演算子はグラフ領域で定義される。
我々はそのユーザビリティをバックプロパゲーションの文脈で示す。
実験の結果,我々のモデル性能は単純なタスクにおける技術レベルの状態にあることがわかった。
グラフ領域の変化に関する堅牢性を示し、他のユークリッドおよび非ユークリッド畳み込みアーキテクチャに対する改善を示す。 Convolutional neural networks (CNNs), in a few decades, have outperformed the existing state of the art methods in classification context. However, in the way they were formalised, CNNs are bound to operate on euclidean spaces. Indeed, convolution is a signal operation that are defined on euclidean spaces. This has restricted deep learning main use to euclidean-defined data such as sound or image. And yet, numerous computer application fields (among which network analysis, computational social science, chemo-informatics or computer graphics) induce non-euclideanly defined data such as graphs, networks or manifolds. In this paper we propose a new convolution neural network architecture, defined directly into graph space. Convolution and pooling operators are defined in graph domain. We show its usability in a back-propagation context. Experimental results show that our model performance is at state of the art level on simple tasks. It shows robustness with respect to graph domain changes and improvement with respect to other euclidean and non-euclidean convolutional architectures. | 翻訳日:2022-12-30 06:13:40 公開日:2020-02-25 |
| # 確率正規化流れ Stochastic Normalizing Flows ( http://arxiv.org/abs/2002.09547v2 ) ライセンス: Link先を確認 | Liam Hodgkinson, Chris van der Heide, Fred Roosta, Michael W. Mahoney | (参考訳) 確率微分方程式 (sdes) を用いた最大確率推定と変分推論 (vi) のための連続正規化フローの拡張である確率正規化フローを導入する。
粗路の理論を用いて、基礎となるブラウン運動は潜在変数として扱われ、ニューラルネットワークSDEをランダムなニューラル常微分方程式として効率的に訓練することができる。
これらのsdesは、与えられたデータセットの基盤となる分布からサンプリングするための効率的なマルコフ連鎖の構築に使用できる。
さらに、所定の定常分布を持つSDEの族を考えることにより、確率MCMCにおけるハイパーパラメータの最適化にVIを適用することができる。 We introduce stochastic normalizing flows, an extension of continuous normalizing flows for maximum likelihood estimation and variational inference (VI) using stochastic differential equations (SDEs). Using the theory of rough paths, the underlying Brownian motion is treated as a latent variable and approximated, enabling efficient training of neural SDEs as random neural ordinary differential equations. These SDEs can be used for constructing efficient Markov chains to sample from the underlying distribution of a given dataset. Furthermore, by considering families of targeted SDEs with prescribed stationary distribution, we can apply VI to the optimization of hyperparameters in stochastic MCMC. | 翻訳日:2022-12-30 00:53:00 公開日:2020-02-25 |
| # HarDNN: CNNの機能マップ脆弱性評価 HarDNN: Feature Map Vulnerability Evaluation in CNNs ( http://arxiv.org/abs/2002.09786v2 ) ライセンス: Link先を確認 | Abdulrahman Mahmoud, Siva Kumar Sastry Hari, Christopher W. Fletcher, Sarita V. Adve, Charbel Sakr, Naresh Shanbhag, Pavlo Molchanov, Michael B. Sullivan, Timothy Tsai, Stephen W. Keckler | (参考訳) 畳み込みニューラルネットワーク(cnns)が安全性クリティカルなアプリケーションでますます採用されているため、ハードウェアエラーに対して確実に振る舞うことが重要である。
過渡的なハードウェアエラーは、実行中に望ましくない状態をパーコレーションし、ソフトウェアが管理するエラーは、ハイレベルな意思決定に悪影響を及ぼす可能性がある。
本稿では,CNN推論における脆弱性計算をソフトウェア指向で識別し,ハードウェアエラー発生時の推論出力の破損に対する妥当性に基づいて保護する手法であるHarDNNを提案する。
本稿では,統計誤差注入キャンペーンを用いて,CNNにおける特徴写像(fmap)の相対的脆弱性を正確に推定し,高速な脆弱性評価のためのヒューリスティックスを探索できることを示す。
これらの結果に基づいて,システム設計者が選択的保護を行うために使用できるエラーカバレッジと計算オーバーヘッドのトレードオフを分析する。
その結果,追加計算のレジリエンス向上はhardnnと超線形であることが判明した。
例えば、HarDNNでは、SqueezeNetのレジリエンスを10倍改善し、30%の追加計算が可能である。 As Convolutional Neural Networks (CNNs) are increasingly being employed in safety-critical applications, it is important that they behave reliably in the face of hardware errors. Transient hardware errors may percolate undesirable state during execution, resulting in software-manifested errors which can adversely affect high-level decision making. This paper presents HarDNN, a software-directed approach to identify vulnerable computations during a CNN inference and selectively protect them based on their propensity towards corrupting the inference output in the presence of a hardware error. We show that HarDNN can accurately estimate relative vulnerability of a feature map (fmap) in CNNs using a statistical error injection campaign, and explore heuristics for fast vulnerability assessment. Based on these results, we analyze the tradeoff between error coverage and computational overhead that the system designers can use to employ selective protection. Results show that the improvement in resilience for the added computation is superlinear with HarDNN. For example, HarDNN improves SqueezeNet's resilience by 10x with just 30% additional computations. | 翻訳日:2022-12-29 18:45:06 公開日:2020-02-25 |
| # コード生成を活用した二重学習によるコード検索と要約の改善 Leveraging Code Generation to Improve Code Retrieval and Summarization via Dual Learning ( http://arxiv.org/abs/2002.10198v2 ) ライセンス: Link先を確認 | Wei Ye, Rui Xie, Jinglei Zhang, Tianxiang Hu, Xiaoyin Wang, Shikun Zhang | (参考訳) コード要約は、ソースコードスニペットが与えられた短い自然言語記述を生成し、コード検索は、自然言語クエリが与えられた関連するソースコードを取得する。
どちらのタスクも自然言語とプログラミング言語の関係をモデル化することを目的としているため、最近の研究はこれらの2つのタスクを組み合わせて性能を向上させる。
しかし、研究者はまだ2つのタスク間の本質的な接続を、これらのタスクを別々に、あるいはパイプライン的にトレーニングすることで効果的に活用することができていない。
本稿では,新たなコード生成タスクを導入することにより,2つのタスクのエンドツーエンドモデルを提案する。
具体的には、コード要約と二重学習によるコード生成の確率的相関を明示的に利用し、コード要約とコード生成に2つのエンコーダを用いてマルチタスク学習によるコード検索タスクを訓練する。
我々は,既存のSQLとPythonのデータセットに関する広範な実験を行い,その結果から,コード検索タスクの結果を最先端モデルよりも大幅に改善し,コード要約タスクのBLEUスコアで競合性能を達成できることが示唆された。 Code summarization generates brief natural language description given a source code snippet, while code retrieval fetches relevant source code given a natural language query. Since both tasks aim to model the association between natural language and programming language, recent studies have combined these two tasks to improve their performance. However, researchers have yet been able to effectively leverage the intrinsic connection between the two tasks as they train these tasks in a separate or pipeline manner, which means their performance can not be well balanced. In this paper, we propose a novel end-to-end model for the two tasks by introducing an additional code generation task. More specifically, we explicitly exploit the probabilistic correlation between code summarization and code generation with dual learning, and utilize the two encoders for code summarization and code generation to train the code retrieval task via multi-task learning. We have carried out extensive experiments on an existing dataset of SQL and Python, and results show that our model can significantly improve the results of the code retrieval task over the-state-of-art models, as well as achieve competitive performance in terms of BLEU score for the code summarization task. | 翻訳日:2022-12-29 04:23:11 公開日:2020-02-25 |
| # ABCNet:Adaptive Bezier-Curve Networkによるリアルタイムシーンテキストスポッティング ABCNet: Real-time Scene Text Spotting with Adaptive Bezier-Curve Network ( http://arxiv.org/abs/2002.10200v2 ) ライセンス: Link先を確認 | Yuliang Liu, Hao Chen, Chunhua Shen, Tong He, Lianwen Jin, Liangwei Wang | (参考訳) シーンテキストの検出と認識は研究の注目を集めている。
既存の手法はキャラクタベースとセグメンテーションベースという2つのグループに大まかに分類できる。
これらのメソッドは文字アノテーションにコストがかかるか、複雑なパイプラインを維持する必要があるが、リアルタイムアプリケーションには適さないことが多い。
本稿では,ABCNet(Adaptive Bezier-Curve Network)を提案する。
私たちの貢献は3倍です。
1) パラメータ化ベジエ曲線を用いて任意の形状のテキストに適応的に適合する。
2) 任意の形状のテキストインスタンスの正確な畳み込み特徴を抽出する新しいBezierAlign層を設計し, 従来の手法と比較して精度を著しく向上する。
3) 標準バウンディングボックス検出と比較して, ベジエ曲線検出では計算オーバーヘッドが無視できるため, 効率と精度が優れている。
任意の形状のベンチマークデータセット、すなわちTotal-TextとCTW1500の実験は、ABCNetが最先端の精度を達成し、同時に速度を大幅に向上することを示した。
特に、トータルテキストでは、リアルタイムバージョンは、競合認識精度の高い最新の最先端メソッドの10倍以上高速です。
コードはhttps://tinyurl.com/AdelaiDetで入手できる。 Scene text detection and recognition has received increasing research attention. Existing methods can be roughly categorized into two groups: character-based and segmentation-based. These methods either are costly for character annotation or need to maintain a complex pipeline, which is often not suitable for real-time applications. Here we address the problem by proposing the Adaptive Bezier-Curve Network (ABCNet). Our contributions are three-fold: 1) For the first time, we adaptively fit arbitrarily-shaped text by a parameterized Bezier curve. 2) We design a novel BezierAlign layer for extracting accurate convolution features of a text instance with arbitrary shapes, significantly improving the precision compared with previous methods. 3) Compared with standard bounding box detection, our Bezier curve detection introduces negligible computation overhead, resulting in superiority of our method in both efficiency and accuracy. Experiments on arbitrarily-shaped benchmark datasets, namely Total-Text and CTW1500, demonstrate that ABCNet achieves state-of-the-art accuracy, meanwhile significantly improving the speed. In particular, on Total-Text, our realtime version is over 10 times faster than recent state-of-the-art methods with a competitive recognition accuracy. Code is available at https://tinyurl.com/AdelaiDet | 翻訳日:2022-12-29 04:04:51 公開日:2020-02-25 |
| # Triple Wins:入力適応推論の導入による精度、ロバスト性、効率の向上 Triple Wins: Boosting Accuracy, Robustness and Efficiency Together by Enabling Input-Adaptive Inference ( http://arxiv.org/abs/2002.10025v2 ) ライセンス: Link先を確認 | Ting-Kuei Hu, Tianlong Chen, Haotao Wang, Zhangyang Wang | (参考訳) 深層ネットワークは、(クリーンな自然画像の場合)正確さと(敵対的な摂動画像の場合)堅牢性(Tsipras et al., 2019)の相違に直面することが最近提案された。
このようなジレンマは、本質的に高いサンプル複雑性(schmidt et al., 2018)と/またはモデル能力(nakkiran, 2019)に根ざしており、高精度でロバストな分類法を学ぶことができる。
分類タスクを与えると、モデルのキャパシティを増大させることは、正確性と堅牢性の間に勝利をもたらすように見えるが、モデルサイズとレイテンシを犠牲にして、リソース制約のあるアプリケーションに挑戦する。
モデルの正確性、堅牢性、効率性を同時に設計することで、3勝を達成できるだろうか?
本稿では,入力適応型効率的推論に関連するマルチエクイットネットワークについて検討し,モデルの精度,ロバスト性,効率を共最適化する上での「スイートポイント」を達成する上で,その強い期待を示す。
提案手法はロバスト動的推論ネットワーク(rdi-nets)と呼ばれ、各入力(クリーンでも逆でも)が複数の出力層(初期分枝か最終分枝)の1つを適応的に選択してその予測を出力する。
マルチロス適応性は、敵の攻撃や防御に新たなバリエーションと柔軟性を与え、体系的な調査を提示する。
既存のバックボーンにこのようなロバストな適応推論を組み合わせることで、rdi-netの精度と堅牢性は向上するが、従来のモデルと比較して30%以上の計算節約が可能となることを実験的に示した。 Deep networks were recently suggested to face the odds between accuracy (on clean natural images) and robustness (on adversarially perturbed images) (Tsipras et al., 2019). Such a dilemma is shown to be rooted in the inherently higher sample complexity (Schmidt et al., 2018) and/or model capacity (Nakkiran, 2019), for learning a high-accuracy and robust classifier. In view of that, give a classification task, growing the model capacity appears to help draw a win-win between accuracy and robustness, yet at the expense of model size and latency, therefore posing challenges for resource-constrained applications. Is it possible to co-design model accuracy, robustness and efficiency to achieve their triple wins? This paper studies multi-exit networks associated with input-adaptive efficient inference, showing their strong promise in achieving a "sweet point" in cooptimizing model accuracy, robustness and efficiency. Our proposed solution, dubbed Robust Dynamic Inference Networks (RDI-Nets), allows for each input (either clean or adversarial) to adaptively choose one of the multiple output layers (early branches or the final one) to output its prediction. That multi-loss adaptivity adds new variations and flexibility to adversarial attacks and defenses, on which we present a systematical investigation. We show experimentally that by equipping existing backbones with such robust adaptive inference, the resulting RDI-Nets can achieve better accuracy and robustness, yet with over 30% computational savings, compared to the defended original models. | 翻訳日:2022-12-29 03:19:31 公開日:2020-02-25 |
| # 深層学習を用いたデータ駆動型超パラメータ化:マルチスケールロレンツ96システムによる実験と伝達学習 Data-driven super-parameterization using deep learning: Experimentation with multi-scale Lorenz 96 systems and transfer-learning ( http://arxiv.org/abs/2002.11167v1 ) ライセンス: Link先を確認 | Ashesh Chattopadhyay, Adam Subel, Pedram Hassanzadeh | (参考訳) 気象・気候のモデリングを計算に手頃な価格で行うために、小規模のプロセスは通常、物理学に基づくもしくは半経験的パラメータ化スキームを用いて、大規模で明示的な解決プロセスの観点で表現される。
もうひとつのアプローチは超パラメータ化(SP)であり、大規模プロセスの低解像度グリッド内に埋め込まれた高解像度グリッド上に小さなプロセスの方程式を統合することである。
近年,機械学習を用いてデータ駆動パラメータ化(DD-P)手法を開発した。
そこで本研究では,小規模プロセスの方程式をリカレントニューラルネットワークなどのml法を用いてデータ駆動的に統合する,データ駆動型sp(dd-sp)という新しい手法を提案する。
マルチスケールのlorenz 96システムをテストベッドとして使用し,パラメータ化低解像度(lr),sp,dd-p,dd-spモデルのコストと精度(短期予測と長期統計)を比較した。
同じ計算コストで、DD-SPはLRを大幅に上回り、特にスケール分離が不十分な場合、DD-Pよりも優れていることを示す。
DD-SPはSPよりもずっと安いが、その精度は長期統計を再現するのと同じであり、しばしば短期予測に匹敵する。
また,一つのシステムからデータに基づいてトレーニングされたモデルが,異なる強制力(例えばカオス性)を持つシステムに適用された場合,特に短期予測精度が検証された場合には,モデルが一般化しないことが多いことを発見した。
しかし、新しいシステムから少量のデータでデータ駆動モデルを再学習するトランスファー学習は、一般化を大幅に改善することを示す。
気候・気象モデリングにおけるDD-SPとトランスファーラーニングの可能性とその課題について論じる。 To make weather/climate modeling computationally affordable, small-scale processes are usually represented in terms of the large-scale, explicitly-resolved processes using physics-based or semi-empirical parameterization schemes. Another approach, computationally more demanding but often more accurate, is super-parameterization (SP), which involves integrating the equations of small-scale processes on high-resolution grids embedded within the low-resolution grids of large-scale processes. Recently, studies have used machine learning (ML) to develop data-driven parameterization (DD-P) schemes. Here, we propose a new approach, data-driven SP (DD-SP), in which the equations of the small-scale processes are integrated data-drivenly using ML methods such as recurrent neural networks. Employing multi-scale Lorenz 96 systems as testbed, we compare the cost and accuracy (in terms of both short-term prediction and long-term statistics) of parameterized low-resolution (LR), SP, DD-P, and DD-SP models. We show that with the same computational cost, DD-SP substantially outperforms LR, and is better than DD-P, particularly when scale separation is lacking. DD-SP is much cheaper than SP, yet its accuracy is the same in reproducing long-term statistics and often comparable in short-term forecasting. We also investigate generalization, finding that when models trained on data from one system are applied to a system with different forcing (e.g., more chaotic), the models often do not generalize, particularly when the short-term prediction accuracy is examined. But we show that transfer-learning, which involves re-training the data-driven model with a small amount of data from the new system, significantly improves generalization. Potential applications of DD-SP and transfer-learning in climate/weather modeling and the expected challenges are discussed. | 翻訳日:2022-12-28 22:21:38 公開日:2020-02-25 |
| # 勾配平均化戦略により確率勾配法の収束速度を$\mathcal{O}(1/k^2)$に高速化できるか? Can speed up the convergence rate of stochastic gradient methods to $\mathcal{O}(1/k^2)$ by a gradient averaging strategy? ( http://arxiv.org/abs/2002.10769v1 ) ライセンス: Link先を確認 | Xin Xu and Xiaopeng Luo | (参考訳) 本稿では, ストレージの増加を伴わずに, 勾配平均化戦略を適用して, サブ線形収束率を改善することができるかどうかを考察する。
分析の結果,正の解答には,差分支配条件を満たす適切な平均化戦略と反復が必要であることがわかった。
興味深い事実として、我々が定義した反復的分散が、確率的勾配の反復においてほんの少しでも支配的である場合、提案された勾配平均化戦略は、リプシッツ勾配を持つ強凸対象に対する収束率$\mathcal{o}(1/k)$ to $\mathcal{o}(1/k^2)$ を増加させることができる。
この結論は、収束率を改善するために確率勾配の反復を制御する方法を示している。 In this paper we consider the question of whether it is possible to apply a gradient averaging strategy to improve on the sublinear convergence rates without any increase in storage. Our analysis reveals that a positive answer requires an appropriate averaging strategy and iterations that satisfy the variance dominant condition. As an interesting fact, we show that if the iterative variance we defined is always dominant even a little bit in the stochastic gradient iterations, the proposed gradient averaging strategy can increase the convergence rate $\mathcal{O}(1/k)$ to $\mathcal{O}(1/k^2)$ in probability for the strongly convex objectives with Lipschitz gradients. This conclusion suggests how we should control the stochastic gradient iterations to improve the rate of convergence. | 翻訳日:2022-12-28 22:20:44 公開日:2020-02-25 |
| # リカレントニューラルネットワークによる学習キューイングネットワーク Learning Queuing Networks by Recurrent Neural Networks ( http://arxiv.org/abs/2002.10788v1 ) ライセンス: Link先を確認 | Giulio Garbi and Emilio Incerto and Mirco Tribastone | (参考訳) 解析的性能モデルの構築は、基礎となる数学においてかなりの習熟度を必要とするため、難しいことが知られている。
本稿では,データから性能モデルを導出する機械学習手法を提案する。
我々は,ネットワークのキューイングに着目し,通常の微分方程式のコンパクト系の観点から,その平均ダイナミクスの決定論的近似を極めて活用する。
これらの方程式を、重みがモデルパラメータに直接関係するリカレントニューラルネットワークに符号化する。
これにより、ニューラルネットワークの解釈可能な構造が可能になり、システム測定からトレーニングして、何の分析やキャパシティプランニングといった予測目的に使用できるホワイトボックスパラメータ化モデルが得られる。
負荷分散システムの実例として合成モデルを用いた場合,高い予測力を持つモデルの生成において,本手法の有効性を示す。 It is well known that building analytical performance models in practice is difficult because it requires a considerable degree of proficiency in the underlying mathematics. In this paper, we propose a machine-learning approach to derive performance models from data. We focus on queuing networks, and crucially exploit a deterministic approximation of their average dynamics in terms of a compact system of ordinary differential equations. We encode these equations into a recurrent neural network whose weights can be directly related to model parameters. This allows for an interpretable structure of the neural network, which can be trained from system measurements to yield a white-box parameterized model that can be used for prediction purposes such as what-if analyses and capacity planning. Using synthetic models as well as a real case study of a load-balancing system, we show the effectiveness of our technique in yielding models with high predictive power. | 翻訳日:2022-12-28 22:20:24 公開日:2020-02-25 |
| # slice-interleaved diffusion encoding (side) による拡散mriのマルチフォールド・アクセラレーション Multifold Acceleration of Diffusion MRI via Slice-Interleaved Diffusion Encoding (SIDE) ( http://arxiv.org/abs/2002.10908v1 ) ライセンス: Link先を確認 | Yoonmi Hong, Wei-Tang Chang, Geng Chen, Ye Wu, Weili Lin, Dinggang Shen, and Pew-Thian Yap | (参考訳) 拡散MRI(Diffusion MRI)は、組織微細構造と白質経路の生体内評価のためのユニークなイメージング技術である。
しかし、比較的長い取得期間は、乳幼児やパーキンソン病患者の画像化において、運動アーチファクトの増加を意味する。
dmriの獲得を加速するために,本稿で提案する。
(i)各拡散重み付き(dw)画像ボリュームを異なる拡散勾配で符号化したスライスでインターリーブするスライスインターリーブ拡散符号化(side)と呼ばれる拡散符号化方式により、各拡散勾配に付随する画像ボリュームのスライスアンササンプリングにより、取得時間を著しく短縮することができる。
(II)DW画像の高スライスアンサンプデータからの効果的な再構成のための深層学習に基づく手法。
human connectome project (hcp) データセットに基づく評価は, 情報損失を最小に抑えることで, 最大6倍の加速率を達成できることを示す。
SIDE の取得により取得した dMRI データによる評価は,マルチバンド画像と組み合わせることで,最大 50 倍の高速化が可能であることを示す。 Diffusion MRI (dMRI) is a unique imaging technique for in vivo characterization of tissue microstructure and white matter pathways. However, its relatively long acquisition time implies greater motion artifacts when imaging, for example, infants and Parkinson's disease patients. To accelerate dMRI acquisition, we propose in this paper (i) a diffusion encoding scheme, called Slice-Interleaved Diffusion Encoding (SIDE), that interleaves each diffusion-weighted (DW) image volume with slices that are encoded with different diffusion gradients, essentially allowing the slice-undersampling of image volume associated with each diffusion gradient to significantly reduce acquisition time, and (ii) a method based on deep learning for effective reconstruction of DW images from the highly slice-undersampled data. Evaluation based on the Human Connectome Project (HCP) dataset indicates that our method can achieve a high acceleration factor of up to 6 with minimal information loss. Evaluation using dMRI data acquired with SIDE acquisition demonstrates that it is possible to accelerate the acquisition by as much as 50 folds when combined with multi-band imaging. | 翻訳日:2022-12-28 22:20:12 公開日:2020-02-25 |
| # deepspeechを用いたテキストへの音声埋め込み A.I. based Embedded Speech to Text Using Deepspeech ( http://arxiv.org/abs/2002.12830v1 ) ライセンス: Link先を確認 | Muhammad Hafidh Firmansyah, Anand Paul, Deblina Bhattacharya, Gul Malik Urfa | (参考訳) Deepspeechは、音声認識を必要とするIoTデバイスの開発に非常に役立った。
音声認識システムのひとつに、mozillaのdeepspeechがある。
Deepspeechはオープンソースの音声認識で、ニューラルネットワークを使って音声スペクトログラムをテキストの書き起こしに変換する。
本稿では,ローエンド計算装置における音声認識の実装プロセスについて述べる。
多くのデータセットを持つ英語音声認識の開発は、出発点となる。
The model that used results from pre-trained model that provide by each version of deepspeech, without change of the model that already released, furthermore the benefit of using raspberry pi as a media end-to-end speech recognition device become a good thing, user can change and modify of the speech recognition, and also deepspeech can be standalone device without need continuously internet connection to process speech recognition, and even this paper show the power of Tensorflow Lite can make a significant difference on inference by deepspeech rather than using Tensorflow non-Lite.This paper shows the experiment using Deepspeech version 0.1.0, 0.1.1, and 0.6.0, and there is some improvement on Deepspeech version 0.6.0, faster while processing speech-to-text on old hardware raspberry pi 3 b+. Deepspeech was very useful for development IoT devices that need voice recognition. One of the voice recognition systems is deepspeech from Mozilla. Deepspeech is an open-source voice recognition that was using a neural network to convert speech spectrogram into a text transcript. This paper shows the implementation process of speech recognition on a low-end computational device. Development of English-language speech recognition that has many datasets become a good point for starting. The model that used results from pre-trained model that provide by each version of deepspeech, without change of the model that already released, furthermore the benefit of using raspberry pi as a media end-to-end speech recognition device become a good thing, user can change and modify of the speech recognition, and also deepspeech can be standalone device without need continuously internet connection to process speech recognition, and even this paper show the power of Tensorflow Lite can make a significant difference on inference by deepspeech rather than using Tensorflow non-Lite.This paper shows the experiment using Deepspeech version 0.1.0, 0.1.1, and 0.6.0, and there is some improvement on Deepspeech version 0.6.0, faster while processing speech-to-text on old hardware raspberry pi 3 b+. | 翻訳日:2022-12-28 22:19:51 公開日:2020-02-25 |
| # 関節遅延埋め込みによる幾何核融合 Geometric Fusion via Joint Delay Embeddings ( http://arxiv.org/abs/2002.11201v1 ) ライセンス: Link先を確認 | Elchanan Solomon, Paul Bendich | (参考訳) 幾何学的およびトポロジ的手法を導入し、マルチセンサ時系列を融合する新しいフレームワークを開発する。
この枠組みは,(1)センサが観測関数に対応する高次元状態空間を再構成するジョイント遅延埋め込み,(2)観測関数間の接点を考慮し,埋め込み空間上でより多様化した幾何を生成する単純な直交化スキームの2段階からなる。
我々は,我々のフレームワークが従来の計量融合法より優れていることを示す,合成および実世界の実験で結論付けた。 We introduce geometric and topological methods to develop a new framework for fusing multi-sensor time series. This framework consists of two steps: (1) a joint delay embedding, which reconstructs a high-dimensional state space in which our sensors correspond to observation functions, and (2) a simple orthogonalization scheme, which accounts for tangencies between such observation functions, and produces a more diversified geometry on the embedding space. We conclude with some synthetic and real-world experiments demonstrating that our framework outperforms traditional metric fusion methods. | 翻訳日:2022-12-28 22:15:05 公開日:2020-02-25 |
| # トポロジーに敏感なメタヒューリスティックス Topologically sensitive metaheuristics ( http://arxiv.org/abs/2002.11164v1 ) ライセンス: Link先を確認 | Aleksandar Kartelj, Vladimir Filipovi\'c, Sini\v{s}a Vre\'cica, Rade \v{Z}ivaljevi\'c | (参考訳) 本稿では,トポロジカルに敏感なメタヒューリスティックスを提案し,トポロジカルに敏感な可変近傍探索法(TVNS)とトポロジカルに敏感な電磁メタヒューリスティック(TEM)の概念設計について述べる。 This paper proposes topologically sensitive metaheuristics, and describes conceptual design of topologically sensitive Variable Neighborhood Search method (TVNS) and topologically sensitive Electromagnetism Metaheuristic (TEM). | 翻訳日:2022-12-28 22:14:55 公開日:2020-02-25 |
| # 類似性に基づく薬物組み合わせ予測の統合のためのノード埋め込みフレームワーク A Node Embedding Framework for Integration of Similarity-based Drug Combination Prediction ( http://arxiv.org/abs/2002.10625v1 ) ライセンス: Link先を確認 | Liang Yu, Mingfei Xia, Lin Gao | (参考訳) モチベーション: 薬物の組み合わせは、有効性を改善し、併用副作用を減らすことによって、疾患治療の賢明な戦略である。
候補化合物の組合せが多数存在するため、徹底的なスクリーニングは禁じられている。
現在、多くの研究が薬物の組み合わせを予測することに重点を置いている。
しかし、これらの手法は性能とスケーラビリティに完全に満足するわけではない。
結果:本稿では,合成薬物の組み合わせを予測するために,multiplex networks (nemn) におけるネットワーク組込みフレームワークを提案する。
多重薬物類似性ネットワークに基づき,様々な側面から有用な情報を統合し,各ネットワークの定量的重要性を決定するための代替手法を提案する。
NEMNの実現可能性を説明するため,本フレームワークを薬物と薬物の相互作用データに適用し,AUPRとROCの両面で優れた性能を示した。
薬物併用予測では, モデル上位の予測のうち, 外部ソースで検証された新薬の組み合わせが7つあった。 Motivation: Drug combination is a sensible strategy for disease treatment by improving the efficacy and reducing concomitant side effects. Due to the large number of possible combinations among candidate compounds, exhaustive screening is prohibitive. Currently, a plenty of studies have focused on predicting potential drug combinations. However, these methods are not entirely satisfactory in performance and scalability. Results: In this paper, we proposed a Network Embedding framework in Multiplex Networks (NEMN) to predict synthetic drug combinations. Based on a multiplex drug similarity network, we offered alternative methods to integrate useful information from different aspects and to decide quantitative importance of each network. To explain the feasibility of NEMN, we applied our framework to the data of drug-drug interactions, on which it showed better performance in terms of AUPR and ROC. For Drug combination prediction, we found seven novel drug combinations which have been validated by external sources among the top-ranked predictions of our model. | 翻訳日:2022-12-28 22:14:17 公開日:2020-02-25 |
| # 無線システムにおけるネットワーク密度制御型分散並列確率勾配降下 Network-Density-Controlled Decentralized Parallel Stochastic Gradient Descent in Wireless Systems ( http://arxiv.org/abs/2002.10758v1 ) ライセンス: Link先を確認 | Koya Sato, Yasuyuki Satoh, Daisuke Sugimura | (参考訳) 本稿では,無線システムにおける分散学習のための通信戦略を提案する。
我々の議論は、分散学習のための最先端アルゴリズムの一つである分散並列確率勾配勾配(D-PSGD)に基づいている。
本研究の主な貢献は,ネットワークトポロジの密度がD-PSGDの実行性能に大きく影響する可能性が示唆されている。
一般に、経路損失やマルチパスの消失のため、実際の無線ネットワークシステムでは遅延のない通信を保証することは困難である。
これらの要因はD-PSGDのランタイム性能を著しく低下させる。
このような問題を緩和するために、実無線システムを考慮したD-PSGDのランタイム性能をまず分析する。
この分析により,(1)高密度ネットワークトポロジはスパースに比べてD-PSGDのトレーニング精度を著しく向上せず,(2)低レート伝送を利用する必要があるため,実行時の性能を著しく低下させることがわかった。
そこで本研究では,D-PSGD最適化時の通信時間を,無線伝搬特性を特徴とするネットワーク密度の制約の下で最小化するように,各ノードが最適な伝送速度を推定する通信戦略を提案する。
提案手法により,無線システムにおけるD-PSGDのランタイム性能を向上させることができる。
数値シミュレーションにより,提案手法がd-psgdの実行性能を向上できることが判明した。 This paper proposes a communication strategy for decentralized learning on wireless systems. Our discussion is based on the decentralized parallel stochastic gradient descent (D-PSGD), which is one of the state-of-the-art algorithms for decentralized learning. The main contribution of this paper is to raise a novel open question for decentralized learning on wireless systems: there is a possibility that the density of a network topology significantly influences the runtime performance of D-PSGD. In general, it is difficult to guarantee delay-free communications without any communication deterioration in real wireless network systems because of path loss and multi-path fading. These factors significantly degrade the runtime performance of D-PSGD. To alleviate such problems, we first analyze the runtime performance of D-PSGD by considering real wireless systems. This analysis yields the key insights that dense network topology (1) does not significantly gain the training accuracy of D-PSGD compared to sparse one, and (2) strongly degrades the runtime performance because this setting generally requires to utilize a low-rate transmission. Based on these findings, we propose a novel communication strategy, in which each node estimates optimal transmission rates such that communication time during the D-PSGD optimization is minimized under the constraint of network density, which is characterized by radio propagation property. The proposed strategy enables to improve the runtime performance of D-PSGD in wireless systems. Numerical simulations reveal that the proposed strategy is capable of enhancing the runtime performance of D-PSGD. | 翻訳日:2022-12-28 22:14:01 公開日:2020-02-25 |
| # エンドツーエンド強化学習による移動マニピュレータの全身制御 Whole-Body Control of a Mobile Manipulator using End-to-End Reinforcement Learning ( http://arxiv.org/abs/2003.02637v1 ) ライセンス: Link先を確認 | Julien Kindle, Fadri Furrer, Tonci Novkovic, Jen Jen Chung, Roland Siegwart and Juan Nieto | (参考訳) 移動操作は通常、ベースとマニピュレータの動きを順次実行する。
しかし、この単純化は効率の低下と、場合によってはワークスペースサイズの削減につながる。
オンラインで全身制御(wbc)を解決するために異なる方法が提案されているが、キネマティックモデルによって制限されるか、オンラインの障害回避に反応しないかのどちらかである。
これらの欠点を克服するために,本稿では,WBCに対するエンドツーエンド強化学習(RL)アプローチを提案する。
シミュレーションでは,学習したコントローラを最先端のサンプリングベース手法と比較し,全体のミッション時間を短縮した。
さらに,移動マニピュレータRoyalPandaの学習方針を,狭い廊下環境に挑戦する上で検証した。 Mobile manipulation is usually achieved by sequentially executing base and manipulator movements. This simplification, however, leads to a loss in efficiency and in some cases a reduction of workspace size. Even though different methods have been proposed to solve Whole-Body Control (WBC) online, they are either limited by a kinematic model or do not allow for reactive, online obstacle avoidance. In order to overcome these drawbacks, in this work, we propose an end-to-end Reinforcement Learning (RL) approach to WBC. We compared our learned controller against a state-of-the-art sampling-based method in simulation and achieved faster overall mission times. In addition, we validated the learned policy on our mobile manipulator RoyalPanda in challenging narrow corridor environments. | 翻訳日:2022-12-28 22:13:19 公開日:2020-02-25 |
| # ddet:実世界画像超解像のためのデュアルパスダイナミックエンハンスメントネットワーク DDet: Dual-path Dynamic Enhancement Network for Real-World Image Super-Resolution ( http://arxiv.org/abs/2002.11079v1 ) ライセンス: Link先を確認 | Yukai Shi, Haoyu Zhong, Zhijing Yang, Xiaojun Yang, Liang Lin | (参考訳) 従来の超解像処理とは異なり、実像超解像(Real-SR)は実世界の高分解能(HR)と低分解能(LR)画像の関係に焦点を当てている。
従来の画像SRのほとんどは、固定ダウンサンプリング演算子を適用してLRサンプルを得る。
Real-SRは、異なる品質の光学センサを組み込んでLRとHR画像対を得る。
一般的に、Real-SRには、より広範なアプリケーションシナリオだけでなく、多くの課題があります。
以前の画像SR法は、画像データが本質的に一致していないため、Real-SRに類似した性能を示すことができない。
本稿では,デュアルウェイ動的サブピクセル重み付けと精細化を実現することで,カメラ間画像マッピングを実現するReal-SRのためのDual-path Dynamic Enhancement Network(DDet)を提案する。
特徴表現のための大規模な畳み込みブロックを積み重ねる従来の手法とは異なり、画像SR問題において、非一貫性のある画像対を研究するためのコンテンツ認識フレームワークを導入する。
まず、コンテンツ適応コンポーネントを使用して、MDA(Multi-scale Dynamic Attention)を示す。
第2に、協調的な補償と操作を行うために、長期スキップ接続とCDM(Coupled Detail Manipulation)を組み込む。
上記のデュアルパスモデルは統一モデルに結合し、協調して動作する。
挑戦的ベンチマークに関する広範囲な実験により,モデルの優越性が示された。 Different from traditional image super-resolution task, real image super-resolution(Real-SR) focus on the relationship between real-world high-resolution(HR) and low-resolution(LR) image. Most of the traditional image SR obtains the LR sample by applying a fixed down-sampling operator. Real-SR obtains the LR and HR image pair by incorporating different quality optical sensors. Generally, Real-SR has more challenges as well as broader application scenarios. Previous image SR methods fail to exhibit similar performance on Real-SR as the image data is not aligned inherently. In this article, we propose a Dual-path Dynamic Enhancement Network(DDet) for Real-SR, which addresses the cross-camera image mapping by realizing a dual-way dynamic sub-pixel weighted aggregation and refinement. Unlike conventional methods which stack up massive convolutional blocks for feature representation, we introduce a content-aware framework to study non-inherently aligned image pair in image SR issue. First, we use a content-adaptive component to exhibit the Multi-scale Dynamic Attention(MDA). Second, we incorporate a long-term skip connection with a Coupled Detail Manipulation(CDM) to perform collaborative compensation and manipulation. The above dual-path model is joint into a unified model and works collaboratively. Extensive experiments on the challenging benchmarks demonstrate the superiority of our model. | 翻訳日:2022-12-28 22:13:06 公開日:2020-02-25 |
| # 画像処理ネットワークのためのモデル透かし Model Watermarking for Image Processing Networks ( http://arxiv.org/abs/2002.11088v1 ) ライセンス: Link先を確認 | Jie Zhang, Dongdong Chen, Jing Liao, Han Fang, Weiming Zhang, Wenbo Zhou, Hao Cui, Nenghai Yu | (参考訳) 深層学習は多くの産業用途で大きな成功を収めた。
優れたモデルのトレーニングは、しばしば大量の高品質のデータと計算資源を必要とするため、学習されたモデルは大きなビジネス価値を持つことが多い。
しかし、これらの貴重な深層モデルは、大きな侵害のリスクにさらされている。
例えば、攻撃者がネットワーク構造や重みを含む1つのターゲットモデルの完全な情報を持っている場合、モデルは新しいデータセットで簡単にカスタマイズできる。
攻撃者がターゲットモデルの出力にしかアクセスできない場合でも、大規模な入出力トレーニングペアを生成して、他の類似のサロゲートモデルをトレーニングすることができる。
深層モデルの知的財産権を保護する方法は、非常に重要であるが、真に研究されていない問題である。
ネットワーク保護のみを分類するための最近の試みがある。
本稿では,画像処理モデルを保護するための最初のモデル透かしフレームワークを提案する。
この目的を達成するために、空間的に見えない透かし機構を利用する。
具体的には、ブラックボックスのターゲットモデルが与えられた場合、その出力に統一的で見えない透かしが隠され、特別なタスクに依存しない障壁とみなすことができる。
このようにして、攻撃者が対象モデルの入出力対を用いて1つのサロゲートモデルを訓練すると、後から隠れた透かしが学習され抽出される。
2ビット画像から高解像度画像への透かしを可能にするため、従来と深部空間の透かし機構が検討されている。
実験は,異なるネットワーク構造と目的関数で学習したサロゲートモデルに抵抗できる透かし機構のロバスト性を示す。
深層モデル以外にも,データや従来の画像処理アルゴリズムを保護するために,提案手法を拡張することも容易である。 Deep learning has achieved tremendous success in numerous industrial applications. As training a good model often needs massive high-quality data and computation resources, the learned models often have significant business values. However, these valuable deep models are exposed to a huge risk of infringements. For example, if the attacker has the full information of one target model including the network structure and weights, the model can be easily finetuned on new datasets. Even if the attacker can only access the output of the target model, he/she can still train another similar surrogate model by generating a large scale of input-output training pairs. How to protect the intellectual property of deep models is a very important but seriously under-researched problem. There are a few recent attempts at classification network protection only. In this paper, we propose the first model watermarking framework for protecting image processing models. To achieve this goal, we leverage the spatial invisible watermarking mechanism. Specifically, given a black-box target model, a unified and invisible watermark is hidden into its outputs, which can be regarded as a special task-agnostic barrier. In this way, when the attacker trains one surrogate model by using the input-output pairs of the target model, the hidden watermark will be learned and extracted afterward. To enable watermarks from binary bits to high-resolution images, both traditional and deep spatial invisible watermarking mechanism are considered. Experiments demonstrate the robustness of the proposed watermarking mechanism, which can resist surrogate models learned with different network structures and objective functions. Besides deep models, the proposed method is also easy to be extended to protect data and traditional image processing algorithms. | 翻訳日:2022-12-28 22:12:43 公開日:2020-02-25 |
| # ブラインド映像品質評価のための時間的プーリング法の比較評価 A Comparative Evaluation of Temporal Pooling Methods for Blind Video Quality Assessment ( http://arxiv.org/abs/2002.10651v1 ) ライセンス: Link先を確認 | Zhengzhong Tu, Chia-Ju Chen, Li-Heng Chen, Neil Birkbeck, Balu Adsumilli, and Alan C. Bovik | (参考訳) 多くの客観的ビデオ品質評価(VQA)アルゴリズムは、フレームレベルの品質スコアの時間プールの重要なステップを含む。
しかし、無参照VQAにおける異なるプール方式の相対的効率について、より少ない注意が払われている。
本稿では,ユーザ生成ビデオのブラインドvqaにおける複数時間プーリング戦略の能力と限界を評価するために,大規模比較評価を行う。
この研究は、時間的プーリングモデルの適用と選択に関する洞察と一般的なガイダンスをもたらす。
また,高性能時間プールモデル上に構築したアンサンブルプールモデルを提案する。
実験の結果,評価された時間プールモデルの有効性を実証し,いくつかのVQAアルゴリズムを用いて評価し,最近の2つの大規模自然映像品質データベースで評価した。
新しいアンサンブルモデルに加えて,フレームベース品質予測の時間的プーリングを適用する一般的なレシピを提供する。 Many objective video quality assessment (VQA) algorithms include a key step of temporal pooling of frame-level quality scores. However, less attention has been paid to studying the relative efficiencies of different pooling methods on no-reference (blind) VQA. Here we conduct a large-scale comparative evaluation to assess the capabilities and limitations of multiple temporal pooling strategies on blind VQA of user-generated videos. The study yields insights and general guidance regarding the application and selection of temporal pooling models. In addition, we also propose an ensemble pooling model built on top of high-performing temporal pooling models. Our experimental results demonstrate the relative efficacies of the evaluated temporal pooling models, using several popular VQA algorithms, and evaluated on two recent large-scale natural video quality databases. In addition to the new ensemble model, we provide a general recipe for applying temporal pooling of frame-based quality predictions. | 翻訳日:2022-12-28 22:04:34 公開日:2020-02-25 |
| # 2次元u-netを用いた腎腫瘍の分画と統計的後処理フィルター Technical report: Kidney tumor segmentation using a 2D U-Net followed by a statistical post-processing filter ( http://arxiv.org/abs/2002.10727v1 ) ライセンス: Link先を確認 | Iwan Paolucci | (参考訳) 毎年、世界で約400人の腎臓がんが新たに発生し、約175万人が死亡している。
3dct画像における腫瘍と腎臓の脱線に要する時間のかかる作業である腫瘍の形態計測を理解することが臨床的に重要である。
自動セグメンテーションは臨床医や研究者にとって、腫瘍形態計測と臨床結果との相関を研究する上で重要なツールとなる。
本稿では,一般的なu-net畳み込みニューラルネットワークアーキテクチャと,利用可能なトレーニングデータの統計的制約に基づく後処理を組み合わせたセグメント化手法を提案する。
PyTorchをベースとした完全な実装と、トレーニングされた重み付けはGitHubで見ることができる。 Each year, there are about 400'000 new cases of kidney cancer worldwide causing around 175'000 deaths. For clinical decision making it is important to understand the morphometry of the tumor, which involves the time-consuming task of delineating tumor and kidney in 3D CT images. Automatic segmentation could be an important tool for clinicians and researchers to also study the correlations between tumor morphometry and clinical outcomes. We present a segmentation method which combines the popular U-Net convolutional neural network architecture with post-processing based on statistical constraints of the available training data. The full implementation, based on PyTorch, and the trained weights can be found on GitHub. | 翻訳日:2022-12-28 22:04:20 公開日:2020-02-25 |
| # 3次元セマンティックセグメンテーション畳み込みニューラルネットワークを用いた全身CT画像の完全自動体組成解析 Fully-automated Body Composition Analysis in Routine CT Imaging Using 3D Semantic Segmentation Convolutional Neural Networks ( http://arxiv.org/abs/2002.10776v1 ) ライセンス: Link先を確認 | Sven Koitka, Lennard Kroll, Eugen Malamutmann, Arzu Oezcelik, Felix Nensa | (参考訳) 体組織組成物は、心血管疾患、腫瘍疾患、整形外科疾患において高い診断と予後の指標であり、またリハビリテーション医療や薬物投与においても高い値を持つ。
本研究の目的は, 標準的な腹部ct検査から身体組織組成の完全自動化, 再現性, 定量的な3次元体積法を開発し, 臨床画像診断の一環として有用なバイオマーカーを提供することである。
したがって, 腹腔, 骨, 筋肉, 皮下組織, 胸腔の5つの異なる意味体領域を有する5軸スライス毎に, トレーニング用40 cts とテスト用10 ct の社内データセットを完全アノテートした。
マルチレゾリューションのu-net 3dニューラルネットワークを用いて体領域を分割し, ハウンズフィールド単位の制限により脂肪組織と筋肉のサブクラス化を行った。
全意味領域の平均S{\o}rensen Diceスコアは0.9553であり, 亜分類組織のクラス内相関係数は0.99以上であった。
L3スライスのみに限らず,全腹部に安定なバイオマーカーを付与し,全身CT画像による完全自動体組成解析が臨床経過における身体組成解析の基準位置であることを示す。 Body tissue composition is a long-known biomarker with high diagnostic and prognostic value in cardiovascular, oncological and orthopaedic diseases, but also in rehabilitation medicine or drug dosage. In this study, the aim was to develop a fully automated, reproducible and quantitative 3D volumetry of body tissue composition from standard CT examinations of the abdomen in order to be able to offer such valuable biomarkers as part of routine clinical imaging. Therefore an in-house dataset of 40 CTs for training and 10 CTs for testing were fully annotated on every fifth axial slice with five different semantic body regions: abdominal cavity, bones, muscle, subcutaneous tissue, and thoracic cavity. Multi-resolution U-Net 3D neural networks were employed for segmenting these body regions, followed by subclassifying adipose tissue and muscle using known hounsfield unit limits. The S{\o}rensen Dice scores averaged over all semantic regions was 0.9553 and the intra-class correlation coefficients for subclassified tissues were above 0.99. Our results show that fully-automated body composition analysis on routine CT imaging can provide stable biomarkers across the whole abdomen and not just on L3 slices, which is historically the reference location for analysing body composition in the clinical routine. | 翻訳日:2022-12-28 22:03:52 公開日:2020-02-25 |
| # 60GHz 802.11 波形を用いたジェスチャー認識 Gesture recognition with 60GHz 802.11 waveforms ( http://arxiv.org/abs/2002.10836v1 ) ライセンス: Link先を確認 | Eran Hof, Amichai Sanderovich, Evyatar Hemo | (参考訳) 802.11 ad/y波形を用いたジェスチャー認識アプリケーションを開発した。
パケットのチャネル推定フィールドのGolayシーケンスに基づいて,スライダ制御の同時ジェスチャーとスイッチングのための2指ジェスチャーを検出する。 Gesture recognition application over 802.11 ad/y waveforms is developed. Simultaneous gestures of slider-control and two-finger gesture for switching are detected based on Golay sequences of channel estimation fields of the packets. | 翻訳日:2022-12-28 22:03:26 公開日:2020-02-25 |
| # サルエント物体検出のためのクロスレイヤー特徴ピラミッドネットワーク Cross-layer Feature Pyramid Network for Salient Object Detection ( http://arxiv.org/abs/2002.10864v1 ) ライセンス: Link先を確認 | Zun Li, Congyan Lang, Junhao Liew, Qibin Hou, Yidong Li, Jiashi Feng | (参考訳) 特徴ピラミッドネットワーク(FPN)に基づくモデルでは、意味論と有能な詳細を段階的に融合させ、有能な物体検出に極めて効果的であることが証明されている。
しかし,これらのモデルでは,遠方の層間を伝播する<emph{indirect}情報によって,不完全な物体構造や不明瞭な物体境界を持つ塩分マップが生成されることがしばしば観測されている。
本研究では, 直接クロス層通信を可能とし, 有能な物体検出における進行融合を改善する新しいクロス層特徴ピラミッドネットワーク(CFPN)を提案する。
特に,提案するネットワークは,まず異なるレイヤから高レベル情報と低レベル情報の両方にアクセス可能な特徴マップに,多層的特徴を集約する。
そして、集約された機能をすべてのレイヤに分散し、よりリッチなコンテキストへのアクセスを得る。
このように、レイヤごとの分散機能は、他のすべてのレイヤからセマンティクスと健全な詳細の両方を同時に所有し、重要な情報の損失を減少させます。
6つの広く使われているsalient object detectionベンチマークと3つの人気のあるbackboneによる広範囲な実験の結果は、cfpnがかなり完全なsalient regionを正確に特定し、オブジェクト境界を効果的に分割できることを明確に示している。 Feature pyramid network (FPN) based models, which fuse the semantics and salient details in a progressive manner, have been proven highly effective in salient object detection. However, it is observed that these models often generate saliency maps with incomplete object structures or unclear object boundaries, due to the \emph{indirect} information propagation among distant layers that makes such fusion structure less effective. In this work, we propose a novel Cross-layer Feature Pyramid Network (CFPN), in which direct cross-layer communication is enabled to improve the progressive fusion in salient object detection. Specifically, the proposed network first aggregates multi-scale features from different layers into feature maps that have access to both the high- and low-level information. Then, it distributes the aggregated features to all the involved layers to gain access to richer context. In this way, the distributed features per layer own both semantics and salient details from all other layers simultaneously, and suffer reduced loss of important information. Extensive experimental results over six widely used salient object detection benchmarks and with three popular backbones clearly demonstrate that CFPN can accurately locate fairly complete salient regions and effectively segment the object boundaries. | 翻訳日:2022-12-28 22:03:12 公開日:2020-02-25 |
| # ソフトゲートスキップ接続による高速で正確なポーズ推定に向けて Toward fast and accurate human pose estimation via soft-gated skip connections ( http://arxiv.org/abs/2002.11098v1 ) ライセンス: Link先を確認 | Adrian Bulat and Jean Kossaifi and Georgios Tzimiropoulos and Maja Pantic | (参考訳) 本稿では,高精度かつ高効率な人間のポーズ推定について述べる。
FCN(Fully Convolutional Networks)に基づく最近の研究は,この問題に対して優れた成果を上げている。
fcns内の残差接続は高い精度を達成する上で不可欠であることが証明されているが、我々はこの設計選択を、最先端よりも精度と効率を向上させるという文脈で再分析する。
特に、以下の貢献をしている。
(a)マクロモジュール内のモジュール内の各チャネルのデータフローを制御するために,チャネルごとの学習可能なパラメータとのゲートスキップ接続を提案する。
b) hourglassとu-netアーキテクチャを組み合わせたハイブリッドネットワークを導入し,ネットワーク内のidコネクション数を最小化し,同じパラメータの予算で性能を向上させる。
本モデルはmpiiおよびlspデータセットで最先端の結果を得る。
さらに, モデルサイズと複雑性が3倍に減少し, 元のHourGlassネットワークと比較して性能が低下しないことを示した。 This paper is on highly accurate and highly efficient human pose estimation. Recent works based on Fully Convolutional Networks (FCNs) have demonstrated excellent results for this difficult problem. While residual connections within FCNs have proved to be quintessential for achieving high accuracy, we re-analyze this design choice in the context of improving both the accuracy and the efficiency over the state-of-the-art. In particular, we make the following contributions: (a) We propose gated skip connections with per-channel learnable parameters to control the data flow for each channel within the module within the macro-module. (b) We introduce a hybrid network that combines the HourGlass and U-Net architectures which minimizes the number of identity connections within the network and increases the performance for the same parameter budget. Our model achieves state-of-the-art results on the MPII and LSP datasets. In addition, with a reduction of 3x in model size and complexity, we show no decrease in performance when compared to the original HourGlass network. | 翻訳日:2022-12-28 21:56:41 公開日:2020-02-25 |
| # 光フィールド撮影のためのスタイル転送 Style Transfer for Light Field Photography ( http://arxiv.org/abs/2002.11220v1 ) ライセンス: Link先を確認 | David Hart, Jessica Greenland, Bryan Morse | (参考訳) 光フィールド画像の利用と応用が進むにつれて、既存の画像処理手法をこのようなユニークな写真形式に適応させる必要がある。
本稿では,光場画像にニューラルスタイル転送を適用する方法を検討する。
フィードフォワード方式の転送ネットワークは単眼画像に対して高速で高品質な結果を提供するが、フルライトフィールド画像にはそのようなネットワークは存在しない。
これらの画像のサイズのため、現在の光フィールドデータセットは小さく、純粋なフィードフォワードスタイル転送ネットワークをスクラッチからトレーニングするには不十分である。
したがって、ビュー間の視覚的構成を維持しつつ、ライトフィールドの各ビューのスタイライゼーションを可能にするように、既存のモノクロスタイル転送ネットワークを適応させる必要がある。
その代わりに、提案手法は、ネットワークを通しての損失をバックプロパゲートし、単一の光野画像のみに対する結果のスタイリングを最適化(本質的に過適合)するために反復的に処理する。
ネットワークアーキテクチャは、大きなライトフィールドトレーニングセットの必要性を回避しつつ、事前訓練された高速単眼スタイライゼーションネットワークを組み込むことができる。 As light field images continue to increase in use and application, it becomes necessary to adapt existing image processing methods to this unique form of photography. In this paper we explore methods for applying neural style transfer to light field images. Feed-forward style transfer networks provide fast, high-quality results for monocular images, but no such networks exist for full light field images. Because of the size of these images, current light field data sets are small and are insufficient for training purely feed-forward style-transfer networks from scratch. Thus, it is necessary to adapt existing monocular style transfer networks in a way that allows for the stylization of each view of the light field while maintaining visual consistencies between views. Instead, the proposed method backpropagates the loss through the network, and the process is iterated to optimize (essentially overfit) the resulting stylization for a single light field image alone. The network architecture allows for the incorporation of pre-trained fast monocular stylization networks while avoiding the need for a large light field training set. | 翻訳日:2022-12-28 21:55:51 公開日:2020-02-25 |
| # CookGAN: 食品からの食事画像合成 CookGAN: Meal Image Synthesis from Ingredients ( http://arxiv.org/abs/2002.11493v1 ) ライセンス: Link先を確認 | Fangda Han, Ricardo Guerrero, Vladimir Pavlovic | (参考訳) 本研究では, 生成深度モデルに基づく新しい計算手法を提案し, その成分のテキストリストからフォトリアリスティック食品食のイメージを合成する。
テキストからの画像合成に関する以前の研究は、テキストの特徴を抽出するために予め訓練されたテキストモデルに依存しているのが一般的であり、その後、テキストの特徴に基づいた現実的な画像を生成するための生成ニューラルネットワーク(gan)が続く。
これらの作品は、主に鳥や花などの空間的にコンパクトでよく定義された対象のカテゴリーを作成することに重点を置いているが、料理法によって外観と空間的性質がさらに変化する複数の材料からなる食事画像は、はるかに複雑である。
具材から実物のような食事画像を生成するために、クックガンはまず注意に基づく食材関連モデルを構築し、その後、食事画像の合成に携わる生成ニューラルネットの条件付けを行う。
さらに、画像品質と制御外観をさらに向上させるために、サイクル一貫性制約を追加する。
実験により,本モデルが材料に対応する食事画像を生成することを示す。 In this work we propose a new computational framework, based on generative deep models, for synthesis of photo-realistic food meal images from textual list of its ingredients. Previous works on synthesis of images from text typically rely on pre-trained text models to extract text features, followed by generative neural networks (GAN) aimed to generate realistic images conditioned on the text features. These works mainly focus on generating spatially compact and well-defined categories of objects, such as birds or flowers, but meal images are significantly more complex, consisting of multiple ingredients whose appearance and spatial qualities are further modified by cooking methods. To generate real-like meal images from ingredients, we propose Cook Generative Adversarial Networks (CookGAN), CookGAN first builds an attention-based ingredients-image association model, which is then used to condition a generative neural network tasked with synthesizing meal images. Furthermore, a cycle-consistent constraint is added to further improve image quality and control appearance. Experiments show our model is able to generate meal images corresponding to the ingredients. | 翻訳日:2022-12-28 21:55:32 公開日:2020-02-25 |
| # TanksWorld:AI安全研究のためのマルチエージェント環境 TanksWorld: A Multi-Agent Environment for AI Safety Research ( http://arxiv.org/abs/2002.11174v1 ) ライセンス: Link先を確認 | Corban G. Rivera, Olivia Lyons, Arielle Summitt, Ayman Fatima, Ji Pak, William Shao, Robert Chalmers, Aryeh Englander, Edward W. Staley, I-Jeng Wang, Ashley J. Llorens | (参考訳) 複雑なタスクを実行できる人工知能(AI)を作成する能力は、AI対応システムの安全かつ確実な運用を保証する能力を急速に上回っています。
幸いなことに、この非対称性に反応して、aiの安全性研究の展望が生まれつつあるが、行くべき道は長い。
特に、AIの安全性リスクを説明するために作られた最近のシミュレーション環境は、特定の問題に比較的単純または狭く焦点を絞っている。
したがって、複雑な現実世界のアプリケーションの本質的な側面を抽象化する、AI安全研究環境に対する重要なニーズがある。
本研究は,AI安全タンクワールドをAI安全研究の環境として紹介し,その3つの重要な側面として,競合するパフォーマンス目標,人間-機械チーム,マルチエージェントコンペティションを挙げる。
ai safety tanksworldは、システムパフォーマンスと安全目標の両方の競合をサポートするソフトウェアフレームワークを提供することで、安全なマルチエージェント意思決定アルゴリズムの進歩を加速することを目指している。
本稿では,本研究の目的と学習環境について,リファレンスコードとベースラインのパフォーマンス指標を用いて,今後の研究について述べる。 The ability to create artificial intelligence (AI) capable of performing complex tasks is rapidly outpacing our ability to ensure the safe and assured operation of AI-enabled systems. Fortunately, a landscape of AI safety research is emerging in response to this asymmetry and yet there is a long way to go. In particular, recent simulation environments created to illustrate AI safety risks are relatively simple or narrowly-focused on a particular issue. Hence, we see a critical need for AI safety research environments that abstract essential aspects of complex real-world applications. In this work, we introduce the AI safety TanksWorld as an environment for AI safety research with three essential aspects: competing performance objectives, human-machine teaming, and multi-agent competition. The AI safety TanksWorld aims to accelerate the advancement of safe multi-agent decision-making algorithms by providing a software framework to support competitions with both system performance and safety objectives. As a work in progress, this paper introduces our research objectives and learning environment with reference code and baseline performance metrics to follow in a future work. | 翻訳日:2022-12-28 21:54:23 公開日:2020-02-25 |
| # 航空救急車の艦隊スケジューリング最適化アルゴリズム Algorithms for Optimizing Fleet Scheduling of Air Ambulances ( http://arxiv.org/abs/2002.11710v1 ) ライセンス: Link先を確認 | Joseph Tassone and Salimur Choudhury | (参考訳) 適切なエアアセットのスケジューリングは、患者の生命と死の間の違いとなる可能性がある。
病院転院の際のスケジュール不良は極めて問題となるが、災害時には破滅的な可能性がある。
これらの問題は、人口が分散し資源が限られている航空救急医療サービス(ems)システムにおいて増幅される。
ミッションのスケジューリングには正確な方法が存在するが、十分な問題空間があるため、実際の計算時間は極めて重要である。
本研究では, 空気・健康施設の座標と定式化整数線形計画モデルを用いた。
これはGurobiによってプログラムされたもので、パフォーマンスをカスタムのアルゴリズムのソリューションと比較できる。
2つの方法が開発され、1つは近隣探索、もう1つはタブサーチが開発された。
どちらもgurobiの解に非常に近い結果を得ることができたが、tabu検索は前のアルゴリズムよりも優れていた。
さらに、グロビはより大規模な例では最適に解決できないため、非常に少ない時間でそれを行うことができた。
計算統一デバイスアーキテクチャ(CUDA)では並列のバリエーションも開発されたが、サンプルサイズが小さいためタイミングは改善されなかった。 Proper scheduling of air assets can be the difference between life and death for a patient. While poor scheduling can be incredibly problematic during hospital transfers, it can be potentially catastrophic in the case of a disaster. These issues are amplified in the case of an air emergency medical service (EMS) system where populations are dispersed, and resources are limited. There are exact methodologies existing for scheduling missions, although actual calculation times can be quite significant given a large enough problem space. For this research, known coordinates of air and health facilities were used in conjunction with a formulated integer linear programming model. This was the programmed through Gurobi so that performance could be compared against custom algorithmic solutions. Two methods were developed, one based on neighbourhood search and the other on Tabu search. While both were able to achieve results quite close to the Gurobi solution, the Tabu search outperformed the former algorithm. Additionally, it was able to do so in a greatly decreased time, with Gurobi actually being unable to resolve to optimal in larger examples. Parallel variations were also developed with the compute unified device architecture (CUDA), though did not improve the timing given the smaller sample size. | 翻訳日:2022-12-28 21:48:24 公開日:2020-02-25 |
| # 意味埋め込みと論理型モジュールによるオントロジーアライメントタスクの分割 Dividing the Ontology Alignment Task with Semantic Embeddings and Logic-based Modules ( http://arxiv.org/abs/2003.05370v1 ) ライセンス: Link先を確認 | Ernesto Jim\'enez-Ruiz, Asan Agibetov, Jiaoyan Chen, Matthias Samwald, Valerie Cross | (参考訳) 大規模なオントロジーは依然として最先端のオントロジーアライメントシステムに深刻な課題をもたらす。
本稿では,神経組込みモデルと論理に基づくモジュールを組み合わせて,入力オントロジーマッチングタスクをより小さく,より扱いやすい(サブ)タスクに正確に分割する手法を提案する。
我々はオントロジアライメント評価イニシアチブのデータセットを用いて包括的な評価を行った。
その結果,提案手法は実際は適切であり,非常に大きなオントロジに対処できないシステムのワークフローに組み込むことが可能であることが示唆された。 Large ontologies still pose serious challenges to state-of-the-art ontology alignment systems. In this paper we present an approach that combines a neural embedding model and logic-based modules to accurately divide an input ontology matching task into smaller and more tractable matching (sub)tasks. We have conducted a comprehensive evaluation using the datasets of the Ontology Alignment Evaluation Initiative. The results are encouraging and suggest that the proposed method is adequate in practice and can be integrated within the workflow of systems unable to cope with very large ontologies. | 翻訳日:2022-12-28 21:47:48 公開日:2020-02-25 |
| # MuST-Cinema:音声字幕コーパス MuST-Cinema: a Speech-to-Subtitles corpus ( http://arxiv.org/abs/2002.10829v1 ) ライセンス: Link先を確認 | Alina Karakanta, Matteo Negri, Marco Turchi | (参考訳) 字幕によって複数の言語で音声視覚コンテンツをローカライズするニーズが高まり、人間のサブティットリングのための自動ソリューションの開発が求められている。
ニューラルネットワーク翻訳(NMT)は、サブタイトルの自動化に寄与し、人間の字幕の作業を容易にし、ターンアラウンド時間と関連するコストを削減する。
NMTは高品質で大規模なタスク固有のトレーニングデータを必要とする。
しかし、既存のサブタイリングコーパスは、ソース言語音声へのアライメントとサブタイトルブレークに関する重要な情報の両方を欠いている。
これは字幕の長さと形が発話の持続時間に直接依存するため、字幕作成のための効率的な自動アプローチを開発する上で重要な制限となる。
本研究では,TED字幕から構築した多言語音声翻訳コーパスである MuST-Cinema を提案する。
コーパスは(オーディオ、転写、翻訳)三つ子から構成される。
字幕は特別な記号を挿入することで保存される。
コーパスを用いて文を字幕に効率よく分割するモデルを構築することができることを示すとともに,単語長の制約に応じて既存の字幕分割コーパスに字幕分割を付加する手法を提案する。 Growing needs in localising audiovisual content in multiple languages through subtitles call for the development of automatic solutions for human subtitling. Neural Machine Translation (NMT) can contribute to the automatisation of subtitling, facilitating the work of human subtitlers and reducing turn-around times and related costs. NMT requires high-quality, large, task-specific training data. The existing subtitling corpora, however, are missing both alignments to the source language audio and important information about subtitle breaks. This poses a significant limitation for developing efficient automatic approaches for subtitling, since the length and form of a subtitle directly depends on the duration of the utterance. In this work, we present MuST-Cinema, a multilingual speech translation corpus built from TED subtitles. The corpus is comprised of (audio, transcription, translation) triplets. Subtitle breaks are preserved by inserting special symbols. We show that the corpus can be used to build models that efficiently segment sentences into subtitles and propose a method for annotating existing subtitling corpora with subtitle breaks, conforming to the constraint of length. | 翻訳日:2022-12-28 21:39:24 公開日:2020-02-25 |
| # LSTMネットワークを用いた小容量オープン語彙キーワードスポッティング Small-Footprint Open-Vocabulary Keyword Spotting with Quantized LSTM Networks ( http://arxiv.org/abs/2002.10851v1 ) ライセンス: Link先を確認 | Th\'eodore Bluche, Ma\"el Primet, Thibault Gisselbrecht | (参考訳) 本稿では,キーワードに基づく音声言語理解システムについて検討し,ユーザの意図をクエリ中のキーワード列の検出から直接導き出す方法を提案する。
本稿では,open-vocabularyキーワードスポッティング手法に着目し,モデル全体を再トレーニングすることなく,ユーザが独自のキーワードを定義できるようにする。
ユーザが定義したキーワードの任意のセットに対して,これらのキーワードに固有のデータをトレーニングすることなく,小さなデバイス上で実行することが可能な,高速かつ小さなプリントシステムへのさまざまな設計選択について説明する。
このモデルは、コネクショニスト時間分類(CTC)で訓練された量子化された長短期記憶(LSTM)ニューラルネットワークに基づいており、重量は500KB未満である。
提案手法は,CTC学習ネットワークの予測特性を利用して信頼性スコアを校正し,高速検出アルゴリズムを実装している。
提案方式は,標準キーワードフィラーモデルアプローチを上回っている。 We explore a keyword-based spoken language understanding system, in which the intent of the user can directly be derived from the detection of a sequence of keywords in the query. In this paper, we focus on an open-vocabulary keyword spotting method, allowing the user to define their own keywords without having to retrain the whole model. We describe the different design choices leading to a fast and small-footprint system, able to run on tiny devices, for any arbitrary set of user-defined keywords, without training data specific to those keywords. The model, based on a quantized long short-term memory (LSTM) neural network, trained with connectionist temporal classification (CTC), weighs less than 500KB. Our approach takes advantage of some properties of the predictions of CTC-trained networks to calibrate the confidence scores and implement a fast detection algorithm. The proposed system outperforms a standard keyword-filler model approach. | 翻訳日:2022-12-28 21:39:06 公開日:2020-02-25 |
| # SE攻撃におけるアスク検出 : 言語的・構造的知識の影響 Detecting Asks in SE attacks: Impact of Linguistic and Structural Knowledge ( http://arxiv.org/abs/2002.10931v1 ) ライセンス: Link先を確認 | Bonnie J. Dorr, Archna Bhatia, Adam Dalton, Brodie Mather, Bryanna Hebenstreit, Sashank Santhanam, Zhuo Cheng, Samira Shaikh, Alan Zemel, Tomek Strzalkowski | (参考訳) ソーシャルエンジニアは、リンクをクリックしてマルウェアをダウンロードしたり、お金や機密情報へのアクセスを提供したりすることで、ユーザーを操作できる。
自然言語処理、計算社会言語学、メディア固有の構造的手がかりは、質問(例えばギフトカードを購入する)と質問によって示唆されるリスク/リワードの両方を検出する手段を提供する。
語彙的概念構造などの言語的資源をask検出に応用し,リンクやその近接といった構造的手がかりを活用して,結果に対する信頼度を高める。
本研究は,リンクなどの構造的手がかりと言語的動機づけのあるクラスによって,ask検出,フレーミング検出,トップaskの識別性能が向上することを示す。
本手法は,社会工学的リスク状況をユーザに通知するシステムに実装されている。 Social engineers attempt to manipulate users into undertaking actions such as downloading malware by clicking links or providing access to money or sensitive information. Natural language processing, computational sociolinguistics, and media-specific structural clues provide a means for detecting both the ask (e.g., buy gift card) and the risk/reward implied by the ask, which we call framing (e.g., lose your job, get a raise). We apply linguistic resources such as Lexical Conceptual Structure to tackle ask detection and also leverage structural clues such as links and their proximity to identified asks to improve confidence in our results. Our experiments indicate that the performance of ask detection, framing detection, and identification of the top ask is improved by linguistically motivated classes coupled with structural clues such as links. Our approach is implemented in a system that informs users about social engineering risk situations. | 翻訳日:2022-12-28 21:38:37 公開日:2020-02-25 |
| # より抽象的な要約モデル A more abstractive summarization model ( http://arxiv.org/abs/2002.10959v1 ) ライセンス: Link先を確認 | Satyaki Chakraborty, Xinya Li, Sayak Chakraborty | (参考訳) ポインタ生成ネットワークはテキスト要約の非常に一般的な方法である。
このドメインにおけるより最近の作業は、コンテンツ選択フェーズの強化や、デコーダをコンテキストネットワークと言語モデルに分解することで、ベースラインポインタジェネレータの上に構築されている。
しかし、ポインタジェネレータベースアーキテクチャに基づく全てのモデルでは、要約中の新しい単語を生成できず、主にソーステキストから単語をコピーすることができない。
本稿では,まず,ポインタ生成ネットワークが新規な単語を生成できない理由を徹底的に検討し,その後にout-of-vocabulary(oov)ペナルティを加えることで対処する。
これにより、ノベルティ/アブストラクションの量を大幅に改善できます。
抽象度を決定する指標として正規化n-gramノベルティスコアを用いる。
さらに,R-1,R-2,R-Lスコアを用いて,ほとんどの要約モデルを評価した結果,モデルのルージュスコアも報告した。 Pointer-generator network is an extremely popular method of text summarization. More recent works in this domain still build on top of the baseline pointer generator by augmenting a content selection phase, or by decomposing the decoder into a contextual network and a language model. However, all such models that are based on the pointer-generator base architecture cannot generate novel words in the summary and mostly copy words from the source text. In our work, we first thoroughly investigate why the pointer-generator network is unable to generate novel words, and then address that by adding an Out-of-vocabulary (OOV) penalty. This enables us to improve the amount of novelty/abstraction significantly. We use normalized n-gram novelty scores as a metric for determining the level of abstraction. Moreover, we also report rouge scores of our model since most summarization models are evaluated with R-1, R-2, R-L scores. | 翻訳日:2022-12-28 21:37:47 公開日:2020-02-25 |
| # キーワードの曖昧さに対する意味的関連性:異なる埋め込みを爆発させる Semantic Relatedness for Keyword Disambiguation: Exploiting Different Embeddings ( http://arxiv.org/abs/2002.11023v1 ) ライセンス: Link先を確認 | Mar\'ia G. Buey and Carlos Bobed and Jorge Gracia and Eduardo Mena | (参考訳) 単語の意味を理解することは、人間と機械の相互作用を含む多くのタスクにとって重要である。
これは自然言語処理(NLP)分野における単語センス曖昧化(WSD)の研究によって取り組まれている。
近年、WSDや他の多くのNLPタスクは、単語、文、文書の埋め込みに基づく表現を活用している。
しかし、wsdに関しては、ほとんどの埋め込みモデルは、単語の異なる意味を捉えることができないため、あいまいさに苦しむ。
たとえそれが実行されたとしても、単語(センスインベントリ)の可能な意味のリストは、埋め込み空間に含まれるトレーニング時間に事前に知っておく必要がある。
残念なことに、そのような感覚の在庫が事前に分かっていない状況(例えば、実行時に選択されたオントロジー)や、時間とともに進化し、トレーニング時にその状態が変化する状況がある。
これはwsdの組み込みモデルの使用を妨げます。
さらに、従来のwsd技術は、キーワードベースのクエリの場合など、利用可能な言語情報が極めて少ない状況ではうまく機能しません。
本稿では,学習時に未知の外部インベントリ(オントロジー)によって提供される単語と感覚間の意味的関連性に基づくキーワード曖昧化手法を提案する。
先行研究に基づき,単語埋め込みを用いた意味的関連度尺度を提案し,単語表現と文表現の両面を活用可能な曖昧性アルゴリズムを探索する。
実験の結果,本手法は特定のドメインをトレーニングすることなく,WSDに適用した場合の技量に匹敵する結果が得られることがわかった。 Understanding the meaning of words is crucial for many tasks that involve human-machine interaction. This has been tackled by research in Word Sense Disambiguation (WSD) in the Natural Language Processing (NLP) field. Recently, WSD and many other NLP tasks have taken advantage of embeddings-based representation of words, sentences, and documents. However, when it comes to WSD, most embeddings models suffer from ambiguity as they do not capture the different possible meanings of the words. Even when they do, the list of possible meanings for a word (sense inventory) has to be known in advance at training time to be included in the embeddings space. Unfortunately, there are situations in which such a sense inventory is not known in advance (e.g., an ontology selected at run-time), or it evolves with time and its status diverges from the one at training time. This hampers the use of embeddings models for WSD. Furthermore, traditional WSD techniques do not perform well in situations in which the available linguistic information is very scarce, such as the case of keyword-based queries. In this paper, we propose an approach to keyword disambiguation which grounds on a semantic relatedness between words and senses provided by an external inventory (ontology) that is not known at training time. Building on previous works, we present a semantic relatedness measure that uses word embeddings, and explore different disambiguation algorithms to also exploit both word and sentence representations. Experimental results show that this approach achieves results comparable with the state of the art when applied for WSD, without training for a particular domain. | 翻訳日:2022-12-28 21:37:31 公開日:2020-02-25 |
| # 単語と知識グラフの埋め込みを利用したエンドツーエンドエンティティリンクと曖昧化 End-to-End Entity Linking and Disambiguation leveraging Word and Knowledge Graph Embeddings ( http://arxiv.org/abs/2002.11143v1 ) ライセンス: Link先を確認 | Rostislav Nedelchev, Debanjan Chaudhuri, Jens Lehmann and Asja Fischer | (参考訳) エンティティリンク - 自然言語で言及される知識グラフ(KG)エンティティを接続することは、KGに対する質問応答の重要なステップである。
しばしば、エンティティラベルと問題の言及との間の文字列の類似度を測定することに基づいている。
質問で言及される関係は、同じラベルを持つエンティティ間の曖昧さを解消するのに役立ちます。
これは、関係連結ステップで不正確な関係が特定された場合、誤解を招く可能性がある。
しかし、誤った関係は、正しい実体がKG内の三重項を形成する関係と意味論的に類似している可能性があり、KG埋め込みの類似性によって捉えることができる。
そこで我々は,KGを用いた最初のエンドツーエンドニューラルネットワークアプローチを提案し,新しいゲーティング機構の助けを借りて実体の曖昧さを暗黙的に実行しながら,単純な質問の結合関係と実体分類を行う。
実験的な評価により,提案手法は,処理後処理の削減を図りながら,最先端エンティティリンクに匹敵する性能を実現する。 Entity linking - connecting entity mentions in a natural language utterance to knowledge graph (KG) entities is a crucial step for question answering over KGs. It is often based on measuring the string similarity between the entity label and its mention in the question. The relation referred to in the question can help to disambiguate between entities with the same label. This can be misleading if an incorrect relation has been identified in the relation linking step. However, an incorrect relation may still be semantically similar to the relation in which the correct entity forms a triple within the KG; which could be captured by the similarity of their KG embeddings. Based on this idea, we propose the first end-to-end neural network approach that employs KG as well as word embeddings to perform joint relation and entity classification of simple questions while implicitly performing entity disambiguation with the help of a novel gating mechanism. An empirical evaluation shows that the proposed approach achieves a performance comparable to state-of-the-art entity linking while requiring less post-processing. | 翻訳日:2022-12-28 21:37:08 公開日:2020-02-25 |
| # 非揮発性メモリアレイによる量子化と雑音耐性LSTMニューラルネットワーク Non-Volatile Memory Array Based Quantization- and Noise-Resilient LSTM Neural Networks ( http://arxiv.org/abs/2002.10636v1 ) ライセンス: Link先を確認 | Wen Ma, Pi-Feng Chiu, Won Ho Choi, Minghai Qin, Daniel Bedau, Martin Lueker-Boden | (参考訳) クラウドおよびエッジコンピューティングモデルでは、エッジにあるデバイスを可能な限り効率よく計算することが重要である。
長期記憶(LSTM)ニューラルネットワークは、自然言語処理、時系列予測、その他多くのシーケンシャルなデータタスクに広く利用されている。
したがって、これらのアプリケーションでは、エッジでのLSTMモデル推論のための低消費電力アクセラレータの必要性が高まっている。
非揮発性メモリ(NVM)重み付けを用いたベクトル行列乗算(VMM)演算の高速化に注目が集まっている。
NVMアレイベースのハードウェアでは、ビット幅の削減が電力効率を著しく向上させる。
本稿では、LSTMモデルへの量子化対応学習アルゴリズムの適用と、これらのモデルが量子化誤差とアナログデバイスノイズの両方に対してレジリエンスをもたらす利点に焦点を当てる。
4ビットのNVM重みと4ビットのADC/DACしか必要とせず、浮動小数点ネットワーク性能を浮動小数点ベースラインとして実現できないことを示した。
NVMベースの量子化LSTMネットワークでは、ADC量子化ノイズと重み付けノイズの共鳴レベルが自然に許容される。
提案したLSTMアクセラレータのベンチマーク解析により,従来のデジタル手法(GPU,FPGA,ASIC)に比べて,少なくとも2.4倍の計算効率と40倍の面積効率が得られた。
nvmに基づく他の斬新なアプローチは、高い計算効率(最大4.7倍)を提供するが、潜在的なエラー率の高いより大きな配列を必要とする。 In cloud and edge computing models, it is important that compute devices at the edge be as power efficient as possible. Long short-term memory (LSTM) neural networks have been widely used for natural language processing, time series prediction and many other sequential data tasks. Thus, for these applications there is increasing need for low-power accelerators for LSTM model inference at the edge. In order to reduce power dissipation due to data transfers within inference devices, there has been significant interest in accelerating vector-matrix multiplication (VMM) operations using non-volatile memory (NVM) weight arrays. In NVM array-based hardware, reduced bit-widths also significantly increases the power efficiency. In this paper, we focus on the application of quantization-aware training algorithm to LSTM models, and the benefits these models bring in terms of resilience against both quantization error and analog device noise. We have shown that only 4-bit NVM weights and 4-bit ADC/DACs are needed to produce equivalent LSTM network performance as floating-point baseline. Reasonable levels of ADC quantization noise and weight noise can be naturally tolerated within our NVMbased quantized LSTM network. Benchmark analysis of our proposed LSTM accelerator for inference has shown at least 2.4x better computing efficiency and 40x higher area efficiency than traditional digital approaches (GPU, FPGA, and ASIC). Some other novel approaches based on NVM promise to deliver higher computing efficiency (up to 4.7x) but require larger arrays with potential higher error rates. | 翻訳日:2022-12-28 21:36:50 公開日:2020-02-25 |
| # GOゲームでAlphaGoが人間の限界を超えたという非常に単純な統計的証拠 Very simple statistical evidence that AlphaGo has exceeded human limits in playing GO game ( http://arxiv.org/abs/2002.11107v1 ) ライセンス: Link先を確認 | Okyu Kwon | (参考訳) ディープラーニング技術は、人工知能の課題を解決する上で大きな進歩を遂げているため、ニューラルネットワークに基づく機械学習が再び注目を浴びている。
一部の分野では、ディープラーニングに基づく人工知能は人間の能力を超えている。
マシンがGoゲームで人間を倒すのは非常に難しいように思われたが、AlphaGoはゲームでプロのプレイヤーを倒すことを示した。
囲碁石が連続して配置される距離の統計的分布から、Alphagoが人間の能力を上回ったという明確な痕跡を見いだすことができる。
AlphaGoはプロ選手やプロ選手よりも、普通の選手よりも遠くに石を置くことが頻繁に見られる。
さらにAlphaGoは、通常の選手やプロ選手よりもはるかに顕著な違いを示している。 Deep learning technology is making great progress in solving the challenging problems of artificial intelligence, hence machine learning based on artificial neural networks is in the spotlight again. In some areas, artificial intelligence based on deep learning is beyond human capabilities. It seemed extremely difficult for a machine to beat a human in a Go game, but AlphaGo has shown to beat a professional player in the game. By looking at the statistical distribution of the distance in which the Go stones are laid in succession, we find a clear trace that Alphago has surpassed human abilities. The AlphaGo than professional players and professional players than ordinary players shows the laying of stones in the distance becomes more frequent. In addition, AlphaGo shows a much more pronounced difference than that of ordinary players and professional players. | 翻訳日:2022-12-28 21:36:24 公開日:2020-02-25 |
| # 自律的改善によるスケーラブルなマルチタスク模倣学習 Scalable Multi-Task Imitation Learning with Autonomous Improvement ( http://arxiv.org/abs/2003.02636v1 ) ライセンス: Link先を確認 | Avi Singh, Eric Jang, Alexander Irpan, Daniel Kappler, Murtaza Dalal, Sergey Levine, Mohi Khansari, Chelsea Finn | (参考訳) ロボット学習は、ロボットが新しいスキルを自動で獲得する上で有望な結果を示しているが、学習ベースのシステムをデプロイする上で重要な課題はスケールである。
特に模倣学習は、ロボット学習にとって安定的で強力なアプローチであり続けているが、データ収集には専門家のオペレーターに頼っている。
本研究では,自律的なデータ収集を通じて継続的に改善できる模倣学習システムを構築するとともに,強化学習の明示的な使用を回避し,教師付き模倣の安定性,簡易性,スケーラビリティを維持することを目的とする。
これを実現するため、自律的な改善を模倣した問題をマルチタスク環境に投入した。
マルチタスク環境では、あるタスクに対する失敗した試みは、別のタスクに対する成功した試みを表すかもしれないという洞察を利用する。
これにより、ロボットが実際に試みたタスク以外のタスクのデモンストレーションとして、ロボット自身の試行を活用できます。
マルチタスクのデモンストレーションデータの最初のデータセットを使用して、ロボットは自律的にトライアルを収集する。
そして、実験を学習された潜在タスク空間に埋め込み、最初のデモデータセットのみを使用してトレーニングし、さまざまな試行の類似性を引き出すことにより、ロボットが新しいタスクにワンショットの一般化を可能にする。
先行模倣学習手法とは対照的に,連続的改善のためにスパース監視を伴うデータを自律的に収集し,強化学習アルゴリズムとは対照的に,スパースでタスク非依存な報酬信号から効果的に改善することができる。 While robot learning has demonstrated promising results for enabling robots to automatically acquire new skills, a critical challenge in deploying learning-based systems is scale: acquiring enough data for the robot to effectively generalize broadly. Imitation learning, in particular, has remained a stable and powerful approach for robot learning, but critically relies on expert operators for data collection. In this work, we target this challenge, aiming to build an imitation learning system that can continuously improve through autonomous data collection, while simultaneously avoiding the explicit use of reinforcement learning, to maintain the stability, simplicity, and scalability of supervised imitation. To accomplish this, we cast the problem of imitation with autonomous improvement into a multi-task setting. We utilize the insight that, in a multi-task setting, a failed attempt at one task might represent a successful attempt at another task. This allows us to leverage the robot's own trials as demonstrations for tasks other than the one that the robot actually attempted. Using an initial dataset of multi-task demonstration data, the robot autonomously collects trials which are only sparsely labeled with a binary indication of whether the trial accomplished any useful task or not. We then embed the trials into a learned latent space of tasks, trained using only the initial demonstration dataset, to draw similarities between various trials, enabling the robot to achieve one-shot generalization to new tasks. In contrast to prior imitation learning approaches, our method can autonomously collect data with sparse supervision for continuous improvement, and in contrast to reinforcement learning algorithms, our method can effectively improve from sparse, task-agnostic reward signals. | 翻訳日:2022-12-28 21:29:52 公開日:2020-02-25 |
| # 2つの異なる擬人化ロボットアーム間の計量に基づく模倣学習 Metric-Based Imitation Learning Between Two Dissimilar Anthropomorphic Robotic Arms ( http://arxiv.org/abs/2003.02638v1 ) ライセンス: Link先を確認 | Marcus Ebner von Eschenbach, Binyamin Manela, Jan Peters, Armin Biess | (参考訳) 人間のデモから学び、手動でプログラムされるのではなく、望ましい振る舞いを模倣する自律ロボットシステムの開発には、大きな技術的ポテンシャルがある。
模倣学習における大きな課題の1つは対応問題である: エージェントの具体化が異なる場合(形態学、ダイナミクス、自由度など)、専門家と学習者の間で対応する状態と行動を確立する方法。
模倣学習における既存の多くのアプローチは、ロボット上で実行される体美教育や遠隔操作などの対応問題を回避している。
本研究では,類似した実施形態間の距離測度を導入することで,対応問題に明示的に対処する。
この尺度は、静的ポーズ模倣の損失関数として、またシミュレーションにおいて2つの擬人化ロボットアーム間の動的運動模倣のためのモデル自由深部強化学習フレームワーク内のフィードバック信号として使用される。
この尺度は,実施形態の類似性や距離最小化による模倣政策の学習に適していることが判明した。 The development of autonomous robotic systems that can learn from human demonstrations to imitate a desired behavior - rather than being manually programmed - has huge technological potential. One major challenge in imitation learning is the correspondence problem: how to establish corresponding states and actions between expert and learner, when the embodiments of the agents are different (morphology, dynamics, degrees of freedom, etc.). Many existing approaches in imitation learning circumvent the correspondence problem, for example, kinesthetic teaching or teleoperation, which are performed on the robot. In this work we explicitly address the correspondence problem by introducing a distance measure between dissimilar embodiments. This measure is then used as a loss function for static pose imitation and as a feedback signal within a model-free deep reinforcement learning framework for dynamic movement imitation between two anthropomorphic robotic arms in simulation. We find that the measure is well suited for describing the similarity between embodiments and for learning imitation policies by distance minimization. | 翻訳日:2022-12-28 21:29:24 公開日:2020-02-25 |
| # 3次元レーザースキャンのディープラーニング解析によるマイクロエレクトロニクスアタッチメントの故障診断 Fault Diagnosis in Microelectronics Attachment via Deep Learning Analysis of 3D Laser Scans ( http://arxiv.org/abs/2002.10974v1 ) ライセンス: Link先を確認 | Nikolaos Dimitriou, Lampros Leontaris, Thanasis Vafeiadis, Dimosthenis Ioannidis, Tracy Wotherspoon, Gregory Tinker, and Dimitrios Tzovaras | (参考訳) ミニチュアプリント回路基板(PCB)の製造において共通の欠点は、液晶ポリマー(LCP)基板上にシリコンダイやその他のワイヤーボンディング可能な部品を付着させることである。
通常、導電性接着剤は、不足または過剰な接着剤によって生じる欠陥に付着する前に放出される。
電子産業における現在の実践は、人間のオペレーターが付着した接着剤を調べることであり、特にエラー率が高いプレプロダクション環境では、時間がかかり非効率なプロセスである。
本稿では,ダイアタッチメント前後の接着剤付着量を正確に推定し,故障診断を自動化するシステムを提案する。
この目的のために,高分解能点雲を発生させるモジュール型スキャニングシステムを配置し,その一方で3次元畳み込みニューラルネットワーク(3DCNN)である (R)egression-Net (RNet) を用いて実際の接着剤体積の推定を行う。
RNetは、他の深いアーキテクチャよりも優れており、接着剤の付着点雲から直接、または、ダイアタッチメント後に、各ダイの周囲に少量の接着剤しか見えない場合に、その体積を推定することができる。
本手法は, 製造工程を遅らせることなく, 正確な結果が得られる運用条件下で評価される。 A common source of defects in manufacturing miniature Printed Circuits Boards (PCB) is the attachment of silicon die or other wire bondable components on a Liquid Crystal Polymer (LCP) substrate. Typically, a conductive glue is dispensed prior to attachment with defects caused either by insufficient or excessive glue. The current practice in electronics industry is to examine the deposited glue by a human operator a process that is both time consuming and inefficient especially in preproduction runs where the error rate is high. In this paper we propose a system that automates fault diagnosis by accurately estimating the volume of glue deposits before and even after die attachment. To this end a modular scanning system is deployed that produces high resolution point clouds whereas the actual estimation of glue volume is performed by (R)egression-Net (RNet), a 3D Convolutional Neural Network (3DCNN). RNet outperforms other deep architectures and is able to estimate the volume either directly from the point cloud of a glue deposit or more interestingly after die attachment when only a small part of glue is visible around each die. The entire methodology is evaluated under operational conditions where the proposed system achieves accurate results without delaying the manufacturing process. | 翻訳日:2022-12-28 21:29:08 公開日:2020-02-25 |
| # マイクロエレクトロニクスにおけるシミュレーションと欠陥予測のためのディープラーニングフレームワーク A Deep Learning Framework for Simulation and Defect Prediction Applied in Microelectronics ( http://arxiv.org/abs/2002.10986v1 ) ライセンス: Link先を確認 | Nikolaos Dimitriou, Lampros Leontaris, Thanasis Vafeiadis, Dimosthenis Ioannidis, Tracy Wotherspoon, Gregory Tinker, Dimitrios Tzovaras | (参考訳) 産業プロセスにおける今後の出来事の予測は、製造パラメータの最適化、設備整備の計画、さらに重要な予測、最終的には欠陥の防止を可能にするため、長年の研究目標となっている。
既存のアプローチは大きな進歩を遂げているが、それらは主に1次元信号の処理や、環境パラメータのモデル化にパラメータチューニングを必要とする。
本稿では,従来の3次元計測に基づくバッチ内の監視対象の3次元構造の変化をシミュレートする,ディープニューラルネットワークに基づく代替手法を提案する。
特に,3次元畳み込みニューラルネットワーク(3DCNN)に基づくアーキテクチャを提案する。
我々は,集積回路(IC)の付着前に液晶ポリマー(LCP)基板上に付着した接着剤の形状と体積の変化をシミュレートするPCBスキャンデータセットを用いて,マイクロエレクトロニクスのユースケースに関する枠組みを検証する。
実験評価により, 学習中のコスト関数における異なる選択の影響を検証し, 提案手法が欠陥予測に効果的に利用できることを示す。 The prediction of upcoming events in industrial processes has been a long-standing research goal since it enables optimization of manufacturing parameters, planning of equipment maintenance and more importantly prediction and eventually prevention of defects. While existing approaches have accomplished substantial progress, they are mostly limited to processing of one dimensional signals or require parameter tuning to model environmental parameters. In this paper, we propose an alternative approach based on deep neural networks that simulates changes in the 3D structure of a monitored object in a batch based on previous 3D measurements. In particular, we propose an architecture based on 3D Convolutional Neural Networks (3DCNN) in order to model the geometric variations in manufacturing parameters and predict upcoming events related to sub-optimal performance. We validate our framework on a microelectronics use-case using the recently published PCB scans dataset where we simulate changes on the shape and volume of glue deposited on an Liquid Crystal Polymer (LCP) substrate before the attachment of integrated circuits (IC). Experimental evaluation examines the impact of different choices in the cost function during training and shows that the proposed method can be efficiently used for defect prediction. | 翻訳日:2022-12-28 21:28:46 公開日:2020-02-25 |
| # ディープラーニングを用いたIoTデバイス識別 IoT Device Identification Using Deep Learning ( http://arxiv.org/abs/2002.11686v1 ) ライセンス: Link先を確認 | Jaidip Kotak and Yuval Elovici | (参考訳) 組織におけるIoTデバイスの利用の増加は、デバイスの安全性の低い性質のため、攻撃者が利用できる攻撃ベクトルの数を増やしている。
広く採用されている独自のデバイス(BYOD)ポリシにより、従業員が任意のIoTデバイスを職場に持ち込み、組織のネットワークにアタッチすることで、攻撃のリスクも増大する。
この脅威に対処するために、組織はしばしば、ホワイトリストのIoTデバイスの接続のみを許可するセキュリティポリシーを実装します。
このようなポリシーの遵守を監視し、ネットワークを保護するためには、ネットワークに接続されたIoTデバイスを特定し、より具体的には、ホワイトリスト(未知のデバイス)にない接続されたIoTデバイスを特定する必要がある。
本研究では、ネットワークトラフィックにディープラーニングを適用し、ネットワークに接続されたIoTデバイスを自動的に識別する。
これまでの研究とは対照的に、当社のアプローチでは、IoTデバイスネットワークトラフィックペイロードから構築された小さなイメージを使用して、IoTデバイスの通信動作を表現するため、ネットワークトラフィックに複雑な機能エンジニアリングを適用する必要はない。
実験では、公開データセット上のマルチクラス分類器をトレーニングし、10種類のIoTデバイスとスマートフォンとコンピュータのトラフィックを99%以上の精度で特定しました。
また、ネットワークに接続された不正なIoTデバイスを検出するために、マルチクラス分類器を訓練し、全体の平均検出精度を99%以上達成しました。 The growing use of IoT devices in organizations has increased the number of attack vectors available to attackers due to the less secure nature of the devices. The widely adopted bring your own device (BYOD) policy which allows an employee to bring any IoT device into the workplace and attach it to an organization's network also increases the risk of attacks. In order to address this threat, organizations often implement security policies in which only the connection of white-listed IoT devices is permitted. To monitor adherence to such policies and protect their networks, organizations must be able to identify the IoT devices connected to their networks and, more specifically, to identify connected IoT devices that are not on the white-list (unknown devices). In this study, we applied deep learning on network traffic to automatically identify IoT devices connected to the network. In contrast to previous work, our approach does not require that complex feature engineering be applied on the network traffic, since we represent the communication behavior of IoT devices using small images built from the IoT devices network traffic payloads. In our experiments, we trained a multiclass classifier on a publicly available dataset, successfully identifying 10 different IoT devices and the traffic of smartphones and computers, with over 99% accuracy. We also trained multiclass classifiers to detect unauthorized IoT devices connected to the network, achieving over 99% overall average detection accuracy. | 翻訳日:2022-12-28 21:28:28 公開日:2020-02-25 |
| # 速度・加速度測定のない物理系のモデルベース強化学習 Model-Based Reinforcement Learning for Physical Systems Without Velocity and Acceleration Measurements ( http://arxiv.org/abs/2002.10621v1 ) ライセンス: Link先を確認 | Alberto Dalla Libera, Diego Romeres, Devesh K. Jha, Bill Yerazunis and Daniel Nikovski | (参考訳) 本稿では,ガウス過程回帰(GPR)に基づく強化学習(RL)アルゴリズムのための微分自由モデル学習フレームワークを提案する。
多くの機械システムでは、センシング機器によってのみ位置を測定することができる。
そして、位置、速度、加速度の集合で物理によって示唆されるシステム状態を表す代わりに、状態は過去の位置測定の集合として定義する。
しかし、物理第一原理によって導かれる運動方程式は、速度と加速度の関数であるこの枠組みでは直接適用できない。
そこで我々は,非パラメトリック微分フリーガウス過程モデルと容易に結合できる,新しい微分フリー物理インスパイアされたカーネルを提案する。
2つの実プラットフォームで実施したテストでは,提案モデルと組み合わせた状態定義により,gprに基づく推定性能とデータ効率が向上することが示された。
最後に,実ロボットシステムにおける2つのrl制御問題を解決することで,提案手法を検証する。 In this paper, we propose a derivative-free model learning framework for Reinforcement Learning (RL) algorithms based on Gaussian Process Regression (GPR). In many mechanical systems, only positions can be measured by the sensing instruments. Then, instead of representing the system state as suggested by the physics with a collection of positions, velocities, and accelerations, we define the state as the set of past position measurements. However, the equation of motions derived by physical first principles cannot be directly applied in this framework, being functions of velocities and accelerations. For this reason, we introduce a novel derivative-free physically-inspired kernel, which can be easily combined with nonparametric derivative-free Gaussian Process models. Tests performed on two real platforms show that the considered state definition combined with the proposed model improves estimation performance and data-efficiency w.r.t. traditional models based on GPR. Finally, we validate the proposed framework by solving two RL control problems for two real robotic systems. | 翻訳日:2022-12-28 21:28:06 公開日:2020-02-25 |
| # バッチからのロバスト学習のための汎用的手法 A General Method for Robust Learning from Batches ( http://arxiv.org/abs/2002.11099v1 ) ライセンス: Link先を確認 | Ayush Jain and Alon Orlitsky | (参考訳) 多くのアプリケーションでは、データはバッチで収集されます。
最近の研究は、この設定で離散分布を推定するための最適ロバストアルゴリズムを導出した。
バッチから堅牢な学習を行う一般的なフレームワークを検討し、連続的なドメインを含む任意の領域に対する分類と分布推定の限界を決定する。
これらの結果をもとに, 分節間分類, 分節多項, 単音, 対コンケーブ, ガウス混合分布推定のための最初のロバスト無依存計算効率学習アルゴリズムを導出する。 In many applications, data is collected in batches, some of which are corrupt or even adversarial. Recent work derived optimal robust algorithms for estimating discrete distributions in this setting. We consider a general framework of robust learning from batches, and determine the limits of both classification and distribution estimation over arbitrary, including continuous, domains. Building on these results, we derive the first robust agnostic computationally-efficient learning algorithms for piecewise-interval classification, and for piecewise-polynomial, monotone, log-concave, and gaussian-mixture distribution estimation. | 翻訳日:2022-12-28 21:27:52 公開日:2020-02-25 |
| # Project & Exciteによる3D ConvNetのリカバリ Recalibrating 3D ConvNets with Project & Excite ( http://arxiv.org/abs/2002.10994v1 ) ライセンス: Link先を確認 | Anne-Marie Rickmann, Abhijit Guha Roy, Ignacio Sarasua, Christian Wachinger | (参考訳) 完全畳み込みニューラルネットワーク(F-CNN)は、コンピュータビジョンと医用画像におけるセグメンテーションタスクの最先端のパフォーマンスを達成する。
近年,F-CNN特徴写像をチャネル的にも空間的にも再分類するために,圧縮・励起(SE)と呼ばれる計算ブロックが導入され,セグメント化性能が向上し,モデルの複雑さが最小限に増大した。
これまでのところ、seブロックの開発は2dアーキテクチャにフォーカスしてきた。
しかし、ボリューム医療画像の場合、3D F-CNNは自然な選択である。
本稿では,既存の2dリカバリ法を3dに拡張し,これらのブロックを簡易に比較するための汎用圧縮プロセスリカバリパイプラインを提案する。
3Dネットワーク用にカスタマイズされたProject & Excite (PE)モジュールについても紹介する。
既存のモジュールとは対照的に、Project \& Exciteはグローバル平均プールを行うのではなく、テンソルの異なる空間次元に沿って特徴写像を圧縮し、その後励起ステップで使用されるより空間的な情報を保持する。
本研究は,MRIの脳部分分割とCTの全身部分分割の2つの課題について評価する。
我々は,peモジュールを3d f-cnnに容易に統合でき,diceスコアが0.3まで向上し,他のリカバリブロックの3d拡張よりもパフォーマンスが向上することを示した。
私たちのコードはhttps://github.com/ai-med/squeeze_and_excitation で公開されています。 Fully Convolutional Neural Networks (F-CNNs) achieve state-of-the-art performance for segmentation tasks in computer vision and medical imaging. Recently, computational blocks termed squeeze and excitation (SE) have been introduced to recalibrate F-CNN feature maps both channel- and spatial-wise, boosting segmentation performance while only minimally increasing the model complexity. So far, the development of SE blocks has focused on 2D architectures. For volumetric medical images, however, 3D F-CNNs are a natural choice. In this article, we extend existing 2D recalibration methods to 3D and propose a generic compress-process-recalibrate pipeline for easy comparison of such blocks. We further introduce Project & Excite (PE) modules, customized for 3D networks. In contrast to existing modules, Project \& Excite does not perform global average pooling but compresses feature maps along different spatial dimensions of the tensor separately to retain more spatial information that is subsequently used in the excitation step. We evaluate the modules on two challenging tasks, whole-brain segmentation of MRI scans and whole-body segmentation of CT scans. We demonstrate that PE modules can be easily integrated into 3D F-CNNs, boosting performance up to 0.3 in Dice Score and outperforming 3D extensions of other recalibration blocks, while only marginally increasing the model complexity. Our code is publicly available on https://github.com/ai-med/squeeze_and_excitation . | 翻訳日:2022-12-28 21:21:37 公開日:2020-02-25 |
| # コミュニケーション効率の良い分散トレーニングのための最適勾配量子化条件 Optimal Gradient Quantization Condition for Communication-Efficient Distributed Training ( http://arxiv.org/abs/2002.11082v1 ) ライセンス: Link先を確認 | An Xu, Zhouyuan Huo, Heng Huang | (参考訳) 勾配の通信は、コンピュータビジョンアプリケーションで複数のデバイスでディープニューラルネットワークをトレーニングするのに費用がかかる。
特に、ディープラーニングモデルのサイズが大きくなると、通信オーバーヘッドが高くなり、デバイス数に関する理想的な線形トレーニング速度が低下する。
勾配量子化は通信コストを削減する一般的な方法の1つである。
しかし、トレーニングで量子化エラーが発生し、モデル性能が低下する可能性がある。
本研究では,二値および多値勾配量子化の最適条件を,textbf{any}勾配分布に対して推定する。
最適条件に基づき,二値および多値勾配量子化のためのバイアス付きbingradとunbiased orqの2つの新しい量子化スキームを開発し,最適量子化レベルを動的に決定する。
一般的な畳み込みニューラルネットワークを用いたcifarおよびimagenetデータセットの広範な実験結果から,提案手法の有効性が示された。 The communication of gradients is costly for training deep neural networks with multiple devices in computer vision applications. In particular, the growing size of deep learning models leads to higher communication overheads that defy the ideal linear training speedup regarding the number of devices. Gradient quantization is one of the common methods to reduce communication costs. However, it can lead to quantization error in the training and result in model performance degradation. In this work, we deduce the optimal condition of both the binary and multi-level gradient quantization for \textbf{ANY} gradient distribution. Based on the optimal condition, we develop two novel quantization schemes: biased BinGrad and unbiased ORQ for binary and multi-level gradient quantization respectively, which dynamically determine the optimal quantization levels. Extensive experimental results on CIFAR and ImageNet datasets with several popular convolutional neural networks show the superiority of our proposed methods. | 翻訳日:2022-12-28 21:21:13 公開日:2020-02-25 |
| # 動的インセンティブ認識学習:コンテキストオークションにおけるロバスト価格 Dynamic Incentive-aware Learning: Robust Pricing in Contextual Auctions ( http://arxiv.org/abs/2002.11137v1 ) ライセンス: Link先を確認 | Negin Golrezaei, Adel Javanmard and Vahab Mirrokni | (参考訳) 広告交換市場における価格設定に動機づけられ,コンテクスト2次価格オークションにおいて,戦略購入者に対する準備価格の堅牢な学習が課題となっている。
アイテムの購入者の評価は、そのアイテムを記述するコンテキストに依存する。
しかし、売り手は、コンテキストと購入者の評価、すなわち購入者の選好との関係を意識していない。
売り手の目的は、過去の販売データを観察して準備価格を設定するための学習政策を設計することであり、その目的は、購入者の不均一な嗜好を知っており、不均一な政策に対して後悔を和らげることである。
売り手の目標を考えると、ユーティリティを最大化する買い手は、売り手の学習方針を操作するために不正に入札するインセンティブを持つ。
このような戦略的行動に頑健な学習方針を提案する。
これらの政策は、提出された入札ではなく、オークションの結果を用いて、各オークションの結果が将来の準備価格に与える影響を制御しながら、好みを見積もる。
マーケットノイズの分布が売り手に知られる場合,$O(d\log(Td) \log (T))$ の T 周期的後悔を実現する Contextual Robust Pricing (CORP) というポリシーを提案し,$d$ は {the} コンテキスト情報の次元である。
売り手にとってマーケットノイズの分布が不明な場合には, 後悔がサブリニアな2つのポリシーを提案する。 Motivated by pricing in ad exchange markets, we consider the problem of robust learning of reserve prices against strategic buyers in repeated contextual second-price auctions. Buyers' valuations for an item depend on the context that describes the item. However, the seller is not aware of the relationship between the context and buyers' valuations, i.e., buyers' preferences. The seller's goal is to design a learning policy to set reserve prices via observing the past sales data, and her objective is to minimize her regret for revenue, where the regret is computed against a clairvoyant policy that knows buyers' heterogeneous preferences. Given the seller's goal, utility-maximizing buyers have the incentive to bid untruthfully in order to manipulate the seller's learning policy. We propose learning policies that are robust to such strategic behavior. These policies use the outcomes of the auctions, rather than the submitted bids, to estimate the preferences while controlling the long-term effect of the outcome of each auction on the future reserve prices. When the market noise distribution is known to the seller, we propose a policy called Contextual Robust Pricing (CORP) that achieves a T-period regret of $O(d\log(Td) \log (T))$, where $d$ is the dimension of {the} contextual information. When the market noise distribution is unknown to the seller, we propose two policies whose regrets are sublinear in $T$. | 翻訳日:2022-12-28 21:20:36 公開日:2020-02-25 |
| # 非凸と凸メタラーニングのサンプル複雑性分離 A Sample Complexity Separation between Non-Convex and Convex Meta-Learning ( http://arxiv.org/abs/2002.11172v1 ) ライセンス: Link先を確認 | Nikunj Saunshi, Yi Zhang, Mikhail Khodak, Sanjeev Arora | (参考訳) メタラーニングの流行の1つは、多くのトレーニングタスクから学習することであり、サンプル数が少ない新しいタスクを解決できる勾配ベースのメソッドの共通初期化である。
メタラーニングの理論はまだ初期段階であり、Reptile (Nichol et al., 2018) のような手法の最近の学習理論分析は凸モデルのためのものである。
この研究は、凸ケース分析がメタラーニングの成功を理解するには不十分である可能性を示し、非凸モデルにおいても最適化ブラックボックスの内部、特に最適化軌道の特性を調べることが重要であることを示している。
1次元部分空間学習の問題を捉えた単純なメタラーニングインスタンスを構築した。
この例における線形回帰の凸定式化について、初期化に基づくメタ学習アルゴリズムの新しいタスクサンプルの複雑さは$\Omega(d)$であり、$d$は入力次元であることを示す。
対照的に、同じインスタンス上での2層線形ネットワークの非凸定式化では、Reptile と multi-task の表現学習の両方が新しいタスクサンプル複雑性を$\mathcal{O}(1)$とすることができ、凸メタラーニングからの分離を示す。
重要なこととして、これらの手法のトレーニングダイナミクスの分析は、データを投影すべき部分空間をメタ学習できることを示している。 One popular trend in meta-learning is to learn from many training tasks a common initialization for a gradient-based method that can be used to solve a new task with few samples. The theory of meta-learning is still in its early stages, with several recent learning-theoretic analyses of methods such as Reptile [Nichol et al., 2018] being for convex models. This work shows that convex-case analysis might be insufficient to understand the success of meta-learning, and that even for non-convex models it is important to look inside the optimization black-box, specifically at properties of the optimization trajectory. We construct a simple meta-learning instance that captures the problem of one-dimensional subspace learning. For the convex formulation of linear regression on this instance, we show that the new task sample complexity of any initialization-based meta-learning algorithm is $\Omega(d)$, where $d$ is the input dimension. In contrast, for the non-convex formulation of a two layer linear network on the same instance, we show that both Reptile and multi-task representation learning can have new task sample complexity of $\mathcal{O}(1)$, demonstrating a separation from convex meta-learning. Crucially, analyses of the training dynamics of these methods reveal that they can meta-learn the correct subspace onto which the data should be projected. | 翻訳日:2022-12-28 21:19:36 公開日:2020-02-25 |
| # EmbPred30:カテゴリー埋め込みを用いた糖尿病患者の30日間の寛解の評価 EmbPred30: Assessing 30-days Readmission for Diabetic Patients using Categorical Embeddings ( http://arxiv.org/abs/2002.11215v1 ) ライセンス: Link先を確認 | Sarthak, Shikhar Shukla, Surya Prakash Tripathi | (参考訳) 病院の入院は、病院が患者に提供する医療の質のレベルを決定するのに役立つ重要な医療基準であり、非常に高価であることが証明されている。
米国では糖尿病患者の回復のために年間250億ドル以上が費やされていると推定されている。
本稿では既存のモデルをベンチマークし、新しい埋め込みベースの最先端ニューラルネットワーク(DNN)を提案する。
このモデルは、入院糖尿病患者が30日以内に再送されるかどうかを、精度95.2%、受信者の動作特性(auroc)の面積97.4%で、1999年から2008年にかけて130の米国病院から収集されたデータから識別することができる。
その結果、薬を服用する可能性が高いと認めながら、薬を服用する患者を励ます結果となった。
入院希望患者を特定すれば,院内ケアの改善に役立ち,不必要な支出を省くことができる。 Hospital readmission is a crucial healthcare quality measure that helps in determining the level of quality of care that a hospital offers to a patient and has proven to be immensely expensive. It is estimated that more than $25 billion are spent yearly due to readmission of diabetic patients in the USA. This paper benchmarks existing models and proposes a new embedding based state-of-the-art deep neural network(DNN). The model can identify whether a hospitalized diabetic patient will be readmitted within 30 days or not with an accuracy of 95.2% and Area Under the Receiver Operating Characteristics(AUROC) of 97.4% on data collected from 130 US hospitals between 1999-2008. The results are encouraging with patients having changes in medication while admitted having a high chance of getting readmitted. Identifying prospective patients for readmission could help the hospital systems in improving their inpatient care, thereby saving them from unnecessary expenditures. | 翻訳日:2022-12-28 21:19:10 公開日:2020-02-25 |
| # フェデレーション学習におけるデバイス不均一性:超等価アプローチ Device Heterogeneity in Federated Learning: A Superquantile Approach ( http://arxiv.org/abs/2002.11223v1 ) ライセンス: Link先を確認 | Yassine Laguel, Krishna Pillutla, J\'er\^ome Malick, Zaid Harchaoui | (参考訳) 本研究では,人口分布に適合しない異種クライアントデバイスを扱うためのフェデレーション学習フレームワークを提案する。
このアプローチはパラメータ化された超量子的目的に基づいており、パラメータは適合性のレベルを越えている。
最適化アルゴリズムを提案し、定常点への収束を確立する。
本稿では, デバイスフィルタを用いた一般のフェデレーション平均化手法の繰り返しをインターリーブすることで, 安全なアグリゲーションによる実装方法を示す。
結論として,ニューラルネットワークの数値実験と,コンピュータビジョンや自然言語処理のタスクにおける線形モデルについて考察した。 We propose a federated learning framework to handle heterogeneous client devices which do not conform to the population data distribution. The approach hinges upon a parameterized superquantile-based objective, where the parameter ranges over levels of conformity. We present an optimization algorithm and establish its convergence to a stationary point. We show how to practically implement it using secure aggregation by interleaving iterations of the usual federated averaging method with device filtering. We conclude with numerical experiments on neural networks as well as linear models on tasks from computer vision and natural language processing. | 翻訳日:2022-12-28 21:18:52 公開日:2020-02-25 |
| # 複数の短時間時系列予測のためのブロックハンケルテンソルアリマ Block Hankel Tensor ARIMA for Multiple Short Time Series Forecasting ( http://arxiv.org/abs/2002.12135v1 ) ライセンス: Link先を確認 | Qiquan Shi, Jiaming Yin, Jiajun Cai, Andrzej Cichocki, Tatsuya Yokota, Lei Chen, Mingxuan Yuan, Jia Zeng | (参考訳) 本研究は,複数時系列予測のための新しい手法を提案する。
まず、マルチウェイ遅延埋め込み変換(MDT)を用いて、時系列を低ランクブロックハンケルテンソル(BHT)として表現する。
そして、タッカー分解を適用して、高次テンソルを圧縮コアテンソルに投影する。
同時に、一般化テンソル自己回帰統合移動平均(ARIMA)は、将来のサンプルを予測するために連続コアテンソルに明示的に使用される。
このようにして、提案手法は、低ランクタッカー分解と組み合わされたMDTテンソル化(相互相関を利用する)とテンソルARIMAの独特な利点を統合フレームワークに組み込む。
このフレームワークは、埋め込み空間におけるブロックハンケルテンソルの低ランク構造を利用し、複数のTS間の固有相関を捉えることにより、特に複数時系列において予測結果を改善することができる。
3つの公開データセットと2つの産業データセットで実施された実験により、提案したBHT-ARIMAが予測精度を効果的に改善し、最先端の手法と比較して計算コストを削減できることが確認された。 This work proposes a novel approach for multiple time series forecasting. At first, multi-way delay embedding transform (MDT) is employed to represent time series as low-rank block Hankel tensors (BHT). Then, the higher-order tensors are projected to compressed core tensors by applying Tucker decomposition. At the same time, the generalized tensor Autoregressive Integrated Moving Average (ARIMA) is explicitly used on consecutive core tensors to predict future samples. In this manner, the proposed approach tactically incorporates the unique advantages of MDT tensorization (to exploit mutual correlations) and tensor ARIMA coupled with low-rank Tucker decomposition into a unified framework. This framework exploits the low-rank structure of block Hankel tensors in the embedded space and captures the intrinsic correlations among multiple TS, which thus can improve the forecasting results, especially for multiple short time series. Experiments conducted on three public datasets and two industrial datasets verify that the proposed BHT-ARIMA effectively improves forecasting accuracy and reduces computational cost compared with the state-of-the-art methods. | 翻訳日:2022-12-28 21:18:39 公開日:2020-02-25 |
| # 分類問題に対する欠落データ計算 Missing Data Imputation for Classification Problems ( http://arxiv.org/abs/2002.10709v1 ) ライセンス: Link先を確認 | Arkopal Choudhury and Michael R. Kosorok | (参考訳) 欠落データのインプテーションは、特徴訓練行列が欠如している様々な分類問題における一般的な応用である。
この計算問題に対する広く使われている解決策は、遅延学習技術である$k$-nearest neighbor (kNN)アプローチに基づいている。
しかし、データ欠落に関する以前の研究のほとんどは、分類問題におけるクラスラベルの存在を考慮していない。
また、既存のknインプテーション法では距離の尺度としてミンコフスキー距離の変種を用いるが、異種データではうまく動作しない。
本稿では,欠落したダムと訓練データ間のクラス重み付きグレー距離に基づく,新しい反復的kNN計算手法を提案する。
grey distanceは、欠落したインスタンスを持つ異種データでうまく機能する。
距離は、特徴とクラスラベルの間の特徴的関連性の尺度である相互情報(mi)によって重み付けされる。
これにより、トレーニングデータの計算が分類性能の向上に向けられていることが保証される。
このクラス重み付きグレーkNN計算アルゴリズムは、他のkNN計算アルゴリズムやMICEやMissForestのような標準的な計算アルゴリズムと比較して、計算と分類の問題における性能の向上を示す。
これらの問題は、様々な欠落率のシミュレーションシナリオとUCIデータセットに基づいている。 Imputation of missing data is a common application in various classification problems where the feature training matrix has missingness. A widely used solution to this imputation problem is based on the lazy learning technique, $k$-nearest neighbor (kNN) approach. However, most of the previous work on missing data does not take into account the presence of the class label in the classification problem. Also, existing kNN imputation methods use variants of Minkowski distance as a measure of distance, which does not work well with heterogeneous data. In this paper, we propose a novel iterative kNN imputation technique based on class weighted grey distance between the missing datum and all the training data. Grey distance works well in heterogeneous data with missing instances. The distance is weighted by Mutual Information (MI) which is a measure of feature relevance between the features and the class label. This ensures that the imputation of the training data is directed towards improving classification performance. This class weighted grey kNN imputation algorithm demonstrates improved performance when compared to other kNN imputation algorithms, as well as standard imputation algorithms such as MICE and missForest, in imputation and classification problems. These problems are based on simulated scenarios and UCI datasets with various rates of missingness. | 翻訳日:2022-12-28 21:11:22 公開日:2020-02-25 |
| # 条件付き確率的最適化のためのバイアス付き確率勾配降下 Biased Stochastic Gradient Descent for Conditional Stochastic Optimization ( http://arxiv.org/abs/2002.10790v1 ) ライセンス: Link先を確認 | Yifan Hu, Siqi Zhang, Xin Chen, Niao He | (参考訳) 条件確率最適化(CSO)はメタラーニングや因果推論から不変学習まで様々な応用をカバーしている。
しかし, 組成構造のため, CSOにおける非バイアス勾配推定の構成は困難である。
代替として、バイアス付き確率勾配勾配勾配(BSGD)アルゴリズムを提案し、異なる構造仮定の下でバイアス分散トレードオフを研究する。
我々は, 滑らかで非滑らかな条件下で, 強凸, 凸, 弱凸対象に対するBSGDの試料複合体を確立する。
また, 凸CSO目標に対するBSGDの下限の一致も提供する。
ロバストロジスティック回帰、モデル非依存メタラーニング(maml)、インストゥルメンタル変数回帰(iv)におけるbsgdの性能を示すために、広範な数値実験を行った。 Conditional Stochastic Optimization (CSO) covers a variety of applications ranging from meta-learning and causal inference to invariant learning. However, constructing unbiased gradient estimates in CSO is challenging due to the composition structure. As an alternative, we propose a biased stochastic gradient descent (BSGD) algorithm and study the bias-variance tradeoff under different structural assumptions. We establish the sample complexities of BSGD for strongly convex, convex, and weakly convex objectives, under smooth and non-smooth conditions. We also provide matching lower bounds of BSGD for convex CSO objectives. Extensive numerical experiments are conducted to illustrate the performance of BSGD on robust logistic regression, model-agnostic meta-learning (MAML), and instrumental variable regression (IV). | 翻訳日:2022-12-28 21:11:03 公開日:2020-02-25 |
| # 多施設骨年齢予測における不確かさ推定のための変分推定とベイズCNN Variational Inference and Bayesian CNNs for Uncertainty Estimation in Multi-Factorial Bone Age Prediction ( http://arxiv.org/abs/2002.10819v1 ) ライセンス: Link先を確認 | Stefan Eggenreich, Christian Payer, Martin Urschler, Darko \v{S}tern | (参考訳) 臨床医学における広範な使用に加えて、法医学における生物学的年齢(ba)は、識別文書が入手できない場合の未知の年代年代(ca)を評価するために用いられる。
論文で提案されている年齢推定の自動手法は,予測の不確実性の定量化を伴わずに誤解を招くような予測点推定である。
MRIデータを用いた多要素年齢推定法では,変分推論法を用いてベイズCNNモデルの不確かさを推定した。
モデルの不確かさとデータの不確かさを区別し、データの不確かさを生物学的変動、すなわち同じbaを持つ被験者のca範囲と解釈した。 Additionally to the extensive use in clinical medicine, biological age (BA) in legal medicine is used to assess unknown chronological age (CA) in applications where identification documents are not available. Automatic methods for age estimation proposed in the literature are predicting point estimates, which can be misleading without the quantification of predictive uncertainty. In our multi-factorial age estimation method from MRI data, we used the Variational Inference approach to estimate the uncertainty of a Bayesian CNN model. Distinguishing model uncertainty from data uncertainty, we interpreted data uncertainty as biological variation, i.e. the range of possible CA of subjects having the same BA. | 翻訳日:2022-12-28 21:10:09 公開日:2020-02-25 |
| # MissDeepCausal:Deep Latent変数モデルを用いた不完全データからの因果推論 MissDeepCausal: Causal Inference from Incomplete Data Using Deep Latent Variable Models ( http://arxiv.org/abs/2002.10837v1 ) ライセンス: Link先を確認 | Imke Mayer, Julie Josse, F\'elix Raimundo, Jean-Philippe Vert | (参考訳) 治療の因果効果を推測すると、観察データからの介入や政策は多くの応用の中心となる。
しかし、因果推論の最先端の手法は、多くの実世界の分析においてユビキタスである共変量に値がない可能性をほとんど考慮しない。
データの欠如は因果推論の手順を複雑にするため、実際には正当化が難しい適応型不合理性仮説が必要となる。
我々は,不足する値に適応した変分オートエンコーダを通じて分布を学習する潜在共同創設者を考えることにより,この問題を回避する。
因果推論に先立って前処理のステップとして使用することも可能ですが、欠落した値による変動を考慮した複数の計算戦略に組み込むことも提案します。
数値実験により, 提案手法が, 特に非線形モデルに対して, 競合モデルと比較して有効であることを示す。 Inferring causal effects of a treatment, intervention or policy from observational data is central to many applications. However, state-of-the-art methods for causal inference seldom consider the possibility that covariates have missing values, which is ubiquitous in many real-world analyses. Missing data greatly complicate causal inference procedures as they require an adapted unconfoundedness hypothesis which can be difficult to justify in practice. We circumvent this issue by considering latent confounders whose distribution is learned through variational autoencoders adapted to missing values. They can be used either as a pre-processing step prior to causal inference but we also suggest to embed them in a multiple imputation strategy to take into account the variability due to missing values. Numerical experiments demonstrate the effectiveness of the proposed methodology especially for non-linear models compared to competitors. | 翻訳日:2022-12-28 21:09:56 公開日:2020-02-25 |
| # G-LearnerとGIRL:強化学習によるゴールベースウェルスマネジメント G-Learner and GIRL: Goal Based Wealth Management with Reinforcement Learning ( http://arxiv.org/abs/2002.10990v1 ) ライセンス: Link先を確認 | Matthew Dixon and Igor Halperin | (参考訳) 本稿では,退職計画の最適化や目標年金等,目標ベースの富運用問題に対する強化学習手法を提案する。
このような問題において、投資家は、採用中のポートフォリオに定期的に投資することで財務目標を達成し、退職時の口座から定期的に引き出し、また、異なる資産(例えば株式)の販売・購入によってポートフォリオを再バランスさせる能力も求める。
Gラーナー(G-Learner)は、1ステップの報酬を明示的に定義し、データ生成プロセスを前提とせず、ノイズの多いデータに適した強化学習アルゴリズムである。
本手法は,強化学習のq学習手法の確率的拡張であるg-learningに基づいている。
本稿では,g-learningが2次報酬とガウス参照ポリシーに適用された場合,エントロピー制御線形2次レギュレータ(lqr)を与えることを示す。
この重要な洞察は、高次元のポートフォリオにスケールする富の管理タスクに対して、新しく計算可能なツールを提供します。
また,g-learningの直接問題の解法に加えて,目標ベースのg-learningアプローチを,エージェントが収集した報酬が観測されない逆強化学習(irl)の設定に拡張し,その代わりに推測すべき新しいアルゴリズムであるgirlを提案する。
我々は,少女がg-learnerエージェントの報酬パラメータを学習し,その動作を模倣できることを実証する。
最後に,G-LearnerアルゴリズムとGIRLアルゴリズムの富管理とロボアドバイスへの応用の可能性について論じる。 We present a reinforcement learning approach to goal based wealth management problems such as optimization of retirement plans or target dated funds. In such problems, an investor seeks to achieve a financial goal by making periodic investments in the portfolio while being employed, and periodically draws from the account when in retirement, in addition to the ability to re-balance the portfolio by selling and buying different assets (e.g. stocks). Instead of relying on a utility of consumption, we present G-Learner: a reinforcement learning algorithm that operates with explicitly defined one-step rewards, does not assume a data generation process, and is suitable for noisy data. Our approach is based on G-learning - a probabilistic extension of the Q-learning method of reinforcement learning. In this paper, we demonstrate how G-learning, when applied to a quadratic reward and Gaussian reference policy, gives an entropy-regulated Linear Quadratic Regulator (LQR). This critical insight provides a novel and computationally tractable tool for wealth management tasks which scales to high dimensional portfolios. In addition to the solution of the direct problem of G-learning, we also present a new algorithm, GIRL, that extends our goal-based G-learning approach to the setting of Inverse Reinforcement Learning (IRL) where rewards collected by the agent are not observed, and should instead be inferred. We demonstrate that GIRL can successfully learn the reward parameters of a G-Learner agent and thus imitate its behavior. Finally, we discuss potential applications of the G-Learner and GIRL algorithms for wealth management and robo-advising. | 翻訳日:2022-12-28 21:09:14 公開日:2020-02-25 |
| # 線形部分監視のための情報指向サンプリング Information Directed Sampling for Linear Partial Monitoring ( http://arxiv.org/abs/2002.11182v1 ) ライセンス: Link先を確認 | Johannes Kirschner, Tor Lattimore, Andreas Krause | (参考訳) 部分的監視は、線形、コンビネータ、デュエルといった多くのよく知られたバンディットモデルを一般化する不確実性の下でのシーケンシャルな意思決定のためのリッチなフレームワークである。
線形報酬と観測構造を持つ確率的部分モニタリングのための情報指向サンプリング(IDS)を導入する。
IDSは、ゲームの正確な可観測条件に依存する適応的な最悪の後悔率を達成する。
さらに、すべての有限ゲームのミニマックス後悔を4つの可能なレジームに分類する下限を証明した。
IDSは、ハイパーパラメータを調整せずに、対数係数まで全てのケースで最適な速度を達成する。
さらに、結果をさらにコンテキスト設定とカーネル設定に拡張し、可能なアプリケーションの範囲を大幅に増加させます。 Partial monitoring is a rich framework for sequential decision making under uncertainty that generalizes many well known bandit models, including linear, combinatorial and dueling bandits. We introduce information directed sampling (IDS) for stochastic partial monitoring with a linear reward and observation structure. IDS achieves adaptive worst-case regret rates that depend on precise observability conditions of the game. Moreover, we prove lower bounds that classify the minimax regret of all finite games into four possible regimes. IDS achieves the optimal rate in all cases up to logarithmic factors, without tuning any hyper-parameters. We further extend our results to the contextual and the kernelized setting, which significantly increases the range of possible applications. | 翻訳日:2022-12-28 21:02:56 公開日:2020-02-25 |
| # 双対グラフ表現学習 Dual Graph Representation Learning ( http://arxiv.org/abs/2002.11501v1 ) ライセンス: Link先を確認 | Huiling Zhu, Xin Luo, and Hankz Hankui Zhuo | (参考訳) グラフ表現学習は、大きなグラフのノードを低次元ベクトルとして埋め込み、多くの下流アプリケーションにとって大きな利益となる。
しかし、ほとんどの埋め込みフレームワークは本質的にトランスダクティブであり、未知のノードに一般化したり、異なるグラフにまたがる表現を学ぶことができない。
帰納的アプローチは未知のノードに一般化できるが、異なるノードのコンテキストを無視し、二重にノード埋め込みを学ぶことはできない。
本稿では,実時間近傍と隣り合わせの表現を組み合わせたノードの表現を生成し,既知のノードの余分なメモリを保存し,コンテキスト対応の非教師付きデュアルエンコーディングフレームワークである \textbf{CADE} を提案する。
提案手法は最先端手法と比較して有効であることを示す。 Graph representation learning embeds nodes in large graphs as low-dimensional vectors and is of great benefit to many downstream applications. Most embedding frameworks, however, are inherently transductive and unable to generalize to unseen nodes or learn representations across different graphs. Although inductive approaches can generalize to unseen nodes, they neglect different contexts of nodes and cannot learn node embeddings dually. In this paper, we present a context-aware unsupervised dual encoding framework, \textbf{CADE}, to generate representations of nodes by combining real-time neighborhoods with neighbor-attentioned representation, and preserving extra memory of known nodes. We exhibit that our approach is effective by comparing to state-of-the-art methods. | 翻訳日:2022-12-28 21:02:08 公開日:2020-02-25 |
| # 順次到着する人々から多様なチームを編成する Forming Diverse Teams from Sequentially Arriving People ( http://arxiv.org/abs/2002.10697v1 ) ライセンス: Link先を確認 | Faez Ahmed, John Dickerson, Mark Fuge | (参考訳) コラボレーション作業は、チームや組織に異種メンバを持たせることによるメリットがしばしばある。
本稿では,時間とともに順次到着する人々から,このような多様なチームを形成する方法を提案する。
チームの多様性と品質を組み合わせた単調な目的関数を定義し、複数の制約を満たすことなく目的を最大化するアルゴリズムを提案する。
これにより、チームの多様性と、手元にあるタスクがどれだけうまく実行できるかのバランスが取れます。
群衆実験を用いて、実際にこのアルゴリズムがチームの多様性を大きく向上させることを示した。
シミュレーションを用いて、多様なチームを形成する追加コストを定量化する方法と、複数の属性(例えば、起源の国、性別)の多様性を同時に最大化する問題に対処する方法を示す。
本手法は, チーム形成, 作業員のクラウドソーシングにおけるチームへの割り当て, ジャーナルへのレビュアーの割り当てなど, 共同作業に応用する。
私たちのコードは、さらなる研究のために公開アクセス可能です。 Collaborative work often benefits from having teams or organizations with heterogeneous members. In this paper, we present a method to form such diverse teams from people arriving sequentially over time. We define a monotone submodular objective function that combines the diversity and quality of a team and propose an algorithm to maximize the objective while satisfying multiple constraints. This allows us to balance both how diverse the team is and how well it can perform the task at hand. Using crowd experiments, we show that, in practice, the algorithm leads to large gains in team diversity. Using simulations, we show how to quantify the additional cost of forming diverse teams and how to address the problem of simultaneously maximizing diversity for several attributes (e.g., country of origin, gender). Our method has applications in collaborative work ranging from team formation, the assignment of workers to teams in crowdsourcing, and reviewer allocation to journal papers arriving sequentially. Our code is publicly accessible for further research. | 翻訳日:2022-12-28 21:01:09 公開日:2020-02-25 |
| # リソース制約のあるIoTデバイスのためのフェデレーションラーニング:パノラマと最先端技術 Federated Learning for Resource-Constrained IoT Devices: Panoramas and State-of-the-art ( http://arxiv.org/abs/2002.10610v1 ) ライセンス: Link先を確認 | Ahmed Imteaj, Urmish Thakker, Shiqiang Wang, Jian Li, M. Hadi Amini | (参考訳) 現在、デバイスは高度なセンサーを備え、高い処理/計算能力を備えている。
さらに、インターネットの普及により、センシングデバイス間の通信が可能になる。
その結果、エッジデバイス上で大量のデータが生成され、IoT(Internet-of-Things)やクラウドソーシング、その他の新興テクノロジを駆動します。
収集された広範なデータは、前処理、スケール、分類、そして最後に、機械学習(ML)メソッドを使用して将来のイベントを予測するために使用される。
従来のMLアプローチでは、データは中央サーバに送信され、処理され、通信オーバーヘッド、処理遅延、プライバシリーク、セキュリティ問題に遭遇する。
これらの課題を克服するために、各クライアントは利用可能なデータに基づいてローカルにトレーニングし、グローバルモデルから学ぶことができる。
この分散学習構造は連合学習(federated learning:fl)と呼ばれる。
しかし、大規模ネットワークでは、計算資源能力の異なるクライアントが存在する可能性がある。
これはFL技術の実装とスケーラビリティの課題につながる可能性がある。
本稿では,最近実装されたFLの実環境アプリケーションについて紹介する。
次に、クライアントクライアントの資源制限(メモリ、帯域幅、エネルギー予算など)の観点から、flアルゴリズムの実装における核となる課題を強調する。
最終的に、FLに関連するオープンな問題について議論し、資源制約されたデバイスに関するFL領域の今後の方向性を明らかにする。 Nowadays, devices are equipped with advanced sensors with higher processing/computing capabilities. Further, widespread Internet availability enables communication among sensing devices. As a result, vast amounts of data are generated on edge devices to drive Internet-of-Things (IoT), crowdsourcing, and other emerging technologies. The collected extensive data can be pre-processed, scaled, classified, and finally, used for predicting future events using machine learning (ML) methods. In traditional ML approaches, data is sent to and processed in a central server, which encounters communication overhead, processing delay, privacy leakage, and security issues. To overcome these challenges, each client can be trained locally based on its available data and by learning from the global model. This decentralized learning structure is referred to as Federated Learning (FL). However, in large-scale networks, there may be clients with varying computational resource capabilities. This may lead to implementation and scalability challenges for FL techniques. In this paper, we first introduce some recently implemented real-life applications of FL. We then emphasize on the core challenges of implementing the FL algorithms from the perspective of resource limitations (e.g., memory, bandwidth, and energy budget) of client clients. We finally discuss open issues associated with FL and highlight future directions in the FL area concerning resource-constrained devices. | 翻訳日:2022-12-28 21:00:34 公開日:2020-02-25 |
| # 欠測センサデータのシーケンシャル・ツー・シーケンスインプテーション Sequence-to-Sequence Imputation of Missing Sensor Data ( http://arxiv.org/abs/2002.10767v1 ) ライセンス: Link先を確認 | Joel Janek Dabrowski and Ashfaqur Rahman | (参考訳) シークエンス・ツー・シーケンス(エンコーダ・デコーダ)モデルは,ディープラーニングのシーケンスモデルでは最先端と見なされているが,このモデルを用いてセンサデータの欠落を回復する研究はほとんどない。
重要な課題は、センサーデータの欠落問題は一般的に3つのシーケンス(観測されたサンプルのシーケンス、欠落したサンプルのシーケンス、そして別の観測サンプルのシーケンス)から成り立っているのに対し、シーケンス-シーケンス間のモデルは2つのシーケンス(入力シーケンスと出力シーケンス)のみを考慮していることである。
我々は,新しい方法でシーケンス列を定式化することでこの問題に対処した。
前方RNNは、行方不明シーケンスの前に観測されたデータを符号化し、後方RNNは行方不明シーケンス後に観測されたデータを符号化する。
デコーダは、2つのエンコーダを新しい方法でデコードし、行方不明データを予測する。
このモデルが現在の最先端モデルよりも12%多いケースで最小のエラーを発生させることを示す。 Although the sequence-to-sequence (encoder-decoder) model is considered the state-of-the-art in deep learning sequence models, there is little research into using this model for recovering missing sensor data. The key challenge is that the missing sensor data problem typically comprises three sequences (a sequence of observed samples, followed by a sequence of missing samples, followed by another sequence of observed samples) whereas, the sequence-to-sequence model only considers two sequences (an input sequence and an output sequence). We address this problem by formulating a sequence-to-sequence in a novel way. A forward RNN encodes the data observed before the missing sequence and a backward RNN encodes the data observed after the missing sequence. A decoder decodes the two encoders in a novel way to predict the missing data. We demonstrate that this model produces the lowest errors in 12% more cases than the current state-of-the-art. | 翻訳日:2022-12-28 20:53:59 公開日:2020-02-25 |
| # Gaussian Hierarchical Latent Dirichlet Allocation: bring polysemy back Gaussian Hierarchical Latent Dirichlet Allocation: Bringing Polysemy Back ( http://arxiv.org/abs/2002.10855v1 ) ライセンス: Link先を確認 | Takahiro Yoshida, Ryohei Hisano, Takaaki Ohnishi | (参考訳) トピックモデルは、文書の集合の潜在表現を発見するために広く使用される。
2つの正準モデルは遅延ディリクレアロケーション(英語版)とガウス潜在ディリクレアロケーション(英語版)であり、前者は単語よりも多項分布を使い、後者は事前訓練された単語埋め込みベクトル上の多変数ガウス分布を潜在話題表現として使用する。
潜在ディリクレ割当と比較して、ガウスの潜在ディリクレ割当は ``bank のような単語のポリセミーを捉えないという意味で制限されている。
本稿では,ガウスの潜在ディリクレアロケーションが,与えられた文書を表現するためにモデルが使用できるトピックの集合に階層構造を導入することで,ポリセミーを捉える能力を回復できることを示す。
我々のガウス的階層的潜在ディリクレ割当てはガウス的モデルと比較して多節的検出を著しく改善し、階層的潜在ディリクレ割当てよりもパロジ的な話題表現を提供する。
広範にわたる定量的実験により,我々のモデルは,幅広いコーパスと単語埋め込みベクトルに対して,より優れたトピックコヒーレンスと文書予測精度を実現することを示した。 Topic models are widely used to discover the latent representation of a set of documents. The two canonical models are latent Dirichlet allocation, and Gaussian latent Dirichlet allocation, where the former uses multinomial distributions over words, and the latter uses multivariate Gaussian distributions over pre-trained word embedding vectors as the latent topic representations, respectively. Compared with latent Dirichlet allocation, Gaussian latent Dirichlet allocation is limited in the sense that it does not capture the polysemy of a word such as ``bank.'' In this paper, we show that Gaussian latent Dirichlet allocation could recover the ability to capture polysemy by introducing a hierarchical structure in the set of topics that the model can use to represent a given document. Our Gaussian hierarchical latent Dirichlet allocation significantly improves polysemy detection compared with Gaussian-based models and provides more parsimonious topic representations compared with hierarchical latent Dirichlet allocation. Our extensive quantitative experiments show that our model also achieves better topic coherence and held-out document predictive accuracy over a wide range of corpus and word embedding vectors. | 翻訳日:2022-12-28 20:53:26 公開日:2020-02-25 |
| # トップサンプルにおけるバイナリ分類の汎用的枠組み General Framework for Binary Classification on Top Samples ( http://arxiv.org/abs/2002.10923v1 ) ライセンス: Link先を確認 | Luk\'a\v{s} Adam, V\'aclav M\'acha, V\'aclav \v{S}m\'idl, Tom\'a\v{s} Pevn\'y | (参考訳) 多くの二項分類問題は閾値の上(または下)の誤分類を最小化する。
ランキング問題や最上位の正確性,仮説テストなどは,この形式で記述できることを示す。
本稿では,これらの問題のクラスに対処する一般的なフレームワークを提案し,このフレームワークにどの既知のメソッド(新しく提案されたメソッド)が該当するかを示す。
このフレームワークの理論的解析と,提案手法が遭遇する可能性のある落とし穴の選択について述べる。
暗黙微分や確率勾配降下などの数値的な改善を提案する。
我々は広範な数値研究を行っている。
本論文は,理論特性と数値実験の両方に基づき,どのような状況で使用するべきかを考察した。 Many binary classification problems minimize misclassification above (or below) a threshold. We show that instances of ranking problems, accuracy at the top or hypothesis testing may be written in this form. We propose a general framework to handle these classes of problems and show which known methods (both known and newly proposed) fall into this framework. We provide a theoretical analysis of this framework and mention selected possible pitfalls the methods may encounter. We suggest several numerical improvements including the implicit derivative and stochastic gradient descent. We provide an extensive numerical study. Based both on the theoretical properties and numerical experiments, we conclude the paper by suggesting which method should be used in which situation. | 翻訳日:2022-12-28 20:52:47 公開日:2020-02-25 |
| # グラフニューラルネットワークのためのロバストトレーニングの効率的・汎用的枠組みに向けて Towards an Efficient and General Framework of Robust Training for Graph Neural Networks ( http://arxiv.org/abs/2002.10947v1 ) ライセンス: Link先を確認 | Kaidi Xu, Sijia Liu, Pin-Yu Chen, Mengshu Sun, Caiwen Ding, Bhavya Kailkhura, Xue Lin | (参考訳) グラフニューラルネットワーク(GNN)は、いくつかの基本的な推論タスクに大きな進歩をもたらした。
その結果、高信頼のアプリケーションにおいて潜在的に重要な決定を下すためにこれらのモデルを使うことに対する関心が高まっている。
しかし、GNNの優れた性能にもかかわらず、グラフ構造(またはノード属性)の摂動を慎重に作り、誤った予測を下すことが観察されている。
これらの敵対的な例の存在は、深刻なセキュリティ上の懸念を引き起こす。
既存のロバストなGNN設計/トレーニング手法のほとんどは、モデルパラメータが既知のホワイトボックス設定にのみ適用でき、グラデーションベースの手法は離散グラフ領域の凸緩和を実行することで利用できる。
さらに重要なことに、これらのメソッドは効率的でスケーラブルではないため、時間に敏感なタスクや巨大なグラフデータセットでは実現不可能である。
これらの制約を克服するために, 強靭な探索アルゴリズムとゼロ階法を利用して, 汎用的で効率的なGNNを得る汎用フレームワークを提案する。
いくつかの応用において,提案手法は計算コストが著しく低く,場合によっては従来のロバストなトレーニング手法の限界外であった大規模問題に適合する,最先端の手法よりも堅牢であることを示す。 Graph Neural Networks (GNNs) have made significant advances on several fundamental inference tasks. As a result, there is a surge of interest in using these models for making potentially important decisions in high-regret applications. However, despite GNNs' impressive performance, it has been observed that carefully crafted perturbations on graph structures (or nodes attributes) lead them to make wrong predictions. Presence of these adversarial examples raises serious security concerns. Most of the existing robust GNN design/training methods are only applicable to white-box settings where model parameters are known and gradient based methods can be used by performing convex relaxation of the discrete graph domain. More importantly, these methods are not efficient and scalable which make them infeasible in time sensitive tasks and massive graph datasets. To overcome these limitations, we propose a general framework which leverages the greedy search algorithms and zeroth-order methods to obtain robust GNNs in a generic and an efficient manner. On several applications, we show that the proposed techniques are significantly less computationally expensive and, in some cases, more robust than the state-of-the-art methods making them suitable to large-scale problems which were out of the reach of traditional robust training methods. | 翻訳日:2022-12-28 20:52:21 公開日:2020-02-25 |
| # ストラグラー存在下での遅延最小化のための適応分散確率勾配線 Adaptive Distributed Stochastic Gradient Descent for Minimizing Delay in the Presence of Stragglers ( http://arxiv.org/abs/2002.11005v1 ) ライセンス: Link先を確認 | Serge Kas Hanna, Rawad Bitar, Parimal Parag, Venkat Dasari, and Salim El Rouayheb | (参考訳) 我々は、マスターが分散確率勾配勾配(SGD)アルゴリズムを、データのサブセットを持つ$n$ワーカー上で実行したい場合について検討する。
分散SGDは、遅延を引き起こす遅い労働者や非応答労働者の影響に悩まされることがある。
文献で研究されている解決策の1つは、モデルを更新する前に、最速の$k<n$ワーカーのレスポンスを各イテレーションで待機することである。
k$の値の選択は、SGDのランタイム(つまり収束率)とモデルのエラーの間のトレードオフを示す。
エラー実行時のトレードオフを最適化するために,分散SGDを適応$k$で検討する。
我々はまず,壁面時間関数としてエラーの上限値に基づいて,このトレードオフを最適化する,様々な$k$の適応ポリシーを設計する。
そこで我々は,統計的ヒューリスティックに基づく適応分散SGDのアルゴリズムを提案する。
本アルゴリズムを実装し,直観と理論的解析を確認する数値シミュレーションを行う。 We consider the setting where a master wants to run a distributed stochastic gradient descent (SGD) algorithm on $n$ workers each having a subset of the data. Distributed SGD may suffer from the effect of stragglers, i.e., slow or unresponsive workers who cause delays. One solution studied in the literature is to wait at each iteration for the responses of the fastest $k<n$ workers before updating the model, where $k$ is a fixed parameter. The choice of the value of $k$ presents a trade-off between the runtime (i.e., convergence rate) of SGD and the error of the model. Towards optimizing the error-runtime trade-off, we investigate distributed SGD with adaptive $k$. We first design an adaptive policy for varying $k$ that optimizes this trade-off based on an upper bound on the error as a function of the wall-clock time which we derive. Then, we propose an algorithm for adaptive distributed SGD that is based on a statistical heuristic. We implement our algorithm and provide numerical simulations which confirm our intuition and theoretical analysis. | 翻訳日:2022-12-28 20:52:02 公開日:2020-02-25 |
| # 交換可能な関係データのモデリングのための平滑化グラフ Smoothing Graphons for Modelling Exchangeable Relational Data ( http://arxiv.org/abs/2002.11159v1 ) ライセンス: Link先を確認 | Xuhui Fan, Yaqiong Li, Ling Chen, Bin Li, Scott A. Sisson | (参考訳) 交換可能な関係データのモデリングは \textit{graphon theory} で記述できる。
交換可能な関係データのモデリングのためのベイズ的手法の多くは、異なる形式のグラフを利用することによってこのフレームワークに帰着することができる。
しかし、既存のベイズ法で採用されているグラフは、関係データの正確なモデリングには不十分に柔軟である分断連続関数か、あるいは複雑な連続関数であり、計算コストが重い。
本研究では,関係を記述するための連続的な強度値を許容し,計算コストを非実用的に増加させることなく,分断連続グラフを形作るための平滑化手法を提案する。
特に,ベイズ確率ブロックモデル (SBM) に着目し,SBMグラフをスムーズなバージョンにどのように適応させるかを示す。
まず,SBMグラフに1つの平滑化パラメータを導入し,連続的関係強度値を生成する統合平滑化グラフ (ISG) を提案する。
そこで我々は,ISG強度の計算を分解し,効率的な推論を可能にするために,補助的な隠れラベルを導入することでISGを改善するLatent Feature Smoothing Graphon (LFSG)を開発した。
実世界のデータセットにおける実験結果は、確率的ブロックモデルに平滑化戦略を適用する利点を検証し、平滑化グラフは計算の複雑さを増すことなく、aucとリンク予測の精度を大幅に改善できることを示した。 Modelling exchangeable relational data can be described by \textit{graphon theory}. Most Bayesian methods for modelling exchangeable relational data can be attributed to this framework by exploiting different forms of graphons. However, the graphons adopted by existing Bayesian methods are either piecewise-constant functions, which are insufficiently flexible for accurate modelling of the relational data, or are complicated continuous functions, which incur heavy computational costs for inference. In this work, we introduce a smoothing procedure to piecewise-constant graphons to form {\em smoothing graphons}, which permit continuous intensity values for describing relations, but without impractically increasing computational costs. In particular, we focus on the Bayesian Stochastic Block Model (SBM) and demonstrate how to adapt the piecewise-constant SBM graphon to the smoothed version. We initially propose the Integrated Smoothing Graphon (ISG) which introduces one smoothing parameter to the SBM graphon to generate continuous relational intensity values. We then develop the Latent Feature Smoothing Graphon (LFSG), which improves on the ISG by introducing auxiliary hidden labels to decompose the calculation of the ISG intensity and enable efficient inference. Experimental results on real-world data sets validate the advantages of applying smoothing strategies to the Stochastic Block Model, demonstrating that smoothing graphons can greatly improve AUC and precision for link prediction without increasing computational complexity. | 翻訳日:2022-12-28 20:51:23 公開日:2020-02-25 |
| # ニューラルネットワークにおけるドメイン知識の注入:制約付き問題に対する制御実験 Injecting Domain Knowledge in Neural Networks: a Controlled Experiment on a Constrained Problem ( http://arxiv.org/abs/2002.10742v1 ) ライセンス: Link先を確認 | Mattia Silvestri, Michele Lombardi, Michela Milano | (参考訳) 十分なデータがあれば、Deep Neural Networks (DNN) は複雑な入出力関係を高精度に学習することができる。
しかし、いくつかのドメインでは、大量の専門家の知識が利用可能であるのに対して、データを取得するのにコストがかからない。
もしこの追加情報をDNNに注入できれば、学習プロセスは簡単になるでしょう。
そのような場合の1つは制約問題であり、宣言的アプローチが存在し、純粋なMLソリューションが混合の成功をもたらしている。
古典的制約付き問題をケーススタディとして、DNNにおけるドメインと経験的知識の漸進的な追加の影響を探索する制御実験を行った。
我々の研究結果は、(少なくとも私たちの設定では)訓練時にドメイン知識を埋め込むことでかなりの効果が得られ、少量の経験的知識が実用的な結果を得るのに十分であることを示している。 Given enough data, Deep Neural Networks (DNNs) are capable of learning complex input-output relations with high accuracy. In several domains, however, data is scarce or expensive to retrieve, while a substantial amount of expert knowledge is available. It seems reasonable that if we can inject this additional information in the DNN, we could ease the learning process. One such case is that of Constraint Problems, for which declarative approaches exists and pure ML solutions have obtained mixed success. Using a classical constrained problem as a case study, we perform controlled experiments to probe the impact of progressively adding domain and empirical knowledge in the DNN. Our results are very encouraging, showing that (at least in our setup) embedding domain knowledge at training time can have a considerable effect and that a small amount of empirical knowledge is sufficient to obtain practically useful results. | 翻訳日:2022-12-28 20:45:06 公開日:2020-02-25 |
| # 統計的適応確率勾配法 Statistical Adaptive Stochastic Gradient Methods ( http://arxiv.org/abs/2002.10597v1 ) ライセンス: Link先を確認 | Pengchuan Zhang, Hunter Lang, Qiang Liu and Lin Xiao | (参考訳) 本研究では,確率勾配法における学習率(ステップサイズ)を自動的にスケジューリングするSALSAという統計的適応手法を提案する。
SALSAはまず、スムーズな確率線探索法を用いて学習率を徐々に増加させ、その後自動的に統計的手法に切り替えて学習率を低下させる。
行探索手順は、最適化プロセスの ``warms up' であり、初期学習率の設定において、高価な試行とエラーを少なくする。
一定のステップサイズを用いる場合の定常性を検出するための新しい統計テストに基づいて学習率を低減させる。
先行研究とは異なり、我々のテストは修正せずに幅広い確率勾配アルゴリズムに適用できる。
この組み合わせ手法は非常に堅牢で自律的であり、いくつかの深層学習タスクで行った実験において、最高の手調学習率スケジュールのパフォーマンスに合致する。 We propose a statistical adaptive procedure called SALSA for automatically scheduling the learning rate (step size) in stochastic gradient methods. SALSA first uses a smoothed stochastic line-search procedure to gradually increase the learning rate, then automatically switches to a statistical method to decrease the learning rate. The line search procedure ``warms up'' the optimization process, reducing the need for expensive trial and error in setting an initial learning rate. The method for decreasing the learning rate is based on a new statistical test for detecting stationarity when using a constant step size. Unlike in prior work, our test applies to a broad class of stochastic gradient algorithms without modification. The combined method is highly robust and autonomous, and it matches the performance of the best hand-tuned learning rate schedules in our experiments on several deep learning tasks. | 翻訳日:2022-12-28 20:44:39 公開日:2020-02-25 |
| # ターンベースゼロサムマルコフゲームにおける強化学習について On Reinforcement Learning for Turn-based Zero-sum Markov Games ( http://arxiv.org/abs/2002.10620v1 ) ライセンス: Link先を確認 | Devavrat Shah, Varun Somani, Qiaomin Xie, Zhi Xu | (参考訳) 2人のプレイヤーのターンベースゼロサムゲームに対するナッシュ均衡を求める問題を考察する。
AlphaGo Zero (AGZ) アルゴリズムにヒントを得て,強化学習に基づくアプローチを開発した。
具体的には,「探索」「政治改善」「教師付き学習」を組み合わせて,ナッシュ均衡に伴う価値関数と政策を探索する探索・Improve-Supervise(EIS)手法を提案する。
このようなアプローチの収束と正しさの十分な条件を同定する。
ランダムなポリシーが「探索」に使われ、モンテカルロ・ツリー・サーチが「政治改善」に使われ、Nearest Neighborsが「教師付き学習」に使われているEISの具体的な例に対して、この手法は、ゲームの基本状態空間が連続かつ$d$次元であるときに、$\widetilde{O}(\varepsilon^{-(d+4)})のナッシュ平衡の$\varepsilon$-approximate値関数を見つけることを証明している。
これは、任意のポリシーに対して$\widetilde{\omega}(\varepsilon^{-(d+2)})$の下限を確立するときにほぼ最適である。 We consider the problem of finding Nash equilibrium for two-player turn-based zero-sum games. Inspired by the AlphaGo Zero (AGZ) algorithm, we develop a Reinforcement Learning based approach. Specifically, we propose Explore-Improve-Supervise (EIS) method that combines "exploration", "policy improvement"' and "supervised learning" to find the value function and policy associated with Nash equilibrium. We identify sufficient conditions for convergence and correctness for such an approach. For a concrete instance of EIS where random policy is used for "exploration", Monte-Carlo Tree Search is used for "policy improvement" and Nearest Neighbors is used for "supervised learning", we establish that this method finds an $\varepsilon$-approximate value function of Nash equilibrium in $\widetilde{O}(\varepsilon^{-(d+4)})$ steps when the underlying state-space of the game is continuous and $d$-dimensional. This is nearly optimal as we establish a lower bound of $\widetilde{\Omega}(\varepsilon^{-(d+2)})$ for any policy. | 翻訳日:2022-12-28 20:43:57 公開日:2020-02-25 |
| # 計算制約下における有用情報の理論 A Theory of Usable Information Under Computational Constraints ( http://arxiv.org/abs/2002.10689v1 ) ライセンス: Link先を確認 | Yilun Xu, Shengjia Zhao, Jiaming Song, Russell Stewart, Stefano Ermon | (参考訳) 複雑なシステムにおける情報に関する推論のための新しい枠組みを提案する。
我々の基礎は、観測者のモデリング能力と計算的制約を考慮に入れたシャノンの情報理論の変分拡張に基づいている。
結果として得られる「emph{predictive $\mathcal{V}$-information」は、相互情報や決定係数などの情報性の概念を含む。
シャノンの相互情報やデータ処理の不等式違反とは異なり、$\mathcal{v}$-information は計算によって生成することができる。
これは、表現学習における徐々に情報的特徴の階層を抽出するディープニューラルネットワークと一致している。
さらに,計算制約を組み込むことにより,pac方式の保証により,高い次元でもデータから$\mathcal{v}$-情報を確実に推定できることを示す。
経験的に、予測的$\mathcal{V}$-informationは構造学習や公正表現学習の相互情報よりも効果的であることを示す。 We propose a new framework for reasoning about information in complex systems. Our foundation is based on a variational extension of Shannon's information theory that takes into account the modeling power and computational constraints of the observer. The resulting \emph{predictive $\mathcal{V}$-information} encompasses mutual information and other notions of informativeness such as the coefficient of determination. Unlike Shannon's mutual information and in violation of the data processing inequality, $\mathcal{V}$-information can be created through computation. This is consistent with deep neural networks extracting hierarchies of progressively more informative features in representation learning. Additionally, we show that by incorporating computational constraints, $\mathcal{V}$-information can be reliably estimated from data even in high dimensions with PAC-style guarantees. Empirically, we demonstrate predictive $\mathcal{V}$-information is more effective than mutual information for structure learning and fair representation learning. | 翻訳日:2022-12-28 20:43:17 公開日:2020-02-25 |
| # YCbCr色空間のYチャネルにおける対向摂動 Adversarial Perturbations Prevail in the Y-Channel of the YCbCr Color Space ( http://arxiv.org/abs/2003.00883v1 ) ライセンス: Link先を確認 | Camilo Pestana, Naveed Akhtar, Wei Liu, David Glance, Ajmal Mian | (参考訳) ディープラーニングは、画像認識のための最先端の技術ソリューションを提供する。
しかし、深層モデルは微妙だがモデルの予測を大きく変える画像の逆摂動に対して脆弱である。
ホワイトボックス攻撃では、これらの摂動は一般的にRGB画像で動作する深層モデルに対して学習され、したがって、摂動はRGB色空間に等しく分布する。
本稿では, YCbCr空間のYチャネルにおいて, 対向摂動が広まることを示す。
私たちの発見は、人間の視覚と深層モデルが色よりも形とテクスチャに反応するという事実に動機づけられている。
そこで本研究では,敵画像に対する防御法を提案する。
我々の防衛はResUpNetと呼ばれ、ボトルネックを伴わずにアップサンプリングフレームワークでResNet機能を活用することで、Yチャネルからのみ摂動を取り除く。
最終段階では、未タッチのCbCrチャネルと精製されたYチャネルが結合されてクリーンな画像が復元される。
ResUpNetはモデルに依存しないので、DNN構造を変更しない。
ResUpNetはPytorchでエンドツーエンドで訓練され、入力変換カテゴリの既存の防御技術と比較される。
提案手法は, FGSM, PGD, DDN などの敵攻撃に対する防御と, VGG-16, ResNet50, DenseNet121 のクリーンな画像上でのアキュラシーの維持を両立させる。
また,yチャネルのみの学習逆摂動が同一摂動量に対して高い騙し率をもたらすことを示す実験を行った。 Deep learning offers state of the art solutions for image recognition. However, deep models are vulnerable to adversarial perturbations in images that are subtle but significantly change the model's prediction. In a white-box attack, these perturbations are generally learned for deep models that operate on RGB images and, hence, the perturbations are equally distributed in the RGB color space. In this paper, we show that the adversarial perturbations prevail in the Y-channel of the YCbCr space. Our finding is motivated from the fact that the human vision and deep models are more responsive to shape and texture rather than color. Based on our finding, we propose a defense against adversarial images. Our defence, coined ResUpNet, removes perturbations only from the Y-channel by exploiting ResNet features in an upsampling framework without the need for a bottleneck. At the final stage, the untouched CbCr-channels are combined with the refined Y-channel to restore the clean image. Note that ResUpNet is model agnostic as it does not modify the DNN structure. ResUpNet is trained end-to-end in Pytorch and the results are compared to existing defence techniques in the input transformation category. Our results show that our approach achieves the best balance between defence against adversarial attacks such as FGSM, PGD and DDN and maintaining the original accuracies of VGG-16, ResNet50 and DenseNet121 on clean images. We perform another experiment to show that learning adversarial perturbations only for the Y-channel results in higher fooling rates for the same perturbation magnitude. | 翻訳日:2022-12-28 20:36:01 公開日:2020-02-25 |
| # テキストデータ表現のための宣言的メモリベース構造 Declarative Memory-based Structure for the Representation of Text Data ( http://arxiv.org/abs/2002.10665v1 ) ライセンス: Link先を確認 | Sumant Pushp, Pragya Kashmira, Shyamanta M Hazarika | (参考訳) インテリジェントコンピューティングの時代には、テキスト処理における計算の進歩が不可欠である。
様々な言語でテキストを処理するために多くのシステムが開発されている。
かなり発展しているとはいえ、テキストの理解に欠けており、テキストを知識として保持する代わりに、テキストをデータとして扱うことが多い。
本稿では,人間の記憶基盤に影響を受けたテキスト表現方式を提案する。
テキストは本質的に宣言的であるため、構造的な組織はテキスト上で効率的な計算を促進する。
長期間のエピソディクスメモリを利用して,テキスト情報を経時的に観察する。
これは、テキストの断片を組織的に保持するだけでなく、冗長性を低減し、それらの間の時間的関係を記憶する。
Wordnetは、テキスト内の個々の単語の理解を容易にするために、単語レベルで機能するセマンティックメモリを模倣するために使われてきた。
エピソード記憶と知識基盤の時間的成長にともなう様々な操作の実験結果が報告された。 In the era of intelligent computing, computational progress in text processing is an essential consideration. Many systems have been developed to process text over different languages. Though, there is considerable development, they still lack in understanding of the text, i.e., instead of keeping text as knowledge, many treat text as a data. In this work we introduce a text representation scheme which is influenced by human memory infrastructure. Since texts are declarative in nature, a structural organization would foster efficient computation over text. We exploit long term episodic memory to keep text information observed over time. This not only keep fragments of text in an organized fashion but also reduces redundancy and stores the temporal relation among them. Wordnet has been used to imitate semantic memory, which works at word level to facilitate the understanding about individual words within text. Experimental results of various operation performed over episodic memory and growth of knowledge infrastructure over time is reported. | 翻訳日:2022-12-28 20:34:49 公開日:2020-02-25 |
| # 仮想知識ベース上での微分可能な推論 Differentiable Reasoning over a Virtual Knowledge Base ( http://arxiv.org/abs/2002.10640v1 ) ライセンス: Link先を確認 | Bhuwan Dhingra, Manzil Zaheer, Vidhisha Balachandran, Graham Neubig, Ruslan Salakhutdinov, William W. Cohen | (参考訳) コーパスを仮想知識ベース(KB)として,複雑なマルチホップ質問に答える作業を検討する。
特に、コーパス内のエンティティの言及間の関係の経路をソフトに追従して、kbのようなテキストデータをトラバースするニューラルネットワークであるdrkitについて述べる。
各ステップでは、モジュールはスパース行列TFIDFインデックスと、参照のコンテキスト表現の特別なインデックス上の最大内積探索(MIPS)の組み合わせを使用する。
このモジュールは微分可能なので、完全なシステムは、自然言語入力から始まり、勾配ベースのメソッドを使ってエンドツーエンドでトレーニングできる。
また,文脈表現エンコーダの事前学習方式を,既存の知識ベースを用いた強弱負例を生成することで記述する。
そこでDrKITは,MetaQAデータセットの3ホップ質問の精度を9ポイント向上し,テキストベースとKBベースの最先端のギャップを70%削減した。
HotpotQAでは、DrKITがBERTベースのリグレードアプローチよりも10%改善し、質問に答えるために必要なパスを検索する。
DrKITは非常に効率的で、既存のマルチホップシステムよりも毎秒10～100倍のクエリを処理する。 We consider the task of answering complex multi-hop questions using a corpus as a virtual knowledge base (KB). In particular, we describe a neural module, DrKIT, that traverses textual data like a KB, softly following paths of relations between mentions of entities in the corpus. At each step the module uses a combination of sparse-matrix TFIDF indices and a maximum inner product search (MIPS) on a special index of contextual representations of the mentions. This module is differentiable, so the full system can be trained end-to-end using gradient based methods, starting from natural language inputs. We also describe a pretraining scheme for the contextual representation encoder by generating hard negative examples using existing knowledge bases. We show that DrKIT improves accuracy by 9 points on 3-hop questions in the MetaQA dataset, cutting the gap between text-based and KB-based state-of-the-art by 70%. On HotpotQA, DrKIT leads to a 10% improvement over a BERT-based re-ranking approach to retrieving the relevant passages required to answer a question. DrKIT is also very efficient, processing 10-100x more queries per second than existing multi-hop systems. | 翻訳日:2022-12-28 20:33:53 公開日:2020-02-25 |
| # テキスト分類のためのラベル誘導学習 Label-guided Learning for Text Classification ( http://arxiv.org/abs/2002.10772v1 ) ライセンス: Link先を確認 | Xien Liu, Song Wang, Xiao Zhang, Xinxin You, Ji Wu and Dejing Dou | (参考訳) テキスト分類は自然言語処理において最も重要なタスクの1つである。
このタスクのパフォーマンスは、主にテキスト表現学習に依存する。
現在、既存の学習フレームワークは、主に単語間の局所的な文脈情報をエンコーディングすることに焦点を当てている。
これらの手法は常に、ラベル情報などのグローバルな手がかりを利用してテキスト情報をエンコードすることを無視する。
本研究では,テキスト表現と分類のためのラベル案内学習フレームワークlguidedlearnを提案する。
提案手法は新鮮だが単純で,一般的なテキスト表現学習スキーマにラベル誘導符号化層のみを挿入する。
そのラベル誘導層はラベルベースの注意符号化を行い、ユニバーサルテキスト埋め込み(文脈情報学習者によって符号化される)を異なるラベル空間にマッピングし、ラベルワイドな埋め込みをもたらす。
提案手法では,ラベル誘導層をコンテクストエンコーディング法で容易に直接適用し,共同学習を行うことができる。
テキスト情報は、ローカルコンテキスト情報とグローバルラベル手がかりの両方に基づいてエンコードされる。
したがって、得られたテキスト埋め込みは、テキスト分類においてより堅牢で差別的である。
提案手法の有効性を説明するため,ベンチマークデータセットを用いて広範な実験を行った。 Text classification is one of the most important and fundamental tasks in natural language processing. Performance of this task mainly dependents on text representation learning. Currently, most existing learning frameworks mainly focus on encoding local contextual information between words. These methods always neglect to exploit global clues, such as label information, for encoding text information. In this study, we propose a label-guided learning framework LguidedLearn for text representation and classification. Our method is novel but simple that we only insert a label-guided encoding layer into the commonly used text representation learning schemas. That label-guided layer performs label-based attentive encoding to map the universal text embedding (encoded by a contextual information learner) into different label spaces, resulting in label-wise embeddings. In our proposed framework, the label-guided layer can be easily and directly applied with a contextual encoding method to perform jointly learning. Text information is encoded based on both the local contextual information and the global label clues. Therefore, the obtained text embeddings are more robust and discriminative for text classification. Extensive experiments are conducted on benchmark datasets to illustrate the effectiveness of our proposed method. | 翻訳日:2022-12-28 20:33:32 公開日:2020-02-25 |
| # DSTC8 AVSDチャレンジのためのポインタネットワーク付きマルチモーダルトランス Multimodal Transformer with Pointer Network for the DSTC8 AVSD Challenge ( http://arxiv.org/abs/2002.10695v1 ) ライセンス: Link先を確認 | Hung Le, Nancy F. Chen | (参考訳) AVSD(Audio-Visual Scene-Aware Dialog)は、ビデオ質問回答(QA)の拡張であり、対話エージェントは、ユーザクエリに対処し会話を行うために自然言語応答を生成する必要がある。
これは難しい作業であり、テキスト、ビジュアル、オーディオ機能を含む複数のモダリティのビデオ機能で構成されている。
エージェントはまた、人間とのコヒーレントな会話を行うために、ユーザ発話とシステム応答間のセマンティックな依存関係を学習する必要がある。
本稿では,第8回対話システム技術チャレンジのAVSDトラックへの提出について述べる。
入力ビデオのテキストと非テキストの機能を組み合わせるために,dot-product attentionを採用する。
各生成ステップで複数のソースシーケンスからトークンを指し示すためにポインタネットワークを採用することにより、対話エージェントの生成能力をさらに向上させる。
提案システムは自動測定で高い性能を達成し,全投稿中,人間評価で5位と6位を獲得している。 Audio-Visual Scene-Aware Dialog (AVSD) is an extension from Video Question Answering (QA) whereby the dialogue agent is required to generate natural language responses to address user queries and carry on conversations. This is a challenging task as it consists of video features of multiple modalities, including text, visual, and audio features. The agent also needs to learn semantic dependencies among user utterances and system responses to make coherent conversations with humans. In this work, we describe our submission to the AVSD track of the 8th Dialogue System Technology Challenge. We adopt dot-product attention to combine text and non-text features of input video. We further enhance the generation capability of the dialogue agent by adopting pointer networks to point to tokens from multiple source sequences in each generation step. Our systems achieve high performance in automatic metrics and obtain 5th and 6th place in human evaluation among all submissions. | 翻訳日:2022-12-28 20:26:39 公開日:2020-02-25 |
| # 私はMADに行く: 分類器を適応的に比較するための最大離散性競争 I Am Going MAD: Maximum Discrepancy Competition for Comparing Classifiers Adaptively ( http://arxiv.org/abs/2002.10648v1 ) ライセンス: Link先を確認 | Haotao Wang, Tianlong Chen, Zhangyang Wang and Kede Ma | (参考訳) 画像分類のための階層表現の学習は、トレーニングのための大規模ラベル付きデータの提供によって、印象的な成功を収めている。
一方、訓練された分類器は、伝統的に、全ての自然画像の空間に極端に分散していると考えられる、小さな、固定されたテスト画像の集合で評価されてきた。
したがって、過度に再利用されたテストセットの最近のパフォーマンス改善が、よりリッチなコンテンツバリエーションを持つ実世界の自然画像に一般化されるかどうか疑問である。
心理物理学および生理学的研究における知覚モデルをテストするための効率的な刺激選択に着想を得て、画像分類器を比較するための代替フレームワークを提案する。
固定画像を用いて画像分類器を比較するのではなく、任意に大きいラベル付き画像のコーパスから小さなテストセットを適応的にサンプリングし、WordNet階層上の距離で測定した分類器間の差を最大化する。
得られたモデル依存画像集合上の人間のラベル付けは、競合する分類器の相対的な性能を明らかにし、それらを改善する潜在的な方法に関する有用な洞察を提供する。
我々は,11個のImageNet分類器のMAD競合結果を報告するとともに,フレームワークが容易に拡張可能で,将来的な分類器の追加に費用対効果があることに注意する。
コードはhttps://github.com/TAMU-VITA/MADで見ることができる。 The learning of hierarchical representations for image classification has experienced an impressive series of successes due in part to the availability of large-scale labeled data for training. On the other hand, the trained classifiers have traditionally been evaluated on small and fixed sets of test images, which are deemed to be extremely sparsely distributed in the space of all natural images. It is thus questionable whether recent performance improvements on the excessively re-used test sets generalize to real-world natural images with much richer content variations. Inspired by efficient stimulus selection for testing perceptual models in psychophysical and physiological studies, we present an alternative framework for comparing image classifiers, which we name the MAximum Discrepancy (MAD) competition. Rather than comparing image classifiers using fixed test images, we adaptively sample a small test set from an arbitrarily large corpus of unlabeled images so as to maximize the discrepancies between the classifiers, measured by the distance over WordNet hierarchy. Human labeling on the resulting model-dependent image sets reveals the relative performance of the competing classifiers, and provides useful insights on potential ways to improve them. We report the MAD competition results of eleven ImageNet classifiers while noting that the framework is readily extensible and cost-effective to add future classifiers into the competition. Codes can be found at https://github.com/TAMU-VITA/MAD. | 翻訳日:2022-12-28 20:26:03 公開日:2020-02-25 |
| # コヒーレント勾配:勾配勾配に基づく最適化における一般化理解へのアプローチ Coherent Gradients: An Approach to Understanding Generalization in Gradient Descent-based Optimization ( http://arxiv.org/abs/2002.10657v1 ) ライセンス: Link先を確認 | Satrajit Chatterjee | (参考訳) Deep Learningコミュニティのオープンな疑問は、グラディエントDescentでトレーニングされたニューラルネットワークが、ランダムなデータに適合できるにもかかわらず、実際のデータセットをうまく一般化する理由である。
類似した例からの勾配は似ているので、これらが互いに補強する特定の方向において全体的な勾配はより強くなる。
したがって、トレーニング中のネットワークパラメータの変更は、そのような類似性が存在する場合に(ローカルに)同時に多くの例に利益をもたらすものに偏っている。
我々は、この仮説をヒューリスティックな議論と摂動実験で支持し、深層学習に関するいくつかの一般的な経験的観察を説明する方法について概説する。
さらに,本分析は記述的だけでなく,記述的でもある。
これは、過度な適合を大幅に減らすことができる勾配降下に対する自然な修正を示唆している。 An open question in the Deep Learning community is why neural networks trained with Gradient Descent generalize well on real datasets even though they are capable of fitting random data. We propose an approach to answering this question based on a hypothesis about the dynamics of gradient descent that we call Coherent Gradients: Gradients from similar examples are similar and so the overall gradient is stronger in certain directions where these reinforce each other. Thus changes to the network parameters during training are biased towards those that (locally) simultaneously benefit many examples when such similarity exists. We support this hypothesis with heuristic arguments and perturbative experiments and outline how this can explain several common empirical observations about Deep Learning. Furthermore, our analysis is not just descriptive, but prescriptive. It suggests a natural modification to gradient descent that can greatly reduce overfitting. | 翻訳日:2022-12-28 20:25:39 公開日:2020-02-25 |
| # G\"odelの文は逆の例だが解決できない G\"odel's Sentence Is An Adversarial Example But Unsolvable ( http://arxiv.org/abs/2002.10703v1 ) ライセンス: Link先を確認 | Xiaodong Qi, Lansheng Han | (参考訳) 近年では、純粋に摂動のない自然の例など、異なる分野の敵対的な例が無限に出現している。
様々な防御策が提案され、すぐに壊れる。
敵の例が存在する理由と、敵の例が解決できない理由は何ですか?
本稿では,逆例が存在する理由として,データセットを説明できる非同型自然説明が存在することを挙げる。
具体的には、真で証明可能な2つの自然な説明に対して、G\"odel's sentenceは逆例であるが、決定不能である。
データセットの再蓄積や学習アルゴリズムの再改善によっては解決できない。
最後に、計算可能性の観点からは、認識できない敵の例に対する非計算性を証明する。 In recent years, different types of adversarial examples from different fields have emerged endlessly, including purely natural ones without perturbations. A variety of defenses are proposed and then broken quickly. Two fundamental questions need to be asked: What's the reason for the existence of adversarial examples and are adversarial examples unsolvable? In this paper, we will show the reason for the existence of adversarial examples is there are non-isomorphic natural explanations that can all explain data set. Specifically, for two natural explanations of being true and provable, G\"odel's sentence is an adversarial example but ineliminable. It can't be solved by the re-accumulation of data set or the re-improvement of learning algorithm. Finally, from the perspective of computability, we will prove the incomputability for adversarial examples, which are unrecognizable. | 翻訳日:2022-12-28 20:25:24 公開日:2020-02-25 |
| # winograd-aware量子化ネットワークの探索 Searching for Winograd-aware Quantized Networks ( http://arxiv.org/abs/2002.10711v1 ) ライセンス: Link先を確認 | Javier Fernandez-Marques, Paul N. Whatmough, Andrew Mundy, Matthew Mattina | (参考訳) 畳み込みニューラルネットワーク(CNN)の軽量なアーキテクチャ設計と量子化は、要求の多いコンピュータビジョンアプリケーションをモバイルデバイスに展開するための道を開いた。
これと並行して、FFT、Strassen、Winogradといった畳み込み操作に対する代替の定式化がCNNでさらに高速化された。
ウィノグラード畳み込み(Winograd convolutions)は空間的に小さな畳み込みのアルゴリズムとして知られているが、その潜在能力を最大限活用するには数値的な誤差が伴う。
本研究では、モデルパラメータの学習にウィノグラード変換が導入した数値的不正確さを露呈し、モデルサイズに影響を与えることなく競合量子化モデルの設計を可能にする。
また, 数値誤差の原因にも対処し, 変換行列の形状を緩和し, CIFAR-10の分類精度を最大10%向上させる手法を提案する。
最後に,WiNASを提案する。これはニューラルネットワーク検索(NAS)フレームワークで,Winograd対応のレイヤを活用して,与えられたマクロアーキテクチャの精度とレイテンシを最適化する。
wiNASをCIFAR-10向けに最適化したWinograd-aware ResNet-18は、最も広く使われている畳み込み実装であるim2rowと比較して2.66倍のスピードアップとなり、精度は低下しない。 Lightweight architectural designs of Convolutional Neural Networks (CNNs) together with quantization have paved the way for the deployment of demanding computer vision applications on mobile devices. Parallel to this, alternative formulations to the convolution operation such as FFT, Strassen and Winograd, have been adapted for use in CNNs offering further speedups. Winograd convolutions are the fastest known algorithm for spatially small convolutions, but exploiting their full potential comes with the burden of numerical error, rendering them unusable in quantized contexts. In this work we propose a Winograd-aware formulation of convolution layers which exposes the numerical inaccuracies introduced by the Winograd transformations to the learning of the model parameters, enabling the design of competitive quantized models without impacting model size. We also address the source of the numerical error and propose a relaxation on the form of the transformation matrices, resulting in up to 10% higher classification accuracy on CIFAR-10. Finally, we propose wiNAS, a neural architecture search (NAS) framework that jointly optimizes a given macro-architecture for accuracy and latency leveraging Winograd-aware layers. A Winograd-aware ResNet-18 optimized with wiNAS for CIFAR-10 results in 2.66x speedup compared to im2row, one of the most widely used optimized convolution implementations, with no loss in accuracy. | 翻訳日:2022-12-28 20:25:11 公開日:2020-02-25 |
| # ニューラルネットワークの不確実性に関する基礎的課題 Fundamental Issues Regarding Uncertainties in Artificial Neural Networks ( http://arxiv.org/abs/2002.11152v1 ) ライセンス: Link先を確認 | Neil A. Thacker, Carole J. Twining, Paul D. Tar, Scott Notley and Visvanathan Ramesh | (参考訳) ニューラルネットワーク(anns)は、特定の形式の多変量外挿を実装し、類似のトレーニングパターンがなくても、任意の入力パターンの出力を生成する。
検査は必ずしも信頼性を欠くものではなく、安全クリティカルシステムをサポートするためには、トレーニングサンプルが出力に関連する不確実性を示すためにそのようなシステムが必要である。
一部の読者は、これはパターン認識の基本的な原則によって既にカバーされているよく知られた問題であると考えているかもしれない。
以下に、これがそうでないことと、従来の(様相的な)分類の条件付き確率が、この不確かさを正しく評価しない方法を説明する。
本稿では,この問題の標準的な解釈について論じ,長期的手法に基づく定量的アプローチを実際に適用する方法を示す。
磁気共鳴画像を用いた認知症早期診断の課題について概説した。 Artificial Neural Networks (ANNs) implement a specific form of multi-variate extrapolation and will generate an output for any input pattern, even when there is no similar training pattern. Extrapolations are not necessarily to be trusted, and in order to support safety critical systems, we require such systems to give an indication of the training sample related uncertainty associated with their output. Some readers may think that this is a well known issue which is already covered by the basic principles of pattern recognition. We will explain below how this is not the case and how the conventional (Likelihood estimate of) conditional probability of classification does not correctly assess this uncertainty. We provide a discussion of the standard interpretations of this problem and show how a quantitative approach based upon long standing methods can be practically applied. The methods are illustrated on the task of early diagnosis of dementing diseases using Magnetic Resonance Imaging. | 翻訳日:2022-12-28 20:18:07 公開日:2020-02-25 |
| # 新興メモリ推論マシンにおける複雑性とレジリエンストレードオフの評価 Evaluating complexity and resilience trade-offs in emerging memory inference machines ( http://arxiv.org/abs/2003.10396v1 ) ライセンス: Link先を確認 | Christopher H. Bennett, Ryan Dellana, T. Patrick Xiao, Ben Feinberg, Sapan Agarwal, Suma Cardwell, Matthew J. Marinella, William Severa, Brad Aimone | (参考訳) ニューロモルフィックスタイルの推論は、限られたハードウェアリソースが適切に最大化されている場合にのみうまく機能する。
本研究では,複数のシステム障害による崩壊に予期せぬ影響を受けない,ニューラルネットワークのコンパクトな実装を実現するために,現実的なクロスバーシミュレーションを用いる。
本研究では,モザイクの枠組み,特に,ノイズ免疫の自然な形態を持つリカレントニューラルネットワークの実装においてシナプス接続を再利用することにより,高いパフォーマンスと強いレジリエンスを実現するための中間経路を提案する。 Neuromorphic-style inference only works well if limited hardware resources are maximized properly, e.g. accuracy continues to scale with parameters and complexity in the face of potential disturbance. In this work, we use realistic crossbar simulations to highlight that compact implementations of deep neural networks are unexpectedly susceptible to collapse from multiple system disturbances. Our work proposes a middle path towards high performance and strong resilience utilizing the Mosaics framework, and specifically by re-using synaptic connections in a recurrent neural network implementation that possesses a natural form of noise-immunity. | 翻訳日:2022-12-28 20:17:53 公開日:2020-02-25 |
| # 単語類似度予測のための言語非依存のトークン化 Language-Independent Tokenisation Rivals Language-Specific Tokenisation for Word Similarity Prediction ( http://arxiv.org/abs/2002.11004v1 ) ライセンス: Link先を確認 | Danushka Bollegala, Ryuichi Kiryo, Kosuke Tsujino, Haruki Yukawa | (参考訳) ラベル付き言語リソースや辞書を必要としない言語非依存のトークン化(LIT)メソッドが最近人気を集めている。
さらに、固定サイズの語彙を用いて言語をコンパクトに表現し、目に見えない単語や稀な単語を効率的に処理することができる。
一方、言語固有のトークン化(LST)手法は、長い歴史と確立された歴史を持ち、慎重に作られた語彙と訓練資源を用いて開発されている。
LITメソッドが生成するサブトークンとは異なり、LSTメソッドは有効なモルフォロジーのサブワードを生成する。
LITとLSTメソッドのトレードオフは対照的だが、下流のNLPタスクのパフォーマンスは依然として不明である。
本稿では,意味的類似度測定を多言語間の評価課題として用いた2つの手法を実証的に比較する。
8言語を対象とする実験結果から,LSTは語彙サイズが大きい場合にはLITを一貫して上回るが,LITは比較的小さい(100K未満)語彙の多くの言語ではLSTに匹敵する結果が得られ,言語固有のリソースが利用できない場合,不完全な場合,あるいはモデルが小さい場合,LITの使用が奨励される。
さらに,多言語意味的類似性予測タスクのためのサブワード埋め込みから単語埋め込みを生成するための高精度な手法として,平滑化逆周波数 (sif) を見出した。
近接するトークンのさらなる分析は、意味的および構文的関連トークンがサブワード埋め込み空間に密着していることを示している。 Language-independent tokenisation (LIT) methods that do not require labelled language resources or lexicons have recently gained popularity because of their applicability in resource-poor languages. Moreover, they compactly represent a language using a fixed size vocabulary and can efficiently handle unseen or rare words. On the other hand, language-specific tokenisation (LST) methods have a long and established history, and are developed using carefully created lexicons and training resources. Unlike subtokens produced by LIT methods, LST methods produce valid morphological subwords. Despite the contrasting trade-offs between LIT vs. LST methods, their performance on downstream NLP tasks remain unclear. In this paper, we empirically compare the two approaches using semantic similarity measurement as an evaluation task across a diverse set of languages. Our experimental results covering eight languages show that LST consistently outperforms LIT when the vocabulary size is large, but LIT can produce comparable or better results than LST in many languages with comparatively smaller (i.e. less than 100K words) vocabulary sizes, encouraging the use of LIT when language-specific resources are unavailable, incomplete or a smaller model is required. Moreover, we find that smoothed inverse frequency (SIF) to be an accurate method to create word embeddings from subword embeddings for multilingual semantic similarity prediction tasks. Further analysis of the nearest neighbours of tokens show that semantically and syntactically related tokens are closely embedded in subword embedding spaces | 翻訳日:2022-12-28 20:17:08 公開日:2020-02-25 |
| # 逆rlによる履歴書き換え:政策改善のための後見推論 Rewriting History with Inverse RL: Hindsight Inference for Policy Improvement ( http://arxiv.org/abs/2002.11089v1 ) ライセンス: Link先を確認 | Benjamin Eysenbach, Xinyang Geng, Sergey Levine, and Ruslan Salakhutdinov | (参考訳) マルチタスク強化学習(RL)は、多くのタスクを解決するためのポリシーを同時に学習することを目的としている。
いくつかの先行研究は、過去の経験を異なる報酬関数で再現することで、サンプル効率が向上することを発見した。
後から見ると、どのようなタスクに対して、どのようなタスクに対して、私たちの経験が最適だと仮定しますか?
本稿では,RLアルゴリズムのタンデムに逆RLを使用すれば,多くのタスクを効率的に解くことができることを示す。
我々は、このアイデアを用いて、先行作業から任意のタスククラスへのゴール許容テクニックを一般化する。
実験により,逆RLを用いた学習は,目標獲得,個別の報酬セットを持つ領域,線形報酬関数を持つ領域など,一般的なマルチタスク設定での学習を加速することを確認した。 Multi-task reinforcement learning (RL) aims to simultaneously learn policies for solving many tasks. Several prior works have found that relabeling past experience with different reward functions can improve sample efficiency. Relabeling methods typically ask: if, in hindsight, we assume that our experience was optimal for some task, for what task was it optimal? In this paper, we show that hindsight relabeling is inverse RL, an observation that suggests that we can use inverse RL in tandem for RL algorithms to efficiently solve many tasks. We use this idea to generalize goal-relabeling techniques from prior work to arbitrary classes of tasks. Our experiments confirm that relabeling data using inverse RL accelerates learning in general multi-task settings, including goal-reaching, domains with discrete sets of rewards, and those with linear reward functions. | 翻訳日:2022-12-28 20:15:33 公開日:2020-02-25 |