このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス（CC 0, CC BY, CC BY-SA）の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。（arxivのメタデータは CC 0です。） 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。
公開日が20200217となっている論文です。
| Title | Authors | Abstract | 論文公表日・翻訳日 |
|---|---|---|---|
| # 容量束束量子ビットによる量子アニール Quantum annealing with capacitive-shunted flux qubits ( http://arxiv.org/abs/2001.09844v2 ) ライセンス: Link先を確認 | Yuichiro Matsuzaki, Hideaki Hakoshima, Yuya Seki and Shiro Kawabata | (参考訳) 量子アニール(QA)は組合せ最適化問題を解決する方法を提供する。
以前のQAのデモンストレーションでは、超伝導束量子ビット(FQ)が使用された。
しかし、これらのデモンストレーションのフラックス量子ビットは数十ナノ秒という短いコヒーレンス時間を持つ。
量子特性を利用するためには、コヒーレンスタイムを良くした別の量子ビットを使う必要がある。
本稿では,QAの実装にCSFQ(Capacitive-Shunted flux qubit)を用いることを提案する。
CSFQは、QAで使用されるFQよりも、数桁のコヒーレンス時間を有する。
理論的には、CSFQ間の相互作用の形式と強度により従来のQAをCSFQで実行することは困難であるが、スピンロックベースのQAは現在の技術でもCSFQで実装可能であることを示す。
長寿命量子ビットを用いた量子優位性を利用した実用的なQAの実現の道を開く。 Quantum annealing (QA) provides us with a way to solve combinatorial optimization problems. In the previous demonstration of the QA, a superconducting flux qubit (FQ) was used. However, the flux qubits in these demonstrations have a short coherence time such as tens of nano seconds. For the purpose to utilize quantum properties, it is necessary to use another qubit with a better coherence time. Here, we propose to use a capacitive-shunted flux qubit (CSFQ) for the implementation of the QA. The CSFQ has a few order of magnitude better coherence time than the FQ used in the QA. We theoretically show that, although it is difficult to perform the conventional QA with the CSFQ due to the form and strength of the interaction between the CSFQs, a spin-lock based QA can be implemented with the CSFQ even with the current technology. Our results pave the way for the realization of the practical QA that exploits quantum advantage with long-lived qubits. | 翻訳日:2023-06-05 11:40:53 公開日:2020-02-17 |
| # kHz以下の検出周波数に対する気相セル型原子電気測定 Vapor-cell-based atomic electrometry for detection frequencies below kHz ( http://arxiv.org/abs/2002.04145v2 ) ライセンス: Link先を確認 | Yuan-Yu Jau and Tony Carter | (参考訳) 真空環境中に含まれるアルカリ金属原子を用いたRydberg-assisted atomic Electrometryにより外部電場(E-fields)を数kHzの周波数で検出することは、容器内面に吸着したアルカリ金属原子によって引き起こされる低周波E-fieldスクリーニング効果により、非常に困難である。
我々は,単結晶サファイアからなるルビジウム(rb)蒸気セル上で,最大$sim$秒の時間スケールで非常に遅いeフィールドスクリーニング現象を報告した。
内部バイアスeフィールドを有するこのサファイア製rb蒸気セルを用いて、eフィールド強度に直線的に応答する蒸気セルベースの低周波原子電気測定を実証する。
与えられた実験条件によって制限されたこの原子電気計は、アクティブボリューム11 mm$^3$を使用し、スペクトルノイズフロアは約0.34$ (mV/m)/$\sqrt{\rm Hz}$および3dB低遮断周波数約770Hzを蒸気セル内に供給する。
本研究は、これまでほとんど研究されなかった気相細胞型原子電気測定の原理を解明し、原子eフィールドセンシング技術を利用したさらなる応用を可能にした。 Rydberg-assisted atomic electrometry using alkali-metal atoms contained inside a vacuum environment for detecting external electric fields (E-fields) at frequencies $<$ a few kHz has been quite challenging due to the low-frequency E-field screening effect that is caused by the alkali-metal atoms adsorbed on the inner surface of the container. We report a very slow E-field screening phenomenon with a time scale up to $\sim$ second on a rubidium (Rb) vapor cell that is made of monocrystalline sapphire. Using this sapphire-made Rb vapor cell with optically induced, internal bias E-field, we demonstrate vapor-cell-based, low-frequency atomic electrometry that responds to the E-field strength linearly. Limited by the given experimental conditions, this demonstrated atomic electrometer uses an active volume of 11 mm$^3$ and delivers a spectral noise floor around $0.34$ (mV/m)/$\sqrt{\rm Hz}$ and the 3-dB low cut-off frequency around 770 Hz inside the vapor cell. This work investigates a regime of vapor-cell-based atomic electrometry that was seldom studied before, which may enable more applications that utilize atomic E-field sensing technology. | 翻訳日:2023-06-03 23:46:18 公開日:2020-02-17 |
| # 医療機器における情報セキュリティリスク評価の新しい手法とその評価 A New Methodology for Information Security Risk Assessment for Medical Devices and Its Evaluation ( http://arxiv.org/abs/2002.06938v1 ) ライセンス: Link先を確認 | Tom Mahler, Yuval Elovici, Yuval Shahar | (参考訳) テクノロジーがより接続されたデジタル環境へと進むにつれて、医療機器は病院のネットワークやインターネットとますます繋がってきており、医療機器を利用する患者は新たなサイバーセキュリティの脅威にさらされている。
現在、医療機器の情報セキュリティリスク評価のための方法論が欠如している。
本研究では,医療機器の情報セキュリティリスクアセスメントのための脅威識別,オントロジに基づく可能性,重大度分解,リスク統合(tldr)手法を提案する。
The TLDR methodology uses the following steps: (1) identifying the potentially vulnerable components of medical devices, in this case, four different medical imaging devices (MIDs); (2) identifying the potential attacks, in this case, 23 potential attacks on MIDs; (3) mapping the discovered attacks into a known attack ontology - in this case, the Common Attack Pattern Enumeration and Classifications (CAPECs); (4) estimating the likelihood of the mapped CAPECs in the medical domain with the assistance of a panel of senior healthcare Information Security Experts (ISEs); (5) computing the CAPEC-based likelihood estimates of each attack; (6) decomposing each attack into several severity aspects and assigning them weights; (7) assessing the magnitude of the impact of each of the severity aspects for each attack with the assistance of a panel of senior Medical Experts (MEs); (8) computing the composite severity assessments for each attack; and finally, (9) integrating the likelihood and severity of each attack into its risk, and thus prioritizing it.
6から8までの手順の詳細は、現在の研究の範囲を超えている。今回の調査では、MEs(この場合は放射線学者)のパネルに、各攻撃の全体的な重症度を評価し、その重症度として使用することを含む、単一のステップに置き換えられた。 As technology advances towards more connected and digital environments, medical devices are becoming increasingly connected to hospital networks and to the Internet, which exposes them, and thus the patients using them, to new cybersecurity threats. Currently, there is a lack of a methodology dedicated to information security risk assessment for medical devices. In this study, we present the Threat identification, ontology-based Likelihood, severity Decomposition, and Risk integration (TLDR) methodology for information security risk assessment for medical devices. The TLDR methodology uses the following steps: (1) identifying the potentially vulnerable components of medical devices, in this case, four different medical imaging devices (MIDs); (2) identifying the potential attacks, in this case, 23 potential attacks on MIDs; (3) mapping the discovered attacks into a known attack ontology - in this case, the Common Attack Pattern Enumeration and Classifications (CAPECs); (4) estimating the likelihood of the mapped CAPECs in the medical domain with the assistance of a panel of senior healthcare Information Security Experts (ISEs); (5) computing the CAPEC-based likelihood estimates of each attack; (6) decomposing each attack into several severity aspects and assigning them weights; (7) assessing the magnitude of the impact of each of the severity aspects for each attack with the assistance of a panel of senior Medical Experts (MEs); (8) computing the composite severity assessments for each attack; and finally, (9) integrating the likelihood and severity of each attack into its risk, and thus prioritizing it. The details of steps six to eight are beyond the scope of the current study; in the current study, we had replaced them by a single step that included asking the panel of MEs [in this case, radiologists], to assess the overall severity for each attack and use it as its severity... | 翻訳日:2023-06-03 11:17:38 公開日:2020-02-17 |
| # wikipediaのトレンドとは何か?
Wikipedia版にまたがるトレンドと言語バイアスのキャプチャ What is Trending on Wikipedia? Capturing Trends and Language Biases Across Wikipedia Editions ( http://arxiv.org/abs/2002.06885v1 ) ライセンス: Link先を確認 | Volodymyr Miz, Jo\"elle Hanna, Nicolas Aspert, Benjamin Ricaud, and Pierre Vandergheynst | (参考訳) 本研究では,ウィキペディアのどの言語版にも適用可能な,ウィキペディア読者の閲覧行動の自動評価と比較を提案する。
例えば、2018年の最後の4ヶ月間に、英語、フランス語、ロシア語に焦点を当てています。
提案手法には3つのステップがある。
まず、選択された期間に最も傾向の強い記事を抽出する。
第2に、半教師付きトピック抽出を行い、第3に、言語間でトピックを比較する。
この自動処理は、wikipediaのハイパーリンクグラフ、ページビュー統計、ページの要約を組み合わせたデータと連携する。
その結果,映画や音楽,スポーツといった娯楽に共通する関心や好奇心が,言語とは独立して共有されていることがわかった。
地域行事や文化的な特色に関する話題で違いが見られる。
各言語エディションのトレンドページのクラスタを表示するインタラクティブな可視化は、https://wiki-insights.epfl.ch/wikitrendsで公開されている。 In this work, we propose an automatic evaluation and comparison of the browsing behavior of Wikipedia readers that can be applied to any language editions of Wikipedia. As an example, we focus on English, French, and Russian languages during the last four months of 2018. The proposed method has three steps. Firstly, it extracts the most trending articles over a chosen period of time. Secondly, it performs a semi-supervised topic extraction and thirdly, it compares topics across languages. The automated processing works with the data that combines Wikipedia's graph of hyperlinks, pageview statistics and summaries of the pages. The results show that people share a common interest and curiosity for entertainment, e.g. movies, music, sports independently of their language. Differences appear in topics related to local events or about cultural particularities. Interactive visualizations showing clusters of trending pages in each language edition are available online https://wiki-insights.epfl.ch/wikitrends | 翻訳日:2023-06-03 11:16:57 公開日:2020-02-17 |
| # 量子状態を持つ近似カウントのためのタイト量子下限 Tight Quantum Lower Bound for Approximate Counting with Quantum States ( http://arxiv.org/abs/2002.06879v1 ) ライセンス: Link先を確認 | Aleksandrs Belovs and Ansis Rosmanis | (参考訳) アーロンソン等が考える数え上げ問題の次の変種について、厳密な下界を証明する。
このタスクは、入力セット$x\subseteq [n]$が$k$か$k'=(1+\epsilon)k$であるかどうかを識別する。
私たちは、アルゴリズムが*メンバシップオラクルへのアクセスを持っていると仮定し、各$i\in [n]$に対して、$i\in x$ が成立するかどうか、*一様重ね合わせ $|\psi_x\rangle = \sum_{i\in x} |i\rangle/\sqrt{|x|}$ が$x$ の要素に対して答えられる。
さらに、アルゴリズムがこの状態にアクセスする方法を3つの異なる方法で検討する: * アルゴリズムは状態のコピーを持つことができる $|\psi_x\rangle$; * アルゴリズムは状態を反映する反射オラクルを実行できる $|\psi_x\rangle$; ** アルゴリズムは状態を生成するオラクル(またはその逆)を実行でき、変換は $|0\rangle\mapsto |\psi_x\rangle$ を実行する。
第2のタイプのリソース($|\psi_x\rangle$)がなければ、問題はよく理解されている。
第2のタイプの資源による問題の研究は、Aaronsonらによって最近始められた。
我々は1/k \le \epsilon\le 1$の全ての値の問題を完全に解決し、アルゴリズムで利用可能な全てのタイプのリソース間の密接なトレードオフを与える。
したがって、Aaronsonらの主なオープンな問題は解決する。
下位境界は、ベロフスによる逆境界の変種を用いて証明され、ジョンソンアソシエーションスキームと密接な関係を持つ解析を用いる。 We prove tight lower bounds for the following variant of the counting problem considered by Aaronson et al. The task is to distinguish whether an input set $x\subseteq [n]$ has size either $k$ or $k'=(1+\epsilon)k$. We assume the algorithm has access to * the membership oracle, which, for each $i\in [n]$, can answer whether $i\in x$, or not; and * the uniform superposition $|\psi_x\rangle = \sum_{i\in x} |i\rangle/\sqrt{|x|}$ over the elements of $x$. Moreover, we consider three different ways how the algorithm can access this state: ** the algorithm can have copies of the state $|\psi_x\rangle$; ** the algorithm can execute the reflecting oracle which reflects about the state $|\psi_x\rangle$; ** the algorithm can execute the state-generating oracle (or its inverse) which performs the transformation $|0\rangle\mapsto |\psi_x\rangle$. Without the second type of resources (related to $|\psi_x\rangle$), the problem is well-understood, see Brassard et al. The study of the problem with the second type of resources was recently initiated by Aaronson et al. We completely resolve the problem for all values of $1/k \le \epsilon\le 1$, giving tight trade-offs between all types of resources available to the algorithm. Thus, we close the main open problems from Aaronson et al. The lower bounds are proven using variants of the adversary bound by Belovs and employing analysis closely related to the Johnson association scheme. | 翻訳日:2023-06-03 11:16:22 公開日:2020-02-17 |
| # Minimum Hybrid Contract (MHC): 法律とブロックチェーンのスマートコントラクトを組み合わせる The Minimum Hybrid Contract (MHC): Combining legal and blockchain smart contracts ( http://arxiv.org/abs/2002.06850v1 ) ライセンス: Link先を確認 | J{\o}rgen Svennevik Notland, Jakob Svennevik Notland, Donn Morrison | (参考訳) 倒産は世界的な金融問題であり、毎年何十億ドルもの損失を被った。
契約詐欺による破産は、しばしば金融情報の保持や変更によって行われる。
このようなスキャンダルが当局によって調査される場合、通常、財務・法的文書は紙の跡を隠すために変更される。
スマートコントラクトは近年登場し、透明性が重要かつ公益である法的契約のようなアプリケーションに対して有望であるように思われる。
透明性と監査性は、分散型の公開台帳であるブロックチェーン上で、スマートコントラクトが操作を実行するための本質である。
本稿では,MHC(Minimum Hybrid Contract)を提案する。
1)監査性
2)透明性,及び
3) 契約の金融取引に対する不変性。
mhcはオンラインスマートコントラクトとオフラインの従来の法的契約で構成されている。
2つが不変に繋がる場所です
セキュアなピアツーピア金融取引、透明性、コスト会計はスマートコントラクトによって自動化され、民事裁判所によって法的問題や紛争が実行される。
確立された法的プロセスへの依存は、従来の契約におけるスマートコントラクトの適切な採用を促進する。 Corruption is a major global financial problem with billions of dollars rendered lost or unaccountable annually. Corruption through contract fraud is often conducted by withholding and/or altering financial information. When such scandals are investigated by authorities, financial and legal documents are usually altered to conceal the paper trail. Smart contracts have emerged in recent years and appear promising for applications such as legal contracts where transparency is critical and of public interest. Transparency and auditability are inherent because smart contracts execute operations on the blockchain, a distributed public ledger. In this paper, we propose the Minimum Hybrid Contract (MHC), with the aim of introducing 1) auditability, 2) transparency, and 3) immutability to the contract's financial transactions. The MHC comprises an online smart contract and an offline traditional legal contract. where the two are immutably linked. Secure peer-to-peer financial transactions, transparency, and cost accounting are automated by the smart contract, and legal issues or disputes are carried out by civil courts. The reliance on established legal processes facilitates an appropriate adoption of smart contracts in traditional contracts. | 翻訳日:2023-06-03 11:15:04 公開日:2020-02-17 |
| # 実量子系における例外点を動的に囲む Dynamically encircling an exceptional point in a real quantum system ( http://arxiv.org/abs/2002.06798v1 ) ライセンス: Link先を確認 | Wenquan Liu, Yang Wu, Chang-Kui Duan, Xing Rong and Jiangfeng Du | (参考訳) 非エルミート縮退と呼ばれる例外的な点は、特別な位相構造を持ち、様々な反直観的な現象や新しい応用をもたらし、量子物理学の認知を回復させている。
特に興味深い行動は、パラメータ空間の例外点を動的に囲むモードスイッチ現象である。
これらのモードスイッチは古典系で研究されてきたが、実量子系において時間に依存しない非エルミート型ハミルトニアンの構築が困難であるため、量子系における実験的研究はいまだに解明されていない。
ここでは,ダイヤモンド中の1つの窒素空孔中心で例外点を動的に囲む実験を行った。
時間依存非エルミートハミルトニアンはダイレーション法を用いて実現される。
非対称モードスイッチと対称モードスイッチの両方が観測されている。
我々の研究は例外点の位相構造を明らかにし、量子状態における非エルミート・ハミルトンのエキゾチックな性質を包括的に探求する方法を舗装する。 The exceptional point, known as the non-Hermitian degeneracy, has special topological structure, leading to various counterintuitive phenomena and novel applications, which are refreshing our cognition of quantum physics. One particularly intriguing behavior is the mode switch phenomenon induced by dynamically encircling an exceptional point in the parameter space. While these mode switches have been explored in classical systems, the experimental investigation in the quantum regime remains elusive due to the difficulty of constructing time-dependent non-Hermitian Hamiltonians in a real quantum system. Here we experimentally demonstrate dynamically encircling the exceptional point with a single nitrogen-vacancy center in diamond. The time-dependent non-Hermitian Hamiltonians are realized utilizing a dilation method. Both the asymmetric and symmetric mode switches have been observed. Our work reveals the topological structure of the exceptional point and paves the way to comprehensively explore the exotic properties of non-Hermitian Hamiltonians in the quantum regime. | 翻訳日:2023-06-03 11:14:08 公開日:2020-02-17 |
| # 量子ビットマッピング問題に対する奥行き認識スワップ挿入スキーム A Depth-Aware Swap Insertion Scheme for the Qubit Mapping Problem ( http://arxiv.org/abs/2002.07289v1 ) ライセンス: Link先を確認 | Chi Zhang, Yanhao Chen, Yuwei Jin, Wonsun Ahn, Youtao Zhang, Eddy Z. Zhang | (参考訳) 量子コンピュータの物理的実装の急速な進歩は、ユーザーが任意の量子デバイスのために量子プログラムを書くのを助けるツールの設計を実現する方法となった。
現在のNISQアーキテクチャに固有の物理的な制約は、ほとんどの量子アルゴリズムが量子デバイス上で直接実行されるのを防ぐ。
アルゴリズムで2量子ビットゲートを有効にするために、既存の作業では、論理キュービットを物理キュービットに動的にリマップするためにスワップゲートを挿入することに焦点を当てている。
しかし、それらのスキームは生成された量子回路の深さを考慮していない。
本研究では,NISQ時代の量子ビットマッピング問題に対する深度対応SWAP挿入方式を提案する。 The rapid progress of physical implementation of quantum computers paved the way of realising the design of tools to help users write quantum programs for any given quantum devices. The physical constraints inherent to the current NISQ architectures prevent most quantum algorithms from being directly executed on quantum devices. To enable two-qubit gates in the algorithm, existing works focus on inserting SWAP gates to dynamically remap logical qubits to physical qubits. However, their schemes lack the consideration of the depth of generated quantum circuits. In this work, we propose a depth-aware SWAP insertion scheme for qubit mapping problem in the NISQ era. | 翻訳日:2023-06-03 09:17:23 公開日:2020-02-17 |
| # 振幅変調駆動場を持つRabiモデルにおけるBloch-Siegert振動 Bloch-Siegert oscillations in the Rabi model with an amplitude-modulated driving field ( http://arxiv.org/abs/2002.07165v1 ) ライセンス: Link先を確認 | A.P. Saiko and S.A. Markevich and R. Fedaruk | (参考訳) 低周波変調磁界の周波数が高周波のラビ周波数と一致する場合、ラビ共鳴の下で振幅変調電磁場によって励起されるクビットのコヒーレントダイナミクスについて検討する。
クォービットと低周波駆動場の超強結合における多重光子過程の破壊的干渉により、ラビ振動はブロッホ・シーガート効果からのみ生じる。
時間分解コヒーレント力学においてブロッホ・シーガート振動として直接観測される。
この場合、コヒーレント応答のフーリエスペクトルのトリプレットは、ブロッホ・シーガートシフトの2倍の線間の分割で二重に変換される。
これらの特異な性質は、ダイヤモンド中の窒素空孔中心の実験条件で示される。 We study the coherent dynamics of a qubit excited by an amplitude-modulated electromagnetic field under the Rabi resonance when the frequency of the low-frequency modulation field matches the Rabi frequency in the high-frequency field. Due to destructive interference of multiple photon processes at the ultrastrong coupling between the qubit and the low-frequency driving field, Rabi oscillations result exclusively from the Bloch-Siegert effect. It is directly observed in the time-resolved coherent dynamics as the Bloch-Siegert oscillation. In this case, triplets in Fourier spectra of the coherent response are transformed into doublets with the splitting between the lines equal to twice the Bloch-Siegert shift. These unusual properties are demonstrated in conditions of experiments with a nitrogen vacancy center in diamond. | 翻訳日:2023-06-03 09:16:12 公開日:2020-02-17 |
| # トランスモン系サーフェスコードの漏洩検出 Leakage detection for a transmon-based surface code ( http://arxiv.org/abs/2002.07119v1 ) ライセンス: Link先を確認 | B. M. Varbanov, F. Battistel, B. M. Tarasinski, V. P. Ostroukh, T. E. O'Brien, L. DiCarlo, B. M. Terhal | (参考訳) 量子ビット計算部分空間の外の漏れは、多くの主要な実験プラットフォームに存在するが、量子誤り訂正(QEC)の脅威エラーを構成する。
我々は、表面コードのトランスモンベース実装のための隠れマルコフモデル(hmms)による漏洩検出方式を開発した。
距離-3表面符号(surface-17)の現実的な密度行列シミュレーションを行うことにより、漏洩が鋭く投影され、隣り合うスタビライザの表面符号欠陥確率が増加することを観測する。
この増加は、ancilla qubitsのアナログ読み出しと合わせて、リークの時間と場所の正確な検出を可能にする。
我々は,データの約47%を破棄し,データ漏洩後にメモリブレークゼロ点以下で論理エラー率を復元する。
hmmsによる漏洩検出は、短期のqecデモンストレーション、ターゲットの漏洩低減と漏洩検知復号の展望を開放し、他の実験プラットフォームに適用できる。 Leakage outside of the qubit computational subspace, present in many leading experimental platforms, constitutes a threatening error for quantum error correction (QEC) for qubits. We develop a leakage-detection scheme via Hidden Markov models (HMMs) for transmon-based implementations of the surface code. By performing realistic density-matrix simulations of the distance-3 surface code (Surface-17), we observe that leakage is sharply projected and leads to an increase in the surface-code defect probability of neighboring stabilizers. Together with the analog readout of the ancilla qubits, this increase enables the accurate detection of the time and location of leakage. We restore the logical error rate below the memory break-even point by post-selecting out leakage, discarding about 47% of the data. Leakage detection via HMMs opens the prospect for near-term QEC demonstrations, targeted leakage reduction and leakage-aware decoding and is applicable to other experimental platforms. | 翻訳日:2023-06-03 09:15:59 公開日:2020-02-17 |
| # コヒーレント光を用いた核スピンの長期絡み合い生成 Long-lived entanglement generation of nuclear spins using coherent light ( http://arxiv.org/abs/2002.07030v1 ) ライセンス: Link先を確認 | Or Katz, Roy Shaham, Eugene S. Polzik, and Ofer Firstenberg | (参考訳) 希ガス原子の核スピンは環境から非常に孤立しており、室温で何時間もその量子特性を維持することができる。
本稿では,コヒーレント光入力を用いた2つの遠方のマクロアンサンブルの絡み合い機構を考案する。
各アンサンブルにおける光と希ガススピンの相互作用は、実質的に励起されたアルカリ金属スピンとのスピン交換衝突によって媒介される。
実験的実現のための ^{3}\text{he} または ^{129}\text{xe} の適切な条件を概説する。 Nuclear spins of noble-gas atoms are exceptionally isolated from the environment and can maintain their quantum properties for hours at room temperature. Here we develop a mechanism for entangling two such distant macroscopic ensembles by using coherent light input. The interaction between the light and the noble-gas spins in each ensemble is mediated by spin-exchange collisions with alkali-metal spins, which are only virtually excited. The relevant conditions for experimental realizations with ^{3}\text{He} or ^{129}\text{Xe} are outlined. | 翻訳日:2023-06-03 09:15:43 公開日:2020-02-17 |
| # 量子ハトのフットプリント Footprints of quantum pigeons ( http://arxiv.org/abs/2002.06990v1 ) ライセンス: Link先を確認 | Gregory Reznik, Shrobona Bagchi, Justin Dressel, and Lev Vaidman | (参考訳) 量子論の数学的枠組みにおいて、古典的なピジョンホールの原理は、これまで提案されていたよりも直接的に、すなわち、原理の伝統的なステートメントに近い設定で破ることができることを示す。
パラドックスの反事実的推論が、ハトが環境に残した小さな足跡の分析にどのように作用するかを説明する。
量子ピジョンホール効果の最近の実験の欠点を特定した上で、ピジョンホールの原理に決定的な実験的違反がまだ必要であり、現代の量子コンピューティングハードウェア(トランスモン量子ビットを持つ超伝導回路)を用いた実装を提案する。 We show that in the mathematical framework of the quantum theory the classical pigeonhole principle can be violated more directly than previously suggested, i.e., in a setting closer to the traditional statement of the principle. We describe how the counterfactual reasoning of the paradox may be operationally grounded in the analysis of the tiny footprints left in the environment by the pigeons. After identifying the drawbacks of recent experiments of the quantum pigeonhole effect, we argue that a definitive experimental violation of the pigeonhole principle is still needed and propose such an implementation using modern quantum computing hardware: a superconducting circuit with transmon qubits. | 翻訳日:2023-06-03 09:15:33 公開日:2020-02-17 |
| # ボソンの還元密度行列汎関数理論 Reduced Density Matrix Functional Theory for Bosons ( http://arxiv.org/abs/2002.06943v1 ) ライセンス: Link先を確認 | Carlos L. Benavides-Riveros, Jakob Wolff, Miguel A. L. Marques, Christian Schilling | (参考訳) ホーゼンバーグ=コーンの定理の一般化に基づき、ボソニック量子システムに対する基底状態理論を提案する。
1粒子の還元密度行列 $\gamma$ を自然変数として含むが、正確な方法で量子相関を回復するので、ボース=アインシュタイン凝縮の正確な説明に特に適している。
原理の証明として、光学格子の構成要素の研究を行う。
基礎となる$v$-representability問題の解を見つけ、その特異な形式は、制約付き探索形式を正確な汎関数近似を構築するための理想的な出発点として特定する: この$N$-boson Hubbard dimer と一般 Bogoliubov-approximated system の正確な汎関数を決定する。
それぞれの勾配力はボース=アインシュタイン凝縮系において発散し、{\nabla_{\gamma} \mathcal{f} \propto 1/\sqrt{1-n_{\mathrm{bec}}/n}$であり、自然界における完全becの欠如の自然な説明を与える。 Based on a generalization of Hohenberg-Kohn's theorem, we propose a ground state theory for bosonic quantum systems. Since it involves the one-particle reduced density matrix $\gamma$ as a natural variable but still recovers quantum correlations in an exact way it is particularly well-suited for the accurate description of Bose-Einstein condensates. As a proof of principle we study the building block of optical lattices. The solution of the underlying $v$-representability problem is found and its peculiar form identifies the constrained search formalism as the ideal starting point for constructing accurate functional approximations: The exact functionals for this $N$-boson Hubbard dimer and general Bogoliubov-approximated systems are determined. The respective gradient forces are found to diverge in the regime of Bose-Einstein condensation, $\nabla_{\gamma} \mathcal{F} \propto 1/\sqrt{1-N_{\mathrm{BEC}}/N}$, providing a natural explanation for the absence of complete BEC in nature. | 翻訳日:2023-06-03 09:15:23 公開日:2020-02-17 |
| # サーロゲート最適化における期待改善と予測値 Expected Improvement versus Predicted Value in Surrogate-Based Optimization ( http://arxiv.org/abs/2001.02957v2 ) ライセンス: Link先を確認 | Frederik Rehbach and Martin Zaefferer and Boris Naujoks and Thomas Bartz-Beielstein | (参考訳) surrogateベースの最適化は、次にどのポイントを評価するかを決定するために、いわゆるインフィル基準(獲得関数)に依存している。
クリギングが選択代理モデル(ベイズ最適化とも呼ばれる)として使われるとき、最も頻繁に選択される基準の一つが期待される改善である。
期待されている改善の人気は、実証的に検証された性能よりも理論上の特性に大きく依存していると論じる。
文献から得られた結果はほとんどなく、ある条件下では、期待される改善は、サロゲートモデルの予測値と同じくらい単純なものよりも悪化する可能性があることを示す。
BBOB関数セットに関する広範な実証研究において,両入力基準をベンチマークした。
本研究は,問題次元がアルゴリズム性能に与える影響に関する詳細な研究を含む。
結果は,探索が問題次元の増大とともに重要性を失うという仮説を支持する。
統計解析により、予測値基準による純粋に搾取的探索は、5次元以上の問題の多くにおいてよりよく機能することが明らかとなった。
これらの結果の考えられる理由について論じる。
さらに,問題に対する事前知識,その次元,利用可能な予算に基づいて,インフィル基準を選択するための詳細なガイドを提供する。 Surrogate-based optimization relies on so-called infill criteria (acquisition functions) to decide which point to evaluate next. When Kriging is used as the surrogate model of choice (also called Bayesian optimization), one of the most frequently chosen criteria is expected improvement. We argue that the popularity of expected improvement largely relies on its theoretical properties rather than empirically validated performance. Few results from the literature show evidence, that under certain conditions, expected improvement may perform worse than something as simple as the predicted value of the surrogate model. We benchmark both infill criteria in an extensive empirical study on the `BBOB' function set. This investigation includes a detailed study of the impact of problem dimensionality on algorithm performance. The results support the hypothesis that exploration loses importance with increasing problem dimensionality. A statistical analysis reveals that the purely exploitative search with the predicted value criterion performs better on most problems of five or higher dimensions. Possible reasons for these results are discussed. In addition, we give an in-depth guide for choosing the infill criteria based on prior knowledge about the problem at hand, its dimensionality, and the available budget. | 翻訳日:2023-01-13 04:29:41 公開日:2020-02-17 |
| # 線形逆問題に対する総深部変動 Total Deep Variation for Linear Inverse Problems ( http://arxiv.org/abs/2001.05005v2 ) ライセンス: Link先を確認 | Erich Kobler and Alexander Effland and Karl Kunisch and Thomas Pock | (参考訳) 画像における様々な逆問題は、タスク固有のデータ忠実性項と正規化項からなる変分問題としてキャストできる。
本稿では,近年のアーキテクチャ設計パターンをディープラーニングから活用した,学習可能な汎用正規化手法を提案する。
学習問題を離散標本化最適制御問題とみなし,隣接状態方程式と最適条件を導出する。
本手法のばらつき構造を生かして,異なるトレーニングデータセットから得られた学習パラメータに対して感度解析を行う。
さらに, 学習正規化器の興味深い性質を明らかにする非線形固有関数解析を行う。
古典的画像復元と医用画像復元における最新性能を示す。 Diverse inverse problems in imaging can be cast as variational problems composed of a task-specific data fidelity term and a regularization term. In this paper, we propose a novel learnable general-purpose regularizer exploiting recent architectural design patterns from deep learning. We cast the learning problem as a discrete sampled optimal control problem, for which we derive the adjoint state equations and an optimality condition. By exploiting the variational structure of our approach, we perform a sensitivity analysis with respect to the learned parameters obtained from different training datasets. Moreover, we carry out a nonlinear eigenfunction analysis, which reveals interesting properties of the learned regularizer. We show state-of-the-art performance for classical image restoration and medical image reconstruction problems. | 翻訳日:2023-01-11 12:35:24 公開日:2020-02-17 |
| # 個別化治療効果推定のための学習重なり表現 Learning Overlapping Representations for the Estimation of Individualized Treatment Effects ( http://arxiv.org/abs/2001.04754v3 ) ライセンス: Link先を確認 | Yao Zhang, Alexis Bellot, Mihaela van der Schaar | (参考訳) 介入する選択は、代替案と比較して潜在的利益または害に依存する。
すべての結果が観測されないため、観測データから代替案を推定することは難しい問題であり、選択バイアスは異なる介入されたグループの直接比較を妨げる。
実証的な成功にもかかわらず、入力のドメイン不変表現(予測を行うアルゴリズム)を学習するアルゴリズムは、しばしば不適切であることを示し、ドメイン重複への依存を示す一般化境界を開発し、非可逆潜在写像の必要性を強調する。
これらの結果に基づいて,様々なベンチマークデータセット上での最先端性を大幅に向上するディープカーネル回帰アルゴリズムと後続正規化フレームワークを開発した。 The choice of making an intervention depends on its potential benefit or harm in comparison to alternatives. Estimating the likely outcome of alternatives from observational data is a challenging problem as all outcomes are never observed, and selection bias precludes the direct comparison of differently intervened groups. Despite their empirical success, we show that algorithms that learn domain-invariant representations of inputs (on which to make predictions) are often inappropriate, and develop generalization bounds that demonstrate the dependence on domain overlap and highlight the need for invertible latent maps. Based on these results, we develop a deep kernel regression algorithm and posterior regularization framework that substantially outperforms the state-of-the-art on a variety of benchmarks data sets. | 翻訳日:2023-01-11 11:56:37 公開日:2020-02-17 |
| # 補償ガウス過程による共有モビリティの潜在需要の推定 Estimating Latent Demand of Shared Mobility through Censored Gaussian Processes ( http://arxiv.org/abs/2001.07402v2 ) ライセンス: Link先を確認 | Daniele Gammelli, Inon Peled, Filipe Rodrigues, Dario Pacino, Haci A. Kurtaran, Francisco C. Pereira | (参考訳) 輸送需要は、特に可用性が制限される共有輸送サービスにおいて、供給に大きく依存している。
観測された需要は利用可能な供給よりも高くはならないため、歴史的輸送データは一般に真の需要パターンの偏り、あるいは検閲されたバージョンを表す。
この固有の区別を明示的に考慮しなければ、需要予測モデルは必ずしも真の需要のバイアスのあるバージョンであり、サービスユーザのニーズを効果的に予測することができない。
この問題に対処するために,検閲された可能性関数を考案した検閲対応需要モデリングの汎用手法を提案する。
本手法は,任意の関数形式を柔軟に近似できるガウス過程モデルに検閲された確率を組み込むことにより,共有モビリティ需要予測のタスクに適用する。
人工的および実世界のデータセットの実験は、需要に対する供給の制限効果を考慮に入れることが、ユーザ要求行動の偏りのない予測モデルを得るプロセスにおいて不可欠であることを示す。 Transport demand is highly dependent on supply, especially for shared transport services where availability is often limited. As observed demand cannot be higher than available supply, historical transport data typically represents a biased, or censored, version of the true underlying demand pattern. Without explicitly accounting for this inherent distinction, predictive models of demand would necessarily represent a biased version of true demand, thus less effectively predicting the needs of service users. To counter this problem, we propose a general method for censorship-aware demand modeling, for which we devise a censored likelihood function. We apply this method to the task of shared mobility demand prediction by incorporating the censored likelihood within a Gaussian Process model, which can flexibly approximate arbitrary functional forms. Experiments on artificial and real-world datasets show how taking into account the limiting effect of supply on demand is essential in the process of obtaining an unbiased predictive model of user demand behavior. | 翻訳日:2023-01-07 23:36:32 公開日:2020-02-17 |
| # 人間のレースドライバー行動の模倣のための確率的枠組み A Probabilistic Framework for Imitating Human Race Driver Behavior ( http://arxiv.org/abs/2001.08255v2 ) ライセンス: Link先を確認 | Stefan L\"ockel, Jan Peters, Peter van Vliet | (参考訳) 人間の運転行動の理解とモデル化は、高度な車両開発に不可欠である。
しかしながら、ユニークな駆動スタイル、一貫性のない振る舞い、複雑な意思決定プロセスは、それを困難なタスクにします。
そこで本研究では,ドライバ動作モデリングのタスクを複数のモジュールに分割するモジュールフレームワークであるpromod(ドライバ動作の確率的モデリング)を提案する。
確率的運動プリミティブを用いてグローバルな目標軌道分布を学習し、局所経路生成にウエイドを使用し、ニューラルネットワークにより対応する行動選択を行う。
シミュレーションカーレースセッティングの実験は、他の模倣学習アルゴリズムと比較して、模倣精度と堅牢性にかなりの利点がある。
提案フレームワークのモジュラーアーキテクチャは、将来の研究のために複数の移動プリミティブの駆動ライン適応とシークエンシングの容易な拡張を容易にする。 Understanding and modeling human driver behavior is crucial for advanced vehicle development. However, unique driving styles, inconsistent behavior, and complex decision processes render it a challenging task, and existing approaches often lack variability or robustness. To approach this problem, we propose Probabilistic Modeling of Driver behavior (ProMoD), a modular framework which splits the task of driver behavior modeling into multiple modules. A global target trajectory distribution is learned with Probabilistic Movement Primitives, clothoids are utilized for local path generation, and the corresponding choice of actions is performed by a neural network. Experiments in a simulated car racing setting show considerable advantages in imitation accuracy and robustness compared to other imitation learning algorithms. The modular architecture of the proposed framework facilitates straightforward extensibility in driving line adaptation and sequencing of multiple movement primitives for future research. | 翻訳日:2023-01-07 18:23:02 公開日:2020-02-17 |
| # 信号時相論理対象のトラクタブル強化学習 Tractable Reinforcement Learning of Signal Temporal Logic Objectives ( http://arxiv.org/abs/2001.09467v2 ) ライセンス: Link先を確認 | Harish Venkataraman, Derya Aksaray, Peter Seiler | (参考訳) 信号時相論理 (Signal temporal logic, STL) は、リアルタイムロボットタスクと安全仕様を指定するための表現言語である。
近年,強化学習(RL)を通じて,STL仕様を満たすための最適ポリシーの学習に関心がある。
STL仕様を満たすための学習は、報酬と次のアクションを計算するのに十分な状態履歴を必要とすることが多い。
歴史の必要性は、学習問題に対する指数的状態空間成長をもたらす。
したがって、学習問題は現実世界のほとんどのアプリケーションで計算的に難解になる。
本稿では,新しい拡張状態空間表現における状態履歴をキャプチャするコンパクトな手法を提案する。
新たな拡張状態空間における目的(満足度最大化確率)の近似を提案し,解決する。
近似解の性能境界を示し,シミュレーションによる既存手法の解と比較する。 Signal temporal logic (STL) is an expressive language to specify time-bound real-world robotic tasks and safety specifications. Recently, there has been an interest in learning optimal policies to satisfy STL specifications via reinforcement learning (RL). Learning to satisfy STL specifications often needs a sufficient length of state history to compute reward and the next action. The need for history results in exponential state-space growth for the learning problem. Thus the learning problem becomes computationally intractable for most real-world applications. In this paper, we propose a compact means to capture state history in a new augmented state-space representation. An approximation to the objective (maximizing probability of satisfaction) is proposed and solved for in the new augmented state-space. We show the performance bound of the approximate solution and compare it with the solution of an existing technique via simulations. | 翻訳日:2023-01-06 19:09:52 公開日:2020-02-17 |
| # ニューラルネットワーク反復学習モデルに現れる構成言語 Compositional Languages Emerge in a Neural Iterated Learning Model ( http://arxiv.org/abs/2002.01365v2 ) ライセンス: Link先を確認 | Yi Ren, Shangmin Guo, Matthieu Labeau, Shay B. Cohen, Simon Kirby | (参考訳) 合成性の原理は、自然言語がより単純な概念の構造化された組み合わせによって複雑な概念を表現することを可能にし、限られた語彙を用いてオープンなメッセージの集合を伝達することができる。
合成性が言語の自然な性質であるならば、言語ゲームで神経エージェントによって生成される通信プロトコルに現れることが期待できる。
本稿では,対話型ニューラルエージェントに適用することで,より構造化された言語が出現するのを容易にする,効果的なニューラルイテレーテッド・ラーニング(nil)アルゴリズムを提案する。
実際、これらの言語はトレーニング中にニューラルエージェントに学習速度のアドバンテージを提供し、NILを介してインクリメンタルに増幅することができる。
我々は、NILの確率モデルと、なぜ合成言語の利点があるのかを説明する。
我々の実験は、我々の分析を確認し、出現した言語が神経エージェント通信の一般化能力を大幅に改善することを示した。 The principle of compositionality, which enables natural language to represent complex concepts via a structured combination of simpler ones, allows us to convey an open-ended set of messages using a limited vocabulary. If compositionality is indeed a natural property of language, we may expect it to appear in communication protocols that are created by neural agents in language games. In this paper, we propose an effective neural iterated learning (NIL) algorithm that, when applied to interacting neural agents, facilitates the emergence of a more structured type of language. Indeed, these languages provide learning speed advantages to neural agents during training, which can be incrementally amplified via NIL. We provide a probabilistic model of NIL and an explanation of why the advantage of compositional language exist. Our experiments confirm our analysis, and also demonstrate that the emerged languages largely improve the generalizing power of the neural agent communication. | 翻訳日:2023-01-04 02:24:12 公開日:2020-02-17 |
| # 時間的小脳学習による模擬マウスにおける後肢運動の適応制御 Adaptive control for hindlimb locomotion in a simulated mouse through temporal cerebellar learning ( http://arxiv.org/abs/2002.02807v2 ) ライセンス: Link先を確認 | T. P. Jensen, S. Tata, A. J. Ijspeert, S. Tolu | (参考訳) 人間や他の脊椎動物は運動において顕著な性能と効率を示すが、その生物学的制御系の機能はまだ部分的には理解されていない。
移動の基本パターンとタイミングは、脊髄の中央パターン生成器(CPG)によって提供される。
小脳は適応的な移動において重要な役割を果たしている。
近年の研究では、ロコモーションにおける小脳適応を駆動するエラー信号に関する洞察が得られている。
しかし、小脳の出力が歩行にどのように影響するかという問題は未だ解明されていない。
我々は、小脳補正がcpgのパターン形成部に適用されると仮定する。
二重支持型左右非対称を時間的指導信号として用いて、小脳様モジュールがステップ時間に適応するマウスの筋骨格系の適応運動のための生体インスパイア制御システムを提案する。
制御システムは、実際のマウスを用いた実験と同様、スプリットベルトトレッドミルで模擬マウス上でテストされる。
以上の結果から,ヒトおよびマウスにみられるものと類似したリムブパラメータにおける適応的運動挙動を示した。
制御システムは、スプリットベルトプロトコルの環境摂動に起因する二重支持非対称性を適応的に低減する。 Human beings and other vertebrates show remarkable performance and efficiency in locomotion, but the functioning of their biological control systems for locomotion is still only partially understood. The basic patterns and timing for locomotion are provided by a central pattern generator (CPG) in the spinal cord. The cerebellum is known to play an important role in adaptive locomotion. Recent studies have given insights into the error signals responsible for driving the cerebellar adaptation in locomotion. However, the question of how the cerebellar output influences the gait remains unanswered. We hypothesize that the cerebellar correction is applied to the pattern formation part of the CPG. Here, a bio-inspired control system for adaptive locomotion of the musculoskeletal system of the mouse is presented, where a cerebellar-like module adapts the step time by using the double support interlimb asymmetry as a temporal teaching signal. The control system is tested on a simulated mouse in a split-belt treadmill setup similar to those used in experiments with real mice. The results show adaptive locomotion behavior in the interlimb parameters similar to that seen in humans and mice. The control system adaptively decreases the double support asymmetry that occurs due to environmental perturbations in the split-belt protocol. | 翻訳日:2023-01-03 04:44:38 公開日:2020-02-17 |
| # 理論的保証による暗黙的生成モデル学習 Learning Implicit Generative Models with Theoretical Guarantees ( http://arxiv.org/abs/2002.02862v2 ) ライセンス: Link先を確認 | Yuan Gao and Jian Huang and Yuling Jiao and Jin Liu | (参考訳) 本稿では,最適移動量,数値ode,密度比(密度拡散)推定,深層ニューラルネットワークのアプローチを統合することで,理論的な保証を施した \textbf{uni}fied \textbf{f}ramework for \textbf{i}mplicit \textbf{ge}nerative \textbf{m}odeling (unifigem)を提案する。
第一に、暗黙的生成学習の問題は、基準分布と目標分布の間の最適輸送マップを見つけるための問題として定式化され、これは完全に非線形なMonge-Amp\`{e}re方程式によって特徴づけられる。
測度空間の勾配流の観点から、モンゲ・アンプ・`{e}re方程式の無限小線型化を解釈すると、連続性方程式やマッケイン・ブラソフ方程式が導かれる。
次に、前方オイラー写像が現在の反復における分布と対象分布との密度比(密度差)に依存するような前方オイラー反復を用いて、マッケアン・ヴラソフ方程式を数値的に解く。
さらに、密度比(密度差)を深度比(密度差)フィッティングにより推定し、推定誤差の明示的な上限を導出する。
合成データセットと実ベンチマークデータセットの両方の実験結果は、我々の理論的結果をサポートし、UnifiGemの有効性を実証する。 We propose a \textbf{uni}fied \textbf{f}ramework for \textbf{i}mplicit \textbf{ge}nerative \textbf{m}odeling (UnifiGem) with theoretical guarantees by integrating approaches from optimal transport, numerical ODE, density-ratio (density-difference) estimation and deep neural networks. First, the problem of implicit generative learning is formulated as that of finding the optimal transport map between the reference distribution and the target distribution, which is characterized by a totally nonlinear Monge-Amp\`{e}re equation. Interpreting the infinitesimal linearization of the Monge-Amp\`{e}re equation from the perspective of gradient flows in measure spaces leads to the continuity equation or the McKean-Vlasov equation. We then solve the McKean-Vlasov equation numerically using the forward Euler iteration, where the forward Euler map depends on the density ratio (density difference) between the distribution at current iteration and the underlying target distribution. We further estimate the density ratio (density difference) via deep density-ratio (density-difference) fitting and derive explicit upper bounds on the estimation error. Experimental results on both synthetic datasets and real benchmark datasets support our theoretical findings and demonstrate the effectiveness of UnifiGem. | 翻訳日:2023-01-03 04:02:31 公開日:2020-02-17 |
| # 音楽ミキサーからのコンテンツに基づく歌声抽出 Content Based Singing Voice Extraction From a Musical Mixture ( http://arxiv.org/abs/2002.04933v2 ) ライセンス: Link先を確認 | Pritish Chandna, Merlijn Blaauw, Jordi Bonada, Emilia Gomez | (参考訳) 本稿では,基礎となる言語内容に基づいて歌唱音声信号を抽出するための深層学習に基づく手法を提案する。
我々のモデルはエンコーダデコーダアーキテクチャに従っており、ボーカルとの混合音のスペクトルの等級成分を入力とする。
モデルのエンコーダ部は、教師ネットワークを用いて知識蒸留により訓練され、コンテンツ埋め込みを学習し、それを復号して対応するボコーダ特徴を生成する。
この手法を用いることで、訓練中に見えない歌手との混合データセットであっても、未処理の生音声信号を混合から抽出することができる。
本システムの性質は従来の客観的評価指標と一致しないが,聞き取りテストを通じて主観評価を行い,最先端のディープラーニングに基づくソース分離アルゴリズムと比較する。
再現性のためのサンプルやソースコードも提供します。 We present a deep learning based methodology for extracting the singing voice signal from a musical mixture based on the underlying linguistic content. Our model follows an encoder decoder architecture and takes as input the magnitude component of the spectrogram of a musical mixture with vocals. The encoder part of the model is trained via knowledge distillation using a teacher network to learn a content embedding, which is decoded to generate the corresponding vocoder features. Using this methodology, we are able to extract the unprocessed raw vocal signal from the mixture even for a processed mixture dataset with singers not seen during training. While the nature of our system makes it incongruous with traditional objective evaluation metrics, we use subjective evaluation via listening tests to compare the methodology to state-of-the-art deep learning based source separation algorithms. We also provide sound examples and source code for reproducibility. | 翻訳日:2023-01-01 20:40:29 公開日:2020-02-17 |
| # 屋内5gミリ波伝搬モデルのための確率的・物理的組み合わせフレームワーク A Combined Stochastic and Physical Framework for Modeling Indoor 5G Millimeter Wave Propagation ( http://arxiv.org/abs/2002.05162v2 ) ライセンス: Link先を確認 | Georges Nassif, Catherine Gloaguen, and Philippe Martins | (参考訳) 室内カバーは、5Gミリ波(mmWaves)にとって大きな課題である。
本稿では,確率的屋内環境モデリングと高度な物理伝搬シミュレーションを組み合わせた理論的枠組みにより,この問題に対処する。
このアプローチは室内から室内への5Gmm波伝搬の観測に特に適している。
iGeoStatと呼ばれるシステムの実装は、屋内空間の変動を考慮したパラメータ化された典型的な環境を生成し、電磁波と材料特性の間の物理的相互作用に基づいて電波伝搬をシミュレートする。
本フレームワークは, 特定の環境, 材料, 周波数, 使用事例に特化せず, 室内環境パラメータがmmWave伝搬特性, 特にカバレッジと経路損失に与える影響を統計的に理解することを目的としている。
その実装は、適応されたリンク予算を定式化し、新しいメモリ最適化アルゴリズムを設計することで解決する多くの計算課題を提起する。
2つの主要な5Gアプリケーションの最初のシミュレーション結果は、測定データを用いて検証され、実環境における複数の拡散を、妥当な時間と記憶資源でシミュレートするiGeoStatの効率を示す。
生成した出力マップは、拡散が室内mmWave伝播に重要な影響を与え、適切な物理モデリングが関連する伝播モデルを生成する上で最も重要であることを確認する。 Indoor coverage is a major challenge for 5G millimeter waves (mmWaves). In this paper, we address this problem through a novel theoretical framework that combines stochastic indoor environment modeling with advanced physical propagation simulation. This approach is particularly adapted to investigate indoor-to-indoor 5G mmWave propagation. Its system implementation, so-called iGeoStat, generates parameterized typical environments that account for the indoor spatial variations, then simulates radio propagation based on the physical interaction between electromagnetic waves and material properties. This framework is not dedicated to a particular environment, material, frequency or use case and aims to statistically understand the influence of indoor environment parameters on mmWave propagation properties, especially coverage and path loss. Its implementation raises numerous computational challenges that we solve by formulating an adapted link budget and designing new memory optimization algorithms. The first simulation results for two major 5G applications are validated with measurement data and show the efficiency of iGeoStat to simulate multiple diffusion in realistic environments, within a reasonable amount of time and memory resources. Generated output maps confirm that diffusion has a critical impact on indoor mmWave propagation and that proper physical modeling is of the utmost importance to generate relevant propagation models. | 翻訳日:2023-01-01 20:23:44 公開日:2020-02-17 |
| # 歌手識別における伴奏の相違について Addressing the confounds of accompaniments in singer identification ( http://arxiv.org/abs/2002.06817v1 ) ライセンス: Link先を確認 | Tsung-Han Hsieh, Kai-Hsiang Cheng, Zhe-Cheng Fan, Yu-Ching Yang, Yi-Hsuan Yang | (参考訳) 歌手の同定は多くの応用において重要な課題である。
しかし、多くの問題により課題は残る。
一つの大きな問題は、音楽制作におけるボーカルと混ざった背景楽器音楽の確立要因に関するものである。
歌手識別モデルは、歌手が特定の音楽的文脈(例えばジャンル)でのみ歌う場合、歌のインストゥルメンタルな部分から非ボーカル的特徴を抽出することを学ぶことができる。
したがって、歌手が目に見えない文脈で歌うとき、モデルはうまく一般化できない。
本稿では,この問題に対処しようとする。
具体的には,オープンソースのオープンソースツールであるOpen-Unmixを用いて,声楽と楽器のトラックを分離する。
次に、分離されたボーカルのみから学習するか、分離されたボーカルトラックと異なる曲の楽器トラックを「シャッフル&リミックス」して、歌手を異なる文脈で人工的に歌わせるという、歌手識別モデルを訓練する2つの方法を検討する。
また,声帯から学習したメロディ的特徴を取り入れ,演奏性の向上を図る。
artist20と呼ばれるベンチマークデータセットの評価結果は、このデータ拡張手法が歌手識別の精度を大幅に向上させることを示している。 Identifying singers is an important task with many applications. However, the task remains challenging due to many issues. One major issue is related to the confounding factors from the background instrumental music that is mixed with the vocals in music production. A singer identification model may learn to extract non-vocal related features from the instrumental part of the songs, if a singer only sings in certain musical contexts (e.g., genres). The model cannot therefore generalize well when the singer sings in unseen contexts. In this paper, we attempt to address this issue. Specifically, we employ open-unmix, an open source tool with state-of-the-art performance in source separation, to separate the vocal and instrumental tracks of music. We then investigate two means to train a singer identification model: by learning from the separated vocal only, or from an augmented set of data where we "shuffle-and-remix" the separated vocal tracks and instrumental tracks of different songs to artificially make the singers sing in different contexts. We also incorporate melodic features learned from the vocal melody contour for better performance. Evaluation results on a benchmark dataset called the artist20 shows that this data augmentation method greatly improves the accuracy of singer identification. | 翻訳日:2022-12-31 13:15:46 公開日:2020-02-17 |
| # 音源分離のためのメタ学習エクストラクタ Meta-learning Extractors for Music Source Separation ( http://arxiv.org/abs/2002.07016v1 ) ライセンス: Link先を確認 | David Samuel, Aditya Ganeshan and Jason Naradowsky | (参考訳) 本稿では,音楽音源分離モデル(Meta-TasNet)の階層的メタ学習モデルを提案する。
これにより効率的なパラメータ共有が可能となるが、機器固有のパラメータ化が可能となる。
meta-tasnetは、独立に訓練されたモデルやマルチタスク設定よりも効果的であることが示され、最先端のメソッドに匹敵するパフォーマンスを達成する。
後者と比較して,抽出器はパラメータが少なく,実行時の性能が速い。
我々は、重要なアーキテクチャ上の考慮事項を議論し、このアプローチのコストと利益について検討する。 We propose a hierarchical meta-learning-inspired model for music source separation (Meta-TasNet) in which a generator model is used to predict the weights of individual extractor models. This enables efficient parameter-sharing, while still allowing for instrument-specific parameterization. Meta-TasNet is shown to be more effective than the models trained independently or in a multi-task setting, and achieve performance comparable with state-of-the-art methods. In comparison to the latter, our extractors contain fewer parameters and have faster run-time performance. We discuss important architectural considerations, and explore the costs and benefits of this approach. | 翻訳日:2022-12-31 13:15:11 公開日:2020-02-17 |
| # 前立腺CTにおける適応放射線治療のための深層学習モデルの患者特異的解析 Patient-Specific Finetuning of Deep Learning Models for Adaptive Radiotherapy in Prostate CT ( http://arxiv.org/abs/2002.06927v1 ) ライセンス: Link先を確認 | Mohamed S. Elmahdy, Tanuj Ahuja, U. A. van der Heide, and Marius Staring | (参考訳) OAR(Organs-At-Risk)は放射線治療計画において重要なステップである。
適応放射線治療では,日々のイメージングに基づいて輪郭の更新が必要となる。
本研究では, 治療セッションに蓄積した解剖学的知識を活用し, 特定の患者に対して, トレーニング済みの畳み込みニューラルネットワーク(CNN)のセグメンテーション精度を向上させる。
我々は, 早期治療分画で得られた画像に基づいて, 特定の患者に対してcnnモデルを微調整し, トランスファーラーニングアプローチを検討する。
cnnモデルの基礎モデルは、379人の患者のある病院の前立腺ctデータセットで訓練される。
このモデルはその後、精細に調整され、18人の患者からなる別の病院の独立したデータセットでテストされる。
前立腺、精巣、膀胱、直腸では、各患者に微調整されたモデルが平均表面距離(MSD)が1.64 pm 0.43$ mm, $2.38 pm 2.76$ mm, $2.30 pm 0.96$ mm, $1.24 pm 0.89$ mm となり、それぞれベースラインモデルよりもかなり良くなった。
提案したパーソナライズドモデル適応は前立腺癌の適応放射線治療の文脈における臨床実装に非常に有望である。 Contouring of the target volume and Organs-At-Risk (OARs) is a crucial step in radiotherapy treatment planning. In an adaptive radiotherapy setting, updated contours need to be generated based on daily imaging. In this work, we leverage personalized anatomical knowledge accumulated over the treatment sessions, to improve the segmentation accuracy of a pre-trained Convolution Neural Network (CNN), for a specific patient. We investigate a transfer learning approach, fine-tuning the baseline CNN model to a specific patient, based on imaging acquired in earlier treatment fractions. The baseline CNN model is trained on a prostate CT dataset from one hospital of 379 patients. This model is then fine-tuned and tested on an independent dataset of another hospital of 18 patients, each having 7 to 10 daily CT scans. For the prostate, seminal vesicles, bladder and rectum, the model fine-tuned on each specific patient achieved a Mean Surface Distance (MSD) of $1.64 \pm 0.43$ mm, $2.38 \pm 2.76$ mm, $2.30 \pm 0.96$ mm, and $1.24 \pm 0.89$ mm, respectively, which was significantly better than the baseline model. The proposed personalized model adaptation is therefore very promising for clinical implementation in the context of adaptive radiotherapy of prostate cancer. | 翻訳日:2022-12-31 13:13:13 公開日:2020-02-17 |
| # AIBench: アジャイルドメイン固有のベンチマーク方法論とAIベンチマークスイート AIBench: An Agile Domain-specific Benchmarking Methodology and an AI Benchmark Suite ( http://arxiv.org/abs/2002.07162v1 ) ライセンス: Link先を確認 | Wanling Gao, Fei Tang, Jianfeng Zhan, Chuanxin Lan, Chunjie Luo, Lei Wang, Jiahui Dai, Zheng Cao, Xiongwang Xiong, Zihan Jiang, Tianshu Hao, Fanda Fan, Xu Wen, Fan Zhang, Yunyou Huang, Jianan Chen, Mengjia Du, Rui Ren, Chen Zheng, Daoyi Zheng, Haoning Tang, Kunlin Zhan, Biao Wang, Defei Kong, Minghe Yu, Chongkang Tan, Huan Li, Xinhui Tian, Yatao Li, Gang Lu, Junchao Shao, Zhenyu Wang, Xiaoyu Wang, Hainan Ye | (参考訳) ドメイン固有のソフトウェアとハードウェアの共同設計は、少ないタスクで効率性を達成するのがずっと簡単であるため、奨励しています。
アジャイルドメイン固有のベンチマークは、関連する設計インプットだけでなく、関連するメトリクスやツールを提供するため、プロセスをスピードアップします。
残念なことに、ビッグデータやAI、インターネットサービスといった現代的なワークロードは、コードサイズ、デプロイメントのスケール、実行パスといった点で従来のワークロードを軽視しています。
本稿では,アジャイルなドメイン固有のベンチマーク手法を提案する。
17の業界パートナとともに、AIコンポーネントベンチマークとして16の代表的なAIタスクを抽出する10の重要なエンドツーエンドアプリケーションシナリオを特定します。
エンドツーエンドのベンチマークとして,必須AIと非AIコンポーネントベンチマークの置換を提案する。
エンドツーエンドのベンチマークは、業界規模のアプリケーションの本質的な特性の蒸留である。
我々は、非常に拡張性が高く、構成可能で柔軟なベンチマークフレームワークを設計、実装し、それに基づいて、エンドツーエンドのベンチマークを構築するためのガイドラインを提案し、最初のエンドツーエンドのインターネットサービスAIベンチマークを示す。
予備評価では、ハードウェアおよびソフトウェアデザイナ、マイクロアーキテクチャ研究者、コード開発者に対するAIBench対MLPerfとTailBenchのベンチマークスイートの価値が示されています。
仕様、ソースコード、テストベッド、結果はWebサイト \url{http://www.benchcouncil.org/AIBench/index.html} から公開されている。 Domain-specific software and hardware co-design is encouraging as it is much easier to achieve efficiency for fewer tasks. Agile domain-specific benchmarking speeds up the process as it provides not only relevant design inputs but also relevant metrics, and tools. Unfortunately, modern workloads like Big data, AI, and Internet services dwarf the traditional one in terms of code size, deployment scale, and execution path, and hence raise serious benchmarking challenges. This paper proposes an agile domain-specific benchmarking methodology. Together with seventeen industry partners, we identify ten important end-to-end application scenarios, among which sixteen representative AI tasks are distilled as the AI component benchmarks. We propose the permutations of essential AI and non-AI component benchmarks as end-to-end benchmarks. An end-to-end benchmark is a distillation of the essential attributes of an industry-scale application. We design and implement a highly extensible, configurable, and flexible benchmark framework, on the basis of which, we propose the guideline for building end-to-end benchmarks, and present the first end-to-end Internet service AI benchmark. The preliminary evaluation shows the value of our benchmark suite---AIBench against MLPerf and TailBench for hardware and software designers, micro-architectural researchers, and code developers. The specifications, source code, testbed, and results are publicly available from the web site \url{http://www.benchcouncil.org/AIBench/index.html}. | 翻訳日:2022-12-31 13:12:48 公開日:2020-02-17 |
| # 多様性制約とのマッチングから地域基準とのマッチングへ From Matching with Diversity Constraints to Matching with Regional Quotas ( http://arxiv.org/abs/2002.06748v1 ) ライセンス: Link先を確認 | Haris Aziz, Serge Gaspers, Zhaohong Sun, Toby Walsh | (参考訳) ここ数年、複雑な分布制約を考慮した新しいマッチングモデルがいくつか提案され研究されている。
関連する仕事の行は,(1)学生が(おそらく重複する)タイプを持つような多様性制約のある学校選択と,(2)地域的基準が課される病院と医師のマッチングである。
本稿では,(1) のインスタンスを (2) のインスタンスに変換する多項式時間還元と,それに対応するマッチングの実現性と安定性について述べる。
この削減は,分布的制約に適合する2つの重要な作業列間の形式的接続を提供する。
次に、その削減を2つの方法で適用する。
まず,(1)に対する実現可能かつ安定な結果が存在するかどうかを確認することはNP完全であることを示す。
その結果, これらのNP完全性は, 設定 (2) まで続くことがわかった。
これを踏まえて,文献に提示された結果のいくつかを統一するのに役立つ。
第二に、(2) の正の結果が得られた場合、(1) の正の結果が対応する。
以上の結果の1つとして, 病院と医師の地域的クォータとのマッチングの公理的, アルゴリズム的側面のさらなる発展が, 学校選択の多様性の制約に対応する結果をもたらすことを示唆した。 In the past few years, several new matching models have been proposed and studied that take into account complex distributional constraints. Relevant lines of work include (1) school choice with diversity constraints where students have (possibly overlapping) types and (2) hospital-doctor matching where various regional quotas are imposed. In this paper, we present a polynomial-time reduction to transform an instance of (1) to an instance of (2) and we show how the feasibility and stability of corresponding matchings are preserved under the reduction. Our reduction provides a formal connection between two important strands of work on matching with distributional constraints. We then apply the reduction in two ways. Firstly, we show that it is NP-complete to check whether a feasible and stable outcome for (1) exists. Due to our reduction, these NP-completeness results carry over to setting (2). In view of this, we help unify some of the results that have been presented in the literature. Secondly, if we have positive results for (2), then we have corresponding results for (1). One key conclusion of our results is that further developments on axiomatic and algorithmic aspects of hospital-doctor matching with regional quotas will result in corresponding results for school choice with diversity constraints. | 翻訳日:2022-12-31 13:12:22 公開日:2020-02-17 |
| # オフラインプロファイリングによるMLシステムのシミュレーション性能 Simulating Performance of ML Systems with Offline Profiling ( http://arxiv.org/abs/2002.06790v1 ) ライセンス: Link先を確認 | Hongming Huang, Peng Cheng, Hong Xu, Yongqiang Xiong | (参考訳) オフラインプロファイリングに基づくシミュレーションは、複雑なMLシステムを理解し改善するための有望なアプローチである、と我々は主張する。
提案手法では,操作レベルのプロファイリングとデータフローに基づくシミュレーションを用いて,すべてのフレームワークやMLモデルに対して統一的かつ自動化されたソリューションを提供する。 We advocate that simulation based on offline profiling is a promising approach to better understand and improve the complex ML systems. Our approach uses operation-level profiling and dataflow based simulation to ensure it offers a unified and automated solution for all frameworks and ML models, and is also accurate by considering the various parallelization strategies in a real system. | 翻訳日:2022-12-31 13:10:55 公開日:2020-02-17 |
| # 機械学習による企業のデフォルト予測 Firms Default Prediction with Machine Learning ( http://arxiv.org/abs/2002.11705v1 ) ライセンス: Link先を確認 | Tesi Aliaj and Aris Anagnostopoulos and Stefano Piersanti | (参考訳) 学者や実践者は、統計学と機械学習のアプローチを用いて、企業破産を予測するためのモデルを長年にわたって研究してきた。
以前、ある会社が財政難に陥り、最終的に破産する可能性があるという兆候は \emph{default} であり、緩やかに言えば、同社は銀行システムに対するローンの返済に苦労していることを意味する。
企業のデフォルト状態は技術的には失敗ではなく、銀行の融資政策に非常に関係しており、しばしば会社の失敗を予想している。
我々の知る限りでは、イタリア中央銀行(Central Credit Register of Italian Bank of Italy)による、イタリアの銀行システム全体に対する過去の行動に関する情報を含む、非常に大規模な信用データのデータベースが、マシンラーニング技術を使ってデフォルトを予測するために、初めて使用しています。
さらに,これらのデータを,企業の公開バランスシートデータに関する他の情報と組み合わせる。
アンサンブル技術と無作為林は,Barbozaらの発見を裏付ける最良の結果をもたらすことが判明した(Expert Syst. Appl., 2017)。 Academics and practitioners have studied over the years models for predicting firms bankruptcy, using statistical and machine-learning approaches. An earlier sign that a company has financial difficulties and may eventually bankrupt is going in \emph{default}, which, loosely speaking means that the company has been having difficulties in repaying its loans towards the banking system. Firms default status is not technically a failure but is very relevant for bank lending policies and often anticipates the failure of the company. Our study uses, for the first time according to our knowledge, a very large database of granular credit data from the Italian Central Credit Register of Bank of Italy that contain information on all Italian companies' past behavior towards the entire Italian banking system to predict their default using machine-learning techniques. Furthermore, we combine these data with other information regarding companies' public balance sheet data. We find that ensemble techniques and random forest provide the best results, corroborating the findings of Barboza et al. (Expert Syst. Appl., 2017). | 翻訳日:2022-12-31 13:10:39 公開日:2020-02-17 |
| # エッジ分解過渡イメージングによる角膜周囲の観察 Seeing Around Corners with Edge-Resolved Transient Imaging ( http://arxiv.org/abs/2002.07118v1 ) ライセンス: Link先を確認 | Joshua Rapp, Charles Saunders, Juli\'an Tachella, John Murray-Bruce, Yoann Altmann, Jean-Yves Tourneret, Stephen McLaughlin, Robin M. A. Dawson, Franco N. C. Wong, Vivek K Goyal | (参考訳) 非視線イメージング(NLOS:non-line-of-sight imaging)は、視界外の物体の画像を作成しようとする急速に成長する分野であり、探索・救助、偵察、医療画像にも応用できる可能性がある。
NLOSイメージングの重要な課題は、散乱反射が散乱光をあらゆる方向に反射し、弱い信号と方向情報の損失をもたらすことである。
そこで本研究では, パルス光源に対する時間応答から, 垂直エッジからの角分解能と縦分解能を導出する角のまわりを観測する手法を提案する。
本稿では,2.5次元の図形 - プランビュー+高さ - と180$^{\circ}$ field of view (FOV) を大規模シーンで作成するための獲得戦略,シーン応答モデル,再構成アルゴリズムを提案する。
実験では,各次元に最大3mの隠れ部屋の正確な復元を行った。 Non-line-of-sight (NLOS) imaging is a rapidly growing field seeking to form images of objects outside the field of view, with potential applications in search and rescue, reconnaissance, and even medical imaging. The critical challenge of NLOS imaging is that diffuse reflections scatter light in all directions, resulting in weak signals and a loss of directional information. To address this problem, we propose a method for seeing around corners that derives angular resolution from vertical edges and longitudinal resolution from the temporal response to a pulsed light source. We introduce an acquisition strategy, scene response model, and reconstruction algorithm that enable the formation of 2.5-dimensional representations -- a plan view plus heights -- and a 180$^{\circ}$ field of view (FOV) for large-scale scenes. Our experiments demonstrate accurate reconstructions of hidden rooms up to 3 meters in each dimension. | 翻訳日:2022-12-31 13:09:58 公開日:2020-02-17 |
| # セマンティック・シーン・コンプリートのための3D Gated Recurrent Fusion 3D Gated Recurrent Fusion for Semantic Scene Completion ( http://arxiv.org/abs/2002.07269v1 ) ライセンス: Link先を確認 | Yu Liu, Jie Li, Qingsen Yan, Xia Yuan, Chunxia Zhao, Ian Reid and Cesar Cadena | (参考訳) 本稿では,セマンティック・シーン・コンプリート(ssc)タスクにおいて,意味的ラベリングとシーン・コンプリートを同時に処理できるデータ融合の問題に取り組む。
rgbイメージには、セマンティックなシーン理解に不可欠なオブジェクトのテクスチャの詳細が含まれている。
一方、深度画像は形状完成度の高い幾何学的手がかりを捉えている。
RGBと深度画像の両方を使用することで、SSCの精度をさらに高めることができる。
本稿では,ゲートとメモリモジュールを用いて,深度とrgbから関連する情報を適応的に選択・融合する3次元ゲートリカレント融合ネットワーク(grfnet)を提案する。
さらに,単段核融合に基づく多段核融合戦略を提案し,ネットワーク内の異なる段階間の相関関係をモデル化する。
2つのベンチマークデータセットに対する大規模な実験は、SSCにおけるデータ融合のための提案されたGRFNetの性能と有効性を示している。
コードは利用可能になる。 This paper tackles the problem of data fusion in the semantic scene completion (SSC) task, which can simultaneously deal with semantic labeling and scene completion. RGB images contain texture details of the object(s) which are vital for semantic scene understanding. Meanwhile, depth images capture geometric clues of high relevance for shape completion. Using both RGB and depth images can further boost the accuracy of SSC over employing one modality in isolation. We propose a 3D gated recurrent fusion network (GRFNet), which learns to adaptively select and fuse the relevant information from depth and RGB by making use of the gate and memory modules. Based on the single-stage fusion, we further propose a multi-stage fusion strategy, which could model the correlations among different stages within the network. Extensive experiments on two benchmark datasets demonstrate the superior performance and the effectiveness of the proposed GRFNet for data fusion in SSC. Code will be made available. | 翻訳日:2022-12-31 13:03:31 公開日:2020-02-17 |
| # HotelRec: 非常に大規模なホテルレコメンデーションデータセット HotelRec: a Novel Very Large-Scale Hotel Recommendation Dataset ( http://arxiv.org/abs/2002.06854v1 ) ライセンス: Link先を確認 | Diego Antognini, Boi Faltings | (参考訳) 今日、レコメンダシステムは、すべての人の毎日のデジタルルーチンの必然的な部分であり、ほとんどのインターネットプラットフォームに存在している。
最先端のディープラーニングベースのモデルは、最高のパフォーマンスを達成するために大量のデータを必要とする。
この基準を満たす多くのデータセットが、Amazon製品、レストラン、ビールなど、複数のドメインに対して提案されている。
しかし、ホテルドメインの作業やデータセットは限られており、最大のホテルレビューデータセットは100万のサンプル以下である。
さらに、ホテルドメインは従来のレコメンデーションデータセットよりも高いデータ空間に悩まされているため、従来の協調フィルタリングアプローチはそのようなデータに適用できない。
本稿では,TripAdvisorに基づく大規模ホテルレコメンデーションデータセットであるHotelRecを提案する。
われわれの知る限りでは、HotelRecはホテルのドメインで最大の公開データセット(0.9Mに対して50M)であり、また単一のドメインで最大のレコメンデーションデータセットであり、テキストレビュー(50M対2M)がある。
さらなる調査のためにHotelRecをリリースします。 Today, recommender systems are an inevitable part of everyone's daily digital routine and are present on most internet platforms. State-of-the-art deep learning-based models require a large number of data to achieve their best performance. Many datasets fulfilling this criterion have been proposed for multiple domains, such as Amazon products, restaurants, or beers. However, works and datasets in the hotel domain are limited: the largest hotel review dataset is below the million samples. Additionally, the hotel domain suffers from a higher data sparsity than traditional recommendation datasets and therefore, traditional collaborative-filtering approaches cannot be applied to such data. In this paper, we propose HotelRec, a very large-scale hotel recommendation dataset, based on TripAdvisor, containing 50 million reviews. To the best of our knowledge, HotelRec is the largest publicly available dataset in the hotel domain (50M versus 0.9M) and additionally, the largest recommendation dataset in a single domain and with textual reviews (50M versus 22M). We release HotelRec for further research: https://github.com/Diego999/HotelRec. | 翻訳日:2022-12-31 13:03:15 公開日:2020-02-17 |
| # w_LPPD SVMアンサンブルを用いたハイブリッド組込み深層スパースオートエンコーダ Hybrid Embedded Deep Stacked Sparse Autoencoder with w_LPPD SVM Ensemble ( http://arxiv.org/abs/2002.06761v1 ) ライセンス: Link先を確認 | Yongming Li, Yan Lei, Pin Wang, Yuchuan Liu | (参考訳) ディープ・ラーニング(Deep Learning)は、人工知能の多くの分野において、強力な非経験的特徴変換を持つ機能学習の一種である。
deep autoencoderはディープラーニング手法の代表的手法であり、データセットの情報を効果的に抽出することができる。
しかし、深い機能変換の間、深い特徴と本来の特徴の相補性は考慮されていない。
また、小さなサンプル問題に悩まされている。
これらの問題を解決するために, 組込みスパースオートエンコーダ(HESSAE)を組み込んだ新しいディープオートエンコーダが提案されている。
HFESAEは、トレーニング中に弱い隠れ層出力をフィルタリングするためにオリジナルの特徴を埋め込むことで、識別可能な深い特徴を学習することができる。
抽象情報のクラス表現能力が小さなサンプル問題によって制限されている問題に対して,HFESAEが学習した抽象情報と本来の特徴を組み合わせ,特徴量削減のためのハイブリッドな特徴を得るための特徴融合戦略が考案されている。
この戦略はL1正則化に基づくハイブリッド特徴選択戦略であり、次に、各基底分類器に重み付き局所判別式保存プロジェクション(w_LPPD)を設計、採用するサポートベクトルマシン(SVM)アンサンブルモデルである。
本稿では,提案アルゴリズムの有効性を検証するために,いくつかの代表的な公開データセットを用いる。
実験の結果, 提案手法は, 代表的なディープオートエンコーダ法を含む, 既存および最先端の機能学習アルゴリズムと比較して, 優れた性能が得られることがわかった。 Deep learning is a kind of feature learning method with strong nonliear feature transformation and becomes more and more important in many fields of artificial intelligence. Deep autoencoder is one representative method of the deep learning methods, and can effectively extract abstract the information of datasets. However, it does not consider the complementarity between the deep features and original features during deep feature transformation. Besides, it suffers from small sample problem. In order to solve these problems, a novel deep autoencoder - hybrid feature embedded stacked sparse autoencoder(HESSAE) has been proposed in this paper. HFESAE is capable to learn discriminant deep features with the help of embedding original features to filter weak hidden-layer outputs during training. For the issue that class representation ability of abstract information is limited by small sample problem, a feature fusion strategy has been designed aiming to combining abstract information learned by HFESAE with original feature and obtain hybrid features for feature reduction. The strategy is hybrid feature selection strategy based on L1 regularization followed by an support vector machine(SVM) ensemble model, in which weighted local discriminant preservation projection (w_LPPD), is designed and employed on each base classifier. At the end of this paper, several representative public datasets are used to verify the effectiveness of the proposed algorithm. The experimental results demonstrated that, the proposed feature learning method yields superior performance compared to other existing and state of art feature learning algorithms including some representative deep autoencoder methods. | 翻訳日:2022-12-31 13:02:51 公開日:2020-02-17 |
| # ニューラルネットワーク翻訳へのBERTの導入 Incorporating BERT into Neural Machine Translation ( http://arxiv.org/abs/2002.06823v1 ) ライセンス: Link先を確認 | Jinhua Zhu, Yingce Xia, Lijun Wu, Di He, Tao Qin, Wengang Zhou, Houqiang Li and Tie-Yan Liu | (参考訳) 最近提案されたbertは、テキスト分類や読み理解など、さまざまな自然言語理解タスクにおいて大きな力を発揮しています。
しかし、BERTをニューラルネットワーク翻訳(NMT)に効果的に適用するには十分な探索が不十分である。
BERTは、下流言語理解タスクの文脈埋め込みではなく、より一般的にファインチューニングとして使用されるが、NMTでは、コンテキスト埋め込みとしてBERTを使用するという予備的な調査は、ファインチューニングよりも優れている。
この方向性に沿って、NMTにBERTをうまく活用する方法を考える動機になります。
BERT融合モデルという新しいアルゴリズムを提案し、まずBERTを用いて入力シーケンスの表現を抽出し、次にその表現をNMTモデルのエンコーダとデコーダの各レイヤに注意機構を通して融合させる。
我々は、教師付き(文レベルおよび文書レベルの翻訳を含む)、半教師付きおよび未教師付き機械翻訳の実験を行い、7つのベンチマークデータセットで最先端の結果を得る。
我々のコードは \url{https://github.com/bert-nmt/bert-nmt} で入手できる。 The recently proposed BERT has shown great power on a variety of natural language understanding tasks, such as text classification, reading comprehension, etc. However, how to effectively apply BERT to neural machine translation (NMT) lacks enough exploration. While BERT is more commonly used as fine-tuning instead of contextual embedding for downstream language understanding tasks, in NMT, our preliminary exploration of using BERT as contextual embedding is better than using for fine-tuning. This motivates us to think how to better leverage BERT for NMT along this direction. We propose a new algorithm named BERT-fused model, in which we first use BERT to extract representations for an input sequence, and then the representations are fused with each layer of the encoder and decoder of the NMT model through attention mechanisms. We conduct experiments on supervised (including sentence-level and document-level translations), semi-supervised and unsupervised machine translation, and achieve state-of-the-art results on seven benchmark datasets. Our code is available at \url{https://github.com/bert-nmt/bert-nmt}. | 翻訳日:2022-12-31 12:55:36 公開日:2020-02-17 |
| # GameWikiSum: 大規模マルチドキュメント要約データセット GameWikiSum: a Novel Large Multi-Document Summarization Dataset ( http://arxiv.org/abs/2002.06851v1 ) ライセンス: Link先を確認 | Diego Antognini, Boi Faltings | (参考訳) マルチドキュメント要約の分野での今日の研究の進展は、利用可能な少数のデータセットによって妨げられている。
参照サマリーの取得はコストがかかるため、既存のデータセットには数百のサンプルしか含まれておらず、手作りのフィーチャに依存するか、手作業で注釈付きデータが必要となる。
大きなコーパスの欠如は、洗練されたモデルの開発を妨げる。
加えて、一般に入手可能なマルチドキュメント要約コーパスはニュースドメインにあり、ビデオゲームドメインには類似のデータセットは存在しない。
本稿では,多文書要約のための新しいドメイン固有データセットであるGameWikiSumを提案する。
入力文書は、長いプロのビデオゲームレビューとウィキペディアページのゲームプレイセクションの参照で構成されている。
提案するデータセットを分析し,抽象モデルと抽出モデルの両方をトレーニング可能であることを示す。
さらなる研究のためにGameWikiSumをリリースします。 Today's research progress in the field of multi-document summarization is obstructed by the small number of available datasets. Since the acquisition of reference summaries is costly, existing datasets contain only hundreds of samples at most, resulting in heavy reliance on hand-crafted features or necessitating additional, manually annotated data. The lack of large corpora therefore hinders the development of sophisticated models. Additionally, most publicly available multi-document summarization corpora are in the news domain, and no analogous dataset exists in the video game domain. In this paper, we propose GameWikiSum, a new domain-specific dataset for multi-document summarization, which is one hundred times larger than commonly used datasets, and in another domain than news. Input documents consist of long professional video game reviews as well as references of their gameplay sections in Wikipedia pages. We analyze the proposed dataset and show that both abstractive and extractive models can be trained on it. We release GameWikiSum for further research: https://github.com/Diego999/GameWikiSum. | 翻訳日:2022-12-31 12:55:16 公開日:2020-02-17 |
| # 高速ビデオオブジェクトセグメンテーションのための方向性深層埋め込みと外観学習 Directional Deep Embedding and Appearance Learning for Fast Video Object Segmentation ( http://arxiv.org/abs/2002.06736v1 ) ライセンス: Link先を確認 | Yingjie Yin, De Xu, Xingang Wang and Lei Zhang | (参考訳) 最近の半教師付きビデオオブジェクトセグメンテーション(VOS)手法は、第1フレームの所定のマスクやその後のフレームの予測マスクを使用して、オンラインで微調整の深い畳み込みニューラルネットワークに依存している。
しかし、オンラインの微調整プロセスは通常時間を要するため、そのような手法の実用化は制限される。
高速なVOSを実現するために,オンラインファインチューニングプロセスが不要な指向性深層埋め込み・外観学習(DDEAL)手法を提案する。
まず,並列畳み込み操作により効率的に実装可能な大域的方向マッチングモジュールを提案する。
第2に,VOS の球面埋め込み空間上での目標と背景を表現するために,効果的な指向性モデルに基づく統計モデルを提案する。
DDEALは、グローバルな方向マッチングモジュールと指向性モデル学習モジュールを備え、ラベル付き第1フレームから静的キューを学び、オブジェクトセグメンテーションのためにその後のフレームのキューを動的に更新する。
本手法は,オンラインファインチューニングを使わずに最先端のVOS性能を示す。
具体的には、DAVIS 2017データセットでJ&F平均スコア74.8%、大規模YouTube-VOSデータセットで総合スコアG71.3%、NVIDIA TITAN Xp GPUで25fpsの速度を維持している。
さらに、より高速なバージョンは31fpsで、わずかに精度が低下します。
私たちのコードとトレーニングされたネットワークは、https://github.com/YingjieYin/Directional-Deep-Embedding-and-Appearance-Learning-for-Fast-Video-Obje ct-Segmentationで利用可能です。 Most recent semi-supervised video object segmentation (VOS) methods rely on fine-tuning deep convolutional neural networks online using the given mask of the first frame or predicted masks of subsequent frames. However, the online fine-tuning process is usually time-consuming, limiting the practical use of such methods. We propose a directional deep embedding and appearance learning (DDEAL) method, which is free of the online fine-tuning process, for fast VOS. First, a global directional matching module, which can be efficiently implemented by parallel convolutional operations, is proposed to learn a semantic pixel-wise embedding as an internal guidance. Second, an effective directional appearance model based statistics is proposed to represent the target and background on a spherical embedding space for VOS. Equipped with the global directional matching module and the directional appearance model learning module, DDEAL learns static cues from the labeled first frame and dynamically updates cues of the subsequent frames for object segmentation. Our method exhibits state-of-the-art VOS performance without using online fine-tuning. Specifically, it achieves a J & F mean score of 74.8% on DAVIS 2017 dataset and an overall score G of 71.3% on the large-scale YouTube-VOS dataset, while retaining a speed of 25 fps with a single NVIDIA TITAN Xp GPU. Furthermore, our faster version runs 31 fps with only a little accuracy loss. Our code and trained networks are available at https://github.com/YingjieYin/Directional-Deep-Embedding-and-Appearance-Learning-for-Fast-Video-Obje ct-Segmentation. | 翻訳日:2022-12-31 12:54:39 公開日:2020-02-17 |
| # CQ-VQA: カテゴリ化された質問に対する視覚的回答 CQ-VQA: Visual Question Answering on Categorized Questions ( http://arxiv.org/abs/2002.06800v1 ) ライセンス: Link先を確認 | Aakansha Mishra, Ashish Anand and Prithwijit Guha | (参考訳) 本稿では,視覚的質問応答(VQA)の課題を解決するために,新しい2段階の階層型だがエンドツーエンドのモデルであるCQ-VQAを提案する。
質問分類器(QC)と呼ばれる第1レベルのCQ-VQAは、潜在的な回答検索スペースを減らすために質問を分類する。
QCは、入力された質問と画像の付随および融合特徴を使用する。
第2のレベルは、回答予測器(AP)と呼ばれ、各質問カテゴリに対応する異なる分類器のセットからなる。
QCが予測する質問カテゴリによっては、APの分類器の1つのみがアクティブである。
QCとAPの損失関数は集約され、エンドツーエンドモデルとなる。
提案モデル (CQ-VQA) はTDIUCデータセット上で評価され, 最先端のアプローチに対してベンチマークされる。
その結果,CQ-VQAの競争力や性能が向上した。 This paper proposes CQ-VQA, a novel 2-level hierarchical but end-to-end model to solve the task of visual question answering (VQA). The first level of CQ-VQA, referred to as question categorizer (QC), classifies questions to reduce the potential answer search space. The QC uses attended and fused features of the input question and image. The second level, referred to as answer predictor (AP), comprises of a set of distinct classifiers corresponding to each question category. Depending on the question category predicted by QC, only one of the classifiers of AP remains active. The loss functions of QC and AP are aggregated together to make it an end-to-end model. The proposed model (CQ-VQA) is evaluated on the TDIUC dataset and is benchmarked against state-of-the-art approaches. Results indicate competitive or better performance of CQ-VQA. | 翻訳日:2022-12-31 12:54:08 公開日:2020-02-17 |
| # DeepDualMapper: 空中画像と軌道を用いた自動地図抽出のためのGated Fusion Network DeepDualMapper: A Gated Fusion Network for Automatic Map Extraction using Aerial Images and Trajectories ( http://arxiv.org/abs/2002.06832v1 ) ライセンス: Link先を確認 | Hao Wu, Hanyuan Zhang, Xinyu Zhang, Weiwei Sun, Baihua Zheng, Yuning Jiang | (参考訳) 自動地図抽出は都市コンピューティングと位置情報サービスにとって非常に重要である。
航空画像とgps軌道データは、異なる種類の情報を持っているにもかかわらず、地図を生成するために活用できる2つの異なるデータソースを参照している。
空中画像と補助センサーのデータとのデータ融合に関するこれまでの研究は、両方のモダリティの情報を完全に活用していないため、情報損失の問題に悩まされている。
本稿では、よりシームレスに空中画像と軌跡データを融合してデジタルマップを抽出するDeepDualMapperと呼ばれる深層畳み込みニューラルネットワークを提案する。
我々は,両モードからの情報フローを相補的に明示的に制御するゲート融合モジュールを設計する。
さらに,細粒度から細粒度までの予測を行うために,教師付き精細デコーダを提案する。
総合的な実験により,deepdualmapperは既存の手法よりもはるかに効果的に画像と軌跡の情報を融合でき,高い精度で地図を生成できることを示した。 Automatic map extraction is of great importance to urban computing and location-based services. Aerial image and GPS trajectory data refer to two different data sources that could be leveraged to generate the map, although they carry different types of information. Most previous works on data fusion between aerial images and data from auxiliary sensors do not fully utilize the information of both modalities and hence suffer from the issue of information loss. We propose a deep convolutional neural network called DeepDualMapper which fuses the aerial image and trajectory data in a more seamless manner to extract the digital map. We design a gated fusion module to explicitly control the information flows from both modalities in a complementary-aware manner. Moreover, we propose a novel densely supervised refinement decoder to generate the prediction in a coarse-to-fine way. Our comprehensive experiments demonstrate that DeepDualMapper can fuse the information of images and trajectories much more effectively than existing approaches, and is able to generate maps with higher accuracy. | 翻訳日:2022-12-31 12:53:07 公開日:2020-02-17 |
| # 先行知識を用いたマルチ線形圧縮学習 Multilinear Compressive Learning with Prior Knowledge ( http://arxiv.org/abs/2002.07203v1 ) ライセンス: Link先を確認 | Dat Thanh Tran, Moncef Gabbouj, Alexandros Iosifidis | (参考訳) 最近提案されたMCL(Multilinear Compressive Learning)フレームワークは、センサと特徴合成コンポーネントを設計する際に、信号の多次元構造を考慮したエンドツーエンドシステムに、マルチ線形圧縮センシングと機械学習を組み合わせる。
MCLの背後にある重要なアイデアは、下流学習タスクの信号から重要な特徴を捉えることのできるテンソル部分空間の存在を仮定することである。
したがって、そのような判別テンソル部分空間を見つけ、そのデータ多様体に信号を投影するシステムを最適化する能力は、多線形圧縮学習において重要な役割を果たす。
本稿では、上記の要件、すなわち、関心の信号が分離可能なテンソル部分空間をどうやって見つけるかという、2つの要件に対処する新しい解決策を提案する。
そして、最初の質問で見つかったデータ多様体に元の信号を変換するために、センシングと特徴合成コンポーネントをどう最適化するか?
本提案では,非線形圧縮学習システムを推論タスクで訓練することにより,高品質なデータ多様体の発見を行う。
興味のあるデータ多様体に関するその知識は、圧縮された測定値、合成された特徴、そして予測がどのようにあるべきかをコードする監督情報を用いて、多段階の教師付きトレーニングによって徐々にMCLコンポーネントに転送される。
提案する知識伝達アルゴリズムは、圧縮学習モデルがラベルなしのデータを有効に利用できる半教師付き適応も備えている。
広範な実験により,提案手法はmclモデルを効果的に学習し,特に学習タスクの複雑さが増大する場合において,学習タスクのより優れた特徴を圧縮的に認識し合成できることが示されている。 The recently proposed Multilinear Compressive Learning (MCL) framework combines Multilinear Compressive Sensing and Machine Learning into an end-to-end system that takes into account the multidimensional structure of the signals when designing the sensing and feature synthesis components. The key idea behind MCL is the assumption of the existence of a tensor subspace which can capture the essential features from the signal for the downstream learning task. Thus, the ability to find such a discriminative tensor subspace and optimize the system to project the signals onto that data manifold plays an important role in Multilinear Compressive Learning. In this paper, we propose a novel solution to address both of the aforementioned requirements, i.e., How to find those tensor subspaces in which the signals of interest are highly separable? and How to optimize the sensing and feature synthesis components to transform the original signals to the data manifold found in the first question? In our proposal, the discovery of a high-quality data manifold is conducted by training a nonlinear compressive learning system on the inference task. Its knowledge of the data manifold of interest is then progressively transferred to the MCL components via multi-stage supervised training with the supervisory information encoding how the compressed measurements, the synthesized features, and the predictions should be like. The proposed knowledge transfer algorithm also comes with a semi-supervised adaption that enables compressive learning models to utilize unlabeled data effectively. Extensive experiments demonstrate that the proposed knowledge transfer method can effectively train MCL models to compressively sense and synthesize better features for the learning tasks with improved performances, especially when the complexity of the learning task increases. | 翻訳日:2022-12-31 12:52:49 公開日:2020-02-17 |
| # 大孔面前面用デュアルアテンションgan Dual-Attention GAN for Large-Pose Face Frontalization ( http://arxiv.org/abs/2002.07227v1 ) ライセンス: Link先を確認 | Yu Yin and Songyao Jiang and Joseph P. Robinson and Yun Fu | (参考訳) face frontalizationは、顔データ拡張の効果的かつ効率的な方法を提供し、極端なポーズシナリオにおける顔認識性能をさらに向上させる。
近年の深層学習に基づく顔合成手法の進歩にもかかわらず、重要なポーズと照明の相違により、この問題はいまだに困難である。
本稿では,gan学習中に文脈依存と局所的一貫性の両方を捉えることにより,フォトリアリスティックな顔のフロントアライズを行うための,dual-attention generative adversarial network(da-gan)を提案する。
具体的には、自己注意に基づくジェネレータを導入し、局所的な特徴と長距離の依存関係を統合することにより、より優れた特徴表現が得られる。
さらに, 顔領域の局所的特徴を強調するために, 新規な顔認識に基づく識別器を適用し, 合成正面面のリアリズムを強化する。
セマンティックセグメンテーションによって導かれる4つの独立した判別器は、顔の異なる側面(皮膚、キーポイント、ヘアライン、前面顔)を区別するために使用される。
これら2つの相補的注意機構をジェネレータと識別器に別々に導入することにより、よりリッチな特徴表現を学習し、より細部(すなわち、より正確な顔の外観とテクスチャ)で前景のアイデンティティを保存することができる。
DA-GAN法の有効性と有効性を示す定量的,定性的な実験結果を得た。 Face frontalization provides an effective and efficient way for face data augmentation and further improves the face recognition performance in extreme pose scenario. Despite recent advances in deep learning-based face synthesis approaches, this problem is still challenging due to significant pose and illumination discrepancy. In this paper, we present a novel Dual-Attention Generative Adversarial Network (DA-GAN) for photo-realistic face frontalization by capturing both contextual dependencies and local consistency during GAN training. Specifically, a self-attention-based generator is introduced to integrate local features with their long-range dependencies yielding better feature representations, and hence generate faces that preserve identities better, especially for larger pose angles. Moreover, a novel face-attention-based discriminator is applied to emphasize local features of face regions, and hence reinforce the realism of synthetic frontal faces. Guided by semantic segmentation, four independent discriminators are used to distinguish between different aspects of a face (\ie skin, keypoints, hairline, and frontalized face). By introducing these two complementary attention mechanisms in generator and discriminator separately, we can learn a richer feature representation and generate identity preserving inference of frontal views with much finer details (i.e., more accurate facial appearance and textures) comparing to the state-of-the-art. Quantitative and qualitative experimental results demonstrate the effectiveness and efficiency of our DA-GAN approach. | 翻訳日:2022-12-31 12:52:20 公開日:2020-02-17 |
| # ディディクティカル・ディバイバル・サンプルにおける深層学習表現の類似性について On the Similarity of Deep Learning Representations Across Didactic and Adversarial Examples ( http://arxiv.org/abs/2002.06816v1 ) ライセンス: Link先を確認 | Pamela K. Douglas, Farzad Vasheghani Farahani | (参考訳) ディープニューラルネットワーク(dnn)の利用の増加は、誤分類の成功から利益を得る敵の設計という並列的な取り組みの動機となった。
しかし、全ての敵の例が悪意ある目的のために作られたわけではない。
例えば、現実世界のシステムは、しばしば楽器間の物理的、時間的、サンプリングのばらつきを含む。
ワイルドの敵対的な例は、正確な予測モデリングのために不注意に削除を証明します。
逆に、自然に発生する画像の特徴の共分散は、実践的な目的に役立ちうる。
そこで本研究では,mri取得に特徴的なディダクティック条件と逆境条件にまたがる神経画像分類における深層学習表現の安定性について検討した。
入力空間における逆例の頻度に応じて表現的類似性と性能が変化することを示す。 The increasing use of deep neural networks (DNNs) has motivated a parallel endeavor: the design of adversaries that profit from successful misclassifications. However, not all adversarial examples are crafted for malicious purposes. For example, real world systems often contain physical, temporal, and sampling variability across instrumentation. Adversarial examples in the wild may inadvertently prove deleterious for accurate predictive modeling. Conversely, naturally occurring covariance of image features may serve didactic purposes. Here, we studied the stability of deep learning representations for neuroimaging classification across didactic and adversarial conditions characteristic of MRI acquisition variability. We show that representational similarity and performance vary according to the frequency of adversarial examples in the input space. | 翻訳日:2022-12-31 12:45:27 公開日:2020-02-17 |
| # 注意機構を用いた画像のニューラルネットワークによる任意のスタイル転送 Neural arbitrary style transfer for portrait images using the attention mechanism ( http://arxiv.org/abs/2002.07643v1 ) ライセンス: Link先を確認 | S. A. Berezin, V.M. Volkova | (参考訳) 任意スタイル転送は、コンテンツイメージとスタイルイメージという2つの与えられたイメージを使用して、これまで見たことのないイメージを合成するタスクである。
内容画像は、結果の画像の構造、基本的な幾何学的線、形状を形成し、スタイル画像は結果の色とテクスチャを設定する。
この文脈で"arbitrary"という言葉は、事前学習されたスタイルが存在しないことを意味する。
例えば、新しいスタイルのトレーニングや新しい量のデータの再トレーニングの後にのみ、新しいスタイルを転送できる畳み込みニューラルネットワークは、そのような問題を解決するために、畳み込みをしないが、注意メクアニズムに基づくネットワークは、再トレーニングせずにそのような変換を行うことができる。
オリジナルイメージは例えば写真でもよいし、スタイルイメージは有名アーティストの絵でも構わない。
このケースで得られた画像は、オリジナルの写真に描かれたシーンで、この写真のスタイリで作られます。
近年の任意のスタイル転送アルゴリズムは, 人物の肖像画の処理において, 顔の特徴が過度に歪んだり, 弱く表現されたりすることで, 画像の特徴を欠くことなく, 良好な再侮辱を実現することができる。
本稿では、特定の画像セグメントの内容に基づいてスタイルを転送する注意機構を備えたディープニューラルネットワークの複合アーキテクチャを用いて、この問題を解決するためのアプローチについて検討する。 Arbitrary style transfer is the task of synthesis of an image that has never been seen before, using two given images: content image and style image. The content image forms the structure, the basic geometric lines and shapes of the resulting image, while the style image sets the color and texture of the result. The word "arbitrary" in this context means the absence of any one pre-learned style. So, for example, convolutional neural networks capable of transferring a new style only after training or retraining on a new amount of data are not con-sidered to solve such a problem, while networks based on the attention mech-anism that are capable of performing such a transformation without retraining - yes. An original image can be, for example, a photograph, and a style image can be a painting of a famous artist. The resulting image in this case will be the scene depicted in the original photograph, made in the stylie of this picture. Recent arbitrary style transfer algorithms make it possible to achieve good re-sults in this task, however, in processing portrait images of people, the result of such algorithms is either unacceptable due to excessive distortion of facial features, or weakly expressed, not bearing the characteristic features of a style image. In this paper, we consider an approach to solving this problem using the combined architecture of deep neural networks with a attention mechanism that transfers style based on the contents of a particular image segment: with a clear predominance of style over the form for the background part of the im-age, and with the prevalence of content over the form in the image part con-taining directly the image of a person. | 翻訳日:2022-12-31 12:44:15 公開日:2020-02-17 |
| # グラフニューラルネットワークの相反最適化によるワイヤレス電力制御 Wireless Power Control via Counterfactual Optimization of Graph Neural Networks ( http://arxiv.org/abs/2002.07631v1 ) ライセンス: Link先を確認 | Navid Naderializadeh, Mark Eisen, Alejandro Ribeiro | (参考訳) 本稿では,無線ネットワークにおけるダウンリンク電力制御の問題点について考察する。
コンカレントトランスミッション間の干渉を軽減するために,ネットワークトポロジを活用してグラフニューラルネットワークアーキテクチャを構築し,教師なしの原始二重対実最適化手法を用いて最適電力配分決定を学習する。
提案手法は,ネットワークサイズに適応した最小レート制約を保証し,ネットワーク構成全体を通じて平均と5,5,5,4,500ドルのパーセンタイルユーザレートの適切なバランスを実現する方法を示す。 We consider the problem of downlink power control in wireless networks, consisting of multiple transmitter-receiver pairs communicating with each other over a single shared wireless medium. To mitigate the interference among concurrent transmissions, we leverage the network topology to create a graph neural network architecture, and we then use an unsupervised primal-dual counterfactual optimization approach to learn optimal power allocation decisions. We show how the counterfactual optimization technique allows us to guarantee a minimum rate constraint, which adapts to the network size, hence achieving the right balance between average and $5^{th}$ percentile user rates throughout a range of network configurations. | 翻訳日:2022-12-31 12:43:00 公開日:2020-02-17 |
| # 政策勾配に対する適応的経験選択 Adaptive Experience Selection for Policy Gradient ( http://arxiv.org/abs/2002.06946v1 ) ライセンス: Link先を確認 | Saad Mohamad and Giovanni Montana | (参考訳) ポリシー勾配強化学習 (RL) アルゴリズムは, 連続制御などの学習課題において, 高いサンプル複雑性に悩まされている。
経験的リプレイは標本効率を改善するために一般的に用いられる手法であるが、過去の軌道を用いた勾配推定器は一般的に高いばらつきを持つ。
均一サンプリングや優先順位付き経験リプレイのような経験リプレイのための既存のサンプリング戦略は、勾配推定のばらつきを明示的に制御しようとしない。
本稿では,この分散を明示的に最小化する経験サンプリング分布を適応的に学習するオンライン学習アルゴリズムadaptive experience selection (aes)を提案する。
後悔の最小化アプローチを用いて、AESは最適分散と仮定される競合分布の性能に一致するように、経験サンプリング分布を反復的に更新する。
サンプル非定常性は、閉形式解が提案される動的(時間変化)競合分布を提案することで解決される。
AESは適切なサンプルの複雑さを持つ低回帰アルゴリズムであることを示す。
実験的に、AESは決定論的ポリシー勾配とソフトアクター批判アルゴリズムのために実装され、OpenAI Gymライブラリから8つの連続制御タスクでテストされている。
以上の結果から,AESは,現在利用可能な政策勾配のサンプリング方法と比較して,性能が大幅に向上することが示された。 Policy gradient reinforcement learning (RL) algorithms have achieved impressive performance in challenging learning tasks such as continuous control, but suffer from high sample complexity. Experience replay is a commonly used approach to improve sample efficiency, but gradient estimators using past trajectories typically have high variance. Existing sampling strategies for experience replay like uniform sampling or prioritised experience replay do not explicitly try to control the variance of the gradient estimates. In this paper, we propose an online learning algorithm, adaptive experience selection (AES), to adaptively learn an experience sampling distribution that explicitly minimises this variance. Using a regret minimisation approach, AES iteratively updates the experience sampling distribution to match the performance of a competitor distribution assumed to have optimal variance. Sample non-stationarity is addressed by proposing a dynamic (i.e. time changing) competitor distribution for which a closed-form solution is proposed. We demonstrate that AES is a low-regret algorithm with reasonable sample complexity. Empirically, AES has been implemented for deep deterministic policy gradient and soft actor critic algorithms, and tested on 8 continuous control tasks from the OpenAI Gym library. Ours results show that AES leads to significantly improved performance compared to currently available experience sampling strategies for policy gradient. | 翻訳日:2022-12-31 12:38:05 公開日:2020-02-17 |
| # 制約付き自己調和最小化のためのNewton Frank-Wolfe法 A Newton Frank-Wolfe Method for Constrained Self-Concordant Minimization ( http://arxiv.org/abs/2002.07003v1 ) ライセンス: Link先を確認 | Deyi Liu, Volkan Cevher, Quoc Tran-Dinh | (参考訳) 我々は,制約集合上の線形最小化オラクル(lmo)を用いた制約付き自己一致最小化問題のクラスをスカラブ的に解く方法を示す。
L-smoothの場合、我々の手法のLMO呼び出し数はFrank-Wolfe法とほぼ同じであることを示す。
具体的には、Newton Frank-Wolfe 法は $\mathcal{O}(\epsilon^{-\nu})$ LMO's を使い、$\epsilon$ は所望の精度であり、$\nu:= 1 + o(1)$ である。
さらに, このアルゴリズムは, アウトステップを含む改良されたLMOベースのスキームを有効活用し, 線形収束率を達成できることを示す。
また,競争比,d-最適実験設計,およびニュートン・フランク=ウルフが最先端技術を上回る弾性ネットを用いたロジスティック回帰によるポートフォリオ設計についても,数値的な証拠を提供する。 We demonstrate how to scalably solve a class of constrained self-concordant minimization problems using linear minimization oracles (LMO) over the constraint set. We prove that the number of LMO calls of our method is nearly the same as that of the Frank-Wolfe method in the L-smooth case. Specifically, our Newton Frank-Wolfe method uses $\mathcal{O}(\epsilon^{-\nu})$ LMO's, where $\epsilon$ is the desired accuracy and $\nu:= 1 + o(1)$. In addition, we demonstrate how our algorithm can exploit the improved variants of the LMO-based schemes, including away-steps, to attain linear convergence rates. We also provide numerical evidence with portfolio design with the competitive ratio, D-optimal experimental design, and logistic regression with the elastic net where Newton Frank-Wolfe outperforms the state-of-the-art. | 翻訳日:2022-12-31 12:37:26 公開日:2020-02-17 |
| # 生成モデルによる分子の合成可能性 The Synthesizability of Molecules Proposed by Generative Models ( http://arxiv.org/abs/2002.07007v1 ) ライセンス: Link先を確認 | Wenhao Gao, Connor W. Coley | (参考訳) 機能性分子の発見は高価で時間を要するプロセスであり、小さな分子治療の発見のコストの上昇によって実証される。
早期の創薬への関心を高めている手法の1つは、新しいディープラーニングアプローチの開発によって触媒されるde novo分子生成と最適化である。
これらの技術は、化学空間のブルートフォース探索に頼ることなく、例えば特定の標的に対する治療としての適合性を最大化するための新しい分子構造を提案できる。
しかし、これらのアプローチの有用性は合成可能性の無知によって損なわれている。
この問題の深刻さを強調するため,我々はデータ駆動型コンピュータ支援合成計画プログラムを用いて,最先端生成モデルによって提案された分子が容易に合成できない頻度を定量化する。
これらのモデルが非現実的な分子構造を生成するタスクがいくつか存在することを示した。
合成複雑性ヒューリスティックは、合成引き込み可能な化学空間へのバイアス生成を成功させるが、必ずしも第一目的から外れることはない。
この分析は、実際の発見ワークフローにおけるこれらのモデルの有用性を改善するために、新しいアルゴリズム開発が保証されることを示唆している。 The discovery of functional molecules is an expensive and time-consuming process, exemplified by the rising costs of small molecule therapeutic discovery. One class of techniques of growing interest for early-stage drug discovery is de novo molecular generation and optimization, catalyzed by the development of new deep learning approaches. These techniques can suggest novel molecular structures intended to maximize a multi-objective function, e.g., suitability as a therapeutic against a particular target, without relying on brute-force exploration of a chemical space. However, the utility of these approaches is stymied by ignorance of synthesizability. To highlight the severity of this issue, we use a data-driven computer-aided synthesis planning program to quantify how often molecules proposed by state-of-the-art generative models cannot be readily synthesized. Our analysis demonstrates that there are several tasks for which these models generate unrealistic molecular structures despite performing well on popular quantitative benchmarks. Synthetic complexity heuristics can successfully bias generation toward synthetically-tractable chemical space, although doing so necessarily detracts from the primary objective. This analysis suggests that to improve the utility of these models in real discovery workflows, new algorithm development is warranted. | 翻訳日:2022-12-31 12:37:06 公開日:2020-02-17 |
| # Instagramでフェイクエンゲージメントを発生させる方法は? How Impersonators Exploit Instagram to Generate Fake Engagement? ( http://arxiv.org/abs/2002.07173v1 ) ライセンス: Link先を確認 | Koosha Zarei, Reza Farahbakhsh, Noel Crespi | (参考訳) Instagramのようなオンラインソーシャルネットワークの人物は、コンテンツの伝播に重要な役割を果たしている。
これらのエンティティは、正当なアカウントを偽装しようとする悪質な偽アカウントの一種である。
個人化されたプロフィールを持つことに加えて、認証されたアカウントの公開ポストに対するこれらのエンティティからのかなりの関与も観察した。
この目的に向けて,instagram 上で "politician' , "news agency' , "sports star'' の3つの主要なコミュニティで研究されている,活動的および受動的関与の観点で偽装者の関与に焦点を当てた。
各コミュニティ内では4つの認証アカウントが選択されている。
これまでの研究で実施されたアプローチに基づいて、我々は7ヶ月の間に3.8Kインタラクタから作成された566の投稿に4.8Kのコメントと2.6Kのいいね!
私たちの研究は、この興味深い現象に光を当て、コメントを書いたり、いいね!を去るという観点で、インタラクテーターがInstagram内でどのように関与しているかをよりよく理解するのに役立ちます。 Impersonators on Online Social Networks such as Instagram are playing an important role in the propagation of the content. These entities are the type of nefarious fake accounts that intend to disguise a legitimate account by making similar profiles. In addition to having impersonated profiles, we observed a considerable engagement from these entities to the published posts of verified accounts. Toward that end, we concentrate on the engagement of impersonators in terms of active and passive engagements which is studied in three major communities including ``Politician'', ``News agency'', and ``Sports star'' on Instagram. Inside each community, four verified accounts have been selected. Based on the implemented approach in our previous studies, we have collected 4.8K comments, and 2.6K likes across 566 posts created from 3.8K impersonators during 7 months. Our study shed light into this interesting phenomena and provides a surprising observation that can help us to understand better how impersonators engaging themselves inside Instagram in terms of writing Comments and leaving Likes. | 翻訳日:2022-12-31 12:36:00 公開日:2020-02-17 |
| # 確率的非有界逆攻撃下におけるロバスト確率帯域幅アルゴリズム Robust Stochastic Bandit Algorithms under Probabilistic Unbounded Adversarial Attack ( http://arxiv.org/abs/2002.07214v1 ) ライセンス: Link先を確認 | Ziwei Guan, Kaiyi Ji, Donald J Bucci Jr, Timothy Y Hu, Joseph Palombo, Michael Liston, Yingbin Liang | (参考訳) マルチアームのバンディット形式主義は様々な攻撃モデルの下で広範囲に研究され、敵がプレイヤーに示される報酬を修正できる。
以前の研究では、攻撃値が各ラウンドで境界付けられたり、発生確率が消失するシナリオに焦点を当てていた。
これらのモデルは、明らかな報酬を壊滅的に乱すような強力な敵を捉えない。
本稿では,各ラウンドにおいて一定の確率で攻撃を行い,攻撃時にその攻撃値を任意かつ無制限にすることができる攻撃モデルについて検討する。
さらに、攻撃値は必ずしも統計分布に従わない。
med-e-ucbと呼ばれる新しいサンプル中央値および探索支援ucbアルゴリズムと、中央値に基づく$\epsilon$-greedyアルゴリズム(med-$\epsilon$-greedy)を提案する。
これらのアルゴリズムは、上記の攻撃モデルに対して確実に堅牢である。
より具体的には、どちらのアルゴリズムも$\mathcal{o}(\log t)$ pseudo-regret(攻撃なしの最適後悔)を達成することを示している。
また、ランダムな報酬とランダムな攻撃の発生に関して、$\mathcal{O}(\log T)$ regretの高い確率保証を提供する。
これらの境界は、攻撃確率が一定の一定しきい値を超えない限り、任意かつ非有界な報酬摂動の下で達成される。
本稿では,提案アルゴリズムの複数の合成シミュレーションを行い,これらの主張を検証し,既存の手法が不備であることを示す。
また,複数のソフトウェア定義無線を用いてコグニティブ無線環境で動作するアルゴリズムの実験結果を提供する。 The multi-armed bandit formalism has been extensively studied under various attack models, in which an adversary can modify the reward revealed to the player. Previous studies focused on scenarios where the attack value either is bounded at each round or has a vanishing probability of occurrence. These models do not capture powerful adversaries that can catastrophically perturb the revealed reward. This paper investigates the attack model where an adversary attacks with a certain probability at each round, and its attack value can be arbitrary and unbounded if it attacks. Furthermore, the attack value does not necessarily follow a statistical distribution. We propose a novel sample median-based and exploration-aided UCB algorithm (called med-E-UCB) and a median-based $\epsilon$-greedy algorithm (called med-$\epsilon$-greedy). Both of these algorithms are provably robust to the aforementioned attack model. More specifically we show that both algorithms achieve $\mathcal{O}(\log T)$ pseudo-regret (i.e., the optimal regret without attacks). We also provide a high probability guarantee of $\mathcal{O}(\log T)$ regret with respect to random rewards and random occurrence of attacks. These bounds are achieved under arbitrary and unbounded reward perturbation as long as the attack probability does not exceed a certain constant threshold. We provide multiple synthetic simulations of the proposed algorithms to verify these claims and showcase the inability of existing techniques to achieve sublinear regret. We also provide experimental results of the algorithm operating in a cognitive radio setting using multiple software-defined radios. | 翻訳日:2022-12-31 12:35:28 公開日:2020-02-17 |
| # SchNetとSHARCを組み合わせる: 励起状態ダイナミクスのためのSchNarc機械学習アプローチ Combining SchNet and SHARC: The SchNarc machine learning approach for excited-state dynamics ( http://arxiv.org/abs/2002.07264v1 ) ライセンス: Link先を確認 | Julia Westermayr, Michael Gastegger, Philipp Marquetand | (参考訳) 近年、ディープラーニングは私たちの日常生活の一部となり、量子化学にも革命をもたらしています。
本稿では,光力学シミュレーションにおける重要な性質をすべて学習することにより,光化学研究分野を深層学習がいかに前進させるかを示す。
性質は、複数のエネルギー、力、非断熱カップリング、スピン軌道カップリングである。
非線形結合は、回転共分散を保証する深層学習モデルにより、仮想的に構築された特性の微分として位相自由な方法で学習される。
さらに、ポテンシャル、その勾配、およびヘシアンに基づいて、非断熱的カップリングの近似を導入する。
深層学習法として、複数の電子状態に対して拡張されたSchNetを用いる。
分子動力学プログラムSHARCと組み合わせて、SchNarcと呼ばれるアプローチをモデル系と2つの現実的多原子分子でテストし、複雑な系の効率的な光力学シミュレーションへの道を開く。 In recent years, deep learning has become a part of our everyday life and is revolutionizing quantum chemistry as well. In this work, we show how deep learning can be used to advance the research field of photochemistry by learning all important properties for photodynamics simulations. The properties are multiple energies, forces, nonadiabatic couplings and spin-orbit couplings. The nonadiabatic couplings are learned in a phase-free manner as derivatives of a virtually constructed property by the deep learning model, which guarantees rotational covariance. Additionally, an approximation for nonadiabatic couplings is introduced, based on the potentials, their gradients and Hessians. As deep-learning method, we employ SchNet extended for multiple electronic states. In combination with the molecular dynamics program SHARC, our approach termed SchNarc is tested on a model system and two realistic polyatomic molecules and paves the way towards efficient photodynamics simulations of complex systems. | 翻訳日:2022-12-31 12:34:28 公開日:2020-02-17 |
| # 末尾拘束目標に基づく動的確率制約ナップサック問題の進化的二目的最適化 Evolutionary Bi-objective Optimization for the Dynamic Chance-Constrained Knapsack Problem Based on Tail Bound Objectives ( http://arxiv.org/abs/2002.06766v1 ) ライセンス: Link先を確認 | Hirad Assimi, Oscar Harper, Yue Xie, Aneta Neumann, Frank Neumann | (参考訳) 実世界の組合せ最適化問題はしばしば確率的かつ動的である。
したがって、総合的なアプローチで最適かつ信頼性の高い意思決定を行うことが不可欠である。
本稿では,各項目の重量が確率的であり,容量制約が時間とともに動的に変化し,総重量が容量を超える確率に基づいて総利益を最大化することを目的とした動的確率制約ナップサック問題を考える。
チェビシェフの不等式(chebyshev's inequality)やチャーノフ・バウンド(chernoff bound)のような顕著な尾の不等式を用いて確率的制約を近似する。
我々の重要な貢献は、まだチャンス制約を満たす確率的解の最小容量を推定する追加の目的を導入することである。
この目的は、確率問題に対する動的変化に対応するのに役立つ。
我々は,単一および多目的進化アルゴリズムを問題に適用し,2目的最適化が動的確率制約問題に対する対処にどのように役立つかを示す。 Real-world combinatorial optimization problems are often stochastic and dynamic. Therefore, it is essential to make optimal and reliable decisions with a holistic approach. In this paper, we consider the dynamic chance-constrained knapsack problem where the weight of each item is stochastic, the capacity constraint changes dynamically over time, and the objective is to maximize the total profit subject to the probability that total weight exceeds the capacity. We make use of prominent tail inequalities such as Chebyshev's inequality, and Chernoff bound to approximate the probabilistic constraint. Our key contribution is to introduce an additional objective which estimates the minimal capacity bound for a given stochastic solution that still meets the chance constraint. This objective helps to cater for dynamic changes to the stochastic problem. We apply single- and multi-objective evolutionary algorithms to the problem and show how bi-objective optimization can help to deal with dynamic chance-constrained problems. | 翻訳日:2022-12-31 12:28:15 公開日:2020-02-17 |
| # 逆バックドア攻撃による連続学習者の目標設定と偽記憶形成 Targeted Forgetting and False Memory Formation in Continual Learners through Adversarial Backdoor Attacks ( http://arxiv.org/abs/2002.07111v1 ) ライセンス: Link先を確認 | Muhammad Umer, Glenn Dawson, Robi Polikar | (参考訳) ニューラルネットワークは、タスクのシーケンスから継続的に学習するときに壊滅的な忘れがちであることがよく知られている。
破滅的な忘れ物を避けるために、様々な連続的(あるいは「増分的」な)学習アプローチが提案されているが、それらは通常、敵対的な無知である。
本研究では,破滅的な忘れ物を避けるための連続学習アルゴリズムであるElastic Weight Consolidation (EWC)の脆弱性について検討する。
知的敵は、EWCの防御を回避でき、訓練中に少量の誤報をモデルに導入することで、徐々に、意図的に忘れることを引き起こす。
MNISTデータセットの置換型と分割型の両方に"バックドア"攻撃サンプルを注入することで、モデルの制御を前提とする敵の能力を実証する。
重要なことは、モデルが敵の誤報を学習したら、敵は任意のタスクを忘れる量を制御することができる。
同様に、悪意のあるアクターは、そのタスクのテストインスタンスの任意の部分に慎重に設計されたバックドアサンプルを挿入することで、タスクに関する"偽メモリ"を作成することができる。
ニューラルネットワークのメモリは、1つのタスクのトレーニングデータの1%にバックドアのサンプルを追加することで簡単に損なわれる可能性がある。 Artificial neural networks are well-known to be susceptible to catastrophic forgetting when continually learning from sequences of tasks. Various continual (or "incremental") learning approaches have been proposed to avoid catastrophic forgetting, but they are typically adversary agnostic, i.e., they do not consider the possibility of a malicious attack. In this effort, we explore the vulnerability of Elastic Weight Consolidation (EWC), a popular continual learning algorithm for avoiding catastrophic forgetting. We show that an intelligent adversary can bypass the EWC's defenses, and instead cause gradual and deliberate forgetting by introducing small amounts of misinformation to the model during training. We demonstrate such an adversary's ability to assume control of the model via injection of "backdoor" attack samples on both permuted and split benchmark variants of the MNIST dataset. Importantly, once the model has learned the adversarial misinformation, the adversary can then control the amount of forgetting of any task. Equivalently, the malicious actor can create a "false memory" about any task by inserting carefully-designed backdoor samples to any fraction of the test instances of that task. Perhaps most damaging, we show this vulnerability to be very acute; neural network memory can be easily compromised with the addition of backdoor samples into as little as 1% of the training data of even a single task. | 翻訳日:2022-12-31 12:27:58 公開日:2020-02-17 |
| # 密度推定と系列生成の差について On the Discrepancy between Density Estimation and Sequence Generation ( http://arxiv.org/abs/2002.07233v1 ) ライセンス: Link先を確認 | Jason Lee, Dustin Tran, Orhan Firat, Kyunghyun Cho | (参考訳) 機械翻訳やテキスト音声を含むシーケンス・ツー・シーケンス生成タスクは、入力 x: p(y|x) が与えられたときの出力 y の密度を推定できる。
この解釈を前提にすると、テスト集合上の条件付きログ類似性を用いてシーケンスからシーケンスへのモデルを評価することは自然である。
しかし、シーケンス-シーケンス生成(または構造化予測)の目標は、入力xが与えた最良の出力y^を見つけることであり、各タスクは、参照y*: r(y^, y* | x)の集合と比較して出力されるモデルを示す独自の下流メトリックrを持つ。
密度推定に優れたモデルが下流のメトリクスでもうまく機能することを願っているが、シーケンス生成タスクでは正確な相関が研究されていない。
本稿では,5つの機械翻訳タスクにおいて,複数の密度推定器を比較することにより,比較対象のモデルファミリーの範囲によって,対数様度に基づくモデルのランク付けとBLEUとの相関が著しく異なることがわかった。
まず、同じファミリー内のモデル(例えば自己回帰モデルや、前者と同じパラメータ化を持つ潜在変数モデル)を考えると、ログライクリフはBLEUと高い相関性を持つ。
しかし,1)非自己回帰型潜在変数モデルでは,フレキシブルな事前分布は密度推定では優れているが,単純な先行モデルよりも生成品質が悪く,(2)自己回帰型モデルでは全体的な翻訳性能が良好であり,一方,正規化フローを持つ潜在変数モデルでは,すべてのデータセットで最大保持数となる。
したがって、高速な生成速度が要求される場合、遅延変数非自己回帰モデルに対して単純な事前利用を推奨する。 Many sequence-to-sequence generation tasks, including machine translation and text-to-speech, can be posed as estimating the density of the output y given the input x: p(y|x). Given this interpretation, it is natural to evaluate sequence-to-sequence models using conditional log-likelihood on a test set. However, the goal of sequence-to-sequence generation (or structured prediction) is to find the best output y^ given an input x, and each task has its own downstream metric R that scores a model output by comparing against a set of references y*: R(y^, y* | x). While we hope that a model that excels in density estimation also performs well on the downstream metric, the exact correlation has not been studied for sequence generation tasks. In this paper, by comparing several density estimators on five machine translation tasks, we find that the correlation between rankings of models based on log-likelihood and BLEU varies significantly depending on the range of the model families being compared. First, log-likelihood is highly correlated with BLEU when we consider models within the same family (e.g. autoregressive models, or latent variable models with the same parameterization of the prior). However, we observe no correlation between rankings of models across different families: (1) among non-autoregressive latent variable models, a flexible prior distribution is better at density estimation but gives worse generation quality than a simple prior, and (2) autoregressive models offer the best translation performance overall, while latent variable models with a normalizing flow prior give the highest held-out log-likelihood across all datasets. Therefore, we recommend using a simple prior for the latent variable non-autoregressive model when fast generation speed is desired. | 翻訳日:2022-12-31 12:18:24 公開日:2020-02-17 |
| # 確率ロバスト性を有するランダム化平滑化分類器の正規化訓練とタイト認証 Regularized Training and Tight Certification for Randomized Smoothed Classifier with Provable Robustness ( http://arxiv.org/abs/2002.07246v1 ) ライセンス: Link先を確認 | Huijie Feng, Chunpeng Wu, Guoyang Chen, Weifeng Zhang, Yang Ning | (参考訳) 近年, 深いニューラルネットワークに基づく分類器の等方性ガウス摂動によるスムーズ化は, $\ell_2$ノルムの対向摂動に対して, 最先端の確率的堅牢性を保証するための有効かつスケーラブルな方法であることが示されている。
しかし, 平滑化時に精度が高く頑健な良質な分類器の訓練方法については, 十分に検討されていない。
そこで本研究では,ベース分類器の訓練において,正則化器の精度と頑健性を適応的に促進できる新たな正則化リスクを導出する。
計算効率が良く、他の経験的防御法と並行して実装することができる。
我々は,標準的な(非敵的)および敵的トレーニングスキームの下で実装する方法について論じる。
同時に、正規化効果を利用して、高い確率で保持されるより厳密なロバスト性の下限を提供する新しい認証アルゴリズムも設計する。
提案するcifar-10およびimagenetデータセットのトレーニングおよび認証手法の有効性を示す。 Recently smoothing deep neural network based classifiers via isotropic Gaussian perturbation is shown to be an effective and scalable way to provide state-of-the-art probabilistic robustness guarantee against $\ell_2$ norm bounded adversarial perturbations. However, how to train a good base classifier that is accurate and robust when smoothed has not been fully investigated. In this work, we derive a new regularized risk, in which the regularizer can adaptively encourage the accuracy and robustness of the smoothed counterpart when training the base classifier. It is computationally efficient and can be implemented in parallel with other empirical defense methods. We discuss how to implement it under both standard (non-adversarial) and adversarial training scheme. At the same time, we also design a new certification algorithm, which can leverage the regularization effect to provide tighter robustness lower bound that holds with high probability. Our extensive experimentation demonstrates the effectiveness of the proposed training and certification approaches on CIFAR-10 and ImageNet datasets. | 翻訳日:2022-12-31 12:17:46 公開日:2020-02-17 |
| # ランダムウォークに基づくグラフ埋め込みの拡張の検討 Investigating Extensions to Random Walk Based Graph Embedding ( http://arxiv.org/abs/2002.07252v1 ) ライセンス: Link先を確認 | Joerg Schloetterer, Martin Wehking, Fatemeh Salehi Rizi, Michael Granitzer | (参考訳) グラフ埋め込みは、特にランダムウォークとニューラルネットワークベースのアプローチを導入して以来、研究コミュニティで最近勢いを増している。
しかし、埋め込みアプローチのほとんどはノードの局所的な近傍を表すことに重点を置いており、グローバルグラフ構造、すなわち遠いノードとの関係を維持することに失敗している。
この問題を解決するために,ランダムウォークに基づくグラフ埋め込みの新たな拡張を提案し,異なるレベルのウォークから最も頻度の低いノードのパーセンテージを除去する。
この除去により、ノードの近傍に存在する遠方のノードをシミュレートし、そのノードの接続を明示的に表現する。
ノード分類やリンク予測などのグラフ埋め込みの一般的な評価タスクに加えて,最短経路近似における関連する手法との比較を行った。
その結果、ランダムウォークベースのメソッド(私たち自身を含む)の拡張によって、予測パフォーマンスがわずかに向上することがわかった。 Graph embedding has recently gained momentum in the research community, in particular after the introduction of random walk and neural network based approaches. However, most of the embedding approaches focus on representing the local neighborhood of nodes and fail to capture the global graph structure, i.e. to retain the relations to distant nodes. To counter that problem, we propose a novel extension to random walk based graph embedding, which removes a percentage of least frequent nodes from the walks at different levels. By this removal, we simulate farther distant nodes to reside in the close neighborhood of a node and hence explicitly represent their connection. Besides the common evaluation tasks for graph embeddings, such as node classification and link prediction, we evaluate and compare our approach against related methods on shortest path approximation. The results indicate, that extensions to random walk based methods (including our own) improve the predictive performance only slightly - if at all. | 翻訳日:2022-12-31 12:17:27 公開日:2020-02-17 |
| # 航空機の遅延解析と予測に関する実証的研究 Empirical Study on Airline Delay Analysis and Prediction ( http://arxiv.org/abs/2002.10254v1 ) ライセンス: Link先を確認 | Ripon Patgiri, Sajid Hussain, Aditya Nongmeikapam | (参考訳) ビッグデータ分析は、非常に大規模なデータセットの論理分析である。
データ分析は組織を強化し、意思決定プロセスを改善する。
本稿では,フライト遅延解析と予測を行い,天候データセットと組み合わせて航空会社のデータセットを解析する。
本研究では、昼行、航空会社行き、雲のカバー、温度など、飛行遅延を分析する様々な属性について検討する。
さらに,L2正則化によるロジスティック回帰,ガウスネーブベイズ,K-Nearest Neighbors,決定木分類器,ランダム森林モデルなど,様々な機械学習モデルの厳密な実験を行い,飛行の遅延を正確に予測する。
ランダムフォレストモデルの精度は82%で、遅延しきい値が15分遅れている。
1987年から2008年にかけてデータセットを用いて分析を行い、2000年から2007年までデータセットを用いてトレーニングを行い、2008年のデータを用いた予測結果を検証する。
さらに,ランダムフォレストモデルでは99%がリコールされている。 The Big Data analytics are a logical analysis of very large scale datasets. The data analysis enhances an organization and improve the decision making process. In this article, we present Airline Delay Analysis and Prediction to analyze airline datasets with the combination of weather dataset. In this research work, we consider various attributes to analyze flight delay, for example, day-wise, airline-wise, cloud cover, temperature, etc. Moreover, we present rigorous experiments on various machine learning model to predict correctly the delay of a flight, namely, logistic regression with L2 regularization, Gaussian Naive Bayes, K-Nearest Neighbors, Decision Tree classifier and Random forest model. The accuracy of the Random Forest model is 82% with a delay threshold of 15 minutes of flight delay. The analysis is carried out using dataset from 1987 to 2008, the training is conducted with dataset from 2000 to 2007 and validated prediction result using 2008 data. Moreover, we have got recall 99% in the Random Forest model. | 翻訳日:2022-12-31 12:16:53 公開日:2020-02-17 |
| # 深層ニューラルネットワークの構成構造の研究 Investigating the Compositional Structure Of Deep Neural Networks ( http://arxiv.org/abs/2002.06967v1 ) ライセンス: Link先を確認 | Francesco Craighero, Fabrizio Angaroni, Alex Graudenzi, Fabio Stella, Marco Antoniotti | (参考訳) ディープニューラルネットワークの現在の理解は、入力構造、ネットワークパラメータ、最適化アルゴリズムが協調してどのようにして多くの実世界のアプリケーションで一般的に見られる強力な一般化能力を達成するのかを部分的に説明できるだけである。
本稿では,深層ニューラルネットワークの理解と解釈性を改善するために,一方向線形活性化関数の構成構造に基づく理論的枠組みを提案する。
ネットワーク層を通しての活性化パターンの構成を表す直接非巡回グラフを定義することにより、予測ラベルと予測を行うのに使用される特定の(線形)変換の両方に関して、入力データのインスタンスを特徴付けることができる。
MNISTデータセットの予備的なテストでは、ニューラルネットワークの内部表現における類似性に関して入力インスタンスをグループ化することができ、入力複雑性の直感的な指標を提供する。 The current understanding of deep neural networks can only partially explain how input structure, network parameters and optimization algorithms jointly contribute to achieve the strong generalization power that is typically observed in many real-world applications. In order to improve the comprehension and interpretability of deep neural networks, we here introduce a novel theoretical framework based on the compositional structure of piecewise linear activation functions. By defining a direct acyclic graph representing the composition of activation patterns through the network layers, it is possible to characterize the instances of the input data with respect to both the predicted label and the specific (linear) transformation used to perform predictions. Preliminary tests on the MNIST dataset show that our method can group input instances with regard to their similarity in the internal representation of the neural network, providing an intuitive measure of input complexity. | 翻訳日:2022-12-31 12:08:27 公開日:2020-02-17 |
| # マルチヘッドアテンションモデルにおける低ランクボトルネック Low-Rank Bottleneck in Multi-head Attention Models ( http://arxiv.org/abs/2002.07028v1 ) ライセンス: Link先を確認 | Srinadh Bhojanapalli, Chulhee Yun, Ankit Singh Rawat, Sashank J. Reddi, Sanjiv Kumar | (参考訳) 注意に基づくトランスフォーマーアーキテクチャは、自然言語処理の分野で大きな進歩をもたらした。
新しい事前トレーニング技術に加えて、最近の改善はトークンの比較的大きな埋め込み次元での作業に大きく依存している。
残念なことに、これは下流タスクで使用するのが禁止されるほど大きいモデルにつながります。
本稿では,大型の組込みサイズ要求に寄与する重要な要因の1つを明らかにする。
特に,本分析では,現在のアーキテクチャにおける頭部数と頭部の大きさのスケーリングによって注目ヘッドのボトルネックが低くなり,この制限が生じることを強調した。
我々はこれを実験でさらに検証する。
そこで我々は,アテンションユニットのヘッドサイズを入力シーケンス長に設定し,ヘッド数に依存せず,より表現力の高いマルチヘッドアテンション層を実現することを提案する。
これにより、比較的小さな埋め込み次元で、より優れたパフォーマンススケーリングでモデルをトレーニングできることを実証的に示します。 Attention based Transformer architecture has enabled significant advances in the field of natural language processing. In addition to new pre-training techniques, recent improvements crucially rely on working with a relatively larger embedding dimension for tokens. Unfortunately, this leads to models that are prohibitively large to be employed in the downstream tasks. In this paper we identify one of the important factors contributing to the large embedding size requirement. In particular, our analysis highlights that the scaling between the number of heads and the size of each head in the current architecture gives rise to a low-rank bottleneck in attention heads, causing this limitation. We further validate this in our experiments. As a solution we propose to set the head size of an attention unit to input sequence length, and independent of the number of heads, resulting in multi-head attention layers with provably more expressive power. We empirically show that this allows us to train models with a relatively smaller embedding dimension and with better performance scaling. | 翻訳日:2022-12-31 12:07:33 公開日:2020-02-17 |
| # 拡張正規化流れ:生成フローと潜在変数モデルの間のギャップを埋める Augmented Normalizing Flows: Bridging the Gap Between Generative Flows and Latent Variable Models ( http://arxiv.org/abs/2002.07101v1 ) ライセンス: Link先を確認 | Chin-Wei Huang, Laurent Dinh, Aaron Courville | (参考訳) 本研究では,拡張データ空間における新たな生成フローの族を提案する。これは,サンプリングの計算コストを劇的に増加させることなく表現性を向上させることを目的としている。
理論的には、提案された流れは普遍輸送写像としてハミルトニアン ode を近似できることを証明できる。
本研究では,フローベース生成モデリングの標準ベンチマークにおける最先端性能を実証する。 In this work, we propose a new family of generative flows on an augmented data space, with an aim to improve expressivity without drastically increasing the computational cost of sampling and evaluation of a lower bound on the likelihood. Theoretically, we prove the proposed flow can approximate a Hamiltonian ODE as a universal transport map. Empirically, we demonstrate state-of-the-art performance on standard benchmarks of flow-based generative modeling. | 翻訳日:2022-12-31 12:07:17 公開日:2020-02-17 |
| # Kalman氏がBellman氏と会う - 価値追跡による政策評価の改善 Kalman meets Bellman: Improving Policy Evaluation through Value Tracking ( http://arxiv.org/abs/2002.07171v1 ) ライセンス: Link先を確認 | Shirli Di-Castro Shashua, Shie Mannor | (参考訳) 政策評価は強化学習(RL)における重要なプロセスである。
対応する値関数を推定することで、所定のポリシーを評価する。
パラメータ化値関数を使用する場合、共通アプローチは正方形のベルマン時間差誤差の和を最小化し、パラメータの点推定を受信する。
Kalman-basedおよびGaussian-processes-based frameworkは、値をランダム変数として扱うことでポリシーを評価することが提案された。
これらのフレームワークは、価値パラメータに関する不確実性を学び、ポリシー探索に利用することができる。
深いrlタスクを解決するためにこれらのフレームワークを採用すると、最適化ステップ毎の過剰な計算、トレーニングを遅らせるサンプルのバッチ処理の難しさ、非ポリティカル学習を防止する確率的環境におけるメモリの影響など、いくつかの制限が明らかになる。
本稿では,これらの制限を議論し,拡張kalmanフィルタに基づく代替汎用フレームワークによって克服することを提案する。
我々は、ポリシー最適化アルゴリズムにおいてポリシー評価コンポーネントとして組み込むことができる、Kalman Optimization for Value Approximation (KOVA)と呼ばれる最適化手法を考案した。
KOVAはパラメータとノイズリターンの不確実性の両方に関する正規化対象関数を最小化する。
我々は、KOVAの特性を分析し、その性能を深いRL制御タスクで示す。 Policy evaluation is a key process in Reinforcement Learning (RL). It assesses a given policy by estimating the corresponding value function. When using parameterized value functions, common approaches minimize the sum of squared Bellman temporal-difference errors and receive a point-estimate for the parameters. Kalman-based and Gaussian-processes based frameworks were suggested to evaluate the policy by treating the value as a random variable. These frameworks can learn uncertainties over the value parameters and exploit them for policy exploration. When adopting these frameworks to solve deep RL tasks, several limitations are revealed: excessive computations in each optimization step, difficulty with handling batches of samples which slows training and the effect of memory in stochastic environments which prevents off-policy learning. In this work, we discuss these limitations and propose to overcome them by an alternative general framework, based on the extended Kalman filter. We devise an optimization method, called Kalman Optimization for Value Approximation (KOVA) that can be incorporated as a policy evaluation component in policy optimization algorithms. KOVA minimizes a regularized objective function that concerns both parameter and noisy return uncertainties. We analyze the properties of KOVA and present its performance on deep RL control tasks. | 翻訳日:2022-12-31 12:06:54 公開日:2020-02-17 |
| # クロス多様体クラスタリングのための多重フラット投影 Multiple Flat Projections for Cross-manifold Clustering ( http://arxiv.org/abs/2002.06739v1 ) ライセンス: Link先を確認 | Lan Bai, Yuan-Hai Shao, Wei-Jie Chen, Zhen Wang, Nai-Yang Deng | (参考訳) クロスマニフォールドクラスタリングは難しい話題であり、多くの従来のクラスタリング手法はクロスマニフォールド構造のために失敗する。
本稿では,マルチフラット・プロジェクション・クラスタリング(MFPC)を提案する。
MFPCでは、与えられたサンプルは複数の部分空間に投影され、暗黙多様体のグローバル構造を発見する。
このように、クロスマンフォールドクラスタは、様々な投影と区別される。
さらに,より複雑なクロスマニフォールドクラスタリングを扱うために,カーネルトリックによる非線形多様体クラスタリングに拡張した。
MFPCにおける一連の非凸行列最適化問題は再帰的アルゴリズムによって解決される。
合成実験の結果,MFPCはクロス多様体構造でよく機能していることがわかった。
さらに,ベンチマークデータセットにおける実験結果は,最先端クラスタリング手法と比較して,mfpcの優れた性能を示す。 Cross-manifold clustering is a hard topic and many traditional clustering methods fail because of the cross-manifold structures. In this paper, we propose a Multiple Flat Projections Clustering (MFPC) to deal with cross-manifold clustering problems. In our MFPC, the given samples are projected into multiple subspaces to discover the global structures of the implicit manifolds. Thus, the cross-manifold clusters are distinguished from the various projections. Further, our MFPC is extended to nonlinear manifold clustering via kernel tricks to deal with more complex cross-manifold clustering. A series of non-convex matrix optimization problems in MFPC are solved by a proposed recursive algorithm. The synthetic tests show that our MFPC works on the cross-manifold structures well. Moreover, experimental results on the benchmark datasets show the excellent performance of our MFPC compared with some state-of-the-art clustering methods. | 翻訳日:2022-12-31 12:00:13 公開日:2020-02-17 |
| # グラフ畳み込みニューラルネットワークの統一とラベル伝播 Unifying Graph Convolutional Neural Networks and Label Propagation ( http://arxiv.org/abs/2002.06755v1 ) ライセンス: Link先を確認 | Hongwei Wang, Jure Leskovec | (参考訳) ラベル伝搬(LPA)とグラフ畳み込みニューラルネットワーク(GCN)はどちらもグラフ上のメッセージパッシングアルゴリズムである。
どちらもノード分類の課題を解決するが、LPAはノードのラベル情報をグラフの端まで伝播し、GCNはノードの特徴情報を伝播し変換する。
しかし、概念上は類似しているが、LPAとGCNの理論的関係はまだ研究されていない。
本稿では,(1)一つのノードの機能/ラベルが隣接ノードにどのように分散しているかを分析する機能/ラベル平滑化,(2)あるノードの初期の機能/ラベルが他のノードの最終的な機能/ラベルにどの程度影響するかに関する機能/ラベルの影響,という2つの側面から,lpaとgcnの関係について検討する。
理論解析に基づいて,ノード分類のためのGCNとLCAを統一するエンドツーエンドモデルを提案する。
我々の統一モデルでは、エッジウェイトは学習可能であり、LPAはGCNが適切なエッジウェイトを学習し、分類性能を向上させるのに役立ちます。
我々のモデルは、既存の特徴に基づく注目モデルよりもタスク指向のノードラベルに基づく学習注意重みと見なすこともできる。
実世界のグラフに関する多くの実験において、我々のモデルはノード分類精度の観点から最先端GCN法よりも優れていることを示す。 Label Propagation (LPA) and Graph Convolutional Neural Networks (GCN) are both message passing algorithms on graphs. Both solve the task of node classification but LPA propagates node label information across the edges of the graph, while GCN propagates and transforms node feature information. However, while conceptually similar, theoretical relation between LPA and GCN has not yet been investigated. Here we study the relationship between LPA and GCN in terms of two aspects: (1) feature/label smoothing where we analyze how the feature/label of one node is spread over its neighbors; And, (2) feature/label influence of how much the initial feature/label of one node influences the final feature/label of another node. Based on our theoretical analysis, we propose an end-to-end model that unifies GCN and LPA for node classification. In our unified model, edge weights are learnable, and the LPA serves as regularization to assist the GCN in learning proper edge weights that lead to improved classification performance. Our model can also be seen as learning attention weights based on node labels, which is more task-oriented than existing feature-based attention models. In a number of experiments on real-world graphs, our model shows superiority over state-of-the-art GCN-based methods in terms of node classification accuracy. | 翻訳日:2022-12-31 12:00:03 公開日:2020-02-17 |
| # 残留継続学習 Residual Continual Learning ( http://arxiv.org/abs/2002.06774v1 ) ライセンス: Link先を確認 | Janghyeon Lee, Donggyu Joo, Hyeong Gwon Hong, Junmo Kim | (参考訳) 本稿では,Residual Continual Learning (ResCL) と呼ばれる新しい連続学習手法を提案する。
本手法は,複数のタスクの逐次学習において,元のネットワーク以外のソースタスク情報なしで破滅的な忘れ現象を防止できる。
ResCLは、元のネットワークの各層と細調整されたネットワークを線形に結合することで、ネットワークパラメータを再パラメータ化する。
提案手法を一般畳み込みニューラルネットワークに適用するには,バッチ正規化層の効果も考慮される。
残差学習のような再パラメータ化と特別な減量損失を利用して、ソースと目標性能のトレードオフを効果的に制御する。
提案手法は,様々な連続学習シナリオにおける最先端性能を示す。 We propose a novel continual learning method called Residual Continual Learning (ResCL). Our method can prevent the catastrophic forgetting phenomenon in sequential learning of multiple tasks, without any source task information except the original network. ResCL reparameterizes network parameters by linearly combining each layer of the original network and a fine-tuned network; therefore, the size of the network does not increase at all. To apply the proposed method to general convolutional neural networks, the effects of batch normalization layers are also considered. By utilizing residual-learning-like reparameterization and a special weight decay loss, the trade-off between source and target performance is effectively controlled. The proposed method exhibits state-of-the-art performance in various continual learning scenarios. | 翻訳日:2022-12-31 11:59:07 公開日:2020-02-17 |
| # CAT:ロバストネスを改善するためにカスタマイズされた対人訓練 CAT: Customized Adversarial Training for Improved Robustness ( http://arxiv.org/abs/2002.06789v1 ) ライセンス: Link先を確認 | Minhao Cheng, Qi Lei, Pin-Yu Chen, Inderjit Dhillon, Cho-Jui Hsieh | (参考訳) 敵の訓練は、ニューラルネットワークの堅牢性を改善する最も効果的な方法の1つになっている。
しかし、クリーンデータと摂動データの両方の一般化に苦しむことが多い。
本稿では,各トレーニングサンプルに対して,摂動レベルと対応するラベルを適応的にカスタマイズする,Customized Adversarial Training (CAT) というアルゴリズムを提案する。
提案アルゴリズムは,従来の逆行訓練法よりもクリーンでロバストな精度が得られることを示す。 Adversarial training has become one of the most effective methods for improving robustness of neural networks. However, it often suffers from poor generalization on both clean and perturbed data. In this paper, we propose a new algorithm, named Customized Adversarial Training (CAT), which adaptively customizes the perturbation level and the corresponding label for each training sample in adversarial training. We show that the proposed algorithm achieves better clean and robust accuracy than previous adversarial training methods through extensive experiments. | 翻訳日:2022-12-31 11:58:54 公開日:2020-02-17 |
| # クラス不均衡型セミスーパーバイザードラーニング Class-Imbalanced Semi-Supervised Learning ( http://arxiv.org/abs/2002.06815v1 ) ライセンス: Link先を確認 | Minsung Hyun, Jisoo Jeong and Nojun Kwak | (参考訳) Semi-Supervised Learning (SSL)はラベル付けの難しさを克服し、ラベルなしデータを完全に活用することで大きな成功を収めている。
しかし、SSLには、異なるクラスのサンプル数が均衡しているという仮定が限られており、多くのSSLアルゴリズムは、不均衡なクラス分布を持つデータセットのパフォーマンスが低いことを示している。
本稿では,クラス不均衡データを用いた半教師付き学習のタスクであるクラス不均衡半教師付き学習(cissl)を提案する。
その際、ラベル付き集合とラベル付き集合の両方においてクラス不均衡を考える。
まず、既存のSSLメソッドを不均衡な環境で分析し、クラス不均衡がSSLメソッドに与える影響について検討する。
次に、クラス不均衡に頑健な正規化手法であるSCL(Suppressed Consistency Loss)を提案する。
本手法はCISSL環境における従来の手法よりも優れた性能を示す。
特に、クラス不均衡が厳しくなり、ラベル付きデータのサイズが小さくなればなるほど、我々の手法はより良く機能する。 Semi-Supervised Learning (SSL) has achieved great success in overcoming the difficulties of labeling and making full use of unlabeled data. However, SSL has a limited assumption that the numbers of samples in different classes are balanced, and many SSL algorithms show lower performance for the datasets with the imbalanced class distribution. In this paper, we introduce a task of class-imbalanced semi-supervised learning (CISSL), which refers to semi-supervised learning with class-imbalanced data. In doing so, we consider class imbalance in both labeled and unlabeled sets. First, we analyze existing SSL methods in imbalanced environments and examine how the class imbalance affects SSL methods. Then we propose Suppressed Consistency Loss (SCL), a regularization method robust to class imbalance. Our method shows better performance than the conventional methods in the CISSL environment. In particular, the more severe the class imbalance and the smaller the size of the labeled data, the better our method performs. | 翻訳日:2022-12-31 11:50:26 公開日:2020-02-17 |
| # 日常生活活動における次元的縮小と運動クラスタリング:3,4,7自由度腕運動 Dimensionality Reduction and Motion Clustering during Activities of Daily Living: 3, 4, and 7 Degree-of-Freedom Arm Movements ( http://arxiv.org/abs/2003.02641v1 ) ライセンス: Link先を確認 | Yuri Gloumakov, Adam J. Spiers, Aaron M. Dollar | (参考訳) 人間の腕が日常の作業中に行う様々な動作は、ロボットや人工装具の設計と制御を含む、様々な応用のためにこれらの動きの寸法を減少させる代表的部分集合を見つけることが望ましい。
本稿では, 日常生活活動中の自然運動にまたがる代表的腕関節角度軌跡を得るための, 広範囲にわたる人体研究の新たな方法と成果について述べる。
特に,1つの変数の機能である上肢の有用な運動軌跡のセットを識別し,例えば,ユーザからの1つの入力で義手やロボットアーム全体を制御し,異なるタスクの動作を選択できる手段を求める。
データ駆動アプローチは、フルアーム7自由度(dof)、肘ひじ4度、手首のみの3自由度動作のためのクラスターおよび代表運動平均を得るために使用される。
提案手法では,動的時間ワープ(DTW)を用いて移動セグメント間の分散測定,平均値を得るためのDTWバリーセンタ平均化(DBA),階層木を構築するためのウォード距離基準,複数の動きデータを同時に整列するバッチDTW,クラスタ変動を評価するための機能主成分分析(fPCA)など,よく知られた手法を用いる。
様々な記録された動きを、主に全腕システムの開始と終了の場所、手首のみのシステムの動作方向、肘-指系の2つの特性の間にある中間に関連付ける。
提案するクラスタリング手法は,結果と代替手法を比較して正当化する。 The wide variety of motions performed by the human arm during daily tasks makes it desirable to find representative subsets to reduce the dimensionality of these movements for a variety of applications, including the design and control of robotic and prosthetic devices. This paper presents a novel method and the results of an extensive human subjects study to obtain representative arm joint angle trajectories that span naturalistic motions during Activities of Daily Living (ADLs). In particular, we seek to identify sets of useful motion trajectories of the upper limb that are functions of a single variable, allowing, for instance, an entire prosthetic or robotic arm to be controlled with a single input from a user, along with a means to select between motions for different tasks. Data driven approaches are used to obtain clusters as well as representative motion averages for the full-arm 7 degree of freedom (DOF), elbow-wrist 4 DOF, and wrist-only 3 DOF motions. The proposed method makes use of well-known techniques such as dynamic time warping (DTW) to obtain a divergence measure between motion segments, DTW barycenter averaging (DBA) to obtain averages, Ward's distance criterion to build hierarchical trees, batch-DTW to simultaneously align multiple motion data, and functional principal component analysis (fPCA) to evaluate cluster variability. The clusters that emerge associate various recorded motions into primarily hand start and end location for the full-arm system, motion direction for the wrist-only system, and an intermediate between the two qualities for the elbow-wrist system. The proposed clustering methodology is justified by comparing results against alternative approaches. | 翻訳日:2022-12-31 11:49:23 公開日:2020-02-17 |
| # 双方向トランスフォーマーを用いた金融サービスチャットボット A Financial Service Chatbot based on Deep Bidirectional Transformers ( http://arxiv.org/abs/2003.04987v1 ) ライセンス: Link先を確認 | Shi Yu, Yuxin Chen, Hussain Zaidi | (参考訳) 本研究では,Deep Bidirectional Transformer Model (BERT) を用いて,金融投資顧客サービスにおけるクライアント質問を処理するチャットボットを開発した。
ボットは381の意図を認識し、いつ「知らない」と言うかを決め、人間オペレーターに無関係で確実な質問をエスカレートする。
本研究の主な貢献は,実問題に対して3つの異なるアプローチを体系的に比較するBERTの不確実性対策に関する議論である。
BERTにおける情報エントロピーとドロップアウトサンプリングのばらつきと,決定しきい値の最適化のための混合整数プログラミングの2つの不確実性指標について検討した。
もうひとつの新しい貢献は、自動スペル訂正における言語モデルとしてのBERTの使用である。
偶発的スペルエラーによる入力は意図分類性能を著しく低下させる可能性がある。
提案手法は, マスキング言語モデルと単語編集距離の確率を組み合わせることで, ミススペル語に対する最善の補正を求める。
チャットボットと会話型AIシステムは、オープンソースツールを使用して開発され、当社のイントラネットにデプロイされます。
提案されたアプローチは、特定のビジネスドメインで同様の社内ソリューションを求める業界に有用である。
すべてのコードと、Githubの公開データセット上に構築されたサンプルチャットボットを共有しています。 We develop a chatbot using Deep Bidirectional Transformer models (BERT) to handle client questions in financial investment customer service. The bot can recognize 381 intents, and decides when to say "I don't know" and escalates irrelevant/uncertain questions to human operators. Our main novel contribution is the discussion about uncertainty measure for BERT, where three different approaches are systematically compared on real problems. We investigated two uncertainty metrics, information entropy and variance of dropout sampling in BERT, followed by mixed-integer programming to optimize decision thresholds. Another novel contribution is the usage of BERT as a language model in automatic spelling correction. Inputs with accidental spelling errors can significantly decrease intent classification performance. The proposed approach combines probabilities from masked language model and word edit distances to find the best corrections for misspelled words. The chatbot and the entire conversational AI system are developed using open-source tools, and deployed within our company's intranet. The proposed approach can be useful for industries seeking similar in-house solutions in their specific business domains. We share all our code and a sample chatbot built on a public dataset on Github. | 翻訳日:2022-12-31 11:41:44 公開日:2020-02-17 |
| # 教師付き学習データにおけるミスアノテーションの扱い Handling Missing Annotations in Supervised Learning Data ( http://arxiv.org/abs/2002.07113v1 ) ライセンス: Link先を確認 | Alaa E. Abdel-Hakim and Wael Deabes | (参考訳) データアノテーションは教師あり学習の重要な段階である。
しかし、アノテーションプロセスは徹底的で、特に大規模なデータセットには時間がかかります。
デイリーリビング(ADL)認識のアクティビティは、非常に大規模な生センサデータ読み取りを利用するシステムの例である。
このようなシステムでは、24/7で活動監視センサからセンサ読み取りを収集する。
生成されたデータセットのサイズは非常に大きいので、人間のアノテーションがデータセットのすべてのインスタンスに特定のラベルを与えることはほとんど不可能です。
これにより、教師付き学習システムへの入力データのアノテーションギャップが生じる。
認識システムの性能は、これらのギャップによって悪影響を受ける。
本研究では,これらのギャップに対処する3つのパラダイムを提案し,検討する。
最初のパラダイムでは、ラベルなしのすべての読みを落としてギャップを取り出す。
未知」または「無知」のラベルは、第2パラダイムの操作におけるラベルなしの読みに与えられる。
最後のパラダイムは、それぞれにカプセル化された決定論的ラベルを識別するユニークなラベルを与えることで、これらのギャップを処理する。
また,これらのパラダイムをハイブリッドに組み合わせ,さらなる性能向上を実現することにより,アノテーションギャップのセマンティックプリプロセッシング手法を提案する。
提案した3つのパラダイムとそれらのハイブリッド組み合わせの性能は,9ヶ月以上にわたって収集された2.5ドル以上のセンサ読み取りを含むADLベンチマークデータセットを用いて評価した。
評価結果は,各パラダイムの動作における性能コントラストを強調し,特定のギャップハンドリング手法による性能向上を支援する。 Data annotation is an essential stage in supervised learning. However, the annotation process is exhaustive and time consuming, specially for large datasets. Activities of Daily Living (ADL) recognition is an example of systems that exploit very large raw sensor data readings. In such systems, sensor readings are collected from activity-monitoring sensors in a 24/7 manner. The size of the generated dataset is so huge that it is almost impossible for a human annotator to give a certain label to every single instance in the dataset. This results in annotation gaps in the input data to the adopting supervised learning system. The performance of the recognition system is negatively affected by these gaps. In this work, we propose and investigate three different paradigms to handle these gaps. In the first paradigm, the gaps are taken out by dropping all unlabeled readings. A single "Unknown" or "Do-Nothing" label is given to the unlabeled readings within the operation of the second paradigm. The last paradigm handles these gaps by giving every one of them a unique label identifying the encapsulating deterministic labels. Also, we propose a semantic preprocessing method of annotation gaps by constructing a hybrid combination of some of these paradigms for further performance improvement. The performance of the proposed three paradigms and their hybrid combination is evaluated using an ADL benchmark dataset containing more than $2.5\times 10^6$ sensor readings that had been collected over more than nine months. The evaluation results emphasize the performance contrast under the operation of each paradigm and support a specific gap handling approach for better performance. | 翻訳日:2022-12-31 11:40:58 公開日:2020-02-17 |
| # 決定論的システムにおける関数近似を用いた非依存q-learning:近似誤差とサンプル複雑性の厳密な境界 Agnostic Q-learning with Function Approximation in Deterministic Systems: Tight Bounds on Approximation Error and Sample Complexity ( http://arxiv.org/abs/2002.07125v1 ) ライセンス: Link先を確認 | Simon S. Du, Jason D. Lee, Gaurav Mahajan, Ruosong Wang | (参考訳) 本稿では, 最適q$-関数が近似誤差$\delta \ge 0$ を持つクラス$\mathcal{f}$ の関数によって近似される決定論的システムにおいて, 関数近似を伴う非依存な $q$-learning の問題を研究する。
我々は、新しい再帰に基づくアルゴリズムを提案し、もし$\delta = o\left(\rho/\sqrt{\dim_e}\right)$であれば、$o\left(\dim_e\right)$ trajectories を使って最適なポリシーを見つけることができることを示した。
1) [du et al., iclr 2020] の下限とともに、条件 $\delta = \widetilde{\theta}\left(\rho/\sqrt{\mathrm{dim}_e}\right)$ が多項式サンプル複雑性を持つアルゴリズムにとって必要かつ十分であることを示唆している。
2) [Wen and Van Roy, NIPS 2013] の下位境界と合わせて, 我々の上限は, サンプル複雑性 $\widetilde{\Theta}\left(\mathrm{dim}_E\right)$ が無知条件においてもきついことを示唆している。
そこで,本研究では,[Wen and Van Roy, NIPS 2013] で提案された非依存的な$Q$-learningに関するオープンな問題を解決した。
さらに,アルゴリズムを確率的報酬設定に拡張し,同様の結果を得る。 The current paper studies the problem of agnostic $Q$-learning with function approximation in deterministic systems where the optimal $Q$-function is approximable by a function in the class $\mathcal{F}$ with approximation error $\delta \ge 0$. We propose a novel recursion-based algorithm and show that if $\delta = O\left(\rho/\sqrt{\dim_E}\right)$, then one can find the optimal policy using $O\left(\dim_E\right)$ trajectories, where $\rho$ is the gap between the optimal $Q$-value of the best actions and that of the second-best actions and $\dim_E$ is the Eluder dimension of $\mathcal{F}$. Our result has two implications: 1) In conjunction with the lower bound in [Du et al., ICLR 2020], our upper bound suggests that the condition $\delta = \widetilde{\Theta}\left(\rho/\sqrt{\mathrm{dim}_E}\right)$ is necessary and sufficient for algorithms with polynomial sample complexity. 2) In conjunction with the lower bound in [Wen and Van Roy, NIPS 2013], our upper bound suggests that the sample complexity $\widetilde{\Theta}\left(\mathrm{dim}_E\right)$ is tight even in the agnostic setting. Therefore, we settle the open problem on agnostic $Q$-learning proposed in [Wen and Van Roy, NIPS 2013]. We further extend our algorithm to the stochastic reward setting and obtain similar results. | 翻訳日:2022-12-31 11:40:41 公開日:2020-02-17 |
| # GACEM:マルチモーダルブラックボックス制約満足度のための一般化自己回帰クロスエントロピー法 GACEM: Generalized Autoregressive Cross Entropy Method for Multi-Modal Black Box Constraint Satisfaction ( http://arxiv.org/abs/2002.07236v1 ) ライセンス: Link先を確認 | Kourosh Hakhamaneshi, Keertana Settaluri, Pieter Abbeel, Vladimir Stojanovic | (参考訳) 本稿では,ブラックボックス最適化と制約満足度の新しい手法を提案する。
この問題を解決しようとする既存のアルゴリズムは、複数のモードを考えることができず、環境力学の変化に適応できない。
これらの問題に対処するために,マスク付き自己回帰ニューラルネットワークを用いて解空間上の均一分布をモデル化するクロスエントロピー法(CEM)を開発した。
強化学習から最大エントロピーポリシー勾配法を用いてモデルを訓練する。
我々のアルゴリズムは複雑な解空間を表現することができ、様々な解領域を追跡することができる。
提案アルゴリズムとCEMの変種を実証的に比較し, ガウス事前の変分を含むアルゴリズムを定式化することにより, 多様な解の数, マルチモーダル問題におけるモード発見の精度, サンプル効率の向上など, より優れた性能を示す。 In this work we present a new method of black-box optimization and constraint satisfaction. Existing algorithms that have attempted to solve this problem are unable to consider multiple modes, and are not able to adapt to changes in environment dynamics. To address these issues, we developed a modified Cross-Entropy Method (CEM) that uses a masked auto-regressive neural network for modeling uniform distributions over the solution space. We train the model using maximum entropy policy gradient methods from Reinforcement Learning. Our algorithm is able to express complicated solution spaces, thus allowing it to track a variety of different solution regions. We empirically compare our algorithm with variations of CEM, including one with a Gaussian prior with fixed variance, and demonstrate better performance in terms of: number of diverse solutions, better mode discovery in multi-modal problems, and better sample efficiency in certain cases. | 翻訳日:2022-12-31 11:39:47 公開日:2020-02-17 |