このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス（CC 0, CC BY, CC BY-SA）の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。（arxivのメタデータは CC 0です。） 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。
公開日が20210618となっている論文です。
| Title | Authors | Abstract | 論文公表日・翻訳日 |
|---|---|---|---|
| # 分離状態による絡み合いの分散:符号化とデコード不完全性の評価 Distributing entanglement with separable states: assessment of encoding and decoding imperfections ( http://arxiv.org/abs/2002.04476v2 ) ライセンス: Link先を確認 | Hannah McAleese, Gediminas Juska, Iman Ranjbar Jahromi, Emanuele Pelucchi, Alessandro Ferraro, Mauro Paternostro | (参考訳) 絡み合いは、常に関連する他のシステムと分離可能なキャリアを使って分散することができる。
これまでのところ、この効果はキャリアシステム間相互作用が理想的なユニタリ演算の形をとる場合に主に分析され、したがって、非ユニタリまたはユニタリの誤りに対する堅牢性は証明されていないままである。
本稿では,不完全ユニタリ相互作用に付随する不整合力学の影響を考慮し,この問題に対処する。
特に、相互作用時間上に置く必要のある制約と、一貫性のないダイナミクスの強さを決定する。
非単体誤差では、キャリアを適切な基準で測定すれば、いまだに絡み合いを分散することができる。
ユニタリ力学における不完全性の導入は、かなりのユニタリ誤差があっても絡み合いが可能であることを示す。
さらに、ユニタリダイナミクスの強さのある種の変化は、非ユニタリエラーに対するより強固性を高めることができる。
したがって、単体操作が不完全でない実験環境でも、分離可能なキャリアを用いて2つのシステム間の絡み合いを発生させることができる。 Entanglement can be distributed using a carrier which is always separable from the rest of the systems involved. Up to now, this effect has predominantly been analyzed in the case where the carrier-system interactions take the form of ideal unitary operations, thus leaving untested its robustness against either non-unitary or unitary errors. We address this issue by considering the effect of incoherent dynamics acting alongside imperfect unitary interactions. In particular, we determine the restrictions that need to be placed on the interaction time, as well as the strength of the incoherent dynamics. We find that with non-unitary errors, we can still successfully distribute entanglement, provided we measure the carrier in a suitable basis. Introducing imperfections in the unitary dynamics, we show that entanglement gain is possible even with substantial unitary errors. Moreover, certain variations in the strength of the unitary dynamics can allow for greater robustness against non-unitary errors. Therefore, even in experimental settings where unitary operations cannot be carried out without imperfections, it is still possible to generate entanglement between two systems using a separable carrier. | 翻訳日:2023-06-03 23:31:33 公開日:2021-06-18 |
| # 量子情報スクランブルのダイナミクスにおけるデコヒーレンススケーリング遷移 Decoherence scaling transition in the dynamics of quantum information scrambling ( http://arxiv.org/abs/2005.12361v2 ) ライセンス: Link先を確認 | Federico D. Dominguez, Maria Cristina Rodriguez, Robin Kaiser, Dieter Suter, Gonzalo A. Alvarez | (参考訳) 量子技術開発のための信頼性の高い量子情報の処理には、平衡外多体系の精密な制御が必要である。
これは、外部摂動に対する量子状態のフレギリティがシステムサイズとともに増加するため、非常に難しい課題である。
本稿では,制御されたハミルトニアン進化の感度を,対象とする進化からシステムを遠ざける摂動まで定量化する一連の実験量子シミュレーションについて報告する。
時間外順序相関に基づき、プロセス忠実性の減衰率は、相関量子ビットの有効数 $k$ で$k^{\alpha}$ で増加することを実証する。
摂動強度の関数として、2つの異なる動的レジーム間の指数$\alpha$のデコヒーレンススケーリング遷移を観察する。
臨界摂動強度以下の極限の場合、指数 $\alpha$ は 1 以下で急降下し、制御可能な量子ビットの数に固有の制限はない。
量子情報の制御ダイナミクスのこの弾力性量子特性は、大きな量子システムの信頼できる制御に有望である。 Reliable processing of quantum information for developing quantum technologies requires precise control of out-of-equilibrium many-bodysystems. This is a highly challenging task as the fragility of quantum states to external perturbations increases with the system-size. Here, we report on a series of experimental quantum simulations that quantify the sensitivity of a controlled Hamiltonian evolution to perturbations that drive the system away from the targeted evolution. Based on out-of-time ordered correlations, we demonstrate that the decay-rate of the process fidelity increases with the effective number $K$ of correlated qubits as $K^{\alpha}$. As a function of the perturbation strength, we observe a decoherence scaling transition of the exponent $\alpha$ between two distinct dynamical regimes. In the limiting case below the critical perturbation strength, the exponent $\alpha$ drops sharply below 1, and there is no inherent limit to the number of qubits that can be controlled. This resilient quantum feature of the controlled dynamics of quantum information is promising for reliable control of large quantum systems. | 翻訳日:2023-05-18 12:12:43 公開日:2021-06-18 |
| # 線形制約付き最適化問題に対するドライバ・ハミルトニアンの構成 Constructing Driver Hamiltonians for Optimization Problems with Linear Constraints ( http://arxiv.org/abs/2006.12028v6 ) ライセンス: Link先を確認 | Hannes Leipold, Federico M. Spedalieri | (参考訳) 断熱量子コンピューティングの分野における最近の進歩と、量子アニーラーの密接に関連する分野は、最適化問題を解くためにより先進的で新しいハミルトニアン表現を使うことに集中している。
これらの進歩の1つは、最適化問題の制約を通勤するドライバー・ハミルトニアン(英語版)の開発に焦点を絞ったものである。
特に、このアプローチは、sparser接続を使用して、他の一般的なプラクティスよりも、量子デバイスにいくつかの実用的な問題を組み込むことができる。
しかし、いくつかの制約でうまく通勤できるドライバーハミルトンの設計は、特定の問題に対する強い直感と、任意の制約のためにそれらを生成するための単純な一般アルゴリズムに大きく依存している。
本研究では,線形制約を持つハミルトニアンの可換性について推論するための,単純で直感的な代数的フレームワークを開発した。
ユニタリ作用素はエルミート作用素の指数関数であるため、これらの結果は量子交互作用素 Ansatz (QAOA) フレームワークにおけるミキサーの構成にも適用できる。 Recent advances in the field of adiabatic quantum computing and the closely related field of quantum annealers has centered around using more advanced and novel Hamiltonian representations to solve optimization problems. One of these advances has centered around the development of driver Hamiltonians that commute with the constraints of an optimization problem - allowing for another avenue to satisfying those constraints instead of imposing penalty terms for each of them. In particular, the approach is able to use sparser connectivity to embed several practical problems on quantum devices than other common practices. However, designing the driver Hamiltonians that successfully commute with several constraints has largely been based on strong intuition for specific problems and with no simple general algorithm to generate them for arbitrary constraints. In this work, we develop a simple and intuitive algebraic framework for reasoning about the commutation of Hamiltonians with linear constraints - one that allows us to classify the complexity of finding a driver Hamiltonian for an arbitrary set of constraints as NP-Complete. Because unitary operators are exponentials of Hermitian operators, these results can also be applied to the construction of mixers in the Quantum Alternating Operator Ansatz (QAOA) framework. | 翻訳日:2023-05-13 05:18:37 公開日:2021-06-18 |
| # カオスのシグネチャとしての量子コヒーレンス Quantum coherence as a signature of chaos ( http://arxiv.org/abs/2009.02760v3 ) ライセンス: Link先を確認 | Namit Anand, Georgios Styliaris, Meenu Kumari, and Paolo Zanardi | (参考訳) 量子カオスの診断ツールとして,資源理論に基づくコヒーレンス測度を用いることで,量子コヒーレンスと量子カオスの厳密な関係を確立する。
この接続を量子状態と量子チャネルという2つの異なるレベルで定量化する。
状態のレベルでは、カオスのよく研究された数種類の量子化器が実際に量子コヒーレンス測度がいかに変装(あるいはそれらと密接に関連しているかを示す。
我々は、すべての量子コヒーレンス測度に対するこの接続を、メジャー化理論のツールを用いてさらに拡張する。
次に,カオス-vs-可積分固有状態のコヒーレンスを数値的に研究し,スペクトルのバルクにおけるランダム行列理論との良好な一致を見出した。
チャネルのレベルでは、動的プロセスが平均的にどれだけのコヒーレンスを生成するかの尺度であるコヒーレンス生成力(CGP)が、多くの身体システムで混在する情報の尺度であるアウト・オブ・タイム・オーダード・コレレータ(OTOC)のサブ部として現れることを示す。
積分不可能な)逆場イジングモデルの数値シミュレーションにより,OTOCとCGPが定量的に同じ方法で量子再帰を捉えることを示した。
さらに,ランダム行列理論を用いて,haar と gaussian の cgp-otoc 接続を解析的に特徴付ける。
最後に、カオスのコヒーレンスに基づくシグネチャが、loschmidt echo、otoc、spectral form factorといった他の診断とどのように関係しているかを述べます。 We establish a rigorous connection between quantum coherence and quantum chaos by employing coherence measures originating from the resource theory framework as a diagnostic tool for quantum chaos. We quantify this connection at two different levels: quantum states and quantum channels. At the level of states, we show how several well-studied quantifiers of chaos are, in fact, quantum coherence measures in disguise (or closely related to them). We further this connection for all quantum coherence measures by using tools from majorization theory. Then, we numerically study the coherence of chaotic-vs-integrable eigenstates and find excellent agreement with random matrix theory in the bulk of the spectrum. At the level of channels, we show that the coherence-generating power (CGP) -- a measure of how much coherence a dynamical process generates on average -- emerges as a subpart of the out-of-time-ordered correlator (OTOC), a measure of information scrambling in many-body systems. Via numerical simulations of the (nonintegrable) transverse-field Ising model, we show that the OTOC and CGP capture quantum recurrences in quantitatively the same way. Moreover, using random matrix theory, we analytically characterize the CGP-OTOC connection for the Haar and Gaussian ensembles. In closing, we remark on how our coherence-based signatures of chaos relate to other diagnostics, namely the Loschmidt echo, OTOC, and the Spectral Form Factor. | 翻訳日:2023-05-03 11:30:56 公開日:2021-06-18 |
| # 量子システムにおけるコンストラクタによる可逆性の創発:理論と実験 Emergence of Constructor-based Irreversibility in Quantum Systems: Theory and Experiment ( http://arxiv.org/abs/2009.14649v2 ) ライセンス: Link先を確認 | Chiara Marletto, Vlatko Vedral, Laura Knoll, Fabrizio Piacentini, Ettore Bernardi, Enrico Rebufello, Alessio Avella, Marco Gramegna, Ivo Pietro Degiovanni, Marco Genovese | (参考訳) 時相対称法則を持つ宇宙における可逆性の問題は物理学の中心的な問題である。
%,特に統計力学,情報理論,量子熱力学について。
本稿では,最近提案されたコンストラクタ理論フレームワークにおいて,不可逆性がどのように出現するかを論じる。
ここでは不可逆性はタスクが可能であるという要件として表現されるが、その逆はそうではない。
特に、この不可逆性は、量子論の時間反転対称法則と互換性があり、量子ホモジェニサに基づく特定のモデルを利用して、高品質の単一光子量子ビットで実験的に実現されることを実証する。 The issue of irreversibility in a universe with time-reversal-symmetric laws is a central problem in physics. % , and, in particular, to statistical mechanics, information theory and quantum thermodynamics. In this letter, we discuss for the first time how irreversibility can emerge within the recently proposed constructor theory framework. Here irreversibility is expressed as the requirement that a task is possible, while its inverse is not. In particular, we demonstrate that this irreversibility is compatible with quantum theory's time reversal symmetric laws, by exploiting a specific model, based on the universal quantum homogeniser, realised experimentally with high-quality single-photon qubits. | 翻訳日:2023-04-30 14:18:48 公開日:2021-06-18 |
| # オープン量子システムにおける情報スクランブルとカオス Information Scrambling and Chaos in Open Quantum Systems ( http://arxiv.org/abs/2012.13172v3 ) ライセンス: Link先を確認 | Paolo Zanardi and Namit Anand | (参考訳) オフ・オブ・タイム・オーダード・コリエーター(otoc)は、多体系における情報スクランブルと量子カオスの研究にここ数年にわたって広く用いられてきた。
本稿では,Styliaris et al [Phys. Rev. Lett. 126, 030601 (2021)] の平均二分項OTOCの定式化を,オープン量子系の場合にまで拡張する。
ダイナミクスはもはやユニタリではないが、より一般的な量子チャネルによって記述される(トレース保存、完全正の写像)。
この「オープンバイパートイトOTOC」は、正確に解析的な方法で扱うことができ、2つの量子チャネル間の距離が示される。
さらに,情報スクランブルと環境デコヒーレンスとの競合によるエントロピー的貢献により,後者が前者を難読化できることを示す。
この微妙な相互作用を解明するために、我々は量子チャネルの特別なクラス、すなわちデフォーカスチャネル、絡み合うチャネルなどを分析する。
最後に、物理応用として散逸多体スピンチェーンを数値的に研究し、競合するエントロピー効果が可積分状態とカオス状態の区別にどのように役立つかを示す。 Out-of-time-ordered correlators (OTOCs) have been extensively used over the last few years to study information scrambling and quantum chaos in many-body systems. In this paper, we extend the formalism of the averaged bipartite OTOC of Styliaris et al [Phys. Rev. Lett. 126, 030601 (2021)] to the case of open quantum systems. The dynamics is no longer unitary but it is described by more general quantum channels (trace preserving, completely positive maps). This "open bipartite OTOC" can be treated in an exact analytical fashion and is shown to amount to a distance between two quantum channels. Moreover, our analytical form unveils competing entropic contributions from information scrambling and environmental decoherence such that the latter can obfuscate the former. To elucidate this subtle interplay we analytically study special classes of quantum channels, namely, dephasing channels, entanglement-breaking channels, and others. Finally, as a physical application we numerically study dissipative many-body spin-chains and show how the competing entropic effects can be used to differentiate between integrable and chaotic regimes. | 翻訳日:2023-04-19 11:52:01 公開日:2021-06-18 |
| # 双対光子の多モード横スペクトル相関の高速イメージング Fast imaging of multimode transverse-spectral correlations for twin photons ( http://arxiv.org/abs/2101.03120v2 ) ライセンス: Link先を確認 | Micha{\l} Lipka, Micha{\l} Parniak | (参考訳) 数自由度で非古典的相関を示す超エンタングルフォトニック状態は、量子光通信および計算スキームの性能を向上させる。
実験的に、横波ベクトルとスペクトルモードのハイパーエンタングルメントは、マルチモードパラメトリック単光子源と直接的に得られる。
しかし、そのような状態の実験的特徴はいまだに困難である。
空間分解能の高い単光子検出(単光子カメラ)だけでなく、スペクトル・時間的自由度を観測するためのモード変換器も必要である。
非線形自然パラメトリックダウンコンバージョン(SPDC)において生成した光子対間の4次元横波ベクトル-スペクトル相関を実験的に測定した。
独自の超高速単光子カメラを使用することで、高分解能と短い測定時間が得られる。 Hyperentangled photonic states - exhibiting nonclassical correlations in several degrees of freedom - offer improved performance of quantum optical communication and computation schemes. Experimentally, a hyperentanglement of transverse-wavevector and spectral modes can be obtained in a straightforward way with multimode parametric single-photon sources. Nevertheless, experimental characterization of such states remains challenging. Not only single-photon detection with high spatial resolution - a single-photon camera - is required, but also a suitable mode-converter to observe the spectral/temporal degree of freedom. We experimentally demonstrate a measurement of a full 4-dimensional transverse-wavevector-spectral correlations between pairs of photons produced in the non-collinear spontaneous parametric downconversion (SPDC). Utilization of a custom ultra-fast single-photon camera provides high resolution and a short measurement time. | 翻訳日:2023-04-17 08:16:39 公開日:2021-06-18 |
| # 多重超伝導量子状態のディープニューラルネットワーク識別 Deep Neural Network Discrimination of Multiplexed Superconducting Qubit States ( http://arxiv.org/abs/2102.12481v2 ) ライセンス: Link先を確認 | Benjamin Lienhard, Antti Veps\"al\"ainen, Luke C. G. Govia, Cole R. Hoffer, Jack Y. Qiu, Diego Rist\`e, Matthew Ware, David Kim, Roni Winik, Alexander Melville, Bethany Niedzielski, Jonilyn Yoder, Guilhem J. Ribeill, Thomas A. Ohki, Hari K. Krovi, Terry P. Orlando, Simon Gustavsson, and William D. Oliver | (参考訳) 量子計算の利点を示すには、マルチ量子ビットシステムの高忠実度制御と読み出しが必要である。
システムサイズが大きくなるにつれて、リソースオーバーヘッドの増加を制限するために多重キュービットの読み出しが現実的に必要となる。
多くの現代の量子ビット状態判別器は、単一量子ビットの動作条件を推定するか、あるいはかなりの計算労力を要し、その可能性の拡張性を制限している。
本稿では,ニューラルネットワークを状態判別器として用いたマルチキュービット読み出しを提案する。
5つの超伝導量子ビットと周波数多重読み出しを用いた量子デバイスにおける現代の手法と比較した。
完全に接続されたフィードフォワードニューラルネットワークは、システムに対する量子状態割り当ての忠実度を増大させる。
現代の判別者と比較して、読み出しクロストークのようなシステムに依存しない非理想性の補償により、割当誤差率が最大25%削減される。
我々の研究は、近距離デバイスと将来の耐故障性システムの両方に関連する高忠実度読み出しのための拡張可能なビルディングブロックを示す。 Demonstrating a quantum computational advantage will require high-fidelity control and readout of multi-qubit systems. As system size increases, multiplexed qubit readout becomes a practical necessity to limit the growth of resource overhead. Many contemporary qubit-state discriminators presume single-qubit operating conditions or require considerable computational effort, limiting their potential extensibility. Here, we present multi-qubit readout using neural networks as state discriminators. We compare our approach to contemporary methods employed on a quantum device with five superconducting qubits and frequency-multiplexed readout. We find that fully-connected feedforward neural networks increase the qubit-state-assignment fidelity for our system. Relative to contemporary discriminators, the assignment error rate is reduced by up to 25% due to the compensation of system-dependent nonidealities such as readout crosstalk which is reduced by up to one order of magnitude. Our work demonstrates a potentially extensible building block for high-fidelity readout relevant to both near-term devices and future fault-tolerant systems. | 翻訳日:2023-04-10 00:58:05 公開日:2021-06-18 |
| # Stim:高速安定化回路シミュレータ Stim: a fast stabilizer circuit simulator ( http://arxiv.org/abs/2103.02202v3 ) ライセンス: Link先を確認 | Craig Gidney | (参考訳) 本稿では,量子安定回路のための高速シミュレータ`stim'を提案する。
この記事では、stimがどのように機能するかを説明し、既存のツールと比較する。
事前の知識がなければ、Stimは距離100面コード回路(2000万キュービット、800万ゲート、100万測定)を15秒で分析し、1kHzの速度で全回路ショットのサンプリングを開始することができる。
Stim は Aaronson や Gottesman の CHP シミュレータと同様の安定化テーブルー表現を使用しているが、主な改善点は3つある。
まず、Stimは回路の安定化テーブルーの {\em inverse} を追跡することにより、二次から線型への決定論的測定の漸近的な複雑さを改善する。
第二に、stimはキャッシュフレンドリーなデータレイアウトと256ビット幅のsimd命令を用いてアルゴリズムの定数係数を改善する。
第3に、Stimは高価なスタビライザーテーブルーシミュレーションを使用して初期参照サンプルを作成する。
回路を伝搬するポーリフレームのバッチの参照として、このサンプルを用いて、さらにサンプルをバルクで収集する。 This paper presents ``Stim", a fast simulator for quantum stabilizer circuits. The paper explains how Stim works and compares it to existing tools. With no foreknowledge, Stim can analyze a distance 100 surface code circuit (20 thousand qubits, 8 million gates, 1 million measurements) in 15 seconds and then begin sampling full circuit shots at a rate of 1 kHz. Stim uses a stabilizer tableau representation, similar to Aaronson and Gottesman's CHP simulator, but with three main improvements. First, Stim improves the asymptotic complexity of deterministic measurement from quadratic to linear by tracking the {\em inverse} of the circuit's stabilizer tableau. Second, Stim improves the constant factors of the algorithm by using a cache-friendly data layout and 256 bit wide SIMD instructions. Third, Stim only uses expensive stabilizer tableau simulation to create an initial reference sample. Further samples are collected in bulk by using that sample as a reference for batches of Pauli frames propagating through the circuit. | 翻訳日:2023-04-09 08:19:33 公開日:2021-06-18 |
| # ディジタル化されたショートカット・ツー・アディバチティとシークエンシャルなディジタイズ・アディバチティティによる電子状態の実験的決定 Experimental Determination of Electronic States via Digitized Shortcut-to-Adiabaticity and Sequential Digitized Adiabaticity ( http://arxiv.org/abs/2103.06098v2 ) ライセンス: Link先を確認 | Ze Zhan, Chongxin Run, Zhiwen Zong, Liang Xiang, Ying Fei, Zhenhai Sun, Yaozu Wu, Zhilong Jia, Peng Duan, Jianlan Wu, Yi Yin, and Guoping Guo | (参考訳) h2分子と位相的bernevig-hughes-zhang(bhz)モデルにおける電子状態を決定するために、電子化近距離対断性(sta)と逐次デジタル化断熱性(adiabaticity)の組み合わせを超伝導量子デバイスに実装する。
h2では、短い核間距離が開始点として選択され、地上状態と励起状態がデジタル化されたstaを介して得られる。
この出発点から、核間距離の連続が構築される。
それぞれの距離における固有状態は、デジタル化された断熱によって前の距離にある状態から順次決定され、H2 のポテンシャルエネルギー景観に繋がる。
同様のアプローチがBHZモデルに適用され、第1ブリルアンゾーンのX-{\Gamma}-X線に沿って原子価と伝導帯が良好に得られる。
さらに, この手法の数値シミュレーションにより, 3〜6原子の長さの水素鎖の基底状態の抽出に成功した。 A combination of the digitized shortcut-to-adiabaticity (STA) and the sequential digitized adiabaticity is implemented in a superconducting quantum device to determine electronic states in two example systems, the H2 molecule and the topological Bernevig-Hughes-Zhang (BHZ) model. For H2, a short internuclear distance is chosen as a starting point, at which the ground and excited states are obtained via the digitized STA. From this starting point, a sequence of internuclear distances is built. The eigenstates at each distance are sequentially determined from those at the previous distance via the digitized adiabaticity, leading to the potential energy landscapes of H2. The same approach is applied to the BHZ model, and the valence and conduction bands are excellently obtained along the X-{\Gamma}-X linecut of the first Brillouin zone. Furthermore, a numerical simulation of this method is performed to successfully extract the ground states of hydrogen chains with the lengths of 3 to 6 atoms. | 翻訳日:2023-04-08 13:43:33 公開日:2021-06-18 |
| # 超対称性における絡み合い双対性 Entanglement dualities in supersymmetry ( http://arxiv.org/abs/2103.09657v2 ) ライセンス: Link先を確認 | Robert H. Jonsson, Lucas Hackl, Krishanu Roychowdhury | (参考訳) 超対称二次ハミルトニアンの基底状態におけるボソニックとフェルミオンの絡み合いの一般関係を導出する。
このため,ボソニックサブシステムとフェルミイオンサブシステム間の正準同定を行う。
我々の導出は、ボソニック状態とフェルミオン的ガウス状態の両方を、いわゆる線型複素構造$j$で記述するための統一的な枠組みに依存している。
結果として生じる双対性は、フォン・ノイマンエントロピーと任意のレニイエントロピーが関連付けられるようなボゾン系とフェルミオン系の間の完全な絡み合いスペクトルに適用できる。
我々は,キタエフ・ハニカムモデルを含む1次元および2次元系において,この知見を示す。
一般的にsusiは、両側の絡み合いエントロピーの領域法則スケーリングのような特徴を保っているが、双対フェルミオンサブシステムがほとんど絡み合いモードを発達したとき、ボソニックサブシステムにおける絡み合いエントロピー(super area law)の増幅的スケーリング(amplified scaling)という特異な現象を見出す。 We derive a general relation between the bosonic and fermionic entanglement in the ground states of supersymmetric quadratic Hamiltonians. For this, we construct canonical identifications between bosonic and fermionic subsystems. Our derivation relies on a unified framework to describe both, bosonic and fermionic Gaussian states in terms of so-called linear complex structures $J$. The resulting dualities apply to the full entanglement spectrum between the bosonic and the fermionic systems, such that the von Neumann entropy and arbitrary Renyi entropies can be related. We illustrate our findings in one and two-dimensional systems, including the paradigmatic Kitaev honeycomb model. While typically SUSY preserves features like area law scaling of the entanglement entropies on either side, we find a peculiar phenomenon, namely, an amplified scaling of the entanglement entropy ("super area law") in bosonic subsystems when the dual fermionic subsystems develop almost maximally entangled modes. | 翻訳日:2023-04-07 21:09:02 公開日:2021-06-18 |
| # 超伝導プロセッサにおける干渉射影による非マルコフ過程の定量化 Quantify the Non-Markovian Process with Intervening Projections in a Superconducting Processor ( http://arxiv.org/abs/2105.03333v2 ) ライセンス: Link先を確認 | Liang Xiang, Zhiwen Zong, Ze Zhan, Ying Fei, Chongxin Run, Yaozu Wu, Wenyan Jin, Zhilong Jia, Peng Duan, Jianlan Wu, Yi Yin and Guoping Guo | (参考訳) マルコフの仮定は物理系をメモリレスとみなし、その力学を単純化する。
メモリ効果や非マルコフ現象は自然界においてより一般的である。
量子状態においては、量子系の測定がしばしばそれを妨げるため、非マルコフ性の定義や定量化は困難である。
超伝導プロセッサのオープン量子力学をシミュレートし、非マルコフ過程を特徴づけて定量化する。
干渉射影の完全な集合と量子ビットの最終的な測定により、制限されたプロセステンソルは量子ビット-環境相互作用を考慮に入れることができる。
プロセステンソルをメモリ効果を伴う量子状態の予測に適用し、平均忠実度は99.86\%\pm 1.1\unicode{x2030}$とする。
さらに, 履歴操作を条件とした残余過程のChoi状態の導出と, 明確な操作解釈による非マルコビアン性の定量化を行う。 A Markov assumption considers a physical system memoryless to simplify its dynamics. Whereas memory effect or the non-Markovian phenomenon is more general in nature. In the quantum regime, it is challenging to define or quantify the non-Markovianity because the measurement of a quantum system often interferes with it. We simulate the open quantum dynamics in a superconducting processor, then characterize and quantify the non-Markovian process. With the complete set of intervening projections and the final measurement of the qubit, a restricted process tensor can be determined to account for the qubit-environment interaction. We apply the process tensor to predict the quantum state with memory effect, yielding an average fidelity of $99.86\%\pm 1.1\unicode{x2030}$. We further derive the Choi state of the rest process conditioned on history operations and quantify the non-Markovianity with a clear operational interpretation. | 翻訳日:2023-04-01 05:25:59 公開日:2021-06-18 |
| # 量子ネットワークのハッキング: 量子データの抽出とインストール Hacking Quantum Networks: Extraction and Installation of Quantum Data ( http://arxiv.org/abs/2105.13823v2 ) ライセンス: Link先を確認 | Seok Hyung Lie, Yong Siah Teo, Hyunseok Jeong | (参考訳) 部分的アクセスのみを与えられた量子ネットワーク上の量子情報抽出とインストールの手順である量子ハッキングの問題について検討する。
この問題は現代の物理学の中心的なトピックを一般化し、ブラックホール研究におけるヘイデン・プレスキルプロトコルのようなスクランブル力学の系からの情報回復を行う。
適切に準備された部分絡み合ったプローブ状態は、一般に量子ハッキングにおいて最大絡み合ったプローブ状態よりも優れていることを示す。
さらに,この強力なタスクに対して最適なデコーダを見つけることは,hayden-preskill-typeプロトコルのデコーダと同値であり,大規模ネットワークの最適ハッキング忠実性に関する解析式を提供する。
BobがAliceのデータをハックしようとする2ユーザシナリオでは、Aliceのユーザ空間と比較して、Bobのハッキング空間が最適に忠実になる。
しかし、もし第三者であるチャーリーが同時にコンピュータにアクセスしているなら、アリスに対する最適なハッキングの忠実度はチャーリーのユーザー空間次元と一致し、古典的な攻撃のない高次元のマルチユーザーシナリオでターゲットの量子ハッキングが無駄になる。
ブラックホール情報問題に適用すると、限られたハッキング忠実性は、情報ミラーとしてのブラックホールの反射率減衰を意味する。 We study the problem of quantum hacking, which is the procedure of quantum-information extraction from and installation on a quantum network given only partial access. This problem generalizes a central topic in contemporary physics -- information recovery from systems undergoing scrambling dynamics, such as the Hayden--Preskill protocol in black-hole studies. We show that a properly prepared partially entangled probe state can generally outperform a maximally entangled one in quantum hacking. Moreover, we prove that finding an optimal decoder for this stronger task is equivalent to that for Hayden--Preskill-type protocols, and supply analytical formulas for the optimal hacking fidelity of large networks. In the two-user scenario where Bob attempts to hack Alice's data, we find that the optimal fidelity increases with Bob's hacking space relative to Alice's user space. However, if a third neutral party, Charlie, is accessing the computer concurrently, the optimal hacking fidelity against Alice drops with Charlie's user-space dimension, rendering targeted quantum hacking futile in high-dimensional multi-user scenarios without classical attacks. When applied to the black-hole information problem, the limited hacking fidelity implies a reflectivity decay of a black hole as an information mirror. | 翻訳日:2023-03-29 04:38:50 公開日:2021-06-18 |
| # フェルミオン-ボソン系における時間発展のための低深さ量子アルゴリズムの評価 Evaluating low-depth quantum algorithms for time evolution on fermion-boson systems ( http://arxiv.org/abs/2106.03985v2 ) ライセンス: Link先を確認 | Nathan Fitzpatrick, Harriet Apel and David Mu\~noz Ramo | (参考訳) 量子システムの時間発展のシミュレーションは量子コンピューティングの最も有望な応用の一つであり、グリーン関数法のような多くの応用においてサブルーチンとして現れる。
NISQマシンの現在の時代には、限られたリソースで時間力学をシミュレートするアルゴリズムの状態を評価する。
本稿では,Jaynes-Cummingsモデルとその拡張を,短期量子コンピュータ上での時間進化アルゴリズムの研究に役立つ玩具モデルとして提案する。
これらの単純なモデルを用いて、時間進化演算子の直接トロッタライゼーションは、現在のNISQハードウェアではコヒーレンス時間を必要としないディープ回路を生成する。
そこで本研究では,時間発展演算子の変分コンパイルと,波動関数 ansatz の変分量子シミュレーションという,この問題に対する2つの代替反応を検証した。
我々は,これらの手法がシステムの発展にどの程度成功したかを数値的に示す。
回路深さと測定回数の面でのコストは、他の欠点や各手法の利点とともに定量的に比較される。
両手法の計算要求は, NISQハードウェア上でのモデルの時間進化シミュレーションに適していることがわかった。
また, この結果から, 変分量子コンパイルは, より多くの測定コストで, 変分量子シミュレーションよりも正確な結果が得られることを示した。 Simulating time evolution of quantum systems is one of the most promising applications of quantum computing and also appears as a subroutine in many applications such as Green's function methods. In the current era of NISQ machines we assess the state of algorithms for simulating time dynamics with limited resources. We propose the Jaynes-Cummings model and extensions to it as useful toy models to investigate time evolution algorithms on near-term quantum computers. Using these simple models, direct Trotterisation of the time evolution operator produces deep circuits, requiring coherence times out of reach on current NISQ hardware. Therefore we test two alternative responses to this problem: variational compilation of the time evolution operator, and variational quantum simulation of the wavefunction ansatz. We demonstrate numerically to what extent these methods are successful in time evolving this system. The costs in terms of circuit depth and number of measurements are compared quantitatively, along with other drawbacks and advantages of each method. We find that computational requirements for both methods make them suitable for performing time evolution simulations of our models on NISQ hardware. Our results also indicate that variational quantum compilation produces more accurate results than variational quantum simulation, at the cost of a larger number of measurements. | 翻訳日:2023-03-27 08:37:50 公開日:2021-06-18 |
| # 回転する宇宙糸の存在下でのDKP発振器 DKP oscillator in the presence of a spinning cosmic string ( http://arxiv.org/abs/2106.04264v2 ) ライセンス: Link先を確認 | Yi Yang, Hassan Hassanabadi, Hao Chen, Zheng-Wen Long | (参考訳) スピン-0粒子の一般化ダフィン・ケムマー・ペティオー振動子(dkp)のスピン弦背景下での位相欠陥による重力場の変化について検討した。
スピン宇宙弦背景下での一般化DKP発振器方程式を確立し,一般化DKP発振器に対するコーネルポテンシャルの影響を示す。
時空およびポテンシャルパラメータがエネルギーレベルに与える影響について述べる。 We investigate the modification of gravitational fields generated by topological defects on a generalized Duffin-Kemmer-Petiau (DKP) oscillator for spin-0 particle under spinning cosmic string background. The generalized DKP oscillator equation under spinning cosmic string background is established, and the impact of the Cornell potential on the generalized DKP oscillator is presented. We give the influence of space-time and potential parameters on energy levels. | 翻訳日:2023-03-27 06:47:28 公開日:2021-06-18 |
| # ストリートノミクス:ストリートネームを用いた文化の定量化 Streetonomics: Quantifying Culture Using Street Names ( http://arxiv.org/abs/2106.04675v2 ) ライセンス: Link先を確認 | Melanie Bancilhon, Marios Constantinides, Edyta Paulina Bogucka, Luca Maria Aiello, Daniele Quercia | (参考訳) 社会の価値システムを定量化することは、人々が深い関心を持っていることを示唆するので重要です。
この文化的定量化は典型的には文学作品の研究によって行われている。
しかし、社会の価値体系は、人々が過去の決定に基づいて暗黙的に定量化され、それが彼らの関心事によって媒介される可能性がある。
これらの決定の1つのクラスは、通常の設定で見ることができ、通りの名前で見ることができます。
我々はパリ、ウィーン、ロンドン、ニューヨークの各都市で4,932の栄誉ある通りの名前を研究した。
私たちはこれらの4つの都市を20世紀の西洋社会にとって重要な文化的影響力の中心として選んだ。
街路名は,社会がジェンダーに偏っていること,職業がエリートであると考えられること,都市が世界の他の地域の影響を受けていることなどを反映していることがわかった。
社会の価値体系を定量化するこの方法は、デジタル人文科学における新しい方法論を伝えること、自治体が過去を振り返って将来を知らせること、歴史認識を促進する日常的な教育ツールの設計を遊び心に伝えることを約束する。 Quantifying a society's value system is important because it suggests what people deeply care about -- it reflects who they actually are and, more importantly, who they will like to be. This cultural quantification has been typically done by studying literary production. However, a society's value system might well be implicitly quantified based on the decisions that people took in the past and that were mediated by what they care about. It turns out that one class of these decisions is visible in ordinary settings: it is visible in street names. We studied the names of 4,932 honorific streets in the cities of Paris, Vienna, London and New York. We chose these four cities because they were important centers of cultural influence for the Western world in the 20th century. We found that street names greatly reflect the extent to which a society is gender biased, which professions are considered elite ones, and the extent to which a city is influenced by the rest of the world. This way of quantifying a society's value system promises to inform new methodologies in Digital Humanities; makes it possible for municipalities to reflect on their past to inform their future; and informs the design of everyday's educational tools that promote historical awareness in a playful way. | 翻訳日:2023-03-27 06:18:50 公開日:2021-06-18 |
| # A Fait Accompli?
Androidアプリにおけるサードパーティ追跡への同意の有無に関する実証的研究 A Fait Accompli? An Empirical Study into the Absence of Consent to Third-Party Tracking in Android Apps ( http://arxiv.org/abs/2106.09407v2 ) ライセンス: Link先を確認 | Konrad Kollnig, Reuben Binns, Pierre Dewitte, Max Van Kleek, Ge Wang, Daniel Omeiza, Helena Webb, Nigel Shadbolt | (参考訳) サードパーティの追跡により、企業はユーザの行動データを収集し、デジタルデバイス間での活動を追跡することができる。
これは、見知らぬ人の手にユーザーのプライベートな生活に深い洞察を与え、しばしばユーザーの意識や明示的な同意なしに起こる。
しかしEUと英国のデータ保護法には、双方の同意が必要だ
1) ユーザの端末に関する情報にアクセスし、記憶する
2) 本論文で分析した第三者追跡の一部としての個人データの処理を正当化する。
本稿では,モバイルアプリにどの程度の同意が実装されているか,さらに検討する。
まず、google playストアのアプリの代表的なサンプルを分析します。
ほとんどのアプリはサードパーティの追跡に関わっているが、それを行う前に同意を得ることはほとんどなく、EUと英国のプライバシー法に広く違反する可能性がある。
次に、最も一般的なサードパーティ追跡ライブラリについて詳細に検討する。
多くは、開発者に代わって同意を得るのにアプリ開発者に依存していることを認めているが、それを保証するための堅固な措置を講じていない: 同意条件の開示は制限されており、デフォルトの同意実装は不足しており、コンプライアンスガイダンスは発見が難しく、読みにくく、メンテナンスが不十分である。 Third-party tracking allows companies to collect users' behavioural data and track their activity across digital devices. This can put deep insights into users' private lives into the hands of strangers, and often happens without users' awareness or explicit consent. EU and UK data protection law, however, requires consent, both 1) to access and store information on users' devices and 2) to legitimate the processing of personal data as part of third-party tracking, as we analyse in this paper. This paper further investigates whether and to what extent consent is implemented in mobile apps. First, we analyse a representative sample of apps from the Google Play Store. We find that most apps engage in third-party tracking, but few obtained consent before doing so, indicating potentially widespread violations of EU and UK privacy law. Second, we examine the most common third-party tracking libraries in detail. While most acknowledge that they rely on app developers to obtain consent on their behalf, they typically fail to put in place robust measures to ensure this: disclosure of consent requirements is limited; default consent implementations are lacking; and compliance guidance is difficult to find, hard to read, and poorly maintained. | 翻訳日:2023-03-26 10:47:30 公開日:2021-06-18 |
| # データ強制:コロンビア特別区における自動速度強制の探索的影響分析 Data Enforced: An Exploratory Impact Analysis of Automated Speed Enforcement in the District of Columbia ( http://arxiv.org/abs/2106.09933v1 ) ライセンス: Link先を確認 | Awad Abdelhalim, Linda Bailey, Emily Dalphy, Kelli Raboy | (参考訳) 2015年、コロンビア特別区は2024年までにゼロの交通事故死を目標としてvision zeroミッションとアクションプランを策定した。
本研究では、自動スピード強化(ASE)の影響とビジョンゼロの目標達成における役割について検討する。
交通事故、ASEカメラの位置、引用記録、および地区の道路を横断する運転速度に関する詳細な情報を含む独立したデータセットを収集、組み合わせ、分析し、ASEカメラの設置前後における事故のパターンと傾向、速度制限違反、速度違反を識別した。
この探索分析の結果,ワシントンD.C.におけるASEシステムの安全性のメリットが確認された。この研究は,ASEシステムの短期的影響をさまざまなデータソースを用いて評価する方法の青写真も提供し,実践者が既存のシステムを評価するのに役立つとともに,将来の導入に関する意思決定プロセスを支援する。 In 2015, the District of Columbia framed a Vision Zero mission and action plan, with a target of achieving zero traffic fatalities by 2024. This study examines the impacts of Automated Speed Enforcement (ASE) and its role in achieving the goals of Vision Zero. Independent datasets containing detailed information about traffic crashes, ASE camera locations, and citation records, and driving speeds across the District's streets were collected, combined, and analyzed to identify patterns and trends in crashes, speed limit violations, and speeding behavior before and after the ASE camera installation. The results of this exploratory analysis confirm the safety benefits of ASE systems in Washington, D.C. The study also provides a blueprint for the different means of evaluating the short-term impact of ASE systems using different data sources which can aid practitioners in better evaluating existing systems and support the decision-making process regarding future installations. | 翻訳日:2023-03-26 08:33:33 公開日:2021-06-18 |
| # テレフィルター、テレミラー、因果関係 Telefilters, telemirrors, and causality ( http://arxiv.org/abs/2106.09926v1 ) ライセンス: Link先を確認 | Joshua Foo, Sho Onoe, Magdalena Zych and Timothy C. Ralph | (参考訳) 連続可変テレポーテーションを用いた量子光学モード選択フィルタとミラーの理論モデルを提案する。
これらをテレフィルタとテレミラーと呼ぶ。
どちらのデバイスも、全ての直交モードをフィルタリングまたは反映しながら、入力されたマルチモードフィールドから関心のあるモードの識別チャネルとして振る舞う。
これらのモデルを用いて相対論的量子光学における因果性問題、特にモード選択鏡による時間的非局在化波束の透過と伝播を解析する。
まず, テレミラーやモード選択操作が, 因果関係の違反を防止するために必要となる, ウェーブパックの基本的な時間遅延を果たす方法を示す。
この遅延を回避するために、入力フィールドの独立した時間成分を別々に、連続的に、すなわち実行中の操作をテレポートすることを検討する。
このシナリオでは、テレミラーは興味のモードと、それらと相関しないノイズを運ぶ直交モードを伝達する。
このシナリオでは、デバイスはモード識別されるがモード選択ではないと考えられる。 We present new theoretical models for quantum optical mode-selective filters and mirrors using continuous-variable teleportation. We call these devices telefilters and telemirrors respectively. Both devices act as the identity channel on a mode of interest from an input multi-mode field while filtering or reflecting all the orthogonal modes. We utilise these models to analyse a causality problem in relativistic quantum optics, specifically the apparently acausal transmission and propagation of temporally delocalised wavepackets through mode-selective mirrors. Firstly, we show how telemirrors - and thus mode-selective operations generally - enact a fundamental time-delay on such wavepackets, which is necessary in order to prevent violations of causality. In an attempt to circumvent this delay, we next consider teleporting the independent temporal components of the input field separately and continuously, that is, performing operations on-the-run. In this scenario, the telemirror transmits the mode of interest as well as orthogonal modes which carry with them uncorrelated noise. In this scenario, the device may be considered mode-discriminating but not mode-selective. | 翻訳日:2023-03-26 08:33:10 公開日:2021-06-18 |
| # 分散並列遺伝的アルゴリズムの性能評価のための新手法 A Fresh Approach to Evaluate Performance in Distributed Parallel Genetic Algorithms ( http://arxiv.org/abs/2106.09922v1 ) ライセンス: Link先を確認 | Tomohiro Harada and Enrique Alba and Gabriel Luque | (参考訳) 本研究では,マルチコアプロセッサのクラスタ上で動作した場合のマルチポピュレーション並列遺伝的アルゴリズム(pgas)の挙動を評価・解析する新しい手法を提案する。
特に,観測された性能曲線を表す数学的モデルを提案し,数値的および計算的挙動を深く研究した。
本研究では,視覚検査の対象となる個別の独立した結果ではなく,新たなPGA性能の数学的記述について考察し,使用したコア数(スケーリング性),マイグレーションポリシー(マイグレーションギャップ,本論文),解決された問題の特徴(エンコーディングと問題サイズの種類)についてより深く理解する。
実数とそれに適合する数値モデルに基づく結論は、それらのスピードアップ、実行時間、数値的労力を理解する新しい方法を示し、いくつかの意味のある数値パラメータに基づく比較を可能にする。
これは、PGAの過去の作品に見られる通常のテキストレッスン以上の結論の集合を表している。
アルゴリズムの将来のパフォーマンスや、その限界を見つける方法として、推定ツールとして使用できる。 This work proposes a novel approach to evaluate and analyze the behavior of multi-population parallel genetic algorithms (PGAs) when running on a cluster of multi-core processors. In particular, we deeply study their numerical and computational behavior by proposing a mathematical model representing the observed performance curves. In them, we discuss the emerging mathematical descriptions of PGA performance instead of, e.g., individual isolated results subject to visual inspection, for a better understanding of the effects of the number of cores used (scalability), their migration policy (the migration gap, in this paper), and the features of the solved problem (type of encoding and problem size). The conclusions based on the real figures and the numerical models fitting them represent a fresh way of understanding their speed-up, running time, and numerical effort, allowing a comparison based on a few meaningful numeric parameters. This represents a set of conclusions beyond the usual textual lessons found in past works on PGAs. It can be used as an estimation tool for the future performance of the algorithms and a way of finding out their limitations. | 翻訳日:2023-03-26 08:32:54 公開日:2021-06-18 |
| # 工学的散逸による量子スピン鎖の絡み合い転移:対数成長から領域法則へ Engineered dissipation induced entanglement transition in quantum spin chains: from logarithmic growth to area law ( http://arxiv.org/abs/2106.10092v1 ) ライセンス: Link先を確認 | Thomas Botzung, Sebastian Diehl and Markus M\"uller | (参考訳) 近年の理論的研究により、波動関数軌道に沿って環境によって行われるコヒーレントユニタリ力学と確率的測定の競合が絡み合いのスケーリングの遷移を引き起こすことが示されている。
本研究では,これらの研究の補完として,ハミルトン力学と散逸力学の役割が逆転する状況を分析する。
我々は、量子スピンの絡み合った位相を$-1/2$の鎖で安定化する工学的な散逸を考える一方で、単一粒子と競合する一方、相互作用するハミルトン力学は絡み合った位相を誘導する。
単粒子ユニタリダイナミクスに着目して,ユニタリ進化と非ユニタリダイナミクスの競合比が増加すると,システムは対数成長から領域法則への絡み合い遷移を行うことがわかった。
我々は遷移がハミルトン力学と測定力学の有限競合比で状態依存可観測物に現れることを証明している。
一方、軌道平均定常状態力学ではリンドブラッドマスター方程式(英語版)(lindblad master equation:pure dissipative dynamics)に支配されている:純粋に散逸した動力学は絡み合った状態を安定化するが、非バナッシブ・ハミルトニアンの貢献に対して、システムは無秩序な段階で不整脈に終わる。
さらに、単一の軌道解析により、絡み合うエントロピーの分布が遷移の効率的な指標となることが分かる。
補足的に、相互作用するハミルトニアンによって生成されるコヒーレント力学との散逸の競合を探求し、この第2モデルにも絡み合い遷移が生じることを示す。
以上の結果から,この遷移はより広いハミルトニアンのクラスで発生し,観測された開量子多体系において頑健性を示すことが示唆された。 Recent theoretical work has shown that the competition between coherent unitary dynamics and stochastic measurements, performed by the environment, along wavefunction trajectories can give rise to transitions in the entanglement scaling. In this work, complementary to these previous studies, we analyze a situation where the role of Hamiltonian and dissipative dynamics is reversed. We consider an engineered dissipation, which stabilizes an entangled phase of a quantum spin$-1/2$ chain, while competing single-particle or interacting Hamiltonian dynamics induce a disentangled phase. Focusing on the single-particle unitary dynamics, we find that the system undergoes an entanglement transition from a logarithmic growth to an area law when the competition ratio between the unitary evolution and the non-unitary dynamics increases. We evidence that the transition manifests itself in state-dependent observables at a finite competition ratio for Hamiltonian and measurement dynamics. On the other hand, it is absent in trajectory-averaged steady-state dynamics, governed by a Lindblad master equation: although purely dissipative dynamics stabilizes an entangled state, for any non-vanishing Hamiltonian contribution the system ends up irremediably in a disordered phase. In addition, a single trajectory analysis reveals that the distribution of the entanglement entropy constitutes an efficient indicator of the transition. Complementarily, we explore the competition of the dissipation with coherent dynamics generated by an interacting Hamiltonian, and demonstrate that the entanglement transition also occurs in this second model. Our results suggest that this type of transition takes place for a broader class of Hamiltonians, underlining its robustness in monitored open quantum many-body systems. | 翻訳日:2023-03-26 08:26:52 公開日:2021-06-18 |
| # SR QKDの復調位相符号化とそのセキュリティ Go-and-return phase encoded SR QKD and its security consideration ( http://arxiv.org/abs/2106.10082v1 ) ライセンス: Link先を確認 | Vadim Rodimin, Andrey Tayduganov, Dmitry Kronberg, Yury Durkin, Alexey Zharinov and Yury Kurochkin | (参考訳) 本研究では,強い参照パルスを持つコヒーレント状態量子鍵分布の安全性について検討する。
この考慮は、強力なソフトフィルタリング攻撃に基づいており、機器の現実的なパラメータを使用する。
我々のモデルでは,安全な鍵生成速度と距離を信号と基準パルスのエネルギーと関連付けることができる。
強い参照パルスを持つ光学スキームを符号化する2パス量子鍵分布位相を提案する。
この単純な実現スキームは、安定操作を示す実験的に試験される。
ここでは、60\,dB以上の相対強度差を持つ明るい基準パルスによる弱い信号パルスシャドーイング問題に対するチューニング手法と解について述べる。 In this work, we study the security of coherent-state quantum key distribution with a strong reference pulse. The consideration is based on a powerful soft filtering attack and uses realistic parameters of the equipment. Our model allows us to relate the secure key generation rate and distance with the energy of signal and reference pulses. We propose a two-pass quantum key distribution phase encoding optical scheme with a strong reference pulse. This simple for realization scheme is experimentally tested showing stable operation. Here we describe the tuning technique and solution for the problem of weak signal pulse shadowing by a bright reference pulse with the relative intensity difference of more than 60\,dB between them. | 翻訳日:2023-03-26 08:26:18 公開日:2021-06-18 |
| # 絡み合いエコーと動的絡み合い遷移 Entanglement echo and dynamical entanglement transitions ( http://arxiv.org/abs/2106.10043v1 ) ライセンス: Link先を確認 | Kim P\"oyh\"onen and Teemu Ojanen | (参考訳) より大きな量子系に埋め込まれたサブシステムにおける動的相転移を定式化する。
エンタングルメントエコーを初期および瞬時エンタングルメント基底状態の重なりとして導入し、クエンチがサブシステムにおける動的相転移の自然な定義を提供する後の解析構造を示す。
これらの遷移は、絡み合い型遷移とバルク型ロシミト遷移の2種類に分けられる。
絡み合い型遷移は、サブシステムとその環境の間の量子相関の周期的再編成から生じ、瞬時絡み合い基底状態の縮退を示す。
さらに、エンタングルメントエコーはクエンチの方向を区別し、非一様クエンチの空間的に異なる動的相転移を解消し、混合初期状態に対する鋭く定義された遷移をもたらす。
本研究では,時間変化による絡み合い型遷移を同定する実験プローブを提案する。 We formulate dynamical phase transitions in subsystems embedded in larger quantum systems. Introducing the entanglement echo as an overlap of the initial and instantaneous entanglement ground states, we show its analytic structure after a quench provides natural definition of dynamical phase transitions in the subsystem. These transitions come in two varieties, the entanglement-type transitions and the bulk-type Loschmidt transitions. The entanglement-type transitions arise from periodic reorganization of quantum correlations between the subsystem and its environment, manifesting in instantaneous entanglement ground state degeneracies. Furthermore, the entanglement echo distinguishes the direction of the quench, resolves spatially distinct dynamical phase transitions for non-uniform quenches and give rise to sharply-defined transitions for mixed initial states. We propose an experimental probe to identify entanglement-type transitions through temporal changes in subsystem fluctuations. | 翻訳日:2023-03-26 08:25:58 公開日:2021-06-18 |
| # 量子CDMA通信システム Quantum CDMA Communication Systems ( http://arxiv.org/abs/2106.10028v1 ) ライセンス: Link先を確認 | Mohammad Rezai and Jawad A. Salehi | (参考訳) バーコーディング光子は、将来の量子通信システムやネットワークに、今日の想像を超えた多くの機能を提供することができる。
バーコーディング光子の重要な応用として,様々な用途にcdma(code division multiple-access)通信システムを導入する。
そこで本研究では,連続モード量子光パルスのスペクトル符号化と復号に基づく新しい量子cdma(qcdma)技術の基本原理を紹介し,議論する。
特に、量子信号源、量子スペクトル符号化位相演算子、m$\times$m量子放送スターカップラー、量子スペクトル位相復号演算子、量子受信機など、理想的で典型的なqcdmaシステムを記述する上で基本となる様々なqcdmaモジュールの数学的モデルを示す。
本稿では、QCDMAシステムを記述する際に、入力された連続モード量子光パルスがグラウバー状態や量子数状態などの純状態の任意の形を取ることができる統一的なアプローチを検討する。
入力数状態の場合、絡み合いや量子干渉などの特徴を観測することができる。
さらに興味深いことに、ハイゼンベルクの不確実性原理により、光子数状態から送信される量子信号は測定時に完全な位相の不確実性を得る。
したがって、受信出力時に、マルチアクセス信号間干渉が消滅する。
ハイゼンベルクの不確実性原理により、光検出器の出力における受信信号強度は、入力グラウバー状態のコヒーレント検出スキームから入力数状態の非コヒーレント検出スキームに変化する。
我々の数学的モデルは、点間量子通信、量子パルス整形、および入力が連続モード量子信号である量子レーダ信号およびシステムにおける信号設計とデータ変調に有用である。 Barcoding photons can provide a host of functionalities that could benefit future quantum communication systems and networks beyond today's imagination. As a significant application of barcoding photons, we introduce code division multiple-access (CDMA) communication systems for various applications. In this context, we introduce and discuss the fundamental principles of a novel quantum CDMA (QCDMA) technique based on spectrally encoding and decoding of continuous-mode quantum light pulses. In particular, we present the mathematical models of various QCDMA modules that are fundamental in describing an ideal and typical QCDMA system, such as quantum signal sources, quantum spectral encoding phase operators, M$\times$M quantum broadcasting star-coupler, quantum spectral phase decoding operators, and the quantum receivers. In describing a QCDMA system, this paper considers a unified approach where the input continuous-mode quantum light pulses can take on any form of pure states such as Glauber states and quantum number states. For input number states, one can observe features like entanglement and quantum interference. More interestingly, due to Heisenberg's uncertainty principle, the quantum signals sent by photon number states obtain complete phase uncertainty at the time of measurement. Therefore, at the receiver output, the multiaccess inter-signal interference vanishes. Due to Heisenberg's uncertainty principle, the received signal intensity at the photodetector's output changes from a coherent detection scheme for input Glauber states to an incoherent detection scheme for input number states. Our mathematical model is valuable in the signal design and data modulations of point-to-point quantum communications, quantum pulse shaping, and quantum radar signals and systems where the inputs are continuous mode quantum signals. | 翻訳日:2023-03-26 08:25:41 公開日:2021-06-18 |
| # Kirkwood-Dirac の非古典性、サポートの不確実性と完全非互換性 Kirkwood-Dirac nonclassicality, support uncertainty and complete incompatibility ( http://arxiv.org/abs/2106.10017v1 ) ライセンス: Link先を確認 | Stephan De Bievre | (参考訳) d-次元ヒルベルト空間に2つの正規直交基底が与えられると、各状態のカークウッド-ディラック(kd)準確率分布に関連付けられる。
KD-非古典状態 (KD-distribution) は負の値や非現実の値を持ち、量子力学や情報に量子的優位性をもたらすことが示され、その同定の疑問が提起されている。
2つの基底間の適合性の適切な条件の下では、KD-非古典性を保証する状態の支持不確実性について、鋭く低い境界を提供する。
特に、基底が完全に相容れないとき、我々が導入する概念では、支持の不確実性がその最小値 d+1 に等しくない状態は必ずしも KD-非古典的である。
これらの一般的な結果が、相互に偏りのないものや、その摂動など、広く使われている様々な基盤に対して意味する。 Given two orthonormal bases in a d-dimensional Hilbert space, one associates to each state its Kirkwood-Dirac (KD) quasi-probability distribution. KD-nonclassical states - for which the KD-distribution takes on negative and/or nonreal values - have been shown to provide a quantum advantage in quantum metrology and information, raising the question of their identification. Under suitable conditions of incompatibility between the two bases, we provide sharp lower bounds on the support uncertainty of states that guarantee their KD-nonclassicality. In particular, when the bases are completely incompatible, a notion we introduce, states whose support uncertainty is not equal to its minimal value d+1 are necessarily KD-nonclassical. The implications of these general results for various commonly used bases, including the mutually unbiased ones, and their perturbations, are detailed. | 翻訳日:2023-03-26 08:25:18 公開日:2021-06-18 |
| # 普遍非線形非環状量子ゲートの耐雑音性と高速特性の単一原子による検証 Single-atom verification of the noise-resilient and fast characteristics of universal nonadiabatic noncyclic geometric quantum gates ( http://arxiv.org/abs/2106.09961v1 ) ライセンス: Link先を確認 | J. W. Zhang, L.-L. Yan, J. C. Li, G. Y. Ding, J. T. Bu, L. Chen, S.-L. Su, F. Zhou, M. Feng | (参考訳) 幾何相によって誘導される量子ゲートは、進化経路のグローバルな性質のため、本質的にノイズに対して堅牢である。
従来の非断熱幾何量子計算 (ngqc) と比較して、最近提案された非断熱非環状幾何量子計算 (nngqc) はより高速に機能するが、幾何演算の堅牢な特徴は残されている。
ここでは,NNGQCを単一トラップ極小コールド$^{40}$Ca$^{+}$イオンで実験的に実装し,耐雑音性と高速性を検証した。
不完全な条件下で一元演算を行うことで、従来のNGQCによる他の2つの量子ゲートと直接動的進化による量子プロセストモグラフィーによる測定忠実度によるNNGQCの利点を目撃する。
本研究は,不完全な状況においても,体系的誤りの少ない量子情報処理の高速化の可能性を示す最初の証拠を提供する。 Quantum gates induced by geometric phases are intrinsically robust against noise due to their global properties of the evolution paths. Compared to conventional nonadiabatic geometric quantum computation (NGQC), the recently proposed nonadiabatic noncyclic geometric quantum computation (NNGQC) works in a faster fashion, while still remaining the robust feature of the geometric operations. Here, we experimentally implement the NNGQC in a single trapped ultracold $^{40}$Ca$^{+}$ ion for verifying the noise-resilient and fast feature. By performing unitary operations under imperfect conditions, we witness the advantages of the NNGQC with measured fidelities by quantum process tomography in comparison with other two quantum gates by conventional NGQC and by straightforwardly dynamical evolution. Our results provide the first evidence confirming the possibility of accelerated quantum information processing with limited systematic errors even in the imperfect situation. | 翻訳日:2023-03-26 08:24:48 公開日:2021-06-18 |
| # Detox Browser -- Web上のセンシティブなコンテンツをフィルタリングする Detox Browser -- Towards Filtering Sensitive Content On the Web ( http://arxiv.org/abs/2106.09937v1 ) ライセンス: Link先を確認 | Noble Saji Mathews, Sridhar Chimalakonda | (参考訳) ウェブベースのリソースの年間消費は、主にインターネットの可利用性とアクセシビリティの増加により、非常に速いペースで増加している。
多くの人は様々な視点を得るためにウェブに依存しているが、同時に精神的な健康に有害なコンテンツを公開することができる。
キャシーの見出しと感情に満ちた記事は読者数を増やし、ウェブサイトの広告収入を増大させる。
ユーザーが大量のネガティブなコンテンツを消費すると、それはユーザーの幸福に悪影響を与え、自分の気分や精神状態に大きな影響を与える。
新型コロナウイルス(COVID-19)のパンデミック(パンデミック)で実施された多くの研究は、出身国に関係なく世界中の人々がより高いレベルの不安や抑うつを経験していることを示している。
webフィルタは、うつ病や不安、ストレスに陥りやすい人々に適したデジタル環境を構築するのに役立ちます。
ウェブフィルタリングの分野ではかなり多くの研究がなされてきたが、外傷によって引き起こされる高感度人(HSP)やストレス障害者への支援に焦点が当てられている。
そこで本稿では,Detox Browserを提案する。Detox Browserは,エンドユーザが自身の精神的健康に影響を及ぼすトピックを調整したり,コントロールしたりできるシンプルなツールだ。
このエクステンションは感情分析とキーワードを使って、google検索結果のフラグ付きコンテンツをフィルターし、webサイトを横断するときにブラックリストのトピックが検出されたらユーザーに警告する。 The annual consumption of web-based resources is increasing at a very fast rate, mainly due to an increase in affordability and accessibility of the internet. Many are relying on the web to get diverse perspectives, but at the same time, it can expose them to content that is harmful to their mental well-being. Catchy headlines and emotionally charged articles increase the number of readers which in turn increases ad revenue for websites. When a user consumes a large quantity of negative content, it adversely impacts the user's happiness and has a significant impact on his/her mood and state of mind. Many studies carried out during the COVID-19 pandemic has shown that people across the globe irrespective of their country of origin have experienced higher levels of anxiety and depression. Web filters can help in constructing a digital environment that is more suitable for people prone to depression, anxiety and stress. A significant amount of work has been done in the field of web filtering, but there has been limited focus on helping Highly Sensitive Persons (HSP's) or those with stress disorders induced by trauma. Through this paper, we propose detox Browser, a simple tool that enables end-users to tune out of or control their exposure to topics that can affect their mental well being. The extension makes use of sentiment analysis and keywords to filter out flagged content from google search results and warns users if any blacklisted topics are detected when navigating across websites | 翻訳日:2023-03-26 08:24:30 公開日:2021-06-18 |
| # ゼロ拡散型スクイーズ真空レーザー A Squeezed Vacuum State Laser with Zero Diffusion ( http://arxiv.org/abs/2106.09936v1 ) ライセンス: Link先を確認 | F. de Oliveira Neto, G. D. de Moraes Neto, and M. H. Y. Moussa | (参考訳) そこで本研究では, 圧縮真空状態レーザーを無拡散で作製する方法を提案し, 貯留層工学的手法をレーザー理論に導入した。
貯留層工学と同様に, 真空レーザーは有効原子場相互作用の構築を必要とする。
そして、実効性における空洞場作用素とジャイネス・カミングス・ハミルトニアンの間の同型性を構築することにより、従来のレーザー理論から直接有効レーザーの方程式を導出する。
本手法は貯水池工学よりも誤差を受けにくいが, その他の非古典的状態レーザーの構築にも適用でき, 加圧真空レーザーは新たな重力干渉計の分野に寄与することができる。 We propose a method for building a squeezed vacuum state laser with zero diffusion, which results from the introduction of the reservoir engineering technique into the laser theory. As well as the reservoir engineering, our squeezed vacuum laser demands the construction of an effective atom-field interaction. And by building an isomorphism between the cavity field operators in the effective and the Jaynes-Cummings Hamiltonians, we derive the equations of our effective laser directly from the conventional laser theory. Our method, which is less susceptible to errors than reservoir engineering, can be extended for the construction of other nonclassical state lasers, and our squeezed vacuum laser can contribute to the newly emerging field of gravitational interferometry. | 翻訳日:2023-03-26 08:24:07 公開日:2021-06-18 |
| # 半透明界面を有する自由フェルミオン絡み目:絡み目島における灰色体因子の影響 Free fermion entanglement with a semitransparent interface: the effect of graybody factors on entanglement islands ( http://arxiv.org/abs/2106.10287v1 ) ライセンス: Link先を確認 | Jorrit Kruthoff, Raghu Mahajan, Chitraang Murdia | (参考訳) ミンコフスキー空間を2つの半空間に分割する部分伝達インターフェースの存在下で、自由フェルミオンの2dにおける絡み合いエントロピーを研究する。
欠陥にまたがる単一の間隔の場合に焦点をあて、その絡み合いエントロピーを3つの限界で計算します。
これらの結果を用いて,非温度平坦空間浴に静的に結合したads$_2$のpoincar\'eパッチをセットアップし,ads$_2$境界が絡み合う島域の位置に及ぼす影響を計算した。
部分伝達境界はブラックホールグレーボディ因子のおもちゃモデルである。
その結果, エンタングルメント島領域は, 界面における透過反射係数の関数として単調に振る舞うことがわかった。 We study the entanglement entropy of free fermions in 2d in the presence of a partially transmitting interface that splits Minkowski space into two half-spaces. We focus on the case of a single interval that straddles the defect, and compute its entanglement entropy in three limits: Perturbing away from the fully transmitting and fully reflecting cases, and perturbing in the amount of asymmetry of the interval about the defect. Using these results within the setup of the Poincar\'e patch of AdS$_2$ statically coupled to a zero temperature flat space bath, we calculate the effect of a partially transmitting AdS$_2$ boundary on the location of the entanglement island region. The partially transmitting boundary is a toy model for black hole graybody factors. Our results indicate that the entanglement island region behaves in a monotonic fashion as a function of the transmission/reflection coefficient at the interface. | 翻訳日:2023-03-26 08:18:39 公開日:2021-06-18 |
| # ジョージ・フロイドの死後に起きた警察の暴力による黒人の犠牲者に対する集団的注意の復活 Say Their Names: Resurgence in the collective attention toward Black victims of fatal police violence following the death of George Floyd ( http://arxiv.org/abs/2106.10281v1 ) ライセンス: Link先を確認 | Henry H. Wu, Ryan J. Gallagher, Thayer Alshaabi, Jane L. Adams, Joshua R. Minot, Michael V. Arnold, Brooke Foucault Welles, Randall Harp, Peter Sheridan Dodds, Christopher M. Danforth | (参考訳) 2020年5月にジョージ・フロイドが警察によって殺害されたことで、国際的な抗議とブラック・ライフ・マター運動への注目が高まった。
ここでは、George Floyd氏の死後のオンライン活動が、Twitter上での活動記録を設定すること、プラットフォームの歴史の中で最も悲しい日を告げること、George Floyd氏の名前が1日でもっとも頻繁に使われるフレーズ10つに現れることなど、その量と強さに比例しない。
さらに、この注意はジョージ・フロイドを超えて広がり、黒人の致命的な警察の暴力の犠牲者は、ブラック・ライブス・マターの歴史上の他の瞬間よりも、彼の死後に注目された。
私たちは、警察による暴力の黒人被害者の名前が、過去12年間Twitter上でどのように削除され、記念されてきたかを示すことで、オンラインの人種的司法活動の文脈にその注意を向けます。
以上の結果から、2020年のブラックライブ・マター運動への注目の波は、前例のない方法で警察の暴力事件を過去に遡り、運動の修辞的戦略が「彼らの名前を評価」する影響を示したことが示唆された。 The murder of George Floyd by police in May 2020 sparked international protests and renewed attention in the Black Lives Matter movement. Here, we characterize ways in which the online activity following George Floyd's death was unparalleled in its volume and intensity, including setting records for activity on Twitter, prompting the saddest day in the platform's history, and causing George Floyd's name to appear among the ten most frequently used phrases in a day, where he is the only individual to have ever received that level of attention who was not known to the public earlier that same week. Further, we find this attention extended beyond George Floyd and that more Black victims of fatal police violence received attention following his death than during other past moments in Black Lives Matter's history. We place that attention within the context of prior online racial justice activism by showing how the names of Black victims of police violence have been lifted and memorialized over the last 12 years on Twitter. Our results suggest that the 2020 wave of attention to the Black Lives Matter movement centered past instances of police violence in an unprecedented way, demonstrating the impact of the movement's rhetorical strategy to "say their names." | 翻訳日:2023-03-26 08:18:24 公開日:2021-06-18 |
| # コヒーレント制御と非コヒーレント制御による2レベルオープン量子システムの到達可能および制御可能性集合の数値計算 Numerical estimation of reachable and controllability sets for a two-level open quantum system driven by coherent and incoherent controls ( http://arxiv.org/abs/2106.10146v1 ) ライセンス: Link先を確認 | Oleg V. Morzhin and Alexander N. Pechen | (参考訳) この記事は、Gorini--Kossakowski--Lindblad--Sudarshan master equation with Hamiltonian and dissipation superoperator, correspondingly, on piecewise constant coherent and incoherent control with constrained magnitudesという二段階のオープン量子系について考察する。
制御のバリエーションに関する追加の制約も考慮されている。
システムの密度行列のブロッホパラメトリゼーションを用いて解析する。
目的の基準に対してコヒーレント・非コヒーレント制御を最適化するための多くの問題を解決し、ブロッホ球内の到達可能・制御可能集合の外部平行管路およびポイントワイズ推定を得るためのセクション法を適用する。
微分進化法と二重アニール最適化法を用いる。
数値的な結果から,到達可能な集合の推定は,システムの初期状態とブロッホ球の中心点,最終時刻,制御の等級や変動の制約との距離に依存することが示された。 The article considers a two-level open quantum system, whose evolution is governed by the Gorini--Kossakowski--Lindblad--Sudarshan master equation with Hamiltonian and dissipation superoperator depending, correspondingly, on piecewise constant coherent and incoherent controls with constrained magnitudes. Additional constraints on controls' variations are also considered. The system is analyzed using Bloch parametrization of the system's density matrix. We adapt the section method for obtaining outer parallelepipedal and pointwise estimations of reachable and controllability sets in the Bloch ball via solving a number of problems for optimizing coherent and incoherent controls with respect to some objective criteria. The differential evolution and dual annealing optimization methods are used. The numerical results show how the reachable sets' estimations depend on distances between the system's initial states and the Bloch ball's center point, final times, constraints on controls' magnitudes and variations. | 翻訳日:2023-03-26 08:16:11 公開日:2021-06-18 |
| # 線形力学の不整合性とボルンの規則 The inconsistency of linear dynamics and Born's rule ( http://arxiv.org/abs/2106.10136v1 ) ライセンス: Link先を確認 | Lotte Mertens, Matthijs Wesseling, Niels Vercauteren, Alonso Corrales-Salazar, and Jasper van Wezel | (参考訳) ナノスケールデバイスを用いた最近の実験は、量子領域と古典領域の分割を橋渡しし、schr\"{o}dinger's equation in reach の修正を提案する客観的崩壊理論の実験的な実験をもたらす。
このような客観的崩壊理論は、熱力学の極限における古典力学の出現を説明し、量子力学の公理の中で存在する矛盾を解消することを目的としている。
ここでは、測定結果の相対周波数に対するボルンの規則の出現を公理の一部として含まないことを示し、そのような目的的崩壊理論は線形ではないことを示す。
線形目的崩壊理論を含む問題のクラスにおけるボルンの規則の出現の証明に関する以前の提案を解析し、隠れた仮定を含むことを示した。 Modern experiments using nanoscale devices come ever closer to bridging the divide between the quantum and classical realms, bringing experimental tests of objective collapse theories that propose alterations to Schr\"{o}dinger's equation within reach. Such objective collapse theories aim to explain the emergence of classical dynamics in the thermodynamic limit and hence resolve the inconsistency that exists within the axioms of quantum mechanics. Here, we show that requiring the emergence of Born's rule for relative frequencies of measurement outcomes without imposing them as part of any axiom, implies that such objective collapse theories cannot be linear. Previous suggestions for a proof of the emergence of Born's rule in classes of problems that include linear objective collapse theories are analysed and shown to include hidden assumptions. | 翻訳日:2023-03-26 08:15:48 公開日:2021-06-18 |
| # ドメイン逆訓練と相互情報最小化による非教師なし領域適応型構音障害音声検出 Unsupervised Domain Adaptation for Dysarthric Speech Detection via Domain Adversarial Training and Mutual Information Minimization ( http://arxiv.org/abs/2106.10127v1 ) ライセンス: Link先を確認 | Disong Wang, Liqun Deng, Yu Ting Yeung, Xiao Chen, Xunying Liu, Helen Meng | (参考訳) dysarthric speech detection (dsd)システムは、音声から神経運動障害の特徴を検出することを目的としている。
このようなシステムは、トレーニングデータとテストデータがそれぞれソースドメインとターゲットドメインから来るドメインミスマッチに特に影響を受けやすいが、これら2つのドメインは、音声刺激や病因論などによって異なる場合がある。
サイズ可能なデータセットにアノテートするコストが高いため、ターゲットドメインのラベル付きデータを取得するのは難しい。
本稿では、非教師なし領域適応(UDA)問題としてクロスドメインDSDを定式化するための最初の試みを行う。
我々は,ラベル付きソースドメインデータとラベル付き対象領域データを用いて,dysarthria presence classification (dpc), domain adversarial training (dat), mutual information minimization (mim) を含む多タスク学習戦略を提案し,dysarthria-discriminative and domain-invariant biomarkerの埋め込みを学習することを目的とした。
特に、DPCは、バイオマーカーの埋め込みが変形の重要な指標を捉えるのに役立ち、DATはバイオマーカーの埋め込みをソースドメインとターゲットドメインで区別できないように強制する。
UASPEECHコーパスとTORGOコーパスをそれぞれソースドメインとターゲットドメインとして扱うことにより、発話レベルの重み付き平均リコールと話者レベルの精度において、UDAの法人化がそれぞれ22.2%と20.0%の絶対的な増加を達成することを示す。 Dysarthric speech detection (DSD) systems aim to detect characteristics of the neuromotor disorder from speech. Such systems are particularly susceptible to domain mismatch where the training and testing data come from the source and target domains respectively, but the two domains may differ in terms of speech stimuli, disease etiology, etc. It is hard to acquire labelled data in the target domain, due to high costs of annotating sizeable datasets. This paper makes a first attempt to formulate cross-domain DSD as an unsupervised domain adaptation (UDA) problem. We use labelled source-domain data and unlabelled target-domain data, and propose a multi-task learning strategy, including dysarthria presence classification (DPC), domain adversarial training (DAT) and mutual information minimization (MIM), which aim to learn dysarthria-discriminative and domain-invariant biomarker embeddings. Specifically, DPC helps biomarker embeddings capture critical indicators of dysarthria; DAT forces biomarker embeddings to be indistinguishable in source and target domains; and MIM further reduces the correlation between biomarker embeddings and domain-related cues. By treating the UASPEECH and TORGO corpora respectively as the source and target domains, experiments show that the incorporation of UDA attains absolute increases of 22.2% and 20.0% respectively in utterance-level weighted average recall and speaker-level accuracy. | 翻訳日:2023-03-26 08:15:34 公開日:2021-06-18 |
| # 実験的可観測物質に対する網膜光異性化モデルの多目的最適化 Multi-objective optimization for retinal photoisomerization models with respect to experimental observables ( http://arxiv.org/abs/2106.10390v1 ) ライセンス: Link先を確認 | Rodrigo A. Vargas-Hern\'andez, Chern Chuang, Paul Brumer | (参考訳) 物理モデルの適合性は、しばしば単一のターゲットオブザーバブルでのみ行われる。
しかし、複数の目標を考えると、適合手順は困難になり、様々な観測対象に対するモデルのロバスト性を定量化する方法が存在しない。
本稿では,多目的最適化により,希望する可観測性ごとに最適なモデルを共同探索できることを述べる。
そのために、Paretoフロントを構築して、複数の、あるいはすべての可観測変数を共同で記述できるモデルのパラメータセットが存在するかどうかを調査する。
計算コストを軽減するため、目標とする各対象に対する予測誤差は、ベイズ最適化フレームワークで一般的に行われているガウス過程モデルで近似される。
本手法を用いて,ロドプシン中の網膜の固定状態$cis-trans$光異性化のシミュレーションに使用される3種類のモデルを改善した。
最適化は、発光スペクトル、$cis$および$trans$コンバータのピーク吸収周波数、エネルギー貯蔵など、様々な実験的な測定によって行われた。 The fitting of physical models is often done only using a single target observable. However, when multiple targets are considered, the fitting procedure becomes cumbersome, there being no easy way to quantify the robustness of the model for all different observables. Here, we illustrate that one can jointly search for the best model for each desired observable through multi-objective optimization. To do so we construct the Pareto front to study if there exists a set of parameters of the model that can jointly describe multiple, or all, observables. To alleviate the computational cost, the predicted error for each targeted objective is approximated with a Gaussian process model, as it is commonly done in the Bayesian optimization framework. We applied this methodology to improve three different models used in the simulation of stationary state $cis-trans$ photoisomerization of retinal in rhodopsin. Optimization was done with respect to different experimental measurements, including emission spectra, peak absorption frequencies for the $cis$ and $trans$ conformers, and the energy storage. | 翻訳日:2023-03-26 08:08:14 公開日:2021-06-18 |
| # 条件付測定による2場相互作用の多光子過程 Multiphoton processes via conditional measurements in the two-field interaction ( http://arxiv.org/abs/2106.10385v1 ) ライセンス: Link先を確認 | J. A. Anaya-Contreras, A. Z\'u\~niga-Segundo, A. Perez-Leija, R. de J. Le\'on-Montiel, H. M. Moya-Cessa | (参考訳) 本稿では、2つの量子化電磁場の共鳴相互作用における条件測定の利用が、非古典的多光子過程を引き起こすことを示す。
さらに、この現象は、多数の光子を含む量子状態を設計する堅牢な統合光学プロトコルを可能にし、メソスコピック量子現象を探索するための潜在的に魅力的なプラットフォームであることを示す。 In this contribution, we show that the use of conditional measurements in the resonant interaction of two quantized electromagnetic fields gives rise to nonclassical multiphoton processes. Furthermore, we demonstrate that this phenomenon may enable a robust integrated-optics protocol to engineer quantum states containing a high number of photons, thus making it a potentially appealing platform for exploring mesoscopic quantum phenomena. | 翻訳日:2023-03-26 08:07:55 公開日:2021-06-18 |
| # トランスモンを超えて動く:ノイズ保護超伝導量子回路 Moving beyond the transmon: Noise-protected superconducting quantum circuits ( http://arxiv.org/abs/2106.10296v1 ) ライセンス: Link先を確認 | Andr\'as Gyenis, Agustin Di Paolo, Jens Koch, Alexandre Blais, Andrew A. Houck, David I. Schuster | (参考訳) 超伝導回路によって実現される人工原子は、量子情報を高い忠実度で保存し処理するユニークな機会を提供する。
中でも,近年,本質的な防音機能を備えた回路の実装が急速に進んでいる。
これらのノイズ保護デバイスは、計算状態が主に局所ノイズチャネルから切り離される新しいクラスの量子ビットを構成する。
このようなシステムの設計における主な課題は、ビットと位相のエラーを同時に保護することと、高精度な量子ビット制御を保証することである。
単一の量子自由度に依存する超伝導回路では部分的ノイズ保護が可能であるが、完全な保護の約束はマルチモードまたはハイブリッド回路を実装することでのみ達成できる。
この視点は、これらの新しい量子ビットの中心にある理論原理をレビューし、最近の実験を記述し、超伝導量子ビットにおける量子情報のロバストエンコーディングの可能性を強調している。 Artificial atoms realized by superconducting circuits offer unique opportunities to store and process quantum information with high fidelity. Among them, implementations of circuits that harness intrinsic noise protection have been rapidly developed in recent years. These noise-protected devices constitute a new class of qubits in which the computational states are largely decoupled from local noise channels. The main challenges in engineering such systems are simultaneously guarding against both bit- and phase-flip errors, and also ensuring high-fidelity qubit control. Although partial noise protection is possible in superconducting circuits relying on a single quantum degree of freedom, the promise of complete protection can only be fulfilled by implementing multimode or hybrid circuits. This Perspective reviews the theoretical principles at the heart of these new qubits, describes recent experiments, and highlights the potential of robust encoding of quantum information in superconducting qubits. | 翻訳日:2023-03-26 08:05:27 公開日:2021-06-18 |
| # resdepth: 学習されたステレオ再構成 ResDepth: Learned Residual Stereo Reconstruction ( http://arxiv.org/abs/2001.08026v3 ) ライセンス: Link先を確認 | Corinne Stucker and Konrad Schindler | (参考訳) 我々は,高品位高密度ステレオ再構成のための恥ずかしいほど単純だが非常に効果的な手法を提案する。
(i)お気に入りのステレオマッチング機で近似的な再構成を生成する。
(ii)その近似モデルで入力画像をリワープすること。
(iii)初期復元と歪画像の入力により、残差補正を回帰させることにより、深層ネットワークを訓練し、復元を強化する。
(iv)新しく改良された再建により、改良を繰り返すこと。
残余を学習する戦略は学習問題を非常に単純化する。
ベルやホイッスルのない標準的なunetは、衛星画像のドーマーや屋根のサブ構造など、小さな表面の詳細を再構築するのに十分です。
また,少ない情報で残像の復元を検討した結果,単一の画像であっても近似復元を大幅に改善できることがわかった。
本モデルでは,衛星ステレオのターゲット領域とeth3dベンチマークのステレオペアの両方において,最先端ステレオ復元システムの平均絶対誤差を50%以上低減する。 We propose an embarrassingly simple but very effective scheme for high-quality dense stereo reconstruction: (i) generate an approximate reconstruction with your favourite stereo matcher; (ii) rewarp the input images with that approximate model; (iii) with the initial reconstruction and the warped images as input, train a deep network to enhance the reconstruction by regressing a residual correction; and (iv) if desired, iterate the refinement with the new, improved reconstruction. The strategy to only learn the residual greatly simplifies the learning problem. A standard Unet without bells and whistles is enough to reconstruct even small surface details, like dormers and roof substructures in satellite images. We also investigate residual reconstruction with less information and find that even a single image is enough to greatly improve an approximate reconstruction. Our full model reduces the mean absolute error of state-of-the-art stereo reconstruction systems by >50%, both in our target domain of satellite stereo and on stereo pairs from the ETH3D benchmark. | 翻訳日:2023-01-07 18:39:02 公開日:2021-06-18 |
| # Pseudo Oracle を用いた新しいグラフベース軌道予測器 A Novel Graph based Trajectory Predictor with Pseudo Oracle ( http://arxiv.org/abs/2002.00391v2 ) ライセンス: Link先を確認 | Biao Yang, Guocheng Yan, Pin Wang, Chingyao Chan, Xiang Song, and Yang Chen | (参考訳) 動的シーンにおける歩行者の軌道予測は、自動運転車や社会的に認識されたロボットなど、多くのアプリケーションにおいて困難な問題であり続けている。
課題は歩行者の行動パターンや社会的相互作用を捉え、将来の不確実性を扱うことに集中する。
近年の研究では、繰り返しニューラルネットワークを用いた歩行者の動作パターンのモデル化、プールベースやグラフベース手法による社会的相互作用の捉え、ランダムなガウスノイズを潜時変数として利用することで将来の不確実性を扱うことに焦点を当てている。
しかし、予測性能を改善する特定の障害回避エクスペリエンス(oae)は統合していない。
例えば、歩行者の将来の軌跡は、常に前方の他者の影響を受けている。
本稿では,歩行者の将来の行動を考慮したエンコーダデコーダを用いたGTPPO (Graph-based Trajectory Predictor with Pseudo Oracle)を提案する。
歩行者の動作パターンは、特定の時間ステップを強調するために時間的注意を導入する長い短期記憶ユニットで符号化される。
これらの相互作用はグラフベースのアテンションメカニズムによって捉えられ、OAEをグラフアテンションのデータ駆動学習プロセスに引き込む。
将来の不確実性は、情報付き潜在変数でマルチモーダル出力を生成することで処理される。
このような変数は、歴史と地道の知識ギャップを最小限に抑える新しい擬似オラクル予測器によって生成される。
最後に、GTPPOはETH、UCY、Stanford Droneのデータセットに基づいて評価され、その結果は最先端のパフォーマンスを示している。
さらに, 定性的評価は, 将来的な急激な動きの変化をうまく扱えることを示す。
これらの結果は、GTPPOが未来を覗くことができることを示している。 Pedestrian trajectory prediction in dynamic scenes remains a challenging and critical problem in numerous applications, such as self-driving cars and socially aware robots. Challenges concentrate on capturing pedestrians' motion patterns and social interactions, as well as handling the future uncertainties. Recent studies focus on modeling pedestrians' motion patterns with recurrent neural networks, capturing social interactions with pooling-based or graph-based methods, and handling future uncertainties by using random Gaussian noise as the latent variable. However, they do not integrate specific obstacle avoidance experience (OAE) that may improve prediction performance. For example, pedestrians' future trajectories are always influenced by others in front. Here we propose GTPPO (Graph-based Trajectory Predictor with Pseudo Oracle), an encoder-decoder-based method conditioned on pedestrians' future behaviors. Pedestrians' motion patterns are encoded with a long short-term memory unit, which introduces the temporal attention to highlight specific time steps. Their interactions are captured by a graph-based attention mechanism, which draws OAE into the data-driven learning process of graph attention. Future uncertainties are handled by generating multi-modal outputs with an informative latent variable. Such a variable is generated by a novel pseudo oracle predictor, which minimizes the knowledge gap between historical and ground-truth trajectories. Finally, the GTPPO is evaluated on ETH, UCY and Stanford Drone datasets, and the results demonstrate state-of-the-art performance. Besides, the qualitative evaluations show successful cases of handling sudden motion changes in the future. Such findings indicate that GTPPO can peek into the future. | 翻訳日:2023-01-04 20:16:12 公開日:2021-06-18 |
| # PACOH: PAC-Guaranteesによるベイズ最適メタラーニング PACOH: Bayes-Optimal Meta-Learning with PAC-Guarantees ( http://arxiv.org/abs/2002.05551v5 ) ライセンス: Link先を確認 | Jonas Rothfuss and Vincent Fortuin and Martin Josifoski and Andreas Krause | (参考訳) メタラーニングはデータから有用な帰納的バイアスをうまく得ることができる。
しかし、未知の学習課題に対する一般化特性は理解されていない。
特に、メタトレーニングタスクの数が少なければ、過剰適合に対する懸念が高まる。
PAC-Bayesianフレームワークを用いた理論的解析を行い、メタ学習のための新しい一般化境界を導出する。
これらのバウンダリを用いて、性能保証と原則付きメタレベル正規化を備えたPAC最適化メタラーニングアルゴリズムのクラスを開発する。
従来のPAC-ベイジアンメタラーナーとは異なり,提案手法は,効率よく解き,スケールできる標準的な確率最適化問題をもたらす。
PAC-optimal hyper-posterior (PACOH) をガウス過程とベイズニューラルネットワークをベースラーナーとしてインスタンス化すると、予測精度と不確実性評価の質の両方の観点から、得られた手法は最先端の性能が得られる。
不確実性の原則的な処理のおかげで、メタリーナーは逐次的な決定問題に対してうまく利用することができる。 Meta-learning can successfully acquire useful inductive biases from data. Yet, its generalization properties to unseen learning tasks are poorly understood. Particularly if the number of meta-training tasks is small, this raises concerns about overfitting. We provide a theoretical analysis using the PAC-Bayesian framework and derive novel generalization bounds for meta-learning. Using these bounds, we develop a class of PAC-optimal meta-learning algorithms with performance guarantees and a principled meta-level regularization. Unlike previous PAC-Bayesian meta-learners, our method results in a standard stochastic optimization problem which can be solved efficiently and scales well. When instantiating our PAC-optimal hyper-posterior (PACOH) with Gaussian processes and Bayesian Neural Networks as base learners, the resulting methods yield state-of-the-art performance, both in terms of predictive accuracy and the quality of uncertainty estimates. Thanks to their principled treatment of uncertainty, our meta-learners can also be successfully employed for sequential decision problems. | 翻訳日:2023-01-01 09:52:35 公開日:2021-06-18 |
| # speech2phone : 話者認識モデルの新しい効率的な学習法 Speech2Phone: A Novel and Efficient Method for Training Speaker Recognition Models ( http://arxiv.org/abs/2002.11213v2 ) ライセンス: Link先を確認 | Edresson Casanova, Arnaldo Candido Junior, Christopher Shulby, Frederico Santos de Oliveira, Lucas Rafael Stefanel Gris, Hamilton Pereira da Silva, Sandra Maria Aluisio, Moacir Antonelli Ponti | (参考訳) 本稿では,小型または未資源データセットを用いた話者認識モデルの効率的な学習手法を提案する。
この方法は、Angular PrototypealやGE2E損失関数など、他のSOTA(State-Of-The-Art)メソッドよりも少ないデータを必要とする。
これは、話者の声における音素の再構成に関する知識を用いて行われる。
この目的のために、40人の男性の話者からなる新しいデータセットが作られ、ポルトガル語で文章を読み、合計で約3時間であった。
我々の手法を用いて訓練された3つの最高のアーキテクチャを比較して、最も優れたアーキテクチャを選択します。
約2000時間で訓練されたFast ResNet-34は、Angular PrototypealとGE2Eの損失関数を用いて、このモデルを話者認識タスクのSOTA法と比較した。
異なる言語でデータセットを用いて3つの実験を行った。
これら3つの実験のうち,2つの実験で2番目によい結果が得られ,そのうちの1つで最高の結果が得られた。
このことは、500倍少ないデータとシンプルなアプローチで、SOTA話者認識モデルと競合することが証明された、我々の方法の重要性を強調している。 In this paper we present an efficient method for training models for speaker recognition using small or under-resourced datasets. This method requires less data than other SOTA (State-Of-The-Art) methods, e.g. the Angular Prototypical and GE2E loss functions, while achieving similar results to those methods. This is done using the knowledge of the reconstruction of a phoneme in the speaker's voice. For this purpose, a new dataset was built, composed of 40 male speakers, who read sentences in Portuguese, totaling approximately 3h. We compare the three best architectures trained using our method to select the best one, which is the one with a shallow architecture. Then, we compared this model with the SOTA method for the speaker recognition task: the Fast ResNet-34 trained with approximately 2,000 hours, using the loss functions Angular Prototypical and GE2E. Three experiments were carried out with datasets in different languages. Among these three experiments, our model achieved the second best result in two experiments and the best result in one of them. This highlights the importance of our method, which proved to be a great competitor to SOTA speaker recognition models, with 500x less data and a simpler approach. | 翻訳日:2022-12-28 22:05:14 公開日:2021-06-18 |
| # 評価が上がらないときに、公平で効率的なアロケーションを見つける Finding Fair and Efficient Allocations When Valuations Don't Add Up ( http://arxiv.org/abs/2003.07060v4 ) ライセンス: Link先を確認 | Nawal Benabbou, Mithun Chakraborty, Ayumi Igarashi, Yair Zick | (参考訳) 本稿では, 選好が {\em matroid rank function} に対応するエージェントに対して, 不特定商品の公平かつ効率的な配分に関する新たな結果を示す。
これは、いくつかの望ましい性質(モノトニック性や部分モジュラリティなど)を持つ多元的評価クラスであり、自然に多くの実世界の領域に自己を与える。
まず,エージェント評価がマトロイドランク関数である場合,最大1項目(EF1)までのエンビーフリーネスを達成する社会的最適(実用的社会福祉最大化)アロケーションが存在し,計算的に抽出可能であることを示す。
また、Nashの福祉最大化とレキシミン割り当ては、実用的最適結果よりも対称的厳密凸関数を最小化することにより達成できることを示し、この公正/効率の組み合わせを示す。
我々の知る限りでは、ナッシュの福祉を最大化する割り当てがEF1であることが確立された付加的評価によって仮定されない最初の評価関数クラスである。
さらに,最大(非重み付き)二成分マッチングに基づく評価関数のサブクラスに対して,レキシミン割当を多項式時間で計算可能であることを示す。
さらに、EF1以外の公平性基準への拡張の可能性や、上記の評価クラスの一般化についても検討する。 In this paper, we present new results on the fair and efficient allocation of indivisible goods to agents whose preferences correspond to {\em matroid rank functions}. This is a versatile valuation class with several desirable properties (such as monotonicity and submodularity), which naturally lends itself to a number of real-world domains. We use these properties to our advantage; first, we show that when agent valuations are matroid rank functions, a socially optimal (i.e. utilitarian social welfare-maximizing) allocation that achieves envy-freeness up to one item (EF1) exists and is computationally tractable. We also prove that the Nash welfare-maximizing and the leximin allocations both exhibit this fairness/efficiency combination, by showing that they can be achieved by minimizing any symmetric strictly convex function over utilitarian optimal outcomes. To the best of our knowledge, this is the first valuation function class not subsumed by additive valuations for which it has been established that an allocation maximizing Nash welfare is EF1. Moreover, for a subclass of these valuation functions based on maximum (unweighted) bipartite matching, we show that a leximin allocation can be computed in polynomial time. Additionally, we explore possible extensions of our results to fairness criteria other than EF1 as well as to generalizations of the above valuation classes. | 翻訳日:2022-12-23 03:40:39 公開日:2021-06-18 |
| # 非線形システム同定のための深部状態空間モデル Deep State Space Models for Nonlinear System Identification ( http://arxiv.org/abs/2003.14162v3 ) ライセンス: Link先を確認 | Daniel Gedon, Niklas Wahlstr\"om, Thomas B. Sch\"on, Lennart Ljung | (参考訳) 深層状態空間モデル (Deep State Space Model, SSM) は、古典的なSSMと密接な関係を持つディープラーニングコミュニティで開発された時間モデルのモデルクラスである。
ブラックボックス識別モデルとしてのディープSSMの使用は、ディープニューラルネットワークの柔軟性による幅広いダイナミックスを記述することができる。
さらに、モデルクラスの確率的性質により、システムの不確実性がモデル化される。
本稿では, 深層ssmクラスとそのパラメータ学習アルゴリズムについて, 深層学習に基づく手法を用いて, 非線形同定法のツールボックスを拡張するために解説する。
最近の6つのディープssmは、非線形システム識別ベンチマークの最初の統一実装で評価されている。 Deep state space models (SSMs) are an actively researched model class for temporal models developed in the deep learning community which have a close connection to classic SSMs. The use of deep SSMs as a black-box identification model can describe a wide range of dynamics due to the flexibility of deep neural networks. Additionally, the probabilistic nature of the model class allows the uncertainty of the system to be modelled. In this work a deep SSM class and its parameter learning algorithm are explained in an effort to extend the toolbox of nonlinear identification methods with a deep learning based method. Six recent deep SSMs are evaluated in a first unified implementation on nonlinear system identification benchmarks. | 翻訳日:2022-12-18 00:29:58 公開日:2021-06-18 |
| # 病理異方性と逆行学習を用いた疑似健康合成 Pseudo-healthy synthesis with pathology disentanglement and adversarial learning ( http://arxiv.org/abs/2005.01607v3 ) ライセンス: Link先を確認 | Tian Xia, Agisilaos Chartsias, Sotirios A. Tsaftaris | (参考訳) Pseudo-Healthy 合成は、病態から主題固有の「健康」画像を作成するタスクである。
このような画像は、病理や疾患によって引き起こされる異常の検出や変化の理解といったタスクに有用である。
本稿では,健康であると思われるものから病理の情報を分離することを奨励するモデルを提案する。
我々は、健康なように見えるものや、病気がセグメンテーションマップとして存在するものを、ネットワークで再結合して入力された疾患画像の再構成を行う。
私たちは、ペアまたはアンペアの設定を使用して、モデルを逆さまにトレーニングします。
定量的・主観的にヒト実験を行い,いくつかの基準を用いて疑似健康画像の品質評価を行った。
ISLES, BraTS, Cam-CAN データセットで実施した一連の実験において,本手法は文献のベースラインや手法よりも優れていることを示す。
また,良好な訓練プロセスにより,疾患による周辺組織への変形を回復できることを示した。
実装はhttps://github.com/xiat0616/pseudo-healthy- synthesisで公開しています。
医療画像解析: https://doi.org/10.1016/j.media.2020.101719。 Pseudo-healthy synthesis is the task of creating a subject-specific `healthy' image from a pathological one. Such images can be helpful in tasks such as anomaly detection and understanding changes induced by pathology and disease. In this paper, we present a model that is encouraged to disentangle the information of pathology from what seems to be healthy. We disentangle what appears to be healthy and where disease is as a segmentation map, which are then recombined by a network to reconstruct the input disease image. We train our models adversarially using either paired or unpaired settings, where we pair disease images and maps when available. We quantitatively and subjectively, with a human study, evaluate the quality of pseudo-healthy images using several criteria. We show in a series of experiments, performed on ISLES, BraTS and Cam-CAN datasets, that our method is better than several baselines and methods from the literature. We also show that due to better training processes we could recover deformations, on surrounding tissue, caused by disease. Our implementation is publicly available at https://github.com/xiat0616/pseudo-healthy-synthesis. This paper has been accepted by Medical Image Analysis: https://doi.org/10.1016/j.media.2020.101719. | 翻訳日:2022-12-11 18:29:54 公開日:2021-06-18 |
| # 学習ビデオ圧縮における逆歪み Adversarial Distortion for Learned Video Compression ( http://arxiv.org/abs/2004.09508v3 ) ライセンス: Link先を確認 | Vijay Veerabadran, Reza Pourreza, Amirhossein Habibian, Taco Cohen | (参考訳) 本稿では,新しい対向損失ビデオ圧縮モデルを提案する。
極端に低いビットレートでは、標準的なビデオ符号化方式は、ブロッキング、リンギングなどの不快な再構築アーティファクトに苦しむ。
ビデオ圧縮に対する既存の学習したニューラルアプローチは、効率的な伝送のためのビットレートを削減し、アーティファクトの影響をある程度低減することに合理的に成功している。
しかし、極端な圧縮下ではぼやけた結果になる傾向がある。
本稿では,補助的な逆歪目標を最小化する深層学習ビデオ圧縮モデルを提案する。
この敵意は,MS-SSIMやPSNRといった従来の品質指標と比較して,人間の知覚的品質判断と相関する。
最先端の学習ビデオ圧縮システムを用いた実験では,特に高圧縮下での知覚的アーティファクトの低減と詳細の再構築が示されている。 In this paper, we present a novel adversarial lossy video compression model. At extremely low bit-rates, standard video coding schemes suffer from unpleasant reconstruction artifacts such as blocking, ringing etc. Existing learned neural approaches to video compression have achieved reasonable success on reducing the bit-rate for efficient transmission and reduce the impact of artifacts to an extent. However, they still tend to produce blurred results under extreme compression. In this paper, we present a deep adversarial learned video compression model that minimizes an auxiliary adversarial distortion objective. We find this adversarial objective to correlate better with human perceptual quality judgement relative to traditional quality metrics such as MS-SSIM and PSNR. Our experiments using a state-of-the-art learned video compression system demonstrate a reduction of perceptual artifacts and reconstruction of detail lost especially under extremely high compression. | 翻訳日:2022-12-11 17:35:37 公開日:2021-06-18 |
| # Wasserstein GAN に関する理論的考察 Some Theoretical Insights into Wasserstein GANs ( http://arxiv.org/abs/2006.02682v2 ) ライセンス: Link先を確認 | G\'erard Biau (LPSM (UMR\_8001)), Maxime Sangnier (LPSM (UMR\_8001)), Ugo Tanielian (LPSM (UMR\_8001)) | (参考訳) GAN(Generative Adversarial Networks)は、画像、ビデオ、テキスト生成など多様な分野で、優れた結果を生み出すことに成功した。
これらの成功に基づいて、数多くの実証研究が、トレーニングプロセスに安定化をもたらすwasserstein gans(wgans)と呼ばれるいとこのアプローチの利点を検証している。
本稿では,wgansの特性の理論的進歩を提案することにより,新たな石を浮き彫りに加える。
まず、ニューラルネットワークによってパラメータ化された積分確率メトリクスの文脈でWGANのアーキテクチャを適切に定義し、それらの基本的な数学的特徴をいくつか強調する。
パラメトリック1-Lipschitz判別器の使用により,特に興味深い最適化特性が強調される。
そこで, 統計的手法を用いて, サンプルサイズが無限大になる傾向にある経験的WGANの収束について検討し, いくつかのトレードオフ特性を基盤として, 発電機と判別器の対角効果を明らかにする。
これらの特徴は、最終的に合成データセットと実世界のデータセットの両方を用いた実験で示される。 Generative Adversarial Networks (GANs) have been successful in producing outstanding results in areas as diverse as image, video, and text generation. Building on these successes, a large number of empirical studies have validated the benefits of the cousin approach called Wasserstein GANs (WGANs), which brings stabilization in the training process. In the present paper, we add a new stone to the edifice by proposing some theoretical advances in the properties of WGANs. First, we properly define the architecture of WGANs in the context of integral probability metrics parameterized by neural networks and highlight some of their basic mathematical features. We stress in particular interesting optimization properties arising from the use of a parametric 1-Lipschitz discriminator. Then, in a statistically-driven approach, we study the convergence of empirical WGANs as the sample size tends to infinity, and clarify the adversarial effects of the generator and the discriminator by underlining some trade-off properties. These features are finally illustrated with experiments using both synthetic and real-world datasets. | 翻訳日:2022-11-25 09:14:38 公開日:2021-06-18 |
| # フェアベイズ最適化 Fair Bayesian Optimization ( http://arxiv.org/abs/2006.05109v3 ) ライセンス: Link先を確認 | Valerio Perrone, Michele Donini, Muhammad Bilal Zafar, Robin Schmucker, Krishnaram Kenthapadi, C\'edric Archambeau | (参考訳) 生活における機械学習(ml)の重要性が増していることを踏まえ、機械学習モデルの結果のバイアスを軽減するアルゴリズム的公平性手法がいくつか提案されている。
しかしながら、これらの技術のほとんどは、MLモデルの1つのファミリと特定の公平性の定義に適合するように特化しており、実際は適応性を制限する。
本稿では,任意のMLモデルの性能を1つあるいは複数のフェアネス制約を適用しながら最適化する,一般制約ベイズ最適化(BO)フレームワークを提案する。
boはモデルに依存しない最適化手法であり、mlモデルのハイパーパラメータの自動チューニングにうまく適用された。
ランダムフォレスト,勾配ブースティング,ニューラルネットワークなど,一般的なモデルに公平性制約を課すことで,ハイパーパラメータのみに作用することで,正確かつ公平な解が得られることを示す。
また,我々のアプローチは,モデル固有の公平性制約を強制する特殊な手法と競合し,入力データの公正表現を学習する前処理手法よりも優れていることを実証的に示す。
さらに,本手法は,高パラメータを調整するための特殊フェアネス技術との相乗効果にも利用できる。
最後に,BOが選択したパラメータと公平度の関係について検討した。
正規化モデルと非偏平モデルとの相関を観察し、なぜハイパーパラメーターに作用するとMLモデルが一般化され、公平になるのかを説明する。 Given the increasing importance of machine learning (ML) in our lives, several algorithmic fairness techniques have been proposed to mitigate biases in the outcomes of the ML models. However, most of these techniques are specialized to cater to a single family of ML models and a specific definition of fairness, limiting their adaptibility in practice. We introduce a general constrained Bayesian optimization (BO) framework to optimize the performance of any ML model while enforcing one or multiple fairness constraints. BO is a model-agnostic optimization method that has been successfully applied to automatically tune the hyperparameters of ML models. We apply BO with fairness constraints to a range of popular models, including random forests, gradient boosting, and neural networks, showing that we can obtain accurate and fair solutions by acting solely on the hyperparameters. We also show empirically that our approach is competitive with specialized techniques that enforce model-specific fairness constraints, and outperforms preprocessing methods that learn fair representations of the input data. Moreover, our method can be used in synergy with such specialized fairness techniques to tune their hyperparameters. Finally, we study the relationship between fairness and the hyperparameters selected by BO. We observe a correlation between regularization and unbiased models, explaining why acting on the hyperparameters leads to ML models that generalize well and are fair. | 翻訳日:2022-11-23 13:41:22 公開日:2021-06-18 |
| # Mixupがモデルパフォーマンスを改善する理由 Why Mixup Improves the Model Performance ( http://arxiv.org/abs/2006.06231v4 ) ライセンス: Link先を確認 | Masanari Kimura | (参考訳) 機械学習技術は幅広い領域で使われている。
しかし、機械学習モデルは、しばしば過剰フィッティングの問題に苦しむ。
このような問題に対処するために多くのデータ拡張手法が提案されており、そのうちの1つはmixupと呼ばれる。
mixupは、ランダムなトレーニング例を線形に補間する、最近提案された正規化手順である。
この正規化法は非常に実験的に機能するが、理論上の保証は十分に議論されていない。
本研究では,統計学習理論の側面からmixupがうまく機能する理由を明らかにすることを目的としている。 Machine learning techniques are used in a wide range of domains. However, machine learning models often suffer from the problem of over-fitting. Many data augmentation methods have been proposed to tackle such a problem, and one of them is called mixup. Mixup is a recently proposed regularization procedure, which linearly interpolates a random pair of training examples. This regularization method works very well experimentally, but its theoretical guarantee is not adequately discussed. In this study, we aim to discover why mixup works well from the aspect of the statistical learning theory. | 翻訳日:2022-11-22 09:55:05 公開日:2021-06-18 |
| # MARS: テンソル解体における仮設自動ランク選択 MARS: Masked Automatic Ranks Selection in Tensor Decompositions ( http://arxiv.org/abs/2006.10859v2 ) ライセンス: Link先を確認 | Maxim Kodryan, Dmitry Kropotov, Dmitry Vetrov | (参考訳) テンソル分解法はニューラルネットワークの圧縮と加速に効率的であることが知られている。
しかし, 最適分解構造決定の問題は非常に重要でありながら, 未だ十分に研究されていない。
具体的には、分解ランクは圧縮精度トレードオフを制御する重要なパラメータを示す。
本稿では、一般的なテンソル分解におけるランクの自動選択のための新しい効率的な方法であるMARSを紹介する。
トレーニング中は、最適なテンソル構造を「選択」する分解コア上でバイナリマスクを学習する。
学習は、特定のベイズモデルにおける最大後方(map)推定を緩和することで行われる。
提案手法は, 各種タスクにおける従来の作業よりも優れた結果が得られる。 Tensor decomposition methods are known to be efficient for compressing and accelerating neural networks. However, the problem of optimal decomposition structure determination is still not well studied while being quite important. Specifically, decomposition ranks present the crucial parameter controlling the compression-accuracy trade-off. In this paper, we introduce MARS -- a new efficient method for the automatic selection of ranks in general tensor decompositions. During training, the procedure learns binary masks over decomposition cores that "select" the optimal tensor structure. The learning is performed via relaxed maximum a posteriori (MAP) estimation in a specific Bayesian model. The proposed method achieves better results compared to previous works in various tasks. | 翻訳日:2022-11-19 13:05:04 公開日:2021-06-18 |
| # 閉塞を伴う協調グルーピングのためのレベルセットステレオ Level Set Stereo for Cooperative Grouping with Occlusion ( http://arxiv.org/abs/2006.16094v3 ) ライセンス: Link先を確認 | Jialiang Wang and Todd Zickler | (参考訳) ステレオ境界の局所化は、隣接する閉鎖領域に一致する手がかりが存在しないため困難である。
我々は、オクルージョンの本質的幾何学を符号化することで境界を改善するエネルギーとレベルセットオプティマイザを導入する: オクルージョンの空間的範囲は、それを引き起こす不均一ジャンプの振幅と等しくなる。
MiddleburyとFalling Thingsのステレオデータセットのフィギュアグラウンドシーンのコレクションでは、従来のオクルージョン処理技術よりも正確なバウンダリを提供する。 Localizing stereo boundaries is difficult because matching cues are absent in the occluded regions that are adjacent to them. We introduce an energy and level-set optimizer that improves boundaries by encoding the essential geometry of occlusions: The spatial extent of an occlusion must equal the amplitude of the disparity jump that causes it. In a collection of figure-ground scenes from Middlebury and Falling Things stereo datasets, the model provides more accurate boundaries than previous occlusion-handling techniques. | 翻訳日:2022-11-15 14:48:08 公開日:2021-06-18 |
| # 画像レベルの弱いアノテーションを付加したマイナショットセマンティクスセグメンテーション Few-Shot Semantic Segmentation Augmented with Image-Level Weak Annotations ( http://arxiv.org/abs/2007.01496v2 ) ライセンス: Link先を確認 | Shuo Lei, Xuchao Zhang, Jianfeng He, Fanglan Chen, Chang-Tien Lu | (参考訳) セマンティックセグメンテーションタスクにおけるディープニューラルネットワークによる大きな進歩にもかかわらず、従来のニューラルネットワークベースの手法は通常、大量のピクセルレベルのアノテーションが不足している。
fewshotのセマンティクスセグメンテーションの最近の進歩は、いくつかのピクセルレベルの注釈付き例だけでこの問題に対処している。
しかし、これらの数少ないアプローチは、マルチウェイや弱いアノテーション設定に簡単に適用できない。
本稿では,数ピクセルレベルのアノテーションのトレーニングプロセスを支援するために,画像レベルのアノテーションが利用できるシナリオに向けて,いくつかのショットセグメンテーションパラダイムを前進させる。
私たちの重要なアイデアは、イメージレベルのラベル付きデータから知識を活用して、より優れたプロトタイプ表現を学ぶことです。
具体的には、画像レベルのアノテーションを統合することで、メトリック空間におけるクラスプロトタイプ表現を学習するPAIAと呼ばれる新しいフレームワークを提案する。
さらに,疑似マスクの不確実性を考慮し,画像レベルのアノテーションの邪魔に対処するために蒸留軟マスク平均プーリング戦略を考案した。
2つのデータセットの広範な実験結果は、paiaの優れた性能を示している。 Despite the great progress made by deep neural networks in the semantic segmentation task, traditional neural-networkbased methods typically suffer from a shortage of large amounts of pixel-level annotations. Recent progress in fewshot semantic segmentation tackles the issue by only a few pixel-level annotated examples. However, these few-shot approaches cannot easily be applied to multi-way or weak annotation settings. In this paper, we advance the few-shot segmentation paradigm towards a scenario where image-level annotations are available to help the training process of a few pixel-level annotations. Our key idea is to learn a better prototype representation of the class by fusing the knowledge from the image-level labeled data. Specifically, we propose a new framework, called PAIA, to learn the class prototype representation in a metric space by integrating image-level annotations. Furthermore, by considering the uncertainty of pseudo-masks, a distilled soft masked average pooling strategy is designed to handle distractions in image-level annotations. Extensive empirical results on two datasets show superior performance of PAIA. | 翻訳日:2022-11-14 05:10:19 公開日:2021-06-18 |
| # whole milc:タスク、データセット、人口間の学習ダイナミクスの一般化 Whole MILC: generalizing learned dynamics across tasks, datasets, and populations ( http://arxiv.org/abs/2007.16041v2 ) ライセンス: Link先を確認 | Usman Mahmood, Md Mahfuzur Rahman, Alex Fedorov, Noah Lewis, Zening Fu, Vince D. Calhoun, Sergey M. Plis | (参考訳) 行動の変化は精神疾患の最も初期の兆候であるが、おそらく脳機能の動態はより早く影響を受ける。
その後、障害特異的力学の時空間構造は、障害機構の早期診断と理解に不可欠である。
識別的特徴を学習する一般的な方法は、分類器を訓練し、特徴の重要性を評価することである。
手作りの特徴に基づく古典的な分類器は非常に強力であるが、時空間データの大きな入力次元に適用すると次元の呪いに苦しむ。
ディープラーニングアルゴリズムはこの問題に対処し、モデルのイントロスペクションは差別的な時空間領域をハイライトするが、トレーニングにはもっと多くのサンプルが必要である。
本稿では,コンテキストに局所的なシーケンス間の相互情報を強化した,新しい自己教師付き学習スキーマを提案する。
milcモデル全体をラベルなし、無関係な健康管理データで事前トレーニングする。
モデルは3つの異なる疾患でテストし
(i)統合失調症
(ii)自閉症、及び
(iii)アルツハイマーと4つの異なる研究。
本アルゴリズムは,既存の自己教師付き事前学習手法よりも優れており,従来の機械学習アルゴリズムに競合分類結果を提供する。
重要なことに、全MILCはfMRI信号の特定の時空間領域への主観的診断の帰属を可能にする。 Behavioral changes are the earliest signs of a mental disorder, but arguably, the dynamics of brain function gets affected even earlier. Subsequently, spatio-temporal structure of disorder-specific dynamics is crucial for early diagnosis and understanding the disorder mechanism. A common way of learning discriminatory features relies on training a classifier and evaluating feature importance. Classical classifiers, based on handcrafted features are quite powerful, but suffer the curse of dimensionality when applied to large input dimensions of spatio-temporal data. Deep learning algorithms could handle the problem and a model introspection could highlight discriminatory spatio-temporal regions but need way more samples to train. In this paper we present a novel self supervised training schema which reinforces whole sequence mutual information local to context (whole MILC). We pre-train the whole MILC model on unlabeled and unrelated healthy control data. We test our model on three different disorders (i) Schizophrenia (ii) Autism and (iii) Alzheimers and four different studies. Our algorithm outperforms existing self-supervised pre-training methods and provides competitive classification results to classical machine learning algorithms. Importantly, whole MILC enables attribution of subject diagnosis to specific spatio-temporal regions in the fMRI signal. | 翻訳日:2022-11-05 19:53:16 公開日:2021-06-18 |
| # 確率的合成最適化の解法は確率的最適化の解法と同じくらい簡単である Solving Stochastic Compositional Optimization is Nearly as Easy as Solving Stochastic Optimization ( http://arxiv.org/abs/2008.10847v3 ) ライセンス: Link先を確認 | Tianyi Chen, Yuejiao Sun, Wotao Yin | (参考訳) 確率的合成最適化は古典的(非合成的)確率的最適化を関数の構成の最小化に一般化する。
各構成は追加の期待を導入することができる。
一連の期待はネストされるかもしれない。
確率的構成最適化は強化学習やメタ学習などのアプリケーションで人気を集めている。
本稿では,Stochastically Corrected Stochastic Compositional gradient(SCSC)を提案する。
SCSCは単一ループで単一時間スケールで動作し、固定バッチサイズを使用し、非合成確率最適化のための確率勾配勾配(SGD)法と同じ速度で収束することを保証している。
これは一般的な確率的組成勾配法に注意深く改良することで達成される。
SCSCを加速するためにSGD改善技術を適用するのは容易である。
これにより、SCSCは確率的合成最適化のための最先端のパフォーマンスを達成することができる。
特に、AdamをSCSCに適用し、非合成確率最適化において元のAdamと一致する収束率を示す。
ポートフォリオ管理とモデルに依存しないメタ学習タスクを用いてSCSCをテストする。 Stochastic compositional optimization generalizes classic (non-compositional) stochastic optimization to the minimization of compositions of functions. Each composition may introduce an additional expectation. The series of expectations may be nested. Stochastic compositional optimization is gaining popularity in applications such as reinforcement learning and meta learning. This paper presents a new Stochastically Corrected Stochastic Compositional gradient method (SCSC). SCSC runs in a single-time scale with a single loop, uses a fixed batch size, and guarantees to converge at the same rate as the stochastic gradient descent (SGD) method for non-compositional stochastic optimization. This is achieved by making a careful improvement to a popular stochastic compositional gradient method. It is easy to apply SGD-improvement techniques to accelerate SCSC. This helps SCSC achieve state-of-the-art performance for stochastic compositional optimization. In particular, we apply Adam to SCSC, and the exhibited rate of convergence matches that of the original Adam on non-compositional stochastic optimization. We test SCSC using the portfolio management and model-agnostic meta-learning tasks. | 翻訳日:2022-10-25 04:26:54 公開日:2021-06-18 |
| # コンカレントニューラルネットワーク : 時系列間の競合のモデル Concurrent Neural Network : A model of competition between times series ( http://arxiv.org/abs/2009.14610v2 ) ライセンス: Link先を確認 | R\'emy Garnier | (参考訳) タイムズシリーズ間の競争は、市場で同様の製品が販売されているとき、売上予測でしばしば発生する。
本稿では,時系列間の共食いの存在のモデルを提供する。
このモデルは価格やマージンなどの外部特徴に依存する「競合性」関数を生成する。
また、妥当な条件下でモデルのエラーに関する理論的保証を提供し、この競合性関数を計算するためにニューラルネットワークを使用してこのモデルを実装する。
この実装は、現実世界のデータセットの市場シェア予測のために、他の伝統的な時系列手法や古典的なニューラルネットワークよりも優れている。 Competition between times series often arises in sales prediction, when similar products are on sale on a marketplace. This article provides a model of the presence of cannibalization between times series. This model creates a "competitiveness" function that depends on external features such as price and margin. It also provides a theoretical guaranty on the error of the model under some reasonable conditions, and implement this model using a neural network to compute this competitiveness function. This implementation outperforms other traditional time series methods and classical neural networks for market share prediction on a real-world data set. | 翻訳日:2022-10-12 23:09:05 公開日:2021-06-18 |
| # LEGAN:人間の知覚判断の活用による方向照明と表情の遠方操作 LEGAN: Disentangled Manipulation of Directional Lighting and Facial Expressions by Leveraging Human Perceptual Judgements ( http://arxiv.org/abs/2010.01464v3 ) ライセンス: Link先を確認 | Sandipan Banerjee, Ajjen Joshi, Prashant Mahajan, Sneha Bhattacharya, Survi Kyal and Taniya Mishra | (参考訳) 照明や表情の極端なバリエーションを一般化した顔分析システムの構築は、自然に見える合成データを使って緩和される可能性のある難しい問題である。
そこで本研究では,顔画像の照明と表情を共同で操作するために知覚的品質判断を活用し,ペアトレーニングデータを必要としない新しい合成フレームワークであるleganを提案する。
LEGANは、所望の出力画像にアップスケールする前に、照明および表現部分空間をアンタングルし、特徴空間で変換を行う。
合成画像の忠実度は、複数の合成法とクラウドソースの自然性評価を用いて描画された顔画像で訓練された知覚品質推定モデルを、補助判別器としてLEGANフレームワークに統合することによりさらに改善される。
FIDやLPIPSといった客観的メトリクスを使うことで、LEGANはStarGANやStarGAN-v2といった一般的なGANモデルと比較して、高品質な顔画像を生成する。
また,LEGANおよび他のGANモデルにより合成された画像を用いて知覚的研究を行い,品質推定と視覚的忠実度との相関を示す。
最後に,LEGANが表現認識および顔認証タスクのトレーニングデータ強化に有効であることを示す。 Building facial analysis systems that generalize to extreme variations in lighting and facial expressions is a challenging problem that can potentially be alleviated using natural-looking synthetic data. Towards that, we propose LEGAN, a novel synthesis framework that leverages perceptual quality judgments for jointly manipulating lighting and expressions in face images, without requiring paired training data. LEGAN disentangles the lighting and expression subspaces and performs transformations in the feature space before upscaling to the desired output image. The fidelity of the synthetic image is further refined by integrating a perceptual quality estimation model, trained with face images rendered using multiple synthesis methods and their crowd-sourced naturalness ratings, into the LEGAN framework as an auxiliary discriminator. Using objective metrics like FID and LPIPS, LEGAN is shown to generate higher quality face images when compared with popular GAN models like StarGAN and StarGAN-v2 for lighting and expression synthesis. We also conduct a perceptual study using images synthesized by LEGAN and other GAN models and show the correlation between our quality estimation and visual fidelity. Finally, we demonstrate the effectiveness of LEGAN as training data augmenter for expression recognition and face verification tasks. | 翻訳日:2022-10-11 04:00:48 公開日:2021-06-18 |
| # グラフネットワークを用いたメッシュシミュレーションの学習 Learning Mesh-Based Simulation with Graph Networks ( http://arxiv.org/abs/2010.03409v4 ) ライセンス: Link先を確認 | Tobias Pfaff, Meire Fortunato, Alvaro Sanchez-Gonzalez, Peter W. Battaglia | (参考訳) メッシュベースのシミュレーションは、科学と工学のさまざまな分野において、複雑な物理システムのモデリングの中心である。
メッシュ表現は強力な数値積分法をサポートし、その解像度は精度と効率のトレードオフに適応できる。
しかし、高次元の科学シミュレーションは実行に非常に費用がかかり、解法とパラメータは各システムごとに個別に調整されなければならない。
ここでは,グラフニューラルネットワークを用いたメッシュベースのシミュレーション学習フレームワークであるMeshGraphNetsを紹介する。
私たちのモデルは、メッシュグラフにメッセージを渡し、前方シミュレーション中にメッシュの離散化を適応するように訓練できます。
その結果, 空力力学, 構造力学, 布など, 幅広い物理系のダイナミクスを正確に予測できることがわかった。
このモデルの適応性は、解像度非依存のダイナミクスの学習をサポートし、テスト時により複雑な状態空間にスケールできる。
また,本手法はシミュレーションよりも1～2桁高速に動作し,高効率である。
我々のアプローチは、ニューラルネットワークシミュレータが動作可能な問題の範囲を広げ、複雑な科学的モデリングタスクの効率を改善することを約束する。 Mesh-based simulations are central to modeling complex physical systems in many disciplines across science and engineering. Mesh representations support powerful numerical integration methods and their resolution can be adapted to strike favorable trade-offs between accuracy and efficiency. However, high-dimensional scientific simulations are very expensive to run, and solvers and parameters must often be tuned individually to each system studied. Here we introduce MeshGraphNets, a framework for learning mesh-based simulations using graph neural networks. Our model can be trained to pass messages on a mesh graph and to adapt the mesh discretization during forward simulation. Our results show it can accurately predict the dynamics of a wide range of physical systems, including aerodynamics, structural mechanics, and cloth. The model's adaptivity supports learning resolution-independent dynamics and can scale to more complex state spaces at test time. Our method is also highly efficient, running 1-2 orders of magnitude faster than the simulation on which it is trained. Our approach broadens the range of problems on which neural network simulators can operate and promises to improve the efficiency of complex, scientific modeling tasks. | 翻訳日:2022-10-10 00:25:01 公開日:2021-06-18 |
| # 適応実験における政策評価のための適応二重ロバスト推定器とロギング政策に関するパラドックス The Adaptive Doubly Robust Estimator for Policy Evaluation in Adaptive Experiments and a Paradox Concerning Logging Policy ( http://arxiv.org/abs/2010.03792v5 ) ライセンス: Link先を確認 | Masahiro Kato and Shota Yasui and Kenichiro McAlinn | (参考訳) 2つのニュアンスパラメータ、条件平均結果とロギングポリシー(アクションを選択する確率)からなる二重頑健(DR)推定器は因果推論において重要である。
本稿では適応実験から得られた依存サンプルに対するDR推定器を提案する。
非ドンスカーニュアサンス推定器を有する依存サンプルから漸近的に正常な半パラメトリック推定器を得るため、サンプル分割の変種として適応フィッティングを提案する。
また,提案するdr推定器は,真のロギングポリシーを利用する他の推定器よりも優れた性能を示す傾向があるという経験的パラドックスを報告する。
i.i.d.サンプルを用いた推定では同様の現象が知られているが、漸近効率に基づく従来の説明は、我々のケースを依存サンプルで解明することはできない。
我々はこの仮説をシミュレーション研究を通じて確認する。 The doubly robust (DR) estimator, which consists of two nuisance parameters, the conditional mean outcome and the logging policy (the probability of choosing an action), is crucial in causal inference. This paper proposes a DR estimator for dependent samples obtained from adaptive experiments. To obtain an asymptotically normal semiparametric estimator from dependent samples with non-Donsker nuisance estimators, we propose adaptive-fitting as a variant of sample-splitting. We also report an empirical paradox that our proposed DR estimator tends to show better performances compared to other estimators utilizing the true logging policy. While a similar phenomenon is known for estimators with i.i.d. samples, traditional explanations based on asymptotic efficiency cannot elucidate our case with dependent samples. We confirm this hypothesis through simulation studies. | 翻訳日:2022-10-09 11:50:12 公開日:2021-06-18 |
| # 確率的シーケンスシンキング:破壊を伴う確率帯域のベストアーム同定アルゴリズム Probabilistic Sequential Shrinking: A Best Arm Identification Algorithm for Stochastic Bandits with Corruptions ( http://arxiv.org/abs/2010.07904v4 ) ライセンス: Link先を確認 | Zixin Zhong, Wang Chi Cheung, Vincent Y. F. Tan | (参考訳) 我々は,T段の固定予算設定において,対向汚職を伴う確率的包帯に対するベストアーム識別(BAI)問題を考える。
我々は, 汚職の量に依存しない新しいランダム化アルゴリズム, Probabilistic Sequential Shrinking($u$) (PSS($u$)) を設計する。
ステップ当たりの汚職量(CPS)がしきい値を下回ると、PSS($u$)は、確率が$T\rightarrow \infty$として$$$$$となるような最高の腕またはアイテムを特定する。
さもなくば、特定された項目の最適性ギャップはcpsによって優雅に劣化する。
PSS($u$) では、パラメータ $u$ は最適性ギャップと成功確率のバランスをとる。
ランダム化の注入は、腐敗の影響を軽減するために不可欠であることが示されている。
これを証明するために,任意のアルゴリズムに適用可能な攻撃戦略を2つ設計する。
これらのうちの1つをカルニンらによる逐次ハルヴィング(SH)として知られるPSS($u$)の決定論的類似体に適用する(2013)。
攻撃戦略はSHの失敗確率が高いが、PSS($u$)は引き続き堅牢である。
汚職がない場合、PSS($2$)のパフォーマンス保証はSHと一致する。
CPS が十分に大きいとき、BAI の確率が$T\rightarrow \infty$ となるようなアルゴリズムは存在しない。
数値実験は理論的な結果を裏付けるものだ。 We consider a best arm identification (BAI) problem for stochastic bandits with adversarial corruptions in the fixed-budget setting of T steps. We design a novel randomized algorithm, Probabilistic Sequential Shrinking($u$) (PSS($u$)), which is agnostic to the amount of corruptions. When the amount of corruptions per step (CPS) is below a threshold, PSS($u$) identifies the best arm or item with probability tending to $1$ as $T\rightarrow \infty$. Otherwise, the optimality gap of the identified item degrades gracefully with the CPS.We argue that such a bifurcation is necessary. In PSS($u$), the parameter $u$ serves to balance between the optimality gap and success probability. The injection of randomization is shown to be essential to mitigate the impact of corruptions. To demonstrate this, we design two attack strategies that are applicable to any algorithm. We apply one of them to a deterministic analogue of PSS($u$) known as Successive Halving (SH) by Karnin et al. (2013). The attack strategy results in a high failure probability for SH, but PSS($u$) remains robust. In the absence of corruptions, PSS($2$)'s performance guarantee matches SH's. We show that when the CPS is sufficiently large, no algorithm can achieve a BAI probability tending to $1$ as $T\rightarrow \infty$. Numerical experiments corroborate our theoretical findings. | 翻訳日:2022-10-07 05:37:56 公開日:2021-06-18 |
| # 推薦のための自己教師付きグラフ学習 Self-supervised Graph Learning for Recommendation ( http://arxiv.org/abs/2010.10783v4 ) ライセンス: Link先を確認 | Jiancan Wu, Xiang Wang, Fuli Feng, Xiangnan He, Liang Chen, Jianxun Lian, and Xing Xie | (参考訳) ユーザアイコングラフの表現学習は、単一IDやインタラクション履歴の使用から、高階隣人の利用へと進化してきた。
これにより、PinSageやLightGCNといったレコメンデーションのためのグラフ畳み込みネットワーク(GCN)が成功している。
実効性にも拘わらず,(1)高次ノードが表現学習により大きな影響を与えること,(2)低次(ロングテール)項目の推奨を損なうこと,(2)近所のアグリゲーションスキームが観察されたエッジの影響をさらに拡大するため,騒々しい相互作用に弱いこと,の2つの制限がある。
本研究では,GCNの精度とロバスト性を向上させるために,ユーザイットグラフ上での自己教師型学習について検討する。
従来の指導タスクを補助的な自己監督タスクで補完し、自己弁別によるノード表現学習を強化する。
具体的には、ノードの複数のビューを生成し、同じノードの異なるビュー間の一致を他のノードと比較して最大化する。
ノードドロップアウト、エッジドロップアウト、ランダムウォークという、グラフ構造を異なる方法で変更するビューを生成するために、3つの演算子を考案しました。
本稿では,この新たな学習パラダイムを,最先端モデルLightGCNに実装したSGL(textit{Self-supervised Graph Learning})と呼ぶ。
理論的解析により、SGLは自動的にハードネガティブをマイニングする能力を持つことがわかった。
3つのベンチマークデータセットに関する実証的研究は、特にロングテールアイテムにおける推奨精度を改善し、相互作用ノイズに対する堅牢性を向上させるSGLの有効性を示す。
我々の実装は \url{https://github.com/wujcan/SGL} で利用可能です。 Representation learning on user-item graph for recommendation has evolved from using single ID or interaction history to exploiting higher-order neighbors. This leads to the success of graph convolution networks (GCNs) for recommendation such as PinSage and LightGCN. Despite effectiveness, we argue that they suffer from two limitations: (1) high-degree nodes exert larger impact on the representation learning, deteriorating the recommendations of low-degree (long-tail) items; and (2) representations are vulnerable to noisy interactions, as the neighborhood aggregation scheme further enlarges the impact of observed edges. In this work, we explore self-supervised learning on user-item graph, so as to improve the accuracy and robustness of GCNs for recommendation. The idea is to supplement the classical supervised task of recommendation with an auxiliary self-supervised task, which reinforces node representation learning via self-discrimination. Specifically, we generate multiple views of a node, maximizing the agreement between different views of the same node compared to that of other nodes. We devise three operators to generate the views -- node dropout, edge dropout, and random walk -- that change the graph structure in different manners. We term this new learning paradigm as \textit{Self-supervised Graph Learning} (SGL), implementing it on the state-of-the-art model LightGCN. Through theoretical analyses, we find that SGL has the ability of automatically mining hard negatives. Empirical studies on three benchmark datasets demonstrate the effectiveness of SGL, which improves the recommendation accuracy, especially on long-tail items, and the robustness against interaction noises. Our implementations are available at \url{https://github.com/wujcan/SGL}. | 翻訳日:2022-10-05 00:43:00 公開日:2021-06-18 |
| # 教師なし学習を用いたヘルムホルツ方程式解法:経頭蓋超音波への応用 A Helmholtz equation solver using unsupervised learning: Application to transcranial ultrasound ( http://arxiv.org/abs/2010.15761v2 ) ライセンス: Link先を確認 | Antonio Stanziola, Simon R. Arridge, Ben T. Cox, Bradley E. Treeby | (参考訳) 経頭蓋超音波療法は脳疾患の非侵襲的治療にますます用いられる。
しかし、従来の数値波解法は、頭蓋骨を通過する音場(例えば、被検体固有の線量とターゲットのバリエーション)を予測するために、処理中にオンラインで使用するには計算に高すぎる。
実時間予測へのステップとして, 本研究では, 完全学習オプティマイザを用いて, 2次元の不均一ヘルムホルツ方程式の高速反復解法を開発した。
軽量ネットワークアーキテクチャは、学習された隠れ状態を含む修正されたUNetに基づいている。
ネットワークは物理ベースの損失関数と、完全に教師なしの訓練を伴う理想化された音速分布(真の解の知識は必要ない)を用いて訓練される。
学習したオプティマイザは、テストセット上で優れたパフォーマンスを示し、より大きな計算領域や、より複雑なソースと音速分布、例えば頭蓋骨のX線CT画像から派生した画像などを含むトレーニング例の外でうまく一般化することができる。 Transcranial ultrasound therapy is increasingly used for the non-invasive treatment of brain disorders. However, conventional numerical wave solvers are currently too computationally expensive to be used online during treatments to predict the acoustic field passing through the skull (e.g., to account for subject-specific dose and targeting variations). As a step towards real-time predictions, in the current work, a fast iterative solver for the heterogeneous Helmholtz equation in 2D is developed using a fully-learned optimizer. The lightweight network architecture is based on a modified UNet that includes a learned hidden state. The network is trained using a physics-based loss function and a set of idealized sound speed distributions with fully unsupervised training (no knowledge of the true solution is required). The learned optimizer shows excellent performance on the test set, and is capable of generalization well outside the training examples, including to much larger computational domains, and more complex source and sound speed distributions, for example, those derived from x-ray computed tomography images of the skull. | 翻訳日:2022-10-02 00:03:30 公開日:2021-06-18 |
| # ほとんどのハームレス機械学習:リニアIVモデルにおける最適機器の学習 Mostly Harmless Machine Learning: Learning Optimal Instruments in Linear IV Models ( http://arxiv.org/abs/2011.06158v3 ) ライセンス: Link先を確認 | Jiafeng Chen and Daniel L. Chen and Greg Lewis | (参考訳) 標準線形機器変数設定における機械学習の導入を正当化する単純な理論的結果を提供する。
鍵となるアイデアは、機械学習とサンプル分割を組み合わせることで、機器と外生共変体からの処理変数を予測し、予測された処理と共変体を技術機器として使用し、第2段階の係数を回復させることである。
これにより、装置の強度を高めることで推定精度とロバスト性が劇的に向上する治療と器具の間の非線形共変を抽出することができる。
重要なことは、機械学習予測は外因性共変量において線形であることに制約し、処理と共変量の間の非線形関係から生じる突発的な識別を避けることである。
この手法は弱条件下で一貫性があり漸近的に正規な推定を行い、半パラメトリックに適応できることを示した(chamberlain, 1992)。
本手法は,弱識別を含む線形インストゥルメンタル変数法の標準的な直観と解釈を保存し,応用経済学ツールボックスの簡易かつユーザフレンドリーなアップグレードを提供する。
本手法を法と刑事司法の例で示し,地方裁判所の判決に対する裁判所の逆転の因果効果を検証した。 We offer straightforward theoretical results that justify incorporating machine learning in the standard linear instrumental variable setting. The key idea is to use machine learning, combined with sample-splitting, to predict the treatment variable from the instrument and any exogenous covariates, and then use this predicted treatment and the covariates as technical instruments to recover the coefficients in the second-stage. This allows the researcher to extract non-linear co-variation between the treatment and instrument that may dramatically improve estimation precision and robustness by boosting instrument strength. Importantly, we constrain the machine-learned predictions to be linear in the exogenous covariates, thus avoiding spurious identification arising from non-linear relationships between the treatment and the covariates. We show that this approach delivers consistent and asymptotically normal estimates under weak conditions and that it may be adapted to be semiparametrically efficient (Chamberlain, 1992). Our method preserves standard intuitions and interpretations of linear instrumental variable methods, including under weak identification, and provides a simple, user-friendly upgrade to the applied economics toolbox. We illustrate our method with an example in law and criminal justice, examining the causal effect of appellate court reversals on district court sentencing decisions. | 翻訳日:2022-09-26 07:51:30 公開日:2021-06-18 |
| # 顔認識の脆弱性としての表情 Facial Expressions as a Vulnerability in Face Recognition ( http://arxiv.org/abs/2011.08809v2 ) ライセンス: Link先を確認 | Alejandro Pe\~na and Ignacio Serna and Aythami Morales and Julian Fierrez and Agata Lapedriza | (参考訳) 本研究は,顔認識システムのセキュリティ脆弱性として,表情バイアスを探求する。
最先端の顔認識システムによって達成された優れた性能にもかかわらず、アルゴリズムは依然として幅広い共変量に敏感である。
本稿では,表情バイアスが顔認識技術の性能に与える影響を包括的に分析する。
私たちの研究は
一 最も人気のある顔認識データベースにおける表情バイアス
二 顔認識性能における表情の影響
実験フレームワークには,2つの顔検出器,3つの顔認識モデル,3つの異なるデータベースが含まれる。
以上より,最も広く使われているデータベースにおいて,表情の偏りが大きいこと,最先端アルゴリズムの性能における表情の影響が示唆された。
この研究は、観測された脆弱性を緩和することに焦点を当てた新しい研究ラインへの扉を開く。 This work explores facial expression bias as a security vulnerability of face recognition systems. Despite the great performance achieved by state-of-the-art face recognition systems, the algorithms are still sensitive to a large range of covariates. We present a comprehensive analysis of how facial expression bias impacts the performance of face recognition technologies. Our study analyzes: i) facial expression biases in the most popular face recognition databases; and ii) the impact of facial expression in face recognition performances. Our experimental framework includes two face detectors, three face recognition models, and three different databases. Our results demonstrate a huge facial expression bias in the most widely used databases, as well as a related impact of face expression in the performance of state-of-the-art algorithms. This work opens the door to new research lines focused on mitigating the observed vulnerability. | 翻訳日:2022-09-24 17:06:26 公開日:2021-06-18 |
| # 多言語学習,移動学習,テキスト-テキストマッピング,合成音声によるエンドツーエンドASRシステムのブートストラップ Bootstrap an end-to-end ASR system by multilingual training, transfer learning, text-to-text mapping and synthetic audio ( http://arxiv.org/abs/2011.12696v2 ) ライセンス: Link先を確認 | Manuel Giollo, Deniz Gunceler, Yulan Liu, Daniel Willett | (参考訳) 限られたデータリソース上での音声認識のブートストラップは、長い間活発な研究領域であった。
近年のオールニューラルモデルとエンド・ツー・エンド(E2E)トレーニングは、これらのモデルがデータに飢えていることが知られているため、特定の課題を伴い、多言語データから派生した言語に依存しない表現や、スクリプトとルーツを共有する言語間でのワードピース出力表現に関する機会ももたらした。
本稿では,rnn-transducer (rnn-t) ベースの音声認識 (asr) システムを低資源環境下でブートストラップする異なる戦略の有効性について検討し,他言語で利用可能な豊富な資源と,text-to-speech (tts) エンジンからの合成音声を活用する。
私たちの実験では、asr後のテキストからテキストへのマッピングと合成オーディオを使った多言語モデルからのトランスファーラーニングが付加的な改善をもたらし、不要なデータのほんの一部で新しい言語のためのモデルをブートストラップできることが示されています。
最良システムは単言語ベースラインに比べて46%の単語誤り率(WER)を達成し、25%の相対的なWER改善はASR後のテキスト・テキスト・マッピングとTS合成データによるものである。 Bootstrapping speech recognition on limited data resources has been an area of active research for long. The recent transition to all-neural models and end-to-end (E2E) training brought along particular challenges as these models are known to be data hungry, but also came with opportunities around language-agnostic representations derived from multilingual data as well as shared word-piece output representations across languages that share script and roots. We investigate here the effectiveness of different strategies to bootstrap an RNN-Transducer (RNN-T) based automatic speech recognition (ASR) system in the low resource regime, while exploiting the abundant resources available in other languages as well as the synthetic audio from a text-to-speech (TTS) engine. Our experiments demonstrate that transfer learning from a multilingual model, using a post-ASR text-to-text mapping and synthetic audio deliver additive improvements, allowing us to bootstrap a model for a new language with a fraction of the data that would otherwise be needed. The best system achieved a 46% relative word error rate (WER) reduction compared to the monolingual baseline, among which 25% relative WER improvement is attributed to the post-ASR text-to-text mappings and the TTS synthetic data. | 翻訳日:2022-09-21 03:48:27 公開日:2021-06-18 |
| # 自由視点映像のための時空間ニューラル照度場 Space-time Neural Irradiance Fields for Free-Viewpoint Video ( http://arxiv.org/abs/2011.12950v2 ) ライセンス: Link先を確認 | Wenqi Xian, Jia-Bin Huang, Johannes Kopf, Changil Kim | (参考訳) 本稿では,動的シーンの時空間的ニューラル照度場を1つのビデオから学習する手法を提案する。
我々の学習した表現は、入力ビデオの自由視点レンダリングを可能にする。
この手法は最近の暗黙表現の進歩に基づいている。
1つのビデオから時空間の照度場を学習することは、どの時点でもシーンの1つの観察しか含まないため、大きな課題となる。
シーンの3次元幾何学は、様々な幾何学(動き)を様々な外観で説明できるので、様々な方法で合法的に表現できる。
我々は,映像深度推定法から推定したシーン深度を用いて動的シーン表現の時間変化幾何学を制約し,個々のフレームからのコンテンツを単一のグローバル表現に集約することで,この曖昧さに対処する。
広範に定量的評価を行い、魅力的な自由視点レンダリング結果を示す。 We present a method that learns a spatiotemporal neural irradiance field for dynamic scenes from a single video. Our learned representation enables free-viewpoint rendering of the input video. Our method builds upon recent advances in implicit representations. Learning a spatiotemporal irradiance field from a single video poses significant challenges because the video contains only one observation of the scene at any point in time. The 3D geometry of a scene can be legitimately represented in numerous ways since varying geometry (motion) can be explained with varying appearance and vice versa. We address this ambiguity by constraining the time-varying geometry of our dynamic scene representation using the scene depth estimated from video depth estimation methods, aggregating contents from individual frames into a single global representation. We provide an extensive quantitative evaluation and demonstrate compelling free-viewpoint rendering results. | 翻訳日:2022-09-21 03:13:45 公開日:2021-06-18 |
| # 競争環境における学習アルゴリズムの限界について On limitations of learning algorithms in competitive environments ( http://arxiv.org/abs/2011.12728v2 ) ライセンス: Link先を確認 | Alexander Y Klimenko and Dimitri A Klimenko | (参考訳) 本稿では,競争環境における対向目標を追求する汎用学習アルゴリズムの概念的限界について論じるとともに,G\"odel and Turing の有名な定理によって課される知識に関する制約に類似した制約が存在することを証明する。
これらの制限は、競争環境において一般的に存在する不透過性と関連している。 We discuss conceptual limitations of generic learning algorithms pursuing adversarial goals in competitive environments, and prove that they are subject to limitations that are analogous to the constraints on knowledge imposed by the famous theorems of G\"odel and Turing. These limitations are shown to be related to intransitivity, which is commonly present in competitive environments. | 翻訳日:2022-09-21 02:47:12 公開日:2021-06-18 |
| # VQMIVC:ワンショット音声変換のためのベクトル量子化と相互情報に基づく教師なし音声表現のアンタングル化 VQMIVC: Vector Quantization and Mutual Information-Based Unsupervised Speech Representation Disentanglement for One-shot Voice Conversion ( http://arxiv.org/abs/2106.10132v1 ) ライセンス: Link先を確認 | Disong Wang, Liqun Deng, Yu Ting Yeung, Xiao Chen, Xunying Liu, Helen Meng | (参考訳) 単一の話者発話のみを基準として任意の話者間で変換を行うワンショット音声変換(VC)は、音声表現の歪みによって効果的に実現できる。
既存の作業は、訓練中に異なる音声表現間の相関を無視し、コンテンツ情報の話者表現への漏洩を引き起こし、VCのパフォーマンスを低下させる。
そこで本研究では,コンテンツエンコーディングのためのベクトル量子化(vq)と,相互情報(mi)を訓練中の相関指標として導入し,教師なしの方法でコンテンツ,話者,ピッチ表現の適切な不等角化を実現する。
実験結果は,対象話者特性を捉えつつ,音源言語内容とイントネーション変動を保持できる効果的な不等角化音声表現の学習において,提案手法が優れていることを反映する。
そこで,提案手法は,現状のワンショットvcシステムよりも高い音声自然性と話者類似性を実現する。
私たちのコード、事前トレーニングされたモデル、デモはhttps://github.com/wendison/vqmivc.com/で利用可能です。 One-shot voice conversion (VC), which performs conversion across arbitrary speakers with only a single target-speaker utterance for reference, can be effectively achieved by speech representation disentanglement. Existing work generally ignores the correlation between different speech representations during training, which causes leakage of content information into the speaker representation and thus degrades VC performance. To alleviate this issue, we employ vector quantization (VQ) for content encoding and introduce mutual information (MI) as the correlation metric during training, to achieve proper disentanglement of content, speaker and pitch representations, by reducing their inter-dependencies in an unsupervised manner. Experimental results reflect the superiority of the proposed method in learning effective disentangled speech representations for retaining source linguistic content and intonation variations, while capturing target speaker characteristics. In doing so, the proposed approach achieves higher speech naturalness and speaker similarity than current state-of-the-art one-shot VC systems. Our code, pre-trained models and demo are available at https://github.com/Wendison/VQMIVC. | 翻訳日:2021-07-25 11:53:07 公開日:2021-06-18 |
| # (参考訳) 平面スウィープによる多視点ステレオの深層学習 Deep Learning for Multi-View Stereo via Plane Sweep: A Survey ( http://arxiv.org/abs/2106.15328v1 ) ライセンス: CC BY 4.0 | Qingtian Zhu | (参考訳) 自動運転、ロボティクス、バーチャルリアリティーなど、多くの分野に応用されているため、近年3D再構築が注目を集めている。
人工知能の主要な技術として、様々なコンピュータビジョン問題を解決するためにディープラーニングがうまく採用されている。
しかし、3dリコンストラクションのためのディープラーニングは、ユニークな課題とさまざまなパイプラインのため、まだ初期段階にある。
本稿では,画像に基づく3次元再構成において重要な課題である多視点ステレオ(MVS)の深層学習手法の最近の進歩を概観する。
また、いくつかの公開データセットで比較結果を提示し、洞察に富んだ観察と将来の研究方向を示唆している。 3D reconstruction has lately attracted increasing attention due to its wide application in many areas, such as autonomous driving, robotics and virtual reality. As a dominant technique in artificial intelligence, deep learning has been successfully adopted to solve various computer vision problems. However, deep learning for 3D reconstruction is still at its infancy due to its unique challenges and varying pipelines. To stimulate future research, this paper presents a review of recent progress in deep learning methods for Multi-view Stereo (MVS), which is considered as a crucial task of image-based 3D reconstruction. It also presents comparative results on several publicly available datasets, with insightful observations and inspiring future research directions. | 翻訳日:2021-07-04 23:23:16 公開日:2021-06-18 |
| # (参考訳) 不確定場に対するインターバルとファジィ物理インフォームドニューラルネットワーク Interval and fuzzy physics-informed neural networks for uncertain fields ( http://arxiv.org/abs/2106.13727v1 ) ライセンス: CC BY-SA 4.0 | Jan Niklas Fuhg, Am\'elie Fau, Nikolaos Bouklas | (参考訳) 時間的および空間的に不確定なパラメータは、工学的応用において定期的に発生する。
一般に、これらの不確かさは、容易には利用できない確率分布関数の出現に関する知識を必要とする確率場とプロセスを用いて説明される。
このような場合、区間解析やファジィ集合論のような非確率的アプローチは有用な不確実性測度である。
ファジィ場と間隔場を含む偏微分方程式は、入力場を基底関数展開法を用いてサンプリングする有限要素法を用いて伝統的に解かれる。
しかし、このアプローチは空間相関場に関する知識に依存するため、問題となっている。
本研究では、物理インフォームドニューラルネットワーク(PINN)を用いて、間隔とファジィ偏微分方程式を解く。
その結果, 空間的に不確実なパラメータ場を含む方程式の有界解を得るために, 間隔物理学情報ニューラルネットワーク (iPINN) とファジィ物理情報ニューラルネットワーク (fPINN) と呼ばれるネットワーク構造が得られた。
有限要素法とは対照的に、入力フィールドの相関長の指定やモンテカルロシミュレーションによる平均化は不要である。
実際、入力間隔場に関する情報は、提示された解スキームの副産物として直接得られる。
さらに、PINNの主な利点は、すべて維持されている。
スキームのメッシュフリーな性質と逆問題設定の容易さ。 Temporally and spatially dependent uncertain parameters are regularly encountered in engineering applications. Commonly these uncertainties are accounted for using random fields and processes which require knowledge about the appearing probability distributions functions which is not readily available. In these cases non-probabilistic approaches such as interval analysis and fuzzy set theory are helpful uncertainty measures. Partial differential equations involving fuzzy and interval fields are traditionally solved using the finite element method where the input fields are sampled using some basis function expansion methods. This approach however is problematic, as it is reliant on knowledge about the spatial correlation fields. In this work we utilize physics-informed neural networks (PINNs) to solve interval and fuzzy partial differential equations. The resulting network structures termed interval physics-informed neural networks (iPINNs) and fuzzy physics-informed neural networks (fPINNs) show promising results for obtaining bounded solutions of equations involving spatially uncertain parameter fields. In contrast to finite element approaches, no correlation length specification of the input fields as well as no averaging via Monte-Carlo simulations are necessary. In fact, information about the input interval fields is obtained directly as a byproduct of the presented solution scheme. Furthermore, all major advantages of PINNs are retained, i.e. meshfree nature of the scheme, and ease of inverse problem set-up. | 翻訳日:2021-07-04 23:11:58 公開日:2021-06-18 |
| # アバタープロトタイプ生成と適応によるソースフリードメイン適応 Source-free Domain Adaptation via Avatar Prototype Generation and Adaptation ( http://arxiv.org/abs/2106.15326v1 ) ライセンス: Link先を確認 | Zhen Qiu, Yifan Zhang, Hongbin Lin, Shuaicheng Niu, Yanxia Liu, Qing Du, Mingkui Tan | (参考訳) データプライバシの問題によりソースドメインデータにアクセスできないが、事前トレーニング済みのソースモデルとラベルなしのターゲットデータのみを利用可能とする、source-free unsupervised domain adaptation(uda)問題と呼ばれる実用的なドメイン適応タスクについて検討する。
ソースデータとターゲットドメインラベルの欠如は、モデル適応を非常に困難にします。
そこで我々は、ソースモデルに隠された知識をマイニングし、それを利用して、ソースアバターのプロトタイプ(すなわち、ソースクラスの代表的特徴)とドメインアライメントのための擬似ラベルを生成することを提案する。
そこで本研究では,CPGA(Contrastive Prototype Generation and Adaptation)法を提案する。
具体的には,(1)プロトタイプ生成:ソースモデルの分類境界情報を探索することにより,コントラスト学習によりプロトタイプ生成器を訓練し,アバタープロトタイプを生成する。
2) プロトタイプ適応: 生成したソースプロトタイプと擬似ラベルに基づいて, それぞれの擬似ラベル付きターゲットデータを対応するソースプロトタイプに整合させる, 頑健なコントラスト型プロトタイプ適応戦略を開発する。
3つのUDAベンチマークデータセットに対する大規模な実験により,提案手法の有効性と優位性を示した。 We study a practical domain adaptation task, called source-free unsupervised domain adaptation (UDA) problem, in which we cannot access source domain data due to data privacy issues but only a pre-trained source model and unlabeled target data are available. This task, however, is very difficult due to one key challenge: the lack of source data and target domain labels makes model adaptation very challenging. To address this, we propose to mine the hidden knowledge in the source model and exploit it to generate source avatar prototypes (i.e., representative features for each source class) as well as target pseudo labels for domain alignment. To this end, we propose a Contrastive Prototype Generation and Adaptation (CPGA) method. Specifically, CPGA consists of two stages: (1) prototype generation: by exploring the classification boundary information of the source model, we train a prototype generator to generate avatar prototypes via contrastive learning. (2) prototype adaptation: based on the generated source prototypes and target pseudo labels, we develop a new robust contrastive prototype adaptation strategy to align each pseudo-labeled target data to the corresponding source prototypes. Extensive experiments on three UDA benchmark datasets demonstrate the effectiveness and superiority of the proposed method. | 翻訳日:2021-07-04 19:42:08 公開日:2021-06-18 |
| # 期待伝搬を用いたパッチベース画像復元 Patch-Based Image Restoration using Expectation Propagation ( http://arxiv.org/abs/2106.15327v1 ) ライセンス: Link先を確認 | Dan Yao and Stephen McLaughlin and Yoann Altmann | (参考訳) 本稿では,パッチベースの事前分布を用いた画像復元のためのEPフレームワークを提案する。
モンテカルロ法は古典的には難解な後方分布のサンプルとして用いられるが、画像復元のような高次元の推論問題ではスケーラビリティの問題に苦しむことがある。
この問題に対処するために、EP は多変量ガウス密度の積を用いて後続分布を近似するために用いられる。
さらに、これらの密度の共分散行列に構造的制約を課すことで、スケーラビリティと分散計算が可能となる。
この手法は自然に加法的なガウス観測ノイズを扱うのに適しているが、非ガウス観測ノイズにも拡張することができる。
ガウス雑音とポアソン雑音のデノワ化・インパイント・デコンボリューション問題に対する実験は、画像問題における不確かさの定量化のためのフレキシブル近似ベイズ法(英語版)の潜在的な利点をサンプリング法よりも少ない計算コストで示している。 This paper presents a new Expectation Propagation (EP) framework for image restoration using patch-based prior distributions. While Monte Carlo techniques are classically used to sample from intractable posterior distributions, they can suffer from scalability issues in high-dimensional inference problems such as image restoration. To address this issue, EP is used here to approximate the posterior distributions using products of multivariate Gaussian densities. Moreover, imposing structural constraints on the covariance matrices of these densities allows for greater scalability and distributed computation. While the method is naturally suited to handle additive Gaussian observation noise, it can also be extended to non-Gaussian noise. Experiments conducted for denoising, inpainting and deconvolution problems with Gaussian and Poisson noise illustrate the potential benefits of such flexible approximate Bayesian method for uncertainty quantification in imaging problems, at a reduced computational cost compared to sampling techniques. | 翻訳日:2021-07-04 19:40:38 公開日:2021-06-18 |
| # LPaaSによるスマート環境のための宣言型目標指向フレームワーク A Declarative Goal-oriented Framework for Smart Environments with LPaaS ( http://arxiv.org/abs/2106.13083v1 ) ライセンス: Link先を確認 | Giuseppe Bisicchia, Stefano Forti, Antonio Brogi | (参考訳) Internet of Things(モノのインターネット)を利用したスマート環境は、環境パラメータを自動的に調整することで、私たちの日常生活を改善することを目的としている。
温度、内部光)と自己管理型サイバーフィジカルシステムによる省エネルギーの実現。
しかし、商用ソリューションでは、これらのパラメータに単純なターゲット目標を設定するだけで、異なるユーザや/またはシステム管理者間の競合目標の仲介を考慮せず、異なるiot分野間の互換性を制限できる。
本稿では,スマート環境,ユーザセット目標,カスタマイズ可能なメディエーションポリシを表現するための宣言型フレームワークを提案する。
オープンソースのPrologのプロトタイプが2つのライフスタイルのモチベーションの例で紹介されている。 Smart environments powered by the Internet of Things aim at improving our daily lives by automatically tuning ambient parameters (e.g. temperature, interior light) and by achieving energy savings through self-managing cyber-physical systems. Commercial solutions, however, only permit setting simple target goals on those parameters and do not consider mediating conflicting goals among different users and/or system administrators, and feature limited compatibility across different IoT verticals. In this article, we propose a declarative framework to represent smart environments, user-set goals and customisable mediation policies to reconcile contrasting goals encompassing multiple IoT systems. An open-source Prolog prototype of the framework is showcased over two lifelike motivating examples. | 翻訳日:2021-06-27 09:06:49 公開日:2021-06-18 |
| # (参考訳) 世帯所得・消費・支出データセットの分類モデルの性能評価 Performance Evaluation of Classification Models for Household Income, Consumption and Expenditure Data Set ( http://arxiv.org/abs/2106.11055v1 ) ライセンス: CC BY 4.0 | Mersha Nigus and Dorsewamy | (参考訳) 食料安全保障は、地域レベルでも世界レベルでも最近の食糧不足や、慢性的な飢餓と戦うための主要寄付国からの新たな約束のおかげで、これまでよりも政策上の課題で目立ったものとなっている。
機械学習が使用できる分野の1つは、家庭用食品の不安の分類である。
本研究では,家庭が食事の安全であるか否かを機械学習アルゴリズムによって分類するロバストな手法を提案する。
本研究では,家庭の食品安全状態を分類するために,10種類の機械学習アルゴリズムを用いた。
グラディエントブースティング(GB)、ランダムフォレスト(RF)、エクストラツリー(ET)、バッグング(Bgging)、K-Nearest Neighbor(KNN)、決定木(DT)、サポートベクトルマシン(SVM)、ロジスティック回帰(LR)、アダブースト(AB)、ネイブベイズ(Naive Bayes)は、この研究で使われた分類アルゴリズムである。
そして,HICE調査データからデータを収集し,ドメインエキスパートが検証することで,家庭用食品の安全状態のためのデータセットの開発から分類タスクを行う。
すべての分類器のパフォーマンスは、すべてのパフォーマンス指標により良い結果をもたらす。
ランダムフォレストとグラディエントブースティングモデルの性能は、試験精度0.9997と、バッギング、決定木、アダブースト、エクストラツリー、K-アネレスト、ロジスティック回帰、SVM、ネイブベイズなどの他の分類器をそれぞれ0.9996、0.09996、0.09994、0.95675、0.95615、0.8915、0.7853、0.7595とする。 Food security is more prominent on the policy agenda today than it has been in the past, thanks to recent food shortages at both the regional and global levels as well as renewed promises from major donor countries to combat chronic hunger. One field where machine learning can be used is in the classification of household food insecurity. In this study, we establish a robust methodology to categorize whether or not a household is being food secure and food insecure by machine learning algorithms. In this study, we have used ten machine learning algorithms to classify the food security status of the Household. Gradient Boosting (GB), Random Forest (RF), Extra Tree (ET), Bagging, K-Nearest Neighbor (KNN), Decision Tree (DT), Support Vector Machine (SVM), Logistic Regression (LR), Ada Boost (AB) and Naive Bayes were the classification algorithms used throughout this study (NB). Then, we perform classification tasks from developing data set for household food security status by gathering data from HICE survey data and validating it by Domain Experts. The performance of all classifiers has better results for all performance metrics. The performance of the Random Forest and Gradient Boosting models are outstanding with a testing accuracy of 0.9997 and the other classifier such as Bagging, Decision tree, Ada Boost, Extra tree, K-nearest neighbor, Logistic Regression, SVM and Naive Bayes are scored 0.9996, 0.09996, 0.9994, 0.95675, 0.9415, 0.8915, 0.7853 and 0.7595, respectively. | 翻訳日:2021-06-25 09:39:57 公開日:2021-06-18 |
| # (参考訳) QuaPy: 定量化のためのPythonベースのフレームワーク QuaPy: A Python-Based Framework for Quantification ( http://arxiv.org/abs/2106.11057v1 ) ライセンス: CC BY 4.0 | Alejandro Moreo, Andrea Esuli, Fabrizio Sebastiani | (参考訳) QuaPyは量子化を行うためのオープンソースのフレームワークである。
structed prevalence Estimation)はPythonで記述されている。
量子化は教師付き学習を通じて量子化器を訓練するタスクであり、量子化器は相対周波数を推定する予測器である。
流行度値) ラベルのないデータのサンプルに対する関心のクラス。
各クラスに割り当てられたデータ項目の数をカウントして、標準分類器を適用することで、定量化を自明に行うことができるが、この「分類とカウント」法は、量子化のために特別に設計された手法により性能が向上することが示されている。
QuaPyは、多くのベースライン手法と高度な定量化手法、定量化指向モデル選択のためのルーチン、広く受け入れられた評価尺度、そしてこの分野で日常的に使用される堅牢な評価プロトコルの実装を提供する。
QuaPyはまた、量子化器のテストに一般的に使用されるデータセットを提供し、結果の分析と解釈を容易にする可視化ツールを提供する。
このソフトウェアはオープンソースで、https://github.com/HLT-ISTI/QuaPyを介してBSD-3ライセンス下で公開されている。 QuaPy is an open-source framework for performing quantification (a.k.a. supervised prevalence estimation), written in Python. Quantification is the task of training quantifiers via supervised learning, where a quantifier is a predictor that estimates the relative frequencies (a.k.a. prevalence values) of the classes of interest in a sample of unlabelled data. While quantification can be trivially performed by applying a standard classifier to each unlabelled data item and counting how many data items have been assigned to each class, it has been shown that this "classify and count" method is outperformed by methods specifically designed for quantification. QuaPy provides implementations of a number of baseline methods and advanced quantification methods, of routines for quantification-oriented model selection, of several broadly accepted evaluation measures, and of robust evaluation protocols routinely used in the field. QuaPy also makes available datasets commonly used for testing quantifiers, and offers visualization tools for facilitating the analysis and interpretation of the results. The software is open-source and publicly available under a BSD-3 licence via https://github.com/HLT-ISTI/QuaPy, and can be installed via pip (https://pypi.org/project/QuaPy/) | 翻訳日:2021-06-25 09:30:28 公開日:2021-06-18 |
| # (参考訳) 言語を活用したプログラムの抽象化と検索ヒューリスティック Leveraging Language to Learn Program Abstractions and Search Heuristics ( http://arxiv.org/abs/2106.11053v1 ) ライセンス: CC BY 4.0 | Catherine Wong and Kevin Ellis and Joshua B. Tenenbaum and Jacob Andreas | (参考訳) 帰納的プログラム合成は、望ましい振る舞いの例からプログラムを推論し、解釈可能で堅牢で一般化可能な機械学習システムを構築するための一般的なパラダイムを提供する。
効果的なプログラム合成は、プログラムを構築するための強力な機能のライブラリと、与えられたタスクを解決するプログラムを見つけるための効率的な探索戦略である。
LAPS(Language for Abstraction and Program Search)は、自然言語アノテーションを用いて、ライブラリとニューラルネットワークによる合成のための検索モデルの共同学習をガイドする手法である。
最先端のライブラリ学習システム(dreamcoder)に統合されると、lapsは高品質なライブラリを生成し、3つのドメイン(文字列編集、画像合成、シーンに関する抽象的推論)における検索効率と一般化を向上します。 Inductive program synthesis, or inferring programs from examples of desired behavior, offers a general paradigm for building interpretable, robust, and generalizable machine learning systems. Effective program synthesis depends on two key ingredients: a strong library of functions from which to build programs, and an efficient search strategy for finding programs that solve a given task. We introduce LAPS (Language for Abstraction and Program Search), a technique for using natural language annotations to guide joint learning of libraries and neurally-guided search models for synthesis. When integrated into a state-of-the-art library learning system (DreamCoder), LAPS produces higher-quality libraries and improves search efficiency and generalization on three domains -- string editing, image composition, and abstract reasoning about scenes -- even when no natural language hints are available at test time. | 翻訳日:2021-06-25 09:11:02 公開日:2021-06-18 |
| # (参考訳) 画像ベースおよび自己報告皮膚表現型指標の信頼性と妥当性 Reliability and Validity of Image-Based and Self-Reported Skin Phenotype Metrics ( http://arxiv.org/abs/2106.11240v1 ) ライセンス: CC BY-SA 4.0 | John J. Howard, Yevgeniy B. Sirotin, Jerry L. Tipton, and Arun R. Vemury | (参考訳) 顔認識システムの採用が進むにつれ、人口集団間でこれらの技術の適切な性能を確保することが重要である。
近年、スキントーンのような表現型は、性能差を探究する際、伝統的な人種カテゴリーの優れた代替品として提案されている。
しかし、バイオメトリックスの性能評価やaiのより広範な評価において、スキントーンを適切に測定する方法についてのコンセンサスはほとんどない。
本研究では,画像から推定される顔領域光度測定(falms)と,人肌計測装置を用いて収集した地肌読解との関係について検討する。
同一個体の異なる画像から推定したFALMは,地上のFALMと比較して有意に異なる。
この変動は、取得の制御(カメラ、背景、環境)を大きくすることでのみ減少する。
次に,fstとフィッツパトリック・スキンタイプ (fst) を標準的,対人的,医療的調査で比較し,fstがスキントーンの予測に乏しいことを示した。
最後に、FALMの雑音推定が、人口統計学における説明因子の選択誤差につながることを示す。
これらの結果から, 生体計測性能評価のためのスキントーンの測定は, 客観的, 特徴的, 制御的ソースから行う必要がある。
さらに,FSTカテゴリとFALMを非制御画像から推定することは,現在実施されているアプローチであるにもかかわらず,肌色を適切に評価することができない。 With increasing adoption of face recognition systems, it is important to ensure adequate performance of these technologies across demographic groups. Recently, phenotypes such as skin-tone, have been proposed as superior alternatives to traditional race categories when exploring performance differentials. However, there is little consensus regarding how to appropriately measure skin-tone in evaluations of biometric performance or in AI more broadly. In this study, we explore the relationship between face-area-lightness-measures (FALMs) estimated from images and ground-truth skin readings collected using a device designed to measure human skin. FALMs estimated from different images of the same individual varied significantly relative to ground-truth FALM. This variation was only reduced by greater control of acquisition (camera, background, and environment). Next, we compare ground-truth FALM to Fitzpatrick Skin Types (FST) categories obtained using the standard, in-person, medical survey and show FST is poorly predictive of skin-tone. Finally, we show how noisy estimation of FALM leads to errors selecting explanatory factors for demographic differentials. These results demonstrate that measures of skin-tone for biometric performance evaluations must come from objective, characterized, and controlled sources. Further, despite this being a currently practiced approach, estimating FST categories and FALMs from uncontrolled imagery does not provide an appropriate measure of skin-tone. | 翻訳日:2021-06-25 08:52:41 公開日:2021-06-18 |
| # (参考訳) 多元弱監督モデルにおける依存構造誤特定 Dependency Structure Misspecification in Multi-Source Weak Supervision Models ( http://arxiv.org/abs/2106.10302v1 ) ライセンス: CC BY 4.0 | Salva R\"uhling Cachay, Benedikt Boecking, Artur Dubrawski | (参考訳) データプログラミング(DP)は、高価な手書きデータに代わる魅力的な選択肢であることが証明されている。
dp では、ユーザはドメイン知識を \emph{labeling functions} (lf) にエンコードし、データのサブセットを能動的にラベル付けし、複雑な依存関係を持つヒューリスティックスを作成する。
その後、ラベルモデルはLFに適合し、未知のクラスラベルの見積もりを生成する。
下流分類器のテストセット性能に対するラベルモデルの不特定の影響について検討する。
これは、特に dp のフィールドアプリケーションでは lf 間の依存性構造が頻繁に無視されるため、実践者に深刻な認識のギャップをもたらす。
構造過特化によるモデリングエラーを解析する。
我々は、モデリングエラーに関する新しい理論的境界を導出し、この誤差が、一見意味のある構造をモデル化しても、実質的であることを実証的に示す。 Data programming (DP) has proven to be an attractive alternative to costly hand-labeling of data. In DP, users encode domain knowledge into \emph{labeling functions} (LF), heuristics that label a subset of the data noisily and may have complex dependencies. A label model is then fit to the LFs to produce an estimate of the unknown class label. The effects of label model misspecification on test set performance of a downstream classifier are understudied. This presents a serious awareness gap to practitioners, in particular since the dependency structure among LFs is frequently ignored in field applications of DP. We analyse modeling errors due to structure over-specification. We derive novel theoretical bounds on the modeling error and empirically show that this error can be substantial, even when modeling a seemingly sensible structure. | 翻訳日:2021-06-25 08:31:02 公開日:2021-06-18 |
| # (参考訳) ライブビデオストリーミングイベントにおけるユーザエンゲージメントと採用のためのマルチタスク学習 Multi-Task Learning for User Engagement and Adoption in Live Video Streaming Events ( http://arxiv.org/abs/2106.10305v1 ) ライセンス: CC BY 4.0 | Stefanos Antaris and Dimitrios Rafailidis and Romina Arriaza | (参考訳) 近年,大規模国際企業における視聴者のコミュニケーションにおいて,ライブビデオストリーミングイベントが主流となっている。
視聴者が世界中に分散しているという主な課題は、視聴者のエンゲージメントと採用の両方を改善するために、最適なイベントの時間をスケジュールする方法にある。
本稿では,ライブビデオストリーミングイベントの時刻を選択するためのマルチタスク深層強化学習モデルを提案する。
我々は、視聴者の関与と採用を独立したタスクとみなし、共通の方針を学ぶために統一的な損失関数を定式化する。
さらに、各タスクがエージェントのトレーニング戦略に異なる貢献をする可能性があるという事実も考慮する。
そこで,エージェントのトレーニングに対する各タスクの貢献度を決定するために,各タスクの状態-動作遷移に対するトランスフォーマーのアーキテクチャを設計する。
2019年1月から2021年3月までの4つの大企業のライブビデオストリーミングイベントによって生成された4つの実世界のデータセットについて,提案モデルを評価した。
本実験は,いくつかの最先端戦略と比較し,提案モデルの有効性を実証する。
再現のために、評価データセットと実装はhttps://github.com/stefanosantaris/merlin.comで公開されている。 Nowadays, live video streaming events have become a mainstay in viewer's communication in large international enterprises. Provided that viewers are distributed worldwide, the main challenge resides on how to schedule the optimal event's time so as to improve both the viewer's engagement and adoption. In this paper we present a multi-task deep reinforcement learning model to select the time of a live video streaming event, aiming to optimize the viewer's engagement and adoption at the same time. We consider the engagement and adoption of the viewers as independent tasks and formulate a unified loss function to learn a common policy. In addition, we account for the fact that each task might have different contribution to the training strategy of the agent. Therefore, to determine the contribution of each task to the agent's training, we design a Transformer's architecture for the state-action transitions of each task. We evaluate our proposed model on four real-world datasets, generated by the live video streaming events of four large enterprises spanning from January 2019 until March 2021. Our experiments demonstrate the effectiveness of the proposed model when compared with several state-of-the-art strategies. For reproduction purposes, our evaluation datasets and implementation are publicly available at https://github.com/stefanosantaris/merlin. | 翻訳日:2021-06-25 08:17:16 公開日:2021-06-18 |
| # (参考訳) フォワードパスを変更せずに微分可能な粒子フィルタリング Differentiable Particle Filtering without Modifying the Forward Pass ( http://arxiv.org/abs/2106.10314v1 ) ライセンス: CC BY-SA 4.0 | Adam \'Scibior, Vaden Masrani, Frank Wood | (参考訳) 近年, 粒子フィルタは勾配勾配に最適化されたエンド・ツー・エンドの成分として用いられている。
しかし、粒子フィルタの再サンプリングステップは微分可能ではなく、勾配の偏りや最適化の妨げとなる。
この問題を改善するために、いくつかの異なる種類の再サンプリングが提案されており、これらは全て、粒子フィルタの振る舞いを重要かつ望ましくない方法で修正している。
本稿では,バックプロパゲーションに使用されるメッセージのみを変更し,パーティクルフィルタの標準フォワードパスを変更せずに残すことで,限界確率の勾配の偏りのない推定値を得る方法を示す。
本手法は実装が簡単で計算オーバーヘッドが低く,追加のハイパーパラメータは導入せず,高次導関数にも拡張できる。
我々はこれを停止段階再サンプリングと呼び、後方メッセージを明示的に変更するのではなく、停止段階演算子を使用して自動微分ライブラリで容易に実装できる。 In recent years particle filters have being used as components in systems optimized end-to-end with gradient descent. However, the resampling step in a particle filter is not differentiable, which biases gradients and interferes with optimization. To remedy this problem, several differentiable variants of resampling have been proposed, all of which modify the behavior of the particle filter in significant and potentially undesirable ways. In this paper, we show how to obtain unbiased estimators of the gradient of the marginal likelihood by only modifying messages used in backpropagation, leaving the standard forward pass of a particle filter unchanged. Our method is simple to implement, has a low computational overhead, does not introduce additional hyperparameters, and extends to derivatives of higher orders. We call it stop-gradient resampling, since it can easily be implemented with automatic differentiation libraries using the stop-gradient operator instead of explicitly modifying the backward messages. | 翻訳日:2021-06-25 08:01:58 公開日:2021-06-18 |
| # (参考訳) Proper Value Equivalence Proper Value Equivalence ( http://arxiv.org/abs/2106.10316v1 ) ライセンス: CC BY 4.0 | Christopher Grimm, Andr\'e Barreto, Gregory Farquhar, David Silver, Satinder Singh | (参考訳) モデルベース強化学習(RL)の主な課題の1つは、環境のどの側面をモデル化すべきかを決定することである。
価値等価性(VE)の原則は、この問題に対する単純な答えである: モデルは、価値ベースの計画に関係のある環境の側面を捉えなければならない。
厳密には、VEは一連のポリシーと一連の関数に基づいてモデルを区別する:モデルが環境に対してVEであるとは、ベルマン演算子が関数に適用すると正しい結果が得られることを誘導する。
ポリシーと関数の数が増えるにつれて、VEモデルの集合は縮小し、最終的には完全なモデルに対応する単一点に崩壊する。
したがって、ve原則の基礎となる基本的な問題は、計画に足りる最小のポリシーと機能を選択する方法である。
本稿では,この質問に答える上で重要な一歩を踏み出します。
まず ve の概念をベルマン作用素の $k$ 応用に関して定義されたオーダー-$k$ に対応するものに一般化する。
これは、$k \rightarrow \infty$としてサイズが増加するVEクラスのファミリーにつながる。
この極限において、すべての関数は値関数となり、適切な VE あるいは単に PVE と呼ぶ VE の特別なインスタンス化が成立する。
VEとは異なり、PVEクラスはすべての値関数が使用されるときでも複数のモデルを含むことができる。
重要なのは、これらのモデルはすべて計画に十分であり、環境の多くの側面を無視できるという事実にもかかわらず、最適なポリシーが得られるということです。
我々はPVEモデルを学習するための損失関数を構築し、MuZeroやMuesliのような一般的なアルゴリズムは、この損失の上限を最小化できると主張している。
この接続を利用して、MuZeroの修正を提案し、実際にパフォーマンスを改善することができることを示す。 One of the main challenges in model-based reinforcement learning (RL) is to decide which aspects of the environment should be modeled. The value-equivalence (VE) principle proposes a simple answer to this question: a model should capture the aspects of the environment that are relevant for value-based planning. Technically, VE distinguishes models based on a set of policies and a set of functions: a model is said to be VE to the environment if the Bellman operators it induces for the policies yield the correct result when applied to the functions. As the number of policies and functions increase, the set of VE models shrinks, eventually collapsing to a single point corresponding to a perfect model. A fundamental question underlying the VE principle is thus how to select the smallest sets of policies and functions that are sufficient for planning. In this paper we take an important step towards answering this question. We start by generalizing the concept of VE to order-$k$ counterparts defined with respect to $k$ applications of the Bellman operator. This leads to a family of VE classes that increase in size as $k \rightarrow \infty$. In the limit, all functions become value functions, and we have a special instantiation of VE which we call proper VE or simply PVE. Unlike VE, the PVE class may contain multiple models even in the limit when all value functions are used. Crucially, all these models are sufficient for planning, meaning that they will yield an optimal policy despite the fact that they may ignore many aspects of the environment. We construct a loss function for learning PVE models and argue that popular algorithms such as MuZero and Muesli can be understood as minimizing an upper bound for this loss. We leverage this connection to propose a modification to MuZero and show that it can lead to improved performance in practice. | 翻訳日:2021-06-25 07:47:44 公開日:2021-06-18 |
| # (参考訳) 衝突リスク評価と防止を支援する複雑な運転シーン解析のための視覚センサを用いたディープニューラルネットワークシステム A system of vision sensor based deep neural networks for complex driving scene analysis in support of crash risk assessment and prevention ( http://arxiv.org/abs/2106.10319v1 ) ライセンス: CC BY 4.0 | Muhammad Monjurul Karim, Yu Li, Ruwen Qin, Zhaozheng Yin | (参考訳) 事故リスクの評価において、人間ドライバーや自動運転車を支援するため、車載ダッシュカメラとディープラーニングアルゴリズムを用いたシーン解析が最重要となる。
これらの技術はますます普及しているが、この目的のためのシーン分析の推進は依然として課題である。
これは主に、衝突リスク指標と衝突可能性を分析するための注釈付き大規模画像データセットの欠如と、複雑な運転シーンから大量の必要な情報を抽出する効果的な方法の欠如によるものである。
このギャップを埋めるために,シーン分析システムを開発した。
システムのマルチネットは、シーン分類を実行する2つのマルチタスクニューラルネットワークを含み、各シーンに4つのラベルを提供する。
deeplab v3とyolo v3を組み合わせることで、危険な歩行者や最寄りの車両を検知・発見する。
すべての識別された情報は、周囲の交通からの衝突リスクを特定するために、自動運転車や人間ドライバーに状況認識を提供することができる。
交通事故研究のための注釈付き画像データセットの不足に対処するため,本論文では2つの全く新しいデータセットを開発し,提案したディープニューラルネットワークのトレーニングに有効であることが証明された。
本論文は,マルチネットの性能と,開発したシステムの効率をさらに評価する。
総合的なシーン分析はさらに代表的な例で示される。
その結果,運転シーン分析におけるシステムとデータセットの有効性,クラッシュリスクアセスメントとクラッシュ防止への支援性が示された。 To assist human drivers and autonomous vehicles in assessing crash risks, driving scene analysis using dash cameras on vehicles and deep learning algorithms is of paramount importance. Although these technologies are increasingly available, driving scene analysis for this purpose still remains a challenge. This is mainly due to the lack of annotated large image datasets for analyzing crash risk indicators and crash likelihood, and the lack of an effective method to extract lots of required information from complex driving scenes. To fill the gap, this paper develops a scene analysis system. The Multi-Net of the system includes two multi-task neural networks that perform scene classification to provide four labels for each scene. The DeepLab v3 and YOLO v3 are combined by the system to detect and locate risky pedestrians and the nearest vehicles. All identified information can provide the situational awareness to autonomous vehicles or human drivers for identifying crash risks from the surrounding traffic. To address the scarcity of annotated image datasets for studying traffic crashes, two completely new datasets have been developed by this paper and made available to the public, which were proved to be effective in training the proposed deep neural networks. The paper further evaluates the performance of the Multi-Net and the efficiency of the developed system. Comprehensive scene analysis is further illustrated with representative examples. Results demonstrate the effectiveness of the developed system and datasets for driving scene analysis, and their supportiveness for crash risk assessment and crash prevention. | 翻訳日:2021-06-25 07:06:05 公開日:2021-06-18 |
| # (参考訳) グループ構造逆行訓練 Group-Structured Adversarial Training ( http://arxiv.org/abs/2106.10324v1 ) ライセンス: CC BY 4.0 | Farzan Farnia, Amirali Aghazadeh, James Zou, David Tse | (参考訳) 入力データに対する摂動に対するロバストなトレーニング手法は、機械学習の文献で注目されている。
この方向の標準的なアプローチは、逆摂動トレーニングサンプルを用いてモデルを学習する逆行訓練である。
しかしながら、逆行訓練は、異なる組織の遺伝子発現レベルなどの生物学的データに一般的に見られる普遍的およびグループスパースシフトのようなサンプルにまたがる摂動に対して過度に対処する。
本研究では,この最適性ギャップを解消し,サンプル間の摂動に頑健なモデルを学習するGSAT(Group-Structured Adversarial Training)を導入する。
GSATを非凸凹極小最適化問題として定式化し、グループ構造最適輸送コストを最小化する。
具体的には、群と核のノルム法則をモデル化したグループスパースおよびランク制約摂動に対するGSATの適用に焦点をあてる。
このような場合、GSATの非滑らかな最適化問題を解決するために、GDADMM(Gradient Descent Ascent)とADMM(Alternating Direction Method of Multipliers)を組み合わせることで、GDADMMと呼ばれる新しい最小最適化アルゴリズムを提案する。
本稿では、画像認識および計算生物学データセットに対する構造化摂動に対する堅牢性を得るためのGSATフレームワークのいくつかの応用について述べる。 Robust training methods against perturbations to the input data have received great attention in the machine learning literature. A standard approach in this direction is adversarial training which learns a model using adversarially-perturbed training samples. However, adversarial training performs suboptimally against perturbations structured across samples such as universal and group-sparse shifts that are commonly present in biological data such as gene expression levels of different tissues. In this work, we seek to close this optimality gap and introduce Group-Structured Adversarial Training (GSAT) which learns a model robust to perturbations structured across samples. We formulate GSAT as a non-convex concave minimax optimization problem which minimizes a group-structured optimal transport cost. Specifically, we focus on the applications of GSAT for group-sparse and rank-constrained perturbations modeled using group and nuclear norm penalties. In order to solve GSAT's non-smooth optimization problem in those cases, we propose a new minimax optimization algorithm called GDADMM by combining Gradient Descent Ascent (GDA) and Alternating Direction Method of Multipliers (ADMM). We present several applications of the GSAT framework to gain robustness against structured perturbations for image recognition and computational biology datasets. | 翻訳日:2021-06-25 06:55:41 公開日:2021-06-18 |
| # (参考訳) 価値目標データセットを用いた社会への言語モデルの適用プロセス Process for Adapting Language Models to Society (PALMS) with Values-Targeted Datasets ( http://arxiv.org/abs/2106.10328v1 ) ライセンス: CC BY-SA 4.0 | Irene Solaiman (1) and Christy Dennison (1) ((1) OpenAI) | (参考訳) 言語モデルは有害で偏った出力を生成し、望ましくない振る舞いを示す。
本稿では, 目標値の所定のセットを反映したデータセットを作成・微調整することで, モデル行動を大きく変化させる反復的プロセスであるValues-Targeted Datasetsを用いた社会への言語モデル適応プロセス(PALMS)を提案する。
対象値への適合度を評価する人的評価による定量的指標, 結果に対する毒性スコア, 特定の社会的カテゴリーに関連する最も一般的な単語を分析する質的指標の3つの指標を用いて, プロセスを評価した。
各イテレーションを通じて、評価から観察した欠点に基づいたトレーニングデータセットの例を追加します。
PALMSは、幅広いGPT-3言語モデルサイズのベースラインや制御モデルと比較して、能力の整合性を損なうことなく、全ての指標において大幅に性能が向上する。
PALMSの有効性はモデルのサイズによって増加する。
言語モデルの振る舞いをかなり調整することは、小さな手書きデータセットで実現可能であることを示す。 Language models can generate harmful and biased outputs and exhibit undesirable behavior. We propose a Process for Adapting Language Models to Society (PALMS) with Values-Targeted Datasets, an iterative process to significantly change model behavior by crafting and fine-tuning on a dataset that reflects a predetermined set of target values. We evaluate our process using three metrics: quantitative metrics with human evaluations that score output adherence to a target value, and toxicity scoring on outputs; and qualitative metrics analyzing the most common word associated with a given social category. Through each iteration, we add additional training dataset examples based on observed shortcomings from evaluations. PALMS performs significantly better on all metrics compared to baseline and control models for a broad range of GPT-3 language model sizes without compromising capability integrity. We find that the effectiveness of PALMS increases with model size. We show that significantly adjusting language model behavior is feasible with a small, hand-curated dataset. | 翻訳日:2021-06-25 06:21:18 公開日:2021-06-18 |
| # (参考訳) exoskeleton-based multimodal action and movement recognition: identifying and development the optimal boosted learning approach Exoskeleton-Based Multimodal Action and Movement Recognition: Identifying and Developing the Optimal Boosted Learning Approach ( http://arxiv.org/abs/2106.10331v1 ) ライセンス: CC BY 4.0 | Nirmalya Thakur and Chia Y. Han | (参考訳) 本稿では,外骨格系行動と運動認識の分野での2つの科学的貢献について述べる。
まず、新しい機械学習とパターン認識ベースのフレームワークを提示し、階段を上り、階段を上り、座った、座った、座った、座った、座った、嘘をつく、座った、嘘をつく、嘘をつく、立って、立つ、という幅広い行動や動きを、全体の精度82.63%で検出する。
第二に、Random Forest, Artificial Neural Network, Decision Tree, Multiway Decision Tree, Support Vector Machine, k-NN, Gradient Boosted Trees, Decision Stump, Auto MLP, Linear Regression, Vector Linear Regression, Random Tree, Na\"ive Bayes", Na\"ive Bayes (Kernel), Linear Discriminant Analysis, Quadratic Discriminant Analysis, Deep Learningなどが、このフレームワークに適用されている。
これらの学習手法のそれぞれのパフォーマンスはAdaBoostアルゴリズムを用いて向上し、Cross Validationアプローチはトレーニングとテストに使用された。
その結果,k-NN分類器は,他の学習手法よりも優れており,その学習方法として最適であることが示唆された。
本研究は,スマートホームなどのモノのインターネット(iot)を基盤とした生活環境の将来における高齢者のエクソスケルトン支援・自立的生活能力の向上に寄与する上で,本研究の重要性を示唆し,議論した。
特定の症例として,高機能下肢外骨格であるHybrid Assistive Limb exoskeletonの能力を増強するために,我々の研究の成果がどう関係しているかを考察した。 This paper makes two scientific contributions to the field of exoskeleton-based action and movement recognition. First, it presents a novel machine learning and pattern recognition-based framework that can detect a wide range of actions and movements - walking, walking upstairs, walking downstairs, sitting, standing, lying, stand to sit, sit to stand, sit to lie, lie to sit, stand to lie, and lie to stand, with an overall accuracy of 82.63%. Second, it presents a comprehensive comparative study of different learning approaches - Random Forest, Artificial Neural Network, Decision Tree, Multiway Decision Tree, Support Vector Machine, k-NN, Gradient Boosted Trees, Decision Stump, Auto MLP, Linear Regression, Vector Linear Regression, Random Tree, Na\"ive Bayes, Na\"ive Bayes (Kernel), Linear Discriminant Analysis, Quadratic Discriminant Analysis, and Deep Learning applied to this framework. The performance of each of these learning approaches was boosted by using the AdaBoost algorithm, and the Cross Validation approach was used for training and testing. The results show that in boosted form, the k- NN classifier outperforms all the other boosted learning approaches and is, therefore, the optimal learning method for this purpose. The results presented and discussed uphold the importance of this work to contribute towards augmenting the abilities of exoskeleton-based assisted and independent living of the elderly in the future of Internet of Things-based living environments, such as Smart Homes. As a specific use case, we also discuss how the findings of our work are relevant for augmenting the capabilities of the Hybrid Assistive Limb exoskeleton, a highly functional lower limb exoskeleton. | 翻訳日:2021-06-25 06:20:19 公開日:2021-06-18 |
| # (参考訳) 人間のポーズを用いた単視点物理距離推定 Single View Physical Distance Estimation using Human Pose ( http://arxiv.org/abs/2106.10335v1 ) ライセンス: CC BY 4.0 | Xiaohan Fei, Henry Wang, Xiangyu Zeng, Lin Lee Cheong, Meng Wang, Joseph Tighe | (参考訳) そこで本研究では,1枚のRGB画像や3Dシーンを一定位置から見るカメラで撮影した映像から,カメラの内在性,地上面,身体的距離を同時に推定するシステムを提案する。
カメラキャリブレーションと距離推定を自動化するために、人間のポーズに関する先行情報を活用し、ポーズに基づく自動校正と距離推定のための新しい直接的な定式化を開発し、公開データセット上での最先端のパフォーマンスを示す。
提案手法により、既存のカメラシステムは、専用のキャリブレーションプロセスやレンジセンサーを必要とせずに物理的な距離を計測でき、ソーシャルディスタンシングや職場の安全といった幅広いユースケースに適用できる。
さらに,この領域における評価と研究の推進のために,さらに距離アノテーションを付加したMEVAデータセットに貢献し,ポーズに基づく自動校正と距離推定の問題に対する世界初となる評価ベンチマークMEVADAを作成した。 We propose a fully automated system that simultaneously estimates the camera intrinsics, the ground plane, and physical distances between people from a single RGB image or video captured by a camera viewing a 3-D scene from a fixed vantage point. To automate camera calibration and distance estimation, we leverage priors about human pose and develop a novel direct formulation for pose-based auto-calibration and distance estimation, which shows state-of-the-art performance on publicly available datasets. The proposed approach enables existing camera systems to measure physical distances without needing a dedicated calibration process or range sensors, and is applicable to a broad range of use cases such as social distancing and workplace safety. Furthermore, to enable evaluation and drive research in this area, we contribute to the publicly available MEVA dataset with additional distance annotations, resulting in MEVADA -- the first evaluation benchmark in the world for the pose-based auto-calibration and distance estimation problem. | 翻訳日:2021-06-25 06:06:23 公開日:2021-06-18 |
| # (参考訳) 最適化する前の学習の限界 The Perils of Learning Before Optimizing ( http://arxiv.org/abs/2106.10349v1 ) ライセンス: CC BY 4.0 | Chris Cameron, Jason Hartford, Taylor Lundy, Kevin Leyton-Brown | (参考訳) 実世界の最適化問題の定式化は、しばしば歴史的データ(例えば、高速ルートを推奨する最適化器)から予測することから始まる。
通常、最適化問題を生成するために使用される予測モデルを学習し、その問題を2つの別々の段階で解く。
近年の研究では、最適化タスクを微分することで、このような予測モデルをエンドツーエンドで学べることを示した。
このような手法はしばしば経験的な改善をもたらすが、これは通常、2段階の解法で使われる標準的な損失関数よりも良いエラートレードオフを行うエンドツーエンドに起因する。
我々は、この説明を洗練し、エンドツーエンドがパフォーマンスを改善するときにより正確に特徴付ける。
予測対象が確率的である場合、2段階のソリューションは、モデルへのターゲット分布の統計値 -- 予測対象に対する期待を考える -- を事前選択しなければならない。
確率的最適化における二段階法とエンドツーエンド法の性能差は,確率的最適化における \emph{price of correlation} の概念と密接に関連し,予測最適化問題に対する既存の poc 結果の影響を示す。
次に,目的関数の係数が複数の予測対象に依存する,新しい,特に実用的な設定を考える。
我々は,(1)二段階がエンドツーエンドよりも無制限に悪くなる,(2)二段階が最適である明示的な構成を与える。
目的関数が複数の予測対象に依存するが、しかしながら2段階のソリューションをデプロイする実世界のアプリケーション群を同定する。
また,シミュレーションを用いて性能ギャップを実験的に定量化する。 Formulating real-world optimization problems often begins with making predictions from historical data (e.g., an optimizer that aims to recommend fast routes relies upon travel-time predictions). Typically, learning the prediction model used to generate the optimization problem and solving that problem are performed in two separate stages. Recent work has showed how such prediction models can be learned end-to-end by differentiating through the optimization task. Such methods often yield empirical improvements, which are typically attributed to end-to-end making better error tradeoffs than the standard loss function used in a two-stage solution. We refine this explanation and more precisely characterize when end-to-end can improve performance. When prediction targets are stochastic, a two-stage solution must make an a priori choice about which statistics of the target distribution to model -- we consider expectations over prediction targets -- while an end-to-end solution can make this choice adaptively. We show that the performance gap between a two-stage and end-to-end approach is closely related to the \emph{price of correlation} concept in stochastic optimization and show the implications of some existing POC results for our predict-then-optimize problem. We then consider a novel and particularly practical setting, where coefficients in the objective function depend on multiple prediction targets. We give explicit constructions where (1) two-stage performs unboundedly worse than end-to-end; and (2) two-stage is optimal. We identify a large set of real-world applications whose objective functions rely on multiple prediction targets but which nevertheless deploy two-stage solutions. We also use simulations to experimentally quantify performance gaps. | 翻訳日:2021-06-25 05:48:02 公開日:2021-06-18 |
| # (参考訳) ディフルレント音声のための音声アシスタントシステムの解析とチューニング Analysis and Tuning of a Voice Assistant System for Dysfluent Speech ( http://arxiv.org/abs/2106.11759v1 ) ライセンス: CC BY 4.0 | Vikramjit Mitra, Zifang Huang, Colin Lea, Lauren Tooley, Sarah Wu, Darren Botten, Ashwini Palekar, Shrinath Thelapurath, Panayiotis Georgiou, Sachin Kajarekar, Jefferey Bigham | (参考訳) 音声発音の障害や変化は、音声認識性能を著しく低下させる可能性があり、中等度から重度の音声障害を持つ多くの個人にとって、音声操作システムは機能しない。
現在の音声認識システムは、主に流行った話者のデータで訓練されており、結果として、音声や単語の繰り返し、音声の延長、可聴ブロックなどの不均一性のある音声にうまく一般化していない。
本研究は,一般的な音声アシスタントタスク(すなわち「天気とは何か」)の性能向上のための生産指向の手法を用いて,消費者音声認識システムの定量的分析に焦点をあてた。
ベースラインでは、このシステムはかなりの数の挿入および置換エラーを導入し、結果として意図された音声単語誤り率(iswer)が、流血性障害を持つ個人に対して13.64\%悪化する(絶対的)。
既存のハイブリッド音声認識システムにおけるデコードパラメータを単純に調整することで、流感障害のある人に対しては、isWERを24倍(相対)改善できることを示す。
これらのパラメータのチューニングは、すべてのノイズを散らかす18人の研究参加者のデフォルト設定と比較して、ドメイン認識が3.6\%、意図認識が1.7\%向上することを意味する。 Dysfluencies and variations in speech pronunciation can severely degrade speech recognition performance, and for many individuals with moderate-to-severe speech disorders, voice operated systems do not work. Current speech recognition systems are trained primarily with data from fluent speakers and as a consequence do not generalize well to speech with dysfluencies such as sound or word repetitions, sound prolongations, or audible blocks. The focus of this work is on quantitative analysis of a consumer speech recognition system on individuals who stutter and production-oriented approaches for improving performance for common voice assistant tasks (i.e., "what is the weather?"). At baseline, this system introduces a significant number of insertion and substitution errors resulting in intended speech Word Error Rates (isWER) that are 13.64\% worse (absolute) for individuals with fluency disorders. We show that by simply tuning the decoding parameters in an existing hybrid speech recognition system one can improve isWER by 24\% (relative) for individuals with fluency disorders. Tuning these parameters translates to 3.6\% better domain recognition and 1.7\% better intent recognition relative to the default setup for the 18 study participants across all stuttering severities. | 翻訳日:2021-06-25 05:24:57 公開日:2021-06-18 |
| # (参考訳) スキル伝達における資源経済と高速学習のための高水準機能 High-level Features for Resource Economy and Fast Learning in Skill Transfer ( http://arxiv.org/abs/2106.10354v1 ) ライセンス: CC BY 4.0 | Alper Ahmetoglu, Emre Ugur, Minoru Asada, Erhan Oztop | (参考訳) 抽象化は、エージェントが効果的な意思決定のために堅牢な表現を構築することができるインテリジェンスの重要な側面である。
過去10年間で、ディープネットワークはますます複雑な抽象化を形成する能力のために有効であることが証明されている。
しかし、これらの抽象化は多くのニューロンに分散しており、学習スキルの再使用はコストがかかる。
以前の研究は、デザイナーバイアスを生み出す抽象化の形成を強制するか、より効果的にソースタスクをキャプチャするハイレベルな特徴をどのように取得するかを調査することなく、多数のニューラルユニットを使用した。
設計バイアスとリソース使用の分離を回避するため,ニューラル・レスポンス・ダイナミクスを活用し,スキル転送に使用するコンパクト表現を形成することを提案する。
本研究では,(1)最大情報圧縮原理に基づく競合する2つの手法と(2)抽象事象がゆっくりと変化する信号を生成するという概念を考察し,タスク実行時に発生する神経信号に適用する。
具体的には、シミュレーション実験において、ソースタスクを実行中にディープネットワークの最後の隠れ層から収集した信号に主成分分析(pca)またはスロー特徴解析(sfa)を適用し、これらの特徴を新たな対象タスクにおけるスキル伝達に利用する。
これらの選択肢の一般化性能と、全層出力と無転送設定によるスキル転送のベースラインを比較した。
その結果,sfaユニットはスキルの伝達に最も成功していることがわかった。
SFAとPCAは、通常の技術移転に比べて少ないリソースを消費し、多くのユニットが構成され、エンドエフェクタ-障害物-ゴール関係を反映した局所的な応答を示す。
最後に、最小固有値を持つSFA単位は、完全な記号系の前駆体と考えられる関節角のような高次特徴と高い相関を持つ記号表現に類似している。 Abstraction is an important aspect of intelligence which enables agents to construct robust representations for effective decision making. In the last decade, deep networks are proven to be effective due to their ability to form increasingly complex abstractions. However, these abstractions are distributed over many neurons, making the re-use of a learned skill costly. Previous work either enforced formation of abstractions creating a designer bias, or used a large number of neural units without investigating how to obtain high-level features that may more effectively capture the source task. For avoiding designer bias and unsparing resource use, we propose to exploit neural response dynamics to form compact representations to use in skill transfer. For this, we consider two competing methods based on (1) maximum information compression principle and (2) the notion that abstract events tend to generate slowly changing signals, and apply them to the neural signals generated during task execution. To be concrete, in our simulation experiments, we either apply principal component analysis (PCA) or slow feature analysis (SFA) on the signals collected from the last hidden layer of a deep network while it performs a source task, and use these features for skill transfer in a new target task. We compare the generalization performance of these alternatives with the baselines of skill transfer with full layer output and no-transfer settings. Our results show that SFA units are the most successful for skill transfer. SFA as well as PCA, incur less resources compared to usual skill transfer, whereby many units formed show a localized response reflecting end-effector-obstacle-goal relations. Finally, SFA units with lowest eigenvalues resembles symbolic representations that highly correlate with high-level features such as joint angles which might be thought of precursors for fully symbolic systems. | 翻訳日:2021-06-25 05:14:52 公開日:2021-06-18 |
| # (参考訳) Scenic4RL:強化学習環境のモデリングと生成 Scenic4RL: Programmatic Modeling and Generation of Reinforcement Learning Environments ( http://arxiv.org/abs/2106.10365v1 ) ライセンス: CC BY 4.0 | Abdus Salam Azad, Edward Kim, Qiancheng Wu, Kimin Lee, Ion Stoica, Pieter Abbeel, and Sanjit A. Seshia | (参考訳) 強化学習(RL)エージェントの能力は、環境が生み出す学習シナリオの多様性と、それが現実世界の状況をどのように捉えているかに直接依存する。
しかし、既存の環境/シミュレータは初期状態と遷移ダイナミクスを体系的にモデル化するサポートを欠いている。
さらにサッカーのような複雑な領域では、シナリオの空間は無限であり、ある研究グループがRLアルゴリズムを訓練、テスト、ベンチマークするための包括的なシナリオセットを提供することは不可能である。
この問題に対処するために、我々は、インタラクティブなシナリオを直感的にモデル化し、生成するために、既存の形式的なシナリオ仕様言語であるSCENICを採用しました。
我々はSCENICをGoogle Research Soccer環境にインタフェースし、SCENIC4RLというプラットフォームを開発した。
このプラットフォームを用いて、SCENICで符号化された36のシナリオプログラムと、そのサブセットから生成された実演データからなるデータセットを提供する。
RLアルゴリズムをトレーニング、テスト、ベンチマークするためのデータセットとプラットフォームの有効性を示す実験結果を共有します。
さらに重要なのは、RLコミュニティが包括的なシナリオの構築に一括して貢献できるように、当社のプラットフォームをオープンソースにしています。 The capability of reinforcement learning (RL) agent directly depends on the diversity of learning scenarios the environment generates and how closely it captures real-world situations. However, existing environments/simulators lack the support to systematically model distributions over initial states and transition dynamics. Furthermore, in complex domains such as soccer, the space of possible scenarios is infinite, which makes it impossible for one research group to provide a comprehensive set of scenarios to train, test, and benchmark RL algorithms. To address this issue, for the first time, we adopt an existing formal scenario specification language, SCENIC, to intuitively model and generate interactive scenarios. We interfaced SCENIC to Google Research Soccer environment to create a platform called SCENIC4RL. Using this platform, we provide a dataset consisting of 36 scenario programs encoded in SCENIC and demonstration data generated from a subset of them. We share our experimental results to show the effectiveness of our dataset and the platform to train, test, and benchmark RL algorithms. More importantly, we open-source our platform to enable RL community to collectively contribute to constructing a comprehensive set of scenarios. | 翻訳日:2021-06-25 05:02:28 公開日:2021-06-18 |
| # 回帰予測における最大推定値の利点について On the benefits of maximum likelihood estimation for Regression and Forecasting ( http://arxiv.org/abs/2106.10370v1 ) ライセンス: Link先を確認 | Pranjal Awasthi, Abhimanyu Das, Rajat Sen, Ananda Theertha Suresh | (参考訳) 我々は、特定の目標指標に対する経験的リスク最小化(ERM)の典型的なアプローチの代替として、回帰と予測のための実用的最大様相推定(MLE)アプローチを提唱する。
このアプローチは、データセット内の事前ドメイン知識のような帰納的バイアスを捉えるのに適しており、様々なタイプのターゲットメトリクスを最適化できる推論時間にポストホックな推定子を出力することができる。
提案手法は, 一般条件下での目標距離の推定値と常に競合するものであり, ポアソン回帰(Poisson Regression)のような多くの実践的条件下では, ERMよりもはるかに優れていることを示す。
提案手法は,データ分布の異なる時系列予測と回帰データセットの多種多様なタスクにおいて,ERMよりも優れた性能が得られることを実証的に実証した。 We advocate for a practical Maximum Likelihood Estimation (MLE) approach for regression and forecasting, as an alternative to the typical approach of Empirical Risk Minimization (ERM) for a specific target metric. This approach is better suited to capture inductive biases such as prior domain knowledge in datasets, and can output post-hoc estimators at inference time that can optimize different types of target metrics. We present theoretical results to demonstrate that our approach is always competitive with any estimator for the target metric under some general conditions, and in many practical settings (such as Poisson Regression) can actually be much superior to ERM. We demonstrate empirically that our method instantiated with a well-designed general purpose mixture likelihood family can obtain superior performance over ERM for a variety of tasks across time-series forecasting and regression datasets with different data distributions. | 翻訳日:2021-06-22 16:05:27 公開日:2021-06-18 |
| # sarデータ融合のためのパラダイム選択と土地被覆分類への応用 Paradigm selection for Data Fusion of SAR and Multispectral Sentinel data applied to Land-Cover Classification ( http://arxiv.org/abs/2106.11056v1 ) ライセンス: Link先を確認 | Alessandro Sebastianelli, Maria Pia Del Rosso, Pierre Philippe Mathieu, Silvia Liberata Ullo | (参考訳) データ融合はよく知られた技術であり、AI4EO(Artificial Intelligence for Earth Observation)ドメインでは、主に複数のデータソースを組み合わせてAI4EOアプリケーションを強化し、より良い結果をもたらすため、ますます人気が高まっている。
一方、衛星データ分析の他の方法と同様に、データ融合自体も人工知能(AI)の統合によって恩恵を受け、進化している。
本稿では,畳み込みニューラルネットワーク(cnns)に基づく4つのデータ融合パラダイムを分析し,実装する。
目的は、最良のデータ融合フレームワークを選択するための体系的な手順を提供することであり、cnnの基本的な構造が定義されれば、最良の分類結果が得られる。
この手続きは土地被覆分類で検証されているが、他のケースに移すこともできる。 Data fusion is a well-known technique, becoming more and more popular in the Artificial Intelligence for Earth Observation (AI4EO) domain mainly due to its ability of reinforcing AI4EO applications by combining multiple data sources and thus bringing better results. On the other hand, like other methods for satellite data analysis, data fusion itself is also benefiting and evolving thanks to the integration of Artificial Intelligence (AI). In this letter, four data fusion paradigms, based on Convolutional Neural Networks (CNNs), are analyzed and implemented. The goals are to provide a systematic procedure for choosing the best data fusion framework, resulting in the best classification results, once the basic structure for the CNN has been defined, and to help interested researchers in their work when data fusion applied to remote sensing is involved. The procedure has been validated for land-cover classification but it can be transferred to other cases. | 翻訳日:2021-06-22 16:02:10 公開日:2021-06-18 |
| # 単一段階の弱教師付きセマンティックセグメンテーションに向けて Towards Single Stage Weakly Supervised Semantic Segmentation ( http://arxiv.org/abs/2106.10309v1 ) ライセンス: Link先を確認 | Peri Akiva and Kristin Dana | (参考訳) セマンティックセグメンテーションラベルを得るためのコストのかかるプロセスは、画像レベル、ポイント、ボックスラベルのみを使用して、wsss(weakly supervised semantic segmentation)メソッドへと研究を進めた。
濃密なシーン表現の欠如は、シーンに関する追加的な意味情報を得るための複雑さを増大させる方法を必要とする。
現在のsota(state-of-the-art)モデルは、イメージレベルラベルを利用してクラスアクティベーションマップ(cams)を作成し、監視のために擬似マスクを作成するためにしきい値が設定される前に、複数の改良段階を経る。
マルチステージアプローチは計算コストが高く、CAM生成のためのイメージレベルラベルへの依存は、より複雑なシーンへの一般化性に欠ける。
それとは対照的に,本手法は任意のデータセットに一般化可能な単一段階のアプローチを提供し,事前訓練されたバックボーンや分類,あるいは別個の精細化タスクに依存することなく,スクラッチからトレーニングすることができる。
我々はポイントアノテーションを利用して、洗練された機能やフィルタリング機能を通じて、信頼性の高い擬似マスクを生成する。
提案手法は画像レベルのアノテーションよりもわずかに高額なポイントアノテーションを必要とするが,ベンチマークデータセット(PascalVOC 2012)ではSOTAのパフォーマンスを示すとともに,最近の実世界のデータセット(CRAID,CityPersons,IAD)では,他のSOTA WSSSメソッドよりも大幅に優れていた。 The costly process of obtaining semantic segmentation labels has driven research towards weakly supervised semantic segmentation (WSSS) methods, using only image-level, point, or box labels. The lack of dense scene representation requires methods to increase complexity to obtain additional semantic information about the scene, often done through multiple stages of training and refinement. Current state-of-the-art (SOTA) models leverage image-level labels to produce class activation maps (CAMs) which go through multiple stages of refinement before they are thresholded to make pseudo-masks for supervision. The multi-stage approach is computationally expensive, and dependency on image-level labels for CAMs generation lacks generalizability to more complex scenes. In contrary, our method offers a single-stage approach generalizable to arbitrary dataset, that is trainable from scratch, without any dependency on pre-trained backbones, classification, or separate refinement tasks. We utilize point annotations to generate reliable, on-the-fly pseudo-masks through refined and filtered features. While our method requires point annotations that are only slightly more expensive than image-level annotations, we are to demonstrate SOTA performance on benchmark datasets (PascalVOC 2012), as well as significantly outperform other SOTA WSSS methods on recent real-world datasets (CRAID, CityPersons, IAD). | 翻訳日:2021-06-22 15:59:33 公開日:2021-06-18 |
| # 動物ID問題:継続的なキュレーション The Animal ID Problem: Continual Curation ( http://arxiv.org/abs/2106.10377v1 ) ライセンス: Link先を確認 | Charles V. Stewart, Jason R. Parham, Jason Holmberg and Tanya Y. Berger-Wolf | (参考訳) 画像から個々の動物の識別に関する新たな研究を刺激するために,画像と動物の識別の人間・機械による連続的なキュレーションを定式化することを提案する。
これはオープンワールド認識の問題であり、アルゴリズムが最初に訓練され、デプロイされた後、ほとんどの新しい動物がシステムに入る。
ここで定義する連続的キュレーションは、(1)現在の認識方法の有効性の向上、(2)無決定の可能性を可能にするペアワイズ検証アルゴリズム、(3)キュレーションプロセスを導くために人間の入力を求めるアルゴリズム的決定機構を必要とする。
エラーメトリクスは、1回または2回だけ見ただけでなく、データベースにない新しい動物を認識するための認識アルゴリズムの能力を評価する必要がある。
システム全体の性能の重要な指標は、人間の入力量の関数としての精度である。 Hoping to stimulate new research in individual animal identification from images, we propose to formulate the problem as the human-machine Continual Curation of images and animal identities. This is an open world recognition problem, where most new animals enter the system after its algorithms are initially trained and deployed. Continual Curation, as defined here, requires (1) an improvement in the effectiveness of current recognition methods, (2) a pairwise verification algorithm that allows the possibility of no decision, and (3) an algorithmic decision mechanism that seeks human input to guide the curation process. Error metrics must evaluate the ability of recognition algorithms to identify not only animals that have been seen just once or twice but also recognize new animals not in the database. An important measure of overall system performance is accuracy as a function of the amount of human input required. | 翻訳日:2021-06-22 15:50:51 公開日:2021-06-18 |
| # 逆強化学習を用いた効率的なソーシャルナビゲーション Sample Efficient Social Navigation Using Inverse Reinforcement Learning ( http://arxiv.org/abs/2106.10318v1 ) ライセンス: Link先を確認 | Bobak H. Baghi, Gregory Dudek | (参考訳) 本稿では,人間軌道の観測から社会的に適合したナビゲーションポリシーを効率的に学習するアルゴリズムを提案する。
移動ロボットが居住し、社会空間を交通するようになると、彼らは社会的な手がかりを考慮し、社会的に従順な行動をとる必要がある。
例から学ぶことに集中する。
本稿では,人間の軌道観測から学習する逆強化学習に基づくアルゴリズムについて述べる。
我々は,リプレイバッファ(オフ・ポリティカル強化学習法に多数存在する)の概念を活用して,逆強化学習に関連する追加のサンプル複雑性を解消し,代替手法よりもサンプル効率を向上させる。
本手法は,一般の歩行者行動データセットを用いてエージェントを訓練することで評価し,関連する手法と比較する。
このアプローチは、トレーニング時間とサンプルの複雑さを減らしながら、より良いパフォーマンスをもたらすことを示す。 In this paper, we present an algorithm to efficiently learn socially-compliant navigation policies from observations of human trajectories. As mobile robots come to inhabit and traffic social spaces, they must account for social cues and behave in a socially compliant manner. We focus on learning such cues from examples. We describe an inverse reinforcement learning based algorithm which learns from human trajectory observations without knowing their specific actions. We increase the sample-efficiency of our approach over alternative methods by leveraging the notion of a replay buffer (found in many off-policy reinforcement learning methods) to eliminate the additional sample complexity associated with inverse reinforcement learning. We evaluate our method by training agents using publicly available pedestrian motion data sets and compare it to related methods. We show that our approach yields better performance while also decreasing training time and sample complexity. | 翻訳日:2021-06-22 15:45:06 公開日:2021-06-18 |
| # 中央値に対する非パラメトリック微分プライベート信頼区間 Non-parametric Differentially Private Confidence Intervals for the Median ( http://arxiv.org/abs/2106.10333v1 ) ライセンス: Link先を確認 | Joerg Drechsler, Ira Globus-Harris, Audra McMillan, Jayshree Sarathy, and Adam Smith | (参考訳) 差分プライバシーは、データ内の個々のレコードに対して強い機密性を保証するデータ処理アルゴリズムの制限である。
しかし、適切な統計的推測、すなわち、人口の真の価値に関する(ノイズの多い)サンプル推定の不確かさを適切に定量化する研究は、現在も限られている。
本稿では,中央値に対する有意な個人的信頼区間を計算するためのいくつかの戦略を提案し,評価する。
差分的にプライベートポイントの推定を計算し、その不確実性を導出する代わりに、インターバルバウンダリを直接推定し、プライバシが重要である場合、このアプローチが優れている理由について議論する。
また,不確実性の発生源であるサンプリングからの誤りと出力を保護するエラーの両方に対処することは,不確実性を逐次的に組み込む単純なアプローチよりも望ましいことを示す。
様々なパラメータ設定下での異なるアルゴリズムの性能を広範囲なシミュレーション研究で評価し,1940年国勢調査のデータを用いて,その結果が実用環境でどのように適用できるかを実証した。 Differential privacy is a restriction on data processing algorithms that provides strong confidentiality guarantees for individual records in the data. However, research on proper statistical inference, that is, research on properly quantifying the uncertainty of the (noisy) sample estimate regarding the true value in the population, is currently still limited. This paper proposes and evaluates several strategies to compute valid differentially private confidence intervals for the median. Instead of computing a differentially private point estimate and deriving its uncertainty, we directly estimate the interval bounds and discuss why this approach is superior if ensuring privacy is important. We also illustrate that addressing both sources of uncertainty--the error from sampling and the error from protecting the output--simultaneously should be preferred over simpler approaches that incorporate the uncertainty in a sequential fashion. We evaluate the performance of the different algorithms under various parameter settings in extensive simulation studies and demonstrate how the findings could be applied in practical settings using data from the 1940 Decennial Census. | 翻訳日:2021-06-22 15:43:48 公開日:2021-06-18 |
| # Oracleの故障によるクラスタリングのためのクエリ最適化と時間効率アルゴリズム Towards a Query-Optimal and Time-Efficient Algorithm for Clustering with a Faulty Oracle ( http://arxiv.org/abs/2106.10374v1 ) ライセンス: Link先を確認 | Pan Peng, Jiapeng Zhang | (参考訳) データベースにおけるクラウドソーシングエンティティの解決,ソーシャルネットワークにおけるエッジ予測の署名,相関クラスタリングなどの応用に触発されて,MazumdarとSaha(NIPS 2017)は,クラスタリングを障害オラクルで研究するためのエレガントな理論的モデルを提案した。
このモデルでは、未知のグループ(またはクラスタ)に属する$n$アイテムのセットが与えられた場合、私たちのゴールは、オラクルにペアワイズクエリを要求することでクラスタを回復することです。
このオラクルは ``do items $u$ と $v$ が同じクラスタに属している'' というクエリに答えることができる。
しかし、各ペアワイズクエリerrに対する答えは$\varepsilon$であり、$\varepsilon\in(0,\frac12)$である。
mazumdarとsahaは、このモデルの下で2つのアルゴリズムを提供した: 1つのアルゴリズムはクエリ最適化であり、時間非効率である(すなわち、準多項時間で実行される)。
Larsen, Mitzenmacher and Tsourakakis [WWW 2020] はその後、2ドルクラスタの特別な場合に対して新しい時間効率のアルゴリズムを与え、バイアス $\delta:=1-2\varepsilon$ が大きければクエリ最適化となる。
一般に$k$クラスタや他の$\delta$のレギュレーションに対して、クエリ最適で時間効率のアルゴリズムを得られるかどうかという未解決の問題として残された。
本稿では,上記の問題に対して,情報理論的なリカバリが可能であれば,すべての定数$k$ に対して,ほぼ最適に近いクエリ複雑性(最大$o(\log^2 n)$) と,レジーム内の$\delta$ の時間効率アルゴリズムを提案する。
我々のアルゴリズムは確率ブロックモデルとの接続に基づいている。 Motivated by applications in crowdsourced entity resolution in database, signed edge prediction in social networks and correlation clustering, Mazumdar and Saha [NIPS 2017] proposed an elegant theoretical model for studying clustering with a faulty oracle. In this model, given a set of $n$ items which belong to $k$ unknown groups (or clusters), our goal is to recover the clusters by asking pairwise queries to an oracle. This oracle can answer the query that ``do items $u$ and $v$ belong to the same cluster?''. However, the answer to each pairwise query errs with probability $\varepsilon$, for some $\varepsilon\in(0,\frac12)$. Mazumdar and Saha provided two algorithms under this model: one algorithm is query-optimal while time-inefficient (i.e., running in quasi-polynomial time), the other is time efficient (i.e., in polynomial time) while query-suboptimal. Larsen, Mitzenmacher and Tsourakakis [WWW 2020] then gave a new time-efficient algorithm for the special case of $2$ clusters, which is query-optimal if the bias $\delta:=1-2\varepsilon$ of the model is large. It was left as an open question whether one can obtain a query-optimal, time-efficient algorithm for the general case of $k$ clusters and other regimes of $\delta$. In this paper, we make progress on the above question and provide a time-efficient algorithm with nearly-optimal query complexity (up to a factor of $O(\log^2 n)$) for all constant $k$ and any $\delta$ in the regime when information-theoretic recovery is possible. Our algorithm is built on a connection to the stochastic block model. | 翻訳日:2021-06-22 15:43:30 公開日:2021-06-18 |
| # 重み付き無限大ニューラルネットワークの$\alpha$-Stable収束 $\alpha$-Stable convergence of heavy-tailed infinitely-wide neural networks ( http://arxiv.org/abs/2106.11064v1 ) ライセンス: Link先を確認 | Paul Jung, Hoil Lee, Jiho Lee, and Hongseok Yang | (参考訳) 我々は、標準のディープフィードフォワードニューラルネットワークの限界である無限大多層パーセプトロン(MLP)を考える。
各層について、MLPの重みは i.i.d で初期化されると仮定する。
対称$\alpha$-stable分布のアトラクション領域における光尾分布(有限分散)または重い尾分布(英語版)のサンプル($\alpha\in(0,2]$)は層に依存する。
層のバイアス項では i. i. d. と仮定します
対称な$\alpha$-stable分布を持つ初期化は、その層と同じ$\alpha$パラメータを持つ。
次に、Favaro, Fortini, and Peluchetti (2020) の最近の結果を拡張し、与えられた隠れ層のすべてのノードにおける事前活性化値のベクトルが、適切なスケーリングの下で、その極限に収束することを示す。
対称 $\alpha$-stable 分布を持つ確率変数。 We consider infinitely-wide multi-layer perceptrons (MLPs) which are limits of standard deep feed-forward neural networks. We assume that, for each layer, the weights of an MLP are initialized with i.i.d. samples from either a light-tailed (finite variance) or heavy-tailed distribution in the domain of attraction of a symmetric $\alpha$-stable distribution, where $\alpha\in(0,2]$ may depend on the layer. For the bias terms of the layer, we assume i.i.d. initializations with a symmetric $\alpha$-stable distribution having the same $\alpha$ parameter of that layer. We then extend a recent result of Favaro, Fortini, and Peluchetti (2020), to show that the vector of pre-activation values at all nodes of a given hidden layer converges in the limit, under a suitable scaling, to a vector of i.i.d. random variables with symmetric $\alpha$-stable distributions. | 翻訳日:2021-06-22 15:41:03 公開日:2021-06-18 |
| # 3次元骨格運動の動的深部生成的潜在モデル Dynamical Deep Generative Latent Modeling of 3D Skeletal Motion ( http://arxiv.org/abs/2106.10393v1 ) ライセンス: Link先を確認 | Amirreza Farnoosh, Sarah Ostadabbas | (参考訳) 本稿では,データの解釈可能なパターンを明らかにし,生成可能な3次元ポーズデータのセグメンテーションのためのベイズ切替動的モデルを提案する。
本モデルは,高相関な骨格データを低次元潜在フレームワークにおける時間的プロセスの切り替えの空間的基礎の集合に分解する。
マルチモーダルおよび高次非線形相互依存性の両方に対応するために, 切替深部ベクトル自己回帰に関する時間過程をパラメータ化する。
これにより,3次元ポーズデータのダイナミックスにおける意味的内在状態を近似的変動推論を用いて解析し,複雑な骨格運動の現実的な低レベルな動的生成とセグメンテーションを可能にする。
コウモリ,サルサダンス,ウォーキング,ゴルフデータセットを含む4つの生体運動データを用いた実験は,最先端の手法と比較して,モデルの優れた性能を実証する。 In this paper, we propose a Bayesian switching dynamical model for segmentation of 3D pose data over time that uncovers interpretable patterns in the data and is generative. Our model decomposes highly correlated skeleton data into a set of few spatial basis of switching temporal processes in a low-dimensional latent framework. We parameterize these temporal processes with regard to a switching deep vector autoregressive prior in order to accommodate both multimodal and higher-order nonlinear inter-dependencies. This results in a dynamical deep generative latent model that parses the meaningful intrinsic states in the dynamics of 3D pose data using approximate variational inference, and enables a realistic low-level dynamical generation and segmentation of complex skeleton movements. Our experiments on four biological motion data containing bat flight, salsa dance, walking, and golf datasets substantiate superior performance of our model in comparison with the state-of-the-art methods. | 翻訳日:2021-06-22 15:35:45 公開日:2021-06-18 |
| # 近位政策最適化による干潟の予測フリー・リアルタイムフレキシブル制御--白海ラグーンを事例として Prediction-Free, Real-Time Flexible Control of Tidal Lagoons through Proximal Policy Optimisation: A Case Study for the Swansea Lagoon ( http://arxiv.org/abs/2106.10360v1 ) ライセンス: Link先を確認 | T\'ulio Marcondes Moreira (1), Jackson Geraldo de Faria Jr (1), Pedro O.S. Vaz de Melo (1), Luiz Chaimowicz (1) and Gilberto Medeiros-Ribeiro (1) ((1) Universidade Federal de Minas Gerais, Belo Horizonte, Brazil) | (参考訳) 潮位帯の構造は、温室効果ガスの排出なしに合理的な予測可能なエネルギーを生産できる可能性から、大規模な発電を想定されている。
潮流を駆動する主力成分が決定論的ダイナミクスを持つと、所定の潮流発電所で利用可能なエネルギーは、主に予測可能な事象として解析的および数値最適化ルーチンを通じて推定されている。
この制約により、最先端のフレキシブルな運用手法は、潮流予測(測定されたデータと、将来の半減期サイクルの合計)に依存して、潮流ラグーンの最良の運用戦略を推測し、新たな潮潮流ごとに最適化ルーチンを実行する必要がある追加コストを課される。
本稿では,統一ml-エイジェントによる近位政策最適化を施した潮流ラグーンの最適化操作を提案する。
Swansea Bay Tidal Lagoonを事例として,本手法を文献から考案した6種類の操作最適化手法(ベースライン)と比較した。
提案手法は, タービンおよびスライスを最適化した運転方針を通したエネルギー生成の最大化に成功し, 使用した試験データによらず, 実測海洋データのみで実時間フレキシブル制御を行うことで, 最先端の最適化手法による競争結果が得られることを示す。 Tidal range structures have been considered for large scale electricity generation for their potential ability to produce reasonable predictable energy without the emission of greenhouse gases. Once the main forcing components for driving the tides have deterministic dynamics, the available energy in a given tidal power plant has been estimated, through analytical and numerical optimisation routines, as a mostly predictable event. This constraint imposes state-of-art flexible operation methods to rely on tidal predictions (concurrent with measured data and up to a multiple of half-tidal cycles into the future) to infer best operational strategies for tidal lagoons, with the additional cost of requiring to run optimisation routines for every new tide. In this paper, we propose a novel optimised operation of tidal lagoons with proximal policy optimisation through Unity ML-Agents. We compare this technique with 6 different operation optimisation approaches (baselines) devised from the literature, utilising the Swansea Bay Tidal Lagoon as a case study. We show that our approach is successful in maximising energy generation through an optimised operational policy of turbines and sluices, yielding competitive results with state-of-the-art methods of optimisation, regardless of test data used, requiring training once and performing real-time flexible control with measured ocean data only. | 翻訳日:2021-06-22 15:25:34 公開日:2021-06-18 |
| # クロスホスピタルシープシス早期検出のためのセルフペーストアンサンブルを用いた半教師付き最適輸送 Semi-supervised Optimal Transport with Self-paced Ensemble for Cross-hospital Sepsis Early Detection ( http://arxiv.org/abs/2106.10352v1 ) ライセンス: Link先を確認 | Ruiqing Ding, Yu Zhou, Jie Xu, Yan Xie, Qiqiang Liang, He Ren, Yixuan Wang, Yanlin Chen, Leye Wang and Man Huang | (参考訳) 近年,医療シナリオにおける問題解決にコンピュータ技術の活用が注目されている。
その中でも、機械学習は敗血症の予測、診断、治療に広く使われている。
しかし、最先端の手法は教師付き学習のために大量のラベル付き医療データを必要とする。
現実世界のアプリケーションでは、ラベル付きデータの欠如は、ある病院が新しいセプシス検出システムをデプロイしたい場合、大きな障害を引き起こす。
教師付き学習環境とは違って、既知の情報(例えば、リッチなラベル付きデータを持つ別の病院など)を使用して、許容可能なパフォーマンスを持つモデルを構築する必要がある。
本稿では,ラベル付きデータを豊富に有する他者から知識を伝達するために,敗血症早期発見のための自己ペースアンサンブルフレームワークであるspssotを用いた半教師付き最適トランスポートを提案する。
SPSSOTでは、まず、ソースドメイン(例えば、リッチラベル付き病院)とターゲットドメイン(例えば、ラベル付き少ない病院)から同じ臨床指標を抽出し、最適な輸送理論に基づく半教師付きドメイン適応と自己ペーストアンダーサンプリングを組み合わせて、共変量シフトやクラス不均衡による負の移動を避ける。
全体としては、spssotはsepsis早期検出のためのエンドツーエンド転送学習手法であり、2つのドメインからそれぞれ、イテレーション数に応じて適切なサンプルを選択でき、2つのドメインの特徴空間を調整できる。
2つのオープン臨床データセットに関する広範囲な実験により、提案手法であるspssotとの比較により、2つのトランスファー学習シナリオにおいて、ターゲットドメイン内の1%のラベル付きデータでauc値を著しく改善できることが示されました。 The utilization of computer technology to solve problems in medical scenarios has attracted considerable attention in recent years, which still has great potential and space for exploration. Among them, machine learning has been widely used in the prediction, diagnosis and even treatment of Sepsis. However, state-of-the-art methods require large amounts of labeled medical data for supervised learning. In real-world applications, the lack of labeled data will cause enormous obstacles if one hospital wants to deploy a new Sepsis detection system. Different from the supervised learning setting, we need to use known information (e.g., from another hospital with rich labeled data) to help build a model with acceptable performance, i.e., transfer learning. In this paper, we propose a semi-supervised optimal transport with self-paced ensemble framework for Sepsis early detection, called SPSSOT, to transfer knowledge from the other that has rich labeled data. In SPSSOT, we first extract the same clinical indicators from the source domain (e.g., hospital with rich labeled data) and the target domain (e.g., hospital with little labeled data), then we combine the semi-supervised domain adaptation based on optimal transport theory with self-paced under-sampling to avoid a negative transfer possibly caused by covariate shift and class imbalance. On the whole, SPSSOT is an end-to-end transfer learning method for Sepsis early detection which can automatically select suitable samples from two domains respectively according to the number of iterations and align feature space of two domains. Extensive experiments on two open clinical datasets demonstrate that comparing with other methods, our proposed SPSSOT, can significantly improve the AUC values with only 1% labeled data in the target domain in two transfer learning scenarios, MIMIC $rightarrow$ Challenge and Challenge $rightarrow$ MIMIC. | 翻訳日:2021-06-22 15:15:33 公開日:2021-06-18 |
| # WiFi信号を用いた液体センシング Liquid Sensing Using WiFi Signals ( http://arxiv.org/abs/2106.10356v1 ) ライセンス: Link先を確認 | Yili Ren, Jie Yang | (参考訳) internet-of-things(iot)の人気は、スマートホーム環境でさまざまな新興サービスを可能にする前例のない機会を与えてくれました。
これらのサービスの中で、コンテナ内の液体レベルを感知することは、生活の質を向上させる多くのスマートホームおよびモバイルヘルスケアアプリケーションを構築する上で重要である。
本稿では,従来のスマートホームネットワークと容易に統合可能な,低コストで高精度な液体レベルセンシングシステムLiquidSenseについて述べる。
LiquidSenseは既存のホームWiFiネットワークと、コンテナに取り付けられた安価なトランスデューサを使って、液体レベルの検出のためにコンテナの共鳴を検出する。
特に,コンテナ表面に低コストのトランスデューサを装着し,よく設計されたチャープ信号を出力して容器共振器を作り,ホームWiFi信号に微妙な変化をもたらす。
wifi信号の微妙な位相変化を分析することで、liquidsenseは共鳴周波数を液体レベル検出の特徴として抽出する。
本システムは,曲線フィッティングとSVMを用いた連続予測と離散予測の両方の予測モデルを構築する。
3つの異なる材料と6種類の液体の容器を用いた家庭環境におけるLiquidSenseの評価を行った。
その結果,LiquidSenseは連続予測では97%,離散予測では0.968のFスコアを達成した。
また,本システムはホーム環境において広範囲にカバーされており,非線形(NLOS)シナリオ下でも良好に動作することを示す。 The popularity of Internet-of-Things (IoT) has provided us with unprecedented opportunities to enable a variety of emerging services in a smart home environment. Among those services, sensing the liquid level in a container is critical to building many smart home and mobile healthcare applications that improve the quality of life. This paper presents LiquidSense, a liquid-level sensing system that is low-cost, high accuracy, widely applicable to different daily liquids and containers, and can be easily integrated with existing smart home networks. LiquidSense uses an existing home WiFi network and a low-cost transducer that attached to the container to sense the resonance of the container for liquid level detection. In particular, our system mounts a low-cost transducer on the surface of the container and emits a well-designed chirp signal to make the container resonant, which introduces subtle changes to the home WiFi signals. By analyzing the subtle phase changes of the WiFi signals, LiquidSense extracts the resonance frequency as a feature for liquid level detection. Our system constructs prediction models for both continuous and discrete predictions using curve fitting and SVM respectively. We evaluate LiquidSense in home environments with containers of three different materials and six types of liquids. Results show that LiquidSense achieves an overall accuracy of 97% for continuous prediction and an overall F-score of 0.968 for discrete prediction. Results also show that our system has a large coverage in a home environment and works well under non-line-of-sight (NLOS) scenarios. | 翻訳日:2021-06-22 15:14:59 公開日:2021-06-18 |
| # 非局所深部画像を用いた動的PETからの線形パラメトリック画像の直接再構成 Direct Reconstruction of Linear Parametric Images from Dynamic PET Using Nonlocal Deep Image Prior ( http://arxiv.org/abs/2106.10359v1 ) ライセンス: Link先を確認 | Kuang Gong, Ciprian Catana, Jinyi Qi and Quanzheng Li | (参考訳) PET画像モデルとトレーサ運動学を統合フレームワークで組み合わせることで,測定したPETシングラムから直接パラメトリック画像を推定する直接再構成法を開発した。
受信回数が限られているため、信号対雑音比(SNR)と直接再構成フレームワークによって生成されたパラメトリック画像の解像度は依然として限られている。
近年,高品位トレーニングラベルが多数用意されている医療画像診断において,教師付き深層学習法が有効である。
静的PETイメージングでは、走査時間を拡張して高品質なトレーニングラベルを取得することができる。
しかし、これは走査時間が十分長い動的PETイメージングでは実現不可能である。
本研究では,Patlakモデルと相対平衡ローガンモデルを用いて,動的PETから直接パラメトリック再構成を行うための教師なしディープラーニングフレームワークを提案する。
PET/CTやPET/MRスキャンから手軽に手に入る解剖学的前駆体像をネットワーク入力として提供し、多様体制約を提供し、カーネル層を構築して非局所的特徴認知を行う。
線形運動モデルはネットワーク構造に1x1畳み込み層として埋め込まれた。
訓練対象関数はPET統計モデルに基づいていた。
18f-fdgおよび11c-pibトレーサの動的データセットに基づく評価では,提案手法が従来法およびカーネル法に基づく直接再構成法を上回った。 Direct reconstruction methods have been developed to estimate parametric images directly from the measured PET sinograms by combining the PET imaging model and tracer kinetics in an integrated framework. Due to limited counts received, signal-to-noise-ratio (SNR) and resolution of parametric images produced by direct reconstruction frameworks are still limited. Recently supervised deep learning methods have been successfully applied to medical imaging denoising/reconstruction when large number of high-quality training labels are available. For static PET imaging, high-quality training labels can be acquired by extending the scanning time. However, this is not feasible for dynamic PET imaging, where the scanning time is already long enough. In this work, we proposed an unsupervised deep learning framework for direct parametric reconstruction from dynamic PET, which was tested on the Patlak model and the relative equilibrium Logan model. The patient's anatomical prior image, which is readily available from PET/CT or PET/MR scans, was supplied as the network input to provide a manifold constraint, and also utilized to construct a kernel layer to perform non-local feature denoising. The linear kinetic model was embedded in the network structure as a 1x1 convolution layer. The training objective function was based on the PET statistical model. Evaluations based on dynamic datasets of 18F-FDG and 11C-PiB tracers show that the proposed framework can outperform the traditional and the kernel method-based direct reconstruction methods. | 翻訳日:2021-06-22 15:09:14 公開日:2021-06-18 |
| # 新型コロナウイルスによるクラウドファンディングの変化:GoFundMeの証拠 How COVID-19 Have Changed Crowdfunding: Evidence From GoFundMe ( http://arxiv.org/abs/2106.09981v1 ) ライセンス: Link先を確認 | Junda Wang, Xupin Zhang, Jiebo Luo | (参考訳) 新型コロナウイルスの長期効果はまだ決定されていないが、クラウドファンディングへの直接的な影響は大きい。
この研究は、この変化をより深く理解するための計算的アプローチを採用している。
過去2年間にGoFundMeで公開されたすべてのキャンペーンのユニークなデータセットを使用して、クラウドファンディングプロジェクトの成功に繋がった要因を調査します。
特に,クラウドファンディングサイトで一般的に見られるカバーイメージやその他の変数を分析し,クラウドファンディングプロジェクトのコーパスを調査した。
さらに,xgboostに基づく特徴の意義を評価するために,分類器と回帰モデルを構築した。
さらに,機能とクラウドファンディングの成功の因果関係を調べるために,反事実分析を用いた。
さらに重要なことは、2020年3月に始まった新型コロナウイルスの感染拡大前後のクラウドファンディングキャンペーンの違いを調べるために、感情分析とペアのサンプルt-testが実施されている。
まず、クラウドファンディングの成功には大きな人種差があることに留意する。
第2に、新型コロナウイルス(covid-19)の流行後、キャンペーンの説明を通じて表現された悲しい感情が重要になった。
これらすべての要因を考慮すると、covid-19がクラウドファンディングキャンペーンに与える影響に光を当てた。 While the long-term effects of COVID-19 are yet to be determined, its immediate impact on crowdfunding is nonetheless significant. This study takes a computational approach to more deeply comprehend this change. Using a unique data set of all the campaigns published over the past two years on GoFundMe, we explore the factors that have led to the successful funding of a crowdfunding project. In particular, we study a corpus of crowdfunded projects, analyzing cover images and other variables commonly present on crowdfunding sites. Furthermore, we construct a classifier and a regression model to assess the significance of features based on XGBoost. In addition, we employ counterfactual analysis to investigate the causality between features and the success of crowdfunding. More importantly, sentiment analysis and the paired sample t-test are performed to examine the differences in crowdfunding campaigns before and after the COVID-19 outbreak that started in March 2020. First, we note that there is significant racial disparity in crowdfunding success. Second, we find that sad emotion expressed through the campaign's description became significant after the COVID-19 outbreak. Considering all these factors, our findings shed light on the impact of COVID-19 on crowdfunding campaigns. | 翻訳日:2021-06-22 15:08:27 公開日:2021-06-18 |
| # 損失圧縮のためのユニバーサルレートゆがみ知覚表現 Universal Rate-Distortion-Perception Representations for Lossy Compression ( http://arxiv.org/abs/2106.10311v1 ) ライセンス: Link先を確認 | George Zhang, Jingjing Qian, Jun Chen, Ashish Khisti | (参考訳) 損失圧縮の文脈において、Blau & Michaeli (2019) は知覚品質の数学的概念を採用し、古典的な速度歪みトレードオフを一般化して情報速度歪み知覚関数を定義する。
我々は、エンコーダを固定し、歪みや知覚の制約の集合内の任意の点を達成するためにデコーダを変化させる普遍表現の概念を考える。
対応する情報理論の普遍的速度歪み知覚関数が,近似的に動作可能であることを証明した。
mse歪みの下では、ガウス源の歪み受容トレードオフ全体が、漸近的に同じ速度の1つのエンコーダによって達成できることを示す。
次に、任意の分布の場合の固定表現に対する達成可能な歪み知覚領域を特徴付けるとともに、上記の結果がほぼ持続する条件を特定し、予め固定されていない場合について検討する。
このことは、RDPトレードオフ全体でほぼ普遍的な実践的な構造の研究を動機付け、それぞれの目的のために新しいエンコーダを設計する必要がなくなる。
画像圧縮タスクにおいて、固定エンコーダを持つ機械学習モデルによって達成される運用上のトレードオフは、可変エンコーダに比べて少ないペナルティしか得られないことを示唆するMNISTとSVHNの実験結果を示す。 In the context of lossy compression, Blau & Michaeli (2019) adopt a mathematical notion of perceptual quality and define the information rate-distortion-perception function, generalizing the classical rate-distortion tradeoff. We consider the notion of universal representations in which one may fix an encoder and vary the decoder to achieve any point within a collection of distortion and perception constraints. We prove that the corresponding information-theoretic universal rate-distortion-perception function is operationally achievable in an approximate sense. Under MSE distortion, we show that the entire distortion-perception tradeoff of a Gaussian source can be achieved by a single encoder of the same rate asymptotically. We then characterize the achievable distortion-perception region for a fixed representation in the case of arbitrary distributions, identify conditions under which the aforementioned results continue to hold approximately, and study the case when the rate is not fixed in advance. This motivates the study of practical constructions that are approximately universal across the RDP tradeoff, thereby alleviating the need to design a new encoder for each objective. We provide experimental results on MNIST and SVHN suggesting that on image compression tasks, the operational tradeoffs achieved by machine learning models with a fixed encoder suffer only a small penalty when compared to their variable encoder counterparts. | 翻訳日:2021-06-22 15:07:53 公開日:2021-06-18 |
| # (参考訳) LSEC:大規模スペクトルアンサンブルクラスタリング LSEC: Large-scale spectral ensemble clustering ( http://arxiv.org/abs/2106.09852v1 ) ライセンス: CC BY 4.0 | Hongmin Li, Xiucai Ye, Akira Imakura and Tetsuya Sakurai | (参考訳) アンサンブルクラスタリングは、複数のベースクラスタリングをより良いクラスタリング結果に組み合わせることで、機械学習分野における基本的な問題である。
しかしながら、既存の手法のほとんどは効率のボトルネックのため、大規模なアンサンブルクラスタリングタスクには適さない。
本稿では,効率と効率のバランスを良好に両立させる大規模スペクトルアンサンブルクラスタリング(lsec)手法を提案する。
LSECでは、大規模スペクトルクラスタリングに基づく効率的なアンサンブル生成フレームワークが、低計算量で様々なベースクラスタリングを生成するように設計されている。
次に、すべてのベースのクラスタリングは、2部グラフ分割ベースのコンセンサス関数を介して、よりよいコンセンサスクラスタリング結果に結合される。
LSEC法は既存のアンサンブルクラスタリング法よりも計算複雑性が低い。
10個の大規模データセットで行った実験は, LSEC法の有効性と有効性を示した。
提案手法と実験データセットのMATLABコードはhttps://github.com/LiHongmin/MyPaperWithCode.comで公開されている。 Ensemble clustering is a fundamental problem in the machine learning field, combining multiple base clusterings into a better clustering result. However, most of the existing methods are unsuitable for large-scale ensemble clustering tasks due to the efficiency bottleneck. In this paper, we propose a large-scale spectral ensemble clustering (LSEC) method to strike a good balance between efficiency and effectiveness. In LSEC, a large-scale spectral clustering based efficient ensemble generation framework is designed to generate various base clusterings within a low computational complexity. Then all based clustering are combined through a bipartite graph partition based consensus function into a better consensus clustering result. The LSEC method achieves a lower computational complexity than most existing ensemble clustering methods. Experiments conducted on ten large-scale datasets show the efficiency and effectiveness of the LSEC method. The MATLAB code of the proposed method and experimental datasets are available at https://github.com/Li- Hongmin/MyPaperWithCode. | 翻訳日:2021-06-22 02:25:29 公開日:2021-06-18 |
| # (参考訳) 計画的成長・生存法による有効モデルスパーシフィケーション Effective Model Sparsification by Scheduled Grow-and-Prune Methods ( http://arxiv.org/abs/2106.09857v1 ) ライセンス: CC BY 4.0 | Xiaolong Ma, Minghai Qin, Fei Sun, Zejiang Hou, Kun Yuan, Yi Xu, Yanzhi Wang, Yen-Kuang Chen, Rong Jin, Yuan Xie | (参考訳) ディープニューラルネットワーク(DNN)は多くの現実世界の問題を解決するのに効果的である。
より大きなDNNモデルは通常、より良い品質(例えば精度)を示すが、その過剰な計算は長いトレーニングと推論時間をもたらす。
モデルスペーシフィケーションは、モデル品質を維持しながら計算とメモリコストを削減できる。
既存のスパシフィケーションアルゴリズムのほとんどは一方向から重みを除去するが、他のアルゴリズムは各層の小さな重みのサブセットをランダムにまたは欲求的に探索する。
アルゴリズムの非効率さは、達成可能なスパーシリティレベルを低下させる。
加えて、多くのアルゴリズムは未学習の高密度モデルを必要とするため、大きなメモリフットプリントと長いトレーニング時間に悩まされる。
本稿では,高密度モデルの事前学習を行なわずに,新たなGrow-and-prune(GaP)手法を提案する。
前の作業の欠点に対処するため、レイヤのサブセットを高密度に繰り返し拡大し、トレーニングの後にスパースに戻る。
実験により、画像分類、客観的検出、3Dオブジェクト部分分割、翻訳など、様々なタスクにおいて、高度に最適化された高密度モデルの品質と80%の間隔で一致または打ち勝つことができることが示された。
彼らはまた、事前訓練された高密度モデルからのプルーニングなど、他の最先端(SOTA)プルーニング手法よりも優れている。
例えば、GaP経由で取得した90%のスパースResNet-50はImageNet上で77.9%の精度を実現し、SOTAの結果を1.5%改善した。 Deep neural networks (DNNs) are effective in solving many real-world problems. Larger DNN models usually exhibit better quality (e.g., accuracy) but their excessive computation results in long training and inference time. Model sparsification can reduce the computation and memory cost while maintaining model quality. Most existing sparsification algorithms unidirectionally remove weights, while others randomly or greedily explore a small subset of weights in each layer. The inefficiency of the algorithms reduces the achievable sparsity level. In addition, many algorithms still require pre-trained dense models and thus suffer from large memory footprint and long training time. In this paper, we propose a novel scheduled grow-and-prune (GaP) methodology without pre-training the dense models. It addresses the shortcomings of the previous works by repeatedly growing a subset of layers to dense and then pruning back to sparse after some training. Experiments have shown that such models can match or beat the quality of highly optimized dense models at 80% sparsity on a variety of tasks, such as image classification, objective detection, 3D object part segmentation, and translation. They also outperform other state-of-the-art (SOTA) pruning methods, including pruning from pre-trained dense models. As an example, a 90% sparse ResNet-50 obtained via GaP achieves 77.9% top-1 accuracy on ImageNet, improving the SOTA results by 1.5%. | 翻訳日:2021-06-22 01:52:05 公開日:2021-06-18 |
| # (参考訳) rsg:不均衡データセットを学習するためのシンプルで効果的なモジュール RSG: A Simple but Effective Module for Learning Imbalanced Datasets ( http://arxiv.org/abs/2106.09859v1 ) ライセンス: CC BY 4.0 | Jianfeng Wang, Thomas Lukasiewicz, Xiaolin Hu, Jianfei Cai, Zhenghua Xu | (参考訳) 不均衡なデータセットは実践的に広く存在し、希少なクラスでの優れた一般化を伴うディープニューラルネットワークのトレーニングには大きな課題がある。
本研究では,この問題を解決するために,新しいレアクラスサンプルジェネレータ(RSG)を提案する。
rsgは、トレーニング中にレアクラスのための新たなサンプルの生成を目標としており、特に、(1)あらゆる種類の畳み込みニューラルネットワークに容易に統合でき、異なる損失関数と組み合わせるとうまく機能し、(2)トレーニング段階でのみ使用されるため、テストフェーズ中にディープニューラルネットワークに副次的負担が課されないという利点がある。
実験的評価では,RSGの有効性を検証した。
さらに、RSGを活用して、不均衡なCIFARとPlaces-LT、ImageNet-LT、iNaturalist 2018の新たな最先端結果の競合結果を得る。
ソースコードはhttps://github.com/Jianf-Wang/RSGで入手できる。 Imbalanced datasets widely exist in practice and area great challenge for training deep neural models with agood generalization on infrequent classes. In this work, wepropose a new rare-class sample generator (RSG) to solvethis problem. RSG aims to generate some new samplesfor rare classes during training, and it has in particularthe following advantages: (1) it is convenient to use andhighly versatile, because it can be easily integrated intoany kind of convolutional neural network, and it works wellwhen combined with different loss functions, and (2) it isonly used during the training phase, and therefore, no ad-ditional burden is imposed on deep neural networks duringthe testing phase. In extensive experimental evaluations, weverify the effectiveness of RSG. Furthermore, by leveragingRSG, we obtain competitive results on Imbalanced CIFARand new state-of-the-art results on Places-LT, ImageNet-LT, and iNaturalist 2018. The source code is available at https://github.com/Jianf-Wang/RSG. | 翻訳日:2021-06-22 01:27:19 公開日:2021-06-18 |
| # (参考訳) 技術支援レビューのためのヒューリスティック停止ルール Heuristic Stopping Rules For Technology-Assisted Review ( http://arxiv.org/abs/2106.09871v1 ) ライセンス: CC BY 4.0 | Eugene Yang and David D. Lewis and Ophir Frieder | (参考訳) technology-assisted review(tar)は、大規模なコレクションで関連するドキュメントを見つけるための、ループ内アクティブラーニングワークフローである。
これらのワークフローは、しばしば見つかった関連するドキュメントの割合(例えば)のターゲットを満たさなければならない。
コストを抑えると同時に、コストを下げる。
様々なヒューリスティックな停止規則が、特定の設定でこのトレードオフを打つために提案されているが、様々なリコールターゲットやタスクに対してテストされていない。
本研究では,調査研究から得られたモデルに基づく推定手法に基づいて,新しいヒューリスティックな停止規則であるQuantCIとQuantCIを提案する。
提案するヒューリスティックとの比較を行い,リコール目標の精度を検証し,レビューコストを大幅に削減した。 Technology-assisted review (TAR) refers to human-in-the-loop active learning workflows for finding relevant documents in large collections. These workflows often must meet a target for the proportion of relevant documents found (i.e. recall) while also holding down costs. A variety of heuristic stopping rules have been suggested for striking this tradeoff in particular settings, but none have been tested against a range of recall targets and tasks. We propose two new heuristic stopping rules, Quant and QuantCI based on model-based estimation techniques from survey research. We compare them against a range of proposed heuristics and find they are accurate at hitting a range of recall targets while substantially reducing review costs. | 翻訳日:2021-06-22 01:12:55 公開日:2021-06-18 |
| # (参考訳) トランスを用いた動的グラフの異常検出 Anomaly Detection in Dynamic Graphs via Transformer ( http://arxiv.org/abs/2106.09876v1 ) ライセンス: CC BY 4.0 | Yixin Liu, Shirui Pan, Yu Guang Wang, Fei Xiong, Liang Wang, Vincent CS Lee | (参考訳) 動的グラフの異常検出は、ソーシャルネットワーク、eコマース、サイバーセキュリティに広く応用されているため、注目を集めている。
最近のディープラーニングベースのアプローチは、浅いメソッドに対して有望な結果を示している。
しかし、非分散ノードに対する情報符号化の欠如と、結合した時空間動的グラフから知識を識別することの難しさという、動的グラフにおける異常検出の2つの主要な課題に対処できなかった。
これらの課題を克服するために,本稿では動的グラフ(taddy)のためのトランスフォーマティブに基づく異常検出フレームワークを提案する。
本フレームワークは,進化するグラフストリームにおける各ノードの構造的役割と時間的役割をよりよく表現するための包括的ノード符号化戦略を構築する。
一方、TADDYは動的グラフ変換器モデルを用いて、時空間パターンを結合した動的グラフから情報表現をキャプチャする。
提案したTADDYフレームワークは,4つの実世界のデータセットに対して,最先端の手法よりも大きなマージンで優れていることを示す。 Detecting anomalies for dynamic graphs has drawn increasing attention due to their wide applications in social networks, e-commerce, and cybersecurity. The recent deep learning-based approaches have shown promising results over shallow methods. However, they fail to address two core challenges of anomaly detection in dynamic graphs: the lack of informative encoding for unattributed nodes and the difficulty of learning discriminate knowledge from coupled spatial-temporal dynamic graphs. To overcome these challenges, in this paper, we present a novel Transformer-based Anomaly Detection framework for DYnamic graph (TADDY). Our framework constructs a comprehensive node encoding strategy to better represent each node's structural and temporal roles in an evolving graphs stream. Meanwhile, TADDY captures informative representation from dynamic graphs with coupled spatial-temporal patterns via a dynamic graph transformer model. The extensive experimental results demonstrate that our proposed TADDY framework outperforms the state-of-the-art methods by a large margin on four real-world datasets. | 翻訳日:2021-06-22 00:58:36 公開日:2021-06-18 |
| # (参考訳) 深部自己回帰ネットワークを用いたバッチ多重忠実ベイズ最適化 Batch Multi-Fidelity Bayesian Optimization with Deep Auto-Regressive Networks ( http://arxiv.org/abs/2106.09884v1 ) ライセンス: CC BY 4.0 | Shibo Li, Robert M. Kirby, Shandian Zhe | (参考訳) ベイズ最適化(BO)はブラックボックスと高価な評価関数を最適化するための強力なアプローチである。
コストと精度の間の柔軟なトレードオフを可能にするため、多くのアプリケーションは異なる忠実度で関数を評価することができる。
本稿では,利益コスト比を最大化しつつ最適化コストを削減するため,深層自己回帰ネットワーク(bmbo-darn)を用いたバッチマルチ忠実度ベイズ最適化を提案する。
ベイズニューラルネットワークの集合を用いて、完全自己回帰モデルを構築する。これは全ての忠実度にわたる強いが複雑な関係を捉え、サロゲート学習と最適化性能を改善するのに十分な表現である。
さらに,問合せの質と多様性を高めるため,組合わせ検索を必要とせず,簡便で効率的なバッチ問合せ手法を開発した。
我々は,高相関なクエリをペナルティ化し,多様性を促進するMax-value Entropy Search(MES)原理に基づくバッチ取得関数を提案する。
後続サンプルとモーメントマッチングを用いて、取得関数の効率的な計算を達成し、各ステップで改善が保証されるフィデリティとインプットのペア毎に交互に最適化を行う。
実世界のハイパーパラメータ最適化におけるアプローチの利点を実証する。 Bayesian optimization (BO) is a powerful approach for optimizing black-box, expensive-to-evaluate functions. To enable a flexible trade-off between the cost and accuracy, many applications allow the function to be evaluated at different fidelities. In order to reduce the optimization cost while maximizing the benefit-cost ratio, in this paper, we propose Batch Multi-fidelity Bayesian Optimization with Deep Auto-Regressive Networks (BMBO-DARN). We use a set of Bayesian neural networks to construct a fully auto-regressive model, which is expressive enough to capture strong yet complex relationships across all the fidelities, so as to improve the surrogate learning and optimization performance. Furthermore, to enhance the quality and diversity of queries, we develop a simple yet efficient batch querying method, without any combinatorial search over the fidelities. We propose a batch acquisition function based on Max-value Entropy Search (MES) principle, which penalizes highly correlated queries and encourages diversity. We use posterior samples and moment matching to fulfill efficient computation of the acquisition function and conduct alternating optimization over every fidelity-input pair, which guarantees an improvement at each step. We demonstrate the advantage of our approach on four real-world hyperparameter optimization applications. | 翻訳日:2021-06-22 00:34:57 公開日:2021-06-18 |
| # (参考訳) 新型コロナウイルス(covid-19)のスクリーニングを支援する自律航法ロボットの開発 Development of a conversing and body temperature scanning autonomously navigating robot to help screen for COVID-19 ( http://arxiv.org/abs/2106.09894v1 ) ライセンス: CC BY 4.0 | Ryan Kim | (参考訳) 新型コロナウイルス(COVID-19)のパンデミックを通じて、患者が提示する最も一般的な症状は発熱であり、ウイルスの潜在的なキャリアーを検出するための予防措置として温度スキャンが使用される。
ハンドヘルド温度計を持つ人間の従業員は、このタスクを果たすのに使われてきたが、物理的に距離が取れず、この手法のシーケンシャルな性質が大きな不便と非効率をもたらすため、危険にさらされている。
提案したソリューションは、患者の温度を会話してスキャンして発熱を検出し、新型コロナウイルスのスクリーニングを支援する自律走行ロボットである。
この目的を達成するためには、(1)自律的なナビゲート、(2)人の検出と追跡、(3)38{\deg}cを超えると個人の体温の読み取りと会話ができること、(2)自律的なナビゲートを行う移動ロボットは、顔追跡アルゴリズムで制御されたマニピュレータと、サーマルカメラ、スマートフォン、チャットボットからなるエンドエフェクタとで使用される必要がある。
目標は、上記のタスクを実行する機能ソリューションを開発することです。
さらに、遭遇した技術的課題とそのエンジニアリングソリューションが提示され、商業化に近づく際に組み込むことができる拡張のために推奨される。 Throughout the COVID-19 pandemic, the most common symptom displayed by patients has been a fever, leading to the use of temperature scanning as a preemptive measure to detect potential carriers of the virus. Human employees with handheld thermometers have been used to fulfill this task, however this puts them at risk as they cannot be physically distanced and the sequential nature of this method leads to great inconveniences and inefficiency. The proposed solution is an autonomously navigating robot capable of conversing and scanning people's temperature to detect fevers and help screen for COVID-19. To satisfy this objective, the robot must be able to (1) navigate autonomously, (2) detect and track people, and (3) get individuals' temperature reading and converse with them if it exceeds 38{\deg}C. An autonomously navigating mobile robot is used with a manipulator controlled using a face tracking algorithm, and an end effector consisting of a thermal camera, smartphone, and chatbot. The goal is to develop a functioning solution that performs the above tasks. In addition, technical challenges encountered and their engineering solutions will be presented, and recommendations will be made for enhancements that could be incorporated when approaching commercialization. | 翻訳日:2021-06-22 00:17:26 公開日:2021-06-18 |
| # (参考訳) 光は嘘:光敵の攻撃 Light Lies: Optical Adversarial Attack ( http://arxiv.org/abs/2106.09908v1 ) ライセンス: CC BY 4.0 | Kyu-Lim Kim, Jeong-Soo Kim, Seung-Ri Song, Jun-Ho Choi, Chul-Min Joo, Jong-Seok Lee | (参考訳) 画像に知覚不能なノイズを注入し、深層モデルの画像分類性能を低下させる敵対的攻撃について、かなりの量の研究がなされている。
しかし、既存の研究の多くは、サンプリングと量子化を伴う画像センサが取得した画像が記録されたデジタル(ピクセル)領域での攻撃について検討している。
本稿では,画像センサに到達した光界情報を物理的に変化させて,分類モデルが誤分類を生じさせる光学対向攻撃を初めて導入する。
具体的には、写真システムに配置された空間光変調器を用いて、フーリエ領域の光の位相を変調する。
勾配に基づく最適化により変調器の動作パラメータを求め、クロスエントロピーを最大化し、歪みを最小化する。
そこで本研究では,シミュレーションと実ハードウェア光システムの両方に基づき,提案する光攻撃の可能性を示す実験を行う。
また, 提案した攻撃は, 球面収差, デフォーカス, アシグマティズムなどの一般的な光学領域歪みと, 摂動パターンと分類結果の両面では全く異なることが確認された。 A significant amount of work has been done on adversarial attacks that inject imperceptible noise to images to deteriorate the image classification performance of deep models. However, most of the existing studies consider attacks in the digital (pixel) domain where an image acquired by an image sensor with sampling and quantization has been recorded. This paper, for the first time, introduces an optical adversarial attack, which physically alters the light field information arriving at the image sensor so that the classification model yields misclassification. More specifically, we modulate the phase of the light in the Fourier domain using a spatial light modulator placed in the photographic system. The operative parameters of the modulator are obtained by gradient-based optimization to maximize cross-entropy and minimize distortions. We present experiments based on both simulation and a real hardware optical system, from which the feasibility of the proposed optical attack is demonstrated. It is also verified that the proposed attack is completely different from common optical-domain distortions such as spherical aberration, defocus, and astigmatism in terms of both perturbation patterns and classification results. | 翻訳日:2021-06-22 00:07:45 公開日:2021-06-18 |
| # (参考訳) 不適切であること Being Properly Improper ( http://arxiv.org/abs/2106.09920v1 ) ライセンス: CC BY 4.0 | Richard Nock, Tyler Sypherd, Lalitha Sankar | (参考訳) 今日のMLでは、データは、悪いものでも良いものでも、さまざまな方法でツイスト(変更)することができる。
このようなツイストされたデータは、クラス確率推定の多くの一般的な損失の基礎となる教師付き損失の正当性の確立理論に挑戦する。
残念なことに、その核心である適切性は、最適なモデルもツイストを学習することを保証する。
本稿では,これらのクラス確率に基づく損失を,それらが必須の正当性から切り離されたときに解析し,ストロークプロペラ損失を,ストロークから最適(未変更)推定値を取り出すことができる損失として定義し,S. 有本が導入した半世紀の古い損失の自然な延長が適当であることを示す。
そして、適切な損失を減らし、加速するために最適なアルゴリズムをいくつか提供した理論に目を向ける。
ブースティングは、例の重みを計算するために損失の凸共役の導関数にアクセスする必要がある。
そのような関数は計算的あるいは数学的理由から取得することは困難であり、これは有本が失った場合である。
この難しさを回避して、次のような問題を反転させる。 一般的な重み付け更新関数でブループリントブースティングアルゴリズムを実装したと仮定する。
ブースティング準拠の最小化が生じる損失は何か?
我々の解は、弱い学習者への呼び出し数に対する最適なブースティング依存性を満たす一般的なブースティングアルゴリズムとして現れ、有元の損失に適用すると、いくつかのドメインとツイストでパフォーマンスを示す単純な最適化アルゴリズムに繋がる。 In today's ML, data can be twisted (changed) in various ways, either for bad or good intent. Such twisted data challenges the founding theory of properness for supervised losses which form the basis for many popular losses for class probability estimation. Unfortunately, at its core, properness ensures that the optimal models also learn the twist. In this paper, we analyse such class probability-based losses when they are stripped off the mandatory properness; we define twist-proper losses as losses formally able to retrieve the optimum (untwisted) estimate off the twists, and show that a natural extension of a half-century old loss introduced by S. Arimoto is twist proper. We then turn to a theory that has provided some of the best off-the-shelf algorithms for proper losses, boosting. Boosting can require access to the derivative of the convex conjugate of a loss to compute examples weights. Such a function can be hard to get, for computational or mathematical reasons; this turns out to be the case for Arimoto's loss. We bypass this difficulty by inverting the problem as follows: suppose a blueprint boosting algorithm is implemented with a general weight update function. What are the losses for which boosting-compliant minimisation happens? Our answer comes as a general boosting algorithm which meets the optimal boosting dependence on the number of calls to the weak learner; when applied to Arimoto's loss, it leads to a simple optimisation algorithm whose performances are showcased on several domains and twists. | 翻訳日:2021-06-21 23:57:24 公開日:2021-06-18 |
| # (参考訳) グラフベース共同パンデミック懸念とtwitterの関係抽出 Graph-based Joint Pandemic Concern and Relation Extraction on Twitter ( http://arxiv.org/abs/2106.09929v1 ) ライセンス: CC BY 4.0 | Jingli Shi, Weihua Li, Sira Yongchareon, Yi Yang and Quan Bai | (参考訳) 公衆の関心事検出は、パンデミックの流行前後の危機管理に関する当局への潜在的ガイダンスを提供する。
オンラインソーシャルメディアプラットフォームから人々の懸念や注意を検知することは、パニックを緩和し、社会危機を防ぐ効果的なアプローチとして広く認識されている。
しかし、ソーシャルメディアで大量の情報から時間的関心事を検出することは、特に、手動でラベル付けされたデータが公衆衛生上の緊急事態(例えばCOVID-19)の欠如にある場合、大きな課題であることが判明した。
本稿では,グラフ畳み込みネットワークと2方向長短期記憶を統合した,人々の関心事とそれに対応する関係を識別する,新たなエンド・ツー・エンドのディープラーニングモデルを提案する。
BERT埋め込みの連続的な特徴を除いて、ツイートの局所的特徴は、関心グラフモジュールによって抽出することができる。
したがって,このモデルでは,手作業によるラベル付データ不足の問題に対処できる。
我々は,手動ラベル付きツイートと自動ラベル付きツイートの両方を用いて,提案モデルを評価するための広範囲な実験を行った。
実験の結果,本モデルは実世界のデータセットにおける最先端モデルよりも優れることがわかった。 Public concern detection provides potential guidance to the authorities for crisis management before or during a pandemic outbreak. Detecting people's concerns and attention from online social media platforms has been widely acknowledged as an effective approach to relieve public panic and prevent a social crisis. However, detecting concerns in time from massive information in social media turns out to be a big challenge, especially when sufficient manually labeled data is in the absence of public health emergencies, e.g., COVID-19. In this paper, we propose a novel end-to-end deep learning model to identify people's concerns and the corresponding relations based on Graph Convolutional Network and Bi-directional Long Short Term Memory integrated with Concern Graph. Except for the sequential features from BERT embeddings, the regional features of tweets can be extracted by the Concern Graph module, which not only benefits the concern detection but also enables our model to be high noise-tolerant. Thus, our model can address the issue of insufficient manually labeled data. We conduct extensive experiments to evaluate the proposed model by using both manually labeled tweets and automatically labeled tweets. The experimental results show that our model can outperform the state-of-art models on real-world datasets. | 翻訳日:2021-06-21 23:56:08 公開日:2021-06-18 |
| # (参考訳) BinarizedAttack: グラフベースの異常検出に対する構造的攻撃 BinarizedAttack: Structural Poisoning Attacks to Graph-based Anomaly Detection ( http://arxiv.org/abs/2106.09989v1 ) ライセンス: CC BY 4.0 | Yulin Zhu, Yuni Lai, Kaifa Zhao, Xiapu Luo, Mingquan Yuan, Jian Ren, Kai Zhou | (参考訳) グラフに基づく異常検出(GAD)は,グラフの強力な表現能力と近年のグラフマイニング技術の進歩により普及しつつある。
しかし、これらのGADツールは、データ間の関係を活用できるというユニークな利点のために、新たな攻撃面を公開する。
つまり、攻撃者はこれらの関係(すなわちグラフの構造)を操作でき、いくつかのターゲットノードが検出を回避できる。
本稿では,この脆弱性を,代表的な回帰型gadシステムであるoddballに対して,新しい種類の標的構造中毒攻撃を設計することで活用する。
特に,二段階最適化問題としてオッドボールに対する攻撃を定式化し,離散領域において問題を効率的に解くことが重要な技術的課題である。
勾配降下に基づくBinarizedAttackと呼ばれる新しい攻撃手法を提案する。
先行技術と比較して、BinarizedAttackは勾配情報をうまく利用でき、組合せ最適化問題の解決に特に適している。
さらに,BinarizedAttackの攻撃伝達性を他の表現学習に基づくGADシステムへの攻撃に利用して検討する。
我々は,攻撃者の予算を制限したグラフに基づく異常検出ツールの回避にbinarizedattackが有効であることを示すとともに,black-box transfer attack設定ではbinarizedattackも効果的にテストされ,特にgadシステムによって学習されたノード埋め込みを著しく変えることができることを示した。
我々の研究は、グラフデータに依存するセキュリティ分析ツールに対する新たなタイプの攻撃を研究するための扉を開く。 Graph-based Anomaly Detection (GAD) is becoming prevalent due to the powerful representation abilities of graphs as well as recent advances in graph mining techniques. These GAD tools, however, expose a new attacking surface, ironically due to their unique advantage of being able to exploit the relations among data. That is, attackers now can manipulate those relations (i.e., the structure of the graph) to allow some target nodes to evade detection. In this paper, we exploit this vulnerability by designing a new type of targeted structural poisoning attacks to a representative regression-based GAD system termed OddBall. Specially, we formulate the attack against OddBall as a bi-level optimization problem, where the key technical challenge is to efficiently solve the problem in a discrete domain. We propose a novel attack method termed BinarizedAttack based on gradient descent. Comparing to prior arts, BinarizedAttack can better use the gradient information, making it particularly suitable for solving combinatorial optimization problems. Furthermore, we investigate the attack transferability of BinarizedAttack by employing it to attack other representation-learning-based GAD systems. Our comprehensive experiments demonstrate that BinarizedAttack is very effective in enabling target nodes to evade graph-based anomaly detection tools with limited attackers' budget, and in the black-box transfer attack setting, BinarizedAttack is also tested effective and in particular, can significantly change the node embeddings learned by the GAD systems. Our research thus opens the door to studying a new type of attack against security analytic tools that rely on graph data. | 翻訳日:2021-06-21 23:37:55 公開日:2021-06-18 |
| # (参考訳) 対実的説明と反対例の関連について On the Connections between Counterfactual Explanations and Adversarial Examples ( http://arxiv.org/abs/2106.09992v1 ) ライセンス: CC BY 4.0 | Martin Pawelczyk, Shalmali Joshi, Chirag Agarwal, Sohini Upadhyay, Himabindu Lakkaraju | (参考訳) 機械学習(ML)の説明可能性と堅牢性に対処するための重要な研究分野として、カウンターファクトな説明と反対例が出現している。
アルゴリズムによる決定に悪影響を及ぼす個人に会話を提供することを目的として、反実的な説明が開発されたが、敵対的な例はMLモデルの脆弱性を明らかにするように設計された。
従来の研究ではこれらの枠組みの共通点が示唆されているが、反実的な説明と敵対的な事例に関する文献間の関係を体系的に探究する作業はほとんど行われていない。
本研究は, 対実的説明と敵対的事例との間の関係を形式化するための最初の試みである。
より具体的には、理論的に正反対の説明と反対例生成法を分析し、それらが同様に振る舞う条件を明らかにする。
分析の結果,wachterらによって提唱されたような反事実的説明や逆例生成手法がいくつか提案されている。
アル
and Carlini and Wagner (平均2乗誤差損失) and C-CHVAE and natural adversarial examples by Zhao et。
アル
同等です
我々はまた、Wachterらによって生成された反実的説明と敵対的な例の間の距離を拘束する。
アル
線形モデルのためのdeepfool法です
最後に,合成および実世界のデータセットを用いた広範囲な実験により理論的知見を実証的に検証した。 Counterfactual explanations and adversarial examples have emerged as critical research areas for addressing the explainability and robustness goals of machine learning (ML). While counterfactual explanations were developed with the goal of providing recourse to individuals adversely impacted by algorithmic decisions, adversarial examples were designed to expose the vulnerabilities of ML models. While prior research has hinted at the commonalities between these frameworks, there has been little to no work on systematically exploring the connections between the literature on counterfactual explanations and adversarial examples. In this work, we make one of the first attempts at formalizing the connections between counterfactual explanations and adversarial examples. More specifically, we theoretically analyze salient counterfactual explanation and adversarial example generation methods, and highlight the conditions under which they behave similarly. Our analysis demonstrates that several popular counterfactual explanation and adversarial example generation methods such as the ones proposed by Wachter et. al. and Carlini and Wagner (with mean squared error loss), and C-CHVAE and natural adversarial examples by Zhao et. al. are equivalent. We also bound the distance between counterfactual explanations and adversarial examples generated by Wachter et. al. and DeepFool methods for linear models. Finally, we empirically validate our theoretical findings using extensive experimentation with synthetic and real world datasets. | 翻訳日:2021-06-21 23:16:18 公開日:2021-06-18 |
| # (参考訳) グラフ畳み込みネットワークを用いた等分散ブリッジSO(2)不変表現学習 Equivariance-bridged SO(2)-Invariant Representation Learning using Graph Convolutional Network ( http://arxiv.org/abs/2106.09996v1 ) ライセンス: CC BY 4.0 | Sungwon Hwang, Hyungtae Lim and Hyun Myung | (参考訳) 回転に対して堅牢な畳み込みニューラルネットワーク(CNN)のトレーニングは、主にデータ拡張で行われている。
本稿では、ネットワークの構造的回転不変性を実現することにより、データ拡張への依存を減らすために、研究方向の別の進歩的なビジョンを強調する。
深い等分散架橋SO(2)不変ネットワークは、そのようなビジョンを反映するために提案される。
まず,画像のグラフ表現にグラフ畳み込みネットワーク(gcn)を実装するために,自己重み付き近辺グラフ畳み込みネットワーク(swn-gcn)を提案する。
その後、SWN-GCNから取得した頂点の同変集合に対して、高次元表現の集約に適した置換不変演算であるGlobal Average Pooling (GAP) を用いて不変表現を得る。
本手法は,MNIST と CIFAR-10 の回転画像上での最先端画像分類性能を実現する。
表現の不変性に対する定量的検証は、回転上のSWN-GCNの深い表現の強い不変性を示す。 Training a Convolutional Neural Network (CNN) to be robust against rotation has mostly been done with data augmentation. In this paper, another progressive vision of research direction is highlighted to encourage less dependence on data augmentation by achieving structural rotational invariance of a network. The deep equivariance-bridged SO(2) invariant network is proposed to echo such vision. First, Self-Weighted Nearest Neighbors Graph Convolutional Network (SWN-GCN) is proposed to implement Graph Convolutional Network (GCN) on the graph representation of an image to acquire rotationally equivariant representation, as GCN is more suitable for constructing deeper network than spectral graph convolution-based approaches. Then, invariant representation is eventually obtained with Global Average Pooling (GAP), a permutation-invariant operation suitable for aggregating high-dimensional representations, over the equivariant set of vertices retrieved from SWN-GCN. Our method achieves the state-of-the-art image classification performance on rotated MNIST and CIFAR-10 images, where the models are trained with a non-augmented dataset only. Quantitative validations over invariance of the representations also demonstrate strong invariance of deep representations of SWN-GCN over rotations. | 翻訳日:2021-06-21 22:49:57 公開日:2021-06-18 |
| # (参考訳) ニューラルネットワークにおけるレイヤの繰り返し積み重ね:ニューラルマシン翻訳への応用 Recurrent Stacking of Layers in Neural Networks: An Application to Neural Machine Translation ( http://arxiv.org/abs/2106.10002v1 ) ライセンス: CC BY-SA 4.0 | Raj Dabre and Atsushi Fujita | (参考訳) ディープニューラルネットワークモデリングにおいて、最も一般的なプラクティスは、複数の繰り返し、畳み込み、フィードフォワード層を積み重ねて高品質な連続空間表現を得ることであり、それによってネットワークの予測の質が向上する。
従来、スタックの各レイヤは独自のパラメータを持ち、モデルパラメータの数を大幅に増加させる。
本稿では,全ての層にパラメータを共有することで,繰り返し積み重ねられたニューラルネットワークモデルを実現することを提案する。
本稿では,提案手法をエンコーダ・デコーダに基づくニューラルネットワークモデル,すなわちトランスフォーマモデルに適用し,3つの日英翻訳データセットを実験する,ニューラルネットワーク翻訳(nmt)に関する広範なケーススタディについて報告する。
実験により,単一層を反復的にスタックするモデルの翻訳品質は,パラメータが著しく少ないにもかかわらず,各層が異なるパラメータを持つ6層をスタックするモデルにアプローチすることを示す。
また、非常に深いNMTモデルをトレーニングする繰り返し積み重ねの限界についても検討する。
また,本論文では,事前学習したパラメータと知識蒸留を利用して,学生モデルとしての繰り返し積み重ねモデルの有用性を検証し,反復積み重ねモデルの直接訓練がもたらす翻訳品質の低下を補うことを示す。
また、繰り返し積み重ねによるパラメータの減少に加えて、転送学習が高速な復号化にどう役立つかを示す。
最後に,繰り返し積み重ねられたレイヤとそうでないモデルを用いて,モデルの注意を可視化することにより,繰り返し積み重ねられたレイヤの効果を分析する。 In deep neural network modeling, the most common practice is to stack a number of recurrent, convolutional, or feed-forward layers in order to obtain high-quality continuous space representations which in turn improves the quality of the network's prediction. Conventionally, each layer in the stack has its own parameters which leads to a significant increase in the number of model parameters. In this paper, we propose to share parameters across all layers thereby leading to a recurrently stacked neural network model. We report on an extensive case study on neural machine translation (NMT), where we apply our proposed method to an encoder-decoder based neural network model, i.e., the Transformer model, and experiment with three Japanese--English translation datasets. We empirically demonstrate that the translation quality of a model that recurrently stacks a single layer 6 times, despite having significantly fewer parameters, approaches that of a model that stacks 6 layers where each layer has different parameters. We also explore the limits of recurrent stacking where we train extremely deep NMT models. This paper also examines the utility of our recurrently stacked model as a student model through transfer learning via leveraging pre-trained parameters and knowledge distillation, and shows that it compensates for the performance drops in translation quality that the direct training of recurrently stacked model brings. We also show how transfer learning helps in faster decoding on top of the already reduced number of parameters due to recurrent stacking. Finally, we analyze the effects of recurrently stacked layers by visualizing the attentions of models that use recurrently stacked layers and models that do not. | 翻訳日:2021-06-21 22:38:02 公開日:2021-06-18 |
| # (参考訳) 南アフリカのランドスケープにおける金融感情分析に向けて Towards Financial Sentiment Analysis in a South African Landscape ( http://arxiv.org/abs/2106.10004v1 ) ライセンス: CC BY 4.0 | Michelle Terblanche and Vukosi Marivate | (参考訳) 自然言語処理のサブ分野としての感性分析は、過去10年間に注目を集めており、組織はオンラインメディア監視を通じて、より効果的に評判を管理することができる。
しかし、多くのドライバーが評判に影響を与えるが、この論文は金融パフォーマンスの側面のみに焦点を当て、南アフリカの文脈で金融感情分析に関するギャップを探求する。
その結果、事前学習された感情分析者はこのタスクに最も効果が低く、従来のレキシコンベースと機械学習のアプローチはニュース記事の財務的な感情を予測するのに最適であることがわかった。
評価方法は, 84\%-94\%の精度を示した。
予測されたセンチメントは株価と非常によく相関し、財務業績の指標として感情の潜在的利用を強調した。
この研究の主な貢献は、金融感情分析のために既存の感情辞書を更新することだった。
モデル一般化は、使用したトレーニングデータが少ないため、受け入れられなかった。
今後の作業には、データセットを拡張して一般ユーザビリティを改善し、南アフリカのデータのオープンソースの財務感情分析ツールに貢献することが含まれる。 Sentiment analysis as a sub-field of natural language processing has received increased attention in the past decade enabling organisations to more effectively manage their reputation through online media monitoring. Many drivers impact reputation, however, this thesis focuses only the aspect of financial performance and explores the gap with regards to financial sentiment analysis in a South African context. Results showed that pre-trained sentiment analysers are least effective for this task and that traditional lexicon-based and machine learning approaches are best suited to predict financial sentiment of news articles. The evaluated methods produced accuracies of 84\%-94\%. The predicted sentiments correlated quite well with share price and highlighted the potential use of sentiment as an indicator of financial performance. A main contribution of the study was updating an existing sentiment dictionary for financial sentiment analysis. Model generalisation was less acceptable due to the limited amount of training data used. Future work includes expanding the data set to improve general usability and contribute to an open-source financial sentiment analyser for South African data. | 翻訳日:2021-06-21 22:14:34 公開日:2021-06-18 |
| # (参考訳) 音声分類のための新しいクラスによるゼロショットフェデレーション学習 Zero-Shot Federated Learning with New Classes for Audio Classification ( http://arxiv.org/abs/2106.10019v1 ) ライセンス: CC BY 4.0 | Gautham Krishna Gudur, Satheesh K. Perepu | (参考訳) 連合学習は、ユーザーのプライバシーを保ちながら、異なるユーザーデバイスから洞察を抽出する効果的な方法である。
しかし、完全に見えないデータ分散を持つ新しいクラスは、グローバルサーバや他のユーザによってアクセスできないフェデレートされた学習環境で、任意のデバイスにストリームすることができる。
そこで本研究では,これらの課題に対処するための統合ゼロショットフレームワークを提案する。
1)新しいクラスラベルがユーザによって報告されない場合、従来のFL設定が使用される。2)新しいクラスラベルがユーザによって報告されると、各デバイスの新しいクラスに対応するクラス類似度行列を計算し、匿名化されたデータ印象を合成し、次に教師なしクラスタリングを行い、異なるユーザ間で新しいクラスを区別する。
さらに,提案フレームワークは,参加ユーザ間のラベルおよびモデル間の統計的不均一性も扱える。
我々は、異なる通信ラウンド(flイテレーション)にまたがる我々のフレームワークを実験的に評価し、ローカルとグローバルの両方のアップデートと異種ラベルとモデルの両方で新しいクラスと、広く使われている2つのオーディオ分類アプリケーション(キーワードスポッティングと都市音の分類)で評価し、平均決定論的精度が ~4.041% と ~4.258% の上昇を観測した。 Federated learning is an effective way of extracting insights from different user devices while preserving the privacy of users. However, new classes with completely unseen data distributions can stream across any device in a federated learning setting, whose data cannot be accessed by the global server or other users. To this end, we propose a unified zero-shot framework to handle these aforementioned challenges during federated learning. We simulate two scenarios here -- 1) when the new class labels are not reported by the user, the traditional FL setting is used; 2) when new class labels are reported by the user, we synthesize Anonymized Data Impressions by calculating class similarity matrices corresponding to each device's new classes followed by unsupervised clustering to distinguish between new classes across different users. Moreover, our proposed framework can also handle statistical heterogeneities in both labels and models across the participating users. We empirically evaluate our framework on-device across different communication rounds (FL iterations) with new classes in both local and global updates, along with heterogeneous labels and models, on two widely used audio classification applications -- keyword spotting and urban sound classification, and observe an average deterministic accuracy increase of ~4.041% and ~4.258% respectively. | 翻訳日:2021-06-21 22:03:51 公開日:2021-06-18 |
| # (参考訳) 確率凸凸ミニマックス問題に対する局所アダグラード型アルゴリズム Local AdaGrad-Type Algorithm for Stochastic Convex-Concave Minimax Problems ( http://arxiv.org/abs/2106.10022v1 ) ライセンス: CC BY 4.0 | Luofeng Liao, Li Shen, Jia Duan, Mladen Kolar, Dacheng Tao | (参考訳) 大規模凸凹型ミニマックス問題は、ゲーム理論、堅牢なトレーニング、生成的敵ネットワークのトレーニングなど、多くの応用で発生する。
その適用範囲は広いが、既存の確率的ミニマックス法を用いて大量のデータが存在する場合、効率的かつ効果的に解決することは困難である。
パラメーターサーバモデルにおける凸凹最小値問題の解法に適した適応学習率を用いて,確率最小値のクラスを調査し,通信効率のよい分散確率極値分解アルゴリズムであるLocalAdaSEGを開発した。
localadasegには3つの主な特徴がある: (i) 周期的通信戦略は、ワーカーとサーバ間の通信コストを削減し、 (ii) ローカルに計算され、チューニングフリーな実装を可能にする適応的学習率、そして (iii) 理論的には、確率的勾配の推定から生じる支配的分散項に対するほぼ線形なスピードアップは、滑らかな凸凸凹設定の両方において証明される。
LocalAdaSEGは確率的双線形ゲームを解くために使われ、生成的敵ネットワークを訓練する。
そこで我々はLocalAdaSEGを,ミニマックス問題に対するいくつかの既存最適化器と比較し,同種および異種両方の設定において,その有効性を示す。 Large scale convex-concave minimax problems arise in numerous applications, including game theory, robust training, and training of generative adversarial networks. Despite their wide applicability, solving such problems efficiently and effectively is challenging in the presence of large amounts of data using existing stochastic minimax methods. We study a class of stochastic minimax methods and develop a communication-efficient distributed stochastic extragradient algorithm, LocalAdaSEG, with an adaptive learning rate suitable for solving convex-concave minimax problem in the Parameter-Server model. LocalAdaSEG has three main features: (i) periodic communication strategy reduces the communication cost between workers and the server; (ii) an adaptive learning rate that is computed locally and allows for tuning-free implementation; and (iii) theoretically, a nearly linear speed-up with respect to the dominant variance term, arising from estimation of the stochastic gradient, is proven in both the smooth and nonsmooth convex-concave settings. LocalAdaSEG is used to solve a stochastic bilinear game, and train generative adversarial network. We compare LocalAdaSEG against several existing optimizers for minimax problems and demonstrate its efficacy through several experiments in both the homogeneous and heterogeneous settings. | 翻訳日:2021-06-21 21:52:34 公開日:2021-06-18 |
| # (参考訳) 微分可能なスパイクネットワークシミュレータを用いたニューラルネットワークの要約統計の適合化 Fitting summary statistics of neural data with a differentiable spiking network simulator ( http://arxiv.org/abs/2106.10064v1 ) ライセンス: CC BY 4.0 | Guillaume Bellec, Shuqi Wang, Alireza Modirshanechi, Johanni Brea, Wulfram Gerstner | (参考訳) 神経活動にネットワークモデルを適用することは、神経科学の重要なツールになりつつある。
一般的なアプローチは、記録された活動の可能性を最大化するパラメータを持つ確率論的リカレントスパイクネットワークで脳領域をモデル化することである。
これは広く用いられているが、得られたモデルが現実的な神経活動を生成していないことを示し、記録されていないニューロンが記録されたネットワークに重大な影響を与える場合に、接続行列を誤って推定する。
このことを正すために,シミュレーションと記録された活動の類似性を測定する用語を用いて,ログの類似性を高めることを提案する。
この相違性は神経科学でよく用いられる要約統計によって定義され、その最適化は確率的にシミュレートされたスパイク列車によるバックプロパゲーションに依存するため効率的である。
本手法を理論的に解析し,より現実的な活動統計を生成し,他の手法よりも接続マトリックスを回復できることを実証的に示す。 Fitting network models to neural activity is becoming an important tool in neuroscience. A popular approach is to model a brain area with a probabilistic recurrent spiking network whose parameters maximize the likelihood of the recorded activity. Although this is widely used, we show that the resulting model does not produce realistic neural activity and wrongly estimates the connectivity matrix when neurons that are not recorded have a substantial impact on the recorded network. To correct for this, we suggest to augment the log-likelihood with terms that measure the dissimilarity between simulated and recorded activity. This dissimilarity is defined via summary statistics commonly used in neuroscience, and the optimization is efficient because it relies on back-propagation through the stochastically simulated spike trains. We analyze this method theoretically and show empirically that it generates more realistic activity statistics and recovers the connectivity matrix better than other methods. | 翻訳日:2021-06-21 21:13:31 公開日:2021-06-18 |
| # (参考訳) マルチラベルテキスト分類用ラベルマスク Label Mask for Multi-Label Text Classification ( http://arxiv.org/abs/2106.10076v1 ) ライセンス: CC BY 4.0 | Rui Song, Xingbing Chen, Zelong Liu, Haining An, Zhiqi Zhang, Xiaoguang Wang, Hao Xu | (参考訳) マルチラベルテキスト分類の重要な問題の一つは、ラベル間の相関を利用した方法である。
しかし、複雑で未知のラベル空間におけるラベル間の相関を直接モデル化することは非常に困難である。
本稿では,言語モデルのクローズ問題から着想を得たラベルマスクマルチラベルテキスト分類モデル(lm-mtc)を提案する。
LM-MTCは、事前訓練言語モデルの強力な能力によってラベル間の暗黙の関係を捉えることができる。
そこで我々は,各潜在的なラベルに異なるトークンを割り当て,そのトークンを特定の確率でランダムにマスクし,ラベルに基づくマスケッド言語モデル(MLM)を構築する。
MTCとMLMを共に訓練し、モデルの一般化能力をさらに向上する。
複数のデータセットで多数の実験を行い,本手法の有効性を実証した。 One of the key problems in multi-label text classification is how to take advantage of the correlation among labels. However, it is very challenging to directly model the correlations among labels in a complex and unknown label space. In this paper, we propose a Label Mask multi-label text classification model (LM-MTC), which is inspired by the idea of cloze questions of language model. LM-MTC is able to capture implicit relationships among labels through the powerful ability of pre-train language models. On the basis, we assign a different token to each potential label, and randomly mask the token with a certain probability to build a label based Masked Language Model (MLM). We train the MTC and MLM together, further improving the generalization ability of the model. A large number of experiments on multiple datasets demonstrate the effectiveness of our method. | 翻訳日:2021-06-21 20:53:07 公開日:2021-06-18 |
| # (参考訳) 抽象要約における主観バイアス Subjective Bias in Abstractive Summarization ( http://arxiv.org/abs/2106.10084v1 ) ライセンス: CC BY 4.0 | Lei Li, Wei Liu, Marina Litvak, Natalia Vanetik, Jiacheng Pei, Yinan Liu, Siya Qi | (参考訳) 要約の主観性のため、各訓練文書に複数の金の要約を持つことは良い習慣である。
しかし、現代の大規模な抽象要約データセットの多くは、異なるスタイルの異なる人間によって書かれた1対1のサンプルしか持たない。
この現象の影響は未定である。
同一内容を主観的バイアスとして要約する複数の表現間の差異を定式化し,抽象的要約の文脈におけるバイアスの役割を検討する。
本稿では,主観的スタイルの特徴埋め込みを軽量かつ効果的に抽出する手法を提案する。
スタイルクラスタデータセットでトレーニングされた要約モデルの結果、コンバージェンス、抽象化、一般化に繋がる特定のタイプのスタイルが存在することが示されている。
再現可能なコードと生成された要約はオンラインで入手できる。 Due to the subjectivity of the summarization, it is a good practice to have more than one gold summary for each training document. However, many modern large-scale abstractive summarization datasets have only one-to-one samples written by different human with different styles. The impact of this phenomenon is understudied. We formulate the differences among possible multiple expressions summarizing the same content as subjective bias and examine the role of this bias in the context of abstractive summarization. In this paper a lightweight and effective method to extract the feature embeddings of subjective styles is proposed. Results of summarization models trained on style-clustered datasets show that there are certain types of styles that lead to better convergence, abstraction and generalization. The reproducible code and generated summaries are available online. | 翻訳日:2021-06-21 20:46:09 公開日:2021-06-18 |
| # (参考訳) 長期野生ビデオにおけるジェネリックイベント境界の識別 Discerning Generic Event Boundaries in Long-Form Wild Videos ( http://arxiv.org/abs/2106.10090v1 ) ライセンス: CC BY 4.0 | Ayush K Rai, Tarun Krishna, Julia Dietlmeier, Kevin McGuinness, Alan F Smeaton, Noel E O'Connor | (参考訳) ビデオ中の一般的な分類なしのイベント境界を検出することは、全体像の理解に向けた大きな一歩である。
本稿では,ビデオから時空間的特徴を学習可能な2つのストリームインフラット3次元畳み込みアーキテクチャに基づくイベント境界検出手法を提案する。
本研究は,先駆的なイベント境界検出チャレンジ(cvpr2021 long form video understanding-loveuワークショップの一部)から着想を得たものである。 Detecting generic, taxonomy-free event boundaries invideos represents a major stride forward towards holisticvideo understanding. In this paper we present a technique forgeneric event boundary detection based on a two stream in-flated 3D convolutions architecture, which can learn spatio-temporal features from videos. Our work is inspired from theGeneric Event Boundary Detection Challenge (part of CVPR2021 Long Form Video Understanding- LOVEU Workshop).Throughout the paper we provide an in-depth analysis ofthe experiments performed along with an interpretation ofthe results obtained. | 翻訳日:2021-06-21 20:35:35 公開日:2021-06-18 |
| # (参考訳) 深部強化学習モデルによる脳の視覚反応予測 : 予備的結果 Deep Reinforcement Learning Models Predict Visual Responses in the Brain: A Preliminary Result ( http://arxiv.org/abs/2106.10112v1 ) ライセンス: CC0 1.0 | Maytus Piriyajitakonkij, Sirawaj Itthipuripat, Theerawit Wilaiprasitporn, Nat Dilokthanakul | (参考訳) supervised deep convolutional neural networks (dcnns) は現在、霊長類の心室視覚ストリームがオブジェクト認識をどのように解決するかを説明する最良の計算モデルの1つである。
しかし、既存の視覚処理モデルでは認識の具体化は考慮されていない。
生態学的観点から、人間はそれらと相互作用することで物体を認識することを学び、より良い分類、専門化、一般化を可能にします。
ここでは,体型学習フレームワークに基づく計算モデルが,既存の教師付きモデルよりも霊長類視覚システムにおける物体認識のメカニズムをうまく説明できるかどうかを問う。
この問題に対処するために、強化学習を用いてニューラルネットワークモデルをトレーニングし、3次元コンピュータゲームをプレイし、これらの強化学習モデルは、教師付きニューラルネットワークモデルに匹敵するレベルにおいて、初期の視覚領域(例えば、V1とV2)で神経応答予測精度のスコアを得る。
対照的に、教師付きニューラルネットワークモデルは強化学習モデルと比較して、より高い視覚領域においてより良い神経応答予測をもたらす。
予備結果は, 視覚神経科学の今後の方向性を示唆するものであり, 体格概念の欠如を補うために, 深層強化学習を含めるべきである。 Supervised deep convolutional neural networks (DCNNs) are currently one of the best computational models that can explain how the primate ventral visual stream solves object recognition. However, embodied cognition has not been considered in the existing visual processing models. From the ecological standpoint, humans learn to recognize objects by interacting with them, allowing better classification, specialization, and generalization. Here, we ask if computational models under the embodied learning framework can explain mechanisms underlying object recognition in the primate visual system better than the existing supervised models? To address this question, we use reinforcement learning to train neural network models to play a 3D computer game and we find that these reinforcement learning models achieve neural response prediction accuracy scores in the early visual areas (e.g., V1 and V2) in the levels that are comparable to those accomplished by the supervised neural network model. In contrast, the supervised neural network models yield better neural response predictions in the higher visual areas, compared to the reinforcement learning models. Our preliminary results suggest the future direction of visual neuroscience in which deep reinforcement learning should be included to fill the missing embodiment concept. | 翻訳日:2021-06-21 20:30:33 公開日:2021-06-18 |
| # (参考訳) リカレントニューラルネットワークのための仮想時間サンプル:農業におけるセマンティックセグメンテーションへの応用 Virtual Temporal Samples for Recurrent Neural Networks: applied to semantic segmentation in agriculture ( http://arxiv.org/abs/2106.10118v1 ) ライセンス: CC BY 4.0 | Alireza Ahmadi, Michael Halstead, and Chris McCool | (参考訳) 本稿では,農業ロボットの文脈における時間的意味的セグメンテーションの実現の可能性について検討する。
そこで,ラベル付き静止画像から仮想時間サンプルを生成する手法を提案する。
これにより、追加のアノテーションを使わずに、実質的にラベル付けされた時間シーケンスを生成することができます。
通常、リカレントニューラルネットワーク(rnn)をトレーニングするには、ビデオ(時間的)シーケンスからのラベル付きサンプルが必要である。
仮想時間サンプルを生成することにより、軽量なRNNを訓練して、2つの課題のある農業データセットに対してセマンティックセグメンテーションを行うことができることを示す。
以上の結果から,仮想サンプルを用いて時間的セマンティックセグメンタを訓練することにより,サツマイモとサトウキビのデータセットの絶対量4.6と4.9に向上できることがわかった。
このことは, 複雑な合成データ生成技術を用いることなく, 大量の時間的シーケンスをラベル付けするオーバーヘッドを伴わず, 農耕画像を時間的に正確に分類できることを示唆している。 This paper explores the potential for performing temporal semantic segmentation in the context of agricultural robotics without temporally labelled data. We achieve this by proposing to generate virtual temporal samples from labelled still images. This allows us, with no extra annotation effort, to generate virtually labelled temporal sequences. Normally, to train a recurrent neural network (RNN), labelled samples from a video (temporal) sequence are required which is laborious and has stymied work in this direction. By generating virtual temporal samples, we demonstrate that it is possible to train a lightweight RNN to perform semantic segmentation on two challenging agricultural datasets. Our results show that by training a temporal semantic segmenter using virtual samples we can increase the performance by an absolute amount of 4.6 and 4.9 on sweet pepper and sugar beet datasets, respectively. This indicates that our virtual data augmentation technique is able to accurately classify agricultural images temporally without the use of complicated synthetic data generation techniques nor with the overhead of labelling large amounts of temporal sequences. | 翻訳日:2021-06-21 20:22:35 公開日:2021-06-18 |
| # (参考訳) コード混合テキストの複雑さを計測するメトリクスの課題と限界 Challenges and Limitations with the Metrics Measuring the Complexity of Code-Mixed Text ( http://arxiv.org/abs/2106.10123v1 ) ライセンス: CC BY 4.0 | Vivek Srivastava, Mayank Singh | (参考訳) コード混合は多言語話者間の頻繁なコミュニケーションスタイルであり、テキストや音声と同じ発話で2つの異なる言語からの単語やフレーズを混合する。
モノリンガルテキストとノイズテキストが共存しているため、コードミックステキストの識別とフィルタリングは難しい作業である。
長年にわたり、コードミックスされたテキストの品質を識別し検証するために、いくつかのコードミックスメトリクスが広く使われてきた。
本稿では,様々な実験で広く使用されている既存のデータセットの例を用いて,コード混合メトリクスの固有の制限について述べる。 Code-mixing is a frequent communication style among multilingual speakers where they mix words and phrases from two different languages in the same utterance of text or speech. Identifying and filtering code-mixed text is a challenging task due to its co-existence with monolingual and noisy text. Over the years, several code-mixing metrics have been extensively used to identify and validate code-mixed text quality. This paper demonstrates several inherent limitations of code-mixing metrics with examples from the already existing datasets that are popularly used across various experiments. | 翻訳日:2021-06-21 20:11:00 公開日:2021-06-18 |
| # (参考訳) ユーザ創造性を高める:アイデア生成のためのセマンティック尺度 Enhancing user creativity: Semantic measures for idea generation ( http://arxiv.org/abs/2106.10131v1 ) ライセンス: CC BY 4.0 | Georgi V. Georgiev, Danko D. Georgiev | (参考訳) 人間の創造性は現実世界の問題を解決する新しいアイデアを生み出す。
これにより、周囲の世界を変革し、人間の属性を現在可能な範囲を超えて拡張する権限が得られます。
創造的なアイデアは新しいだけでなく、有用で効率的で価値あるソリューションを提供するのにも成功しています。
したがって、創造性は利用可能な資源の使用を最適化し、富を増大させる。
しかし、人間の創造性の起源は理解されておらず、生成したアイデアの成功を予測できる意味的尺度は現在不明である。
本稿では,WordNet 3.1に基づく49のセマンティック測度を用いて,実世界の環境における設計問題解決会話のデータセットを分析し,意味的類似性,情報内容の増大,ポリセミーの減少が生成したアイデアの成功を予測することを示す。
クライアントからのフィードバックは情報コンテンツも強化し、創造的な問題解決において成功するアイデアの多様化につながる。
これらの結果は,人間の問題解決における現実のプロセスを特定し,問題解決,学生の学習,スキル獲得をリアルタイムに監視するためのツールを提供することによって認知科学を前進させる。
統計的に強力で計算が速い情報コンテンツ(IC S\anchez-Batet)と意味的類似性(Lin/S\anchez-Batet)のサブセットは、コンピュータ支援による人間の創造性の向上や、汎用人工知能に支えられた機械における創造性の実現を支援することができる。 Human creativity generates novel ideas to solve real-world problems. This thereby grants us the power to transform the surrounding world and extend our human attributes beyond what is currently possible. Creative ideas are not just new and unexpected, but are also successful in providing solutions that are useful, efficient and valuable. Thus, creativity optimizes the use of available resources and increases wealth. The origin of human creativity, however, is poorly understood, and semantic measures that could predict the success of generated ideas are currently unknown. Here, we analyze a dataset of design problem-solving conversations in real-world settings by using 49 semantic measures based on WordNet 3.1 and demonstrate that a divergence of semantic similarity, an increased information content, and a decreased polysemy predict the success of generated ideas. The first feedback from clients also enhances information content and leads to a divergence of successful ideas in creative problem solving. These results advance cognitive science by identifying real-world processes in human problem solving that are relevant to the success of produced solutions and provide tools for real-time monitoring of problem solving, student training and skill acquisition. A selected subset of information content (IC S\'anchez-Batet) and semantic similarity (Lin/S\'anchez-Batet) measures, which are both statistically powerful and computationally fast, could support the development of technologies for computer-assisted enhancements of human creativity or for the implementation of creativity in machines endowed with general artificial intelligence. | 翻訳日:2021-06-21 19:59:53 公開日:2021-06-18 |
| # (参考訳) 接地のないQBFとしての古典的計画(拡張版) Classical Planning as QBF without Grounding (extended version) ( http://arxiv.org/abs/2106.10138v1 ) ライセンス: CC BY 4.0 | Irfansha Shaik, Jaco van de Pol | (参考訳) ほとんどの古典的なプランナーはグラウンディングを前処理のステップとして使い、命題論理の計画を減らす。
しかし、グラウンド化にはメモリの大幅なコストが伴うため、SAT/QBFベースのプランナのエンコーディングが大きくなる。
SAT/QBFエンコーディングではアクション分割、コンパクトエンコーディング、並列計画などの最適化がなされているが、IPC 2018プランニングコンペティションの有機合成問題(元々の非スプリット形式)など、アクションが多くのパラメータを持つ場合、グラウンディングによるメモリ使用量はボトルネックのままである。
本稿では,オブジェクト数の対数的なコンパクトQBF符号化を行い,オブジェクトの組み合わせの普遍的定量化により,グラウンド化を完全に回避する。
また, 従来のSAT/QBFベースプランナでは扱えなかった有機合成問題のいくつかを, 単純なSATエンコーディングと非基底QBFエンコーディングを比較した。 Most classical planners use grounding as a preprocessing step, reducing planning to propositional logic. However, grounding comes with a severe cost in memory, resulting in large encodings for SAT/QBF based planners. Despite the optimisations in SAT/QBF encodings such as action splitting, compact encodings and using parallel plans, the memory usage due to grounding remains a bottleneck when actions have many parameters, such as in the Organic Synthesis problems from the IPC 2018 planning competition (in its original non-split form). In this paper, we provide a compact QBF encoding that is logarithmic in the number of objects and avoids grounding completely by using universal quantification for object combinations. We compare the ungrounded QBF encoding with the simple SAT encoding and also show that we can solve some of the Organic Synthesis problems, which could not be handled before by any SAT/QBF based planners due to grounding. | 翻訳日:2021-06-21 19:58:43 公開日:2021-06-18 |
| # (参考訳) pywatts: 時系列用のpythonワークフロー自動化ツール pyWATTS: Python Workflow Automation Tool for Time Series ( http://arxiv.org/abs/2106.10157v1 ) ライセンス: CC BY 4.0 | Benedikt Heidrich, Andreas Bartschat, Marian Turowski, Oliver Neumann, Kaleb Phipps, Stefan Meisenbacher, Kai Schmieder, Nicole Ludwig, Ralf Mikut, Veit Hagenmeyer | (参考訳) 時系列データは、金融市場からエネルギーシステムまで、様々な用途に基礎を置いている。
その重要性から、時系列分析に使用するツールやメソッドの数や複雑さが絶えず増加している。
しかし、不明瞭なapiとドキュメントの欠如のため、研究者は研究プロジェクトへの統合や結果の再現に苦労している。
さらに、時系列分析では、反復的なタスクが多数存在し、プロジェクト毎に再実装されることが多く、不要なコストがかかる。
これらの問題を解決するために,オープンソースのpythonベースのパッケージである \texttt{pywatts} という,時系列データ解析のためのワークフロー自動化ツールを提案する。
pyWATTSには、新しいメソッドや既存のメソッドのシームレスな統合を可能にするモジュール、繰り返しタスクを簡単に再現するためのサブパイプライニング、結果を単純に複製するための機能のロードと保存、Scikit-learn、PyTorch、KerasといったPython機械学習ライブラリのネイティブサポートが含まれている。 Time series data are fundamental for a variety of applications, ranging from financial markets to energy systems. Due to their importance, the number and complexity of tools and methods used for time series analysis is constantly increasing. However, due to unclear APIs and a lack of documentation, researchers struggle to integrate them into their research projects and replicate results. Additionally, in time series analysis there exist many repetitive tasks, which are often re-implemented for each project, unnecessarily costing time. To solve these problems we present \texttt{pyWATTS}, an open-source Python-based package that is a non-sequential workflow automation tool for the analysis of time series data. pyWATTS includes modules with clearly defined interfaces to enable seamless integration of new or existing methods, subpipelining to easily reproduce repetitive tasks, load and save functionality to simply replicate results, and native support for key Python machine learning libraries such as scikit-learn, PyTorch, and Keras. | 翻訳日:2021-06-21 19:29:35 公開日:2021-06-18 |
| # (参考訳) 構造化しきい値バンディット問題に対する問題依存的視点 Problem Dependent View on Structured Thresholding Bandit Problems ( http://arxiv.org/abs/2106.10166v1 ) ライセンス: CC BY 4.0 | James Cheshire, Pierre M\'enard, Alexandra Carpentier | (参考訳) 確率的しきい値バンディット問題 (tbp) における問題依存構造について, 形状制約下で検討した。
TBPでは、学習者の目的は、シーケンシャルゲームの終了時に、所定のしきい値を超える手段を持つアームセットを出力することである。
バニラは非構造で、既に文献でよく研究されている。
腕の数として$K$とすると、(i)アームの列が$(\mu_k)_{k=1}^K$が単調に増加(MTBP)している場合、(ii)$(\mu_k)_{k=1}^K$が凹(CTBP)である場合を考える。
問題依存体制におけるどちらのケースも考慮し、エラーの確率、すなわち、調査する。
少なくとも一つの腕を誤分類する確率。
固定予算設定では、コンケーブとモノトーンの両方の設定における誤差の確率の上限と下限、および関連するアルゴリズムを提供する。
どちらの設定でも、境界は指数関数の普遍定数まで問題に依存する状態に一致する。 We investigate the problem dependent regime in the stochastic Thresholding Bandit problem (TBP) under several shape constraints. In the TBP, the objective of the learner is to output, at the end of a sequential game, the set of arms whose means are above a given threshold. The vanilla, unstructured, case is already well studied in the literature. Taking $K$ as the number of arms, we consider the case where (i) the sequence of arm's means $(\mu_k)_{k=1}^K$ is monotonically increasing (MTBP) and (ii) the case where $(\mu_k)_{k=1}^K$ is concave (CTBP). We consider both cases in the problem dependent regime and study the probability of error - i.e. the probability to mis-classify at least one arm. In the fixed budget setting, we provide upper and lower bounds for the probability of error in both the concave and monotone settings, as well as associated algorithms. In both settings the bounds match in the problem dependent regime up to universal constants in the exponential. | 翻訳日:2021-06-21 19:22:12 公開日:2021-06-18 |
| # (参考訳) テキスト依存と独立話者認識のロバストな組み合わせのための埋め込みネットワークの融合 Fusion of Embeddings Networks for Robust Combination of Text Dependent and Independent Speaker Recognition ( http://arxiv.org/abs/2106.10169v1 ) ライセンス: CC BY 4.0 | Ruirui Li, Chelsea J.-T. Ju, Zeya Chen, Hongda Mao, Oguz Elibol, Andreas Stolcke | (参考訳) 音声入力に基づいてユーザを暗黙的に認識することにより、話者識別は、パーソナライズされたシステム行動や迅速なショッピングチェックアウトなど、多くの下流アプリケーションを可能にする。
音声内容が制約されているか否かに基づいて、テキスト依存(TD)とテキスト非依存(TI)の両方の話者認識モデルを用いることができる。
我々は,両モデルの利点をアンサンブルシステムを通じて組み合わせ,より信頼性の高い予測をしたい。
しかしながら、そのような結合アプローチは不完全な入力、すなわちtdまたはti入力が欠落している場合に対して堅牢でなければならない。
そこで本研究では,統合学習とニューラルアテンションを組み合わせた組込みネットワークフォエネットアーキテクチャの融合を提案する。
フェネトと音声アシスタント入力のデータセット上での4つの競合ベースライン法を比較し、特に不完全入力の存在下で、ベースラインとスコア融合法よりも高い精度を達成することを示す。 By implicitly recognizing a user based on his/her speech input, speaker identification enables many downstream applications, such as personalized system behavior and expedited shopping checkouts. Based on whether the speech content is constrained or not, both text-dependent (TD) and text-independent (TI) speaker recognition models may be used. We wish to combine the advantages of both types of models through an ensemble system to make more reliable predictions. However, any such combined approach has to be robust to incomplete inputs, i.e., when either TD or TI input is missing. As a solution we propose a fusion of embeddings network foenet architecture, combining joint learning with neural attention. We compare foenet with four competitive baseline methods on a dataset of voice assistant inputs, and show that it achieves higher accuracy than the baseline and score fusion methods, especially in the presence of incomplete inputs. | 翻訳日:2021-06-21 18:48:31 公開日:2021-06-18 |
| # (参考訳) Ethereumフィッシング詐欺検出のための自己教師付きインクリメンタルディープグラフ学習 Self-supervised Incremental Deep Graph Learning for Ethereum Phishing Scam Detection ( http://arxiv.org/abs/2106.10176v1 ) ライセンス: CC BY 4.0 | Shucheng Li, Fengyuan Xu, Runchuan Wang, Sheng Zhong | (参考訳) 近年、フィッシング詐欺は、二番目に大きなブロックチェーンプラットフォームであるEthereumにかかわる最大の資金で犯罪タイプになっている。
一方、graph neural network (gnn)は様々なノード分類タスクで有望な性能を示している。
しかし、実世界の複雑なグラフに自然に抽象化できるEthereumトランザクションデータでは、ラベルの不足と大量のトランザクションデータが、GNNメソッドの活用を困難にしている。
本稿では,この2つの課題に対処するために,Ethereum上のフィッシング詐欺検出問題に対する自己教師付きインクリメンタルグラフ学習モデル(SIEGE)を提案する。
このモデルでは、空間的および時間的視点から設計された2つのプリテキストタスクは、膨大なトランザクションデータから有用なノード埋め込みを効果的に学習するのに役立ちます。
そして、インクリメンタルなパラダイムは、大規模トランザクションデータを効率的に処理し、データ分散が劇的に変化しているときにモデルが優れたパフォーマンスを維持するのに役立つ。
Ethereumから約半年ほどのトランザクション記録を収集し、広範な実験により、当社のモデルは、トランスダクティブとインダクティブの両方で、強いベースラインを一貫して上回ります。 In recent years, phishing scams have become the crime type with the largest money involved on Ethereum, the second-largest blockchain platform. Meanwhile, graph neural network (GNN) has shown promising performance in various node classification tasks. However, for Ethereum transaction data, which could be naturally abstracted to a real-world complex graph, the scarcity of labels and the huge volume of transaction data make it difficult to take advantage of GNN methods. Here in this paper, to address the two challenges, we propose a Self-supervised Incremental deep Graph learning model (SIEGE), for the phishing scam detection problem on Ethereum. In our model, two pretext tasks designed from spatial and temporal perspectives help us effectively learn useful node embedding from the huge amount of unlabelled transaction data. And the incremental paradigm allows us to efficiently handle large-scale transaction data and help the model maintain good performance when the data distribution is drastically changing. We collect transaction records about half a year from Ethereum and our extensive experiments show that our model consistently outperforms strong baselines in both transductive and inductive settings. | 翻訳日:2021-06-21 18:36:09 公開日:2021-06-18 |
| # (参考訳) より良い表現を通して学習を移すのに役立つadversarial training Adversarial Training Helps Transfer Learning via Better Representations ( http://arxiv.org/abs/2106.10189v1 ) ライセンス: CC BY-SA 4.0 | Zhun Deng, Linjun Zhang, Kailas Vodrahalli, Kenji Kawaguchi, James Zou | (参考訳) Transfer Learningは、ソースデータに事前トレーニングされたモデルを活用して、ターゲット設定に効率的に適応することを目的としている。
最近の研究は、ソースデータ内の悪意あるトレーニングが、モデルが新しいドメインに転送する能力を向上させることを実証している。
しかし、その理由は不明である。
本稿では,対人学習が伝達学習にどう役立つか,理論的モデルを提案する。
ソースデータの逆トレーニングは、より優れた表現を生成するため、この表現の上に微調整を行うことで、ターゲットデータのより正確な予測が可能となる。
さらに、音源データにおける半教師付き学習が、同様に表現を改善して伝達学習を改善することを理論的および実証的に示す。
さらに,半教師付き学習の上で対人訓練を行うことにより,伝達性の向上が期待でき,両手法が表現に相補的な利点を持つことが示唆された。
私たちは、一般的なデータセットとディープラーニングアーキテクチャの実験で理論を支持します。 Transfer learning aims to leverage models pre-trained on source data to efficiently adapt to target setting, where only limited data are available for model fine-tuning. Recent works empirically demonstrate that adversarial training in the source data can improve the ability of models to transfer to new domains. However, why this happens is not known. In this paper, we provide a theoretical model to rigorously analyze how adversarial training helps transfer learning. We show that adversarial training in the source data generates provably better representations, so fine-tuning on top of this representation leads to a more accurate predictor of the target data. We further demonstrate both theoretically and empirically that semi-supervised learning in the source data can also improve transfer learning by similarly improving the representation. Moreover, performing adversarial training on top of semi-supervised learning can further improve transferability, suggesting that the two approaches have complementary benefits on representations. We support our theories with experiments on popular data sets and deep learning architectures. | 翻訳日:2021-06-21 18:24:16 公開日:2021-06-18 |
| # (参考訳) 合理的なシャプリー値 Rational Shapley Values ( http://arxiv.org/abs/2106.10191v1 ) ライセンス: CC BY 4.0 | David S. Watson | (参考訳) 不透明な機械学習アルゴリズムの予測を説明することは重要かつ困難なタスクであり、特に医療や金融などの高度な意思決定を支援するために複雑なモデルがますます使われている。
ポストホックな説明可能な人工知能(XAI)のための一般的なツールは、文脈に敏感でない(例えば、特徴属性)か、要約が難しい(例えば、偽物)。
本稿では,これらの非互換なアプローチを厳密で柔軟な方法で合成し拡張する,新しいXAI手法であるemph{rational Shapley values}を紹介する。
私は意思決定理論や因果モデリングのツールを活用して、XAIにおける多くの既知の課題を解決する実用的なアプローチを形式化し、実装します。
与えられた説明タスクに対して,確率変数の分布と適切な参照クラスを組み合わせることで,ユーザの目標と知識が反復的に解集合にどのように情報を与え制約するかを,理論と実験を通して示す。
この方法は、定量的および定性的な比較において、XAIツールの状態と良好に比較できる。 Explaining the predictions of opaque machine learning algorithms is an important and challenging task, especially as complex models are increasingly used to assist in high-stakes decisions such as those arising in healthcare and finance. Most popular tools for post-hoc explainable artificial intelligence (XAI) are either insensitive to context (e.g., feature attributions) or difficult to summarize (e.g., counterfactuals). In this paper, I introduce \emph{rational Shapley values}, a novel XAI method that synthesizes and extends these seemingly incompatible approaches in a rigorous, flexible manner. I leverage tools from decision theory and causal modeling to formalize and implement a pragmatic approach that resolves a number of known challenges in XAI. By pairing the distribution of random variables with the appropriate reference class for a given explanation task, I illustrate through theory and experiments how user goals and knowledge can inform and constrain the solution set in an iterative fashion. The method compares favorably to state of the art XAI tools in a range of quantitative and qualitative comparisons. | 翻訳日:2021-06-21 17:47:57 公開日:2021-06-18 |
| # (参考訳) コンカレントゲームのための平衡設計 Equilibrium Design for Concurrent Games ( http://arxiv.org/abs/2106.10192v1 ) ライセンス: CC BY 4.0 | Julian Gutierrez, Muhammad Najib, Giuseppe Perelli, Michael Wooldridge | (参考訳) ゲーム理論において、メカニズム設計は、ゲームの望ましい結果を達成するためのインセンティブの設計に関係している。
本稿では,例えば,与えられた時相論理特性を満たす平衡が,我々が平衡設計と呼ぶ問題となるような,望ましい平衡が得られるようにインセンティブの設計について検討する。
本研究は,システム仕様を時間論理式として,ゲームを定量的に同時ゲーム構造として,プレイヤーのゴールを平均支払い目的として表現する枠組みに基づく。
特に、ltl と gr(1) の式で与えられるシステム仕様を検討し、与えられた時相論理特性がゲームのある/すべての nash 平衡で満たされることを保証するメカニズムを実装することは、そのような機構が存在する場合には、ltl 特性の pspace と gr(1) 仕様の np/$\sigma^{p}_{2}$ で行えることを示す。
また、解の最適性や一意性などの様々な関連する決定および最適化問題の複雑さについて検討し、これらの問題の複雑さが多項式階層内にあることを示す。
アプリケーションとして、均衡設計は、平均払い目標が存在しない同時ゲームの合理的な合成と検証の問題に対する代替ソリューションとして、あるいは可能な限り、望ましくない合理的結果(nash平衡)を持つ同時ゲームを最適な方法で修正するテクニックとして使用できる。 In game theory, mechanism design is concerned with the design of incentives so that a desired outcome of the game can be achieved. In this paper, we study the design of incentives so that a desirable equilibrium is obtained, for instance, an equilibrium satisfying a given temporal logic property -- a problem that we call equilibrium design. We base our study on a framework where system specifications are represented as temporal logic formulae, games as quantitative concurrent game structures, and players' goals as mean-payoff objectives. In particular, we consider system specifications given by LTL and GR(1) formulae, and show that implementing a mechanism to ensure that a given temporal logic property is satisfied on some/every Nash equilibrium of the game, whenever such a mechanism exists, can be done in PSPACE for LTL properties and in NP/$\Sigma^{P}_{2}$ for GR(1) specifications. We also study the complexity of various related decision and optimisation problems, such as optimality and uniqueness of solutions, and show that the complexities of all such problems lie within the polynomial hierarchy. As an application, equilibrium design can be used as an alternative solution to the rational synthesis and verification problems for concurrent games with mean-payoff objectives whenever no solution exists, or as a technique to repair, whenever possible, concurrent games with undesirable rational outcomes (Nash equilibria) in an optimal way. | 翻訳日:2021-06-21 17:24:27 公開日:2021-06-18 |
| # (参考訳) 交通事故の早期予測のための動的時空間注意ネットワーク A Dynamic Spatial-temporal Attention Network for Early Anticipation of Traffic Accidents ( http://arxiv.org/abs/2106.10197v1 ) ライセンス: CC BY 4.0 | Muhammad Monjurul Karim, Yu Li, Ruwen Qin, Zhaozheng Yin | (参考訳) 近年,高度運転支援システム(ADAS)を搭載した自動運転車が登場している。
人間ドライバーが運転する通常の車両と道路を共有している。
乗客や他の道路利用者の安全確保のためには、自動車やADASが自然運転シーンからの交通事故を予知することが不可欠である。
交通エージェントの動的時空間相互作用は複雑であり、将来の事故を予測する視覚的手がかりはダッシュカムビデオデータに深く埋め込まれている。
したがって、交通事故の早期予測は依然として課題である。
そこで本稿では,ダッシュカムビデオからの交通事故を早期に予測するための動的空間的注意(DSTA)ネットワークを提案する。
提案するDSTAネットワークは,動的テンポラルアテンション(DTA)と呼ばれるモジュールを用いて,ビデオシーケンスの識別時間セグメントを選択することを学習する。
また、動的空間注意(DSA)と呼ばれる別のモジュールを用いて、フレームの情報的空間領域に集中することを学ぶ。
事故の空間的・時間的関係の特徴と景観的特徴は, Gated Recurrent Unit (GRU) ネットワークと共同で学習される。
2つのベンチマークデータセットにおけるDSTAネットワークの実験的評価により、最先端の性能を上回ったことが確認された。
DSTAネットワークの個々のコンポーネントのコントリビューションを評価し、ネットワークがそのようなパフォーマンスを実現する方法を明らかにする。
さらに,2つの相補モデルから予測スコアを融合し,その効果を検証し,早期事故予測の性能をさらに高めるための新しい戦略を提案する。 Recently, autonomous vehicles and those equipped with an Advanced Driver Assistance System (ADAS) are emerging. They share the road with regular ones operated by human drivers entirely. To ensure guaranteed safety for passengers and other road users, it becomes essential for autonomous vehicles and ADAS to anticipate traffic accidents from natural driving scenes. The dynamic spatial-temporal interaction of the traffic agents is complex, and visual cues for predicting a future accident are embedded deeply in dashcam video data. Therefore, early anticipation of traffic accidents remains a challenge. To this end, the paper presents a dynamic spatial-temporal attention (DSTA) network for early anticipation of traffic accidents from dashcam videos. The proposed DSTA-network learns to select discriminative temporal segments of a video sequence with a module named Dynamic Temporal Attention (DTA). It also learns to focus on the informative spatial regions of frames with another module named Dynamic Spatial Attention (DSA). The spatial-temporal relational features of accidents, along with scene appearance features, are learned jointly with a Gated Recurrent Unit (GRU) network. The experimental evaluation of the DSTA-network on two benchmark datasets confirms that it has exceeded the state-of-the-art performance. A thorough ablation study evaluates the contributions of individual components of the DSTA-network, revealing how the network achieves such performance. Furthermore, this paper proposes a new strategy that fuses the prediction scores from two complementary models and verifies its effectiveness in further boosting the performance of early accident anticipation. | 翻訳日:2021-06-21 16:54:05 公開日:2021-06-18 |
| # (参考訳) bitfit: トランスフォーマーに基づくマスク言語モデルのパラメータ効率の簡単な微調整 BitFit: Simple Parameter-efficient Fine-tuning for Transformer-based Masked Language-models ( http://arxiv.org/abs/2106.10199v1 ) ライセンス: CC BY 4.0 | Elad Ben Zaken, Shauli Ravfogel, Yoav Goldberg | (参考訳) 我々は,小口径のトレーニングデータを用いて,事前学習したBERTモデルの偏差項(あるいは偏差項のサブセット)のみを微調整することは,モデル全体の微調整と競合する(時として優れている)ことを示す。
大きなデータの場合、バイアスのみの微調整は他のまばらな微調整法と競合する。
ファインタニングは、新しいタスク固有の言語知識を学ぶのではなく、言語モデリングトレーニングによって引き起こされる知識を公開することによるものであるという仮説を支持している。 We show that with small-to-medium training data, fine-tuning only the bias terms (or a subset of the bias terms) of pre-trained BERT models is competitive with (and sometimes better than) fine-tuning the entire model. For larger data, bias-only fine-tuning is competitive with other sparse fine-tuning methods. Besides their practical utility, these findings are relevant for the question of understanding the commonly-used process of finetuning: they support the hypothesis that finetuning is mainly about exposing knowledge induced by language-modeling training, rather than learning new task-specific linguistic knowledge. | 翻訳日:2021-06-21 16:37:15 公開日:2021-06-18 |
| # (参考訳) ミニバッチルール学習に関する研究 An Investigation into Mini-Batch Rule Learning ( http://arxiv.org/abs/2106.10202v1 ) ライセンス: CC BY 4.0 | Florian Beck and Johannes F\"urnkranz | (参考訳) 例のミニバッチに対する反復的改良を用いて,単一の隠蔽層を持つネットワーク構造において,ルールセットを効率的に学習できるかどうかを検討する。
最初のrudimentaryバージョンは、ripperのパフォーマンスレベルにはまだ達していないが、単一のデータセット以外すべてにおいて許容できるパフォーマンスを示している。 We investigate whether it is possible to learn rule sets efficiently in a network structure with a single hidden layer using iterative refinements over mini-batches of examples. A first rudimentary version shows an acceptable performance on all but one dataset, even though it does not yet reach the performance levels of Ripper. | 翻訳日:2021-06-21 16:27:16 公開日:2021-06-18 |
| # (参考訳) 非パラメトリックハミルトンモンテカルロ Nonparametric Hamiltonian Monte Carlo ( http://arxiv.org/abs/2106.10238v1 ) ライセンス: CC BY 4.0 | Carol Mak, Fabian Zaiser, Luke Ong | (参考訳) 確率的プログラミングはプログラムを用いて、後続確率が内蔵推論エンジンによって計算される生成モデルを表現する。
挑戦的なゴールは、普遍確率型プログラミング言語 (PPL) において任意のプログラムに対して最初から動作する汎用推論アルゴリズムを開発することである。
そのようなプログラムによって定義される密度は、確率分岐と再帰を用いても、無限次元パラメータ空間上のモデルに対応するという意味で(一般に)非パラメトリックである。
しかし、ハミルトニアンモンテカルロ(hmc)アルゴリズムのような標準的な推論アルゴリズムは、一定の数のパラメータを持つ対象分布である。
本稿では、HMCを非パラメトリックモデルに一般化する非パラメトリックハミルトンモンテカルロ(NP-HMC)アルゴリズムを提案する。
NP-HMCへの入力は「ツリー表現可能」と呼ばれる新しい可測関数のクラスであり、普遍的なPPLにおける確率プログラムの密度関数の言語に依存しない表現として機能する。
我々はNP-HMCの正当性証明を行い、いくつかの非パラメトリックな例において既存の手法よりも顕著な性能向上を実証的に示す。 Probabilistic programming uses programs to express generative models whose posterior probability is then computed by built-in inference engines. A challenging goal is to develop general purpose inference algorithms that work out-of-the-box for arbitrary programs in a universal probabilistic programming language (PPL). The densities defined by such programs, which may use stochastic branching and recursion, are (in general) nonparametric, in the sense that they correspond to models on an infinite-dimensional parameter space. However standard inference algorithms, such as the Hamiltonian Monte Carlo (HMC) algorithm, target distributions with a fixed number of parameters. This paper introduces the Nonparametric Hamiltonian Monte Carlo (NP-HMC) algorithm which generalises HMC to nonparametric models. Inputs to NP-HMC are a new class of measurable functions called "tree representable", which serve as a language-independent representation of the density functions of probabilistic programs in a universal PPL. We provide a correctness proof of NP-HMC, and empirically demonstrate significant performance improvements over existing approaches on several nonparametric examples. | 翻訳日:2021-06-21 16:24:09 公開日:2021-06-18 |
| # (参考訳) VSAC: HとFのための効率的かつ正確な推定器 VSAC: Efficient and Accurate Estimator for H and F ( http://arxiv.org/abs/2106.10240v1 ) ライセンス: CC BY 4.0 | Maksym Ivashechkin, Daniel Barath, Jiri Matas | (参考訳) RANSAC型ロバスト推定器であるVSACについて述べる。
これは、支配的な平面ハンドリングの有効性を大幅に改善する独立な不整合の概念の導入による恩恵であり、また、誤陽性のない不正確なモデルのほとんど誤りのない拒絶を可能にする。
ローカル最適化プロセスとそのアプリケーションは、平均1回だけ実行されるように改善されている。
さらなる技術的改善として、適応逐次仮説検証とガウス除去による効率的なモデル推定がある。
4つの標準データセットの実験によると、VSACは以前のすべてのデータセットよりも大幅に高速で、CPU上で平均1-2msで動作する。
現在最も正確な2次元幾何学推定器である MAGSAC++ と同等の精度で2桁高速である。
EVD、HPatches、PhotoTourism、Kusvod2データセットの繰り返し実行では、決して失敗しなかった。 We present VSAC, a RANSAC-type robust estimator with a number of novelties. It benefits from the introduction of the concept of independent inliers that improves significantly the efficacy of the dominant plane handling and, also, allows near error-free rejection of incorrect models, without false positives. The local optimization process and its application is improved so that it is run on average only once. Further technical improvements include adaptive sequential hypothesis verification and efficient model estimation via Gaussian elimination. Experiments on four standard datasets show that VSAC is significantly faster than all its predecessors and runs on average in 1-2 ms, on a CPU. It is two orders of magnitude faster and yet as precise as MAGSAC++, the currently most accurate estimator of two-view geometry. In the repeated runs on EVD, HPatches, PhotoTourism, and Kusvod2 datasets, it never failed. | 翻訳日:2021-06-21 16:22:48 公開日:2021-06-18 |
| # (参考訳) アクティブオフライン政策選択 Active Offline Policy Selection ( http://arxiv.org/abs/2106.10251v1 ) ライセンス: CC BY 4.0 | Ksenia Konyushkova, Yutian Chen, Thomas Paine, Caglar Gulcehre, Cosmin Paduraru, Daniel J Mankowitz, Misha Denil, Nando de Freitas | (参考訳) 本稿では,ログデータの多いドメインにおけるポリシ選択の問題に対処するが,インタラクション予算が非常に制限されている。
この問題を解決することで、産業、ロボティクス、医療分野などにおけるオフライン強化学習ポリシーの安全性評価と展開が可能になる。
ログデータのみを用いてポリシーの価値を評価するために,いくつかの外部評価手法が提案されている。
しかし,OPEによる評価と実環境におけるオンライン評価との間には,依然として大きなギャップがある。
このギャップを減らすために,ログデータとオンラインインタラクションの制限を組み合わさって最適なポリシーを識別する,新しい「emph{active offline policy selection}」問題定式化を導入する。
我々は評価開始を温めるためにOPEの進歩に頼っている。
我々は、限られた環境相互作用を賢明に活用するために、どのポリシーを評価するべきかを反復的に決定するためにベイズ最適化を構築する。
多くの候補ポリシーが提案できるため、私たちはアプローチをスケーラブルにし、ポリシー間の類似性をモデル化するためのカーネル機能を導入することに重点を置いています。
いくつかのベンチマーク環境を用いて,提案手法が最先端のOPE推定と,予算限定による完全オンライン政策評価を改善することを示す。
また,提案手法の各コンポーネントが重要であり,提案手法の様々な数と品質,さらには多数の候補政策においても有効であることを示す。 This paper addresses the problem of policy selection in domains with abundant logged data, but with a very restricted interaction budget. Solving this problem would enable safe evaluation and deployment of offline reinforcement learning policies in industry, robotics, and healthcare domain among others. Several off-policy evaluation (OPE) techniques have been proposed to assess the value of policies using only logged data. However, there is still a big gap between the evaluation by OPE and the full online evaluation in the real environment. To reduce this gap, we introduce a novel \emph{active offline policy selection} problem formulation, which combined logged data and limited online interactions to identify the best policy. We rely on the advances in OPE to warm start the evaluation. We build upon Bayesian optimization to iteratively decide which policies to evaluate in order to utilize the limited environment interactions wisely. Many candidate policies could be proposed, thus, we focus on making our approach scalable and introduce a kernel function to model similarity between policies. We use several benchmark environments to show that the proposed approach improves upon state-of-the-art OPE estimates and fully online policy evaluation with limited budget. Additionally, we show that each component of the proposed method is important, it works well with various number and quality of OPE estimates and even with a large number of candidate policies. | 翻訳日:2021-06-21 16:04:40 公開日:2021-06-18 |
| # (参考訳) 深層・浅層ルール学習に関する実証的研究 An Empirical Investigation into Deep and Shallow Rule Learning ( http://arxiv.org/abs/2106.10254v1 ) ライセンス: CC BY 4.0 | Florian Beck and Johannes F\"urnkranz | (参考訳) 帰納的ルール学習は、間違いなく機械学習の最も伝統的なパラダイムの1つです。
ルールに基づく理論の学習は長年にわたってかなりの進歩を遂げてきたが、すべての最先端学習者は依然として、入力特徴と対象概念を直接関連付ける記述を学んでいる。
最も単純な場合、概念学習(英語版)では、これは正のクラスの解離正規形(DNF)記述である。
すべての論理式を等価なDNF式に還元できるので、これは論理的な観点からは十分であることは間違いないが、しかしながら、中間概念を形成することによって深層理論を形成するより構造化された表現は、たとえ後者も普遍関数近似器であるとしても、深部ニューラルネットワークが浅部ネットワークより優れているのと全く同じ方法で学習し易い。
本稿では,経験的に深層ルール学習と浅部ルール学習を,グリージーなミニバッチに基づく最適化に依存する一様一般アルゴリズムと比較する。
人工および実世界のベンチマークデータを用いた実験は、深いルールネットワークが浅いネットワークより優れていることを示している。 Inductive rule learning is arguably among the most traditional paradigms in machine learning. Although we have seen considerable progress over the years in learning rule-based theories, all state-of-the-art learners still learn descriptions that directly relate the input features to the target concept. In the simplest case, concept learning, this is a disjunctive normal form (DNF) description of the positive class. While it is clear that this is sufficient from a logical point of view because every logical expression can be reduced to an equivalent DNF expression, it could nevertheless be the case that more structured representations, which form deep theories by forming intermediate concepts, could be easier to learn, in very much the same way as deep neural networks are able to outperform shallow networks, even though the latter are also universal function approximators. In this paper, we empirically compare deep and shallow rule learning with a uniform general algorithm, which relies on greedy mini-batch based optimization. Our experiments on both artificial and real-world benchmark data indicate that deep rule networks outperform shallow networks. | 翻訳日:2021-06-21 15:42:03 公開日:2021-06-18 |
| # (参考訳) 変圧器を用いた終端動作検出 End-to-end Temporal Action Detection with Transformer ( http://arxiv.org/abs/2106.10271v1 ) ライセンス: CC BY 4.0 | Xiaolong Liu, Qimeng Wang, Yao Hu, Xu Tang, Song Bai, Xiang Bai | (参考訳) 時間的アクション検出(TAD)は、ビデオ内のすべてのアクションインスタンスのセマンティックラベルとバウンダリを決定することを目的としている。
これはビデオ理解の基本的な課題であり、TADでは大きな進歩を遂げている。
従来の手法では、複数のステージ、ネットワーク、ハンドデザインのルールや操作が含まれており、効率や柔軟性に欠ける。
そこで我々は,TAD on Transformer のエンドツーエンドフレームワークである \textit{TadTR} を構築し,同時にすべてのアクションインスタンスをラベルと時間的位置のセットとして並列に予測する。
TadTRは、ビデオ内の複数のスニペットに選択的に参加することにより、アクション予測に必要な時間的コンテキスト情報を適応的に抽出することができる。
tadのパイプラインを大幅に単純化し、以前の検出器よりもはるかに高速に動作する。
本手法はhacsセグメントとthums14の最先端性能と activitynet-1.3 の競合性能を実現する。
私たちのコードは \url{https://github.com/xlliu7/TadTR} で利用可能になります。 Temporal action detection (TAD) aims to determine the semantic label and the boundaries of every action instance in an untrimmed video. It is a fundamental task in video understanding and significant progress has been made in TAD. Previous methods involve multiple stages or networks and hand-designed rules or operations, which fall short in efficiency and flexibility. Here, we construct an end-to-end framework for TAD upon Transformer, termed \textit{TadTR}, which simultaneously predicts all action instances as a set of labels and temporal locations in parallel. TadTR is able to adaptively extract temporal context information needed for making action predictions, by selectively attending to a number of snippets in a video. It greatly simplifies the pipeline of TAD and runs much faster than previous detectors. Our method achieves state-of-the-art performance on HACS Segments and THUMOS14 and competitive performance on ActivityNet-1.3. Our code will be made available at \url{https://github.com/xlliu7/TadTR}. | 翻訳日:2021-06-21 15:17:08 公開日:2021-06-18 |
| # (参考訳) リーマン凸ポテンシャル写像 Riemannian Convex Potential Maps ( http://arxiv.org/abs/2106.10272v1 ) ライセンス: CC BY 4.0 | Samuel Cohen, Brandon Amos, Yaron Lipman | (参考訳) リーマン多様体上のモデリング分布は、例えば物理学や地質学において生じる非ユークリッドデータを理解する上で重要な要素である。
この空間の分岐アプローチは、表現的および計算的トレードオフによって制限される。
我々はリーマンの最適輸送から凸ポテンシャルを用いた流れのクラスを提案し,研究する。
これらは普遍的であり、任意のコンパクトリーマン多様体上のモデル分布は、多様体の領域知識をアーキテクチャに統合する必要がない。
これらの流れは, 合成・地質データに基づいて, 球面上の標準分布やトーラスをモデル化できることを実証する。
私たちのソースコードはhttp://github.com/facebookresearch/rcpmで無料で利用できます。 Modeling distributions on Riemannian manifolds is a crucial component in understanding non-Euclidean data that arises, e.g., in physics and geology. The budding approaches in this space are limited by representational and computational tradeoffs. We propose and study a class of flows that uses convex potentials from Riemannian optimal transport. These are universal and can model distributions on any compact Riemannian manifold without requiring domain knowledge of the manifold to be integrated into the architecture. We demonstrate that these flows can model standard distributions on spheres, and tori, on synthetic and geological data. Our source code is freely available online at http://github.com/facebookresearch/rcpm | 翻訳日:2021-06-21 15:02:19 公開日:2021-06-18 |
| # GANの進化: 矛盾がコンプライアンスになるとき Evolving GANs: When Contradictions Turn into Compliance ( http://arxiv.org/abs/2106.09946v1 ) ライセンス: Link先を確認 | Sauptik Dhar, Javad Heydari, Samarth Tripathi, Unmesh Kurup, Mohak Shah | (参考訳) ラベル付きデータの可用性の制限は、教師付き学習問題を困難にする。
semi-supervisedやuniversum learningのような代替的な学習設定はラベル付きデータへの依存を緩和するが、それでも大量のラベル付きデータが必要である。
GANをベースとした合成データ生成手法は,手作業を改善するために合成サンプルを生成することで,最近約束されている。
しかし、これらのサンプルは他の用途には使用できない。
本稿では,限られたデータ設定下での判別精度を向上し,リアルな合成データを生成するganゲームを提案する。
これにより、生成したデータが他の類似したタスクに使用できるという利点が加わった。
我々は,我々のアプローチを支持するための理論的保証と実証結果を提供する。 Limited availability of labeled-data makes any supervised learning problem challenging. Alternative learning settings like semi-supervised and universum learning alleviate the dependency on labeled data, but still require a large amount of unlabeled data, which may be unavailable or expensive to acquire. GAN-based synthetic data generation methods have recently shown promise by generating synthetic samples to improve task at hand. However, these samples cannot be used for other purposes. In this paper, we propose a GAN game which provides improved discriminator accuracy under limited data settings, while generating realistic synthetic data. This provides the added advantage that now the generated data can be used for other similar tasks. We provide the theoretical guarantees and empirical results in support of our approach. | 翻訳日:2021-06-21 14:27:02 公開日:2021-06-18 |
| # 深層学習によるブラジル人の名前の性別予測 Predicting gender of Brazilian names using deep learning ( http://arxiv.org/abs/2106.10156v1 ) ライセンス: Link先を確認 | Rosana C. B. Rego, Ver\^onica M. L. Silva | (参考訳) 名前による性別の予測は簡単な作業ではありません。
多くのアプリケーション、特に自然言語処理(NLP)分野において、このタスクは、主に外国の名前を考える際に必要となる。
一部の機械学習アルゴリズムは、十分に予測を実行できる。
本稿では、MLP、RNN、GRU、CNN、BiLSTMなどのフィードフォワードおよびリカレントディープニューラルネットワークモデルを用いて、性別をファーストネームで分類し、実装した。
モデルのトレーニングと評価にはブラジル人の名前のデータセットが使用される。
モデルの性能を測定するために,精度,リコール,精度,混乱行列を分析した。
その結果,文字列集合として名前を見る特徴抽出戦略から性別予測が可能となった。
一部のモデルは、90%以上のケースで正確に性別を予測する。
繰り返しモデルはこのバイナリ分類問題においてフィードフォワードモデルを克服する。 Predicting gender by the name is not a simple task. In many applications, especially in the natural language processing (NLP) field, this task may be necessary, mainly when considering foreign names. Some machine learning algorithms can satisfactorily perform the prediction. In this paper, we examined and implemented feedforward and recurrent deep neural network models, such as MLP, RNN, GRU, CNN, and BiLSTM, to classify gender through the first name. A dataset of Brazilian names is used to train and evaluate the models. We analyzed the accuracy, recall, precision, and confusion matrix to measure the models' performances. The results indicate that the gender prediction can be performed from the feature extraction strategy looking at the names as a set of strings. Some models accurately predict the gender in more than 90% of the cases. The recurrent models overcome the feedforward models in this binary classification problem. | 翻訳日:2021-06-21 14:26:50 公開日:2021-06-18 |
| # 対照表現学習における負の役割の検討 Investigating the Role of Negatives in Contrastive Representation Learning ( http://arxiv.org/abs/2106.09943v1 ) ライセンス: Link先を確認 | Jordan T. Ash, Surbhi Goel, Akshay Krishnamurthy and Dipendra Misra | (参考訳) ノイズコントラスト学習は教師なし表現学習の一般的な手法である。
このアプローチでは,教師あり学習への還元により表現が得られ,意味的類似性の概念が与えられた学習者は,類似した(肯定的な)例をランダムな(否定的な)例のコレクションと区別しようとする。
現代のコントラスト学習パイプラインの成功は、データ拡張の選択、否定的な例の数、バッチサイズといった多くのパラメータに依存しているが、これらのパラメータが下流のパフォーマンスにどのように相互作用し影響するかについては、限定的な理解がある。
我々は、これらのパラメータの1つの役割の曖昧さ、すなわち負の例の数に焦点をあてる。
理論的には、衝突被覆トレードオフの存在が示され、データの下位概念の数に最適な負の例の数をスケールすべきことを示唆する。
実験では,NLPタスクと視覚タスクの両方において負の数の役割を精査する。
NLPタスクでは、結果が我々の理論と広く一致しているのに対し、我々の視覚実験はより悪質であり、性能は時々負の数に敏感である。
我々は,この行動の正当な説明を議論し,理論と実践をよりよく整えるための今後の方向性を提案する。 Noise contrastive learning is a popular technique for unsupervised representation learning. In this approach, a representation is obtained via reduction to supervised learning, where given a notion of semantic similarity, the learner tries to distinguish a similar (positive) example from a collection of random (negative) examples. The success of modern contrastive learning pipelines relies on many parameters such as the choice of data augmentation, the number of negative examples, and the batch size; however, there is limited understanding as to how these parameters interact and affect downstream performance. We focus on disambiguating the role of one of these parameters: the number of negative examples. Theoretically, we show the existence of a collision-coverage trade-off suggesting that the optimal number of negative examples should scale with the number of underlying concepts in the data. Empirically, we scrutinize the role of the number of negatives in both NLP and vision tasks. In the NLP task, we find that the results broadly agree with our theory, while our vision experiments are murkier with performance sometimes even being insensitive to the number of negatives. We discuss plausible explanations for this behavior and suggest future directions to better align theory and practice. | 翻訳日:2021-06-21 14:26:38 公開日:2021-06-18 |
| # 適応フィルタバンクによるグラフ畳み込みネットワーク内のメッセージパッシング Message Passing in Graph Convolution Networks via Adaptive Filter Banks ( http://arxiv.org/abs/2106.09910v1 ) ライセンス: Link先を確認 | Xing Gao, Wenrui Dai, Chenglin Li, Junni Zou, Hongkai Xiong, Pascal Frossard | (参考訳) グラフ畳み込みネットワーク、例えばメッセージパッシンググラフ畳み込みネットワーク(mpgcns)は、ネットワーク化されたデータの表現学習において強力なツールである。
しかし、データが不均一である場合、ほとんどのアーキテクチャはマルチチャネルグラフ信号を処理するために単一の戦略を採用するため、通常は低周波情報に焦点を当てる。
本稿では、メッセージパッシングモデルの利点を保ちながら、「低パス」機能を超えて機能を拡張する新しいグラフ畳み込み演算子 BankGCN を提案する。
グラフ上のマルチチャネル信号をサブスペースに分解し、適応フィルタで各サブスペース内の特定の情報を処理する。
すべての部分空間のフィルタは異なる周波数応答を持ち、一緒にフィルタバンクを形成する。
さらに、スペクトル領域内の各フィルタはメッセージパッシングスキームに対応し、フィルタバンクを介して多様なスキームを実装する。
重要なことに、フィルタバンクと信号分解を共同で学習し、データのスペクトル特性に適応させ、対象とする。
さらに、これは既存のMPGCNと比較してほとんど余分なパラメータなしで実装されている。
実験の結果,提案する畳み込み演算子は,ベンチマークグラフデータセットの集合において,グラフ分類において優れた性能を達成できることがわかった。 Graph convolution networks, like message passing graph convolution networks (MPGCNs), have been a powerful tool in representation learning of networked data. However, when data is heterogeneous, most architectures are limited as they employ a single strategy to handle multi-channel graph signals and they typically focus on low-frequency information. In this paper, we present a novel graph convolution operator, termed BankGCN, which keeps benefits of message passing models, but extends their capabilities beyond `low-pass' features. It decomposes multi-channel signals on graphs into subspaces and handles particular information in each subspace with an adapted filter. The filters of all subspaces have different frequency responses and together form a filter bank. Furthermore, each filter in the spectral domain corresponds to a message passing scheme, and diverse schemes are implemented via the filter bank. Importantly, the filter bank and the signal decomposition are jointly learned to adapt to the spectral characteristics of data and to target applications. Furthermore, this is implemented almost without extra parameters in comparison with most existing MPGCNs. Experimental results show that the proposed convolution operator permits to achieve excellent performance in graph classification on a collection of benchmark graph datasets. | 翻訳日:2021-06-21 14:26:20 公開日:2021-06-18 |
| # 深層学習理論の原理 The Principles of Deep Learning Theory ( http://arxiv.org/abs/2106.10165v1 ) ライセンス: Link先を確認 | Daniel A. Roberts, Sho Yaida, Boris Hanin | (参考訳) この本は、実践的妥当性の深いニューラルネットワークを理解するための効果的な理論アプローチを開発する。
まず,ネットワークの第一原理のコンポーネントレベル図から,階層間反復方程式と非線形学習ダイナミクスを解いて,トレーニングされたネットワークの出力の正確な記述を決定する方法について述べる。
主な結果は、ネットワークの予測がほぼガウシアン分布によって記述され、ネットワークの深さから幅へのアスペクト比が無限幅ガウシアン記述からのずれを制御する。
これらのネットワークがトレーニングから非自明な表現を学習し、非線形モデルにおける表現学習のメカニズムをより広く分析する方法について説明する。
ほぼカーネル・メソッドの観点から、基礎となる学習アルゴリズムに対するそのようなモデルの予測の依存は、単純で普遍的な方法で表現できることが分かる。
これらの結果を得るために,ネットワークを介した信号伝達を特徴付ける表現群フロー (rg flow) の概念を開発した。
ネットワークを臨界にチューニングすることにより,爆発・消滅勾配問題に対する実用的な解を与える。
さらに,rgフローが普遍的動作にどのようにつながるかを説明し,異なるアクティベーション関数から構築されたネットワークを普遍性クラスに分類する。
総じて、深さと幅の比は、訓練されたネットワークのアンサンブルの効果的なモデルの複雑さを制御していることを示す。
情報理論手法を用いることで,ネットワークが事実上最も有用であると期待する最適アスペクト比を推定し,このスケールを任意の深さまで押し上げるための残差接続をいかに活用できるかを示す。
これらのツールを使うことで、アーキテクチャ、ハイパーパラメータ、オプティマイザの帰納的バイアスについて詳細に学ぶことができます。 This book develops an effective theory approach to understanding deep neural networks of practical relevance. Beginning from a first-principles component-level picture of networks, we explain how to determine an accurate description of the output of trained networks by solving layer-to-layer iteration equations and nonlinear learning dynamics. A main result is that the predictions of networks are described by nearly-Gaussian distributions, with the depth-to-width aspect ratio of the network controlling the deviations from the infinite-width Gaussian description. We explain how these effectively-deep networks learn nontrivial representations from training and more broadly analyze the mechanism of representation learning for nonlinear models. From a nearly-kernel-methods perspective, we find that the dependence of such models' predictions on the underlying learning algorithm can be expressed in a simple and universal way. To obtain these results, we develop the notion of representation group flow (RG flow) to characterize the propagation of signals through the network. By tuning networks to criticality, we give a practical solution to the exploding and vanishing gradient problem. We further explain how RG flow leads to near-universal behavior and lets us categorize networks built from different activation functions into universality classes. Altogether, we show that the depth-to-width ratio governs the effective model complexity of the ensemble of trained networks. By using information-theoretic techniques, we estimate the optimal aspect ratio at which we expect the network to be practically most useful and show how residual connections can be used to push this scale to arbitrary depths. With these tools, we can learn in detail about the inductive bias of architectures, hyperparameters, and optimizers. | 翻訳日:2021-06-21 14:26:01 公開日:2021-06-18 |
| # MADE: 探索地域からの逸脱の最大化による探索 MADE: Exploration via Maximizing Deviation from Explored Regions ( http://arxiv.org/abs/2106.10268v1 ) ライセンス: Link先を確認 | Tianjun Zhang, Paria Rashidinejad, Jiantao Jiao, Yuandong Tian, Joseph Gonzalez, Stuart Russell | (参考訳) オンライン強化学習(RL)では、高次元環境における効率的な探索が特に困難である。
表型パラメータ化が可能となる低次元環境では、カウントベース上信頼境界(ucb)探索法が最小最適速度を達成する。
しかし, 非線形関数近似を含む現実的なRLタスクにおいて, UCBを効率的に実装する方法は不明である。
そこで本稿では,探索地域からの次の政策の占有率の偏りを,textit{maximizing}による新たな探索手法を提案する。
この用語を標準のrl目標に適応正規化子として加え、探索と搾取のバランスをとる。
我々は、新しい目的を証明可能な収束アルゴリズムと組み合わせ、既存のボーナスを調整する新しい本質的な報酬を生み出す。
提案する固有報酬は実装が容易であり、既存のRLアルゴリズムと組み合わせて探索を行う。
概念実証として,様々なモデルベースおよびモデルフリーなアルゴリズムにおいて,表例に対する新たな内在的な報酬を評価する。
MiniGridとDeepMind Control Suiteのベンチマークからナビゲーションおよび移動タスクをテストすると、我々の手法は最先端の手法よりもサンプル効率を大幅に改善する。
私たちのコードはhttps://github.com/tianjunz/madeで利用可能です。 In online reinforcement learning (RL), efficient exploration remains particularly challenging in high-dimensional environments with sparse rewards. In low-dimensional environments, where tabular parameterization is possible, count-based upper confidence bound (UCB) exploration methods achieve minimax near-optimal rates. However, it remains unclear how to efficiently implement UCB in realistic RL tasks that involve non-linear function approximation. To address this, we propose a new exploration approach via \textit{maximizing} the deviation of the occupancy of the next policy from the explored regions. We add this term as an adaptive regularizer to the standard RL objective to balance exploration vs. exploitation. We pair the new objective with a provably convergent algorithm, giving rise to a new intrinsic reward that adjusts existing bonuses. The proposed intrinsic reward is easy to implement and combine with other existing RL algorithms to conduct exploration. As a proof of concept, we evaluate the new intrinsic reward on tabular examples across a variety of model-based and model-free algorithms, showing improvements over count-only exploration strategies. When tested on navigation and locomotion tasks from MiniGrid and DeepMind Control Suite benchmarks, our approach significantly improves sample efficiency over state-of-the-art methods. Our code is available at https://github.com/tianjunz/MADE. | 翻訳日:2021-06-21 14:25:37 公開日:2021-06-18 |
| # smoothed multi-view subspace clustering Smoothed Multi-View Subspace Clustering ( http://arxiv.org/abs/2106.09875v1 ) ライセンス: Link先を確認 | Peng Chen, Liang Liu, Zhengrui Ma, Zhao Kang | (参考訳) 近年のマルチビューサブスペースクラスタリングは,複数のビューにまたがる補完的な情報の利用により,優れたパフォーマンスを達成している。
しかし、マルチビューデータは非常に複雑で、現実世界のアプリケーションでは簡単にクラスタ化できない。
ほとんどの既存手法は生データで動作し、最適解を得ることができない。
本研究では,SMVSC (S smoothed Multi-view subspace clustering) と呼ばれる新しいマルチビュークラスタリング手法を提案する。
具体的には、ローパスフィルタを適用してグラフ幾何学的特徴を保持する。
その結果、 ``clustering-friendly" 表現を生成し、ダウンストリームのクラスタリングタスクを大いに促進します。
ベンチマークデータセットに関する広範囲な実験は、我々のアプローチの優位性を検証する。
分析によると、グラフフィルタリングはクラスの分離性を高める。 In recent years, multi-view subspace clustering has achieved impressive performance due to the exploitation of complementary imformation across multiple views. However, multi-view data can be very complicated and are not easy to cluster in real-world applications. Most existing methods operate on raw data and may not obtain the optimal solution. In this work, we propose a novel multi-view clustering method named smoothed multi-view subspace clustering (SMVSC) by employing a novel technique, i.e., graph filtering, to obtain a smooth representation for each view, in which similar data points have similar feature values. Specifically, it retains the graph geometric features through applying a low-pass filter. Consequently, it produces a ``clustering-friendly" representation and greatly facilitates the downstream clustering task. Extensive experiments on benchmark datasets validate the superiority of our approach. Analysis shows that graph filtering increases the separability of classes. | 翻訳日:2021-06-21 14:25:00 公開日:2021-06-18 |
| # ViTのトレーニング方法?
視覚変換器のデータ・拡張・正規化 How to train your ViT? Data, Augmentation, and Regularization in Vision Transformers ( http://arxiv.org/abs/2106.10270v1 ) ライセンス: Link先を確認 | Andreas Steiner, Alexander Kolesnikov, Xiaohua Zhai, Ross Wightman, Jakob Uszkoreit, Lucas Beyer | (参考訳) 視覚変換器(ViT)は、画像分類、オブジェクト検出、セマンティックイメージセグメンテーションなど、幅広い視覚アプリケーションにおいて高い競争力を発揮することが示されている。
畳み込みニューラルネットワークと比較して、Vision Transformerのより弱いインダクティブバイアスは、より小さなトレーニングデータセットでのトレーニングにおいて、モデル正規化やデータ拡張(略して`AugReg'')への依存を増大させる。
我々は,トレーニングデータ量とaugreg,モデルサイズ,計算予算の相互作用をよりよく理解するために,系統的な実証研究を行う。
この研究の結果、計算量の増加とaugregの組み合わせは、より多くのトレーニングデータに基づいてトレーニングされたモデルと同じパフォーマンスのモデルが得られることがわかった:我々は、公開imagenet-21kデータセット上でさまざまなサイズのvitモデルをトレーニングします。 Vision Transformers (ViT) have been shown to attain highly competitive performance for a wide range of vision applications, such as image classification, object detection and semantic image segmentation. In comparison to convolutional neural networks, the Vision Transformer's weaker inductive bias is generally found to cause an increased reliance on model regularization or data augmentation (``AugReg'' for short) when training on smaller training datasets. We conduct a systematic empirical study in order to better understand the interplay between the amount of training data, AugReg, model size and compute budget. As one result of this study we find that the combination of increased compute and AugReg can yield models with the same performance as models trained on an order of magnitude more training data: we train ViT models of various sizes on the public ImageNet-21k dataset which either match or outperform their counterparts trained on the larger, but not publicly available JFT-300M dataset. | 翻訳日:2021-06-21 14:24:49 公開日:2021-06-18 |
| # クラスタリングフレンドリな表現に向けて:グラフフィルタリングによるサブスペースクラスタリング Towards Clustering-friendly Representations: Subspace Clustering via Graph Filtering ( http://arxiv.org/abs/2106.09874v1 ) ライセンス: Link先を確認 | Zhengrui Ma, Zhao Kang, Guangchun Luo, Ling Tian | (参考訳) 特定のタスクに適したデータ表現を見つけることは、多くのアプリケーションで重要であることが示されている。
サブスペースクラスタリングの成功は、データが異なるサブスペースに分離できるという仮定に依存する。
しかし、この単純な仮定は、生データは部分空間に分離できないため、常に成り立つわけではない。
クラスタリングフレンドリー'’表現を復元し,その後のクラスタリングを容易にするために,円滑な表現を実現するグラフフィルタリング手法を提案する。
具体的には、ローパスフィルタを適用してクラスタリングに有用なデータ表現を抽出することにより、グラフの類似性をデータ特徴に注入する。
画像および文書クラスタリングデータセットの大規模な実験により、我々の手法は最先端のサブスペースクラスタリング技術により改善されていることを示す。
特に、ディープラーニング手法と同等の性能は、多くの実世界のアプリケーションに対する単純なグラフフィルタリング方式の有効性を強調している。
アブレーション研究によれば、グラフフィルタリングはノイズを除去し、画像の構造を保存し、クラスの分離性を高めることができる。 Finding a suitable data representation for a specific task has been shown to be crucial in many applications. The success of subspace clustering depends on the assumption that the data can be separated into different subspaces. However, this simple assumption does not always hold since the raw data might not be separable into subspaces. To recover the ``clustering-friendly'' representation and facilitate the subsequent clustering, we propose a graph filtering approach by which a smooth representation is achieved. Specifically, it injects graph similarity into data features by applying a low-pass filter to extract useful data representations for clustering. Extensive experiments on image and document clustering datasets demonstrate that our method improves upon state-of-the-art subspace clustering techniques. Especially, its comparable performance with deep learning methods emphasizes the effectiveness of the simple graph filtering scheme for many real-world applications. An ablation study shows that graph filtering can remove noise, preserve structure in the image, and increase the separability of classes. | 翻訳日:2021-06-21 14:24:30 公開日:2021-06-18 |
| # クエリ変調によるオブジェクト検出とユーザインテント間のギャップのブリッジ Bridging the Gap Between Object Detection and User Intent via Query-Modulation ( http://arxiv.org/abs/2106.10258v1 ) ライセンス: Link先を確認 | Marco Fornoni, Chaochao Yan, Liangchen Luo, Kimberly Wilber, Alex Stark, Yin Cui, Boqing Gong, Andrew Howard | (参考訳) カメラや写真を通してオブジェクトと対話する場合、ユーザーは特定の意図を持つことが多い。
例えば、彼らはビジュアル検索を実行したいかもしれない。
しかし、ほとんどのオブジェクト検出モデルは、イメージピクセルのみを入力として、ユーザの意図を無視している。
これはしばしば、関心対象に対する高信頼度検出の欠如や、間違ったクラスラベルによる検出など、誤った結果につながる。
本稿では,単純なクエリの埋め込みとして表現されたユーザ意図を明示的に説明するために,標準オブジェクト検出器を変調する手法を検討する。
標準オブジェクト検出器と比較して、クエリ変調検出器は、特定のラベルのオブジェクトを検出するのに優れた性能を示す。
標準オブジェクト検出アノテーションから合成された大規模トレーニングデータのおかげで、クエリ修飾検出器は特別な参照表現認識システムを上回ることができる。
さらに、クエリ修飾検出と標準オブジェクト検出の両方を解決するために同時にトレーニングすることができる。 When interacting with objects through cameras, or pictures, users often have a specific intent. For example, they may want to perform a visual search. However, most object detection models ignore the user intent, relying on image pixels as their only input. This often leads to incorrect results, such as lack of a high-confidence detection on the object of interest, or detection with a wrong class label. In this paper we investigate techniques to modulate standard object detectors to explicitly account for the user intent, expressed as an embedding of a simple query. Compared to standard object detectors, query-modulated detectors show superior performance at detecting objects for a given label of interest. Thanks to large-scale training data synthesized from standard object detection annotations, query-modulated detectors can also outperform specialized referring expression recognition systems. Furthermore, they can be simultaneously trained to solve for both query-modulated detection and standard object detection. | 翻訳日:2021-06-21 14:24:16 公開日:2021-06-18 |
| # Residual Error: 対向ロバスト性のための新しいパフォーマンス尺度 Residual Error: a New Performance Measure for Adversarial Robustness ( http://arxiv.org/abs/2106.10212v1 ) ライセンス: Link先を確認 | Hossein Aboutalebi, Mohammad Javad Shafiee, Michelle Karg, Christian Scharfenberger, Alexander Wong | (参考訳) 過去10年間のディープラーニングの大きな進歩にもかかわらず、ディープラーニングの採用を広く制限する大きな課題は、敵の攻撃に対する脆弱さである。
逆摂動データの存在下で誤った予測を行うことに対するこの感度は、ディープニューラルネットワークを実際のミッションクリティカルな特定のアプリケーションに適用することが困難になる。
研究の焦点の多くは、敵の例の作成と敵の強固化に向けられているが、敵の強固さを評価するためのパフォーマンス対策の領域は十分に検討されていない。
本研究は, 個別サンプルレベルでの深部ニューラルネットワークの対角的堅牢性を評価するだけでなく, 対角的および非対角的事例を区別し, 対角的サンプル検出を容易にする新たな性能指標である残留誤差の概念を提示する。
さらに,残差誤差を扱いやすい方法で近似するハイブリッドモデルを提案する。
画像分類の事例を用いた実験により,複数のディープニューラルネットワークアーキテクチャを評価するための残差誤差指標の有効性と有効性が示された。
これらの結果から,提案手法は,ミッションクリティカルなシナリオで使用されるディープニューラルネットワークの堅牢性を評価するだけでなく,逆向きに頑健なモデルの設計にも有用である可能性が示唆された。 Despite the significant advances in deep learning over the past decade, a major challenge that limits the wide-spread adoption of deep learning has been their fragility to adversarial attacks. This sensitivity to making erroneous predictions in the presence of adversarially perturbed data makes deep neural networks difficult to adopt for certain real-world, mission-critical applications. While much of the research focus has revolved around adversarial example creation and adversarial hardening, the area of performance measures for assessing adversarial robustness is not well explored. Motivated by this, this study presents the concept of residual error, a new performance measure for not only assessing the adversarial robustness of a deep neural network at the individual sample level, but also can be used to differentiate between adversarial and non-adversarial examples to facilitate for adversarial example detection. Furthermore, we introduce a hybrid model for approximating the residual error in a tractable manner. Experimental results using the case of image classification demonstrates the effectiveness and efficacy of the proposed residual error metric for assessing several well-known deep neural network architectures. These results thus illustrate that the proposed measure could be a useful tool for not only assessing the robustness of deep neural networks used in mission-critical scenarios, but also in the design of adversarially robust models. | 翻訳日:2021-06-21 14:24:03 公開日:2021-06-18 |
| # 負データ拡張を用いたコントラスト学習による新規性検出 Novelty Detection via Contrastive Learning with Negative Data Augmentation ( http://arxiv.org/abs/2106.09958v1 ) ライセンス: Link先を確認 | Chengwei Chen, Yuan Xie, Shaohui Lin, Ruizhi Qiao, Jian Zhou, Xin Tan, Yi Zhang and Lizhuang Ma | (参考訳) ノベルティ検出は、クエリ例が学習したトレーニング分布と異なるかどうかを決定するプロセスである。
従来の手法では、gans(generative adversarial network)を介して正規サンプルの表現を学習しようとする。
しかし、不安定なトレーニング、モードダウン、差別能力の低下に悩まされる。
最近は、様々なプレテキストタスク(例)がある。
回転予測とクラスタリング)は、新規性検出における自己教師付き学習のために提案されている。
しかし、学習された潜伏的特徴はいまだに差別的ではない。
我々は,新しいデコーダエンコーダフレームワークを導入することで,この問題を克服する。
まず、生成ネットワーク(a.k.a.)。
decoder) 初期化潜在ベクトルをイメージにマッピングすることで表現を学習する。
特に、このベクトルはモード投下の問題を避けるためにトレーニングデータの分布全体を考慮して初期化される。
第2に、コントラストネットワーク(a.k.a.)。
encoder)は、相互情報推定を通じて'learn to compare'を目指しており、これは生成ネットワークが負のデータ拡張戦略を用いてより識別的な表現を得るのに役立つ。
広範な実験により,本モデルは最先端のノベルティ検出器よりも優れた性能を示し,新たなノベルティ検出ベンチマークで新たな最先端結果を得ることができた。
CIFAR10とDCASE。
さらに,本モデルは,他の逆方向の新規性検出法と比較して,非逆方向のトレーニングに安定である。 Novelty detection is the process of determining whether a query example differs from the learned training distribution. Previous methods attempt to learn the representation of the normal samples via generative adversarial networks (GANs). However, they will suffer from instability training, mode dropping, and low discriminative ability. Recently, various pretext tasks (e.g. rotation prediction and clustering) have been proposed for self-supervised learning in novelty detection. However, the learned latent features are still low discriminative. We overcome such problems by introducing a novel decoder-encoder framework. Firstly, a generative network (a.k.a. decoder) learns the representation by mapping the initialized latent vector to an image. In particular, this vector is initialized by considering the entire distribution of training data to avoid the problem of mode-dropping. Secondly, a contrastive network (a.k.a. encoder) aims to ``learn to compare'' through mutual information estimation, which directly helps the generative network to obtain a more discriminative representation by using a negative data augmentation strategy. Extensive experiments show that our model has significant superiority over cutting-edge novelty detectors and achieves new state-of-the-art results on some novelty detection benchmarks, e.g. CIFAR10 and DCASE. Moreover, our model is more stable for training in a non-adversarial manner, compared to other adversarial based novelty detection methods. | 翻訳日:2021-06-21 14:22:55 公開日:2021-06-18 |
| # 一般化ゲーム表現のコントラスト学習 Contrastive Learning of Generalized Game Representations ( http://arxiv.org/abs/2106.10060v1 ) ライセンス: Link先を確認 | Chintan Trivedi, Antonios Liapis and Georgios N. Yannakakis | (参考訳) ピクセルを通してゲームを表現することは、汎用的で汎用的なゲームモデルを構築するための有望なアプローチを提供する。
ゲームは単なる画像ではないが、ゲーム画素で訓練されたニューラルネットワークモデルは、ゲームの内容ではなく、画像の視覚的スタイルの違いをキャプチャすることが多い。
結果として、そのようなモデルは同じジャンルの類似ゲームでもうまく一般化できない。
本稿では,コントラスト学習の最近の進歩と,ゲームにおける表現学習の利点について述べる。
ゲームのイメージをコントラストする学習は、ゲームをより効率的に分類するだけでなく、視覚的なスタイルを無視してコンテンツに集中することによって、より意味のある方法でゲームを分離するモデルを生成する。
本研究は、175種類のゲームと10種類のゲームジャンルにまたがる10k画像を含むスポーツビデオゲームの大規模データセットを用いて,一般的なゲーム表現の学習に,従来の教師付き学習よりもコントラスト学習が適していることを示す。
本研究の成果は,再学習や微調整を必要とせず,未確認ゲーム間で再利用可能なゲーム用ユニバーサルビジュアルエンコーダに近づいた。 Representing games through their pixels offers a promising approach for building general-purpose and versatile game models. While games are not merely images, neural network models trained on game pixels often capture differences of the visual style of the image rather than the content of the game. As a result, such models cannot generalize well even within similar games of the same genre. In this paper we build on recent advances in contrastive learning and showcase its benefits for representation learning in games. Learning to contrast images of games not only classifies games in a more efficient manner; it also yields models that separate games in a more meaningful fashion by ignoring the visual style and focusing, instead, on their content. Our results in a large dataset of sports video games containing 100k images across 175 games and 10 game genres suggest that contrastive learning is better suited for learning generalized game representations compared to conventional supervised learning. The findings of this study bring us closer to universal visual encoders for games that can be reused across previously unseen games without requiring retraining or fine-tuning. | 翻訳日:2021-06-21 14:22:35 公開日:2021-06-18 |
| # 深層学習とデータ強化による産業溶接プロセスの故障検出に向けて Toward Fault Detection in Industrial Welding Processes with Deep Learning and Data Augmentation ( http://arxiv.org/abs/2106.10160v1 ) ライセンス: Link先を確認 | Jibinraj Antony, Dr. Florian Schlather, Georgij Safronov, Markus Schmitz, Prof. Dr. Kristof Van Laerhoven | (参考訳) コンピュータビジョンの分野におけるディープラーニングモデルの台頭により、産業プロセスにおける彼らの応用の新たな可能性が大きな利益をもたらすことが証明される。
それでも、高度に標準化された産業プロセスに対する機械学習の実際の適合性はまだ議論中である。
本稿では,レーザービーム溶接品質管理の事例を例として,AIツールの産業化における課題について考察する。
TensorFlowオブジェクト検出APIからオブジェクト検出アルゴリズムを使用し、転送学習を使用してユースケースに適応する。
ベースラインモデルはベンチマークとして使われ、データセットのスケーリングやハイパーパラメータチューニングを行うモデルと比較される。
画像拡張によるデータセットの適度なスケーリングは、ユニオン(IoU)とリコールの交差点の改善につながるが、高レベルの拡張とスケーリングは結果の劣化につながる可能性がある。
最後に、調査結果を基礎となるユースケースの視点に置き、その適合性を評価します。 With the rise of deep learning models in the field of computer vision, new possibilities for their application in industrial processes proves to return great benefits. Nevertheless, the actual fit of machine learning for highly standardised industrial processes is still under debate. This paper addresses the challenges on the industrial realization of the AI tools, considering the use case of Laser Beam Welding quality control as an example. We use object detection algorithms from the TensorFlow object detection API and adapt them to our use case using transfer learning. The baseline models we develop are used as benchmarks and evaluated and compared to models that undergo dataset scaling and hyperparameter tuning. We find that moderate scaling of the dataset via image augmentation leads to improvements in intersection over union (IoU) and recall, whereas high levels of augmentation and scaling may lead to deterioration of results. Finally, we put our results into perspective of the underlying use case and evaluate their fit. | 翻訳日:2021-06-21 14:22:18 公開日:2021-06-18 |
| # 境界表現を学習する粗大なインスタンス分割ネットワーク A Coarse-to-Fine Instance Segmentation Network with Learning Boundary Representation ( http://arxiv.org/abs/2106.10213v1 ) ライセンス: Link先を確認 | Feng Luo, Bin-Bin Gao, Jiangpeng Yan, Xiu Li | (参考訳) 境界ベースのインスタンスセグメンテーションは、その魅力的な効率性から多くの注目を集めている。
しかし,既存の手法では遠距離回帰が困難である。
本稿では,この問題に対処するための粗細モジュールを提案する。
粗い段階で近似境界点を生成し、その特徴をサンプリングして精巧な回帰器に供給して微妙な予測を行う。
モジュール内では差分サンプリング操作が十分にサポートされているため、エンドツーエンドでトレーニング可能である。
さらに,包括的境界認識ブランチを設計し,回帰を支援するためにインスタンス非依存の監督を導入する。
ResNet-101を組み込んだアプローチでは,COCOデータセット上の31.7\%マスクAPを単一スケールのトレーニングとテストで達成し,ベースラインの1.3\%マスクAPを1\%未満の追加パラメータとGFLOPで上回った。
また,提案手法は,軽量な設計と簡単なパイプラインを持つ既存の境界ベース手法と比較して,競争性能が向上することを示した。 Boundary-based instance segmentation has drawn much attention since of its attractive efficiency. However, existing methods suffer from the difficulty in long-distance regression. In this paper, we propose a coarse-to-fine module to address the problem. Approximate boundary points are generated at the coarse stage and then features of these points are sampled and fed to a refined regressor for fine prediction. It is end-to-end trainable since differential sampling operation is well supported in the module. Furthermore, we design a holistic boundary-aware branch and introduce instance-agnostic supervision to assist regression. Equipped with ResNet-101, our approach achieves 31.7\% mask AP on COCO dataset with single-scale training and testing, outperforming the baseline 1.3\% mask AP with less than 1\% additional parameters and GFLOPs. Experiments also show that our proposed method achieves competitive performance compared to existing boundary-based methods with a lightweight design and a simple pipeline. | 翻訳日:2021-06-21 14:22:02 公開日:2021-06-18 |
| # 政策データを用いたバッチ強化学習の複雑さについて On the Sample Complexity of Batch Reinforcement Learning with Policy-Induced Data ( http://arxiv.org/abs/2106.09973v1 ) ライセンス: Link先を確認 | Chenjun Xiao, Ilbin Lee, Bo Dai, Dale Schuurmans, Csaba Szepesvari | (参考訳) 有限マルコフ決定過程(MDP)において、学習に利用可能なデータが、基礎となるMDPを知らずに選択しなければならないロギングポリシーに従うことによって得られる場合、よい政策を学ぶためのサンプルの複雑さに関する根本的な疑問を考察する。
本研究の主目的は,計画的地平線$H$が有限である場合,適切な政策を得るために必要な最小限の遷移数であるサンプル複雑性が,関連する量の指数関数であることを示す。
In particular, we prove that the sample complexity of obtaining $\epsilon$-optimal policies is at least $\Omega(\mathrm{A}^{\min(\mathrm{S}-1, H+1)})$ for $\gamma$-discounted problems, where $\mathrm{S}$ is the number of states, $\mathrm{A}$ is the number of actions, and $H$ is the effective horizon defined as $H=\lfloor \tfrac{\ln(1/\epsilon)}{\ln(1/\gamma)} \rfloor$; and it is at least $\Omega(\mathrm{A}^{\min(\mathrm{S}-1, H)}/\varepsilon^2)$ for finite horizon problems, where $H$ is the planning horizon of the problem.
この下界は基本的に上界と一致する。
平均帰納的な設定では、有限のデータ量で$\epsilon$-optimalポリシーを見つけるアルゴリズムは存在しない。 We study the fundamental question of the sample complexity of learning a good policy in finite Markov decision processes (MDPs) when the data available for learning is obtained by following a logging policy that must be chosen without knowledge of the underlying MDP. Our main results show that the sample complexity, the minimum number of transitions necessary and sufficient to obtain a good policy, is an exponential function of the relevant quantities when the planning horizon $H$ is finite. In particular, we prove that the sample complexity of obtaining $\epsilon$-optimal policies is at least $\Omega(\mathrm{A}^{\min(\mathrm{S}-1, H+1)})$ for $\gamma$-discounted problems, where $\mathrm{S}$ is the number of states, $\mathrm{A}$ is the number of actions, and $H$ is the effective horizon defined as $H=\lfloor \tfrac{\ln(1/\epsilon)}{\ln(1/\gamma)} \rfloor$; and it is at least $\Omega(\mathrm{A}^{\min(\mathrm{S}-1, H)}/\varepsilon^2)$ for finite horizon problems, where $H$ is the planning horizon of the problem. This lower bound is essentially matched by an upper bound. For the average-reward setting we show that there is no algorithm finding $\epsilon$-optimal policies with a finite amount of data. | 翻訳日:2021-06-21 14:21:37 公開日:2021-06-18 |
| # 反復的特徴マッチング:対数環境を用いた証明可能なドメイン一般化に向けて Iterative Feature Matching: Toward Provable Domain Generalization with Logarithmic Environments ( http://arxiv.org/abs/2106.09913v1 ) ライセンス: Link先を確認 | Yining Chen, Elan Rosenfeld, Mark Sellke, Tengyu Ma, Andrej Risteski | (参考訳) ドメインの一般化は、限られた数のトレーニング環境からのデータで、目に見えないテスト環境でうまく機能することを目的としています。
この課題に対する提案アルゴリズムの急増にもかかわらず、その性能を評価することは理論的にも経験的にも依然として非常に困難である。
さらに、invariant risk minimization (irm) のような最近のアプローチでは、[rosenfeld et al., 2021] によって提案されたような単純なデータモデルでも、スプリアス特徴空間の次元に線形な、非常に多くのトレーニング環境が必要である。
このモデルの変種の下では、ERMとIRMの両方が$o(d_s)$環境では一般化できないことを示す。
次に,$o(\log{d_s})$環境のみを見た後に一般化する予測器を生成するために,高い確率で保証される反復的特徴マッチングを行う新しいアルゴリズムを提案する。 Domain generalization aims at performing well on unseen test environments with data from a limited number of training environments. Despite a proliferation of proposal algorithms for this task, assessing their performance, both theoretically and empirically is still very challenging. Moreover, recent approaches such as Invariant Risk Minimization (IRM) require a prohibitively large number of training environments - linear in the dimension of the spurious feature space $d_s$ - even on simple data models like the one proposed by [Rosenfeld et al., 2021]. Under a variant of this model, we show that both ERM and IRM cannot generalize with $o(d_s)$ environments. We then present a new algorithm based on performing iterative feature matching that is guaranteed with high probability to yield a predictor that generalizes after seeing only $O(\log{d_s})$ environments. | 翻訳日:2021-06-21 14:20:26 公開日:2021-06-18 |
| # カーネル平均埋め込みを用いた分布最適化の一考察 A Note on Optimizing Distributions using Kernel Mean Embeddings ( http://arxiv.org/abs/2106.09994v1 ) ライセンス: Link先を確認 | Boris Muzellec, Francis Bach, Alessandro Rudi | (参考訳) カーネル平均埋め込みは、その無限次元平均埋め込みによる確率測度を再生核ヒルベルト空間に表現する一般的なツールである。
カーネルが特徴的である場合、平均埋め込みは、最大平均不一致(MMD)と呼ばれる確率測度間の距離を定義するために用いられる。
平均埋め込みとMDDの利点は、計算コストが低く、サンプルの複雑さが低いことである。
しかし、ヒルベルト空間ベクトルが確率分布に対応するような特徴付けの難しさから、カーネルの平均埋め込みは分布を最適化する問題に限定的に応用されている。
本稿では Marteau-Ferey et al の正の関数の2乗和のパラメタライゼーションを活用することを提案する。
MMD幾何学における分布に適合する[2020]。
まず、カーネルが特徴的である場合、カーネルの総和密度を持つ分布は密度が高いことを示す。
次に, 有限サンプル設定におけるそのような分布を最適化するアルゴリズムを提案し, 密度適合数値実験で示す。 Kernel mean embeddings are a popular tool that consists in representing probability measures by their infinite-dimensional mean embeddings in a reproducing kernel Hilbert space. When the kernel is characteristic, mean embeddings can be used to define a distance between probability measures, known as the maximum mean discrepancy (MMD). A well-known advantage of mean embeddings and MMD is their low computational cost and low sample complexity. However, kernel mean embeddings have had limited applications to problems that consist in optimizing distributions, due to the difficulty of characterizing which Hilbert space vectors correspond to a probability distribution. In this note, we propose to leverage the kernel sums-of-squares parameterization of positive functions of Marteau-Ferey et al. [2020] to fit distributions in the MMD geometry. First, we show that when the kernel is characteristic, distributions with a kernel sum-of-squares density are dense. Then, we provide algorithms to optimize such distributions in the finite-sample setting, which we illustrate in a density fitting numerical experiment. | 翻訳日:2021-06-21 14:20:09 公開日:2021-06-18 |
| # 確率過程のコントラスト表現について On Contrastive Representations of Stochastic Processes ( http://arxiv.org/abs/2106.10052v1 ) ライセンス: Link先を確認 | Emile Mathieu, Adam Foster, Yee Whye Teh | (参考訳) 確率過程の学習は、メタラーニングから物理オブジェクトモデル、時系列に至るまで、機械学習における新たな問題である。
典型的な手法は、観測の正確な再構成に依存するが、高次元化やノイズ分布の複雑化に伴い、この手法は崩壊する。
そこで本稿では,確率過程のコントラスト表現(CRESP)を正確に再構築せずに学習するための統合フレームワークを提案する。
確率的プロセス表現の潜在的なユースケースを特定し,それぞれに対応する手法を提案する。
実験により,本手法は周期関数,3次元オブジェクト,動的プロセスの表現の学習に有効であることを示す。
提案手法は従来の手法よりもノイズの多い高次元観測を許容し,学習した表現を下流タスクに伝達する。 Learning representations of stochastic processes is an emerging problem in machine learning with applications from meta-learning to physical object models to time series. Typical methods rely on exact reconstruction of observations, but this approach breaks down as observations become high-dimensional or noise distributions become complex. To address this, we propose a unifying framework for learning contrastive representations of stochastic processes (CRESP) that does away with exact reconstruction. We dissect potential use cases for stochastic process representations, and propose methods that accommodate each. Empirically, we show that our methods are effective for learning representations of periodic functions, 3D objects and dynamical processes. Our methods tolerate noisy high-dimensional observations better than traditional approaches, and the learned representations transfer to a range of downstream tasks. | 翻訳日:2021-06-21 14:19:51 公開日:2021-06-18 |
| # 水平分割ラベルのための垂直的フェデレーション学習フレームワーク A Vertical Federated Learning Framework for Horizontally Partitioned Labels ( http://arxiv.org/abs/2106.10056v1 ) ライセンス: Link先を確認 | Wensheng Xia, Ying Li, Lan Zhang, Zhonghai Wu, Xiaoyong Yuan | (参考訳) 垂直フェデレーション学習は、垂直に分割されたデータに対して、プライバシ保護を備えたディープラーニングモデルをトレーニングするための、協調的な機械学習フレームワークである。
学界と産業の両方から注目を集めている。
残念ながら、既存の垂直連合学習手法を現実世界のアプリケーションに適用することは、2つの困難な課題に直面している。
第一に、既存のほとんどの垂直連合学習手法は、少なくとも一方が全てのデータサンプルのラベルの完全なセットを持っているという強い仮定を持ち、一方、この仮定は、ラベルが水平に分割され、当事者が部分的なラベルのみを保持する多くの現実的なシナリオでは満たされていない。
既存の垂直連合学習法は部分ラベルのみを利用することができ、エンドツーエンドのバックプロパゲーションにおいて不適切なモデル更新につながる可能性がある。
第二に、計算資源と通信資源は当事者によって異なる。
限られた計算資源と通信資源を持つ一部の当事者はストラグラーとなり、訓練の収束を遅らせる。
このようなストラグラー問題は、垂直連合学習における水平分割ラベルのシナリオにおいて誇張される。
そこで本研究では,水平分割ラベルを全て活用し,プライバシ保存型ニューラルネットワークのトレーニングを行うために,カスケード垂直フェデレーション学習(cvfl)と呼ばれる新しい垂直フェデレーション学習フレームワークを提案する。
トラグラー問題を緩和するために、トラグラーのトレーニングモデルへの寄与を増大させる新しい最適化目標を設計する。
我々はCVFLの有効性を厳格に検証するために,一連の定性的実験を行った。
CVFLは集中トレーニングで同等の性能(例えば分類タスクの精度)を達成できることが示されている。
新たな最適化目標は、トレーニング中に非同期集約機構のみを使用する場合と比較して、ストラグラー問題をさらに緩和することができる。 Vertical federated learning is a collaborative machine learning framework to train deep leaning models on vertically partitioned data with privacy-preservation. It attracts much attention both from academia and industry. Unfortunately, applying most existing vertical federated learning methods in real-world applications still faces two daunting challenges. First, most existing vertical federated learning methods have a strong assumption that at least one party holds the complete set of labels of all data samples, while this assumption is not satisfied in many practical scenarios, where labels are horizontally partitioned and the parties only hold partial labels. Existing vertical federated learning methods can only utilize partial labels, which may lead to inadequate model update in end-to-end backpropagation. Second, computational and communication resources vary in parties. Some parties with limited computational and communication resources will become the stragglers and slow down the convergence of training. Such straggler problem will be exaggerated in the scenarios of horizontally partitioned labels in vertical federated learning. To address these challenges, we propose a novel vertical federated learning framework named Cascade Vertical Federated Learning (CVFL) to fully utilize all horizontally partitioned labels to train neural networks with privacy-preservation. To mitigate the straggler problem, we design a novel optimization objective which can increase straggler's contribution to the trained models. We conduct a series of qualitative experiments to rigorously verify the effectiveness of CVFL. It is demonstrated that CVFL can achieve comparable performance (e.g., accuracy for classification tasks) with centralized training. The new optimization objective can further mitigate the straggler problem comparing with only using the asynchronous aggregation mechanism during training. | 翻訳日:2021-06-21 14:19:39 公開日:2021-06-18 |
| # ベイズニューラルネットワークを改良したビット周波数器 Being a Bit Frequentist Improves Bayesian Neural Networks ( http://arxiv.org/abs/2106.10065v1 ) ライセンス: Link先を確認 | Agustinus Kristiadi and Matthias Hein and Philipp Hennig | (参考訳) その説得力のある理論的性質にもかかわらず、ベイズニューラルネットワーク(BNN)は分類に基づく不確実性定量化(UQ)タスクにおいて、アウト・オブ・ディストリビューション(OOD)検出やデータセットシフトロバストネス(英語版)といった頻繁な手法よりもパフォーマンスが悪い傾向にある。
本研究は, 先行研究における実証的な知見に基づいて, いわゆる「OODトレーニング」におけるベイズ的手法の回避によるものであると仮定する。
これを検証するため,ベイズ推論にOODデータを組み込む4つの方法を探ることで,BNNトレーニングにおいてOODデータを第一級市民として扱う。
OODを訓練したBNNは,近年の頻繁なベースラインに劣らず,競争力があることを示す。
この研究はベイズ的および頻繁なUQにおける将来の研究の強力な基盤となる。 Despite their compelling theoretical properties, Bayesian neural networks (BNNs) tend to perform worse than frequentist methods in classification-based uncertainty quantification (UQ) tasks such as out-of-distribution (OOD) detection and dataset-shift robustness. In this work, based on empirical findings in prior works, we hypothesize that this issue is due to the avoidance of Bayesian methods in the so-called "OOD training" -- a family of techniques for incorporating OOD data during training process, which has since been an integral part of state-of-the-art frequentist UQ methods. To validate this, we treat OOD data as a first-class citizen in BNN training by exploring four different ways of incorporating OOD data in Bayesian inference. We show in extensive experiments that OOD-trained BNNs are competitive to, if not better than recent frequentist baselines. This work thus provides strong baselines for future work in both Bayesian and frequentist UQ. | 翻訳日:2021-06-21 14:19:09 公開日:2021-06-18 |
| # FLANタイム!
可読性のための特徴的潜在表現の要約 It's FLAN time! Summing feature-wise latent representations for interpretability ( http://arxiv.org/abs/2106.10086v1 ) ライセンス: Link先を確認 | An-phi Nguyen, Maria Rodriguez Martinez | (参考訳) 解釈可能性(interpretability)は、重要なシナリオにデプロイされる機械学習モデルに必要な機能である。
法制度 医療
これらの状況において、アルゴリズム的決定は、決定によって影響を受けるエンドユーザに(潜在的に負の)長期的影響をもたらす可能性がある。
多くの場合、深層学習モデルの表現力は必要ないため、単純で解釈可能なモデル(例)である。
線形モデル)が好まれるべきです。
しかし、高次元および/または複素領域では(例えば)。
コンピュータビジョン) ニューラルネットワークの普遍的な近似能力が必要である。
線形モデルとコルモゴロフ・アルノル表現定理に着想を得て,FLAN(Feature-wise Latent Additive Networks)と呼ばれる構造制約ニューラルネットワークの新たなクラスを提案する。
重要なことに、FLANは各入力特徴を個別に処理し、それぞれに共通の潜在空間の表現を演算する。
これらの特徴的潜在表現は単純に要約され、集約された表現は予測に使用される。
これらの制約(線形モデルの解釈可能性の核心にある)により、ユーザーは個々の特徴を他の特徴とは独立に評価し、解釈可能性を高めることができる。
異なる領域にわたる一連の実験において、テスト性能を過度に損なうことなく、FLANで提案される構造的制約がディープラーニングモデルの解釈可能性を高めることを示す。 Interpretability has become a necessary feature for machine learning models deployed in critical scenarios, e.g. legal systems, healthcare. In these situations, algorithmic decisions may have (potentially negative) long-lasting effects on the end-user affected by the decision. In many cases, the representational power of deep learning models is not needed, therefore simple and interpretable models (e.g. linear models) should be preferred. However, in high-dimensional and/or complex domains (e.g. computer vision), the universal approximation capabilities of neural networks is required. Inspired by linear models and the Kolmogorov-Arnol representation theorem, we propose a novel class of structurally-constrained neural networks, which we call FLANs (Feature-wise Latent Additive Networks). Crucially, FLANs process each input feature separately, computing for each of them a representation in a common latent space. These feature-wise latent representations are then simply summed, and the aggregated representation is used for prediction. These constraints (which are at the core of the interpretability of linear models) allow an user to estimate the effect of each individual feature independently from the others, enhancing interpretability. In a set of experiments across different domains, we show how without compromising excessively the test performance, the structural constraints proposed in FLANs indeed increase the interpretability of deep learning models. | 翻訳日:2021-06-21 14:18:53 公開日:2021-06-18 |
| # ScoreGrad:連続エネルギーベース生成モデルによる多変量確率時系列予測 ScoreGrad: Multivariate Probabilistic Time Series Forecasting with Continuous Energy-based Generative Models ( http://arxiv.org/abs/2106.10121v1 ) ライセンス: Link先を確認 | Tijin Yan, Hongwei Zhang, Tong Zhou, Yufeng Zhan, Yuanqing Xia | (参考訳) 多変量時系列予測は、インテリジェンストランスポートやAIOpsといった幅広い応用のために、多くの注目を集めている。
生成モデルは、データ分布をモデル化し、ノイズを考慮に入れることができるため、時系列モデリングにおいて素晴らしい結果を得た。
しかし、多くの既存の作品は、関数型生成モデルの制約やハイパーパラメータに対する感度のために広く利用できない。
本稿では,連続エネルギーに基づく生成モデルに基づく多変量確率時系列予測フレームワークである scoregrad を提案する。
ScoreGradは時系列特徴抽出モジュールと条件確率微分方程式に基づくスコアマッチングモジュールで構成される。
この予測は、逆時間SDEを反復的に解くことで実現できる。
我々の知る限りでは、ScoreGradは時系列予測に使用される最初の連続エネルギーベース生成モデルである。
さらに、ScoreGradは6つの実世界のデータセットで最先端の結果を達成する。
ハイパーパラメータとサンプルタイプがパフォーマンスに与える影響についても検討した。
コードはhttps://github.com/yantijin/scoregradpredで入手できる。 Multivariate time series prediction has attracted a lot of attention because of its wide applications such as intelligence transportation, AIOps. Generative models have achieved impressive results in time series modeling because they can model data distribution and take noise into consideration. However, many existing works can not be widely used because of the constraints of functional form of generative models or the sensitivity to hyperparameters. In this paper, we propose ScoreGrad, a multivariate probabilistic time series forecasting framework based on continuous energy-based generative models. ScoreGrad is composed of time series feature extraction module and conditional stochastic differential equation based score matching module. The prediction can be achieved by iteratively solving reverse-time SDE. To the best of our knowledge, ScoreGrad is the first continuous energy based generative model used for time series forecasting. Furthermore, ScoreGrad achieves state-of-the-art results on six real-world datasets. The impact of hyperparameters and sampler types on the performance are also explored. Code is available at https://github.com/yantijin/ScoreGradPred. | 翻訳日:2021-06-21 14:18:33 公開日:2021-06-18 |
| # 準分離ガウス過程に対する擬点と状態空間近似の組み合わせ Combining Pseudo-Point and State Space Approximations for Sum-Separable Gaussian Processes ( http://arxiv.org/abs/2106.10210v1 ) ライセンス: Link先を確認 | Will Tebbutt and Arno Solin and Richard E. Turner | (参考訳) ガウス過程(GP)は、気候科学や疫学などの時空間モデリング問題における推論と学習のための重要な確率論的ツールである。
しかし、既存のGP近似は、多くの応用の目印となる多くのオフザグリッド空間データポイントと長い時系列を同時にサポートしていない。
GPを大規模データセットにスケーリングするための金本位法の一つである擬似点近似は、オフザグリッド空間データを扱うのに適している。
しかし、時間次元の立方体計算スケーリングに効果的に回帰する長い時空観測地平線を扱うことができない。
状態空間 gp 近似は時間的データを扱うのに適しており、時間的 gp が事前にマルコフ形式を認めている場合、時間的観測の回数が線形に複雑になるが、立方体空間コストを持ち、格子外空間データを扱うことができない。
本研究では、擬似点法と状態空間GP近似フレームワークを組み合わせ、両世界の長所を得るためのシンプルでエレガントな方法が存在することを示す。
このアプローチは、時空分離可能なGPに適用される驚くべき条件付き独立性に基づいている。
組み合わせたアプローチは,いずれの手法よりも拡張性が高く,時空間問題にも適用可能であることを実証的に実証した。 Gaussian processes (GPs) are important probabilistic tools for inference and learning in spatio-temporal modelling problems such as those in climate science and epidemiology. However, existing GP approximations do not simultaneously support large numbers of off-the-grid spatial data-points and long time-series which is a hallmark of many applications. Pseudo-point approximations, one of the gold-standard methods for scaling GPs to large data sets, are well suited for handling off-the-grid spatial data. However, they cannot handle long temporal observation horizons effectively reverting to cubic computational scaling in the time dimension. State space GP approximations are well suited to handling temporal data, if the temporal GP prior admits a Markov form, leading to linear complexity in the number of temporal observations, but have a cubic spatial cost and cannot handle off-the-grid spatial data. In this work we show that there is a simple and elegant way to combine pseudo-point methods with the state space GP approximation framework to get the best of both worlds. The approach hinges on a surprising conditional independence property which applies to space--time separable GPs. We demonstrate empirically that the combined approach is more scalable and applicable to a greater range of spatio-temporal problems than either method on its own. | 翻訳日:2021-06-21 14:18:22 公開日:2021-06-18 |
| # DNNの確率的表現:相互情報のブリッジと一般化 A Probabilistic Representation of DNNs: Bridging Mutual Information and Generalization ( http://arxiv.org/abs/2106.10262v1 ) ライセンス: Link先を確認 | Xinjie Lan, Kenneth Barner | (参考訳) 近年,Deep Neural Networks (DNN) の一般化誤差のバウンダリングにおいて,相互情報(MI)が注目されている。
しかし、DNNにおけるMIを正確に推定することは困難であり、従って、これまでのほとんどの研究はMI境界を緩和し、一般化のための情報理論的な説明を弱める必要がある。
そこで本研究では,MIを正確に推定するためのDNNの確率的表現を提案する。
提案するmi推定器を用いて,一般化のための情報理論的な説明を検証し,最先端の緩和よりも厳密な一般化を導出する。 Recently, Mutual Information (MI) has attracted attention in bounding the generalization error of Deep Neural Networks (DNNs). However, it is intractable to accurately estimate the MI in DNNs, thus most previous works have to relax the MI bound, which in turn weakens the information theoretic explanation for generalization. To address the limitation, this paper introduces a probabilistic representation of DNNs for accurately estimating the MI. Leveraging the proposed MI estimator, we validate the information theoretic explanation for generalization, and derive a tighter generalization bound than the state-of-the-art relaxations. | 翻訳日:2021-06-21 14:18:02 公開日:2021-06-18 |
| # GEM:マルチモーダルタスクの一般的な評価ベンチマーク GEM: A General Evaluation Benchmark for Multimodal Tasks ( http://arxiv.org/abs/2106.09889v1 ) ライセンス: Link先を確認 | Lin Su and Nan Duan and Edward Cui and Lei Ji and Chenfei Wu and Huaishao Luo and Yongfei Liu and Ming Zhong and Taroon Bharti and Arun Sacheti | (参考訳) 本稿では,GEMをマルチモーダルタスクの総合評価ベンチマークとして提示する。
自然言語タスクに重点を置いているGLUE、SuperGLUE、XGLUE、XTREMEといった既存のデータセットとは異なり、GEMは画像言語タスクのGEM-Iとビデオ言語タスクのGEM-Vで構成される大規模なビジョンベンチマークである。
MSCOCOやFlicker30Kといった既存の画像言語タスクのマルチモーダルデータセット、ビデオ言語タスクのYouCook2やMSR-VTTと比較すると、GEMは画像言語タスクとビデオ言語タスクを同時にカバーする最大のビジョン言語データセットであるだけでなく、複数の言語でラベル付けされている。
このベンチマークには2つのベースラインモデルも提供しています。
我々は,多言語マルチモーダル研究の発展を目指して,データセット,コード,ベースラインモデルをリリースする。 In this paper, we present GEM as a General Evaluation benchmark for Multimodal tasks. Different from existing datasets such as GLUE, SuperGLUE, XGLUE and XTREME that mainly focus on natural language tasks, GEM is a large-scale vision-language benchmark, which consists of GEM-I for image-language tasks and GEM-V for video-language tasks. Comparing with existing multimodal datasets such as MSCOCO and Flicker30K for image-language tasks, YouCook2 and MSR-VTT for video-language tasks, GEM is not only the largest vision-language dataset covering image-language tasks and video-language tasks at the same time, but also labeled in multiple languages. We also provide two baseline models for this benchmark. We will release the dataset, code and baseline models, aiming to advance the development of multilingual multimodal research. | 翻訳日:2021-06-21 14:17:50 公開日:2021-06-18 |
| # 自己ラベルと自己アテンションによる一元的対人ネットワークトレーニング A Unified Generative Adversarial Network Training via Self-Labeling and Self-Attention ( http://arxiv.org/abs/2106.09914v1 ) ライセンス: Link先を確認 | Tomoki Watanabe, Paolo Favaro | (参考訳) 本稿では,任意のレベルのラベリングを統一的に処理できる新しいGANトレーニング手法を提案する。
提案手法では,手動で定義したラベルを組み込んだ人工ラベリングを導入し,それらのアライメントを誘導する。
人工ラベルを定義するために、ニューラルネットワークジェネレータは、複数のカテゴリにまたがるよりも、近隣の潜在ベクトルをセマンティックな類似性のあるデータにマッピングするために、より容易に訓練できるという仮定を利用する。
生成されたデータサンプルとその対応する人工条件ラベルを用いて分類器を訓練する。
分類器は、実データを自己ラベルするために使用される。
自己ラベルの精度を高めるために,分類器の指数移動平均を用いる。
しかし,分類器がまだ誤りを犯す可能性があるため,分類器が高い分類確率スコアを出力した場合のみ,実データサンプルのラベル付けを使用することで,自己注意によるラベルの洗練を図る。
我々は, CIFAR-10, STL-10, SVHNに対するアプローチを評価し, 自己ラベルと自己アテンションの両方が生成データの品質を継続的に向上することを示す。
さらに驚くべきことに、提案手法はクラス条件のGANよりも優れている。 We propose a novel GAN training scheme that can handle any level of labeling in a unified manner. Our scheme introduces a form of artificial labeling that can incorporate manually defined labels, when available, and induce an alignment between them. To define the artificial labels, we exploit the assumption that neural network generators can be trained more easily to map nearby latent vectors to data with semantic similarities, than across separate categories. We use generated data samples and their corresponding artificial conditioning labels to train a classifier. The classifier is then used to self-label real data. To boost the accuracy of the self-labeling, we also use the exponential moving average of the classifier. However, because the classifier might still make mistakes, especially at the beginning of the training, we also refine the labels through self-attention, by using the labeling of real data samples only when the classifier outputs a high classification probability score. We evaluate our approach on CIFAR-10, STL-10 and SVHN, and show that both self-labeling and self-attention consistently improve the quality of generated data. More surprisingly, we find that the proposed scheme can even outperform class-conditional GANs. | 翻訳日:2021-06-21 14:17:15 公開日:2021-06-18 |
| # 共同解体・復調のための残留コントラスト学習 Residual Contrastive Learning for Joint Demosaicking and Denoising ( http://arxiv.org/abs/2106.10070v1 ) ライセンス: Link先を確認 | Nanqing Dong, Matteo Maggioni, Yongxin Yang, Eduardo P\'erez-Pellitero, Ales Leonardis, Steven McDonagh | (参考訳) 対照的学習(CL)のブレークスルーにより、RGB画像上の高レベル視覚タスクにおいて、自己教師付き学習(SSL)が最近成功している。
しかし、CLはRAWドメインのJDD(Joint Demosaicking and Denoising)のような低レベルの視覚タスクでは未定義である。
本稿では,この手法のギャップを埋めるために,RAW画像に対する新しいCLアプローチ,Ressent contrastive Learning (RCL)を提案する。
本研究は,各RAW画像に含まれるノイズが信号依存的であることを前提として,同一RAW画像の2つの作物は異なるRAW画像の2つの作物よりも類似したノイズ分布を持つべきである。
識別的特徴として残差を用い, コントラスト損失の分布の発散を測定するために, 地球移動者の距離を計測した。
提案したCL戦略を評価するために,合成信号依存ノイズによる大規模データによる教師なしJDD実験をシミュレーションし,未知(ランダム)ノイズ分散を伴う教師なしJDDタスクの新しいベンチマークを設定した。
実験では,cl が分布 (c.f.) に適用可能であることを検証した。
また、ノイズの統計が不明な場合には、従来の非MLおよびSSL JDDメソッドの堅牢性の欠如が露呈し、信号依存ノイズ問題に関するさらなる洞察を提供する。 The breakthrough of contrastive learning (CL) has fueled the recent success of self-supervised learning (SSL) in high-level vision tasks on RGB images. However, CL is still ill-defined for low-level vision tasks, such as joint demosaicking and denoising (JDD), in the RAW domain. To bridge this methodological gap, we present a novel CL approach on RAW images, residual contrastive learning (RCL), which aims to learn meaningful representations for JDD. Our work is built on the assumption that noise contained in each RAW image is signal-dependent, thus two crops from the same RAW image should have more similar noise distribution than two crops from different RAW images. We use residuals as a discriminative feature and the earth mover's distance to measure the distribution divergence for the contrastive loss. To evaluate the proposed CL strategy, we simulate a series of unsupervised JDD experiments with large-scale data corrupted by synthetic signal-dependent noise, where we set a new benchmark for unsupervised JDD tasks with unknown (random) noise variance. Our empirical study not only validates that CL can be applied on distributions (c.f. features), but also exposes the lack of robustness of previous non-ML and SSL JDD methods when the statistics of the noise are unknown, thus providing some further insight into signal-dependent noise problems. | 翻訳日:2021-06-21 14:16:53 公開日:2021-06-18 |
| # 等変ニューラルネットワークのための安定部分微分演算子 Steerable Partial Differential Operators for Equivariant Neural Networks ( http://arxiv.org/abs/2106.10163v1 ) ライセンス: Link先を確認 | Erik Jenner, Maurice Weiler | (参考訳) 最近の同変深層学習の研究は物理学と強い類似性を持っている。
基底空間上の体は、これらの体の間の同変写像と同様に、両方の体の基本体である。
しかし深層学習では、これらの写像は通常核との畳み込みによって定義されるが、物理学では偏微分作用素 (pdos) である。
深層学習の文脈における同変PDOの理論の発展は、これらの主題をさらに密集させ、より強力なアイデアの流れをもたらす可能性がある。
本研究では、任意の対称性群に対して、特徴ベクトル場間のPDOが同変であるときに完全に特徴付ける$G$-ステアビリティ制約を導出する。
そして、この制約をいくつかの重要な群に対して完全に解決する。
畳み込み層の等価なドロップイン置換としてソリューションを使用し、その役割でそれらをベンチマークします。
最後に、古典的畳み込みと微分作用素を統合するシュワルツ分布に基づく同変写像の枠組みを開発し、両者の関係について洞察を与える。 Recent work in equivariant deep learning bears strong similarities to physics. Fields over a base space are fundamental entities in both subjects, as are equivariant maps between these fields. In deep learning, however, these maps are usually defined by convolutions with a kernel, whereas they are partial differential operators (PDOs) in physics. Developing the theory of equivariant PDOs in the context of deep learning could bring these subjects even closer together and lead to a stronger flow of ideas. In this work, we derive a $G$-steerability constraint that completely characterizes when a PDO between feature vector fields is equivariant, for arbitrary symmetry groups $G$. We then fully solve this constraint for several important groups. We use our solutions as equivariant drop-in replacements for convolutional layers and benchmark them in that role. Finally, we develop a framework for equivariant maps based on Schwartz distributions that unifies classical convolutions and differential operators and gives insight about the relation between the two. | 翻訳日:2021-06-21 14:16:31 公開日:2021-06-18 |
| # 気晴らし-ロバストアクティブビジュアルトラッキングに向けて Towards Distraction-Robust Active Visual Tracking ( http://arxiv.org/abs/2106.10110v1 ) ライセンス: Link先を確認 | Fangwei Zhong, Peng Sun, Wenhan Luo, Tingyun Yan, Yizhou Wang | (参考訳) アクティブな視覚的トラッキングでは、物体を邪魔するときには、標的を隠蔽したり、混乱させた外観をもたらすことで、しばしばトラッカーを誤解させるため、悪名高い。
この問題に対処するために、ターゲットと複数のトラッカーが協調チームを形成してトラッカーと対戦し、追従に失敗する複合協調競争型マルチエージェントゲームを提案する。
私たちのゲームで学習することで、邪魔者の様々な注意をそらす行動が自然に現れて、トラッカーの弱点を露呈し、トラッカーの注意をそらすようにします。
効果的な学習には,障害に対する報奨関数,教師-学生間の学習戦略,トラッカーに対する繰り返し注意機構など,多くの実践的な方法が提示される。
実験の結果,トラッカは所望の注意をそそるアクティブなビジュアルトラッキングを行い,未発見の環境に広く適用できることがわかった。
また,マルチエージェントゲームを用いてトラッカーのロバスト性を逆向きにテストできることも示す。 In active visual tracking, it is notoriously difficult when distracting objects appear, as distractors often mislead the tracker by occluding the target or bringing a confusing appearance. To address this issue, we propose a mixed cooperative-competitive multi-agent game, where a target and multiple distractors form a collaborative team to play against a tracker and make it fail to follow. Through learning in our game, diverse distracting behaviors of the distractors naturally emerge, thereby exposing the tracker's weakness, which helps enhance the distraction-robustness of the tracker. For effective learning, we then present a bunch of practical methods, including a reward function for distractors, a cross-modal teacher-student learning strategy, and a recurrent attention mechanism for the tracker. The experimental results show that our tracker performs desired distraction-robust active visual tracking and can be well generalized to unseen environments. We also show that the multi-agent game can be used to adversarially test the robustness of trackers. | 翻訳日:2021-06-21 14:16:14 公開日:2021-06-18 |
| # 悪質なキャラクター: 受け入れ難いNLP攻撃 Bad Characters: Imperceptible NLP Attacks ( http://arxiv.org/abs/2106.09898v1 ) ライセンス: Link先を確認 | Nicholas Boucher, Ilia Shumailov, Ross Anderson, Nicolas Papernot | (参考訳) 機械学習システムは、理論と実際の両方において、敵の例に弱いことが数年間の研究で示されている。
これまでこのような攻撃は主に視覚モデルをターゲットにしており、人間と機械の知覚のギャップを生かしてきた。
テキストベースのモデルも敵の例で攻撃されているが、このような攻撃は意味的意味と区別不能を保つのに苦労した。
本稿では,テキストベースのモデルをブラックボックス設定で攻撃するために,入力に視覚的な修正を加えることなく,多数の敵の例を探索する。
我々は,人間の目には知覚できない符号化固有摂動を用いて,ニューラルネットワーク翻訳パイプラインからweb検索エンジンまで,幅広い自然言語処理(nlp)システムの出力を操作する。
単一の認識不能なエンコーディングインジェクション(1つの見えない文字、ホモグリフ、リオーダー、削除を表す)では、攻撃者は脆弱なモデルの性能を著しく低下させ、ほとんどのモデルが機能的に壊れる可能性がある。
当社の攻撃は、現在デプロイされている商用システムに対するもので、MicrosoftやGoogleが製造したものだけでなく、FacebookやIBMが公開したオープンソースモデルも対象です。
この新たな攻撃は、多くの言語処理システムに重大な脅威をもたらす。攻撃者は、基盤となるモデルについて仮定することなく、ターゲットとする方法でシステムに影響を与えることができる。
我々は,テキストベースのNLPシステムでは,従来のアプリケーションと同じように注意深い入力衛生化が必要であり,そのようなシステムが大規模に迅速に展開されているため,アーキテクトやオペレーターの緊急注意が必要であると結論付けた。 Several years of research have shown that machine-learning systems are vulnerable to adversarial examples, both in theory and in practice. Until now, such attacks have primarily targeted visual models, exploiting the gap between human and machine perception. Although text-based models have also been attacked with adversarial examples, such attacks struggled to preserve semantic meaning and indistinguishability. In this paper, we explore a large class of adversarial examples that can be used to attack text-based models in a black-box setting without making any human-perceptible visual modification to inputs. We use encoding-specific perturbations that are imperceptible to the human eye to manipulate the outputs of a wide range of Natural Language Processing (NLP) systems from neural machine-translation pipelines to web search engines. We find that with a single imperceptible encoding injection -- representing one invisible character, homoglyph, reordering, or deletion -- an attacker can significantly reduce the performance of vulnerable models, and with three injections most models can be functionally broken. Our attacks work against currently-deployed commercial systems, including those produced by Microsoft and Google, in addition to open source models published by Facebook and IBM. This novel series of attacks presents a significant threat to many language processing systems: an attacker can affect systems in a targeted manner without any assumptions about the underlying model. We conclude that text-based NLP systems require careful input sanitization, just like conventional applications, and that given such systems are now being deployed rapidly at scale, the urgent attention of architects and operators is required. | 翻訳日:2021-06-21 14:15:55 公開日:2021-06-18 |
| # 障害音声の自動音声認識モデルのオンデバイスパーソナライズ On-Device Personalization of Automatic Speech Recognition Models for Disordered Speech ( http://arxiv.org/abs/2106.10259v1 ) ライセンス: Link先を確認 | Katrin Tomanek, Fran\c{c}oise Beaufays, Julie Cattiau, Angad Chandorkar, Khe Chai Sim | (参考訳) 現在の最先端自動音声認識(ASR)システムは、典型的な音声に対して高い精度を達成するが、混乱した音声やその他の非定型音声パターンに対する顕著な性能劣化に悩まされる。
この問題に対する一般的なソリューションであるASRモデルのパーソナライズは通常、データプライバシ、遅延モデル更新時間、モバイルデバイスとサーバインフラストラクチャ間のデータやモデルをコピーするための通信コストに関する問題を引き起こすサーバベースのトレーニング環境で実行される。
本稿では,デバイス上でのasrパーソナライズへのアプローチについて紹介する。
提案手法は,発話障害のある話者100名を対象に試行し,話者ごとの発話が50人しか必要とせず,単語誤り率の中央値が71%向上した。
音声制御されたホームオートメーションプラットフォームでテストすると、デバイス上のパーソナライズされたモデルでは、未適応モデルの40%に対して、タスクの成功率は81%である。 While current state-of-the-art Automatic Speech Recognition (ASR) systems achieve high accuracy on typical speech, they suffer from significant performance degradation on disordered speech and other atypical speech patterns. Personalization of ASR models, a commonly applied solution to this problem, is usually performed in a server-based training environment posing problems around data privacy, delayed model-update times, and communication cost for copying data and models between mobile device and server infrastructure. In this paper, we present an approach to on-device based ASR personalization with very small amounts of speaker-specific data. We test our approach on a diverse set of 100 speakers with disordered speech and find median relative word error rate improvement of 71% with only 50 short utterances required per speaker. When tested on a voice-controlled home automation platform, on-device personalized models show a median task success rate of 81%, compared to only 40% of the unadapted models. | 翻訳日:2021-06-21 14:15:29 公開日:2021-06-18 |
| # 強化学習とアクティブ推論によるゴール指向計画 Goal-Directed Planning by Reinforcement Learning and Active Inference ( http://arxiv.org/abs/2106.09938v1 ) ライセンス: Link先を確認 | Dongqi Han, Kenji Doya and Jun Tani | (参考訳) 目標指向行動と習慣行動の違いは何か?
ベイズ推論を用いた意思決定の新たな計算フレームワークを提案する。
このモデルは、自己爆発によって環境状態遷移を予測し、確率的内部状態をサンプリングして運動を発生させる。
従来のz$の分布から得られる習慣行動は、強化学習によって取得される。
目標指向行動は、目標観察のための自由エネルギーを最小化するために、能動推論を用いて計画的にz$の後方分布から決定される。
本稿では,カメラ観測と連続運動動作を用いたセンサモレータナビゲーションタスクの実験により,提案手法の有効性を実証する。 What is the difference between goal-directed and habitual behavior? We propose a novel computational framework of decision making with Bayesian inference, in which everything is integrated as an entire neural network model. The model learns to predict environmental state transitions by self-exploration and generating motor actions by sampling stochastic internal states $z$. Habitual behavior, which is obtained from the prior distribution of $z$, is acquired by reinforcement learning. Goal-directed behavior is determined from the posterior distribution of $z$ by planning, using active inference, to minimize the free energy for goal observation. We demonstrate the effectiveness of the proposed framework by experiments in a sensorimotor navigation task with camera observations and continuous motor actions. | 翻訳日:2021-06-21 14:14:31 公開日:2021-06-18 |
| # 多段階政策回帰法による計画への学習 Learning to Plan via a Multi-Step Policy Regression Method ( http://arxiv.org/abs/2106.10075v1 ) ライセンス: Link先を確認 | Stefan Wagner and Michael Janschek and Tobias Uelwer and Stefan Harmeling | (参考訳) 本稿では,特定の動作列を必要とする環境での推論性能を向上させるための新しい手法を提案する。
これは例えば、理想的には最適経路が決定される迷路環境の場合である。
一つのステップでポリシーを学ぶ代わりに、事前にnアクションを予測できるポリシーを学びたいのです。
提案手法は政策水平回帰(PHR)と呼ばれ,A2Cがサンプリングした環境の知識を用いて,n次元の政策ベクトルを観測毎に生成する政策蒸留装置で学習する。
本手法をminigridおよびpong環境でテストし,1回の観測で動作シーケンスの予測に成功し,推定時間中に劇的な高速化を示す。 We propose a new approach to increase inference performance in environments that require a specific sequence of actions in order to be solved. This is for example the case for maze environments where ideally an optimal path is determined. Instead of learning a policy for a single step, we want to learn a policy that can predict n actions in advance. Our proposed method called policy horizon regression (PHR) uses knowledge of the environment sampled by A2C to learn an n dimensional policy vector in a policy distillation setup which yields n sequential actions per observation. We test our method on the MiniGrid and Pong environments and show drastic speedup during inference time by successfully predicting sequences of actions on a single observation. | 翻訳日:2021-06-21 14:14:21 公開日:2021-06-18 |
| # less is more: 圧縮対敵攻撃による敵のロバスト性のための特徴選択 Less is More: Feature Selection for Adversarial Robustness with Compressive Counter-Adversarial Attacks ( http://arxiv.org/abs/2106.10252v1 ) ライセンス: Link先を確認 | Emre Ozfatura and Muhammad Zaid Hameed and Kerem Ozfatura and Deniz Gunduz | (参考訳) 敵対的攻撃に関する一般的な観察は、主に分類器を騙すために暗黙の層で偽のアクティベーションを引き起こすことである。
これらのアクティベーション値が入力の特定の特徴に対応すると仮定すると、目的は分類に最も有用な特徴を選択する。
そこで本研究では,ペナルティメート層における入力サンプルの摂動に対する一貫性を強調する対敵攻撃を用いて,重要な特徴を識別する新しい手法を提案する。
まず,クリーンとロバストの間のギャップを橋渡しする分類法として,特徴のサブセットが存在することを実証的に示す。
第2に,入力サンプルの近傍を探索して特徴を識別する簡易かつ効率的な機構を提案する。
次に、各層における活性化値の整合性を観察して特徴を選択する。 A common observation regarding adversarial attacks is that they mostly give rise to false activation at the penultimate layer to fool the classifier. Assuming that these activation values correspond to certain features of the input, the objective becomes choosing the features that are most useful for classification. Hence, we propose a novel approach to identify the important features by employing counter-adversarial attacks, which highlights the consistency at the penultimate layer with respect to perturbations on input samples. First, we empirically show that there exist a subset of features, classification based in which bridge the gap between the clean and robust accuracy. Second, we propose a simple yet efficient mechanism to identify those features by searching the neighborhood of input sample. We then select features by observing the consistency of the activation values at the penultimate layer. | 翻訳日:2021-06-21 14:14:09 公開日:2021-06-18 |
| # 機械学習における逆例の単純マニフォールドモデル The Dimpled Manifold Model of Adversarial Examples in Machine Learning ( http://arxiv.org/abs/2106.10151v1 ) ライセンス: Link先を確認 | Adi Shamir, Odelia Melamed, Oriel BenShmuel | (参考訳) 2013年にいくつかの研究グループによって、入力に小さな摂動を伴って提示されたディープニューラルネットワークの極端な脆弱さが独立に発見されたが、大きな努力にもかかわらず、これらの敵対的な例は明確な説明が得られず、バッフル現象のままであった。
本稿では,新しい概念的枠組み(dimpled manifold modelと呼ぶ)について紹介する。これは,逆行例が存在する理由,それらの摂動がこれほど小さなノルムを持つ理由,これらの摂動がランダムなノイズに見える理由,不正確なラベル付き画像で逆行的に訓練されたネットワークがテスト画像を正確に分類できる理由について,簡単な説明を与える。
論文の最後の部分では、この新しいモデルを強く支持する多数の実験の結果について述べ、特に、逆摂動はトレーニング例を含む低次元多様体と略垂直であるという主張について述べる。 The extreme fragility of deep neural networks when presented with tiny perturbations in their inputs was independently discovered by several research groups in 2013, but in spite of enormous effort these adversarial examples remained a baffling phenomenon with no clear explanation. In this paper we introduce a new conceptual framework (which we call the Dimpled Manifold Model) which provides a simple explanation for why adversarial examples exist, why their perturbations have such tiny norms, why these perturbations look like random noise, and why a network which was adversarially trained with incorrectly labeled images can still correctly classify test images. In the last part of the paper we describe the results of numerous experiments which strongly support this new model, and in particular our assertion that adversarial perturbations are roughly perpendicular to the low dimensional manifold which contains all the training examples. | 翻訳日:2021-06-21 14:13:43 公開日:2021-06-18 |
| # federated robustness propagation: share adversarial robustness in federated learning Federated Robustness Propagation: Sharing Adversarial Robustness in Federated Learning ( http://arxiv.org/abs/2106.10196v1 ) ライセンス: Link先を確認 | Junyuan Hong, Haotao Wang, Zhangyang Wang, Jiayu Zhou | (参考訳) フェデレートラーニング(FL)は、生データを共有することなく、参加するユーザのセットからモデルを学習する人気の分散ラーニングスキーマとして登場した。
flの大きな課題の1つは、分布的に異なる(または非iid)データと様々な計算リソースを持つユーザーの多様性である。
集中学習と同じように、FLユーザはテスト時に悪意のある攻撃者に対して、モデル堅牢性を望んでいる。
敵対的トレーニング(AT)は、中央集権学習のための健全なソリューションを提供するが、FLユーザの利用を拡大することは、多くのユーザにとって大きな課題となっている。
本稿では,ATを払えない高リソースユーザから,FLプロセス中において,ATを払えない低リソースユーザまで,敵対的ロバスト性を広める新たな学習環境について検討する。
既存のfl手法では,非iidユーザ間の対向的ロバスト性が効果的に伝播できないことを示し,注意深く設計されたバッチ正規化統計を用いてロバスト性を伝達する簡易かつ効果的な伝播手法を提案する。
実験により,本手法の合理性と有効性を示す。
特に,本提案手法は,学習中にATを利用できるユーザ数が少ない場合でも,FLに顕著な堅牢性を与える。
コードは受理次第公表される。 Federated learning (FL) emerges as a popular distributed learning schema that learns a model from a set of participating users without requiring raw data to be shared. One major challenge of FL comes from heterogeneity in users, which may have distributionally different (or non-iid) data and varying computation resources. Just like in centralized learning, FL users also desire model robustness against malicious attackers at test time. Whereas adversarial training (AT) provides a sound solution for centralized learning, extending its usage for FL users has imposed significant challenges, as many users may have very limited training data as well as tight computational budgets, to afford the data-hungry and costly AT. In this paper, we study a novel learning setting that propagates adversarial robustness from high-resource users that can afford AT, to those low-resource users that cannot afford it, during the FL process. We show that existing FL techniques cannot effectively propagate adversarial robustness among non-iid users, and propose a simple yet effective propagation approach that transfers robustness through carefully designed batch-normalization statistics. We demonstrate the rationality and effectiveness of our method through extensive experiments. Especially, the proposed method is shown to grant FL remarkable robustness even when only a small portion of users afford AT during learning. Codes will be published upon acceptance. | 翻訳日:2021-06-21 14:13:26 公開日:2021-06-18 |
| # 攻撃失敗の指標: 攻撃例のデバッグと最適化の改善 Indicators of Attack Failure: Debugging and Improving Optimization of Adversarial Examples ( http://arxiv.org/abs/2106.09947v1 ) ライセンス: Link先を確認 | Maura Pintor, Luca Demetrio, Angelo Sotgiu, Giovanni Manca, Ambra Demontis, Nicholas Carlini, Battista Biggio, Fabio Roli | (参考訳) 機械学習モデルの対向例に対するロバスト性の評価は難しい課題である。
多くの防御は、勾配に基づく攻撃を失敗させることによって誤ったセキュリティ感をもたらすことが示されており、より厳格な評価の下で破られた。
現在の敵対的ロバスト性評価を改善するためのガイドラインとベストプラクティスが提案されているが、自動テストとデバッグツールの欠如により、これらの推奨事項を体系的に適用することは困難である。
本研究では,(i)勾配に基づく攻撃の最適化における共通障害を明らかにする定量的指標のセットを定義し,(ii)系統的評価プロトコル内で特定の緩和戦略を提案することにより,これらの制限を克服する。
本研究では, 提案手法を用いて, 現在の対向ロバストネス評価の可視化, デバッグ, 改善を実現し, 対向ロバストネス評価の自動化と体系化に向けた第一歩となることを示す。
私たちのオープンソースコードは、https://github.com/pralab/IndicatorsOfAttackFailure.comで利用可能です。 Evaluating robustness of machine-learning models to adversarial examples is a challenging problem. Many defenses have been shown to provide a false sense of security by causing gradient-based attacks to fail, and they have been broken under more rigorous evaluations. Although guidelines and best practices have been suggested to improve current adversarial robustness evaluations, the lack of automatic testing and debugging tools makes it difficult to apply these recommendations in a systematic manner. In this work, we overcome these limitations by (i) defining a set of quantitative indicators which unveil common failures in the optimization of gradient-based attacks, and (ii) proposing specific mitigation strategies within a systematic evaluation protocol. Our extensive experimental analysis shows that the proposed indicators of failure can be used to visualize, debug and improve current adversarial robustness evaluations, providing a first concrete step towards automatizing and systematizing current adversarial robustness evaluations. Our open-source code is available at: https://github.com/pralab/IndicatorsOfAttackFailure. | 翻訳日:2021-06-21 14:11:40 公開日:2021-06-18 |
| # リアルタイムデータに対する累積中毒攻撃 Accumulative Poisoning Attacks on Real-time Data ( http://arxiv.org/abs/2106.09993v1 ) ライセンス: Link先を確認 | Tianyu Pang, Xiao Yang, Yinpeng Dong, Hang Su, Jun Zhu | (参考訳) 信頼できない情報源からのトレーニングデータ収集は、モデルの精度を低下させるためにトレーニングデータを悪意を持って操作する敵を毒殺する機械学習サービスを公開する。
オフラインデータセットでトレーニングを行う場合、毒付け敵はトレーニング前に毒付きデータを事前に注入しなければならず、毒付きバッチをモデルに供給する順序は確率的である。
対照的に、実用的なシステムは、一般的に、連続的にキャプチャされたリアルタイムデータに基づいて訓練/微調整されており、敵を毒殺した場合は、現在のモデル状態に応じて各データバッチを動的に毒殺することができる。
本稿では,リアルタイム設定に着目し,(汚染された)トリガーバッチの破壊効果を(精度に影響を与えずに)秘かに拡大する累積的な攻撃フェーズを関連付ける新たな攻撃戦略を提案する。
CIFAR-10上でのオンライン学習とフェデレーション学習を模倣することにより、累積フェーズ後のトリガバッチにおいて、モデル精度が1回の更新ステップで大幅に低下することを示す。
我々の研究は、よく設計されているが簡単な攻撃戦略が、複雑なテクニックを探索する必要なしに、中毒効果を劇的に増幅できることを検証する。 Collecting training data from untrusted sources exposes machine learning services to poisoning adversaries, who maliciously manipulate training data to degrade the model accuracy. When trained on offline datasets, poisoning adversaries have to inject the poisoned data in advance before training, and the order of feeding these poisoned batches into the model is stochastic. In contrast, practical systems are more usually trained/fine-tuned on sequentially captured real-time data, in which case poisoning adversaries could dynamically poison each data batch according to the current model state. In this paper, we focus on the real-time settings and propose a new attacking strategy, which affiliates an accumulative phase with poisoning attacks to secretly (i.e., without affecting accuracy) magnify the destructive effect of a (poisoned) trigger batch. By mimicking online learning and federated learning on CIFAR-10, we show that the model accuracy will significantly drop by a single update step on the trigger batch after the accumulative phase. Our work validates that a well-designed but straightforward attacking strategy can dramatically amplify the poisoning effects, with no need to explore complex techniques. | 翻訳日:2021-06-21 14:11:22 公開日:2021-06-18 |
| # World-GAN:Minecraft Worldsのジェネレーティブモデル World-GAN: a Generative Model for Minecraft Worlds ( http://arxiv.org/abs/2106.10155v1 ) ライセンス: Link先を確認 | Maren Awiszus, Frederik Schubert, Bodo Rosenhahn | (参考訳) この研究は、Minecraftで機械学習を通じてデータ駆動の手続き的コンテンツ生成を実行する最初の方法であるWorld-GANを紹介する。
GAN(Generative Adversarial Network)アーキテクチャに基づいて,任意のサンプルから任意のサイズの世界スニペットを作成することができる。
我々は、Minecraft World Generatorで生成された構造と同様に、コミュニティからの創造物に対する我々のアプローチを評価する。
本手法は, word2vec [1] で導入された自然言語処理(NLP)で使用される高密度表現に動機づけられる。
提案されたblock2vec表現により、world-ganは異なるブロックの数から独立しており、minecraftでは多くの変更が可能であり、より大きなレベルを生成することができる。
最後に、この新しい表現空間を変更することで、すでに訓練済みのジェネレータの生成スタイルを変更できることを実証する。
World-GANは、ユーザーが創造物の一部に基づいてMinecraft世界を生成することを可能にする。 This work introduces World-GAN, the first method to perform data-driven Procedural Content Generation via Machine Learning in Minecraft from a single example. Based on a 3D Generative Adversarial Network (GAN) architecture, we are able to create arbitrarily sized world snippets from a given sample. We evaluate our approach on creations from the community as well as structures generated with the Minecraft World Generator. Our method is motivated by the dense representations used in Natural Language Processing (NLP) introduced with word2vec [1]. The proposed block2vec representations make World-GAN independent from the number of different blocks, which can vary a lot in Minecraft, and enable the generation of larger levels. Finally, we demonstrate that changing this new representation space allows us to change the generated style of an already trained generator. World-GAN enables its users to generate Minecraft worlds based on parts of their creations. | 翻訳日:2021-06-21 14:11:03 公開日:2021-06-18 |
| # 風力発電設備の故障検知システムにおけるラベリングドリフト Labelling Drifts in a Fault Detection System for Wind Turbine Maintenance ( http://arxiv.org/abs/2106.09951v1 ) ライセンス: Link先を確認 | I\~nigo Martinez and Elisabeth Viles and I\~naki Cabrejas | (参考訳) 故障検知システムは、予測保守戦略への第一歩である。
初期障害や異常を検出する一般的なデータ駆動手法は、フィードフォワードニューラルネットワーク(FFNN)や極端な学習マシン(ELM)といった機械学習技術を適用することで、通常の行動モデルのトレーニングである。
しかし,これらのモデリング手法の性能は,産業資産の運用する動的環境における非定常性の予期せぬ上昇によって低下する可能性がある。
この測定変数の予測不可能な統計的変化は概念ドリフトとして知られている。
本稿では,風力タービンのメンテナンスケースについて紹介する。
このようなコンセプトドリフトイベントは、統計検出器とウィンドウベースのアプローチによって検出されることが望まれる。
しかし、実際の複雑なシステムでは、概念ドリフトは人工的に生成されたデータセットほど明確で明らかではない。
現在のドリフト検出器の有効性を評価し、また、この特定産業用途に適切な新技術を設計するためには、既存のドリフトの特性を事前に検討する必要がある。
この点に関して情報の欠如により,風力タービンの寿命におけるドリフト現象をラベル付けする手法が提案されている。
この方法論は、概念ドリフト検出器の訓練場としても、複雑なシステムのメンテナンスに関する知識を強化する貴重な情報としても機能するドリフトデータベースの作成を促進する。 A failure detection system is the first step towards predictive maintenance strategies. A popular data-driven method to detect incipient failures and anomalies is the training of normal behaviour models by applying a machine learning technique like feed-forward neural networks (FFNN) or extreme learning machines (ELM). However, the performance of any of these modelling techniques can be deteriorated by the unexpected rise of non-stationarities in the dynamic environment in which industrial assets operate. This unpredictable statistical change in the measured variable is known as concept drift. In this article a wind turbine maintenance case is presented, where non-stationarities of various kinds can happen unexpectedly. Such concept drift events are desired to be detected by means of statistical detectors and window-based approaches. However, in real complex systems, concept drifts are not as clear and evident as in artificially generated datasets. In order to evaluate the effectiveness of current drift detectors and also to design an appropriate novel technique for this specific industrial application, it is essential to dispose beforehand of a characterization of the existent drifts. Under the lack of information in this regard, a methodology for labelling concept drift events in the lifetime of wind turbines is proposed. This methodology will facilitate the creation of a drift database that will serve both as a training ground for concept drift detectors and as a valuable information to enhance the knowledge about maintenance of complex systems. | 翻訳日:2021-06-21 14:10:50 公開日:2021-06-18 |
| # PRGC:ポテンシャル関係とグローバル対応に基づく共同関係トリプル抽出 PRGC: Potential Relation and Global Correspondence Based Joint Relational Triple Extraction ( http://arxiv.org/abs/2106.09895v1 ) ライセンス: Link先を確認 | Hengyi Zheng, Rui Wen, Xi Chen, Yifan Yang, Yunyan Zhang, Ziheng Zhang, Ningyu Zhang, Bin Qin, Ming Xu, Yefeng Zheng | (参考訳) 非構造化テキストからのエンティティとリレーションの協調抽出は、情報抽出において重要なタスクである。
近年の手法は性能は高いが,関係予測の冗長性,スパンベース抽出の一般化の低さ,非効率性など,いくつかの制約に悩まされている。
本稿では,この課題を,新しい視点から関係判断,エンティティ抽出,主観オブジェクトアライメントの3つのサブタスクに分解し,ポテンシャル関係と大域対応(prgc)に基づく結合関係三重項抽出フレームワークを提案する。
具体的には、全ての関係ではなく、後続のエンティティ抽出を予測関係サブセットに制約する潜在的関係を予測するコンポーネントを設計し、対象と対象の重なり合う問題に関係性特異的なシーケンスタギングコンポーネントを適用し、最後に、対象と対象を低複雑さで3重に整列するグローバル対応コンポーネントを設計する。
PRGCは高効率な公開ベンチマークで最先端のパフォーマンスを実現し、重複するトリプルの複雑なシナリオで一貫したパフォーマンス向上を実現している。 Joint extraction of entities and relations from unstructured texts is a crucial task in information extraction. Recent methods achieve considerable performance but still suffer from some inherent limitations, such as redundancy of relation prediction, poor generalization of span-based extraction and inefficiency. In this paper, we decompose this task into three subtasks, Relation Judgement, Entity Extraction and Subject-object Alignment from a novel perspective and then propose a joint relational triple extraction framework based on Potential Relation and Global Correspondence (PRGC). Specifically, we design a component to predict potential relations, which constrains the following entity extraction to the predicted relation subset rather than all relations; then a relation-specific sequence tagging component is applied to handle the overlapping problem between subjects and objects; finally, a global correspondence component is designed to align the subject and object into a triple with low-complexity. Extensive experiments show that PRGC achieves state-of-the-art performance on public benchmarks with higher efficiency and delivers consistent performance gain on complex scenarios of overlapping triples. | 翻訳日:2021-06-21 14:10:30 公開日:2021-06-18 |
| # トピック、インタラクション、クエリの連続性:オンライン会話における引用学習 Continuity of Topic, Interaction, and Query: Learning to Quote in Online Conversations ( http://arxiv.org/abs/2106.09896v1 ) ライセンス: Link先を確認 | Lingzhi Wang, Jing Li, Xingshan Zeng, Haisong Zhang, Kam-Fai Wong | (参考訳) 引用は、対人コミュニケーションにおける説明と説得の成功に不可欠である。
しかし、会話の中で引用するものを見つけることは人間と機械の両方にとって難しい。
本研究は,オンライン会話における引用の自動生成について検討し,引用が与えられた文脈に適合するか否かを言語一貫性がどう影響するかを考察する。
ここでは、潜在トピック、対話履歴との相互作用、クエリターンの既存のコンテンツに対する一貫性の観点から、引用の文脈的一貫性を捉える。
さらに、エンコーダ-デコーダニューラルフレームワークを使用して、言語生成による引用でコンテキストを継続する。
英語と中国語の2つの大規模データセットにおける実験結果は、私たちの引用生成モデルが最先端モデルを上回ることを示している。
さらなる分析によって、トピック、インタラクション、クエリ一貫性はすべて、オンライン会話で引用する方法を学ぶのに役立ちます。 Quotations are crucial for successful explanations and persuasions in interpersonal communications. However, finding what to quote in a conversation is challenging for both humans and machines. This work studies automatic quotation generation in an online conversation and explores how language consistency affects whether a quotation fits the given context. Here, we capture the contextual consistency of a quotation in terms of latent topics, interactions with the dialogue history, and coherence to the query turn's existing content. Further, an encoder-decoder neural framework is employed to continue the context with a quotation via language generation. Experiment results on two large-scale datasets in English and Chinese demonstrate that our quotation generation model outperforms the state-of-the-art models. Further analysis shows that topic, interaction, and query consistency are all helpful to learn how to quote in online conversations. | 翻訳日:2021-06-21 14:10:09 公開日:2021-06-18 |
| # 文書レベル関係グラフ抽出のためのニューラルエッジ編集手法 A Neural Edge-Editing Approach for Document-Level Relation Graph Extraction ( http://arxiv.org/abs/2106.09900v1 ) ライセンス: Link先を確認 | Kohei Makino, Makoto Miwa, Yutaka Sasaki | (参考訳) 本稿では,文書から関係情報を抽出する新たなエッジ編集手法を提案する。
このアプローチでは、文書内の関係をエンティティ間の関係グラフとして扱う。
関係グラフは、他のシステムや空グラフによって抽出されたグラフである初期グラフのエッジを編集することによって反復的に構築される。
エッジの編集方法は、ドキュメントと時間的構築されたグラフ情報を用いて、それらを近接して分類することであり、各エッジは、事前訓練されたトランスフォーマーモデルによる文書コンテキスト情報と、グラフ畳み込みニューラルネットワークモデルによるグラフコンテキスト情報とで表現される。
材料科学テキストから材料合成手順を抽出する作業に対する我々のアプローチを評価する。
実験結果は,社内ルールベースシステムと空グラフによって初期化されたグラフを編集する手法の有効性を示す。 In this paper, we propose a novel edge-editing approach to extract relation information from a document. We treat the relations in a document as a relation graph among entities in this approach. The relation graph is iteratively constructed by editing edges of an initial graph, which might be a graph extracted by another system or an empty graph. The way to edit edges is to classify them in a close-first manner using the document and temporally-constructed graph information; each edge is represented with a document context information by a pretrained transformer model and a graph context information by a graph convolutional neural network model. We evaluate our approach on the task to extract material synthesis procedures from materials science texts. The experimental results show the effectiveness of our approach in editing the graphs initialized by our in-house rule-based system and empty graphs. | 翻訳日:2021-06-21 14:09:53 公開日:2021-06-18 |
| # マルチホップレトリバーの微妙な事前訓練 Weakly Supervised Pre-Training for Multi-Hop Retriever ( http://arxiv.org/abs/2106.09983v1 ) ライセンス: Link先を確認 | Yeon Seonwoo, Sang-Woo Lee, Ji-Hoon Kim, Jung-Woo Ha, Alice Oh | (参考訳) マルチホップQAでは、複雑な質問に答えるには、質問の欠落した実体を見つけるために反復的な文書検索が必要である。
このプロセスの主なステップは、サブクエスト検出、サブクエストのためのドキュメント検索、最終文書検索のための新しいクエリの生成である。
しかし、サブクエストとそれに対応するドキュメントを含む複雑な質問を含むデータセットを構築するには、コストのかかる人的アノテーションが必要である。
そこで本研究では,人間の努力を伴わずに,弱い教師付きマルチホップレトリバーを事前学習する新しい手法を提案する。
本手法は,1)複雑な質問のベクトル表現を生成する事前学習タスク,2)事前学習の弱い監督として質問と下位質問の入れ子構造を生成するスケーラブルなデータ生成手法,3)高密度エンコーダに基づく事前学習モデル構造を含む。
我々は,事前学習した検索器の性能を,エンドツーエンドのマルチホップQA上での最先端モデルと比較し,文書検索を行う。
実験結果は,事前学習したレトリバーが有効であり,限られたデータや計算資源でも頑健であることを示す。 In multi-hop QA, answering complex questions entails iterative document retrieval for finding the missing entity of the question. The main steps of this process are sub-question detection, document retrieval for the sub-question, and generation of a new query for the final document retrieval. However, building a dataset that contains complex questions with sub-questions and their corresponding documents requires costly human annotation. To address the issue, we propose a new method for weakly supervised multi-hop retriever pre-training without human efforts. Our method includes 1) a pre-training task for generating vector representations of complex questions, 2) a scalable data generation method that produces the nested structure of question and sub-question as weak supervision for pre-training, and 3) a pre-training model structure based on dense encoders. We conduct experiments to compare the performance of our pre-trained retriever with several state-of-the-art models on end-to-end multi-hop QA as well as document retrieval. The experimental results show that our pre-trained retriever is effective and also robust on limited data and computational resources. | 翻訳日:2021-06-21 14:09:37 公開日:2021-06-18 |
| # SPBERT:知識グラフに対するエンドツーエンド質問応答のためのSPARQLクエリ上でのBERTの事前トレーニング SPBERT: Pre-training BERT on SPARQL Queries for End-to-end Question Answering over Knowledge Graphs ( http://arxiv.org/abs/2106.09997v1 ) ライセンス: Link先を確認 | Hieu Tran, Long Phan, and Truong-Son Nguyen | (参考訳) 我々は,自然言語質問からsparqlクエリを構築できる知識グラフ(kgs)上でのエンドツーエンド質問応答(qa)の構築と,そのクエリに対する言語的回答の生成という,前例のない試みを目指しています。
そこで我々は,大規模なSPARQLクエリログを事前トレーニングしたTransformerベースの言語モデルであるSPBERTを紹介する。
マスク付き言語モデリングの目的と単語構造的目的を取り入れることで、SPBERTは自然言語とSPARQLクエリ言語の両方で汎用表現を学習し、SPARQLのような構造化言語に不可欠な単語の逐次順序を最大限に活用することができる。
本稿では,SPBERTとエンコーダデコーダアーキテクチャを知識ベースQAコーパスに適用する方法について検討する。
SPARQL Query Construction と Answer Verbalization Generation の2つの補助タスクについて,徹底的な実験を行った。
その結果、SPBERTは有望な性能を示し、これらのタスクのいくつかについて最先端の結果を得ることができた。 We aim to create an unprecedented attempt to build an end-to-end Question Answering (QA) over Knowledge Graphs (KGs), which can construct SPARQL queries from natural language questions and generate a verbalized answer to its queries. Hence, we introduce SPBERT, a Transformer-based language model pre-trained on massive SPARQL query logs. By incorporating masked language modelling objective and word structural objective, SPBERT can learn general-purpose representations in both natural language and SPARQL query language and make the most of the sequential order of words that are crucial for structured language like SPARQL. In this paper, we investigate how SPBERT and encoder-decoder architecture can be adapted for Knowledge-based QA corpora. We conduct exhaustive experiments on two auxiliary tasks, including SPARQL Query Construction and Answer Verbalization Generation. Results show that SPBERT obtains promising performance and achieves state-of-the-art results on several of these tasks. | 翻訳日:2021-06-21 14:09:16 公開日:2021-06-18 |
| # 心房細動研究における左心房LGE MRIの医用画像解析 Medical Image Analysis on Left Atrial LGE MRI for Atrial Fibrillation Studies: A Review ( http://arxiv.org/abs/2106.09862v1 ) ライセンス: Link先を確認 | Lei Li and Veronika A. Zimmer and Julia A. Schnabel and Xiahai Zhuang | (参考訳) 後期ガドリニウム造影MRI(LGE MRI)は左心房(LA)傷の可視化と定量化に一般的に用いられている。
傷痕の位置と範囲は心房細動(AF)の病態と進展に関する重要な情報を提供する。
したがって, LAスカーセグメンテーションとLGE MRIの定量化は, AF患者のコンピュータ支援による診断と治療の成層化に有用である。
手動のデライン化は時間を要する可能性があり、エキスパート内および専門家間の変動が伴うため、この計算の自動化は非常に望まれる。
本稿では,laキャビティ,壁,スカーおよびアブレーションギャップのセグメンテーションおよびlge mriによる定量化のための計算方法に関する体系的考察と,関連するaf研究文献について述べる。
具体的には、まずAF関連画像技術、特にLGE MRIを要約する。
次に,4つのタスクの方法論を詳細に検討し,各タスクに適用される検証戦略を要約する。
最後に, 今後の開発の可能性について概説し, 上記の方法の臨床応用の可能性について概説する。
レビューによると、このトピックに関する研究はまだ初期段階にある。
LAセグメンテーションにはいくつかの手法が提案されているが、外観の高可変性や画像取得の違いによる性能問題により、さらなるアルゴリズム開発にはまだ大きな範囲がある。 Late gadolinium enhancement magnetic resonance imaging (LGE MRI) is commonly used to visualize and quantify left atrial (LA) scars. The position and extent of scars provide important information of the pathophysiology and progression of atrial fibrillation (AF). Hence, LA scar segmentation and quantification from LGE MRI can be useful in computer-assisted diagnosis and treatment stratification of AF patients. Since manual delineation can be time-consuming and subject to intra- and inter-expert variability, automating this computing is highly desired, which nevertheless is still challenging and under-researched. This paper aims to provide a systematic review on computing methods for LA cavity, wall, scar and ablation gap segmentation and quantification from LGE MRI, and the related literature for AF studies. Specifically, we first summarize AF-related imaging techniques, particularly LGE MRI. Then, we review the methodologies of the four computing tasks in detail, and summarize the validation strategies applied in each task. Finally, the possible future developments are outlined, with a brief survey on the potential clinical applications of the aforementioned methods. The review shows that the research into this topic is still in early stages. Although several methods have been proposed, especially for LA segmentation, there is still large scope for further algorithmic developments due to performance issues related to the high variability of enhancement appearance and differences in image acquisition. | 翻訳日:2021-06-21 14:08:37 公開日:2021-06-18 |
| # 1, +1}エンコード分解と高速化による量子ニューラルネットワーク Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration ( http://arxiv.org/abs/2106.09886v1 ) ライセンス: Link先を確認 | Qigong Sun, Xiufang Li, Fanhua Shang, Hongying Liu, Kang Yang, Licheng Jiao, and Zhouchen Lin | (参考訳) ディープニューラルネットワーク(DNN)のトレーニングは常に、計算とデータストレージの両方に集約的なリソースを必要とする。
したがって、DNNは携帯電話や組み込みデバイスに効率的に適用することはできない。
そこで本研究では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解し,ビットワイズ演算(xnorとbitcount)により効率よく実装し,モデル圧縮,計算加速度,資源節約を実現する, {-1, +1} を用いた新しい符号化方式を提案する。
本手法を用いることで,ユーザの要求やハードウェアリソースに応じて,任意の符号化精度を実現することができる。
提案手法は,データストレージと計算の面でFPGAとASICの利用に非常に適しており,スマートチップに実現可能なアイデアを提供する。
本研究では,大規模画像分類(イメージネットなど),物体検出,意味セグメンテーションタスクにおいて,提案手法の有効性を検証する。
特に,低ビット符号化方式では,ハイビット符号化方式とほぼ同じ性能が得られる。 The training of deep neural networks (DNNs) always requires intensive resources for both computation and data storage. Thus, DNNs cannot be efficiently applied to mobile phones and embedded devices, which severely limits their applicability in industrial applications. To address this issue, we propose a novel encoding scheme using {-1, +1} to decompose quantized neural networks (QNNs) into multi-branch binary networks, which can be efficiently implemented by bitwise operations (i.e., xnor and bitcount) to achieve model compression, computational acceleration, and resource saving. By using our method, users can achieve different encoding precisions arbitrarily according to their requirements and hardware resources. The proposed mechanism is highly suitable for the use of FPGA and ASIC in terms of data storage and computation, which provides a feasible idea for smart chips. We validate the effectiveness of our method on large-scale image classification (e.g., ImageNet), object detection, and semantic segmentation tasks. In particular, our method with low-bit encoding can still achieve almost the same performance as its high-bit counterparts. | 翻訳日:2021-06-21 14:08:14 公開日:2021-06-18 |
| # 医療マッティング:不確実性を伴う医療セグメンテーションの新しい展望 Medical Matting: A New Perspective on Medical Segmentation with Uncertainty ( http://arxiv.org/abs/2106.09887v1 ) ライセンス: Link先を確認 | Lin Wang, Lie Ju, Donghao Zhang, Xin Wang, Wanji He, Yelin Huang, Zhiwen Yang, Xuan Yao, Xin Zhao, Xiufen Ye, Zongyuan Ge | (参考訳) 医用画像分割では、特に小さな病変を扱う場合、二乗マスクで曖昧な領域を正確にマークすることは困難である。
したがって、複数のアノテーションの条件下で二項マスクを使用することで、放射線学者が合意に達することは困難である。
しかし、これらの領域は診断しやすい解剖学的構造を含んでいる可能性がある。
これらの状況を研究するために不確実性が導入される。
しかしながら、不確実性は通常、複数の試行方法で予測間のばらつきによって測定される。
これは直感的ではなく、画像に正確な対応がない。
画像マッティングに触発され, 柔らかいセグメンテーション法としてマッティングを導入し, 医療現場における不確実領域, 医用マッティングに対処し, 表現する新たな視点を提案する。
具体的には、医用マットデータセットがないため、2つの医療用データセットにアルファマットをラベル付けしました。
第2に,自然画像に適用したマッティング法は医療現場には適さないため,バイナリマスクとアルファマットを連続して生成する新しいアーキテクチャを提案する。
第3に、不確実性マップを導入し、バイナリ結果から曖昧な領域を強調し、マッティング性能を改善する。
これらのデータセットで評価すると,提案手法は最先端のマットングアルゴリズムを大差で上回り,アルファマットはバイナリマスクよりも効率的なラベリング形式であることが判明した。 In medical image segmentation, it is difficult to mark ambiguous areas accurately with binary masks, especially when dealing with small lesions. Therefore, it is a challenge for radiologists to reach a consensus by using binary masks under the condition of multiple annotations. However, these areas may contain anatomical structures that are conducive to diagnosis. Uncertainty is introduced to study these situations. Nevertheless, the uncertainty is usually measured by the variances between predictions in a multiple trial way. It is not intuitive, and there is no exact correspondence in the image. Inspired by image matting, we introduce matting as a soft segmentation method and a new perspective to deal with and represent uncertain regions into medical scenes, namely medical matting. More specifically, because there is no available medical matting dataset, we first labeled two medical datasets with alpha matte. Secondly, the matting method applied to the natural image is not suitable for the medical scene, so we propose a new architecture to generate binary masks and alpha matte in a row. Thirdly, the uncertainty map is introduced to highlight the ambiguous regions from the binary results and improve the matting performance. Evaluated on these datasets, the proposed model outperformed state-of-the-art matting algorithms by a large margin, and alpha matte is proved to be a more efficient labeling form than a binary mask. | 翻訳日:2021-06-21 14:07:56 公開日:2021-06-18 |
| # 仮想交通レーンを用いた都市交差点におけるリアルタイム交通軌跡追跡, 速度推定, 運転行動校正のためのフレームワーク A Framework for Real-time Traffic Trajectory Tracking, Speed Estimation, and Driver Behavior Calibration at Urban Intersections Using Virtual Traffic Lanes ( http://arxiv.org/abs/2106.09932v1 ) ライセンス: Link先を確認 | Awad Abdelhalim, Montasir Abbas, Bhavi Bharat Kotha, Alfred Wicks | (参考訳) 先行研究では,都市交差点におけるリアルタイム車両検出,追跡,ターン移動分類のための3段階フレームワークであるvt-laneを提案する。
本研究では,都市交差点における交通の速度推定と運転行動校正を目的とした,VT-Laneを用いた高精度な軌跡と移動分類を取り入れたケーススタディを提案する。
まず,高度に計測された車両を用いて,映像推定から得られた推定速度を検証した。
速度検証の結果,検出された車両の平均走行速度を0.19m/秒の誤差でリアルタイムに推定できることがわかった。
瞬時速度(30Hz)は、それぞれ0.21m/secと0.86m/secの平均誤差で推定された。
次に、推定速度を用いて、研究領域における車両の運転行動モデルのパラメータを校正する。
その結果,キャリブレーションモデルでは平均0.45 m/secの誤差で走行動作を再現でき,道路交通映像データから車追従モデルの大規模自動キャリブレーションを行うための高ポテンシャルが示され,微視的シミュレーションによる交通モデルの改善に繋がる可能性が示唆された。 In a previous study, we presented VT-Lane, a three-step framework for real-time vehicle detection, tracking, and turn movement classification at urban intersections. In this study, we present a case study incorporating the highly accurate trajectories and movement classification obtained via VT-Lane for the purpose of speed estimation and driver behavior calibration for traffic at urban intersections. First, we use a highly instrumented vehicle to verify the estimated speeds obtained from video inference. The results of the speed validation show that our method can estimate the average travel speed of detected vehicles in real-time with an error of 0.19 m/sec, which is equivalent to 2% of the average observed travel speeds in the intersection of the study. Instantaneous speeds (at the resolution of 30 Hz) were found to be estimated with an average error of 0.21 m/sec and 0.86 m/sec respectively for free-flowing and congested traffic conditions. We then use the estimated speeds to calibrate the parameters of a driver behavior model for the vehicles in the area of study. The results show that the calibrated model replicates the driving behavior with an average error of 0.45 m/sec, indicating the high potential for using this framework for automated, large-scale calibration of car-following models from roadside traffic video data, which can lead to substantial improvements in traffic modeling via microscopic simulation. | 翻訳日:2021-06-21 14:07:32 公開日:2021-06-18 |
| # 密接な感情理解のためのモーダル注意を伴うマルチグラニュラリティネットワーク Multi-Granularity Network with Modal Attention for Dense Affective Understanding ( http://arxiv.org/abs/2106.09964v1 ) ライセンス: Link先を確認 | Baoming Yan, Lin Wang, Ke Gao, Bo Gao, Xiao Liu, Chao Ban, Jiang Yang, Xiaobo Li | (参考訳) 映像コンテンツによる誘発表現の予測を目的とした映像感情理解は,映像作成と推薦のために望まれる。
最近のeevチャレンジでは、密接な情動理解タスクが提案され、フレームレベルの情動予測が必要である。
本稿では,対象フレームのより詳細な記述のために,多粒度特徴を用いた多粒度ネットワーク(MGN-MA)を提案する。
具体的には、マルチグラニュラリティ機能はフレームレベル、クリップレベル、ビデオレベルに分けられ、視覚的コンテンツ、セマンティックコンテキスト、ビデオテーマ情報に対応する。
次に、モーダルアテンション融合モジュールは、多粒度特徴を融合し、より愛情関連モーダルを強調するように設計されている。
最後に、融合した機能は、表現を予測するためにMixtures Of Experts (MOE)分類器に入力される。
モデルアンサンブル後処理のさらなる活用により,提案手法はEEVチャレンジにおいて0.02292の相関スコアを達成できる。 Video affective understanding, which aims to predict the evoked expressions by the video content, is desired for video creation and recommendation. In the recent EEV challenge, a dense affective understanding task is proposed and requires frame-level affective prediction. In this paper, we propose a multi-granularity network with modal attention (MGN-MA), which employs multi-granularity features for better description of the target frame. Specifically, the multi-granularity features could be divided into frame-level, clips-level and video-level features, which corresponds to visual-salient content, semantic-context and video theme information. Then the modal attention fusion module is designed to fuse the multi-granularity features and emphasize more affection-relevant modals. Finally, the fused feature is fed into a Mixtures Of Experts (MOE) classifier to predict the expressions. Further employing model-ensemble post-processing, the proposed method achieves the correlation score of 0.02292 in the EEV challenge. | 翻訳日:2021-06-21 14:07:06 公開日:2021-06-18 |
| # HifiFace:3D形状とセマンティックな事前ガイドによる高忠実な顔スワップ HifiFace: 3D Shape and Semantic Prior Guided High Fidelity Face Swapping ( http://arxiv.org/abs/2106.09965v1 ) ライセンス: Link先を確認 | Yuhan Wang, Xu Chen, Junwei Zhu, Wenqing Chu, Ying Tai, Chengjie Wang, Jilin Li, Yongjian Wu, Feiyue Huang and Rongrong Ji | (参考訳) 本研究では,光源面の形状をよく保存し,フォトリアリスティックな結果を生成するhififaceと呼ばれる高忠実度顔スワップ法を提案する。
顔の同一性を維持するために顔認識モデルのみを用いる他の既存の顔交換作業とは異なり、3次元MMおよび3次元顔再構成法から幾何的監督により顔形状を制御する3次元形状認識IDを提案する。
一方,エンコーダとデコーダの組み合わせを最適化するセマンティック・ファシアル・フュージョン(Semantic Facial Fusion)モジュールを導入し,アダプティブ・ブレンディングを行い,その結果をよりリアルにする。
野生の顔に関する広範囲な実験は、この手法が、特に顔の形状において、より良いアイデンティティを保ち、従来の最先端の手法よりもよりフォトリアリスティックな結果を生み出すことを証明している。 In this work, we propose a high fidelity face swapping method, called HifiFace, which can well preserve the face shape of the source face and generate photo-realistic results. Unlike other existing face swapping works that only use face recognition model to keep the identity similarity, we propose 3D shape-aware identity to control the face shape with the geometric supervision from 3DMM and 3D face reconstruction method. Meanwhile, we introduce the Semantic Facial Fusion module to optimize the combination of encoder and decoder features and make adaptive blending, which makes the results more photo-realistic. Extensive experiments on faces in the wild demonstrate that our method can preserve better identity, especially on the face shape, and can generate more photo-realistic results than previous state-of-the-art methods. | 翻訳日:2021-06-21 14:06:47 公開日:2021-06-18 |
| # 変換不変最適化に基づくコンピュータビジョンの解釈に向けて Towards interpreting computer vision based on transformation invariant optimization ( http://arxiv.org/abs/2106.09982v1 ) ライセンス: Link先を確認 | Chen Li, Jinzhe Jiang, Xin Zhang, Tonghuan Zhang, Yaqian Zhao, Dongdong Jiang and RenGang Li | (参考訳) ディープニューラルネットワーク(DNN)がどのように予測を行うかを理解することは、人工知能において重要な分野であり、DNNの幅広い応用を妨げる。
学習した表現の可視化は、人間がDNNのビジョンを理解するのに役立つ。
本研究では、ニューラルネットワークをターゲットクラスに活性化できる可視化画像を、バックプロパゲーション法により生成する。
ここでは、画像生成過程における変換不変性を導入するために回転およびスケーリング操作を適用し、可視化効果に大きな改善が認められる。
最後に,このような手法がニューラルネットワークに対する洞察を得る上で有用であることを示す。 Interpreting how does deep neural networks (DNNs) make predictions is a vital field in artificial intelligence, which hinders wide applications of DNNs. Visualization of learned representations helps we humans understand the vision of DNNs. In this work, visualized images that can activate the neural network to the target classes are generated by back-propagation method. Here, rotation and scaling operations are applied to introduce the transformation invariance in the image generating process, which we find a significant improvement on visualization effect. Finally, we show some cases that such method can help us to gain insight into neural networks. | 翻訳日:2021-06-21 14:06:30 公開日:2021-06-18 |
| # オンデバイス文書のローカライズのためのhoughに基づく高度手法 Advanced Hough-based method for on-device document localization ( http://arxiv.org/abs/2106.09987v1 ) ライセンス: Link先を確認 | D.V. Tropin, A.M. Ershov, D.P. Nikolaev and V.V. Arlazarov | (参考訳) デバイス上の文書認識システムの需要は、より厳格なプライバシーとセキュリティ要件の出現とともに増加する。
このようなシステムでは、エンドデバイスからサードパーティの情報処理サーバへのデータ転送は行われない。
応答時間は、オンデバイス文書認識のユーザエクスペリエンスに不可欠である。
スマートフォンなどのコンシューマグレードのエンドデバイスでは、離散GPU、強力なCPU、あるいは大きなRAM容量が利用できないため、時間制限は、オンデバイス実行に適用されるアルゴリズムの計算複雑性に大きな制約を与えた。
本研究では,文書の内容や内部構造を事前に知ることなく,画像中の文書の位置を考察する。
公開された作品に従って、少なくとも5つのシステムがオンデバイスドキュメントロケーションのソリューションを提供している。
これらのシステムはすべて、ハフベースと見なすことのできるロケーションメソッドを使用する。
このようなシステムの精度は、限られた計算資源を考慮に入れない最先端のソリューションよりも低いようである。
先進的なハフ法を提案する。
他の手法とは対照的に、中央射影モデルの幾何学的不変性を考慮し、文書境界検出にエッジとカラーの特徴を組み合わせる。
提案手法は,ニューラルネットワークのようなU-netを超越した精度で,SmartDocデータセットの2番目の最適結果を実現する。
より挑戦的なMIDV-500データセットで評価すると、提案アルゴリズムは公表された手法と比較して最高の精度を保証した。
本手法はオンデバイス計算への適用性を維持した。 The demand for on-device document recognition systems increases in conjunction with the emergence of more strict privacy and security requirements. In such systems, there is no data transfer from the end device to a third-party information processing servers. The response time is vital to the user experience of on-device document recognition. Combined with the unavailability of discrete GPUs, powerful CPUs, or a large RAM capacity on consumer-grade end devices such as smartphones, the time limitations put significant constraints on the computational complexity of the applied algorithms for on-device execution. In this work, we consider document location in an image without prior knowledge of the document content or its internal structure. In accordance with the published works, at least 5 systems offer solutions for on-device document location. All these systems use a location method which can be considered Hough-based. The precision of such systems seems to be lower than that of the state-of-the-art solutions which were not designed to account for the limited computational resources. We propose an advanced Hough-based method. In contrast with other approaches, it accounts for the geometric invariants of the central projection model and combines both edge and color features for document boundary detection. The proposed method allowed for the second best result for SmartDoc dataset in terms of precision, surpassed by U-net like neural network. When evaluated on a more challenging MIDV-500 dataset, the proposed algorithm guaranteed the best precision compared to published methods. Our method retained the applicability to on-device computations. | 翻訳日:2021-06-21 14:06:20 公開日:2021-06-18 |
| # shape prior non-uniform sampling guided real-time stereo 3d object detection Shape Prior Non-Uniform Sampling Guided Real-time Stereo 3D Object Detection ( http://arxiv.org/abs/2106.10013v1 ) ライセンス: Link先を確認 | A. Gao, J. Cao, and Y. Pang | (参考訳) 擬似LiDARベースの3Dオブジェクト検出器は高い精度で人気を博している。
しかし,これらの手法では深度監視が必要であり,低速化に苦しむ。
これら2つの問題を解決するため、最近発表されたRTS3Dは、深度監督なしでオブジェクトの中間表現のための効率的な4D特徴-一貫性埋め込み(FCE)空間を構築した。
fce空間は、異なるオブジェクト領域の重要性を無視する特徴サンプリングポイント生成のために、オブジェクト領域全体を3次元一様グリッド潜在空間に分割する。
しかし, 内部領域と比較すると, 外側領域は正確な3d検出に重要な役割を担っている。
外側領域からより多くの情報をエンコードするために,外側領域で密サンプリングを行い,内側領域でスパースサンプリングを行う,事前の非一様サンプリング戦略を提案する。
その結果、外部領域からより多くの点をサンプリングし、3次元検出に有用な特徴を抽出する。
さらに,各サンプリング点の特徴識別を強化するために,よりコンテキスト情報を活用し,ノイズを抑える高レベルな意味強化FCEモジュールを提案する。
提案手法の有効性を示すため,KITTIデータセットの実験を行った。
ベースラインRTS3Dと比較して,提案手法はネットワークパラメータをほとんど含まないAP3dに対して2.57%改善されている。
さらに,提案手法は,リアルタイムに余分な監視を行わず,最先端の手法よりも優れた性能を示す。 Pseudo-LiDAR based 3D object detectors have gained popularity due to their high accuracy. However, these methods need dense depth supervision and suffer from inferior speed. To solve these two issues, a recently introduced RTS3D builds an efficient 4D Feature-Consistency Embedding (FCE) space for the intermediate representation of object without depth supervision. FCE space splits the entire object region into 3D uniform grid latent space for feature sampling point generation, which ignores the importance of different object regions. However, we argue that, compared with the inner region, the outer region plays a more important role for accurate 3D detection. To encode more information from the outer region, we propose a shape prior non-uniform sampling strategy that performs dense sampling in outer region and sparse sampling in inner region. As a result, more points are sampled from the outer region and more useful features are extracted for 3D detection. Further, to enhance the feature discrimination of each sampling point, we propose a high-level semantic enhanced FCE module to exploit more contextual information and suppress noise better. Experiments on the KITTI dataset are performed to show the effectiveness of the proposed method. Compared with the baseline RTS3D, our proposed method has 2.57% improvement on AP3d almost without extra network parameters. Moreover, our proposed method outperforms the state-of-the-art methods without extra supervision at a real-time speed. | 翻訳日:2021-06-21 14:06:01 公開日:2021-06-18 |
| # EPIC-KITCHENS-100 Unsupervised Domain Adaptation Challenge for Action Recognition 2021: Team M3EM Technical Report EPIC-KITCHENS-100 Unsupervised Domain Adaptation Challenge for Action Recognition 2021: Team M3EM Technical Report ( http://arxiv.org/abs/2106.10026v1 ) ライセンス: Link先を確認 | Lijin Yang, Yifei Huang, Yusuke Sugano, Yoichi Sato | (参考訳) 本報告では,2021年のepic-kitchens-100unsupervised domain adaptation challenge for action recognitionの技術的詳細について述べる。
複数のモダリティを活用することで、Unsupervised Domain Adaptation (UDA)タスクの恩恵が証明されている。
本研究では,複数のモードからの情報を協調的に検討し,ドメイン間で最も転送可能な表現を見つけるための深層モジュールであるM3EMを提案する。
これを実現するために、他のモダリティの文脈を用いて各モダリティを強化する2つのサブモジュールを実装する。
第1のサブモジュールは意味空間を通してモダリティ間の情報を交換し、第2のサブモジュールは全てのモダリティのコンセンサスに基づいて最も転送可能な空間領域を見つける。 In this report, we describe the technical details of our submission to the 2021 EPIC-KITCHENS-100 Unsupervised Domain Adaptation Challenge for Action Recognition. Leveraging multiple modalities has been proved to benefit the Unsupervised Domain Adaptation (UDA) task. In this work, we present Multi-Modal Mutual Enhancement Module (M3EM), a deep module for jointly considering information from multiple modalities to find the most transferable representations across domains. We achieve this by implementing two sub-modules for enhancing each modality using the context of other modalities. The first sub-module exchanges information across modalities through the semantic space, while the second sub-module finds the most transferable spatial region based on the consensus of all modalities. | 翻訳日:2021-06-21 14:05:38 公開日:2021-06-18 |
| # トレーニングかアーキテクチャか?
ニューラルネットワークに不変性を導入する方法 Training or Architecture? How to Incorporate Invariance in Neural Networks ( http://arxiv.org/abs/2106.10044v1 ) ライセンス: Link先を確認 | Kanchana Vaishnavi Gandikota, Jonas Geiping, Zorah L\"ahner, Adam Czapli\'nski, Michael Moeller | (参考訳) 多くのアプリケーションは、入力データの特定の変換に対するニューラルネットワークの堅牢性、あるいは理想的には不変性を必要とする。
最も一般的には、この要件はトレーニングデータの強化、逆のトレーニングの使用、あるいは望ましい不変性を含むネットワークアーキテクチャの定義によって対処される。
残念なことに、後者はしばしば全ての可能な変換を列挙する能力に依存しており、そのようなアプローチは任意の回転やスケーリングのような無限の変換集合に対してほとんど不可能である。
本研究では,固定基準に基づく(連続的な)軌道から1つの要素を選択することにより,グループ動作に関するネットワークアーキテクチャを確実に不変化する手法を提案する。
簡単に言えば、実際のネットワークにデータを送る前に、可能なトランスフォーメーションを“無効化”するつもりです。
このような手法の特性を解析し、等価ネットワークに拡張し、いくつかの数値例でロバスト性および計算効率の観点からその利点を実証する。
特に,画像の回転に関するロバスト性(離散化アーティファクトのみを保持することができる可能性がある)や,3次元点雲分類の証明可能な回転・スケーリング不変性について検討する。 Many applications require the robustness, or ideally the invariance, of a neural network to certain transformations of input data. Most commonly, this requirement is addressed by either augmenting the training data, using adversarial training, or defining network architectures that include the desired invariance automatically. Unfortunately, the latter often relies on the ability to enlist all possible transformations, which make such approaches largely infeasible for infinite sets of transformations, such as arbitrary rotations or scaling. In this work, we propose a method for provably invariant network architectures with respect to group actions by choosing one element from a (possibly continuous) orbit based on a fixed criterion. In a nutshell, we intend to 'undo' any possible transformation before feeding the data into the actual network. We analyze properties of such approaches, extend them to equivariant networks, and demonstrate their advantages in terms of robustness as well as computational efficiency in several numerical examples. In particular, we investigate the robustness with respect to rotations of images (which can possibly hold up to discretization artifacts only) as well as the provable rotational and scaling invariance of 3D point cloud classification. | 翻訳日:2021-06-21 14:05:23 公開日:2021-06-18 |
| # 空中光切断による複合人物分類 Combined Person Classification with Airborne Optical Sectioning ( http://arxiv.org/abs/2106.10077v1 ) ライセンス: Link先を確認 | Indrajit Kurmi, David C. Schedl, and Oliver Bimber | (参考訳) 完全に自律的なドローンは、森林の天蓋を強く排除し、失われたり負傷したりすることを実証されている。
新しい合成開口イメージング技術であるairborne optical sectioning (aos) とディープラーニングに基づく分類は、リアルな探索・認識条件下で高い検出率を可能にする。
単一積分画像ではなく,複数のaosの分類を組み合わせることで,誤検出が著しく抑制され,真の検出が促進されることを示す。
これにより、特に閉塞の存在下での分類率が向上する。
これを実現するために,AOS撮像法を改良し,その後の積分の重なり合いをサポートし,リアルタイム・オンボード走査と地上速度の最大10m/sの処理を可能にした。 Fully autonomous drones have been demonstrated to find lost or injured persons under strongly occluding forest canopy. Airborne Optical Sectioning (AOS), a novel synthetic aperture imaging technique, together with deep-learning-based classification enables high detection rates under realistic search-and-rescue conditions. We demonstrate that false detections can be significantly suppressed and true detections boosted by combining classifications from multiple AOS rather than single integral images. This improves classification rates especially in the presence of occlusion. To make this possible, we modified the AOS imaging process to support large overlaps between subsequent integrals, enabling real-time and on-board scanning and processing of groundspeeds up to 10 m/s. | 翻訳日:2021-06-21 14:05:06 公開日:2021-06-18 |
| # hSMAL:運動パターン認識のための詳細な馬の形と姿勢再構成 hSMAL: Detailed Horse Shape and Pose Reconstruction for Motion Pattern Recognition ( http://arxiv.org/abs/2106.10102v1 ) ライセンス: Link先を確認 | Ci Li, Nima Ghorbani, Sofia Broom\'e, Maheen Rashid, Michael J. Black, Elin Hernlund, Hedvig Kjellstr\"om, Silvia Zuffi | (参考訳) 本稿では,馬の動きのモデルに基づく行動解析に関する予備研究について述べる。
このアプローチは,動物形状の3次元調音統計モデルであるsmalモデルに基づいている。
337ドルの馬のおもちゃから学んだ新しいテンプレート、骨格、形状空間に基づいて、馬のための新しいsmalモデルを定義した。
3d mocapデータと画像から馬の復元におけるhsmalモデルの精度を検証した。
本稿では,映像からの透視検出問題にhSMALモデルを適用し,そのモデルに画像に適合させて3次元ポーズを復元し,ポーズデータにST-GCNネットワークを訓練する。
mocapポイントでトレーニングされた同じネットワークとの比較は、私たちのアプローチのメリットを示しています。 In this paper we present our preliminary work on model-based behavioral analysis of horse motion. Our approach is based on the SMAL model, a 3D articulated statistical model of animal shape. We define a novel SMAL model for horses based on a new template, skeleton and shape space learned from $37$ horse toys. We test the accuracy of our hSMAL model in reconstructing a horse from 3D mocap data and images. We apply the hSMAL model to the problem of lameness detection from video, where we fit the model to images to recover 3D pose and train an ST-GCN network on pose data. A comparison with the same network trained on mocap points illustrates the benefit of our approach. | 翻訳日:2021-06-21 14:04:53 公開日:2021-06-18 |
| # ストリーム横断型コントラストを用いた自己教師付きビデオ表現学習 Self-supervised Video Representation Learning with Cross-Stream Prototypical Contrasting ( http://arxiv.org/abs/2106.10137v1 ) ライセンス: Link先を確認 | Martine Toering, Ioannis Gatopoulos, Maarten Stol, Vincent Tao Hu | (参考訳) データ拡張と対照的な損失関数に依存するインスタンスレベルのコントラスト学習技術は、視覚表現学習の分野において大きな成功を収めている。
しかし、多くの拡張インスタンス上で操作を行うため、ビデオのリッチな動的構造を利用するには適していない。
本稿では,RGBと光フロービューの両方から一貫したプロトタイプ割り当てを予測し,サンプルセット上で動作させる新しい手法である"Video Cross-Stream Prototypeal Contrasting"を提案する。
具体的には、最適化プロセスに代えて、ストリームの1つを最適化しながら、すべてのビューをストリームプロトタイプベクターの1セットにマッピングします。
それぞれの割り当ては、予測に一致するものを除いてすべてのビューで予測され、割り当てられたプロトタイプに近く表現をプッシュする。
その結果、推論中に光学フロー計算を明示的に必要とせずに、より効率的な動き情報付きビデオ埋め込みが学習される。
s3d バックボーン (90.5% top-1 acc) を用いて ucf101 で+3.2%, r(2+1)d バックボーンを用いて ucf101 で+7.2%, hmdb51 で+15.1% と, 最寄りの映像検索と行動認識に関する最先端の結果を得た。 Instance-level contrastive learning techniques, which rely on data augmentation and a contrastive loss function, have found great success in the domain of visual representation learning. They are not suitable for exploiting the rich dynamical structure of video however, as operations are done on many augmented instances. In this paper we propose "Video Cross-Stream Prototypical Contrasting", a novel method which predicts consistent prototype assignments from both RGB and optical flow views, operating on sets of samples. Specifically, we alternate the optimization process; while optimizing one of the streams, all views are mapped to one set of stream prototype vectors. Each of the assignments is predicted with all views except the one matching the prediction, pushing representations closer to their assigned prototypes. As a result, more efficient video embeddings with ingrained motion information are learned, without the explicit need for optical flow computation during inference. We obtain state-of-the-art results on nearest neighbour video retrieval and action recognition, outperforming previous best by +3.2% on UCF101 using the S3D backbone (90.5% Top-1 acc), and by +7.2% on UCF101 and +15.1% on HMDB51 using the R(2+1)D backbone. | 翻訳日:2021-06-21 14:04:42 公開日:2021-06-18 |
| # エンベッドできるのは、時空間トランスフォーマーによる自然言語による車両検索 All You Can Embed: Natural Language based Vehicle Retrieval with Spatio-Temporal Transformers ( http://arxiv.org/abs/2106.10153v1 ) ライセンス: Link先を確認 | Carmelo Scribano, Davide Sapienza, Giorgia Franchini, Micaela Verucchi and Marko Bertogna | (参考訳) 自然言語とビジョンを組み合わせることは、人工知能の領域においてユニークで興味深い課題である。
AI City Challenge Track 5 for Natural Language-Based Vehicle Retrievalは、スマートシティのユースケースに適用された視覚情報とテキスト情報を組み合わせた問題に焦点を当てている。
本稿では,AYCE(All You Can Embed)という,単一車両追跡シーケンスを自然言語に関連付けるモジュール型ソリューションを提案する。
提案したアーキテクチャの主要なビルディングブロックは (i) BERT でテキスト記述の埋め込みを提供し、 (ii) コンボリューションバックボーンと Transformer モデルで視覚情報を埋め込む。
検索モデルの学習のために,視覚と言語間の距離尺度を学習するために,三重項マージン損失の変動が提案されている。
コードはhttps://github.com/cscribano/AYCE_2021で公開されている。 Combining Natural Language with Vision represents a unique and interesting challenge in the domain of Artificial Intelligence. The AI City Challenge Track 5 for Natural Language-Based Vehicle Retrieval focuses on the problem of combining visual and textual information, applied to a smart-city use case. In this paper, we present All You Can Embed (AYCE), a modular solution to correlate single-vehicle tracking sequences with natural language. The main building blocks of the proposed architecture are (i) BERT to provide an embedding of the textual descriptions, (ii) a convolutional backbone along with a Transformer model to embed the visual information. For the training of the retrieval model, a variation of the Triplet Margin Loss is proposed to learn a distance measure between the visual and language embeddings. The code is publicly available at https://github.com/cscribano/AYCE_2021. | 翻訳日:2021-06-21 14:04:09 公開日:2021-06-18 |
| # 補助モデルの自己学習による経時的ドメイン適応 Gradual Domain Adaptation via Self-Training of Auxiliary Models ( http://arxiv.org/abs/2106.09890v1 ) ライセンス: Link先を確認 | Yabin Zhang, Bin Deng, Kui Jia, Lei Zhang | (参考訳) ソースとターゲットドメイン間のギャップを増やすことで、ドメイン適応はより難しくなります。
対象ドメインを分散させるためのラベル付きソースデータの信頼性に関する実証分析から,中間ドメインのモデルを学習し,ドメイン間の分散シフトに徐々に対処する補助モデル(AuxSelfTrain)の自己学習を提案する。
本稿では、ソースデータの割合の減少と、連続するドメイン間のドメイン距離を最小化するためにサンプリングされたターゲットデータの割合の増加の組合せとして、進化中の中間ドメインを紹介する。
次に、進化する中間領域上の補助モデルの自己学習により、ソースモデルが徐々にターゲット領域での使用に適応することができる。
また,暗黙的アンサンブルによるサンプル選択のための拡張指標を導入し,提案手法を半教師あり領域適応に拡張する。
教師なしおよび半教師付きドメイン適応のベンチマークデータセットの実験は、その有効性を検証する。 Domain adaptation becomes more challenging with increasing gaps between source and target domains. Motivated from an empirical analysis on the reliability of labeled source data for the use of distancing target domains, we propose self-training of auxiliary models (AuxSelfTrain) that learns models for intermediate domains and gradually combats the distancing shifts across domains. We introduce evolving intermediate domains as combinations of decreasing proportion of source data and increasing proportion of target data, which are sampled to minimize the domain distance between consecutive domains. Then the source model could be gradually adapted for the use in the target domain by self-training of auxiliary models on evolving intermediate domains. We also introduce an enhanced indicator for sample selection via implicit ensemble and extend the proposed method to semi-supervised domain adaptation. Experiments on benchmark datasets of unsupervised and semi-supervised domain adaptation verify its efficacy. | 翻訳日:2021-06-21 14:03:35 公開日:2021-06-18 |
| # SATとMaxSATによるブール行列分解 Boolean Matrix Factorization with SAT and MaxSAT ( http://arxiv.org/abs/2106.10105v1 ) ライセンス: Link先を確認 | Florent Avellaneda, Roger Villemaire | (参考訳) ブール行列分解問題は、2つのより小さなブール行列のブール積による行列の近似である。
分解すべき行列が小さければ最適解を得るため,SATとMaxSATの符号化を提案するが,分解すべき行列が大きければ,最大二角被覆の探索に基づくヒューリスティックを提案する。
提案手法は, 計算時間を合理的に保ちながら, 既存手法よりも分解性が高いことを示す。
提案手法により,不完全行列の扱いも可能となる。 The Boolean matrix factorization problem consists in approximating a matrix by the Boolean product of two smaller Boolean matrices. To obtain optimal solutions when the matrices to be factorized are small, we propose SAT and MaxSAT encoding; however, when the matrices to be factorized are large, we propose a heuristic based on the search for maximal biclique edge cover. We experimentally demonstrate that our approaches allow a better factorization than existing approaches while keeping reasonable computation times. Our methods also allow the handling of incomplete matrices with missing entries. | 翻訳日:2021-06-21 14:03:22 公開日:2021-06-18 |
| # graph context encoder: graph feature inpainting for graph generation and self-supervised pretraining Graph Context Encoder: Graph Feature Inpainting for Graph Generation and Self-supervised Pretraining ( http://arxiv.org/abs/2106.10124v1 ) ライセンス: Link先を確認 | Oriel Frigo, R\'emy Brossard, David Dehaene | (参考訳) 本稿では,グラフ特徴のマスキングと再構成に基づくグラフ表現学習のための,単純かつ効率的な手法であるグラフコンテキストエンコーダ(gce)を提案する。
GCEモデルは、ノードとエッジラベルがマスクされたグラフオートエンコーダと同様に、入力グラフを効率的に再構築するように訓練される。
特に,本モデルでは,ランダムな擬似エッジによるグラフのマスキングと再構成により,グラフ構造の変更も可能である。
GCEは新規なグラフ生成に利用でき、分子生成にも応用できることを示す。
また,複数のベンチマークグラフデータセットでテストされた教師付き分類タスクにおいて,gceがベースライン性能を向上させることを示す。 We propose the Graph Context Encoder (GCE), a simple but efficient approach for graph representation learning based on graph feature masking and reconstruction. GCE models are trained to efficiently reconstruct input graphs similarly to a graph autoencoder where node and edge labels are masked. In particular, our model is also allowed to change graph structures by masking and reconstructing graphs augmented by random pseudo-edges. We show that GCE can be used for novel graph generation, with applications for molecule generation. Used as a pretraining method, we also show that GCE improves baseline performances in supervised classification tasks tested on multiple standard benchmark graph datasets. | 翻訳日:2021-06-21 14:03:12 公開日:2021-06-18 |
| # ノイズグラッド:モデル重みへの確率性の導入による説明の強化 NoiseGrad: enhancing explanations by introducing stochasticity to model weights ( http://arxiv.org/abs/2106.10185v1 ) ライセンス: Link先を確認 | Kirill Bykov, Anna Hedstr\"om, Shinichi Nakajima, Marina M.-C. H\"ohne | (参考訳) 帰属法は、複雑な学習機械の意思決定過程を説明するために現実世界のアプリケーションで使われる実践的な道具である。
SmoothGradと呼ばれる単純な手法は、勾配に基づく帰属法の視覚的拡散を効果的に抑制できることが示されており、研究者と実践者の間で確立されている。
しかし、研究でまだ解明されていないのは、モデル重みに確率性を導入することで、どのように説明が改善されるかである。
本研究では,入力データに代えて重み付けにノイズを付加する,確率的かつメソッド非依存な説明エンハンシング手法であるノイズグレードを提案する。
提案手法を,異なるデータセット,説明手法,ネットワークアーキテクチャを含む様々な実験により検討し,乗算ガウス雑音によるノイズGrad(および拡張ノイズGrad++)は,複数の評価基準においてSmoothGradと比較して明らかに有利であることを示した。
提案手法をベイズ学習に接続し,ハイパーパラメータを選択するためのヒューリスティックを提供する。 Attribution methods remain a practical instrument that is used in real-world applications to explain the decision-making process of complex learning machines. It has been shown that a simple method called SmoothGrad can effectively reduce the visual diffusion of gradient-based attribution methods and has established itself among both researchers and practitioners. What remains unexplored in research, however, is how explanations can be improved by introducing stochasticity to the model weights. In the light of this, we introduce - NoiseGrad - a stochastic, method-agnostic explanation-enhancing method that adds noise to the weights instead of the input data. We investigate our proposed method through various experiments including different datasets, explanation methods and network architectures and conclude that NoiseGrad (and its extension NoiseGrad++) with multiplicative Gaussian noise offers a clear advantage compared to SmoothGrad on several evaluation criteria. We connect our proposed method to Bayesian Learning and provide the user with a heuristic for choosing hyperparameters. | 翻訳日:2021-06-21 14:03:00 公開日:2021-06-18 |
| # 自動音声認識のための改良型単段非自己回帰変圧器 An Improved Single Step Non-autoregressive Transformer for Automatic Speech Recognition ( http://arxiv.org/abs/2106.09885v1 ) ライセンス: Link先を確認 | Ruchao Fan, Wei Chu, Peng Chang, Jing Xiao and Abeer Alwan | (参考訳) 非自己回帰機構は、特に1ステップの変種が適用される場合、音声変換器の推論時間を著しく短縮することができる。
CTCアライメントに基づく単一ステップ非自己回帰変換器(CASS-NAT)の以前の研究は、自己回帰変換器(AT)よりも大きなリアルタイム係数(RTF)の改善を示した。
本研究では, エンドツーエンドCASS-NATの精度向上のためのいくつかの手法を提案し, 性能解析を行った。
まず、エンコーダモジュールとデコーダモジュールの両方に畳み込み拡張自己アテンションブロックを適用する。
次に,各トークンのトリガーマスク(音響境界)を拡張し,CTCアライメントのロバスト性を高めることを提案する。
さらに、低層パラメータの勾配更新を強化するために繰り返し損失関数が使用される。
外部言語モデルを用いなければ、改良されたcass-natのwersはlibrispeechテストでは3.1%/7.2%、aishell1テストセットでは5.4%、相対的なwer/cer改善は7%〜21%である。
分析では,トークンレベルの音響埋め込みの関係を可視化するために,デコーダ内の注目重量分布をプロットする。
音響埋め込みを可視化すると,それらが単語埋め込みと類似していることが判明し,改良されたCASS-NATがATと同じような動作をする理由が説明される。 Non-autoregressive mechanisms can significantly decrease inference time for speech transformers, especially when the single step variant is applied. Previous work on CTC alignment-based single step non-autoregressive transformer (CASS-NAT) has shown a large real time factor (RTF) improvement over autoregressive transformers (AT). In this work, we propose several methods to improve the accuracy of the end-to-end CASS-NAT, followed by performance analyses. First, convolution augmented self-attention blocks are applied to both the encoder and decoder modules. Second, we propose to expand the trigger mask (acoustic boundary) for each token to increase the robustness of CTC alignments. In addition, iterated loss functions are used to enhance the gradient update of low-layer parameters. Without using an external language model, the WERs of the improved CASS-NAT, when using the three methods, are 3.1%/7.2% on Librispeech test clean/other sets and the CER is 5.4% on the Aishell1 test set, achieving a 7%~21% relative WER/CER improvement. For the analyses, we plot attention weight distributions in the decoders to visualize the relationships between token-level acoustic embeddings. When the acoustic embeddings are visualized, we find that they have a similar behavior to word embeddings, which explains why the improved CASS-NAT performs similarly to AT. | 翻訳日:2021-06-21 14:02:39 公開日:2021-06-18 |
| # メタパスのない双曲空間に異種ネットワークを埋め込む Embedding Heterogeneous Networks into Hyperbolic Space Without Meta-path ( http://arxiv.org/abs/2106.09923v1 ) ライセンス: Link先を確認 | Lili Wang, Chongyang Gao, Chenghan Huang, Ruibo Liu, Weicheng Ma, Soroush Vosoughi | (参考訳) 現実世界で見られるネットワークは多種多様である。
一般的なタイプのネットワークは異種ネットワークであり、ノード(とエッジ)は異なるタイプのネットワークである。
そのため、これらの異種ネットワークの低次元空間での表現を学習する努力が続けられている。
しかし、既存のヘテロジニアスなネットワーク埋め込み手法のほとんどが以下の2つの欠点を抱えている: (1) 対象空間は通常ユークリッド空間である。
逆に、近年の多くの研究は、複素ネットワークが非ユークリッドである双曲潜在解剖を持つことを示した。
2) これらの手法は通常、メタパスの選択にドメイン固有の事前知識を必要とするメタパスに依存する。
さらに、同じネットワーク上の異なるダウンストリームタスクは、タスク固有の埋め込みを生成するために異なるメタパスを必要とするかもしれない。
本稿では,異種ネットワークを双曲空間に埋め込むメタパスを必要としない,自己誘導型ランダムウォーク法を提案する。
我々は,2つの公開データセット上でネットワーク再構成とリンク予測のタスクを徹底的に実験し,各タスクでよく知られたベースラインを上回ることを示す。 Networks found in the real-world are numerous and varied. A common type of network is the heterogeneous network, where the nodes (and edges) can be of different types. Accordingly, there have been efforts at learning representations of these heterogeneous networks in low-dimensional space. However, most of the existing heterogeneous network embedding methods suffer from the following two drawbacks: (1) The target space is usually Euclidean. Conversely, many recent works have shown that complex networks may have hyperbolic latent anatomy, which is non-Euclidean. (2) These methods usually rely on meta-paths, which require domain-specific prior knowledge for meta-path selection. Additionally, different down-streaming tasks on the same network might require different meta-paths in order to generate task-specific embeddings. In this paper, we propose a novel self-guided random walk method that does not require meta-path for embedding heterogeneous networks into hyperbolic space. We conduct thorough experiments for the tasks of network reconstruction and link prediction on two public datasets, showing that our model outperforms a variety of well-known baselines across all tasks. | 翻訳日:2021-06-21 14:02:12 公開日:2021-06-18 |
| # マンダリンと英語の歌唱における音声セグメントと楽音の同期化 Synchronising speech segments with musical beats in Mandarin and English singing ( http://arxiv.org/abs/2106.10045v1 ) ライセンス: Link先を確認 | Cong Zhang, Jian Zhu | (参考訳) 音声データに基づいて学習したモデルを用いた合成歌声の生成には,モデルの柔軟性と制御性から多くの利点がある。
しかし、音声訓練データにはセグメントとビート間の時間的関係が欠如しているため、合成歌唱は時折オフビートを鳴らすことがある。
したがって、音声セグメントと音楽ビート間の時間的関係に関する情報の入手が不可欠である。
本研究は,P中心とソノリティ階層の言語理論に基づいて,歌唱データにおけるセグメントビート同期を仮説として検討した。
マンダリンコーパスとプロの歌唱データの英語コーパスを手動で注釈付けして分析した。
その結果,音楽的ビートの存在はソノリティよりもセグメント持続時間に依存することがわかった。
しかし、ソノリティ階層とp-centre理論はビートの位置と強く関連していた。
マンダリンと英語は共通パターンを示すにもかかわらず、言語横断的な変化を示した。 Generating synthesised singing voice with models trained on speech data has many advantages due to the models' flexibility and controllability. However, since the information about the temporal relationship between segments and beats are lacking in speech training data, the synthesised singing may sound off-beat at times. Therefore, the availability of the information on the temporal relationship between speech segments and music beats is crucial. The current study investigated the segment-beat synchronisation in singing data, with hypotheses formed based on the linguistics theories of P-centre and sonority hierarchy. A Mandarin corpus and an English corpus of professional singing data were manually annotated and analysed. The results showed that the presence of musical beats was more dependent on segment duration than sonority. However, the sonority hierarchy and the P-centre theory were highly related to the location of beats. Mandarin and English demonstrated cross-linguistic variations despite exhibiting common patterns. | 翻訳日:2021-06-21 14:01:36 公開日:2021-06-18 |
| # ピクセル空間における深部ニューラルネットワークの対向ロバスト性の解析:意味論的視点 Analyzing Adversarial Robustness of Deep Neural Networks in Pixel Space: a Semantic Perspective ( http://arxiv.org/abs/2106.09872v1 ) ライセンス: Link先を確認 | Lina Wang, Xingshu Chen, Yulong Wang, Yawei Yue, Yi Zhu, Xuemei Zeng, Wei Wang | (参考訳) 深層ニューラルネットワークの敵例に対する脆弱性は、ネットワークが誤った出力を生成することを誤解するために、知覚不能な摂動で入力を修正することで悪用され、堅牢性の欠如とセキュリティ上の懸念が浮き彫りになる。
前回の研究では、画像レベルにおける画像分類器の敵対的頑健性を調査し、画像内のすべての画素情報を無差別に使用し、画像の画素空間における意味的意味の異なる領域の探索を欠いている。
本研究では, このギャップを埋め, 対向画像の画素空間を探索するために, セグメント化画像の異なる領域の画素で可能な摂動画素を求めるアルゴリズムを提案する。
CIFAR-10とImageNetの広範な実験結果は、画像の一部のピクセルで修正されたピクセルを検索することで、画像全体のピクセルを全て必要とせずに1ピクセルの対角攻撃をうまく起動できることを確認し、画像の異なる領域に複数の脆弱な点が存在する。
また,画像上の異なる領域の対角的堅牢性は,意味情報の量によって異なることを示す。 The vulnerability of deep neural networks to adversarial examples, which are crafted maliciously by modifying the inputs with imperceptible perturbations to misled the network produce incorrect outputs, reveals the lack of robustness and poses security concerns. Previous works study the adversarial robustness of image classifiers on image level and use all the pixel information in an image indiscriminately, lacking of exploration of regions with different semantic meanings in the pixel space of an image. In this work, we fill this gap and explore the pixel space of the adversarial image by proposing an algorithm to looking for possible perturbations pixel by pixel in different regions of the segmented image. The extensive experimental results on CIFAR-10 and ImageNet verify that searching for the modified pixel in only some pixels of an image can successfully launch the one-pixel adversarial attacks without requiring all the pixels of the entire image, and there exist multiple vulnerable points scattered in different regions of an image. We also demonstrate that the adversarial robustness of different regions on the image varies with the amount of semantic information contained. | 翻訳日:2021-06-21 14:01:23 公開日:2021-06-18 |
| # 共有埋め込みを用いたライダーマップのレーダ位置改善 Improved Radar Localization on Lidar Maps Using Shared Embedding ( http://arxiv.org/abs/2106.10000v1 ) ライセンス: Link先を確認 | Huan Yin, Yue Wang and Rong Xiong | (参考訳) 本論文では,事前構築したlidarマップ上でのレーダグローバルローカライズとポーズ追跡を解決するための異種ローカライズフレームワークを提案する。
センシングモードのギャップを埋めるために、ディープニューラルネットワークが構築され、レーダースキャンとlidarマップのための共有埋め込みスペースが構築される。
学習した特徴埋め込みは類似度の測定に役立ち、マップ検索とデータマッチングがそれぞれ改善される。
RobotCarとMulRanのデータセットでは、提案フレームワークの有効性をScan ContextとRaLLと比較して示す。
さらに、提案されたポーズトラッキングパイプラインは、オリジナルのRaLLと比較してニューラルネットワークが少ない。 We present a heterogeneous localization framework for solving radar global localization and pose tracking on pre-built lidar maps. To bridge the gap of sensing modalities, deep neural networks are constructed to create shared embedding space for radar scans and lidar maps. Herein learned feature embeddings are supportive for similarity measurement, thus improving map retrieval and data matching respectively. In RobotCar and MulRan datasets, we demonstrate the effectiveness of the proposed framework with the comparison to Scan Context and RaLL. In addition, the proposed pose tracking pipeline is with less neural networks compared to the original RaLL. | 翻訳日:2021-06-21 14:01:00 公開日:2021-06-18 |
| # 解析マーチングの効率的な実装による深層表面ネットワークからの学習とメッシュ化 Learning and Meshing from Deep Implicit Surface Networks Using an Efficient Implementation of Analytic Marching ( http://arxiv.org/abs/2106.10031v1 ) ライセンス: Link先を確認 | Jiabao Lei, Kui Jia, Yi Ma | (参考訳) 物体やシーンの表面の再構成はコンピュータビジョン、コンピュータグラフィックス、ロボット工学に多大な応用がある。
本稿では,ゼロレベル集合が基底表面をキャプチャする暗黙の場関数から表面メッシュを復元する,この文脈における根本的な問題について検討する。
この目的を達成するために、既存の手法は従来のメッシュアルゴリズムに依存しており、有望ではあるが、マーチングキューブで離散的な空間サンプリングを使用することにより、暗黙の表面ネットワークで学んだ精度の喪失に悩まされている。
Rectified Linear Unit (ReLU) の活性化を伴う MLP が入力空間を複数の線形領域に分割することを考えると、我々はこの局所線型性をポリゴンメッシュの所望の結果が持つ同じ性質と結びつける動機付けとなる。
より具体的には,MLPに基づく暗黙関数,解析セル,解析面によって区切られた線形領域から,関数のゼロレベルアイソサーフェスに関連付けられた領域を同定する。
穏やかな条件下では、識別された分析面は、閉じた平面面を形成することが保証される。
この定理に基づき,解析セル間を行進して暗黙的表面ネットワークで捕捉されたメッシュを正確に復元する解析的マーチングのアルゴリズムを提案する。
また,本理論とアルゴリズムは近距離接続と最大プーリングを持つ先進mlpにも等しく適用可能であることを示した。
解析マーチングの並列性を考えると、CUDA並列コンピューティングによる暗黙のサーフェスネットワークの効率的なメッシュ化と、効率的な下流処理のためのメッシュ単純化をサポートするソフトウェアパッケージであるAnalyticMeshにコントリビュートする。
本手法を暗黙の曲面ネットワークを用いた生成形状モデリングの異なる設定に適用する。
大規模な実験は、メッシュの精度と効率の両面から、既存の手法に対する利点を実証している。 Reconstruction of object or scene surfaces has tremendous applications in computer vision, computer graphics, and robotics. In this paper, we study a fundamental problem in this context about recovering a surface mesh from an implicit field function whose zero-level set captures the underlying surface. To achieve the goal, existing methods rely on traditional meshing algorithms; while promising, they suffer from loss of precision learned in the implicit surface networks, due to the use of discrete space sampling in marching cubes. Given that an MLP with activations of Rectified Linear Unit (ReLU) partitions its input space into a number of linear regions, we are motivated to connect this local linearity with a same property owned by the desired result of polygon mesh. More specifically, we identify from the linear regions, partitioned by an MLP based implicit function, the analytic cells and analytic faces that are associated with the function's zero-level isosurface. We prove that under mild conditions, the identified analytic faces are guaranteed to connect and form a closed, piecewise planar surface. Based on the theorem, we propose an algorithm of analytic marching, which marches among analytic cells to exactly recover the mesh captured by an implicit surface network. We also show that our theory and algorithm are equally applicable to advanced MLPs with shortcut connections and max pooling. Given the parallel nature of analytic marching, we contribute AnalyticMesh, a software package that supports efficient meshing of implicit surface networks via CUDA parallel computing, and mesh simplification for efficient downstream processing. We apply our method to different settings of generative shape modeling using implicit surface networks. Extensive experiments demonstrate our advantages over existing methods in terms of both meshing accuracy and efficiency. | 翻訳日:2021-06-21 14:00:51 公開日:2021-06-18 |
| # 夜間写真における光害低減 Light Pollution Reduction in Nighttime Photography ( http://arxiv.org/abs/2106.10046v1 ) ライセンス: Link先を確認 | Chang Liu, Xiaolin Wu | (参考訳) 夜間の写真家は、望ましくない人工照明の光害に悩むことが多い。
大気中のエアロゾルに散らばった人工的な光は、コントラストとダイナミックレンジを減らして、星の光を浸し、夜間の画質を低下させる。
本稿では,上述した知覚品質の劣化を効果的に軽減し,夜空の原始状態を復元する物理ベース光汚染低減(LPR)アルゴリズムを開発する。
提案したlprアルゴリズムの成功の鍵は、地上人工光の空間放射率分布とスペクトルシグネチャを推定するための逆法である。
LPRアルゴリズムの有効性と限界を評価するために大規模な実験を行った。 Nighttime photographers are often troubled by light pollution of unwanted artificial lights. Artificial lights, after scattered by aerosols in the atmosphere, can inundate the starlight and degrade the quality of nighttime images, by reducing contrast and dynamic range and causing hazes. In this paper we develop a physically-based light pollution reduction (LPR) algorithm that can substantially alleviate the aforementioned degradations of perceptual quality and restore the pristine state of night sky. The key to the success of the proposed LPR algorithm is an inverse method to estimate the spatial radiance distribution and spectral signature of ground artificial lights. Extensive experiments are carried out to evaluate the efficacy and limitations of the LPR algorithm. | 翻訳日:2021-06-21 14:00:18 公開日:2021-06-18 |
| # 実世界画像エンハンスメントの偏差主観評価 Debiased Subjective Assessment of Real-World Image Enhancement ( http://arxiv.org/abs/2106.10080v1 ) ライセンス: Link先を確認 | Cao Peibei. Wang Zhangyang, Ma Kede | (参考訳) 実世界の画像エンハンスメントでは、接地データを取得することはしばしば困難であり(不可能ではないにせよ)、客観的品質評価のための距離メトリクスの採用を妨げている。
結果として、画像エンハンスメントを評価する最も単純で信頼性の高い方法である主観的品質評価に頼ることが多い。
従来の主観的テストでは、画像空間における選択されたサンプルの極めてスパースな分布によるバイアスのサンプリング、選択されたサンプルの潜在的な過剰によるアルゴリズム的バイアス、さらなるチェリーピッキングテスト結果による主観的バイアスの3つのバイアスを、手動で事前選択する必要がある。
これにより、現実世界の画像エンハンスメントの分野は、科学よりも芸術的になる。
ここでは, 適応的, 多様な画像を自動的にサンプリングすることにより, 従来の主観的評価を逸脱させる。
これにより、サンプル選択を、選択された入力画像間のエンハンサー間の差分と多様性の結合最大化にキャストする。
得られた拡張画像の注意深い視覚検査は、拡張アルゴリズムの偏りのないランキングを提供する。
我々は,デハジング,スーパーレゾリューション,低光度エンハンスメントという3つの画像エンハンスメントタスクを用いて主観評価手法を示す。 In real-world image enhancement, it is often challenging (if not impossible) to acquire ground-truth data, preventing the adoption of distance metrics for objective quality assessment. As a result, one often resorts to subjective quality assessment, the most straightforward and reliable means of evaluating image enhancement. Conventional subjective testing requires manually pre-selecting a small set of visual examples, which may suffer from three sources of biases: 1) sampling bias due to the extremely sparse distribution of the selected samples in the image space; 2) algorithmic bias due to potential overfitting the selected samples; 3) subjective bias due to further potential cherry-picking test results. This eventually makes the field of real-world image enhancement more of an art than a science. Here we take steps towards debiasing conventional subjective assessment by automatically sampling a set of adaptive and diverse images for subsequent testing. This is achieved by casting sample selection into a joint maximization of the discrepancy between the enhancers and the diversity among the selected input images. Careful visual inspection on the resulting enhanced images provides a debiased ranking of the enhancement algorithms. We demonstrate our subjective assessment method using three popular and practically demanding image enhancement tasks: dehazing, super-resolution, and low-light enhancement. | 翻訳日:2021-06-21 14:00:06 公開日:2021-06-18 |
| # カスケードニューラルネットワークを用いた非Iterative Phase Retrieval Non-Iterative Phase Retrieval With Cascaded Neural Networks ( http://arxiv.org/abs/2106.10195v1 ) ライセンス: Link先を確認 | Tobias Uelwer and Tobias Hoffmann and Stefan Harmeling | (参考訳) フーリエ位相の探索はフーリエ変換の大きさのみを与えられる信号を再構成する問題である。
最適化に基づくアプローチ、例えば、よく確立されたGerchberg-Saxtonやハイブリッド入力出力アルゴリズムは、オーバーサンプリングされない大きさの画像を再構成するのに苦労する。
これは学習フェーズ後の非オーバサンプルスケール測定からの再構成を可能にする学習手法の適用を動機付けている。
本稿では,これらの学習手法の限界を深層ニューラルネットワークカスケードを用いて押し上げ,その非サンプリングフーリエマグニチュードから異なる解像度で画像を連続的に再構成する。
提案手法は,MNIST,EMNIST,Fashion-MNIST,KMNISTの4つの異なるデータセット上で評価し,他の非定位手法や最適化手法よりも優れた性能が得られることを示す。 Fourier phase retrieval is the problem of reconstructing a signal given only the magnitude of its Fourier transformation. Optimization-based approaches, like the well-established Gerchberg-Saxton or the hybrid input output algorithm, struggle at reconstructing images from magnitudes that are not oversampled. This motivates the application of learned methods, which allow reconstruction from non-oversampled magnitude measurements after a learning phase. In this paper, we want to push the limits of these learned methods by means of a deep neural network cascade that reconstructs the image successively on different resolutions from its non-oversampled Fourier magnitude. We evaluate our method on four different datasets (MNIST, EMNIST, Fashion-MNIST, and KMNIST) and demonstrate that it yields improved performance over other non-iterative methods and optimization-based methods. | 翻訳日:2021-06-21 13:59:39 公開日:2021-06-18 |
| # 社会学習戦略のメタコントロール Meta-control of social learning strategies ( http://arxiv.org/abs/2106.10015v1 ) ライセンス: Link先を確認 | Anil Yaman, Nicolas Bredeche, Onur \c{C}aylak, Joel Z. Leibo, Sang Wan Lee | (参考訳) 社会学習は、実際の経験のない他人の行動を模倣し、コスト効率の良い知識獲得手段を提供する。
しかし、これはどの個人が信頼できる情報を持っているかという根本的な疑問を提起する。
前者と後者はそれぞれ成功に基づく社会学習戦略として知られている。
ここでは,成功に基づく戦略が不確実性の低い良質な環境を十分に活用する一方で,不確定な環境では失敗することを示す。
一方、共形戦略はこの悪影響を効果的に軽減することができる。
これらの結果に基づき, 個人および社会学習戦略のメタコントロールは, 揮発性および不確実性環境において効果的かつサンプル効率の良い学習をもたらすと仮定した。
様々なレベルのボラティリティと不確実性を持つ環境のシミュレーションは、我々の仮説を裏付けた。
その結果,他者の学習を外部の知識基盤として活用することにより,エージェントが環境不確実性を最小限の探索コストで解決できることが示唆された。 Social learning, copying other's behavior without actual experience, offers a cost-effective means of knowledge acquisition. However, it raises the fundamental question of which individuals have reliable information: successful individuals versus the majority. The former and the latter are known respectively as success-based and conformist social learning strategies. We show here that while the success-based strategy fully exploits the benign environment of low uncertainly, it fails in uncertain environments. On the other hand, the conformist strategy can effectively mitigate this adverse effect. Based on these findings, we hypothesized that meta-control of individual and social learning strategies provides effective and sample-efficient learning in volatile and uncertain environments. Simulations on a set of environments with various levels of volatility and uncertainty confirmed our hypothesis. The results imply that meta-control of social learning affords agents the leverage to resolve environmental uncertainty with minimal exploration cost, by exploiting others' learning as an external knowledge base. | 翻訳日:2021-06-21 13:58:51 公開日:2021-06-18 |
| # 非ネイティブの子供による非転写データを用いた低資源ドイツASR-InterSPEECH 2021共有タスクSPAPLシステム Low Resource German ASR with Untranscribed Data Spoken by Non-native Children -- INTERSPEECH 2021 Shared Task SPAPL System ( http://arxiv.org/abs/2106.09963v1 ) ライセンス: Link先を確認 | Jinhan Wang, Yunzheng Zhu, Ruchao Fan, Wei Chu, Abeer Alwan | (参考訳) 本稿では,ドイツ語における非Native Children's Speechの音声認識における共有課題であるInterSPEECH 2021 ChallengeのSPAPLシステムについて述べる。
子供向けのドイツのASRシステムを開発するために、5時間の転写データと60時間の非転写データを提供する。
書き起こしデータのトレーニングのために,音声発話における長周期非音声区間の影響を軽減するために,非音声状態判別損失(NSDL)を提案する。
非転写データの利用を探求するため、システム性能を漸進的に改善するために、様々なアプローチが実装され、組み合わせられる。
まず,双方向自己回帰型予測符号化(bi-apc)を用いて音響モデルの初期パラメータを学習する。
第2に、逐次半教師付き学習により、擬似転写データを反復的に生成する。
第3に、異なるトレーニング段階で異なるデータ拡張スキームを使用して、トレーニングデータのばらつきとサイズを増大させる。
最後に、リコーディングにはリカレントニューラルネットワーク言語モデル(RNNLM)が使用される。
本システムでは,評価データに対して39.68%の単語誤り率(WER)を達成し,オフィシャルベースライン(45.21%)に対して約12%の改善を行った。 This paper describes the SPAPL system for the INTERSPEECH 2021 Challenge: Shared Task on Automatic Speech Recognition for Non-Native Children's Speech in German. ~ 5 hours of transcribed data and ~ 60 hours of untranscribed data are provided to develop a German ASR system for children. For the training of the transcribed data, we propose a non-speech state discriminative loss (NSDL) to mitigate the influence of long-duration non-speech segments within speech utterances. In order to explore the use of the untranscribed data, various approaches are implemented and combined together to incrementally improve the system performance. First, bidirectional autoregressive predictive coding (Bi-APC) is used to learn initial parameters for acoustic modelling using the provided untranscribed data. Second, incremental semi-supervised learning is further used to iteratively generate pseudo-transcribed data. Third, different data augmentation schemes are used at different training stages to increase the variability and size of the training data. Finally, a recurrent neural network language model (RNNLM) is used for rescoring. Our system achieves a word error rate (WER) of 39.68% on the evaluation data, an approximately 12% relative improvement over the official baseline (45.21%). | 翻訳日:2021-06-21 13:58:26 公開日:2021-06-18 |
| # ディープニューラルネットワークに埋め込まれたトリガーセット型透かしのロバスト性評価 Evaluating the Robustness of Trigger Set-Based Watermarks Embedded in Deep Neural Networks ( http://arxiv.org/abs/2106.10147v1 ) ライセンス: Link先を確認 | Suyoung Lee, Wonho Song, Suman Jana, Meeyoung Cha, Sooel Son | (参考訳) Triggerセットベースのウォーターマーキングスキームは、ディープニューラルネットワークモデルのオーナの所有権を証明する手段として、注目を集めている。
本稿では,現在最先端のトリガセットベースの透かしアルゴリズムが,その設計目標であるオーナシップを達成できないことを論じる。
この障害は,ウォーターマーキングアルゴリズムのロバスト性評価において,(1)不完全逆評価と(2)見過ごされた適応攻撃の2つの実験的欠陥が原因であると考えられる。
我々は,既存の6つの攻撃に対する10の代表的なウォーターマーキングスキームの包括的敵意評価を行い,これらのウォーターマーキングスキームが少なくとも2つの攻撃に対して堅牢性に欠けることを示す。
また,ターゲットモデルの基盤となる透かしアルゴリズムに対する敵の知識を活用した適応攻撃を提案する。
提案した攻撃は10の透かしスキームの全てを効果的に破壊し、敵が透かし付きモデルの所有権を曖昧にすることができることを示した。
我々は,我々の適応攻撃を含む包括的対角的評価を行うことで,透かし方式の堅牢性を評価する上で,我々のガイドラインを検討することを奨励する。 Trigger set-based watermarking schemes have gained emerging attention as they provide a means to prove ownership for deep neural network model owners. In this paper, we argue that state-of-the-art trigger set-based watermarking algorithms do not achieve their designed goal of proving ownership. We posit that this impaired capability stems from two common experimental flaws that the existing research practice has committed when evaluating the robustness of watermarking algorithms: (1) incomplete adversarial evaluation and (2) overlooked adaptive attacks. We conduct a comprehensive adversarial evaluation of 10 representative watermarking schemes against six of the existing attacks and demonstrate that each of these watermarking schemes lacks robustness against at least two attacks. We also propose novel adaptive attacks that harness the adversary's knowledge of the underlying watermarking algorithm of a target model. We demonstrate that the proposed attacks effectively break all of the 10 watermarking schemes, consequently allowing adversaries to obscure the ownership of any watermarked model. We encourage follow-up studies to consider our guidelines when evaluating the robustness of their watermarking schemes via conducting comprehensive adversarial evaluation that include our adaptive attacks to demonstrate a meaningful upper bound of watermark robustness. | 翻訳日:2021-06-21 13:58:06 公開日:2021-06-18 |
| # コードスケッチ生成の学習 Learning to Generate Code Sketches ( http://arxiv.org/abs/2106.10158v1 ) ライセンス: Link先を確認 | Daya Guo, Alexey Svyatkovskiy, Jian Yin, Nan Duan, Marc Brockschmidt, Miltiadis Allamanis | (参考訳) 伝統的な生成モデルは、終端トークンのシーケンスの予測に限定される。
しかし、生成タスクの曖昧さは誤った出力につながる可能性がある。
これに対処するために,変換器をベースとした文法誘導モデルであるGramformerを導入し,スケッチを生成するために(明示的な監督なしに)学習する。
強化学習を通じて、グラムフォーマーは、目標タスクにあいまいさがある不正確なトークンの発生を避ける穴を導入することを学ぶ。
文レベルのソースコード補完、すなわち、部分的なコードコンテキストなど、曖昧なユーザの意図が与えられたコードスニペットの生成のために、grammformersをトレーニングします。
我々は、c#とpythonのコード補完に関するgrammformersを評価し、従来の生成モデルよりも10-50%正確なスケッチを生成し、同様のテクニックでトレーニングされたスケッチ生成ベースラインと比較して37-50%長いスケッチを生成することを示した。 Traditional generative models are limited to predicting sequences of terminal tokens. However, ambiguities in the generation task may lead to incorrect outputs. Towards addressing this, we introduce Grammformers, transformer-based grammar-guided models that learn (without explicit supervision) to generate sketches -- sequences of tokens with holes. Through reinforcement learning, Grammformers learn to introduce holes avoiding the generation of incorrect tokens where there is ambiguity in the target task. We train Grammformers for statement-level source code completion, i.e., the generation of code snippets given an ambiguous user intent, such as a partial code context. We evaluate Grammformers on code completion for C# and Python and show that it generates 10-50% more accurate sketches compared to traditional generative models and 37-50% longer sketches compared to sketch-generating baselines trained with similar techniques. | 翻訳日:2021-06-21 13:57:44 公開日:2021-06-18 |
| # 正規微分方程式による決定論的ギブズサンプリング Deterministic Gibbs Sampling via Ordinary Differential Equations ( http://arxiv.org/abs/2106.10188v1 ) ライセンス: Link先を確認 | Kirill Neklyudov, Roberto Bondesan, Max Welling | (参考訳) 決定論的ダイナミクスは多くのMCMCアルゴリズムの重要な部分である。
正規化流を利用したハイブリッドモンテカルロまたはサンプラー
本稿では,自律的ODEとツールを用いた決定論的測度保存ダイナミクスの一般構築について述べる。
我々は、ハイブリッドモンテカルロや他の決定論的サンプルが、我々の理論の特別な場合としてどのように従うかを示す。
次に, ODE フローの観点から連続的な非逐次バージョンの Gibbs をサンプリングし, 離散状態空間に拡張することで, 提案手法の有用性を実証する。
決定論的サンプルは, 独立標本を生成しても, 確率的サンプルよりも効率がよいことがわかった。 Deterministic dynamics is an essential part of many MCMC algorithms, e.g. Hybrid Monte Carlo or samplers utilizing normalizing flows. This paper presents a general construction of deterministic measure-preserving dynamics using autonomous ODEs and tools from differential geometry. We show how Hybrid Monte Carlo and other deterministic samplers follow as special cases of our theory. We then demonstrate the utility of our approach by constructing a continuous non-sequential version of Gibbs sampling in terms of an ODE flow and extending it to discrete state spaces. We find that our deterministic samplers are more sample efficient than stochastic counterparts, even if the latter generate independent samples. | 翻訳日:2021-06-21 13:57:29 公開日:2021-06-18 |
| # オープンコラボレーションにおける分散ディープラーニング Distributed Deep Learning in Open Collaborations ( http://arxiv.org/abs/2106.10207v1 ) ライセンス: Link先を確認 | Michael Diskin, Alexey Bukhtiyarov, Max Ryabinin, Lucile Saulnier, Quentin Lhoest, Anton Sinitsin, Dmitry Popov, Dmitry Pyrkin, Maxim Kashirin, Alexander Borzunov, Albert Villanova del Moral, Denis Mazur, Ilia Kobelev, Yacine Jernite, Thomas Wolf, Gennady Pekhimenko | (参考訳) 最新のディープラーニングアプリケーションは、最先端モデルのトレーニングにますます多くの計算を必要とする。
この要求に対処するため、大企業や機関は専用の高性能コンピューティングクラスタを使用しており、その構築とメンテナンスは環境的にコストがかかり、ほとんどの組織の予算をはるかに超えている。
その結果、いくつかの研究の方向性は、いくつかの大きな産業的かつより少ない学術的俳優の排他的領域となる。
この格差を軽減するために、小さなグループは計算資源をプールし、すべての参加者に利益をもたらす共同実験を行うことができる。
このパラダイムはグリッドコンピューティングやボランティアコンピューティングと呼ばれ、多くの科学分野において成功している。
しかし、このアプローチを機械学習に使用するのは、高いレイテンシ、非対称帯域幅、ボランティアコンピューティング特有のいくつかの課題のために難しい。
本研究では,これらの制約を慎重に分析し,協調学習に特化した新しいアルゴリズムフレームワークを提案する。
現実的な条件下でのSwaVとALBERTの事前学習に対するアプローチの有効性を実証し,コストのごく一部で従来の設定に匹敵する性能を実現する。
最後に,40名による事前学習を成功させた言語モデルの詳細な報告を行った。 Modern deep learning applications require increasingly more compute to train state-of-the-art models. To address this demand, large corporations and institutions use dedicated High-Performance Computing clusters, whose construction and maintenance are both environmentally costly and well beyond the budget of most organizations. As a result, some research directions become the exclusive domain of a few large industrial and even fewer academic actors. To alleviate this disparity, smaller groups may pool their computational resources and run collaborative experiments that benefit all participants. This paradigm, known as grid- or volunteer computing, has seen successful applications in numerous scientific areas. However, using this approach for machine learning is difficult due to high latency, asymmetric bandwidth, and several challenges unique to volunteer computing. In this work, we carefully analyze these constraints and propose a novel algorithmic framework designed specifically for collaborative training. We demonstrate the effectiveness of our approach for SwAV and ALBERT pretraining in realistic conditions and achieve performance comparable to traditional setups at a fraction of the cost. Finally, we provide a detailed report of successful collaborative language model pretraining with 40 participants. | 翻訳日:2021-06-21 13:57:20 公開日:2021-06-18 |
| # 加工サイクル時間予測:ニューラルネットワークを用いたマシンツールフィード行動のデータ駆動モデリング Machining Cycle Time Prediction: Data-driven Modelling of Machine Tool Feedrate Behavior with Neural Networks ( http://arxiv.org/abs/2106.09719v1 ) ライセンス: Link先を確認 | Chao Sun, Javier Dominguez-Caballero, Rob Ward, Sabino Ayvar-Soberanis, David Curtis | (参考訳) 製造業では,加工サイクルの正確な予測が重要である。
通常、コンピュータ支援製造(cam)ソフトウェアは、ツールパスファイルから指令フィードレートを使用して、基本的なキネマティックな設定で加工時間を推定する。
通常、この手法は工具パス幾何学や工具パス耐性を考慮せず、したがって加工サイクルの時間を大幅に見積もっている。
本稿では,機械固有の知識を取り除き,各機械工具軸に対してニューラルネットワークモデルを構築し,データ駆動型フィードレートおよび加工サイクルタイム予測手法を提案する。
本研究では, ニューラルネットワークモデルの学習に, 指令フィードレート, 名目加速度, ツールパス幾何, 測定フィードレートからなるデータセットを用いた。
商業加工センターにおける代表的な産業用薄肉構造成分を用いた検証試験により,90%以上の精度で加工時間を推定した。
この手法は、ニューラルネットワークモデルが複雑な機械工具システムの振る舞いを学習し、サイクルタイムを予測する能力を持つことを示した。
この方法のさらなる統合は、産業4.0におけるデジタル双生児の移植において重要である。 Accurate prediction of machining cycle times is important in the manufacturing industry. Usually, Computer Aided Manufacturing (CAM) software estimates the machining times using the commanded feedrate from the toolpath file using basic kinematic settings. Typically, the methods do not account for toolpath geometry or toolpath tolerance and therefore under estimate the machining cycle times considerably. Removing the need for machine specific knowledge, this paper presents a data-driven feedrate and machining cycle time prediction method by building a neural network model for each machine tool axis. In this study, datasets composed of the commanded feedrate, nominal acceleration, toolpath geometry and the measured feedrate were used to train a neural network model. Validation trials using a representative industrial thin wall structure component on a commercial machining centre showed that this method estimated the machining time with more than 90% accuracy. This method showed that neural network models have the capability to learn the behavior of a complex machine tool system and predict cycle times. Further integration of the methods will be critical in the implantation of digital twins in Industry 4.0. | 翻訳日:2021-06-21 13:56:37 公開日:2021-06-18 |
| # FinGAT:金融グラフのアテンション・ネットワークでトップK株をリコメンド FinGAT: Financial Graph Attention Networks for Recommending Top-K Profitable Stocks ( http://arxiv.org/abs/2106.10159v1 ) ライセンス: Link先を確認 | Yi-Ling Hsu, Yu-Che Tsai, Cheng-Te Li | (参考訳) 金融技術(FinTech)は投資家や企業の間で注目を集めている。
FinTechの従来の株価分析は株価の予測を目標としているが、利益を得るための努力は少ない。
さらに、株価の時系列をモデル化する既存のアプローチでは、株式とセクター(すなわち株式のカテゴリー)の関係は無視されるか、あるいは事前に定義されている。
株式関係の無視は、株式間で共有される情報を見逃すが、事前定義された関係を用いると、株間の株価の潜在的な相互作用や影響を描写できない。
本研究は、株価の時系列とセクター情報を用いて、利益率でトップkの株式を推薦することを目的とする。
我々は,ストック間の事前定義された関係が与えられないことを前提として,新たなディープラーニングモデルであるファイナンシャルグラフ注意ネットワーク(FinGAT)を提案する。
FinGATのアイデアは3倍です。
まず,時系列から短期および長期の連続パターンを学習するための階層的学習要素を考案する。
第2に、株式間の完全連結グラフと、セクター間の完全連結グラフと、グラフ注意ネットワークを構築し、株式とセクター間の潜伏相互作用を学習する。
第三に、利益の出る株式を共同で推薦し、株価の動きを予測するマルチタスクの目標が考案される。
台湾株,S&P500,NASDAQデータセットを用いて行った実験は,最先端の手法と比較して,FinGATの優れた推奨性能を示した。 Financial technology (FinTech) has drawn much attention among investors and companies. While conventional stock analysis in FinTech targets at predicting stock prices, less effort is made for profitable stock recommendation. Besides, in existing approaches on modeling time series of stock prices, the relationships among stocks and sectors (i.e., categories of stocks) are either neglected or pre-defined. Ignoring stock relationships will miss the information shared between stocks while using pre-defined relationships cannot depict the latent interactions or influence of stock prices between stocks. In this work, we aim at recommending the top-K profitable stocks in terms of return ratio using time series of stock prices and sector information. We propose a novel deep learning-based model, Financial Graph Attention Networks (FinGAT), to tackle the task under the setting that no pre-defined relationships between stocks are given. The idea of FinGAT is three-fold. First, we devise a hierarchical learning component to learn short-term and long-term sequential patterns from stock time series. Second, a fully-connected graph between stocks and a fully-connected graph between sectors are constructed, along with graph attention networks, to learn the latent interactions among stocks and sectors. Third, a multi-task objective is devised to jointly recommend the profitable stocks and predict the stock movement. Experiments conducted on Taiwan Stock, S&P 500, and NASDAQ datasets exhibit remarkable recommendation performance of our FinGAT, comparing to state-of-the-art methods. | 翻訳日:2021-06-21 13:55:27 公開日:2021-06-18 |
| # (参考訳) 動作優先とダイナミクスモデル:オフラインrlにおける性能向上とドメイン転送 Behavioral Priors and Dynamics Models: Improving Performance and Domain Transfer in Offline RL ( http://arxiv.org/abs/2106.09119v2 ) ライセンス: CC BY 4.0 | Catherine Cang, Aravind Rajeswaran, Pieter Abbeel, Michael Laskin | (参考訳) オフライン強化学習(英語版) (RL) は、追加の環境相互作用なしに不完全なオフラインデータから準最適ポリシーを抽出することを目的としている。
多様なオフラインデータセットからポリシーを抽出することで、トレーニングプロセスをより安全で速く、より合理化することにより、RLの適用範囲を広げる可能性がある。
本研究では,オフラインrlアルゴリズムの性能向上,オフラインデータの品質に対する堅牢性,一般化機能について検討する。
そこで我々は,オフラインモデルに基づく適応行動優先型rl(mabe)を導入する。
本アルゴリズムは、ドメイン内一般化をサポートする動的モデルと、ドメイン間一般化をサポートする振る舞い先行が相補的であることに基づく。
組み合わせると、オフラインのRLポリシーの性能と一般化が大幅に向上する。
広く研究されている D4RL オフライン RL ベンチマークでは,MABE が従来のモデルフリーおよびモデルベースアルゴリズムと比較して高い平均性能を達成することがわかった。
クロスドメインの一般化を必要とする実験では、MABEは従来の手法よりも優れていた。
私たちのウェブサイトはhttps://sites.google.com/berkeley.edu/mabeで閲覧できます。 Offline Reinforcement Learning (RL) aims to extract near-optimal policies from imperfect offline data without additional environment interactions. Extracting policies from diverse offline datasets has the potential to expand the range of applicability of RL by making the training process safer, faster, and more streamlined. We investigate how to improve the performance of offline RL algorithms, its robustness to the quality of offline data, as well as its generalization capabilities. To this end, we introduce Offline Model-based RL with Adaptive Behavioral Priors (MABE). Our algorithm is based on the finding that dynamics models, which support within-domain generalization, and behavioral priors, which support cross-domain generalization, are complementary. When combined together, they substantially improve the performance and generalization of offline RL policies. In the widely studied D4RL offline RL benchmark, we find that MABE achieves higher average performance compared to prior model-free and model-based algorithms. In experiments that require cross-domain generalization, we find that MABE outperforms prior methods. Our website is available at https://sites.google.com/berkeley.edu/mabe . | 翻訳日:2021-06-21 12:17:08 公開日:2021-06-18 |
| # (参考訳) 自然度解析を用いた視覚立体視品質評価のためのマルチタスク畳み込みニューラルネットワーク A Multi-task convolutional neural network for blind stereoscopic image quality assessment using naturalness analysis ( http://arxiv.org/abs/2106.09303v2 ) ライセンス: CC BY 4.0 | Salima Bourbia, Ayoub Karine, Aladine Chetouani, Mohammed El Hassouni | (参考訳) 本稿では,新しいマルチタスク深層学習手法を用いた視覚ステレオ画像品質評価(NR-SIQA)の問題に対処する。
立体視の分野では、情報は両眼現象と同様に左右の視点の間でかなり分布する。
本研究では,これらの特徴を統合し,畳み込みニューラルネットワークによる参照のない立体画像の品質を推定する。
本手法は,ステレオ画像に適応した自然度解析に基づく特徴量予測と,その品質予測の2つのタスクを主課題とする。
前者、いわゆる補助タスクは、品質予測を改善するために、より堅牢で関連する機能を見つけることを目的としている。
そこで我々は,複雑なウェーブレット領域における自然シーン統計モデルを用いて自然性に基づく特徴量を計算する。
立体画像間の統計的依存関係を捉えることができる。
LIVE PHASE I と LIVE PHASE II のデータベース上で実験を行った。
その結果,最新技術との比較において,本手法の妥当性が示された。
私たちのコードはhttps://github.com/bourbia-salima/multitask-cnn-nrsiqa_2021で利用可能です。 This paper addresses the problem of blind stereoscopic image quality assessment (NR-SIQA) using a new multi-task deep learning based-method. In the field of stereoscopic vision, the information is fairly distributed between the left and right views as well as the binocular phenomenon. In this work, we propose to integrate these characteristics to estimate the quality of stereoscopic images without reference through a convolutional neural network. Our method is based on two main tasks: the first task predicts naturalness analysis based features adapted to stereo images, while the second task predicts the quality of such images. The former, so-called auxiliary task, aims to find more robust and relevant features to improve the quality prediction. To do this, we compute naturalness-based features using a Natural Scene Statistics (NSS) model in the complex wavelet domain. It allows to capture the statistical dependency between pairs of the stereoscopic images. Experiments are conducted on the well known LIVE PHASE I and LIVE PHASE II databases. The results obtained show the relevance of our method when comparing with those of the state-of-the-art. Our code is available online on https://github.com/Bourbia-Salima/multitask-cnn-nrsiqa_2021. | 翻訳日:2021-06-21 11:56:13 公開日:2021-06-18 |
| # (参考訳) トレーニング中のニューラルネットワーク固有空間の性質と進化を探る Exploring the Properties and Evolution of Neural Network Eigenspaces during Training ( http://arxiv.org/abs/2106.09526v2 ) ライセンス: CC BY 4.0 | Mats L. Richter, Leila Malihi, Anne-Kathrin Patricia Windler, Ulf Krumnack | (参考訳) 本研究では,ロジスティック回帰プローブ \cite{probes} と飽和メトリック \cite{featurespace_saturation} を用いてニューラルネットワーク内の情報処理を探索する。
本研究では,ニューラルネットワークの過度なパラメータ化と過度パラメータ化の可能性を開放し,問題難易度とニューラルネットワーク能力が対角的な予測性能に影響を及ぼすことを示す。
さらに, 観察された効果は, \cite{featurespace_saturation} に記載された '‘tail pattern'' のような既報の病理パターンとは独立であることを示す。
最後に、飽和パターンがトレーニング中に早期に収束することを示し、分析中により早いサイクルタイムを可能にする。 In this work we explore the information processing inside neural networks using logistic regression probes \cite{probes} and the saturation metric \cite{featurespace_saturation}. We show that problem difficulty and neural network capacity affect the predictive performance in an antagonistic manner, opening the possibility of detecting over- and under-parameterization of neural networks for a given task. We further show that the observed effects are independent from previously reported pathological patterns like the ``tail pattern'' described in \cite{featurespace_saturation}. Finally we are able to show that saturation patterns converge early during training, allowing for a quicker cycle time during analysis | 翻訳日:2021-06-21 11:47:18 公開日:2021-06-18 |
| # (参考訳) XCiT: クロス共分散画像変換器 XCiT: Cross-Covariance Image Transformers ( http://arxiv.org/abs/2106.09681v2 ) ライセンス: CC BY 4.0 | Alaaeldin El-Nouby, Hugo Touvron, Mathilde Caron, Piotr Bojanowski, Matthijs Douze, Armand Joulin, Ivan Laptev, Natalia Neverova, Gabriel Synnaeve, Jakob Verbeek, Herv\'e Jegou | (参考訳) 自然言語処理の成功に続いて、トランスフォーマーは最近、コンピュータビジョンに多くの期待を示している。
変圧器に基づく自己注意操作は、すべてのトークン間の大域的な相互作用をもたらす。
単語やイメージパッチは、畳み込みの局所的な相互作用を超えて、柔軟な画像データのモデリングを可能にする。
しかし、この柔軟性は時間とメモリの2倍の複雑さを伴い、長いシーケンスや高解像度画像への応用を妨げる。
そこで我々は,キーとクエリの相互分散行列に基づいて対話を行うトークンではなく,機能チャネルをまたいだセルフアテンションの「移行」バージョンを提案する。
その結果、XCAはトークン数に線形複雑さを持ち、高解像度画像の効率的な処理を可能にする。
画像変換器(XCiT)はXCA上に構築されている。
従来の変圧器の精度と畳み込み構造の拡張性を組み合わせたものである。
本稿では,imagenet-1kにおける画像分類と自己教師付き特徴学習,cocoにおけるオブジェクト検出とインスタンスセグメンテーション,ade20kにおける意味セグメンテーションなど,複数の視覚ベンチマークで優れた結果を報告することにより,xcitの有効性と汎用性を検証する。 Following their success in natural language processing, transformers have recently shown much promise for computer vision. The self-attention operation underlying transformers yields global interactions between all tokens ,i.e. words or image patches, and enables flexible modelling of image data beyond the local interactions of convolutions. This flexibility, however, comes with a quadratic complexity in time and memory, hindering application to long sequences and high-resolution images. We propose a "transposed" version of self-attention that operates across feature channels rather than tokens, where the interactions are based on the cross-covariance matrix between keys and queries. The resulting cross-covariance attention (XCA) has linear complexity in the number of tokens, and allows efficient processing of high-resolution images. Our cross-covariance image transformer (XCiT) is built upon XCA. It combines the accuracy of conventional transformers with the scalability of convolutional architectures. We validate the effectiveness and generality of XCiT by reporting excellent results on multiple vision benchmarks, including image classification and self-supervised feature learning on ImageNet-1k, object detection and instance segmentation on COCO, and semantic segmentation on ADE20k. | 翻訳日:2021-06-21 11:40:14 公開日:2021-06-18 |
| # (参考訳) どれくらい低いのか - 低精度トレーニングにおけるエラーのトレーディングメモリ How Low Can We Go: Trading Memory for Error in Low-Precision Training ( http://arxiv.org/abs/2106.09686v2 ) ライセンス: CC0 1.0 | Chengrun Yang, Ziyang Wu, Jerry Chee, Christopher De Sa, Madeleine Udell | (参考訳) 低精度算術は、少ないエネルギー、少ないメモリ、少ない時間でディープラーニングモデルを訓練する。
しかし、私たちは貯金の代償を支払っている: 精度が低いとラウンドオフエラーが大きくなり、したがって予測エラーが大きくなる可能性がある。
アプリケーションが成長するにつれて、ユーザは新しいモデルのトレーニングに使用する精度を選択する必要があり、チップメーカーは製造する精度を決定する必要がある。
これらの精度選択をハイパーパラメータチューニング問題として捉え,メモリとエラーのトレードオフを学ぶためにメタラーニングからアイデアを借用する。
本稿では,PEPPP(Pick the Perfect Precision)に対するPareto Estimationを提案する。
ネットワーク評価が限られている非支配的な構成(パレートフロンティア)を見つけるのに行列分解を用いる。
任意のメモリ予算に対して、エラーを最小限にする精度は、このフロンティアのポイントです。
実践者は、フロンティアを使ってメモリをエラーと交換し、目標に対して最適な精度を選択することができます。 Low-precision arithmetic trains deep learning models using less energy, less memory and less time. However, we pay a price for the savings: lower precision may yield larger round-off error and hence larger prediction error. As applications proliferate, users must choose which precision to use to train a new model, and chip manufacturers must decide which precisions to manufacture. We view these precision choices as a hyperparameter tuning problem, and borrow ideas from meta-learning to learn the tradeoff between memory and error. In this paper, we introduce Pareto Estimation to Pick the Perfect Precision (PEPPP). We use matrix factorization to find non-dominated configurations (the Pareto frontier) with a limited number of network evaluations. For any given memory budget, the precision that minimizes error is a point on this frontier. Practitioners can use the frontier to trade memory for error and choose the best precision for their goals. | 翻訳日:2021-06-21 11:08:37 公開日:2021-06-18 |
| # 実例難解なレンズによる深層学習 Deep Learning Through the Lens of Example Difficulty ( http://arxiv.org/abs/2106.09647v2 ) ライセンス: Link先を確認 | Robert J. N. Baldock, Hartmut Maennel and Behnam Neyshabur | (参考訳) ディープラーニングを理解するための既存の作業は、すべてのデータ依存情報を数個に圧縮する手段をしばしば採用している。
本研究では,個々の事例の役割に基づいた視点を採用する。
本稿では,与えられた入力の予測を行う際の計算困難度,すなわち(有効)予測深さの尺度を提案する。
広範な調査により,入力の予測深さとモデルの不確実性,信頼性,正確性,データポイントの学習速度との間に,驚くほど単純な関係が明らかになった。
さらに、難解な例を3つの解釈可能な群に分類し、これらの群が深層モデル内でどのように異なる処理を行うかを示し、この理解によって予測精度が向上することを示す。
初期の層は一般化し、後の層は記憶する; 初期の層はより早く収束し、ネットワークは簡単なデータと単純な関数を学習する。 Existing work on understanding deep learning often employs measures that compress all data-dependent information into a few numbers. In this work, we adopt a perspective based on the role of individual examples. We introduce a measure of the computational difficulty of making a prediction for a given input: the (effective) prediction depth. Our extensive investigation reveals surprising yet simple relationships between the prediction depth of a given input and the model's uncertainty, confidence, accuracy and speed of learning for that data point. We further categorize difficult examples into three interpretable groups, demonstrate how these groups are processed differently inside deep models and showcase how this understanding allows us to improve prediction accuracy. Insights from our study lead to a coherent view of a number of separately reported phenomena in the literature: early layers generalize while later layers memorize; early layers converge faster and networks learn easy data and simple functions first. | 翻訳日:2021-06-21 10:48:58 公開日:2021-06-18 |
| # FastAno: 時空間パッチ変換による高速異常検出 FastAno: Fast Anomaly Detection via Spatio-temporal Patch Transformation ( http://arxiv.org/abs/2106.08613v2 ) ライセンス: Link先を確認 | Chaewon Park, MyeongAh Cho, Minhyeok Lee, Sangyoun Lee | (参考訳) 監視ビデオの自動監視の必要性が高まっているため,映像異常検出が注目されている。
特に、予測に基づくアプローチは、トレーニングセットの通常のフレームで学習した後、テストセットの異常事象を含むフレームを予測することによって異常を検出する最も研究された方法の1つである。
しかしながら、事前訓練された光フローネットワークを使用することで計算コストが高まるか、異常を予測できる強力な生成能力があるため異常な状況を検出することができない。
これらの欠点に対処するために、通常のフレームキューブ内で不規則なパッチキューブを生成するために、空間回転変換(SRT)と時間混合変換(TMT)を提案する。
さらに,提案したパッチ変換はトレーニング段階でのみ使用されるので,推論時に高速に異常フレームを検出することができる。
提案手法は,3つの異常検出ベンチマークで評価され,競争精度が向上し,従来の処理を全て高速化した。 Video anomaly detection has gained significant attention due to the increasing requirements of automatic monitoring for surveillance videos. Especially, the prediction based approach is one of the most studied methods to detect anomalies by predicting frames that include abnormal events in the test set after learning with the normal frames of the training set. However, a lot of prediction networks are computationally expensive owing to the use of pre-trained optical flow networks, or fail to detect abnormal situations because of their strong generative ability to predict even the anomalies. To address these shortcomings, we propose spatial rotation transformation (SRT) and temporal mixing transformation (TMT) to generate irregular patch cuboids within normal frame cuboids in order to enhance the learning of normal features. Additionally, the proposed patch transformation is used only during the training phase, allowing our model to detect abnormal frames at fast speed during inference. Our model is evaluated on three anomaly detection benchmarks, achieving competitive accuracy and surpassing all the previous works in terms of speed. | 翻訳日:2021-06-21 10:48:43 公開日:2021-06-18 |
| # 変形駆動性seq2seq縦型腫瘍と放射線治療のための臓器リスク予測 Deformation Driven Seq2Seq Longitudinal Tumor and Organs-at-Risk Prediction for Radiotherapy ( http://arxiv.org/abs/2106.09076v2 ) ライセンス: Link先を確認 | Donghoon Lee, Sadegh R Alam, Jue Jiang, Pengpeng Zhang, Saad Nadeem and Yu-Chi Hu | (参考訳) 目的: 放射線療法は, 治療中の縦隔腫瘍およびOAR予測に固有の課題と臨床要件を提示する。
これらの課題は腫瘍炎症・浮腫・放射線による臓器形状の変化である一方、臨床要件は、治療前画像情報と適応放射線治療における毒性評価との関連において、ロールベースで予測を更新するための入出力シーケンスタイムポイントの柔軟性と全ての予測の接地を要求する。
方法: 上記の課題に対処し, 臨床要件を満たすために, 個別の時間点と参照前処理/計画CT間の一連の変形ベクトル場(DVF)を用いて, 将来的な解剖学的変形と腫瘍量の変化, および重要なOARを用いた, 畳み込み長短期記憶(ConvLSTM)に基づく新しい3Dシークエンス・ツー・シーケンスモデルを提案する。
DICE係数と相互情報量を用いたトレーニングデータのサブセットにハイパーパラメータ最適化を適用することにより、高品質なDVFトレーニングデータを生成する。
2つの放射線治療データセット(手作業による前・中・後治療ct28例)と内部非小細胞肺癌データセット(手作業による計画ctと週6回のcbct)について検証した。
結果: dvf表現とスキップ接続の使用は,従来の画像表現を用いたconvlstm予測のぼやけた問題を克服する。
4週目,5週目,6週目における肺GTV予測におけるDICEの平均偏差は0.83$\pm$0.09,0.82$\pm$0.08,0.81$\pm$0.10であり,治療後副耳下腺腫および対側耳下腺腫では0.81$\pm$0.06,0.85$\pm$0.02であった。 Purpose: Radiotherapy presents unique challenges and clinical requirements for longitudinal tumor and organ-at-risk (OAR) prediction during treatment. The challenges include tumor inflammation/edema and radiation-induced changes in organ geometry, whereas the clinical requirements demand flexibility in input/output sequence timepoints to update the predictions on rolling basis and the grounding of all predictions in relationship to the pre-treatment imaging information for response and toxicity assessment in adaptive radiotherapy. Methods: To deal with the aforementioned challenges and to comply with the clinical requirements, we present a novel 3D sequence-to-sequence model based on Convolution Long Short Term Memory (ConvLSTM) that makes use of series of deformation vector fields (DVF) between individual timepoints and reference pre-treatment/planning CTs to predict future anatomical deformations and changes in gross tumor volume as well as critical OARs. High-quality DVF training data is created by employing hyper-parameter optimization on the subset of the training data with DICE coefficient and mutual information metric. We validated our model on two radiotherapy datasets: a publicly available head-and-neck dataset (28 patients with manually contoured pre-, mid-, and post-treatment CTs), and an internal non-small cell lung cancer dataset (63 patients with manually contoured planning CT and 6 weekly CBCTs). Results: The use of DVF representation and skip connections overcomes the blurring issue of ConvLSTM prediction with the traditional image representation. The mean and standard deviation of DICE for predictions of lung GTV at week 4, 5, and 6 were 0.83$\pm$0.09, 0.82$\pm$0.08, and 0.81$\pm$0.10, respectively, and for post-treatment ipsilateral and contralateral parotids, were 0.81$\pm$0.06 and 0.85$\pm$0.02. | 翻訳日:2021-06-21 10:48:25 公開日:2021-06-18 |
| # 体積医用画像分割のための位置コントラスト学習 Positional Contrastive Learning for Volumetric Medical Image Segmentation ( http://arxiv.org/abs/2106.09157v2 ) ライセンス: Link先を確認 | Dewen Zeng, Yawen Wu, Xinrong Hu, Xiaowei Xu, Haiyun Yuan, Meiping Huang, Jian Zhuang, Jingtong Hu and Yiyu Shi | (参考訳) ディープラーニングの成功は、大きなラベル付きトレーニングセットの可用性に大きく依存する。
しかし、厳格なプライバシー上の懸念と高価なラベル付け作業のため、医療画像領域で大きなラベル付きデータセットを得るのは難しい。
教師なし学習技術であるコントラスト学習は、ラベルのないデータから画像レベルの表現を学習する際に強力であることが証明されている。
学習したエンコーダを転送したり微調整したりすることで、限られたラベルで下流タスクのパフォーマンスを向上させることができる。
コントラスト学習における重要なステップは、コントラストデータペアの生成である。これは自然画像の分類には比較的簡単であるが、データセット全体にわたって同じ組織や臓器が存在するため、医療画像のセグメンテーションには極めて困難である。
その結果、医用画像セグメンテーションに適用すると、ほとんどの最先端のコントラスト学習フレームワークは必然的に多くの偽陰性ペアを導入し、結果として劣化したセグメンテーション品質をもたらす。
この問題に対処するために,ボリューム医療画像の位置情報を活用することで,コントラストデータペアを生成する新しい位置コントラスト学習(PCL)フレームワークを提案する。
CTとMRIのデータセットを用いた実験結果から,提案手法は半教師付き設定と移動学習の両方において既存の手法と比較して,セグメンテーション性能を大幅に向上できることが示された。 The success of deep learning heavily depends on the availability of large labeled training sets. However, it is hard to get large labeled datasets in medical image domain because of the strict privacy concern and costly labeling efforts. Contrastive learning, an unsupervised learning technique, has been proved powerful in learning image-level representations from unlabeled data. The learned encoder can then be transferred or fine-tuned to improve the performance of downstream tasks with limited labels. A critical step in contrastive learning is the generation of contrastive data pairs, which is relatively simple for natural image classification but quite challenging for medical image segmentation due to the existence of the same tissue or organ across the dataset. As a result, when applied to medical image segmentation, most state-of-the-art contrastive learning frameworks inevitably introduce a lot of false-negative pairs and result in degraded segmentation quality. To address this issue, we propose a novel positional contrastive learning (PCL) framework to generate contrastive data pairs by leveraging the position information in volumetric medical images. Experimental results on CT and MRI datasets demonstrate that the proposed PCL method can substantially improve the segmentation performance compared to existing methods in both semi-supervised setting and transfer learning setting. | 翻訳日:2021-06-21 10:47:42 公開日:2021-06-18 |
| # atrial general: domain generalization for left atrial segmentation of multi-center lge mri AtrialGeneral: Domain Generalization for Left Atrial Segmentation of Multi-Center LGE MRIs ( http://arxiv.org/abs/2106.08727v2 ) ライセンス: Link先を確認 | Lei Li and Veronika A. Zimmer and Julia A. Schnabel and Xiahai Zhuang | (参考訳) 後期gadolinium enhanced magnetic resonance imaging(lge mri)からの左心房分画は、心房細動の治療計画に必要な重要なステップである。
しかし, 画像品質の低さ, LA形状のばらつき, LA境界の不明瞭さにより, LGE MRIからの自動LA分割は依然として困難である。
ディープラーニングベースの手法は、有望なLAセグメンテーション結果を提供することができるが、しばしば、異なるスキャナやサイトからのデータなど、目に見えない領域に一般化する。
本研究では,画像品質の異なる複数の中心から210個のLGEMRIを収集する。
LAセグメンテーションタスクにおけるモデルのドメイン一般化能力を評価するために,マルチセンターLGE MRIからLAセグメンテーションによく使われる4つのセグメンテーションネットワークを用いた。
さらに, ヒストグラムマッチング, 相互情報に基づく不整合表現, ランダムなスタイル転送の3つの領域一般化戦略について検討し, 単純なヒストグラムマッチングが最も効果的であることを示した。 Left atrial (LA) segmentation from late gadolinium enhanced magnetic resonance imaging (LGE MRI) is a crucial step needed for planning the treatment of atrial fibrillation. However, automatic LA segmentation from LGE MRI is still challenging, due to the poor image quality, high variability in LA shapes, and unclear LA boundary. Though deep learning-based methods can provide promising LA segmentation results, they often generalize poorly to unseen domains, such as data from different scanners and/or sites. In this work, we collect 210 LGE MRIs from different centers with different levels of image quality. To evaluate the domain generalization ability of models on the LA segmentation task, we employ four commonly used semantic segmentation networks for the LA segmentation from multi-center LGE MRIs. Besides, we investigate three domain generalization strategies, i.e., histogram matching, mutual information based disentangled representation, and random style transfer, where a simple histogram matching is proved to be most effective. | 翻訳日:2021-06-21 10:47:19 公開日:2021-06-18 |
| # 脳ネットワークの説明可能な分類のための偽グラフ Counterfactual Graphs for Explainable Classification of Brain Networks ( http://arxiv.org/abs/2106.08640v2 ) ライセンス: Link先を確認 | Carlo Abrate and Francesco Bonchi | (参考訳) 正常な脳と機能不全な脳を区別できる訓練用グラフ分類器は、特定の認知表現型に関連するサブ構造を特定するのに役立つ。
しかし、グラフ分類器の単なる予測能力は、特定の精神疾患を診断するためのツールが豊富にある神経科学者に限定されている。
重要なのはモデルの解釈であり、新しい洞察と新しい仮説を提供することができる。
本稿では,ブラックボックスグラフ分類器の局所的なポストホックな説明を生成する方法として,emph{counterfactual graphs}を提案する。
グラフとブラックボックスが与えられたとき、カウンターファクトは元のグラフと高い構造的類似性を持つグラフであり、異なるクラスのブラックボックスによって分類される。
本稿では,反実グラフ探索のためのいくつかの戦略を提案し,実証的に比較する。
既知の最適カウンターファクチュアを持つホワイトボックス分類器に対する実験は、ヒューリスティックではあるが、最適と非常に近い反ファクチュアを生成することができることを示した。
最後に,様々なブラックボックス分類器の挙動を正しく把握し,神経科学者に興味深い洞察を与えるために,反事実グラフを用いてグローバル説明を構築する方法を示す。 Training graph classifiers able to distinguish between healthy brains and dysfunctional ones, can help identifying substructures associated to specific cognitive phenotypes. However, the mere predictive power of the graph classifier is of limited interest to the neuroscientists, which have plenty of tools for the diagnosis of specific mental disorders. What matters is the interpretation of the model, as it can provide novel insights and new hypotheses. In this paper we propose \emph{counterfactual graphs} as a way to produce local post-hoc explanations of any black-box graph classifier. Given a graph and a black-box, a counterfactual is a graph which, while having high structural similarity with the original graph, is classified by the black-box in a different class. We propose and empirically compare several strategies for counterfactual graph search. Our experiments against a white-box classifier with known optimal counterfactual, show that our methods, although heuristic, can produce counterfactuals very close to the optimal one. Finally, we show how to use counterfactual graphs to build global explanations correctly capturing the behaviour of different black-box classifiers and providing interesting insights for the neuroscientists. | 翻訳日:2021-06-21 10:47:01 公開日:2021-06-18 |
| # quantumfed:協調的な量子トレーニングのための連合学習フレームワーク QuantumFed: A Federated Learning Framework for Collaborative Quantum Training ( http://arxiv.org/abs/2106.09109v2 ) ライセンス: Link先を確認 | Qi Xia, Qun Li | (参考訳) 量子コンピューティングとディープラーニングの急速な発展により、量子ニューラルネットワークは最近大きな注目を集めている。
量子コンピューティングのパワーを活用することで、ディープニューラルネットワークは古典的な機械学習における計算能力の限界を克服することができる。
しかしながら、複数の量子マシンが各マシンのローカルデータを使用してグローバルモデルをトレーニングしたい場合、データを1台のマシンにコピーしてモデルをトレーニングするのは非常に困難である。
したがって、協調的な量子ニューラルネットワークフレームワークが必要である。
本稿では,複数の量子ノードを持つ量子連合学習フレームワークであるQuantumFedを提案するために,フェデレート学習のコアアイデアを借用する。
実験では,フレームワークの実現可能性と堅牢性を示す。 With the fast development of quantum computing and deep learning, quantum neural networks have attracted great attention recently. By leveraging the power of quantum computing, deep neural networks can potentially overcome computational power limitations in classic machine learning. However, when multiple quantum machines wish to train a global model using the local data on each machine, it may be very difficult to copy the data into one machine and train the model. Therefore, a collaborative quantum neural network framework is necessary. In this article, we borrow the core idea of federated learning to propose QuantumFed, a quantum federated learning framework to have multiple quantum nodes with local quantum data train a mode together. Our experiments show the feasibility and robustness of our framework. | 翻訳日:2021-06-21 09:09:38 公開日:2021-06-18 |
| # Mungojerrie: 線形時間目的の強化学習 Mungojerrie: Reinforcement Learning of Linear-Time Objectives ( http://arxiv.org/abs/2106.09161v2 ) ライセンス: Link先を確認 | Ernst Moritz Hahn, Mateo Perez, Sven Schewe, Fabio Somenzi, Ashutosh Trivedi, and Dominik Wojtczak | (参考訳) 強化学習は、システムの事前知識なしでコントローラを合成する。
各タイムステップに報酬が与えられる。
コントローラは、これらの報酬の割引金額を最適化します。
この種のアルゴリズムを適用するには、通常手動で行う報酬体系を設計する必要がある。
設計者は意図を正確に捉えなければならない。
これは自明ではないかもしれないし、エラーを起こしやすい。
この手動プログラミングの代替として、アセンブリで直接プログラミングするのと同様に、形式言語で目的を指定し、報酬スキームに"コンパイル"することが挙げられる。
Mungojerrie (https://plv.colorado.edu/mungojerrie/)は、有限モデル上の$\omega$-regularの目的に対する報酬スキームをテストするツールである。
このツールは強化学習アルゴリズムと確率論的モデルチェッカーを含む。
MungojerrieはPRISMで指定されたモデルとHOAで指定された$\omega$-automataをサポートする。 Reinforcement learning synthesizes controllers without prior knowledge of the system. At each timestep, a reward is given. The controllers optimize the discounted sum of these rewards. Applying this class of algorithms requires designing a reward scheme, which is typically done manually. The designer must ensure that their intent is accurately captured. This may not be trivial, and is prone to error. An alternative to this manual programming, akin to programming directly in assembly, is to specify the objective in a formal language and have it "compiled" to a reward scheme. Mungojerrie (https://plv.colorado.edu/mungojerrie/) is a tool for testing reward schemes for $\omega$-regular objectives on finite models. The tool contains reinforcement learning algorithms and a probabilistic model checker. Mungojerrie supports models specified in PRISM and $\omega$-automata specified in HOA. | 翻訳日:2021-06-21 09:09:27 公開日:2021-06-18 |