このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス（CC 0, CC BY, CC BY-SA）の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。（arxivのメタデータは CC 0です。） 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。
公開日が20200618となっている論文です。
| Title | Authors | Abstract | 論文公表日・翻訳日 |
|---|---|---|---|
| # ハイブリッド量子古典dmftの最小ハードウェア要件 Minimum Hardware Requirements for Hybrid Quantum-Classical DMFT ( http://arxiv.org/abs/2002.04612v2 ) ライセンス: Link先を確認 | Ben Jaderberg, Abhishek Agarwal, Karsten Leonhardt, Martin Kiffner, Dieter Jaksch | (参考訳) ノイズ中規模量子(nisq)デバイスを数値的にエミュレートし、2点ハイブリッド量子古典力学平均場理論(dmft)の最小ハードウェア要件を決定する。
我々は,dmftアルゴリズムの量子ゲート数を大幅に削減する回路再コンパイルアルゴリズムを開発し,2量子ビットゲートが99%を超えると量子古典アルゴリズムが収束することを示す。
収束した結果は10%以内の正確な解と一致し、ノイズ誘起誤差マージン内の完全一致は、99.9%を超える2量子ゲートフィデリティに対して得られる。
比較として、回路再コンパイルのない量子古典アルゴリズムは、正確な解との完全な一致を達成するために少なくとも99.999%の2量子ビットゲート忠実性を必要とする。
したがって、この研究で開発された再コンパイル技術と組み合わせれば、次世代のNISQデバイス上で量子古典的DMFT計算を実行できる。 We numerically emulate noisy intermediate-scale quantum (NISQ) devices and determine the minimal hardware requirements for two-site hybrid quantum-classical dynamical mean-field theory (DMFT). We develop a circuit recompilation algorithm which significantly reduces the number of quantum gates of the DMFT algorithm and find that the quantum-classical algorithm converges if the two-qubit gate fidelities are larger than 99%. The converged results agree with the exact solution within 10%, and perfect agreement within noise-induced error margins can be obtained for two-qubit gate fidelities exceeding 99.9%. By comparison, the quantum-classical algorithm without circuit recompilation requires a two-qubit gate fidelity of at least 99.999% to achieve perfect agreement with the exact solution. We thus find quantum-classical DMFT calculations can be run on the next generation of NISQ devices if combined with the recompilation techniques developed in this work. | 翻訳日:2023-06-03 23:33:19 公開日:2020-06-18 |
| # 単純な位相誤差式を用いたセキュアBB84型量子鍵分布 Secure BB84-type quantum key distribution with simple phase error formula ( http://arxiv.org/abs/2002.06921v3 ) ライセンス: Link先を確認 | Hua-Lei Yin, Zeng-Bing Chen | (参考訳) BB84ベースの量子鍵分布システムは、4つの状態の準備と測定を必要とするため、高速およびチップ統合において制限されている。
近年、BB84プロトコルは3つの状態の準備と測定しか行わず、標準のBB84とほぼ同一の秘密鍵レートを示した。
しかし、セキュリティ証明は集団攻撃でのみ有効であり、基礎に依存しない検出効率条件を必要とする。
ここでは、コヒーレント攻撃に対するセキュリティ証明を行い、ベース非依存検出効率条件を同時に除去する。
重要なことに、位相誤差率の公式は微妙な観察を通して非常に単純である。
decoy-stateメソッドによるbb84プロトコルの簡易化が,現実に広く実現されることを期待している。 BB84-based quantum key distribution system is limited in high speed and chip integration due to the requirement of four states preparation and measurement. Recently, the simplified BB84 protocol with only three states preparation and measurement has showed the approximate secret key rate with standard BB84. However, the security proof is only valid under the collective attack and requires the basis-independent detection efficiency condition. Here, we provide a security proof against the coherent attack, which simultaneously removes the basis-independent detection efficiency condition. Importantly, the phase error rate formula is quite simple through a subtle observation. We expect that the simplified BB84 protocol with decoy-state method can be widely implemented in reality. | 翻訳日:2023-06-03 11:17:07 公開日:2020-06-18 |
| # 弱結合原子空洞系におけるコヒーレント完全吸収 Coherent perfect absorption in a weakly coupled atom-cavity system ( http://arxiv.org/abs/2002.10856v2 ) ライセンス: Link先を確認 | Wei Xiong, Jiaojiao Chen, Baolong Fang, Chi-Hang Lam, J. Q. You | (参考訳) コヒーレント完全吸収(coherent perfect absorption, cpa)を理論的に検討し, キャビティ内に2次非線形結晶(soc)を組み込んだ弱結合原子キャビティ系について検討した。
従来の研究ではCPAに必要とされるような強い結合は不要だが,一部のシステムでは実験的に実装することが困難である。
SOCの役割は、キャビティの調整可能な有効崩壊率を導入することであり、弱いカップリング状態においてCPAにつながる可能性がある。
本システムでは,従来の形状と非伝統的な形状の両立パターンを切り替えることが可能である。
SOCの特性を変化させることで、CPAの動作点が双安定状態内外となるように調整することができる。
また、上側または下側安定枝、または双安定ヒステリシスループの不安定枝にも配置できる。
しかしながら、任意の固定有効崩壊率に対するSOCのパラメータに対して堅牢である。
本システムは,弱結合状態における光スイッチなどの光デバイスの実現に応用できる可能性がある。 We study coherent perfect absorption (CPA) theoretically based on a weakly coupled atom-cavity system with an optically pumped second-order nonlinear crystal (SOC) embedded in the cavity. Our system does not require a strong coupling, which is often needed for CPA in previous studies but is challenging to implement experimentally in some systems. The role of the SOC is to introduce a tunable effective decay rate of the cavity, which can lead to CPA in the weak coupling regime. The proposed system exhibits bistable behaviors, with bistable patterns switchable between conventional and unconventional shapes. By varying the properties of the SOC, the operation point of CPA can be tuned to be inside or outside the bistable regime. It can also be located at the upper or the lower stable branch or even the unstable branch of the bistable hysteresis loop. It is however robust against the parameters of the SOC for any fixed effective decay rate. Our system can potentially be applied to realize optical devices such as optical switches in the weakly coupled regime. | 翻訳日:2023-06-01 23:54:25 公開日:2020-06-18 |
| # 任意の次元における翻訳不変ハミルトニアンのジョルダン・ウィグナー双対:フラクトン位相順序における創発的フェルミオン Jordan-Wigner Dualities for Translation-Invariant Hamiltonians in Any Dimension: Emergent Fermions in Fracton Topological Order ( http://arxiv.org/abs/2002.11345v3 ) ライセンス: Link先を確認 | Nathanan Tantivasadakarn | (参考訳) ヨルダン・ウィグナー双対を高次元に一般化する最近の発展に触発されて、ハアによって提案された変換不変ハミルトニアンに対する代数的形式論を用いてそのような双対の枠組みを開発する。
q$ が偶数である一般の$q$-体相互作用を持つ変換不変フェルミオン系が与えられたとき、大域フェルミオンパリティを双対ポーリスピンモデルに保存する局所写像が存在し、基底の選択まで一意であることが証明される。
さらに、双対スピンモデルは構成的であり、これらの双対性の様々な例を示す。
一例として、自由フェルミオンホッピング項が存在しないフェルミオン系(q \ge 4$)と、フェルミオンパリティが高次、直線、平面、フラクタル対称性のような部分多様体上に保存される。
3+1dの場合、そのような系をボゾン化すると、創発粒子が非移動的だがフェルミオンのような特定の方法で振る舞うフラクトンモデルが生じる。
これらのモデルは、新しい非相対論的't Hooft異常の例である。
さらに,カラーコードやチェッカーボードモデルなど,様々なマヨラナ安定化コードにもフェルミオンサブシステム対称性が存在しており,これらの双対がクラスタ状態である例や,二重cssコードとは異なる新しいフラクトンモデルを示す。 Inspired by recent developments generalizing Jordan-Wigner dualities to higher dimensions, we develop a framework of such dualities using an algebraic formalism for translation-invariant Hamiltonians proposed by Haah. We prove that given a translation-invariant fermionic system with general $q$-body interactions, where $q$ is even, a local mapping preserving global fermion parity to a dual Pauli spin model exists and is unique up to a choice of basis. Furthermore, the dual spin model is constructive, and we present various examples of these dualities. As an application, we bosonize fermionic systems where free-fermion hopping terms are absent ($q \ge 4$) and fermion parity is conserved on submanifolds such as higher-form, line, planar or fractal symmetry. For some cases in 3+1D, bosonizing such a system can give rise to fracton models where the emergent particles are immobile but yet can behave in certain ways like fermions. These models may be examples of new nonrelativistic 't Hooft anomalies. Furthermore, fermionic subsystem symmetries are also present in various Majorana stabilizer codes, such as the color code or the checkerboard model, and we give examples where their duals are cluster states or new fracton models distinct from their doubled CSS codes. | 翻訳日:2023-06-01 21:24:54 公開日:2020-06-18 |
| # エントロピー不確かさ関係と量子-古典遷移 Entropic Uncertainty Relations and the Quantum-to-Classical transition ( http://arxiv.org/abs/2003.02086v2 ) ライセンス: Link先を確認 | Isadora Veeren, Fernando de Melo | (参考訳) 量子力学に関する我々の知識は、単純で微視的なシステムを十分に説明できますが、私たちが観察するマクロな日常現象を説明していません。
ここでは不確実性関係の解析を通して見るように、量子から古典への遷移に光を当てる。
我々は、不確実性関係を用いて、それに関連する可観測性が可換でない場合でも、2つの同時定義量を持つ系を作成できることを、マクロ計測モデルにインプレッションを包含することのみによって証明する。
また,大規模量子コンピュータにとって望ましい特徴である量子特性を維持するためには,測定精度がいかに向上するかを確かめる。 Our knowledge of quantum mechanics can satisfactorily describe simple, microscopic systems, but is yet to explain the macroscopic everyday phenomena we observe. Here we aim to shed some light on the quantum-to-classical transition as seen through the analysis of uncertainty relations. We employ entropic uncertainty relations to show that it is only by the inclusion of imprecision in our model of macroscopic measurements that we can prepare a system with two simultaneously well-defined quantities, even if their associated observables do not commute. We also establish how the precision of measurements must increase in order to keep quantum properties, a desirable feature for large quantum computers. | 翻訳日:2023-05-31 05:25:58 公開日:2020-06-18 |
| # コヒーレント攻撃に対するBB84量子鍵分布の簡易化 Simplified BB84 quantum key distribution secure against coherent attacks ( http://arxiv.org/abs/2003.08268v2 ) ライセンス: Link先を確認 | Yu-Shuo Lu, Hua-Lei Yin, Zeng-Bing Chen | (参考訳) デコイ状態量子鍵分布(QKD)は、鍵交換を安全にするための中核的な解である。
標準のBB84プロトコルは2つの相補的な基底の全ての状態を準備し、測定する必要があるが、フォトニック統合と高速システムにおける実際の応用を著しく制限している。
幸いなことに、簡略化されたbb84は3つの状態のみを送受信し、コヒーレント攻撃で標準bb84と同等の漸近秘密鍵レートを達成する。
本研究では,スムーズなエントロピーに対する不確実性関係を巧みに活用することにより,汎用的な構成可能なフレームワークにおけるコヒーレント攻撃に対するデコイ状態簡易BB84 QKDに対する有限鍵セキュリティ境界を提供する。
シミュレーションの結果、標準のBB84と比較して、パルスの総数が10〜8ドル以下である場合でも、ほぼ同じ性能を達成できることが示されている。
BB84は従来のBB84を完全に置き換えてQKDに最適な選択肢となると結論付けている。 Decoy-state quantum key distribution (QKD) has convincingly been shown the core solution to secure key exchange. While standard BB84 protocol needs to prepare and measure all states of two complementary bases, which seriously restricts its real life applications in photonic integration and high speed system. Fortunately, a simplified BB84, only sending and receiving three states, achieves the same asymptotic secret key rate compared with standard BB84 under coherent attacks. In this work, by skillfully exploiting uncertainty relation for smooth entropies, we provide the finite-key security bounds for decoy-state simplified BB84 QKD against coherent attacks in the universally composable framework. Simulation results show that it can also achieve almost the same performance compared with standard BB84 even the total number of pulses is as low as $10^{8}$. We conclude that simplified BB84 can completely replace standard BB84 to be the best choice for QKD in most common practical scenarios. | 翻訳日:2023-05-28 20:17:02 公開日:2020-06-18 |
| # 量子対古典アルゴリズムによる熱方程式解法 Quantum vs. classical algorithms for solving the heat equation ( http://arxiv.org/abs/2004.06516v2 ) ライセンス: Link先を確認 | Noah Linden, Ashley Montanaro and Changpeng Shao | (参考訳) 量子コンピュータは、おそらく指数関数的に偏微分方程式を解くために古典的よりも優れていると予測されている。
ここでは、矩形領域における熱方程式である原始型PDEを考察し、与えられた領域における熱の量を概算するという意味で、10の古典的および量子的アルゴリズムの複雑さを詳細に比較する。
空間次元 $d \ge 2$ に対して、加速された古典的ランダムウォークに振幅推定を適用することに基づくアプローチを用いて、最大2次量子スピードアップが存在することが分かる。
しかし、線形方程式に対する量子アルゴリズムに基づく別のアプローチは、最高の古典的アルゴリズムよりも高速ではない。 Quantum computers are predicted to outperform classical ones for solving partial differential equations, perhaps exponentially. Here we consider a prototypical PDE - the heat equation in a rectangular region - and compare in detail the complexities of ten classical and quantum algorithms for solving it, in the sense of approximately computing the amount of heat in a given region. We find that, for spatial dimension $d \ge 2$, there is an at most quadratic quantum speedup using an approach based on applying amplitude estimation to an accelerated classical random walk. However, an alternative approach based on a quantum algorithm for linear equations is never faster than the best classical algorithms. | 翻訳日:2023-05-24 08:48:15 公開日:2020-06-18 |
| # ダイヤモンド中の窒素空洞中心を用いた量子センシングのための量子最適制御入門 Introduction to Quantum Optimal Control for Quantum Sensing with Nitrogen-Vacancy Centers in Diamond ( http://arxiv.org/abs/2004.12119v2 ) ライセンス: Link先を確認 | Phila Rembold, Nimba Oshnik, Matthias M. M\"uller, Simone Montangero, Tommaso Calarco, and Elke Neu | (参考訳) ダイヤモンドベースの量子技術は、科学的、技術的に重要な分野である。
ダイヤモンドベースの量子システムに関する知識と経験の増大に伴い、パフォーマンスに対する需要が高まっている。
量子最適制御(QOC)は、多くの既存の課題に対する直接的な解決策を提供するとともに、提案される将来のアプリケーションの基礎を提供する。
ダイヤモンド中の窒素空孔(NV)中心のQOC戦略、量子センシング、その他の関連する量子技術応用の素早いレビューとともに、ダイヤモンド中のNV中心を用いたQOC支援量子応用の分野における最近の進歩を要約するために必要な背景を提供する。 Diamond based quantum technology is a fast emerging field with both scientific and technological importance. With the growing knowledge and experience concerning diamond based quantum systems, comes an increased demand for performance. Quantum optimal control (QOC) provides a direct solution to a number of existing challenges as well as a basis for proposed future applications. Together with a swift review of QOC strategies, quantum sensing and other relevant quantum technology applications of nitrogen-vacancy (NV) centers in diamond, we give the necessary background to summarize recent advancements in the field of QOC assisted quantum applications with NV centers in diamond. | 翻訳日:2023-05-22 04:00:18 公開日:2020-06-18 |
| # ブロッホ振動を利用したトポロジカルポンプ Topological pumping assisted by Bloch oscillations ( http://arxiv.org/abs/2005.01227v3 ) ライセンス: Link先を確認 | Yongguan Ke, Shi Hu, Bo Zhu, Jiangbin Gong, Yuri Kivshar, Chaohong Lee | (参考訳) 1次元格子内の断熱量子ポンプは、より位相的に非自明なバンドを調べるために傾斜ポテンシャルを加えることで拡張される。
この拡張はブロッホ状態を含む興味ある領域で選択された任意の初期状態に対して、ほぼ完全に量子化された励起をもたらす。
このアプローチでは、時間変数はチューレスポンプの場合のように合成次元を提供するだけでなく、傾きによって誘起されるブロッホ振動による全てのモーメントの均一サンプリングにも役立つ。
ブロッホ振動の量子化ドリフトはベリー曲率の一次元時間積分によって決定され、Thoulessポンプにおける位相チャーン数の整数倍である。
本研究は, 量子化ポンピングの直接的アプローチであり, 位相相転移の探索に有用である。 Adiabatic quantum pumping in one-dimensional lattices is extended by adding a tilted potential to probe better topologically nontrivial bands. This extension leads to almost perfectly quantized pumping for an arbitrary initial state selected in a band of interest, including Bloch states. In this approach, the time variable offers not only a synthetic dimension as in the case of the Thouless pumping, but it assists also in the uniform sampling of all momenta due to the Bloch oscillations induced by the tilt. The quantized drift of Bloch oscillations is determined by a one-dimensional time integral of the Berry curvature, being effectively an integer multiple of the topological Chern number in the Thouless pumping. Our study offers a straightforward approach to yield quantized pumping, and it is useful for probing topological phase transitions. | 翻訳日:2023-05-21 05:29:35 公開日:2020-06-18 |
| # 真空状態から始まった励起状態断熱量子計算 Excited-State Adiabatic Quantum Computation Started with Vacuum States ( http://arxiv.org/abs/2005.07511v2 ) ライセンス: Link先を確認 | Hayato Goto and Taro Kanao | (参考訳) 組合せ最適化に特に有用である断熱量子計算(AQC)は、基底状態ではなく励起状態を使用することでより強力になる。
しかし、励起状態のAQCは、消散によるエラーを起こしやすい。
ここでは、最も安定な状態、すなわち真空状態から始まる励起状態AQCを提案する。
この逆直観的アプローチは、駆動量子系、またはより正確にはKPO(Kerr-nonlinear parametric oscillators)のネットワークを使用することで可能となる。
数値シミュレーションにより、KPOを用いた標準基底状態AQCが最適解を見つけられなかった場合の難易度は、非断熱遷移をむしろ活用する現在の方法によって解決できることが示されている。
また, 真空状態を初期状態として使用すると, 期待どおりの消散による誤差に対して, 実際に励起状態(非真空状態)を初期状態として使用する場合と比較して頑健であることを示す。
このように、本研究は量子計算と駆動量子システムに新たな可能性をもたらす。 Adiabatic quantum computation (AQC), which is particularly useful for combinatorial optimization, becomes more powerful by using excited states, instead of ground states. However, the excited-state AQC is prone to errors due to dissipation. Here we propose the excited-state AQC started with the most stable state, i.e., the vacuum state. This counterintuitive approach becomes possible by using a driven quantum system, or more precisely, a network of Kerr-nonlinear parametric oscillators (KPOs). By numerical simulations, we show that some hard instances, where standard ground-state AQC with KPOs fails to find their optimal solutions, can be solved by the present approach, where nonadiabatic transitions are rather utilized. We also show that the use of the vacuum state as an initial state leads to robustness against errors due to dissipation, as expected, compared to the use of a really excited (nonvacuum) state as an initial state. Thus, the present work offers new possibilities for quantum computation and driven quantum systems. | 翻訳日:2023-05-20 03:14:07 公開日:2020-06-18 |
| # Fermi-Hubbardモデルに対する圧縮変分量子固有解法 Compressed variational quantum eigensolver for the Fermi-Hubbard model ( http://arxiv.org/abs/2006.01179v2 ) ライセンス: Link先を確認 | Ashley Montanaro and Stasja Stanisic | (参考訳) フェルミ・ハバードモデル(fermi-hubbard model)は、変分量子固有解法を用いて量子コンピュータによって解くことのできる、妥当な対象である。
しかし、古典的な正確な対角化の範囲を超える問題のサイズは、現在の量子コンピューティングハードウェアの範囲を超えている。
ここでは、ハッバードモデルの最初の非自明な部分ケース -- 1つのスピンアップと1つのスピンダウンフェルミオン -- を圧縮して、より大きなインスタンスを現在の量子コンピューティングハードウェアを使って対処するシンプルな方法を使用する。
本手法は, 2 ドルのハバードモデルの場合の超伝導量子ハードウェアプラットフォーム上に実装され, 誤差軽減技術を含め, 比較的高い精度で基底状態が見つかることを示す。 The Fermi-Hubbard model is a plausible target to be solved by a quantum computer using the variational quantum eigensolver algorithm. However, problem sizes beyond the reach of classical exact diagonalisation are also beyond the reach of current quantum computing hardware. Here we use a simple method which compresses the first nontrivial subcase of the Hubbard model -- with one spin-up and one spin-down fermion -- enabling larger instances to be addressed using current quantum computing hardware. We implement this method on a superconducting quantum hardware platform for the case of the $2 \times 1$ Hubbard model, including error-mitigation techniques, and show that the ground state is found with relatively high accuracy. | 翻訳日:2023-05-17 11:20:57 公開日:2020-06-18 |
| # プロセスマイニングと形式論理を用いたサステナビリティコンプライアンス自動チェック Automated Sustainability Compliance Checking Using Process Mining and Formal Logic ( http://arxiv.org/abs/2006.05777v2 ) ライセンス: Link先を確認 | Clemens Schreiber | (参考訳) ビジネスプロセスには、持続可能な結果につながるような一定の制約が必要です。
これらの制約は多様体であり、その付着を監視しなければならない。
過去には、複数のビジネス領域において、多次元や影響レベルといった持続可能性的な側面を考慮せずにコンプライアンスチェックが適用されてきた。
私の研究で、持続可能性コンプライアンスのためにコンプライアンスチェック技術の適用に貢献したいと思います。
これを実現するために、コンプライアンスチェックのタスクを自動化するデータ駆動アプローチを分析し、開発したいと思います。
これを実現する方法は、プロセスマイニングからの手法と、機械可読な方法で持続可能性ルールを表現できる形式言語を組み合わせることである。
主な目標は、ビジネスプロセスの持続可能性適合性を評価するためにERPシステムに適応可能なコンプライアンスエンジンを開発することである。 Business processes need to have certain constraints such that they can lead to sustainable outcomes. These constraints can be manifold and their adherence has to be monitored. In the past compliance checking has been applied in several business domains without considering certain sustainability aspects, such as multi-dimensionality and impact level. With my research I want to contribute to the application of compliance checking techniques for the purpose of sustainability compliance. In order to achieve this, I want to analyse and develop data-driven approaches, which allow to automate the task of compliance checking. The way in which this can be achieved, is be combining methods from process mining with formal languages that can express sustainability rules in a machine-readable manner. The main goal is to develop a compliance engine that can be adapted by ERP systems in order to evaluate sustainability conformance in business processes. | 翻訳日:2023-05-16 02:48:29 公開日:2020-06-18 |
| # デジタル双子のセットアップで男、機械、そして仕事:ケーススタディ Man, machine and work in a digital twin setup: a case study ( http://arxiv.org/abs/2006.08760v2 ) ライセンス: Link先を確認 | Ali Ahmad Malik, Alexander Brem | (参考訳) 本稿では,デジタルツインを用いて,産業事例と実証者を通して協調生産システムの複雑さに対処する機会を探る。
デジタル双生児(digital twin)は、物理的人間とロボットの組立システムの仮想的な組み合わせであり、設計、構築、運用を通じて検証と制御を行う前駆者として構築される。
システムライフサイクル、ビルディングブロック、潜在的アドバンテージに沿ったデジタル双生児の形式が提示される。
協調ロボットの分野におけるデジタル双生児の利用に関する今後の研究と実践について提言する。 This paper explores the opportunities of using a digital twin to address the complexities of collaborative production systems through an industrial case and a demonstrator. A digital twin, as a virtual counterpart of a physical human-robot assembly system, is built as a front-runner for validation and control through design, build, and operation. The forms of digital twins along the system life cycle, the building blocks, and potential advantages are presented. Recommendations for future research and practice in the use of digital twins in the field of collaborative robots are given. | 翻訳日:2023-05-13 20:09:26 公開日:2020-06-18 |
| # 企業システムのライフサイクルワイドイノベーション Enterprise System Lifecycle-wide Innovation ( http://arxiv.org/abs/2006.10237v1 ) ライセンス: Link先を確認 | Sachithra Lokuge and Darshana Sedera | (参考訳) エンタープライズシステムは組織にイノベーションをもたらす。
しかし、イノベーションもESの規律も過去の研究は、ESがライフサイクル全体のイノベーションを促進する方法を理解するために、彼らの知識を統合していません。
そこで,本研究は両分野間の概念的ブリッジを形成する。
本研究では,ESがライフサイクルの段階にわたってイノベーションを促進する方法を理解することを目的とする。
我々は、急進的、漸進的、行政的、技術的革新といったイノベーションの分類と、ESライフサイクルの3つのフェーズを関連付ける。
我々は、技術、ビジネスプロセス、組織の抑制を考慮して、ESに特化した新しいタイプのイノベーションとして、Continuous Restrained Innovation(CRI)を紹介します。
クライアントと実装パートナの両方のデータを用いた実装フェーズでの実証データ収集は、CRIの予備的な証拠を示します。
さらに我々は,ESの実施を急進的な革新とみなす両者が,システムを通じてさらなるイノベーションを求めることへの関心を減らしていることを述べる。 Enterprise Systems purport to bring innovation to organizations. Yet, no past studies, neither from innovation nor from ES disciplines have merged their knowledge to understand how ES could facilitate lifecycle-wide innovation. Therefore, this study forms conceptual bridge between the two disciplines. In this research, we seek to understand how ES could facilitate innovation across its lifecycle phases. We associate classifications of innovation such as radical vs. incremental, administrative vs. technical innovation with the three phases of ES lifecycle. We introduce Continuous Restrained Innovation (CRI) as a new type of innovation specific to ES, considering restraints of technology, business processes and organization. Our empirical data collection at the implementation phase, using data from both the client and implementation partner, shows preliminary evidence of CRI. In addition, we state that both parties consider the implementation of ES as a radical innovation yet, are less interest in seeking further innovations through the system. | 翻訳日:2023-05-13 13:48:29 公開日:2020-06-18 |
| # 核量子効果による分子間相互作用の有限温度での動的強化 Dynamical Strengthening of Covalent and Non-Covalent Molecular Interactions by Nuclear Quantum Effects at Finite Temperature ( http://arxiv.org/abs/2006.10578v1 ) ライセンス: Link先を確認 | Huziel E. Sauceda, Valentin Vassilev-Galindo, Stefan Chmiela, Klaus-Robert M\"uller, Alexandre Tkatchenko | (参考訳) 核量子効果(nqe)は、ゼロ点エネルギーと原子間相互作用における非調和性との結合によって、非局在化分子動力学を生成する傾向がある。
ここでは、NQEがしばしば電子相互作用を増強し、有限温度での動的分子安定化をもたらす証拠を示す。
nqeが推進する物理メカニズムは、考慮中の特定の相互作用に依存する。
第一に、分子内の官能基間の原子間距離の効果的低減は、分子軌道間の重なりを増加させるか、あるいは隣接する電荷密度間の静電相互作用を強化することにより、$n\to\pi^*$相互作用を増強することができる。
第二に、NQEは一時的に分子結合の順序を変えてメチルローターを局在させ、局所化された一過性ローター状態が出現する。
第三に、非共有結合ファンデルワールス相互作用では、nqeによって誘導される平均原子間距離の増大により、偏光性が増大する。
これらの相互作用がもたらす意味は、直感的なヒドロキシル-ヒドロキシル結合、妨害されたメチルローターダイナミクス、より滑らかな自由エネルギー表面を生成する分子強化などである。
我々の発見は、分子や材料における原子核量子ゆらぎの多角的役割に関する新たな洞察をもたらす。 Nuclear quantum effects (NQE) tend to generate delocalized molecular dynamics due to the inclusion of the zero point energy and its coupling with the anharmonicities in interatomic interactions. Here, we present evidence that NQE often enhance electronic interactions and, in turn, can result in dynamical molecular stabilization at finite temperature. The underlying physical mechanism promoted by NQE depends on the particular interaction under consideration. First, the effective reduction of interatomic distances between functional groups within a molecule can enhance the $n\to\pi^*$ interaction by increasing the overlap between molecular orbitals or by strengthening electrostatic interactions between neighboring charge densities. Second, NQE can localize methyl rotors by temporarily changing molecular bond orders and leading to the emergence of localized transient rotor states. Third, for noncovalent van der Waals interactions the strengthening comes from the increase of the polarizability given the expanded average interatomic distances induced by NQE. The implications of these boosted interactions include counterintuitive hydroxyl--hydroxyl bonding, hindered methyl rotor dynamics, and molecular stiffening which generates smoother free-energy surfaces. Our findings yield new insights into the versatile role of nuclear quantum fluctuations in molecules and materials. | 翻訳日:2023-05-13 13:46:04 公開日:2020-06-18 |
| # カメラによる量子制限絞り光検出 Quantum-Limited Squeezed Light Detection with a Camera ( http://arxiv.org/abs/2006.10573v1 ) ライセンス: Link先を確認 | Elisha S. Matekole, Savannah L. Cuozzo, Nikunjkumar Prajapati, Narayan Bhusal, Hwang Lee, Irina Novikova, Eugeniy E. Mikhailov, Jonathan P. Dowling, Lior Cohen | (参考訳) そこで本研究では,CCDカメラを用いた変位型真空状態の直接撮像に基づく絞り光検出手法を提案する。
記録された画素から画素への光子ゆらぎの統計量の最初の2つのモーメントのみを用いて、スクイーズパラメータを正確に推定できることを示し、バランスのとれたホモダイン検出のような標準のスクイーズ検出法に匹敵する精度を示した。
最後に, カメラ動作の数値シミュレーションを行い, ノイズのある実験結果を低信号サンプリングで再現し, 高信号サンプリングで理論を確認する。 We present a technique for squeezed light detection based on direct imaging of the displaced-squeezed-vacuum state using a CCD camera. We show that the squeezing parameter can be accurately estimated using only the first two moments of the recorded pixel-to-pixel photon fluctuation statistics, with accuracy that rivals that of the standard squeezing detection methods such as a balanced homodyne detection. Finally, we numerically simulate the camera operation, reproducing the noisy experimental results with low signal samplings and confirming the theory with high signal samplings. | 翻訳日:2023-05-13 13:45:42 公開日:2020-06-18 |
| # 三角ラダー構造上の4つのスピン1/2粒子系における共起に基づく絡み合いの厳密なダイナミクス Exact dynamics of concurrence-based entanglement in a system of four spin-1/2 particles on a triangular ladder structure ( http://arxiv.org/abs/2006.10381v1 ) ライセンス: Link先を確認 | Sajedeh Shahsavari, Mostafa Motamedifar, Hassan Safari | (参考訳) 量子情報処理を実装するために三角形のスピンはしごの能力によって動機づけられたハミルトニアンは、ラング上のXXハイゼンベルク相互作用とジアロシンスキイモリヤ(DM)を足上で結合するシステムである。
本研究では,四つの量子ビットを含む三角形のはしごのナノ磁性体の素子間の磁気的相互作用が,系の任意の対間で共有される絡み合いの動的挙動にどのように影響するかを論じる。
本研究では,絡みのモニタリングにコンカレンスを利用する。
量子W状態の生成は、システムが時間とともに一元的に進化する際の現在のモデルの重要な特徴である。
一般に、W状態の出現と偶然に、すべてのペアの共起は、N が系の量子ビットの数であるような$N/2$に等しい。
また,このような状態の発生頻度とDM相互作用の値,および絡み合い移動の時間との正確な関係も明らかにした。
最後に、異なるスピン変数の2点量子相関と期待値を調べることで、xx と yy の相関が、この絡み合いを W 状態の最大値に導くのに対し、これらの状態では、任意のペア間のノズル相関が完全に待ち受けていることが分かる。
その結果、$s^{tot}_{z}$は系のハミルトニアンに可換ではないが、量子w状態の一般的な性質である時間発展の間、その期待値は一定であることがわかった。 Motivated by the ability of triangular spin ladders to implement quantum information processing, we propose a type of such systems whose Hamiltonian includes the XX Heisenberg interaction on the rungs and DzyaloshinskiiMoriya (DM) coupling over the legs. In this work, we discuss how tuning the magnetic interactions between elements of a nanomagnetic cell of a triangular ladder which contains four qubits influences on the dynamical behavior of entanglement shared between any pairs of the system. In this work, we make use of concurrence for monitoring entanglement. It is realized that the generation of quantum W states is an important feature of the present model when the system evolves unitarily with time. In general, coincidence with the emergence of W states, the concurrences of all pairs are equal to $N/2$, where N is the number of system's qubits. We also obtain the precise relationship between the incidence of such states and the value of DM interaction as well as the time of entanglement transfer. Finally, by studying the two-point quantum correlations and expectation values of different spin variables, we find that xx and yy correlations bring the entanglement to a maximum value for W states, whereas for these states, zz correlation between any pairs completely quenches. Our results reveal that although $S^{tot}_{z}$ does not commute with the system's Hamiltonian, its expectation value remains constant during time evolution which is a generic property of quantum W states. | 翻訳日:2023-05-13 13:44:25 公開日:2020-06-18 |
| # 四重項の線形および可積分非線形進化 Linear and integrable nonlinear evolution of the qutrit ( http://arxiv.org/abs/2006.10322v1 ) ライセンス: Link先を確認 | Krzysztof Kowalski | (参考訳) 状態空間の凸性を保存するフォン・ノイマン方程式の非線形一般化は、クォートの非自明な場合において研究される。
この方程式は、非線形常微分方程式の可積分古典リッカティ系にキャストできる。
そのような系の解は、標準フォン・ノイマン方程式に対応する線型の場合と、この方程式の一般化を参照する非線形の場合の両方で研究される。
解析されたクエットのダイナミクスは豊富であり、準周期運動、多重平衡、極限サイクルを含む。 The nonlinear generalization of the von Neumann equation preserving convexity of the state space is studied in the nontrivial case of the qutrit. This equation can be cast into the integrable classical Riccati system of nonlinear ordinary differential equations. The solutions of such system are investigated in both the linear case corresponding to the standard von Neumann equation and the nonlinear one referring to the generalization of this equation. The analyzed dynamics of the qutrit is rich and includes quasiperiodic motion, multiple equilibria and limit cycles. | 翻訳日:2023-05-13 13:43:57 公開日:2020-06-18 |
| # フィルタリング操作によるユニタリ写像の量子速度制限時間制御 Controlling the quantum speed limit time for unital maps via filtering operations ( http://arxiv.org/abs/2006.10686v1 ) ライセンス: Link先を確認 | S. Haseli | (参考訳) システムが初期状態から最終直交状態に変化する必要がある最小時間は、量子速度制限時間(quantum speed limit time)と呼ばれる。
量子速度制限時間は、量子進化の速度を定量化するために用いられる。
量子進化の速度は、量子速度制限時間が減少すれば増加する。
この研究では、量子速度制限時間に対する相対純度に基づく境界を用いる。
任意の初期状態に適用できる。
本稿では,フィルタ操作が量子速度制限時間に及ぼす影響について検討する。
フィルタリング動作パラメータの区間によっては、フィルタリング動作パラメータの増大により量子速度制限時間が減少し、他の区間ではフィルタリング動作パラメータの低下により減少することが観察される。 The minimum time a system needs to change from an initial state to a final orthogonal state is called quantum speed limit time. Quantum speed limit time can be used to quantify the speed of the quantum evolution. The speed of the quantum evolution will increase, if the quantum speed limit time decreases. In this work we will use relative purity based bound for quantum speed limit time. It is applicable for any arbitrary initial state. Here, we investigate the effects of filtering operation on quantum speed limit time. It will be observed that for some intervals of filtering operation parameter the quantum speed limit time is decreased by increasing filtering operation parameter and for some other intervals it is decreased by decreasing filtering operation parameter. | 翻訳日:2023-05-13 13:34:59 公開日:2020-06-18 |
| # 量子オラクルの正準構成 Canonical Construction of Quantum Oracles ( http://arxiv.org/abs/2006.10656v1 ) ライセンス: Link先を確認 | Austin Gilliam, Marco Pistoia, and Constantin Gonciulea | (参考訳) 基底状態のセットを選択することは、それらの確率を増加/評価するために、量子コンピューティングにおいて一般的なタスクである。
これは古典的なデータベースクエリでWHERE節を設計するのと似ている。
これを達成するためのヒューリスティックな方法を見つけることはできるが、プロセスの自動化は望ましい。
一般的な、しかし非効率な自動化アプローチは、サーキット設計時にすべての状態を古典的な評価でoracleを使用することである。
本稿では、選択された状態の集合を同じ値にマッピングし、その特定の値にマッチする単純なオラクルと結合する、代数的表現(特にイジングモデル)から量子オラクルを生成する新しい標準的方法を提案する。
このタイプのoracleを標準化するgrover iterateの一般的な形式も紹介します。
次に、この新たな方法論を、ゼロサム部分集合問題とフィボナッチ数の計算をモデル化するイジング・ハミルトンの特定の場合に適用する。
さらに,本論文では,量子ボリューム64のトラップイオン技術に基づくハネウェル型計算機について,実量子ハードウェアを用いた実験結果について述べる。 Selecting a set of basis states is a common task in quantum computing, in order to increase and/or evaluate their probabilities. This is similar to designing WHERE clauses in classical database queries. Even though one can find heuristic methods to achieve this, it is desirable to automate the process. A common, but inefficient automation approach is to use oracles with classical evaluation of all the states at circuit design time. In this paper, we present a novel, canonical way to produce a quantum oracle from an algebraic expression (in particular, an Ising model), that maps a set of selected states to the same value, coupled with a simple oracle that matches that particular value. We also introduce a general form of the Grover iterate that standardizes this type of oracle. We then apply this new methodology to particular cases of Ising Hamiltonians that model the zero-sum subset problem and the computation of Fibonacci numbers. In addition, this paper presents experimental results obtained on real quantum hardware, the new Honeywell computer based on trapped-ion technology with quantum volume 64. | 翻訳日:2023-05-13 13:34:48 公開日:2020-06-18 |
| # 極遅延量子間の全マイクロ波制御位相ゲートの実証 Demonstration of an All-Microwave Controlled-Phase Gate between Far Detuned Qubits ( http://arxiv.org/abs/2006.10639v1 ) ライセンス: Link先を確認 | S. Krinner, P. Kurpiers, B. Royer, P. Magnard, I. Tsitsilin, J.-C. Besse, A. Remm, A. Blais, A. Wallraff | (参考訳) 大規模超伝導量子プロセッサを構築する上での課題は、コヒーレンス、量子ビットアドレス性、量子ビット結合強度、回路複雑性、必要な制御ラインの数の間の適切なバランスを見つけることである。
2つのキュービットを結合する全マイクロウェーブのアプローチでは、比較的少ない制御線と高いコヒーレンスによる恩恵を受けるが、マルチキュービットの設定では、周波数の混雑とアドレスの制限に苦しむ。
そこで,この制限を克服するために,2つの横結合トランスモン量子ビット間の全マイクロウェーブ制御位相ゲートを実現する。
ゲートは、キュービットの1つに単一の強いマイクロ波トーンを印加し、2キュービットの$|f,g\rangle$と$|g,e\rangle$の結合を誘導し、$|g\rangle$、$|e\rangle$、$|f\rangle$がトランスモンキュービットの最低エネルギー状態を示す。
interleaved randomized benchmarkingは、ゲートの忠実度が97.5\pm 0.3 \%$であり、ゲートの持続時間は126\,\rm{ns}$であり、主要なエラー源はデコヒーレンスである。
我々はFloquet理論を用いて強駆動場の存在下でゲートをモデル化し、データとの良好な一致を求める。
私たちのゲートは、2量子ビットゲートの代替案として有望であり、追加のドライブラインやチューニング可能なカプラを必要としないため、大規模な量子プロセッサではハードウェアスケーリングの利点がある。 A challenge in building large-scale superconducting quantum processors is to find the right balance between coherence, qubit addressability, qubit-qubit coupling strength, circuit complexity and the number of required control lines. Leading all-microwave approaches for coupling two qubits require comparatively few control lines and benefit from high coherence but suffer from frequency crowding and limited addressability in multi-qubit settings. Here, we overcome these limitations by realizing an all-microwave controlled-phase gate between two transversely coupled transmon qubits which are far detuned compared to the qubit anharmonicity. The gate is activated by applying a single, strong microwave tone to one of the qubits, inducing a coupling between the two-qubit $|f,g\rangle$ and $|g,e\rangle$ states, with $|g\rangle$, $|e\rangle$, and $|f\rangle$ denoting the lowest energy states of a transmon qubit. Interleaved randomized benchmarking yields a gate fidelity of $97.5\pm 0.3 \%$ at a gate duration of $126\,\rm{ns}$, with the dominant error source being decoherence. We model the gate in presence of the strong drive field using Floquet theory and find good agreement with our data. Our gate constitutes a promising alternative to present two-qubit gates and could have hardware scaling advantages in large-scale quantum processors as it neither requires additional drive lines nor tunable couplers. | 翻訳日:2023-05-13 13:34:31 公開日:2020-06-18 |
| # 地球規模の量子通信のための空間量子メモリ Space-borne quantum memories for global quantum communication ( http://arxiv.org/abs/2006.10636v1 ) ライセンス: Link先を確認 | Mustafa G\"undo\u{g}an, Jasminder S. Sidhu, Victoria Henderson, Luca Mazzarella, Janik Wolters, Daniel K.L. Oi, Markus Krutzik | (参考訳) グローバルスケールの量子通信リンクは、量子インターネットのバックボーンを形成する。
しかし、光ファイバーの指数的損失は数百キロメートルを超える現実的な応用を妨げる。
量子リピータと空間ベースのシステムは、この制限を克服する。
ここでは、グローバルレンジリピータと計測デバイス非依存(MDI)QKDに焦点を当てた量子通信のための量子メモリ(QM)搭載衛星について分析する。
qmsを搭載した衛星は、qmsのないファイバーベースの中継機や宇宙システムに基づく既存のプロトコルよりも3桁高速の絡み合い分布率を提供する。
エンタングルメント分散性能がメモリ特性に依存するかを分析し、異なるタスクのパフォーマンスを評価するベンチマークを決定し、ライトマッターインタフェースのための様々なアーキテクチャを提案する。
我々の研究は、現在の技術と無条件に安全な量子通信を実現するための実用的なロードマップを提供します。 Global scale quantum communication links will form the backbone of the quantum internet. However, exponential loss in optical fibres precludes any realistic application beyond few hundred kilometres. Quantum repeaters and space-based systems offer to overcome this limitation. Here, we analyse the use of quantum memory (QM)-equipped satellites for quantum communication focussing on global range repeaters and Measurement-Device-Independent (MDI) QKD. We demonstrate that satellites equipped with QMs provide three orders of magnitude faster entanglement distribution rates than existing protocols based on fibre-based repeaters or space systems without QMs. We analyse how entanglement distribution performance depends on memory characteristics, determine benchmarks to assess performance of different tasks, and propose various architectures for light-matter interfaces. Our work provides a practical roadmap to realise unconditionally secure quantum communications over global distances with current technologies. | 翻訳日:2023-05-13 13:33:58 公開日:2020-06-18 |
| # AIコミュニティにおける反黒化の議論 Combating Anti-Blackness in the AI Community ( http://arxiv.org/abs/2006.16879v1 ) ライセンス: Link先を確認 | Devin Guillory | (参考訳) 反黒人と体系的差別の問題に関する全国的および国際的な覚醒に応えて、我々は、人種差別システムをより効果的に解体する方法を疑問視するAIコミュニティの同盟者のためのリソースとして、この作品を紹介した。
この研究は、AIコミュニティが積極的にかつ受動的に反ブラックネスに貢献する領域を解明し、害を減らすための実行可能なアイテムを提供することを目的としている。 In response to a national and international awakening on the issues of anti-Blackness and systemic discrimination, we have penned this piece to serve as a resource for allies in the AI community who are wondering how they can more effectively engage with dismantling racist systems. This work aims to help elucidate areas where the AI community actively and passively contributes to anti-Blackness and offers actionable items on ways to reduce harm. | 翻訳日:2023-05-13 13:27:42 公開日:2020-06-18 |
| # N=1 睡眠性能に及ぼすライフスタイルの影響のモデル化 N=1 Modelling of Lifestyle Impact on SleepPerformance ( http://arxiv.org/abs/2006.10884v1 ) ライセンス: Link先を確認 | Dhruv Upadhyay, Vaibhav Pandey, Nitish Nag, Ramesh Jain | (参考訳) 睡眠は健康的なライフスタイルを導くのに不可欠である。
毎日、ほとんどの人は、夜の休息がどうなるかを知らずに寝ます。
人類が人生の約3分の1を過ごしている活動には、驚くほどの謎がある。
現在の研究にもかかわらず、現実世界でのパーソナライズされた睡眠モデルの作成は困難だった。
既存の文献では、日常生活と睡眠の質の間にいくつかの関連がある。
残念ながら、これらの洞察は多くの個人においてうまく一般化しない。
これらの理由から、パーソナライズされた睡眠モデルを作成することが重要である。
本研究は,日常生活と睡眠の質の因果関係を識別し,生活習慣が睡眠に与える影響に関するフィードバックをユーザに提示する睡眠モデルを提案する。
本手法では, ライフスタイル選択(運動, 食事, 概日リズム)の理解と, 睡眠の質に及ぼす影響について, N-of-1実験を用いて検討した。
実験の結果,因果関係を同定し,因果関係から変数を抽出した。
これらの洞察は、睡眠を改善するためのガイダンスを提供するために、ユーザまたはパーソナルヘルスナビゲータによって利用することができる。 Sleep is critical to leading a healthy lifestyle. Each day, most people go to sleep without any idea about how their night's rest is going to be. For an activity that humans spend around a third of their life doing, there is a surprising amount of mystery around it. Despite current research, creating personalized sleep models in real-world settings has been challenging. Existing literature provides several connections between daily activities and sleep quality. Unfortunately, these insights do not generalize well in many individuals. For these reasons, it is important to create a personalized sleep model. This research proposes a sleep model that can identify causal relationships between daily activities and sleep quality and present the user with specific feedback about how their lifestyle affects their sleep. Our method uses N-of-1 experiments on longitudinal user data and event mining to generate understanding between lifestyle choices (exercise, eating, circadian rhythm) and their impact on sleep quality. Our experimental results identified and quantified relationships while extracting confounding variables through a causal framework. These insights can be used by the user or a personal health navigator to provide guidance in improving sleep. | 翻訳日:2023-05-13 13:27:23 公開日:2020-06-18 |
| # SSHealth:セキュアでブロックチェーン対応のヘルスケアシステムを目指す SSHealth: Toward Secure, Blockchain-Enabled Healthcare Systems ( http://arxiv.org/abs/2006.10843v1 ) ライセンス: Link先を確認 | Alaa Awad Abdellatif, Abeer Z. Al-Marridi, Amr Mohamed, Aiman Erbad, Carla Fabiana Chiasserini, and Ahmed Refaey | (参考訳) 医療システムの未来は、患者ケアの新しいモデルを推進するために、出現した技術革新を取り入れることによって形成されている。
異なるシステムレベルで医療データを取得、統合、分析、交換することで、新しいプラクティスを導入し、医療サービスに根本的な改善をもたらすことができる。
本稿では,エッジコンピューティングとブロックチェーン技術の進歩を活用して,疫病の発見,遠隔監視,迅速な緊急対応を可能にする,新たなスマートかつセキュアな医療システム(sshealth)を提案する。
提案システムはまた、地域医療機関間の医療データ交換をセキュアにし、複数の国家・国際機関の統合を実現し、新興の疫病管理・管理などの重要な医療イベントの相関を可能にする。
特に、ブロックチェーンベースのアーキテクチャを開発し、その柔軟な構成を可能にし、異なる健康エンティティ間の医療データ共有を最適化し、sshealthが必要とする様々なレベルのqos(quality of service)を満たします。
最後に,提案するsshealthシステムの利点と今後の研究の方向性について述べる。 The future of healthcare systems is being shaped by incorporating emerged technological innovations to drive new models for patient care. By acquiring, integrating, analyzing, and exchanging medical data at different system levels, new practices can be introduced, offering a radical improvement to healthcare services. This paper presents a novel smart and secure Healthcare system (ssHealth), which, leveraging advances in edge computing and blockchain technologies, permits epidemics discovering, remote monitoring, and fast emergency response. The proposed system also allows for secure medical data exchange among local healthcare entities, thus realizing the integration of multiple national and international entities and enabling the correlation of critical medical events for, e.g., emerging epidemics management and control. In particular, we develop a blockchain-based architecture and enable a flexible configuration thereof, which optimize medical data sharing between different health entities and fulfil the diverse levels of Quality of Service (QoS) that ssHealth may require. Finally, we highlight the benefits of the proposed ssHealth system and possible directions for future research. | 翻訳日:2023-05-13 13:27:05 公開日:2020-06-18 |
| # ICTサービスによる環境影響評価手法
第2部:複数のサービス・企業 A Methodology for Assessing the Environmental Effects Induced by ICT Services. Part II: Multiple Services and Companies ( http://arxiv.org/abs/2006.10838v1 ) ライセンス: Link先を確認 | Pernilla Bergmark, Vlad C. Coroam\u{a}, Mattias H\"ojer, Craig Donovan | (参考訳) 情報通信技術(ICT)は、既存の製品や活動をより効率的にしたり、置き換えたりすることができるため、気候変動の緩和に欠かせないものとなる。
この文脈では、個別のICT企業、産業組織、国際的なイニシアティブがICTサービスの環境効果を推定し始めている。
このような評価は、しばしば粗末な仮定や方法に依存し、不正確な結果や誤解を招く。
現存する数少ない方法論的試みは、実践者に指導を与えるには一般的すぎる。
この論文の出発点は
一 欧州電気通信標準化機構(ETSI)及び国際電気通信連合(ITU)からの高水準標準
ii)「ictサービスによる環境影響評価方法i:単一サービス」で概説された単一サービスアセスメントの強化の提案(第i部)
単一サービスのアセスメントに基づいて、この記事では、複数のサービスアセスメントに関する既存の方法論や業界プラクティスの欠点を特定し、対処する。
サービスの集合については、目標とスコープの定義、これまでのところいくつかのサービス間の効果の集約、そして1つ以上のサービスに貢献する複数の企業間の割り当てを無視している。
この記事は最終的に、これらの考慮事項をパートIと合わせて、実際にこのような評価を行うワークフローに持ち込んだ。 Information and communication technologies (ICT) can make existing products and activities more efficient or substitute them altogether and could thus become crucial for the mitigation of climate change. In this context, individual ICT companies, industry organizations and international initiatives have started to estimate the environmental effects of ICT services. Often such assessments rely on crude assumptions and methods, yielding inaccurate or even misleading results. The few existing methodological attempts are too general to provide guidance to practitioners. The starting points of this paper are i) a high level standard from the European Telecommunication Standardisation Institute (ETSI) and the International Telecommunication Union (ITU), and ii) its suggested enhancements for single service assessment outlined in "A Methodology for Assessing the Environmental Effects Induced by ICT Services Part I: Single services" (Part I in short). Building on the assessment of single services, the current article identifies and addresses shortcomings of existing methodologies and industry practices with regard to multiple services assessment. For a collection of services, it addresses the goal and scope definition, the so far ignored aggregation of effects among several services, and the allocation between several companies contributing to one or more services. The article finally brings these considerations together with those of Part I into a workflow for performing such assessments in practice. | 翻訳日:2023-05-13 13:26:46 公開日:2020-06-18 |
| # ICTサービスによる環境影響評価手法
第1部:単一サービス A Methodology for Assessing the Environmental Effects Induced by ICT Services. Part I: Single Services ( http://arxiv.org/abs/2006.10831v1 ) ライセンス: Link先を確認 | Vlad C. Coroam\u{a}, Pernilla Bergmark, Mattias H\"ojer, Jens Malmodin | (参考訳) 情報通信技術(ICT)は、気候変動対策の鍵となるものと見なされている。
既存の製品や活動をより効率的にするか、置き換えることができる。
その結果、ICTサービスの環境効果を推定する様々な取り組みが始まっている。
しかし、そのような評価は科学的厳密性がなく、しばしば粗い仮定や方法に依存し、不正確な結果や誤解を招く結果に繋がる。
存在する数少ない方法論的試みは、いくつかの重要な側面を扱っていないため、良い精神的な実践を育むには不十分である。
欧州電気通信標準化機構(ETSI)と国際電気通信連合(ITU)の高水準標準から、本稿は既存の方法論の欠点を特定し、解決策を提案する。
目的と範囲の定義(ICT置換と最適化の違いの分析、評価の時間的視点、ICTソリューションなしでの状況に対する仮説的ベースラインの挑戦、モデリングとケーススタディの違い)、また多くの場合、リバウンド効果の影響を無視し、ケーススタディからより大きな人口への外挿が困難である。 Information and communication technologies (ICT) are increasingly seen as key enablers for climate change mitigation measures. They can make existing products and activities more efficient or substitute them altogether. Consequently, different initiatives have started to estimate the environmental effects of ICT services. Such assessments, however, lack scientific rigor and often rely on crude assumptions and methods, leading to inaccurate or even misleading results. The few methodological attempts that exist do not address several crucial aspects, and are thus insufficient to foster good as-sessment practice. Starting from such a high level standard from the European Telecommunication Standardisation Institute (ETSI) and the International Telecommunication Union (ITU), this article identifies the shortcomings of existing methodologies and proposes solutions. It addresses several aspects for the assessment of single ICT services: the goal and scope definition (analyzing differences between ICT substitution and optimization, the time perspective of the assessment, the challenge of a hypothetical baseline for the situation without the ICT solution, and the differences between modelling and case studies) as well as the often ignored influence of rebound effects and the difficult extrapolation from case studies to larger populations. | 翻訳日:2023-05-13 13:26:26 公開日:2020-06-18 |
| # パンデミック管理のための普及型コミュニケーション技術 Pervasive Communications Technologies For Managing Pandemics ( http://arxiv.org/abs/2006.10805v1 ) ライセンス: Link先を確認 | Muhammad Ilyas and Basit Qureshi | (参考訳) パンデミックは常に、効果的に含まれない限り深刻な結果をもたらした。
新型コロナウイルスの最近の経験から、スマートで迅速なアプローチでパンデミックに対処することで、医療システムの圧倒的な増加を回避し、貴重な生命の喪失を減らすことが示されている。
本稿では,モバイルエッジクラウド(mec)やiot(internet of things),ai(artificial intelligence)といったスマートテクノロジを,パンデミックを効果的に管理するためのアプローチとして活用する。
IoTはさまざまなデバイス間の広範な接続を提供し、潜在的に感染した個人の位置や症状などの情報収集に使用することができる。
MECはエッジにクラウドサービスを提供し、IoTインフラストラクチャと高度なAIアルゴリズムをクラウドに統合する。
本稿では,パンデミック対策の研究を支援するために広く普及する技術の統合を実証するプロトタイプを開発した。
低コストのシングルボードコンピュータ(SBC)ベースのクラスタはMECに統合され、現場の遠隔医療チームをサポートする。
プロトタイプでは、Kubernetesエコシステムによってオーケストレーションされた軽量Dockerコンテナを実装し、クラスタにデプロイされる。
プロトタイプは、モバイル医療施設が提案したソリューションを利用して情報を収集し、外出中にAIアルゴリズムを実行することを実証した。
最後に,パンデミック管理における普及型技術の統合が果たす役割について論じる。 Pandemics always have had serious consequences unless they were effectively contained. Recent experiences with COVID-19 show that by using a smart and swift approach to deal with pandemics, avoids overwhelming of healthcare systems, and reduces the loss of precious life. This paper is about using smart technologies such as Mobile Edge Clouds (MEC), Internet of Things (IoT), and Artificial Intelligence (AI), as an approach to effectively manage pandemics. IoT provides pervasive connectivity among various devices and can be used for collecting information such as location and symptoms of potentially infected individuals. MECs provide cloud services on the edge, integrating IoT infrastructure and execution of sophisticated AI algorithms in the Cloud. In this paper, we develop a prototype to demonstrate the convergence of pervasive technologies to support research in managing pandemics. Low-cost Single Board Computers (SBC) based clusters are integrated within MEC to support remote medical teams in the field. The prototype implements a lightweight Docker container orchestrated by Kubernetes eco-system which is deployed on the clusters. The prototype successfully demonstrates that mobile medical facilities can utilize the proposed solution to collect information and execute AI algorithms while on the go. Finally, we present a discussion on the role of converging pervasive technologies on managing pandemics. | 翻訳日:2023-05-13 13:25:40 公開日:2020-06-18 |
| # CMOS SPADアレイの時間分解による空間移動型絡み合った光子のキャラクタリゼーション Characterization of space-momentum entangled photon with a time resolving CMOS SPAD array ( http://arxiv.org/abs/2006.10791v1 ) ライセンス: Link先を確認 | Bruno Eckmann, B\"anz Bessire, Manuel Untern\"ahrer, Leonardo Gasparini, Matteo Perenzoni, Andr\'e Stefanov | (参考訳) 単一光子アバランシェダイオードアレイは、検出された各光子の空間情報と時間情報の両方を提供することができる。
本稿では,量子イメージング用センサを用いた絡み合った光の特性について述べる。
センサーは、50 nsのフレーム内で、画素レベルの各検出イベントをナノ秒以下の精度でタイムタグ付けする。
これにより、定義された時間窓における検出数間の空間的相関をデータから直接抽出することができる。
本研究では,自発的パラメトリック・ダウンコンバージョンにより放出される光子対を,センサが特徴付ける能力を示す。
それらの絡み合いは、EPR型不等式に違反して示される。 Single photon avalanche diode arrays can provide both the spatial and temporal information of each detected photon. We present here the characterization of entangled light with a sensor specifically designed for quantum imaging applications. The sensors is time-tagging each detection events at the pixel level with sub-nanosecond accuracy, within frames of 50 ns. The spatial correlations between any number of detections in a defined temporal window can thus be directly extracted from the data. We show the ability of the sensor to characterize space-momentum entangled photon pairs emitted by spontaneous parametric downconversion. Their entanglement is demonstrated by violating an EPR-type inequality. | 翻訳日:2023-05-13 13:25:20 公開日:2020-06-18 |
| # 与えられたエネルギースペクトルに関連するポテンシャル関数の構成 -逆問題-
II年 Construction of potential functions associated with a given energy spectrum -- An inverse problem. II ( http://arxiv.org/abs/2006.10787v1 ) ライセンス: Link先を確認 | Abdulaziz D. Alhaidari and Houcine Aounallah | (参考訳) J. Mod. Phys. A 35, xxxx (2020, in production) で最初の著者によって始められた逆問題に対する解決策を継続する。
同じエネルギースペクトル公式に対応するが異なるエネルギー多項式と基底に対応する、正確に可解な問題に対する追加のポテンシャル関数が見つかる。
本研究では、ウィルソン多項式と「ヤコビ基底」に関連するポテンシャル関数のクラスを得る。 We continue our solution of the inverse problem started by the first author in [Int. J. Mod. Phys. A 35, xxxx (2020), in production]. Additional potential functions for exactly solvable problems that correspond to the same energy spectrum formula but for different energy polynomials and bases are found. In this work, we obtain a class of potential functions associated with the Wilson polynomial and "Jacobi basis". | 翻訳日:2023-05-13 13:25:09 公開日:2020-06-18 |
| # DeepFakesとBeyond: 顔操作とフェイク検出に関する調査 DeepFakes and Beyond: A Survey of Face Manipulation and Fake Detection ( http://arxiv.org/abs/2001.00179v3 ) ライセンス: Link先を確認 | Ruben Tolosana, Ruben Vera-Rodriguez, Julian Fierrez, Aythami Morales, Javier Ortega-Garcia | (参考訳) 大規模な公開データベースへの無料アクセスと、ディープラーニング技術の急速な進歩、特に生成的敵ネットワークは、偽ニュースの時代において、社会に相当する意味を持つ、非常に現実的な偽コンテンツを生み出した。
本調査では,DeepFake法を含む顔画像の操作技術と,そのような操作を検出する方法の徹底的なレビューを行う。
特に4種類の顔操作について検討する。
一 顔全体の合成
二 識別スワップ(ディープフェイク)
三 属性の操作、及び
iv) 表現スワップ。
各操作群について,操作手法,既存の公開データベース,およびそれらの評価結果の要約を含む偽検出手法の技術評価のための重要なベンチマークについて詳細を述べる。
調査で論じられたすべての側面の中で、私たちは最新世代のDeepFakesに特に注意を払っており、フェイク検出の改善と課題を強調しています。
調査情報に加えて,この分野の進展を考慮すべきオープンイシューと今後のトレンドについても論じる。 The free access to large-scale public databases, together with the fast progress of deep learning techniques, in particular Generative Adversarial Networks, have led to the generation of very realistic fake content with its corresponding implications towards society in this era of fake news. This survey provides a thorough review of techniques for manipulating face images including DeepFake methods, and methods to detect such manipulations. In particular, four types of facial manipulation are reviewed: i) entire face synthesis, ii) identity swap (DeepFakes), iii) attribute manipulation, and iv) expression swap. For each manipulation group, we provide details regarding manipulation techniques, existing public databases, and key benchmarks for technology evaluation of fake detection methods, including a summary of results from those evaluations. Among all the aspects discussed in the survey, we pay special attention to the latest generation of DeepFakes, highlighting its improvements and challenges for fake detection. In addition to the survey information, we also discuss open issues and future trends that should be considered to advance in the field. | 翻訳日:2023-01-16 09:37:30 公開日:2020-06-18 |
| # 人工知能を用いたスマート胸部X線ワークリスト優先順位付け:臨床ワークフローシミュレーション Smart Chest X-ray Worklist Prioritization using Artificial Intelligence: A Clinical Workflow Simulation ( http://arxiv.org/abs/2001.08625v2 ) ライセンス: Link先を確認 | Ivo M. Baltruschat, Leonhard Steinmeister, Hannes Nickisch, Axel Saalbach, Michael Grass, Gerhard Adam, Tobias Knopp, Harald Ittrich | (参考訳) 本研究の目的は、人工知能(AI)によるスマートワークリスト優先順位付けが、胸部X線写真(CXR)における重要な発見に対して、放射線学ワークフローを最適化し、報告のターンアラウンド時間(RTAT)を短縮できるかどうかを評価することである。
さらに,aiによる偽陰性予測の効果を相殺する手法について検討し,cxrを作業リストの最後に並べ替えることで,極めて危険な長さのrtatを実現する。
病院固有のCXR生成率,報告率,病理組織分布を組み込むことで,大学病院の現在のワークフローをモデル化するシミュレーションフレームワークを開発した。
これを用いて,標準的なワークリスト処理 "first-in, first-out" (fifo) をシミュレートし,緊急性に基づくワークリスト優先順位付けと比較した。
胸水, 胸水, 浸潤, 渋滞, 気腫, 心筋症, 腫瘤, 異物など, 8種類の病理所見の分類を行った。
さらに,最大待ち時間に対する上限を導入し,その後,最高緊急度が試験に割り当てられた。
すべての重要な発見の平均rtatは、fifo-simulation (例: pneumothorax: 35.6 min vs. 80.1 min; p $<0.0001$)と比較して、全ての優先化シミュレーションにおいて有意に減少し、ほとんどの発見に対する最大rtatは同時に増加した (例: pneumothorax: 1293 min vs 890 min; p $<0.0001$)。
私たちの「上限値」は、rtatの全クラスを実質的に削減した(例: pneumothorax: 979 min vs. 1293 min / 1178 min; p $<0.0001$)。
シミュレーションにより、AIによるスマートワークリストの優先順位付けは、CXRにおける批判的な発見に対する平均RTATを削減し、FIFOとして最小のRTATを維持できることが示されている。 The aim is to evaluate whether smart worklist prioritization by artificial intelligence (AI) can optimize the radiology workflow and reduce report turnaround times (RTAT) for critical findings in chest radiographs (CXRs). Furthermore, we investigate a method to counteract the effect of false negative predictions by AI -- resulting in an extremely and dangerously long RTAT, as CXRs are sorted to the end of the worklist. We developed a simulation framework that models the current workflow at a university hospital by incorporating hospital specific CXR generation rates, reporting rates and pathology distribution. Using this, we simulated the standard worklist processing "first-in, first-out" (FIFO) and compared it with a worklist prioritization based on urgency. Examination prioritization was performed by the AI, classifying eight different pathological findings ranked in descending order of urgency: pneumothorax, pleural effusion, infiltrate, congestion, atelectasis, cardiomegaly, mass and foreign object. Furthermore, we introduced an upper limit for the maximum waiting time, after which the highest urgency is assigned to the examination. The average RTAT for all critical findings was significantly reduced in all Prioritization-simulations compared to the FIFO-simulation (e.g. pneumothorax: 35.6 min vs. 80.1 min; p $<0.0001$), while the maximum RTAT for most findings increased at the same time (e.g. pneumothorax: 1293 min vs 890 min; p $<0.0001$). Our "upper limit" substantially reduced the maximum RTAT all classes (e.g. pneumothorax: 979 min vs. 1293 min / 1178 min; p $<0.0001$). Our simulations demonstrate that smart worklist prioritization by AI can reduce the average RTAT for critical findings in CXRs while maintaining a small maximum RTAT as FIFO. | 翻訳日:2023-01-07 13:33:30 公開日:2020-06-18 |
| # 非可換多項式最適化問題としての線形力学系の最適学習 Proper Learning of Linear Dynamical Systems as a Non-Commutative Polynomial Optimisation Problem ( http://arxiv.org/abs/2002.01444v3 ) ライセンス: Link先を確認 | Quan Zhou and Jakub Marecek | (参考訳) 不適切な学習として知られる線形力学系(lds)の次の観測を予測したり、ldsの適切な学習として知られる系行列の推定を行うのが最近の進歩である。
本稿では,この問題の非凸性に拘わらず,最小二乗推定器への数値解の大域収束を保証する,ldsの適切な学習手法を提案する。
我々は有望な計算結果を示す。 There has been much recent progress in forecasting the next observation of a linear dynamical system (LDS), which is known as the improper learning, as well as in the estimation of its system matrices, which is known as the proper learning of LDS. We present an approach to proper learning of LDS, which in spite of the non-convexity of the problem, guarantees global convergence of numerical solutions to a least-squares estimator. We present promising computational results. | 翻訳日:2023-01-04 02:59:14 公開日:2020-06-18 |
| # オブジェクト指向認知プログラムを用いた高速概念推論モデル A Model of Fast Concept Inference with Object-Factorized Cognitive Programs ( http://arxiv.org/abs/2002.04021v2 ) ライセンス: Link先を確認 | Daniel P. Sawyer, Miguel L\'azaro-Gredilla, Dileep George | (参考訳) 画像から一般概念を素早く識別する能力は、ロボットでエミュレートすることが困難であることが証明されている。
近年,ロボットが原始的認知機能の命令セットを用いて,概念を認知プログラムとしてモデル化することで,人間の能力の一部を模倣するコンピュータアーキテクチャが開発されている。
これによりロボットは、物理的な世界に一般化する前に、世界モデルで候補プログラムをシミュレートすることで、人間の想像力を模倣することができる。
しかし、このモデルは1つの概念を発見するのに30分かかるナイーブ探索アルゴリズムを使用し、20以上の命令を持つプログラムでは難解になった。
このボトルネックを回避するために,対象因子化とサブゴールの人間の認知的ヒューリスティックスを模倣し,人間のレベルの推論速度を向上し,精度を向上し,出力をより説明可能にするアルゴリズムを提案する。 The ability of humans to quickly identify general concepts from a handful of images has proven difficult to emulate with robots. Recently, a computer architecture was developed that allows robots to mimic some aspects of this human ability by modeling concepts as cognitive programs using an instruction set of primitive cognitive functions. This allowed a robot to emulate human imagination by simulating candidate programs in a world model before generalizing to the physical world. However, this model used a naive search algorithm that required 30 minutes to discover a single concept, and became intractable for programs with more than 20 instructions. To circumvent this bottleneck, we present an algorithm that emulates the human cognitive heuristics of object factorization and sub-goaling, allowing human-level inference speed, improving accuracy, and making the output more explainable. | 翻訳日:2023-01-02 09:17:44 公開日:2020-06-18 |
| # バンディットフィードバックによる楽観的政策最適化 Optimistic Policy Optimization with Bandit Feedback ( http://arxiv.org/abs/2002.08243v2 ) ライセンス: Link先を確認 | Yonathan Efroni, Lior Shani, Aviv Rosenberg and Shie Mannor | (参考訳) ポリシー最適化手法は強化学習(RL)アルゴリズムの最も広く使われているクラスの一つである。
しかし、これまでのところ、そのような手法は主に最適化の観点から分析されており、探索の問題に対処せず、環境との相互作用について強い仮定をすることでも解決できる。
本稿では,未知の遷移と帯域幅フィードバックを持つ表型有限ホライゾンMDPにおけるモデルベースRLについて考察する。
そこで我々は, 確率的報酬に対して, $\tilde O(\sqrt{S^2 A H^4 K})$ regretを設定できる楽観的信頼領域ポリシー最適化(TRPO)アルゴリズムを提案する。
さらに、$\tilde o( \sqrt{ s^2 a h^4 } k^{2/3} ) $ regret for adversarial rewards を証明する。
興味深いことに、この結果はバンディットフィードバックケースで導かれる以前の境界と一致するが、既知の遷移がある。
我々の知る限り、2つの結果は、未知の遷移と帯域幅フィードバックを持つポリシー最適化アルゴリズムで得られた最初のサブ線形後悔境界である。 Policy optimization methods are one of the most widely used classes of Reinforcement Learning (RL) algorithms. Yet, so far, such methods have been mostly analyzed from an optimization perspective, without addressing the problem of exploration, or by making strong assumptions on the interaction with the environment. In this paper we consider model-based RL in the tabular finite-horizon MDP setting with unknown transitions and bandit feedback. For this setting, we propose an optimistic trust region policy optimization (TRPO) algorithm for which we establish $\tilde O(\sqrt{S^2 A H^4 K})$ regret for stochastic rewards. Furthermore, we prove $\tilde O( \sqrt{ S^2 A H^4 } K^{2/3} ) $ regret for adversarial rewards. Interestingly, this result matches previous bounds derived for the bandit feedback case, yet with known transitions. To the best of our knowledge, the two results are the first sub-linear regret bounds obtained for policy optimization algorithms with unknown transitions and bandit feedback. | 翻訳日:2022-12-30 13:09:01 公開日:2020-06-18 |
| # ランゲヴィンアルゴリズムを用いたトンプソンサンプリングについて On Thompson Sampling with Langevin Algorithms ( http://arxiv.org/abs/2002.10002v2 ) ライセンス: Link先を確認 | Eric Mazumdar, Aldo Pacchiano, Yi-an Ma, Peter L. Bartlett, Michael I. Jordan | (参考訳) マルチアームバンディット問題に対するトンプソンサンプリングは理論と実践の両方において良好な性能を享受することが知られている。
しかし、これは計算上のかなりの制限に悩まされ、各イテレーションで後続分布からのサンプルが必要なためである。
本稿では,この問題を解決するためにトンプソンサンプリングに適した2つのマルコフ連鎖モンテカルロ法を提案する。
我々は,精度保証のある近似サンプルを生成するために,迅速に収束するランゲヴィンアルゴリズムを構築し,新しい後部濃度率を利用して,得られた近似トンプソンサンプリングアルゴリズムの遺残を分析する。
さらに,MCMC手順に必要なハイパーパラメータを規定し,計算量が少なく,最適なインスタンス依存頻繁な後悔を保証する。
特に,本アルゴリズムでは,後方集中とサンプル再利用機構を併用することにより,ラウンド毎に一定数の反復と一定量のデータが必要となることを保証する。
その結果得られた近似トンプソンサンプリングアルゴリズムは対数的後悔を持ち、その計算複雑性はアルゴリズムの時間軸と一致しない。 Thompson sampling for multi-armed bandit problems is known to enjoy favorable performance in both theory and practice. However, it suffers from a significant limitation computationally, arising from the need for samples from posterior distributions at every iteration. We propose two Markov Chain Monte Carlo (MCMC) methods tailored to Thompson sampling to address this issue. We construct quickly converging Langevin algorithms to generate approximate samples that have accuracy guarantees, and we leverage novel posterior concentration rates to analyze the regret of the resulting approximate Thompson sampling algorithm. Further, we specify the necessary hyperparameters for the MCMC procedure to guarantee optimal instance-dependent frequentist regret while having low computational complexity. In particular, our algorithms take advantage of both posterior concentration and a sample reuse mechanism to ensure that only a constant number of iterations and a constant amount of data is needed in each round. The resulting approximate Thompson sampling algorithm has logarithmic regret and its computational complexity does not scale with the time horizon of the algorithm. | 翻訳日:2022-12-29 09:30:32 公開日:2020-06-18 |
| # 平滑な分散最適化のためのEXTRAの再検討 Revisiting EXTRA for Smooth Distributed Optimization ( http://arxiv.org/abs/2002.10110v2 ) ライセンス: Link先を確認 | Huan Li and Zhouchen Lin | (参考訳) extraは分散最適化の一般的な方法であり、幅広いアプリケーションがある。
この論文はEXTRAを再考する。
まず、改良された$o\left(\left(\left(\frac{l}{\mu}+\frac{1}{1-\sigma_2(w)}\right)\log\frac{1}{\epsilon(1-\sigma_2(w))}\right)$の通信と計算の複雑さを、$\mu$-strongly convex と $l$-smooth 問題に対して与える。
強い凸性が存在しないとき、$O\left(\left(\frac{L}{\epsilon}+\frac{1}{1-\sigma_2(W)}\right)\log\frac{1}{1-\sigma_2(W)}\right)$複雑さを証明する。
次に、触媒フレームワークを用いて余剰を加速し、非強凸かつ滑らかな問題に対する通信および計算の複雑さと、非強凸の複素数に対する$o\left(\sqrt{\frac{l}{\mu(1-\sigma_2(w))}}\log\frac{1}{\epsilon(1-\sigma_2(w))}\right)$(\sqrt{\frac{l}{\epsilon(1-\sigma_2(w))}}\log\frac{1}{\epsilon(1-\sigma_2(w)}\right)$ を得る。
加速余剰の通信の複雑さは、強凸問題と非強凸問題に対して、それぞれ$\left(\log\frac{l}{\mu(1-\sigma_2(w))}\right)$と$\left(\log\frac{1}{\epsilon(1-\sigma_2(w))}\right)$の因子によってのみ悪化する。 EXTRA is a popular method for dencentralized distributed optimization and has broad applications. This paper revisits EXTRA. First, we give a sharp complexity analysis for EXTRA with the improved $O\left(\left(\frac{L}{\mu}+\frac{1}{1-\sigma_2(W)}\right)\log\frac{1}{\epsilon(1-\sigma_2(W))}\right)$ communication and computation complexities for $\mu$-strongly convex and $L$-smooth problems, where $\sigma_2(W)$ is the second largest singular value of the weight matrix $W$. When the strong convexity is absent, we prove the $O\left(\left(\frac{L}{\epsilon}+\frac{1}{1-\sigma_2(W)}\right)\log\frac{1}{1-\sigma_2(W)}\right)$ complexities. Then, we use the Catalyst framework to accelerate EXTRA and obtain the $O\left(\sqrt{\frac{L}{\mu(1-\sigma_2(W))}}\log\frac{ L}{\mu(1-\sigma_2(W))}\log\frac{1}{\epsilon}\right)$ communication and computation complexities for strongly convex and smooth problems and the $O\left(\sqrt{\frac{L}{\epsilon(1-\sigma_2(W))}}\log\frac{1}{\epsilon(1-\sigma_2(W))}\right)$ complexities for non-strongly convex ones. Our communication complexities of the accelerated EXTRA are only worse by the factors of $\left(\log\frac{L}{\mu(1-\sigma_2(W))}\right)$ and $\left(\log\frac{1}{\epsilon(1-\sigma_2(W))}\right)$ from the lower complexity bounds for strongly convex and non-strongly convex problems, respectively. | 翻訳日:2022-12-29 04:48:12 公開日:2020-06-18 |
| # 正準相関解析のための置換推論 Permutation Inference for Canonical Correlation Analysis ( http://arxiv.org/abs/2002.10046v4 ) ライセンス: Link先を確認 | Anderson M. Winkler, Olivier Renaud, Stephen M. Smith, Thomas E. Nichols | (参考訳) カノニカル相関分析(CCA)は、多くの画像と非画像計測の関連性を調べるために、人口神経イメージングの鍵となるツールとなっている。
他の変数は直接的興味を持たない変数の源であることが多いため、以前の研究ではこれらの効果を除去するモデルから残留物に対してCAAを使用し、置換推論に直接進行した。
このような単純な置換テストは,誤差率の膨らみをもたらすことを示す。
理由は、残留化が交換可能性の仮定に反する観察の間に依存性をもたらすからである。
しかし、ニュアンス変数がなくても、CCAの単純な置換テストは、最初の正準相関以外のすべての正準相関に対して過剰な誤差率をもたらす。
理由は、単純な置換スキームは、既に以前の標準変数によって説明されている変動性を無視しないからである。
ここでは,両問題に対する解を提案する: ニュアサンス変数の場合, 交換可能性が有効な置換試験を行う低次元基底へ残差を変換すること, より一般的な場合では、ニュアサンス変数の有無に関わらず, 段階的に正準相関を推定すること, それぞれの反復で既に説明されている分散を除去し, 両側の異なる変数を扱うこと。
また、テストの多重性に対処する方法、保守的でない許容可能なテストを提案し、CCAの置換推論のための完全なアルゴリズムを提供する。 Canonical correlation analysis (CCA) has become a key tool for population neuroimaging, allowing investigation of associations between many imaging and non-imaging measurements. As other variables are often a source of variability not of direct interest, previous work has used CCA on residuals from a model that removes these effects, then proceeded directly to permutation inference. We show that such a simple permutation test leads to inflated error rates. The reason is that residualisation introduces dependencies among the observations that violate the exchangeability assumption. Even in the absence of nuisance variables, however, a simple permutation test for CCA also leads to excess error rates for all canonical correlations other than the first. The reason is that a simple permutation scheme does not ignore the variability already explained by previous canonical variables. Here we propose solutions for both problems: in the case of nuisance variables, we show that transforming the residuals to a lower dimensional basis where exchangeability holds results in a valid permutation test; for more general cases, with or without nuisance variables, we propose estimating the canonical correlations in a stepwise manner, removing at each iteration the variance already explained, while dealing with different number of variables in both sides. We also discuss how to address the multiplicity of tests, proposing an admissible test that is not conservative, and provide a complete algorithm for permutation inference for CCA. | 翻訳日:2022-12-29 04:40:55 公開日:2020-06-18 |
| # 予測理論に基づく決定処理のための決定木 Decision Trees for Decision-Making under the Predict-then-Optimize Framework ( http://arxiv.org/abs/2003.00360v2 ) ライセンス: Link先を確認 | Adam N. Elmachtoub, Jason Cheuk Nam Liang, Ryan McNellis | (参考訳) 我々は,予測最適化枠組みの下で意思決定問題に対する決定木の利用を考える。
すなわち、まず決定木を用いて最適化問題の未知入力パラメータを予測し、次に予測パラメータを用いて最適化問題を解いて決定する。
このフレームワークの自然損失関数は、入力パラメータ予測誤差を用いて損失を測定するのに対して、予測された入力パラメータによって誘導される決定の最適度を測定することである。
この自然損失関数は、文献ではスマート予測最適化(SPO)損失として知られており、この損失の下で決定木を訓練するためのSPOT(SPO Trees)と呼ばれる抽出可能な手法を提案する。
SPOTは決定木の解釈可能性の恩恵を受け、関心の最適化問題に対する明確な最適解を持つ群への文脈的特徴の解釈可能なセグメンテーションを提供する。
最短経路問題に対する旅行時間の予測,ニュース記事推薦のためのクリック確率の予測など,合成データと実データに関する数値実験を行った。
これらのデータセット上で、SPOTは、予測エラーを最小限に抑えるために訓練された他の機械学習アプローチ(例えばCART)よりも、高い品質決定とモデル複雑さを同時に提供することを実証する。 We consider the use of decision trees for decision-making problems under the predict-then-optimize framework. That is, we would like to first use a decision tree to predict unknown input parameters of an optimization problem, and then make decisions by solving the optimization problem using the predicted parameters. A natural loss function in this framework is to measure the suboptimality of the decisions induced by the predicted input parameters, as opposed to measuring loss using input parameter prediction error. This natural loss function is known in the literature as the Smart Predict-then-Optimize (SPO) loss, and we propose a tractable methodology called SPO Trees (SPOTs) for training decision trees under this loss. SPOTs benefit from the interpretability of decision trees, providing an interpretable segmentation of contextual features into groups with distinct optimal solutions to the optimization problem of interest. We conduct several numerical experiments on synthetic and real data including the prediction of travel times for shortest path problems and predicting click probabilities for news article recommendation. We demonstrate on these datasets that SPOTs simultaneously provide higher quality decisions and significantly lower model complexity than other machine learning approaches (e.g., CART) trained to minimize prediction error. | 翻訳日:2022-12-27 20:34:48 公開日:2020-06-18 |
| # 実効強化学習におけるMineRLコンペティションの振り返り Retrospective Analysis of the 2019 MineRL Competition on Sample Efficient Reinforcement Learning ( http://arxiv.org/abs/2003.05012v4 ) ライセンス: Link先を確認 | Stephanie Milani, Nicholay Topin, Brandon Houghton, William H. Guss, Sharada P. Mohanty, Keisuke Nakata, Oriol Vinyals, Noboru Sean Kuno | (参考訳) 第33回ニューラル・インフォメーション・プロセッシング・システム(neurips 2019)において、サンプル・効率的な強化学習の方向への研究を容易にするために、人間による事前学習を用いたサンプル・効率的な強化学習に関するミネル・コンペティションを行った。
このコンペの主な目標は、人間によるデモンストレーションと強化学習を併用して、複雑で階層的でスパースな環境を解決するのに必要なサンプル数を減らすアルゴリズムの開発を促進することであった。
コンペティションについて説明し、主要な課題、コンペティションデザイン、そして私たちが参加者に提供したリソースを概説します。
それぞれが深い強化学習および/または模倣学習を使用しているトップソリューションの概要を提供する。
また,組織的意思決定が競争に与える影響や,今後の改善の方向性についても論じる。 To facilitate research in the direction of sample efficient reinforcement learning, we held the MineRL Competition on Sample Efficient Reinforcement Learning Using Human Priors at the Thirty-third Conference on Neural Information Processing Systems (NeurIPS 2019). The primary goal of this competition was to promote the development of algorithms that use human demonstrations alongside reinforcement learning to reduce the number of samples needed to solve complex, hierarchical, and sparse environments. We describe the competition, outlining the primary challenge, the competition design, and the resources that we provided to the participants. We provide an overview of the top solutions, each of which use deep reinforcement learning and/or imitation learning. We also discuss the impact of our organizational decisions on the competition and future directions for improvement. | 翻訳日:2022-12-24 20:27:06 公開日:2020-06-18 |
| # 暗い画像のバーストノイズ Burst Denoising of Dark Images ( http://arxiv.org/abs/2003.07823v2 ) ライセンス: Link先を確認 | Ahmet Serdar Karadeniz, Erkut Erdem, Aykut Erdem | (参考訳) 極めて低照度な条件下で画像を撮影することは、標準的なカメラパイプラインにとって大きな課題となる。
画像は暗すぎてノイズが多すぎるため、従来の画像強調技術はほとんど適用できない。
最近、研究者は学習に基づくアプローチで有望な結果を示している。
そこで本稿では,これらのアイデアに動機づけられ,超暗色の生画像からクリーンでカラフルなrgb画像を得るための深層学習フレームワークを提案する。
我々のフレームワークのバックボーンは、プログレッシブな方法で高品質な出力を生成する新しい粗いネットワークアーキテクチャである。
粗いネットワークは低解像度で分断された生画像を予測し、細かな細部とリアルなテクスチャを復元するために細かなネットワークに送られる。
さらにノイズを低減し、色精度を向上させるため、このネットワークを置換不変構造に拡張し、低照度画像のバーストを入力とし、特徴レベルで複数の画像からの情報をマージする。
提案手法は,よりシャープで高品質な画像を生成することにより,最先端の手法よりも感性的に優れた結果が得られることを実証した。 Capturing images under extremely low-light conditions poses significant challenges for the standard camera pipeline. Images become too dark and too noisy, which makes traditional image enhancement techniques almost impossible to apply. Very recently, researchers have shown promising results using learning based approaches. Motivated by these ideas, in this paper, we propose a deep learning framework for obtaining clean and colorful RGB images from extremely dark raw images. The backbone of our framework is a novel coarse-to-fine network architecture that generates high-quality outputs in a progressive manner. The coarse network predicts a low-resolution, denoised raw image, which is then fed to the fine network to recover fine-scale details and realistic textures. To further reduce noise and improve color accuracy, we extend this network to a permutation invariant structure so that it takes a burst of low-light images as input and merges information from multiple images at the feature-level. Our experiments demonstrate that the proposed approach leads to perceptually more pleasing results than state-of-the-art methods by producing much sharper and higher quality images. | 翻訳日:2022-12-22 21:29:45 公開日:2020-06-18 |
| # 古典的・深層ニューラルネットワークを用いた乳腺病理画像解析の包括的考察 A Comprehensive Review for Breast Histopathology Image Analysis Using Classical and Deep Neural Networks ( http://arxiv.org/abs/2003.12255v2 ) ライセンス: Link先を確認 | Xiaomin Zhou, Chen Li, Md Mamunur Rahaman, Yudong Yao, Shiliang Ai, Changhao Sun, Xiaoyan Li, Qian Wang, Tao Jiang | (参考訳) 乳癌は女性の中で最も一般的で致命的ながんの1つである。
病理組織学的画像には十分な表現型情報が含まれているため,乳癌の診断と治療には不可欠である。
乳房病理画像解析(BHIA)の精度と客観性を改善するため,乳房病理画像の分割・分類作業にニューラルネットワーク(ANN)アプローチが広く用いられている。
本稿では,ANNに基づくBHIA技術の概要を概観する。
まず、BHIAシステムを古典的および深層ニューラルネットワークに分類し、詳細な調査を行う。
次に、BHIAシステムに基づく関連する研究について述べる。
その後、既存のモデルを分析し、最も適切なアルゴリズムを発見する。
最後に、公開可能なデータセットとダウンロードリンクは、将来の研究者の利便性のために提供される。 Breast cancer is one of the most common and deadliest cancers among women. Since histopathological images contain sufficient phenotypic information, they play an indispensable role in the diagnosis and treatment of breast cancers. To improve the accuracy and objectivity of Breast Histopathological Image Analysis (BHIA), Artificial Neural Network (ANN) approaches are widely used in the segmentation and classification tasks of breast histopathological images. In this review, we present a comprehensive overview of the BHIA techniques based on ANNs. First of all, we categorize the BHIA systems into classical and deep neural networks for in-depth investigation. Then, the relevant studies based on BHIA systems are presented. After that, we analyze the existing models to discover the most suitable algorithms. Finally, publicly accessible datasets, along with their download links, are provided for the convenience of future researchers. | 翻訳日:2022-12-19 05:31:47 公開日:2020-06-18 |
| # Go-Exploreを用いたドメインヒューリスティックを伴わない適応的ストレステスト Adaptive Stress Testing without Domain Heuristics using Go-Explore ( http://arxiv.org/abs/2004.04292v2 ) ライセンス: Link先を確認 | Mark Koren and Mykel J. Kochenderfer | (参考訳) 近年,自律システムにおける障害発見ツールとして強化学習(RL)が用いられている。
実行中、RLエージェントは、失敗を見つけるためにドメイン固有のヒューリスティック報酬に頼ることが多いが、そのようなヒューリスティックを構築することは困難または不可能である。
ヒューリスティック(ヒューリスティック)がなければ、エージェントは障害時にのみ報酬を受け取るか、あるいは障害から引き離す報酬を受けることができる。
例えば、いくつかのアプローチでは、より似たようなアクションを取ることに報酬を与えています。
しかし、エージェントは、起こりうるアクションのみを取ることを学習し、失敗を見つけることができないかもしれない。
その結果、報酬が探索に役立たないという難解な探索問題となる。
新たなアルゴリズムであるgo-explore(GE)は、最近、ハード探索フィールドからベンチマークに新しいレコードを設定した。
GEを適応ストレステスト(AST)に適用する。これは、最もよく似た障害シナリオを探索する方法を提供するRLベースのファルシフィケーションアプローチの一例である。
歩行者が道路を横断している間に自動運転車が運転するシナリオをシミュレートする。
GEは、他のRL技術では解決できないシナリオにおいて、車と歩行者の間の距離など、ドメイン固有のヒューリスティックなしで障害を見つけることができることを示した。
さらに,geのロバスト化フェーズに触発されて,後方アルゴリズム(ba)が他のrl手法による障害を改善することを実証した。 Recently, reinforcement learning (RL) has been used as a tool for finding failures in autonomous systems. During execution, the RL agents often rely on some domain-specific heuristic reward to guide them towards finding failures, but constructing such a heuristic may be difficult or infeasible. Without a heuristic, the agent may only receive rewards at the time of failure, or even rewards that guide it away from failures. For example, some approaches give rewards for taking more-likely actions, because we want to find more-likely failures. However, the agent may then learn to only take likely actions, and may not be able to find a failure at all. Consequently, the problem becomes a hard-exploration problem, where rewards do not aid exploration. A new algorithm, go-explore (GE), has recently set new records on benchmarks from the hard-exploration field. We apply GE to adaptive stress testing (AST), one example of an RL-based falsification approach that provides a way to search for the most-likely failure scenario. We simulate a scenario where an autonomous vehicle drives while a pedestrian is crossing the road. We demonstrate that GE is able to find failures without domain-specific heuristics, such as the distance between the car and the pedestrian, on scenarios that other RL techniques are unable to solve. Furthermore, inspired by the robustification phase of GE, we demonstrate that the backwards algorithm (BA) improves the failures found by other RL techniques. | 翻訳日:2022-12-15 08:37:41 公開日:2020-06-18 |
| # データ駆動型脳卒中リハビリテーションに向けたウェアラブルセンサーとディープラーニング Towards data-driven stroke rehabilitation via wearable sensors and deep learning ( http://arxiv.org/abs/2004.08297v3 ) ライセンス: Link先を確認 | Aakash Kaku, Avinash Parnandi, Anita Venkatesan, Natasha Pandit, Heidi Schambra and Carlos Fernandez-Granda | (参考訳) 脳卒中後の回復はしばしば不完全であるが、リハビリテーショントレーニングは内因性神経可塑性の関与による回復を促進する可能性がある。
脳卒中の前臨床モデルでは、動物の手足の機能を回復するために、高用量のリハビリテーション訓練が必要である。
しかしながら、ヒトでは回復を促進するために必要な訓練量は不明である。
この無知は、リハビリテーション活動における訓練用量を測定する客観的で実践的なアプローチの欠如に起因している。
ここでは,計測手法を開発するために,アクティビティの基本構成要素である機能プリミティブを自動的に識別する,重要な第一歩を踏み出した。
慢性期脳卒中患者48人は、上半身の動きを捉えるために慣性測定ユニット(imus)を装着しながら様々なリハビリを行った。
プリミティブは人間のラベルによって識別され、関連するIMUデータをラベル付けしてセグメンテーションした。
機械学習を用いてこれらのプリミティブの自動分類を行った。
既存の手法に勝る畳み込みニューラルネットワークモデルを設計した。
モデルは、センサーデータに異なる物理量の別々の埋め込みを計算する初期モジュールを含む。
さらに、バッチ正規化(トレーニングデータから算出された統計に基づいて正規化を行う)をインスタンス正規化(テストデータから算出された統計を使用する)に置き換える。
これにより、新しい患者にこの方法を適用する際の分布シフトに対するロバスト性が高まる。
このアプローチにより,平均分類精度は70%に達した。
これにより,IMUに基づくモーションキャプチャとディープラーニングを組み合わせることで,プリミティブの自動識別が可能となった。
このアプローチは、客観的に測定されたリハビリテーショントレーニングに向けて構築され、トレーニング用量に対応する機能プリミティブの識別とカウントを可能にする。 Recovery after stroke is often incomplete, but rehabilitation training may potentiate recovery by engaging endogenous neuroplasticity. In preclinical models of stroke, high doses of rehabilitation training are required to restore functional movement to the affected limbs of animals. In humans, however, the necessary dose of training to potentiate recovery is not known. This ignorance stems from the lack of objective, pragmatic approaches for measuring training doses in rehabilitation activities. Here, to develop a measurement approach, we took the critical first step of automatically identifying functional primitives, the basic building block of activities. Forty-eight individuals with chronic stroke performed a variety of rehabilitation activities while wearing inertial measurement units (IMUs) to capture upper body motion. Primitives were identified by human labelers, who labeled and segmented the associated IMU data. We performed automatic classification of these primitives using machine learning. We designed a convolutional neural network model that outperformed existing methods. The model includes an initial module to compute separate embeddings of different physical quantities in the sensor data. In addition, it replaces batch normalization (which performs normalization based on statistics computed from the training data) with instance normalization (which uses statistics computed from the test data). This increases robustness to possible distributional shifts when applying the method to new patients. With this approach, we attained an average classification accuracy of 70%. Thus, using a combination of IMU-based motion capture and deep learning, we were able to identify primitives automatically. This approach builds towards objectively-measured rehabilitation training, enabling the identification and counting of functional primitives that accrues to a training dose. | 翻訳日:2022-12-13 09:24:06 公開日:2020-06-18 |
| # 進化計算における最良のサンプルの平均化について On averaging the best samples in evolutionary computation ( http://arxiv.org/abs/2004.11685v3 ) ライセンス: Link先を確認 | Laurent Meunier, Yann Chevaleyre, Jeremy Rapin, Cl\'ement W. Royer, Olivier Teytaud | (参考訳) 正しい選択率を選択することは、進化的計算における長年の課題である。
連続的非拘束の場合、1つの親 $\mu=1$ が球函数の場合の準最適単純後悔につながることを数学的に証明する。
我々は理論に基づく選択率$\mu/\lambda$を提供し、より良い進捗率をもたらす。
選択率の選択によって、$\mu=1$の場合、$O(\lambda^{-1})$を$O(\lambda^{-2/d})$と比較しなければなりません。
我々は理論的な主張を確認する実験で研究を終える。 Choosing the right selection rate is a long standing issue in evolutionary computation. In the continuous unconstrained case, we prove mathematically that a single parent $\mu=1$ leads to a sub-optimal simple regret in the case of the sphere function. We provide a theoretically-based selection rate $\mu/\lambda$ that leads to better progress rates. With our choice of selection rate, we get a provable regret of order $O(\lambda^{-1})$ which has to be compared with $O(\lambda^{-2/d})$ in the case where $\mu=1$. We complete our study with experiments to confirm our theoretical claims. | 翻訳日:2022-12-10 02:41:00 公開日:2020-06-18 |
| # 重み付き多項ロジスティック回帰分類器による垂直位置決め精度の向上 Improving Vertical Positioning Accuracy with the Weighted Multinomial Logistic Regression Classifier ( http://arxiv.org/abs/2004.13909v2 ) ライセンス: Link先を確認 | Yiyan Yao and Xin-long Luo | (参考訳) 本稿では,gps(global positioning system)情報と気圧値を用いて,垂直位置決め精度を向上させる手法を提案する。
まず、様々な環境で収集された生データのnull値をクリアし、3$\sigma$-ruleを使ってアウトリーチを識別する。
第二に、重み付き多項ロジスティック回帰(WMLR)分類器は、外れ値の予測高度を得るために訓練される。
最後に,MLR法,WMLR法,およびテストベースラインとみなすクリーン化データセットのサポートベクトルマシン(SVM)法を比較した。
その結果,垂直位置決め精度は5.9m(MLR法),5.4m(SVM法)から5m(WMLR法)に67%向上した。 In this paper, a method of improving vertical positioning accuracy with the Global Positioning System (GPS) information and barometric pressure values is proposed. Firstly, we clear null values for the raw data collected in various environments, and use the 3$\sigma$-rule to identify outliers. Secondly, the Weighted Multinomial Logistic Regression (WMLR) classifier is trained to obtain the predicted altitude of outliers. Finally, in order to verify its effect, we compare the MLR method, the WMLR method, and the Support Vector Machine (SVM) method for the cleaned dataset which is regarded as the test baseline. The numerical results show that the vertical positioning accuracy is improved from 5.9 meters (the MLR method), 5.4 meters (the SVM method) to 5 meters (the WMLR method) for 67% test points. | 翻訳日:2022-12-08 14:47:27 公開日:2020-06-18 |
| # 新型コロナウイルス医療対話の創出について On the Generation of Medical Dialogues for COVID-19 ( http://arxiv.org/abs/2005.05442v2 ) ライセンス: Link先を確認 | Wenmian Yang, Guangtao Zeng, Bowen Tan, Zeqian Ju, Subrato Chakravorty, Xuehai He, Shu Chen, Xingyi Yang, Qingyang Wu, Zhou Yu, Eric Xing, Pengtao Xie | (参考訳) 新型コロナウイルス(covid-19)のパンデミックでは、covid-19関連の症状や危険因子にさらされている人は医師に相談する必要がある。
病院の閉鎖により、多くのコンサルティングサービスがオンラインに移された。
医療専門家が不足しているため、多くの人がオンライン相談を受けることができない。
この問題に対処するため,我々は,covid-19関連相談を提供する医療対話システムの開発を目指している。
われわれは、covid-19に関する医師と患者間の会話を含む2つの対話データセット(それぞれ英語と中国語で)を収集した。
これら2つのデータセットに基づいて,Transformer, GPT, BERT-GPTに基づく対話生成モデルを訓練する。
2つのCOVID-19ダイアログデータセットはサイズが小さく、オーバーフィッティングのリスクが高いため、データ不足を軽減するために転送学習を活用します。
具体的には、ダイアログデータセットやその他の大規模テキストに対して、Transformer、GPT、BERT-GPTの事前訓練されたモデルを取り、CovidDialogタスクでそれらを微調整する。
これらのモデルにより生成された応答を自動的に評価する。
その結果, 生成した反応は, 医師的, 会話履歴に関連し, 臨床的に有益であることが示唆された。
データとコードはhttps://github.com/UCSD-AI4H/COVID-Dialogue.comで公開されている。 Under the pandemic of COVID-19, people experiencing COVID19-related symptoms or exposed to risk factors have a pressing need to consult doctors. Due to hospital closure, a lot of consulting services have been moved online. Because of the shortage of medical professionals, many people cannot receive online consultations timely. To address this problem, we aim to develop a medical dialogue system that can provide COVID19-related consultations. We collected two dialogue datasets -- CovidDialog -- (in English and Chinese respectively) containing conversations between doctors and patients about COVID-19. On these two datasets, we train several dialogue generation models based on Transformer, GPT, and BERT-GPT. Since the two COVID-19 dialogue datasets are small in size, which bear high risk of overfitting, we leverage transfer learning to mitigate data deficiency. Specifically, we take the pretrained models of Transformer, GPT, and BERT-GPT on dialog datasets and other large-scale texts, then finetune them on our CovidDialog tasks. We perform both automatic and human evaluation of responses generated by these models. The results show that the generated responses are promising in being doctor-like, relevant to the conversation history, and clinically informative. The data and code are available at https://github.com/UCSD-AI4H/COVID-Dialogue. | 翻訳日:2022-12-04 19:25:14 公開日:2020-06-18 |
| # CERT:言語理解のためのコントラスト型自己教師型学習 CERT: Contrastive Self-supervised Learning for Language Understanding ( http://arxiv.org/abs/2005.12766v2 ) ライセンス: Link先を確認 | Hongchao Fang, Sicheng Wang, Meng Zhou, Jiayuan Ding, Pengtao Xie | (参考訳) BERTやGPTといった事前訓練された言語モデルは、言語理解において大きな効果を示している。
既存の事前学習アプローチにおける補助的な予測タスクは、主にトークンで定義されているため、文レベルのセマンティクスをうまく捉えられない可能性がある。
そこで本研究では,コントラスト的自己教師付き学習を用いて言語表現モデルを事前学習するトランスフォーマからのコントラスト的自己教師付きエンコーダ表現を提案する。
CERTはバック翻訳を用いて原文の増補を生成する。
そして、2つの拡張文が同じ文に由来するかどうかを予測することにより、事前訓練された言語エンコーダ(例えばBERT)を微調整する。
CERTは簡単に使用でき、任意のトレーニング済みのNLPパイプラインに柔軟にプラグインできる。
そこでは,CERT が BERT を 7 タスクで上回り,BERT が 2 タスクで上回り,BERT が 2 タスクで上回り,BERT が 2 タスクで上回る性能である GLUE ベンチマークを用いて,CERT を 11 個の自然言語理解タスクで評価した。
11タスクの平均スコアでは、CERTはBERTを上回っている。
データとコードはhttps://github.com/UCSD-AI4H/CERTで公開されている。 Pretrained language models such as BERT, GPT have shown great effectiveness in language understanding. The auxiliary predictive tasks in existing pretraining approaches are mostly defined on tokens, thus may not be able to capture sentence-level semantics very well. To address this issue, we propose CERT: Contrastive self-supervised Encoder Representations from Transformers, which pretrains language representation models using contrastive self-supervised learning at the sentence level. CERT creates augmentations of original sentences using back-translation. Then it finetunes a pretrained language encoder (e.g., BERT) by predicting whether two augmented sentences originate from the same sentence. CERT is simple to use and can be flexibly plugged into any pretraining-finetuning NLP pipeline. We evaluate CERT on 11 natural language understanding tasks in the GLUE benchmark where CERT outperforms BERT on 7 tasks, achieves the same performance as BERT on 2 tasks, and performs worse than BERT on 2 tasks. On the averaged score of the 11 tasks, CERT outperforms BERT. The data and code are available at https://github.com/UCSD-AI4H/CERT | 翻訳日:2022-12-02 12:40:07 公開日:2020-06-18 |
| # 頭部x線画像における解剖学的基準点検出のためのディープラーニングアルゴリズムの有用性 The efficiency of deep learning algorithms for detecting anatomical reference points on radiological images of the head profile ( http://arxiv.org/abs/2005.12110v2 ) ライセンス: Link先を確認 | Konstantin Dobratulin, Andrey Gaidel, Irina Aupova, Anna Ivleva, Aleksandr Kapishnikov, Pavel Zelter | (参考訳) 本稿では, バイオメディカルイメージセグメンテーションのための拡張アーキテクチャを備えた完全畳み込みニューラルネットワークと完全畳み込みニューラルネットワークを用いて, 左右射影の頭部の解剖学的基準点を検出する作業において, ディープラーニングアルゴリズムの効率性を検討した。
選択したニューラルネットワークアーキテクチャのそれぞれに対する解剖学的基準点の検出結果と、矯正医が解剖学的基準点を検出した結果との比較を行った。
その結果,u-netニューラルネットワークは,完全畳み込みニューラルネットワークよりも解剖学的基準点の検出を高精度に行うことができることがわかった。
U-Net ニューラルネットワークによる解剖学的基準点検出の結果は,歯科矯正医のグループによる基準点検出の平均値に近づいた。 In this article we investigate the efficiency of deep learning algorithms in solving the task of detecting anatomical reference points on radiological images of the head in lateral projection using a fully convolutional neural network and a fully convolutional neural network with an extended architecture for biomedical image segmentation - U-Net. A comparison is made for the results of detection anatomical reference points for each of the selected neural network architectures and their comparison with the results obtained when orthodontists detected anatomical reference points. Based on the obtained results, it was concluded that a U-Net neural network allows performing the detection of anatomical reference points more accurately than a fully convolutional neural network. The results of the detection of anatomical reference points by the U-Net neural network are closer to the average results of the detection of reference points by a group of orthodontists. | 翻訳日:2022-11-29 06:21:30 公開日:2020-06-18 |
| # 値関数に対する時間変化変動伝達 Time-Variant Variational Transfer for Value Functions ( http://arxiv.org/abs/2005.12864v2 ) ライセンス: Link先を確認 | Giuseppe Canonaco, Andrea Soprani, Manuel Roveri, Marcello Restelli | (参考訳) 伝達学習による強化学習(RL)のほとんどの場合、タスクの分布は定常的であると仮定される。
したがって、ターゲットタスクとソースタスクは同じ分布のサンプルである。
本研究の文脈では,タスクを生成する分布が時間変動である場合に,タスク生成プロセスに固有のこの時間構造を利用する解を提案するとき,値関数を変動的手法で転送する問題を考察する。
さらに、有限サンプル解析により、上記の解は理論的にその時間不変バージョンと比較される。
最後に、3つの異なるRL環境における3つの異なる時間的ダイナミクスを用いて,提案手法の実験的評価を行う。 In most of the transfer learning approaches to reinforcement learning (RL) the distribution over the tasks is assumed to be stationary. Therefore, the target and source tasks are i.i.d. samples of the same distribution. In the context of this work, we consider the problem of transferring value functions through a variational method when the distribution that generates the tasks is time-variant, proposing a solution that leverages this temporal structure inherent in the task generating process. Furthermore, by means of a finite-sample analysis, the previously mentioned solution is theoretically compared to its time-invariant version. Finally, we will provide an experimental evaluation of the proposed technique with three distinct temporal dynamics in three different RL environments. | 翻訳日:2022-11-28 23:40:15 公開日:2020-06-18 |
| # timme: マルチタスクマルチリレーショナル埋め込みによるtwitterのイデオロギー検出 TIMME: Twitter Ideology-detection via Multi-task Multi-relational Embedding ( http://arxiv.org/abs/2006.01321v3 ) ライセンス: Link先を確認 | Zhiping Xiao, Weiping Song, Haoyan Xu, Zhicheng Ren, Yizhou Sun | (参考訳) 我々は、人々のイデオロギーや政治的傾向を予測する問題を解決することを目指している。
我々はtwitterのデータを用いて推定し,分類問題として定式化する。
イデオロギー検出は長い間、難しいが重要な問題であった。
政策立案者のような特定のグループは、賢明な決定をするためにそれに依存する。
国民の意見を集めるために労働集約的な調査研究が必要だった昔、一般市民の政治的傾向の分析は不安だった。
Twitterなどのソーシャルメディアの普及により、一般市民のデータを簡単に収集できるようになりました。
しかし、ラベルの不完全さとソーシャルネットワークデータセットの特徴は、膨大なデータサイズと不均一性だけでなく、難解である。
データは、多くの一般的なデータセットと劇的に異なり、ユニークな課題をもたらす。
私たちはまず、Twitterから独自のデータセットを構築しました。
次に,マルチタスクのマルチリレーショナル埋め込みモデルであるTIMMEを提案する。
また、入力機能の不完全性も処理できる。
実験の結果,TIMMEはTwitter上でのイデオロギー検出の最先端モデルよりも総合的に優れていることがわかった。
リンクがテキストなしで良い分類結果をもたらすこと、保守的な音声がTwitterで表現されていないこと、フォローがイデオロギーを予測する上で最も重要な関係であること、リツイートと言及が好ましくない可能性を高めること、などである。
最後に、TIMMEは理論上の他のデータセットやタスクにも拡張できる。 We aim at solving the problem of predicting people's ideology, or political tendency. We estimate it by using Twitter data, and formalize it as a classification problem. Ideology-detection has long been a challenging yet important problem. Certain groups, such as the policy makers, rely on it to make wise decisions. Back in the old days when labor-intensive survey-studies were needed to collect public opinions, analyzing ordinary citizens' political tendencies was uneasy. The rise of social medias, such as Twitter, has enabled us to gather ordinary citizen's data easily. However, the incompleteness of the labels and the features in social network datasets is tricky, not to mention the enormous data size and the heterogeneousity. The data differ dramatically from many commonly-used datasets, thus brings unique challenges. In our work, first we built our own datasets from Twitter. Next, we proposed TIMME, a multi-task multi-relational embedding model, that works efficiently on sparsely-labeled heterogeneous real-world dataset. It could also handle the incompleteness of the input features. Experimental results showed that TIMME is overall better than the state-of-the-art models for ideology detection on Twitter. Our findings include: links can lead to good classification outcomes without text; conservative voice is under-represented on Twitter; follow is the most important relation to predict ideology; retweet and mention enhance a higher chance of like, etc. Last but not least, TIMME could be extended to other datasets and tasks in theory. | 翻訳日:2022-11-25 23:27:00 公開日:2020-06-18 |
| # 学習凸最適化モデル Learning Convex Optimization Models ( http://arxiv.org/abs/2006.04248v2 ) ライセンス: Link先を確認 | Akshay Agrawal, Shane Barratt, Stephen Boyd | (参考訳) 凸最適化モデルは、凸最適化問題を解いて入力からの出力を予測する。
凸最適化モデルのクラスは巨大であり、線形回帰やロジスティック回帰のような多くの既知のモデルを含む特別なケースがある。
本研究では,入力出力対のデータセットを与えられた凸最適化モデルにおいて,そのパラメータに対する凸最適化問題の解を微分する手法を用いて,パラメータを学習するためのヒューリスティックを提案する。
本稿では,凸最適化モデルの3つの一般クラス,最大後方(map)モデル,実用的最大化モデル,エージェントモデルについて述べるとともに,それぞれの数値実験について述べる。 A convex optimization model predicts an output from an input by solving a convex optimization problem. The class of convex optimization models is large, and includes as special cases many well-known models like linear and logistic regression. We propose a heuristic for learning the parameters in a convex optimization model given a dataset of input-output pairs, using recently developed methods for differentiating the solution of a convex optimization problem with respect to its parameters. We describe three general classes of convex optimization models, maximum a posteriori (MAP) models, utility maximization models, and agent models, and present a numerical experiment for each. | 翻訳日:2022-11-24 07:48:10 公開日:2020-06-18 |
| # 近接凸関数のコアセット Coresets for Near-Convex Functions ( http://arxiv.org/abs/2006.05482v2 ) ライセンス: Link先を確認 | Murad Tukan and Alaa Maalouf and Dan Feldman | (参考訳) コアセットは通常、与えられたクエリの集合(モデル、分類器など)に対する損失関数を確実に近似する$\mathbb{R}^d$の$n$入力点の小さな重み付き部分集合である。
既存のヒューリスティックや非効率的なアルゴリズムは、分散データをストリーミングするためにメンテナンス可能な小さなコアセット上で何度も実行することによって改善される可能性があるため、機械学習ではコアセットがますます一般的になる。
コアセットは感度(重要度)サンプリングによって得ることができ、そのサイズは感度の総和に比例する。
残念ながら、各点の感度の計算は問題依存であり、現在の最適化問題よりも計算が難しい可能性がある。
近凸関数と呼ぶ広い損失関数群に対する感性(およびコアセット)を計算するための一般的なフレームワークを提案する。
これは行列の SVD 因子化を関数に一般化する$f$-SVD 因子化を提案することである。
例えば、SVM、ロジスティック回帰、M推定器、$\ell_z$-regressionなど、以前の結果を新しくあるいは著しく改善したコアセットがある。
実験結果とオープンソースも提供される。 Coreset is usually a small weighted subset of $n$ input points in $\mathbb{R}^d$, that provably approximates their loss function for a given set of queries (models, classifiers, etc.). Coresets become increasingly common in machine learning since existing heuristics or inefficient algorithms may be improved by running them possibly many times on the small coreset that can be maintained for streaming distributed data. Coresets can be obtained by sensitivity (importance) sampling, where its size is proportional to the total sum of sensitivities. Unfortunately, computing the sensitivity of each point is problem dependent and may be harder to compute than the original optimization problem at hand. We suggest a generic framework for computing sensitivities (and thus coresets) for wide family of loss functions which we call near-convex functions. This is by suggesting the $f$-SVD factorization that generalizes the SVD factorization of matrices to functions. Example applications include coresets that are either new or significantly improves previous results, such as SVM, Logistic regression, M-estimators, and $\ell_z$-regression. Experimental results and open source are also provided. | 翻訳日:2022-11-23 14:09:07 公開日:2020-06-18 |
| # 中リソース言語における文脈化単語埋め込みへの一言語的アプローチ A Monolingual Approach to Contextualized Word Embeddings for Mid-Resource Languages ( http://arxiv.org/abs/2006.06202v2 ) ライセンス: Link先を確認 | Pedro Javier Ortiz Su\'arez (ALMAnaCH, SU), Laurent Romary (ALMAnaCH), Beno\^it Sagot (ALMAnaCH) | (参考訳) 我々は,言語分類,フィルタリング,クリーニングを通じてCommon Crawlから抽出した多言語OSCARコーパスを用いて,中級5言語を対象とした単言語文脈型単語埋め込み(ELMo)を訓練する。
次に、これらの言語に対するOSCARベースのELMo埋め込みとウィキペディアベースのELMo埋め込みのパフォーマンスを比較した。
我々は、Common-CrawlベースのOSCARデータのノイズにもかかわらず、OSCARでトレーニングされた埋め込みはウィキペディアでトレーニングされたモノリンガル埋め込みよりもはるかに優れていることを示した。
5つの言語すべてに対してタグ付けとパースを行う際に、そのテクニックの現在の状態を実際に同等または改善する。
特に、彼らは多言語wikipediaベースの文脈埋め込み(多言語bert)も改善しており、これはほとんど常に前段階の芸術を構成するため、より大きく多様なコーパスの利点は多言語埋め込みアーキテクチャの多言語的利益を超えることを示している。 We use the multilingual OSCAR corpus, extracted from Common Crawl via language classification, filtering and cleaning, to train monolingual contextualized word embeddings (ELMo) for five mid-resource languages. We then compare the performance of OSCAR-based and Wikipedia-based ELMo embeddings for these languages on the part-of-speech tagging and parsing tasks. We show that, despite the noise in the Common-Crawl-based OSCAR data, embeddings trained on OSCAR perform much better than monolingual embeddings trained on Wikipedia. They actually equal or improve the current state of the art in tagging and parsing for all five languages. In particular, they also improve over multilingual Wikipedia-based contextual embeddings (multilingual BERT), which almost always constitutes the previous state of the art, thereby showing that the benefit of a larger, more diverse corpus surpasses the cross-lingual benefit of multilingual embedding architectures. | 翻訳日:2022-11-22 13:39:24 公開日:2020-06-18 |
| # 情報幾何コーシー多様体上のボロノイ図形と双対ドローネー複体について On Voronoi diagrams and dual Delaunay complexes on the information-geometric Cauchy manifolds ( http://arxiv.org/abs/2006.07020v2 ) ライセンス: Link先を確認 | Frank Nielsen | (参考訳) 本研究では,フィッシャー・ラオ距離,クルバック・リーバー・ダイバージェンス,チ・スクエア・ダイバージェンス,およびフィッシャー・ラオ曲線幾何学の共形平坦化に関連するツァリスの二次エントロピーに由来する平坦な発散を考慮し,情報幾何学の観点からコーシー分布の有限集合とその双対錯体のボロノイ図について検討した。
フィッシャー・ラオ距離のボロノイ図、チ・スクエア発散、クルバック・リーバー発散は対応するコーシー位置スケールパラメータ上の双曲型ボロノイ図と全て一致し、双対コーシー双曲型ドローネー錯体はコーシー双曲型ボロノイ図と直交するフィッシャー型双曲型ボロノイ図であることが証明される。
双対前方および逆平坦な発散に関する双対ボロノイ図は、双対ブレグマン・ボロノイ図に相当し、それらの双対錯体は正則三角測量である。
原始ブレグマン・ツァリス・ボロノイ図は双曲型ボロノイ図に対応し、双対ブレグマン・ツァリス・ボロノイ図は通常のユークリッド型ボロノイ図と一致する。
さらに、コーシー分布の間のクルバック・リーバーの発散の平方根が、コーシースケール族に対するヒルベルト的距離となることを証明している。 We study the Voronoi diagrams of a finite set of Cauchy distributions and their dual complexes from the viewpoint of information geometry by considering the Fisher-Rao distance, the Kullback-Leibler divergence, the chi square divergence, and a flat divergence derived from Tsallis' quadratic entropy related to the conformal flattening of the Fisher-Rao curved geometry. We prove that the Voronoi diagrams of the Fisher-Rao distance, the chi square divergence, and the Kullback-Leibler divergences all coincide with a hyperbolic Voronoi diagram on the corresponding Cauchy location-scale parameters, and that the dual Cauchy hyperbolic Delaunay complexes are Fisher orthogonal to the Cauchy hyperbolic Voronoi diagrams. The dual Voronoi diagrams with respect to the dual forward/reverse flat divergences amount to dual Bregman Voronoi diagrams, and their dual complexes are regular triangulations. The primal Bregman-Tsallis Voronoi diagram corresponds to the hyperbolic Voronoi diagram and the dual Bregman-Tsallis Voronoi diagram coincides with the ordinary Euclidean Voronoi diagram. Besides, we prove that the square root of the Kullback-Leibler divergence between Cauchy distributions yields a metric distance which is Hilbertian for the Cauchy scale families. | 翻訳日:2022-11-22 04:53:48 公開日:2020-06-18 |
| # the eyes know it: fakeet - ディープフェイクの知覚を理解するための視線追跡データベース The eyes know it: FakeET -- An Eye-tracking Database to Understand Deepfake Perception ( http://arxiv.org/abs/2006.06961v2 ) ライセンス: Link先を確認 | Parul Gupta, Komal Chugh, Abhinav Dhall, Ramanathan Subramanian | (参考訳) 我々は, \textbf{fakeet}--\emph{deepfake}ビデオの人間の視覚知覚を理解するための視線追跡データベースである。
deepfakesの主な目的は人間のオブザーバーをだますことであり、フェイクレットは視聴者が合成ビデオのアーティファクトを検知する容易さを理解し評価するように設計されている。
fakeetには、\emph{tobii} desktop eye-tracker経由で40人のユーザーからコンパイルされた視聴パターンが含まれており、\textit{google deepfake}データセットから811本のビデオに対して、ビデオ毎に最低2回の視聴がある。
さらに、emph{Emotiv}センサーを介して取得されたEEG応答も利用可能である。
コンパイルされたデータが
(a) \emph{real} 対 \emph{fake} ビデオの異なる眼球運動特性
b)空間フォージェリーの局所化・検出のための視線塩分マップの有用性、及び
(c)Error Related Negativity (ERN)は、脳波応答をトリガーし、\emph{raw} EEG信号が \emph{real} と \emph{fake} のビデオを区別する能力を持つ。 We present \textbf{FakeET}-- an eye-tracking database to understand human visual perception of \emph{deepfake} videos. Given that the principal purpose of deepfakes is to deceive human observers, FakeET is designed to understand and evaluate the ease with which viewers can detect synthetic video artifacts. FakeET contains viewing patterns compiled from 40 users via the \emph{Tobii} desktop eye-tracker for 811 videos from the \textit{Google Deepfake} dataset, with a minimum of two viewings per video. Additionally, EEG responses acquired via the \emph{Emotiv} sensor are also available. The compiled data confirms (a) distinct eye movement characteristics for \emph{real} vs \emph{fake} videos; (b) utility of the eye-track saliency maps for spatial forgery localization and detection, and (c) Error Related Negativity (ERN) triggers in the EEG responses, and the ability of the \emph{raw} EEG signal to distinguish between \emph{real} and \emph{fake} videos. | 翻訳日:2022-11-22 04:00:12 公開日:2020-06-18 |
| # 集合的知識プロジェクト:オープンAPI、再利用可能なベストプラクティス、MLOpsでMLモデルをよりポータブルで再現可能にする The Collective Knowledge project: making ML models more portable and reproducible with open APIs, reusable best practices and MLOps ( http://arxiv.org/abs/2006.07161v2 ) ライセンス: Link先を確認 | Grigori Fursin | (参考訳) この記事では、集合知識技術(CKまたはcKnowledge)の概要を紹介する。
CKはMLとシステムの研究を再現しやすくし、実運用環境にMLモデルをデプロイし、継続的に変化するデータセット、モデル、研究技術、ソフトウェア、ハードウェアに適応させようとしている。
CKの概念は、複雑なシステムとアドホックな研究プロジェクトを、統一されたAPI、CLI、JSONメタ記述を備えた再利用可能なサブコンポーネントに分解することである。
このようなコンポーネントは、DevOps原則と再利用可能な自動化アクション、ソフトウェア検出プラグイン、メタパッケージ、公開最適化パラメータを組み合わせることで、ポータブルワークフローに接続することができる。
CKワークフローは、さまざまなプラットフォームや環境をまたいだ統一的な方法で研究コードを構築、実行、ベンチマークしながら、さまざまなベンダーからさまざまなモデル、データ、ツールを自動的にプラグインすることができる。
このようなワークフローはシステム全体の最適化や結果の再現にも役立ち、CKプラットフォーム上の公開スコアボードやプライベートスコアボード(https://cKnowledge.io)で比較する。
例えば、モジュラCKアプローチは産業パートナーと、速度、精度、エネルギー、サイズ、その他の特性の点で再現性と効率的なオブジェクト検出のためのソフトウェア、ハードウェア、機械学習モデルの自動設計と最適化に成功している。
長期的な目標は、研究者や実践者がオープンなCK APIを使用して知識、経験、ベストプラクティス、アーティファクト、テクニックを共有し、再利用できるようにすることで、MLモデルとシステムの開発とデプロイを簡素化し、加速することである。 This article provides an overview of the Collective Knowledge technology (CK or cKnowledge). CK attempts to make it easier to reproduce ML&systems research, deploy ML models in production, and adapt them to continuously changing data sets, models, research techniques, software, and hardware. The CK concept is to decompose complex systems and ad-hoc research projects into reusable sub-components with unified APIs, CLI, and JSON meta description. Such components can be connected into portable workflows using DevOps principles combined with reusable automation actions, software detection plugins, meta packages, and exposed optimization parameters. CK workflows can automatically plug in different models, data and tools from different vendors while building, running and benchmarking research code in a unified way across diverse platforms and environments. Such workflows also help to perform whole system optimization, reproduce results, and compare them using public or private scoreboards on the CK platform (https://cKnowledge.io). For example, the modular CK approach was successfully validated with industrial partners to automatically co-design and optimize software, hardware, and machine learning models for reproducible and efficient object detection in terms of speed, accuracy, energy, size, and other characteristics. The long-term goal is to simplify and accelerate the development and deployment of ML models and systems by helping researchers and practitioners to share and reuse their knowledge, experience, best practices, artifacts, and techniques using open CK APIs. | 翻訳日:2022-11-22 03:44:23 公開日:2020-06-18 |
| # ディープニューラルネットワークにおけるトロイの木馬攻撃の恥ずかしい簡単なアプローチ An Embarrassingly Simple Approach for Trojan Attack in Deep Neural Networks ( http://arxiv.org/abs/2006.08131v2 ) ライセンス: Link先を確認 | Ruixiang Tang, Mengnan Du, Ninghao Liu, Fan Yang, Xia Hu | (参考訳) 大規模アプリケーションでディープニューラルネットワーク(DNN)が広く使用されていることから、DNNモデルのセキュリティ問題は広く注目を集めている。
本稿では、悪意あるハッカーが挿入した隠れトリガーパターンに依存するDNNシステムへの攻撃を目的とした、トロイの木馬攻撃と呼ばれる特定のセキュリティ問題について検討する。
そこで本研究では,有毒データセットの再学習モデルによりトロイの木馬の挙動を注入する,従来と異なる学習自由攻撃手法を提案する。
具体的には、元のモデルでパラメータを変更するのではなく、ターゲットモデルに小さなtrojanモジュール(trojannet)を挿入します。
悪意のあるトロイの木馬を持つ感染したモデルは、入力が特別なトリガーで押されると、入力をターゲットラベルに誤分類することができる。
提案するtrojannetには,(1)トリガパターンを小さくして起動し,他の信号に対して無音を保つ,(2)モデル非依存でほとんどのdnnに注入可能な,攻撃シナリオを劇的に拡大する,(3)トレーニングフリー機構は,従来のトロイの木馬攻撃手法と比較して,大規模なトレーニング努力を省く,といった優れた特性がいくつかある。
実験の結果、TrojanNetは全てのラベルに同時にトロイの木馬を注入し(全ラベルトロイの木馬攻撃)、オリジナルのタスクのモデル精度に影響を与えることなく100%の攻撃成功率を達成することができた。
実験的解析により、最先端のトロイの木馬検出アルゴリズムがトロイの木馬攻撃を検知できないことが示される。
コードはhttps://github.com/trx14/trojannetで入手できる。 With the widespread use of deep neural networks (DNNs) in high-stake applications, the security problem of the DNN models has received extensive attention. In this paper, we investigate a specific security problem called trojan attack, which aims to attack deployed DNN systems relying on the hidden trigger patterns inserted by malicious hackers. We propose a training-free attack approach which is different from previous work, in which trojaned behaviors are injected by retraining model on a poisoned dataset. Specifically, we do not change parameters in the original model but insert a tiny trojan module (TrojanNet) into the target model. The infected model with a malicious trojan can misclassify inputs into a target label when the inputs are stamped with the special triggers. The proposed TrojanNet has several nice properties including (1) it activates by tiny trigger patterns and keeps silent for other signals, (2) it is model-agnostic and could be injected into most DNNs, dramatically expanding its attack scenarios, and (3) the training-free mechanism saves massive training efforts comparing to conventional trojan attack methods. The experimental results show that TrojanNet can inject the trojan into all labels simultaneously (all-label trojan attack) and achieves 100% attack success rate without affecting model accuracy on original tasks. Experimental analysis further demonstrates that state-of-the-art trojan detection algorithms fail to detect TrojanNet attack. The code is available at https://github.com/trx14/TrojanNet. | 翻訳日:2022-11-21 05:13:23 公開日:2020-06-18 |
| # 形状問題:ノイズ共分散の暗黙のバイアスを理解する Shape Matters: Understanding the Implicit Bias of the Noise Covariance ( http://arxiv.org/abs/2006.08680v2 ) ライセンス: Link先を確認 | Jeff Z. HaoChen, Colin Wei, Jason D. Lee, Tengyu Ma | (参考訳) 確率勾配降下(SGD)のノイズは、過パラメータ化モデルのトレーニングに重要な暗黙の正規化効果をもたらす。
従来の理論研究は主に球面ガウスノイズに焦点が当てられているが、実験的な研究は、最小バッチやラベル摂動によって引き起こされるパラメータ依存ノイズはガウスノイズよりもはるかに効果的であることを示す。
本稿では,この現象をVaskevicius et elによって導入された二次パラメータモデルで理論的に特徴づける。
ウッドワースなど。
過パラメータ化環境では、ラベルノイズを持つSGDは任意の初期化でスパースグラウンドトルースを回復するが、ガウスノイズまたは勾配降下を持つSGDは大きなノルムを持つ密解に過度に適合することを示す。
分析の結果,パラメータ依存ノイズは局所最小値に偏りを生じさせるが,球状ガウス雑音は生じないことがわかった。
私たちのプロジェクトのコードは公開されています。 The noise in stochastic gradient descent (SGD) provides a crucial implicit regularization effect for training overparameterized models. Prior theoretical work largely focuses on spherical Gaussian noise, whereas empirical studies demonstrate the phenomenon that parameter-dependent noise -- induced by mini-batches or label perturbation -- is far more effective than Gaussian noise. This paper theoretically characterizes this phenomenon on a quadratically-parameterized model introduced by Vaskevicius et el. and Woodworth et el. We show that in an over-parameterized setting, SGD with label noise recovers the sparse ground-truth with an arbitrary initialization, whereas SGD with Gaussian noise or gradient descent overfits to dense solutions with large norms. Our analysis reveals that parameter-dependent noise introduces a bias towards local minima with smaller noise variance, whereas spherical Gaussian noise does not. Code for our project is publicly available. | 翻訳日:2022-11-21 03:25:04 公開日:2020-06-18 |
| # 6G無線通信ネットワークにおける視覚支援動的ブロック予測 Vision-Aided Dynamic Blockage Prediction for 6G Wireless Communication Networks ( http://arxiv.org/abs/2006.09902v2 ) ライセンス: Link先を確認 | Gouranga Charan, Muhammad Alrabeiah, and Ahmed Alkhateeb | (参考訳) ミリ波およびサブテラヘルツ無線通信網の完全なポテンシャルを解き放つことは、前例のない低レイテンシと高信頼性の要求を実現することにつながる。
これらの要件を満たす上での課題は、ミリ波およびサブテラヘルツ周波数範囲の信号の遮断に対する感度にある。
この課題に取り組む有望な方法の1つは、ワイヤレスネットワークが機械学習を使って周囲の感覚を育むのを助けることだ。
本稿では,ディープラーニングとコンピュータビジョンを用いてその実現を試みる。
これは、 \textit{dynamic} リンクブロックを積極的に予測する新しいソリューションを提案する。
より具体的には、RGB画像とビームフォーミングベクターの観測シーケンスから将来のリンクブロックを予測する方法を学ぶディープニューラルネットワークアーキテクチャを開発する。
提案アーキテクチャは,複数の移動ユーザとブロックを持つ合成動的通信シナリオを表す,公開データセットで評価される。
86\%付近でリンクブロック予測精度をスコアするが、視覚データを用いずには一致しない。 Unlocking the full potential of millimeter-wave and sub-terahertz wireless communication networks hinges on realizing unprecedented low-latency and high-reliability requirements. The challenge in meeting those requirements lies partly in the sensitivity of signals in the millimeter-wave and sub-terahertz frequency ranges to blockages. One promising way to tackle that challenge is to help a wireless network develop a sense of its surrounding using machine learning. This paper attempts to do that by utilizing deep learning and computer vision. It proposes a novel solution that proactively predicts \textit{dynamic} link blockages. More specifically, it develops a deep neural network architecture that learns from observed sequences of RGB images and beamforming vectors how to predict possible future link blockages. The proposed architecture is evaluated on a publicly available dataset that represents a synthetic dynamic communication scenario with multiple moving users and blockages. It scores a link-blockage prediction accuracy in the neighborhood of 86\%, a performance that is unlikely to be matched without utilizing visual data. | 翻訳日:2022-11-19 21:28:53 公開日:2020-06-18 |
| # 小バッチ付き混合線形回帰のためのロバストメタラーニング Robust Meta-learning for Mixed Linear Regression with Small Batches ( http://arxiv.org/abs/2006.09702v2 ) ライセンス: Link先を確認 | Weihao Kong, Raghav Somani, Sham Kakade, Sewoong Oh | (参考訳) 医用画像処理やロボットインタラクションといった実践的な教師あり学習において直面する課題は、多くのタスクがあるが、それぞれのタスクは個別に学習できる十分なラベル付きサンプルを集めることができないことである。
しかし、これらのタスク間の類似性を利用することで、そのようなデータの不足を克服できると期待できる。
各タスクが k 個の線形回帰の混合から引き出される標準的なシナリオの下で、我々は基本的な問題を研究する: 大量の小データタスクは、ビッグデータタスクの欠如を補うことができるか?
既存の第2モーメントベースのアプローチは、これらのトレードオフが、それぞれ$\Omega(k^{1/2})$の例を持つ中規模のタスクの助けを借りて、効率的に達成可能であることを示している。
しかし、このアルゴリズムは2つの重要なシナリオにおいて脆弱である。
予測は任意に悪い可能性がある
(i)データセットにいくつかの外れ値がある場合でも、
(ii) たとえ中型のタスクが$o(k^{1/2})$の例でわずかに小さいとしても。
どちらのシナリオでも同時に頑健なスペクトルアプローチを導入する。
この目的のために,我々はまず,最適精度を実現する新奇な外乱主成分分析アルゴリズムを設計する。
これに続いて、高次モーメントからの情報を利用する2乗法アルゴリズムが導入された。
同様に、このアプローチは外れ値に対して堅牢であり、優雅な統計的トレードオフを達成する。$\Omega(k^{1/2})$-sizeタスクの欠如は、より小さなタスクで補うことができ、今では$O(\log k)$まで小さくすることができる。 A common challenge faced in practical supervised learning, such as medical image processing and robotic interactions, is that there are plenty of tasks but each task cannot afford to collect enough labeled examples to be learned in isolation. However, by exploiting the similarities across those tasks, one can hope to overcome such data scarcity. Under a canonical scenario where each task is drawn from a mixture of k linear regressions, we study a fundamental question: can abundant small-data tasks compensate for the lack of big-data tasks? Existing second moment based approaches show that such a trade-off is efficiently achievable, with the help of medium-sized tasks with $\Omega(k^{1/2})$ examples each. However, this algorithm is brittle in two important scenarios. The predictions can be arbitrarily bad (i) even with only a few outliers in the dataset; or (ii) even if the medium-sized tasks are slightly smaller with $o(k^{1/2})$ examples each. We introduce a spectral approach that is simultaneously robust under both scenarios. To this end, we first design a novel outlier-robust principal component analysis algorithm that achieves an optimal accuracy. This is followed by a sum-of-squares algorithm to exploit the information from higher order moments. Together, this approach is robust against outliers and achieves a graceful statistical trade-off; the lack of $\Omega(k^{1/2})$-size tasks can be compensated for with smaller tasks, which can now be as small as $O(\log k)$. | 翻訳日:2022-11-19 19:34:22 公開日:2020-06-18 |
| # 不均一データから最小エネルギー制御を学ぶ Learning Minimum-Energy Controls from Heterogeneous Data ( http://arxiv.org/abs/2006.10895v1 ) ライセンス: Link先を確認 | Giacomo Baggio and Fabio Pasqualetti | (参考訳) 本稿では,不均質データから線形システムの最小エネルギー制御を学習する問題について検討する。
具体的には、異なる時間軸と任意の初期条件を用いた実験を用いて、入力、初期状態、最終状態の測定を含むデータセットを検討する。
この設定では、まず、利用可能なデータに基づいて、システムの入力およびサンプル状態軌跡の一般的な表現を確立する。
そして、このデータに基づく表現を利用して、幅広い制御地平線に対する最小エネルギー制御の閉形式データ駆動表現を導出する。
さらに,最小エネルギー入力の再構成に必要な最小データ数を特徴付け,表現の数値的性質について考察する。
最後に, 雑音がデータ駆動式に与える影響について検討し, 既知の2次統計値を持つ雑音の場合, 真の最適制御入力に漸近的に収束する補正式を提供する。 In this paper we study the problem of learning minimum-energy controls for linear systems from heterogeneous data. Specifically, we consider datasets comprising input, initial and final state measurements collected using experiments with different time horizons and arbitrary initial conditions. In this setting, we first establish a general representation of input and sampled state trajectories of the system based on the available data. Then, we leverage this data-based representation to derive closed-form data-driven expressions of minimum-energy controls for a wide range of control horizons. Further, we characterize the minimum number of data required to reconstruct the minimum-energy inputs, and discuss the numerical properties of our expressions. Finally, we investigate the effect of noise on our data-driven formulas, and, in the case of noise with known second-order statistics, we provide corrected expressions that converge asymptotically to the true optimal control inputs. | 翻訳日:2022-11-19 14:40:15 公開日:2020-06-18 |
| # 画像診断による個体検診におけるエッジデバイスとクラウド機械学習の役割 Role of Edge Device and Cloud Machine Learning in Point-of-Care Solutions Using Imaging Diagnostics for Population Screening ( http://arxiv.org/abs/2006.13808v1 ) ライセンス: Link先を確認 | Amit Kharat, Vinay Duddalwar, Krishna Saoji, Ashrika Gaikwad, Viraj Kulkarni, Gunjan Naik, Rohit Lokwani, Swaraj Kasliwal, Sudeep Kondal, Tanveer Gupte, Aniruddha Pant | (参考訳) エッジデバイスは診断に革命をもたらしている。
エッジデバイスは、デジタルX線、CT、MRI、超音波装置などの画像ツール内または隣接して配置することができる。
これらのデバイスは、高度な処理深度と機械学習(人工知能)アルゴリズムを備えたCPUまたはGPUで、正常または異常なTBまたは健康な(TBスクリーニングの場合)、COVID-19/その他の肺炎と疑われる(病院やホットスポット設定の場合)、フラグ研究の分類とトリアージソリューションを支援する。
これらはPoC(point-of-care)ソリューションのスクリーニングとしてデプロイすることができる。
エッジデバイス学習は、それぞれ微小石灰化と脳卒中を識別できるマンモグラフィとCTの研究にも利用できる。
これらのソリューションは、画像スペシャリストが実際にスキャンをレビューし、最終的な診断を行う前に、事前スクリーニングの最初のラインと見なすことができる。
これらのツールの重要な利点は、専門家が実際にレビューする前にプレスクリーンを行うことができないリモートでデプロイでき、デバイスの横にナノラーニングデータセンターが置かれているため、インターネット帯域幅に制限されないことだ。 Edge devices are revolutionizing diagnostics. Edge devices can reside within or adjacent to imaging tools such as digital Xray, CT, MRI, or ultrasound equipment. These devices are either CPUs or GPUs with advanced processing deep and machine learning (artificial intelligence) algorithms that assist in classification and triage solutions to flag studies as either normal or abnormal, TB or healthy (in case of TB screening), suspected COVID-19/other pneumonia or unremarkable (in hospital or hotspot settings). These can be deployed as screening point-of-care (PoC) solutions; this is particularly true for digital and portable X-ray devices. Edge device learning can also be used for mammography and CT studies where it can identify microcalcification and stroke, respectively. These solutions can be considered the first line of pre-screening before the imaging specialist actually reviews scans and makes a final diagnosis. The key advantage of these tools is that they are instant, can be deployed remotely where experts are not available to perform pre-screening before the experts actually review, and are not limited by internet bandwidth as the nano learning data centers are placed next to the device. | 翻訳日:2022-11-19 14:40:01 公開日:2020-06-18 |
| # 動的モード分解によるニューラルネットワークの高速化訓練 Accelerating Training in Artificial Neural Networks with Dynamic Mode Decomposition ( http://arxiv.org/abs/2006.14371v1 ) ライセンス: Link先を確認 | Mauricio E. Tano, Gavin D. Portwood, Jean C. Ragusa | (参考訳) ディープニューラルネットワーク(DNN)のトレーニングでは、数百万から数十億のパラメータを最適化することが多い。
現代のコンピューティングアーキテクチャでさえ、DNNトレーニングの計算コストは、例えばネットワークアーキテクチャ設計の最適化、ハイパーパラメータ研究、科学研究サイクルへの統合を阻害することができる。
主な要因は、更新ルールの最適化中に各重みに対してフィードフォワード評価とバックプロパゲーションルールの両方が必要であることである。
本研究では,各重みによる更新ルールの評価を分離する手法を提案する。
当初、適切な直交分解(POD)は、いくつかのバックプロパゲーションステップで観察された進化に基づいて、トレーニング中の層ごとの重量の進化の主方向の現在の推定値を特定するために用いられる。
次に、動的モード分解(DMD)を用いて、これらの主方向に従って各層における重みの進化のダイナミクスを学習する。
DMDモデルは、ANNを訓練する際の近似収束状態を評価するために使用される。
その後、dmd推定から始め、いくつかのバックプロパゲーションステップが実行され、主要な方向とdmdモデルが更新される。
この反復過程は収束するまで繰り返される。
各DMDモデル推定に使用するバックプロパゲーションステップ数を微調整することにより、ニューラルネットワークのトレーニングに必要な操作数を大幅に削減することができる。
本稿では,dmdによる加速度の理論的正当化とともに,dmd加速度法の詳細を述べる。
本手法は, 拡散, アドベクション, 反応問題における汚染物質濃度場の予測という, 科学的機械学習コミュニティにおける重要な関心の回帰問題を用いて示される。 Training of deep neural networks (DNNs) frequently involves optimizing several millions or even billions of parameters. Even with modern computing architectures, the computational expense of DNN training can inhibit, for instance, network architecture design optimization, hyper-parameter studies, and integration into scientific research cycles. The key factor limiting performance is that both the feed-forward evaluation and the back-propagation rule are needed for each weight during optimization in the update rule. In this work, we propose a method to decouple the evaluation of the update rule at each weight. At first, Proper Orthogonal Decomposition (POD) is used to identify a current estimate of the principal directions of evolution of weights per layer during training based on the evolution observed with a few backpropagation steps. Then, Dynamic Mode Decomposition (DMD) is used to learn the dynamics of the evolution of the weights in each layer according to these principal directions. The DMD model is used to evaluate an approximate converged state when training the ANN. Afterward, some number of backpropagation steps are performed, starting from the DMD estimates, leading to an update to the principal directions and DMD model. This iterative process is repeated until convergence. By fine-tuning the number of backpropagation steps used for each DMD model estimation, a significant reduction in the number of operations required to train the neural networks can be achieved. In this paper, the DMD acceleration method will be explained in detail, along with the theoretical justification for the acceleration provided by DMD. This method is illustrated using a regression problem of key interest for the scientific machine learning community: the prediction of a pollutant concentration field in a diffusion, advection, reaction problem. | 翻訳日:2022-11-19 14:39:38 公開日:2020-06-18 |
| # スパースPCAにおける自由エネルギー井戸とオーバーラップギャップ特性 Free Energy Wells and Overlap Gap Property in Sparse PCA ( http://arxiv.org/abs/2006.10689v1 ) ライセンス: Link先を確認 | G\'erard Ben Arous, Alexander S. Wein, Ilias Zadik | (参考訳) 本研究では,「ハード」状態におけるスパースpca (principal component analysis, 主成分分析) 問題の変種について検討した。
先行研究は、低度度度比に基づいて、ハードレジーム全体を通して最高の(準指数的な)実行時の正確な表現を予想している。
代わりに統計物理学に触発された視点に従い、問題に自然に関連する様々なギブズ測度に対する自由エネルギー井戸の深さの境界を示す。
これらの自由エネルギー井戸は、低次予想を共起する時間下界にぶつかる:我々は、(最悪の場合の初期化を伴う)自然なmcmc(マルコフ連鎖モンテカルロ)メソッドのクラスは、予想されたランタイムよりも少ないsparse pcaを解決できないことを示す。
これらの下限は、温度とスパーシティのミスパラメトリゼーションという2つのチューニングパラメータの幅広い値に適用できる。
最後に,特定の局所探索アルゴリズムの故障を示唆する構造的特性であるオーバーラップギャップ特性(OGP)が,ハードレジームの重要な部分を占めていることを証明した。 We study a variant of the sparse PCA (principal component analysis) problem in the "hard" regime, where the inference task is possible yet no polynomial-time algorithm is known to exist. Prior work, based on the low-degree likelihood ratio, has conjectured a precise expression for the best possible (sub-exponential) runtime throughout the hard regime. Following instead a statistical physics inspired point of view, we show bounds on the depth of free energy wells for various Gibbs measures naturally associated to the problem. These free energy wells imply hitting time lower bounds that corroborate the low-degree conjecture: we show that a class of natural MCMC (Markov chain Monte Carlo) methods (with worst-case initialization) cannot solve sparse PCA with less than the conjectured runtime. These lower bounds apply to a wide range of values for two tuning parameters: temperature and sparsity misparametrization. Finally, we prove that the Overlap Gap Property (OGP), a structural property that implies failure of certain local search algorithms, holds in a significant part of the hard regime. | 翻訳日:2022-11-19 14:39:15 公開日:2020-06-18 |
| # 機械学習と官能評価を用いたBITCOIN価格のリアルタイム予測 Real-Time Prediction of BITCOIN Price using Machine Learning Techniques and Public Sentiment Analysis ( http://arxiv.org/abs/2006.14473v1 ) ライセンス: Link先を確認 | S M Raju and Ali Mohammad Tarif | (参考訳) Bitcoinは、近年、市場資本化の著しい増加を見せた最初のデジタル分散暗号通貨だ。
本論文の目的は,usdにおけるbitcoinの予測可能な価格方向を,機械学習と感情分析によって決定することである。
TwitterとRedditは、大衆の感情を研究する研究者から大きな注目を集めている。
我々は、twitterとredditの投稿から抽出されたツイートに感情分析と機械学習原則を適用し、bitcoin価格の動きとツイートの感情の関係を分析した。
教師付き学習を用いた機械学習のアルゴリズムを探索し,予測モデルを構築し,今後の市場価格の情報分析を行う。
時系列モデル(arima)の正確な性質を評価するのが困難であるため、適切な予測を行うのは非常に困難である。
その後、長期記憶細胞(LSTM)を用いたリカレントニューラルネットワーク(RNN)の実装を継続する。
そこで我々は,長期記憶(LSTM)技術を用いて,bitcoin価格の時系列モデル予測を高効率で分析し,bitcoin価格の予測可能性とビットコインツイートの感情分析を標準手法(ARIMA)と比較した。
LSTMのRMSE(ルート平均二乗誤差)は198.448(単一特徴)と197.515(多重特徴)であるが、ARIMAモデルRMSEは209.263であり、マルチ特徴を持つLSTMの方がより正確な結果を示している。 Bitcoin is the first digital decentralized cryptocurrency that has shown a significant increase in market capitalization in recent years. The objective of this paper is to determine the predictable price direction of Bitcoin in USD by machine learning techniques and sentiment analysis. Twitter and Reddit have attracted a great deal of attention from researchers to study public sentiment. We have applied sentiment analysis and supervised machine learning principles to the extracted tweets from Twitter and Reddit posts, and we analyze the correlation between bitcoin price movements and sentiments in tweets. We explored several algorithms of machine learning using supervised learning to develop a prediction model and provide informative analysis of future market prices. Due to the difficulty of evaluating the exact nature of a Time Series(ARIMA) model, it is often very difficult to produce appropriate forecasts. Then we continue to implement Recurrent Neural Networks (RNN) with long short-term memory cells (LSTM). Thus, we analyzed the time series model prediction of bitcoin prices with greater efficiency using long short-term memory (LSTM) techniques and compared the predictability of bitcoin price and sentiment analysis of bitcoin tweets to the standard method (ARIMA). The RMSE (Root-mean-square error) of LSTM are 198.448 (single feature) and 197.515 (multi-feature) whereas the ARIMA model RMSE is 209.263 which shows that LSTM with multi feature shows the more accurate result. | 翻訳日:2022-11-19 14:37:17 公開日:2020-06-18 |
| # 量子化ディープラーニングモデルの効率的な実行:コンパイラアプローチ Efficient Execution of Quantized Deep Learning Models: A Compiler Approach ( http://arxiv.org/abs/2006.10226v1 ) ライセンス: Link先を確認 | Animesh Jain, Shoubhik Bhattacharya, Masahiro Masuda, Vin Sharma and Yida Wang | (参考訳) 多くのアプリケーションがディープラーニングモデルを使用して予測関数を実装しており、計算とメモリを多用する必要がある。
資源効率を向上させる一般的な手法は8ビット整数量子化であり、32ビット浮動小数点数 (fp32) はより短い8ビット整数数で表される。
TensorFlow、TFLite、MXNet、PyTorchといったディープラーニングフレームワークは、精度をわずかに低下させるだけでモデルを定量化できるが、さまざまなハードウェアプラットフォーム上での量子化モデルの実行には適していない。
例えば、TFLiteはARM CPUエッジデバイスで推論を実行するように最適化されているが、Intel CPUとNvidia GPUを効率的にサポートしていない。
本稿では,拡張コンパイラアプローチを提案することにより,多様なハードウェアプラットフォーム上での量子化ディープラーニングモデル実行の課題に対処する。
Apache TVMのようなディープラーニングコンパイラは、さまざまなフレームワークからさまざまなターゲットに対するモデルの効率的な実行を可能にする。
しかし、今日のディープラーニングコンパイラの多くは、主にfp32計算用に設計されており、事前量子化されたINT8モデルを最適化することはできない。
この問題に対処するため、我々はQuantized Neural Network(QNN)と呼ばれる新しい方言を作成し、量子化コンテキストでコンパイラの内部表現を拡張する。
この量子化コンテキストにより、コンパイラは様々なハードウェアプラットフォーム上で事前量子化モデルの効率的なコードを生成することができる。
Apache TVMに実装されているように、QNNの拡張されたディープラーニングコンパイラは、Intel Xeon Cascade Lake CPU、Nvidia Tesla T4 GPU、ARM Raspberry Pi3、Pi4の2.35x、2.15x、1.35x、1.40xのスピードアップを達成する。 A growing number of applications implement predictive functions using deep learning models, which require heavy use of compute and memory. One popular technique for increasing resource efficiency is 8-bit integer quantization, in which 32-bit floating point numbers (fp32) are represented using shorter 8-bit integer numbers. Although deep learning frameworks such as TensorFlow, TFLite, MXNet, and PyTorch enable developers to quantize models with only a small drop in accuracy, they are not well suited to execute quantized models on a variety of hardware platforms. For example, TFLite is optimized to run inference on ARM CPU edge devices but it does not have efficient support for Intel CPUs and Nvidia GPUs. In this paper, we address the challenges of executing quantized deep learning models on diverse hardware platforms by proposing an augmented compiler approach. A deep learning compiler such as Apache TVM can enable the efficient execution of model from various frameworks on various targets. Many deep learning compilers today, however, are designed primarily for fp32 computation and cannot optimize a pre-quantized INT8 model. To address this issue, we created a new dialect called Quantized Neural Network (QNN) that extends the compiler's internal representation with a quantization context. With this quantization context, the compiler can generate efficient code for pre-quantized models on various hardware platforms. As implemented in Apache TVM, we observe that the QNN-augmented deep learning compiler achieves speedups of 2.35x, 2.15x, 1.35x and 1.40x on Intel Xeon Cascade Lake CPUs, Nvidia Tesla T4 GPUs, ARM Raspberry Pi3 and Pi4 respectively against well optimized fp32 execution, and comparable performance to the state-of-the-art framework-specific solutions. | 翻訳日:2022-11-19 14:36:23 公開日:2020-06-18 |
| # 敵対的に訓練されたマルチシンガーシーケンスツーシーケンス歌唱シンセサイザー Adversarially Trained Multi-Singer Sequence-To-Sequence Singing Synthesizer ( http://arxiv.org/abs/2006.10317v1 ) ライセンス: Link先を確認 | Jie Wu, Jian Luan | (参考訳) 本稿では,声質に制限のある音声をモデル化できる高品質な歌唱シンセサイザーを提案する。
シーケンス・ツー・シーケンスの歌唱モデルに基づいて、異なる歌手の既存の歌唱データをすべて活用するマルチシンガー・フレームワークを設計する。
歌手間での楽譜の不均衡を解消するため,エンコーダの出力依存を減らすために,歌手分類の逆タスクを取り入れた。
さらに,生成した音響特徴に複数のランダム窓判別器(mrwds)を適用し,ネットワークをganとする。
主観的評価と主観的評価の両方により,提案したシンセサイザーはベースライン(MOSでは4.12対3.53)よりも高品質な歌声を生成できることが示された。
特に、高ピッチ母音の明瞭度が著しく向上する。 This paper presents a high quality singing synthesizer that is able to model a voice with limited available recordings. Based on the sequence-to-sequence singing model, we design a multi-singer framework to leverage all the existing singing data of different singers. To attenuate the issue of musical score unbalance among singers, we incorporate an adversarial task of singer classification to make encoder output less singer dependent. Furthermore, we apply multiple random window discriminators (MRWDs) on the generated acoustic features to make the network be a GAN. Both objective and subjective evaluations indicate that the proposed synthesizer can generate higher quality singing voice than baseline (4.12 vs 3.53 in MOS). Especially, the articulation of high-pitched vowels is significantly enhanced. | 翻訳日:2022-11-19 14:35:32 公開日:2020-06-18 |
| # 学習支援システムにおける保証の定量化 Quantifying Assurance in Learning-enabled Systems ( http://arxiv.org/abs/2006.10345v1 ) ライセンス: Link先を確認 | Erfan Asaadi, Ewen Denney, Ganesh Pai | (参考訳) 機械学習(ML)コンポーネントを組み込んだシステムの依存性保証 - いわゆる学習対応システム(LES) - は、安全クリティカルなアプリケーションで使用する上で重要なステップである。
新たな標準化とガイダンスの取り組みでは、その目的のために保証ケースを使用するという価値の合意が高まっている。
本稿では,LESが信頼できるという保証の量的概念を,その保証ケースのコアコンポーネントとして発展させ,MLコンポーネントに適用したこれまでの作業を拡張した。
具体的には,LESが機能的機能や信頼性特性に関連するシステムレベルの特性を有するという信頼性の確率論的定量化という,保証尺度の形式でのLES保証を特徴付ける。
本稿では,実世界の自律飛行システムへの適用による保証措置の有用性を説明し,その役割について述べる。
一 高レベルの実行リスク軽減決定を導出すること。
二 関連するダイナミック・アシュアランス・ケースの中核的な構成要素として Dependability assurance of systems embedding machine learning(ML) components---so called learning-enabled systems (LESs)---is a key step for their use in safety-critical applications. In emerging standardization and guidance efforts, there is a growing consensus in the value of using assurance cases for that purpose. This paper develops a quantitative notion of assurance that an LES is dependable, as a core component of its assurance case, also extending our prior work that applied to ML components. Specifically, we characterize LES assurance in the form of assurance measures: a probabilistic quantification of confidence that an LES possesses system-level properties associated with functional capabilities and dependability attributes. We illustrate the utility of assurance measures by application to a real world autonomous aviation system, also describing their role both in i) guiding high-level, runtime risk mitigation decisions and ii) as a core component of the associated dynamic assurance case. | 翻訳日:2022-11-19 14:35:16 公開日:2020-06-18 |
| # ブロックチェーンを用いたIoTの軽量協調異常検出 Lightweight Collaborative Anomaly Detection for the IoT using Blockchain ( http://arxiv.org/abs/2006.10587v1 ) ライセンス: Link先を確認 | Yisroel Mirsky, Tomer Golomb, Yuval Elovici | (参考訳) 急速な成長とデプロイメントのため、IoT(Internet of Things)は私たちの日常生活の中心的な側面になっています。
残念ながら、IoTデバイスには多くの脆弱性があり、攻撃者が悪用する傾向がある。
異常検出のような教師なしのテクニックは、これらのデバイスをプラグアンドプロテクトで保護するために使用できる。
しかしながら、異常検出モデルは、すべての良性の振る舞いを捉えるために、長い間訓練されなければならない。
さらに, 異常検出モデルは, 訓練段階において, 全ての観測結果が良性であると推定されるため, 敵攻撃に対して脆弱である。
本稿では,(1)異常検出のための新しいアプローチと,(2)ブロックチェーンを用いた分散環境における異常検出モデルをアサンブルする軽量フレームワークを提案する。
ブロックチェーンフレームワークは、IoTデバイス間の自己検証とコンセンサスを通じて、信頼された異常検出モデルを段階的に更新する。
本手法は,48個のraspberry piからなる分散iotシミュレーションプラットフォーム上で評価する。
このシミュレーションは、このアプローチが各デバイスのセキュリティとネットワーク全体のセキュリティをいかに向上させるかを示している。 Due to their rapid growth and deployment, the Internet of things (IoT) have become a central aspect of our daily lives. Unfortunately, IoT devices tend to have many vulnerabilities which can be exploited by an attacker. Unsupervised techniques, such as anomaly detection, can be used to secure these devices in a plug-and-protect manner. However, anomaly detection models must be trained for a long time in order to capture all benign behaviors. Furthermore, the anomaly detection model is vulnerable to adversarial attacks since, during the training phase, all observations are assumed to be benign. In this paper, we propose (1) a novel approach for anomaly detection and (2) a lightweight framework that utilizes the blockchain to ensemble an anomaly detection model in a distributed environment. Blockchain framework incrementally updates a trusted anomaly detection model via self-attestation and consensus among the IoT devices. We evaluate our method on a distributed IoT simulation platform, which consists of 48 Raspberry Pis. The simulation demonstrates how the approach can enhance the security of each device and the security of the network as a whole. | 翻訳日:2022-11-19 14:34:52 公開日:2020-06-18 |
| # SenWave: COVID-19パンデミック下でのグローバルなセンチメントのモニタリング SenWave: Monitoring the Global Sentiments under the COVID-19 Pandemic ( http://arxiv.org/abs/2006.10842v1 ) ライセンス: Link先を確認 | Qiang Yang, Hind Alamro, Somayah Albaradei, Adil Salhi, Xiaoting Lv, Changsheng Ma, Manal Alshehri, Inji Jaber, Faroug Tifratene, Wei Wang, Takashi Gojobori, Carlos M. Duarte, Xin Gao, Xiangliang Zhang | (参考訳) 世界保健機関(WHO)による最初の警告(2020年1月5日)以来、新型コロナウイルスは180以上の国や地域に広がっている。
2020年6月18日現在、合計で840万人以上が死亡し、45万人以上が死亡している。
これは世界経済と雇用に大きな損失をもたらし、世界の人口の約58%を占める。
本稿では,1億5500万件以上のツイートとWeiboメッセージを用いて,新型コロナウイルスパンデミックにおける世界的感情の高まりと減少を評価するセンウェーブについて紹介する。
この世界的健康危機に直面するときの感情を詳細に分析するために、英語の1万ツイートとアラビア語の10万ツイートに、楽観的、感謝的、共感的、悲観的、不安、悲しみ、不満、否定、公式報告、冗談を含む10のカテゴリで注釈を付けます。
次に,ラベル付きデータ上で事前学習した言語モデルを微調整し,多ラベル感傷的分類を行うために,Simple Transformerと呼ばれる統合トランスフォーマフレームワークを利用する。
一方、より完全な分析を行うために、アノテーション付き英語ツイートを異なる言語(スペイン語、イタリア語、フランス語)に翻訳し、これらの言語の感情分析モデルを構築するためのトレーニングデータを生成する。
これにより、SenWaveは新型コロナウイルス(COVID-19)に関する6つの言語(英語、スペイン語、フランス語、イタリア語、アラビア語、中国語)で世界的会話の感情を明らかにする。
この会話は、世界的会話が強く否定的に反応する先進免疫戦略のような特別な話題と同様に、すべての国で急激な増加と緩やかな減少のパターンが驚くほど似ていた。
全体として、SenWaveは楽観的かつ肯定的な感情が時間とともに増加し、新型コロナウイルス(COVID-19)の世界を改良するためのリセットを欲しがっていることを示している。 Since the first alert launched by the World Health Organization (5 January, 2020), COVID-19 has been spreading out to over 180 countries and territories. As of June 18, 2020, in total, there are now over 8,400,000 cases and over 450,000 related deaths. This causes massive losses in the economy and jobs globally and confining about 58% of the global population. In this paper, we introduce SenWave, a novel sentimental analysis work using 105+ million collected tweets and Weibo messages to evaluate the global rise and falls of sentiments during the COVID-19 pandemic. To make a fine-grained analysis on the feeling when we face this global health crisis, we annotate 10K tweets in English and 10K tweets in Arabic in 10 categories, including optimistic, thankful, empathetic, pessimistic, anxious, sad, annoyed, denial, official report, and joking. We then utilize an integrated transformer framework, called simpletransformer, to conduct multi-label sentimental classification by fine-tuning the pre-trained language model on the labeled data. Meanwhile, in order for a more complete analysis, we also translate the annotated English tweets into different languages (Spanish, Italian, and French) to generated training data for building sentiment analysis models for these languages. SenWave thus reveals the sentiment of global conversation in six different languages on COVID-19 (covering English, Spanish, French, Italian, Arabic and Chinese), followed the spread of the epidemic. The conversation showed a remarkably similar pattern of rapid rise and slow decline over time across all nations, as well as on special topics like the herd immunity strategies, to which the global conversation reacts strongly negatively. Overall, SenWave shows that optimistic and positive sentiments increased over time, foretelling a desire to seek, together, a reset for an improved COVID-19 world. | 翻訳日:2022-11-19 14:34:13 公開日:2020-06-18 |
| # トモグラフィにおける画像に基づく動き推定のための外観学習 Appearance Learning for Image-based Motion Estimation in Tomography ( http://arxiv.org/abs/2006.10390v1 ) ライセンス: Link先を確認 | Alexander Preuhs, Michael Manhart, Philipp Roser, Elisabeth Hoppe, Yixing Huang, Marios Psychogios, Markus Kowarschik, and Andreas Maier | (参考訳) トモグラフィー画像では、取得した信号に擬似逆フォワードモデルを適用して解剖構造を再構成する。
このプロセス内の幾何学的情報は、通常はシステム設定のみに依存する。
e.
スキャナの位置または読み出し方向。
したがって、患者の動きは、復元過程における幾何学的アライメントを損なう。
剛体運動の構造をスキャン対象とは独立に認識する外観学習手法を提案する。
この目的のために,シアーム三重項ネットワークを訓練し,完全獲得のための再投影誤差(reprojection error, rpe)を予測し,マルチタスク学習手法において再構成ボリュームから1つのビューに沿ってrpeの近似分布を推定する。
RPEは、トレーニング中に利用可能な仮想マーカー位置に基づいて、物体から独立して運動誘起幾何学的偏差を測定する。
27人の患者でネットワークをトレーニングし,21-4-2のスプリットをトレーニング,検証,テストに展開する。
患者間標準偏差 0.022mm の残差平均 RPE は平均 0.013mm となる。
これは以前公表された結果の2倍の精度である。
運動推定ベンチマークにおいて,提案手法は12実験中9回で2つの最先端手法と比較し,優れた結果を得た。
本手法の臨床的応用性は, 運動の影響のある臨床データセットに示す。 In tomographic imaging, anatomical structures are reconstructed by applying a pseudo-inverse forward model to acquired signals. Geometric information within this process is usually depending on the system setting only, i. e., the scanner position or readout direction. Patient motion therefore corrupts the geometry alignment in the reconstruction process resulting in motion artifacts. We propose an appearance learning approach recognizing the structures of rigid motion independently from the scanned object. To this end, we train a siamese triplet network to predict the reprojection error (RPE) for the complete acquisition as well as an approximate distribution of the RPE along the single views from the reconstructed volume in a multi-task learning approach. The RPE measures the motioninduced geometric deviations independent of the object based on virtual marker positions, which are available during training. We train our network using 27 patients and deploy a 21-4-2 split for training, validation and testing. In average, we achieve a residual mean RPE of 0.013mm with an inter-patient standard deviation of 0.022 mm. This is twice the accuracy compared to previously published results. In a motion estimation benchmark the proposed approach achieves superior results in comparison with two state-of-the-art measures in nine out of twelve experiments. The clinical applicability of the proposed method is demonstrated on a motion-affected clinical dataset. | 翻訳日:2022-11-19 14:26:46 公開日:2020-06-18 |
| # スマートベッドにおける広帯域BMI推定と識別のための深層マルチタスク学習 Deep Multitask Learning for Pervasive BMI Estimation and Identity Recognition in Smart Beds ( http://arxiv.org/abs/2006.10453v1 ) ライセンス: Link先を確認 | Vandad Davoodnia, Monet Slinowsky, Ali Etemad | (参考訳) モノのインターネット(iot)パラダイムにおけるスマートデバイスは、バイオメトリックスと健康情報の継続的な監視のための、さまざまな控えめで広汎な手段を提供する。
さらに、このようなスマートシステムによる自動パーソナライズと認証は、より良いユーザエクスペリエンスとセキュリティを可能にする。
本稿では,スマートベッドを用いた統一機械学習フレームワークによる身体質量指数(bmi)とユーザアイデンティティの同時推定とモニタリングについて検討する。
そこで我々は,マットレス上に集積された繊維系センサアレイから収集した圧力データを用いて,被験者のBMI値を推定し,深層マルチタスクニューラルネットワークを用いて異なる位置で識別する。
まず、データから14の特徴を抽出し、その後、BMI推定と2つの異なる公開データセットの主観的識別にディープニューラルネットワークを用いる。
最後に,提案手法は,ユーザのBMIを10倍のクロスバリデーションスキームで推定しながら,事前の作業と機械学習ベンチマークをかなりのマージンで上回ることを示す。 Smart devices in the Internet of Things (IoT) paradigm provide a variety of unobtrusive and pervasive means for continuous monitoring of bio-metrics and health information. Furthermore, automated personalization and authentication through such smart systems can enable better user experience and security. In this paper, simultaneous estimation and monitoring of body mass index (BMI) and user identity recognition through a unified machine learning framework using smart beds is explored. To this end, we utilize pressure data collected from textile-based sensor arrays integrated onto a mattress to estimate the BMI values of subjects and classify their identities in different positions by using a deep multitask neural network. First, we filter and extract 14 features from the data and subsequently employ deep neural networks for BMI estimation and subject identification on two different public datasets. Finally, we demonstrate that our proposed solution outperforms prior works and several machine learning benchmarks by a considerable margin, while also estimating users' BMI in a 10-fold cross-validation scheme. | 翻訳日:2022-11-19 14:26:31 公開日:2020-06-18 |
| # 生理的センサを用いた知識労働者のフロー状態の検出 Detecting Affective Flow States of Knowledge Workers Using Physiological Sensors ( http://arxiv.org/abs/2006.10635v1 ) ライセンス: Link先を確認 | Matthew Lee | (参考訳) 仕事におけるフローのような経験は、生産性と労働者の幸福のために重要です。
しかし,作業者の作業の流れを客観的に検出することは困難である。
本稿では,生理的信号に基づいて作業者の焦点状態を予測する方法について検討する。
我々は,作業中に異なるフローレベルを経験する知識労働者から生理的データを収集する実験を行った。
異なる焦点状態を引き起こすタスクを設計するために、フローの9つの特性を使いました。
Flow Short Scaleを用いた操作チェックでは、参加者が3つの異なるフロー状態、過度に挑戦する非フロー状態、および2種類のフロー状態、バランスの取れたフロー、自動フローを経験したことが確認された。
我々は、0.98平均AUCの動作状態と0.889平均AUCの動作状態とを区別できる機械学習分類器を構築した。
その結果、生理的センシングは知識労働者の集中的なフロー状態を検出することができ、個人や組織が生産性と労働者の満足度の両方を改善することができることがわかった。 Flow-like experiences at work are important for productivity and worker well-being. However, it is difficult to objectively detect when workers are experiencing flow in their work. In this paper, we investigate how to predict a worker's focus state based on physiological signals. We conducted a lab study to collect physiological data from knowledge workers experienced different levels of flow while performing work tasks. We used the nine characteristics of flow to design tasks that would induce different focus states. A manipulation check using the Flow Short Scale verified that participants experienced three distinct flow states, one overly challenging non-flow state, and two types of flow states, balanced flow, and automatic flow. We built machine learning classifiers that can distinguish between non-flow and flow states with 0.889 average AUC and rest states from working states with 0.98 average AUC. The results show that physiological sensing can detect focused flow states of knowledge workers and can enable ways to for individuals and organizations to improve both productivity and worker satisfaction. | 翻訳日:2022-11-19 14:26:14 公開日:2020-06-18 |
| # 調理シナリオにおけるマイクロ・マクロ活動を用いた複雑な活動認識のためのデータセット A dataset for complex activity recognition withmicro and macro activities in a cooking scenario ( http://arxiv.org/abs/2006.10681v1 ) ライセンス: Link先を確認 | Paula Lago, Shingo Takeda, Sayeda Shamma Alia, Kohei Adachi, Brahim Bennai, Francois Charpillet, Sozo Inoue | (参考訳) 複雑なアクティビティ認識は、それらを構成するステップを理解することの恩恵を受ける。
しかし、現在のデータセットは1つのラベルだけで注釈付けされており、この方向の研究を妨げる。
本稿では,調理シナリオにおけるマクロおよびマイクロアクティビティを特徴とするセンサベースアクティビティ認識のための新しいデータセットについて述べる。
3つのセンシングシステム、すなわち、身体の25ポイントを追跡するモーションキャプチャシステム、2つのスマートフォン加速度計、1つは腰に、もう1つは前腕に、もう1つは手首に2つのスマートウォッチを同時に測定した。
データセットはレシピ(macroアクティビティ)とステップ(microアクティビティ)の両方にラベル付けされている。
従来のアクティビティ認識パイプラインを用いたベースライン分類の結果を要約する。
データセットは、アクティビティ認識アプローチのテストと開発に容易に使用できるように設計されている。 Complex activity recognition can benefit from understanding the steps that compose them. Current datasets, however, are annotated with one label only, hindering research in this direction. In this paper, we describe a new dataset for sensor-based activity recognition featuring macro and micro activities in a cooking scenario. Three sensing systems measured simultaneously, namely a motion capture system, tracking 25 points on the body; two smartphone accelerometers, one on the hip and the other one on the forearm; and two smartwatches one on each wrist. The dataset is labeled for both the recipes (macro activities) and the steps (micro activities). We summarize the results of a baseline classification using traditional activity recognition pipelines. The dataset is designed to be easily used to test and develop activity recognition approaches. | 翻訳日:2022-11-19 14:25:56 公開日:2020-06-18 |
| # ネットワークオンチップ接続による多コアプラットフォーム上の畳み込みニューラルネットワークのマッピング Dataflow Aware Mapping of Convolutional Neural Networks Onto Many-Core Platforms With Network-on-Chip Interconnect ( http://arxiv.org/abs/2006.12274v1 ) ライセンス: Link先を確認 | Andreas Bytyn, Ren\'e Ahlsdorf, Rainer Leupers, Gerd Ascheid | (参考訳) マシンインテリジェンス、特に畳み込みニューラルネットワーク(CNN)は、ここ数年で大きな研究領域となっている。
より高度なハードウェアアクセラレータが提案され、例えば計算のスパーシティを活用し、エネルギー消費を縮小するために減算演算を利用する。
しかし、将来のプラットフォームは単なるエネルギー効率以上のものを必要とします。
物理的な実装に必要な労力は、加速器のサイズによって増大し、ターゲットの制約を満たすのが難しくなる。
複数の均質なコアで構成されるマルチコアプラットフォームを使用することで、データフローマッピングの労力の増加を犠牲にして、前述の物理的実装に関する制限を緩和することができる。
CNNのデータフローは決定論的であり、従ってオフラインで最適化できるが、実行時とオフチップメモリアクセスを最小化する適切なスキームを見つけるという問題は、相互接続システムが関与する場合にはさらに複雑になる。
この作業は、最小限のランタイムと最小限のオフチップメモリアクセスのための最適化ターゲットが異なるシングルコアレベルで、自動マッピング戦略を提供する。
この戦略は、適切なマルチコアマッピング方式に拡張され、ネットワークオンチップ相互接続によるスケーラブルなシステムレベルシミュレーションを用いて評価される。
設計スペースの探索は、有名なcnnのalexnetとvgg-16を異なるコア数とコア当たりの計算能力のプラットフォームにマッピングして、トレードオフを調査することによって行われる。
私たちのマッピング戦略とシステムセットアップは、単一のコアレベルから128コアまでスケールし、選択したアプローチの限界を示しています。 Machine intelligence, especially using convolutional neural networks (CNNs), has become a large area of research over the past years. Increasingly sophisticated hardware accelerators are proposed that exploit e.g. the sparsity in computations and make use of reduced precision arithmetic to scale down the energy consumption. However, future platforms require more than just energy efficiency: Scalability is becoming an increasingly important factor. The required effort for physical implementation grows with the size of the accelerator making it more difficult to meet target constraints. Using many-core platforms consisting of several homogeneous cores can alleviate the aforementioned limitations with regard to physical implementation at the expense of an increased dataflow mapping effort. While the dataflow in CNNs is deterministic and can therefore be optimized offline, the problem of finding a suitable scheme that minimizes both runtime and off-chip memory accesses is a challenging task which becomes even more complex if an interconnect system is involved. This work presents an automated mapping strategy starting at the single-core level with different optimization targets for minimal runtime and minimal off-chip memory accesses. The strategy is then extended towards a suitable many-core mapping scheme and evaluated using a scalable system-level simulation with a network-on-chip interconnect. Design space exploration is performed by mapping the well-known CNNs AlexNet and VGG-16 to platforms of different core counts and computational power per core in order to investigate the trade-offs. Our mapping strategy and system setup is scaled starting from the single core level up to 128 cores, thereby showing the limits of the selected approach. | 翻訳日:2022-11-19 14:25:20 公開日:2020-06-18 |
| # Caffe Barista: トレーニングループでFPGAでカフェを醸造する Caffe Barista: Brewing Caffe with FPGAs in the Training Loop ( http://arxiv.org/abs/2006.13829v1 ) ライセンス: Link先を確認 | Diederik Adriaan Vink, Aditya Rajagopal, Stylianos I. Venieris, Christos-Savvas Bouganis | (参考訳) ディープラーニング(DL)モデルの複雑さが増大するにつれて、その計算要求は増加する。
畳み込みニューラルネットワーク(CNN)のデプロイには、トレーニングと推論という2つのフェーズがある。
推論タスクは通常、リソース制約のあるデバイスで実行されるため、多くの研究がカスタムハードウェアアクセラレータの低消費電力推論の分野を調査している。
一方、トレーニングは計算集約とメモリ集約の両方で、主に大規模データセンターで電力消費のGPU上で実行される。
FPGAにおけるCNNトレーニングは、初期の研究分野である。
これは主に、電力効率のよいCNNトレーニングのための様々なハードウェアおよび/またはアルゴリズム技術を簡単にプロトタイプしてデプロイするツールがないためである。
この作業では、人気のあるディープラーニングフレームワークCaffe内のCNNのトレーニングにFPGAをシームレスに統合する自動化ツールフローであるBaristaを紹介している。
私たちの知る限りでは、CNNのFPGAベースのトレーニングのために、ハードウェアとアルゴリズムの汎用的で迅速なデプロイを可能にする唯一のツールであり、さらなる研究開発に必要なインフラを提供します。 As the complexity of deep learning (DL) models increases, their compute requirements increase accordingly. Deploying a Convolutional Neural Network (CNN) involves two phases: training and inference. With the inference task typically taking place on resource-constrained devices, a lot of research has explored the field of low-power inference on custom hardware accelerators. On the other hand, training is both more compute- and memory-intensive and is primarily performed on power-hungry GPUs in large-scale data centres. CNN training on FPGAs is a nascent field of research. This is primarily due to the lack of tools to easily prototype and deploy various hardware and/or algorithmic techniques for power-efficient CNN training. This work presents Barista, an automated toolflow that provides seamless integration of FPGAs into the training of CNNs within the popular deep learning framework Caffe. To the best of our knowledge, this is the only tool that allows for such versatile and rapid deployment of hardware and algorithms for the FPGA-based training of CNNs, providing the necessary infrastructure for further research and development. | 翻訳日:2022-11-19 14:24:52 公開日:2020-06-18 |
| # 生成型adversarial networkを用いた構造基底画像からの蛍光血管造影画像の生成 Generating Fundus Fluorescence Angiography Images from Structure Fundus Images Using Generative Adversarial Networks ( http://arxiv.org/abs/2006.10216v1 ) ライセンス: Link先を確認 | Wanyue Li, Wen Kong, Yiwei Chen, Jing Wang, Yi He, Guohua Shi, Guohua Deng | (参考訳) 蛍光血管造影は、眼科診断で一般的に用いられる網膜血管構造と機能の地図を提供するが、このイメージングモダリティは、患者に危害を与えるリスクをもたらす可能性がある。
医師が診断の潜在的なリスクを軽減するために、画像翻訳法が採用された。
本研究では, 基礎画像と基礎蛍光アンギオグラフィー画像のマッピング関係を直接学習する条件付き生成対向ネットワーク(GAN)を提案する。
さらに、各ピクセルの重要性を定義する局所的サリエンシーマップは、ganコスト関数の新たなサリエンシー損失を定義するために使用される。
これにより、小胞体および蛍光体漏出機能のより正確な学習が促進される。 Fluorescein angiography can provide a map of retinal vascular structure and function, which is commonly used in ophthalmology diagnosis, however, this imaging modality may pose risks of harm to the patients. To help physicians reduce the potential risks of diagnosis, an image translation method is adopted. In this work, we proposed a conditional generative adversarial network(GAN) - based method to directly learn the mapping relationship between structure fundus images and fundus fluorescence angiography images. Moreover, local saliency maps, which define each pixel's importance, are used to define a novel saliency loss in the GAN cost function. This facilitates more accurate learning of small-vessel and fluorescein leakage features. | 翻訳日:2022-11-19 14:19:44 公開日:2020-06-18 |
| # 徐々に凍結しない知覚的gan Progressively Unfreezing Perceptual GAN ( http://arxiv.org/abs/2006.10250v1 ) ライセンス: Link先を確認 | Jinxuan Sun, Yang Chen, Junyu Dong and Guoqiang Zhong | (参考訳) 画像生成にはGAN(Generative Adversarial Network)が広く用いられているが、生成した画像はテクスチャの詳細を欠いている。
本稿では、テクスチャの細かい画像を生成するための一般的なフレームワーク、Progressively Unfreezing Perceptual GAN(PUPGAN)を提案する。
特に,前訓練された知覚特徴抽出器を用いた適応的知覚判別器を提案する。
さらに,大規模分類タスクから特定画像生成タスクへのスムーズな転送プロセスを保証する適応的知覚判別器の段階的凍結スキームを提案する。
3つの画像生成タスク、すなわち1つの画像の超解像、ペア画像から画像への変換、非ペア画像から画像への変換の古典的なベースラインと比較した質的かつ定量的な実験は、比較したアプローチよりもpupganが優れていることを示している。 Generative adversarial networks (GANs) are widely used in image generation tasks, yet the generated images are usually lack of texture details. In this paper, we propose a general framework, called Progressively Unfreezing Perceptual GAN (PUPGAN), which can generate images with fine texture details. Particularly, we propose an adaptive perceptual discriminator with a pre-trained perceptual feature extractor, which can efficiently measure the discrepancy between multi-level features of the generated and real images. In addition, we propose a progressively unfreezing scheme for the adaptive perceptual discriminator, which ensures a smooth transfer process from a large scale classification task to a specified image generation task. The qualitative and quantitative experiments with comparison to the classical baselines on three image generation tasks, i.e. single image super-resolution, paired image-to-image translation and unpaired image-to-image translation demonstrate the superiority of PUPGAN over the compared approaches. | 翻訳日:2022-11-19 14:19:31 公開日:2020-06-18 |
| # 物体証拠と逆キャプションを用いたビデオモーメント定位 Video Moment Localization using Object Evidence and Reverse Captioning ( http://arxiv.org/abs/2006.10260v1 ) ライセンス: Link先を確認 | Madhawa Vidanapathirana, Supriya Pandhre, Sonia Raychaudhuri, Anjali Khurana | (参考訳) 非トリミングビデオにおけるモーメントの言語に基づく時間的局所化の問題に対処する。
固定カテゴリの時間的局所化と比較すると、言語ベースのクエリには事前定義されたアクティビティクラスがなく、複雑な記述も含んでいるため、この問題はより困難である。
現在の最先端モデルMACは、ビデオと言語の両方のモダリティから活動概念をマイニングすることで対処している。
本手法は,言語クエリにおける動詞/オブジェクトペアからの意味的活動概念を符号化し,ビデオアクティビティ分類予測スコアから視覚的活動概念を活用する。
MML(Multi-faceted VideoMoment Localizer)は,物体分割マスクによる視覚的物体証拠の導入によるMACモデルの拡張と,映像キャプションによる映像理解機能を提案する。
さらに,文埋め込みにおける言語モデリングも改善する。
我々はCharades-STAデータセットを用いて実験を行い、MMLがMACベースラインを4.93%、R@1とR@5metricsで1.70%上回っていることを確認した。
私たちのコードと事前トレーニングされたモデルは、https://github.com/madhawav/mmlで公開されています。 We address the problem of language-based temporal localization of moments in untrimmed videos. Compared to temporal localization with fixed categories, this problem is more challenging as the language-based queries have no predefined activity classes and may also contain complex descriptions. Current state-of-the-art model MAC addresses it by mining activity concepts from both video and language modalities. This method encodes the semantic activity concepts from the verb/object pair in a language query and leverages visual activity concepts from video activity classification prediction scores. We propose "Multi-faceted VideoMoment Localizer" (MML), an extension of MAC model by the introduction of visual object evidence via object segmentation masks and video understanding features via video captioning. Furthermore, we improve language modelling in sentence embedding. We experimented on Charades-STA dataset and identified that MML outperforms MAC baseline by 4.93% and 1.70% on R@1 and R@5metrics respectively. Our code and pre-trained model are publicly available at https://github.com/madhawav/MML. | 翻訳日:2022-11-19 14:18:51 公開日:2020-06-18 |
| # HoloGenの構造と設計 Structure and Design of HoloGen ( http://arxiv.org/abs/2006.10509v1 ) ライセンス: Link先を確認 | Peter J. Christopher and Timothy D. Wilkinson | (参考訳) 拡張現実と混合現実感システムの普及は、同様に2Dおよび3Dコンピュータ生成ホログラフィー(CGH)への関心が高まっている。
立体的アプローチとは異なり、CGHは焦点深度、調節度、収束度を含む光場を完全に表現することができる。
既存の通信、画像、投影、リソグラフィー、ビームシェイピング、光学的ツイーズ技術とともに、CGHは完全な3D表現を含む幅広いフォトニック問題に適用できるエキサイティングな技術である。
伝統的に、受け入れられる主な障害は、重要な専門知識と計算能力の両方を必要とするホログラムを生成するのに必要な重要な数値処理であった。
本稿では,HoloGenの構造と設計について論じる。
HoloGenはMITライセンスのアプリケーションで、専門家の指導なしに幅広いアルゴリズムを使ってホログラムを生成するために使われる。
HoloGenはCuda CとC++のバックエンドとC#とWindows Presentation Frameworkのグラフィカルユーザインターフェースを使用している。
記事はHoloGenの導入から始まり、その設計と構造に関する詳細な議論を提供する。
通信、データ転送、アルゴリズム的な側面に特に焦点が当てられている。 Increasing popularity of augmented and mixed reality systems has seen a similar increase of interest in 2D and 3D computer generated holography (CGH). Unlike stereoscopic approaches, CGH can fully represent a light field including depth of focus, accommodation and vergence. Along with existing telecommunications, imaging, projection, lithography, beam shaping and optical tweezing applications, CGH is an exciting technique applicable to a wide array of photonic problems including full 3D representation. Traditionally, the primary roadblock to acceptance has been the significant numerical processing required to generate holograms requiring both significant expertise and significant computational power. This article discusses the structure and design of HoloGen. HoloGen is an MIT licensed application that may be used to generate holograms using a wide array of algorithms without expert guidance. HoloGen uses a Cuda C and C++ backend with a C# and Windows Presentation Framework graphical user interface. The article begins by introducing HoloGen before providing an in-depth discussion of its design and structure. Particular focus is given to the communication, data transfer and algorithmic aspects. | 翻訳日:2022-11-19 14:18:31 公開日:2020-06-18 |
| # 2srelu周波数領域の画像分類:第2高調波重畳活性化関数 Image classification in frequency domain with 2SReLU: a second harmonics superposition activation function ( http://arxiv.org/abs/2006.10853v1 ) ライセンス: Link先を確認 | Thomio Watanabe and Denis F. Wolf | (参考訳) 深層畳み込みニューラルネットワークは複雑なパターンを特定し、超人的な能力でタスクを実行することができる。
しかし、例外的な結果の他に、それらは完全には理解されておらず、手書きによる類似の解法はいまだに実用的ではない。
本研究では、周波数領域の観点から、画像分類畳み込みニューラルネットワークとその構築ブロックを記述する。
一部のネットワーク層は、畳み込み層やプール層のような周波数領域に対応するものを確立している。
本稿では,ディープネットワークにおける高周波成分を保存する非線形アクティベーション機能である2SReLU層を提案する。
周波数領域では計算コストのかかる畳み込み演算を使わずに競争力のある結果が得られることを示す。
PyTorchのソースコード実装は、https://gitlab.com/thomio/2sreluで提供されている。 Deep Convolutional Neural Networks are able to identify complex patterns and perform tasks with super-human capabilities. However, besides the exceptional results, they are not completely understood and it is still impractical to hand-engineer similar solutions. In this work, an image classification Convolutional Neural Network and its building blocks are described from a frequency domain perspective. Some network layers have established counterparts in the frequency domain like the convolutional and pooling layers. We propose the 2SReLU layer, a novel non-linear activation function that preserves high frequency components in deep networks. It is demonstrated that in the frequency domain it is possible to achieve competitive results without using the computationally costly convolution operation. A source code implementation in PyTorch is provided at: https://gitlab.com/thomio/2srelu | 翻訳日:2022-11-19 14:18:14 公開日:2020-06-18 |
| # 過スペクトル画像分類のためのフロストフィルタ付きスケール不変特徴抽出と多層パーセプトロン Frost filtered scale-invariant feature extraction and multilayer perceptron for hyperspectral image classification ( http://arxiv.org/abs/2006.12556v1 ) ライセンス: Link先を確認 | G.Kalaiarasi, S.Maheswari | (参考訳) ハイパースペクトル画像(HSI)分類は、空間的およびスペクトル的な情報を提供する能力により、リモートセンシングの分野で重要な役割を果たす。
ハイパースペクトルリモートセンシング技術の急速な発展と増大により、hsi分類のための多くの手法が開発されているが、優れた性能を達成できていない。
超スペクトル像を高精度かつ最小時間で分類するために,Frost Filtered Scale-Invariant Feature Transformation based MultiLayer Perceptron Classification (FFSIFT-MLPC)技術を導入した。
FFSIFT-MLPC技術は、前処理、特徴抽出、複数の層を用いた分類の3つの主要なプロセスを実行する。
はじめに、ハイパースペクトル像はスペクトルバンドの数に分割される。
これらのバンドはパーセプトロンの入力層に入力として与えられる。
次に、FrostフィルタをFFSIFT-MLPC技術を用いて入力帯域を前処理し、第1の隠蔽層におけるハイパースペクトル画像からノイズを取り除く。
プリプロセッシング処理後、ガウス分布スケール不変特徴変換を用いて、第2隠れ層において、ハイパースペクトル画像のテクスチャ、色、オブジェクト特徴を抽出する。
第3の隠蔽層では、抽出された特徴と試験特徴との間のユークリッド距離を測定する。
最後に、ハイパースペクトル画像分類のための出力層で特徴マッチングを行う。
分類された出力はスペクトル帯域(すなわち異なる色)によって生成される。
実験は,PSNR,分類精度,偽陽性率,スペクトル帯数による分類時間を用いて行った。
その結果, ffsift-mlpc法により超スペクトル画像分類精度, psnrが向上し, 偽陽性率, 分類時間の最小化が可能となった。 Hyperspectral image (HSI) classification plays a significant in the field of remote sensing due to its ability to provide spatial and spectral information. Due to the rapid development and increasing of hyperspectral remote sensing technology, many methods have been developed for HSI classification but still a lack of achieving the better performance. A Frost Filtered Scale-Invariant Feature Transformation based MultiLayer Perceptron Classification (FFSIFT-MLPC) technique is introduced for classifying the hyperspectral image with higher accuracy and minimum time consumption. The FFSIFT-MLPC technique performs three major processes, namely preprocessing, feature extraction and classification using multiple layers. Initially, the hyperspectral image is divided into number of spectral bands. These bands are given as input in the input layer of perceptron. Then the Frost filter is used in FFSIFT-MLPC technique for preprocessing the input bands which helps to remove the noise from hyper-spectral image at the first hidden layer. After preprocessing task, texture, color and object features of hyper-spectral image are extracted at second hidden layer using Gaussian distributive scale-invariant feature transform. At the third hidden layer, Euclidean distance is measured between the extracted features and testing features. Finally, feature matching is carried out at the output layer for hyper-spectral image classification. The classified outputs are resulted in terms of spectral bands (i.e., different colors). Experimental analysis is performed with PSNR, classification accuracy, false positive rate and classification time with number of spectral bands. The results evident that presented FFSIFT-MLPC technique improves the hyperspectral image classification accuracy, PSNR and minimizes false positive rate as well as classification time than the state-of-the-art methods. | 翻訳日:2022-11-19 14:18:02 公開日:2020-06-18 |
| # クイックミューテーション、シーバーグの二重性、機械学習 Quiver Mutations, Seiberg Duality and Machine Learning ( http://arxiv.org/abs/2006.10783v1 ) ライセンス: Link先を確認 | Jiakang Bao, Sebasti\'an Franco, Yang-Hui He, Edward Hirst, Gregg Musiker, Yan Xiao | (参考訳) 我々は、クラスター代数の文脈において数学にも関心のあるクイバーゲージ理論の場合に焦点をあてて、セイバーグ双対性への機械学習の適用の研究を開始する。
シーバーグ双対性(seiberg duality)の一般的なテーマでは、一連の双対性類から選択された2つの理論が互いに双対であるかどうかの2次決定と、与えられた理論が属する双対性クラスの多クラス決定に大別される、様々な興味深い質問を定義し、探求する。
機械学習の性能は,クラス数や突然変異型(有限あるいは無限)など,いくつかの変数に依存する。
さらに,naive bayes分類器と畳み込みニューラルネットワークの相対的利点を評価する。
最後に,ゲージ・フレーバー群の階数や下層のディオファント方程式の存在を動機とする変数などの付加データの影響についても検討した。
考慮されたすべての質問において、高い精度と信頼性が達成できる。 We initiate the study of applications of machine learning to Seiberg duality, focusing on the case of quiver gauge theories, a problem also of interest in mathematics in the context of cluster algebras. Within the general theme of Seiberg duality, we define and explore a variety of interesting questions, broadly divided into the binary determination of whether a pair of theories picked from a series of duality classes are dual to each other, as well as the multi-class determination of the duality class to which a given theory belongs. We study how the performance of machine learning depends on several variables, including number of classes and mutation type (finite or infinite). In addition, we evaluate the relative advantages of Naive Bayes classifiers versus Convolutional Neural Networks. Finally, we also investigate how the results are affected by the inclusion of additional data, such as ranks of gauge/flavor groups and certain variables motivated by the existence of underlying Diophantine equations. In all questions considered, high accuracy and confidence can be achieved. | 翻訳日:2022-11-19 14:16:53 公開日:2020-06-18 |
| # 属性レベル共用による知識強化推薦モデル A Knowledge-Enhanced Recommendation Model with Attribute-Level Co-Attention ( http://arxiv.org/abs/2006.10233v1 ) ライセンス: Link先を確認 | Deqing Yang and Zengcun Song and Lvxin Xue and Yanghua Xiao | (参考訳) ディープニューラルネットワーク(DNN)は、パフォーマンス改善のための注意機構の導入を含む推奨システムに広く採用されている。
しかし、既存の注意に基づくモデルのほとんどは、ユーザー側にアイテムレベルの注意しか適用せず、レコメンデーションパフォーマンスのさらなる向上を制限している。
本稿では,知識グラフ(KG)から抽出した項目属性を副次情報として組み込んだ知識強化レコメンデーションモデルACAMを提案する。
具体的には、ACAMの各ユーザとアイテムは、最初は属性埋め込みのセットで表現される。
そして、ユーザ表現とアイテム表現は、異なる属性間の相関をコアテンションモジュールでキャプチャすることで同時に拡張される。
2つの現実的なデータセットに対する広範な実験により、属性レベルのコアテンションによって強化されたユーザ表現とアイテム表現が、最先端のディープモデルよりもACAMの優位性を示した。 Deep neural networks (DNNs) have been widely employed in recommender systems including incorporating attention mechanism for performance improvement. However, most of existing attention-based models only apply item-level attention on user side, restricting the further enhancement of recommendation performance. In this paper, we propose a knowledge-enhanced recommendation model ACAM, which incorporates item attributes distilled from knowledge graphs (KGs) as side information, and is built with a co-attention mechanism on attribute-level to achieve performance gains. Specifically, each user and item in ACAM are represented by a set of attribute embeddings at first. Then, user representations and item representations are augmented simultaneously through capturing the correlations between different attributes by a co-attention module. Our extensive experiments over two realistic datasets show that the user representations and item representations augmented by attribute-level co-attention gain ACAM's superiority over the state-of-the-art deep models. | 翻訳日:2022-11-19 14:16:35 公開日:2020-06-18 |
| # Shop The Look:Pinterestで大規模なビジュアルショッピングシステムを構築する Shop The Look: Building a Large Scale Visual Shopping System at Pinterest ( http://arxiv.org/abs/2006.10866v1 ) ライセンス: Link先を確認 | Raymond Shiau, Hao-Yu Wu, Eric Kim, Yue Li Du, Anqi Guo, Zhiyuan Zhang, Eileen Li, Kunlong Gu, Charles Rosenberg, Andrew Zhai | (参考訳) オンラインコンテンツがますます視覚的になるにつれて、ビジュアルクエリによる検索の需要は増大する。
Shop The LookはPinterestのオンラインショッピング発見サービスで、ビジュアル検索を利用してユーザーが画像内で商品を見つけて購入することができる。
本研究は,ショッピング指向のビジュアル検索システムであるshop the lookの構築方法と,ショッピングニーズへの対応から学んだ教訓の全体像を提供する。
本稿では,オブジェクト検出と視覚埋め込みのコア技術,リアルタイム推論のためのインフラストラクチャ提供,トレーニング/評価のためのデータラベリング方法論,人間評価などについて論じる。
システム設計選択のユーザによる影響は、オフライン評価、人間関係判断、オンラインA/B実験によって測定される。
集団的な改善は、エンド・ツー・エンドの人間関係判断で160%以上、エンゲージメントで80%以上、累積的な相対的な利益に相当します。
shop the lookはpinterestで運用されている。 As online content becomes ever more visual, the demand for searching by visual queries grows correspondingly stronger. Shop The Look is an online shopping discovery service at Pinterest, leveraging visual search to enable users to find and buy products within an image. In this work, we provide a holistic view of how we built Shop The Look, a shopping oriented visual search system, along with lessons learned from addressing shopping needs. We discuss topics including core technology across object detection and visual embeddings, serving infrastructure for realtime inference, and data labeling methodology for training/evaluation data collection and human evaluation. The user-facing impacts of our system design choices are measured through offline evaluations, human relevance judgements, and online A/B experiments. The collective improvements amount to cumulative relative gains of over 160% in end-to-end human relevance judgements and over 80% in engagement. Shop The Look is deployed in production at Pinterest. | 翻訳日:2022-11-19 14:09:52 公開日:2020-06-18 |
| # 植物育種のための深層学習によるコンピュータビジョン:調査 Computer Vision with Deep Learning for Plant Phenotyping in Agriculture: A Survey ( http://arxiv.org/abs/2006.11391v1 ) ライセンス: Link先を確認 | Akshay L Chandra, Sai Vikas Desai, Wei Guo, Vineeth N Balasubramanian | (参考訳) 世界の食料需要の増大に伴う農業の課題の増加に鑑み、効率的な作物管理技術が作物収量を増加させるために必要である。
精密農業技術により、ステークホルダーは、作物環境のモニタリングから収集したデータに基づいて、効果的かつカスタマイズされた作物管理決定を行うことができる。
植物表現型技術は、作物の正確なモニタリングにおいて重要な役割を担っている。
ディープラーニングの進歩は、以前は困難だった表現型タスクを可能にした。
本調査は,深層植物表現型研究の現状を読者に紹介することを目的としている。 In light of growing challenges in agriculture with ever growing food demand across the world, efficient crop management techniques are necessary to increase crop yield. Precision agriculture techniques allow the stakeholders to make effective and customized crop management decisions based on data gathered from monitoring crop environments. Plant phenotyping techniques play a major role in accurate crop monitoring. Advancements in deep learning have made previously difficult phenotyping tasks possible. This survey aims to introduce the reader to the state of the art research in deep plant phenotyping. | 翻訳日:2022-11-19 14:09:36 公開日:2020-06-18 |
| # STEAM:ミニパスによる自己監督型分類拡張 STEAM: Self-Supervised Taxonomy Expansion with Mini-Paths ( http://arxiv.org/abs/2006.10217v1 ) ライセンス: Link先を確認 | Yue Yu, Yinghao Li, Jiaming Shen, Hao Feng, Jimeng Sun and Chao Zhang | (参考訳) 分類学は、日常的に多くの応用を基礎とする重要な知識オントロジーであるが、実際には多くの分類学は、低い範囲の問題に苦しむ。
既存の分類学を新たな概念で拡張することを目的とした分類学拡張問題について検討する。
本稿では,STEAMという,既存の分類学の自然監督を利用した自己管理型分類拡張モデルを提案する。
自然自己スーパービジョン信号を生成し、既存の分類から蒸気サンプルをミニパスとし、アンカーミニパスとクエリワード間のノードアタッチメント予測タスクを定式化する。
ノードアタッチメントタスクを解決するために、複数のビューからクエリ-アンカーペアの機能表現を学習し、予測のためのマルチビューコトレーニングを実行する。
大規模な実験により、STEAMは3つの公的なベンチマークで11.6\%、平均7.0\%の精度で、最先端の分類法よりも優れていることが示された。
STEAMの実装は \url{https://github.com/yueyu1030/STEAM} で見ることができる。 Taxonomies are important knowledge ontologies that underpin numerous applications on a daily basis, but many taxonomies used in practice suffer from the low coverage issue. We study the taxonomy expansion problem, which aims to expand existing taxonomies with new concept terms. We propose a self-supervised taxonomy expansion model named STEAM, which leverages natural supervision in the existing taxonomy for expansion. To generate natural self-supervision signals, STEAM samples mini-paths from the existing taxonomy, and formulates a node attachment prediction task between anchor mini-paths and query terms. To solve the node attachment task, it learns feature representations for query-anchor pairs from multiple views and performs multi-view co-training for prediction. Extensive experiments show that STEAM outperforms state-of-the-art methods for taxonomy expansion by 11.6\% in accuracy and 7.0\% in mean reciprocal rank on three public benchmarks. The implementation of STEAM can be found at \url{https://github.com/yueyu1030/STEAM}. | 翻訳日:2022-11-19 14:09:28 公開日:2020-06-18 |
| # 学術論文における公式表現の抽出と評価 Extraction and Evaluation of Formulaic Expressions Used in Scholarly Papers ( http://arxiv.org/abs/2006.10334v1 ) ライセンス: Link先を確認 | Kenichi Iwatsuki, Florian Boudin and Akiko Aizawa | (参考訳) この論文で提案する公式表現は、コミュニケーション機能を伝えるため、学術論文の著者にとって有用であり、上述の論文の目的を示している」。
したがって、簡単に調べられる辞書のような公式表現の資源は有用であろう。
しかし、式表現の形式は、しばしば大きく変化する。
例えば,「本論文では提案する」,「本論文では提案する」,「本論文では提案する新しい方法」は全て公式表現とみなされる。
このようなスパンと形式の多様性は、式表現の抽出と評価の両方に問題を引き起こす。
本稿では,表現のスパンや形式の変化に頑健な新しい手法を提案する。
本手法では,文を形式的部分と非形式的部分からなるものとみなす。
すると、コーパス全体から公式表現を抽出する代わりに、各文からそれらを抽出することで、異なる形式を同時に扱うことができる。
この定式化に基づき,多様性問題を回避するために,抽出された表現を既存の語彙と比較するのではなく,特定の伝達関数をどの程度伝達するかによる抽出手法の評価を提案する。
また,文から非形式的部分を取り除くために名前付きエンティティと依存関係構造を利用する新しい抽出手法を提案する。
実験の結果,提案手法は他の既存手法と比較して優れた性能を得た。 Formulaic expressions, such as 'in this paper we propose', are helpful for authors of scholarly papers because they convey communicative functions; in the above, it is showing the aim of this paper'. Thus, resources of formulaic expressions, such as a dictionary, that could be looked up easily would be useful. However, forms of formulaic expressions can often vary to a great extent. For example, 'in this paper we propose', 'in this study we propose' and 'in this paper we propose a new method to' are all regarded as formulaic expressions. Such a diversity of spans and forms causes problems in both extraction and evaluation of formulaic expressions. In this paper, we propose a new approach that is robust to variation of spans and forms of formulaic expressions. Our approach regards a sentence as consisting of a formulaic part and non-formulaic part. Then, instead of trying to extract formulaic expressions from a whole corpus, by extracting them from each sentence, different forms can be dealt with at once. Based on this formulation, to avoid the diversity problem, we propose evaluating extraction methods by how much they convey specific communicative functions rather than by comparing extracted expressions to an existing lexicon. We also propose a new extraction method that utilises named entities and dependency structures to remove the non-formulaic part from a sentence. Experimental results show that the proposed extraction method achieved the best performance compared to other existing methods. | 翻訳日:2022-11-19 14:09:08 公開日:2020-06-18 |
| # EHLO WORLD - 会話AIが間違いから正しいことを知っているかどうかをチェックする "EHLO WORLD" -- Checking If Your Conversational AI Knows Right from Wrong ( http://arxiv.org/abs/2006.10437v1 ) ライセンス: Link先を確認 | Elayne Ruane and Vivek Nallur | (参考訳) 本稿では,会話型AIシステムの倫理的主張を評価・検証するためのアプローチについて議論する。
トップダウンの規制アプローチとボトムアッププロセスの両方に関する考察を概説する。
各アプローチの倫理的基礎について述べ,カスタマサービスのチャットボットを例に挙げて,そのハイブリッドを提案する。
我々は、複数のユースケースと競合するAIソリューションの間の羊飼いと同様に、イネーブラーとしてうまく機能するためにハイブリッドフレームワークとして存在する必要があるトップダウンおよびボトムアッププロセスの種類を推測する。 In this paper we discuss approaches to evaluating and validating the ethical claims of a Conversational AI system. We outline considerations around both a top-down regulatory approach and bottom-up processes. We describe the ethical basis for each approach and propose a hybrid which we demonstrate by taking the case of a customer service chatbot as an example. We speculate on the kinds of top-down and bottom-up processes that would need to exist for a hybrid framework to successfully function as both an enabler as well as a shepherd among multiple use-cases and multiple competing AI solutions. | 翻訳日:2022-11-19 14:08:45 公開日:2020-06-18 |
| # アクティブビジュアルオブジェクト検索のためのセマンティックリンクマップ Semantic Linking Maps for Active Visual Object Search ( http://arxiv.org/abs/2006.10807v1 ) ライセンス: Link先を確認 | Zhen Zeng, Adrian R\"ofer, Odest Chadwicke Jenkins | (参考訳) 我々は,移動ロボットが様々な人間環境で機能することを目指している。
このようなロボットは、これまで見つからなかった対象物の位置を判断できる必要がある。
ランドマークオブジェクトは、検索スペースを大幅に狭めることで、この推論に役立つ。
具体的には,ランドマークと対象物との共通空間関係に関する背景知識を活用できる。
例えば、テーブルを見て、しばしばテーブルでカップが見つかることを知ることは、カップの発見に役立つ。
このような相関は、オブジェクトのペアリング関係の可能な分布として表現することができる。
本稿では,セマンティックリンクマップ(SLiM)モデルの導入により,アクティブなビジュアルオブジェクト探索戦略を提案する。
slimは、ターゲットオブジェクトの場所とランドマークオブジェクトの場所に対する信念を同時に維持すると同時に、確率的オブジェクト間空間関係も考慮する。
slimに基づいて,維持された信念に基づいて,対象オブジェクトを検索するための次の最善の視点を選択するハイブリッド検索戦略について述べる。
シミュレーション環境における比較実験を通じて,スリム検索戦略の効率性を示す。
さらに,Fetchモバイル操作ロボットを用いたシナリオにおいて,SLiMに基づく検索の現実的な適用性を示す。 We aim for mobile robots to function in a variety of common human environments. Such robots need to be able to reason about the locations of previously unseen target objects. Landmark objects can help this reasoning by narrowing down the search space significantly. More specifically, we can exploit background knowledge about common spatial relations between landmark and target objects. For example, seeing a table and knowing that cups can often be found on tables aids the discovery of a cup. Such correlations can be expressed as distributions over possible pairing relationships of objects. In this paper, we propose an active visual object search strategy method through our introduction of the Semantic Linking Maps (SLiM) model. SLiM simultaneously maintains the belief over a target object's location as well as landmark objects' locations, while accounting for probabilistic inter-object spatial relations. Based on SLiM, we describe a hybrid search strategy that selects the next best view pose for searching for the target object based on the maintained belief. We demonstrate the efficiency of our SLiM-based search strategy through comparative experiments in simulated environments. We further demonstrate the real-world applicability of SLiM-based search in scenarios with a Fetch mobile manipulation robot. | 翻訳日:2022-11-19 14:08:15 公開日:2020-06-18 |
| # ヘリコプターサービスのオンラインレビュー分析に基づく新規航空タクシーネットワーク運用の提言 Recommendations for Emerging Air Taxi Network Operations based on Online Review Analysis of Helicopter Services ( http://arxiv.org/abs/2006.10898v1 ) ライセンス: Link先を確認 | Suchithra Rajendran, Emily Pagel | (参考訳) 交通渋滞の影響は、主に大気汚染、通勤ストレス、道路での車両運行コストや事故の増加など、悪影響がある。
都市部におけるこれらの問題を緩和するため、物流会社は、エアタクシー(UAM)サービスと呼ばれる毎日の通勤方法を導入する計画である。
これらは、Airbus、Uber、Kitty Hawkなどの国際輸送企業によって、今後数年で運用される予定の電動車両だ。
これらの空飛ぶタクシーは新しい交通手段であるため、初期設計、実施、運用の勧告を提供する必要がある。
本研究は、オンライン顧客レビューを分析し、ヘリコプター運用の内部評価を行うことにより、これらのサービスに対する管理的洞察を提案する。
ヘリコプターは, 運用上, エアタクシーと類似しているため, 前者に関する顧客レビューにより, 短距離航空サービス全般の強みや弱点を把握できる。
本研究は4段階の逐次的アプローチを用いて,第1段階のオンラインレビューを,第2段階のbigramとtrigramモデルを用いて解析し,第3段階のヘリコプターサービスに対して7段階の内部アセスメントを行い,第4段階においてエアタクシーの管理者推薦を行う。
この論文で得られた知見は、航空タクシー会社が市場に参入する際により良いカスタマーサービスを提供するのに役立つだろう。
キーワード:エアタクシー、新興技術、アーバンエアモビリティ(UAM)、ヘリコプターサービス、オンライン顧客レビュー、テキスト分析 The effects of traffic congestion are adverse, primarily including air pollution, commuter stress, and an increase in vehicle operating costs and accidents on the road. In efforts to alleviate these problems in metropolitan cities, logistics companies plan to introduce a new method of everyday commute called air taxis, an Urban Air Mobility (UAM) service. These are electric-powered vehicles that are expected to operate in the forthcoming years by international transportation companies like Airbus, Uber, and Kitty Hawk. Since these flying taxis are emerging mode of transportation, it is necessary to provide recommendations for the initial design, implementation, and operation. This study proposes managerial insights for these upcoming services by analyzing online customer reviews and conducting an internal assessment of helicopter operations. Helicopters are similar to air taxis in regards to their operations, and therefore, customer reviews pertaining to the former can enable us to obtain insights into the strengths and weaknesses of the short-distance aviation service, in general. A four-stage sequential approach is used in this research, wherein the online reviews are mined in Stage 1, analyzed using the bigram and trigram models in Stage 2, 7S internal assessment is conducted for helicopter services in Stage 3, and managerial recommendations for air taxis are proposed in Stage 4. The insights obtained in this paper could assist any air taxi companies in providing better customer service when they venture into the market. Keywords: Air taxi; Emerging technology; Urban Air Mobility (UAM); Helicopter services; Online customer reviews; Text analytics; | 翻訳日:2022-11-19 14:08:00 公開日:2020-06-18 |
| # 高次元線形回帰のための伝達学習:予測,推定,最小最適性 Transfer Learning for High-dimensional Linear Regression: Prediction, Estimation, and Minimax Optimality ( http://arxiv.org/abs/2006.10593v1 ) ライセンス: Link先を確認 | Sai Li and T. Tony Cai and Hongzhe Li | (参考訳) 本稿では,伝達学習の設定における高次元線形回帰の推定と予測について,対象モデルからのサンプルと,異なるがおそらく関連する回帰モデルからの補助サンプルを用いて検討する。
情報的」補助サンプルの集合が知られている場合、推定器と予測器が提案され、それらの最適性が確立される。
予測と推定のための収束の最適速度は、補助サンプルを用いずに対応する速度よりも速い。
これは、対象問題の学習性能を向上させるために、情報補助サンプルからの知識を転送できることを意味する。
情報的補助サンプルの集合が未知の場合,Trans-Lassoと呼ばれるデータ駆動型トランスファー学習手法を提案し,非情報的補助サンプルに対するロバスト性とその知識伝達効率を明らかにする。
提案手法は数値的研究で実証され,遺伝子発現の関連性に関するデータセットに適用される。
トランスラッソは、複数の異なる組織からのデータを補助サンプルとして組み込むことにより、標的組織における遺伝子発現予測の性能を向上させることが示されている。 This paper considers the estimation and prediction of a high-dimensional linear regression in the setting of transfer learning, using samples from the target model as well as auxiliary samples from different but possibly related regression models. When the set of "informative" auxiliary samples is known, an estimator and a predictor are proposed and their optimality is established. The optimal rates of convergence for prediction and estimation are faster than the corresponding rates without using the auxiliary samples. This implies that knowledge from the informative auxiliary samples can be transferred to improve the learning performance of the target problem. In the case that the set of informative auxiliary samples is unknown, we propose a data-driven procedure for transfer learning, called Trans-Lasso, and reveal its robustness to non-informative auxiliary samples and its efficiency in knowledge transfer. The proposed procedures are demonstrated in numerical studies and are applied to a dataset concerning the associations among gene expressions. It is shown that Trans-Lasso leads to improved performance in gene expression prediction in a target tissue by incorporating the data from multiple different tissues as auxiliary samples. | 翻訳日:2022-11-19 14:07:33 公開日:2020-06-18 |
| # 言語モデルを用いたCoqコードフォーマットの学習 Learning to Format Coq Code Using Language Models ( http://arxiv.org/abs/2006.16743v1 ) ライセンス: Link先を確認 | Pengyu Nie, Karl Palmskog, Junyi Jessy Li, Milos Gligoric | (参考訳) レコード宣言の最後の右括弧は別の行にあるべきだろうか?
書き直し戦術の議論は1つの空間で分離すべきだろうか?
coqコードは、異なる人やチームによって異なる方法で書かれる傾向がある。
Coqの言語と表記の表現性、柔軟性、拡張性は、Coqプロジェクトには様々なコーディングスタイルがあり、しばしば命名とフォーマットに関する規約として明示的に文書化されている。
特に、経験の浅いユーザでさえ、標準ライブラリとプレーンLtacを使って、Mathematical Components (MathComp)ライブラリとSSReflectを使って、慣用的なVernacularと区別することができる。
コーディング規約は理解とメンテナンスには重要ですが、文書化と強制にはコストがかかります。
coqのbeautifierのようなルールベースのフォーマッターは柔軟性が限られており、大規模な検証プロジェクトでは望ましい規約のごく一部しかキャプチャしない。
コーパスにおける正規性を捉えるための自然言語処理(NLP)技術のクラスである言語モデルの応用は、この難題に対する解決策となると信じている。
より具体的には、既存のCoqコードから規則を自動的に学習し、それから適切なコンテキストでユーザに対して慣用的なコードを提案するアプローチは、手動のアプローチや静的解析ツールよりも優れていると考えています。
最初のステップとして、coq 8.10の予備実装でcoqファイルで空間フォーマットを学び提案する初期モデルを概説し、4つのコアプロジェクトから164k行のcoqコードからなるmathcomp 1.9.0に基づくコーパスで評価する。 Should the final right bracket in a record declaration be on a separate line? Should arguments to the rewrite tactic be separated by a single space? Coq code tends to be written in distinct manners by different people and teams. The expressiveness, flexibility, and extensibility of Coq's languages and notations means that Coq projects have a wide variety of recognizable coding styles, sometimes explicitly documented as conventions on naming and formatting. In particular, even inexperienced users can distinguish vernacular using the standard library and plain Ltac from idiomatic vernacular using the Mathematical Components (MathComp) library and SSReflect. While coding conventions are important for comprehension and maintenance, they are costly to document and enforce. Rule-based formatters, such as Coq's beautifier, have limited flexibility and only capture small fractions of desired conventions in large verification projects. We believe that application of language models - a class of Natural Language Processing (NLP) techniques for capturing regularities in corpora - can provide a solution to this conundrum. More specifically, we believe that an approach based on automatically learning conventions from existing Coq code, and then suggesting idiomatic code to users in the proper context, can be superior to manual approaches and static analysis tools - both in terms of effort and results. As a first step, we here outline initial models to learn and suggest space formatting in Coq files, with a preliminary implementation for Coq 8.10, and evaluated on a corpus based on MathComp 1.9.0 which comprises 164k lines of Coq code from four core projects. | 翻訳日:2022-11-19 14:07:17 公開日:2020-06-18 |
| # SceneAdapt: 逆学習を用いたセマンティックセグメンテーションのためのシーンベースドメイン適応 SceneAdapt: Scene-based domain adaptation for semantic segmentation using adversarial learning ( http://arxiv.org/abs/2006.10386v1 ) ライセンス: Link先を確認 | Daniele Di Mauro, Antonino Furnari, Giuseppe Patan\`e, Sebastiano Battiato, Giovanni Maria Farinella | (参考訳) セマンティックセグメンテーション法は深層学習により優れた性能を達成した。
それでも、トレーニング中に見えない新しいコンテキストにそのようなアルゴリズムをデプロイする場合は、微調整を使って新しいドメインに適応するために、シーン固有のデータを収集、ラベル付けする必要がある。
このプロセスは、既に設置されているカメラが移動されたり、異なる視点によって引き起こされる異なるシーンレイアウトのためにカメラネットワークに新しいカメラが導入されたりするたびに必要となる。
収集する追加のトレーニングデータの量を制限するため、既に利用可能なラベル付きデータと、新しいカメラから来るラベル付きデータのみを使用してセマンティックセグメンテーションをトレーニングすることが理想である。
ドメイン適応タスクとしてこの問題を形式化し、関連するセマンティックラベルを用いた都市景観の新たなデータセットを導入する。
この課題に対処するための第1のアプローチとして,逆学習に基づく意味セグメンテーションアルゴリズムのシーン適応手法である sceneadapt を提案する。
ドメイン適応に対する最先端のアプローチとの比較と実験は、2つのシーンが異なる視点を持つ場合と、全く異なるシーンのイメージを構成する場合の両方で、有望なパフォーマンスを達成することを強調している。
このトピックについての研究を促進するため、私たちはWebページにコードを公開しました。 Semantic segmentation methods have achieved outstanding performance thanks to deep learning. Nevertheless, when such algorithms are deployed to new contexts not seen during training, it is necessary to collect and label scene-specific data in order to adapt them to the new domain using fine-tuning. This process is required whenever an already installed camera is moved or a new camera is introduced in a camera network due to the different scene layouts induced by the different viewpoints. To limit the amount of additional training data to be collected, it would be ideal to train a semantic segmentation method using labeled data already available and only unlabeled data coming from the new camera. We formalize this problem as a domain adaptation task and introduce a novel dataset of urban scenes with the related semantic labels. As a first approach to address this challenging task, we propose SceneAdapt, a method for scene adaptation of semantic segmentation algorithms based on adversarial learning. Experiments and comparisons with state-of-the-art approaches to domain adaptation highlight that promising performance can be achieved using adversarial learning both when the two scenes have different but points of view, and when they comprise images of completely different scenes. To encourage research on this topic, we made our code available at our web page: https://iplab.dmi.unict.it/ParkSmartSceneAdaptation/. | 翻訳日:2022-11-19 14:01:05 公開日:2020-06-18 |
| # 塗装と画像圧縮のための4次異方性拡散 Fourth-Order Anisotropic Diffusion for Inpainting and Image Compression ( http://arxiv.org/abs/2006.10406v1 ) ライセンス: Link先を確認 | Ikram Jumakulyyev and Thomas Schultz | (参考訳) エッジ強調拡散(EED)は、その画素の小さな部分集合から原画像の近接近似を再構成することができる。
これはPDEベースの画像圧縮の魅力的な基盤となる。
本研究では、第2次eedを第4次eedに一般化する。
4階拡散テンソルは、従来の2階EEDと同様の方法で正規化画像勾配から構築され、エッジに沿った拡散を許容し、その上に非線形微分関数を適用する。
我々の4階拡散テンソル形式は、以前の非等方的4階拡散ベース手法の統一的枠組みを提供し、さらなる柔軟性を提供することを示す。
高速なセミイテレーティブスキームを用いて効率的な実装を実現する。
自然画像および医用画像を用いた実験結果から,本手法は既存の第2次eedよりも正確な復元を行うことが示唆された。 Edge-enhancing diffusion (EED) can reconstruct a close approximation of an original image from a small subset of its pixels. This makes it an attractive foundation for PDE based image compression. In this work, we generalize second-order EED to a fourth-order counterpart. It involves a fourth-order diffusion tensor that is constructed from the regularized image gradient in a similar way as in traditional second-order EED, permitting diffusion along edges, while applying a non-linear diffusivity function across them. We show that our fourth-order diffusion tensor formalism provides a unifying framework for all previous anisotropic fourth-order diffusion based methods, and that it provides additional flexibility. We achieve an efficient implementation using a fast semi-iterative scheme. Experimental results on natural and medical images suggest that our novel fourth-order method produces more accurate reconstructions compared to the existing second-order EED. | 翻訳日:2022-11-19 14:00:41 公開日:2020-06-18 |
| # GANジェネレータを用いた高分解能領域表現の学習 Learning High-Resolution Domain-Specific Representations with a GAN Generator ( http://arxiv.org/abs/2006.10451v1 ) ライセンス: Link先を確認 | Danil Galeev, Konstantin Sofiiuk, Danila Rukhovich, Mikhail Romanov, Olga Barinova, Anton Konushin | (参考訳) 近年、視覚データの生成モデルは大きな進歩を遂げ、高品質で多様な画像を生成することができるようになった。
本研究では,GANジェネレータで学習した表現について検討する。
まず,これらの表現を軽量デコーダを用いてセマンティックセグメンテーションマップに簡単に投影できることを示す。
このような意味的投射は、ほんの数枚の注釈付き画像から学ぶことができる。
そこで本研究では,教師なしドメイン固有の事前学習に使用できるGANジェネレータの表現を近似するLayerMatch方式を提案する。
ラベル付きデータの少ないデータと、同じドメインからのラベルなしの大きなデータセットが利用できる場合、半教師付き学習シナリオを考える。
また,LayerMatch-pretrained backboneの使用は,ImageNetの標準教師付き事前トレーニングよりも精度が高いことがわかった。
さらに、この単純なアプローチは、トレーニング中にラベル付きデータとラベルなしデータの両方を使用する、最近の半教師付きセマンティックセグメンテーション手法よりも優れている。
実験を再現するためのソースコードは、公開時点で公開されます。 In recent years generative models of visual data have made a great progress, and now they are able to produce images of high quality and diversity. In this work we study representations learnt by a GAN generator. First, we show that these representations can be easily projected onto semantic segmentation map using a lightweight decoder. We find that such semantic projection can be learnt from just a few annotated images. Based on this finding, we propose LayerMatch scheme for approximating the representation of a GAN generator that can be used for unsupervised domain-specific pretraining. We consider the semi-supervised learning scenario when a small amount of labeled data is available along with a large unlabeled dataset from the same domain. We find that the use of LayerMatch-pretrained backbone leads to superior accuracy compared to standard supervised pretraining on ImageNet. Moreover, this simple approach also outperforms recent semi-supervised semantic segmentation methods that use both labeled and unlabeled data during training. Source code for reproducing our experiments will be available at the time of publication. | 翻訳日:2022-11-19 14:00:27 公開日:2020-06-18 |
| # 多次元スケッチ画像翻訳ネットワーク Multi-Density Sketch-to-Image Translation Network ( http://arxiv.org/abs/2006.10649v1 ) ライセンス: Link先を確認 | Jialu Huang, Jing Liao, Zhifeng Tan, Sam Kwong | (参考訳) sketch-to-image(s2i)翻訳は、写真編集やカラー化といった画像合成や操作タスクにおいて重要な役割を果たす。
スケッチ・ツー・フォトやスケッチ・トゥ・ペイントを含む特定のS2I翻訳は、アートデザイン産業において強力なツールとして使用できる。
しかし、従来の手法ではS2I翻訳を単一の密度でしかサポートしていないため、ユーザは入力スケッチを制御できない。
そこで本研究では,入力スケッチが粗いオブジェクトのアウトラインからマイクロ構造まで幅広い範囲をカバーすることができる,最初のマルチレベル密度スケッチ画像変換フレームワークを提案する。
さらに,マルチレベル密度入力スケッチの不連続表現の問題に対処するために,密度レベルを連続潜在空間に投影し,パラメータによって線形に制御する。
これによりユーザは、入力スケッチの密度や画像の生成を便利に制御できる。
さらに,顔の編集,マルチモーダルなスケッチ・ツー・フォト変換,アニメのカラー化など,さまざまなアプリケーションを対象とした各種データセットの検証に成功した。 Sketch-to-image (S2I) translation plays an important role in image synthesis and manipulation tasks, such as photo editing and colorization. Some specific S2I translation including sketch-to-photo and sketch-to-painting can be used as powerful tools in the art design industry. However, previous methods only support S2I translation with a single level of density, which gives less flexibility to users for controlling the input sketches. In this work, we propose the first multi-level density sketch-to-image translation framework, which allows the input sketch to cover a wide range from rough object outlines to micro structures. Moreover, to tackle the problem of noncontinuous representation of multi-level density input sketches, we project the density level into a continuous latent space, which can then be linearly controlled by a parameter. This allows users to conveniently control the densities of input sketches and generation of images. Moreover, our method has been successfully verified on various datasets for different applications including face editing, multi-modal sketch-to-photo translation, and anime colorization, providing coarse-to-fine levels of controls to these applications. | 翻訳日:2022-11-19 13:59:43 公開日:2020-06-18 |
| # 雑音・きめ細かいデータセットによる半教師付き認識 Semi-Supervised Recognition under a Noisy and Fine-grained Dataset ( http://arxiv.org/abs/2006.10702v1 ) ライセンス: Link先を確認 | Cheng Cui, Zhi Ye, Yangxi Li, Xinjian Li, Min Yang, Kai Wei, Bing Dai, Yanmei Zhao, Zhongji Liu, and Rong Pang | (参考訳) Simi-Supervised Recognition Challenge-FGVC7は、きめ細かい認識コンテストである。
この競争の難しさの1つは、ラベルなしのデータの使い方である。
訓練データ量を増やすために疑似タグデータマイニングを採用した。
もう一つは、非常に小さな違いで類似した鳥を識別する方法である。
汎用画像認識と細粒画像認識を組み合わせることで,この問題を解決した。
すべての汎用画像認識モデルはpaddleclasを用いてトレーニングされた。
2つの異なる深層認識モデルを組み合わせることで、私たちは最終的に競争で3位を獲得しました。 Simi-Supervised Recognition Challenge-FGVC7 is a challenging fine-grained recognition competition. One of the difficulties of this competition is how to use unlabeled data. We adopted pseudo-tag data mining to increase the amount of training data. The other one is how to identify similar birds with a very small difference, especially those have a relatively tiny main-body in examples. We combined generic image recognition and fine-grained image recognition method to solve the problem. All generic image recognition models were training using PaddleClas . Using the combination of two different ways of deep recognition models, we finally won the third place in the competition. | 翻訳日:2022-11-19 13:59:26 公開日:2020-06-18 |
| # 時空間画像パッチによる非剛性表面再構成の学習 Learning non-rigid surface reconstruction from spatio-temporal image patches ( http://arxiv.org/abs/2006.10841v1 ) ライセンス: Link先を確認 | Matteo Pedone, Abdelrahman Mostafa, Janne heikkil\"a | (参考訳) 本稿では,ビデオシーケンスから直接非剛性変形可能な物体の高密度時空間深度マップを再構成する手法を提案する。
映像の時空間パッチ上で深度を局所的に推定し、それらを組み合わせて全形状の深さ映像を復元する。
変形非剛体物体の局所時空間パッチの幾何学的複雑さは、しばしばパラメトリックモデルで忠実に表現できるほど単純であるため、異なる材料特性と光条件で描画された小さな変形長方形メッシュのデータベースを、対応する深度ビデオとともに人工的に生成し、そのようなデータを用いて畳み込みニューラルネットワークを訓練する。
本手法を合成データとkinectデータの両方で検証し, 従来の非剛体構造などの手法で得られた手法に比べて, 復元誤差が有意に低いことを実験的に観察した。 We present a method to reconstruct a dense spatio-temporal depth map of a non-rigidly deformable object directly from a video sequence. The estimation of depth is performed locally on spatio-temporal patches of the video, and then the full depth video of the entire shape is recovered by combining them together. Since the geometric complexity of a local spatio-temporal patch of a deforming non-rigid object is often simple enough to be faithfully represented with a parametric model, we artificially generate a database of small deforming rectangular meshes rendered with different material properties and light conditions, along with their corresponding depth videos, and use such data to train a convolutional neural network. We tested our method on both synthetic and Kinect data and experimentally observed that the reconstruction error is significantly lower than the one obtained using other approaches like conventional non-rigid structure from motion. | 翻訳日:2022-11-19 13:58:15 公開日:2020-06-18 |
| # Octet: 自己監督によるオンラインカタログ分類の充実 Octet: Online Catalog Taxonomy Enrichment with Self-Supervision ( http://arxiv.org/abs/2006.10276v1 ) ライセンス: Link先を確認 | Yuning Mao, Tong Zhao, Andrey Kan, Chenwei Zhang, Xin Luna Dong, Christos Faloutsos, Jiawei Han | (参考訳) 分類学は様々なドメイン、特にアイテム分類、ブラウジング、検索に広く応用されている。
オンラインカタログ分類法が普及しているにもかかわらず、そのほとんどが人間が維持しており、労働集約的でスケールが難しい。
スクラッチからの分類学の構築は文献でかなり研究されているが、既存の不完全な分類学を効果的に濃縮する方法は、オープンで重要な研究課題である。
分類学の豊かさは、新しい用語を扱うための堅牢性だけでなく、既存の分類学構造と新しい用語のアタッチメントとの整合性も要求する。
本稿では,オンラインカタログ分類エンリッチメントのための自己教師付きエンド・ツー・エンドフレームワーク octet を提案する。
Octetは、ユーザクエリ、アイテム、およびそれらの分類ノードとの関係など、オンラインカタログ分類に特有の異種情報を活用しながら、既存の分類体系以外の監督を必要としない。
用語抽出のためのシーケンスラベリングモデルを遠方からトレーニングし、グラフニューラルネットワーク(GNN)を用いて分類構造を捉え、項アタッチメントのためのクエリ-item-taxonomyインタラクションを提案する。
異なるオンラインドメインにおける大規模な実験は、自動評価と人的評価の両方を通して、最先端の手法よりもOctopの方が優れていることを示す。
特にオクテットは、オンラインでのカタログ分類を、オープンワールド評価の2倍に強化している。 Taxonomies have found wide applications in various domains, especially online for item categorization, browsing, and search. Despite the prevalent use of online catalog taxonomies, most of them in practice are maintained by humans, which is labor-intensive and difficult to scale. While taxonomy construction from scratch is considerably studied in the literature, how to effectively enrich existing incomplete taxonomies remains an open yet important research question. Taxonomy enrichment not only requires the robustness to deal with emerging terms but also the consistency between existing taxonomy structure and new term attachment. In this paper, we present a self-supervised end-to-end framework, Octet, for Online Catalog Taxonomy EnrichmenT. Octet leverages heterogeneous information unique to online catalog taxonomies such as user queries, items, and their relations to the taxonomy nodes while requiring no other supervision than the existing taxonomies. We propose to distantly train a sequence labeling model for term extraction and employ graph neural networks (GNNs) to capture the taxonomy structure as well as the query-item-taxonomy interactions for term attachment. Extensive experiments in different online domains demonstrate the superiority of Octet over state-of-the-art methods via both automatic and human evaluations. Notably, Octet enriches an online catalog taxonomy in production to 2 times larger in the open-world evaluation. | 翻訳日:2022-11-19 13:51:20 公開日:2020-06-18 |
| # AMALGUM - 自由でバランスの取れた多層Webコーパス AMALGUM -- A Free, Balanced, Multilayer English Web Corpus ( http://arxiv.org/abs/2006.10677v1 ) ライセンス: Link先を確認 | Luke Gessler, Siyao Peng, Yang Liu, Yilun Zhu, Shabnam Behzad, Amir Zeldes | (参考訳) 本稿では,4mトークンを集計し,依存性木,非名前エンティティアノテーション,コリファレンス解決,言論木など,多数の高品質な自動アノテーション層を特徴とする,自由でジャンルバランスの取れた英語webコーパスを提案する。
オープンなオンラインデータソースをタップすることで、コーパスはより小さな手作業で作成した注釈付きデータセットの代替として、不均衡や未知のコンポジション、ライセンス問題、低品質の自然言語処理といった落とし穴を避けることを目的としている。
我々は,複数のアノテーション層からの知識を活用して"nlpよりもよい"ベンチマークを実現し,得られたリソースの正確性を評価する。 We present a freely available, genre-balanced English web corpus totaling 4M tokens and featuring a large number of high-quality automatic annotation layers, including dependency trees, non-named entity annotations, coreference resolution, and discourse trees in Rhetorical Structure Theory. By tapping open online data sources the corpus is meant to offer a more sizable alternative to smaller manually created annotated data sets, while avoiding pitfalls such as imbalanced or unknown composition, licensing problems, and low-quality natural language processing. We harness knowledge from multiple annotation layers in order to achieve a "better than NLP" benchmark and evaluate the accuracy of the resulting resource. | 翻訳日:2022-11-19 13:50:24 公開日:2020-06-18 |
| # MediaPipeハンズオン:デバイス上のリアルタイムハンドトラッキング MediaPipe Hands: On-device Real-time Hand Tracking ( http://arxiv.org/abs/2006.10214v1 ) ライセンス: Link先を確認 | Fan Zhang, Valentin Bazarevsky, Andrey Vakunov, Andrei Tkachenka, George Sung, Chuo-Ling Chang, Matthias Grundmann | (参考訳) 本稿では,ar/vrアプリケーション用の単一rgbカメラからハンドスケルトンを予測するリアルタイムハンドトラッキングパイプラインを提案する。
パイプラインは2つのモデルで構成される。
1)手のひら検知器、
2)手書きのランドマークモデル。
クロスプラットフォームのMLソリューションを構築するためのフレームワークであるMediaPipeを通じて実装されている。
提案したモデルとパイプラインアーキテクチャは,モバイルGPU上でのリアルタイム推論速度と高い予測品質を示す。
MediaPipe Handsはhttps://mediapipe.dev.comで公開されている。 We present a real-time on-device hand tracking pipeline that predicts hand skeleton from single RGB camera for AR/VR applications. The pipeline consists of two models: 1) a palm detector, 2) a hand landmark model. It's implemented via MediaPipe, a framework for building cross-platform ML solutions. The proposed model and pipeline architecture demonstrates real-time inference speed on mobile GPUs and high prediction quality. MediaPipe Hands is open sourced at https://mediapipe.dev. | 翻訳日:2022-11-19 13:50:11 公開日:2020-06-18 |
| # Cascaded Regression Tracking: オンラインハードディトラクタ識別に向けて Cascaded Regression Tracking: Towards Online Hard Distractor Discrimination ( http://arxiv.org/abs/2006.10336v1 ) ライセンス: Link先を確認 | Ning Wang, Wengang Zhou, Qi Tian, Houqiang Li | (参考訳) 視覚追跡は、同様の周囲の物体によって容易に妨害される。
否定的なサンプルの中では少数派であるにもかかわらず、そのような物体は、ターゲットドリフトやモデル腐敗のリスクを増大させ、オンライン追跡やモデル更新にさらなる注目に値する。
追跡ロバスト性を高めるため,本論文では2段階の逐次回帰トラッカを提案する。
第1段階では,効率的な畳み込み回帰によって,容易に識別できる負の候補を抽出した。
第2段階では、離散サンプリングに基づくリッジ回帰は、残りのあいまいなハードサンプルを二重にチェックするように設計されており、これは完全に連結されたレイヤーの代替であり、効率的な学習のための閉形式ソルバの利点である。
OTB-2013, OTB-2015, VOT2018, VOT2019, UAV123, Temple-Color, NfS, TrackingNet, LaSOT, UAV20L, OxUvAなど,11の挑戦的追跡ベンチマークで大規模な実験が行われた。
提案手法は, 実時間速度で実行しながら, 一般的なベンチマークで最先端の性能を実現する。 Visual tracking can be easily disturbed by similar surrounding objects. Such objects as hard distractors, even though being the minority among negative samples, increase the risk of target drift and model corruption, which deserve additional attention in online tracking and model update. To enhance the tracking robustness, in this paper, we propose a cascaded regression tracker with two sequential stages. In the first stage, we filter out abundant easily-identified negative candidates via an efficient convolutional regression. In the second stage, a discrete sampling based ridge regression is designed to double-check the remaining ambiguous hard samples, which serves as an alternative of fully-connected layers and benefits from the closed-form solver for efficient learning. Extensive experiments are conducted on 11 challenging tracking benchmarks including OTB-2013, OTB-2015, VOT2018, VOT2019, UAV123, Temple-Color, NfS, TrackingNet, LaSOT, UAV20L, and OxUvA. The proposed method achieves state-of-the-art performance on prevalent benchmarks, while running in a real-time speed. | 翻訳日:2022-11-19 13:50:02 公開日:2020-06-18 |
| # 極端に高速な深層学習による胸部X線の自動生成 Automated Radiological Report Generation For Chest X-Rays With Weakly-Supervised End-to-End Deep Learning ( http://arxiv.org/abs/2006.10347v1 ) ライセンス: Link先を確認 | Shuai Zhang, Xiaoyan Xin, Yang Wang, Yachong Guo, Qiuqiao Hao, Xianfeng Yang, Jun Wang, Jian Zhang, Bing Zhang, Wei Wang | (参考訳) 胸部X線検査(CXR)は胸部疾患や異常を診断する最も一般的な臨床検査の一つである。
病院で毎日発生するcxrスキャンの量は膨大である。
したがって、医師の努力を節約できる自動診断システムは非常に貴重である。
現在、cxr診断における人工知能の応用は通常、スキャンの分類にパターン認識を用いる。
しかし、そのような手法はラベル付きデータベースに依存しており、コストが高く、通常はエラー率が大きい。
本研究では,12,000以上のcxrスキャンと放射線レポートを含むデータベースを構築し,深層畳み込みニューラルネットワークと注意機構を有するリカレントネットワークに基づくモデルを開発した。
モデルは、CXRスキャンと関連する生の放射線学的レポートから直接特徴を学習する。
このモデルは、与えられたスキャンとレポートの生成の自動認識を提供する。
生成した報告の質は,ciderスコアと放射線科医によっても評価された。
CIDErスコアは、テストデータセットの平均で約5.8である。
さらなる盲目評価は、ヒトの放射線科医に対する同等のパフォーマンスを示唆した。 The chest X-Ray (CXR) is the one of the most common clinical exam used to diagnose thoracic diseases and abnormalities. The volume of CXR scans generated daily in hospitals is huge. Therefore, an automated diagnosis system able to save the effort of doctors is of great value. At present, the applications of artificial intelligence in CXR diagnosis usually use pattern recognition to classify the scans. However, such methods rely on labeled databases, which are costly and usually have large error rates. In this work, we built a database containing more than 12,000 CXR scans and radiological reports, and developed a model based on deep convolutional neural network and recurrent network with attention mechanism. The model learns features from the CXR scans and the associated raw radiological reports directly; no additional labeling of the scans are needed. The model provides automated recognition of given scans and generation of reports. The quality of the generated reports was evaluated with both the CIDEr scores and by radiologists as well. The CIDEr scores are found to be around 5.8 on average for the testing dataset. Further blind evaluation suggested a comparable performance against human radiologist. | 翻訳日:2022-11-19 13:49:41 公開日:2020-06-18 |
| # 携帯型ラマン分光計における未知物質同定に向けた1次元畳み込みニューラルネットワークの検討 A Review of 1D Convolutional Neural Networks toward Unknown Substance Identification in Portable Raman Spectrometer ( http://arxiv.org/abs/2006.10575v1 ) ライセンス: Link先を確認 | M. Hamed Mozaffari and Li-Lin Tay | (参考訳) ラマン分光法(英: raman spectroscopy)は、品質管理から最先端の生物医学研究まで応用できる強力な分析ツールである。
過去10年間に大きな進歩を遂げた分野の1つは、強力なハンドヘルドラマン分光器の開発である。
これらは、未知の物質のフィールド分析のために、最初の応答者や法執行機関によって広く採用されている。
ラマン分光法による未知物質の検出と同定は、手元にあるデバイスのスペクトルマッチング能力に大きく依存している。
従来のスペクトルマッチングアルゴリズム(相関、ドット積など)は、未知のラマンスペクトルを大きな参照データベースと比較することにより、未知のラマンスペクトルの同定に用いられている。
これは典型的には、基準スペクトルと未知スペクトルの画素間差のブルートフォース和によって達成される。
従来のアルゴリズムには明らかな欠点がある。
例えば、純粋な化合物を同定するのにうまく機能するが、混合化合物には適さない。
例えば、サンプル数に対して多数のクラスを持つ限定された参照スペクトルがアクセス不能なデータベースは、フィールド分析の用途にラマン分光法を広く使用するための欠点となっている。
最先端のディープラーニング手法(特に畳み込みニューラルネットワークCNN)は、代替アプローチとして、従来のスペクトル比較アルゴリズムよりも多くの利点を示す。
最適化では、未知の物質のフィールド検出のためのハンドヘルド分光計に配備するのが理想的である。
本研究では,ラマンスペクトル同定における一次元CNNの利用に関する包括的調査を行う。
具体的には、ハンドヘルドラマン分光計におけるこの強力な深層学習技術の利用を、ハンドヘルドシステムの消費電力と計算能力の潜在的な限界を考慮して強調する。 Raman spectroscopy is a powerful analytical tool with applications ranging from quality control to cutting edge biomedical research. One particular area which has seen tremendous advances in the past decade is the development of powerful handheld Raman spectrometers. They have been adopted widely by first responders and law enforcement agencies for the field analysis of unknown substances. Field detection and identification of unknown substances with Raman spectroscopy rely heavily on the spectral matching capability of the devices on hand. Conventional spectral matching algorithms (such as correlation, dot product, etc.) have been used in identifying unknown Raman spectrum by comparing the unknown to a large reference database. This is typically achieved through brute-force summation of pixel-by-pixel differences between the reference and the unknown spectrum. Conventional algorithms have noticeable drawbacks. For example, they tend to work well with identifying pure compounds but less so for mixture compounds. For instance, limited reference spectra inaccessible databases with a large number of classes relative to the number of samples have been a setback for the widespread usage of Raman spectroscopy for field analysis applications. State-of-the-art deep learning methods (specifically convolutional neural networks CNNs), as an alternative approach, presents a number of advantages over conventional spectral comparison algorism. With optimization, they are ideal to be deployed in handheld spectrometers for field detection of unknown substances. In this study, we present a comprehensive survey in the use of one-dimensional CNNs for Raman spectrum identification. Specifically, we highlight the use of this powerful deep learning technique for handheld Raman spectrometers taking into consideration the potential limit in power consumption and computation ability of handheld systems. | 翻訳日:2022-11-19 13:43:14 公開日:2020-06-18 |
| # 潜伏ビデオトランスフォーマ Latent Video Transformer ( http://arxiv.org/abs/2006.10704v1 ) ライセンス: Link先を確認 | Ruslan Rakhimov, Denis Volkhonskiy, Alexey Artemov, Denis Zorin, Evgeny Burnaev | (参考訳) ビデオ生成タスクは、過去のフレームを与えられた将来のビデオフレームの予測として定式化することができる。
最近のビデオ生成モデルは高い計算要求の問題に直面している。
いくつかのモデルは、並列トレーニングのために最大512個のテンソルプロセッシングユニットを必要とする。
本研究では,潜在空間の力学をモデル化することでこの問題に対処する。
フレームが潜在空間に変換された後、我々のモデルは次のフレームに対する潜在表現を自己回帰的に予測する。
我々は,BAIR Robot Pushing と Kinetics-600 のデータセットにアプローチの有効性を示す。
このアプローチは、モデルトレーニングのための8つのグラフィカルな処理ユニットへの要求を削減し、同等の世代品質を維持する傾向がある。 The video generation task can be formulated as a prediction of future video frames given some past frames. Recent generative models for videos face the problem of high computational requirements. Some models require up to 512 Tensor Processing Units for parallel training. In this work, we address this problem via modeling the dynamics in a latent space. After the transformation of frames into the latent space, our model predicts latent representation for the next frames in an autoregressive manner. We demonstrate the performance of our approach on BAIR Robot Pushing and Kinetics-600 datasets. The approach tends to reduce requirements to 8 Graphical Processing Units for training the models while maintaining comparable generation quality. | 翻訳日:2022-11-19 13:42:52 公開日:2020-06-18 |
| # 擬似超音波画像の深部画像変換 Deep Image Translation for Enhancing Simulated Ultrasound Images ( http://arxiv.org/abs/2006.10850v1 ) ライセンス: Link先を確認 | Lin Zhang, Tiziano Portenier, Christoph Paulus, Orcun Goksel | (参考訳) レイトレーシングに基づく超音波シミュレーションにより,高リアルな画像の合成が可能となる。
ソノグラフィーを教育ツールとして訓練するためのインタラクティブな環境を提供することができる。
しかし、高い計算要求のため、画像品質と対話性の間にトレードオフがあり、おそらくは対話的なレートで準最適結果をもたらす。
本研究では,シミュレーション画像の品質を一定の計算時間で向上させることで,このトレードオフを緩和する逆学習に基づく深層学習手法を提案する。
画像から画像への変換フレームワークを用いて、低画質の画像を高品質なバージョンに翻訳する。
低画質の画像で失われる可能性のある解剖情報を組み込むため、画像翻訳にセグメンテーションマップも提供する。
さらに,音響減衰マップからの情報を活用し,音響影や指向性アーチファクトの保存性を向上させることを提案する。
提案手法では,fr\'{e}chet開始距離が7.2%,パッチベースkullback-leiblerダイバージェンスが8.9%向上した。 Ultrasound simulation based on ray tracing enables the synthesis of highly realistic images. It can provide an interactive environment for training sonographers as an educational tool. However, due to high computational demand, there is a trade-off between image quality and interactivity, potentially leading to sub-optimal results at interactive rates. In this work we introduce a deep learning approach based on adversarial training that mitigates this trade-off by improving the quality of simulated images with constant computation time. An image-to-image translation framework is utilized to translate low quality images into high quality versions. To incorporate anatomical information potentially lost in low quality images, we additionally provide segmentation maps to image translation. Furthermore, we propose to leverage information from acoustic attenuation maps to better preserve acoustic shadows and directional artifacts, an invaluable feature for ultrasound image interpretation. The proposed method yields an improvement of 7.2% in Fr\'{e}chet Inception Distance and 8.9% in patch-based Kullback-Leibler divergence. | 翻訳日:2022-11-19 13:41:47 公開日:2020-06-18 |
| # 逆問題に対する学習アプローチのためのモデル・アウェア正規化 Model-Aware Regularization For Learning Approaches To Inverse Problems ( http://arxiv.org/abs/2006.10869v1 ) ライセンス: Link先を確認 | Jaweria Amjad, Zhaoyan Lyu, Miguel R. D. Rodrigues | (参考訳) 医療画像で発生する復元問題など、様々な逆問題があり、観察に興味のある変数をマッピングするフォワード演算子をよく認識している。
したがって、このようなフォワード演算子の知識を、逆問題を解くためにますます使われる深層学習アプローチで活用できるかどうかを問うことは自然である。
本稿では,逆問題に適用可能な深層学習法の一般化誤差の解析を通して,そのような方法を提案する。
特に,アルゴリズム的ロバスト性フレームワーク上に構築することにより,データ空間の複雑さ,トレーニングセットのサイズ,ディープニューラルネットワークのヤコビアン,フォワード演算子とニューラルネットワークの構成のヤコビアンといった学習問題に関連する重要な要素をカプセル化する一般化誤りバウンドを提供する。
次に、フォワードマップの知識を活用してネットワークの一般化を改善する「プラグアンドプレイ」レギュラーを提案する。
同様に、我々は既存のものよりもはるかに計算効率の良い関係関数のリプシッツ定数を強く上限にすることができる新しい方法も提案する。
提案手法は,古典的圧縮センシング設定や磁気共鳴イメージング(MRI)の高速化など,様々なサブサンプリング演算子に関わる逆問題に対して,モデル認識型正規化深層学習アルゴリズムの有効性を示す。 There are various inverse problems -- including reconstruction problems arising in medical imaging -- where one is often aware of the forward operator that maps variables of interest to the observations. It is therefore natural to ask whether such knowledge of the forward operator can be exploited in deep learning approaches increasingly used to solve inverse problems. In this paper, we provide one such way via an analysis of the generalisation error of deep learning methods applicable to inverse problems. In particular, by building on the algorithmic robustness framework, we offer a generalisation error bound that encapsulates key ingredients associated with the learning problem such as the complexity of the data space, the size of the training set, the Jacobian of the deep neural network and the Jacobian of the composition of the forward operator with the neural network. We then propose a 'plug-and-play' regulariser that leverages the knowledge of the forward map to improve the generalization of the network. We likewise also propose a new method allowing us to tightly upper bound the Lipschitz constants of the relevant functions that is much more computational efficient than existing ones. We demonstrate the efficacy of our model-aware regularised deep learning algorithms against other state-of-the-art approaches on inverse problems involving various sub-sampling operators such as those used in classical compressed sensing setup and accelerated Magnetic Resonance Imaging (MRI). | 翻訳日:2022-11-19 13:41:30 公開日:2020-06-18 |
| # 時間的動的相互作用のロバスト教師なし学習 Robust Unsupervised Learning of Temporal Dynamic Interactions ( http://arxiv.org/abs/2006.10241v1 ) ライセンス: Link先を確認 | Aritra Guha, Rayleigh Lei, Jiacheng Zhu, XuanLong Nguyen and Ding Zhao | (参考訳) 時間的動的相互作用のロバスト表現学習は、一般にロボット学習において重要な問題であり、特に教師なし学習の自動化である。
時間的動的相互作用は、(複数の)幾何学的軌跡により、教師なし学習技術を用いて生データと高次元データから有用な特徴を抽出することができる。
時間的動的相互作用に対するロバスト表現学習に幾何学的アプローチを採り、調整パラメータに関して教師なし学習法の安定性を比較・評価するための適切な指標と体系的方法論を開発することが必要である。
このようなメトリクスは、物理的世界の(幾何学的な)制約と、学習パターンに関連する不確実性を考慮する必要がある。
本稿では,インタラクションのロバスト表現学習のための拡張距離に基づくモデルフリーメトリックと,相互作用プリミティブの分布を比較できる最適なトランスポートベース距離メトリックを提案する。
これらの距離メトリクスは、相互作用学習アルゴリズムの安定性を評価する目的として機能する。
異なるアルゴリズムによって生成された結果を比較するためにも用いられる。
さらに、クラスターと代表的相互作用プリミティブを得る客観的関数として採用することもできる。
これらの概念と技術は数学的性質とともに導入され、その有用性は、世界最大のコネクテッドカー用データベースであるsafety pilot databaseから抽出された車両間相互作用の教師なし学習で実証される。 Robust representation learning of temporal dynamic interactions is an important problem in robotic learning in general and automated unsupervised learning in particular. Temporal dynamic interactions can be described by (multiple) geometric trajectories in a suitable space over which unsupervised learning techniques may be applied to extract useful features from raw and high-dimensional data measurements. Taking a geometric approach to robust representation learning for temporal dynamic interactions, it is necessary to develop suitable metrics and a systematic methodology for comparison and for assessing the stability of an unsupervised learning method with respect to its tuning parameters. Such metrics must account for the (geometric) constraints in the physical world as well as the uncertainty associated with the learned patterns. In this paper we introduce a model-free metric based on the Procrustes distance for robust representation learning of interactions, and an optimal transport based distance metric for comparing between distributions of interaction primitives. These distance metrics can serve as an objective for assessing the stability of an interaction learning algorithm. They are also used for comparing the outcomes produced by different algorithms. Moreover, they may also be adopted as an objective function to obtain clusters and representative interaction primitives. These concepts and techniques will be introduced, along with mathematical properties, while their usefulness will be demonstrated in unsupervised learning of vehicle-to-vechicle interactions extracted from the Safety Pilot database, the world's largest database for connected vehicles. | 翻訳日:2022-11-19 13:41:07 公開日:2020-06-18 |
| # 競争政策最適化 Competitive Policy Optimization ( http://arxiv.org/abs/2006.10611v1 ) ライセンス: Link先を確認 | Manish Prajapat, Kamyar Azizzadenesheli, Alexander Liniger, Yisong Yue, Anima Anandkumar | (参考訳) 競争的マルコフ決定過程における政策最適化の核となる課題は、望ましい収束性と安定性を備えた効率的な最適化手法の設計である。
そこで本研究では,競争ゲームのゲーム理論的性質を活かし,政策更新を導出する新しい政策勾配手法である競争政策最適化(copo)を提案する。
競合勾配最適化法に動機づけられ,ゲーム目標の双線型近似を導出する。
対照的に、オフザシェルフポリシー勾配法は線形近似のみを利用するため、プレイヤー間の相互作用を捉えない。
私たちはCoPOを2つの方法でインスタンス化する。
(i)競争力のある政策勾配、
(ii)信頼地域競争政策の最適化。
我々は,これらの手法を理論的に研究し,包括的かつ挑戦的かつ競争的なゲーム上での行動について実証的に検討する。
基本方針勾配法に対して, 安定した最適化, 洗練された戦略への収束, 高いスコアを提供する。 A core challenge in policy optimization in competitive Markov decision processes is the design of efficient optimization methods with desirable convergence and stability properties. To tackle this, we propose competitive policy optimization (CoPO), a novel policy gradient approach that exploits the game-theoretic nature of competitive games to derive policy updates. Motivated by the competitive gradient optimization method, we derive a bilinear approximation of the game objective. In contrast, off-the-shelf policy gradient methods utilize only linear approximations, and hence do not capture interactions among the players. We instantiate CoPO in two ways:(i) competitive policy gradient, and (ii) trust-region competitive policy optimization. We theoretically study these methods, and empirically investigate their behavior on a set of comprehensive, yet challenging, competitive games. We observe that they provide stable optimization, convergence to sophisticated strategies, and higher scores when played against baseline policy gradient methods. | 翻訳日:2022-11-19 13:33:11 公開日:2020-06-18 |
| # 静止グラフ信号の平均点変化点のオフライン検出 Offline detection of change-points in the mean for stationary graph signals ( http://arxiv.org/abs/2006.10628v1 ) ライセンス: Link先を確認 | Alejandro de la Concha, Nicolas Vayatis, Argyris Kalogeratos | (参考訳) 本稿では,既知のグラフのノード上で定義された多変量信号の平均値の変化を検出することを目的として,グラフ信号のストリームをセグメント化する問題に対処する。
本稿では,グラフ信号定常性の概念に依存したオフラインアルゴリズムを提案し,この問題を元の頂点領域からスペクトル領域(グラフフーリエ変換)への便利な変換を可能にした。
得られたスペクトル表現は実際の応用では少ないが、我々の知る限り、この性質は既存の関連文献ではあまり利用されていない。
我々の主な貢献は、スペクトル表現のスパース性を考慮して自動的に変化点数を決定するモデル選択パースペクティブを採用する変化点検出アルゴリズムである。
我々の検出器は非漸近的なオラクルの不等式を証明し、数値実験により本手法の有効性を実証する。 This paper addresses the problem of segmenting a stream of graph signals: we aim to detect changes in the mean of the multivariate signal defined over the nodes of a known graph. We propose an offline algorithm that relies on the concept of graph signal stationarity and allows the convenient translation of the problem from the original vertex domain to the spectral domain (Graph Fourier Transform), where it is much easier to solve. Although the obtained spectral representation is sparse in real applications, to the best of our knowledge this property has not been much exploited in the existing related literature. Our main contribution is a change-point detection algorithm that adopts a model selection perspective, which takes into account the sparsity of the spectral representation and determines automatically the number of change-points. Our detector comes with a proof of a non-asymptotic oracle inequality, numerical experiments demonstrate the validity of our method. | 翻訳日:2022-11-19 13:32:57 公開日:2020-06-18 |
| # ヒルベルトスケールの確率的勾配降下:滑らかさ、プレコンディショニング、早期停止 Stochastic Gradient Descent in Hilbert Scales: Smoothness, Preconditioning and Earlier Stopping ( http://arxiv.org/abs/2006.10840v1 ) ライセンス: Link先を確認 | Nicole M\"ucke and Enrico Reiss | (参考訳) SGD(Stochastic Gradient Descent)は、幅広い機械学習問題を解決する方法として選択されている。
しかし、その学習特性の一部は、まだ完全には理解されていない。
我々は、カーネルヒルベルト空間(rkhss)の再現における最小二乗学習を検討し、古典的sgd解析をコンパクトリーマン多様体上のソボレフ空間や拡散空間を含むヒルベルトスケールの学習集合へと拡張する。
従来型のベンチマーク・スムースネスの仮定に違反したモデルが学習率に多大な影響を与えていることを示す。
さらに,ミス特定モデルでは,適切なヒルベルトスケールでの事前条件付けが反復数を減らすこと,すなわち「早期停止」を可能にすることを示す。 Stochastic Gradient Descent (SGD) has become the method of choice for solving a broad range of machine learning problems. However, some of its learning properties are still not fully understood. We consider least squares learning in reproducing kernel Hilbert spaces (RKHSs) and extend the classical SGD analysis to a learning setting in Hilbert scales, including Sobolev spaces and Diffusion spaces on compact Riemannian manifolds. We show that even for well-specified models, violation of a traditional benchmark smoothness assumption has a tremendous effect on the learning rate. In addition, we show that for miss-specified models, preconditioning in an appropriate Hilbert scale helps to reduce the number of iterations, i.e. allowing for "earlier stopping". | 翻訳日:2022-11-19 13:31:49 公開日:2020-06-18 |
| # マルチエージェント強化学習を用いた効率的なライドシェアリングディスパッチ Efficient Ridesharing Dispatch Using Multi-Agent Reinforcement Learning ( http://arxiv.org/abs/2006.10897v1 ) ライセンス: Link先を確認 | Oscar de Lima, Hansal Shah, Ting-Sheng Chu, Brian Fogelson | (参考訳) ライドシェアリングサービスの出現に伴い、さまざまなニーズに頼っている人々の数が大幅に増加した。
この問題に取り組む初期のアプローチのほとんどは、旅行時間と乗客の待ち時間を推定するための手作り機能を必要としていた。
ライドシェアリング問題を解決するための従来の強化学習(RL)に基づく手法は、タクシーが運用する複雑な環境を正確にモデル化することができない。
独立DQN(IDQN)に基づく事前マルチエージェントディープRL法は,複数エージェントの同時学習と探索により不安定な分散値関数を学習する。
提案手法は,分散実行による集中学習を実現することができる。
固定グリッドサイズでのIDQNベースラインよりも優れた性能を示し、より小さなグリッドサイズやより大きなグリッドサイズに最適化できることを示す。
また,本アルゴリズムは,各エピソードの乗客数や車数が異なるシナリオにおいて,IDQNベースラインを上回っている。
私たちの論文のコードは、https://github.com/UMich-ML-Group/RL-Ride Shareで公開されています。 With the advent of ride-sharing services, there is a huge increase in the number of people who rely on them for various needs. Most of the earlier approaches tackling this issue required handcrafted functions for estimating travel times and passenger waiting times. Traditional Reinforcement Learning (RL) based methods attempting to solve the ridesharing problem are unable to accurately model the complex environment in which taxis operate. Prior Multi-Agent Deep RL based methods based on Independent DQN (IDQN) learn decentralized value functions prone to instability due to the concurrent learning and exploring of multiple agents. Our proposed method based on QMIX is able to achieve centralized training with decentralized execution. We show that our model performs better than the IDQN baseline on a fixed grid size and is able to generalize well to smaller or larger grid sizes. Also, our algorithm is able to outperform IDQN baseline in the scenario where we have a variable number of passengers and cars in each episode. Code for our paper is publicly available at: https://github.com/UMich-ML-Group/RL-Ridesharing. | 翻訳日:2022-11-19 13:31:13 公開日:2020-06-18 |
| # ネットワークが低次元領域で高周波関数を学習できるフーリエ機能 Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional Domains ( http://arxiv.org/abs/2006.10739v1 ) ライセンス: Link先を確認 | Matthew Tancik, Pratul P. Srinivasan, Ben Mildenhall, Sara Fridovich-Keil, Nithin Raghavan, Utkarsh Singhal, Ravi Ramamoorthi, Jonathan T. Barron, Ren Ng | (参考訳) 単純なフーリエ特徴マッピングによる入力点の通過により、多層パーセプトロン(mlp)が低次元問題領域で高周波関数を学習できることを示す。
これらの結果は、複雑な3Dオブジェクトやシーンを表現するためにMLPを使用して、最先端の成果を達成するコンピュータビジョンとグラフィックスの最近の進歩に光を当てた。
神経接核 (neural tangent kernel, ntk) の文献から得られたツールを用いて, 標準mlpは理論上, 実用上, 高い周波数を学習できないことを示した。
このスペクトルバイアスを克服するために、有効なntkを波長可変帯域を持つ定常カーネルに変換するため、フーリエ特徴マッピングを用いる。
コンピュータビジョンやグラフィックコミュニティに関連する低次元回帰タスクにおいて,MLPの性能を大幅に向上させる問題固有のフーリエ機能を選択する手法を提案する。 We show that passing input points through a simple Fourier feature mapping enables a multilayer perceptron (MLP) to learn high-frequency functions in low-dimensional problem domains. These results shed light on recent advances in computer vision and graphics that achieve state-of-the-art results by using MLPs to represent complex 3D objects and scenes. Using tools from the neural tangent kernel (NTK) literature, we show that a standard MLP fails to learn high frequencies both in theory and in practice. To overcome this spectral bias, we use a Fourier feature mapping to transform the effective NTK into a stationary kernel with a tunable bandwidth. We suggest an approach for selecting problem-specific Fourier features that greatly improves the performance of MLPs for low-dimensional regression tasks relevant to the computer vision and graphics communities. | 翻訳日:2022-11-19 13:25:02 公開日:2020-06-18 |
| # SEAL:Segment-wise Extractive-Abstractive Long-form Text Summarization SEAL: Segment-wise Extractive-Abstractive Long-form Text Summarization ( http://arxiv.org/abs/2006.10213v1 ) ライセンス: Link先を確認 | Yao Zhao, Mohammad Saleh, Peter J.Liu | (参考訳) シーケンシャル・ツー・シーケンスパラダイムのほとんどの先行研究は、共通のrnnとトランスフォーマーアーキテクチャの計算上の制約のために、何百ものトークンに入力シーケンス長を持つデータセットに焦点を当てた。
本稿では,入力シーケンス長が10万トークンまで,出力シーケンス長が768トークンまでである長文抽象テキスト要約について検討する。
入力スニペットを動的に抽出・選択し,各出力セグメントに疎通する,新しいエンコーダ・デコーダを特徴とするトランスフォーマーベースモデルSEALを提案する。
原文書と要約のみを用いることで,抽出層に対する弱い監督と抽象要約からの定期的な監督を同時に行うプロキシラベルを導出する。
SEALモデルは、既存の長文要約タスクの最先端結果を実現し、より長い入力テキストを持つ新しいデータセット/タスクであるSearch2Wikiにおいて、強力なベースラインモデルより優れている。
コンテンツ選択はSEALモデルで明示的であるため、その選択を検査して解釈可能性を高めることが望ましい副作用である。 Most prior work in the sequence-to-sequence paradigm focused on datasets with input sequence lengths in the hundreds of tokens due to the computational constraints of common RNN and Transformer architectures. In this paper, we study long-form abstractive text summarization, a sequence-to-sequence setting with input sequence lengths up to 100,000 tokens and output sequence lengths up to 768 tokens. We propose SEAL, a Transformer-based model, featuring a new encoder-decoder attention that dynamically extracts/selects input snippets to sparsely attend to for each output segment. Using only the original documents and summaries, we derive proxy labels that provide weak supervision for extractive layers simultaneously with regular supervision from abstractive summaries. The SEAL model achieves state-of-the-art results on existing long-form summarization tasks, and outperforms strong baseline models on a new dataset/task we introduce, Search2Wiki, with much longer input text. Since content selection is explicit in the SEAL model, a desirable side effect is that the selection can be inspected for enhanced interpretability. | 翻訳日:2022-11-19 13:24:27 公開日:2020-06-18 |
| # Record fusion: 学習アプローチ Record fusion: A learning approach ( http://arxiv.org/abs/2006.10208v1 ) ライセンス: Link先を確認 | Alireza Heidari, George Michalopoulos, Shrinu Kushagra, Ihab F. Ilyas, Theodoros Rekatsinas | (参考訳) Record fusionは、データベース内の同じ現実世界のエンティティに対応する複数のレコードを集約するタスクである。
record fusionは、各エンティティの属性の"正しい"値を予測することを目的としている機械学習の問題と見なすことができる。
データベースが与えられた場合、属性レベル、レコードレベル、データベースレベルの信号を組み合わせて、そのデータベースの各セル(または(row, col))の特徴ベクトルを構築します。
この特徴ベクトルと接地情報を用いてデータベースの属性ごとに分類器を学習する。
学習アルゴリズムは,新しい段階的加法モデルを用いる。
各段階で、元の特徴ベクトルの一部と前段からの予測によって計算された特徴を組み合わせることで、新しい特徴ベクトルを構築する。
次に、新しい機能空間でsoftmax分類器を学習します。
この強欲な段階的アプローチは、各段階で元の特徴ベクトルのより複雑な非線形変換を追加する深層モデルと見なすことができる。
提案手法では,実世界の多種多様なデータセットにまたがるソース情報がない場合,平均98%の精度でレコードを融合し,約94%の精度でソース情報を融合する。
文献にみるデータ融合とエンティティ統合手法の包括的収集に対する我々のアプローチを比較した。
本手法は,ソース情報無しで平均20%/～45%の精度向上を達成できることを示す。 Record fusion is the task of aggregating multiple records that correspond to the same real-world entity in a database. We can view record fusion as a machine learning problem where the goal is to predict the "correct" value for each attribute for each entity. Given a database, we use a combination of attribute-level, recordlevel, and database-level signals to construct a feature vector for each cell (or (row, col)) of that database. We use this feature vector alongwith the ground-truth information to learn a classifier for each of the attributes of the database. Our learning algorithm uses a novel stagewise additive model. At each stage, we construct a new feature vector by combining a part of the original feature vector with features computed by the predictions from the previous stage. We then learn a softmax classifier over the new feature space. This greedy stagewise approach can be viewed as a deep model where at each stage, we are adding more complicated non-linear transformations of the original feature vector. We show that our approach fuses records with an average precision of ~98% when source information of records is available, and ~94% without source information across a diverse array of real-world datasets. We compare our approach to a comprehensive collection of data fusion and entity consolidation methods considered in the literature. We show that our approach can achieve an average precision improvement of ~20%/~45% with/without source information respectively. | 翻訳日:2022-11-19 13:24:09 公開日:2020-06-18 |
| # ニューラルマニフォールド正規微分方程式 Neural Manifold Ordinary Differential Equations ( http://arxiv.org/abs/2006.10254v1 ) ライセンス: Link先を確認 | Aaron Lou, Derek Lim, Isay Katsman, Leo Huang, Qingxuan Jiang, Ser-Nam Lim, Christopher De Sa | (参考訳) データ幾何学をよりよく適合させるために、最近の深層生成モデリング技術はユークリッド構造を非ユークリッド空間に適応させる。
本稿では,多様体上の正規化フローについて検討する。
以前の研究は特定のケースのためのフローモデルを開発したが、これらの進歩はマニホールドベースでクラフト層を手作りし、汎用性を制限し、厄介な設計制約を誘導する。
神経多様体の常微分方程式は, 多様体連続正規化フロー(mcnfs)の構成を可能にする神経オデムの多様体一般化である。
MCNF は局所幾何学(以前の任意の多様体への一般化)と変数の連続的な変化を伴う確率(単純で表現力のあるフロー構成が可能)のみを必要とする。
連続多様体力学の活用は密度推定と下流タスクの両方において顕著な改善をもたらす。 To better conform to data geometry, recent deep generative modelling techniques adapt Euclidean constructions to non-Euclidean spaces. In this paper, we study normalizing flows on manifolds. Previous work has developed flow models for specific cases; however, these advancements hand craft layers on a manifold-by-manifold basis, restricting generality and inducing cumbersome design constraints. We overcome these issues by introducing Neural Manifold Ordinary Differential Equations, a manifold generalization of Neural ODEs, which enables the construction of Manifold Continuous Normalizing Flows (MCNFs). MCNFs require only local geometry (therefore generalizing to arbitrary manifolds) and compute probabilities with continuous change of variables (allowing for a simple and expressive flow construction). We find that leveraging continuous manifold dynamics produces a marked improvement for both density estimation and downstream tasks. | 翻訳日:2022-11-19 13:23:37 公開日:2020-06-18 |
| # 保証付き非線形システム同定のための能動学習 Active Learning for Nonlinear System Identification with Guarantees ( http://arxiv.org/abs/2006.10277v1 ) ライセンス: Link先を確認 | Horia Mania, Michael I. Jordan, Benjamin Recht | (参考訳) 非線形力学系の同定はモデルに基づく強化学習とフィードバック制御の基本的な構成要素であるが、そのサンプルの複雑さは個々の状態や動作を持つシステムや、ランダム入力によって生成されたデータから識別できるシステムに対してのみ理解されている。
それにもかかわらず、多くの興味深い力学系は連続状態と作用を持ち、入力の選択によってのみ識別することができる。
本研究では, 状態遷移が既知の状態-作用対の機能埋め込みに依存する非線形力学系のクラスについて検討する。
このようなシステムを有限時間同定法で推定するには、特徴空間内のすべての方向を探索する必要がある。
そこで本稿では, 軌道計画, 軌道追跡, システムの再推定という3つのステップを繰り返すことで, これを実現する能動的学習手法を提案する。
本手法は,標準線形回帰の統計速度に類似したパラメトリックレートで非線形力学系を推定する。 While the identification of nonlinear dynamical systems is a fundamental building block of model-based reinforcement learning and feedback control, its sample complexity is only understood for systems that either have discrete states and actions or for systems that can be identified from data generated by i.i.d. random inputs. Nonetheless, many interesting dynamical systems have continuous states and actions and can only be identified through a judicious choice of inputs. Motivated by practical settings, we study a class of nonlinear dynamical systems whose state transitions depend linearly on a known feature embedding of state-action pairs. To estimate such systems in finite time identification methods must explore all directions in feature space. We propose an active learning approach that achieves this by repeating three steps: trajectory planning, trajectory tracking, and re-estimation of the system from all available data. We show that our method estimates nonlinear dynamical systems at a parametric rate, similar to the statistical rate of standard linear regression. | 翻訳日:2022-11-19 13:23:03 公開日:2020-06-18 |
| # 教師なしドメイン適応のための共同コントラスト学習 Joint Contrastive Learning for Unsupervised Domain Adaptation ( http://arxiv.org/abs/2006.10297v1 ) ライセンス: Link先を確認 | Changhwa Park, Jonghyun Lee, Jaeyoon Yoo, Minhoe Hur, Sungroh Yoon | (参考訳) 限界分布の一致による特徴伝達可能性の向上は、特徴識別を犠牲にしながらも、ドメイン適応の改善につながっている。
特に、従来は微小であると考えられていた目標誤差の上界における理想的な合同仮説誤差は、理論的な保証を損なうことが判明した。
本稿では, 目標誤差に対する代替上限を提案し, より管理しやすくするために, 共同誤差を明示的に考慮する。
理論的解析により、ソースとターゲットドメインを組み合わせた共同最適化フレームワークを提案する。
さらに,ジョイント・コントラスト・ラーニング(jcl)を導入し,クラスレベルの判別的特徴を見いだし,ジョイントエラーの最小化に不可欠である。
固い理論的枠組みにより、JCLは特徴とラベルの間の相互情報を最大化するために対照的な損失を生かし、条件分布間のジェンセン=シャノンの発散を最大化するのと等価である。
2つの実世界のデータセットの実験では、JCLが最先端の手法より優れていることが示されている。 Enhancing feature transferability by matching marginal distributions has led to improvements in domain adaptation, although this is at the expense of feature discrimination. In particular, the ideal joint hypothesis error in the target error upper bound, which was previously considered to be minute, has been found to be significant, impairing its theoretical guarantee. In this paper, we propose an alternative upper bound on the target error that explicitly considers the joint error to render it more manageable. With the theoretical analysis, we suggest a joint optimization framework that combines the source and target domains. Further, we introduce Joint Contrastive Learning (JCL) to find class-level discriminative features, which is essential for minimizing the joint error. With a solid theoretical framework, JCL employs contrastive loss to maximize the mutual information between a feature and its label, which is equivalent to maximizing the Jensen-Shannon divergence between conditional distributions. Experiments on two real-world datasets demonstrate that JCL outperforms the state-of-the-art methods. | 翻訳日:2022-11-19 13:15:02 公開日:2020-06-18 |
| # アクティブラーニングのロバスト性について On the Robustness of Active Learning ( http://arxiv.org/abs/2006.10370v1 ) ライセンス: Link先を確認 | Lukas Hahn and Lutz Roese-Koerner and Peet Cremer and Urs Zimmermann and Ori Maoz and Anton Kummert | (参考訳) Active Learningは、機械学習アルゴリズムをトレーニングする上で最も有用なサンプルを特定する方法に関する問題である。
正しく適用すれば、人工ニューラルネットワークの膨大なデータ要求に対処できる非常に強力なツールになり得る。
しかし、十分な注意とドメイン知識を持って適用されることがしばしばあります。
その結果、非現実的な期待が高まり、あるデータセットから別のデータセットへの実験結果の転送は必然的に困難になる。
本研究では,分類器容量,交換可能性,型,ハイパーパラメータ,誤ラベル付きデータなどに関して,さまざまなアクティブラーニング手法の堅牢性を分析する。
実験により、サンプル選択に使用されるアーキテクチャに対するバイアスが示され、その結果、他の分類器の準最適性能がもたらされる。
さらに,シンプソン多様性指数に基づく新しい「二乗ロジットの和」法を提案し,サンプル選択のバランスをとるために混乱行列を用いた効果について検討する。 Active Learning is concerned with the question of how to identify the most useful samples for a Machine Learning algorithm to be trained with. When applied correctly, it can be a very powerful tool to counteract the immense data requirements of Artificial Neural Networks. However, we find that it is often applied with not enough care and domain knowledge. As a consequence, unrealistic hopes are raised and transfer of the experimental results from one dataset to another becomes unnecessarily hard. In this work we analyse the robustness of different Active Learning methods with respect to classifier capacity, exchangeability and type, as well as hyperparameters and falsely labelled data. Experiments reveal possible biases towards the architecture used for sample selection, resulting in suboptimal performance for other classifiers. We further propose the new "Sum of Squared Logits" method based on the Simpson diversity index and investigate the effect of using the confusion matrix for balancing in sample selection. | 翻訳日:2022-11-19 13:14:46 公開日:2020-06-18 |
| # 教師なし表現学習のためのオンライン深層クラスタリング Online Deep Clustering for Unsupervised Representation Learning ( http://arxiv.org/abs/2006.10645v1 ) ライセンス: Link先を確認 | Xiaohang Zhan, Jiahao Xie, Ziwei Liu, Yew Soon Ong, Chen Change Loy | (参考訳) 共同クラスタリングと特徴学習は教師なし表現学習において顕著な性能を示した。
しかし、機能クラスタリングとネットワークパラメータの更新を交互に行うトレーニングスケジュールは、視覚表現の不安定な学習につながる。
この課題を克服するため,我々は,クラスタ化とネットワーク更新を同時に行うオンラインディープクラスタリング(odc)を提案する。
私たちの重要な洞察は、クラスタセントロイドは安定して分類器を更新し続けるために着実に進化すべきであるということです。
具体的には,2つの動的メモリモジュール,すなわちサンプルのラベルや特徴を格納するサンプルメモリと,centroids 進化のためのcentroidsメモリを設計し,維持する。
我々は、突然のグローバルクラスタリングを定常メモリ更新とバッチ単位のラベル再割り当てに分解する。
このプロセスはネットワーク更新イテレーションに統合される。
このようにラベルとネットワークは交流ではなく肩からショルダーへと進化する。
大規模な実験により、ODCはトレーニングプロセスを安定させ、性能を効果的に向上させることを示した。
コード:https://github.com/open-mmlab/OpenSelfSup Joint clustering and feature learning methods have shown remarkable performance in unsupervised representation learning. However, the training schedule alternating between feature clustering and network parameters update leads to unstable learning of visual representations. To overcome this challenge, we propose Online Deep Clustering (ODC) that performs clustering and network update simultaneously rather than alternatingly. Our key insight is that the cluster centroids should evolve steadily in keeping the classifier stably updated. Specifically, we design and maintain two dynamic memory modules, i.e., samples memory to store samples labels and features, and centroids memory for centroids evolution. We break down the abrupt global clustering into steady memory update and batch-wise label re-assignment. The process is integrated into network update iterations. In this way, labels and the network evolve shoulder-to-shoulder rather than alternatingly. Extensive experiments demonstrate that ODC stabilizes the training process and boosts the performance effectively. Code: https://github.com/open-mmlab/OpenSelfSup. | 翻訳日:2022-11-19 13:14:19 公開日:2020-06-18 |
| # 安定模擬のためのパラメータ化変分最小化 Reparameterized Variational Divergence Minimization for Stable Imitation ( http://arxiv.org/abs/2006.10810v1 ) ライセンス: Link先を確認 | Dilip Arumugam, Debadeepta Dey, Alekh Agarwal, Asli Celikyilmaz, Elnaz Nouri, Bill Dolan | (参考訳) 近年、敵の模倣学習アルゴリズムの最先端の成果が奨励されているが、観測(ILO)設定からの模倣学習(trajectories \textit{only} が専門的な観察を含む)を探求する最近の研究は、同じ成功を収めていない。
標準的な模倣学習環境(Ke et al., 2019; Ghasemipour et al., 2019)に対する$f$-divergence操作の最近の研究に触発されて、確率的発散の選択における変動がより優れたIOOアルゴリズムをもたらす可能性について検討した。
残念ながら、強化学習による$f$-divergenceの最小化は数値不安定性に影響を受けやすい。
本稿では,$f$-divergence最小化フレームワークの最適化課題を軽減するために,逆模倣学習のためのパラメータ化手法を提案する。
経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。 While recent state-of-the-art results for adversarial imitation-learning algorithms are encouraging, recent works exploring the imitation learning from observation (ILO) setting, where trajectories \textit{only} contain expert observations, have not been met with the same success. Inspired by recent investigations of $f$-divergence manipulation for the standard imitation learning setting(Ke et al., 2019; Ghasemipour et al., 2019), we here examine the extent to which variations in the choice of probabilistic divergence may yield more performant ILO algorithms. We unfortunately find that $f$-divergence minimization through reinforcement learning is susceptible to numerical instabilities. We contribute a reparameterization trick for adversarial imitation learning to alleviate the optimization challenges of the promising $f$-divergence minimization framework. Empirically, we demonstrate that our design choices allow for ILO algorithms that outperform baseline approaches and more closely match expert performance in low-dimensional continuous-control tasks. | 翻訳日:2022-11-19 13:07:33 公開日:2020-06-18 |
| # 正規言語で訓練されたリカレントニューラルネットワークの内部状態の安定性 Stability of Internal States in Recurrent Neural Networks Trained on Regular Languages ( http://arxiv.org/abs/2006.10828v1 ) ライセンス: Link先を確認 | Christian Oliva and Luis F. Lago-Fern\'andez | (参考訳) 正規言語認識を訓練した繰り返しニューラルネットワークの安定性に関する実証研究を行った。
活性化関数に少量のノイズが導入された場合、リカレント層内のニューロンは変動を補償するために飽和する傾向にある。
この飽和状態において、ネットワークアクティベーションの分析は、有限状態機械における離散状態に似た一連のクラスターを示す。
入力シンボルに対応する状態間の遷移は決定論的かつ安定であることを示す。
ネットワークは任意の長い弦に対して安定な振舞いを示し、ランダムな摂動が任意の状態に適用されると、回復することができ、その進化は元のクラスタに収束する。
この観察は、ネットワークを有限オートマトンとして解釈し、特定の、意味のある入力パターンをコーディングするニューロンやニューロンのグループを強化する。 We provide an empirical study of the stability of recurrent neural networks trained to recognize regular languages. When a small amount of noise is introduced into the activation function, the neurons in the recurrent layer tend to saturate in order to compensate the variability. In this saturated regime, analysis of the network activation shows a set of clusters that resemble discrete states in a finite state machine. We show that transitions between these states in response to input symbols are deterministic and stable. The networks display a stable behavior for arbitrarily long strings, and when random perturbations are applied to any of the states, they are able to recover and their evolution converges to the original clusters. This observation reinforces the interpretation of the networks as finite automata, with neurons or groups of neurons coding specific and meaningful input patterns. | 翻訳日:2022-11-19 13:06:39 公開日:2020-06-18 |
| # 深層学習における対人ロバストネスの局所的競合と不確かさ Local Competition and Uncertainty for Adversarial Robustness in Deep Learning ( http://arxiv.org/abs/2006.10620v1 ) ライセンス: Link先を確認 | Antonios Alexos, Konstantinos P. Panousis, Sotirios Chatzis | (参考訳) 本研究は,新しい学習論を用いて,ディープネットワークの敵対的ロバスト性に対処しようとするものである。
具体的には,神経科学の結果に触発されて,逆行的な深層学習の手段として,局所的な競争原理を提案する。
提案手法は,LWTAの非線形性と後続サンプリング方式を組み合わせることで,従来の深層ネットワークの対角的堅牢性を大幅に向上させるものである。
これらのlwta引数とベイズ非パラメトリックス(特にインドビュッフェ過程の画期的な構築)のツールを組み合わせて、データ駆動モデリングの固有の不確かさを柔軟に説明します。
実験により,MNISTおよびCIFAR10データセット上での対向摂動に対して高い堅牢性を実現する。
提案モデルでは,最先端のホワイトボックス攻撃を実現すると同時に,その良質な精度を高い精度で維持する。
同様に、我々の手法は既存の最先端モデルよりも訓練可能なモデルパラメータをはるかに必要としながら、この結果を達成する。 This work attempts to address adversarial robustness of deep networks by means of novel learning arguments. Specifically, inspired from results in neuroscience, we propose a local competition principle as a means of adversarially-robust deep learning. We argue that novel local winner-takes-all (LWTA) nonlinearities, combined with posterior sampling schemes, can greatly improve the adversarial robustness of traditional deep networks against difficult adversarial attack schemes. We combine these LWTA arguments with tools from the field of Bayesian non-parametrics, specifically the stick-breaking construction of the Indian Buffet Process, to flexibly account for the inherent uncertainty in data-driven modeling. As we experimentally show, the new proposed model achieves high robustness to adversarial perturbations on MNIST and CIFAR10 datasets. Our model achieves state-of-the-art results in powerful white-box attacks, while at the same time retaining its benign accuracy to a high degree. Equally importantly, our approach achieves this result while requiring far less trainable model parameters than the existing state-of-the-art. | 翻訳日:2022-11-19 12:58:18 公開日:2020-06-18 |
| # robust group subspace recovery: マルチモダリティデータ融合のための新しいアプローチ Robust Group Subspace Recovery: A New Approach for Multi-Modality Data Fusion ( http://arxiv.org/abs/2006.10657v1 ) ライセンス: Link先を確認 | Sally Ghanem, Ashkan Panahi, Hamid Krim, and Ryan A. Kerekes | (参考訳) ロバスト部分空間リカバリ (rosure) アルゴリズムは、データに存在する部分空間(uos)構造の基本和を展開する原理的かつ数値的に効率的なアルゴリズムとして最近導入された。
部分空間の結合(uos)は、単純な線形モデルよりもデータセットのより複雑なトレンドを識別することができる。
我々は、異なるデータモダリティの構造を個別に予測するために、RoSuReを構築して拡張する。
本稿では,ロバスト群部分空間リカバリ (rogsure) と呼ぶ群スパーシティに基づく,新しいマルチモーダルデータ融合手法を提案する。
導入したフレームワークは,両スパーシティ追従パラダイムと非滑らかな最適化手法に基づいて,基礎となるUoSモデルに関して,異なるデータモダリティから時系列の新しい共同表現を学習する。
その後、得られた構造を統合して統一部分空間構造を形成する。
提案手法は、異なるモダリティデータ間の構造的依存関係を利用して、関連する対象オブジェクトをクラスタ化する。
音響および磁気データを用いた実験から得られたラベルなしセンサデータの融合により,本手法は,他のサブスペースクラスタリング手法と競合することを示す。
得られたuos構造を用いて新たに観測したデータポイントを分類し,提案手法の抽象化能力に着目した。 Robust Subspace Recovery (RoSuRe) algorithm was recently introduced as a principled and numerically efficient algorithm that unfolds underlying Unions of Subspaces (UoS) structure, present in the data. The union of Subspaces (UoS) is capable of identifying more complex trends in data sets than simple linear models. We build on and extend RoSuRe to prospect the structure of different data modalities individually. We propose a novel multi-modal data fusion approach based on group sparsity which we refer to as Robust Group Subspace Recovery (RoGSuRe). Relying on a bi-sparsity pursuit paradigm and non-smooth optimization techniques, the introduced framework learns a new joint representation of the time series from different data modalities, respecting an underlying UoS model. We subsequently integrate the obtained structures to form a unified subspace structure. The proposed approach exploits the structural dependencies between the different modalities data to cluster the associated target objects. The resulting fusion of the unlabeled sensors' data from experiments on audio and magnetic data has shown that our method is competitive with other state of the art subspace clustering methods. The resulting UoS structure is employed to classify newly observed data points, highlighting the abstraction capacity of the proposed method. | 翻訳日:2022-11-19 12:57:10 公開日:2020-06-18 |
| # 閾値不変公正分類に向けて Towards Threshold Invariant Fair Classification ( http://arxiv.org/abs/2006.10667v1 ) ライセンス: Link先を確認 | Mingliang Chen and Min Wu | (参考訳) 効果的な機械学習モデルは、大量のデータから有用な情報を自動学習し、高い精度で意思決定を行うことができる。
しかし、これらのモデルは、人種や性別などのセンシティブな属性に基づくグループ化によって、ある意味での不公平な予測につながる可能性がある。
人口統計学的パリティや等化オッズといった様々な公平性の定義が先行技術で提案され、機械学習モデルによって導かれる決定が等価であることを保証する。
残念なことに、これらの公正定義で訓練された「公正」モデルはしきい値に敏感である。
本稿では, 決定しきい値によらず, 異なる群にまたがる等価性能を強制するしきい値不変フェアネスの概念を紹介する。
この目的を達成するために,2つの近似手法を用いてグループ間のリスク分布を等化することを提案する。
実験の結果,公平性を達成するために設計された機械学習モデルのしきい値感度を緩和するために提案手法が有効であることが示された。 Effective machine learning models can automatically learn useful information from a large quantity of data and provide decisions in a high accuracy. These models may, however, lead to unfair predictions in certain sense among the population groups of interest, where the grouping is based on such sensitive attributes as race and gender. Various fairness definitions, such as demographic parity and equalized odds, were proposed in prior art to ensure that decisions guided by the machine learning models are equitable. Unfortunately, the "fair" model trained with these fairness definitions is threshold sensitive, i.e., the condition of fairness may no longer hold true when tuning the decision threshold. This paper introduces the notion of threshold invariant fairness, which enforces equitable performances across different groups independent of the decision threshold. To achieve this goal, this paper proposes to equalize the risk distributions among the groups via two approximation methods. Experimental results demonstrate that the proposed methodology is effective to alleviate the threshold sensitivity in machine learning models designed to achieve fairness. | 翻訳日:2022-11-19 12:56:45 公開日:2020-06-18 |
| # ディープ・アテンション・ネットワークのためのNNGPとNTK Infinite attention: NNGP and NTK for deep attention networks ( http://arxiv.org/abs/2006.10540v1 ) ライセンス: Link先を確認 | Jiri Hron and Yasaman Bahri and Jascha Sohl-Dickstein and Roman Novak | (参考訳) 広範ニューラルネットワーク(NN)とガウス過程(GP)の関係に関する文献が増えている。
この等価性は例えば、MCMCや変動近似のないワイドベイズNNの挙動の正確な近似や、オプティマイザを実行せずに勾配降下によって最適化されたランダムに初期化されたワイドNNの分布の特徴付けを可能にする。
注意層を含むnnsにこれらの結果を厳密に拡張し、非ゲージ的行動を引き起こす単頭注意とは異なり、多頭注意アーキテクチャは頭数が無限になるにつれてgpsとして振る舞うことを示した。
さらに、位置エンコーディングと層正規化の効果について検討し、有限および無限幅のNNに対して改善をもたらすアテンション機構の修正を提案する。
我々は注意カーネルを実証的に評価し、トレーニング可能なカーネルや先進的なデータ前処理を伴わないGP用CIFAR-10における先行技術の改善につながった。
最後に、NNGP/NTKモデルの可変長シーケンスへの適用を可能にするNeural Tangentsライブラリ(Novak et al., 2020)の新機能を紹介し、IMDbレビューデータセットの例を挙げる。 There is a growing amount of literature on the relationship between wide neural networks (NNs) and Gaussian processes (GPs), identifying an equivalence between the two for a variety of NN architectures. This equivalence enables, for instance, accurate approximation of the behaviour of wide Bayesian NNs without MCMC or variational approximations, or characterisation of the distribution of randomly initialised wide NNs optimised by gradient descent without ever running an optimiser. We provide a rigorous extension of these results to NNs involving attention layers, showing that unlike single-head attention, which induces non-Gaussian behaviour, multi-head attention architectures behave as GPs as the number of heads tends to infinity. We further discuss the effects of positional encodings and layer normalisation, and propose modifications of the attention mechanism which lead to improved results for both finite and infinitely wide NNs. We evaluate attention kernels empirically, leading to a moderate improvement upon the previous state-of-the-art on CIFAR-10 for GPs without trainable kernels and advanced data preprocessing. Finally, we introduce new features to the Neural Tangents library (Novak et al., 2020) allowing applications of NNGP/NTK models, with and without attention, to variable-length sequences, with an example on the IMDb reviews dataset. | 翻訳日:2022-11-19 12:49:08 公開日:2020-06-18 |
| # 制御変数を用いた高効率区間推定のためのフレームワーク A Framework for Sample Efficient Interval Estimation with Control Variates ( http://arxiv.org/abs/2006.10287v1 ) ライセンス: Link先を確認 | Shengjia Zhao, Christopher Yeh, Stefano Ermon | (参考訳) 確率変数の平均に対する信頼区間を推定する問題は、与えられたサンプル数に対して最小限の信頼区間を生成することである。
minimaxの最適アルゴリズムは一般的な場合ではこの問題で知られているが、追加の仮定の下では性能改善が可能である。
特に,制御変数の形式で側情報を利用するための推定アルゴリズムを設計し,順序統計を利用した。
制御品質の一定の条件下では,既存の推定アルゴリズムと比較して漸近効率が向上した。
実験では,回帰モデルの出力を制御変数として利用する実世界調査および推定タスクにおいて,優れた性能を示す。 We consider the problem of estimating confidence intervals for the mean of a random variable, where the goal is to produce the smallest possible interval for a given number of samples. While minimax optimal algorithms are known for this problem in the general case, improved performance is possible under additional assumptions. In particular, we design an estimation algorithm to take advantage of side information in the form of a control variate, leveraging order statistics. Under certain conditions on the quality of the control variates, we show improved asymptotic efficiency compared to existing estimation algorithms. Empirically, we demonstrate superior performance on several real world surveying and estimation tasks where we use the output of regression models as the control variates. | 翻訳日:2022-11-19 12:42:42 公開日:2020-06-18 |
| # gat-gmm:ガウス混合モデルの生成的逆訓練 GAT-GMM: Generative Adversarial Training for Gaussian Mixture Models ( http://arxiv.org/abs/2006.10293v1 ) ライセンス: Link先を確認 | Farzan Farnia, William Wang, Subhro Das, Ali Jadbabaie | (参考訳) generative adversarial networks (gans) は、2人のマシンプレーヤーとジェネレータと判別器の間のゼロサムゲームを通じて観測されたサンプルの分布を学習する。
GANは画像,音,テキストデータの複雑な分布を学習する上で大きな成功を収める一方で,ガウス混合モデル(GMM)を含むマルチモーダル分布学習ベンチマークの学習において準最適に実行する。
本稿では,GMM学習のための最小GANフレームワークであるガウス混合モデル(GAT-GMM)のジェネレーティブ・アドバイサル・トレーニングを提案する。
最適輸送理論により,GAT-GMMにおけるゼロサムゲームは,ランダム線形生成器とソフトマックスに基づく2次判別器アーキテクチャを用いて設計し,非凸凹極小最適化問題をもたらす。
GAT-GMM最適化問題において,GDA法(Gradient Descent Ascent)法が近似した定常極小点に収束することを示す。
2つの対称な分離されたガウス多様体の混合のベンチマークの場合、この定常点が基礎となるGMMの真のパラメータを復元することを示す。
GAT-GMMは2つのガウスの混合学習において,予測最大化アルゴリズムと同様に,いくつかの実験を行い,理論的な知見を数値的に支持する。 Generative adversarial networks (GANs) learn the distribution of observed samples through a zero-sum game between two machine players, a generator and a discriminator. While GANs achieve great success in learning the complex distribution of image, sound, and text data, they perform suboptimally in learning multi-modal distribution-learning benchmarks including Gaussian mixture models (GMMs). In this paper, we propose Generative Adversarial Training for Gaussian Mixture Models (GAT-GMM), a minimax GAN framework for learning GMMs. Motivated by optimal transport theory, we design the zero-sum game in GAT-GMM using a random linear generator and a softmax-based quadratic discriminator architecture, which leads to a non-convex concave minimax optimization problem. We show that a Gradient Descent Ascent (GDA) method converges to an approximate stationary minimax point of the GAT-GMM optimization problem. In the benchmark case of a mixture of two symmetric, well-separated Gaussians, we further show this stationary point recovers the true parameters of the underlying GMM. We numerically support our theoretical findings by performing several experiments, which demonstrate that GAT-GMM can perform as well as the expectation-maximization algorithm in learning mixtures of two Gaussians. | 翻訳日:2022-11-19 12:42:17 公開日:2020-06-18 |
| # Graph VAEによるニューラルネットワーク最適化 Neural Architecture Optimization with Graph VAE ( http://arxiv.org/abs/2006.10310v1 ) ライセンス: Link先を確認 | Jian Li, Yong Liu, Jiankun Liu, Weiping Wang | (参考訳) 連続空間における計算効率が高いため、勾配最適化法はニューラルアーキテクチャ探索(NAS)領域において大きな可能性を示している。
離散空間から潜在空間へのネットワーク表現のマッピングは、新しいアーキテクチャを発見する鍵となるが、既存の勾配に基づく手法ではネットワークを完全に特徴づけることができない。
本稿では,変分オートエンコーダ (VAE) とグラフニューラルネットワーク (GNN) を用いて潜時空間を構築する連続空間におけるネットワークアーキテクチャを最適化する効率的なNAS手法を提案する。
フレームワークは、エンコーダ、パフォーマンス予測器、複雑性予測器、デコーダの4つのコンポーネントをエンドツーエンドで共同で学習する。
エンコーダとデコーダはグラフVAEに属し、連続表現とネットワークアーキテクチャの間のアーキテクチャをマッピングする。
予測器は2つの回帰モデルであり、それぞれ性能と計算量に適合する。
これらの予測器は、検出されたアーキテクチャが優れた性能と高い計算効率の両方を特徴付けることを保証します。
広範な実験によって、フレームワークは適切な連続表現を生成するだけでなく、強力なニューラルネットワークアーキテクチャも発見します。 Due to their high computational efficiency on a continuous space, gradient optimization methods have shown great potential in the neural architecture search (NAS) domain. The mapping of network representation from the discrete space to a latent space is the key to discovering novel architectures, however, existing gradient-based methods fail to fully characterize the networks. In this paper, we propose an efficient NAS approach to optimize network architectures in a continuous space, where the latent space is built upon variational autoencoder (VAE) and graph neural networks (GNN). The framework jointly learns four components: the encoder, the performance predictor, the complexity predictor and the decoder in an end-to-end manner. The encoder and the decoder belong to a graph VAE, mapping architectures between continuous representations and network architectures. The predictors are two regression models, fitting the performance and computational complexity, respectively. Those predictors ensure the discovered architectures characterize both excellent performance and high computational efficiency. Extensive experiments demonstrate our framework not only generates appropriate continuous representations but also discovers powerful neural architectures. | 翻訳日:2022-11-19 12:41:43 公開日:2020-06-18 |
| # MMCGAN: 明示的なマニフォールドを持つジェネレーティブ・アドバイサル・ネットワーク MMCGAN: Generative Adversarial Network with Explicit Manifold Prior ( http://arxiv.org/abs/2006.10331v1 ) ライセンス: Link先を確認 | Guanhua Zheng, Jitao Sang, Changsheng Xu | (参考訳) generative adversarial network(gan)は現実的なサンプルを生成するための優れた生成フレームワークを提供するが、モードの崩壊と不安定なトレーニングという2つの問題に苦しむ。
本研究では,モード崩壊を緩和し,GANのトレーニングを安定化させる前に,明示的な多様体学習を採用することを提案する。
従来の多様体学習の基本前提はスパースおよび不均一なデータ分布の場合に失敗するため,多様体学習のための新たなターゲットである最小多様体符号化(MMC)を導入する。
本質的に、mmc は最も短いハミルトニアン経路問題の一般の場合であり、最小リーマン体積を持つ多様体を追求する。
MMCの標準化されたコードを事前に使用することにより、GANはすべてのトレーニングデータをカバーする単純で展開された多様体を復元することが保証される。
玩具データと実データの両方を用いた実験により,MMCGANのモード崩壊緩和効果,トレーニングの安定化,生成サンプルの品質向上効果が示された。 Generative Adversarial Network(GAN) provides a good generative framework to produce realistic samples, but suffers from two recognized issues as mode collapse and unstable training. In this work, we propose to employ explicit manifold learning as prior to alleviate mode collapse and stabilize training of GAN. Since the basic assumption of conventional manifold learning fails in case of sparse and uneven data distribution, we introduce a new target, Minimum Manifold Coding (MMC), for manifold learning to encourage simple and unfolded manifold. In essence, MMC is the general case of the shortest Hamiltonian Path problem and pursues manifold with minimum Riemann volume. Using the standardized code from MMC as prior, GAN is guaranteed to recover a simple and unfolded manifold covering all the training data. Our experiments on both the toy data and real datasets show the effectiveness of MMCGAN in alleviating mode collapse, stabilizing training, and improving the quality of generated samples. | 翻訳日:2022-11-19 12:41:05 公開日:2020-06-18 |
| # 安定オンライン特徴選択のためのモデル継承変数の重要性の活用 Leveraging Model Inherent Variable Importance for Stable Online Feature Selection ( http://arxiv.org/abs/2006.10398v1 ) ライセンス: Link先を確認 | Johannes Haug, Martin Pawelczyk, Klaus Broelemann, Gjergji Kasneci | (参考訳) 機能選択は、堅牢で正確な予測を得る上で重要な要素となる。
しかし、オンラインの特徴選択モデルはかなりの制約の下で動作し、厳密で正確な予測を可能にしながら、境界付けられた観測結果に基づいて効率よく有能な入力特徴を抽出する必要がある。
本稿では,オンライン機能選択のための新しいフレームワークFIRESを紹介する。
提案する特徴重み付け機構は,予測モデルのパラメータに固有の重要情報を活用する。
モデルパラメータを確率変数として扱うことにより、不確実性の高い特徴をペナルティ化し、より安定した特徴集合を生成することができる。
私たちのフレームワークは、基盤となるモデルの選択をユーザに委ねるという点で一般的です。
驚くべきことに、実験はモデルの複雑さが選択された特徴集合の判別能力と安定性に小さな影響しか与えていないことを示唆している。
実際、単純な線形モデルを用いて、FIRESは最先端の手法と競合する機能セットを取得し、計算時間を劇的に短縮する。
さらに,提案手法が特徴選択安定性において明らかに優れていることを示す実験を行った。 Feature selection can be a crucial factor in obtaining robust and accurate predictions. Online feature selection models, however, operate under considerable restrictions; they need to efficiently extract salient input features based on a bounded set of observations, while enabling robust and accurate predictions. In this work, we introduce FIRES, a novel framework for online feature selection. The proposed feature weighting mechanism leverages the importance information inherent in the parameters of a predictive model. By treating model parameters as random variables, we can penalize features with high uncertainty and thus generate more stable feature sets. Our framework is generic in that it leaves the choice of the underlying model to the user. Strikingly, experiments suggest that the model complexity has only a minor effect on the discriminative power and stability of the selected feature sets. In fact, using a simple linear model, FIRES obtains feature sets that compete with state-of-the-art methods, while dramatically reducing computation time. In addition, experiments show that the proposed framework is clearly superior in terms of feature selection stability. | 翻訳日:2022-11-19 12:39:21 公開日:2020-06-18 |
| # メディアマトリックスの完成 : 恥ずかしさから最適さへ Median Matrix Completion: from Embarrassment to Optimality ( http://arxiv.org/abs/2006.10400v1 ) ライセンス: Link先を確認 | Weidong Liu, Xiaojun Mao, Raymond K. W. Wong | (参考訳) 本稿では,絶対偏差損失を持つ行列の完成度を考察し,中央値行列の推定値を求める。
中央値のいくつかの魅力的な性質にもかかわらず、非スムースな絶対偏差損失は、行列完成問題でますます一般的になっている大規模データセットの計算上の困難をもたらす。
大規模問題に対する単純な解決策は並列コンピューティングである。
しかし、恥ずかしく平行なファッションは、しばしば非効率な推定に繋がる。
疑似データの概念に基づいて、そのような非効率な推定器を(ほぼ)最適行列補完手順に変換する新しい精細化ステップを提案する。
精製された推定器は正則化最小中央値推定器の近似であり、したがって通常の正則化経験的リスク推定器ではない。
これは漸近的行動の非標準解析につながる。
また,提案手法の有効性を確認するために実験結果が得られた。 In this paper, we consider matrix completion with absolute deviation loss and obtain an estimator of the median matrix. Despite several appealing properties of median, the non-smooth absolute deviation loss leads to computational challenge for large-scale data sets which are increasingly common among matrix completion problems. A simple solution to large-scale problems is parallel computing. However, embarrassingly parallel fashion often leads to inefficient estimators. Based on the idea of pseudo data, we propose a novel refinement step, which turns such inefficient estimators into a rate (near-)optimal matrix completion procedure. The refined estimator is an approximation of a regularized least median estimator, and therefore not an ordinary regularized empirical risk estimator. This leads to a non-standard analysis of asymptotic behaviors. Empirical results are also provided to confirm the effectiveness of the proposed method. | 翻訳日:2022-11-19 12:39:03 公開日:2020-06-18 |
| # 多変量時系列予測のための低ランク自己回帰テンソル補完 Low-Rank Autoregressive Tensor Completion for Multivariate Time Series Forecasting ( http://arxiv.org/abs/2006.10436v1 ) ライセンス: Link先を確認 | Xinyu Chen and Lijun Sun | (参考訳) 時系列予測は長年の研究課題であり、多くの領域において重要な応用である。
センサネットワーク(例えば、エネルギー消費と交通流)から収集された現代の時系列は、しばしば大規模で、かなりの腐敗と不足した値で不完全であり、正確な予測を行うのが困難である。
本稿では,多変量時系列データをモデル化するための低ランク自己回帰テンソル補完(LATC)フレームワークを提案する。
LATCの鍵となるのは、元の多変量時系列行列(例えば、Sensor$\times$time point)を3階テンソル構造(例えば、Sensor$\times$time of day$\times$day)に変換することである。
テンソル構造により、時系列予測とデータ計算の欠如を普遍的な低ランクテンソル完備問題に変換することができる。
テンソルランクの最小化に加えて、元の行列表現に関する新しい自己回帰ノルムを目的関数に統合する。
2つの構成要素は異なる役割を担っている。
低ランク構造により、すべての3次元(センサ間の類似性、異なる日の類似性、そして現在の時刻対過去の同じ時刻)のグローバルな一貫性と傾向を効果的に捉えることができる。
自己回帰規範は、局所的な時間的傾向をより良くモデル化することができる。
実世界の3つのデータセットに関する数値実験により、LATCにおけるグローバルトレンドとローカルトレンドの統合が、欠落データ計算とローリング予測の両方において優れていることを示す。 Time series prediction has been a long-standing research topic and an essential application in many domains. Modern time series collected from sensor networks (e.g., energy consumption and traffic flow) are often large-scale and incomplete with considerable corruption and missing values, making it difficult to perform accurate predictions. In this paper, we propose a low-rank autoregressive tensor completion (LATC) framework to model multivariate time series data. The key of LATC is to transform the original multivariate time series matrix (e.g., sensor$\times$time point) to a third-order tensor structure (e.g., sensor$\times$time of day$\times$day) by introducing an additional temporal dimension, which allows us to model the inherent rhythms and seasonality of time series as global patterns. With the tensor structure, we can transform the time series prediction and missing data imputation problems into a universal low-rank tensor completion problem. Besides minimizing tensor rank, we also integrate a novel autoregressive norm on the original matrix representation into the objective function. The two components serve different roles. The low-rank structure allows us to effectively capture the global consistency and trends across all the three dimensions (i.e., similarity among sensors, similarity of different days, and current time v.s. the same time of historical days). The autoregressive norm can better model the local temporal trends. Our numerical experiments on three real-world data sets demonstrate the superiority of the integration of global and local trends in LATC in both missing data imputation and rolling prediction tasks. | 翻訳日:2022-11-19 12:38:35 公開日:2020-06-18 |
| # 腕依存遅延を伴う確率的包帯 Stochastic bandits with arm-dependent delays ( http://arxiv.org/abs/2006.10459v1 ) ライセンス: Link先を確認 | Anne Gael Manegueu, Claire Vernade, Alexandra Carpentier, Michal Valko | (参考訳) 近年、応用上の関連性から、確率的遅延バンディット設定に重要な研究がなされている。
しかし、既存のアルゴリズムの適用性は、完全な可観測性、制限された形状の制約、腕に対する均一性といった遅延分布に強い仮定がしばしば行われるという事実によって制限される。
この作業では、それらを著しく弱め、遅延の尾にバウンドがあることだけを仮定します。
特に,遅延分布が腕によって異なる重要な場合と,遅延が重くなる場合について述べる。
これらの課題に対処し,患者帯域と呼ばれる単純かつ効率的なucbベースのアルゴリズムを提案する。
後悔に関する問題依存と問題に依存しない境界と、パフォーマンスの低さの両方を提供する。 Significant work has been recently dedicated to the stochastic delayed bandit setting because of its relevance in applications. The applicability of existing algorithms is however restricted by the fact that strong assumptions are often made on the delay distributions, such as full observability, restrictive shape constraints, or uniformity over arms. In this work, we weaken them significantly and only assume that there is a bound on the tail of the delay. In particular, we cover the important case where the delay distributions vary across arms, and the case where the delays are heavy-tailed. Addressing these difficulties, we propose a simple but efficient UCB-based algorithm called the PatientBandits. We provide both problems-dependent and problems-independent bounds on the regret as well as performance lower bounds. | 翻訳日:2022-11-19 12:37:48 公開日:2020-06-18 |
| # 重み付き遅延Deep Deterministic Policy Gradientによる推定バイアスの低減 Reducing Estimation Bias via Weighted Delayed Deep Deterministic Policy Gradient ( http://arxiv.org/abs/2006.12622v1 ) ライセンス: Link先を確認 | Qiang He, Xinwen Hou | (参考訳) 関数近似によって引き起こされる過剰推定現象は、ディープq-ネットワークやddpgのような値ベースの強化学習アルゴリズムでよく知られた問題である。
この問題に対処するため、TD3は2人の批評家の間で最小値を取る。
この2つの逆を統一することにより,推定誤差を低減し,一対の批評家を重み付けすることにより,さらに性能を向上させる新しい重み付き遅延型決定論的政策勾配アルゴリズムを提案する。
DDPG,TD3,提案アルゴリズムの値関数の学習過程を比較し,提案アルゴリズムが実際に値関数の推定誤差を除去できることを確認した。
我々は,OpenAI Gym連続制御タスクにおいて,テスト対象のすべての環境において,最先端のアルゴリズムよりも優れるアルゴリズムを評価した。 The overestimation phenomenon caused by function approximation is a well-known issue in value-based reinforcement learning algorithms such as deep Q-networks and DDPG, which could lead to suboptimal policies. To address this issue, TD3 takes the minimum value between a pair of critics, which introduces underestimation bias. By unifying these two opposites, we propose a novel Weighted Delayed Deep Deterministic Policy Gradient algorithm, which can reduce the estimation error and further improve the performance by weighting a pair of critics. We compare the learning process of value function between DDPG, TD3, and our proposed algorithm, which verifies that our algorithm could indeed eliminate the estimation error of value function. We evaluate our algorithm in the OpenAI Gym continuous control tasks, outperforming the state-of-the-art algorithms on every environment tested. | 翻訳日:2022-11-19 10:09:36 公開日:2020-06-18 |
| # 過パラメータShallow ReLUネットワークにおけるスポーサリティについて On Sparsity in Overparametrised Shallow ReLU Networks ( http://arxiv.org/abs/2006.10225v1 ) ライセンス: Link先を確認 | Jaume de Dios and Joan Bruna | (参考訳) ニューラルネットワークのトレーニングを線形化の体制を超えて分析することは、単一の隠れレイヤーの最も単純なセットアップであっても、未解決の問題である。
無限に広いネットワークの限界は平均場の観点から魅力的な経路を提供するが、重要な課題は、実用的なアルゴリズムが動作する有限ニューロン設定に学習保証を戻すことである。
このギャップを埋め、浅いニューラルネットワークに焦点をあてて、この研究では、無限に広い状態であっても、有限のニューロンしか必要としないソリューションを捉えるための様々な正規化戦略の能力について研究する。
特に私たちは
(i)訓練対象に騒音を注入して得られる暗黙の正則化の一形態 [blanc et al.~19]
(II)平均場スケーリングと互換性のある変動ノルム正規化[Bach~17]。
アクティベーション関数(例えば ReLU に満足)の軽度な仮定の下では、両方のスキームは、過パラメトリゼーションの量に関係なく、有限個のニューロンしか持たない関数によって最小化される。
このような特性の結果について検討し、一方の形式が他方よりも好ましい設定について述べる。 The analysis of neural network training beyond their linearization regime remains an outstanding open question, even in the simplest setup of a single hidden-layer. The limit of infinitely wide networks provides an appealing route forward through the mean-field perspective, but a key challenge is to bring learning guarantees back to the finite-neuron setting, where practical algorithms operate. Towards closing this gap, and focusing on shallow neural networks, in this work we study the ability of different regularisation strategies to capture solutions requiring only a finite amount of neurons, even on the infinitely wide regime. Specifically, we consider (i) a form of implicit regularisation obtained by injecting noise into training targets [Blanc et al.~19], and (ii) the variation-norm regularisation [Bach~17], compatible with the mean-field scaling. Under mild assumptions on the activation function (satisfied for instance with ReLUs), we establish that both schemes are minimised by functions having only a finite number of neurons, irrespective of the amount of overparametrisation. We study the consequences of such property and describe the settings where one form of regularisation is favorable over the other. | 翻訳日:2022-11-19 10:08:37 公開日:2020-06-18 |
| # 生成モデルにおける潜在空間補間による教師なしメタラーニング Unsupervised Meta-Learning through Latent-Space Interpolation in Generative Models ( http://arxiv.org/abs/2006.10236v1 ) ライセンス: Link先を確認 | Siavash Khodadadeh, Sharare Zehtabian, Saeed Vahidian, Weijia Wang, Bill Lin and Ladislau B\"ol\"oni | (参考訳) 教師なしメタラーニングのアプローチは、ランダム選択、クラスタリング、および/または強化といった技術を使って生成される合成メタタスクに依存している。
残念ながら、クラスタリングと拡張はドメインに依存しているので、手作業の微調整や高価な学習が必要になる。
本稿では,生成モデルを用いてメタタスクを生成する手法について述べる。
重要なコンポーネントは、メタタスクのトレーニングと検証データを形成する合成クラスにグループ化されたオブジェクトを生成する潜在空間からサンプリングする新しいアプローチである。
提案手法であるLAtent Space Interpolation Unsupervised Meta-learning (LASium) は,最も広く使用されているベンチマークデータセット上の数ショットの分類タスクにおいて,現在の教師なし学習ベースラインよりも優れているか,あるいは競合的であることがわかった。
さらに、アプローチは以前のアプローチよりも広い範囲のドメインを手動で微調整することなく適用可能であることを約束している。 Unsupervised meta-learning approaches rely on synthetic meta-tasks that are created using techniques such as random selection, clustering and/or augmentation. Unfortunately, clustering and augmentation are domain-dependent, and thus they require either manual tweaking or expensive learning. In this work, we describe an approach that generates meta-tasks using generative models. A critical component is a novel approach of sampling from the latent space that generates objects grouped into synthetic classes forming the training and validation data of a meta-task. We find that the proposed approach, LAtent Space Interpolation Unsupervised Meta-learning (LASIUM), outperforms or is competitive with current unsupervised learning baselines on few-shot classification tasks on the most widely used benchmark datasets. In addition, the approach promises to be applicable without manual tweaking over a wider range of domains than previous approaches. | 翻訳日:2022-11-19 10:08:16 公開日:2020-06-18 |
| # グラフ表現学習における課題の定量化 Quantifying Challenges in the Application of Graph Representation Learning ( http://arxiv.org/abs/2006.10252v1 ) ライセンス: Link先を確認 | Antonia Gogoglou, C. Bayan Bruss, Brian Nguyen, Reza Sarshogh, Keegan E. Hines | (参考訳) グラフ表現学習(grl)は、その後の学習タスクにおいて有意義な方法で構造情報を抽出する手段として大きな進歩を遂げている。
浅い埋め込みやグラフニューラルネットワークを含む現在のアプローチは、主にノード分類とリンク予測タスクでテストされてきた。
本研究では,一般的な組込みアプローチに対するアプリケーション指向の視点を提供し,その表現力と実世界のグラフ特性について評価する。
このプロセスで発見された制限の理論的解析とともに、パターンの異なるグラフに埋め込みアプローチの表現力に関する既存の規範に挑戦するために、広範な経験的データ駆動フレームワークを実装した。
GRLアプローチは実世界のシナリオでは定義が困難であり,新たな手法が導入されるにつれて,グラフ特性のキャプチャと,非自明な構造的差異を持つデータセットでの適用性について明確化する必要がある。 Graph Representation Learning (GRL) has experienced significant progress as a means to extract structural information in a meaningful way for subsequent learning tasks. Current approaches including shallow embeddings and Graph Neural Networks have mostly been tested with node classification and link prediction tasks. In this work, we provide an application oriented perspective to a set of popular embedding approaches and evaluate their representational power with respect to real-world graph properties. We implement an extensive empirical data-driven framework to challenge existing norms regarding the expressive power of embedding approaches in graphs with varying patterns along with a theoretical analysis of the limitations we discovered in this process. Our results suggest that "one-to-fit-all" GRL approaches are hard to define in real-world scenarios and as new methods are being introduced they should be explicit about their ability to capture graph properties and their applicability in datasets with non-trivial structural differences. | 翻訳日:2022-11-19 10:07:46 公開日:2020-06-18 |
| # in-the-wild image を用いた抗スプーフィングの異常検出 Use of in-the-wild images for anomaly detection in face anti-spoofing ( http://arxiv.org/abs/2006.10626v1 ) ライセンス: Link先を確認 | Latifah Abduh and Ioannis Ivrissimtzis | (参考訳) 従来のアンチスプーフィングのアプローチでは、バイナリ分類の問題と見なされており、バイナリ分類器は特別なアンチスプーフィングデータベース上でトレーニングされ検証される。
このアプローチの欠点の1つは、顔のスプーフィング攻撃の変動性、環境要因、そして通常、サンプルサイズが小さいため、そのような分類器は、以前目にしたことのないデータベースにうまく一般化できないことである。
一級分類問題として反偽造に近づいた異常検出は、ますます一般的な代替手法として現れつつある。
それにもかかわらず、顔アンチスプーフィングの異常検出に関する既存のすべての研究において、提案したトレーニングプロトコルは、実際の顔の共通画像しか必要とせず、特殊なアンチスプーフィングデータベースの画像のみを利用する。
そこで本研究では,非特殊化顔データベースの画像を用いた顔アンチスプーフィングのための一級分類器の訓練について検討する。
確立された手法を用いて,実顔上で畳み込みオートエンコーダを訓練し,入力の再構成誤差を閾値と比較し,クライアントまたはインポスタとして顔画像を分類する。
以上の結果から,インザ・ワイルド画像の訓練セットへの包含は,曲線下の領域の値の増大によって示されるように,見当たらないデータベース上での分類器の識別力を著しく向上させることが示された。
提案手法の限界として、半総誤差率の値から証明されるように、未確認データベース上の適切な動作点を見つける問題は依然として課題である。 The traditional approach to face anti-spoofing sees it as a binary classification problem, and binary classifiers are trained and validated on specialized anti-spoofing databases. One of the drawbacks of this approach is that, due to the variability of face spoofing attacks, environmental factors, and the typically small sample size, such classifiers do not generalize well to previously unseen databases. Anomaly detection, which approaches face anti-spoofing as a one-class classification problem, is emerging as an increasingly popular alternative approach. Nevertheless, in all existing work on anomaly detection for face anti-spoofing, the proposed training protocols utilize images from specialized anti-spoofing databases only, even though only common images of real faces are needed. Here, we explore the use of in-the-wild images, and images from non-specialized face databases, to train one-class classifiers for face anti-spoofing. Employing a well-established technique, we train a convolutional autoencoder on real faces and compare the reconstruction error of the input against a threshold to classify a face image accordingly as either client or imposter. Our results show that the inclusion in the training set of in-the-wild images increases the discriminating power of the classifier significantly on an unseen database, as evidenced by a large increase in the value of the Area Under the Curve. In a limitation of our approach, we note that the problem of finding a suitable operating point on the unseen database remains a challenge, as evidenced by the values of the Half Total Error Rate. | 翻訳日:2022-11-19 10:00:24 公開日:2020-06-18 |
| # 部分観察による協調的マルチエージェント強化学習 Cooperative Multi-Agent Reinforcement Learning with Partial Observations ( http://arxiv.org/abs/2006.10822v1 ) ライセンス: Link先を確認 | Yan Zhang, Michael M. Zavlanos | (参考訳) 本稿では,マルチエージェント強化学習(MARL)のための分散ゼロ階ポリシー最適化手法を提案する。
既存のMARLアルゴリズムは、全てのエージェントがネットワーク内の他のエージェントの状態を観察できると仮定することが多い。
これは、状態とアクション情報をマルチホップの隣人と共有する大規模問題では現実的ではない。
提案手法の利点は、エージェントが局所的な政策関数を更新するために必要な局所的な政策勾配を、部分的状態と行動情報にのみ依存し、コンセンサスを用いて得られるグローバルな累積報酬の局所的な推定を用いて計算できることである。
具体的には, 局所的政策勾配を計算するために, 分散ゼロ次政策勾配推定器を開発し, 学習性能を向上させる政策勾配推定値のばらつきを著しく低減する。
本研究では, 一定段差の分散ゼロ階次政策最適化手法が, 大域的最適政策の近傍に収束し, 大域的累積報酬の局所的な推定値の算出に使用されるコンセンサスステップの数に依存することを示す。
さらに,新しいゼロ階政策勾配推定器は,既存の1点推定器に比べて試料効率がよいことを示す数値実験を行った。 In this paper, we propose a distributed zeroth-order policy optimization method for Multi-Agent Reinforcement Learning (MARL). Existing MARL algorithms often assume that every agent can observe the states and actions of all the other agents in the network. This can be impractical in large-scale problems, where sharing the state and action information with multi-hop neighbors may incur significant communication overhead. The advantage of the proposed zeroth-order policy optimization method is that it allows the agents to compute the local policy gradients needed to update their local policy functions using local estimates of the global accumulated rewards that depend on partial state and action information only and can be obtained using consensus. Specifically, to calculate the local policy gradients, we develop a new distributed zeroth-order policy gradient estimator that relies on one-point residual-feedback which, compared to existing zeroth-order estimators that also rely on one-point feedback, significantly reduces the variance of the policy gradient estimates improving, in this way, the learning performance. We show that the proposed distributed zeroth-order policy optimization method with constant stepsize converges to a neighborhood of the global optimal policy that depends on the number of consensus steps used to calculate the local estimates of the global accumulated rewards. Moreover, we provide numerical experiments that demonstrate that our new zeroth-order policy gradient estimator is more sample-efficient compared to other existing one-point estimators. | 翻訳日:2022-11-19 09:52:17 公開日:2020-06-18 |
| # 平衡群ソフトマックスを用いたロングテール物体検出のための分類器不均衡の克服 Overcoming Classifier Imbalance for Long-tail Object Detection with Balanced Group Softmax ( http://arxiv.org/abs/2006.10408v1 ) ライセンス: Link先を確認 | Yu Li, Tao Wang, Bingyi Kang, Sheng Tang, Chunfeng Wang, Jintao Li, Jiashi Feng | (参考訳) 深層学習に基づくモデルを用いた長文大語彙物体検出は難易度の高い課題であり,未検討の課題である。本研究では,長文分布に先立つ最先端モデルの性能低下に関する最初の体系的分析を行う。
既存の検出手法では,データセットが極度に歪んだ場合,少数のクラスをモデル化できないことが判明した。
本研究は,検出と分類に本質的な違いがあるため,検出フレームワークにロングテール分類モデルを直接適用しても,この問題は解決できない。本研究では,グループ学習を通じて検出フレームワーク内の分類器のバランスをとるための,新しいバランスグループソフトマックス(bags)モジュールを提案する。
これは、頭と尾のクラスのトレーニングプロセスを暗黙的に調整し、尾のクラスからインスタンスのサンプリングを余分に必要とせずに、両者が十分に訓練されていることを保証する。最近のlong-tail large vocabulary object recognition benchmark lvisにおける拡張実験により、提案するバッグは、様々なバックボーンと、オブジェクト検出とインスタンスセグメンテーションの両方のフレームワークを備えた検出器の性能を大幅に改善していることが示された。
ロングテール画像分類から転送されるすべての最先端メソッドを破り、https://github.com/FishYuLi/BalancedGroupSoftmax.orgで新しい最先端コードを確立する。 Solving long-tail large vocabulary object detection with deep learning based models is a challenging and demanding task, which is however under-explored.In this work, we provide the first systematic analysis on the underperformance of state-of-the-art models in front of long-tail distribution. We find existing detection methods are unable to model few-shot classes when the dataset is extremely skewed, which can result in classifier imbalance in terms of parameter magnitude. Directly adapting long-tail classification models to detection frameworks can not solve this problem due to the intrinsic difference between detection and classification.In this work, we propose a novel balanced group softmax (BAGS) module for balancing the classifiers within the detection frameworks through group-wise training. It implicitly modulates the training process for the head and tail classes and ensures they are both sufficiently trained, without requiring any extra sampling for the instances from the tail classes.Extensive experiments on the very recent long-tail large vocabulary object recognition benchmark LVIS show that our proposed BAGS significantly improves the performance of detectors with various backbones and frameworks on both object detection and instance segmentation. It beats all state-of-the-art methods transferred from long-tail image classification and establishes new state-of-the-art.Code is available at https://github.com/FishYuLi/BalancedGroupSoftmax. | 翻訳日:2022-11-19 09:51:18 公開日:2020-06-18 |
| # 集合分布ネットワーク:画像集合の生成モデル Set Distribution Networks: a Generative Model for Sets of Images ( http://arxiv.org/abs/2006.10705v1 ) ライセンス: Link先を確認 | Shuangfei Zhai, Walter Talbott, Miguel Angel Bautista, Carlos Guestrin, Josh M. Susskind | (参考訳) 共有特性を持つ画像は自然に集合を形成する。
例えば、顔認証ベンチマークでは、同じアイデンティティフォームセットのイメージが使用される。
生成モデルの場合、集合を扱う標準的な方法は、それぞれを一つのホットベクトルとして表現し、条件付き生成モデル $p(\mathbf{x}|\mathbf{y})$ を学ぶことである。
この表現は、集合の数が制限され、既知であると仮定し、集合上の分布が単純多項分布に還元される。
対照的に、集合の数が大きくて未知であるより一般的な問題を研究している。
本稿では,集合を自動エンコードし,自由に生成できる新しいフレームワーク set distribution network (sdns) を紹介する。
我々は、セットエンコーダ、セット判別器、セットジェネレータ、セットプリエントを共同で学習することでこれを達成する。
SDNは、ベンチマークデータセット内の入力の健全な属性を保存するイメージセットを再構築でき、また、新しいオブジェクト/IDを生成することができることを示す。
本研究では, sdn が生成する3次元再構成ネットワークと顔認証ネットワークを用いて, 生成した画像群の品質評価のための新しい手法について検討する。 Images with shared characteristics naturally form sets. For example, in a face verification benchmark, images of the same identity form sets. For generative models, the standard way of dealing with sets is to represent each as a one hot vector, and learn a conditional generative model $p(\mathbf{x}|\mathbf{y})$. This representation assumes that the number of sets is limited and known, such that the distribution over sets reduces to a simple multinomial distribution. In contrast, we study a more generic problem where the number of sets is large and unknown. We introduce Set Distribution Networks (SDNs), a novel framework that learns to autoencode and freely generate sets. We achieve this by jointly learning a set encoder, set discriminator, set generator, and set prior. We show that SDNs are able to reconstruct image sets that preserve salient attributes of the inputs in our benchmark datasets, and are also able to generate novel objects/identities. We examine the sets generated by SDN with a pre-trained 3D reconstruction network and a face verification network, respectively, as a novel way to evaluate the quality of generated sets of images. | 翻訳日:2022-11-19 09:49:50 公開日:2020-06-18 |
| # 繰り返し学習:プライミング効果下における確率的マルチアームバンド Learning by Repetition: Stochastic Multi-armed Bandits under Priming Effect ( http://arxiv.org/abs/2006.10356v1 ) ライセンス: Link先を確認 | Priyank Agrawal and Theja Tulabandhula | (参考訳) 確率的マルチアームバンディット設定におけるエンゲージメントの持続性が学習に及ぼす影響について検討した。
広告やレコメンデーションシステムでは、ユーザーがクリックまたは購入によってプラットフォームに報酬を与える確率が、最近の過去のレコメンデーションの頻度に依存するという、繰り返しの効力がある。
また、最近の勧告が多すぎると、正に反応するユーザの正当性が低下する反作用の摩耗期間も含む。
プライミング効果は、現在のアクションに対する報酬はプラットフォームが行う歴史的なアクションに依存するため、戦略空間に対する一時的な制約として自然にモデル化することができる。
時間におけるサブ線形後悔と関連する摩耗/摩耗パラメータを実現する新しいアルゴリズムを提供する。
後悔の上界に対するプライミングの効果も加法的であり、プライミング効果がない場合には、UTB1やトンプソンサンプリングのような一般的なアルゴリズムと一致する保証を得る。
我々の研究は、バンディットにおける様々な報酬、遅延、腐敗のモデル化に関する最近の研究を補完し、シーケンシャルな意思決定設定におけるリッチな行動モデルの使用を拡張します。 We study the effect of persistence of engagement on learning in a stochastic multi-armed bandit setting. In advertising and recommendation systems, repetition effect includes a wear-in period, where the user's propensity to reward the platform via a click or purchase depends on how frequently they see the recommendation in the recent past. It also includes a counteracting wear-out period, where the user's propensity to respond positively is dampened if the recommendation was shown too many times recently. Priming effect can be naturally modelled as a temporal constraint on the strategy space, since the reward for the current action depends on historical actions taken by the platform. We provide novel algorithms that achieves sublinear regret in time and the relevant wear-in/wear-out parameters. The effect of priming on the regret upper bound is also additive, and we get back a guarantee that matches popular algorithms such as the UCB1 and Thompson sampling when there is no priming effect. Our work complements recent work on modeling time varying rewards, delays and corruptions in bandits, and extends the usage of rich behavior models in sequential decision making settings. | 翻訳日:2022-11-19 09:41:29 公開日:2020-06-18 |
| # 異常検出における賢いハンス効果 The Clever Hans Effect in Anomaly Detection ( http://arxiv.org/abs/2006.10609v1 ) ライセンス: Link先を確認 | Jacob Kauffmann, Lukas Ruff, Gr\'egoire Montavon, Klaus-Robert M\"uller | (参考訳) クリーバーハンズ効果は、学習したモデルが「間違った」特徴に基づいて正しい予測を生成するときに起こる。
mlモデルの一般化能力を弱め、標準検証技術によって検出されないこの効果は、トレーニングアルゴリズムがデータのスプリアス相関を利用する教師あり学習において頻繁に観測されている。
賢いハンスが教師なしの学習でも起こるのかという疑問は、今のところほとんど注目されていない。
そこで本稿では,異なるタイプの一般的な異常検出モデルで使用される関連する特徴を強調できる,説明可能なAI(XAI)手法を提案する。
解析の結果,Clever Hans効果は異常検出に広く,多くの(予期せぬ)形態で発生することが明らかとなった。
興味深いことに、観察された巧妙なハンス効果は、この場合、データのためではなく、大量のデータポイントが利用できるにもかかわらず、真に関連する特徴を検出できない構造を持つ異常検出モデル自体のためである。
全体として、本研究は、既存の異常検出モデルの実用用途における未制限使用に対する警告であるが、特に、複数の異常モデルが相互に個々の構造的弱点をキャンセルし、より良い信頼性のある異常検出を共同で作成できるようにすることによって、Clever Hansジレンマから抜け出す可能性も指摘している。 The 'Clever Hans' effect occurs when the learned model produces correct predictions based on the 'wrong' features. This effect which undermines the generalization capability of an ML model and goes undetected by standard validation techniques has been frequently observed for supervised learning where the training algorithm leverages spurious correlations in the data. The question whether Clever Hans also occurs in unsupervised learning, and in which form, has received so far almost no attention. Therefore, this paper will contribute an explainable AI (XAI) procedure that can highlight the relevant features used by popular anomaly detection models of different type. Our analysis reveals that the Clever Hans effect is widespread in anomaly detection and occurs in many (unexpected) forms. Interestingly, the observed Clever Hans effects are in this case not so much due to the data, but due to the anomaly detection models themselves whose structure makes them unable to detect the truly relevant features, even though vast amounts of data points are available. Overall, our work contributes a warning against an unrestrained use of existing anomaly detection models in practical applications, but it also points at a possible way out of the Clever Hans dilemma, specifically, by allowing multiple anomaly models to mutually cancel their individual structural weaknesses to jointly produce a better and more trustworthy anomaly detector. | 翻訳日:2022-11-19 09:40:54 公開日:2020-06-18 |
| # 生涯非定常における深層強化学習 Deep Reinforcement Learning amidst Lifelong Non-Stationarity ( http://arxiv.org/abs/2006.10701v1 ) ライセンス: Link先を確認 | Annie Xie, James Harrison, Chelsea Finn | (参考訳) 人間として、私たちの目標と環境は、私たちの経験、行動、そして内部および外部のドライブに基づいて、生涯にわたって変化し続けています。
対照的に、典型的な強化学習問題集合は、エピソード間で定常的な決定過程を考える。
より現実的な問題設定における永続的な変化に対処できる強化学習アルゴリズムを開発できるだろうか?
原則としてポリシー勾配のようなオンポリシーアルゴリズムは、非定常設定に拡張できるが、学習時に過去の経験を再現するより効率的なオフポリシーアルゴリズムについては、同じことが言えない。
本研究では,この問題設定を定式化し,オンライン学習と確率的推論文学からアイデアを引き出して,このような長寿の非定常性を推論し,対処できる非政治的RLアルゴリズムを導出する。
提案手法は潜時変動モデルを用いて,現在および過去の経験から環境の表現を学習し,この表現を用いて非政治的RLを実行する。
さらに, 生涯非定常性を示すシミュレーション環境をいくつか導入し, 環境変化を理由としないアプローチを実質的に上回っていることを実証的に確認する。 As humans, our goals and our environment are persistently changing throughout our lifetime based on our experiences, actions, and internal and external drives. In contrast, typical reinforcement learning problem set-ups consider decision processes that are stationary across episodes. Can we develop reinforcement learning algorithms that can cope with the persistent change in the former, more realistic problem settings? While on-policy algorithms such as policy gradients in principle can be extended to non-stationary settings, the same cannot be said for more efficient off-policy algorithms that replay past experiences when learning. In this work, we formalize this problem setting, and draw upon ideas from the online learning and probabilistic inference literature to derive an off-policy RL algorithm that can reason about and tackle such lifelong non-stationarity. Our method leverages latent variable models to learn a representation of the environment from current and past experiences, and performs off-policy RL with this representation. We further introduce several simulation environments that exhibit lifelong non-stationarity, and empirically find that our approach substantially outperforms approaches that do not reason about environment shift. | 翻訳日:2022-11-19 09:40:27 公開日:2020-06-18 |