このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス（CC 0, CC BY, CC BY-SA）の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。（arxivのメタデータは CC 0です。） 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。
公開日が20210108となっている論文です。
| Title | Authors | Abstract | 論文公表日・翻訳日 |
|---|---|---|---|
| # コリニア反強磁性体における異常ホール効果の観測 Observation of the Anomalous Hall Effect in a Collinear Antiferromagnet ( http://arxiv.org/abs/2002.08712v2 ) ライセンス: Link先を確認 | Zexin Feng, Xiaorong Zhou, Libor \v{S}mejkal, Lei Wu, Zengwei Zhu, Huixin Guo, Rafael Gonz\'alez-Hern\'andez, Xiaoning Wang, Han Yan, Peixin Qin, Xin Zhang, Haojiang Wu, Hongyu Chen, Zhengcai Xia, Chengbao Jiang, Michael Coey, Jairo Sinova, Tom\'a\v{s} Jungwirth, Zhiqi Liu | (参考訳) 時間反転対称性の破れ(英: Time-reversal symmetric breaking)は、異常ホール効果(AHE)や量子化変量など、多くの磁気トポロジカル現象を支える基本的な物理概念である。
aheは、主に強磁性双極子モーメント(強磁性双極子モーメント)を伴っており、これは位相量子状態を阻害し、メモリ装置のデータ密度を制限したり、強いスピンデコヒーレンスを持つ繊細な非線形磁気秩序によって、どちらも適用性を制限する。
潜在的ブレークスルーは、異方性結晶環境におけるコリニア反強磁性から生じるaheの最近の理論的予測である。
この新しいメカニズムは磁気双極子や非線形磁場を必要としない。
しかし、現在まで実験的に観測されていない。
ここでは、ルチルコリナー反強磁性体RuO$_2$のエピレイヤー中のAHEを測定することで、この異例のメカニズムを実証する。
観測された異常ホール導電性は300S/cmを超え, ベリー相の位相輸送寄与と一致している。
本研究は,コリニア反強磁性物質の豊富なクラスにおいて,時間反転対称性破壊現象の未解明の章を開く。 Time-reversal symmetry breaking is the basic physics concept underpinning many magnetic topological phenomena such as the anomalous Hall effect (AHE) and its quantized variant. The AHE has been primarily accompanied by a ferromagnetic dipole moment, which hinders the topological quantum states and limits data density in memory devices, or by a delicate noncollinear magnetic order with strong spin decoherence, both limiting their applicability. A potential breakthrough is the recent theoretical prediction of the AHE arising from collinear antiferromagnetism in an anisotropic crystal environment. This new mechanism does not require magnetic dipolar or noncollinear fields. However, it has not been experimentally observed to date. Here we demonstrate this unconventional mechanism by measuring the AHE in an epilayer of a rutile collinear antiferromagnet RuO$_2$. The observed anomalous Hall conductivity is large, exceeding 300 S/cm, and is in agreement with the Berry phase topological transport contribution. Our results open a new unexplored chapter of time-reversal symmetry breaking phenomena in the abundant class of collinear antiferromagnetic materials. | 翻訳日:2023-06-03 02:52:01 公開日:2021-01-08 |
| # ランダム配置原子の導波路を介する鎖の光学的性質 Optical properties of a waveguide-mediated chain of randomly positioned atoms ( http://arxiv.org/abs/2003.06596v2 ) ライセンス: Link先を確認 | Guo-Zhu Song, Jin-Liang Guo, Wei Nie, Leong-Chuan Kwek, Gui-Lu Long | (参考訳) 1次元導波路に結合した2レベル原子のアンサンブルの光学的性質を理論的に研究する。
我々のモデルでは、原子は1次元の導波路に沿った格子にランダムに位置している。
その結果、原子アンサンブルの光輸送特性は格子定数と格子部位の充填係数に影響されていることが明らかとなった。
また、原子ミラー構成に焦点をあて、散乱スペクトルに対する原子共鳴遷移における不均一拡大の効果を定量化する。
さらに, 透過体の光子-光子相関関数には, 初期束縛と永続量子ビートが出現し, 格子点の充填係数によって大きく変化することがわかった。
量子エミッタとナノフォトニクスのインターフェースは大きな進歩を遂げているため、近い将来に実験的に実現できるはずだ。 We theoretically study the optical properties of an ensemble of two-level atoms coupled to a one-dimensional waveguide. In our model, the atoms are randomly located in the lattice sites along the one-dimensional waveguide. The results reveal that the optical transport properties of the atomic ensemble are influenced by the lattice constant and the filling factor of the lattice sites. We also focus on the atomic mirror configuration and quantify the effect of the inhomogeneous broadening in atomic resonant transition on the scattering spectrum. Furthermore, we find that initial bunching and persistent quantum beats appear in photon-photon correlation function of the transmitted field, which are significantly changed by filling factor of the lattice sites. With great progress to interface quantum emitters with nanophotonics, our results should be experimentally realizable in the near future. | 翻訳日:2023-05-29 04:21:10 公開日:2021-01-08 |
| # RBMニューラルネットワークを用いた多くの身体相互作用の厳密表現 Exact representations of many body interactions with RBM neural networks ( http://arxiv.org/abs/2005.03568v2 ) ライセンス: Link先を確認 | Ermal Rrapaj, Alessandro Roggero | (参考訳) 制限ボルツマン機械(RBM、Restricted Boltzmann Machines)は、2部グラフ上に定義された単純な統計モデルであり、古典的および量子的両方のより複雑な多体系の研究に成功している。
本研究では,RBMの表現力を利用して,多体接触相互作用を個別の補助場に結合した一体演算子に正確に分解する。
この構造は、ハバードモデルでよく知られたヒルシュの変換を、核物理学におけるピオンレスFTのようなより複雑な理論に一般化し、詳細に解析する。
また,量子アニーリング応用へのマッピングの適用可能性についても検討し,機械学習によるrbmパラメータ最適化について考察した。 Restricted Boltzmann Machines (RBM) are simple statistical models defined on a bipartite graph which have been successfully used in studying more complicated many-body systems, both classical and quantum. In this work, we exploit the representation power of RBMs to provide an exact decomposition of many-body contact interactions into one-body operators coupled to discrete auxiliary fields. This construction generalizes the well known Hirsch's transform used for the Hubbard model to more complicated theories such as Pionless EFT in nuclear physics, which we analyze in detail. We also discuss possible applications of our mapping for quantum annealing applications and conclude with some implications for RBM parameter optimization through machine learning. | 翻訳日:2023-05-20 22:37:49 公開日:2021-01-08 |
| # NMR量子シミュレータにおける相互作用誘起遮断と局所スピン凍結の観察 Observation of interaction induced blockade and local spin freezing in a NMR quantum simulator ( http://arxiv.org/abs/2005.04445v2 ) ライセンス: Link先を確認 | V. R. Krithika, Soham Pal, Rejish Nath, and T. S. Mahesh | (参考訳) 2および3キュービット核磁気共鳴(NMR)アーキテクチャにおける相互作用誘起遮断と局所スピン凍結を実験的にエミュレートした。
これらの現象はリドベルク封鎖と同一であり、リドベルクは凍結した。
ライドベルク封鎖では、強いファンデルワール相互作用によって誘導されるレベルシフトにより、2つ以上の原子の同時励起がブロックされる。
このような強い相互作用系では、リドバーグバイアスド・フリーズ(英語版)も観察でき、力学は不等振幅の複数のドライブの助けを借りて、部分空間に制限される。
ここでは、NMR量子ビットを特定の遷移選択的電波で駆動し、量子状態トモグラフィーにより間欠的に量子状態を特徴づける。
これは人口動態の追跡を可能にするだけでなく、量子的不協和による量子相関の探索にも役立ち、妨害や凍結現象の下で進化する。
我々の研究はnmrプラットフォームにおけるこれらの現象の最初の実験シミュレーションを構成するが、ライドバーグバイアスド・フリーズの最初の実験実験でもある。
さらに、これらの研究は、上記の現象を絡み合い生成や部分空間操作に活用する興味深い量子制御の視点を開く。 We experimentally emulate interaction induced blockade and local spin freezing in two and three qubit Nuclear Magnetic Resonance (NMR) architecture. These phenomena are identical to the Rydberg blockade and Rydberg biased freezing. In Rydberg blockade, the simultaneous excitation of two or more atoms is blocked due to the level shift induced by the strong Van der Waal's interaction. In such a strong interaction regime, one can also observe Rydberg biased freezing, wherein the dynamics is confined to a subspace, with the help of multiple drives with unequal amplitudes. Here we drive NMR qubits with specific transition-selective radio waves, while intermittently characterizing the quantum states via quantum state tomography. This not only allows us to track the population dynamics, but also helps to probe quantum correlations, by means of quantum discord, evolving under blockade and freezing phenomena. While, our work constitutes the first experimental simulations of these phenomena in the NMR platform, it is also the first experimental demonstration of Rydberg biased freezing. Moreover, these studies open up interesting quantum control perspectives in exploiting the above phenomena for entanglement generation as well as subspace manipulations. | 翻訳日:2023-05-20 18:01:23 公開日:2021-01-08 |
| # evently: hawkesプロセスと再共有カスケードのモデリングと分析 Evently: Modeling and Analyzing Reshare Cascades with Hawkes Processes ( http://arxiv.org/abs/2006.06167v3 ) ライセンス: Link先を確認 | Quyu Kong, Rohit Ram and Marian-Andrei Rizoiu | (参考訳) オンライン談話力学のモデリングは、オフラインとオンラインの両方で情報の拡散を理解するための中核的な活動である。
オンラインソーシャルメディア分析の実践者(通常、社会、政治、コミュニケーションの科学者)と、ユーザーのオンライン議論を調査できるツールへのアクセシビリティーとの間には、現在不一致がある。
ここでは,オンライン再共有カスケード,特にリツイートカスケードを自己引用プロセスを用いてモデル化するツールであるeventlyを提案する。
Twitterの公開APIから生データを処理するための包括的な機能セットを提供し、処理されたリツイートカスケードの時間的ダイナミクスをモデル化し、幅広い拡散対策でオンラインユーザを特徴付ける。
このツールは、幅広いコンピュータ専門知識を持つ研究者向けに設計されており、チュートリアルと詳細なドキュメントを含んでいる。
本稿では,covid-19に関連するトピックデータセット上でのオンラインユーザ行動のエンドツーエンド分析を通じて,eventlyの利用状況を説明する。
コンテンツがオンラインにどのように広がるかに基づいてユーザーを特徴づけることで、影響力のあるユーザーやオンラインボットを混乱させることができる。 Modeling online discourse dynamics is a core activity in understanding the spread of information, both offline and online, and emergent online behavior. There is currently a disconnect between the practitioners of online social media analysis -- usually social, political and communication scientists -- and the accessibility to tools capable of examining online discussions of users. Here we present evently, a tool for modeling online reshare cascades, and particularly retweet cascades, using self-exciting processes. It provides a comprehensive set of functionalities for processing raw data from Twitter public APIs, modeling the temporal dynamics of processed retweet cascades and characterizing online users with a wide range of diffusion measures. This tool is designed for researchers with a wide range of computer expertise, and it includes tutorials and detailed documentation. We illustrate the usage of evently with an end-to-end analysis of online user behavior on a topical dataset relating to COVID-19. We show that, by characterizing users solely based on how their content spreads online, we can disentangle influential users and online bots. | 翻訳日:2023-05-16 00:48:07 公開日:2021-01-08 |
| # QKDと量子セーフセキュリティを備えた5Gネットワークスライシング 5G Network Slicing with QKD and Quantum-Safe Security ( http://arxiv.org/abs/2007.03377v2 ) ライセンス: Link先を確認 | Paul Wright, Catherine White, Ryan C. Parker, Jean-S\'ebastien Pegon, Marco Menchetti, Joseph Pearse, Arash Bahrami, Anastasia Moroz, Adrian Wonfor, Richard V. Penty, Timothy P. Spiller and Andrew Lord | (参考訳) 5gネットワークスライシングモデルをデータセキュリティ要件に対応するために拡張する方法を実証する。
本研究では,metroネットワークサイトをホストとする企業アプリケーションと,コンテンツ配信ネットワークという,5gネットワークにおける2つの多様なユースケースを,暗号化要件の異なる2つの異なるスライス構成で示す。
我々は、要求に応じてネットワークスライスを計算し、規定する修正されたSDNオーケストレータを作成し、量子鍵分布(QKD)や他の方法による暗号化を含む。
Sliceは、ネットワークリソースのSDNオーケストレーションによって自動的にプロビジョニングされ、標準のDiffie-Hellmanキー交換、QKD、量子耐性アルゴリズム(QRA)など、暗号化されたリンクの選択が適当である。
ネットワークスライスのセットアップと分解に要する時間は1～2分であり、これは現在手動でリンクをプロビジョニングするよりも桁違いに改善されていることを示している。 We demonstrate how the 5G network slicing model can be extended to address data security requirements. In this work we demonstrate two different slice configurations, with different encryption requirements, representing two diverse use-cases for 5G networking: namely, an enterprise application hosted at a metro network site, and a content delivery network. We create a modified software-defined networking (SDN) orchestrator which calculates and provisions network slices according to the requirements, including encryption backed by quantum key distribution (QKD), or other methods. Slices are automatically provisioned by SDN orchestration of network resources, allowing selection of encrypted links as appropriate, including those which use standard Diffie-Hellman key exchange, QKD and quantum-resistant algorithms (QRAs), as well as no encryption at all. We show that the set-up and tear-down times of the network slices takes of the order of 1-2 minutes, which is an order of magnitude improvement over manually provisioning a link today. | 翻訳日:2023-05-11 02:00:21 公開日:2021-01-08 |
| # 量子逆流の実験フレンドリな定式化 Experiment-friendly formulation of quantum backflow ( http://arxiv.org/abs/2008.07933v2 ) ライセンス: Link先を確認 | Marek Miller, Woo Chee Yuan, Rainer Dumke, Tomasz Paterek | (参考訳) 量子逆流は通常、量子粒子の確率電流が粒子の運動量と反対の方向に向けられる量子干渉現象として理解される。
ここで、任意の運動量分布に対する量子バックフローの量を定量化し、実験的な検証への道を開く。
重力および調和ポテンシャルの逆流の例を示し、原子重力計を用いた実験に必要な実験手順について議論する。
このような実験により、初期レベルより上の自由落下粒子を見つける確率は、ほとんどの運動量が下向きの適切な準備された量子状態に対して増加することが示される。 Quantum backflow is usually understood as a quantum interference phenomenon where probability current of a quantum particle points in the opposite direction to particle's momentum. Here, we quantify the amount of quantum backflow for arbitrary momentum distributions, paving the way towards its experimental verification. We give examples of backflow in gravitational and harmonic potential, and discuss experimental procedures required for the demonstration using atomic gravimeters. Such an experiment would show that the probability of finding a free falling particle above initial level could grow for suitably prepared quantum state with most momentum downwards. | 翻訳日:2023-05-05 22:57:33 公開日:2021-01-08 |
| # 交叉長方形格子間のカシミール力の強幾何依存性 Strong geometry dependence of the Casimir force between interpenetrated rectangular gratings ( http://arxiv.org/abs/2009.02187v2 ) ライセンス: Link先を確認 | Mingkang Wang, L. Tang, C. Y. Ng, Riccardo Messina, Brahim Guizal, J. A. Crosse, Mauro Antezza, C. T. Chan, and H. B. Chan | (参考訳) 量子揺らぎは2つの平行導電板の間にカシミール力をもたらし、その大きさは分離が減少するにつれて単調に増加する。
ナノスケールの格子を表面に導入することで、最近の進歩は複雑な幾何学におけるカシミール力を制御する機会を開いている。
ここでは、2つの長方形格子間のカシミール力を測定する。
オンチップ検出プラットフォームを用いて,2つのグレーティング間のアライメントを精度良く実現し,分離を低減させる。
干渉が起こる直前に、測定されたカシミール力は以前の実験よりもはるかに強い幾何学的依存を持ち、近接力近似からの偏差はおよそ500倍に達する。
格子同士が相互に交差した後、カシミール力は非ゼロとなり、変位から独立する。
この研究は、格子の存在によってナノメカニカルコンポーネント間の相互作用を制御するためにカシミール力が強く変化することを示した。 Quantum fluctuations give rise to Casimir forces between two parallel conducting plates, the magnitude of which increases monotonically as the separation decreases. By introducing nanoscale gratings to the surfaces, recent advances have opened opportunities for controlling the Casimir force in complex geometries. Here, we measure the Casimir force between two rectangular gratings in regimes not accessible before. Using an on-chip detection platform, we achieve accurate alignment between the two gratings so that they interpenetrate as the separation is reduced. Just before interpenetration occurs, the measured Casimir force is found to have a geometry dependence that is much stronger than previous experiments, with deviations from the proximity force approximation reaching a factor of ~500. After the gratings interpenetrate each other, the Casimir force becomes non-zero and independent of displacement. This work shows that the presence of gratings can strongly modify the Casimir force to control the interaction between nanomechanical components. | 翻訳日:2023-05-03 20:43:32 公開日:2021-01-08 |
| # 量子コンピュータ上での核動力学のための励起状態の生成 Preparation of excited states for nuclear dynamics on a quantum computer ( http://arxiv.org/abs/2009.13485v2 ) ライセンス: Link先を確認 | Alessandro Roggero, Chenyi Gu, Alessandro Baroni and Thomas Papenbrock | (参考訳) 量子コンピュータ上で励起状態を作成するための2つの異なる方法について検討する。
最初の方法はユニタリ進化を短い時間$t=\mathcal{o}(\sqrt{1-f})$ を使って、忠実度 $f$ と成功確率 $p\approx1-f$ を持つ励起作用素 $\hat{o}$ の作用を近似する。
第2の方法は、LCU(Linear Combination of Unitaries)アルゴリズムを用いて励起演算子を確率的に適用する。
熱中性子-陽子捕獲のためのおもちゃモデルを用いて, これらの手法をエミュレートおよび実量子デバイス上でベンチマークした。
メモリフットプリントは大きいが、lcuベースの方法は現在のノイズの多いデバイスでも効率的であり、ナイーブ解析が示唆するよりも低いゲートコストで実装できる。
これらの結果から,耐故障性量子デバイス上での漸近的スケーリングを実現するために設計された量子技術は,接続性やゲート忠実性に制限されたデバイスに実用的なメリットをもたらす可能性が示唆された。 We study two different methods to prepare excited states on a quantum computer, a key initial step to study dynamics within linear response theory. The first method uses unitary evolution for a short time $T=\mathcal{O}(\sqrt{1-F})$ to approximate the action of an excitation operator $\hat{O}$ with fidelity $F$ and success probability $P\approx1-F$. The second method probabilistically applies the excitation operator using the Linear Combination of Unitaries (LCU) algorithm. We benchmark these techniques on emulated and real quantum devices, using a toy model for thermal neutron-proton capture. Despite its larger memory footprint, the LCU-based method is efficient even on current generation noisy devices and can be implemented at a lower gate cost than a naive analysis would suggest. These findings show that quantum techniques designed to achieve good asymptotic scaling on fault tolerant quantum devices might also provide practical benefits on devices with limited connectivity and gate fidelity. | 翻訳日:2023-04-30 18:29:59 公開日:2021-01-08 |
| # 二成分リボングラフの量子力学:積分性、格子、クロネッカー係数 Quantum mechanics of bipartite ribbon graphs: Integrality, Lattices and Kronecker coefficients ( http://arxiv.org/abs/2010.04054v2 ) ライセンス: Link先を確認 | Joseph Ben Geloun, Sanjaye Ramgoolam | (参考訳) ヒルベルト空間上の可解量子力学系を、固定数のエッジを持つ二部格子リボングラフで定義する。
ヒルベルト空間もまた結合代数であり、積は置換群積から導かれる。
このヒルベルト空間代数の存在と構造は、多くの結果をもたらす。
代数積は、整数リボングラフ再連結係数の項で表現できるが、対称群要素の正規化文字で表現される固有値と、対称群表現のテンソル積多重であるクロネッカー係数の項で与えられる縮退値を持つ可解ハミルトニアンを定義するために用いられる。
ヤング図形の三重項に対するクロネッカー係数の平方は、リボングラフの格子における部分格子の次元に等しいことが示されている。
これにより、クロネッカー係数のコンビネータ的解釈の長年の疑問への答えが導かれる。
量子超越性とその計算複雑性理論への示唆を探究する手段として、仮定的量子実現/シミュレーションのための非有界クロネッカー係数の検出実験を概説する。
リボングラフとベリイ写像の対応は、弦幾何学の間で補間される量子膜世界容積の観点からこれらの量子力学系の解釈に繋がる。 We define solvable quantum mechanical systems on a Hilbert space spanned by bipartite ribbon graphs with a fixed number of edges. The Hilbert space is also an associative algebra, where the product is derived from permutation group products. The existence and structure of this Hilbert space algebra has a number of consequences. The algebra product, which can be expressed in terms of integer ribbon graph reconnection coefficients, is used to define solvable Hamiltonians with eigenvalues expressed in terms of normalized characters of symmetric group elements and degeneracies given in terms of Kronecker coefficients, which are tensor product multiplicities of symmetric group representations. The square of the Kronecker coefficient for a triple of Young diagrams is shown to be equal to the dimension of a sub-lattice in the lattice of ribbon graphs. This leads to an answer to the long-standing question of a combinatoric interpretation of the Kronecker coefficients. As an avenue to explore quantum supremacy and its implications for computational complexity theory, we outline experiments to detect non-vanishing Kronecker coefficients for hypothetical quantum realizations/simulations of these quantum systems. The correspondence between ribbon graphs and Belyi maps leads to an interpretation of these quantum mechanical systems in terms of quantum membrane world-volumes interpolating between string geometries. | 翻訳日:2023-04-29 15:35:58 公開日:2021-01-08 |
| # ニュース情報のデカップリング : レガシーニュースメディアにおけるカタストロフィの情報シグナチャ News Information Decoupling: An Information Signature of Catastrophes in Legacy News Media ( http://arxiv.org/abs/2101.02956v1 ) ライセンス: Link先を確認 | Kristoffer L. Nielbo, Rebekah B. Baglini, Peter B. Vahlstrup, Kenneth C. Enevoldsen, Anja Bechmann, Andreas Roepstorff | (参考訳) ニュースメディアにおけるコンテンツアライメントは、Covid-19の初期フェーズの観測可能な情報効果であった。
2020年前半、レガシメディアは、全国的流行と危機管理のパターンが原因で「コロナニュース」になった。
ニュースメディアは、イベントの源泉として偏見がなく、また、失敗もしないが、イベントに対する社会文化的反応の窓口を提供する。
本稿では,従来の印刷媒体を用いて,文化的に重要な災害の情報シグネチャとして機能するニュース情報分離(nid)の原理を実証的に導出する。
形式的には、NIDは変化検出アルゴリズムへの入力を提供し、情報理論とメディア研究の交差において未解決の研究問題をいくつか指している。 Content alignment in news media was an observable information effect of Covid-19's initial phase. During the first half of 2020, legacy news media became "corona news" following national outbreak and crises management patterns. While news media are neither unbiased nor infallible as sources of events, they do provide a window into socio-cultural responses to events. In this paper, we use legacy print media to empirically derive the principle News Information Decoupling (NID) that functions as an information signature of culturally significant catastrophic event. Formally, NID can provide input to change detection algorithms and points to several unsolved research problems in the intersection of information theory and media studies. | 翻訳日:2023-04-17 08:36:54 公開日:2021-01-08 |
| # 散逸モードに結合した周期駆動ラビダイマーにおける光子支援ランダウ・ゼナー遷移 Photon-assisted Landau-Zener transitions in a periodically driven Rabi dimer coupled to a dissipative mode ( http://arxiv.org/abs/2101.02949v1 ) ライセンス: Link先を確認 | Fulu Zheng, Yuejun Shen, Kewei Sun, Yang Zhao | (参考訳) 我々は、2つの相互作用する伝送線路共振器のそれぞれがキュービットに結合され、キュービットは周期的な駆動場によって駆動され、共通のフォノンモードに結合されるハイブリッド回路量子力学デバイスにおける光子アシストランダウ・ツェナー(LZ)遷移について検討する。
合成系全体の量子状態は、時間依存のディラック・フランケル変分原理と組み合わせて、多価D_2$Ansatzを用いてモデル化される。
正弦波駆動場を1つの量子ビットに適用することにより、このデバイスは2つの量子ビットのダイナミクスを比較することで光子アシストLZ遷移を研究するのに理想的なプラットフォームである。
干渉光子アシストLZ遷移は、光子周波数が駆動振幅よりもはるかに小さい場合に起こる。
2つのエネルギースケールが同等になると、独立したLZ遷移が起こり、エネルギー図を用いて遷移経路が明らかにされる。
断熱的および非断熱的遷移がダイナミクスに関与することが判明した。
LZ遷移の環境効果をモデル化するために使用される一般的なフォノンモードは、量子ビットと結合し、LZ遷移を促進するためにより利用可能な状態を可能にする。
解析式を求め、短時間のフォノン人口を推定し、数値計算と合理的に一致する結果を生成する。
量子情報装置や量子コンピュータにおける量子ビットと光子の状態を制御するための新たな会場を開くことで、システム内の光子アシストLZ遷移の知識を生かし、量子ビット状態を正確に操作し、二乗波パターンで量子ビットダイナミクスをうまく生成することができる。 We investigate multiple photon-assisted Landau-Zener (LZ) transitions in a hybrid circuit quantum electrodynamics device in which each of two interacting transmission-line resonators is coupled to a qubit, and the qubits are driven by periodic driving fields and also coupled to a common phonon mode. The quantum state of the entire composite system is modeled using the multi-$\rm D_2$ Ansatz in combination with the time-dependent Dirac-Frenkel variational principle. Applying a sinusoidal driving field to one of the qubits, this device is an ideal platform to study the photon-assisted LZ transitions by comparing the dynamics of the two qubits. A series of interfering photon-assisted LZ transitions take place if the photon frequency is much smaller than the driving amplitude. Once the two energy scales are comparable, independent LZ transitions arise and a transition pathway is revealed using an energy diagram. It is found that both adiabatic and nonadiabatic transitions are involved in the dynamics. Used to model environmental effects on the LZ transitions, the common phonon mode coupled to the qubits allows for more available states to facilitate the LZ transitions. An analytical formula is obtained to estimate the short-time phonon population and produces results in reasonable agreement with numerical calculations. Equipped with the knowledge of the photon-assisted LZ transitions in the system, we can precisely manipulate the qubit state and successfully generate the qubit dynamics with a square-wave pattern by applying driving fields to both qubits, opening up new venues to manipulate the states of qubits and photons in quantum information devices and quantum computers | 翻訳日:2023-04-17 08:36:43 公開日:2021-01-08 |
| # 有限時間測定による熱力学長の補間 Extrapolating the thermodynamic length with finite-time measurements ( http://arxiv.org/abs/2101.02948v1 ) ライセンス: Link先を確認 | Jin-Fu Chen and C. P. Sun and Hui Dong | (参考訳) 有限演算時間 \tau の熱エンジンプロセスにおける過剰な作業は、熱力学状態の空間内の経路に沿った緩和中の距離を測定する熱力学的長さによって制限される。
残念ながら、熱エンジンの最適化の指針として熱力学的長さは実験的な測定を超えている。
有限時間測定による熱力学的長 \mathcal{L}(\tau)=\int_{0}^{\tau}[P_{\mathrm{ex}}(t)]^{1/2}dt の余剰電力 P_{\mathrm{ex}}(t) による外挿により熱力学的長 \mathcal{L} を測定することを提案する。
現在の提案では、最適制御スキームを見つけるのに余計な労力を要せず、単一の制御パラメータの熱力学的長さを測定することができる。
本稿では,周波数を調節する量子高調波発振器と体積変化を伴う古典的理想気体を用いて測定戦略を示す。 The excess work performed in a heat-engine process with given finite operation time \tau is bounded by the thermodynamic length, which measures the distance during the relaxation along a path in the space of the thermodynamic state. Unfortunately, the thermodynamic length, as a guidance for the heat engine optimization, is beyond the experimental measurement. We propose to measure the thermodynamic length \mathcal{L} through the extrapolation of finite-time measurements \mathcal{L}(\tau)=\int_{0}^{\tau}[P_{\mathrm{ex}}(t)]^{1/2}dt via the excess power P_{\mathrm{ex}}(t). The current proposal allows to measure the thermodynamic length for a single control parameter without requiring extra effort to find the optimal control scheme. We illustrate the measurement strategy via examples of the quantum harmonic oscillator with tuning frequency and the classical ideal gas with changing volume. | 翻訳日:2023-04-17 08:36:12 公開日:2021-01-08 |
| # 生成逆数ネットワークによる大規模多目的最適化のためのマニフォールド補間 Manifold Interpolation for Large-Scale Multi-Objective Optimization via Generative Adversarial Networks ( http://arxiv.org/abs/2101.02932v1 ) ライセンス: Link先を確認 | Zhenzhong Wang and Haokai Hong and Kai Ye and Min Jiang and Kay Chen Tan | (参考訳) 大規模多目的最適化問題(LSMOP)は、数百から数千の決定変数と複数の矛盾する目的を含む。
LSMOPを解くための優れたアルゴリズムは、大規模検索空間において、多様性のあるパレート最適解を見つけ、局所最適から逃れるべきである。
前回の研究では、これらの最適解は低次元空間の多様体構造上に一様分布することが示されている。
しかし、LSMOPを解くための伝統的な進化的アルゴリズムは、この構造多様体を扱うのにいくつかの欠点があり、結果として多様性の欠如、局所最適性、非効率的な探索をもたらす。
本研究では, 生成逆数ネットワーク(GAN)に基づく多様体補間フレームワークを提案し, 多様体を学習し, この多様体上で高品質な解を生成することにより, 進化的アルゴリズムの性能を向上させる。
提案アルゴリズムを大規模多目的ベンチマーク関数の最先端アルゴリズムと比較する。
実験の結果,LSMOPの解決において,このフレームワークが達成した大幅な改善が示された。 Large-scale multiobjective optimization problems (LSMOPs) are characterized as involving hundreds or even thousands of decision variables and multiple conflicting objectives. An excellent algorithm for solving LSMOPs should find Pareto-optimal solutions with diversity and escape from local optima in the large-scale search space. Previous research has shown that these optimal solutions are uniformly distributed on the manifold structure in the low-dimensional space. However, traditional evolutionary algorithms for solving LSMOPs have some deficiencies in dealing with this structural manifold, resulting in poor diversity, local optima, and inefficient searches. In this work, a generative adversarial network (GAN)-based manifold interpolation framework is proposed to learn the manifold and generate high-quality solutions on this manifold, thereby improving the performance of evolutionary algorithms. We compare the proposed algorithm with several state-of-the-art algorithms on large-scale multiobjective benchmark functions. Experimental results have demonstrated the significant improvements achieved by this framework in solving LSMOPs. | 翻訳日:2023-04-17 08:35:55 公開日:2021-01-08 |
| # physarum solverはいつ、最も短い経路を他の経路と区別するのか? -遷移点とその応用- When does the Physarum Solver Distinguish the Shortest Path from other Paths: the Transition Point and its Applications ( http://arxiv.org/abs/2101.02913v1 ) ライセンス: Link先を確認 | Yusheng Huang (1), Dong Chu (1), Joel Weijia Lai (2), Yong Deng (1), Kang Hao Cheong (2) ((1) Institute of Fundamental and Frontier Science, University of Electronic Science and Technology of China, Chengdu, China, (2) Science and Math Cluster, Singapore University of Technology and Design (SUTD), Singapore) | (参考訳) physarum solver または physarum polycephalum inspired algorithm (ppa) は、生物にインスパイアされたアルゴリズムで、与えられたグラフの中で最も短い経路を見つけることができる。
近年,PPA(OPPA)のパスフィニングプロセスの高速化により,このアルゴリズムをさらに発展させる手法が提案されている。
しかし、PPAはいつ、最も短い経路が見つかったことを確かめるのだろうか?
PPAが最短経路を他の経路と区別できるポイントはあるだろうか?
支配経路(D-Path)の概念を革新的に提案することにより、PPAが最短経路を見つけるときの正確な瞬間を遷移点(T-Point)と呼ぶ。
D-PathとT-Pointに基づいて,提案した終端基準を用いたOPPA-DというPPAを新たに開発した。
また,提案した終端基準の有効性と優越性を実証した。
さらに,異なるOPPAの比較のための新しい知見を提供するために,評価手法を提案する。
本論文のブレークスルーは,OPPAの終了にDパスとTポイントを用いることである。
新規終末基準は、このOPPAの実際の性能を明らかにする。
このOPPAは最速のアルゴリズムであり、いわゆる加速OPPAよりも優れている。
さらに, 高速化アルゴリズムを不適切に主張する既存の著作物が実際に不適切な終了基準の積である理由を解説し, その方法が加速されているという錯覚を生じさせる。 Physarum solver, also called the physarum polycephalum inspired algorithm (PPA), is a newly developed bio-inspired algorithm that has an inherent ability to find the shortest path in a given graph. Recent research has proposed methods to develop this algorithm further by accelerating the original PPA (OPPA)'s path-finding process. However, when does the PPA ascertain that the shortest path has been found? Is there a point after which the PPA could distinguish the shortest path from other paths? By innovatively proposing the concept of the dominant path (D-Path), the exact moment, named the transition point (T-Point), when the PPA finds the shortest path can be identified. Based on the D-Path and T-Point, a newly accelerated PPA named OPPA-D using the proposed termination criterion is developed which is superior to all other baseline algorithms according to the experiments conducted in this paper. The validity and the superiority of the proposed termination criterion is also demonstrated. Furthermore, an evaluation method is proposed to provide new insights for the comparison of different accelerated OPPAs. The breakthrough of this paper lies in using D-path and T-point to terminate the OPPA. The novel termination criterion reveals the actual performance of this OPPA. This OPPA is the fastest algorithm, outperforming some so-called accelerated OPPAs. Furthermore, we explain why some existing works inappropriately claim to be accelerated algorithms is in fact a product of inappropriate termination criterion, thus giving rise to the illusion that the method is accelerated. | 翻訳日:2023-04-17 08:35:39 公開日:2021-01-08 |
| # 量子強化光干渉計の実験 Experimental Quantum Enhanced Optical Interferometry ( http://arxiv.org/abs/2101.02891v1 ) ライセンス: Link先を確認 | Marco Genovese | (参考訳) 光量子干渉法は量子力学の最も古い例であり、量子技術の源である。
元々の圧縮状態スキームは、現在、重力波検出器の最後のバージョンの重要な要素であり、様々な用途が提案されている。
SU(1,1)干渉計からツインビーム相関干渉計まで、さらなる量子強化スキームは、実験量子干渉計の分野を拡大し、プランクスケール信号探索から小さな効果検出まで、いくつかの応用への道を開いた原理実験の段階に達した。
本稿では,これらの成果を概説し,その計画,利点,応用,さらなる発展の可能性について述べる。 Optical quantum interferometry represents the oldest example of quantum metrology and it is at the source of quantum technologies. The original squeezed state scheme is now a significant element of the last version of gravitational wave detectors and various additional uses have been proposed. Further quantum enhanced schemes, from SU(1,1) interferometer to twin beam correlation interferometry, have also reached the stage of proof of principle experiments enlarging the field of experimental quantum interferometry and paving the way to several further applications ranging from Planck scale signals search to small effects detection. In this review paper I introduce these experimental achievements, describing their schemes, advantages, applications and possible further developments. | 翻訳日:2023-04-17 08:35:13 公開日:2021-01-08 |
| # タスク適応型計算のための磁壁トンネル接合人工ニューロンの制御可能なリセット挙動 Controllable reset behavior in domain wall-magnetic tunnel junction artificial neurons for task-adaptable computation ( http://arxiv.org/abs/2101.03095v1 ) ライセンス: Link先を確認 | Samuel Liu, Christopher H. Bennett, Joseph S. Friedman, Matthew J. Marinella, David Paydarfar, Jean Anne C. Incorvia | (参考訳) スピントロニクスデバイスを用いたニューロモルフィック・コンピューティングは、CMOS駆動のフォン・ノイマン・コンピューティングの限界から注目されている。
ドメイン壁-磁気トンネル接合(DW-MTJ)デバイスは、生物学的ニューロンの挙動を本質的に捉えることができる。
頻繁に発火するニューロンが活動電位閾値を低下させると、反復的なタスクの実行時に追加の人工ニューロン機能を提供できる。
本研究では, dw-mtj人工ニューロンにおいて, 形状異方性, 磁場, 電流駆動型ソフトリセットの3つの機構により, この挙動を実装できることを実証する。
マイクロマグネティクスと解析装置モデリングを用いて、Optdigits手書き桁データセットの分類を行い、ランダム化されたデータセットに対してほとんど精度を犠牲にすることなく、予測されたデータセットの分類精度と分類率の両方を改善することを示す。
この研究は、人工スピントロニクスニューロンがデータセットに柔軟に適応できる方法を確立する。 Neuromorphic computing with spintronic devices has been of interest due to the limitations of CMOS-driven von Neumann computing. Domain wall-magnetic tunnel junction (DW-MTJ) devices have been shown to be able to intrinsically capture biological neuron behavior. Edgy-relaxed behavior, where a frequently firing neuron experiences a lower action potential threshold, may provide additional artificial neuronal functionality when executing repeated tasks. In this study, we demonstrate that this behavior can be implemented in DW-MTJ artificial neurons via three alternative mechanisms: shape anisotropy, magnetic field, and current-driven soft reset. Using micromagnetics and analytical device modeling to classify the Optdigits handwritten digit dataset, we show that edgy-relaxed behavior improves both classification accuracy and classification rate for ordered datasets while sacrificing little to no accuracy for a randomized dataset. This work establishes methods by which artificial spintronic neurons can be flexibly adapted to datasets. | 翻訳日:2023-04-17 08:27:37 公開日:2021-01-08 |
| # 非マルコフ開量子システムの最適制御のためのハミルトンパラメータ空間の効率的な探索 Efficient exploration of Hamiltonian parameter space for optimal control of non-Markovian open quantum systems ( http://arxiv.org/abs/2101.03071v1 ) ライセンス: Link先を確認 | Gerald E. Fux, Eoin Butler, Paul R. Eastham, Brendon W. Lovett, Jonathan Keeling | (参考訳) 本稿では,非マルコフ問題に対する量子制御手順を効率的に設計し,レーザーパルスの形状を最適化して特定の状態に量子ドットを作成できる方法を提案する。
時間-局所的な記述が失敗する構造化環境への強い結合を伴うオープン量子システムダイナミクスの最適化は、計算的に難しいタスクである。
計算コストが極めて低い制御パラメータの集合に対して,削減された系密度行列の時間発展を繰り返し計算できるように,数値的に正確な時間発展行列積演算子 (TEMPO) 法を変更する。
この方法は、特に振動モードとの結合が典型的に強い固体量子デバイスにおいて、多くの量子最適制御問題を研究するのに有用である。 We present a general method to efficiently design quantum control procedures for non-Markovian problems and illustrate it by optimizing the shape of a laser pulse to prepare a quantum dot in a specific state. The optimization of open quantum system dynamics with strong coupling to structured environments -- where time-local descriptions fail -- is a computationally challenging task. We modify the numerically exact time evolving matrix product operator (TEMPO) method, such that it allows the repeated computation of the time evolution of the reduced system density matrix for various sets of control parameters at very low computational cost. This method is potentially useful for studying numerous quantum optimal control problems, in particular in solid state quantum devices where the coupling to vibrational modes is typically strong. | 翻訳日:2023-04-17 08:27:18 公開日:2021-01-08 |
| # 分数渦による量子宇宙論の拡大 Broadening quantum cosmology with a fractional whirl ( http://arxiv.org/abs/2101.03065v1 ) ライセンス: Link先を確認 | S. M. M. Rasouli, S. Jalalzadeh and P. V. Moniz | (参考訳) まず、分数量子宇宙論へのモチベーションを伝える手段として、分数量子力学の簡単な概要を提示します。
その後、ケーススタディの助けを借りてコンクリート化される。
具体的には,空間的に平坦な等方性・等方性宇宙における剛体モデルについて検討・検討する。
分数計算の含意が明示的な新しい量子宇宙論解が提示され、対応する標準量子宇宙論設定と対比される。 We start by presenting a brief summary of fractional quantum mechanics, as means to convey a motivation towards fractional quantum cosmology. Subsequently, such application is made concrete with the assistance of a case study. Specifically, we investigate and then discuss a model of stiff matter in a spatially flat homogeneous and isotropic universe. A new quantum cosmological solution, where fractional calculus implications are explicit, is presented and then contrasted with the corresponding standard quantum cosmology setting. | 翻訳日:2023-04-17 08:27:04 公開日:2021-01-08 |
| # 三層グラフェンにおけるゲート可変直接及び逆電気カロリック効果 Gate-tunable direct and inverse electrocaloric effect in trilayer graphene ( http://arxiv.org/abs/2101.03062v1 ) ライセンス: Link先を確認 | Natalia Cort\'es, Oscar Negrete, Francisco J. Pe\~na and Patricio Vargas | (参考訳) エレクトロカロリック(ec)効果は、断熱電界変化を受ける際の材料の温度および/またはエントロピーの可逆的変化である。
フェルミ統計に関連付けられた密結合計算により、熱源に接続された三層グラフェン(tlg)構造の積層配置にec効果が敏感であることを示し、外部グラフェン層に外部ゲートフィールドを印加した場合のフェルミ準位付近の電子密度(dos)の変化からec効果が得られた。
本研究は,AAA-stacked TLGが逆EC応答(冷却)を示すのに対し,ABC-stacked TLGのEC効果は適用ゲート電位強度に関わらず直接(加熱)することを示した。
ベルナルアバの積み重ね幾何学を持つtlgは、有限温度でのゲート依存電子エントロピー転移と関連して、同じサンプルで逆および直接のec応答を生成する。
化学ポテンシャルを異なるフェルミ準位に変化させることで、DOSの最大値と最小値が電子エントロピーの極端付近にあり、粒子毎の差分エントロピーの符号変化と相関し、TLG幾何ごとに特定の実験的に測定可能な電子エントロピースペクトルを与える。
量子2次元の層状システムにおけるec効果は、現代の携帯型オンチップ技術に必要なナノスケール電子機器の温度を制御するための多用途プラットフォームとして使用できる様々なプロトタイプファンデルワールス材料をもたらす可能性がある。 The electrocaloric (EC) effect is the reversible change in temperature and/or entropy of a material when it is subjected to an adiabatic electric field change. Our tight-binding calculations linked to Fermi statistics, show that the EC effect is sensitive to the stacking arrangement in trilayer graphene (TLG) structures connected to a heat source, and is produced by changes of the electronic density of states (DOS) near the Fermi level when external gate fields are applied on the outer graphene layers. We demonstrate the AAA-stacked TLG presents an inverse EC response (cooling), whereas the EC effect in ABC-stacked TLG remains direct (heating) regardless of the applied gate field potential strength. We reveal otherwise the TLG with Bernal-ABA stacking geometry generates both the inverse and direct EC response in the same sample, associated with a gate-dependent electronic entropy transition at finite temperature. By varying the chemical potential to different Fermi levels, we find maxima and minima of the DOS are located near the extremes of the electronic entropy, which are correlated with sign changes in the differential entropy per particle, giving a particular experimentally measurable electronic entropy spectrum for each TLG geometry. The EC effect in quantum two-dimensional layered systems may bring a wide variety of prototype van der Waals materials that could be used as versatile platforms to controlling the temperature in nanoscale electronic devices required in modern portable on-chip technologies. | 翻訳日:2023-04-17 08:26:58 公開日:2021-01-08 |
| # モジュラ量子コンピューティングと量子ライクデバイス Modular quantum computing and quantum-like devices ( http://arxiv.org/abs/2101.03012v1 ) ライセンス: Link先を確認 | R. Vilela Mendes | (参考訳) この論文の2つの基本的な考え方は、ある古典的コンピュータにいくつかの特殊な量子モジュールを追加することで量子計算のパワーを相当に得ることができ、一方、そのようなモジュールは、空間座標が進化パラメータである(量子アルゴリズムにおいて時間の役割を担っている)量子的な方程式に従う古典的システムから構築できるということである。 The two essential ideas in this paper are, on the one hand, that a considerable amount of the power of quantum computation may be obtained by adding to a classical computer a few specialized quantum modules and, on the other hand, that such modules may be constructed out of classical systems obeying quantum-like equations where a space coordinate is the evolution parameter (thus playing the role of time in the quantum algorithms). | 翻訳日:2023-04-17 08:26:07 公開日:2021-01-08 |
| # グラフェンの負曲率時空解 Negative-curvature spacetime solutions for graphene ( http://arxiv.org/abs/2101.03010v1 ) ライセンス: Link先を確認 | Antonio Gallerati | (参考訳) 曲面基板上に電荷キャリアを有するグラフェン様材料の電子特性を詳細に解析し,特に一定負曲率時空に着目した。
明らかなパラメトリゼーションはベルトラミ幾何の顕著な場合においても行われ、曲面の2次元曲面上に存在する擬粒子モードの解析解である。
次に、対応するマスレスディラック記述を利用して、その状態のサンプルの局所密度にどのように影響するかを決定する。 We provide a detailed analysis of the electronic properties of graphene-like materials with charge carriers living on a curved substrate, focusing in particular on constant negative-curvature spacetime. An explicit parametrization is also worked out in the remarkable case of Beltrami geometry, with an analytic solution for the pseudoparticles modes living on the curved bidimensional surface. We will then exploit the correspondent massless Dirac description, to determine how it affects the sample local density of states. | 翻訳日:2023-04-17 08:25:57 公開日:2021-01-08 |
| # 量子回路コンパイラにおけるユニタリ行列の効率的な分解 Efficient decomposition of unitary matrices in quantum circuit compilers ( http://arxiv.org/abs/2101.02993v1 ) ライセンス: Link先を確認 | A. M. Krol, A. Sarkar, I. Ashraf, Z. Al-Ars, K. Bertels | (参考訳) ユニタリ分解は、量子アルゴリズムを任意の量子ゲートにマッピングするのに広く用いられる方法である。
この分解の効率的な実装により、より大きなユニタリゲートを基本量子演算に変換することが可能となり、既存の量子コンピュータ上でこれらのアルゴリズムを実行する鍵となる。
この分解は、量子加速器上でアルゴリズムの一部をテストするだけでなく、回路全体の積極的な最適化方法として使用できる。
分解アルゴリズムの選択と実装には、完全量子ビットが仮定される。
我々は,nビット入力ゲートに対するO((3/4)*4^n)制御ノットゲートを生成する量子シャノン分解に基づく分解手法を提案する。
その結果得られる回路は、フィールド内の他の方法よりも最大10倍短い。
実装をQubiterと比較すると、実装がCNOTゲートの半数と回路長の3分の1の回路を生成することを示す。
それに加えて、最大10倍の速さだ。
さらなる最適化は、入力行列や中間行列の潜在的な基盤構造を活用し、分解の実行時間を最小化するために提案されている。 Unitary decomposition is a widely used method to map quantum algorithms to an arbitrary set of quantum gates. Efficient implementation of this decomposition allows for translation of bigger unitary gates into elementary quantum operations, which is key to executing these algorithms on existing quantum computers. The decomposition can be used as an aggressive optimization method for the whole circuit, as well as to test part of an algorithm on a quantum accelerator. For selection and implementation of the decomposition algorithm, perfect qubits are assumed. We base our decomposition technique on Quantum Shannon Decomposition which generates O((3/4)*4^n) controlled-not gates for an n-qubit input gate. The resulting circuits are up to 10 times shorter than other methods in the field. When comparing our implementation to Qubiter, we show that our implementation generates circuits with half the number of CNOT gates and a third of the total circuit length. In addition to that, it is also up to 10 times as fast. Further optimizations are proposed to take advantage of potential underlying structure in the input or intermediate matrices, as well as to minimize the execution time of the decomposition. | 翻訳日:2023-04-17 08:25:34 公開日:2021-01-08 |
| # グループフェアネス:独立の再訪 Group Fairness: Independence Revisited ( http://arxiv.org/abs/2101.02968v1 ) ライセンス: Link先を確認 | Tim R\"az | (参考訳) 本稿では、統計パリティや人口統計パリティとしても知られるグループフェアネスの尺度である独立に反対する議論を批判的に検討する。
コンピュータ科学におけるフェアネスに関する最近の議論では、独立性はグループフェアネスの適切な尺度ではないと主張する者もいる。
この立場は少なくとも、独立に反対する議論を提供する2つの影響力のある論文(dwork et al., 2012 hardt et al., 2016)に基づいている。
我々はこれらの議論を再考し、独立に対する訴訟はやや弱いことに気付く。
我々はまた、独立性を支持する議論をし、公正性を考える上で、それが際立った役割を担っていることを示す。
最後に、異なる公平性を考慮したバランスをとる方法について論じる。 This paper critically examines arguments against independence, a measure of group fairness also known as statistical parity and as demographic parity. In recent discussions of fairness in computer science, some have maintained that independence is not a suitable measure of group fairness. This position is at least partially based on two influential papers (Dwork et al., 2012, Hardt et al., 2016) that provide arguments against independence. We revisit these arguments, and we find that the case against independence is rather weak. We also give arguments in favor of independence, showing that it plays a distinctive role in considerations of fairness. Finally, we discuss how to balance different fairness considerations. | 翻訳日:2023-04-17 08:25:18 公開日:2021-01-08 |
| # 量子系の黒体放射ノイズ拡大 Blackbody Radiation Noise Broadening of Quantum Systems ( http://arxiv.org/abs/2101.03107v1 ) ライセンス: Link先を確認 | Eric B Norrgard, Stephen P Eckel, Christopher L Holloway, and Eric L Shirley | (参考訳) 量子系の精密測定は、しばしば黒体放射との相互作用を探り、考慮しなければならない。
過去数十年間、ACスタークのシフトや国家移動の刺激に多くの注意が向けられてきた。
熱力学平衡における黒体の場合、これらの2つの効果はプランクスペクトルの各モードにおける光子数の期待値によって決定される。
ここでは、平衡ブラックボディの光子数分散が一般に、ブラックボディ体積の平方根に逆比例する量子系のエネルギー準位をパラメトリックに拡大させる方法について考察する。
この拡張に非常に敏感な2つのケース、すなわちRydberg原子と原子時計の効果を考察する。
ブラックボディの体積が 1\,cm$^3$ と小さい場合でも、この効果が遷移線幅に有意義に寄与する可能性は低い。 Precision measurements of quantum systems often seek to probe or must account for the interaction with blackbody radiation. Over the past several decades, much attention has been given to AC Stark shifts and stimulated state transfer. For a blackbody in thermodynamic equilibrium, these two effects are determined by the expectation value of photon number in each mode of the Planck spectrum. Here, we explore how the photon number variance of an equilibrium blackbody generally leads to a parametric broadening of the energy levels of quantum systems that is inversely proportional to the square-root of the blackbody volume. We consider the the effect in two cases which are potentially highly sensitive to this broadening: Rydberg atoms and atomic clocks. We find that even in blackbody volumes as small as 1\,cm$^3$, this effect is unlikely to contribute meaningfully to transition linewidths. | 翻訳日:2023-04-17 08:16:27 公開日:2021-01-08 |
| # 最適停止時間問題に対するディープコンビネート最適化 : swingオプション価格設定への応用 Deep combinatorial optimisation for optimal stopping time problems : application to swing options pricing ( http://arxiv.org/abs/2001.11247v2 ) ライセンス: Link先を確認 | Thomas Deschatre and Joseph Mikael | (参考訳) ニューラルネットワークに基づく確率制御と離散確率変数のランダム化を用いた新しい手法を提案し,最適停止時間問題に適用した。
この方法は方針を直接モデル化し、動的プログラミング原理や後方確率微分方程式の導出を必要としない。
自動微分が直接使用される連続最適化とは異なり, 勾配計算の確率比法を提案する。
数値テストは、アメリカンオプションとスイングオプションの価格で行われます。
提案アルゴリズムは,従来のアルゴリズムでは不可能な,高精度な計算時間で高次元のアメリカンとスウィングオプションの価格設定に成功している。 A new method for stochastic control based on neural networks and using randomisation of discrete random variables is proposed and applied to optimal stopping time problems. The method models directly the policy and does not need the derivation of a dynamic programming principle nor a backward stochastic differential equation. Unlike continuous optimization where automatic differentiation is used directly, we propose a likelihood ratio method for gradient computation. Numerical tests are done on the pricing of American and swing options. The proposed algorithm succeeds in pricing high dimensional American and swing options in a reasonable computation time, which is not possible with classical algorithms. | 翻訳日:2023-01-05 12:29:06 公開日:2021-01-08 |
| # バッチバンドの推論 Inference for Batched Bandits ( http://arxiv.org/abs/2002.03217v3 ) ライセンス: Link先を確認 | Kelly W. Zhang, Lucas Janson, Susan A. Murphy | (参考訳) バンディットアルゴリズムは科学研究や産業応用にますます活用されているため、適応的に収集されたデータに基づく信頼性の高い推論手法の必要性が高まっている。
本研究では,banditアルゴリズムを用いてバッチに収集したデータに対する推論手法を開発した。
まず, 独立にサンプリングされたデータに対して漸近的に正規の最小二乗推定器(ols)は, 標準バンディットアルゴリズムを用いて収集したデータに対して漸近的に正規ではないことを証明した。
この漸近的非正規性の結果は、ols推定器がほぼ正常であるというナイーブな仮定は、タイプ1の誤差インフレーションと信頼区間を、その下限のカバレッジ確率で導くことができることを示している。
第2に,Batched OLS 推定器 (BOLS) を導入し,(1) マルチアームおよびコンテキストの包帯から収集したデータに対して漸近的に正規であり,(2) ベースライン報酬の非定常性に対して頑健であることを示す。 As bandit algorithms are increasingly utilized in scientific studies and industrial applications, there is an associated increasing need for reliable inference methods based on the resulting adaptively-collected data. In this work, we develop methods for inference on data collected in batches using a bandit algorithm. We first prove that the ordinary least squares estimator (OLS), which is asymptotically normal on independently sampled data, is not asymptotically normal on data collected using standard bandit algorithms when there is no unique optimal arm. This asymptotic non-normality result implies that the naive assumption that the OLS estimator is approximately normal can lead to Type-1 error inflation and confidence intervals with below-nominal coverage probabilities. Second, we introduce the Batched OLS estimator (BOLS) that we prove is (1) asymptotically normal on data collected from both multi-arm and contextual bandits and (2) robust to non-stationarity in the baseline reward. | 翻訳日:2023-01-02 22:30:23 公開日:2021-01-08 |
| # 2つのニューラルネットワーク間の距離と学習の安定性について On the distance between two neural networks and the stability of learning ( http://arxiv.org/abs/2002.03432v3 ) ライセンス: Link先を確認 | Jeremy Bernstein, Arash Vahdat, Yisong Yue, Ming-Yu Liu | (参考訳) 本稿では, パラメータ距離と勾配分解を, 幅広い非線形構成関数のクラスに関連付ける。
この分析により、ニューラルネットワークの深い相対信頼と降下補題と呼ばれる新しい距離関数が導かれる。
結果として生じる学習規則は、学習率チューニングをほとんど必要とせず、より深く複雑なニューラルネットワークをトレーニングするためのより単純なワークフローをアンロックする可能性がある。
この論文で使われているPythonコードは以下のとおりである。 This paper relates parameter distance to gradient breakdown for a broad class of nonlinear compositional functions. The analysis leads to a new distance function called deep relative trust and a descent lemma for neural networks. Since the resulting learning rule seems to require little to no learning rate tuning, it may unlock a simpler workflow for training deeper and more complex neural networks. The Python code used in this paper is here: https://github.com/jxbz/fromage. | 翻訳日:2023-01-02 14:07:37 公開日:2021-01-08 |
| # 核条件平均埋め込みに対する測度論的アプローチ A Measure-Theoretic Approach to Kernel Conditional Mean Embeddings ( http://arxiv.org/abs/2002.03689v8 ) ライセンス: Link先を確認 | Junhyung Park and Krikamol Muandet | (参考訳) 本稿では,CMEを再現カーネルヒルベルト空間の値を取る確率変数として,演算子自由測度論的手法を提案する。
カーネルは無条件分布の埋め込みを厳密に定義しているが、条件付きバージョンの既存の演算子ベースのアプローチは、解析を妨げる厳密な仮定に依存する。
我々は、CMEの測度理論的処理により、この制限を克服する。
経験的推定を得るために自然回帰解釈を導出し,普遍的一貫性を含む詳細な理論解析を提供する。
自然副産物として、最大平均誤差とヒルベルト=シュミット独立基準の条件付き類似点を求め、シミュレーションによりそれらの挙動を実証する。 We present an operator-free, measure-theoretic approach to the conditional mean embedding (CME) as a random variable taking values in a reproducing kernel Hilbert space. While the kernel mean embedding of unconditional distributions has been defined rigorously, the existing operator-based approach of the conditional version depends on stringent assumptions that hinder its analysis. We overcome this limitation via a measure-theoretic treatment of CMEs. We derive a natural regression interpretation to obtain empirical estimates, and provide a thorough theoretical analysis thereof, including universal consistency. As natural by-products, we obtain the conditional analogues of the maximum mean discrepancy and Hilbert-Schmidt independence criterion, and demonstrate their behaviour via simulations. | 翻訳日:2023-01-02 07:51:52 公開日:2021-01-08 |
| # メモリと競合制御によるオンライン最適化 Online Optimization with Memory and Competitive Control ( http://arxiv.org/abs/2002.05318v3 ) ライセンス: Link先を確認 | Guanya Shi, Yiheng Lin, Soon-Jo Chung, Yisong Yue, Adam Wierman | (参考訳) 本稿では,メモリを用いた新しいオンライン最適化問題に対する競合アルゴリズムを提案する。
我々は、学習者が、以前の$p$の決定に依存するヒットコストとスイッチングコストの合計を最小化しようとする設定を考える。
この設定はSmoothed Online Convex Optimizationを一般化する。
提案手法であるOptimistic Regularized Online Balanced Descentは、一定の非次元競合比を達成する。
さらに,オンラインのメモリ最適化と,対向的障害を伴うオンライン制御との関連性を示す。
この接続によって、リッチなオンライン制御問題に対して、新たな一定の競合ポリシーが生まれます。 This paper presents competitive algorithms for a novel class of online optimization problems with memory. We consider a setting where the learner seeks to minimize the sum of a hitting cost and a switching cost that depends on the previous $p$ decisions. This setting generalizes Smoothed Online Convex Optimization. The proposed approach, Optimistic Regularized Online Balanced Descent, achieves a constant, dimension-free competitive ratio. Further, we show a connection between online optimization with memory and online control with adversarial disturbances. This connection, in turn, leads to a new constant-competitive policy for a rich class of online control problems. | 翻訳日:2023-01-01 13:13:02 公開日:2021-01-08 |
| # 化学反応ニューラルネットワークによるデータからの未知反応経路の自律的発見 Autonomous Discovery of Unknown Reaction Pathways from Data by Chemical Reaction Neural Network ( http://arxiv.org/abs/2002.09062v2 ) ライセンス: Link先を確認 | Weiqi Ji and Sili Deng | (参考訳) 化学反応は、エネルギー、環境、生物、その他の多くの自然システムで起こり、反応ネットワークの推論は、工学や生命科学における化学プロセスを理解し設計するために不可欠である。
しかし、複雑なシステムやプロセスの反応経路を明らかにすることは、関連する種や反応の知識が不足しているため、依然として難しい。
本稿では,時間分解種濃度データから自律的に反応経路を探索するニューラルネットワークアプローチを提案する。
提案された化学反応ニューラルネットワーク(CRNN)は設計上、質量反応法やアレニウス法を含む基本的な物理法則を満たす。
これにより、CRNNは反応経路を解釈できるように物理的に解釈可能となり、ニューラルネットワークの重みから運動パラメータを同時に定量化することができる。
化学経路の推測は、CRNNを確率勾配降下による種濃度データで訓練することで達成される。
本稿では,いくつかの化学工学系と生化学系の化学反応経路を解明する手法の実装と頑健性を示す。
CRNNアプローチによる自律的推論は、候補ネットワークの提案における専門家の知識の必要性を防ぎ、複雑なシステムにおける次元性の呪いに対処する。
物理的解釈性により、crnnは与えられたシステムのデータに適合するだけでなく、類似の化学系に一般化できる未知の経路に関する知識を発達させることができる。 Chemical reactions occur in energy, environmental, biological, and many other natural systems, and the inference of the reaction networks is essential to understand and design the chemical processes in engineering and life sciences. Yet, revealing the reaction pathways for complex systems and processes is still challenging due to the lack of knowledge of the involved species and reactions. Here, we present a neural network approach that autonomously discovers reaction pathways from the time-resolved species concentration data. The proposed Chemical Reaction Neural Network (CRNN), by design, satisfies the fundamental physics laws, including the Law of Mass Action and the Arrhenius Law. Consequently, the CRNN is physically interpretable such that the reaction pathways can be interpreted, and the kinetic parameters can be quantified simultaneously from the weights of the neural network. The inference of the chemical pathways is accomplished by training the CRNN with species concentration data via stochastic gradient descent. We demonstrate the successful implementations and the robustness of the approach in elucidating the chemical reaction pathways of several chemical engineering and biochemical systems. The autonomous inference by the CRNN approach precludes the need for expert knowledge in proposing candidate networks and addresses the curse of dimensionality in complex systems. The physical interpretability also makes the CRNN capable of not only fitting the data for a given system but also developing knowledge of unknown pathways that could be generalized to similar chemical systems. | 翻訳日:2022-12-30 07:35:59 公開日:2021-01-08 |
| # TxSim:抵抗性クロスバーシステムを用いたディープニューラルネットワークのモデルトレーニング TxSim:Modeling Training of Deep Neural Networks on Resistive Crossbar Systems ( http://arxiv.org/abs/2002.11151v3 ) ライセンス: Link先を確認 | Sourjya Roy, Shrihari Sridharan, Shubham Jain, and Anand Raghunathan | (参考訳) 抵抗クロスバーは、高密度メモリアレイ内で超並列ベクトル行列乗算をネイティブに実行できるため、ディープニューラルネットワーク(dnn)加速器の設計に大きな関心を集めている。
しかし、クロスバーベースの計算は、様々なデバイスと回路レベルの非理想性のために大きな課題に直面し、これはベクトル行列乗算の誤りとして現れ、最終的にはDNNの精度を低下させる。
この課題に対処するためには、DNNトレーニングと推論に対する非イデアルの関数的影響をモデル化できるツールが必要である。
既存の目標への取り組みは推論に限られるか、大規模なDNNトレーニングに使用するには遅すぎる。
非理想性の影響を考慮したクロスバーハードウェア上でのDNNトレーニングを機能的に評価する,高速でカスタマイズ可能なモデリングフレームワークであるTxSimを提案する。
TxSimの以前の取り組みと区別する重要な特徴は次のとおりである。
(i)全訓練(前方伝播、後方伝播、重量更新)中の非理想性を総合的にモデル化する。
(II) クロスバー評価を最適化されたBLASルーチンにマッピングすることで計算効率を向上し, シミュレーション時間を短縮し, 精度への影響を最小限に抑える。
txsimは、先行作業よりもシミュレーション速度が桁違いに向上し、クロスバーでの大規模dnnのトレーニングを評価することができる。
TxSimを用いた実験により、大規模DNNでは非理想性によるDNNトレーニングの精度劣化が顕著(3%-10%)であり、緩和技術の研究の必要性が示唆された。
また、各種デバイスおよび回路レベルパラメータと関連する非イデオロギーの影響を分析し、クロスバーベースのDNNトレーニングアクセラレータの設計をガイドするための重要な洞察を提供する。 Resistive crossbars have attracted significant interest in the design of Deep Neural Network (DNN) accelerators due to their ability to natively execute massively parallel vector-matrix multiplications within dense memory arrays. However, crossbar-based computations face a major challenge due to a variety of device and circuit-level non-idealities, which manifest as errors in the vector-matrix multiplications and eventually degrade DNN accuracy. To address this challenge, there is a need for tools that can model the functional impact of non-idealities on DNN training and inference. Existing efforts towards this goal are either limited to inference, or are too slow to be used for large-scale DNN training. We propose TxSim, a fast and customizable modeling framework to functionally evaluate DNN training on crossbar-based hardware considering the impact of non-idealities. The key features of TxSim that differentiate it from prior efforts are: (i) It comprehensively models non-idealities during all training operations (forward propagation, backward propagation, and weight update) and (ii) it achieves computational efficiency by mapping crossbar evaluations to well-optimized BLAS routines and incorporates speedup techniques to further reduce simulation time with minimal impact on accuracy. TxSim achieves orders-of-magnitude improvement in simulation speed over prior works, and thereby makes it feasible to evaluate training of large-scale DNNs on crossbars. Our experiments using TxSim reveal that the accuracy degradation in DNN training due to non-idealities can be substantial (3%-10%) for large-scale DNNs, underscoring the need for further research in mitigation techniques. We also analyze the impact of various device and circuit-level parameters and the associated non-idealities to provide key insights that can guide the design of crossbar-based DNN training accelerators. | 翻訳日:2022-12-28 21:20:07 公開日:2021-01-08 |
| # (De)パッチ攻撃に対する認証防御のためのランダム化平滑化 (De)Randomized Smoothing for Certifiable Defense against Patch Attacks ( http://arxiv.org/abs/2002.10733v3 ) ライセンス: Link先を確認 | Alexander Levine, Soheil Feizi | (参考訳) 攻撃者が境界サイズの領域内のピクセルを歪めることができる画像に対する攻撃パッチは、物理的な敵攻撃の定量的モデルを提供するため、重要な脅威モデルである。
本稿では,特定の画像とパッチ攻撃サイズを保証するパッチ攻撃に対する認証された防御法を導入するが,パッチ反対例は存在しない。
本手法は,高信頼確率ロバスト性証明を提供するランダム化スムージングロバスト性スキームの幅広いクラスに関連している。
パッチアタックは一般的なスパースアタックよりも制約が強いという事実を利用して、意味のある大きな堅牢性証明を導き出す。
さらに,L_pやスパース攻撃に対するスムーズな防御法とは対照的に,パッチ攻撃に対する防御法は非ランダム化され,改良された決定論的証明書が得られた。
区間境界伝播に依存するchiangら(2020)が提案している既存のパッチ認証手法と比較して,より高速にトレーニングでき,cifar-10で高い正確性と堅牢性を実現し,imagenetスケールで証明書を提供することができる。
例えば、CIFAR-10に対する5-by-5パッチ攻撃では、既存の手法の30.3%の認証精度(47.8%の認証精度を持つ分類器)と比較して、57.6%の認証精度(83.8%のクリーン精度を持つ分類器)を達成した。
その結果,CIFAR-10およびImageNetに対するパッチ攻撃に対する認証済みの防御技術が確立した。
コードはhttps://github.com/alevine0/patchsmoothingで入手できる。 Patch adversarial attacks on images, in which the attacker can distort pixels within a region of bounded size, are an important threat model since they provide a quantitative model for physical adversarial attacks. In this paper, we introduce a certifiable defense against patch attacks that guarantees for a given image and patch attack size, no patch adversarial examples exist. Our method is related to the broad class of randomized smoothing robustness schemes which provide high-confidence probabilistic robustness certificates. By exploiting the fact that patch attacks are more constrained than general sparse attacks, we derive meaningfully large robustness certificates against them. Additionally, in contrast to smoothing-based defenses against L_p and sparse attacks, our defense method against patch attacks is de-randomized, yielding improved, deterministic certificates. Compared to the existing patch certification method proposed by Chiang et al. (2020), which relies on interval bound propagation, our method can be trained significantly faster, achieves high clean and certified robust accuracy on CIFAR-10, and provides certificates at ImageNet scale. For example, for a 5-by-5 patch attack on CIFAR-10, our method achieves up to around 57.6% certified accuracy (with a classifier with around 83.8% clean accuracy), compared to at most 30.3% certified accuracy for the existing method (with a classifier with around 47.8% clean accuracy). Our results effectively establish a new state-of-the-art of certifiable defense against patch attacks on CIFAR-10 and ImageNet. Code is available at https://github.com/alevine0/patchSmoothing. | 翻訳日:2022-12-28 20:35:17 公開日:2021-01-08 |
| # アンサンブル分散蒸留のための一般的な枠組み A general framework for ensemble distribution distillation ( http://arxiv.org/abs/2002.11531v2 ) ライセンス: Link先を確認 | Jakob Lindqvist, Amanda Olmin, Fredrik Lindsten, Lennart Svensson | (参考訳) ニューラルネットワークのアンサンブルは、予測と不確実性推定の両方の観点から、単一ネットワークよりも優れたパフォーマンスをもたらすことが示されている。
さらに、アンサンブルは不確実性をアレタリック(データ)成分とてんかん(モデル)成分に分解することができ、予測の不確実性のより完全な画像を与える。
アンサンブル蒸留は、アンサンブルを単一のモデルに圧縮するプロセスであり、多くの場合、個々のアンサンブルメンバーよりも優れたランダーモデルをもたらす。
残念なことに、標準蒸留はアンサンブルの自然な不確実性分解を消す。
本稿では,分解を保ちながら,回帰と分類の両アンサンブルを蒸留する一般的な枠組みを提案する。
我々は,本フレームワークの所望の挙動を実証し,その予測性能が標準蒸留と同等であることを示す。 Ensembles of neural networks have been shown to give better performance than single networks, both in terms of predictions and uncertainty estimation. Additionally, ensembles allow the uncertainty to be decomposed into aleatoric (data) and epistemic (model) components, giving a more complete picture of the predictive uncertainty. Ensemble distillation is the process of compressing an ensemble into a single model, often resulting in a leaner model that still outperforms the individual ensemble members. Unfortunately, standard distillation erases the natural uncertainty decomposition of the ensemble. We present a general framework for distilling both regression and classification ensembles in a way that preserves the decomposition. We demonstrate the desired behaviour of our framework and show that its predictive performance is on par with standard distillation. | 翻訳日:2022-12-28 14:15:21 公開日:2021-01-08 |
| # 深部生成流れのウッドベリー変換 Woodbury Transformations for Deep Generative Flows ( http://arxiv.org/abs/2002.12229v3 ) ライセンス: Link先を確認 | You Lu, Bert Huang | (参考訳) 正規化フローは効率的な確率計算とサンプリングを可能にする深層生成モデルである。
この利点の核となる要件は、それらは効率的に反転でき、関数のジャコビアン行列式を効率的に計算できる関数を使って構築されるということである。
研究者はこのようなフロー操作を導入したが、計算コストを伴わずに変数間のリッチな相互作用を許すものはほとんどない。
本稿では,Woodbury行列の同定と,Sylvesterの行列式による効率的な行列式計算により,効率的な可逆性を実現するWoodbury変換を提案する。
最先端の正規化フローで使われる他の操作とは対照的に、ウッドベリー変換は(1)高次元相互作用、(2)効率的なサンプリング、(3)効率的な確率評価を可能にする。
1x1畳み込み、新興畳み込み、周期畳み込みといった他の類似の操作は、これら3つの利点のうち少なくとも2つを許容する。
複数の画像データセットに関する実験では、Woodbury変換により、他のフローアーキテクチャよりも高次モデルの学習が可能であり、その効率性も享受できることがわかった。 Normalizing flows are deep generative models that allow efficient likelihood calculation and sampling. The core requirement for this advantage is that they are constructed using functions that can be efficiently inverted and for which the determinant of the function's Jacobian can be efficiently computed. Researchers have introduced various such flow operations, but few of these allow rich interactions among variables without incurring significant computational costs. In this paper, we introduce Woodbury transformations, which achieve efficient invertibility via the Woodbury matrix identity and efficient determinant calculation via Sylvester's determinant identity. In contrast with other operations used in state-of-the-art normalizing flows, Woodbury transformations enable (1) high-dimensional interactions, (2) efficient sampling, and (3) efficient likelihood evaluation. Other similar operations, such as 1x1 convolutions, emerging convolutions, or periodic convolutions allow at most two of these three advantages. In our experiments on multiple image datasets, we find that Woodbury transformations allow learning of higher-likelihood models than other flow architectures while still enjoying their efficiency advantages. | 翻訳日:2022-12-28 07:48:09 公開日:2021-01-08 |
| # リアルタイムrgbd意味セグメンテーションのための空間情報案内畳み込み Spatial Information Guided Convolution for Real-Time RGBD Semantic Segmentation ( http://arxiv.org/abs/2004.04534v2 ) ライセンス: Link先を確認 | Lin-Zhuo Chen, Zheng Lin, Ziqin Wang, Yong-Liang Yang, and Ming-Ming Cheng | (参考訳) 3次元空間情報はセグメンテーションタスクに有用であることが知られている。
既存のほとんどの手法は、3D空間データを付加的な入力として取り込んでおり、RGBと3D空間情報を別々に処理する2ストリームセグメンテーションネットワークにつながっている。
このソリューションは推論時間を大幅に増加させ、リアルタイムアプリケーションの範囲を大幅に制限します。
この問題を解決するために,効率的なRGB機能と3次元空間情報統合を実現する空間情報ガイド型畳み込み(S-Conv)を提案する。
s-convは、3次元空間情報によって導かれる畳み込み核のサンプリングオフセットを推定し、畳み込み層が受容場を調整し幾何学的変換に適応するのに役立つ。
S-Convはまた、空間適応的な畳み込み重みを生成することにより、幾何学的情報を特徴学習プロセスに組み込む。
幾何を知覚する能力は、パラメータの量や計算コストに大きな影響を与えずに大きく向上している。
さらにS-ConvをSGNet(Spatial Information Guided Convolutional Network)と呼ばれるセマンティックセグメンテーションネットワークに組み込み、NYUDv2およびSUNRGBDデータセット上でのリアルタイム推論と最先端のパフォーマンスを実現する。 3D spatial information is known to be beneficial to the semantic segmentation task. Most existing methods take 3D spatial data as an additional input, leading to a two-stream segmentation network that processes RGB and 3D spatial information separately. This solution greatly increases the inference time and severely limits its scope for real-time applications. To solve this problem, we propose Spatial information guided Convolution (S-Conv), which allows efficient RGB feature and 3D spatial information integration. S-Conv is competent to infer the sampling offset of the convolution kernel guided by the 3D spatial information, helping the convolutional layer adjust the receptive field and adapt to geometric transformations. S-Conv also incorporates geometric information into the feature learning process by generating spatially adaptive convolutional weights. The capability of perceiving geometry is largely enhanced without much affecting the amount of parameters and computational cost. We further embed S-Conv into a semantic segmentation network, called Spatial information Guided convolutional Network (SGNet), resulting in real-time inference and state-of-the-art performance on NYUDv2 and SUNRGBD datasets. | 翻訳日:2022-12-15 03:03:29 公開日:2021-01-08 |
| # ベイジアン・コンセンサス:ヘテロセダス音下における異種楽器からのコンセンサス推定 Bayesian Consensus: Consensus Estimates from Miscalibrated Instruments under Heteroscedastic Noise ( http://arxiv.org/abs/2004.06565v2 ) ライセンス: Link先を確認 | Chirag Nagpal, Robert E. Tillman, Prashant Reddy, Manuela Veloso | (参考訳) バイアスやミスカバリレーションやランダムなヘテロシドスティックノイズの対象となる可能性のある予測器、モデル、センサ、その他の機器のセットから予測や測定を集約する問題を考える。
そこで本研究では,不均衡と雑音に適応するベイズコンセンサス推定器を提案し,この推定器が非バイアスで漸近的に効率が良いことを示す。
我々はさらに,提案する推定値を活用した階層ベイズモデルを提案し,誤差が予想される個人推定値からのコンセンサス推定を必要とする2つの実世界予測課題に適用する。
本手法はバイアスと誤差の軽減に有効であり,既存のコンセンサスモデルよりも正確な予測を行うことができることを示す。 We consider the problem of aggregating predictions or measurements from a set of human forecasters, models, sensors or other instruments which may be subject to bias or miscalibration and random heteroscedastic noise. We propose a Bayesian consensus estimator that adjusts for miscalibration and noise and show that this estimator is unbiased and asymptotically more efficient than naive alternatives. We further propose a Hierarchical Bayesian Model that leverages our proposed estimator and apply it to two real world forecasting challenges that require consensus estimates from error prone individual estimates: forecasting influenza like illness (ILI) weekly percentages and forecasting annual earnings of public companies. We demonstrate that our approach is effective at mitigating bias and error and results in more accurate forecasts than existing consensus models. | 翻訳日:2022-12-13 09:25:10 公開日:2021-01-08 |
| # 記憶可能過去の機能正規化による連続的深層学習 Continual Deep Learning by Functional Regularisation of Memorable Past ( http://arxiv.org/abs/2004.14070v4 ) ライセンス: Link先を確認 | Pingbo Pan, Siddharth Swaroop, Alexander Immer, Runa Eschenhagen, Richard E. Turner, Mohammad Emtiyaz Khan | (参考訳) 新しいスキルを継続的に学ぶことはインテリジェントなシステムにとって重要だが、標準的なディープラーニング手法は過去の破滅的な忘れに苦しむ。
最近の研究は重量規則化でこの問題に対処している。
関数正規化は計算コストは高いが、性能は向上することが期待されている。
本稿では,忘れないために重要な過去例をいくつか活用し,新たな機能正規化手法を用いてこの問題を解決した。
深層ネットワークのガウス過程の定式化を用いることで,記憶可能な過去と機能的事前の両方を識別しながら,重み空間でのトレーニングを可能にする。
本手法は,標準ベンチマーク上での最先端性能を実現し,正規化とメモリベースの手法を自然に組み合わせた生涯学習の新たな方向性を開く。 Continually learning new skills is important for intelligent systems, yet standard deep learning methods suffer from catastrophic forgetting of the past. Recent works address this with weight regularisation. Functional regularisation, although computationally expensive, is expected to perform better, but rarely does so in practice. In this paper, we fix this issue by using a new functional-regularisation approach that utilises a few memorable past examples crucial to avoid forgetting. By using a Gaussian Process formulation of deep networks, our approach enables training in weight-space while identifying both the memorable past and a functional prior. Our method achieves state-of-the-art performance on standard benchmarks and opens a new direction for life-long learning where regularisation and memory-based methods are naturally combined. | 翻訳日:2022-12-08 13:09:07 公開日:2021-01-08 |
| # オンライン適応・再帰最適化アルゴリズムの収束 Convergence of Online Adaptive and Recurrent Optimization Algorithms ( http://arxiv.org/abs/2005.05645v2 ) ライセンス: Link先を確認 | Pierre-Yves Mass\'e (CTU), Yann Ollivier (FAIR) | (参考訳) 機械学習で使用されるいくつかの顕著な勾配降下アルゴリズムの局所収束を証明し、標準的な確率勾配降下理論は直接適用しない。
これはまず、リカレントモデルと動的システムのためのオンラインアルゴリズム、例えば \emph{Real-time recurrent learning} (RTRL) や計算的に軽量な近似 NoBackTrack や UORO、RMSProp、オンライン自然勾配、および$\beta^2\to 1$のAdamを含む。
局所収束は、新しい最適化アルゴリズムの比較的弱い要件であるにもかかわらず、我々が知る限り、これらのアルゴリズムの局所解析は利用できなかった。
これらのアルゴリズムの分析は、標準確率勾配(SGD)理論からすぐには従わない。
実際、アダムはいくつかの単純な状況において局所収束を欠いていることが証明されている。
オンラインアルゴリズムは、モデルの実行中にパラメータを変更し、単純なSGDに関する解析をさらに複雑化する。これらのアルゴリズムの局所収束は、オンラインの動的システム学習のセットアップにおいて、単一のより一般的な仮定セットから得られる。
このように、これらの結果は考慮されたアルゴリズムの他の変種をカバーすることが可能であり、確率分布の代わりに経験的な時間平均を扱うことにより、確率論的視点ではなく「エルゴディック」を採用する。
これはよりデータに依存しないものであり、標準のSGD理論、特に学習率の範囲において違いを生み出す。
例えば、純粋なi.i.d.\サンプリングではなく有限データセットをサイクリングまたは1回ごとの再シャッフルで置き換えると、経験的な勾配平均は、1/\sqrt{t}$(サイクリングは分散還元法として作用する)の代わりに1/t$で収束し、理論的にはsgdよりも大きな学習率を可能にする。 We prove local convergence of several notable gradient descent algorithms used in machine learning, for which standard stochastic gradient descent theory does not apply directly. This includes, first, online algorithms for recurrent models and dynamical systems, such as \emph{Real-time recurrent learning} (RTRL) and its computationally lighter approximations NoBackTrack and UORO; second, several adaptive algorithms such as RMSProp, online natural gradient, and Adam with $\beta^2\to 1$.Despite local convergence being a relatively weak requirement for a new optimization algorithm, no local analysis was available for these algorithms, as far as we knew. Analysis of these algorithms does not immediately follow from standard stochastic gradient (SGD) theory. In fact, Adam has been proved to lack local convergence in some simple situations \citep{j.2018on}. For recurrent models, online algorithms modify the parameter while the model is running, which further complicates the analysis with respect to simple SGD.Local convergence for these various algorithms results from a single, more general set of assumptions, in the setup of learning dynamical systems online. Thus, these results can cover other variants of the algorithms considered.We adopt an "ergodic" rather than probabilistic viewpoint, working with empirical time averages instead of probability distributions. This is more data-agnostic and creates differences with respect to standard SGD theory, especially for the range of possible learning rates. For instance, with cycling or per-epoch reshuffling over a finite dataset instead of pure i.i.d.\ sampling with replacement, empirical averages of gradients converge at rate $1/T$ instead of $1/\sqrt{T}$ (cycling acts as a variance reduction method), theoretically allowing for larger learning rates than in SGD. | 翻訳日:2022-12-03 19:43:34 公開日:2021-01-08 |
| # octsqueeze:lidar圧縮のためのoctree構造エントロピーモデル OctSqueeze: Octree-Structured Entropy Model for LiDAR Compression ( http://arxiv.org/abs/2005.07178v2 ) ライセンス: Link先を確認 | Lila Huang, Shenlong Wang, Kelvin Wong, Jerry Liu, Raquel Urtasun | (参考訳) 本稿では,LiDAR点雲のメモリフットプリントを削減するための新しいディープ圧縮アルゴリズムを提案する。
本手法は点間のスパース性と構造冗長性を利用してビットレートを低減する。
この目標に向けて、まずLiDARポイントを、疎点雲に適したデータ効率の高い構造であるオクツリーにエンコードする。
次に、octreeをコンパクトなビットストリームにエンコードするために、octreeシンボルの確率をモデル化する木構造条件エントロピーモデルを設計する。
提案手法の有効性を2つの大規模データセットで検証する。
その結果,本手法は従来手法に比べてビットレートを10～20%低減できることがわかった。
また,同じビットレートでは,圧縮表現を用いた下流3次元セグメンテーションや検出タスクの実行において,他の圧縮アルゴリズムよりも優れることを示す。
当社のアルゴリズムは,1台の車両が1日840億ポイントを獲得している自動運転車などのアプリケーションにおいて,LiDARポイントのオンボードおよびオフボードストレージを削減できる。 We present a novel deep compression algorithm to reduce the memory footprint of LiDAR point clouds. Our method exploits the sparsity and structural redundancy between points to reduce the bitrate. Towards this goal, we first encode the LiDAR points into an octree, a data-efficient structure suitable for sparse point clouds. We then design a tree-structured conditional entropy model that models the probabilities of the octree symbols to encode the octree into a compact bitstream. We validate the effectiveness of our method over two large-scale datasets. The results demonstrate that our approach reduces the bitrate by 10-20% at the same reconstruction quality, compared to the previous state-of-the-art. Importantly, we also show that for the same bitrate, our approach outperforms other compression algorithms when performing downstream 3D segmentation and detection tasks using compressed representations. Our algorithm can be used to reduce the onboard and offboard storage of LiDAR points for applications such as self-driving cars, where a single vehicle captures 84 billion points per day | 翻訳日:2022-12-03 05:34:17 公開日:2021-01-08 |
| # オントロジーと認知的結果 Ontology and Cognitive Outcomes ( http://arxiv.org/abs/2005.08078v3 ) ライセンス: Link先を確認 | David Limbaugh, Jobst Landgrebe, David Kasmier, Ronald Rudnicki, James Llinas, Barry Smith | (参考訳) ここでは、国家の安全を評価・維持するために収集された知識の項目を「知性」と理解する。
アメリカ合衆国の知能コミュニティ(英語: Intelligence community、IC)は、アメリカ合衆国の情報収集と処理に協力する組織のコミュニティである。
ICは人間マシンに基づく分析戦略に依存している
1)異なる情報源から大量の情報にアクセスし統合すること。
2) この情報を継続的に処理することで
3)世界俳優とその行動に関する最大限の包括的理解を開発・更新することができる。
本稿では,知性分析者による認知過程のオントロジに基づくこれらの取り組みを支援するために,アウトカムズベース学習(obl)を活用するアプローチについて述べる。
認知過程オントロジーにおいて特に重要であるのは、保証されるクラス表現である。
そのような表現は本質的に記述的であり、その検証性に対する信頼を保っている。
後者は、保証される表現は常に、確実に検証的な表現を生成するためにベットされた(あるいはうまく設計された)プロセスによって生成されるためである。
このように、警告された表現は、他の文脈では「知識のイテム」と呼ぶこともある。 Here we understand 'intelligence' as referring to items of knowledge collected for the sake of assessing and maintaining national security. The intelligence community (IC) of the United States (US) is a community of organizations that collaborate in collecting and processing intelligence for the US. The IC relies on human-machine-based analytic strategies that 1) access and integrate vast amounts of information from disparate sources, 2) continuously process this information, so that, 3) a maximally comprehensive understanding of world actors and their behaviors can be developed and updated. Herein we describe an approach to utilizing outcomes-based learning (OBL) to support these efforts that is based on an ontology of the cognitive processes performed by intelligence analysts. Of particular importance to the Cognitive Process Ontology is the class Representation that is Warranted. Such a representation is descriptive in nature and deserving of trust in its veridicality. The latter is because a Representation that is Warranted is always produced by a process that was vetted (or successfully designed) to reliably produce veridical representations. As such, Representations that are Warranted are what in other contexts we might refer to as 'items of knowledge'. | 翻訳日:2022-12-02 13:23:07 公開日:2021-01-08 |
| # 木上の高速不均衡最適輸送 Fast Unbalanced Optimal Transport on a Tree ( http://arxiv.org/abs/2006.02703v3 ) ライセンス: Link先を確認 | Ryoma Sato, Makoto Yamada, Hisashi Kashima | (参考訳) 本研究では,非平衡最適輸送問題の時間的複雑度を,アルゴリズム的観点から初めて検討する。
不均衡な最適輸送のどの問題が効率的に解けるかを明らかにする。
特に, ユークリッド計量におけるカントロヴィチ・ルビンシュタイン距離と最適部分移動は, 強い指数時間仮説の下では強い準二次時間では計算できないことを証明した。
そこで本研究では,木計量の準線形時間において,より一般的な不均衡な最適輸送問題を解くアルゴリズムを提案する。
提案手法では,100万ノードのツリーを1秒未満で処理する。
本解析は,不均衡最適輸送アルゴリズムの理論研究の基礎を成し,不均衡最適輸送の百万規模のデータセットへの適用への扉を開く。 This study examines the time complexities of the unbalanced optimal transport problems from an algorithmic perspective for the first time. We reveal which problems in unbalanced optimal transport can/cannot be solved efficiently. Specifically, we prove that the Kantorovich Rubinstein distance and optimal partial transport in the Euclidean metric cannot be computed in strongly subquadratic time under the strong exponential time hypothesis. Then, we propose an algorithm that solves a more general unbalanced optimal transport problem exactly in quasi-linear time on a tree metric. The proposed algorithm processes a tree with one million nodes in less than one second. Our analysis forms a foundation for the theoretical study of unbalanced optimal transport algorithms and opens the door to the applications of unbalanced optimal transport to million-scale datasets. | 翻訳日:2022-11-25 09:26:44 公開日:2021-01-08 |
| # ニューラルイメージ圧縮の推論の改善 Improving Inference for Neural Image Compression ( http://arxiv.org/abs/2006.04240v4 ) ライセンス: Link先を確認 | Yibo Yang, Robert Bamler, Stephan Mandt | (参考訳) 遅延可変モデルを用いた画像圧縮の損失問題について考察する。
state-of-the-artメソッドは階層的変分オートエンコーダ(vaes)に基づいて構築され、各データポイントの圧縮可能な潜在表現を予測する推論ネットワークを学習する。
圧縮に関する変分推論の視点から,従来の手法での性能を制限する3つの近似ギャップ,すなわち不定形化ギャップ,離散化ギャップ,限界化ギャップを同定した。
本稿では, 反復推論, 離散最適化のための確率的アニーリング, ビットバック符号化の3つの制約をそれぞれ考慮し, ビットバック符号化を損失圧縮に初めて適用する手法を提案する。
そこで本研究では,提案手法のみを変更することにより,確立したvaeアーキテクチャを用いた画像圧縮における新たな最先端性能を実現する。 We consider the problem of lossy image compression with deep latent variable models. State-of-the-art methods build on hierarchical variational autoencoders (VAEs) and learn inference networks to predict a compressible latent representation of each data point. Drawing on the variational inference perspective on compression, we identify three approximation gaps which limit performance in the conventional approach: an amortization gap, a discretization gap, and a marginalization gap. We propose remedies for each of these three limitations based on ideas related to iterative inference, stochastic annealing for discrete optimization, and bits-back coding, resulting in the first application of bits-back coding to lossy compression. In our experiments, which include extensive baseline comparisons and ablation studies, we achieve new state-of-the-art performance on lossy image compression using an established VAE architecture, by changing only the inference method. | 翻訳日:2022-11-24 07:55:00 公開日:2021-01-08 |
| # Smoothed Classifierの認証ロバスト性のための一貫性規則化 Consistency Regularization for Certified Robustness of Smoothed Classifiers ( http://arxiv.org/abs/2006.04062v4 ) ライセンス: Link先を確認 | Jongheon Jeong, Jinwoo Shin | (参考訳) 最近のランダム化平滑化手法により、最悪のケース(逆数)$\ell_2$-robustnessは、ガウス雑音に対する平均予測を考慮し、分類器を「平滑化」することで平均ガウス音に変換できることが示された。
このパラダイムでは、雑音観測の下での分類器の一般化能力の観点から、逆強靭性の概念を再考すべきである。
その結果,ノイズに対する予測一貫性を単純に定式化することで,平滑化分類器の精度と頑健性のトレードオフを大幅に制御できることがわかった。
この関係により、既存のスムーズな分類器(ソフトスムーズ化など)を近似することなく、堅牢な学習目標を設計できる。
さまざまなディープニューラルネットワークアーキテクチャとデータセットで行った実験では、"認証"された$\ell_2$-robustnessが、提案された正規化によって劇的に改善され、トレーニングコストとハイパーパラメータを大幅に削減した最先端のアプローチと同等の結果を得ることができた。 A recent technique of randomized smoothing has shown that the worst-case (adversarial) $\ell_2$-robustness can be transformed into the average-case Gaussian-robustness by "smoothing" a classifier, i.e., by considering the averaged prediction over Gaussian noise. In this paradigm, one should rethink the notion of adversarial robustness in terms of generalization ability of a classifier under noisy observations. We found that the trade-off between accuracy and certified robustness of smoothed classifiers can be greatly controlled by simply regularizing the prediction consistency over noise. This relationship allows us to design a robust training objective without approximating a non-existing smoothed classifier, e.g., via soft smoothing. Our experiments under various deep neural network architectures and datasets show that the "certified" $\ell_2$-robustness can be dramatically improved with the proposed regularization, even achieving better or comparable results to the state-of-the-art approaches with significantly less training costs and hyperparameters. | 翻訳日:2022-11-24 07:28:17 公開日:2021-01-08 |
| # 置換のないサンプリングのための信頼シーケンス Confidence sequences for sampling without replacement ( http://arxiv.org/abs/2006.04347v4 ) ライセンス: Link先を確認 | Ian Waudby-Smith, Aaditya Ramdas | (参考訳) 多くの実践的なタスクは、あるパラメータ$\theta^\star$を推定するために、N$の有限個の集団から連続的にサンプリングする(WoR)。
このプロセス全体で正確な不確かさの定量化は簡単ではないが、サンプルの収集を中止し、結果を確実に報告するかどうかを判断することがしばしば必要である。
我々は,$\theta^\star$ の信頼シーケンス (cs) を設計するためのツール群を提案する。
CS は、サイズを縮小する信頼集合 $(C_n)_{n=1}^N$ の列であり、いずれも高い確率で $\theta^\star$ を同時に含む。
基底真理における後部の比率がマーチンゲールであるという事実に基づいて,ベイズツールを用いた頻繁なCSを構築するための一般的な手法を提案する。
次に,WoRサンプリングにおけるHueffding-およびEpirical-Bernstein-type time-uniform CSと固定時間信頼区間を示す。 Many practical tasks involve sampling sequentially without replacement (WoR) from a finite population of size $N$, in an attempt to estimate some parameter $\theta^\star$. Accurately quantifying uncertainty throughout this process is a nontrivial task, but is necessary because it often determines when we stop collecting samples and confidently report a result. We present a suite of tools for designing confidence sequences (CS) for $\theta^\star$. A CS is a sequence of confidence sets $(C_n)_{n=1}^N$, that shrink in size, and all contain $\theta^\star$ simultaneously with high probability. We present a generic approach to constructing a frequentist CS using Bayesian tools, based on the fact that the ratio of a prior to the posterior at the ground truth is a martingale. We then present Hoeffding- and empirical-Bernstein-type time-uniform CSs and fixed-time confidence intervals for sampling WoR, which improve on previous bounds in the literature and explicitly quantify the benefit of WoR sampling. | 翻訳日:2022-11-24 02:26:46 公開日:2021-01-08 |
| # 社会的選択の円滑な可能性 The Smoothed Possibility of Social Choice ( http://arxiv.org/abs/2006.06875v3 ) ライセンス: Link先を確認 | Lirong Xia | (参考訳) 我々は、spielman と teng による滑らかな複雑性分析を利用して、ai と ml による社会的選択の現代的な応用によって動機付けられた、社会的選択におけるパラドックスと不可能定理を回避するフレームワークを開発した。
コンドロセットのパラドックスについて、パラドックスの滑らかな確率はエージェントの数が増えるにつれて指数関数的に消滅するか、あるいは全く消滅しないかが証明される。
匿名性,中立性,可解性を同時に満たす投票規則が存在しないことに対するANRの不合理性については,その不合理性を多項式的に高速あるいは指数的に高速に評価する。
また,自然環境における偶数個の代替品の匿名性と中立性を最適に保存する,計算容易なタイブレーキング機構を提案する。
パラドックスと不合理性定理は最悪の場合において成り立つが、実際にはそれほど大きな懸念はないかもしれない。 We develop a framework that leverages the smoothed complexity analysis by Spielman and Teng to circumvent paradoxes and impossibility theorems in social choice, motivated by modern applications of social choice powered by AI and ML. For Condrocet's paradox, we prove that the smoothed likelihood of the paradox either vanishes at an exponential rate as the number of agents increases, or does not vanish at all. For the ANR impossibility on the non-existence of voting rules that simultaneously satisfy anonymity, neutrality, and resolvability, we characterize the rate for the impossibility to vanish, to be either polynomially fast or exponentially fast. We also propose a novel easy-to-compute tie-breaking mechanism that optimally preserves anonymity and neutrality for even number of alternatives in natural settings. Our results illustrate the smoothed possibility of social choice -- even though the paradox and the impossibility theorem hold in the worst case, they may not be a big concern in practice. | 翻訳日:2022-11-22 14:15:09 公開日:2021-01-08 |
| # 局所グラフによるグラフメタ学習 Graph Meta Learning via Local Subgraphs ( http://arxiv.org/abs/2006.07889v4 ) ライセンス: Link先を確認 | Kexin Huang, Marinka Zitnik | (参考訳) グラフの一般的な方法は、学習に豊富なラベルとエッジ情報を必要とする。
新しいタスクのデータが不足すると、メタラーニングは以前の経験から学び、新しいタスクに迅速に適応するために非常に必要となる誘導バイアスを形成する。
本稿では,グラフの新しいメタ学習アルゴリズムであるG-Metaを紹介する。
g-metaはローカルサブグラフを使用してサブグラフ固有の情報を転送し、メタグラデーションを通じて転送可能な知識をより早く学習する。
G-Metaは、新しいタスクのノードやエッジのみを使用して、新しいタスクに迅速に適応する方法を学び、他のグラフや関連するデータポイントから学習することで、非結合なラベルセットを学習する。
g-metaは、予測の証拠が対象ノードやエッジを囲む局所部分グラフで見つかることを示すため、理論的に正当化される。
7つのデータセットと9つのベースラインメソッドの実験は、g-metaが既存のメソッドを16.3%上回っていることを示している。
従来の方法と異なり、g-metaは、全く新しいグラフと全く前のラベルへの一般化を必要とする、難易度の低い学習設定でうまく学習する。
最後に、G-Metaは大規模グラフにスケールし、1,840個のグラフからなる新しいTree-of-Lifeデータセットを実証する。 Prevailing methods for graphs require abundant label and edge information for learning. When data for a new task are scarce, meta-learning can learn from prior experiences and form much-needed inductive biases for fast adaption to new tasks. Here, we introduce G-Meta, a novel meta-learning algorithm for graphs. G-Meta uses local subgraphs to transfer subgraph-specific information and learn transferable knowledge faster via meta gradients. G-Meta learns how to quickly adapt to a new task using only a handful of nodes or edges in the new task and does so by learning from data points in other graphs or related, albeit disjoint label sets. G-Meta is theoretically justified as we show that the evidence for a prediction can be found in the local subgraph surrounding the target node or edge. Experiments on seven datasets and nine baseline methods show that G-Meta outperforms existing methods by up to 16.3%. Unlike previous methods, G-Meta successfully learns in challenging, few-shot learning settings that require generalization to completely new graphs and never-before-seen labels. Finally, G-Meta scales to large graphs, which we demonstrate on a new Tree-of-Life dataset comprising of 1,840 graphs, a two-orders of magnitude increase in the number of graphs used in prior work. | 翻訳日:2022-11-21 10:00:58 公開日:2021-01-08 |
| # クラスタ割り当てによる視覚特徴の教師なし学習 Unsupervised Learning of Visual Features by Contrasting Cluster Assignments ( http://arxiv.org/abs/2006.09882v5 ) ライセンス: Link先を確認 | Mathilde Caron, Ishan Misra, Julien Mairal, Priya Goyal, Piotr Bojanowski, Armand Joulin | (参考訳) 教師なし画像表現は教師なし事前学習のギャップを著しく減少させており、特に近年のコントラスト学習の成果は顕著である。
これらの対比的手法は通常オンラインで動作し、多くの明示的なペアワイズ特徴比較に依存する。
本稿では,対数比較の計算を必要とせず,コントラスト的手法を利用したオンラインアルゴリズム swav を提案する。
具体的には、コントラスト学習として機能を直接比較するのではなく、同一画像の異なる拡張(またはビュー)のために生成されたクラスタ割り当て間の一貫性を保ちながら、データを同時にクラスタ化する。
簡単に言えば、別のビューの表現からビューのクラスタ割り当てを予測する、スワップされた予測メカニズムを使用します。
我々の方法は大規模で小さなバッチで訓練でき、無制限のデータにスケールできる。
従来のコントラスト法と比較して、大きなメモリバンクや特別な運動量ネットワークを必要としないため、よりメモリ効率がよい。
さらに,2つのフル解像度ビューの代わりに異なる解像度のビューを混在させることにより,メモリや計算要求を大幅に増加させることなく,新たなデータ拡張戦略であるmulti-cropを提案する。
我々は、ResNet-50でImageNetで75.3%のトップ1の精度を達成し、また、検討されたすべての転送タスクの教師付き事前トレーニングを超越することで、この結果を検証する。 Unsupervised image representations have significantly reduced the gap with supervised pretraining, notably with the recent achievements of contrastive learning methods. These contrastive methods typically work online and rely on a large number of explicit pairwise feature comparisons, which is computationally challenging. In this paper, we propose an online algorithm, SwAV, that takes advantage of contrastive methods without requiring to compute pairwise comparisons. Specifically, our method simultaneously clusters the data while enforcing consistency between cluster assignments produced for different augmentations (or views) of the same image, instead of comparing features directly as in contrastive learning. Simply put, we use a swapped prediction mechanism where we predict the cluster assignment of a view from the representation of another view. Our method can be trained with large and small batches and can scale to unlimited amounts of data. Compared to previous contrastive methods, our method is more memory efficient since it does not require a large memory bank or a special momentum network. In addition, we also propose a new data augmentation strategy, multi-crop, that uses a mix of views with different resolutions in place of two full-resolution views, without increasing the memory or compute requirements much. We validate our findings by achieving 75.3% top-1 accuracy on ImageNet with ResNet-50, as well as surpassing supervised pretraining on all the considered transfer tasks. | 翻訳日:2022-11-19 21:13:32 公開日:2021-01-08 |
| # 線形DAG学習におけるスパーシリティとDAG制約の役割について On the Role of Sparsity and DAG Constraints for Learning Linear DAGs ( http://arxiv.org/abs/2006.10201v3 ) ライセンス: Link先を確認 | Ignavier Ng, AmirEmad Ghassami, Kun Zhang | (参考訳) DAG(Directed Acyclic Graphs)に基づくグラフィカル構造学習は,グラフの巨大な探索空間のため,難しい問題である。
最近の研究の行は、最小二乗目標とDAGの代数的特徴を用いた連続的制約付き最適化タスクとして構造学習問題を定式化している。
しかし、定式化には厳しいDAG制約が必要であり、最適化が困難になる可能性がある。
本稿では,リニアガウスおよび非ガウスにおけるDAGモデルの学習における空間的制約とDAG制約の漸近的役割について検討し,その有限標本法における有用性について検討する。
理論的結果に基づいて、確率に基づくスコア関数を定式化し、基底真理DAGと同等のDAGを学習するためには、ソフトなスパーシリティとDAG制約を適用するだけでよいことを示す。
これにより、制約のない最適化問題が解決しやすくなる。
勾配に基づく最適化とgpuアクセラレーションを用いることで,精度を維持しながら数千のノードを容易に処理できる。
提案手法の有効性を検証し, 硬度DAG制約の最小二乗法よりもDAG補償可能性目的が有利であることを示す。 Learning graphical structures based on Directed Acyclic Graphs (DAGs) is a challenging problem, partly owing to the large search space of possible graphs. A recent line of work formulates the structure learning problem as a continuous constrained optimization task using the least squares objective and an algebraic characterization of DAGs. However, the formulation requires a hard DAG constraint and may lead to optimization difficulties. In this paper, we study the asymptotic role of the sparsity and DAG constraints for learning DAG models in the linear Gaussian and non-Gaussian cases, and investigate their usefulness in the finite sample regime. Based on the theoretical results, we formulate a likelihood-based score function, and show that one only has to apply soft sparsity and DAG constraints to learn a DAG equivalent to the ground truth DAG. This leads to an unconstrained optimization problem that is much easier to solve. Using gradient-based optimization and GPU acceleration, our procedure can easily handle thousands of nodes while retaining a high accuracy. Extensive experiments validate the effectiveness of our proposed method and show that the DAG-penalized likelihood objective is indeed favorable over the least squares one with the hard DAG constraint. | 翻訳日:2022-11-19 20:01:03 公開日:2021-01-08 |
| # 高パラメータアンサンブルによるロバストネスと不確かさの定量化 Hyperparameter Ensembles for Robustness and Uncertainty Quantification ( http://arxiv.org/abs/2006.13570v3 ) ライセンス: Link先を確認 | Florian Wenzel, Jasper Snoek, Dustin Tran, Rodolphe Jenatton | (参考訳) ディープアンサンブルとして知られる、異なるランダム初期化からトレーニングされたニューラルネットワーク重量に対するアンサンブルは、最先端の精度とキャリブレーションを達成する。
最近導入されたバッチアンサンブルは、よりパラメータ効率の良いドロップイン置換を提供する。
本稿では,重みだけでなくハイパーパラメータでもアンサンブルを設計し,両方の設定におけるアートの状態を改善する。
予算によらず最高の性能を得るために,複数の超パラメータをランダムに探索する単純な手順であるハイパーディープアンサンブルを提案する。
その強力なパフォーマンスは、重量とハイパーパラメータの多様性の両方でモデルを組み合わせる利点を強調している。
さらに,バッチアンサンブルと自己調整ネットワークの層構造に基づいて,パラメータ効率の良いハイパーバッチアンサンブルを提案する。
本手法の計算とメモリコストは,典型的なアンサンブルよりも著しく低い。
MLP, LeNet, ResNet 20, Wide ResNet 28-10 アーキテクチャによる画像分類タスクでは,ディープアンサンブルとバッチアンサンブルの両方を改善した。 Ensembles over neural network weights trained from different random initialization, known as deep ensembles, achieve state-of-the-art accuracy and calibration. The recently introduced batch ensembles provide a drop-in replacement that is more parameter efficient. In this paper, we design ensembles not only over weights, but over hyperparameters to improve the state of the art in both settings. For best performance independent of budget, we propose hyper-deep ensembles, a simple procedure that involves a random search over different hyperparameters, themselves stratified across multiple random initializations. Its strong performance highlights the benefit of combining models with both weight and hyperparameter diversity. We further propose a parameter efficient version, hyper-batch ensembles, which builds on the layer structure of batch ensembles and self-tuning networks. The computational and memory costs of our method are notably lower than typical ensembles. On image classification tasks, with MLP, LeNet, ResNet 20 and Wide ResNet 28-10 architectures, we improve upon both deep and batch ensembles. | 翻訳日:2022-11-17 09:24:20 公開日:2021-01-08 |
| # アルツハイマー病自動検出のための説明可能なCNN注意ネットワーク(C-Attention Networks) Explainable CNN-attention Networks (C-Attention Network) for Automated Detection of Alzheimer's Disease ( http://arxiv.org/abs/2006.14135v2 ) ライセンス: Link先を確認 | Ning Wang, Mingxuan Chen, K.P. Subbalakshmi | (参考訳) 本研究では,アルツハイマー病患者を言語能力に基づいて自動的に検出する3つのディープラーニングアーキテクチャを提案する。
1) 一部機能のみ、(2) 言語埋め込み機能のみ、(3) 両方の機能クラスは統一アーキテクチャを介して使用される。
我々は,自己認識機構と1次元畳み込みニューラルネットワーク(CNN)を用いて,モデル動作の2種類の説明(クラス内説明とクラス間説明)を生成する。
クラス間説明はクラス内のそれぞれの異なる特徴の相対的重要性を捉え、クラス間説明はクラス間の相対的重要性を捉えます。
この記事では2つの機能のクラスを検討したが、モジュラリティのため、アーキテクチャは簡単により多くのクラスに拡張できる。
広範な実験と最近のモデルとの比較により,提案手法は,認知症バンクデータセット上で92.2%,f1スコア0.952の精度でこれらの手法を上回り,説明を生成できることを示した。
注意値を用いてこれらの説明を生成する方法の例を示す。 In this work, we propose three explainable deep learning architectures to automatically detect patients with Alzheimer`s disease based on their language abilities. The architectures use: (1) only the part-of-speech features; (2) only language embedding features and (3) both of these feature classes via a unified architecture. We use self-attention mechanisms and interpretable 1-dimensional ConvolutionalNeural Network (CNN) to generate two types of explanations of the model`s action: intra-class explanation and inter-class explanation. The inter-class explanation captures the relative importance of each of the different features in that class, while the inter-class explanation captures the relative importance between the classes. Note that although we have considered two classes of features in this paper, the architecture is easily expandable to more classes because of its modularity. Extensive experimentation and comparison with several recent models show that our method outperforms these methods with an accuracy of 92.2% and F1 score of 0.952on the DementiaBank dataset while being able to generate explanations. We show by examples, how to generate these explanations using attention values. | 翻訳日:2022-11-17 02:55:23 公開日:2021-01-08 |
| # 乗法重み更新による構成関数の学習 Learning compositional functions via multiplicative weight updates ( http://arxiv.org/abs/2006.14560v2 ) ライセンス: Link先を確認 | Jeremy Bernstein, Jiawei Zhao, Markus Meister, Ming-Yu Liu, Anima Anandkumar, Yisong Yue | (参考訳) 構成性は、生物学的ニューラルネットワークと人工ニューラルネットワークの両方の基本的な構造的特徴である。
勾配勾配による合成関数の学習は、消滅や爆発的な勾配といったよく知られた問題を引き起こし、現実世界のアプリケーションに注意深い学習率のチューニングが不可欠である。
本稿では,乗算重み更新が構成関数に合わせた降下補題を満たすことを示す。
この補題に基づいて、Adam optimiserの乗法バージョンであるMadamを導き、レートチューニングを学習することなく、最先端のニューラルネットワークアーキテクチャをトレーニングできることを示しています。
さらに,マダムの重みを対数系で表現することで,ネイティブ圧縮ニューラルネットワークの学習に容易に適応できることを示す。
本研究の結論は, 乗算重み更新と, 生物学におけるシナプスに関する最近の知見とを関連づけることである。 Compositionality is a basic structural feature of both biological and artificial neural networks. Learning compositional functions via gradient descent incurs well known problems like vanishing and exploding gradients, making careful learning rate tuning essential for real-world applications. This paper proves that multiplicative weight updates satisfy a descent lemma tailored to compositional functions. Based on this lemma, we derive Madam -- a multiplicative version of the Adam optimiser -- and show that it can train state of the art neural network architectures without learning rate tuning. We further show that Madam is easily adapted to train natively compressed neural networks by representing their weights in a logarithmic number system. We conclude by drawing connections between multiplicative weight updates and recent findings about synapses in biology. | 翻訳日:2022-11-17 02:36:18 公開日:2021-01-08 |
| # 畳み込みニューラルネットワークを用いた風速予測の統計的後処理 Statistical post-processing of wind speed forecasts using convolutional neural networks ( http://arxiv.org/abs/2007.04005v2 ) ライセンス: Link先を確認 | Simon Veldkamp, Kirien Whan, Sjoerd Dirksen and Maurice Schmeits | (参考訳) 確率的気象予報のための現在の統計後処理方法は、数値気象予報(nwp)モデルから完全な空間パターンを利用できない。
本稿では,KNMIの決定論的ハーモニー・アロームNWPモデルに基づいて,畳み込みニューラルネットワーク(CNN)を用いて空間風速情報を組み込んで,48時間前にオランダで確率的風速予測を行う。
cnnからの確率的予測は、完全連結ニューラルネットワークや分位回帰森林の予測よりも、中流から高風速のブライヤスキルスコアが高く、連続的なランク付け確率スコア(crps)や対数スコアも高いことが示されている。
二次的な結果として、CNNを3つの異なる密度推定法(量子化ソフトマックス(QS)、カーネル混合ネットワーク、および切り離された正規分布の適合)を用いて比較し、QS法に基づく確率予測が最適であることを示した。 Current statistical post-processing methods for probabilistic weather forecasting are not capable of using full spatial patterns from the numerical weather prediction (NWP) model. In this paper we incorporate spatial wind speed information by using convolutional neural networks (CNNs) and obtain probabilistic wind speed forecasts in the Netherlands for 48 hours ahead, based on KNMI's deterministic Harmonie-Arome NWP model. The probabilistic forecasts from the CNNs are shown to have higher Brier skill scores for medium to higher wind speeds, as well as a better continuous ranked probability score (CRPS) and logarithmic score, than the forecasts from fully connected neural networks and quantile regression forests. As a secondary result, we have compared the CNNs using 3 different density estimation methods (quantized softmax (QS), kernel mixture networks, and fitting a truncated normal distribution), and found the probabilistic forecasts based on the QS method to be best. | 翻訳日:2022-11-12 12:46:55 公開日:2021-01-08 |
| # NVAE: 階層的な変分オートエンコーダ NVAE: A Deep Hierarchical Variational Autoencoder ( http://arxiv.org/abs/2007.03898v3 ) ライセンス: Link先を確認 | Arash Vahdat, Jan Kautz | (参考訳) フローの正規化、自己回帰モデル、変動オートエンコーダ(VAE)、深層エネルギーベースモデルは、深層生成学習のための競合する可能性ベースのフレームワークである。
その中でもvaeは、高速で扱いやすいサンプリングとアクセスしやすいエンコーディングネットワークの利点がある。
しかし、現在ではフローの正規化や自己回帰モデルなど、他のモデルよりも優れています。
VAEの研究の大部分は統計的な課題に焦点を当てているが、階層的なVAEのための神経アーキテクチャを慎重に設計する直交方向について検討する。
本研究では,深度的に分離可能な畳み込みとバッチ正規化を用いた画像生成のための階層型VAEであるNouveau VAE(NVAE)を提案する。
NVAEは正規分布の残留パラメータ化を備えており、そのトレーニングはスペクトル正則化によって安定化される。
NVAEは、MNIST、CIFAR-10、CelebA 64、CelebA HQデータセット上の非自己回帰的確率ベースモデルのうち、最先端の結果を達成し、FFHQに強力なベースラインを提供する。
例えば、CIFAR-10では、NVAEは2.98ビットから2.91ビットまで最先端の画像をCelebA本社で生成する。
我々の知る限りでは、NVAEは256$\times$256ピクセルの自然画像に適用された最初のVAEである。
ソースコードはhttps://github.com/NVlabs/NVAEで入手できる。 Normalizing flows, autoregressive models, variational autoencoders (VAEs), and deep energy-based models are among competing likelihood-based frameworks for deep generative learning. Among them, VAEs have the advantage of fast and tractable sampling and easy-to-access encoding networks. However, they are currently outperformed by other models such as normalizing flows and autoregressive models. While the majority of the research in VAEs is focused on the statistical challenges, we explore the orthogonal direction of carefully designing neural architectures for hierarchical VAEs. We propose Nouveau VAE (NVAE), a deep hierarchical VAE built for image generation using depth-wise separable convolutions and batch normalization. NVAE is equipped with a residual parameterization of Normal distributions and its training is stabilized by spectral regularization. We show that NVAE achieves state-of-the-art results among non-autoregressive likelihood-based models on the MNIST, CIFAR-10, CelebA 64, and CelebA HQ datasets and it provides a strong baseline on FFHQ. For example, on CIFAR-10, NVAE pushes the state-of-the-art from 2.98 to 2.91 bits per dimension, and it produces high-quality images on CelebA HQ. To the best of our knowledge, NVAE is the first successful VAE applied to natural images as large as 256$\times$256 pixels. The source code is available at https://github.com/NVlabs/NVAE . | 翻訳日:2022-11-12 09:43:52 公開日:2021-01-08 |
| # T-BFA:bit-Flip対応重量攻撃を狙う T-BFA: Targeted Bit-Flip Adversarial Weight Attack ( http://arxiv.org/abs/2007.12336v3 ) ライセンス: Link先を確認 | Adnan Siraj Rakin, Zhezhi He, Jingtao Li, Fan Yao, Chaitali Chakrabarti and Deliang Fan | (参考訳) 従来のディープニューラルネットワーク(DNN)のセキュリティは、よく知られた逆入力の例攻撃に関連している。
近年、DNNの重みパラメータに対する攻撃という別の敵攻撃の次元が非常に強力であることが示されている。
代表的なものとして、Bit-Flipベースの対向重み攻撃(BFA)は、実行中のDNN関数をハイジャックするために、非常に少量の障害を重みパラメータに注入する。
BFAの以前の研究は、コンピュータメモリに格納された非常に少数の重みビットを反転させることで、すべての入力をランダムな出力クラスにハックできる未ターゲット攻撃に焦点を当てていた。
本稿では,ターゲット出力クラスに対して選択された入力を意図的に誤解させることができるdnnに対する標的bfa(t-bfa)対向重み攻撃の最初の作品を提案する。
対象出力の分類と密接な関係を持つ重みビットをクラス依存重みビットランキングアルゴリズムにより同定することで目的とする。
画像分類タスクにおいて,複数のDNNアーキテクチャ上でT-BFAの性能を実証した。
例えば、resnet-18の8800万ビットのうち27ビットをひっくり返すだけで、我々のt-bfaは'hen'クラスからの全ての画像をimagenetデータセットの'goose'クラス(すなわち100%攻撃成功率)に誤分類することができ、59.35パーセントの検証精度を維持している。
さらに、我々は、Ivy BridgeベースのIntel i7 CPUと8GBのDDR3メモリを用いて、DNN計算を実行する実コンピュータプロトタイプシステムにおけるT-BFA攻撃の実証に成功した。 Traditional Deep Neural Network (DNN) security is mostly related to the well-known adversarial input example attack. Recently, another dimension of adversarial attack, namely, attack on DNN weight parameters, has been shown to be very powerful. As a representative one, the Bit-Flip-based adversarial weight Attack (BFA) injects an extremely small amount of faults into weight parameters to hijack the executing DNN function. Prior works of BFA focus on un-targeted attack that can hack all inputs into a random output class by flipping a very small number of weight bits stored in computer memory. This paper proposes the first work of targeted BFA based (T-BFA) adversarial weight attack on DNNs, which can intentionally mislead selected inputs to a target output class. The objective is achieved by identifying the weight bits that are highly associated with classification of a targeted output through a class-dependent weight bit ranking algorithm. Our proposed T-BFA performance is successfully demonstrated on multiple DNN architectures for image classification tasks. For example, by merely flipping 27 out of 88 million weight bits of ResNet-18, our T-BFA can misclassify all the images from 'Hen' class into 'Goose' class (i.e., 100 % attack success rate) in ImageNet dataset, while maintaining 59.35 % validation accuracy. Moreover, we successfully demonstrate our T-BFA attack in a real computer prototype system running DNN computation, with Ivy Bridge-based Intel i7 CPU and 8GB DDR3 memory. | 翻訳日:2022-11-07 06:22:26 公開日:2021-01-08 |
| # big bird: 長いシーケンスのトランスフォーマー Big Bird: Transformers for Longer Sequences ( http://arxiv.org/abs/2007.14062v2 ) ライセンス: Link先を確認 | Manzil Zaheer, Guru Guruganesh, Avinava Dubey, Joshua Ainslie, Chris Alberti, Santiago Ontanon, Philip Pham, Anirudh Ravula, Qifan Wang, Li Yang, Amr Ahmed | (参考訳) BERTのようなトランスフォーマーベースのモデルは、NLPの最も成功したディープラーニングモデルの1つである。
残念なことに、その中核的な制限の1つは、その完全な注意機構のため、シーケンス長の二次的依存(主にメモリ)である。
そこで我々は,この2次依存を線形に還元する疎度注意機構であるBigBirdを提案する。
我々は、BigBirdが順序関数の普遍近似であり、チューリング完全であることを示す。
その過程で、我々の理論的分析は、疎注意機構の一部としてシーケンス全体に対応する$O(1)$グローバルトークン(CLSなど)を持つことの利点をいくつか明らかにしている。
提案したスパースアテンションは、以前同様のハードウェアで可能だった8倍の長さのシーケンスを処理できる。
より長いコンテキストを扱う能力の結果として、BigBirdは質問応答や要約などの様々なNLPタスクのパフォーマンスを大幅に改善した。
また、ゲノムデータに対する新しい応用を提案する。 Transformers-based models, such as BERT, have been one of the most successful deep learning models for NLP. Unfortunately, one of their core limitations is the quadratic dependency (mainly in terms of memory) on the sequence length due to their full attention mechanism. To remedy this, we propose, BigBird, a sparse attention mechanism that reduces this quadratic dependency to linear. We show that BigBird is a universal approximator of sequence functions and is Turing complete, thereby preserving these properties of the quadratic, full attention model. Along the way, our theoretical analysis reveals some of the benefits of having $O(1)$ global tokens (such as CLS), that attend to the entire sequence as part of the sparse attention mechanism. The proposed sparse attention can handle sequences of length up to 8x of what was previously possible using similar hardware. As a consequence of the capability to handle longer context, BigBird drastically improves performance on various NLP tasks such as question answering and summarization. We also propose novel applications to genomics data. | 翻訳日:2022-11-06 01:26:45 公開日:2021-01-08 |
| # POSEIDON:プライバシ保護フェデレーションニューラルネットワーク学習 POSEIDON: Privacy-Preserving Federated Neural Network Learning ( http://arxiv.org/abs/2009.00349v3 ) ライセンス: Link先を確認 | Sinem Sav, Apostolos Pyrgelis, Juan R. Troncoso-Pastoriza, David Froelicher, Jean-Philippe Bossuat, Joao Sa Sousa, and Jean-Pierre Hubaux | (参考訳) 本稿では,プライバシ保護トレーニングの課題と,n$パーティの連合学習環境におけるニューラルネットワークの評価について述べる。
本稿では,プライバシ保護型ニューラルネットワークトレーニングシステムにおいて,最初のシステムであるposidonを提案する。
訓練データ、モデル、評価データの機密性を保持するために、複数パーティの格子ベースの暗号を用いて、受動的-敵対的モデルと最大$n-1$パーティ間のコラボレーションに基づいている。
ニューラルネットワークをトレーニングするためのセキュアなバックプロパゲーションアルゴリズムを効率的に実行するために、暗号化されたデータに対するSingle Instruction, Multiple Data (SIMD)操作を可能にするジェネリックパッキングアプローチを提供する。
また,暗号ブートストラップ操作内に任意の線形変換を導入し,コストのかかる暗号計算を最適化し,暗号パラメータを選択するための制約付き最適化問題を定義する。
実験の結果,POSEIDONは中央集権的あるいは分散化された非私的アプローチと同様の精度を達成でき,その計算と通信オーバーヘッドはパーティ数と線形にスケールすることがわかった。
POSEIDONは、MNISTデータセットに784の特徴と60Kのサンプルを2時間以内で10のパーティに分散させた3層ニューラルネットワークをトレーニングする。 In this paper, we address the problem of privacy-preserving training and evaluation of neural networks in an $N$-party, federated learning setting. We propose a novel system, POSEIDON, the first of its kind in the regime of privacy-preserving neural network training. It employs multiparty lattice-based cryptography to preserve the confidentiality of the training data, the model, and the evaluation data, under a passive-adversary model and collusions between up to $N-1$ parties. To efficiently execute the secure backpropagation algorithm for training neural networks, we provide a generic packing approach that enables Single Instruction, Multiple Data (SIMD) operations on encrypted data. We also introduce arbitrary linear transformations within the cryptographic bootstrapping operation, optimizing the costly cryptographic computations over the parties, and we define a constrained optimization problem for choosing the cryptographic parameters. Our experimental results show that POSEIDON achieves accuracy similar to centralized or decentralized non-private approaches and that its computation and communication overhead scales linearly with the number of parties. POSEIDON trains a 3-layer neural network on the MNIST dataset with 784 features and 60K samples distributed among 10 parties in less than 2 hours. | 翻訳日:2022-10-23 01:53:58 公開日:2021-01-08 |
| # 点雲中の3次元物体検出のための密度認識ポイントRCNN A Density-Aware PointRCNN for 3D Object Detection in Point Clouds ( http://arxiv.org/abs/2009.05307v2 ) ライセンス: Link先を確認 | Jie Li, Yu Hu | (参考訳) 本稿では,点雲の非一様密度を扱うためにマルチブランチバックボーンネットワークを採用する3次元物体検出用pointrcnnの改良版を提案する。
異なる点雲の分布差に対処するために,不確実性に基づくサンプリングポリシーを提案する。
この新しいモデルでは、KITTI val のベースライン PointRCNN よりも 0.8 AP 高い性能を達成できる。
さらに,各集合抽出層に対する単一スケールグルーピングを用いた簡易モデルにより,計算コストを低減して競合性能を実現することができる。 We present an improved version of PointRCNN for 3D object detection, in which a multi-branch backbone network is adopted to handle the non-uniform density of point clouds. An uncertainty-based sampling policy is proposed to deal with the distribution differences of different point clouds. The new model can achieve about 0.8 AP higher performance than the baseline PointRCNN on KITTI val set. In addition, a simplified model using a single scale grouping for each set-abstraction layer can achieve competitive performance with less computational cost. | 翻訳日:2022-10-19 21:44:00 公開日:2021-01-08 |
| # TODS:自動時系列出力検出システム TODS: An Automated Time Series Outlier Detection System ( http://arxiv.org/abs/2009.09822v3 ) ライセンス: Link先を確認 | Kwei-Herng Lai, Daochen Zha, Guanchu Wang, Junjie Xu, Yue Zhao, Devesh Kumar, Yile Chen, Purav Zumkhawaka, Minyang Wan, Diego Martinez, Xia Hu | (参考訳) 本稿では,研究および産業応用のための時系列自動異常検出システムtodsを提案する。
TODSは,パイプライン構築を容易にする,高度にモジュール化されたシステムである。
TODSの基本的なビルディングブロックは、ハイパーパラメータを持つ関数の実装であるプリミティブである。
TODSは現在、データ処理、時系列処理、特徴分析、検出アルゴリズム、強化モジュールを含む70のプリミティブをサポートしている。
ユーザはこれらのプリミティブを使ってパイプラインを自由に構築でき、構築されたパイプラインでエンドツーエンドの異常検出を行うことができる。
TODSはGUI(Graphical User Interface)を提供し、ユーザはドラッグ&ドロップで柔軟にパイプラインを設計できる。
さらに、データセットが与えられた最も適切なパイプラインを自動的に検出するデータ駆動サーチが提供される。
TODSはApache 2.0ライセンスでhttps://github.com/datamllab/todsでリリースされている。 We present TODS, an automated Time Series Outlier Detection System for research and industrial applications. TODS is a highly modular system that supports easy pipeline construction. The basic building block of TODS is primitive, which is an implementation of a function with hyperparameters. TODS currently supports 70 primitives, including data processing, time series processing, feature analysis, detection algorithms, and a reinforcement module. Users can freely construct a pipeline using these primitives and perform end- to-end outlier detection with the constructed pipeline. TODS provides a Graphical User Interface (GUI), where users can flexibly design a pipeline with drag-and-drop. Moreover, a data-driven searcher is provided to automatically discover the most suitable pipelines given a dataset. TODS is released under Apache 2.0 license at https://github.com/datamllab/tods. | 翻訳日:2022-10-17 02:52:40 公開日:2021-01-08 |
| # エストニア語における多言語BERTの評価 Evaluating Multilingual BERT for Estonian ( http://arxiv.org/abs/2010.00454v2 ) ライセンス: Link先を確認 | Claudia Kittask, Kirill Milintsevich, Kairit Sirts | (参考訳) 近年、BERTのような大規模な事前訓練された言語モデルは、多くの自然言語処理タスクにおいて最先端のパフォーマンスに達しているが、エストニア語を含む多くの言語では、BERTモデルは利用できない。
しかし、複数の言語を同時に扱うことができる複数の多言語BERTモデルが存在し、エストニアのデータでも訓練されている。
本稿では,多言語BERT,多言語蒸留BERT,XLM,XLM-RoBERTaの4つのモデルを,POSや形態的タグ付け,NER,テキスト分類などのNLPタスクで評価する。
本研究の目的は,これらの多言語BERTモデルと既存のベースラインニューラルモデルとの比較を確立することである。
以上の結果から,多言語BERT モデルはエストニアの異なる NLP タスクにおいて,POS および形態的タグ付けおよびテキスト分類のベースラインモデルよりも優れており,XLM-RoBERTa が他の多言語モデルと比較して最も高い結果を得ることができた。 Recently, large pre-trained language models, such as BERT, have reached state-of-the-art performance in many natural language processing tasks, but for many languages, including Estonian, BERT models are not yet available. However, there exist several multilingual BERT models that can handle multiple languages simultaneously and that have been trained also on Estonian data. In this paper, we evaluate four multilingual models -- multilingual BERT, multilingual distilled BERT, XLM and XLM-RoBERTa -- on several NLP tasks including POS and morphological tagging, NER and text classification. Our aim is to establish a comparison between these multilingual BERT models and the existing baseline neural models for these tasks. Our results show that multilingual BERT models can generalise well on different Estonian NLP tasks outperforming all baselines models for POS and morphological tagging and text classification, and reaching the comparable level with the best baseline for NER, with XLM-RoBERTa achieving the highest results compared with other multilingual models. | 翻訳日:2022-10-12 08:00:42 公開日:2021-01-08 |
| # Invertible DenseNets Invertible DenseNets ( http://arxiv.org/abs/2010.02125v3 ) ライセンス: Link先を確認 | Yura Perugachi-Diaz, Jakub M. Tomczak, Sandjai Bhulai | (参考訳) 残差流の代替として,よりパラメータ効率の良いi-デンセネットを導入する。
この方法は、密度ネットにおける結合のリプシッツ連続性の解析に依存しており、リプシッツ制約を満たすことでネットワークの可逆性を強制する。
さらに,学習可能な連結法を提案することで,モデルの性能を向上させるだけでなく,連結表現の重要性も示す。
我々は,おもちゃ,MNIST,CIFAR10データにおけるi-DenseNetsおよびResidual Flowsの性能を示す。
両方のi-DenseNetsは、同じパラメータ予算の下で考慮されたすべてのデータセットにおいて、負の対数類似度で評価された残留フローを上回ります。 We introduce Invertible Dense Networks (i-DenseNets), a more parameter efficient alternative to Residual Flows. The method relies on an analysis of the Lipschitz continuity of the concatenation in DenseNets, where we enforce the invertibility of the network by satisfying the Lipschitz constraint. Additionally, we extend this method by proposing a learnable concatenation, which not only improves the model performance but also indicates the importance of the concatenated representation. We demonstrate the performance of i-DenseNets and Residual Flows on toy, MNIST, and CIFAR10 data. Both i-DenseNets outperform Residual Flows evaluated in negative log-likelihood, on all considered datasets under an equal parameter budget. | 翻訳日:2022-10-10 20:03:53 公開日:2021-01-08 |
| # オンデバイスマルチドメイン視覚分類のためのマルチパスニューラルネットワーク Multi-path Neural Networks for On-device Multi-domain Visual Classification ( http://arxiv.org/abs/2010.04904v2 ) ライセンス: Link先を確認 | Qifei Wang, Junjie Ke, Joshua Greaves, Grace Chu, Gabriel Bender, Luciano Sbaiz, Alec Go, Andrew Howard, Feng Yang, Ming-Hsuan Yang, Jeff Gilbert, and Peyman Milanfar | (参考訳) 単一のモデルで複数のドメイン/タスクを学習することは、データ効率を改善し、多くのビジョンタスク、特にリソース制約のあるモバイルデバイスの推論コストを下げるために重要である。
しかし、マルチドメイン/タスクモデルを作るのは面倒で難しい。
本稿では,モバイルデバイス上でのマルチドメイン視覚分類のためのマルチパスネットワークの自動学習手法を提案する。
提案するマルチパスネットワークは,各領域に1つの強化学習コントローラを適用し,mobilenetv3ライクな検索空間から生成されたスーパーネットワークの最適経路を選択することで,ニューラルネットワーク検索から学習される。
複数の領域の結合モデルを同時に最適化するために,適応的平衡領域優先順位付けアルゴリズムを提案する。
決定されたマルチパスモデルは、各ドメインパス内の非共有ノードにドメイン固有のパラメータを保持しながら、共有ノード内のドメイン間のパラメータを選択的に共有する。
このアプローチは、パラメータの総数とFLOPSを効果的に削減し、ドメイン間の負の干渉を緩和しながら、ポジティブな知識伝達を促進する。
visual decathlonデータセットの広範な評価により、提案されたマルチパスモデルは、mobilenetv3ライクなアーキテクチャを用いた他のアプローチに対して、精度、モデルサイズ、フラップの観点から最先端のパフォーマンスを達成できることが示されている。
さらに,単ドメインモデルの学習における平均精度を個別に向上させ,マルチドメイン学習のための単ドメインモデルをバンドルするアプローチと比較して,パラメータ数とフラップの総数をそれぞれ78%,32%削減する。 Learning multiple domains/tasks with a single model is important for improving data efficiency and lowering inference cost for numerous vision tasks, especially on resource-constrained mobile devices. However, hand-crafting a multi-domain/task model can be both tedious and challenging. This paper proposes a novel approach to automatically learn a multi-path network for multi-domain visual classification on mobile devices. The proposed multi-path network is learned from neural architecture search by applying one reinforcement learning controller for each domain to select the best path in the super-network created from a MobileNetV3-like search space. An adaptive balanced domain prioritization algorithm is proposed to balance optimizing the joint model on multiple domains simultaneously. The determined multi-path model selectively shares parameters across domains in shared nodes while keeping domain-specific parameters within non-shared nodes in individual domain paths. This approach effectively reduces the total number of parameters and FLOPS, encouraging positive knowledge transfer while mitigating negative interference across domains. Extensive evaluations on the Visual Decathlon dataset demonstrate that the proposed multi-path model achieves state-of-the-art performance in terms of accuracy, model size, and FLOPS against other approaches using MobileNetV3-like architectures. Furthermore, the proposed method improves average accuracy over learning single-domain models individually, and reduces the total number of parameters and FLOPS by 78% and 32% respectively, compared to the approach that simply bundles single-domain models for multi-domain learning. | 翻訳日:2022-10-08 22:18:01 公開日:2021-01-08 |
| # 気候モデルの動的景観とマルチスタビリティ Dynamical Landscape and Multistability of a Climate Model ( http://arxiv.org/abs/2010.10374v2 ) ライセンス: Link先を確認 | Georgios Margazoglou and Tobias Grafke and Alessandro Laio and Valerio Lucarini | (参考訳) 2つの独立したデータ分析手法を,中間複雑性気候モデルにおける安定な気候状態の探索に応用し,それらの相互作用を分析する。
まず,準ポテンシャルの理論を参考にし,その状態空間を谷や尾根を持つエネルギー景観として捉え,特定された多値気候状態の相対的可能性を推察し,その遷移経路やそれらの間の遷移時期について検討した。
次に,データサイエンス,特に多様体学習の手法を用いて,シミュレーションアウトプットのデータランドスケープを特徴付け,完全に無知で教師なしの枠組み内で気候状態と盆地境界を求める。
どちらのアプローチも顕著な一致を示し、よく知られた暖かくて雪だるまの地球状態とは別に、私たちが考慮している2つの気候モデルのうちの1つで第3中間安定状態を示す。
この手法を組み合わせることで、海洋熱輸送と水循環によるエントロピー生成の負のフィードバックが、地球の気候の動的景観の地形を劇的に変えるかがわかる。 We apply two independent data analysis methodologies to locate stable climate states in an intermediate complexity climate model and analyze their interplay. First, drawing from the theory of quasipotentials, and viewing the state space as an energy landscape with valleys and mountain ridges, we infer the relative likelihood of the identified multistable climate states, and investigate the most likely transition trajectories as well as the expected transition times between them. Second, harnessing techniques from data science, specifically manifold learning, we characterize the data landscape of the simulation output to find climate states and basin boundaries within a fully agnostic and unsupervised framework. Both approaches show remarkable agreement, and reveal, apart from the well known warm and snowball earth states, a third intermediate stable state in one of the two climate models we consider. The combination of our approaches allows to identify how the negative feedback of ocean heat transport and entropy production via the hydrological cycle drastically change the topography of the dynamical landscape of Earth's climate. | 翻訳日:2022-10-05 07:50:06 公開日:2021-01-08 |
| # コントラスト強調心筋MRIを用いた解剖学的インフォームドディープラーニングと臨床像抽出 Anatomically-Informed Deep Learning on Contrast-Enhanced Cardiac MRI for Scar Segmentation and Clinical Feature Extraction ( http://arxiv.org/abs/2010.11081v2 ) ライセンス: Link先を確認 | Haley G. Abramson, Dan M. Popescu, Rebecca Yu, Changxin Lai, Julie K. Shade, Katherine C. Wu, Mauro Maggioni, Natalia A. Trayanova | (参考訳) コントラスト・エンハンスメント(LGE)を用いた心臓磁気共鳴画像(CMR)による心臓の傷跡と線維化の可視化は、疾患の進行と不整脈の病態生理学的基質の定量化において最重要である。
しかし、LGE-CMRからのセグメント化と傷痕・線維化の同定は、大きなサーバ間変動を引き起こす。
本稿では,左心室(LV)および難治/線維化分節とLGE-CMRの臨床的特徴抽出のための,完全自動解剖学的深層学習ソリューションを提案する。
この技術は、3つのカスケード畳み込みニューラルネットワークによって、生のLGE-CMR画像から心筋と線維化を分離し、解剖学的ガイドラインの範囲内でこれらのセグメンテーションを制限し、臨床的に重要なパラメータのシームレスな導出を容易にする。
利用可能なLGE-CMR画像に加えて、「LGEライク」なシンスキャンを用いたトレーニングも行われた。
以上の結果から, 訓練を受けた専門家は, セグメンテーション(lvとscarセグメンテーションの精度のバランスがよい), 臨床特徴(平均scar-to-lv壁容積率の差が2\%), 解剖学的忠実度, などの点で良好な一致を示した。
我々のセグメンテーション技術は、他のコンピュータビジョン医療アプリケーションや予測出力のガイドライン遵守を必要とする問題にも拡張可能である。 Visualizing disease-induced scarring and fibrosis in the heart on cardiac magnetic resonance (CMR) imaging with contrast enhancement (LGE) is paramount in characterizing disease progression and quantifying pathophysiological substrates of arrhythmias. However, segmentation and scar/fibrosis identification from LGE-CMR is an intensive manual process prone to large inter-observer variability. Here, we present a novel fully-automated anatomically-informed deep learning solution for left ventricle (LV) and scar/fibrosis segmentation and clinical feature extraction from LGE-CMR. The technology involves three cascading convolutional neural networks that segment myocardium and scar/fibrosis from raw LGE-CMR images and constrain these segmentations within anatomical guidelines, thus facilitating seamless derivation of clinically-significant parameters. In addition to available LGE-CMR images, training used "LGE-like" synthetically enhanced cine scans. Results show excellent agreement with those of trained experts in terms of segmentation (balanced accuracy of $96\%$ and $75\%$ for LV and scar segmentation), clinical features ($2\%$ difference in mean scar-to-LV wall volume fraction), and anatomical fidelity. Our segmentation technology is extendable to other computer vision medical applications and to problems requiring guidelines adherence of predicted outputs. | 翻訳日:2022-10-05 00:45:39 公開日:2021-01-08 |
| # Jensen-Shannon情報に基づく学習アルゴリズムの一般化誤差の特徴付け Jensen-Shannon Information Based Characterization of the Generalization Error of Learning Algorithms ( http://arxiv.org/abs/2010.12664v2 ) ライセンス: Link先を確認 | Gholamali Aminian, Laura Toni, Miguel R. D. Rodrigues | (参考訳) 一般化エラー境界は、機械学習モデルのパフォーマンスを理解する上で重要である。
本研究では,教師付き学習シナリオに適用可能な新しい情報理論に基づく一般化誤差上限を提案する。
我々の一般境界は、様々な以前の境界を特殊化できることを示す。
また、トレーニングサンプルの集合をモデル化する確率変数と仮説をモデル化する別の確率変数との間のjensen-shannon情報を含む新しい境界に対して、我々の一般境界をいくつかの条件下で特殊化できることを示した。
また,ある条件下では,相互情報に基づく境界よりも境界が厳密であることが証明される。 Generalization error bounds are critical to understanding the performance of machine learning models. In this work, we propose a new information-theoretic based generalization error upper bound applicable to supervised learning scenarios. We show that our general bound can specialize in various previous bounds. We also show that our general bound can be specialized under some conditions to a new bound involving the Jensen-Shannon information between a random variable modelling the set of training samples and another random variable modelling the hypothesis. We also prove that our bound can be tighter than mutual information-based bounds under some conditions. | 翻訳日:2022-10-03 23:53:59 公開日:2021-01-08 |
| # 胸部X線画像を用いた新型コロナウイルス診断のためのマルチスケール注意ガイドネットワーク Multiscale Attention Guided Network for COVID-19 Diagnosis Using Chest X-ray Images ( http://arxiv.org/abs/2012.02278v2 ) ライセンス: Link先を確認 | Jingxiong Li, Yaqi Wang, Shuai Wang, Jun Wang, Jun Liu, Qun Jin, Lingling Sun | (参考訳) コロナウイルス感染症2019(COVID-19)は、千年紀以降で最も深刻なパンデミックの一つであり、世界は健康危機に対処せざるを得なくなった。
胸部X線(CXR)画像を用いた肺感染症の自動分類は、新型コロナウイルスの治療における診断能力を高める可能性がある。
しかし,CXR画像を用いた肺炎患者からのCOVID-19の分類は,空間的特徴の共有,特徴の多様性,患者間のコントラストの多様性のため難しい課題である。
さらに、大量のデータ収集は、データ渇きの深層学習モデルの性能を制限した、新たに出現した病気にとって実用的ではない。
これらの課題に対処するために、肺炎CXR画像からCOVID-19を自動分類するソフト距離正規化(MAG-SD)を用いたマルチスケール注意深いネットワークを提案する。
mag-sdでは、ma-netはマルチスケール特徴マップから予測ベクトルと注意を引くために使われる。
訓練モデルの堅牢性を向上し、トレーニングデータの不足を軽減するため、有意義な増強とノイズ低減を目的とした、ソフト距離正規化を伴う注意誘導強化が提案される。
マルチスケールアテンションモデルにより,肺炎CXR画像データセットの分類性能が向上する。
最先端モデルよりも肺炎の分類に特有な利点を示すMAG-SDに対して、多くの実験が提案されている。
コードはhttps://github.com/JasonLeeGHub/MAG-SDで入手できる。 Coronavirus disease 2019 (COVID-19) is one of the most destructive pandemic after millennium, forcing the world to tackle a health crisis. Automated lung infections classification using chest X-ray (CXR) images could strengthen diagnostic capability when handling COVID-19. However, classifying COVID-19 from pneumonia cases using CXR image is a difficult task because of shared spatial characteristics, high feature variation and contrast diversity between cases. Moreover, massive data collection is impractical for a newly emerged disease, which limited the performance of data thirsty deep learning models. To address these challenges, Multiscale Attention Guided deep network with Soft Distance regularization (MAG-SD) is proposed to automatically classify COVID-19 from pneumonia CXR images. In MAG-SD, MA-Net is used to produce prediction vector and attention from multiscale feature maps. To improve the robustness of trained model and relieve the shortage of training data, attention guided augmentations along with a soft distance regularization are posed, which aims at generating meaningful augmentations and reduce noise. Our multiscale attention model achieves better classification performance on our pneumonia CXR image dataset. Plentiful experiments are proposed for MAG-SD which demonstrates its unique advantage in pneumonia classification over cutting-edge models. The code is available at https://github.com/JasonLeeGHub/MAG-SD. | 翻訳日:2022-09-26 23:59:23 公開日:2021-01-08 |
| # MuSCLE:深部エントロピーモデルを用いたLiDARのマルチスイープ圧縮 MuSCLE: Multi Sweep Compression of LiDAR using Deep Entropy Models ( http://arxiv.org/abs/2011.07590v2 ) ライセンス: Link先を確認 | Sourav Biswas, Jerry Liu, Kelvin Wong, Shenlong Wang, Raquel Urtasun | (参考訳) 本稿では,lidarセンサデータストリームのストレージを削減する新しい圧縮アルゴリズムを提案する。
我々のモデルは、複数のLiDARスイープ間の時空間関係を利用して、幾何値と強度値の両方のビットレートを削減する。
この目的に向けて,粗面幾何学と先行するスイープの幾何学的・強度的情報の両方を考慮して,オツリー記号の確率をモデル化する新しい条件付きエントロピーモデルを提案する。
次に、学習した確率を使って、完全なデータストリームをコンパクトなものにエンコードします。
実験により, 従来のLiDAR圧縮法よりも接合形状と強度のビットレートを有意に低減し, 都市域とセマンティックKITTIデータセットの7-17%, 15-35%を削減できた。 We present a novel compression algorithm for reducing the storage of LiDAR sensor data streams. Our model exploits spatio-temporal relationships across multiple LiDAR sweeps to reduce the bitrate of both geometry and intensity values. Towards this goal, we propose a novel conditional entropy model that models the probabilities of the octree symbols by considering both coarse level geometry and previous sweeps' geometric and intensity information. We then use the learned probability to encode the full data stream into a compact one. Our experiments demonstrate that our method significantly reduces the joint geometry and intensity bitrate over prior state-of-the-art LiDAR compression methods, with a reduction of 7-17% and 15-35% on the UrbanCity and SemanticKITTI datasets respectively. | 翻訳日:2022-09-25 07:49:52 公開日:2021-01-08 |
| # 胸部CTスキャンのバッチ・エフェクト除去と解釈可能な人工知能によるCOVID-19肺炎の正確な診断と迅速診断 Accurate and Rapid Diagnosis of COVID-19 Pneumonia with Batch Effect Removal of Chest CT-Scans and Interpretable Artificial Intelligence ( http://arxiv.org/abs/2011.11736v2 ) ライセンス: Link先を確認 | Rassa Ghavami Modegh (1,2), Mehrab Hamidi (1,2), Saeed Masoudian (1), Amir Mohseni (1), Hamzeh Lotfalinezhad (1), Mohammad Ali Kazemi (3), Behnaz Moradi (3), Mahyar Ghafoori (4), Omid Motamedi (4), Omid Pournik (4), Kiara Rezaei-Kalantari (5), Amirreza Manteghinezhad (6,7), Shaghayegh Haghjooy Javanmard (6,7), Fateme Abdoli Nezhad (8), Ahmad Enhesari (8), Mohammad Saeed Kheyrkhah (9), Razieh Eghtesadi (10), Javid Azadbakht (11), Akbar Aliasgharzadeh (10), Mohammad Reza Sharif (12), Ali Khaleghi (13), Abbas Foroutan (14), Hossein Ghanaati (3), Hamed Dashti (1), Hamid R. Rabiee (1,2) ((1) AI-Med Group, AI Innovation Center, Sharif University of Technology, Tehran, Iran, (2) DML Lab, Department of Computer Engineering, Sharif University of Technology, Tehran, Iran, (3) Department of Radiology, Tehran University of Medical Sciences, Tehran, Iran, (4) Preventive Medicine and Public Health Research Center, Psychosocial Health Research Institute, Community and Family Medicine Department, School of Medicine, Iran University of Medical Sciences, Tehran, Iran, (5) Cardiovascular Medical and Research Center, Iran University of Medical Sciences, Tehran, Iran, (6) Applied Physiology Research Center, Isfahan Cardiovascular Research Institute, Isfahan, Iran, (7) University of Medical Science, Isfahan, Iran, (8) Kerman University of Medical Sciences, Kerman, Iran, (9) Research Institute of Animal Embryo Technology, Shahrekord University, Shahrekord, Iran, (10) Kashan University of Medical Sciences, Kashan, Iran, (11) Department of Radiology, Kashan University of Medical Sciences, Kashan, Iran, (12) Department of Pediatrics, Kashan University of Medical Sciences, Kashan, Iran, (13) Department of Computer Engineering, Imam Khomeini International University, Qazvin, Iran, (14) Shaheed Beheshti University of Medical Sciences, Medical Academy of Science, Tehran, Iran) | (参考訳) 新型コロナウイルス(COVID-19)は感染率の高いウイルスで、感染した患者を迅速に識別し、感染拡大を抑える必要がある。
現在のゴールド標準試験であるRT-PCR(Reverse-Transcription Polymerase Chain Reaction)は偽陰性率が高い。
より正確な代替手段としてCTスキャン画像から診断することは、新型コロナウイルスと他の肺炎疾患を区別する課題である。
人工知能は、放射線医や医師が診断のプロセスを加速し、その精度を高め、病気の重症度を測定するのに役立つ。
健康な人、新型コロナウイルス患者、および他の肺炎患者を軸線ctスキャン画像から区別する新しい解釈可能な深層ニューラルネットワークを設計した。
また, 本モデルでは感染部位を検出し, 肺体積のパーセンテージを計算する。
まず, 画像の事前処理を行い, 異なる装置のバッチ効果を除去し, 次いで, 感染部位のタグを持たずにモデルを訓練する弱い教師付き手法を採用した。
6つの医療センターから3359個のサンプルからなる大規模なデータセットでモデルをトレーニングし,評価した。
このモデルは97.75%と98.15%の感度に達し、87%と81.03%の特異性は、それぞれ他の疾患から健康な人々から分離している。
また、6つの医療センターから1435のサンプルに対して同様の性能を示し、その汎用性が証明された。
大規模データセットにおけるモデルの性能、その一般化性、解釈性は、信頼できる診断システムとしての使用に適している。 COVID-19 is a virus with high transmission rate that demands rapid identification of the infected patients to reduce the spread of the disease. The current gold-standard test, Reverse-Transcription Polymerase Chain Reaction (RT-PCR), has a high rate of false negatives. Diagnosing from CT-scan images as a more accurate alternative has the challenge of distinguishing COVID-19 from other pneumonia diseases. Artificial intelligence can help radiologists and physicians to accelerate the process of diagnosis, increase its accuracy, and measure the severity of the disease. We designed a new interpretable deep neural network to distinguish healthy people, patients with COVID-19, and patients with other pneumonia diseases from axial lung CT-scan images. Our model also detects the infected areas and calculates the percentage of the infected lung volume. We first preprocessed the images to eliminate the batch effects of different devices, and then adopted a weakly supervised method to train the model without having any tags for the infected parts. We trained and evaluated the model on a large dataset of 3359 samples from 6 different medical centers. The model reached sensitivities of 97.75% and 98.15%, and specificities of 87% and 81.03% in separating healthy people from the diseased and COVID-19 from other diseases, respectively. It also demonstrated similar performance for 1435 samples from 6 different medical centers which proves its generalizability. The performance of the model on a large diverse dataset, its generalizability, and interpretability makes it suitable to be used as a reliable diagnostic system. | 翻訳日:2022-09-22 02:03:37 公開日:2021-01-08 |
| # アノテーションはいくつ必要か?
--observer間変動が自動僧帽弁別図評価の信頼性に及ぼす影響に関する研究 How Many Annotators Do We Need? -- A Study on the Influence of Inter-Observer Variability on the Reliability of Automatic Mitotic Figure Assessment ( http://arxiv.org/abs/2012.02495v2 ) ライセンス: Link先を確認 | Frauke Wilm, Christof A. Bertram, Christian Marzahl, Alexander Bartel, Taryn A. Donovan, Charles-Antoine Assenmacher, Kathrin Becker, Mark Bennett, Sarah Corner, Brieuc Cossic, Daniela Denk, Martina Dettwiler, Beatriz Garcia Gonzalez, Corinne Gurtner, Annika Lehmbecker, Sophie Merz, Stephanie Plog, Anja Schmidt, Rebecca C. Smedley, Marco Tecilla, Tuddow Thaiwong, Katharina Breininger, Matti Kiupel, Andreas Maier, Robert Klopfleisch, Marc Aubreville | (参考訳) 組織学的断面における分裂像の密度は、多くの腫瘍において確率的に関連した特徴である。
病理組織間多様性が高いため、深層学習に基づくアルゴリズムは腫瘍の予後を改善する有望な解決策である。
病理学者はデータベース開発における金の標準であるが、ラベルの誤りは正確なアルゴリズムの開発を阻害する可能性がある。
本研究では,アルゴリズム性能に対するマルチエキスパートコンセンサス(n = 3, 5, 7, 9, 11)の利点を評価した。
個々のデータベースでのトレーニングでは、高い可変F$_1$スコアが得られたが、3つのアノテータのコンセンサスを使用すると、パフォーマンスが顕著に向上し、一貫性が増した。
アノテータの追加は、わずかな改善しか生み出さなかった。
病理学者の少ないデータベースとラベル精度の高いデータベースは,高いアルゴリズム性能と時間的投資の妥協点として最善のものであると結論づけた。 Density of mitotic figures in histologic sections is a prognostically relevant characteristic for many tumours. Due to high inter-pathologist variability, deep learning-based algorithms are a promising solution to improve tumour prognostication. Pathologists are the gold standard for database development, however, labelling errors may hamper development of accurate algorithms. In the present work we evaluated the benefit of multi-expert consensus (n = 3, 5, 7, 9, 11) on algorithmic performance. While training with individual databases resulted in highly variable F$_1$ scores, performance was notably increased and more consistent when using the consensus of three annotators. Adding more annotators only resulted in minor improvements. We conclude that databases by few pathologists and high label accuracy may be the best compromise between high algorithmic performance and time investment. | 翻訳日:2021-05-22 20:42:33 公開日:2021-01-08 |
| # eコマース広告のためのディープgspオークションによるマルチパフォーマンス指標の最適化 Optimizing Multiple Performance Metrics with Deep GSP Auctions for E-commerce Advertising ( http://arxiv.org/abs/2012.02930v2 ) ライセンス: Link先を確認 | Zhilin Zhang, Xiangyu Liu, Zhenzhe Zheng, Chenrui Zhang, Miao Xu, Junwei Pan, Chuan Yu, Fan Wu, Jian Xu and Kun Gai | (参考訳) eコマース広告では、広告プラットフォームは通常、ユーザエクスペリエンス、広告主ユーティリティ、プラットフォーム収益など、さまざまなパフォーマンス指標を最適化するためのオークションメカニズムに依存している。
しかし、最先端のオークション機構のほとんどは、社会福祉または収益などの単一のパフォーマンス指標の最適化にのみ焦点をあてており、様々な、動的で見積もりが難しい、さらには競合するパフォーマンス指標を持つEコマース広告には適していない。
本稿では,深層学習を活用して,gspオークションフレームワーク内で新たなランクスコア関数を設計する,深層gspオークションと呼ばれる新しいメカニズムを提案する。
これらの新しいランクスコア関数は、モノトーン割り当てと滑らかな遷移の制約の下でディープニューラルネットワークモデルを介して実装される。
モノトーン割り当ての要件は、gspオークションの優れた理論特性を保証する一方で、スムーズな移行の要件は、競売機構が候補機構間で切り替えて異なる最適化目標を達成する場合、広告主ユーティリティが余り変動しないことを保証する。
提案手法を電子商取引広告プラットフォームに導入し,オフラインシミュレーションとオンラインa/bテストの両方を用いて総合実験を行った。
その結果,Deep GSPオークションの有効性が,最先端のオークションメカニズムと比較された。 In e-commerce advertising, the ad platform usually relies on auction mechanisms to optimize different performance metrics, such as user experience, advertiser utility, and platform revenue. However, most of the state-of-the-art auction mechanisms only focus on optimizing a single performance metric, e.g., either social welfare or revenue, and are not suitable for e-commerce advertising with various, dynamic, difficult to estimate, and even conflicting performance metrics. In this paper, we propose a new mechanism called Deep GSP auction, which leverages deep learning to design new rank score functions within the celebrated GSP auction framework. These new rank score functions are implemented via deep neural network models under the constraints of monotone allocation and smooth transition. The requirement of monotone allocation ensures Deep GSP auction nice game theoretical properties, while the requirement of smooth transition guarantees the advertiser utilities would not fluctuate too much when the auction mechanism switches among candidate mechanisms to achieve different optimization objectives. We deployed the proposed mechanisms in a leading e-commerce ad platform and conducted comprehensive experimental evaluations with both offline simulations and online A/B tests. The results demonstrated the effectiveness of the Deep GSP auction compared to the state-of-the-art auction mechanisms. | 翻訳日:2021-05-22 11:58:17 公開日:2021-01-08 |
| # (参考訳) 球面正規化流を用いた変分行列推定 Variational Determinant Estimation with Spherical Normalizing Flows ( http://arxiv.org/abs/2012.13311v3 ) ライセンス: CC BY 4.0 | Simon Passenheim and Emiel Hoogeboom | (参考訳) 本稿では、arXiv:2005.06553v2で発見された最近提案された行列式推定器の変分拡張である変分行列式推定器(VDE)を紹介する。
この推定器は、(類似度重み付けされた)変動推論と超球面の密度推定を可能にする正規化流れの族を組み合わせることで、サンプルサイズが小さい場合でも著しく分散を減少させる。
厳密な変動境界の理想的な場合、VDEはゼロ分散推定器となり、単一のサンプルは正確な(log)行列式推定に十分である。 This paper introduces the Variational Determinant Estimator (VDE), a variational extension of the recently proposed determinant estimator discovered by arXiv:2005.06553v2. Our estimator significantly reduces the variance even for low sample sizes by combining (importance-weighted) variational inference and a family of normalizing flows which allow density estimation on hyperspheres. In the ideal case of a tight variational bound, the VDE becomes a zero variance estimator, and a single sample is sufficient for an exact (log) determinant estimate. | 翻訳日:2021-04-25 13:29:27 公開日:2021-01-08 |
| # 画像品質評価用変圧器 Transformer for Image Quality Assessment ( http://arxiv.org/abs/2101.01097v2 ) ライセンス: Link先を確認 | Junyong You, Jari Korhonen | (参考訳) トランスフォーマーは自然言語処理(NLP)における新しい標準手法となり、コンピュータビジョン領域の研究にも関心が寄せられている。
本稿では,画像品質評価における Transformer の適用について検討する。
視覚トランスフォーマー (vit) で使用されるオリジナルのトランスコーダに続いて, 畳み込みニューラルネットワーク (cnn) によって抽出された特徴地図の上に, 浅いトランスコーダを用いるアーキテクチャを提案する。
任意の解像度で画像を処理するために、Transformerエンコーダに適応的な位置埋め込みが使用される。
Transformerアーキテクチャのさまざまな設定が、公開されている画像品質データベース上で調査されている。
提案したTRIQアーキテクチャは優れた性能を実現する。
triqの実装はgithubで公開されている(https://github.com/junyongyou/triq)。 Transformer has become the new standard method in natural language processing (NLP), and it also attracts research interests in computer vision area. In this paper we investigate the application of Transformer in Image Quality (TRIQ) assessment. Following the original Transformer encoder employed in Vision Transformer (ViT), we propose an architecture of using a shallow Transformer encoder on the top of a feature map extracted by convolution neural networks (CNN). Adaptive positional embedding is employed in the Transformer encoder to handle images with arbitrary resolutions. Different settings of Transformer architectures have been investigated on publicly available image quality databases. We have found that the proposed TRIQ architecture achieves outstanding performance. The implementation of TRIQ is published on Github (https://github.com/junyongyou/triq). | 翻訳日:2021-04-18 06:02:08 公開日:2021-01-08 |
| # (参考訳) インターネット・オブ・エコノミーは新型コロナウイルス、新型ウイルス、今後のパンデミックの解決策を可能にした:フレームワーク、チャレンジ、研究の方向性 Internet of Everything enabled solution for COVID-19, its new variants and future pandemics: Framework, Challenges, and Research Directions ( http://arxiv.org/abs/2101.02030v3 ) ライセンス: CC BY-SA 4.0 | Sunder Ali Khowaja, Parus Khuwaja, Kapal Dev | (参考訳) 新型コロナウイルス(COVID-19)は、予期せぬ方法で世界に影響を与えた後、新たなバリエーションの復活とともに変異が始まっている。
政府、病院、学校、産業、そして人間は、ワクチンの潜在的な解決策を探しているが、ウイルスを根絶するためのタイムラインはまだ不明だ。
いくつかの研究者は、身体的健康モニタリング、免疫ブースティング、個人的衛生、メンタルヘルス、およびウイルスの拡散を遅らせるための接触追跡のような良いプラクティスの使用を奨励し、推奨している。
本稿では,ウェアラブル/モバイルセンサをあらゆるインターネットと統合して,優れたプラクティスのスペクトルを自動的にカバーする手法を提案する。
我々は,それぞれの優れた実践モジュールに対する仮説的フレームワークを提案し,CORFIE(Internet of Everything)を用いたCOvid-19抵抗フレームワークを提案し,各モジュールを統一アーキテクチャで結合する。
我々は、CORFIEが、現在のパンデミックと将来のパンデミックの新たな正常な人々を支援するとともに、経済損失の抑制に役立てられると想定している。
また,提案したCORFIEに従って,潜在的な課題とその可能性のある解決策を提供する。 After affecting the world in unexpected ways, COVID-19 has started mutating which is evident with the insurgence of its new variants. The governments, hospitals, schools, industries, and humans, in general, are looking for a potential solution in the vaccine which will eventually be available but its timeline for eradicating the virus is yet unknown. Several researchers have encouraged and recommended the use of good practices such as physical healthcare monitoring, immunity-boosting, personal hygiene, mental healthcare, and contact tracing for slowing down the spread of the virus. In this article, we propose the use of wearable/mobile sensors integrated with the Internet of Everything to cover the spectrum of good practices in an automated manner. We present hypothetical frameworks for each of the good practice modules and propose the COvid-19 Resistance Framework using the Internet of Everything (CORFIE) to tie all the individual modules in a unified architecture. We envision that CORFIE would be influential in assisting people with the new normal for current and future pandemics as well as instrumental in halting the economic losses, respectively. We also provide potential challenges and their probable solutions in compliance with the proposed CORFIE. | 翻訳日:2021-04-13 13:22:03 公開日:2021-01-08 |
| # 順序-回転連続関係抽出のためのカリキュラム-メタ学習 Curriculum-Meta Learning for Order-Robust Continual Relation Extraction ( http://arxiv.org/abs/2101.01926v3 ) ライセンス: Link先を確認 | Tongtong Wu, Xuekai Li, Yuan-Fang Li, Reza Haffari, Guilin Qi, Yujin Zhu and Guoqiang Xu | (参考訳) 連続的関係抽出は、非構造化テキストから段階的に新しい事実を抽出することに焦点を当てた重要なタスクである。
関係の連続した到着順序を考えると、このタスクは2つの深刻な課題、すなわち破滅的な忘れ方と秩序感応性につながる。
連続関係抽出における上記の2つの課題に対処する新しいカリキュラムメタ学習手法を提案する。
メタ学習とカリキュラム学習を組み合わせることで、モデルパラメータを新しいタスクに素早く適応させ、以前のタスクが現在のタスクに干渉することを減らす。
本研究では,関係の領域と範囲の分布を通して,新しい関係表現学習法を設計する。
このような表現は、カリキュラム構築におけるタスクの難しさを定量化するために用いられる。
さらに,与えられたモデルの注文感性度を定量的に測定するための新しい難易度指標を提案し,モデルのロバスト性を評価する新しい方法を提案する。
3つのベンチマークデータセットに関する包括的実験により,提案手法が最先端技術を上回ることを示した。
コードは匿名のgithubリポジトリで入手できる。 https://github.com/wutong8023/aaai_cml。 Continual relation extraction is an important task that focuses on extracting new facts incrementally from unstructured text. Given the sequential arrival order of the relations, this task is prone to two serious challenges, namely catastrophic forgetting and order-sensitivity. We propose a novel curriculum-meta learning method to tackle the above two challenges in continual relation extraction. We combine meta learning and curriculum learning to quickly adapt model parameters to a new task and to reduce interference of previously seen tasks on the current task. We design a novel relation representation learning method through the distribution of domain and range types of relations. Such representations are utilized to quantify the difficulty of tasks for the construction of curricula. Moreover, we also present novel difficulty-based metrics to quantitatively measure the extent of order-sensitivity of a given model, suggesting new ways to evaluate model robustness. Our comprehensive experiments on three benchmark datasets show that our proposed method outperforms the state-of-the-art techniques. The code is available at the anonymous GitHub repository: https://github.com/wutong8023/AAAI_CML. | 翻訳日:2021-04-11 00:17:26 公開日:2021-01-08 |
| # DeepPoison: フィーチャートランスファーベースのステルス中毒攻撃 DeepPoison: Feature Transfer Based Stealthy Poisoning Attack ( http://arxiv.org/abs/2101.02562v2 ) ライセンス: Link先を確認 | Jinyin Chen, Longyuan Zhang, Haibin Zheng, Xueke Wang and Zhaoyan Ming | (参考訳) ディープニューラルネットワークは、特定のトリガーで故意に汚染されたトレーニングデータによる毒殺の影響を受けやすい。
既存のエピソードは主にパッチベースのサンプルによる攻撃成功率に焦点を当てているため、防衛アルゴリズムはこれらの中毒サンプルを容易に検出することができる。
本研究では,1つの生成器と2つの識別器からなる新たな逆ネットワークであるdeeppoisonを提案する。
具体的には、ジェネレータがターゲットクラスの隠れた特徴を自動的に抽出し、良質なトレーニングサンプルに埋め込む。
1つの判別器は、中毒摂動の比率を制御する。
他の識別器は標的モデルとして働き、毒殺効果を証言する。
DeepPoisonの新規性は、生成した有毒なトレーニングサンプルが防御方法と手動の視覚検査の両方によって良質なものと区別できず、良質なテストサンプルでさえ攻撃を達成できる点にある。
大規模な実験により、DeepPoisonは91.74%の最先端の攻撃成功率を達成でき、公開データセットLFWとCASIAの7%しか有毒ではないことが示されている。
さらに、オートデコーダディフェンスやDBSCANクラスタ検出などの高性能な防御アルゴリズムの実験を行い、DeepPoisonのレジリエンスを示した。 Deep neural networks are susceptible to poisoning attacks by purposely polluted training data with specific triggers. As existing episodes mainly focused on attack success rate with patch-based samples, defense algorithms can easily detect these poisoning samples. We propose DeepPoison, a novel adversarial network of one generator and two discriminators, to address this problem. Specifically, the generator automatically extracts the target class' hidden features and embeds them into benign training samples. One discriminator controls the ratio of the poisoning perturbation. The other discriminator works as the target model to testify the poisoning effects. The novelty of DeepPoison lies in that the generated poisoned training samples are indistinguishable from the benign ones by both defensive methods and manual visual inspection, and even benign test samples can achieve the attack. Extensive experiments have shown that DeepPoison can achieve a state-of-the-art attack success rate, as high as 91.74%, with only 7% poisoned samples on publicly available datasets LFW and CASIA. Furthermore, we have experimented with high-performance defense algorithms such as autodecoder defense and DBSCAN cluster detection and showed the resilience of DeepPoison. | 翻訳日:2021-04-11 00:12:13 公開日:2021-01-08 |
| # (参考訳) eth2vec:ethereumスマートコントラクトの脆弱性検出のためのコントラクトワイドコード表現の学習 Eth2Vec: Learning Contract-Wide Code Representations for Vulnerability Detection on Ethereum Smart Contracts ( http://arxiv.org/abs/2101.02377v2 ) ライセンス: CC BY 4.0 | Nami Ashizawa, Naoto Yanai, Jason Paul Cruz, Shingo Okamura | (参考訳) ethereum smart contractsはethereumブロックチェーン上で動作するプログラムであり、過去10年間に多くのスマートコントラクト脆弱性が発見された。
このような脆弱性を検出するために多くのセキュリティ解析ツールが作成されているが、解析対象のコードが書き換えられると、そのパフォーマンスが大幅に低下する。
本稿では,脆弱性検出のための機械学習ベースの静的解析ツールであるEth2Vecを提案する。
脆弱性検出のための既存の機械学習ベースの静的解析ツールは、アナリストが入力として手動で作成する機能を必要とする。
対照的にEth2Vecは、言語処理のためのニューラルネットワークを通じて、暗黙の知識を持つ脆弱なEthereum仮想マシン(EVM)バイトコードの機能を自動的に学習する。
したがって、Eth2Vecは、ターゲットのEVMバイトコードと学習済みのEVMバイトコードのコード類似性を比較することで、スマートコントラクトの脆弱性を検出することができる。
我々はetherscanのような既存のオープンデータベースを用いて実験を行い、その結果、eth2vecは既知のメトリクス、すなわち精度、リコール、f1-scoreの点で、既存の作業よりも優れています。
さらに、Eth2Vecは書き換えコードでも脆弱性を検出することができる。 Ethereum smart contracts are programs that run on the Ethereum blockchain, and many smart contract vulnerabilities have been discovered in the past decade. Many security analysis tools have been created to detect such vulnerabilities, but their performance decreases drastically when codes to be analyzed are being rewritten. In this paper, we propose Eth2Vec, a machine-learning-based static analysis tool for vulnerability detection, with robustness against code rewrites in smart contracts. Existing machine-learning-based static analysis tools for vulnerability detection need features, which analysts create manually, as inputs. In contrast, Eth2Vec automatically learns features of vulnerable Ethereum Virtual Machine (EVM) bytecodes with tacit knowledge through a neural network for language processing. Therefore, Eth2Vec can detect vulnerabilities in smart contracts by comparing the code similarity between target EVM bytecodes and the EVM bytecodes it already learned. We conducted experiments with existing open databases, such as Etherscan, and our results show that Eth2Vec outperforms the existing work in terms of well-known metrics, i.e., precision, recall, and F1-score. Moreover, Eth2Vec can detect vulnerabilities even in rewritten codes. | 翻訳日:2021-04-10 20:53:15 公開日:2021-01-08 |
| # ディープラーニングに基づくレコメンダシステムに対するデータ中毒攻撃 Data Poisoning Attacks to Deep Learning Based Recommender Systems ( http://arxiv.org/abs/2101.02644v2 ) ライセンス: Link先を確認 | Hai Huang, Jiaming Mu, Neil Zhenqiang Gong, Qi Li, Bin Liu, Mingwei Xu | (参考訳) Recommenderシステムは、ユーザーが興味のある情報をAmazon、YouTube、Google Newsなどの様々なウェブサービスで見つけるのを助けるために重要な役割を果たす。
地域ベース,アソシエーションルールベース,マトリックスファクトリゼーションベースからディープラーニングベースまで,さまざまなレコメンデーションシステムが開発され,産業に展開されている。
中でもディープラーニングベースのレコメンデータシステムは,優れたパフォーマンスのために人気が高まっている。
本研究では,深層学習に基づくレコメンダシステムに対するデータ中毒攻撃に関する最初の体系的研究を行う。
攻撃者の目標は、攻撃対象のアイテムが多くのユーザに推奨されるようなレコメンデーションシステムを操作することである。
この目標を達成するために、この攻撃は、注意深い評価を施した偽ユーザーをレコメンダシステムへ注入する。
具体的には,対象アイテムが推奨される正規ユーザ数を最大化するような最適化問題として攻撃を定式化する。
しかし,非凸整数計画問題であるため,最適化問題を解くことは困難である。
この課題に対処するために,最適化問題を概ね解決するための複数の手法を考案する。
実世界の3つのデータセット(小さなデータセットと大きなデータセットを含む)の実験結果は、我々の攻撃が効果的であり、既存の攻撃よりも優れています。
さらに,正規ユーザと偽ユーザのレーティングパターンを統計的に解析し,偽ユーザの検出を試みる。
その結果,検出装置が配備された場合でも,攻撃は有効であり,既存の攻撃よりも優れることがわかった。 Recommender systems play a crucial role in helping users to find their interested information in various web services such as Amazon, YouTube, and Google News. Various recommender systems, ranging from neighborhood-based, association-rule-based, matrix-factorization-based, to deep learning based, have been developed and deployed in industry. Among them, deep learning based recommender systems become increasingly popular due to their superior performance. In this work, we conduct the first systematic study on data poisoning attacks to deep learning based recommender systems. An attacker's goal is to manipulate a recommender system such that the attacker-chosen target items are recommended to many users. To achieve this goal, our attack injects fake users with carefully crafted ratings to a recommender system. Specifically, we formulate our attack as an optimization problem, such that the injected ratings would maximize the number of normal users to whom the target items are recommended. However, it is challenging to solve the optimization problem because it is a non-convex integer programming problem. To address the challenge, we develop multiple techniques to approximately solve the optimization problem. Our experimental results on three real-world datasets, including small and large datasets, show that our attack is effective and outperforms existing attacks. Moreover, we attempt to detect fake users via statistical analysis of the rating patterns of normal and fake users. Our results show that our attack is still effective and outperforms existing attacks even if such a detector is deployed. | 翻訳日:2021-04-10 13:31:25 公開日:2021-01-08 |
| # コンテキスト認識データ拡張とカスケードマスクR-CNNを用いたアセンブリ命令理解のためのオブジェクト検出 Object Detection for Understanding Assembly Instruction Using Context-aware Data Augmentation and Cascade Mask R-CNN ( http://arxiv.org/abs/2101.02509v2 ) ライセンス: Link先を確認 | Joosoon Lee, Seongju Lee, Seunghyeok Back, Sungho Shin, Kyoobin Lee | (参考訳) 組立指導を理解することは、ロボットのタスク計画能力を高め、高度なロボット応用を可能にする可能性がある。
2Dアセンブリ・インストラクション・イメージから鍵成分を認識するため、主に命令に関する情報を多く含む音声バブル領域のセグメンテーションに焦点を当てる。
そこで我々はCascade Mask R-CNNを応用し,組立命令のコンテキストを考慮した画像の切り取りをランダムに組み合わせた,音声バブルセグメンテーションのためのコンテキスト対応データ拡張スキームを開発した。
提案手法は, 学習可能データの多様性を高めつつ, 部品配置の分布を考慮しつつ, 既存の拡張アルゴリズムよりもセグメンテーション性能がよいことを示した。
また,深層学習は,ツールや部品など,アセンブリ命令の必須オブジェクトを検出することで,アセンブリ命令を理解するのに有用であることを示した。 Understanding assembly instruction has the potential to enhance the robot s task planning ability and enables advanced robotic applications. To recognize the key components from the 2D assembly instruction image, We mainly focus on segmenting the speech bubble area, which contains lots of information about instructions. For this, We applied Cascade Mask R-CNN and developed a context-aware data augmentation scheme for speech bubble segmentation, which randomly combines images cuts by considering the context of assembly instructions. We showed that the proposed augmentation scheme achieves a better segmentation performance compared to the existing augmentation algorithm by increasing the diversity of trainable data while considering the distribution of components locations. Also, we showed that deep learning can be useful to understand assembly instruction by detecting the essential objects in the assembly instruction, such as tools and parts. | 翻訳日:2021-04-10 13:30:17 公開日:2021-01-08 |
| # 実用用トンネルボーリング機の知的操作者に対する意思決定支援システム Decision Support System for an Intelligent Operator of Utility Tunnel Boring Machines ( http://arxiv.org/abs/2101.02463v2 ) ライセンス: Link先を確認 | Gabriel Rodriguez Garcia, Gabriel Michau, Herbert H. Einstein and Olga Fink | (参考訳) トンネル建設プロジェクトでは、遅延は高いコストを引き起こす。
このように、トンネル掘削機(TBM)オペレーターは、安全上の妥協なしに高速な前進率を目指しており、不確実な地上環境では困難な任務である。
TBMセンサーの測定に基づく最適制御パラメータの発見は、大きな実践的関連性を持つオープンな研究課題である。
本稿では,3段階の知的意思決定支援システムを提案する。
第1にプロジェクトのパフォーマンスを最適性スコアで評価し、先行率と作業圧安全性を考慮に入れた。
そして、深層学習モデルは、TBM測定値と最適度スコアとのマッピングを学習する。
最後に、このモデルは、TBMの現在の設定と測定を考慮して、最適性を改善するための漸進的なレコメンデーションを提供する。
提案手法は, 実際のマイクロツンネリングプロジェクトで評価され, 将来のプロジェクトへの大きな期待を示す。 In tunnel construction projects, delays induce high costs. Thus, tunnel boring machines (TBM) operators aim for fast advance rates, without safety compromise, a difficult mission in uncertain ground environments. Finding the optimal control parameters based on the TBM sensors' measurements remains an open research question with large practical relevance. In this paper, we propose an intelligent decision support system developed in three steps. First past projects performances are evaluated with an optimality score, taking into account the advance rate and the working pressure safety. Then, a deep learning model learns the mapping between the TBM measurements and this optimality score. Last, in real application, the model provides incremental recommendations to improve the optimality, taking into account the current setting and measurements of the TBM. The proposed approach is evaluated on real micro-tunnelling project and demonstrates great promises for future projects. | 翻訳日:2021-04-10 13:24:47 公開日:2021-01-08 |
| # (参考訳) 単一画像超解像 Single Image Super-Resolution ( http://arxiv.org/abs/2101.02802v1 ) ライセンス: CC BY 4.0 | Baran Ataman, Mert Seker and David Mckee | (参考訳) 本研究は, 単一画像超解像問題の時系列的概要を示す。
最初に問題を徹底的に定義し、深刻な課題をいくつか挙げる。
そして、問題定式化とパフォーマンス指標を定義します。
提案手法の概要は, 再構築に基づくソリューションに依存し, 深層学習のアプローチを継続する。
3つのランドマークアーキテクチャを選択し,その結果を定量的に提示する。
提案した最新のネットワークは,従来の手法と比較して良好な出力が得られる。 This study presents a chronological overview of the single image super-resolution problem. We first define the problem thoroughly and mention some of the serious challenges. Then the problem formulation and the performance metrics are defined. We give an overview of the previous methods relying on reconstruction based solutions and then continue with the deep learning approaches. We pick 3 landmark architectures and present their results quantitatively. We see that the latest proposed network gives favorable output compared to the previous methods. | 翻訳日:2021-04-10 12:28:43 公開日:2021-01-08 |
| # (参考訳) カードゲームにおける進化プログラム合成の解析 Analysis of Evolutionary Program Synthesis for Card Games ( http://arxiv.org/abs/2101.03172v1 ) ライセンス: CC BY 4.0 | Rohan Saha, Cassidy Pirlot | (参考訳) 本報告では,意思決定の概念を中心に展開するカードゲームであるrack'oゲームに対する進化的アプローチの適用について検討する。
まず、数世代にわたって一連のルールを取得するための進化的手法を適用し、それを人間のプレイヤーが書いたスクリプトと比較する。
ルールの集合が合成されるdeter-minesをハイレベルなドメイン固有言語が使用される。
我々は,ルールセットとその意味を包括的に分析して結果を報告する。 In this report, we inspect the application of an evolutionary approach to the game of Rack'O, which is a card game revolving around the notion of decision making. We first apply the evolutionary technique for obtaining a set of rules over many generations and then compare them with a script written by a human player. A high-level domain-specific language is used that deter-mines which the sets of rules are synthesized. We report the results by providing a comprehensive analysis of the set of rules and their implications. | 翻訳日:2021-04-10 12:22:14 公開日:2021-01-08 |
| # (参考訳) リアルロボットチャレンジのためのデクサラスマニピュレーションのためのグラフと運動計画 Grasp and Motion Planning for Dexterous Manipulation for the Real Robot Challenge ( http://arxiv.org/abs/2101.02842v1 ) ライセンス: CC BY 4.0 | Takuma Yoneda, Charles Schaff, Takahiro Maeda, Matthew Walter | (参考訳) 本報告では、real robot challenge(https://real-robot-challenge.com/)の優勝作品について述べる。
リアル・ロボット・チャレンジ(Real Robot Challenge)は、TriFinger Platformで様々な長方形の物体を操作する3段階の巧妙な操作競技である。
我々のアプローチは、物体を操作するための動き計画といくつかの動きプリミティブを組み合わせる。
フェーズ1とフェーズ2では、コントローラの上に補正アクションを適用するシミュレーションで残留ポリシーも学習します。
私たちのアプローチは、コンテストの第2フェーズと第3フェーズで優勝しました。
競争リーダーボード(https://real-robot-challenge.com/leader-board)では、匿名で'ardentstork'として知られていた。
ビデオとわれわれのコードはhttps://github.com/ripl-ttic/real-robot-challengeで見ることができる。 This report describes our winning submission to the Real Robot Challenge (https://real-robot-challenge.com/). The Real Robot Challenge is a three-phase dexterous manipulation competition that involves manipulating various rectangular objects with the TriFinger Platform. Our approach combines motion planning with several motion primitives to manipulate the object. For Phases 1 and 2, we additionally learn a residual policy in simulation that applies corrective actions on top of our controller. Our approach won first place in Phase 2 and Phase 3 of the competition. We were anonymously known as `ardentstork' on the competition leaderboard (https://real-robot-challenge.com/leader-board). Videos and our code can be found at https://github.com/ripl-ttic/real-robot-challenge. | 翻訳日:2021-04-10 12:01:02 公開日:2021-01-08 |
| # (参考訳) ピクセルワイズ予測のための条件付きカーネルを用いた確率的グラフアテンションネットワーク Probabilistic Graph Attention Network with Conditional Kernels for Pixel-Wise Prediction ( http://arxiv.org/abs/2101.02843v1 ) ライセンス: CC BY 4.0 | Dan Xu, Xavier Alameda-Pineda, Wanli Ouyang, Elisa Ricci, Xiaogang Wang, Nicu Sebe | (参考訳) 畳み込みニューラルネットワークによって深く学習されたマルチスケール表現は、様々なピクセルレベルの予測問題において極めて重要である。
本稿では,画素レベルの予測を基本的側面,すなわち,技術の現状を推し進める新しいアプローチを提案する。
構造化されたマルチスケール特徴の学習と融合。
主cnnアーキテクチャの内部層から得られた多元的特徴マップを直接考慮し、重み付き平均化や連結化で特徴を単純に融合する従来の研究とは対照的に、多元的表現を原則的に学習・活用するための新しい注意調整条件付確率場(ag-crfs)モデルに基づく確率的グラフ注意ネットワーク構造を提案する。
本稿では,ネットワーク構造の学習能力をさらに向上させるために,深い確率的枠組み内での条件付きカーネルの活用を提案する。
利用可能な4つのデータセット(すなわち、公開データセット)で広範な実験が行われている。
BSDS500、NYUD-V2、KITTI、Pascal-Context)、および離散ラベルと連続ラベルの両方を含む3つのピクセルワイド予測問題。
単眼深度推定、物体輪郭予測、意味的セグメンテーション)。
定量的および定性的な結果から,提案した潜伏型AG-CRFモデルと,特徴条件付きカーネルを用いた全体の確率的グラフアテンションネットワークの有効性を示す。 Multi-scale representations deeply learned via convolutional neural networks have shown tremendous importance for various pixel-level prediction problems. In this paper we present a novel approach that advances the state of the art on pixel-level prediction in a fundamental aspect, i.e. structured multi-scale features learning and fusion. In contrast to previous works directly considering multi-scale feature maps obtained from the inner layers of a primary CNN architecture, and simply fusing the features with weighted averaging or concatenation, we propose a probabilistic graph attention network structure based on a novel Attention-Gated Conditional Random Fields (AG-CRFs) model for learning and fusing multi-scale representations in a principled manner. In order to further improve the learning capacity of the network structure, we propose to exploit feature dependant conditional kernels within the deep probabilistic framework. Extensive experiments are conducted on four publicly available datasets (i.e. BSDS500, NYUD-V2, KITTI, and Pascal-Context) and on three challenging pixel-wise prediction problems involving both discrete and continuous labels (i.e. monocular depth estimation, object contour prediction, and semantic segmentation). Quantitative and qualitative results demonstrate the effectiveness of the proposed latent AG-CRF model and the overall probabilistic graph attention network with feature conditional kernels for structured feature learning and pixel-wise prediction. | 翻訳日:2021-04-10 11:54:59 公開日:2021-01-08 |
| # (参考訳) 動的グラフ協調フィルタリング Dynamic Graph Collaborative Filtering ( http://arxiv.org/abs/2101.02844v1 ) ライセンス: CC BY 4.0 | Xiaohan Li, Mengqi Zhang, Shu Wu, Zheng Liu, Liang Wang, Philip S. Yu | (参考訳) 逐次データに基づくリアルタイム予測を提供するために,最新のレコメンデータシステムでは動的レコメンデーションが不可欠である。
現実のシナリオでは、アイテムの人気とユーザの興味は時間とともに変化する。
この仮定に基づいて、以前の多くの作業はインタラクションシーケンスに焦点を当て、ユーザとアイテムの進化的な埋め込みを学ぶ。
しかし、シーケンスベースモデルでは、ユーザとアイテム間の協調的な情報を直接キャプチャできないと論じている。
本稿では,動的グラフを活用した新しいフレームワークである動的グラフ協調フィルタリング(dgcf)を提案する。
我々は,新しいインタラクションが発生した場合のユーザやアイテムへの影響を表現するために,ゼロオーダーの'継承',一階の'伝播',二階の'集約'という3つの更新メカニズムを提案する。
これらに基づいて,インタラクションが発生すると,関連するユーザとアイテムの埋め込みを同時に更新し,最新の埋め込みを使用してレコメンデーションを行う。
3つの公開データセットで実施された大規模な実験は、DGCFが最先端のダイナミックレコメンデーション手法を最大30.5%で大幅に上回っていることを示している。
提案手法は, 動的協調情報の統合の有効性を示すため, 動作繰り返しの少ないデータセットでは高い性能を実現する。 Dynamic recommendation is essential for modern recommender systems to provide real-time predictions based on sequential data. In real-world scenarios, the popularity of items and interests of users change over time. Based on this assumption, many previous works focus on interaction sequences and learn evolutionary embeddings of users and items. However, we argue that sequence-based models are not able to capture collaborative information among users and items directly. Here we propose Dynamic Graph Collaborative Filtering (DGCF), a novel framework leveraging dynamic graphs to capture collaborative and sequential relations of both items and users at the same time. We propose three update mechanisms: zero-order 'inheritance', first-order 'propagation', and second-order 'aggregation', to represent the impact on a user or item when a new interaction occurs. Based on them, we update related user and item embeddings simultaneously when interactions occur in turn, and then use the latest embeddings to make recommendations. Extensive experiments conducted on three public datasets show that DGCF significantly outperforms the state-of-the-art dynamic recommendation methods up to 30. Our approach achieves higher performance when the dataset contains less action repetition, indicating the effectiveness of integrating dynamic collaborative information. | 翻訳日:2021-04-10 11:09:18 公開日:2021-01-08 |
| # (参考訳) adiag:アルツハイマー病の診断に基づくグラフニューラルネットワーク ADiag: Graph Neural Network Based Diagnosis of Alzheimer's Disease ( http://arxiv.org/abs/2101.02870v1 ) ライセンス: CC BY 4.0 | Vishnu Ram Sampathkumar | (参考訳) アルツハイマー病(ad、英: alzheimer's disease)は、世界中で5000万人以上の脳変性疾患である。
進行は止められないが、早期かつ正確な診断検査は患者の生活の質を大幅に改善することができる。
現在、定性的なテスト手段のみが、認知テストのバッテリでパフォーマンスをスコアリングする形で採用されている。
この方法の固有の欠点は、正確な診断の負担が臨床医の能力にかかっていることである。
MRIスキャンアセスメントのような定量的手法は、脳の視覚的に観察可能な変化の解明の性質によって、良くない。
既存のad診断方法の欠点に代えて,グラフサージネットワークによるad診断のための新しい定量的手法であるadiagと,大脳皮質の異なる構造領域間の厚さ差に基づく大規模グラフのddp解析を開発した。
ADiagの予備試験では、83%の堅牢な精度が示され、他の定性的および定量的診断技術よりも大幅に優れていた。 Alzheimer's Disease (AD) is the most widespread neurodegenerative disease, affecting over 50 million people across the world. While its progression cannot be stopped, early and accurate diagnostic testing can drastically improve quality of life in patients. Currently, only qualitative means of testing are employed in the form of scoring performance on a battery of cognitive tests. The inherent disadvantage of this method is that the burden of an accurate diagnosis falls on the clinician's competence. Quantitative methods like MRI scan assessment are inaccurate at best,due to the elusive nature of visually observable changes in the brain. In lieu of these disadvantages to extant methods of AD diagnosis, we have developed ADiag, a novel quantitative method to diagnose AD through GraphSAGE Network and Dense Differentiable Pooling (DDP) analysis of large graphs based on thickness difference between different structural regions of the cortex. Preliminary tests of ADiag have revealed a robust accuracy of 83%, vastly outperforming other qualitative and quantitative diagnostic techniques. | 翻訳日:2021-04-10 10:51:48 公開日:2021-01-08 |
| # (参考訳) WordNet知識グラフを用いた新しい単語センス曖昧化手法 A Novel Word Sense Disambiguation Approach Using WordNet Knowledge Graph ( http://arxiv.org/abs/2101.02875v1 ) ライセンス: CC BY 4.0 | Mohannad AlMousa, Rachid Benlamri, Richard Khoury | (参考訳) 計算言語学や人工知能の様々な応用は、情報検索、機械翻訳、質問応答、文書クラスタリングといった難題を解決するために、高性能な単語感覚の曖昧さのテクニックに依存している。
テキスト理解は人間にとって直感的だが、機械は人間の自然言語を処理し解釈する上で大きな困難に直面している。
本稿では,文脈類似度行列乗算(SCSMM)という,知識に基づく単語感覚曖昧化アルゴリズムを提案する。
SCSMMアルゴリズムは、意味的類似性、ヒューリスティックな知識、文書コンテキストを組み合わせて、連続した用語、用語に関する人間の知識、曖昧な用語における文書の主要なトピック間の局所的な文脈の利点をそれぞれ活用する。
他のアルゴリズムとは異なり、SCSMMアルゴリズムは文内の語順を維持しながら、最大文コンテキストのキャプチャを保証する。
提案アルゴリズムは, 金の標準データセット上で名詞を曖昧にする場合の他のアルゴリズムを上回り, それぞれのデータセットを別々に扱う場合の現在最先端の単語感覚曖昧化システムと同等の結果を示す。
さらに,提案アルゴリズムの性能に及ぼす粒度レベル,あいまいさ率,文サイズ,音声分布の影響について検討した。 Various applications in computational linguistics and artificial intelligence rely on high-performing word sense disambiguation techniques to solve challenging tasks such as information retrieval, machine translation, question answering, and document clustering. While text comprehension is intuitive for humans, machines face tremendous challenges in processing and interpreting a human's natural language. This paper presents a novel knowledge-based word sense disambiguation algorithm, namely Sequential Contextual Similarity Matrix Multiplication (SCSMM). The SCSMM algorithm combines semantic similarity, heuristic knowledge, and document context to respectively exploit the merits of local context between consecutive terms, human knowledge about terms, and a document's main topic in disambiguating terms. Unlike other algorithms, the SCSMM algorithm guarantees the capture of the maximum sentence context while maintaining the terms' order within the sentence. The proposed algorithm outperformed all other algorithms when disambiguating nouns on the combined gold standard datasets, while demonstrating comparable results to current state-of-the-art word sense disambiguation systems when dealing with each dataset separately. Furthermore, the paper discusses the impact of granularity level, ambiguity rate, sentence size, and part of speech distribution on the performance of the proposed algorithm. | 翻訳日:2021-04-10 10:45:20 公開日:2021-01-08 |
| # (参考訳) MRIデータを用いた深部畳み込みニューラルネットワークによるアルツハイマー病の分類 Deep Convolutional Neural Network based Classification of Alzheimer's Disease using MRI data ( http://arxiv.org/abs/2101.02876v1 ) ライセンス: CC BY 4.0 | Ali Nawaz, Syed Muhammad Anwar, Rehan Liaqat, Javid Iqbal, Ulas Bagci, Muhammad Majid | (参考訳) アルツハイマー病(英語: Alzheimer's disease、AD)は、脳の細胞を破壊し、患者の記憶を喪失する進行性で未発生の神経変性疾患である。
早期検出は、患者が脳細胞のさらなる損傷を防止し、したがって恒久的な記憶喪失を回避する。
近年,ADの診断に様々な自動診断ツールや技術が提案されている。
いくつかの方法は、患者のメンタルヘルスの損失を最小限に抑えるために、病気の迅速、正確、早期発見に焦点を当てている。
機械学習と深層学習技術は、人間のレベルに近い診断性能を提供することで、ADのための医療画像システムを大幅に改善した。
しかし、多クラス分類で直面する主な問題は、脳構造に非常に相関した特徴の存在である。
本稿では,不均衡な3次元MRIデータセットを用いた2次元深部畳み込みニューラルネットワーク(2D-DCNN)によるADの診断手法を提案する。
アルツハイマー病ニューロイメージングイニシアチブ磁気共鳴画像(MRI)データセットの実験結果から、提案した2D-DCNNモデルが精度、効率、堅牢性において優れていることが確認された。
このモデルはMRIをAD、軽度認知障害、正常制御の3つのカテゴリに分類し、99.89%の分類精度を不均衡クラスで達成した。
提案モデルでは,最先端手法と比較して精度が著しく向上した。 Alzheimer's disease (AD) is a progressive and incurable neurodegenerative disease which destroys brain cells and causes loss to patient's memory. An early detection can prevent the patient from further damage of the brain cells and hence avoid permanent memory loss. In past few years, various automatic tools and techniques have been proposed for diagnosis of AD. Several methods focus on fast, accurate and early detection of the disease to minimize the loss to patients mental health. Although machine learning and deep learning techniques have significantly improved medical imaging systems for AD by providing diagnostic performance close to human level. But the main problem faced during multi-class classification is the presence of highly correlated features in the brain structure. In this paper, we have proposed a smart and accurate way of diagnosing AD based on a two-dimensional deep convolutional neural network (2D-DCNN) using imbalanced three-dimensional MRI dataset. Experimental results on Alzheimer Disease Neuroimaging Initiative magnetic resonance imaging (MRI) dataset confirms that the proposed 2D-DCNN model is superior in terms of accuracy, efficiency, and robustness. The model classifies MRI into three categories: AD, mild cognitive impairment, and normal control: and has achieved 99.89% classification accuracy with imbalanced classes. The proposed model exhibits noticeable improvement in accuracy as compared to the state-fo-the-art methods. | 翻訳日:2021-04-10 09:40:00 公開日:2021-01-08 |
| # (参考訳) HIVE-Net: EM画像におけるミトコンドリアセグメンテーションのための中心線対応階層的ビュー・アンサンブル畳み込みネットワーク HIVE-Net: Centerline-Aware HIerarchical View-Ensemble Convolutional Network for Mitochondria Segmentation in EM Images ( http://arxiv.org/abs/2101.02877v1 ) ライセンス: CC BY 4.0 | Zhimin Yuan, Xiaofen Ma, Jiajin Yi, Zhengrong Luo, Jialin Peng | (参考訳) 電子顕微鏡(EM)のセマンティックセグメンテーションは、信頼性のある形態統計を効率的に得るための重要なステップである。
深層畳み込みニューラルネットワーク(cnns)を用いた大きな成功にもかかわらず、ミトコンドリアのセグメンテーションには多くの不連続と偽陽性を伴う粗いセグメンテーションが生み出されている。
本研究では,中心線をミトコンドリアの内在的な形状のキューとして利用してセグメンテーションを規則化する,中心線対応マルチタスクネットワークを提案する。
大規模な医療機器への3D CNNの適用は通常,その計算コストと記憶オーバーヘッドによって妨げられているため,より効率的な2次元畳み込みを用いて3次元空間コンテキストを学習するための3次元畳み込みの簡単な代替案である,新しい階層型ビューアンサンブル畳み込み(HVEC)を導入する。
HVECでは、マルチビュー情報の分解と共有が可能であるため、学習能力が向上する。
提案手法は, 精度と視覚的品質において, モデルサイズを大幅に削減しながら, 最先端の手法に対して良好な性能を示すことを示す。
さらに,本モデルでは,特にトレーニングデータ量が極めて少ない場合において,一般化能力が著しく向上することを示す。 Semantic segmentation of electron microscopy (EM) is an essential step to efficiently obtain reliable morphological statistics. Despite the great success achieved using deep convolutional neural networks (CNNs), they still produce coarse segmentations with lots of discontinuities and false positives for mitochondria segmentation. In this study, we introduce a centerline-aware multitask network by utilizing centerline as an intrinsic shape cue of mitochondria to regularize the segmentation. Since the application of 3D CNNs on large medical volumes is usually hindered by their substantial computational cost and storage overhead, we introduce a novel hierarchical view-ensemble convolution (HVEC), a simple alternative of 3D convolution to learn 3D spatial contexts using more efficient 2D convolutions. The HVEC enables both decomposing and sharing multi-view information, leading to increased learning capacity. Extensive validation results on two challenging benchmarks show that, the proposed method performs favorably against the state-of-the-art methods in accuracy and visual quality but with a greatly reduced model size. Moreover, the proposed model also shows significantly improved generalization ability, especially when training with quite limited amount of training data. | 翻訳日:2021-04-10 09:28:43 公開日:2021-01-08 |
| # (参考訳) 情報理論による解釈の進歩的枠組み An Information-theoretic Progressive Framework for Interpretation ( http://arxiv.org/abs/2101.02879v1 ) ライセンス: CC BY 4.0 | Zhengqi He, Taro Toyoizumi | (参考訳) 脳科学と深層学習コミュニティの両方が、神経活動の解釈に問題を抱えている。
深層学習では、すべてのニューロンの活動データにアクセスできるが、深層ネットワークがどのようにタスクを解決するかの解釈は依然として困難である。
ディープネットワークの解釈に多くの努力が注がれているが、解釈が何であるかについては、まだ合意が得られていない。
本稿では,この方向への議論を推し進め,解釈を合成するための情報理論の進歩的枠組みを提案する。
まず、解釈はメタ情報である;解釈は正しいレベルにあるべきである;独立を誘導することは解釈に役立つ;解釈は自然に進行する;解釈は人間を巻き込む必要がない。
次に,情報マップ分割アイデアを用いたフレームワークを構築し,変動型情報ボトルネック手法を用いて実装する。
その後、私たちはCLEVRデータセットでフレームワークをテストします。
このフレームワークは情報マップを分割し、メタ情報形式で解釈を合成できることが示されている。 Both brain science and the deep learning communities have the problem of interpreting neural activity. For deep learning, even though we can access all neurons' activity data, interpretation of how the deep network solves the task is still challenging. Although a large amount of effort has been devoted to interpreting a deep network, there is still no consensus of what interpretation is. This paper tries to push the discussion in this direction and proposes an information-theoretic progressive framework to synthesize interpretation. Firstly, we discuss intuitions of interpretation: interpretation is meta-information; interpretation should be at the right level; inducing independence is helpful to interpretation; interpretation is naturally progressive; interpretation doesn't have to involve a human. Then, we build the framework with an information map splitting idea and implement it with the variational information bottleneck technique. After that, we test the framework with the CLEVR dataset. The framework is shown to be able to split information maps and synthesize interpretation in the form of meta-information. | 翻訳日:2021-04-10 08:58:28 公開日:2021-01-08 |
| # (参考訳) シークエンシャルナイーブ学習 Sequential Naive Learning ( http://arxiv.org/abs/2101.02897v1 ) ライセンス: CC BY 4.0 | Itai Arieli, Yakov Babichenko, Manuel Mueller-Frank | (参考訳) 連立動作と連立状態を持つモデルにおける集合統計量から有理的に有理な更新を解析する。
エージェントはそれぞれ、順序づけられていない前のアクションのセットを観察した後、シーケンスで不可逆アクションを取る。
各エージェントは、まずアグリゲートの統計に基づいて先行し、次に彼女の信号をベイズ規則に基づく先行と結合し、最終的に(混合)アクションを各信念に割り当てる決定規則を適用する。
事前が離散化されたDeGroot則に従って形成される場合、決定規則が確率マッチングを満たす場合に限り、任意の情報構造において状態(確率における)に作用が収束する。
この結果は、エージェント間で情報構造が異なる不特定情報設定に一般化され、エージェントは自身の信号を生成する情報構造のみを知る。
また、主な結果は$n$ stateと$n$ actionの場合に拡張される。 We analyze boundedly rational updating from aggregate statistics in a model with binary actions and binary states. Agents each take an irreversible action in sequence after observing the unordered set of previous actions. Each agent first forms her prior based on the aggregate statistic, then incorporates her signal with the prior based on Bayes rule, and finally applies a decision rule that assigns a (mixed) action to each belief. If priors are formed according to a discretized DeGroot rule, then actions converge to the state (in probability), i.e., \emph{asymptotic learning}, in any informative information structure if and only if the decision rule satisfies probability matching. This result generalizes to unspecified information settings where information structures differ across agents and agents know only the information structure generating their own signal. Also, the main result extends to the case of $n$ states and $n$ actions. | 翻訳日:2021-04-10 08:34:30 公開日:2021-01-08 |
| # (参考訳) 単語埋め込み変数がアラビア語感情分析性能に及ぼす影響 Effect of Word Embedding Variable Parameters on Arabic Sentiment Analysis Performance ( http://arxiv.org/abs/2101.02906v1 ) ライセンス: CC BY 4.0 | Anwar Alnawas and Nursal ARICI | (参考訳) Twitter、Facebookなどのソーシャルメディア。
ユーザーからの意見を含むコメントが増えています
感性分析研究はこれらのコメントを扱い、肯定的あるいは否定的な意見を取り出す。
アラビア語は豊富な形態素言語であり、英語の感情分析の古典的な技法はアラビア語には使用できない。
単語埋め込み技術は、アラビア語の形態的問題を埋め合わせる方法の1つと考えることができる。
単語埋め込みに基づくアラビア語の感情分析には多くの研究がなされているが、変数パラメータに着目した研究はない。
本研究は,DBOWとDMPVアーキテクチャを用いたアラビア感情分析のための3つのパラメータ(Window size, Dimension of vector, Negative Sample)について考察する。
単語表現を学習し特徴を抽出するために生成された、前の作品の大きなコーパス。
4つのバイナリ分類器(ロジスティック回帰、決定木、サポートベクターマシン、ナイーブベイズ)は感情を検出するために使用される。
精度,リコール,F1スコアに基づく分類器の性能評価を行った。 Social media such as Twitter, Facebook, etc. has led to a generated growing number of comments that contains users opinions. Sentiment analysis research deals with these comments to extract opinions which are positive or negative. Arabic language is a rich morphological language; thus, classical techniques of English sentiment analysis cannot be used for Arabic. Word embedding technique can be considered as one of successful methods to gaping the morphological problem of Arabic. Many works have been done for Arabic sentiment analysis based on word embedding, but there is no study focused on variable parameters. This study will discuss three parameters (Window size, Dimension of vector and Negative Sample) for Arabic sentiment analysis using DBOW and DMPV architectures. A large corpus of previous works generated to learn word representations and extract features. Four binary classifiers (Logistic Regression, Decision Tree, Support Vector Machine and Naive Bayes) are used to detect sentiment. The performance of classifiers evaluated based on; Precision, Recall and F1-score. | 翻訳日:2021-04-10 08:33:28 公開日:2021-01-08 |
| # (参考訳) ベイズ法によるブロック項テンソル分解モデルの選択と計算 A Bayesian Approach to Block-Term Tensor Decomposition Model Selection and Computation ( http://arxiv.org/abs/2101.02931v1 ) ライセンス: CC BY 4.0 | Paris V. Giampouras, Athanasios A. Rontogiannis, Eleftherios Kofidis | (参考訳) いわゆるブロック項分解(BTD)テンソルモデル,特にそのランク(L_r,L_r,1)$バージョンでは,多種多様なアプリケーションで発生する1以上のランクの「emph{blocks}」で構成されるシステムや信号の表現能力の向上により,近年注目を集めている。
したがって、その特異性と近似は徹底的に研究されている。
それでも、BTDモデル構造、すなわちブロック項の数と個々のランクを推定する難しい問題は、最近になって大きな注目を集め始めたばかりである。
本研究では,非無視エネルギーの因子列の個数として階数を推定し,その階数-(l_r,l_r,1)$ btdモデルの選択と計算にベイズ的アプローチを適用した。
確率モデルにおける変分推論を用いることで、クローズドフォーム更新を含む反復アルゴリズムが得られる。
そのベイズの性質は、ハイパーパラメータチューニングのユビキタスな正規化ベースのメソッドタスクを完全に避けている。
合成データを用いたシミュレーション結果を報告し, ランク推定とモデルフィッティングの両面から提案手法の有効性を実証した。 The so-called block-term decomposition (BTD) tensor model, especially in its rank-$(L_r,L_r,1)$ version, has been recently receiving increasing attention due to its enhanced ability of representing systems and signals that are composed of \emph{blocks} of rank higher than one, a scenario encountered in numerous and diverse applications. Its uniqueness and approximation have thus been thoroughly studied. Nevertheless, the challenging problem of estimating the BTD model structure, namely the number of block terms and their individual ranks, has only recently started to attract significant attention. In this work, a Bayesian approach is taken to addressing the problem of rank-$(L_r,L_r,1)$ BTD model selection and computation, based on the idea of imposing column sparsity \emph{jointly} on the factors and in a \emph{hierarchical} manner and estimating the ranks as the numbers of factor columns of non-negligible energy. Using variational inference in the proposed probabilistic model results in an iterative algorithm that comprises closed-form updates. Its Bayesian nature completely avoids the ubiquitous in regularization-based methods task of hyper-parameter tuning. Simulation results with synthetic data are reported, which demonstrate the effectiveness of the proposed scheme in terms of both rank estimation and model fitting. | 翻訳日:2021-04-10 08:29:18 公開日:2021-01-08 |
| # (参考訳) ブラックボックスからホワイトボックス:異なる条件下での信頼度校正の検討 From Black-box to White-box: Examining Confidence Calibration under different Conditions ( http://arxiv.org/abs/2101.02971v1 ) ライセンス: CC BY 4.0 | Franziska Schwaiger, Maximilian Henne, Fabian K\"uppers, Felippe Schmoeller Roza, Karsten Roscher, Anselm Haselhoff | (参考訳) 信頼性校正は、安全クリティカルな応用にニューラルネットワークを適用する際の大きな関心事である。
この領域のほとんどの研究は過去に分類に焦点を合わせてきたため、物体検出範囲における信頼性校正が注目されているのは近年である。
過去の研究に基づいて,画像位置とボックススケールに対する物体検出モデルの誤校正について検討した。
我々の主な貢献は、キャリブレーションに対する非最大抑制のようなボックス選択方法の影響を更に考慮することである。
物体検出モデルの既定固有キャリブレーションとこれらの後処理手法の影響について検討する。
この目的のために,非最大抑制によるブラックボックス校正と生のネットワーク出力によるホワイトボックス校正を区別する。
実験の結果, ポストプロセッシングが信頼度校正に大きく影響することが明らかとなった。
非最大抑制は、当初十分に調整された予測を劣化させる可能性があり、過剰な信頼感と誤った調整モデルに繋がる。 Confidence calibration is a major concern when applying artificial neural networks in safety-critical applications. Since most research in this area has focused on classification in the past, confidence calibration in the scope of object detection has gained more attention only recently. Based on previous work, we study the miscalibration of object detection models with respect to image location and box scale. Our main contribution is to additionally consider the impact of box selection methods like non-maximum suppression to calibration. We investigate the default intrinsic calibration of object detection models and how it is affected by these post-processing techniques. For this purpose, we distinguish between black-box calibration with non-maximum suppression and white-box calibration with raw network outputs. Our experiments reveal that post-processing highly affects confidence calibration. We show that non-maximum suppression has the potential to degrade initially well-calibrated predictions, leading to overconfident and thus miscalibrated models. | 翻訳日:2021-04-10 08:14:05 公開日:2021-01-08 |
| # (参考訳) 深部ニューラルネット設計のためのターンパイクについて:詳細深さ境界 On the Turnpike to Design of Deep Neural Nets: Explicit Depth Bounds ( http://arxiv.org/abs/2101.03000v1 ) ライセンス: CC0 1.0 | Timm Faulwasser and Arne-Jens Hempel and Stefan Streif | (参考訳) ディープニューラルネットワーク(DNN)のトレーニングが最適制御言語で形式化できることはよく知られている。
本稿では,DNNにおいて何層を考慮すべきかという問題に対して,最適制御問題の古典的なターンパイク特性を活用して,定量解を試行する。
基礎となる前提は、層毎のニューロン数(つまりDNNの幅)が一定であるということである。
シグモダル関数の近似特性の古典的解析とは異なる経路から、漸近的到達可能性仮定とトレーニング問題における正規化項の選択によるDNNの必要深さの明示的境界を証明した。
分類のための2つのスパイラルタスクデータセットから得られた数値結果は,提案した推定値が非保守的な深さ境界を提供できることを示している。 It is well-known that the training of Deep Neural Networks (DNN) can be formalized in the language of optimal control. In this context, this paper leverages classical turnpike properties of optimal control problems to attempt a quantifiable answer to the question of how many layers should be considered in a DNN. The underlying assumption is that the number of neurons per layer -- i.e., the width of the DNN -- is kept constant. Pursuing a different route than the classical analysis of approximation properties of sigmoidal functions, we prove explicit bounds on the required depths of DNNs based on asymptotic reachability assumptions and a dissipativity-inducing choice of the regularization terms in the training problem. Numerical results obtained for the two spiral task data set for classification indicate that the proposed estimates can provide non-conservative depth bounds. | 翻訳日:2021-04-10 08:02:30 公開日:2021-01-08 |
| # (参考訳) Hessianスコアと三角移動を用いた非ガウス的グラフィカルモデル学習 Learning non-Gaussian graphical models via Hessian scores and triangular transport ( http://arxiv.org/abs/2101.03093v1 ) ライセンス: CC BY 4.0 | Ricardo Baptista, Youssef Marzouk, Rebecca E. Morrison, Olivier Zahm | (参考訳) 非指向確率的グラフィカルモデルは、確率変数の集合の条件依存、すなわちマルコフ特性を表す。
このようなグラフィカルモデルの空間性を知ることは多変量分布のモデル化や推論の効率化に有用である。
データからグラフ構造を学習する問題は、あるパラメトリックな分布の族に対して広く研究されているが、既存のほとんどの手法は、非ガウス的データのグラフ構造を一貫して回復することができない。
本稿では,連続分布と非ガウス分布のマルコフ構造を学習するアルゴリズムを提案する。
条件付き独立性を特徴付けるために,ジョイントログ密度からの統合ヘッシアン情報に基づくスコアを導入し,このスコアが一般分布の条件付き相互情報の上界であることを証明した。
スコアを計算するために,三角トランスポートマップによって誘導される決定論的カップリングを用いて密度を推定し,グラフのスパース性を明らかにするために地図内のスパース構造を反復的に活用する。
ある非ガウシアンデータセットでは、密度に偏りのある近似値であっても、アルゴリズムがグラフ構造を復元することを示す。
例として,局所的な相互作用を伴うカオス力学系の状態間の依存関係をSingを用いて学習する。 Undirected probabilistic graphical models represent the conditional dependencies, or Markov properties, of a collection of random variables. Knowing the sparsity of such a graphical model is valuable for modeling multivariate distributions and for efficiently performing inference. While the problem of learning graph structure from data has been studied extensively for certain parametric families of distributions, most existing methods fail to consistently recover the graph structure for non-Gaussian data. Here we propose an algorithm for learning the Markov structure of continuous and non-Gaussian distributions. To characterize conditional independence, we introduce a score based on integrated Hessian information from the joint log-density, and we prove that this score upper bounds the conditional mutual information for a general class of distributions. To compute the score, our algorithm SING estimates the density using a deterministic coupling, induced by a triangular transport map, and iteratively exploits sparse structure in the map to reveal sparsity in the graph. For certain non-Gaussian datasets, we show that our algorithm recovers the graph structure even with a biased approximation to the density. Among other examples, we apply sing to learn the dependencies between the states of a chaotic dynamical system with local interactions. | 翻訳日:2021-04-10 07:39:24 公開日:2021-01-08 |
| # (参考訳) ハイパースペクトル画像の能動学習のための深い拡散過程 Deep Diffusion Processes for Active Learning of Hyperspectral Images ( http://arxiv.org/abs/2101.03197v1 ) ライセンス: CC BY 4.0 | Abiy Tasissa, Duc Nguyen, James Murphy | (参考訳) 深層学習とグラフ上の拡散過程を組み合わせたハイパースペクトル画像(HSI)の能動的学習法を提案する。
深部変分オートエンコーダは高次元HSIからスムースに識別された特徴を抽出し、グラフ拡散プロセスに基づいてラベル付けクエリを作成する。
提案手法は,ディープラーニングの頑健な表現と拡散幾何学の数学的トラクタビリティを組み合わせ,実HSI上での強い性能を実現する。 A method for active learning of hyperspectral images (HSI) is proposed, which combines deep learning with diffusion processes on graphs. A deep variational autoencoder extracts smoothed, denoised features from a high-dimensional HSI, which are then used to make labeling queries based on graph diffusion processes. The proposed method combines the robust representations of deep learning with the mathematical tractability of diffusion geometry, and leads to strong performance on real HSI. | 翻訳日:2021-04-10 07:38:12 公開日:2021-01-08 |
| # (参考訳) 微弱教師付き多目的深層学習を用いた小データセットを用いた牧草種とバイオマスの抽出 Extracting Pasture Phenotype and Biomass Percentages using Weakly Supervised Multi-target Deep Learning on a Small Dataset ( http://arxiv.org/abs/2101.03198v1 ) ライセンス: CC BY 4.0 | Badri Narayanan, Mohamed Saadeldin, Paul Albert, Kevin McGuinness, and Brian Mac Namee | (参考訳) 乳製品産業は牛の飼料としてクローバーと草を使う。
草とクローバーのバイオマス収量の正確な推定は、受精と播種密度の最適化において賢明な決定を可能にし、生産性と環境影響の増大をもたらす。
草とクローバーは通常一緒に植えられるが、クローバーは土壌に栄養素をもたらす窒素固定植物である。
畑でクローバーと草の適切な割合を調整することは、外受精の必要性を減らす。
畑の草塊組成を推定するための既存のアプローチは高価であり、牧草のランダムなサンプルをクリップし、その成分を物理的に分離し、各試料中の乾燥した草、クローバー、雑草の割合を計算する。
畑から収集した農業画像から異なる植物種の牧草表現型指標とバイオマス収量予測を非破壊的に抽出する新しい深層学習手法の開発が注目されている。
画像のみからこれらの指標と予測を提供することは、依然として大きな課題である。
草,クローバー,雑草の密集した混合物における重度の閉塞は,各成分を正確に推定することが困難である。
さらに、教師付きディープラーニングモデルは、大規模なデータセットでよく機能するが、異なるバイオマス収量に対して正確な基底真理を持つ、大規模で多様なフィールド画像のコレクションを取得するのは面倒である。
本稿では,データ拡張と転送学習を適用することで,小規模のトレーニングデータセットでも異なる植物種の多目的バイオマス率を予測することができることを示す。
本研究は,261画像のトレーニングセットを用いて,草,クローバー,ホワイトクローバー,レッドクローバー,雑草のバイオマス率を,それぞれ6.77%,6.92%,6.21%,6.89%,4.80%の絶対誤差で予測した。 The dairy industry uses clover and grass as fodder for cows. Accurate estimation of grass and clover biomass yield enables smart decisions in optimizing fertilization and seeding density, resulting in increased productivity and positive environmental impact. Grass and clover are usually planted together, since clover is a nitrogen-fixing plant that brings nutrients to the soil. Adjusting the right percentages of clover and grass in a field reduces the need for external fertilization. Existing approaches for estimating the grass-clover composition of a field are expensive and time consuming - random samples of the pasture are clipped and then the components are physically separated to weigh and calculate percentages of dry grass, clover and weeds in each sample. There is growing interest in developing novel deep learning based approaches to non-destructively extract pasture phenotype indicators and biomass yield predictions of different plant species from agricultural imagery collected from the field. Providing these indicators and predictions from images alone remains a significant challenge. Heavy occlusions in the dense mixture of grass, clover and weeds make it difficult to estimate each component accurately. Moreover, although supervised deep learning models perform well with large datasets, it is tedious to acquire large and diverse collections of field images with precise ground truth for different biomass yields. In this paper, we demonstrate that applying data augmentation and transfer learning is effective in predicting multi-target biomass percentages of different plant species, even with a small training dataset. The scheme proposed in this paper used a training set of only 261 images and provided predictions of biomass percentages of grass, clover, white clover, red clover, and weeds with mean absolute error of 6.77%, 6.92%, 6.21%, 6.89%, and 4.80% respectively. | 翻訳日:2021-04-10 07:31:44 公開日:2021-01-08 |
| # (参考訳) 糖尿病バディ : 糖尿病患者の食事調整・追跡システム The Diabetic Buddy: A Diet Regulator andTracking System for Diabetics ( http://arxiv.org/abs/2101.03203v1 ) ライセンス: CC BY 4.0 | Muhammad Usman, Kashif Ahmad, Amir Sohail, Marwa Qaraqe | (参考訳) 中東における糖尿病(dm)の流行率は、他の地域と比較して非常に高い。
実際、中東における糖尿病の発症率は17-20%であり、世界平均の8-9%を大きく上回っている。
研究により、食物摂取は患者の血糖値と強い関係があることが示されている。
この点に関して、糖尿病患者の血糖値と食事摂取量を監視する自動ツールを構築する必要がある。
本稿では,市販センサと機械学習を用いて,糖尿病患者の血糖値と食物摂取量の自動追跡方法を提案する。
我々のシステムは糖尿病患者が毎日の食事摂取を追跡するのを助けるだけでなく、医師が食事摂取が血糖値に与える影響をリアルタイムで分析するのを助ける。
食品認識のために,我々は大規模な中東食品データセットを収集し,中東食品認識のための既存の深層モデルを取り入れた核融合フレームワークを提案した。 The prevalence of Diabetes mellitus (DM) in the Middle East is exceptionally high as compared to the rest of the world. In fact, the prevalence of diabetes in the Middle East is 17-20%, which is well above the global average of 8-9%. Research has shown that food intake has strong connections with the blood glucose levels of a patient. In this regard, there is a need to build automatic tools to monitor the blood glucose levels of diabetics and their daily food intake. This paper presents an automatic way of tracking continuous glucose and food intake of diabetics using off-the-shelf sensors and machine learning, respectively. Our system not only helps diabetics to track their daily food intake but also assists doctors to analyze the impact of the food in-take on blood glucose in real-time. For food recognition, we collected a large-scale Middle-Eastern food dataset and proposed a fusion-based framework incorporating several existing pre-trained deep models for Middle-Eastern food recognition. | 翻訳日:2021-04-10 07:23:05 公開日:2021-01-08 |
| # (参考訳) ヘイトスピーチ検出における多言語トランスフォーマーの活用 Leveraging Multilingual Transformers for Hate Speech Detection ( http://arxiv.org/abs/2101.03207v1 ) ライセンス: CC BY 4.0 | Sayar Ghosh Roy, Ujwal Narayan, Tathagata Raha, Zubair Abid, Vasudeva Varma | (参考訳) ソーシャルメディアテキストにおける憎悪の事例の検出と分類は,近年,自然言語処理への関心が高まっている。
我々の研究は、多言語環境でのヘイトスピーチを識別するために、アートトランスフォーマー言語モデルの状態を活用する。
投稿やコメントの意図をソーシャルメディアで捉えるには、言語スタイル、意味コンテンツ、ハッシュタグや絵文字などの追加のポインタを慎重に評価する必要がある。
本稿では、Twitterの投稿が憎悪であり、攻撃的であるか否かを判断する問題を考察する。
さらに, 検出された有害成分を, (a) Hate Speech (HATE), (b) Offensive (OFFN) および (c) Profane (PRFN) の3種類に分類した。
学習済みの多言語トランスフォーマーベースのテキストエンコーダをベースとして,複数の言語からヘイトスピーチを識別し,分類することができる。
提案したテストコーパスでは,英語,ドイツ語,ヒンディー語のマクロF1スコアが90.29,81.87,75.40,ヘイトスピーチ検出が60.70,53.28,49.74であった。
本研究では,ヘイトスピーチ分類におけるパースペクティブAPIの有効性と多言語学習手法の活用効果を示す。
特徴選択研究は、特定の特徴がアーキテクチャの分類ヘッドに与える影響を説明するために提供される。 Detecting and classifying instances of hate in social media text has been a problem of interest in Natural Language Processing in the recent years. Our work leverages state of the art Transformer language models to identify hate speech in a multilingual setting. Capturing the intent of a post or a comment on social media involves careful evaluation of the language style, semantic content and additional pointers such as hashtags and emojis. In this paper, we look at the problem of identifying whether a Twitter post is hateful and offensive or not. We further discriminate the detected toxic content into one of the following three classes: (a) Hate Speech (HATE), (b) Offensive (OFFN) and (c) Profane (PRFN). With a pre-trained multilingual Transformer-based text encoder at the base, we are able to successfully identify and classify hate speech from multiple languages. On the provided testing corpora, we achieve Macro F1 scores of 90.29, 81.87 and 75.40 for English, German and Hindi respectively while performing hate speech detection and of 60.70, 53.28 and 49.74 during fine-grained classification. In our experiments, we show the efficacy of Perspective API features for hate speech classification and the effects of exploiting a multilingual training scheme. A feature selection study is provided to illustrate impacts of specific features upon the architecture's classification head. | 翻訳日:2021-04-10 07:17:38 公開日:2021-01-08 |
| # (参考訳) DiPSeN: フェデレートラーニングにおける対向ロバスト性のための微分プライベート自己正規化ニューラルネットワーク DiPSeN: Differentially Private Self-normalizing Neural Networks For Adversarial Robustness in Federated Learning ( http://arxiv.org/abs/2101.03218v1 ) ライセンス: CC BY 4.0 | Olakunle Ibitoye, M. Omair Shafiq, Ashraf Matrawy | (参考訳) 堅牢でセキュアでプライベートな機械学習の必要性は、IoT(Internet of Things)の潜在能力を実現する上で重要な目標である。
フェデレーション学習は、プライバシー侵害や情報漏洩を防ぐのに役立つことが証明されている。
しかし、機械学習モデルを敵のサンプルに対して防御することがより難しくする新しいリスクベクトルを導入している。
本研究では,差分プライバシと自己正規化が,特にフェデレート学習環境における対立サンプルのリスク軽減に果たす役割について検討した。
本稿では、差分プライバシーノイズの要素と自己正規化技術を組み合わせた微分プライベート自己正規化ニューラルネットワークであるDiPSeNを紹介する。
3つの公開データセットに対する実験結果から、DiPSeNは、複数の評価指標に基づいて、深層学習環境における深層学習分類器の対角的堅牢性を改善することができた。 The need for robust, secure and private machine learning is an important goal for realizing the full potential of the Internet of Things (IoT). Federated learning has proven to help protect against privacy violations and information leakage. However, it introduces new risk vectors which make machine learning models more difficult to defend against adversarial samples. In this study, we examine the role of differential privacy and self-normalization in mitigating the risk of adversarial samples specifically in a federated learning environment. We introduce DiPSeN, a Differentially Private Self-normalizing Neural Network which combines elements of differential privacy noise with self-normalizing techniques. Our empirical results on three publicly available datasets show that DiPSeN successfully improves the adversarial robustness of a deep learning classifier in a federated learning environment based on several evaluation metrics. | 翻訳日:2021-04-10 07:03:52 公開日:2021-01-08 |
| # (参考訳) 量子マルコフ雑音分類のための機械学習手法 Machine learning approach for quantum non-Markovian noise classification ( http://arxiv.org/abs/2101.03221v1 ) ライセンス: CC BY-SA 4.0 | Stefano Martina, Stefano Gherardini, Filippo Caruso | (参考訳) 本稿では,確率量子力学における量子ノイズ分類のための機械学習モデルとニューラルネットワークモデルを提案する。
この目的のために、我々は、教師付きバイナリ分類問題を解決するために、サポートベクターマシン、多層パーセプトロン、リカレントニューラルネットワーク、複雑さと精度の異なるモデルを訓練し、検証する。
量子ランダムウォーク形式を活用し,量子システム進化の単一実現で収集したデータセットを用いて雑音量子力学を分類する手法の有効性を実証する。
さらに, 分類を成功させるには, 離散時間インスタントの列において, 解析された量子系が許容位置やエネルギー構成のいずれかにある確率を, 外部の駆動なしで測定するだけでよいことを示す。
したがって、量子コヒーレンスの測定や制御パルスのシーケンスは不要である。
基本的には合成データ上では機械学習モデルのトレーニングをa-prioriで行うことができるため,提案手法は多数の実験手法や,すでに利用可能な雑音中規模量子デバイスのノイズベンチマークにおいて直接適用されることが期待されている。 In this paper, machine learning and artificial neural network models are proposed for quantum noise classification in stochastic quantum dynamics. For this purpose, we train and then validate support vector machine, multi-layer perceptron and recurrent neural network, models with different complexity and accuracy, to solve supervised binary classification problems. By exploiting the quantum random walk formalism, we demonstrate the high efficacy of such tools in classifying noisy quantum dynamics using data sets collected in a single realisation of the quantum system evolution. In addition, we also show that for a successful classification one just needs to measure, in a sequence of discrete time instants, the probabilities that the analysed quantum system is in one of the allowed positions or energy configurations, without any external driving. Thus, neither measurements of quantum coherences nor sequences of control pulses are required. Since in principle the training of the machine learning models can be performed a-priori on synthetic data, our approach is expected to find direct application in a vast number of experimental schemes and also for the noise benchmarking of the already available noisy intermediate-scale quantum devices. | 翻訳日:2021-04-10 06:50:11 公開日:2021-01-08 |
| # (参考訳) attention u-netを用いた氷河カルビングフロントセグメンテーション Glacier Calving Front Segmentation Using Attention U-Net ( http://arxiv.org/abs/2101.03247v1 ) ライセンス: CC BY 4.0 | Michael Holzmann, Amirabbas Davari, Thorsten Seehaus, Matthias Braun, Andreas Maier, Vincent Christlein | (参考訳) 海水氷河の状態を決定するための重要な気候変数は、氷結した前線の位置と季節変動の長期的傾向からの分離である。
これまでの研究で、干潟氷河のカルビングフロントを半自動で定義する深層学習に基づく手法が提案されてきた。
彼らはu-netを使って氷と非氷の領域を区分し、処理後ステップでカルビングフロントを抽出した。
本研究では,SAR画像から氷河カルビングフロントを,意図的U-Netを用いてエンドツーエンドに分割する方法を示す。
主な目的は,本アプリケーションにおける注意機構の解明である。
最新のU-Netネットワークにアテンションモジュールを追加することで、アテンションマップを抽出して学習プロセスを分析することができる。
これらのマップを,適切なハイパーパラメータと損失関数を探索し,高い質的結果を生成するためのツールとして用いる。
提案する注意点u-netは標準のu-netと同等に動作し,ネットワークがより集中するように学習した領域に対するさらなる洞察を提供する。
最良の場合、u-netの注目度は、氷河前線の予測精度が最大237.12メートルの標準のu-netよりも1.5%向上している。 An essential climate variable to determine the tidewater glacier status is the location of the calving front position and the separation of seasonal variability from long-term trends. Previous studies have proposed deep learning-based methods to semi-automatically delineate the calving fronts of tidewater glaciers. They used U-Net to segment the ice and non-ice regions and extracted the calving fronts in a post-processing step. In this work, we show a method to segment the glacier calving fronts from SAR images in an end-to-end fashion using Attention U-Net. The main objective is to investigate the attention mechanism in this application. Adding attention modules to the state-of-the-art U-Net network lets us analyze the learning process by extracting its attention maps. We use these maps as a tool to search for proper hyperparameters and loss functions in order to generate higher qualitative results. Our proposed attention U-Net performs comparably to the standard U-Net while providing additional insight into those regions on which the network learned to focus more. In the best case, the attention U-Net achieves a 1.5% better Dice score compared to the canonical U-Net with a glacier front line prediction certainty of up to 237.12 meters. | 翻訳日:2021-04-10 05:50:55 公開日:2021-01-08 |
| # (参考訳) SAR画像における氷河セグメンテーションのためのベイズU-Net Bayesian U-Net for Segmenting Glaciers in SAR Imagery ( http://arxiv.org/abs/2101.03249v1 ) ライセンス: CC BY 4.0 | Andreas Hartmann, Amirabbas Davari, Thorsten Seehaus, Matthias Braun, Andreas Maier, Vincent Christlein | (参考訳) 氷河ボーリングフロントのゆらぎは、氷河系全体の氷の流れに重要な影響を与えている。
したがって、カルビングフロントの位置を正確に監視することが重要である。
しかし、SAR画像のマニュアル記述は困難で、退屈で主観的な作業である。
畳み込みニューラルネットワークは以前、SAR画像の氷河セグメンテーションの自動化において有望な結果を示しており、それらの可能性のさらなる探索が望ましい。
本研究では,不確かさを計算し,新しい2段階プロセスとして不確実性最適化システムで利用することを提案する。
U-Netアーキテクチャにおけるランダムサンプリング層としてドロップアウトを用いることで、確率ベイズニューラルネットワークを作成する。
複数のフォワードパスを用いてサンプリング分布を作成し,セグメンテーションマスク内の各画素のモデル不確かさを推定する。
追加の不確実性マップ情報は、データのマニュアルアノテーションにおける専門家のガイドラインとして機能する。
さらに、ネットワークへの不確実性マップの供給は95.24%のdice類似性をもたらし、これは最先端の決定論的u-netベースの氷河区分パイプラインと比較して、セグメンテーション性能の全体的な改善である。 Fluctuations of the glacier calving front have an important influence over the ice flow of whole glacier systems. It is therefore important to precisely monitor the position of the calving front. However, the manual delineation of SAR images is a difficult, laborious and subjective task. Convolutional neural networks have previously shown promising results in automating the glacier segmentation in SAR images, making them desirable for further exploration of their possibilities. In this work, we propose to compute uncertainty and use it in an Uncertainty Optimization regime as a novel two-stage process. By using dropout as a random sampling layer in a U-Net architecture, we create a probabilistic Bayesian Neural Network. With several forward passes, we create a sampling distribution, which can estimate the model uncertainty for each pixel in the segmentation mask. The additional uncertainty map information can serve as a guideline for the experts in the manual annotation of the data. Furthermore, feeding the uncertainty map to the network leads to 95.24% Dice similarity, which is an overall improvement in the segmentation performance compared to the state-of-the-art deterministic U-Net-based glacier segmentation pipelines. | 翻訳日:2021-04-10 05:42:48 公開日:2021-01-08 |
| # (参考訳) 産業4.0スケジューリングにおける非決定論的不確実性モデリングの改善 Improving non-deterministic uncertainty modelling in Industry 4.0 scheduling ( http://arxiv.org/abs/2101.05677v1 ) ライセンス: CC BY 4.0 | Ashwin Misra, Ankit Mittal, Vihaan Misra and Deepanshu Pandey | (参考訳) 最新の産業革命は、産業が非常に高い生産性と効率を達成するのに役立った。
計画とスケジューリングを最適化するために、データ集約とサイバーフィジカルシステムを導入した。
しかし,人間操作者の環境の不確実性と不正確性は,意思決定過程において必ずしも考慮されていない。
これにより、委託の遅れと予算見積りが不正確になる。
この産業モデルの広範な実践には欠陥があり、修正が必要である。
様々な論文が確率的あるいはファジィな集合モデル手法を用いてこの問題にアプローチしている。
本稿では,確率論的不確実性モデリングによる非決定論的不確かさを論理的かつ現実的に定量化する包括的手法を提案する。
この方法は、モデルが自己調整であり、エプシロン汚染を使用して限定的または不完全なデータセットに対応するため、事実上すべての産業用データセットに適用できる。
結果はベルギーのフランダースにある産業データによって数値的に検証される。
このロバストなスケジューリング手法によって得られたデータ駆動結果から,性能改善が示された。 The latest Industrial revolution has helped industries in achieving very high rates of productivity and efficiency. It has introduced data aggregation and cyber-physical systems to optimize planning and scheduling. Although, uncertainty in the environment and the imprecise nature of human operators are not accurately considered for into the decision making process. This leads to delays in consignments and imprecise budget estimations. This widespread practice in the industrial models is flawed and requires rectification. Various other articles have approached to solve this problem through stochastic or fuzzy set model methods. This paper presents a comprehensive method to logically and realistically quantify the non-deterministic uncertainty through probabilistic uncertainty modelling. This method is applicable on virtually all Industrial data sets, as the model is self adjusting and uses epsilon-contamination to cater to limited or incomplete data sets. The results are numerically validated through an Industrial data set in Flanders, Belgium. The data driven results achieved through this robust scheduling method illustrate the improvement in performance. | 翻訳日:2021-04-10 05:35:14 公開日:2021-01-08 |
| # 量子地球モーバーの距離:量子データ学習のための新しいアプローチ Quantum Earth Mover's Distance: A New Approach to Learning Quantum Data ( http://arxiv.org/abs/2101.03037v1 ) ライセンス: Link先を確認 | Bobak Toussi Kiani, Giacomo De Palma, Milad Marvian, Zi-Wen Liu, Seth Lloyd | (参考訳) 学習アルゴリズムの出力が目標からどのくらい離れているかを定量化することは、機械学習において不可欠なタスクである。
しかし、量子環境では、一般的に使われる距離測定値のロスランドスケープは、局所的な極小さや指数関数的に減衰する勾配といった望ましくない結果を生み出すことが多い。
新たなアプローチとして、最近の[De Palma et al., arXiv:2009.04469]で提案された量子地球移動器(EM)またはワッサーシュタイン-1距離を、古典的EM距離の量子アナログとして考える。
量子EM距離は、量子学習をより安定かつ効率的にする他の一般的な量子距離測度には見つからない独自の性質を持つことを示す。
本稿では,量子em距離を活用し,量子データ上で学習を行う効率的な手法を提供する量子wasserstein生成逆ネットワーク(qwgan)を提案する。
我々のqwganは、量子ビット数に資源多項式を必要とし、数値実験により、多様な量子データ集合を学習できることが示される。 Quantifying how far the output of a learning algorithm is from its target is an essential task in machine learning. However, in quantum settings, the loss landscapes of commonly used distance metrics often produce undesirable outcomes such as poor local minima and exponentially decaying gradients. As a new approach, we consider here the quantum earth mover's (EM) or Wasserstein-1 distance, recently proposed in [De Palma et al., arXiv:2009.04469] as a quantum analog to the classical EM distance. We show that the quantum EM distance possesses unique properties, not found in other commonly used quantum distance metrics, that make quantum learning more stable and efficient. We propose a quantum Wasserstein generative adversarial network (qWGAN) which takes advantage of the quantum EM distance and provides an efficient means of performing learning on quantum data. Our qWGAN requires resources polynomial in the number of qubits, and our numerical experiments demonstrate that it is capable of learning a diverse set of quantum data. | 翻訳日:2021-04-10 05:13:29 公開日:2021-01-08 |
| # ペアワイズとコントラストトレーニングを用いた認知症高齢者の非閉塞性痛みモニタリング Unobtrusive Pain Monitoring in Older Adults with Dementia using Pairwise and Contrastive Training ( http://arxiv.org/abs/2101.03251v1 ) ライセンス: Link先を確認 | Siavash Rezaei, Abhishek Moturu, Shun Zhao, Kenneth M. Prkachin, Thomas Hadjistavropoulos, and Babak Taati | (参考訳) 高齢では痛みが頻発するが、高齢者はしばしば痛みに対して過度に扱われる。
特に中等度から重度の認知症を伴う認知障害のため、痛みを訴えることができない介護者の場合が多い。
介護スタッフは、人材不足による介護施設の痛みを効果的に認識し管理することの課題を認識し、また、定期的に検証された痛みアセスメントアプローチを使用する専門知識を身につけている。
視覚に基づく環境モニタリングは、頻繁な自動評価を可能にするので、痛みの兆候が表示されると、ケアスタッフに自動的に通知できる。
しかし、既存のコンピュータビジョン技術では、高齢者や認知症患者の顔に痛みを検出することはできず、この人口は既存の痛みの表情データセットでは表現されない。
認知症コホートで検証された最初の完全自動化視覚ベース手法を提案する。
私たちの貢献は3倍です。
まず,認知症の有無に関わらず高齢者から不明瞭に収集されたビデオデータセット上で,痛みを伴う表情を検出する深層学習型コンピュータビジョンシステムを開発した。
第2に,ペアワイズ比較推定法について紹介し,シーケンスモデルよりもトレーニングデータを効率的に使用しながら,顔の表情変化に敏感であることを示す。
第3に,クロスデータセット性能を向上させる高速コントラストトレーニング手法を提案する。
特に認知症患者の顔評価では, 痛み推定モデルが基準値を上回る傾向がみられた。
事前トレーニングされたモデルとデモコードはhttps://github.com/taatiteam/pain_detection_demoで利用可能 Although pain is frequent in old age, older adults are often undertreated for pain. This is especially the case for long-term care residents with moderate to severe dementia who cannot report their pain because of cognitive impairments that accompany dementia. Nursing staff acknowledge the challenges of effectively recognizing and managing pain in long-term care facilities due to lack of human resources and, sometimes, expertise to use validated pain assessment approaches on a regular basis. Vision-based ambient monitoring will allow for frequent automated assessments so care staff could be automatically notified when signs of pain are displayed. However, existing computer vision techniques for pain detection are not validated on faces of older adults or people with dementia, and this population is not represented in existing facial expression datasets of pain. We present the first fully automated vision-based technique validated on a dementia cohort. Our contributions are threefold. First, we develop a deep learning-based computer vision system for detecting painful facial expressions on a video dataset that is collected unobtrusively from older adult participants with and without dementia. Second, we introduce a pairwise comparative inference method that calibrates to each person and is sensitive to changes in facial expression while using training data more efficiently than sequence models. Third, we introduce a fast contrastive training method that improves cross-dataset performance. Our pain estimation model outperforms baselines by a wide margin, especially when evaluated on faces of people with dementia. Pre-trained model and demo code available at https://github.com/TaatiTeam/pain_detection_demo | 翻訳日:2021-04-10 05:13:11 公開日:2021-01-08 |
| # Graph-of-Tweets:サブイベント識別のためのグラフマージアプローチ Graph-of-Tweets: A Graph Merging Approach to Sub-event Identification ( http://arxiv.org/abs/2101.03208v1 ) ライセンス: Link先を確認 | Xiaonan Jing, Julia Taylor Rayz | (参考訳) グラフ構造は、テキスト要素間の関係をモデル化するための強力なツールである。
graph-of-words (gow) は語間の関係をエンコードするために多くの自然言語タスクで採用されている。
しかし、ドキュメント間の接続が不可欠である場合、GoWはドキュメントレベルの関係をほとんど提供しない。
Twitterのようなソーシャルメディア上のサブイベントを特定するには、単語レベルと文書レベルの両方の機能が、イベントの異なる情報を提供するのに役立つ。
ツイートをモデル化するための単語と文書レベルの構造を組み合わせたハイブリッドなグラフ・オブ・ツイート(GoT)モデルを提案する。
大量の生データを圧縮するために,FastText単語の埋め込みを利用してGoWを減らすグラフマージ手法を提案する。
さらに,GoWの低減化と相互情報(MI)尺度を用いてGoTを構築する新しい手法を提案する。
最後に,一般的なサブイベントを抽出するために,最大傾きを同定する。
本モデルでは,語彙レベルの情報を凝縮し,サブイベントのキーワードをキャプチャする有望な結果を示した。 Graph structures are powerful tools for modeling the relationships between textual elements. Graph-of-Words (GoW) has been adopted in many Natural Language tasks to encode the association between terms. However, GoW provides few document-level relationships in cases when the connections between documents are also essential. For identifying sub-events on social media like Twitter, features from both word- and document-level can be useful as they supply different information of the event. We propose a hybrid Graph-of-Tweets (GoT) model which combines the word- and document-level structures for modeling Tweets. To compress large amount of raw data, we propose a graph merging method which utilizes FastText word embeddings to reduce the GoW. Furthermore, we present a novel method to construct GoT with the reduced GoW and a Mutual Information (MI) measure. Finally, we identify maximal cliques to extract popular sub-events. Our model showed promising results on condensing lexical-level information and capturing keywords of sub-events. | 翻訳日:2021-04-10 05:12:48 公開日:2021-01-08 |
| # 関数近似を用いた対外政策平均評価 Average-Reward Off-Policy Policy Evaluation with Function Approximation ( http://arxiv.org/abs/2101.02808v1 ) ライセンス: Link先を確認 | Shangtong Zhang, Yi Wan, Richard S. Sutton, Shimon Whiteson | (参考訳) 我々は,平均回帰mdpにおける関数近似(fa)を用いたオフポリシー政策評価について検討し,報酬率と差分値関数の両方を推定することを目的としている。
この問題に対して、ブートストラップは必要であり、非政治的な学習とFAとともに、致命的な三位一体をもたらす(Sutton & Barto, 2018)。
致命的な3つの問題に対処するため,我々は,勾配型tdアルゴリズムの成功を再現する2つの新しいアルゴリズムを提案する。
微分値関数を推定する観点では、アルゴリズムは最初の収束オフポリシー線形関数近似アルゴリズムである。
報酬率を推定する観点では、アルゴリズムは密度比を推定する必要がない最初の収束オフポリシー線形関数近似アルゴリズムである。
提案するアルゴリズムと非線形変種を,単純なドメインとロボットシミュレーション課題に挑戦しながら,競合的密度比に基づくアプローチよりも実証的に優位に立証する。 We consider off-policy policy evaluation with function approximation (FA) in average-reward MDPs, where the goal is to estimate both the reward rate and the differential value function. For this problem, bootstrapping is necessary and, along with off-policy learning and FA, results in the deadly triad (Sutton & Barto, 2018). To address the deadly triad, we propose two novel algorithms, reproducing the celebrated success of Gradient TD algorithms in the average-reward setting. In terms of estimating the differential value function, the algorithms are the first convergent off-policy linear function approximation algorithms. In terms of estimating the reward rate, the algorithms are the first convergent off-policy linear function approximation algorithms that do not require estimating the density ratio. We demonstrate empirically the advantage of the proposed algorithms, as well as their nonlinear variants, over a competitive density-ratio-based approach, in a simple domain as well as challenging robot simulation tasks. | 翻訳日:2021-04-10 05:12:34 公開日:2021-01-08 |
| # a tale of fairness revisited: beyond adversarial learning for deep neural network fairness A Tale of Fairness Revisited: Beyond Adversarial Learning for Deep Neural Network Fairness ( http://arxiv.org/abs/2101.02831v1 ) ライセンス: Link先を確認 | Becky Mashaido and Winston Moh Tangongho | (参考訳) 自動化と人工知能技術の時代における公正なアルゴリズム決定の必要性から、この技術レポートは、ディープラーニングにおける公正さに対する敵の訓練に関する理論的洞察を提供する。
我々は、敵の公正さに関する以前の研究の上に構築し、公正な予測とモデルパフォーマンスの間の永続的なトレードオフを示し、このトレードオフを相殺するためのさらなるメカニズムを探る。 Motivated by the need for fair algorithmic decision making in the age of automation and artificially-intelligent technology, this technical report provides a theoretical insight into adversarial training for fairness in deep learning. We build upon previous work in adversarial fairness, show the persistent tradeoff between fair predictions and model performance, and explore further mechanisms that help in offsetting this tradeoff. | 翻訳日:2021-04-10 05:12:18 公開日:2021-01-08 |
| # NVAE-GANによる教師なし時系列異常検出 NVAE-GAN Based Approach for Unsupervised Time Series Anomaly Detection ( http://arxiv.org/abs/2101.02908v1 ) ライセンス: Link先を確認 | Liang Xu, Liying Zheng, Weijun Li, Zhenbo Chen, Weishun Song, Yue Deng, Yongzhe Chang, Jing Xiao, Bo Yuan | (参考訳) 近年の研究では,変分自動エンコーダ(VAE)を適用して時系列異常検出を行う作業が数多く行われている。
時系列異常検出は、ネットワーク監視、設備メンテナンス、情報セキュリティなどにおいて重要な役割を果たす多くの業界において、非常に一般的だが困難なタスクである。
しかし,実世界から収集したノイズデータや複雑な異常パターンにより,時系列の異常を高精度に検出することは極めて困難である。
最近の研究から,我々はNouveau VAE (NVAE) にインスパイアされ,その異常検出モデルを提案する: 時系列から画像へのVAE (T2IVAE) , 単変量系列のNVAEに基づく教師なしモデル, 入力として1次元時系列を2次元画像に変換する, 異常検出のための再構成誤差を採用する。
また、T2IVAEトレーニング戦略にもジェネレーティブ・アドバイサル・ネットワークに基づく手法を適用し、オーバーフィッティングを減らすことを目的とした。
モデル性能を3つのデータセットで評価し,F1スコアを用いて他の人気モデルと比較した。
T2IVAEは、Numenta Anomaly Benchmarkの0.639、NASAの公開データセットの0.651、実際のシナリオから収集したデータセットの0.504を達成し、他の比較モデルを上回っている。 In recent studies, Lots of work has been done to solve time series anomaly detection by applying Variational Auto-Encoders (VAEs). Time series anomaly detection is a very common but challenging task in many industries, which plays an important role in network monitoring, facility maintenance, information security, and so on. However, it is very difficult to detect anomalies in time series with high accuracy, due to noisy data collected from real world, and complicated abnormal patterns. From recent studies, we are inspired by Nouveau VAE (NVAE) and propose our anomaly detection model: Time series to Image VAE (T2IVAE), an unsupervised model based on NVAE for univariate series, transforming 1D time series to 2D image as input, and adopting the reconstruction error to detect anomalies. Besides, we also apply the Generative Adversarial Networks based techniques to T2IVAE training strategy, aiming to reduce the overfitting. We evaluate our model performance on three datasets, and compare it with other several popular models using F1 score. T2IVAE achieves 0.639 on Numenta Anomaly Benchmark, 0.651 on public dataset from NASA, and 0.504 on our dataset collected from real-world scenario, outperforms other comparison models. | 翻訳日:2021-04-10 05:12:11 公開日:2021-01-08 |
| # ニューラルネットワークの不確実性リアリズムへのアプローチ Approaching Neural Network Uncertainty Realism ( http://arxiv.org/abs/2101.02974v1 ) ライセンス: Link先を確認 | Joachim Sicking, Alexander Kister, Matthias Fahrland, Stefan Eickeler, Fabian H\"uger, Stefan R\"uping, Peter Schlicht, Tim Wirtz | (参考訳) 統計モデルは本質的に不確かである。
それらの不確実性を定量化または上界化することは、自動運転車のような安全上重要なシステムにとって不可欠である。
標準ニューラルネットワークはこの情報を報告していないが、不確実性推定をそれらに統合するいくつかのアプローチが存在する。
これらの不確実性の評価は、直接的根拠のラベルがないため、単純ではない。
代わりに、暗黙の統計的評価が必要である。
回帰については,マハラノビス距離に基づく統計テストを用いて,厳格な品質基準である不確実性現実性を評価することを提案する。
経験的評価は、上行重み付き経験的誤りに適した不確実性対策の必要性を明らかにする。
同時に、可変U-Net分類アーキテクチャを標準教師付きイメージ・ツー・イメージタスクに転送する。
自動車領域に採用し、普通のエンコーダ-デコーダモデルと比較して不確実性リアリズムを大幅に改善することを示した。 Statistical models are inherently uncertain. Quantifying or at least upper-bounding their uncertainties is vital for safety-critical systems such as autonomous vehicles. While standard neural networks do not report this information, several approaches exist to integrate uncertainty estimates into them. Assessing the quality of these uncertainty estimates is not straightforward, as no direct ground truth labels are available. Instead, implicit statistical assessments are required. For regression, we propose to evaluate uncertainty realism -- a strict quality criterion -- with a Mahalanobis distance-based statistical test. An empirical evaluation reveals the need for uncertainty measures that are appropriate to upper-bound heavy-tailed empirical errors. Alongside, we transfer the variational U-Net classification architecture to standard supervised image-to-image tasks. We adopt it to the automotive domain and show that it significantly improves uncertainty realism compared to a plain encoder-decoder model. | 翻訳日:2021-04-10 05:11:48 公開日:2021-01-08 |
| # 一級分類:調査 One-Class Classification: A Survey ( http://arxiv.org/abs/2101.03064v1 ) ライセンス: Link先を確認 | Pramuditha Perera, Poojan Oza, Vishal M. Patel | (参考訳) 単級分類 (one-class classification, occ) は、訓練中に観測されるデータは単一の正のクラスから得られる多級分類の特別な場合である。
occの目標は、推論中に正のラベル付きクエリを認識できる表現および/または分類器を学ぶことである。
この話題は近年、コンピュータビジョン、機械学習、バイオメトリクスのコミュニティにかなりの関心を集めている。
本稿では,視覚認識のための古典的統計的および最近の深層学習に基づくOCC手法について調査する。
我々は、既存のoccアプローチのメリットと欠点を議論し、この分野の研究に有望な道筋を特定する。
さらに,occで一般的に使用されるデータセットと評価指標について考察する。 One-Class Classification (OCC) is a special case of multi-class classification, where data observed during training is from a single positive class. The goal of OCC is to learn a representation and/or a classifier that enables recognition of positively labeled queries during inference. This topic has received considerable amount of interest in the computer vision, machine learning and biometrics communities in recent years. In this article, we provide a survey of classical statistical and recent deep learning-based OCC methods for visual recognition. We discuss the merits and drawbacks of existing OCC approaches and identify promising avenues for research in this field. In addition, we present a discussion of commonly used datasets and evaluation metrics for OCC. | 翻訳日:2021-04-10 05:11:33 公開日:2021-01-08 |
| # 機械学習における量子テンソルネットワーク:微小物体分類への応用 Quantum Tensor Network in Machine Learning: An Application to Tiny Object Classification ( http://arxiv.org/abs/2101.03154v1 ) ライセンス: Link先を確認 | Fanjie Kong, Xiao-yang Liu, Ricardo Henao | (参考訳) 細い物体分類問題は、医療画像やリモートセンシングのような多くの機械学習アプリケーションに存在し、興味のある物体は画像全体の小さな領域を占める。
小さな関心対象に関して効率的な機械学習モデルを設計することは困難である。
現在のニューラルネットワーク構造は、大規模なオブジェクトが特徴とする画像のために開発されたため、小さなオブジェクトを効率的に扱うことができない。
しかし、量子物理学では、特定の対象のサイズ比に関する画像分類のターゲット関数の解析を導く大きな理論的基礎がある。
我々の研究では、この困難な機械学習問題を解決するためにTensor Networksを適用しています。
まず、量子スピンモデルと画像分類を結びつける以前の研究を要約し、その理論を微小物体分類のシナリオに取り入れる。
次に, 画像中の微小物体の分類にMERA (Multi-scale entanglement renormalization ansatz) を用いる。
最後に,実験結果から,テンソルネットワークモデルが微小物体分類問題に有効であり,最新技術に勝る可能性が示唆された。
私たちのコードは、https://github.com/timqqt/mera_image_classificationで利用できます。 Tiny object classification problem exists in many machine learning applications like medical imaging or remote sensing, where the object of interest usually occupies a small region of the whole image. It is challenging to design an efficient machine learning model with respect to tiny object of interest. Current neural network structures are unable to deal with tiny object efficiently because they are mainly developed for images featured by large scale objects. However, in quantum physics, there is a great theoretical foundation guiding us to analyze the target function for image classification regarding to specific objects size ratio. In our work, we apply Tensor Networks to solve this arising tough machine learning problem. First, we summarize the previous work that connects quantum spin model to image classification and bring the theory into the scenario of tiny object classification. Second, we propose using 2D multi-scale entanglement renormalization ansatz (MERA) to classify tiny objects in image. In the end, our experimental results indicate that tensor network models are effective for tiny object classification problem and potentially will beat state-of-the-art. Our codes will be available online https://github.com/timqqt/MERA_Image_Classification. | 翻訳日:2021-04-10 05:11:23 公開日:2021-01-08 |
| # 近似dnnハードウェアアクセラレータにおけるフォールトエネルギトレードオフの検討 Exploring Fault-Energy Trade-offs in Approximate DNN Hardware Accelerators ( http://arxiv.org/abs/2101.02860v1 ) ライセンス: Link先を確認 | Ayesha Siddique, Kanad Basu, Khaza Anuarul Hoque | (参考訳) Systolic array-based Deep Neural Network (DNN)アクセラレータは、計算コストの低いことで最近注目を集めている。
しかし、その高エネルギー消費は、エネルギーに制約のあるデバイスへの展開にボトルネックをもたらす。
この問題に対処するために、近似計算は許容できる精度の損失を犠牲にすることができる。
しかし、このような小さな精度の変化は、永久断層のような望ましくない微妙な乱れに対するDNNの感度を高める可能性がある。
正確なDNNにおける永久断層の影響は文献で徹底的に研究されている。
逆に、近似DNN加速器(AxDNN)における永久断層の影響はまだ未解明である。
このような断層の影響は、AxDNN層の故障ビット位置、アクティベーション関数、近似誤差によって異なる可能性がある。
このようなダイナマティは、AxDNNにおけるエネルギー効率と耐障害性の間のトレードオフを探究する上で大きな課題となる。
そこで我々は,最先端のEvoapprox8b符号乗算器を用いて,様々なAxDNNの階層的およびビット的フォールトレジリエンスとエネルギー解析を行う。
特に、最も広く使われているmnistデータセットとファッションmnistデータセットを用いて、stuck-at-0、stuck-at-1フォールトビット位置、アクティベーション関数が異なる。
定量的解析により,AxDNNの精度低下はDNNの精度向上に寄与することが示された。
例えば、AxDNNの恒久的な欠陥は66\%の精度の損失をもたらすが、同じ欠陥ビットは正確なDNNアクセラレーターにおいてわずか9\%の精度の損失をもたらす。
その結果,AxDNNの耐故障性はエネルギー効率に直交していることがわかった。 Systolic array-based deep neural network (DNN) accelerators have recently gained prominence for their low computational cost. However, their high energy consumption poses a bottleneck to their deployment in energy-constrained devices. To address this problem, approximate computing can be employed at the cost of some tolerable accuracy loss. However, such small accuracy variations may increase the sensitivity of DNNs towards undesired subtle disturbances, such as permanent faults. The impact of permanent faults in accurate DNNs has been thoroughly investigated in the literature. Conversely, the impact of permanent faults in approximate DNN accelerators (AxDNNs) is yet under-explored. The impact of such faults may vary with the fault bit positions, activation functions and approximation errors in AxDNN layers. Such dynamacity poses a considerable challenge to exploring the trade-off between their energy efficiency and fault resilience in AxDNNs. Towards this, we present an extensive layer-wise and bit-wise fault resilience and energy analysis of different AxDNNs, using the state-of-the-art Evoapprox8b signed multipliers. In particular, we vary the stuck-at-0, stuck-at-1 fault-bit positions, and activation functions to study their impact using the most widely used MNIST and Fashion-MNIST datasets. Our quantitative analysis shows that the permanent faults exacerbate the accuracy loss in AxDNNs when compared to the accurate DNN accelerators. For instance, a permanent fault in AxDNNs can lead up to 66\% accuracy loss, whereas the same faulty bit can lead to only 9\% accuracy loss in an accurate DNN accelerator. Our results demonstrate that the fault resilience in AxDNNs is orthogonal to the energy efficiency. | 翻訳日:2021-04-10 05:10:40 公開日:2021-01-08 |
| # 株取引ルール学習のための強化学習型エンコーダ・デコーダフレームワーク A Reinforcement Learning Based Encoder-Decoder Framework for Learning Stock Trading Rules ( http://arxiv.org/abs/2101.03867v1 ) ライセンス: Link先を確認 | Mehran Taghian, Ahmad Asadi, Reza Safabakhsh | (参考訳) 収益性のある投資戦略を学ぶために、drl(deep reinforcement learning)モデルが最近提案されている。
これらのモデルによって得られたルールは、特に高周波取引環境で以前の戦略より優れている。
しかし, 長期の原価変動から抽出した特徴の質が, これらのモデルで学習した取引ルールの性能に大きく影響していることが示されている。
複雑な入力時系列から情報的特徴を抽出するためにニューラルエンコーダ・デコーダ構造を用いることは、ニューラルマシン翻訳や同様の問題に直面するビデオキャプションといった他の一般的なタスクに非常に効果的であることが証明された。
エンコーダデコーダフレームワークは、抽出した特徴に基づいて出力を生成する方法を学ぶとともに、長い価格列から高い情報的特徴を抽出する。
本稿では、DRLと組み合わせたニューラルエンコーダ・デコーダ・フレームワークに基づく新しいエンドツーエンドモデルを提案し、楽器の長期の原価から単一楽器取引戦略を学習する。
提案モデルは,入力シーケンスから情報的特徴を学習する神経構造であるエンコーダと,エンコーダが抽出した特徴に基づいて収益戦略を学習するDRLモデルであるデコーダとから構成される。
エンコーダとデコーダ構造のパラメータを共に学習することにより、デコーダDRLのタスクに適合する特徴を抽出することができる。
さらに,エンコーダの異なる構造と入力シーケンスの様々な形態が学習戦略の性能に及ぼす影響について検討した。
実験の結果, 提案モデルは, 動的環境において他の最先端モデルよりも優れていることがわかった。 A wide variety of deep reinforcement learning (DRL) models have recently been proposed to learn profitable investment strategies. The rules learned by these models outperform the previous strategies specially in high frequency trading environments. However, it is shown that the quality of the extracted features from a long-term sequence of raw prices of the instruments greatly affects the performance of the trading rules learned by these models. Employing a neural encoder-decoder structure to extract informative features from complex input time-series has proved very effective in other popular tasks like neural machine translation and video captioning in which the models face a similar problem. The encoder-decoder framework extracts highly informative features from a long sequence of prices along with learning how to generate outputs based on the extracted features. In this paper, a novel end-to-end model based on the neural encoder-decoder framework combined with DRL is proposed to learn single instrument trading strategies from a long sequence of raw prices of the instrument. The proposed model consists of an encoder which is a neural structure responsible for learning informative features from the input sequence, and a decoder which is a DRL model responsible for learning profitable strategies based on the features extracted by the encoder. The parameters of the encoder and the decoder structures are learned jointly, which enables the encoder to extract features fitted to the task of the decoder DRL. In addition, the effects of different structures for the encoder and various forms of the input sequences on the performance of the learned strategies are investigated. Experimental results showed that the proposed model outperforms other state-of-the-art models in highly dynamic environments. | 翻訳日:2021-04-10 05:09:55 公開日:2021-01-08 |
| # 因子グラフを用いた多体系のモデリングと動的シミュレーションのための汎用フレームワーク A general framework for modeling and dynamic simulation of multibody systems using factor graphs ( http://arxiv.org/abs/2101.02874v1 ) ライセンス: Link先を確認 | Jos\'e-Luis Blanco-Claraco, Antonio Leanza, Giulio Reina | (参考訳) 本稿では,多体系の運動学的および動的問題を解くために,因子グラフ理論を基礎とした新しい汎用フレームワークを提案する。
多体系の運動はよく研究された問題であり、その解法として様々な方法が提案されているが、直感的な解釈を提供する統一的なアプローチはいまだに追求されている。
独立座標と依存座標の両方を用いて多体系をモデル化・シミュレートするための因子グラフの構築方法について述べる。
そこで, バッチ最適化や固定ラグ・スモーザーを応用して, 非線形最小化問題を解くことができる。
提案したフレームワークは、広範囲なシミュレーションでテストされ、商用マルチボディソフトウェアに対して検証されている。
我々はGTSAMフレームワークに基づいたオープンソースのC++ライブラリとして参照実装をリリースする。
前方および逆ダイナミクスのシミュレーションが提示され、古典的アプローチと同等の精度を示す。
提案した因子グラフベースのフレームワークは,機構から車両,ロボットマニピュレータに至るまで,複雑な機械系の動作推定やパラメータ同定に関連するアプリケーションに統合される可能性がある。 In this paper, we present a novel general framework grounded in the factor graph theory to solve kinematic and dynamic problems for multi-body systems. Although the motion of multi-body systems is considered to be a well-studied problem and various methods have been proposed for its solution, a unified approach providing an intuitive interpretation is still pursued. We describe how to build factor graphs to model and simulate multibody systems using both, independent and dependent coordinates. Then, batch optimization or a fixed-lag-smoother can be applied to solve the underlying optimization problem that results in a highly-sparse nonlinear minimization problem. The proposed framework has been tested in extensive simulations and validated against a commercial multibody software. We release a reference implementation as an open-source C++ library, based on the GTSAM framework, a well-known estimation library. Simulations of forward and inverse dynamics are presented, showing comparable accuracy with classical approaches. The proposed factor graph-based framework has the potential to be integrated into applications related with motion estimation and parameter identification of complex mechanical systems, ranging from mechanisms to vehicles, or robot manipulators. | 翻訳日:2021-04-10 05:09:16 公開日:2021-01-08 |
| # adversarial attack attribution: atributable signal in adversarial ml attack Adversarial Attack Attribution: Discovering Attributable Signals in Adversarial ML Attacks ( http://arxiv.org/abs/2101.02899v1 ) ライセンス: Link先を確認 | Marissa Dotter, Sherry Xie, Keith Manville, Josh Harguess, Colin Busho, Mikel Rodriguez | (参考訳) 機械学習(ML)モデルは敵の入力に弱いことが知られており、研究者は自動運転車やML-as-a-service製品のようなプロダクションシステムでさえ受け入れがたいことを実証している。
これらのシステムは悪役の標的である。
その破壊は、実際の物理的および経済的損害を引き起こす可能性がある。
プロダクションMLシステムに対する攻撃が発生した場合、攻撃を責任ある脅威グループに属性付ける能力は、応答を定式化し、攻撃者が責任を負うための重要なステップである。
敵に摂動された入力は、攻撃を生成するために使われる特定の方法に起因できるだろうか?
言い換えれば、攻撃アルゴリズムやモデルアーキテクチャ、あるいは攻撃で使用されるハイパーパラメータを公開する、これらの攻撃で信号を見つける方法があるのだろうか?
そこで本研究では,敵対攻撃における帰属可能な信号の発見可能性を検討するための,単純な教師付き学習実験フレームワークを提案する。
CIFAR-10とMNISTの両方のデータセット上で、異なる攻撃アルゴリズム、モデル、ハイパーパラメータで生成された攻撃を区別することが可能である。 Machine Learning (ML) models are known to be vulnerable to adversarial inputs and researchers have demonstrated that even production systems, such as self-driving cars and ML-as-a-service offerings, are susceptible. These systems represent a target for bad actors. Their disruption can cause real physical and economic harm. When attacks on production ML systems occur, the ability to attribute the attack to the responsible threat group is a critical step in formulating a response and holding the attackers accountable. We pose the following question: can adversarially perturbed inputs be attributed to the particular methods used to generate the attack? In other words, is there a way to find a signal in these attacks that exposes the attack algorithm, model architecture, or hyperparameters used in the attack? We introduce the concept of adversarial attack attribution and create a simple supervised learning experimental framework to examine the feasibility of discovering attributable signals in adversarial attacks. We find that it is possible to differentiate attacks generated with different attack algorithms, models, and hyperparameters on both the CIFAR-10 and MNIST datasets. | 翻訳日:2021-04-10 05:08:40 公開日:2021-01-08 |
| # 深層学習モデルでは、共同ファウンダーによるX線画像からCovid-19を分離できる Deep Learning Models May Spuriously Classify Covid-19 from X-ray Images Based on Confounders ( http://arxiv.org/abs/2102.04300v1 ) ライセンス: Link先を確認 | Kaoutar Ben Ahmed, Lawrence O. Hall, Dmitry B. Goldgof, Gregory M. Goldgof, Rahul Paul | (参考訳) コビッドウイルスに感染したウイルスの特定は、感染拡大を抑える上で重要である。
x線装置は世界中で広く利用可能であり、診断に使用できる画像を迅速に提供することができる。
近年の研究では、深層学習を用いて高精度なモデルを構築し、胸部X線画像からCovid-19を検出できると主張している。
本稿では,肺野を採取した生胸部X線画像(AP/PA)からCovid-19病を診断するための畳み込みニューラルネットワークモデルの堅牢性と一般化能力について検討する。
いくつかの観察は、Covid-19陽性と負のラベルの区別において、患者の肺病理ではなく、データソースに関連する相反する特徴に依存することを学習したハイパフォーマンスモデルに関するものである。
特に、これらのモデルでは、医学的な関連情報ではなく、患者の年齢や画像処理成果物といった相反する要因に基づいて診断を行った可能性が高い。 Identifying who is infected with the Covid-19 virus is critical for controlling its spread. X-ray machines are widely available worldwide and can quickly provide images that can be used for diagnosis. A number of recent studies claim it may be possible to build highly accurate models, using deep learning, to detect Covid-19 from chest X-ray images. This paper explores the robustness and generalization ability of convolutional neural network models in diagnosing Covid-19 disease from frontal-view (AP/PA), raw chest X-ray images that were lung field cropped. Some concerning observations are made about high performing models that have learned to rely on confounding features related to the data source, rather than the patient's lung pathology, when differentiating between Covid-19 positive and negative labels. Specifically, these models likely made diagnoses based on confounding factors such as patient age or image processing artifacts, rather than medically relevant information. | 翻訳日:2021-04-10 05:08:22 公開日:2021-01-08 |
| # 深層交通流予測のための変形可能な畳み込みによる空間非定常のモデル化 Modeling Spatial Nonstationarity via Deformable Convolutions for Deep Traffic Flow Prediction ( http://arxiv.org/abs/2101.12010v1 ) ライセンス: Link先を確認 | Wei Zeng, Chengqiao Lin, Kang Liu, Juncong Lin, Anthony K. H. Tung | (参考訳) ディープニューラルネットワークは短期的なトラフィックフロー予測にますます使われている。
既存の畳み込みに基づくアプローチは通常、下層の領域を格子状の空間単位に分割し、標準畳み込みを用いて単位間の空間依存を学習する。
しかし、固定幾何構造を持つ標準畳み込みは局所交通流の非定常特性を完全にモデル化することはできない。
この不足を克服するために,空間的サンプリング位置を付加オフセットで拡張する変形可能な畳み込みを導入することで,空間的非定常性のモデル化能力を向上させる。
本研究では,大域空間依存性,局所空間非定常性,交通流の時間周期性を効果的にモデル化できる深部変形可能な畳み込み残差ネットワークであるDeFlow-Netを設計する。
さらに,コンボリューションに適合するため,まず関心領域に応じてトラフィックフローを集約し,次にネットワーク入力のために順次整理したラスタ画像に配置することを提案する。
実世界の交通流に関する大規模な実験により、DeFlow-Netは標準畳み込みを用いて既存のソリューションよりも優れており、先入観領域による空間分割により性能がさらに向上することが示された。
最後に,空間的自己相関の維持におけるDeFlow-Netの利点を実証し,分割形状やスケールが交通流の深部予測に与える影響を明らかにする。 Deep neural networks are being increasingly used for short-term traffic flow prediction. Existing convolution-based approaches typically partition an underlying territory into grid-like spatial units, and employ standard convolutions to learn spatial dependence among the units. However, standard convolutions with fixed geometric structures cannot fully model the nonstationary characteristics of local traffic flows. To overcome the deficiency, we introduce deformable convolution that augments the spatial sampling locations with additional offsets, to enhance the modeling capability of spatial nonstationarity. On this basis, we design a deep deformable convolutional residual network, namely DeFlow-Net, that can effectively model global spatial dependence, local spatial nonstationarity, and temporal periodicity of traffic flows. Furthermore, to fit better with convolutions, we suggest to first aggregate traffic flows according to pre-conceived regions of interest, then dispose to sequentially organized raster images for network input. Extensive experiments on real-world traffic flows demonstrate that DeFlow-Net outperforms existing solutions using standard convolutions, and spatial partition by pre-conceived regions further enhances the performance. Finally, we demonstrate the advantage of DeFlow-Net in maintaining spatial autocorrelation, and reveal the impacts of partition shapes and scales on deep traffic flow prediction. | 翻訳日:2021-04-10 05:08:07 公開日:2021-01-08 |
| # 事前学習した文脈言語モデルによるミススペル訂正 Misspelling Correction with Pre-trained Contextual Language Model ( http://arxiv.org/abs/2101.03204v1 ) ライセンス: Link先を確認 | Yifei Hu, Xiaonan Jing, Youlim Ko, Julia Taylor Rayz | (参考訳) 綴りミスとして知られる散文の不規則さは、数世紀にわたって見つかっている。
人間として、文中のその位置、知覚された発音、文脈に基づいて、誤解された単語のほとんどを理解できます。
人間とは異なり、コンピュータシステムは人間の脳が使える便利なオートコンプリート機能を持っていない。
多くのプログラムはスペル修正機能を提供しているが、多くのシステムは文脈を考慮していない。
さらに、人工知能システムは訓練のやり方で機能する。
文法的に正しいテキストデータに基づいて訓練された現在の自然言語処理(NLP)システムの多くは、敵対的な例に弱いが、正しく綴られたテキスト処理は学習に不可欠である。
本稿では,事前学習した言語モデルBERTを用いて,スペルエラーの文脈修正について検討する。
BERTと編集距離アルゴリズムに基づく2つの実験を行い、候補修正のランク付けと選択を行う。
実験の結果,BERTの文脈単語埋め込みと編集距離を適切に組み合わせることで,スペルエラーを効果的に修正できることがわかった。 Spelling irregularities, known now as spelling mistakes, have been found for several centuries. As humans, we are able to understand most of the misspelled words based on their location in the sentence, perceived pronunciation, and context. Unlike humans, computer systems do not possess the convenient auto complete functionality of which human brains are capable. While many programs provide spelling correction functionality, many systems do not take context into account. Moreover, Artificial Intelligence systems function in the way they are trained on. With many current Natural Language Processing (NLP) systems trained on grammatically correct text data, many are vulnerable against adversarial examples, yet correctly spelled text processing is crucial for learning. In this paper, we investigate how spelling errors can be corrected in context, with a pre-trained language model BERT. We present two experiments, based on BERT and the edit distance algorithm, for ranking and selecting candidate corrections. The results of our experiments demonstrated that when combined properly, contextual word embeddings of BERT and edit distance are capable of effectively correcting spelling errors. | 翻訳日:2021-04-10 05:07:44 公開日:2021-01-08 |
| # 人工知能によるスマートラーニング Artificial Intelligence enabled Smart Learning ( http://arxiv.org/abs/2101.02991v1 ) ライセンス: Link先を確認 | Faisal Khan and Debdeep Bose | (参考訳) 人工知能(ai、artificial intelligence)は、人工知能を扱うコンピュータ科学の分野である。
個々の学生、教師、および学術スタッフから収集された膨大なデータを分析するのに役立つため、AIを学習の文脈に持ち込むことは不可欠である。
教育におけるAI導入の主な優先事項は、既存のデジタル技術の革新的利用と、従来の教育方法を大幅に改善する教育実践である。
伝統的学習の主な問題は、クラス内のすべての生徒に適合できないことである。
概念をよく理解する生徒もいれば、概念を理解するのが難しい生徒もいれば、聴覚や視覚の学習者もいる。
世界銀行教育報告書は、この問題によって生じた学習ギャップが多くの学生を退学させることを示した(world development report, 2018)。
パーソナライズドラーニングはこの墓問題を解くことができた。 Artificial Intelligence (AI) is a discipline of computer science that deals with machine intelligence. It is essential to bring AI into the context of learning because it helps in analysing the enormous amounts of data that is collected from individual students, teachers and academic staff. The major priorities of implementing AI in education are making innovative use of existing digital technologies for learning, and teaching practices that significantly improve traditional educational methods. The main problem with traditional learning is that it cannot be suited to every student in class. Some students may grasp the concepts well, while some may have difficulties in understanding them and some may be more auditory or visual learners. The World Bank report on education has indicated that the learning gap created by this problem causes many students to drop out (World Development Report, 2018). Personalised learning has been able to solve this grave problem. | 翻訳日:2021-04-10 05:07:29 公開日:2021-01-08 |
| # 患者の転倒リスクを減らすための病院の部屋レイアウトの最適化 Optimizing Hospital Room Layout to Reduce the Risk of Patient Falls ( http://arxiv.org/abs/2101.03210v1 ) ライセンス: Link先を確認 | Sarvenaz Chaeibakhsh, Roya Sabbagh Novin, Tucker Hermans, Andrew Merryweather and Alan Kuntz | (参考訳) 病室での転倒に関する長年の研究にもかかわらず、転倒と関連するケガは患者の安全性に深刻な懸念を抱いている。
本研究では,転倒のリスクを最小限に抑えるため,病院室内レイアウトの生成と再構成を行うため,勾配のない制約付き最適化問題を定式化する。
本研究は, 病院の転倒モデルに基づくコスト関数を定義し, 患者の周囲の物体の支持的あるいは有害な影響を考慮し, 室内の患者軌道をシミュレーションする。
アーキテクチャガイドラインに従って生成された部屋レイアウトの機能を保証する制約セットを定義する。
シミュレーションアニールの変種を用いて効率よくこの問題を解く。
本研究は,2種類の実生活型病院において,従来の病室配置と比較した場合の平均転倒リスクが18%,ランダムに発生した場合が41%,有意な改善がみられた。 Despite years of research into patient falls in hospital rooms, falls and related injuries remain a serious concern to patient safety. In this work, we formulate a gradient-free constrained optimization problem to generate and reconfigure the hospital room interior layout to minimize the risk of falls. We define a cost function built on a hospital room fall model that takes into account the supportive or hazardous effect of the patient's surrounding objects, as well as simulated patient trajectories inside the room. We define a constraint set that ensures the functionality of the generated room layouts in addition to conforming to architectural guidelines. We solve this problem efficiently using a variant of simulated annealing. We present results for two real-world hospital room types and demonstrate a significant improvement of 18% on average in patient fall risk when compared with a traditional hospital room layout and 41% when compared with randomly generated layouts. | 翻訳日:2021-04-10 05:07:16 公開日:2021-01-08 |
| # Octave Mix: 周波数分解によるデータ拡張による活動認識 Octave Mix: Data augmentation using frequency decomposition for activity recognition ( http://arxiv.org/abs/2101.02882v1 ) ライセンス: Link先を確認 | Tatsuhito Hasegawa | (参考訳) 活動認識研究の分野では,センサデータの大量収集は困難であるが,データ拡張(da)についてはあまり議論されていない。
本研究では,センサを用いた行動認識のための新しい合成型DA手法としてOctave Mixを提案する。
Octave Mixは、周波数分解を用いて低周波と高周波の波形を交差させることにより、2種類の波形を組み合わせた単純なDA法である。
さらに,DAアンサンブルモデルとそのトレーニングアルゴリズムを提案し,多様な特徴表現を維持しつつ,元のセンサデータに対する堅牢性を取得する。
センサベース行動認識の4つのベンチマークデータセットを用いて,提案手法の有効性を評価する実験を行った。
その結果,提案手法は最適な推定精度を得た。
さらに,2つのDA戦略:Octave Mixと回転の混合,回転の混合により,精度の高いDA戦略を実現することができた。 In the research field of activity recognition, although it is difficult to collect a large amount of measured sensor data, there has not been much discussion about data augmentation (DA). In this study, I propose Octave Mix as a new synthetic-style DA method for sensor-based activity recognition. Octave Mix is a simple DA method that combines two types of waveforms by intersecting low and high frequency waveforms using frequency decomposition. In addition, I propose a DA ensemble model and its training algorithm to acquire robustness to the original sensor data while remaining a wide variety of feature representation. I conducted experiments to evaluate the effectiveness of my proposed method using four different benchmark datasets of sensing-based activity recognition. As a result, my proposed method achieved the best estimation accuracy. Furthermore, I found that ensembling two DA strategies: Octave Mix with rotation and mixup with rotation, make it possible to achieve higher accuracy. | 翻訳日:2021-04-10 05:07:02 公開日:2021-01-08 |
| # 残差ネットワークは、その神経過渡力学に基づく入力を分類する Residual networks classify inputs based on their neural transient dynamics ( http://arxiv.org/abs/2101.03009v1 ) ライセンス: Link先を確認 | Fereshteh Lagzi | (参考訳) 本研究では,残余ネットワークの入力・出力挙動を動的システムの観点から解析し,残余ダイナミクスを分類段階前に出力アクティビティから切り離すことにより解析する。
各層間の簡単なスキップ接続とロジスティック活性化関数、および層間の共有重みを持つネットワークに対して、各入力次元に対応する残差間の協調と競合ダイナミクスが存在することを解析的に示す。
これらのネットワークを非線形フィルタとして解釈すると、アトラクターネットワークの場合の残差の定常状態値は、トレーニング中にネットワークが観察した異なる入力次元間の共通特徴を示し、それらのコンポーネントに符号化されている。
残差がアトラクタ状態に収束しない場合、その内部ダイナミクスは各入力クラスで分離可能であり、ネットワークは確実に出力を近似することができる。
我々は、残差ネットワークが残差の過渡的ダイナミクスの統合に基づいて入力を分類する分析的および実証的な証拠をもたらし、入力の摂動に対してネットワークがどのように反応するかを示す。
ResNetとMulti-Layer Perceptronのネットワークダイナミクスを比較し、これらのネットワークでは内部力学とノイズの進化が根本的に異なり、ResNetはノイズの多い入力に対してより堅牢であることを示す。
これらの結果に基づき,訓練中の残留ネットワークの深さを調整できる新しい手法を開発した。
その結果、このアルゴリズムを用いてResNetの深さを解析した後、ネットワークは高い精度で入力を分類できることがわかった。 In this study, we analyze the input-output behavior of residual networks from a dynamical system point of view by disentangling the residual dynamics from the output activities before the classification stage. For a network with simple skip connections between every successive layer, and for logistic activation function, and shared weights between layers, we show analytically that there is a cooperation and competition dynamics between residuals corresponding to each input dimension. Interpreting these kind of networks as nonlinear filters, the steady state value of the residuals in the case of attractor networks are indicative of the common features between different input dimensions that the network has observed during training, and has encoded in those components. In cases where residuals do not converge to an attractor state, their internal dynamics are separable for each input class, and the network can reliably approximate the output. We bring analytical and empirical evidence that residual networks classify inputs based on the integration of the transient dynamics of the residuals, and will show how the network responds to input perturbations. We compare the network dynamics for a ResNet and a Multi-Layer Perceptron and show that the internal dynamics, and the noise evolution are fundamentally different in these networks, and ResNets are more robust to noisy inputs. Based on these findings, we also develop a new method to adjust the depth for residual networks during training. As it turns out, after pruning the depth of a ResNet using this algorithm,the network is still capable of classifying inputs with a high accuracy. | 翻訳日:2021-04-10 05:06:47 公開日:2021-01-08 |
| # テキストに基づく人物検索のための実大規模表現における文脈非局所アライメント Contextual Non-Local Alignment over Full-Scale Representation for Text-Based Person Search ( http://arxiv.org/abs/2101.03036v1 ) ライセンス: Link先を確認 | Chenyang Gao, Guanyu Cai, Xinyang Jiang, Feng Zheng, Jun Zhang, Yifei Gong, Pai Peng, Xiaowei Guo, Xing Sun | (参考訳) テキストベースの人物検索は、その人物の記述文を用いて画像ギャラリーで対象者を検索することを目的としている。
モーダルギャップによって識別的特徴の抽出がより困難になるため、非常に困難である。
また,歩行者画像と記述のクラス間差異も小さい。
あらゆるスケールで視覚的およびテキスト的手がかりを調整するには、包括的な情報が必要である。
既存のほとんどの手法は、画像とテキストの局所的なアライメントを単一のスケール(例)で考えるだけである。
グローバルスケールのみまたは部分スケールのみ) は、各スケールでアライメントを個別に構築する。
この問題に対処するために,NAFS (Non-local Alignment over Full-Scale representations) と呼ばれる,すべてのスケールで画像とテキストの特徴を適応的にアライメントできる手法を提案する。
まず,本格的画像特徴を局所性良く抽出するために,新しい階段ネットワーク構造を提案する。
次に、局所性に制約のあるBERTを提案し、異なるスケールで記述の表現を得る。
そして、各スケールで個別に特徴をアライメントするのではなく、すべてのスケールにわたる潜在アライメントを同時に発見するために、新しい文脈的非局所的アライメント機構を適用する。
実験の結果,本手法はテキストベースの人物検索データセットにおいて,トップ1と5.35%で最先端の手法を5.53%上回ることがわかった。
コードはhttps://github.com/TencentYoutuResearch/PersonReID-NAFSで公開されている。 Text-based person search aims at retrieving target person in an image gallery using a descriptive sentence of that person. It is very challenging since modal gap makes effectively extracting discriminative features more difficult. Moreover, the inter-class variance of both pedestrian images and descriptions is small. So comprehensive information is needed to align visual and textual clues across all scales. Most existing methods merely consider the local alignment between images and texts within a single scale (e.g. only global scale or only partial scale) then simply construct alignment at each scale separately. To address this problem, we propose a method that is able to adaptively align image and textual features across all scales, called NAFS (i.e.Non-local Alignment over Full-Scale representations). Firstly, a novel staircase network structure is proposed to extract full-scale image features with better locality. Secondly, a BERT with locality-constrained attention is proposed to obtain representations of descriptions at different scales. Then, instead of separately aligning features at each scale, a novel contextual non-local attention mechanism is applied to simultaneously discover latent alignments across all scales. The experimental results show that our method outperforms the state-of-the-art methods by 5.53% in terms of top-1 and 5.35% in terms of top-5 on text-based person search dataset. The code is available at https://github.com/TencentYoutuResearch/PersonReID-NAFS | 翻訳日:2021-04-10 05:06:22 公開日:2021-01-08 |
| # InMoDeGAN:ビデオ生成のための解釈可能な動き分解生成用逆数ネットワーク InMoDeGAN: Interpretable Motion Decomposition Generative Adversarial Network for Video Generation ( http://arxiv.org/abs/2101.03049v1 ) ライセンス: Link先を確認 | Yaohui Wang, Francois Bremond, Antitza Dantcheva | (参考訳) 本稿では,(a)高品質な映像を生成すること,(b)潜在空間の解釈を可能にすることを目的とした,無条件ビデオ生成モデルinmodeganを提案する。
後者では,動作の解釈と操作に重点を置いている。
そこで我々は,動作をセマンティックな部分空間に分解し,生成したサンプルの制御を可能にする。
動きを辞書で表現できると仮定し, 関連ベクトルが潜在空間に直交基底を形成するような線形運動分解法に基づいて, インモデガン生成器のアーキテクチャを設計する。
基底の各ベクトルは意味的部分空間を表す。
さらに、時間ピラミッド判別器は、異なる時間分解能でビデオを解析する。
我々のモデルは,VoxCeleb2-mini および BAIR-robot データセット w.r.t において,最先端の手法を体系的に,かつ著しく上回ることを示す。
a)に関連するビデオの品質。
b) 分割された部分空間が解釈可能であり、さらに生成された動きが制御可能であることを確認する実験結果を示す。 In this work, we introduce an unconditional video generative model, InMoDeGAN, targeted to (a) generate high quality videos, as well as to (b) allow for interpretation of the latent space. For the latter, we place emphasis on interpreting and manipulating motion. Towards this, we decompose motion into semantic sub-spaces, which allow for control of generated samples. We design the architecture of InMoDeGAN-generator in accordance to proposed Linear Motion Decomposition, which carries the assumption that motion can be represented by a dictionary, with related vectors forming an orthogonal basis in the latent space. Each vector in the basis represents a semantic sub-space. In addition, a Temporal Pyramid Discriminator analyzes videos at different temporal resolutions. Extensive quantitative and qualitative analysis shows that our model systematically and significantly outperforms state-of-the-art methods on the VoxCeleb2-mini and BAIR-robot datasets w.r.t. video quality related to (a). Towards (b) we present experimental results, confirming that decomposed sub-spaces are interpretable and moreover, generated motion is controllable. | 翻訳日:2021-04-10 05:06:03 公開日:2021-01-08 |
| # 実世界Few-Shot認識のための浅ベイズメタ学習 Shallow Bayesian Meta Learning for Real-World Few-Shot Recognition ( http://arxiv.org/abs/2101.02833v1 ) ライセンス: Link先を確認 | Xueting Zhang, Debin Meng, Henry Gouk, Timothy Hospedales | (参考訳) 現在最先端の数ショット学習者は、例えば単純なものを使う前に、特徴表現の効果的な訓練手順の開発に注力している。
最寄りのセントロイド 分類器
本稿では,使用する特徴に依存しない直交アプローチを採用し,実際の分類層をメタ学習することに集中する。
具体的には,古典的な二次判別分析のベイズメタラーニング一般化であるmetaqdaを紹介する。
メタ学習は高速でメモリ効率が良く、機能を微調整する必要がない。
選択された既成の機能には依存せず、機能表現の進歩の恩恵を受け続けるだろう。
経験上、クロスドメインの少数ショット学習において堅牢なパフォーマンスをもたらすと同時に、現実世界のアプリケーションでは、予測における不確実性キャリブレーションが向上する。 Current state-of-the-art few-shot learners focus on developing effective training procedures for feature representations, before using simple, e.g. nearest centroid, classifiers. In this paper we take an orthogonal approach that is agnostic to the features used, and focus exclusively on meta-learning the actual classifier layer. Specifically, we introduce MetaQDA, a Bayesian meta-learning generalisation of the classic quadratic discriminant analysis. This setup has several benefits of interest to practitioners: meta-learning is fast and memory efficient, without the need to fine-tune features. It is agnostic to the off-the-shelf features chosen, and thus will continue to benefit from advances in feature representations. Empirically, it leads to robust performance in cross-domain few-shot learning and, crucially for real-world applications, it leads to better uncertainty calibration in predictions. | 翻訳日:2021-04-10 05:05:25 公開日:2021-01-08 |
| # バッチ正規化の学習促進に向けて:多様体的視点 Towards Accelerating Training of Batch Normalization: A Manifold Perspective ( http://arxiv.org/abs/2101.02916v1 ) ライセンス: Link先を確認 | Mingyang Yi, Qi Meng, Wei Chen, Zhi-Ming Ma | (参考訳) バッチ正規化(bn)は、さまざまなディープニューラルネットワークにおいて重要なコンポーネントとなっている。
BN を持つネットワークは、重みの正の線形再スケーリングに不変であり、様々な重みのスケールを持つ無限の機能的に等価なネットワークが存在する。
しかし、これらの等価ネットワークを確率勾配勾配のような一階法で最適化することは、トレーニング間の異なる勾配のために異なる局所最適に収束する。
これを緩和するために、bn を持つネットワークの等価重みを全て同一の要素とみなす商多様体 \emph{psi manifold} を提案する。
また, PSI多様体上の勾配勾配勾配と確率勾配勾配も構築した。
この2つのアルゴリズムは、等価重みのすべての群(正に再スケーリングによって生じる)が等価オプティマに収束することを保証している。
さらに、提案したアルゴリズムのPSI多様体への収束率を与え、ユークリッド重み空間上のアルゴリズムと比較してトレーニングを加速することを正当化する。
実験により, アルゴリズムは様々な実験環境において, 常に優れた性能を達成できることを示す。 Batch normalization (BN) has become a crucial component across diverse deep neural networks. The network with BN is invariant to positively linear re-scaling of weights, which makes there exist infinite functionally equivalent networks with various scales of weights. However, optimizing these equivalent networks with the first-order method such as stochastic gradient descent will converge to different local optima owing to different gradients across training. To alleviate this, we propose a quotient manifold \emph{PSI manifold}, in which all the equivalent weights of the network with BN are regarded as the same one element. Then, gradient descent and stochastic gradient descent on the PSI manifold are also constructed. The two algorithms guarantee that every group of equivalent weights (caused by positively re-scaling) converge to the equivalent optima. Besides that, we give the convergence rate of the proposed algorithms on PSI manifold and justify that they accelerate training compared with the algorithms on the Euclidean weight space. Empirical studies show that our algorithms can consistently achieve better performances over various experimental settings. | 翻訳日:2021-04-10 05:05:11 公開日:2021-01-08 |
| # BN不変シャープネスはより良い一般化のためにトレーニングモデルを正規化する BN-invariant sharpness regularizes the training model to better generalization ( http://arxiv.org/abs/2101.02944v1 ) ライセンス: Link先を確認 | Mingyang Yi, Huishuai Zhang, Wei Chen, Zhi-Ming Ma, Tie-Yan Liu | (参考訳) より平らなミニマはより一般化できると考えられている。
しかし、例えばバッチ正規化層を持つネットワークのようなスケール不変のニューラルネットワークに対して、最小値が$\delta$のパラメータの球の最大値か損失の積分値のどちらかを考える通常のシャープネスの定義は一貫して測定できないことが指摘されている。
本稿では,まず,bn の等価ネットワークに対して一貫した値を与える bn-sharpness 尺度を提案する。
これにより、積分径とパラメータのスケールを接続することで、スケール不変性が得られる。
次に, BN-シャープ性(BN-シャープ性)を「シャープ」方向に沿った1次元積分で計算する計算効率のよい方法を提案する。
さらに,bnシャープネスを用いて学習を規則化し,新しい正規化目標を最小化するアルゴリズムを設計する。
本アルゴリズムは,バニラSGDよりも,様々な実験環境において優れた性能を実現する。 It is arguably believed that flatter minima can generalize better. However, it has been pointed out that the usual definitions of sharpness, which consider either the maxima or the integral of loss over a $\delta$ ball of parameters around minima, cannot give consistent measurement for scale invariant neural networks, e.g., networks with batch normalization layer. In this paper, we first propose a measure of sharpness, BN-Sharpness, which gives consistent value for equivalent networks under BN. It achieves the property of scale invariance by connecting the integral diameter with the scale of parameter. Then we present a computation-efficient way to calculate the BN-sharpness approximately i.e., one dimensional integral along the "sharpest" direction. Furthermore, we use the BN-sharpness to regularize the training and design an algorithm to minimize the new regularized objective. Our algorithm achieves considerably better performance than vanilla SGD over various experiment settings. | 翻訳日:2021-04-10 05:04:52 公開日:2021-01-08 |
| # ベンチマーク機械学習:アルゴリズムの速度はどれくらいか? Benchmarking Machine Learning: How Fast Can Your Algorithms Go? ( http://arxiv.org/abs/2101.03219v1 ) ライセンス: Link先を確認 | Zeyu Ning, Hugues Nelson Iradukunda, Qingquan Zhang, Ting Zhu | (参考訳) 本稿では,ベクトルキャッシュや並列実行など,機械学習の高速化における様々な手法の効果を評価することに焦点を当てる。
以下の内容は、以前のアプローチと我々の実験結果に関するいくつかのレビューを含む。 This paper is focused on evaluating the effect of some different techniques in machine learning speed-up, including vector caches, parallel execution, and so on. The following content will include some review of the previous approaches and our own experimental results. | 翻訳日:2021-04-10 05:04:35 公開日:2021-01-08 |
| # 条件付き生成モデルに基づくグループByクエリの近似クエリ処理 Approximate Query Processing for Group-By Queries based on Conditional Generative Models ( http://arxiv.org/abs/2101.02914v1 ) ライセンス: Link先を確認 | Meifan Zhang and Hongzhi Wang | (参考訳) Group-Byクエリは重要なクエリであり、データウェアハウス、データ分析、データ視覚化で広く使われている。
近似クエリ処理は、ビッグデータのクエリ効率を向上させる効果的な方法である。
グループバイクエリに対する回答は複数の値を含むため、すべてのグループに対して十分な正確な推定を行うのは難しい。
階層化サンプリングは、一様サンプリングに比べて精度が向上するが、特定のクエリで選択されたサンプルは他のクエリでは動作しない。
オンラインサンプリングはクエリ時に所定のクエリのサンプルを選択するが、長いレイテンシを必要とする。
したがって、正確性と効率性の両方を同時に達成することは困難である。
このような課題に直面した本研究では,条件付き生成モデルに基づくサンプル生成フレームワークを提案する。
サンプル生成フレームワークは、データにアクセスせずに、与えられたクエリのサンプルを何個も生成できる。
軽量モデルに基づく提案フレームワークは,階層化サンプリングやオンラインアグリゲーションと組み合わせることで,グループ別クエリの推定精度を向上させることができる。
実験の結果,提案手法は効率的かつ正確であることがわかった。 The Group-By query is an important kind of query, which is common and widely used in data warehouses, data analytics, and data visualization. Approximate query processing is an effective way to increase the querying efficiency on big data. The answer to a group-by query involves multiple values, which makes it difficult to provide sufficiently accurate estimations for all the groups. Stratified sampling improves the accuracy compared with the uniform sampling, but the samples chosen for some special queries cannot work for other queries. Online sampling chooses samples for the given query at query time, but it requires a long latency. Thus, it is a challenge to achieve both accuracy and efficiency at the same time. Facing such challenge, in this work, we propose a sample generation framework based on a conditional generative model. The sample generation framework can generate any number of samples for the given query without accessing the data. The proposed framework based on the lightweight model can be combined with stratified sampling and online aggregation to improve the estimation accuracy for group-by queries. The experimental results show that our proposed methods are both efficient and accurate. | 翻訳日:2021-04-10 05:04:31 公開日:2021-01-08 |
| # 作業メモリを効率的かつロバストに符号化するリカレントネットワークにおけるスロー多様体 Slow manifolds in recurrent networks encode working memory efficiently and robustly ( http://arxiv.org/abs/2101.03163v1 ) ライセンス: Link先を確認 | Elham Ghazizadeh, ShiNung Ching | (参考訳) ワーキングメモリ(working memory)は、潜在情報の保存と操作を短時間で行う認知機能であり、コンテキスト依存の計算には不可欠である。
本稿では,トップダウン・モデリング・アプローチを用いて,作業記憶のネットワークレベルのメカニズム,謎めいた問題,神経科学と機械知能の研究の中心的課題について検討する。
動作中のメモリタスクで何千ものリカレントニューラルネットワークをトレーニングし、次に続く最適化されたネットワーク上で動的システム解析を行い、そこで4つの異なる動的メカニズムが出現することを発見した。
特に,ネットワーク状態空間内の遅い安定多様体に沿って記憶がエンコードされる機構が出現し,記憶期間中に相性ニューロン活性化プロファイルが誘導されることを示す。
記憶が安定したアトラクションで直接符号化されるメカニズムとは対照的に、これらのネットワークは時間とともに刺激を忘れてしまう。
機能的に不利なように見えるが、アトラクタの景観をどのように活用するかという点では効率が良く、またパラドックス的にもノイズに対してかなり頑丈である。
この結果から,動作記憶関数が自然と人工のニューラルネットワークの両方でどのように符号化されているか,新たな動的仮説が得られた。 Working memory is a cognitive function involving the storage and manipulation of latent information over brief intervals of time, thus making it crucial for context-dependent computation. Here, we use a top-down modeling approach to examine network-level mechanisms of working memory, an enigmatic issue and central topic of study in neuroscience and machine intelligence. We train thousands of recurrent neural networks on a working memory task and then perform dynamical systems analysis on the ensuing optimized networks, wherein we find that four distinct dynamical mechanisms can emerge. In particular, we show the prevalence of a mechanism in which memories are encoded along slow stable manifolds in the network state space, leading to a phasic neuronal activation profile during memory periods. In contrast to mechanisms in which memories are directly encoded at stable attractors, these networks naturally forget stimuli over time. Despite this seeming functional disadvantage, they are more efficient in terms of how they leverage their attractor landscape and paradoxically, are considerably more robust to noise. Our results provide new dynamical hypotheses regarding how working memory function is encoded in both natural and artificial neural networks. | 翻訳日:2021-04-10 05:04:15 公開日:2021-01-08 |
| # Heteroscedasticity-aware residuals-based contextual stochastic optimization Heteroscedasticity-aware residuals-based contextual stochastic optimization ( http://arxiv.org/abs/2101.03139v1 ) ライセンス: Link先を確認 | Rohit Kannan and G\"uzin Bayraksan and James Luedtke | (参考訳) データ駆動型文脈確率最適化のための統合学習および最適化フレームワークの一般化について検討する。
本研究では,2段階の確率混合整数プログラムを含む一連の確率プログラムに対して,この一般化が漸近的かつ有限なサンプル保証を有する確率プログラム,データ生成プロセス,および予測設定の条件を同定する。
我々は、一般的なパラメトリックおよび非パラメトリック回帰法に対する仮定が有効であることを検証する。 We explore generalizations of some integrated learning and optimization frameworks for data-driven contextual stochastic optimization that can adapt to heteroscedasticity. We identify conditions on the stochastic program, data generation process, and the prediction setup under which these generalizations possess asymptotic and finite sample guarantees for a class of stochastic programs, including two-stage stochastic mixed-integer programs with continuous recourse. We verify that our assumptions hold for popular parametric and nonparametric regression methods. | 翻訳日:2021-04-10 05:03:54 公開日:2021-01-08 |
| # 広ダイナミックレンジ画像を用いたトーンマッピングオペレータの検討 A review for Tone-mapping Operators on Wide Dynamic Range Image ( http://arxiv.org/abs/2101.03003v1 ) ライセンス: Link先を確認 | Ziyi Liu | (参考訳) 平均寿命のダイナミックレンジは120dbを超えるが、スマートフォンカメラと従来のデジタルカメラは90dbのダイナミックレンジしかキャプチャできないため、記録された画像の詳細が失われることもある。
現在、一部のプロのハードウェアアプリケーションと画像融合アルゴリズムはワイドダイナミックレンジ (WDR) に設計されているが、残念ながら既存のデバイスではWDR画像は表示できない。
トーンマッピング(TM)は,WDR画像を低ダイナミックレンジ(LDR)画像に変換する,通常のスクリーン上にWDR画像を表示するための重要なステップとなる。
この話題に注目する研究者はますます増えており、人間の目が受けることができる知覚と同様の詳細な画像を示す優れたトーンマッピング演算子(TMO)を設計する取り組みを行っている。
したがって,実践可能なTMOを提案する前に,TMの歴史,展開,動向を知ることが重要である。
本稿では,tmosを従来型および機械学習に基づくカテゴリに分類した,最もよく知られているtmosの包括的研究を行う。 The dynamic range of our normal life can exceeds 120 dB, however, the smart-phone cameras and the conventional digital cameras can only capture a dynamic range of 90 dB, which sometimes leads to loss of details for the recorded image. Now, some professional hardware applications and image fusion algorithms have been devised to take wide dynamic range (WDR), but unfortunately existing devices cannot display WDR image. Tone mapping (TM) thus becomes an essential step for exhibiting WDR image on our ordinary screens, which convert the WDR image into low dynamic range (LDR) image. More and more researchers are focusing on this topic, and give their efforts to design an excellent tone mapping operator (TMO), showing detailed images as the same as the perception that human eyes could receive. Therefore, it is important for us to know the history, development, and trend of TM before proposing a practicable TMO. In this paper, we present a comprehensive study of the most well-known TMOs, which divides TMOs into traditional and machine learning-based category. | 翻訳日:2021-04-10 05:03:18 公開日:2021-01-08 |
| # 知識AI:医療画像診断のための新しい医療AIソリューション Knowledge AI: New Medical AI Solution for Medical image Diagnosis ( http://arxiv.org/abs/2101.03063v1 ) ライセンス: Link先を確認 | Yingni Wang, Shuge Lei, Jian Dai and Kehong Yuan | (参考訳) 医療用AIの実装は常に問題だった。
医療画像処理における従来の知覚AIアルゴリズムの効果を改善する必要がある。
本稿では、知覚AIと臨床知識と経験を組み合わせた知識AIの手法を提案する。
医用画像の幾何学的情報マイニングは,その経験と情報を表現し,医用画像の品質を評価することができる。 The implementation of medical AI has always been a problem. The effect of traditional perceptual AI algorithm in medical image processing needs to be improved. Here we propose a method of knowledge AI, which is a combination of perceptual AI and clinical knowledge and experience. Based on this method, the geometric information mining of medical images can represent the experience and information and evaluate the quality of medical images. | 翻訳日:2021-04-10 05:02:58 公開日:2021-01-08 |
| # ナノフォトニック構造の効率的な設計のための拡張性と微分情報を用いたベイズ最適化 Bayesian optimization with improved scalability and derivative information for efficient design of nanophotonic structures ( http://arxiv.org/abs/2101.02972v1 ) ライセンス: Link先を確認 | Xavier Garcia-Santiago, Sven Burger, Carsten Rockstuhl, Philipp-Immanuel Schneider | (参考訳) 我々は, ナノフォトニックデバイスの最適設計を求めるために, 前方形状微分とベイズ最適化のための反復反転スキームの組み合わせを提案する。
このアプローチは、ベイズ最適化の適用範囲を、より多くのイテレーションが必要であり、デリバティブ情報が利用可能である状況にまで広げる。
これは、パラメータ空間における次の評価点を特定するために必要な計算努力が、目的関数の実際の評価よりもはるかに大きいため、以前は現実的ではなかった。
導波路エッジカプラの最適化による手法の実装を示す。 We propose the combination of forward shape derivatives and the use of an iterative inversion scheme for Bayesian optimization to find optimal designs of nanophotonic devices. This approach widens the range of applicability of Bayesian optmization to situations where a larger number of iterations is required and where derivative information is available. This was previously impractical because the computational efforts required to identify the next evaluation point in the parameter space became much larger than the actual evaluation of the objective function. We demonstrate an implementation of the method by optimizing a waveguide edge coupler. | 翻訳日:2021-04-10 05:01:59 公開日:2021-01-08 |
| # ガウス過程多フォールドクロスバリデーション残差の高速計算とその共分散 Fast calculation of Gaussian Process multiple-fold cross-validation residuals and their covariances ( http://arxiv.org/abs/2101.03108v1 ) ライセンス: Link先を確認 | David Ginsbourger and Cedric Sch\"arer | (参考訳) 高速ガウス過程の残差式を複数倍のクロスバリデーションに一般化し, クロスバリデーション残差の共分散構造を広義に強調する。
Schur補数によるブロック行列の逆変換に依存するアプローチは、SimpleフレームワークとUniversal Krigingフレームワークの両方に適用される。
結果の共分散がモデル診断にどのように影響し、そもそも残差を適切に変換するかを説明する。
さらに,これらの残差間の依存性の計算がスケールパラメータのクロスバリデーションに基づく推定にどのように影響するかを検討する。
これは、スケール推定と擬似類似度によるより広い共分散パラメータ推定の2つのケースで見出され、クロスバリデーション残差間の共分散の補正は、最大推定またはその元の変動に遡る。
提案したGaussian Processの高速計算は、R言語で実装された単純な実装に対して実装され、ベンチマークされる。
数値実験は、我々のアプローチの正確さと、それを可能にする実質的なスピードアップを強調する。
しかし、計算コストの主な原動力に関する議論や専用の数値ベンチマークによって支持されるように、折りたたみ数(例えば、同じ大きさを共有するもの)が減少するにつれて、スピードアップは急激に減少する。
以上の結果から,高速な多次元交叉バリデーションを実現し,GPモデル診断の直接的な影響を生かし,将来のハイパーパラメータフィッティングや,目標指向の折り畳み設計の将来的な分野への道を開いた。 We generalize fast Gaussian process leave-one-out formulae to multiple-fold cross-validation, highlighting in turn in broad settings the covariance structure of cross-validation residuals. The employed approach, that relies on block matrix inversion via Schur complements, is applied to both Simple and Universal Kriging frameworks. We illustrate how resulting covariances affect model diagnostics and how to properly transform residuals in the first place. Beyond that, we examine how accounting for dependency between such residuals affect cross-validation-based estimation of the scale parameter. It is found in two distinct cases, namely in scale estimation and in broader covariance parameter estimation via pseudo-likelihood, that correcting for covariances between cross-validation residuals leads back to maximum likelihood estimation or to an original variation thereof. The proposed fast calculation of Gaussian Process multiple-fold cross-validation residuals is implemented and benchmarked against a naive implementation, all in R language. Numerical experiments highlight the accuracy of our approach as well as the substantial speed-ups that it enables. It is noticeable however, as supported by a discussion on the main drivers of computational costs and by a dedicated numerical benchmark, that speed-ups steeply decline as the number of folds (say, all sharing the same size) decreases. Overall, our results enable fast multiple-fold cross-validation, have direct consequences in GP model diagnostics, and pave the way to future work on hyperparameter fitting as well as on the promising field of goal-oriented fold design. | 翻訳日:2021-04-10 05:01:50 公開日:2021-01-08 |
| # ポリシー勾配アルゴリズムによる低相関GPS拡散符号の学習 Learning Low-Correlation GPS Spreading Codes with a Policy Gradient Algorithm ( http://arxiv.org/abs/2101.02850v1 ) ライセンス: Link先を確認 | Tara Yasmin Mina and Grace Xingxin Gao | (参考訳) 次世代GPS IIIコンステレーションの誕生と、GPSの将来技術を探究する航法技術衛星3(NTS-3)の打ち上げにより、我々は衛星ナビゲーションの新しい時代に入った。
それに対応して、GPS拡散コードファミリーの設計方法を見直しる時が来た。
本研究では,コード系列を拡散する高品質なファミリを構成するガウス政策勾配に基づく強化学習アルゴリズムを開発した。
我々は,同じ長さのゴールドコードやヴェイユ符号のよく知られたファミリーよりも,平均2乗のオート・アンド・クロス・コリレーションを実現するアルゴリズムの能力を実証する。
さらに,同符号評価基準を割り当てた類似の遺伝的アルゴリズムの実装との比較を行った。
著者の知識を最大限に活用するため、これは機械学習/強化学習アプローチを使用してナビゲーション拡散コードを設計する最初の仕事である。 With the birth of the next-generation GPS III constellation and the upcoming launch of the Navigation Technology Satellite-3 (NTS-3) testing platform to explore future technologies for GPS, we are indeed entering a new era of satellite navigation. Correspondingly, it is time to revisit the design methods of the GPS spreading code families. In this work, we develop a Gaussian policy gradient-based reinforcement learning algorithm which constructs high-quality families of spreading code sequences. We demonstrate the ability of our algorithm to achieve better mean-squared auto- and cross-correlation than well-chosen families of equal-length Gold codes and Weil codes. Furthermore, we compare our algorithm with an analogous genetic algorithm implementation assigned the same code evaluation metric. To the best of the authors' knowledge, this is the first work to explore using a machine learning / reinforcement learning approach to design navigation spreading codes. | 翻訳日:2021-04-10 05:01:23 公開日:2021-01-08 |
| # ロバストで信頼できる機械学習システムの開発に向けて Towards a Robust and Trustworthy Machine Learning System Development ( http://arxiv.org/abs/2101.03042v1 ) ライセンス: Link先を確認 | Pulei Xiong, Scott Buffett, Shahrear Iqbal, Philippe Lamontagne, Mohammad Mamun, and Heather Molyneaux | (参考訳) 機械学習(ML)技術は、サイバーセキュリティ、自動運転車の制御、ヘルスケアなど、多くのミッションクリティカルな分野に広く採用されている。
知的意思決定を支援する。
mlは、これらのアプリケーションにおける従来の方法よりも優れた性能を示しているが、ml固有のセキュリティ攻撃やプライバシ侵害に対するシステムのレジリエンスや、ユーザがこれらのシステムで持っている信頼に関する懸念が生じた。
本稿では、脅威モデリング、一般的な攻撃および防御技術、プライバシ保存機械学習、マシンラーニングのコンテキストにおけるユーザ信頼、MLモデルの堅牢性に関する経験的評価を含む、セキュアなMLシステム開発の全側面を網羅する、セキュリティエンジニアリングの観点から、最先端のML堅牢性と信頼性技術に関する最近の体系的かつ包括的な調査を紹介する。
次に、私たちは、ML実践者のための標準的で視覚化された方法で知識の体系を表すメタモデルを記述することで、調査を上向きに進めます。
さらに,古典的プロセスを拡張・スケールアップする汎用mlシステム開発の文脈において,組織的脅威分析とセキュリティ設計プロセスを導くためにメタモデルを活用する方法について説明する。
第3に,より堅牢で信頼性の高いMLシステムの開発を進めるための今後の研究方向性を提案する。
私たちの研究は、この分野の既存の調査と異なり、私たちの知る限り、(i)堅牢で信頼性の高いMLシステム開発をサポートするための基本的な原則とベストプラクティスを探求する、そして(ii)堅牢性とユーザ信頼の相互関係を、MLシステムのコンテキストで研究する、そのタイプのエンジニアリング活動の最初のものです。 Machine Learning (ML) technologies have been widely adopted in many mission critical fields, such as cyber security, autonomous vehicle control, healthcare, etc. to support intelligent decision-making. While ML has demonstrated impressive performance over conventional methods in these applications, concerns arose with respect to system resilience against ML-specific security attacks and privacy breaches as well as the trust that users have in these systems. In this article, firstly we present our recent systematic and comprehensive survey on the state-of-the-art ML robustness and trustworthiness technologies from a security engineering perspective, which covers all aspects of secure ML system development including threat modeling, common offensive and defensive technologies, privacy-preserving machine learning, user trust in the context of machine learning, and empirical evaluation for ML model robustness. Secondly, we then push our studies forward above and beyond a survey by describing a metamodel we created that represents the body of knowledge in a standard and visualized way for ML practitioners. We further illustrate how to leverage the metamodel to guide a systematic threat analysis and security design process in a context of generic ML system development, which extends and scales up the classic process. Thirdly, we propose future research directions motivated by our findings to advance the development of robust and trustworthy ML systems. Our work differs from existing surveys in this area in that, to the best of our knowledge, it is the first of its kind of engineering effort to (i) explore the fundamental principles and best practices to support robust and trustworthy ML system development; and (ii) study the interplay of robustness and user trust in the context of ML systems. | 翻訳日:2021-04-10 05:01:08 公開日:2021-01-08 |
| # Q-Learning Reinforcement Learning Agentを用いたSQL注入脆弱性の爆発シミュレーション Simulating SQL Injection Vulnerability Exploitation Using Q-Learning Reinforcement Learning Agents ( http://arxiv.org/abs/2101.03118v1 ) ライセンス: Link先を確認 | Laszlo Erdodi, {\AA}vald {\AA}slaugson Sommervoll, Fabio Massimo Zennaro | (参考訳) 本稿では,SQLインジェクションの脆弱性を悪用するプロセスの最初の形式化を提案する。
我々は、この問題をセキュリティキャプチャー・ザ・フラッグの課題として捉え、SQLインジェクション攻撃のダイナミクスを単純化することを検討する。
我々はそれをマルコフ決定プロセスとしてモデル化し,強化学習問題として実装する。
我々は、エージェントが個々の課題を解決するための特定の戦略だけでなく、問題発生器によってランダムにインスタンス化されたシステムに対してsqlインジェクション攻撃を実行するために適用されるより汎用的なポリシーを学習するように、トレーニングを設計します。
課題の複雑さと学習エージェントの複雑さの関数として,学習方針の品質と収束時間の観点から結果を分析する。
私たちの研究は、自律的侵入テストとホワイトハットハッキングのためのインテリジェントエージェントの開発に関する広範な研究に当てはまり、セキュリティ環境での強化学習の可能性と限界を理解することを目的としています。 In this paper, we propose a first formalization of the process of exploitation of SQL injection vulnerabilities. We consider a simplification of the dynamics of SQL injection attacks by casting this problem as a security capture-the-flag challenge. We model it as a Markov decision process, and we implement it as a reinforcement learning problem. We then deploy different reinforcement learning agents tasked with learning an effective policy to perform SQL injection; we design our training in such a way that the agent learns not just a specific strategy to solve an individual challenge but a more generic policy that may be applied to perform SQL injection attacks against any system instantiated randomly by our problem generator. We analyze the results in terms of the quality of the learned policy and in terms of convergence time as a function of the complexity of the challenge and the learning agent's complexity. Our work fits in the wider research on the development of intelligent agents for autonomous penetration testing and white-hat hacking, and our results aim to contribute to understanding the potential and the limits of reinforcement learning in a security environment. | 翻訳日:2021-04-10 05:00:22 公開日:2021-01-08 |
| # 分子動力学力場構築のための対称性適応グラフニューラルネットワーク Symmetry-adapted graph neural networks for constructing molecular dynamics force fields ( http://arxiv.org/abs/2101.02930v1 ) ライセンス: Link先を確認 | Zun Wang, Chong Wang, Sibo Zhao, Shiqiao Du, Yong Xu, Bing-Lin Gu, Wenhui Duan | (参考訳) 分子動力学は材料特性を探索する強力なシミュレーションツールである。
ほとんどの現実的な物質系は、第一原理分子動力学でシミュレートするには大きすぎる。
古典的分子動力学は計算コストは低いが、化学精度を達成するためには正確な力場を必要とする。
本研究では,分子と結晶の分子動力学シミュレーションのための力場を自動構築するために,分子動力学グラフニューラルネットワーク(MDGNN)と呼ばれる対称性適応グラフニューラルネットワークフレームワークを開発した。
このアーキテクチャは、シミュレーションにおける変換、回転、置換不変性を一貫して保持する。
高次寄与を含む新しい機能工学法を提案し,mdgnnが古典的および第一原理的分子動力学の結果を正確に再現することを示す。
また,モデルによって構築された力場は移動性が良好であることを実証する。
そのため、MDGNNは大規模システムの分子動力学シミュレーションを高精度に行うための効率的かつ有望な選択肢を提供する。 Molecular dynamics is a powerful simulation tool to explore material properties. Most of the realistic material systems are too large to be simulated with first-principles molecular dynamics. Classical molecular dynamics has lower computational cost but requires accurate force fields to achieve chemical accuracy. In this work, we develop a symmetry-adapted graph neural networks framework, named molecular dynamics graph neural networks (MDGNN), to construct force fields automatically for molecular dynamics simulations for both molecules and crystals. This architecture consistently preserves the translation, rotation and permutation invariance in the simulations. We propose a new feature engineering method including higher order contributions and show that MDGNN accurately reproduces the results of both classical and first-principles molecular dynamics. We also demonstrate that force fields constructed by the model has good transferability. Therefore, MDGNN provides an efficient and promising option for molecular dynamics simulations of large scale systems with high accuracy. | 翻訳日:2021-04-10 04:59:26 公開日:2021-01-08 |
| # ヒントによる空間的物体推薦:空間的粒度が問題となる場合 Spatial Object Recommendation with Hints: When Spatial Granularity Matters ( http://arxiv.org/abs/2101.02969v1 ) ライセンス: Link先を確認 | Hui Luo, Jingbo Zhou, Zhifeng Bao, Shuangli Li, J. Shane Culpepper, Haochao Ying, Hao Liu, Hui Xiong | (参考訳) 既存の空間オブジェクトリコメンデーションアルゴリズムは一般に、オブジェクトをランク付けする際に同一に扱う。
しかし、空間オブジェクトはしばしば異なる空間的粒度のレベルをカバーし、したがって不均一である。
例えば、あるユーザーは地域(マンハッタンなど)を推奨するが、別のユーザーは会場(レストランなど)を推奨する。
同じユーザーであっても、好みはデータ探索の異なる段階で変わる可能性がある。
本稿では,都市や郊外,建物など,空間的な粒度の異なる空間的物体を関心点(poi)として活用し,空間的粒度レベルでのtop-k空間的物体推薦を支援する方法について検討する。
この問題を解決するために,POI間の空間的包摂関係をキャプチャするPOI木を提案する。
我々はMPR(Multi-level POI Recommendation)と呼ばれる新しいマルチタスク学習モデルを設計し、各タスクは特定の空間的粒度レベルでトップk POIを返すことを目的としている。
各タスクは2つのサブタスクから構成される: (i)属性ベース表現学習; (ii)インタラクションベース表現学習。
最初のサブタスクはユーザとPOIの両方の機能表現を学び、プロファイルから直接属性をキャプチャする。
第2のサブタスクは、ユーザ-POIインタラクションをモデルに組み込む。
さらに、mprは、ユーザ-aspect、poi-aspect、interaction-aspectという3種類のヒントに基づいて、ユーザに推奨される理由に関する洞察を提供することができる。
我々は,2つの実時間データセットを用いたアプローチを実証的に検証し,いくつかの最先端手法に対して有望な性能改善を示す。 Existing spatial object recommendation algorithms generally treat objects identically when ranking them. However, spatial objects often cover different levels of spatial granularity and thereby are heterogeneous. For example, one user may prefer to be recommended a region (say Manhattan), while another user might prefer a venue (say a restaurant). Even for the same user, preferences can change at different stages of data exploration. In this paper, we study how to support top-k spatial object recommendations at varying levels of spatial granularity, enabling spatial objects at varying granularity, such as a city, suburb, or building, as a Point of Interest (POI). To solve this problem, we propose the use of a POI tree, which captures spatial containment relationships between POIs. We design a novel multi-task learning model called MPR (short for Multi-level POI Recommendation), where each task aims to return the top-k POIs at a certain spatial granularity level. Each task consists of two subtasks: (i) attribute-based representation learning; (ii) interaction-based representation learning. The first subtask learns the feature representations for both users and POIs, capturing attributes directly from their profiles. The second subtask incorporates user-POI interactions into the model. Additionally, MPR can provide insights into why certain recommendations are being made to a user based on three types of hints: user-aspect, POI-aspect, and interaction-aspect. We empirically validate our approach using two real-life datasets, and show promising performance improvements over several state-of-the-art methods. | 翻訳日:2021-04-10 04:59:14 公開日:2021-01-08 |
| # SE(3)-Equivariant Graph Neural Networks for Data-Efficient and Accurate Interatomic potentials SE(3)-Equivariant Graph Neural Networks for Data-Efficient and Accurate Interatomic Potentials ( http://arxiv.org/abs/2101.03164v1 ) ライセンス: Link先を確認 | Simon Batzner, Tess E. Smidt, Lixin Sun, Jonathan P. Mailoa, Mordechai Kornbluth, Nicola Molinari, and Boris Kozinsky | (参考訳) この研究は、分子動力学シミュレーションのためのab-initio計算から原子間ポテンシャルを学習するためのSE(3)-equivariant Neural Network approachであるNequIP(NequIP)を提示する。
現代の対称性認識モデルのほとんどは不変畳み込みを使い、スカラーにのみ作用するが、nequipは幾何学的テンソルの相互作用にse(3)同変畳み込みを用いる。
この方法は、顕著なデータ効率を示しながら、様々な分子や材料の挑戦的な集合に対して最先端の精度を達成する。
NequIPは既存のモデルを最大3桁のトレーニングデータで上回り、ディープニューラルネットワークが大量のトレーニングセットを必要とするという広く信じられている信念に挑戦する。
この手法の高データ効率は、高次量子化学レベルの理論を基準として精度の高いポテンシャルの構築を可能にし、長期にわたって高忠実度分子動力学シミュレーションを可能にする。 This work presents Neural Equivariant Interatomic Potentials (NequIP), a SE(3)-equivariant neural network approach for learning interatomic potentials from ab-initio calculations for molecular dynamics simulations. While most contemporary symmetry-aware models use invariant convolutions and only act on scalars, NequIP employs SE(3)-equivariant convolutions for interactions of geometric tensors, resulting in a more information-rich and faithful representation of atomic environments. The method achieves state-of-the-art accuracy on a challenging set of diverse molecules and materials while exhibiting remarkable data efficiency. NequIP outperforms existing models with up to three orders of magnitude fewer training data, challenging the widely held belief that deep neural networks require massive training sets. The high data efficiency of the method allows for the construction of accurate potentials using high-order quantum chemical level of theory as reference and enables high-fidelity molecular dynamics simulations over long time scales. | 翻訳日:2021-04-10 04:58:49 公開日:2021-01-08 |
| # マージツリーのスケッチ Sketching Merge Trees ( http://arxiv.org/abs/2101.03196v1 ) ライセンス: Link先を確認 | Mingzhe Li, Sourabh Palande, Bei Wang | (参考訳) マージツリーは、スカラーフィールドの下位レベルセット間の接続を記録するトポロジカルディスクリプタの一種である。
本稿では,マージ木の集合をスケッチすることに興味を持つ。
すなわち、マージツリーの集合 t が与えられたとき、t 内の各木を s 内のマージツリーの線形結合から概ね再構成できる基底集合 s を見出すことができる。
しかし、これまでマージツリーのような位相ディスクリプタはスケッチ可能であることが分かっていない。
我々は chowdhury と needham の gromov-wasserstein のフレームワークと行列のスケッチ技術を組み合わせたマージツリーのセットをスケッチするフレームワークを開発した。
我々は,科学的シミュレーションにおけるデータアンサンブルから生じるマージツリーのスケッチに,我々のフレームワークの応用を実証する。 Merge trees are a type of topological descriptors that record the connectivity among the sublevel sets of scalar fields. In this paper, we are interested in sketching a set of merge trees. That is, given a set T of merge trees, we would like to find a basis set S such that each tree in T can be approximately reconstructed from a linear combination of merge trees in S. A set of high-dimensional vectors can be sketched via matrix sketching techniques such as principal component analysis and column subset selection. However, up until now, topological descriptors such as merge trees have not been known to be sketchable. We develop a framework for sketching a set of merge trees that combines the Gromov-Wasserstein framework of Chowdhury and Needham with techniques from matrix sketching. We demonstrate the applications of our framework in sketching merge trees that arise from data ensembles in scientific simulations. | 翻訳日:2021-04-10 04:58:30 公開日:2021-01-08 |
| # 無限次元畳み込み時間ディープニューラルネットワーク Infinite-dimensional Folded-in-time Deep Neural Networks ( http://arxiv.org/abs/2101.02966v1 ) ライセンス: Link先を確認 | Florian Stelzer (1 and 2), Serhiy Yanchuk (1) ((1) Institute of Mathematics, Technische Universit\"at Berlin, Germany, (2) Department of Mathematics, Humboldt-Universit\"at zu Berlin, Germany) | (参考訳) arXiv:2011.10115で最近導入されたこの手法は、単一の非線形要素と遅延フィードバックを持つディープニューラルネットワークを実現する。
物理的に実装されたニューラルネットワークの記述に適用できる。
本研究では、より厳密な数学的解析と重み関数の選択における高い柔軟性を実現する無限次元の一般化を提案する。
正確には、重みはステップ関数の代わりにルベーグ可積分函数によって記述される。
また,重みの勾配降下トレーニングを可能にする機能的バックプロパゲーションアルゴリズムを提供する。
さらに,若干の修正を加えることで,再帰的なニューラルネットワークを実現する。 The method recently introduced in arXiv:2011.10115 realizes a deep neural network with just a single nonlinear element and delayed feedback. It is applicable for the description of physically implemented neural networks. In this work, we present an infinite-dimensional generalization, which allows for a more rigorous mathematical analysis and a higher flexibility in choosing the weight functions. Precisely speaking, the weights are described by Lebesgue integrable functions instead of step functions. We also provide a functional backpropagation algorithm, which enables gradient descent training of the weights. In addition, with a slight modification, our concept realizes recurrent neural networks. | 翻訳日:2021-04-10 04:58:17 公開日:2021-01-08 |