このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス（CC 0, CC BY, CC BY-SA）の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。（arxivのメタデータは CC 0です。） 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。
公開日が20201128となっている論文です。
| Title | Authors | Abstract | 論文公表日・翻訳日 |
|---|---|---|---|
| # 量子化学としての量子場理論の量子シミュレーション Quantum simulation of quantum field theories as quantum chemistry ( http://arxiv.org/abs/2004.13234v6 ) ライセンス: Link先を確認 | Junyu Liu, Yuan Xin | (参考訳) 共形切断(conformal truncation)は、格子正規化を導入することなく純粋場理論に基づく強結合量子論を解く強力な数値解法である。
量子デバイスを用いた計算の高速化について,短期的および将来の量子アルゴリズムを用いて検討する。
この構成は量子化学(量子情報科学において広く研究されている)に現れる量子シミュレーション問題と非常に似ており、再正規化群理論は共形切断シミュレーションの場理論解釈を提供する。
二次元量子色力学(qcd)を例にとると、変分量子シミュレーションやデジタル量子シミュレーションの、理論、古典実験、あるいはibmの量子シミュレータのレベルでの様々な明示的な計算、例えば、断熱状態準備、変分量子固有解法、虚数時間発展、量子ランチョスアルゴリズムなどがある。
我々の研究は、量子計算が格子近似における基礎物理学を理解するのに役立つだけでなく、素粒子や核物理学で広く使われている量子場理論の手法を直接シミュレートし、量子チャーチチューリング理論の主張を研ぎ澄ましていることを示している。 Conformal truncation is a powerful numerical method for solving generic strongly-coupled quantum field theories based on purely field-theoretic technics without introducing lattice regularization. We discuss possible speedups for performing those computations using quantum devices, with the help of near-term and future quantum algorithms. We show that this construction is very similar to quantum simulation problems appearing in quantum chemistry (which are widely investigated in quantum information science), and the renormalization group theory provides a field theory interpretation of conformal truncation simulation. Taking two-dimensional Quantum Chromodynamics (QCD) as an example, we give various explicit calculations of variational and digital quantum simulations in the level of theories, classical trials, or quantum simulators from IBM, including adiabatic state preparation, variational quantum eigensolver, imaginary time evolution, and quantum Lanczos algorithm. Our work shows that quantum computation could not only help us understand fundamental physics in the lattice approximation, but also simulate quantum field theory methods directly, which are widely used in particle and nuclear physics, sharpening the statement of the quantum Church-Turing Thesis. | 翻訳日:2023-05-21 22:02:13 公開日:2020-11-28 |
| # ライドバーグ不純物に対するボース・アインシュタイン凝縮環境のテイラー化 Tayloring Bose-Einstein condensate environments for a Rydberg impurity ( http://arxiv.org/abs/2006.15376v3 ) ライセンス: Link先を確認 | S.Rammohan, A.K.Chauhan, R.Nath, A.Eisfeld and S.W\"uster | (参考訳) ボース=アインシュタイン凝縮体内の特定のリドベルク状態に励起された原子がフォノンを著しく励起することを示した。
レイドバーグ原子が電子重畳状態になる場合、フォノンとの結合はデコヒーレンスをもたらす。
後者を治療するための理論的基礎を提供する。
そこで本研究では, 解析的手法と数値的手法を組み合わせて, rydberg-phonon結合係数を評価する。
これらの係数から,浴槽相関関数,スペクトル密度,再編成エネルギーを計算する。
これらすべてが環境の影響を定量化し、オープン量子システム技術に従うための重要な入力を形成する。
浴の相関の振幅は、主量子数 $\nu$ とパワー法則 $\nu^{-5}$ のようにスケールし、再編成エネルギーは $\nu^{-3}$ のようにスケールし、リドバーグ原子特性の極端なチューナビリティを反映している。
凝縮物のリドバーグの不純物は、非常に制御された系、カップリングおよび環境ハミルトニアンを持つ非自明な開量子系を構成する。 Experiments have demonstrated that atoms excited to specific Rydberg states within Bose-Einstein condensates cause significant excitation of phonons. If the Rydberg atom is brought into an electronic superposition state, this coupling to phonons leads to decoherence. We provide the theoretical basis for the treatment of the latter. To this end, we evaluate Rydberg-phonon coupling coefficients using a combination of analytical and numerical techniques. From these coefficients, we calculate bath correlation functions, spectral densities and re-organisation energies. All these quantify the influence of the environment and form essential inputs for follow up open quantum system techniques. We find that the amplitude of bath correlations scales like the power law $\nu^{-5}$ with the principal quantum number $\nu$, while re-organisation energies scale like $\nu^{-3}$, reflecting the extreme tunability of Rydberg atomic properties. Rydberg impurities in condensates thus constitute a non-trivial open-quantum system with exceptionally controlled system, coupling and environmental Hamiltonians. | 翻訳日:2023-05-12 07:25:44 公開日:2020-11-28 |
| # 統一フレームワークによるマルチキュービットシステムの非局所性と絡み合い Non-locality and entanglement in multi-qubit systems from a unified framework ( http://arxiv.org/abs/2007.10009v2 ) ライセンス: Link先を確認 | Sooryansh Asthana and Soumik Adhikary and V. Ravishankar | (参考訳) 非古典確率は量子力学の根底にある特徴である。
2ビット系のベル-CHSH非局所性の出現と2ビット系の線形絡み合いの不等式は、Adhikary et al. 2020 (Eur. Phys. J. D 74, 68 (2020)) で明らかに古典的確率規則違反として示されている。
本稿では,非局所性不等式を破ることは,古典的確率規則を破ることであり,負の確率性によって表されるものであり,基礎となる理論とは無関係であることを示すことにより,その研究を改善する。
エンタングルメントに進むにつれて,マルチキュービットシステムの線形および非線形エンタングルメント証人が,古典的確率規則の違反としてどのように得られるかを示すために,親擬射影を用いる。
これらは、異なる方法を用いてより早く派生したものを含む。
これは代数的アプローチの観点で現在の理解を補完する視点を提供する。 Non-classical probability is the underlying feature of quantum mechanics. The emergence of Bell-CHSH non-locality for bipartite systems and linear entanglement inequalities for two-qubit systems has been shown in Adhikary et al. 2020 [Eur. Phys. J. D 74, 68 (2020)], purely as violations of classical probability rules. In this paper, we improve upon that work by showing that violation of any nonlocality inequality implies violation of classical probability rules, manifested through negative probabilities, without recourse to any underlying theory. Moving on to entanglement, we employ parent pseudoprojections to show how any number of linear and nonlinear entanglement witnesses for multiqubit systems can be obtained as violations of classical probability rules. They include the ones that have been derived earlier by employing different methods. It provides a perspective complementary to the current understanding in terms of the algebraic approaches. | 翻訳日:2023-05-08 23:28:45 公開日:2020-11-28 |
| # 量子割り当てのためのQUBOの定式化 A QUBO Formulation for Qubit Allocation ( http://arxiv.org/abs/2009.00140v2 ) ライセンス: Link先を確認 | Bryan Dury, Olivia Di Matteo | (参考訳) 量子コンピュータ上でアルゴリズムを実行するには、回路の論理量子ビットから量子ハードウェア上の物理量子ビットへの割り当てを選択する必要がある。
この初期量子ビット配置(qubit placement、qubit allocation)のタスクは、現在の量子コンピュータにおいて特に重要であり、限られた数の量子ビット、接続制約、様々なゲートファイバーを持つ。
本研究では、量子ビット配置問題を2次非拘束二元最適化(QUBO)問題として定式化して実装し、シミュレーションアニールを用いて初期配置のスペクトルを求める。
t|ket$\rangle $ と qiskit で使用可能な現在の割り当て方法と比較して、qubo 法は、大規模なベンチマーク回路セットの$50% で回路の深さを改善して割り当てを行うが、その多くはcxゲートを少なくする。 To run an algorithm on a quantum computer, one must choose an assignment from logical qubits in a circuit to physical qubits on quantum hardware. This task of initial qubit placement, or qubit allocation, is especially important on present-day quantum computers which have a limited number of qubits, connectivity constraints, and varying gate fidelities. In this work we formulate and implement the qubit placement problem as a quadratic, unconstrained binary optimization (QUBO) problem and solve it using simulated annealing to obtain a spectrum of initial placements. Compared to contemporary allocation methods available in t|ket$\rangle $ and Qiskit, the QUBO method yields allocations with improved circuit depth for $>$50% of a large set of benchmark circuits, with many also requiring fewer CX gates. | 翻訳日:2023-05-04 05:15:44 公開日:2020-11-28 |
| # ひとりか他者か?
モバイルセンシングによる大学生の食事エピソードの理解 Alone or With Others? Understanding Eating Episodes of College Students with Mobile Sensing ( http://arxiv.org/abs/2011.11694v2 ) ライセンス: Link先を確認 | Lakmal Meegahapola, Salvador Ruiz-Correa, Daniel Gatica-Perez | (参考訳) モバイルセンシングを用いた食品消費パターンとコンテキストの理解は、モバイル食品日記を生成するのに最小限のユーザーインタラクションを必要とするモバイル健康アプリケーションを構築する上で基本である。
商用と研究の両方で利用可能なモバイルフード日記の多くは、セルフレポートに大きく依存しており、この依存関係は、人々によるこれらのアプリの長期的な採用を制限する。
食事の社会的文脈(友人、家族、パートナーなど)は、栄養・行動科学の先行研究によると、食事の種類、食事中の心理的状態、食物の量といった側面に影響を及ぼす重要な自己報告的特徴である。
本研究では,スイス(N_ch=122)とメキシコ(N_mx=84)の2つの国における大学生の日常食行動に関する2つのデータセットを用いて,ウェアラブルとスマートフォンの受動的知覚データと食生活との関連性を検討する。
さらに、受動的センシングデータと摂食時間を用いて、摂食と食のエピソードを推定する分類タスクを設計し、77%から81%の精度を得る。
これは、モバイルセンシングによる食品消費に関連する、より複雑な社会的コンテキストを理解するための第一歩だと考えています。 Understanding food consumption patterns and contexts using mobile sensing is fundamental to build mobile health applications that require minimal user interaction to generate mobile food diaries. Many available mobile food diaries, both commercial and in research, heavily rely on self-reports, and this dependency limits the long term adoption of these apps by people. The social context of eating (alone, with friends, with family, with a partner, etc.) is an important self-reported feature that influences aspects such as food type, psychological state while eating, and the amount of food, according to prior research in nutrition and behavioral sciences. In this work, we use two datasets regarding the everyday eating behavior of college students in two countries, namely Switzerland (N_ch=122) and Mexico (N_mx=84), to examine the relation between the social context of eating and passive sensing data from wearables and smartphones. Moreover, we design a classification task, namely inferring eating-alone vs. eating-with-others episodes using passive sensing data and time of eating, obtaining accuracies between 77% and 81%. We believe that this is a first step towards understanding more complex social contexts related to food consumption using mobile sensing. | 翻訳日:2023-04-23 08:40:29 公開日:2020-11-28 |
| # 学術コミュニケーションのアクセラレーターとしてのプレプリント--数学の実証分析 Preprints as accelerator of scholarly communication: An empirical analysis in Mathematics ( http://arxiv.org/abs/2011.11940v2 ) ライセンス: Link先を確認 | Zhiqi Wang, Yue Chen, Wolfgang Gl\"anzel | (参考訳) 本研究では,プリプリントの鍵となる要因を分析し,学術的コミュニケーションの促進に寄与する。
この目的のために,学術的コミュニケーションと文献的指標(Web of Science, Scopus citations)に基づく4つのメトリクス群を用いており,その一方で,使用数(Web of Science, 利用回数),捕獲数(Mendeley Reader),ソーシャルメディアの注目度(Tweets)を反映している。
ここでは,出版の遅れと影響の2つの効果を計測する。
我々は、arXivの以前のプレプリント版による雑誌記事の影響を評価するために、いくつかの指標を定義し、使用します。
特に、インジケータは、arxivプレプリント出版の過程とジャーナル版レビューの過程、および引用からプレプリントへの老化パターンを数回測定する。
さらに,従来のarxivのプレプリント版を使わずに,プレプリント版と非oa版の間に観察されたパターンを比較した。
我々は、プレプリントの「初期ビュー」と「オープンアクセス」効果が、プリプリントの計測可能な引用と読者シップの利点に寄与することが観察できた。
プレプリント版の記事はソーシャルメディアで言及されることが多く、altmetricの注意の遅れが短い。
利用とキャプチャは、ツイートよりも引用に適度だが強い相関関係があることを証明している。
異なる指標間の回帰線の異なる傾きは、使用量、捕獲、引用データの異なる順序を反映している。 In this study we analyse the key driving factors of preprints in enhancing scholarly communication. To this end we use four groups of metrics, one referring to scholarly communication and based on bibliometric indicators (Web of Science and Scopus citations), while the others reflect usage (usage counts in Web of Science), capture (Mendeley readers) and social media attention (Tweets). Hereby we measure two effects associated with preprint publishing: publication delay and impact. We define and use several indicators to assess the impact of journal articles with previous preprint versions in arXiv. In particular, the indicators measure several times characterizing the process of arXiv preprints publishing and the reviewing process of the journal versions, and the ageing patterns of citations to preprints. In addition, we compare the observed patterns between preprints and non-OA articles without any previous preprint versions in arXiv. We could observe that the "early-view" and "open-access" effects of preprints contribute to a measurable citation and readership advantage of preprints. Articles with preprint versions are more likely to be mentioned in social media and have shorter Altmetric attention delay. Usage and capture prove to have only moderate but stronger correlation with citations than Tweets. The different slopes of the regression lines between the different indicators reflect different order of magnitude of usage, capture and citation data. | 翻訳日:2023-04-23 06:50:51 公開日:2020-11-28 |
| # リアルワールド"におけるAI:低リソースコンテキストにおけるAIデプロイメントの影響を考察 AI in the "Real World": Examining the Impact of AI Deployment in Low-Resource Contexts ( http://arxiv.org/abs/2012.01165v1 ) ライセンス: Link先を確認 | Chinasa T. Okolo | (参考訳) AIが世界中で統合されるにつれて、Global South周辺の低リソース領域への影響の可能性が高まっている。
Microsoft、Google、IBMといったテクノロジー大企業のAI研究所は、インド、ガーナ、南アフリカなどの国で大きな存在感を持っている。
これらの実験室が行った研究は、しばしば地元住民に影響を及ぼす可能性によって動機づけられるが、これらのツールの展開は必ずしも順調に進んでいない。
本稿では、低リソース環境にある大手産業研究所によるAIの展開を検討するケーススタディとして、予想外の展開に影響を与える要因を強調し、グローバルサウスにおけるAIの展開状況を反映し、AI開発に包括的設計方法論を取り入れ、疎外化コミュニティのニーズを優先し、AIシステムの受益者としてだけでなく、主要ステークホルダとしての地位を高めることを提案する。 As AI becomes integrated throughout the world, its potential for impact within low-resource regions around the Global South have grown. AI research labs from tech giants like Microsoft, Google, and IBM have a significant presence in countries such as India, Ghana, and South Africa. The work done by these labs is often motivated by the potential impact it could have on local populations, but the deployment of these tools has not always gone smoothly. This paper presents a case study examining the deployment of AI by large industry labs situated in low-resource contexts, highlights factors impacting unanticipated deployments, and reflects on the state of AI deployment within the Global South, providing suggestions that embrace inclusive design methodologies within AI development that prioritize the needs of marginalized communities and elevate their status not just as beneficiaries of AI systems but as primary stakeholders. | 翻訳日:2023-04-22 18:33:20 公開日:2020-11-28 |
| # フェルミオンおよびボゾン環境の影響によるトポロジカル量子ビットの量子速度制限時間 Quantum speed limit time for topological qubit influenced by fermionic and bosonic environment ( http://arxiv.org/abs/2011.14199v1 ) ライセンス: Link先を確認 | Soroush Haseli, Hazhir Dolatkhah, Shahriar Salimi | (参考訳) 量子理論は、初期状態から目標状態への変換に必要な最小時間に制限を設定する。
量子速度制限時間(quantum speed limit time)とも呼ばれる。
量子速度制限時間は、閉かつオープンな量子系における量子進化の速度を決定するために用いられる。
実世界では、オープン量子系を扱うことを考えると、そのような系に対する量子速度制限時間の研究は特に重要である。
本研究では、2つのマヨラナモードによって実現された位相的量子ビットを考える。
位相キュービットがフェルミオン環境とボソニック環境の影響を受けている場合を考える。
フェルミオン環境とボソニック環境はオーミックのようなスペクトル密度を持つと仮定される。
量子速度制限時間はオオミックパラメータの異なる様々な環境に対して検討される。
オーミックパラメータが増加する超オーミック環境においては、量子速度制限時間は徐々に一定値に達し、進化の速度は均一値に達することが観察された。
また,外部磁場が進化速度に及ぼす影響についても検討した。
磁場の大きさが大きくなると、量子速度制限時間は減少する。 Quantum theory sets a limit on the minimum time required to transform from an initial state to a target state. It is known as quantum speed limit time. quantum speed limit time can be used to determine the rate of quantum evolution for closed and open quantum systems. Given that in the real world we are dealing with open quantum systems, the study of quantum speed limit time for such systems has particular importance. In this work we consider the topological qubit realized by two Majorana modes. We consider the case in which the topological qubit is influenced by fermionic and bosonic environment. Fermionic and bosonic environments are assumed to have Ohmic-like spectral density. The quantum speed limit time is investigated for various environment with different Ohmic parameter. It is observed that for super-Ohmic environment with increasing Ohmic parameter the quantum speed limit time gradually reaches to a constant value and thus the speed of evolution reaches to a uniform value. The effects of external magnetic field on the evolution rate are also studied. It is observed that with increasing magnitude of magnetic field, the quantum speed limit time decreases | 翻訳日:2023-04-22 18:33:06 公開日:2020-11-28 |
| # 液状民主主義のパラメータ化複雑性について On Parameterized Complexity of Liquid Democracy ( http://arxiv.org/abs/2011.14192v1 ) ライセンス: Link先を確認 | Palash Dey, Arnab Maiti and Amatya Sharma | (参考訳) 流動民主主義では、各投票者は自決するか、他の投票者に投票を委任する。
これは代入グラフと呼ばれるものを生み出します。
最終的に投票する有権者を、投票する有権者のサブセットと共に決定するには、代表グラフのサイクルを解決する必要がある。
このことは、デリゲートグラフの非巡回部分グラフを見つける必要があるリゾルフ・デリゲーション問題を引き起こし、投票した有権者の数は、上述の整数 {\lambda} によって制限される。
投票者が投票する有権者の数を上限にすることで、システムデザイナーは個々の投票者の権限を制限することができる。
Resolve Delegation問題はすでにNPハードであることが知られている。
本稿では,この問題のパラメータ化複雑性について検討する。
Resolve Delegation はパラメータ {\lambda} 、シンクノードの数、デリゲートグラフの最大度に関してパラNPハードであることを示す。
また、デリゲートグラフのツリー幅に関しても、Resolve Delegation は W[1]-hard であることを示す。
我々は、他のパラメータに関してFPTアルゴリズムを示すことで、負の結果を補完する。
最終的に、Resolve Fractional Delegationと呼ばれる関連する問題が多項式時間分解可能であることを示す。 In liquid democracy, each voter either votes herself or delegates her vote to some other voter. This gives rise to what is called a delegation graph. To decide the voters who eventually votes along with the subset of voters whose votes they give, we need to resolve the cycles in the delegation graph. This gives rise to the Resolve Delegation problem where we need to find an acyclic sub-graph of the delegation graph such that the number of voters whose votes they give is bounded above by some integer {\lambda}. Putting a cap on the number of voters whose votes a voter gives enable the system designer restrict the power of any individual voter. The Resolve Delegation problem is already known to be NP-hard. In this paper we study the parameterized complexity of this problem. We show that Resolve Delegation is para-NP-hard with respect to parameters {\lambda}, number of sink nodes and the maximum degree of the delegation graph. We also show that Resolve Delegation is W[1]-hard even with respect to the treewidth of the delegation graph. We complement our negative results by exhibiting FPT algorithms with respect to some other parameters. We finally show that a related problem, which we call Resolve Fractional Delegation, is polynomial time solvable. | 翻訳日:2023-04-22 18:32:49 公開日:2020-11-28 |
| # 一般化チェビシェフ多項式による発振器様系のマンデルパラメータの計算 Calculating the Mandel parameter for an oscillator-like system generated by generalized Chebyshev polynomials ( http://arxiv.org/abs/2011.14140v1 ) ライセンス: Link先を確認 | V.V. Borzov, E.V. Damaskinsky | (参考訳) 本稿では、一般化されたチェビシェフ多項式 \cite{01}, \cite{02}, \cite{03} によって生成される発振器系に対するマンデルパラメータ $q_m$ を計算する。
マンデルパラメータ$Q_M$の符号は、Poissonパラメータからの励起統計のずれを特徴付ける。
この仕事は我々の著作である \cite{04}, \cite{05} の継続である。 In this paper, we calculate the Mandel parameter $Q_M$ for an oscillator-like system generated by generalized Chebyshev polynomials \cite{01}, \cite{02}, \cite{03}. The sign of the Mandel parameter $Q_M$ characterizes the deviation of the excitation statistics from the Poisson one. This work is a continuation of our works \cite{04}, \cite{05}. | 翻訳日:2023-04-22 18:32:28 公開日:2020-11-28 |
| # 集積QRNGチップの量子エントロピーモデル Quantum entropy model of an integrated QRNG chip ( http://arxiv.org/abs/2011.14129v1 ) ライセンス: Link先を確認 | Ga\"etan Gras and Anthony Martin and Jeong Woon Choi and F\'elix Bussi\`eres | (参考訳) 発光ダイオードにより放出される光子数の量子揺らぎに基づいて,量子乱数発生器チップのエントロピー源の物理モデルを提案する。
このモデルはチップの特性と組み合わせて、後処理なしで1ビットあたり0.98以上の量子ミニエントロピーを推定する。
最後に,セキュリティ面でのパフォーマンスが時間とともに変動しても堅牢であることをモデルで示します。 We present the physical model for the entropy source of a quantum random number generator chip based on the quantum fluctuations of the photon number emitted by light-emitting diodes. This model, combined with a characterization of the chip, estimates a quantum min-entropy of over 0.98 per bit without post-processing. Finally, we show with our model that the performances in terms of security are robust against fluctuations over time. | 翻訳日:2023-04-22 18:32:20 公開日:2020-11-28 |
| # 高周波空洞における単一分子の励起子-トリオンダイナミクス Exciton-trion dynamics of a single molecule in a radio-frequency cavity ( http://arxiv.org/abs/2011.14093v1 ) ライセンス: Link先を確認 | Ji\v{r}\'i Dole\v{z}al, Sofia Canola, Pablo Merino, Martin \v{S}vec | (参考訳) 電荷キャリア注入によって生じる荷電光励起(trion)は、電界によって生成および操作できるため、新興の光電子技術にとって重要である。
トリオンと中性エキシトンは、先端濃縮分光法により単一の分子で効率的に誘導することができる。
しかし、この方法ではサブナノメータとサブナノ秒のキャラクタリゼーションを同時に行う必要があるため、単一分子レベルでの励起子-トリオンダイナミクスについてはほとんど知られていない。
本稿では, 高周波変調走査トンネル発光と時間分解光子検出を組み合わせた位相フルオロメトリーによる励起子-トリオンのダイナミクスについて検討する。
我々は、NaCl/Ag(111)上に一分子の亜鉛フタロシアニン(ZnPc)分子において励起子と三イオンを生成し、それらのダイナミクスを決定、原子分解能でピコ秒範囲の系の進化を辿る。
さらに, 有効寿命のバイアス電圧依存性を探究し, トリオン形成の一次機構として電荷捕獲による中性励起子のトリオンへの変換を提案する。 Charged optical excitations (trions) generated by charge carrier injection are crucial for emerging optoelectronic technologies as they can be produced and manipulated by electric fields. Trions and neutral excitons can be efficiently induced in single molecules by means of tip-enhanced spectromicroscopic techniques. However, little is known of the exciton-trion dynamics at single molecule level as this requires methods permitting simultaneous sub-nanometer and sub-nanosecond characterization. Here, we investigate exciton-trion dynamics by phase fluorometry, combining radio-frequency modulated scanning tunnelling luminescence with time-resolved single photon detection. We generate excitons and trions in single Zinc Phthalocyanine (ZnPc) molecules on NaCl/Ag(111), determine their dynamics and trace the evolution of the system in the picosecond range with atomic resolution. In addition, we explore dependence of effective lifetimes on bias voltage and propose a conversion of neutral excitons into trions via charge capture as the primary mechanism of trion formation. | 翻訳日:2023-04-22 18:31:59 公開日:2020-11-28 |
| # プログラミングによる離散数学:原則的アプローチ Discrete Math with Programming: A Principled Approach ( http://arxiv.org/abs/2011.14059v1 ) ライセンス: Link先を確認 | Yanhong A. Liu and Matthew Castelllana | (参考訳) 離散数学はコンピュータ科学の基礎である。
数学の表記法を用いて研究される概念と推論方法に焦点を当てる。
離散数学は、概念と計算方法を取り込んで実行可能プログラムに変換するプログラミングにより、より良く教えられると長い間主張されてきた。
これまでに欠けているのは、離散数学(特に述語論理)のすべての中心的な概念をサポートし、数学表記を実行可能プログラムと直接的かつ正確に結び付ける原則的なアプローチである。
本稿ではそのようなアプローチを紹介する。
これは、pythonプログラミング言語を適切な論理量化("for all"と"exists some")で拡張する強力な言語の使用と、宣言的な集合の理解(set builderとしても知られる)と集約(例えば和と積)に基づいている。
数学と論理ステートメントは、高いレベルで正確に表現され、コンピュータ上で直接実行されることができ、アルゴリズムプログラミングとともに宣言型プログラミングを奨励する。
アプローチ、詳細な例、使用経験、学んだ教訓について説明する。 Discrete mathematics is the foundation of computer science. It focuses on concepts and reasoning methods that are studied using math notations. It has long been argued that discrete math is better taught with programming, which takes concepts and computing methods and turns them into executable programs. What has been lacking is a principled approach that supports all central concepts of discrete math -- especially predicate logic -- and that directly and precisely connects math notations with executable programs. This paper introduces such an approach. It is based on the use of a powerful language that extends the Python programming language with proper logic quantification ("for all" and "exists some"), as well as declarative set comprehension (also known as set builder) and aggregation (e.g., sum and product). Math and logical statements can be expressed precisely at a high level and be executed directly on a computer, encouraging declarative programming together with algorithmic programming. We describe the approach, detailed examples, experience in using it, and the lessons learned. | 翻訳日:2023-04-22 18:31:39 公開日:2020-11-28 |
| # 古典電子の非最小スピン場相互作用とスピンの量子化 Nonminimal spin-field interaction of the classical electron and quantization of spin ( http://arxiv.org/abs/2001.01294v4 ) ライセンス: Link先を確認 | Alexei A. Deriglazov | (参考訳) スピン電子の半古典的なモデルを説明し、これらのモデルが有用であることが判明したいくつかの理論的問題を列挙する。
次に,これらのモデルの適用範囲を,スピンが先行軸に対して上下に整列するよう強制する相互作用を導入することによって拡張する可能性について論じる。 I shortly describe semi-classical models of spinning electron and list a number of theoretical issues where these models turn out to be useful, see arXiv:1710.07135 for details. Then I discuss the possibility to extend the range of applicability of these models by introducing an interaction, that forces the spin to align up or down relative to its precession axis. | 翻訳日:2023-01-14 08:14:08 公開日:2020-11-28 |
| # アルカリ-地球リドベルグ原子の高忠実な絡み合いと検出 High-Fidelity Entanglement and Detection of Alkaline-Earth Rydberg Atoms ( http://arxiv.org/abs/2001.04455v2 ) ライセンス: Link先を確認 | Ivaylo S. Madjarov, Jacob P. Covey, Adam L. Shaw, Joonhee Choi, Anant Kale, Alexandre Cooper, Hannes Pichler, Vladimir Schkolnik, Jason R. Williams, and Manuel Endres | (参考訳) 閉じ込められた中性原子は量子科学の顕著な基盤となり、高度に励起されたライドバーグ状態を用いてエンタングルメント忠実性記録が設定されている。
しかし、制御された2ビットのエンタングルメント生成は、これまでアルカリ種に限られており、より複雑な電子構造をオープンフロンティアとして利用することで、改良された忠実性や量子増幅光時計のような根本的に異なる応用につながる可能性がある。
本稿では,アルカリ土類ライドバーグ原子の2価電子構造を利用した新しいアプローチを示す。
我々は、Rydberg状態検出、単一原子ラビ演算、および以前に公表された値を超える2原子エンタングルメントの忠実性を見出した。
プログラム可能な量子メロロジーやハイブリッド原子イオンシステムなど,新しい応用の道を開くとともに,アルカリ土類系量子コンピューティングアーキテクチャのステージを設定した。 Trapped neutral atoms have become a prominent platform for quantum science, where entanglement fidelity records have been set using highly-excited Rydberg states. However, controlled two-qubit entanglement generation has so far been limited to alkali species, leaving the exploitation of more complex electronic structures as an open frontier that could lead to improved fidelities and fundamentally different applications such as quantum-enhanced optical clocks. Here we demonstrate a novel approach utilizing the two-valence electron structure of individual alkaline-earth Rydberg atoms. We find fidelities for Rydberg state detection, single-atom Rabi operations, and two-atom entanglement surpassing previously published values. Our results pave the way for novel applications, including programmable quantum metrology and hybrid atom-ion systems, and set the stage for alkaline-earth based quantum computing architectures. | 翻訳日:2023-01-12 00:15:41 公開日:2020-11-28 |
| # 不均衡データの過度最適予測結果:過剰サンプリング適用時の欠陥と便益を事例として Overly Optimistic Prediction Results on Imbalanced Data: a Case Study of Flaws and Benefits when Applying Over-sampling ( http://arxiv.org/abs/2001.06296v2 ) ライセンス: Link先を確認 | Gilles Vandewiele, Isabelle Dehaene, Gy\"orgy Kov\'acs, Lucas Sterckx, Olivier Janssens, Femke Ongenae, Femke De Backere, Filip De Turck, Kristien Roelens, Johan Decruyenaere, Sofie Van Hoecke, Thomas Demeester | (参考訳) エレクトロヒステログラフィー記録から抽出された情報は、早産リスクを推定するための興味深い追加情報源となる可能性がある。
近年、多くの研究が、用語/初期ヒステグラムデータベース (term/preterm electrohysterogram database) と呼ばれる公的資源を用いて、長期または長期の患者の記録を区別するほぼ完全な結果を報告している。
しかし,本研究の結果は方法論的欠陥が生じたため,非常に楽観的であった。
本研究では,データを相互に排他的なトレーニングとテストセットに分割する前にオーバーサンプリングを適用する,特定の方法論的欠陥に着目する。
この結果が2つの人工データセットを用いて偏りを生じさせ、この欠陥が特定された研究の結果を再現する。
さらに,データ分割に先立って適用されたオーバーサンプリングが実際の予測性能に与える影響を,関連研究と同じ手法を用いて評価し,これらの手法の一般化能力の現実的なビューを提供する。
オープンライセンスですべてのコードを提供することで、研究を再現できます。 Information extracted from electrohysterography recordings could potentially prove to be an interesting additional source of information to estimate the risk on preterm birth. Recently, a large number of studies have reported near-perfect results to distinguish between recordings of patients that will deliver term or preterm using a public resource, called the Term/Preterm Electrohysterogram database. However, we argue that these results are overly optimistic due to a methodological flaw being made. In this work, we focus on one specific type of methodological flaw: applying over-sampling before partitioning the data into mutually exclusive training and testing sets. We show how this causes the results to be biased using two artificial datasets and reproduce results of studies in which this flaw was identified. Moreover, we evaluate the actual impact of over-sampling on predictive performance, when applied prior to data partitioning, using the same methodologies of related studies, to provide a realistic view of these methodologies' generalization capabilities. We make our research reproducible by providing all the code under an open license. | 翻訳日:2023-01-11 06:13:52 公開日:2020-11-28 |
| # パレートベースの検索ベースソフトウェアエンジニアリングにおけるソリューションの評価方法
批判的レビューと方法論指導 How to Evaluate Solutions in Pareto-based Search-Based Software Engineering? A Critical Review and Methodological Guidance ( http://arxiv.org/abs/2002.09040v4 ) ライセンス: Link先を確認 | Miqing Li and Tao Chen and Xin Yao | (参考訳) 現代の要件では、多くのソフトウェアエンジニアリング(SE)シナリオにおいて、複数の目標/基準を同時に検討する傾向が高まっています。
このような多目的最適化シナリオには重要な問題があり、最適化アルゴリズムの結果をどのように評価するかが問題となる。
この問題はSEコミュニティ、特に検索ベースSE(SBSE)の実践者にとって難しい。
一方、多目的最適化はSE/SBSE研究者にとって比較的新しいものであり、それらの問題に対する適切な評価方法を特定できない可能性がある。
一方、一般的な多目的最適化問題に対する評価手法に従うだけでは、特に問題の性質や意思決定者の好みが明確かつ単純である場合、特定のSE問題には適さない。
これは、様々な不適切な、不適切な選択と不正確な評価方法の使用によって、文献によく反映されている。
本稿では,SBSEにおける多目的最適化のための品質評価の体系的かつ批判的なレビューを行う。
2009年から2019年にかけて、36の会場から7つのレポジトリから717の論文を調査し、95の著名な研究を選定した。
次に、SBSEにおける品質評価指標/手法と一般的な状況の詳細な分析を行い、特定された問題とともに、異なるSBSEシナリオにおける評価方法の選択と利用のための方法論的ガイダンスを定式化することができる。 With modern requirements, there is an increasing tendency of considering multiple objectives/criteria simultaneously in many Software Engineering (SE) scenarios. Such a multi-objective optimization scenario comes with an important issue -- how to evaluate the outcome of optimization algorithms, which typically is a set of incomparable solutions (i.e., being Pareto non-dominated to each other). This issue can be challenging for the SE community, particularly for practitioners of Search-Based SE (SBSE). On one hand, multi-objective optimization could still be relatively new to SE/SBSE researchers, who may not be able to identify the right evaluation methods for their problems. On the other hand, simply following the evaluation methods for general multi-objective optimization problems may not be appropriate for specific SE problems, especially when the problem nature or decision maker's preferences are explicitly/implicitly available. This has been well echoed in the literature by various inappropriate/inadequate selection and inaccurate/misleading use of evaluation methods. In this paper, we first carry out a systematic and critical review of quality evaluation for multi-objective optimization in SBSE. We survey 717 papers published between 2009 and 2019 from 36 venues in seven repositories, and select 95 prominent studies, through which we identify five important but overlooked issues in the area. We then conduct an in-depth analysis of quality evaluation indicators/methods and general situations in SBSE, which, together with the identified issues, enables us to codify a methodological guidance for selecting and using evaluation methods in different SBSE scenarios. | 翻訳日:2022-12-30 08:00:35 公開日:2020-11-28 |
| # 個別に公正な表現を認定する学習 Learning Certified Individually Fair Representations ( http://arxiv.org/abs/2002.10312v2 ) ライセンス: Link先を確認 | Anian Ruoss, Mislav Balunovi\'c, Marc Fischer, and Martin Vechev | (参考訳) 公平表現学習(fair representation learning)は、下流ユーザのユーティリティを損なうことなく公平性制約を強制する効果的な方法を提供する。
このような公正な制約の望ましい家族は、それぞれ類似した個人に対する同様の治療を必要とする。
本稿では,データ消費者が既存のデータポイントや新しいデータポイントに対して個別の公平性を示す証明書を取得できるようにする最初の方法を提案する。
鍵となるアイデアは、類似の個人を潜伏表現にマップし、この潜伏の近接を利用して個々人の公平性を証明することである。
すなわち,データ生成者がデータポイントに対してすべての類似の個人が$\ell_\infty$-distance at most $\epsilon$であるような表現を学習し,証明することができるので,データコンシューマは,分類器の$\epsilon$-robustnessを証明して個々の公正性を証明することができる。
5つの実世界のデータセットといくつかの公正性制約に関する実験的な評価は、我々のアプローチの表現性と拡張性を示している。 Fair representation learning provides an effective way of enforcing fairness constraints without compromising utility for downstream users. A desirable family of such fairness constraints, each requiring similar treatment for similar individuals, is known as individual fairness. In this work, we introduce the first method that enables data consumers to obtain certificates of individual fairness for existing and new data points. The key idea is to map similar individuals to close latent representations and leverage this latent proximity to certify individual fairness. That is, our method enables the data producer to learn and certify a representation where for a data point all similar individuals are at $\ell_\infty$-distance at most $\epsilon$, thus allowing data consumers to certify individual fairness by proving $\epsilon$-robustness of their classifier. Our experimental evaluation on five real-world datasets and several fairness constraints demonstrates the expressivity and scalability of our approach. | 翻訳日:2022-12-29 02:34:15 公開日:2020-11-28 |
| # 非マルコフ課題のための対話型ロボット訓練 Interactive Robot Training for Non-Markov Tasks ( http://arxiv.org/abs/2003.02232v2 ) ライセンス: Link先を確認 | Ankit Shah, Samir Wadhwania, Julie Shah | (参考訳) 形式言語を使用したロボットの健全かつ完全な仕様定義は難しいが、デモから直接形式仕様を学ぶことは、過度に制約されたタスクポリシにつながる可能性がある。
本稿では,教師が提供する実演と,教師によるタスク実行の評価から学ぶことができる対話型ロボット訓練フレームワークを提案する。
また、不確実サンプリングにインスパイアされたアクティブな学習手法を提案し、タスクの実行を最も不確実な受け入れ可能性で識別する。
シミュレーション実験により,実演から純粋に学習する手法と比較して,教師の意図した課題仕様を同等あるいはそれ以上の類似性で識別できることが実証された。
最後に,ロボットにディナーテーブルをセットするように教えるユーザスタディを通じて,現実の環境でのアプローチの有効性を実証する。 Defining sound and complete specifications for robots using formal languages is challenging, while learning formal specifications directly from demonstrations can lead to over-constrained task policies. In this paper, we propose a Bayesian interactive robot training framework that allows the robot to learn from both demonstrations provided by a teacher, and that teacher's assessments of the robot's task executions. We also present an active learning approach -- inspired by uncertainty sampling -- to identify the task execution with the most uncertain degree of acceptability. Through a simulated experiment, we demonstrate that our active learning approach identifies a teacher's intended task specification with an equivalent or greater similarity when compared to an approach that learns purely from demonstrations. Finally, we demonstrate the efficacy of our approach in a real-world setting through a user-study based on teaching a robot to set a dinner table. | 翻訳日:2022-12-26 13:26:52 公開日:2020-11-28 |
| # 機械学習によるルームメイト適合性検出 Roommate Compatibility Detection Through Machine Learning Techniques ( http://arxiv.org/abs/2004.06970v2 ) ライセンス: Link先を確認 | Mansha Lamba, Raunak Goswami, Mr. Vinay, Mohit Lamba | (参考訳) 本研究の目的は,共通の居住地における同性間および異性間の相性を確認することを目的とした,人工的な知的システムを開発することである。
相手との互換性を決定する重要な要因がいくつかある。
対人行動、状況認識、コミュニケーションスキル。
ここでは,これらの重要な要因について,ペン紙テストではなく,興味をそそる質問や回答を通じてユーザを評価するシステムを構築しようとしている。
したがって、これらのスコアを従来の傾向に基づく機械学習アルゴリズムの入力として使用することで、ユーザが他のユーザと互換性を持つ確率が生まれる。
人口の増加に伴い、組織や教育機関が生徒や従業員をより生産的にすることが常に課題となり、その場合、人の社会的環境が機能するようになる。
人は天才かもしれないが、仲間とうまく働くことができない限り、より生産的なパフォーマンスのチャンスは必ずあるだろう。
人類が常に社会的な動物であることは確固たる事実であり、同情的な人々のコミュニティを創り出すのに役立っている。
多くの場合、特定のタスクを行うために雇われた人がほとんどいないとしても、人々は互いに互換性がないため、結果は期待できないかもしれません。
最終的にはパフォーマンスのギャップが発生し、組織の成功を阻害し、多くの場合、貴重なリソースを失う。
当社の意図は、非互換の人々を全体像から排除することではなく、リソースを節約するだけでなく、リソースの有効利用を可能にする他の人物との完全な互換性を見出すことです。
様々な機械学習の分類技術を利用することで、我々はこれを行おうとしている。 Our objective is to develop an artificially intelligent system which aims at checking the compatibility between the roommates of same or different sex sharing a common area of residence. There are a few key factors determining one's compatibility with the other person. Interpersonal behaviour , situational awareness, communication skills. Here we are trying to build a system that evaluates user on these key factors not via pen paper test but through a highly engaging set of questions and answers. Hence using these scores as an input to our machine learning algorithm which is based on previous trends to come up with percentage probability of user being compatible with another user. With the growing population there is always a challenge for organisation and educational institutions to make the students and their employees more and more productive and in such cases a person's social environment comes into play. A person may be a genius but as long as he is not able to work well with his peers there will always be a chance of more productive performance. It is a well-established fact that human are and have always been a social animal and this has helped in creating communities of like-minded people. Many times, even when there are a large no of people employed to do a particular task the result may not be as expected as people may not compatible in working with one another. This at the end creates performance gaps, hinders organisation success and in many cases loss of precious resources. Our intent is not to remove the non-compatible people from the picture but to find out the perfect compatible match for the person elsewhere that will not only save the resources will also enable effective use of resources. Through the use of various machine learning classification techniques, we intent to do this. | 翻訳日:2022-12-13 04:07:23 公開日:2020-11-28 |
| # CLOPS:生理信号の継続的な学習 CLOPS: Continual Learning of Physiological Signals ( http://arxiv.org/abs/2004.09578v2 ) ライセンス: Link先を確認 | Dani Kiyasseh, Tingting Zhu, David A. Clifton | (参考訳) 深層学習アルゴリズムは、独立性や同一分散性(d)の仮定に違反した場合、破壊的な干渉を経験することが知られている。
しかし、この違反は、データが時間的および多くの生理的センサーからストリーミングされる臨床環境では普遍的である。
この障害を克服するため,リプレイ型連続学習戦略であるCLOPSを提案する。
公開可能な3つのデータセットに基づく3つの連続学習シナリオにおいて、CLOPSは最先端の手法であるGEMとMIRより優れていることを示す。
さらに,タスクの難易度と類似度を定量化するために,タスクインスタンスパラメータと呼ばれるエンドツーエンドのトレーニング可能なパラメータを提案する。
この定量化は、ネットワーク解釈可能性と、タスクの難易度が十分に定量化されていない臨床応用の両方に関する洞察を与える。 Deep learning algorithms are known to experience destructive interference when instances violate the assumption of being independent and identically distributed (i.i.d). This violation, however, is ubiquitous in clinical settings where data are streamed temporally and from a multitude of physiological sensors. To overcome this obstacle, we propose CLOPS, a replay-based continual learning strategy. In three continual learning scenarios based on three publically-available datasets, we show that CLOPS can outperform the state-of-the-art methods, GEM and MIR. Moreover, we propose end-to-end trainable parameters, which we term task-instance parameters, that can be used to quantify task difficulty and similarity. This quantification yields insights into both network interpretability and clinical applications, where task difficulty is poorly quantified. | 翻訳日:2022-12-11 17:51:54 公開日:2020-11-28 |
| # 訓練されたサロゲートによるクエリフリー逆変換 Query-Free Adversarial Transfer via Undertrained Surrogates ( http://arxiv.org/abs/2007.00806v2 ) ライセンス: Link先を確認 | Chris Miller and Soroush Vosoughi | (参考訳) ディープニューラルネットワークは、モデルの入力に追加されるマイナーな摂動によって、モデルが誤った予測を出力する、敵の例に弱い。
本稿では,ブラックボックス設定において,攻撃が生成されるサロゲートモデルを過度に訓練することにより,攻撃の有効性を向上させる新しい手法を提案する。
2つのデータセットと5つのモデルアーキテクチャを使用して、このメソッドがアーキテクチャをまたいでうまく転送し、最先端のメソッドを大きなマージンで上回ることを示す。
提案手法の有効性を, サロゲートモデル損失関数の縮小と普遍勾配特性の増大の関数として解釈し, 移動性を阻害する局所損失極大の存在を減少させることを示した。
その結果,強い単一サロゲートモデルを見つけることは,移動可能な逆攻撃を発生させる非常に効果的で簡単な手法であり,この手法は今後の研究に有用であることが示唆された。 Deep neural networks are vulnerable to adversarial examples -- minor perturbations added to a model's input which cause the model to output an incorrect prediction. We introduce a new method for improving the efficacy of adversarial attacks in a black-box setting by undertraining the surrogate model which the attacks are generated on. Using two datasets and five model architectures, we show that this method transfers well across architectures and outperforms state-of-the-art methods by a wide margin. We interpret the effectiveness of our approach as a function of reduced surrogate model loss function curvature and increased universal gradient characteristics, and show that our approach reduces the presence of local loss maxima which hinder transferability. Our results suggest that finding strong single surrogate models is a highly effective and simple method for generating transferable adversarial attacks, and that this method represents a valuable route for future study in this field. | 翻訳日:2022-11-14 22:26:14 公開日:2020-11-28 |
| # メタラーニングを意識した共変量分布 Covariate Distribution Aware Meta-learning ( http://arxiv.org/abs/2007.02523v3 ) ライセンス: Link先を確認 | Amrith Setlur, Saket Dingliwal, Barnabas Poczos | (参考訳) メタ学習は回帰、分類、強化学習のパラダイムを越えて、数ショットの学習で成功している。
近年のアプローチでは、適応後の推定の不確かさを定量化し、勾配に基づくメタラーナーを改善するためにベイズ解釈を採用した。
これらの作業の多くは、タスクの共変量分布 $(p(x))$ と対応する条件分布 $p(y|x)$ との潜在関係をほとんど完全に無視する。
本稿では,階層型ベイズフレームワークにおけるタスク共変量に対するメタ分布を明示的にモデル化する必要性を明らかにする。
まず,各タスクに対する条件分布 $(p(y|x))$ の最適パラメータよりも後方を推定するために,限界値 $p(x)$ のサンプルを活用するグラフィカルモデルを導入する。
このモデルに基づき,最終目的に有意義な緩和を導入することで,計算可能なメタラーニングアルゴリズムを提案する。
一般的な分類ベンチマークに基づいて,初期化に基づくメタラーニングベースラインに対するアルゴリズムの効果を示す。
最後に、タスク共変量のモデル化の潜在的な利点を理解するために、合成回帰データセット上での手法をさらに評価する。 Meta-learning has proven to be successful for few-shot learning across the regression, classification, and reinforcement learning paradigms. Recent approaches have adopted Bayesian interpretations to improve gradient-based meta-learners by quantifying the uncertainty of the post-adaptation estimates. Most of these works almost completely ignore the latent relationship between the covariate distribution $(p(x))$ of a task and the corresponding conditional distribution $p(y|x)$. In this paper, we identify the need to explicitly model the meta-distribution over the task covariates in a hierarchical Bayesian framework. We begin by introducing a graphical model that leverages the samples from the marginal $p(x)$ to better infer the posterior over the optimal parameters of the conditional distribution $(p(y|x))$ for each task. Based on this model we propose a computationally feasible meta-learning algorithm by introducing meaningful relaxations in our final objective. We demonstrate the gains of our algorithm over initialization based meta-learning baselines on popular classification benchmarks. Finally, to understand the potential benefit of modeling task covariates we further evaluate our method on a synthetic regression dataset. | 翻訳日:2022-11-13 01:25:24 公開日:2020-11-28 |
| # 凸関数と滑らか関数の動的回帰 Dynamic Regret of Convex and Smooth Functions ( http://arxiv.org/abs/2007.03479v2 ) ライセンス: Link先を確認 | Peng Zhao, Yu-Jie Zhang, Lijun Zhang, Zhi-Hua Zhou | (参考訳) 非定常環境におけるオンライン凸最適化について検討し、オンラインアルゴリズムが生み出す累積損失と実行可能なコンパレータシーケンスとの差として定義される性能指標として動的後悔を選択する。
T$を時間軸とし、$P_T$を環境の非定常性を本質的に反映するパス長とし、最先端の動的後悔は$\mathcal{O}(\sqrt{T(1+P_T)})$とする。
この境界は凸関数に対してミニマックス最適であることが証明されているが、本論文では滑らか性条件を利用して動的後悔をさらに高めることができることを示す。
具体的には, 損失関数の勾配の変動, コンパレータシーケンスの累積損失, 前の2項の最小化という問題依存量によって, 滑らかさを生かし, 動的後悔のT$への依存を置き換える新しいオンラインアルゴリズムを提案する。
これらの量は少なくとも$\mathcal{O}(T)$であるが、良質な環境ではずっと小さい。
したがって,本研究の結果は,既往の結果よりも厳密であり,かつ最悪の場合において同じ確率を保証できるため,本問題の本質的な難易度に適応する。 We investigate online convex optimization in non-stationary environments and choose the dynamic regret as the performance measure, defined as the difference between cumulative loss incurred by the online algorithm and that of any feasible comparator sequence. Let $T$ be the time horizon and $P_T$ be the path-length that essentially reflects the non-stationarity of environments, the state-of-the-art dynamic regret is $\mathcal{O}(\sqrt{T(1+P_T)})$. Although this bound is proved to be minimax optimal for convex functions, in this paper, we demonstrate that it is possible to further enhance the dynamic regret by exploiting the smoothness condition. Specifically, we propose novel online algorithms that are capable of leveraging smoothness and replace the dependence on $T$ in the dynamic regret by problem-dependent quantities: the variation in gradients of loss functions, the cumulative loss of the comparator sequence, and the minimum of the previous two terms. These quantities are at most $\mathcal{O}(T)$ while could be much smaller in benign environments. Therefore, our results are adaptive to the intrinsic difficulty of the problem, since the bounds are tighter than existing results for easy problems and meanwhile guarantee the same rate in the worst case. | 翻訳日:2022-11-12 18:58:02 公開日:2020-11-28 |
| # 再生核を用いた回帰の早期停止と多項式平滑化 Early stopping and polynomial smoothing in regression with reproducing kernels ( http://arxiv.org/abs/2007.06827v2 ) ライセンス: Link先を確認 | Yaroslav Averyanov and Alain Celisse | (参考訳) 本稿では、非パラメトリック回帰フレームワークにおける再生カーネルヒルベルト空間(RKHS)における反復学習アルゴリズムの早期停止問題について検討する。
特に、勾配降下法と(イテレーティブな)カーネルリッジ回帰アルゴリズムを扱う。
本稿では,いわゆる最小不一致原理に基づく検証セットを使わずに早期停止を行うデータ駆動型ルールを提案する。
この方法は回帰関数に関する1つの仮定のみを享受し、再生されたカーネルヒルベルト空間(RKHS)に属する。
提案された規則は、有限ランクやソボレフ滑らか性クラスを含む、異なる種類の核空間上のミニマックス最適であることが証明されている。
この証明は、非パラメトリック回帰文学において最適な速度を得るための標準手法である局所化ラデマッハ複素量の固定点解析から導かれる。
さらに,V-foldクロスバリデーションによって決定されるような他の停止規則に対して,設計規則の同等性能を示す人工データセット上でのシミュレーション結果を示す。 In this paper, we study the problem of early stopping for iterative learning algorithms in a reproducing kernel Hilbert space (RKHS) in the nonparametric regression framework. In particular, we work with the gradient descent and (iterative) kernel ridge regression algorithms. We present a data-driven rule to perform early stopping without a validation set that is based on the so-called minimum discrepancy principle. This method enjoys only one assumption on the regression function: it belongs to a reproducing kernel Hilbert space (RKHS). The proposed rule is proved to be minimax-optimal over different types of kernel spaces, including finite-rank and Sobolev smoothness classes. The proof is derived from the fixed-point analysis of the localized Rademacher complexities, which is a standard technique for obtaining optimal rates in the nonparametric regression literature. In addition to that, we present simulation results on artificial datasets that show the comparable performance of the designed rule with respect to other stopping rules such as the one determined by V-fold cross-validation. | 翻訳日:2022-11-10 14:17:22 公開日:2020-11-28 |
| # NeuralQA: 大規模データセット上での質問応答(コンテキストクエリ拡張+BERT)を可能にするライブラリ NeuralQA: A Usable Library for Question Answering (Contextual Query Expansion + BERT) on Large Datasets ( http://arxiv.org/abs/2007.15211v2 ) ライセンス: Link先を確認 | Victor Dibia | (参考訳) 既存の質問回答ツール(QA)には、実際にの使用を制限する課題がある。
それらは既存のインフラストラクチャのセットアップや統合が複雑で、構成可能なインタラクティブなインターフェースを提供しておらず、qaパイプライン(クエリの拡張、検索、読み取り、説明/センス作成)を構成するサブタスクの完全なセットをカバーできない。
これらの問題に対処するために、大規模なデータセット上でQAに使用できるライブラリであるNeuralQAを紹介します。
NeuralQAは既存のインフラストラクチャ(例えば、HuggingFace Transformers APIでトレーニングされたElasticSearchインスタンスやリーダモデルなど)とうまく統合されており、QAサブタスクに有用なデフォルトを提供する。
マスク付き言語モデル(MLM)と関連するスニペット(RelSnip)を使ってコンテキストクエリ拡張(CQE)を導入し実装する。
最後に、調査(モデルの振る舞いの質的な検査をサポートするための勾配に基づく説明の可視化など)と大規模検索デプロイメントのためのワークフローをサポートするフレキシブルなユーザインターフェースを提供する。
NeuralQAのコードとドキュメントはGithub(https://github.com/victordibia/neuralqa}{Github)で公開されている。 Existing tools for Question Answering (QA) have challenges that limit their use in practice. They can be complex to set up or integrate with existing infrastructure, do not offer configurable interactive interfaces, and do not cover the full set of subtasks that frequently comprise the QA pipeline (query expansion, retrieval, reading, and explanation/sensemaking). To help address these issues, we introduce NeuralQA - a usable library for QA on large datasets. NeuralQA integrates well with existing infrastructure (e.g., ElasticSearch instances and reader models trained with the HuggingFace Transformers API) and offers helpful defaults for QA subtasks. It introduces and implements contextual query expansion (CQE) using a masked language model (MLM) as well as relevant snippets (RelSnip) - a method for condensing large documents into smaller passages that can be speedily processed by a document reader model. Finally, it offers a flexible user interface to support workflows for research explorations (e.g., visualization of gradient-based explanations to support qualitative inspection of model behaviour) and large scale search deployment. Code and documentation for NeuralQA is available as open source on Github (https://github.com/victordibia/neuralqa}{Github). | 翻訳日:2022-11-05 13:13:21 公開日:2020-11-28 |
| # DeepSocial:COVID-19パンデミックにおけるソーシャルディスタンシングモニタリングと感染リスク評価 DeepSOCIAL: Social Distancing Monitoring and Infection Risk Assessment in COVID-19 Pandemic ( http://arxiv.org/abs/2008.11672v3 ) ライセンス: Link先を確認 | Mahdi Rezaei, Mohsen Azarmi | (参考訳) ソーシャルディスタンシング(social distancing)は、世界保健機関(who)が公共の場所で新型コロナウイルス(covid-19)の拡散を最小限に抑えるために推奨するソリューションである。
政府や国民保健当局の大多数は、2メートルの身体的距離をショッピングセンター、学校、その他のカバーエリアで必須の安全対策として設定している。
本研究では,共通CCTVセキュリティカメラを用いて,屋内・屋外環境における人ごみの自動検出のためのハイブリッドコンピュータビジョンとYOLOv4ベースのDeep Neural Networkモデルを開発した。
提案したDNNモデルと適応逆視点マッピング(IPM)手法とSORT追跡アルゴリズムを組み合わせることで,ロバストな人検出とソーシャルディスタンシング監視を実現する。
このモデルは、microsoft common objects in context(ms coco)とgoogle open image datasetsの研究時に、2つの最も包括的なデータセットに対してトレーニングされた。
このシステムはオックスフォード・タウン・センターのデータセットに対して、最先端の3つの手法よりも優れた性能で評価されている。
この評価は、オクルージョン、部分視認性、および平均精度99.8%、リアルタイム速度24.1 fpsの照明条件など、困難な条件で行われている。
また,移動軌跡からの時空間データと社会的距離違反率を統計的に分析し,オンライン感染リスク評価手法を提案する。
開発されたモデルは汎用的で正確な人物検出・追跡ソリューションであり、自動運転車、人間の行動認識、異常検出、スポーツ、群衆分析、および人間の検出が注意の中心にある他の研究領域など、他の多くの分野に適用することができる。 Social distancing is a recommended solution by the World Health Organisation (WHO) to minimise the spread of COVID-19 in public places. The majority of governments and national health authorities have set the 2-meter physical distancing as a mandatory safety measure in shopping centres, schools and other covered areas. In this research, we develop a hybrid Computer Vision and YOLOv4-based Deep Neural Network model for automated people detection in the crowd in indoor and outdoor environments using common CCTV security cameras. The proposed DNN model in combination with an adapted inverse perspective mapping (IPM) technique and SORT tracking algorithm leads to a robust people detection and social distancing monitoring. The model has been trained against two most comprehensive datasets by the time of the research the Microsoft Common Objects in Context (MS COCO) and Google Open Image datasets. The system has been evaluated against the Oxford Town Centre dataset with superior performance compared to three state-of-the-art methods. The evaluation has been conducted in challenging conditions, including occlusion, partial visibility, and under lighting variations with the mean average precision of 99.8% and the real-time speed of 24.1 fps. We also provide an online infection risk assessment scheme by statistical analysis of the Spatio-temporal data from people's moving trajectories and the rate of social distancing violations. The developed model is a generic and accurate people detection and tracking solution that can be applied in many other fields such as autonomous vehicles, human action recognition, anomaly detection, sports, crowd analysis, or any other research areas where the human detection is in the centre of attention. | 翻訳日:2022-10-24 21:28:45 公開日:2020-11-28 |
| # HPSGD: 階層型並列SGDとステアグラディエントを兼ね備えたSGD HPSGD: Hierarchical Parallel SGD With Stale Gradients Featuring ( http://arxiv.org/abs/2009.02701v2 ) ライセンス: Link先を確認 | Yuhao Zhou, Qing Ye, Hailun Zhang, Jiancheng Lv | (参考訳) 分散トレーニングはディープニューラルネットワーク(dnn)のトレーニングプロセスを著しく高速化するが、作業者間でのデータの同期が時間のかかるため、クラスタの利用率は比較的低い。
この問題を解決するために,データ同期フェーズを局所トレーニングフェーズ(フィードフォワードおよびバックプロパゲーション)と並列化できるという観測に基づいて,新しい階層型並列sgd(hpsgd)戦略を提案する。
さらに、改良されたモデル更新手法を統一して、導入したスタル勾配問題を修復し、レプリカ(すなわち、グローバルモデルと同じパラメータを持つ一時的なモデル)をコミットし、グローバルモデルへの平均的な変更をマージする。
提案手法が分散DNNトレーニングを大幅に促進し, 定常勾配の乱れを低減し, 固定壁面の精度を向上することを示すため, 大規模実験を行った。 While distributed training significantly speeds up the training process of the deep neural network (DNN), the utilization of the cluster is relatively low due to the time-consuming data synchronizing between workers. To alleviate this problem, a novel Hierarchical Parallel SGD (HPSGD) strategy is proposed based on the observation that the data synchronization phase can be paralleled with the local training phase (i.e., Feed-forward and back-propagation). Furthermore, an improved model updating method is unitized to remedy the introduced stale gradients problem, which commits updates to the replica (i.e., a temporary model that has the same parameters as the global model) and then merges the average changes to the global model. Extensive experiments are conducted to demonstrate that the proposed HPSGD approach substantially boosts the distributed DNN training, reduces the disturbance of the stale gradients and achieves better accuracy in given fixed wall-time. | 翻訳日:2022-10-21 08:05:02 公開日:2020-11-28 |
| # 自由形式テキスト記述による静的およびアニメーション3次元シーン生成 Static and Animated 3D Scene Generation from Free-form Text Descriptions ( http://arxiv.org/abs/2010.01549v2 ) ライセンス: Link先を確認 | Faria Huq, Nafees Ahmed, Anindya Iqbal | (参考訳) 自由形式のテキスト記述からコヒーレントで有用な画像/ビデオシーンを生成するのは、技術的に非常に難しい問題です。
同じ場面のテキストによる記述は、人によって大きく異なるり、時折同じ人物に対しても大きく異なることがある。
テキスト記述の準備中に単語と構文の選択が変化するため、異なる形式の言語入力から一貫して望ましい出力を確実に生成することは困難である。
シーン生成の以前の作業は、ユーザによる記述の自由を制限するテキスト入力の厳密な文構造に限られていた。
そこで本研究では,様々な自由形式のテキストシーン記述から静的な3dシーンを生成することを目的とした新しいパイプラインについて検討した。
特に,本研究では,立方体,シリンダ,球面の様々な組み合わせを含む,可能なすべての3次元シーンの小さな部分空間に焦点をあてる。
2段階のパイプラインを設計します。
最初の段階では、エンコーダ-デコーダニューラルアーキテクチャを用いて自由形式のテキストを符号化する。
第2段階では,生成した符号化に基づいて3次元シーンを生成する。
我々のニューラルアーキテクチャは、エンコーダとして最先端の言語モデルを利用して、リッチなコンテキストエンコーディングと新しいマルチヘッドデコーダを利用して、シーン内のオブジェクトの複数の特徴を同時に予測する。
実験では, それぞれ, 13,00,000 と 14,00,000 のユニークな静的シーン記述とアニメーションシーン記述を含む大規模な合成データセットを生成する。
3dオブジェクトの特徴を検出するテストデータセットの精度は98.427%である。
われわれの研究は、問題を解決するための一つのアプローチの実証であり、十分なトレーニングデータがあれば、同じパイプラインを拡張して、より広範な3Dシーン生成問題に対処できると考えている。 Generating coherent and useful image/video scenes from a free-form textual description is technically a very difficult problem to handle. Textual description of the same scene can vary greatly from person to person, or sometimes even for the same person from time to time. As the choice of words and syntax vary while preparing a textual description, it is challenging for the system to reliably produce a consistently desirable output from different forms of language input. The prior works of scene generation have been mostly confined to rigorous sentence structures of text input which restrict the freedom of users to write description. In our work, we study a new pipeline that aims to generate static as well as animated 3D scenes from different types of free-form textual scene description without any major restriction. In particular, to keep our study practical and tractable, we focus on a small subspace of all possible 3D scenes, containing various combinations of cube, cylinder and sphere. We design a two-stage pipeline. In the first stage, we encode the free-form text using an encoder-decoder neural architecture. In the second stage, we generate a 3D scene based on the generated encoding. Our neural architecture exploits state-of-the-art language model as encoder to leverage rich contextual encoding and a new multi-head decoder to predict multiple features of an object in the scene simultaneously. For our experiments, we generate a large synthetic data-set which contains 13,00,000 and 14,00,000 samples of unique static and animated scene descriptions, respectively. We achieve 98.427% accuracy on test data set in detecting the 3D objects features successfully. Our work shows a proof of concept of one approach towards solving the problem, and we believe with enough training data, the same pipeline can be expanded to handle even broader set of 3D scene generation problems. | 翻訳日:2022-10-11 03:06:21 公開日:2020-11-28 |
| # 二項回帰の最大最適化 Maximin Optimization for Binary Regression ( http://arxiv.org/abs/2010.05077v3 ) ライセンス: Link先を確認 | Nisan Chiprut, Amir Globerson, Ami Wiesel | (参考訳) 二元重み付き回帰問題を考える。
このような最適化問題は、量子化学習モデルやデジタル通信システムにおいてユビキタスである。
自然なアプローチは、勾配-昇華法の変種を用いて対応するラグランジアンを最適化することである。
このような極大テクニックは、凸凸の場合でさえもまだ理解されていない。
非凸二項制約は、急激な局所最小化を引き起こす可能性がある。
興味深いことに、この手法は低雑音条件の線形回帰や、少数の外れ値を持つロバスト回帰において最適であることを示す。
実際には、非凸多層ニューラルネットワークと同様に、クロスエントロピー損失を伴う回帰でもよく機能する。
私たちのアプローチは、制約のあるモデルを学習するためのサドルポイント最適化の可能性を強調します。 We consider regression problems with binary weights. Such optimization problems are ubiquitous in quantized learning models and digital communication systems. A natural approach is to optimize the corresponding Lagrangian using variants of the gradient ascent-descent method. Such maximin techniques are still poorly understood even in the concave-convex case. The non-convex binary constraints may lead to spurious local minima. Interestingly, we prove that this approach is optimal in linear regression with low noise conditions as well as robust regression with a small number of outliers. Practically, the method also performs well in regression with cross entropy loss, as well as non-convex multi-layer neural networks. Taken together our approach highlights the potential of saddle-point optimization for learning constrained models. | 翻訳日:2022-10-08 22:53:21 公開日:2020-11-28 |
| # Momentum-Accelerated Consensus を用いた分散ディープラーニング Decentralized Deep Learning using Momentum-Accelerated Consensus ( http://arxiv.org/abs/2010.11166v2 ) ライセンス: Link先を確認 | Aditya Balu, Zhanhong Jiang, Sin Yong Tan, Chinmay Hedge, Young M Lee, Soumik Sarkar | (参考訳) 複数のエージェントが協調して分散データセットから学習する分散ディープラーニングの問題を考える。
分散ディープラーニングのアプローチはいくつか存在するが、大多数はエージェントからモデルパラメータを集約するために、中央のパラメータ-サーバトポロジを考慮する。
しかし、そのようなトポロジは、アドホックなモバイルネットワーク、フィールドロボティクス、中央パラメータサーバとの直接通信が非効率な電力ネットワークシステムといったネットワークシステムでは適用できない可能性がある。
本研究では,エージェントが(中央サーバを使わずに)固定された通信トポロジ上で相互作用する分散ディープラーニングアルゴリズムを提案し,解析する。
本アルゴリズムは,勾配に基づく最適化において用いられる重球加速度法に基づいている。
本稿では,各エージェントとそのモデルパラメータ,および最適化過程における勾配運動量値を共有する新しいコンセンサスプロトコルを提案する。
我々は,強い凸関数と非凸関数の両方を考慮し,アルゴリズムの性能を理論的に解析する。
本稿では,分散学習手法と実験的な比較を行い,異なるコミュニケーショントポロジー下でのアプローチの有効性を示す。 We consider the problem of decentralized deep learning where multiple agents collaborate to learn from a distributed dataset. While there exist several decentralized deep learning approaches, the majority consider a central parameter-server topology for aggregating the model parameters from the agents. However, such a topology may be inapplicable in networked systems such as ad-hoc mobile networks, field robotics, and power network systems where direct communication with the central parameter server may be inefficient. In this context, we propose and analyze a novel decentralized deep learning algorithm where the agents interact over a fixed communication topology (without a central server). Our algorithm is based on the heavy-ball acceleration method used in gradient-based optimization. We propose a novel consensus protocol where each agent shares with its neighbors its model parameters as well as gradient-momentum values during the optimization process. We consider both strongly convex and non-convex objective functions and theoretically analyze our algorithm's performance. We present several empirical comparisons with competing decentralized learning methods to demonstrate the efficacy of our approach under different communication topologies. | 翻訳日:2022-10-04 23:33:25 公開日:2020-11-28 |
| # 常微分方程式の解法による生成逆ネットワークの訓練 Training Generative Adversarial Networks by Solving Ordinary Differential Equations ( http://arxiv.org/abs/2010.15040v2 ) ライセンス: Link先を確認 | Chongli Qin, Yan Wu, Jost Tobias Springenberg, Andrew Brock, Jeff Donahue, Timothy P. Lillicrap, Pushmeet Kohli | (参考訳) GAN(Generative Adversarial Network)トレーニングの不安定性は、勾配降下に起因することが多い。
その結果、近年の手法では、モデルとトレーニング手順を調整し、離散的な更新を安定化することを目的としている。
対照的に、GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。
理論とおもちゃの実験の両方から、これらの動力学は驚くほど安定していることが示唆されている。
この観点から,ganの訓練における不安定性は,連続力学の判別における積分誤差から生じると仮定する。
我々は、よく知られたODEソルバ(例えばRunge-Kutta)が、統合エラーを制御する正規化器と組み合わせることで、トレーニングを安定化できることを実験的に検証する。
我々の手法は、通常、関数空間を制約する適応最適化と安定化技術(スペクトル正規化など)を使用する従来の方法とは大きく離れている。
CIFAR-10 と ImageNet による評価の結果,提案手法はいくつかの強いベースラインを上回り,その有効性を示している。 The instability of Generative Adversarial Network (GAN) training has frequently been attributed to gradient descent. Consequently, recent methods have aimed to tailor the models and training procedures to stabilise the discrete updates. In contrast, we study the continuous-time dynamics induced by GAN training. Both theory and toy experiments suggest that these dynamics are in fact surprisingly stable. From this perspective, we hypothesise that instabilities in training GANs arise from the integration error in discretising the continuous dynamics. We experimentally verify that well-known ODE solvers (such as Runge-Kutta) can stabilise training - when combined with a regulariser that controls the integration error. Our approach represents a radical departure from previous methods which typically use adaptive optimisation and stabilisation techniques that constrain the functional space (e.g. Spectral Normalisation). Evaluation on CIFAR-10 and ImageNet shows that our method outperforms several strong baselines, demonstrating its efficacy. | 翻訳日:2022-10-02 04:54:25 公開日:2020-11-28 |
| # ディープコンペティションネットワークを用いた大規模マルチセンサデータからのロバスト建築足跡抽出 Robust building footprint extraction from big multi-sensor data using deep competition network ( http://arxiv.org/abs/2011.02879v3 ) ライセンス: Link先を確認 | Mehdi Khoshboresh-Masouleh, Mohammad R. Saradjian | (参考訳) 光画像やlidar(light detection and ranging)点雲などのマルチセンサーデータからのビルディングフットプリント抽出(bfe)は、リモートセンシングのさまざまな分野で広く使われている。
しかし,マルチセンサデータにおける複雑なシーンからの比較的非効率な構造抽出技術のため,まだ研究課題である。
本研究では,高分解能光リモートセンシング画像と高分解能なBFEのためのLiDARデータとを融合したディープコンペティションネットワーク(DCN)を開発し,評価する。
DCNは、分類された構造を持つエンコーダベクトル量子化を用いた深層超画素単位の畳み込みエンコーダデコーダアーキテクチャである。
DCNは5つの符号化復号ブロックからなり、畳み込み重みを持つ2進数表現(超ピクセル)学習を行う。
DCNは、米国のインディアナ州から取得した大規模なマルチセンサーデータセットでトレーニングされ、テストされている。
精度評価の結果,DCNのBFE性能は,他の深層セマンティックセマンティックセマンティックアーキテクチャと比較して比較した。
そこで,提案手法は大規模マルチセンサデータからのロバストなBFEに対する適切な解である。 Building footprint extraction (BFE) from multi-sensor data such as optical images and light detection and ranging (LiDAR) point clouds is widely used in various fields of remote sensing applications. However, it is still challenging research topic due to relatively inefficient building extraction techniques from variety of complex scenes in multi-sensor data. In this study, we develop and evaluate a deep competition network (DCN) that fuses very high spatial resolution optical remote sensing images with LiDAR data for robust BFE. DCN is a deep superpixelwise convolutional encoder-decoder architecture using the encoder vector quantization with classified structure. DCN consists of five encoding-decoding blocks with convolutional weights for robust binary representation (superpixel) learning. DCN is trained and tested in a big multi-sensor dataset obtained from the state of Indiana in the United States with multiple building scenes. Comparison results of the accuracy assessment showed that DCN has competitive BFE performance in comparison with other deep semantic binary segmentation architectures. Therefore, we conclude that the proposed model is a suitable solution to the robust BFE from big multi-sensor data. | 翻訳日:2022-09-29 23:09:36 公開日:2020-11-28 |
| # mri脳腫瘍セグメンテーションのための可変オートエンコーダとアテンションゲートを用いた2段階カスケードモデル A Two-Stage Cascade Model with Variational Autoencoders and Attention Gates for MRI Brain Tumor Segmentation ( http://arxiv.org/abs/2011.02881v2 ) ライセンス: Link先を確認 | Chenggang Lyu, Hai Shu | (参考訳) 自動MRI脳腫瘍セグメンテーションは、疾患の診断、モニタリング、治療計画において極めて重要である。
本稿では,脳腫瘍領域分割のための2段階エンコーダデコーダモデルを提案する。
変分オートエンコーダの正規化は、オーバーフィッティング問題を防止するために両段階で利用される。
第2ステージネットワークはアテンションゲートを採用し、第1ステージ出力によって生成された拡張データセットを使用してトレーニングする。
brats 2020バリデーションデータセットでは,腫瘍,腫瘍コア,造影腫瘍のそれぞれについて,0.9041点,0.8350点,0.7958点,ハウスドルフ距離(95%)4.953点,6.299点,23.608点をそれぞれ達成した。
brats 2020テストデータセットの対応する結果は、diceスコアの 0.8729, 0.8357, 0.8205、ハウスドルフ距離の 11.4288, 19.9690, 15.6711 である。
コードはhttps://github.com/shu-hai/two-stage-VAE-Attention-gate-BraTS2020で公開されている。 Automatic MRI brain tumor segmentation is of vital importance for the disease diagnosis, monitoring, and treatment planning. In this paper, we propose a two-stage encoder-decoder based model for brain tumor subregional segmentation. Variational autoencoder regularization is utilized in both stages to prevent the overfitting issue. The second-stage network adopts attention gates and is trained additionally using an expanded dataset formed by the first-stage outputs. On the BraTS 2020 validation dataset, the proposed method achieves the mean Dice score of 0.9041, 0.8350, and 0.7958, and Hausdorff distance (95%) of 4.953, 6.299, and 23.608 for the whole tumor, tumor core, and enhancing tumor, respectively. The corresponding results on the BraTS 2020 testing dataset are 0.8729, 0.8357, and 0.8205 for Dice score, and 11.4288, 19.9690, and 15.6711 for Hausdorff distance. The code is publicly available at https://github.com/shu-hai/two-stage-VAE-Attention-gate-BraTS2020. | 翻訳日:2022-09-29 21:56:04 公開日:2020-11-28 |
| # バイオボトルネックモデルを用いたシナジスティック薬物併用の発見 Discovering Synergistic Drug Combinations for COVID with Biological Bottleneck Models ( http://arxiv.org/abs/2011.04651v2 ) ライセンス: Link先を確認 | Wengong Jin, Regina Barzilay, Tommi Jaakkola | (参考訳) 薬物の組み合わせは、その有効性と毒性の低下により治療において重要な役割を果たす。
近年のアプローチでは、機械学習を用いてがんの相乗的組み合わせを同定しているが、これらは限られた組み合わせデータを持つ新しい疾患には適用できない。
薬物相乗効果が生物標的と密接に結びついていることを考慮し,薬物-標的相互作用と相乗効果を共同で学習する「emph{biological bottleneck}」モデルを提案する。
このモデルは、ドラッグ・ターゲット相互作用とターゲット・ダイザス・アソシエーションモジュールの2つの部分から構成されている。
この設計は、生物学的標的が薬物のシナジーにどのように影響するかをモデルに示す。
追加の生物学的情報を利用することで,90種類の薬剤の組み合わせのみを用いて,薬物相乗効果予測において0.78のAUCを達成できる。
我々は米国国立翻訳科学センター(NCATS)施設におけるモデル予測を実験的に検証し、強力なシナジーを持つ2つの新しい薬物の組み合わせ(Remdesivir + ReserpineとRemdesivir + IQ-1S)を発見した。 Drug combinations play an important role in therapeutics due to its better efficacy and reduced toxicity. Recent approaches have applied machine learning to identify synergistic combinations for cancer, but they are not applicable to new diseases with limited combination data. Given that drug synergy is closely tied to biological targets, we propose a \emph{biological bottleneck} model that jointly learns drug-target interaction and synergy. The model consists of two parts: a drug-target interaction and target-disease association module. This design enables the model to \emph{explain} how a biological target affects drug synergy. By utilizing additional biological information, our model achieves 0.78 test AUC in drug synergy prediction using only 90 COVID drug combinations for training. We experimentally tested the model predictions in the U.S. National Center for Advancing Translational Sciences (NCATS) facilities and discovered two novel drug combinations (Remdesivir + Reserpine and Remdesivir + IQ-1S) with strong synergy in vitro. | 翻訳日:2022-09-28 02:45:57 公開日:2020-11-28 |
| # 変圧器を用いた終端車線形状予測 End-to-end Lane Shape Prediction with Transformers ( http://arxiv.org/abs/2011.04233v2 ) ライセンス: Link先を確認 | Ruijin Liu, Zejian Yuan, Tie Liu, Zhiliang Xiong | (参考訳) レーン検出は、近似曲線としてレーンマーキングを識別するプロセスであり、自動運転車のレーン離脱警告や適応クルーズ制御に広く使われている。
機能抽出と後処理という2つのステップで解決する一般的なパイプラインは、効率的すぎる上に、グローバルなコンテキストやレーンの長くて薄い構造を学ぶには欠陥がある。
これらの問題に対処するために、トランスを用いたネットワークを用いてレーン形状モデルのパラメータを直接出力し、よりリッチな構造とコンテキストを学習するエンド・ツー・エンド手法を提案する。
レーン形状モデルは道路構造とカメラポーズに基づいて定式化され、ネットワーク出力のパラメータの物理的解釈を提供する。
トランスは非局所的な相互作用と自己認識機構をモデル化し、細い構造とグローバルコンテキストをキャプチャする。
提案手法はTuSimpleベンチマークで検証され,最も軽量なモデルサイズと高速な速度で最先端の精度を示す。
さらに,本手法は,挑戦的な自己収集レーン検出データセットに優れた適応性を示し,実アプリケーションにおける強力な展開可能性を示す。
コードはhttps://github.com/liuruijin17/lstrで入手できる。 Lane detection, the process of identifying lane markings as approximated curves, is widely used for lane departure warning and adaptive cruise control in autonomous vehicles. The popular pipeline that solves it in two steps -- feature extraction plus post-processing, while useful, is too inefficient and flawed in learning the global context and lanes' long and thin structures. To tackle these issues, we propose an end-to-end method that directly outputs parameters of a lane shape model, using a network built with a transformer to learn richer structures and context. The lane shape model is formulated based on road structures and camera pose, providing physical interpretation for parameters of network output. The transformer models non-local interactions with a self-attention mechanism to capture slender structures and global context. The proposed method is validated on the TuSimple benchmark and shows state-of-the-art accuracy with the most lightweight model size and fastest speed. Additionally, our method shows excellent adaptability to a challenging self-collected lane detection dataset, showing its powerful deployment potential in real applications. Codes are available at https://github.com/liuruijin17/LSTR. | 翻訳日:2022-09-28 00:18:03 公開日:2020-11-28 |
| # 反復前処理による線形回帰のための分散SGDの高速化 Accelerating Distributed SGD for Linear Regression using Iterative Pre-Conditioning ( http://arxiv.org/abs/2011.07595v2 ) ライセンス: Link先を確認 | Kushal Chakrabarti, Nirupam Gupta and Nikhil Chopra | (参考訳) 本稿では,マルチエージェント分散線形最小二乗問題を考える。
システムは複数のエージェントと、各エージェントがローカルに観測されたデータポイントのセットを持ち、エージェントが対話できる共通のサーバから構成される。
エージェントの目標は、すべてのエージェントが観測する集合データポイントに最も適した線形モデルを計算することである。
サーバベースの分散設定では、サーバはエージェントが保持するデータポイントにアクセスすることができない。
最近提案されたIteratively Pre-conditioned Gradient-descent (IPG)法は、この問題を解決する他の分散アルゴリズムよりも高速に収束することが示されている。
IPGアルゴリズムでは、サーバとエージェントは多数の反復計算を行う。
それぞれのイテレーションは、ソリューションの現在の見積を更新するためにエージェントが観察したデータポイントのバッチ全体に依存する。
本稿では,反復前条件付けの考え方を確率的設定に拡張し,サーバが反復毎にランダムに選択した1つのデータポイントに基づいて推定値と反復前条件行列を更新する。
提案した反復的事前条件付確率勾配降下法 (IPSG) は, 解の近さを期待して線形に収束することを示す。
さらに,ipsg法の収束率は,サーバベースネットワークにおける線形最小二乗問題を解くための確率的アルゴリズムと比較して好適であることを示す。 This paper considers the multi-agent distributed linear least-squares problem. The system comprises multiple agents, each agent with a locally observed set of data points, and a common server with whom the agents can interact. The agents' goal is to compute a linear model that best fits the collective data points observed by all the agents. In the server-based distributed settings, the server cannot access the data points held by the agents. The recently proposed Iteratively Pre-conditioned Gradient-descent (IPG) method has been shown to converge faster than other existing distributed algorithms that solve this problem. In the IPG algorithm, the server and the agents perform numerous iterative computations. Each of these iterations relies on the entire batch of data points observed by the agents for updating the current estimate of the solution. Here, we extend the idea of iterative pre-conditioning to the stochastic settings, where the server updates the estimate and the iterative pre-conditioning matrix based on a single randomly selected data point at every iteration. We show that our proposed Iteratively Pre-conditioned Stochastic Gradient-descent (IPSG) method converges linearly in expectation to a proximity of the solution. Importantly, we empirically show that the proposed IPSG method's convergence rate compares favorably to prominent stochastic algorithms for solving the linear least-squares problem in server-based networks. | 翻訳日:2022-09-25 07:12:28 公開日:2020-11-28 |
| # MetaGater:Federated Meta-Learningによる条件付きチャネルゲーテッドネットワークの高速学習 MetaGater: Fast Learning of Conditional Channel Gated Networks via Federated Meta-Learning ( http://arxiv.org/abs/2011.12511v2 ) ライセンス: Link先を確認 | Sen Lin, Li Yang, Zhezhi He, Deliang Fan, Junshan Zhang | (参考訳) ディープラーニングは多くのAIアプリケーションで驚くべき成功を収めてきたが、その膨大なモデルサイズと集約的な計算要件は、リソース制限されたノードのデプロイに重大な課題をもたらしている。
近年,量子化,プルーニング,チャネルゲーティングなど,計算効率の高い学習手法への関心が高まっている。
しかし、既存のほとんどの技術は、異なるタスクに迅速に適応できない。
本研究では,データ入力に対してより効率的な局所計算を行うため,フィルタのサブセットを動的に選択できるバックボーンネットワークとチャネルゲーティングを共同で訓練する全体論的手法を提案する。
特に,異なるノード上での学習タスク間のモデル類似性を利用して,バックボーンネットワークとゲーティングモジュールの両方の優れたメタ初期化を協調的に学習するメタ学習手法を開発した。
このようにして、学習メタゲーティングモジュールは、タスク固有の条件付きチャネルゲートドネットワーク、すなわち1段階の勾配降下を通じて、タスクの新しいサンプルを用いた2段階の手順におけるメタ初期化から迅速に適応できる、優れたメタバックボーンネットワークの重要なフィルタを効果的にキャプチャする。
提案するフェデレーションメタラーニングアルゴリズムの収束は、穏やかな条件下で確立される。
実験結果は,本手法の有効性を関連研究と比較した。 While deep learning has achieved phenomenal successes in many AI applications, its enormous model size and intensive computation requirements pose a formidable challenge to the deployment in resource-limited nodes. There has recently been an increasing interest in computationally-efficient learning methods, e.g., quantization, pruning and channel gating. However, most existing techniques cannot adapt to different tasks quickly. In this work, we advocate a holistic approach to jointly train the backbone network and the channel gating which enables dynamical selection of a subset of filters for more efficient local computation given the data input. Particularly, we develop a federated meta-learning approach to jointly learn good meta-initializations for both backbone networks and gating modules, by making use of the model similarity across learning tasks on different nodes. In this way, the learnt meta-gating module effectively captures the important filters of a good meta-backbone network, based on which a task-specific conditional channel gated network can be quickly adapted, i.e., through one-step gradient descent, from the meta-initializations in a two-stage procedure using new samples of that task. The convergence of the proposed federated meta-learning algorithm is established under mild conditions. Experimental results corroborate the effectiveness of our method in comparison to related work. | 翻訳日:2022-09-21 02:19:12 公開日:2020-11-28 |
| # MCIからアルツハイマー病への移行の統計的分類における事前知識の役割 A Role for Prior Knowledge in Statistical Classification of the Transition from MCI to Alzheimer's Disease ( http://arxiv.org/abs/2012.00538v1 ) ライセンス: Link先を確認 | Zihuan Liu, Tapabrate Maiti and Andrew R.Bender | (参考訳) 軽度認知障害(MCI)からアルツハイマー病(AD)への移行は臨床研究者にとって大きな関心事である。
この現象は、新しい分類法を開発する定量的方法論の研究者にとって貴重なデータ源でもある。
しかし、分類のための機械学習(ML)アプローチの成長は、多くの臨床研究者にロジスティック回帰(LR)の価値を過小評価させ、他のML手法よりも同等または優れた分類精度をもたらす可能性がある。
さらに、遷移の分類に使用できる多くの特徴を有するアプリケーションでは、臨床研究者は、異なる選択手順の相対的な価値を知らないことが多い。
本研究では,MCIからADへの変換を予測するための分類手法を高度に評価し,アルツハイマー病神経画像イニシアチブ(ADNI)のサンプルに応用する際の,自動的および理論的に誘導された特徴選択技術,およびL-1ノルムの使用について検討した。
そこで本研究では,ad関連脳領域の臨床知識に基づいた効率的な特徴選択手法を提案する。
本研究は, ユーザガイドによる事前選択とアルゴリズム的特徴選択技術を用いて, 類似した性能を実現できることを示す。
最後に, サポートベクトルマシン(SVM)の性能とADNIのマルチモーダルデータに対するロジスティック回帰の性能を比較した。
以上の結果から,SVMおよび他のML技術は比較的正確な分類が可能であるが,多くの臨床研究者にとってSVMの必要性や価値を軽減し,LRにより類似または高い精度が達成できることが示唆された。 The transition from mild cognitive impairment (MCI) to Alzheimer's disease (AD) is of great interest to clinical researchers. This phenomenon also serves as a valuable data source for quantitative methodological researchers developing new approaches for classification. However, the growth of machine learning (ML) approaches for classification may falsely lead many clinical researchers to underestimate the value of logistic regression (LR), yielding equivalent or superior classification accuracy over other ML methods. Further, in applications with many features that could be used for classifying the transition, clinical researchers are often unaware of the relative value of different selection procedures. In the present study, we sought to investigate the use of automated and theoretically-guided feature selection techniques, and as well as the L-1 norm when applying different classification techniques for predicting conversion from MCI to AD in a highly characterized and studied sample from the Alzheimer's Disease Neuroimaging Initiative (ADNI). We propose an alternative pre-selection technique that utilizes an efficient feature selection based on clinical knowledge of brain regions involved in AD. The present findings demonstrate how similar performance can be achieved using user-guided pre-selection versus algorithmic feature selection techniques. Finally, we compare the performance of a support vector machine (SVM) with that of logistic regression on multi-modal data from ADNI. The present findings show that although SVM and other ML techniques are capable of relatively accurate classification, similar or higher accuracy can often be achieved by LR, mitigating SVM's necessity or value for many clinical researchers. | 翻訳日:2022-09-19 20:05:50 公開日:2020-11-28 |
| # 新型コロナウイルス患者の合併症の予知システム:多施設共同研究の展開と検証 Clinical prediction system of complications among COVID-19 patients: a development and validation retrospective multicentre study ( http://arxiv.org/abs/2012.01138v1 ) ライセンス: Link先を確認 | Ghadeer O. Ghosheh, Bana Alamad, Kai-Wen Yang, Faisil Syed, Nasir Hayat, Imran Iqbal, Fatima Al Kindi, Sara Al Junaibi, Maha Al Safi, Raghib Ali, Walid Zaher, Mariam Al Harbi, Farah E. Shamout | (参考訳) 既存の予後予測ツールは、主に2019年の新型コロナウイルス患者の死亡リスクの予測に焦点を当てている。
しかし、臨床証拠は、COVID-19が患者の予後に影響を与える非致命的な合併症を引き起こす可能性を示唆している。
患者のリスク階層化を支援するため,我々は,covid-19に共通する合併症を予測する予後予測システムの開発を目標とした。
本研究では,2020年4月1日から4月30日にかけて,UAEのアブダビ(AD)で18施設に入院した3,352人の患者から収集したデータを用いた。
病院は地理的近接性に基づいて分別され,本システムによる学習一般化度,AD中地域,AD西・東地域,AとBの評価を行った。
最初の24時間に収集されたデータを用いて、機械学習ベースの予後システムは、入院中に7つの合併症を発生させるリスクを予測する。
合併症には、二次細菌感染症、AKI、ARDS、d-dimer、interleukin-6、アミノトランスフェラーゼ、トロポニンを含む患者の重症度の増加に関連するバイオマーカーが含まれる。
訓練中、システムは複雑なモデルごとに排他的基準、ハイパーパラメータチューニング、モデル選択を適用する。
このシステムは、すべての合併症と両方の領域にわたって良好な精度を達成する。
テストセットA(587例)では,AKIでは0.91AUROC,他の合併症では0.80AUROCを達成した。
テストセットB(225人)では、AKIの0.90 AUROC、トロポニンの上昇、インターロイキン-6の上昇、および他の合併症の0.80 AUROCが達成される。
我々のシステムで選択した最高の性能モデルは、主に勾配向上モデルとロジスティック回帰である。
その結果,機械学習を用いたデータ駆動アプローチは,このような合併症のリスクを高い精度で予測できることがわかった。 Existing prognostic tools mainly focus on predicting the risk of mortality among patients with coronavirus disease 2019. However, clinical evidence suggests that COVID-19 can result in non-mortal complications that affect patient prognosis. To support patient risk stratification, we aimed to develop a prognostic system that predicts complications common to COVID-19. In this retrospective study, we used data collected from 3,352 COVID-19 patient encounters admitted to 18 facilities between April 1 and April 30, 2020, in Abu Dhabi (AD), UAE. The hospitals were split based on geographical proximity to assess for our proposed system's learning generalizability, AD Middle region and AD Western & Eastern regions, A and B, respectively. Using data collected during the first 24 hours of admission, the machine learning-based prognostic system predicts the risk of developing any of seven complications during the hospital stay. The complications include secondary bacterial infection, AKI, ARDS, and elevated biomarkers linked to increased patient severity, including d-dimer, interleukin-6, aminotransferases, and troponin. During training, the system applies an exclusion criteria, hyperparameter tuning, and model selection for each complication-specific model. The system achieves good accuracy across all complications and both regions. In test set A (587 patient encounters), the system achieves 0.91 AUROC for AKI and >0.80 AUROC for most of the other complications. In test set B (225 patient encounters), the respective system achieves 0.90 AUROC for AKI, elevated troponin, and elevated interleukin-6, and >0.80 AUROC for most of the other complications. The best performing models, as selected by our system, were mainly gradient boosting models and logistic regression. Our results show that a data-driven approach using machine learning can predict the risk of such complications with high accuracy. | 翻訳日:2022-09-19 20:05:21 公開日:2020-11-28 |
| # 2020年の仮想ワークショップで学んだこと Convening during COVID-19: Lessons learnt from organizing virtual workshops in 2020 ( http://arxiv.org/abs/2012.01191v1 ) ライセンス: Link先を確認 | Mandana Samiei, Caroline Weis, Larissa Schiavo, Tatjana Chavdarova, Fariba Yousefi | (参考訳) このレポートは、ICML 2020でのWiMLの"Un-Workshop"イベントのオーガナイザとしての著者の経験を説明するものだ。
un-workshopsは、事前選択されたトピックに関する参加者主導の構造化議論に焦点を当てている。
明確にするために、このイベントはNeurIPSと共同で開催される"WiML Workshop"とは異なる。
この原稿では、オーガナイザが経験を共有することで、将来のオーガナイザが同様の条件下で仮想イベントを成功させるのに役立つことを期待している。
機械学習(WiML)のミッションは、メンターシップ、ネットワーク、アイデアの交換を促進し、コミュニティにおける女性の影響力を高めるために、機械学習で働く女性の小さなコミュニティ内のコネクションを作ることである。 This report is an account of the authors' experiences as organizers of WiML's "Un-Workshop" event at ICML 2020. Un-workshops focus on participant-driven structured discussions on a pre-selected topic. For clarity, this event was different from the "WiML Workshop", which is usually co-located with NeurIPS. In this manuscript, organizers, share their experiences with the hope that it will help future organizers to host a successful virtual event under similar conditions. Women in Machine Learning (WiML)'s mission is creating connections within a small community of women working in machine learning, in order to encourage mentorship, networking, and interchange of ideas and increase the impact of women in the community. | 翻訳日:2022-09-19 20:04:46 公開日:2020-11-28 |
| # 繰り返し犯罪リスク評価におけるフィードバック効果 Feedback Effects in Repeat-Use Criminal Risk Assessments ( http://arxiv.org/abs/2011.14075v1 ) ライセンス: Link先を確認 | Benjamin Laufer | (参考訳) 刑事訴訟の文脈では、リスクアセスメントアルゴリズムはデータ駆動型、よくテストされたツールと見なされる。
検証テストとして知られる研究は、一般的に、特定のリスク評価アルゴリズムが予測精度を持ち、リスクグループ間の正当な違いを確立し、治療における集団公平さの尺度を維持していることを示すために、実践者によって引用される。
これらの重要な目標を達成するために、ほとんどのテストはワンショットのシングルポイント計測を使用する。
polya urnモデルを用いて,逐次スコア決定過程におけるフィードバック効果の含意について検討する。
シミュレーションを通じて、リスクは単発テストで捉えられない方法でシーケンシャルな決定を伝達できることを示します。
例えば、リスク割り当ての非常に小さい、あるいは検出不能なレベルのバイアスでさえ、逐次的なリスクベースの決定を増幅し、いくつかの決定イテレーションの後にグループの差異を観測できる。
リスク評価ツールは、非常に複雑で経路に依存したプロセスで動作します。
本研究は,これらのツールが複合効果を適切に考慮していないこと,開発と監査に新たなアプローチが必要であることを結論づける。 In the criminal legal context, risk assessment algorithms are touted as data-driven, well-tested tools. Studies known as validation tests are typically cited by practitioners to show that a particular risk assessment algorithm has predictive accuracy, establishes legitimate differences between risk groups, and maintains some measure of group fairness in treatment. To establish these important goals, most tests use a one-shot, single-point measurement. Using a Polya Urn model, we explore the implication of feedback effects in sequential scoring-decision processes. We show through simulation that risk can propagate over sequential decisions in ways that are not captured by one-shot tests. For example, even a very small or undetectable level of bias in risk allocation can amplify over sequential risk-based decisions, leading to observable group differences after a number of decision iterations. Risk assessment tools operate in a highly complex and path-dependent process, fraught with historical inequity. We conclude from this study that these tools do not properly account for compounding effects, and require new approaches to development and auditing. | 翻訳日:2022-09-19 20:03:38 公開日:2020-11-28 |
| # Bernstein Polynomial Approximation による敵攻撃に対する決定論的証明 Deterministic Certification to Adversarial Attacks via Bernstein Polynomial Approximation ( http://arxiv.org/abs/2011.14085v1 ) ライセンス: Link先を確認 | Ching-Chia Kao, Jhe-Bang Ko, Chun-Shien Lu | (参考訳) ランダムな平滑化は、高い確率で$\ell_2$標準逆攻撃に対する最先端の証明可能な堅牢性を確立した。
しかし、ガウスデータの増大は自然の精度を著しく低下させる。
我々は「自然の精度を維持しながらランダム化せずにスムーズな分類器を構築することは可能か?」という疑問にたどり着いた。
答えは間違いなくイエスです。
本研究では,人気でエレガントな数学的ツールであるベルンシュタイン多項式に基づいて,任意の分類器を認定ロバスト分類器に変換する方法について検討する。
本手法は決定境界平滑化のための決定論的アルゴリズムを提供する。
また、非線形方程式系の数値解を通したノルム非独立性証明ロバストネスの特異なアプローチも導入する。
理論的解析と実験結果から,本手法は分類器のスムース化とロバストネス認証に有効であることが示唆された。 Randomized smoothing has established state-of-the-art provable robustness against $\ell_2$ norm adversarial attacks with high probability. However, the introduced Gaussian data augmentation causes a severe decrease in natural accuracy. We come up with a question, "Is it possible to construct a smoothed classifier without randomization while maintaining natural accuracy?". We find the answer is definitely yes. We study how to transform any classifier into a certified robust classifier based on a popular and elegant mathematical tool, Bernstein polynomial. Our method provides a deterministic algorithm for decision boundary smoothing. We also introduce a distinctive approach of norm-independent certified robustness via numerical solutions of nonlinear systems of equations. Theoretical analyses and experimental results indicate that our method is promising for classifier smoothing and robustness certification. | 翻訳日:2022-09-19 19:57:36 公開日:2020-11-28 |
| # 回折型ディープニューラルネットワークにおける光位相降下 Optical Phase Dropout in Diffractive Deep Neural Network ( http://arxiv.org/abs/2011.14130v1 ) ライセンス: Link先を確認 | Yong-Liang Xiao | (参考訳) ユニタリ・ラーニング(英: unitary learning)は、拡散型ディープ・ニューラル・ネットワーク([dn]2)に先行する物理的ユニタリに満ちた、複雑な値の深層ニューラルネットワークにおけるユニタリ重み更新に役立つバックプロパゲーションである。
しかし、ユニタリ重みの平方行列の性質は、関数信号が十分一般化できない限定次元を持つことを誘導する。
dn]2にロードされた小さなサンプルから生じるオーバーフィッティング問題に対処するために、光位相ドロップアウトトリックが実装される。
複素ドロップアウトから進化し、統計的推論を持つユニタリ空間における位相降下は、初めて定式化される。
ランダムな位相シフトを伴うランダムな点開口から再現された合成マスクとそのスマザード変調は、各回折層における入力光場を不完全サンプリングすることにより冗長リンクを調整する。
異なる非線形活性化を用いた合成マスクの物理的特徴を詳細に解明する。
デジタルモデルと微分モデルの等価性は、[DN]2で物理的に実装された非線形活性化を回避できる化合物変調を決定する。
数値実験により,[DN]2における光位相降下の優位性が検証され,2次元分類および認識タスクの精度が向上した。 Unitary learning is a backpropagation that serves to unitary weights update in deep complex-valued neural network with full connections, meeting a physical unitary prior in diffractive deep neural network ([DN]2). However, the square matrix property of unitary weights induces that the function signal has a limited dimension that could not generalize well. To address the overfitting problem that comes from the small samples loaded to [DN]2, an optical phase dropout trick is implemented. Phase dropout in unitary space that is evolved from a complex dropout and has a statistical inference is formulated for the first time. A synthetic mask recreated from random point apertures with random phase-shifting and its smothered modulation tailors the redundant links through incompletely sampling the input optical field at each diffractive layer. The physical features about the synthetic mask using different nonlinear activations are elucidated in detail. The equivalence between digital and diffractive model determines compound modulations that could successfully circumvent the nonlinear activations physically implemented in [DN]2. The numerical experiments verify the superiority of optical phase dropout in [DN]2 to enhance accuracy in 2D classification and recognition tasks-oriented. | 翻訳日:2022-09-19 19:57:25 公開日:2020-11-28 |
| # 磁気共鳴画像を用いた前臨床段階アルツハイマー病の検出 Preclinical Stage Alzheimer's Disease Detection Using Magnetic Resonance Image Scans ( http://arxiv.org/abs/2011.14139v1 ) ライセンス: Link先を確認 | Fatih Altay, Guillermo Ramon Sanchez, Yanli James, Stephen V. Faraone, Senem Velipasalar, Asif Salekin | (参考訳) アルツハイマー病(英語: Alzheimer's disease)は、高齢者に老化を伴わない病気の一つ。
最も一般的な症状は、コミュニケーションや抽象的な思考の問題、意図の欠如などである。
早期にアルツハイマー病を検出することが重要であるため、認知機能の改善は薬物や訓練によって行われる。
本稿では,MRI画像からアルツハイマー病を検出するための2つの注意モデルネットワークを提案する。
また,これら2つの注意ネットワークモデルの性能をベースラインモデルと比較した。
最近利用可能なOASIS-3 経時的神経画像、臨床、認知データセットは、我々のモデルを訓練、評価、比較するために使用される。
この研究の新規性は、すべてのパラメータ、身体的評価、臨床データから、患者が健康で症状のない状態にあるときに、アルツハイマー病を検知することを目的としているという事実にある。 Alzheimer's disease is one of the diseases that mostly affects older people without being a part of aging. The most common symptoms include problems with communicating and abstract thinking, as well as disorientation. It is important to detect Alzheimer's disease in early stages so that cognitive functioning would be improved by medication and training. In this paper, we propose two attention model networks for detecting Alzheimer's disease from MRI images to help early detection efforts at the preclinical stage. We also compare the performance of these two attention network models with a baseline model. Recently available OASIS-3 Longitudinal Neuroimaging, Clinical, and Cognitive Dataset is used to train, evaluate and compare our models. The novelty of this research resides in the fact that we aim to detect Alzheimer's disease when all the parameters, physical assessments, and clinical data state that the patient is healthy and showing no symptoms | 翻訳日:2022-09-19 19:57:00 公開日:2020-11-28 |
| # 材料界面力学学習のための熱力学的一貫性ニューラルネットワーク Thermodynamic Consistent Neural Networks for Learning Material Interfacial Mechanics ( http://arxiv.org/abs/2011.14172v1 ) ライセンス: Link先を確認 | Jiaxin Zhang, Congjie Wei, Chenglin Wu | (参考訳) 薄い基板系における多層膜材料では界面破壊が最も困難である。
トラクション分離関係(tsr)は、複雑な荷重下での界面障害の理解と予測に不可欠である開口部を有する材料界面の機械的挙動を定量的に記述する。
しかし、既存の理論モデルは、実験的な観測から現実世界のTSRを十分に学ぶのに十分な複雑さと柔軟性に制限がある。
ニューラルネットワークはロードパスとうまく適合するが、実験データの欠如と隠れた物理的メカニズムの理解のため、物理学の法則に従わないことが多い。
本稿では,TSRのデータ駆動モデルを構築するための熱力学的一貫したニューラルネットワーク (TCNN) を提案する。
TCNNは物理インフォームドニューラルネットワーク(PINN)の最近の進歩を活用して、過去の物理情報を損失関数にエンコードし、自動微分を用いてニューラルネットワークを効率的に訓練する。
本研究では,3つの熱力学的一貫した原理,すなわち正のエネルギー散逸,最急なエネルギー散逸勾配,エネルギー保守的な負荷経路について検討する。
これらはすべて数学的に定式化され、新たに定義された損失関数を持つニューラルネットワークモデルに埋め込まれる。
実世界の実験はTCNNの優れた性能を示し、TNNはTSR表面全体の正確な予測を提供し、物理法則に対する違反予測を著しく低減する。 For multilayer materials in thin substrate systems, interfacial failure is one of the most challenges. The traction-separation relations (TSR) quantitatively describe the mechanical behavior of a material interface undergoing openings, which is critical to understand and predict interfacial failures under complex loadings. However, existing theoretical models have limitations on enough complexity and flexibility to well learn the real-world TSR from experimental observations. A neural network can fit well along with the loading paths but often fails to obey the laws of physics, due to a lack of experimental data and understanding of the hidden physical mechanism. In this paper, we propose a thermodynamic consistent neural network (TCNN) approach to build a data-driven model of the TSR with sparse experimental data. The TCNN leverages recent advances in physics-informed neural networks (PINN) that encode prior physical information into the loss function and efficiently train the neural networks using automatic differentiation. We investigate three thermodynamic consistent principles, i.e., positive energy dissipation, steepest energy dissipation gradient, and energy conservative loading path. All of them are mathematically formulated and embedded into a neural network model with a novel defined loss function. A real-world experiment demonstrates the superior performance of TCNN, and we find that TCNN provides an accurate prediction of the whole TSR surface and significantly reduces the violated prediction against the laws of physics. | 翻訳日:2022-09-19 19:56:45 公開日:2020-11-28 |
| # 付加材料に対する拡張性深層学習促進トポロジー最適化 Scalable Deep-Learning-Accelerated Topology Optimization for Additively Manufactured Materials ( http://arxiv.org/abs/2011.14177v1 ) ライセンス: Link先を確認 | Sirui Bi, Jiaxin Zhang, Guannan Zhang | (参考訳) トポロジー最適化 (TO) は、新しい構造、材料、デバイスを設計するための一般的な強力な計算手法である。
2つの計算上の課題により、様々な産業応用への適用性が制限された。
第一に、to問題はしばしば十分な表現力を保証するために多くの設計変数を必要とする。
第二に、TO問題の多くは高価な物理モデルシミュレーションを必要とするため、それらのシミュレーションは並列化できない。
これらの問題に対処するために,SDL-TOと呼ばれる拡張性のあるディープラーニング(DL)ベースのTOフレームワークを提案する。
DL for TOの既存の研究とは異なり、我々のフレームワークは反復履歴データを学習し、与えられた設計と勾配のマッピングを同時にトレーニングすることでTOを加速します。
代理勾配は、複数のGPU上で分散DLトレーニングを組み込んだ複数のCPU上で並列計算を利用することで学習される。
learn to gradientは、物理シミュレータやソルバに基づく高価なアップデートではなく、高速なオンライン更新スキームを可能にする。
局所的なサンプリング戦略を用いて,設計空間の内在的な高次元性を低減し,SDL-TOフレームワークのトレーニング精度とスケーラビリティを向上させる。
本手法は, 熱伝導のためのAM材料設計とベンチマーク例で実証した。
提案するsdl-toフレームワークは, ベースライン法に比べて性能は高いが, 計算コストを8.6倍の高速化で大幅に削減する。 Topology optimization (TO) is a popular and powerful computational approach for designing novel structures, materials, and devices. Two computational challenges have limited the applicability of TO to a variety of industrial applications. First, a TO problem often involves a large number of design variables to guarantee sufficient expressive power. Second, many TO problems require a large number of expensive physical model simulations, and those simulations cannot be parallelized. To address these issues, we propose a general scalable deep-learning (DL) based TO framework, referred to as SDL-TO, which utilizes parallel schemes in high performance computing (HPC) to accelerate the TO process for designing additively manufactured (AM) materials. Unlike the existing studies of DL for TO, our framework accelerates TO by learning the iterative history data and simultaneously training on the mapping between the given design and its gradient. The surrogate gradient is learned by utilizing parallel computing on multiple CPUs incorporated with a distributed DL training on multiple GPUs. The learned TO gradient enables a fast online update scheme instead of an expensive update based on the physical simulator or solver. Using a local sampling strategy, we achieve to reduce the intrinsic high dimensionality of the design space and improve the training accuracy and the scalability of the SDL-TO framework. The method is demonstrated by benchmark examples and AM materials design for heat conduction. The proposed SDL-TO framework shows competitive performance compared to the baseline methods but significantly reduces the computational cost by a speed up of around 8.6x over the standard TO implementation. | 翻訳日:2022-09-19 19:56:23 公開日:2020-11-28 |
| # LocKedge: IoTエッジコンピューティングにおける低複雑さサイバー攻撃検出 LocKedge: Low-Complexity Cyberattack Detection in IoT Edge Computing ( http://arxiv.org/abs/2011.14194v1 ) ライセンス: Link先を確認 | Truong Thu Huong, Ta Phuong Bac, Dao M. Long, Bui D. Thang, Nguyen T. Binh, Tran D. Luong, and Tran Kim Phuc | (参考訳) モノのインターネットとそのアプリケーションは、より多くのデバイスで一般的になっていますが、ネットワークセキュリティのリスクは常にあります。
そのため、IoTネットワーク設計では、攻撃者を正確に、迅速に特定することが不可欠である。
主にセキュアなIoTアーキテクチャと分類アルゴリズムに関する多くのソリューションが提案されているが、複雑性の低減に十分な注意を払っていない。
本稿では,迅速な応答,汎用性,クラウドのワークロード削減といった攻撃の源泉に近いエッジ層において,検出タスクを果たすエッジクラウドアーキテクチャを提案する。
また,IoTエッジコンピューティングにおけるLocKedge Low Complexity Cyber attack Detectionと呼ばれるマルチアタック検出機構を提案する。
LocKedgeは、異なる視点からアーキテクチャのパフォーマンスを検証するために、集中型とフェデレーション型という2つの方法で実装されている。
提案手法の性能を,最新のBoT IoTデータセットを用いた他の機械学習およびディープラーニング手法と比較した。
その結果,LocKedgeは,NN,CNN,RNN,KNN,SVM,KNN,RF,Decision Treeなどのアルゴリズムよりも複雑度が高いことがわかった。 Internet of Things and its applications are becoming commonplace with more devices, but always at risk of network security. It is therefore crucial for an IoT network design to identify attackers accurately, quickly and promptly. Many solutions have been proposed, mainly concerning secure IoT architectures and classification algorithms, but none of them have paid enough attention to reducing the complexity. Our proposal in this paper is an edge cloud architecture that fulfills the detection task right at the edge layer, near the source of the attacks for quick response, versatility, as well as reducing the workload of the cloud. We also propose a multi attack detection mechanism called LocKedge Low Complexity Cyberattack Detection in IoT Edge Computing, which has low complexity for deployment at the edge zone while still maintaining high accuracy. LocKedge is implemented in two manners: centralized and federated learning manners in order to verify the performance of the architecture from different perspectives. The performance of our proposed mechanism is compared with that of other machine learning and deep learning methods using the most updated BoT IoT data set. The results show that LocKedge outperforms other algorithms such as NN, CNN, RNN, KNN, SVM, KNN, RF and Decision Tree in terms of accuracy and NN in terms of complexity. | 翻訳日:2022-09-19 19:55:59 公開日:2020-11-28 |
| # オフショア・オンショアウィンドファームにおけるランプイベント予測のための機械知能技術 Machine Intelligent Techniques for Ramp Event Prediction in Offshore and Onshore Wind Farms ( http://arxiv.org/abs/2011.14220v1 ) ライセンス: Link先を確認 | Harsh S. Dhiman, Dipankar Deb | (参考訳) 世界の風力エネルギーは従来の化石燃料による発電の負担を軽減している。
沿岸および沖合の風力発電所における風資源評価は、ランプイベントの正確な予測と解析を支援する。
産業的な見地からすると、短時間の大規模なランプイベントは、電力網に接続された風力発電所の損傷を引き起こす可能性が高い。
本書では,SVR(Support vector regression)とその変種,ランダム森林の回帰,および海岸および沖合風力発電場用勾配上昇機などのハイブリッド機械知能技術を用いて,ランプイベントを予測する。
ウェーブレット変換に基づく信号処理技術は風速から特徴を抽出するために用いられる。
その結果,SVRに基づく予測モデルでは,すべてのモデルで最高の予測性能が得られることがわかった。
さらに、勾配強化マシン(GBM)は、ツインサポートベクトル回帰(TSVR)モデルに近いランプイベントを予測する。
さらに、ウェーブレット分解と経験モデル分解から得られた特徴の対数エネルギーエントロピーを計算し、海岸および沖合風力発電所におけるランプパワーのランダム性を評価する。 Globally, wind energy has lessened the burden on conventional fossil fuel based power generation. Wind resource assessment for onshore and offshore wind farms aids in accurate forecasting and analyzing nature of ramp events. From an industrial point of view, a large ramp event in a short time duration is likely to cause damage to the wind farm connected to the utility grid. In this manuscript, ramp events are predicted using hybrid machine intelligent techniques such as Support vector regression (SVR) and its variants, random forest regression and gradient boosted machines for onshore and offshore wind farm sites. Wavelet transform based signal processing technique is used to extract features from wind speed. Results reveal that SVR based prediction models gives the best forecasting performance out of all models. In addition, gradient boosted machines (GBM) predicts ramp events closer to Twin support vector regression (TSVR) model. Furthermore, the randomness in ramp power is evaluated for onshore and offshore wind farms by calculating log energy entropy of features obtained from wavelet decomposition and empirical model decomposition. | 翻訳日:2022-09-19 19:55:38 公開日:2020-11-28 |
| # PCPs : 患者の心臓原型 PCPs: Patient Cardiac Prototypes ( http://arxiv.org/abs/2011.14227v1 ) ライセンス: Link先を確認 | Dani Kiyasseh, Tingting Zhu, David A. Clifton | (参考訳) 多くの臨床深層学習アルゴリズムは人口ベースであり、解釈が難しい。
このような特性は、個々の患者や医師が不透明なモデルを臨床ワークフローに組み込むことに消極的であるため、人口ベースの発見が一般化しないため、臨床的有用性を制限する。
これらの障害を克服するために、患者の心臓状態を効率的に要約する患者固有の埋め込み(PCP)を学習することを提案する。
そこで我々は,教師付きコントラスト学習により,同じ患者から対応するPCPに複数の心臓信号の表現を引き付ける。
PCPsの実用性は多角的であることを示す。
まず、データセット内と横断的に類似した患者を発見できる。
第二に、このような類似性はハイパーネットワークと連携して患者固有のパラメータを生成し、患者固有の診断を行うことができる。
第3に、PCPは元のデータセットのコンパクトな代用として機能し、データセットの蒸留を可能にする。 Many clinical deep learning algorithms are population-based and difficult to interpret. Such properties limit their clinical utility as population-based findings may not generalize to individual patients and physicians are reluctant to incorporate opaque models into their clinical workflow. To overcome these obstacles, we propose to learn patient-specific embeddings, entitled patient cardiac prototypes (PCPs), that efficiently summarize the cardiac state of the patient. To do so, we attract representations of multiple cardiac signals from the same patient to the corresponding PCP via supervised contrastive learning. We show that the utility of PCPs is multifold. First, they allow for the discovery of similar patients both within and across datasets. Second, such similarity can be leveraged in conjunction with a hypernetwork to generate patient-specific parameters, and in turn, patient-specific diagnoses. Third, we find that PCPs act as a compact substitute for the original dataset, allowing for dataset distillation. | 翻訳日:2022-09-19 19:55:21 公開日:2020-11-28 |
| # 新しい2段階アプローチによるロボット把持検出 Robotic grasp detection using a novel two-stage approach ( http://arxiv.org/abs/2011.14123v1 ) ライセンス: Link先を確認 | Zhe Chu, Mengkai Hu, Xiangyu Chen | (参考訳) 近年,ロボットグリップ検出に深層学習が応用されている。
畳み込みニューラルネットワーク(CNN)には、多くのエンドツーエンド検出アプローチがある。
しかし、エンドツーエンドアプローチには、ニューラルネットワークモデルのトレーニングに使用されるデータセットに厳しい要件があり、実用的な使用では達成できない。
そこで本研究では,PSO候補推定器とCNNを用いた2段階探索手法を提案する。
提案手法は,コーネル把持データセットにおいて92.8%の精度を実現し,既存の手法の上位に到達し,リアルタイムの速度で実行可能とした。
アプローチを少し変更すると、その間にオブジェクトごとに複数の把持を予測でき、さまざまな方法でオブジェクトを把持することができる。 Recently, deep learning has been successfully applied to robotic grasp detection. Based on convolutional neural networks (CNNs), there have been lots of end-to-end detection approaches. But end-to-end approaches have strict requirements for the dataset used for training the neural network models and it's hard to achieve in practical use. Therefore, we proposed a two-stage approach using particle swarm optimizer (PSO) candidate estimator and CNN to detect the most likely grasp. Our approach achieved an accuracy of 92.8% on the Cornell Grasp Dataset, which leaped into the front ranks of the existing approaches and is able to run at real-time speeds. After a small change of the approach, we can predict multiple grasps per object in the meantime so that an object can be grasped in a variety of ways. | 翻訳日:2022-09-19 19:47:54 公開日:2020-11-28 |
| # miinet: 医療診断支援のための画像品質改善フレームワーク MIINet: An Image Quality Improvement Framework for Supporting Medical Diagnosis ( http://arxiv.org/abs/2011.14132v1 ) ライセンス: Link先を確認 | Quan Huu Cap and Hitoshi Iyatomi and Atsushi Fukuda | (参考訳) 医用画像は診断決定において医療専門家を支援するために不可欠で有用なツールである。
しかし、撮影される医用画像、特に喉と内視鏡画像は、通常、ぼやけ、焦点の欠如、照明の不均一である。
これにより、医師の診断が困難になる可能性がある。
本稿では,低品質画像を高品質なクリーンバージョンに教師なし翻訳することで,医用画像の品質向上のための新しい画像間翻訳ネットワークであるMIINetを提案する。
我々のMIINetは、高解像度のクリーンな画像を生成するだけでなく、元の画像の属性を保存できるので、医師にとってより有利です。
100個の実用的喉画像のデハジング実験では,平均医師評価スコア(mdos)が大幅に改善され,2.36～4.11の基準値から画像の品質と再現性が評価され,サイクルガンによるデハジング画像は3.83の低値となった。
MIINetは、3人の医師によって、元の低画質画像から喉疾患の診断を支援するのに満足していると確認されている。 Medical images have been indispensable and useful tools for supporting medical experts in making diagnostic decisions. However, taken medical images especially throat and endoscopy images are normally hazy, lack of focus, or uneven illumination. Thus, these could difficult the diagnosis process for doctors. In this paper, we propose MIINet, a novel image-to-image translation network for improving quality of medical images by unsupervised translating low-quality images to the high-quality clean version. Our MIINet is not only capable of generating high-resolution clean images, but also preserving the attributes of original images, making the diagnostic more favorable for doctors. Experiments on dehazing 100 practical throat images show that our MIINet largely improves the mean doctor opinion score (MDOS), which assesses the quality and the reproducibility of the images from the baseline of 2.36 to 4.11, while dehazed images by CycleGAN got lower score of 3.83. The MIINet is confirmed by three physicians to be satisfying in supporting throat disease diagnostic from original low-quality images. | 翻訳日:2022-09-19 19:47:42 公開日:2020-11-28 |
| # 暗黒画像の高速・軽量復元に向けて Towards Fast and Light-Weight Restoration of Dark Images ( http://arxiv.org/abs/2011.14133v1 ) ライセンス: Link先を確認 | Mohit Lamba and Atul Balaji and Kaushik Mitra | (参考訳) 暗黒とほぼゼロのラックス条件下で高品質な画像をキャプチャする能力は、長い間コンピュータビジョンコミュニティを追求してきた。
チェンらによる独創的な作品。
[5]は特にこの領域に新たな関心を呼び起こし、復興を改善するために彼らの作業の上に構築する手法を生み出した。
しかし、組み込みシステム、監視カメラ、自律ロボット、スマートフォンなどのエッジデバイスに低照度拡張アルゴリズムを実用的に導入するためには、GPUメモリや処理能力の制限といった追加の制約を遵守する必要がある。
このことを念頭に,ネットワークレイテンシ,メモリ使用率,モデルパラメータ,コンストラクション品質のバランスを取ることを目的とした,ディープニューラルネットワークアーキテクチャを提案する。
鍵となる考え方は、高解法(HR)空間における計算を禁止し、低解法(LR)空間に制限することである。
しかし、LR空間で多くの計算を行うと、復元された画像のアーティファクトが発生する。
そこで我々は、復元された画像に多くのアーティファクトを発生させることなく、HR空間とLR空間を効果的に移動できるPackとUnPack演算を提案する。
我々は,CPU上でも3秒の球場で,2848 x 4256,極暗い単一イメージのフル解像度を向上できることを示す。
2～7倍のモデルパラメータ,2～3倍のメモリ使用率,5～20倍のスピードアップで実現し,最先端アルゴリズムと比較して画像再構成の競争力を維持した。 The ability to capture good quality images in the dark and near-zero lux conditions has been a long-standing pursuit of the computer vision community. The seminal work by Chen et al. [5] has especially caused renewed interest in this area, resulting in methods that build on top of their work in a bid to improve the reconstruction. However, for practical utility and deployment of low-light enhancement algorithms on edge devices such as embedded systems, surveillance cameras, autonomous robots and smartphones, the solution must respect additional constraints such as limited GPU memory and processing power. With this in mind, we propose a deep neural network architecture that aims to strike a balance between the network latency, memory utilization, model parameters, and reconstruction quality. The key idea is to forbid computations in the High-Resolution (HR) space and limit them to a Low-Resolution (LR) space. However, doing the bulk of computations in the LR space causes artifacts in the restored image. We thus propose Pack and UnPack operations, which allow us to effectively transit between the HR and LR spaces without incurring much artifacts in the restored image. We show that we can enhance a full resolution, 2848 x 4256, extremely dark single-image in the ballpark of 3 seconds even on a CPU. We achieve this with 2 - 7x fewer model parameters, 2 - 3x lower memory utilization, 5 - 20x speed up and yet maintain a competitive image reconstruction quality compared to the state-of-the-art algorithms. | 翻訳日:2022-09-19 19:47:25 公開日:2020-11-28 |
| # 3次元医用画像分割のためのスライス間残差学習 Inter-slice Context Residual Learning for 3D Medical Image Segmentation ( http://arxiv.org/abs/2011.14155v1 ) ライセンス: Link先を確認 | Jianpeng Zhang, Yutong Xie, Yan Wang, Yong Xia | (参考訳) 3次元医用画像の自動分割は、医療従事者が病気の進行を評価し、迅速に治療スケジュールを作るのを助ける上で重要な役割を担っている。
深層畳み込みニューラルネットワーク(deep convolutional neural network, dcnns)はこの課題に広く応用されているが,3次元文脈知覚能力の制限により,これらのモデルの精度はさらに向上する必要がある。
本稿では,3次元医用画像の正確なセグメンテーションのための3次元コンテキスト残差ネットワーク(ConResNet)を提案する。
このモデルはエンコーダ、セグメンテーションデコーダ、コンテキスト残差デコーダで構成される。
コンテキスト残差モジュールを設計し、それぞれのスケールで両方のデコーダをブリッジするために使用します。
それぞれのコンテキスト残差モジュールはコンテキスト残差マッピングとコンテキストアテンションマッピングの両方を含み、形式はスライス間のコンテキスト情報を明確に学習することを目的としており、後者はセグメンテーションの精度を高めるための一種のアテンションとしてコンテキストを使用する。
このモデルをMICCAI 2018 Brain tumor Segmentation (BraTS) データセットとNIH Pancreas Segmentation (Pancreas-CT) データセットで評価した。
提案した3次元文脈残差学習法の有効性を示すだけでなく,提案手法は脳腫瘍の6つの最上位法と膵の7つの最上位法より正確であることを示す。
コードはhttps://git.io/ConResNetで入手できる。 Automated and accurate 3D medical image segmentation plays an essential role in assisting medical professionals to evaluate disease progresses and make fast therapeutic schedules. Although deep convolutional neural networks (DCNNs) have widely applied to this task, the accuracy of these models still need to be further improved mainly due to their limited ability to 3D context perception. In this paper, we propose the 3D context residual network (ConResNet) for the accurate segmentation of 3D medical images. This model consists of an encoder, a segmentation decoder, and a context residual decoder. We design the context residual module and use it to bridge both decoders at each scale. Each context residual module contains both context residual mapping and context attention mapping, the formal aims to explicitly learn the inter-slice context information and the latter uses such context as a kind of attention to boost the segmentation accuracy. We evaluated this model on the MICCAI 2018 Brain Tumor Segmentation (BraTS) dataset and NIH Pancreas Segmentation (Pancreas-CT) dataset. Our results not only demonstrate the effectiveness of the proposed 3D context residual learning scheme but also indicate that the proposed ConResNet is more accurate than six top-ranking methods in brain tumor segmentation and seven top-ranking methods in pancreas segmentation. Code is available at https://git.io/ConResNet | 翻訳日:2022-09-19 19:46:56 公開日:2020-11-28 |
| # 高次元線形回帰の最適半教師付き推定と推定 Optimal Semi-supervised Estimation and Inference for High-dimensional Linear Regression ( http://arxiv.org/abs/2011.14185v1 ) ライセンス: Link先を確認 | Siyi Deng, Yang Ning, Jiwei Zhao, Heping Zhang | (参考訳) 電子健康記録のような多くのシナリオがあり、コ変量よりも結果の収集がずっと難しい。
本稿では,そのようなデータ構造を持つ線形回帰問題を高次元下で考察する。
本研究の目的は, 線形モデルにおける回帰パラメータの推定と推定を改善するために, ラベルなしのデータをいつ, どのように活用できるかを検討することである。
特に、以下の2つの重要な質問を取り上げます。
1)ラベル付きデータとラベルなしデータを使って半教師付き推定器を構築して、教師付き推定器よりも収束速度が速いようにすることができるか。
(2)監督された推定者よりも効率的あるいは強力であることが保証された信頼区間や仮説テストの構築は可能か?
最初の問題に対処するために、半教師付き設定においてパラメータ推定のための最小値下限を確立する。
ラベル付きデータのみを使用する教師付き推定器からの上限は,この下限を達成できないことを示す。
このギャップを閉じるために、下限に達する新しい半教師付き推定器を提案する。
提案した半教師付き推定器に基づき, 半教師付き推定器, 効率的な推定器, 安全な推定器の2つの追加推定器を提案する。
前者は、未知条件平均関数が一貫して推定される場合、完全に効率的であるが、それ以外は教師付きアプローチよりも効率的ではないかもしれない。
後者は通常、完全に効率的な推論を提供することを目標としないが、線形モデルが正しく指定されているか条件平均関数が一貫して推定されているかに関わらず、教師付きアプローチよりも悪くはないことが保証される。 There are many scenarios such as the electronic health records where the outcome is much more difficult to collect than the covariates. In this paper, we consider the linear regression problem with such a data structure under the high dimensionality. Our goal is to investigate when and how the unlabeled data can be exploited to improve the estimation and inference of the regression parameters in linear models, especially in light of the fact that such linear models may be misspecified in data analysis. In particular, we address the following two important questions. (1) Can we use the labeled data as well as the unlabeled data to construct a semi-supervised estimator such that its convergence rate is faster than the supervised estimators? (2) Can we construct confidence intervals or hypothesis tests that are guaranteed to be more efficient or powerful than the supervised estimators? To address the first question, we establish the minimax lower bound for parameter estimation in the semi-supervised setting. We show that the upper bound from the supervised estimators that only use the labeled data cannot attain this lower bound. We close this gap by proposing a new semi-supervised estimator which attains the lower bound. To address the second question, based on our proposed semi-supervised estimator, we propose two additional estimators for semi-supervised inference, the efficient estimator and the safe estimator. The former is fully efficient if the unknown conditional mean function is estimated consistently, but may not be more efficient than the supervised approach otherwise. The latter usually does not aim to provide fully efficient inference, but is guaranteed to be no worse than the supervised approach, no matter whether the linear model is correctly specified or the conditional mean function is consistently estimated. | 翻訳日:2022-09-19 19:46:32 公開日:2020-11-28 |
| # 橋梁入札におけるヒューマンエージェント連携 Human-Agent Cooperation in Bridge Bidding ( http://arxiv.org/abs/2011.14124v1 ) ライセンス: Link先を確認 | Edward Lockhart, Neil Burch, Nolan Bard, Sebastian Borgeaud, Tom Eccles, Lucas Smaira, Ray Smith | (参考訳) 本稿では,人間互換の強化学習手法を協調型ゲームに導入し,サードパーティのハンドコード型人間対応ボットを用いて初期トレーニングデータを生成し,初期評価を行う。
私たちの学習アプローチは、模倣学習、探索、ポリシー反復で構成されています。
訓練されたエージェントは、自分自身のコピーと協調してプレーするエージェント、既存のボットとパートナーするエージェント、人間のプレイヤーとパートナーするエージェントの3つの設定で、ブリッジ入札のための新しい最先端技術を達成する。 We introduce a human-compatible reinforcement-learning approach to a cooperative game, making use of a third-party hand-coded human-compatible bot to generate initial training data and to perform initial evaluation. Our learning approach consists of imitation learning, search, and policy iteration. Our trained agents achieve a new state-of-the-art for bridge bidding in three settings: an agent playing in partnership with a copy of itself; an agent partnering a pre-existing bot; and an agent partnering a human player. | 翻訳日:2022-09-19 19:40:01 公開日:2020-11-28 |
| # 未確認領域顔アンチスプーフィングのための不確かさを意識した物理的ガイド付きプロキシタスク Uncertainty-Aware Physically-Guided Proxy Tasks for Unseen Domain Face Anti-spoofing ( http://arxiv.org/abs/2011.14054v1 ) ライセンス: Link先を確認 | Junru Wu, Xiang Yu, Buyu Liu, Zhangyang Wang, Manmohan Chandraker | (参考訳) Face Anti-Spoofing (FAS)は、偽の顔と偽の顔とを区別しようと試みている。
攻撃の種類が多様であるため、すべての攻撃タイプにまたがるトレーニングデータを得ることは不可能である。
そこで我々は, 物理的手がかりを活用し, 未知領域のより優れた一般化を実現することを提案する。
具体的な実演として、我々は、物理的に誘導された、奥行き、反射、物質といった指標を用いて、私たちの主なアンチスプーフィング(すなわち、生存検知)タスクを補完し、ドメイン間の本物の顔が一貫した顔のような形状、最小限の反射、皮膚素材を持つという直観をもって補完する。
本稿では,メインタスクとプロキシタスクの相対的コントリビューションを独立に評価し,従来のアテンションモジュールによる過信問題を防止する,新たな不確実性認識型アテンションスキームを提案する。
さらに, 属性支援型硬質負のマイニングにより, 学習時の生活特徴と生活特徴を混同する。
我々は、データセット内およびデータセット間プロトコルを用いた公開ベンチマークで広範囲に評価する。
本手法は,特にfasの未認識領域一般化において,優れた性能を実現する。 Face anti-spoofing (FAS) seeks to discriminate genuine faces from fake ones arising from any type of spoofing attack. Due to the wide varieties of attacks, it is implausible to obtain training data that spans all attack types. We propose to leverage physical cues to attain better generalization on unseen domains. As a specific demonstration, we use physically guided proxy cues such as depth, reflection, and material to complement our main anti-spoofing (a.k.a liveness detection) task, with the intuition that genuine faces across domains have consistent face-like geometry, minimal reflection, and skin material. We introduce a novel uncertainty-aware attention scheme that independently learns to weigh the relative contributions of the main and proxy tasks, preventing the over-confident issue with traditional attention modules. Further, we propose attribute-assisted hard negative mining to disentangle liveness-irrelevant features with liveness features during learning. We evaluate extensively on public benchmarks with intra-dataset and inter-dataset protocols. Our method achieves the superior performance especially in unseen domain generalization for FAS. | 翻訳日:2022-09-19 19:39:51 公開日:2020-11-28 |
| # 映像中の魚の行動自動検出のための運動軌跡 Movement Tracks for the Automatic Detection of Fish Behavior in Videos ( http://arxiv.org/abs/2011.14070v1 ) ライセンス: Link先を確認 | Declan McIntosh, Tunai Porto Marques, Alexandra Branzan Albu, Rodney Rountree, Fabio De Leo | (参考訳) 地球温暖化は海洋生態系に大きな影響を与えると予測されている。
魚類の行動は海洋環境の変化の重要な指標である。
したがって、ビデオで重要な魚の行動を自動的に識別することは、海洋研究者にとって非常に必要なツールであり、気候変動に関連する現象を研究することができる。
我々は,水中ビデオにおけるsablefish (anoplopoma fimbria) スタール行動のデータセットを提供し,その行動検出にdeep learning (dl) 法の使用について検討する。
提案する検出システムは,dlベースのフレームワークを用いて魚のインスタンスを識別し,軌跡を判定し,新たな行動特有の特徴を導出し,long short-term memory (lstm) ネットワークを用いてsablefishのスタール動作を識別する。
その性能は、最先端のdlベースのビデオイベント検出器と比較することで研究されている。 Global warming is predicted to profoundly impact ocean ecosystems. Fish behavior is an important indicator of changes in such marine environments. Thus, the automatic identification of key fish behavior in videos represents a much needed tool for marine researchers, enabling them to study climate change-related phenomena. We offer a dataset of sablefish (Anoplopoma fimbria) startle behaviors in underwater videos, and investigate the use of deep learning (DL) methods for behavior detection on it. Our proposed detection system identifies fish instances using DL-based frameworks, determines trajectory tracks, derives novel behavior-specific features, and employs Long Short-Term Memory (LSTM) networks to identify startle behavior in sablefish. Its performance is studied by comparing it with a state-of-the-art DL-based video event detector. | 翻訳日:2022-09-19 19:39:30 公開日:2020-11-28 |
| # AdaBins: Adaptive Bins を用いた深さ推定 AdaBins: Depth Estimation using Adaptive Bins ( http://arxiv.org/abs/2011.14141v1 ) ライセンス: Link先を確認 | Shariq Farooq Bhat, Ibraheem Alhashim, Peter Wonka | (参考訳) 単一のRGB入力画像から高品質の高密度深度マップを推定する問題に対処する。
まず、ベースラインエンコーダ/デコーダ畳み込みニューラルネットワークアーキテクチャから始め、情報のグローバル処理が全体的な深さ推定にどのように役立つかという疑問を提起する。
そこで本研究では,画像毎に中心値が適応的に推定されるビンに深さ範囲を分割するトランスフォーマーアーキテクチャブロックを提案する。
最終深度値はビン中心の線形結合として推定される。
新しいビルディングブロックをAdaBinsと呼びます。
以上の結果から,すべての指標にまたがるいくつかの一般的な深度データセットの最先端性に対する決定的な改善が得られた。
また,提案ブロックの有効性をアブレーション実験により検証し,新しい最先端モデルのコードとそれに対応する事前学習重みを与える。 We address the problem of estimating a high quality dense depth map from a single RGB input image. We start out with a baseline encoder-decoder convolutional neural network architecture and pose the question of how the global processing of information can help improve overall depth estimation. To this end, we propose a transformer-based architecture block that divides the depth range into bins whose center value is estimated adaptively per image. The final depth values are estimated as linear combinations of the bin centers. We call our new building block AdaBins. Our results show a decisive improvement over the state-of-the-art on several popular depth datasets across all metrics. We also validate the effectiveness of the proposed block with an ablation study and provide the code and corresponding pre-trained weights of the new state-of-the-art model. | 翻訳日:2022-09-19 19:38:50 公開日:2020-11-28 |
| # 拡張線形変換によるバッチ正規化 Batch Normalization with Enhanced Linear Transformation ( http://arxiv.org/abs/2011.14150v1 ) ライセンス: Link先を確認 | Yuhui Xu, Lingxi Xie, Cihang Xie, Jieru Mei, Siyuan Qiao, Wei Shen, Hongkai Xiong, Alan Yuille | (参考訳) バッチ正規化(BN)は、複雑なデータ分散に適合するBNの柔軟性を改善するために線形変換モジュールが設計された、現代のディープネットワークの基本単位である。
本稿では,この線形変換モジュールを適切に拡張することにより,BNの能力を効果的に向上できることを示す。
具体的には、単一ニューロンではなく、各ニューロンの近傍を線形変換の出力を計算するために追加的に検討することを提案する。
bnetと呼ばれるこの手法は、ほとんどのディープラーニングライブラリで2-3行のコードで実装できる。
単純さにもかかわらず、bnetは幅広いバックボーンとビジュアルベンチマークで一貫したパフォーマンス向上をもたらす。
さらに,bnetがネットワークトレーニングの収束を加速し,重要なニューロンを重み付けで割り当てることで空間情報を高めることを検証した。
コードはhttps://github.com/yuhuixu1993/BNETで入手できる。 Batch normalization (BN) is a fundamental unit in modern deep networks, in which a linear transformation module was designed for improving BN's flexibility of fitting complex data distributions. In this paper, we demonstrate properly enhancing this linear transformation module can effectively improve the ability of BN. Specifically, rather than using a single neuron, we propose to additionally consider each neuron's neighborhood for calculating the outputs of the linear transformation. Our method, named BNET, can be implemented with 2-3 lines of code in most deep learning libraries. Despite the simplicity, BNET brings consistent performance gains over a wide range of backbones and visual benchmarks. Moreover, we verify that BNET accelerates the convergence of network training and enhances spatial information by assigning the important neurons with larger weights accordingly. The code is available at https://github.com/yuhuixu1993/BNET. | 翻訳日:2022-09-19 19:38:36 公開日:2020-11-28 |
| # クラス勾配定義高曲率部分空間における準ニュートン法 Quasi-Newton's method in the class gradient defined high-curvature subspace ( http://arxiv.org/abs/2012.01938v1 ) ライセンス: Link先を確認 | Mark Tuddenham and Adam Pr\"ugel-Bennett and Jonathan Hare | (参考訳) ディープラーニングを用いた分類問題は、クラス数に等しい次元のロスランドスケープに高い曲率のサブスペースがあることが示されている。
さらに、この部分空間は各クラスのロジット勾配で区切られた部分空間に対応する。
最適化を高速化するための明らかな戦略は、ニュートン法をコ空間の高曲率部分空間と確率勾配降下に使用することである。
直感的な実装が実際に収束を遅らせていることを示し、その理由を推測する。 Classification problems using deep learning have been shown to have a high-curvature subspace in the loss landscape equal in dimension to the number of classes. Moreover, this subspace corresponds to the subspace spanned by the logit gradients for each class. An obvious strategy to speed up optimisation would be to use Newton's method in the high-curvature subspace and stochastic gradient descent in the co-space. We show that a naive implementation actually slows down convergence and we speculate why this might be. | 翻訳日:2022-09-19 19:37:33 公開日:2020-11-28 |
| # UAV対応ネットワークのためのプライバシ保護フェデレーション学習:学習ベース共同スケジューリングと資源管理 Privacy-Preserving Federated Learning for UAV-Enabled Networks: Learning-Based Joint Scheduling and Resource Management ( http://arxiv.org/abs/2011.14197v1 ) ライセンス: Link先を確認 | Helin Yang, Jun Zhao, Zehui Xiong, Kwok-Yan Lam, Sumei Sun, Liang Xiao | (参考訳) 無人航空機(UAV)は、データ収集、人工知能(AI)モデルトレーニング、無線通信をサポートする飛行基地局(BS)として機能する。
しかしながら、デバイスのプライバシ上の懸念とUAVの計算や通信リソースの制限のため、モデルのトレーニングのためにデバイスの生データをUAVサーバに送ることは不可能である。
さらに、UAV対応ネットワークにおけるデバイスの動的チャネル条件と不均一な計算能力により、データ共有の信頼性と効率をさらに向上する必要がある。
本稿では,マルチUAV対応ネットワークのための非同期フェデレーション学習(AFL)フレームワークを開発し,UAVサーバに生の機密データを送信することなく,ローカルでモデルトレーニングを行うことで,非同期分散コンピューティングを実現する。
デバイス選択戦略はAFLフレームワークにも導入され、低品質デバイスが学習効率と精度に影響を与えるのを防ぐ。
さらに,協調収束速度と精度を向上させるために,非同期アドバンテージアクタ-クリティック(a3c)ベースのデバイス選択,uavs配置,リソース管理アルゴリズムを提案する。
シミュレーションの結果,提案手法とアルゴリズムは,既存のソリューションに比べて高い学習精度と高速なフェデレーション実行時間を実現することがわかった。 Unmanned aerial vehicles (UAVs) are capable of serving as flying base stations (BSs) for supporting data collection, artificial intelligence (AI) model training, and wireless communications. However, due to the privacy concerns of devices and limited computation or communication resource of UAVs, it is impractical to send raw data of devices to UAV servers for model training. Moreover, due to the dynamic channel condition and heterogeneous computing capacity of devices in UAV-enabled networks, the reliability and efficiency of data sharing require to be further improved. In this paper, we develop an asynchronous federated learning (AFL) framework for multi-UAV-enabled networks, which can provide asynchronous distributed computing by enabling model training locally without transmitting raw sensitive data to UAV servers. The device selection strategy is also introduced into the AFL framework to keep the low-quality devices from affecting the learning efficiency and accuracy. Moreover, we propose an asynchronous advantage actor-critic (A3C) based joint device selection, UAVs placement, and resource management algorithm to enhance the federated convergence speed and accuracy. Simulation results demonstrate that our proposed framework and algorithm achieve higher learning accuracy and faster federated execution time compared to other existing solutions. | 翻訳日:2022-09-19 19:37:24 公開日:2020-11-28 |
| # i3DMM:人間の頭部の3次元形状モデル i3DMM: Deep Implicit 3D Morphable Model of Human Heads ( http://arxiv.org/abs/2011.14143v1 ) ライセンス: Link先を確認 | Tarun Yenamandra, Ayush Tewari, Florian Bernard, Hans-Peter Seidel, Mohamed Elgharib, Daniel Cremers, Christian Theobalt | (参考訳) フルヘッドの深部暗黙の3d morphable model (i3dmm) について述べる。
以前のフォーマブルフェイスモデルとは異なり、顔の形状、テクスチャ、表現を識別するだけでなく、髪を含む頭部全体をモデル化する。
異なる表現とヘアスタイルを持つ64人の新しいデータセットを収集し,i3DMMを訓練する。
私たちのアプローチには次のような望ましい特性があります。
(i)髪を含む最初の頭部変形型モデル。
(ii)メッシュベースのモデルとは対照的に、難しい非剛性登録を必要とせずに、厳格に整列したスキャンでトレーニングすることができる。
(iii)形状モデルを暗黙の基準形状に分離し,この基準形状を変形させる新しいアーキテクチャを設計する。
これにより、形状間の密接な対応を暗黙的に学習することができる。
(iv)このアーキテクチャは、色が参照空間で学習されるので、幾何学や色成分を意味的に切り離すことができる。
幾何学はさらにアイデンティティ、表現、ヘアスタイルとして、また色はアイデンティティやヘアスタイルコンポーネントとして区別される。
アブレーション研究,最先端モデルとの比較,セマンティックヘッド編集やテクスチャ転送などの応用を用いて,i3DMMの利点を示す。
私たちはモデルを公開します。 We present the first deep implicit 3D morphable model (i3DMM) of full heads. Unlike earlier morphable face models it not only captures identity-specific geometry, texture, and expressions of the frontal face, but also models the entire head, including hair. We collect a new dataset consisting of 64 people with different expressions and hairstyles to train i3DMM. Our approach has the following favorable properties: (i) It is the first full head morphable model that includes hair. (ii) In contrast to mesh-based models it can be trained on merely rigidly aligned scans, without requiring difficult non-rigid registration. (iii) We design a novel architecture to decouple the shape model into an implicit reference shape and a deformation of this reference shape. With that, dense correspondences between shapes can be learned implicitly. (iv) This architecture allows us to semantically disentangle the geometry and color components, as color is learned in the reference space. Geometry is further disentangled as identity, expressions, and hairstyle, while color is disentangled as identity and hairstyle components. We show the merits of i3DMM using ablation studies, comparisons to state-of-the-art models, and applications such as semantic head editing and texture transfer. We will make our model publicly available. | 翻訳日:2022-09-19 19:31:23 公開日:2020-11-28 |
| # 計算社会科学におけるインタビューデータ処理のためのテキストマイニング Text Mining for Processing Interview Data in Computational Social Science ( http://arxiv.org/abs/2011.14037v1 ) ライセンス: Link先を確認 | Jussi Karlgren, Renee Li, Eva M Meyersson Milgrom | (参考訳) 市販のテキスト分析技術を用いて,コンピュータ社会科学研究のインタビューテキストデータを処理している。
トピッククラスタリングと専門用語の豊かさは,応答の簡便な探索と定量化に寄与する。
これにより、仮説の生成とテスト、テキスト変数と非テキスト変数の比較が可能になり、アナリストの努力を節約できる。
社会科学研究は,特に探索的オープンエンド研究において,テキスト分析の利用を奨励する。
本稿では,テキスト解析技術による再現性要件の満たし方について議論する。
最新の学習モデルは透明性を念頭に設計されておらず、その研究には編集可能なモデルと説明可能な決定が必要であることに留意する。
現在利用可能なツール,例えば本研究では,インタビューテキストの処理には使用されていない。
検討中の変数の多くは、語彙統計を用いて定量化できるが、興味深い、潜在的に価値のあるいくつかの機能は、現在確実に自動化することは困難か不可能である。
このアプリケーション領域では、名前付きエンティティ認識やanaphora解決など、従来の自然言語処理メカニズムに潜在的に興味深い応用がいくつかあることに注意する。
最後に, 言語技術者に対して, インタビューデータの包括的処理, 特に質問と回答の相互作用について調査することを提案し, 特に面接データの探索的処理において, テキスト分析ツールの使用をためらわないよう社会科学研究者に促す。
? We use commercially available text analysis technology to process interview text data from a computational social science study. We find that topical clustering and terminological enrichment provide for convenient exploration and quantification of the responses. This makes it possible to generate and test hypotheses and to compare textual and non-textual variables, and saves analyst effort. We encourage studies in social science to use text analysis, especially for exploratory open-ended studies. We discuss how replicability requirements are met by text analysis technology. We note that the most recent learning models are not designed with transparency in mind, and that research requires a model to be editable and its decisions to be explainable. The tools available today, such as the one used in the present study, are not built for processing interview texts. While many of the variables under consideration are quantifiable using lexical statistics, we find that some interesting and potentially valuable features are difficult or impossible to automatise reliably at present. We note that there are some potentially interesting applications for traditional natural language processing mechanisms such as named entity recognition and anaphora resolution in this application area. We conclude with a suggestion for language technologists to investigate the challenge of processing interview data comprehensively, especially the interplay between question and response, and we encourage social science researchers not to hesitate to use text analysis tools, especially for the exploratory phase of processing interview data.? | 翻訳日:2022-09-19 19:29:53 公開日:2020-11-28 |
| # 複数単語を用いた英語エスペラント自動翻訳の品質向上 Using Multiple Subwords to Improve English-Esperanto Automated Literary Translation Quality ( http://arxiv.org/abs/2011.14190v1 ) ライセンス: Link先を確認 | Alberto Poncelas, Jan Buts, James Hadley, Andy Way | (参考訳) 低リソース言語のための機械翻訳(MT)システムの構築は依然として困難である。
多くの言語ペアでは、並列データが広く利用できないため、MTモデルは高リソース言語で見られる結果に匹敵する結果が得られない。
データが不足している場合、限られた材料を最適に利用することが最重要となる。
そこで本稿では,同じパラレル文を複数回使用し,単語の分割の仕方を変えることを提案する。
この目的では、複数のバイトペアのエンコーディングモデルを使用し、さまざまなマージ操作を構成に使用します。
実験では、この手法を用いて利用可能なデータを拡張し、低リソースの言語対である英語-エスペラントを含むMTシステムを改善する。
追加の貢献として,文芸領域における英esperanto並列データのセットを利用可能とした。 Building Machine Translation (MT) systems for low-resource languages remains challenging. For many language pairs, parallel data are not widely available, and in such cases MT models do not achieve results comparable to those seen with high-resource languages. When data are scarce, it is of paramount importance to make optimal use of the limited material available. To that end, in this paper we propose employing the same parallel sentences multiple times, only changing the way the words are split each time. For this purpose we use several Byte Pair Encoding models, with various merge operations used in their configuration. In our experiments, we use this technique to expand the available data and improve an MT system involving a low-resource language pair, namely English-Esperanto. As an additional contribution, we made available a set of English-Esperanto parallel data in the literary domain. | 翻訳日:2022-09-19 19:29:14 公開日:2020-11-28 |
| # パープレキシティ分析を用いた唇読解におけるホモフェムの分離 Disentangling Homophemes in Lip Reading using Perplexity Analysis ( http://arxiv.org/abs/2012.07528v1 ) ライセンス: Link先を確認 | Souheil Fenghour, Daqing Chen, Kun Guo, Perry Xiao | (参考訳) 分類スキーマとしてvisemeを用いた自動口唇読解の性能は,同一のvisemeを共有する単語が異なるため,ascii文字や単語を用いた場合に比べ,成功度が低かった。
Generative Pre-Training Transformerは、自然言語処理における多くのタスクに使用される効果的な自己回帰言語モデルである。
本稿では,このモデルに対する新しい応用法を提案し,口唇読解の文脈で適用し,ビセム形式での視覚音声を単語や文形式での言語に変換する言語モデルとして機能する。
このネットワークは、最適なパープレキシティの探索を用いて、ビセメ・ツー・ワードマッピングを実行し、音声が同一に見えると異なる様々な単語が存在する一対多のマッピング問題に対する解決策となる。
本稿では,単語境界,すなわち単語の始終と終末が不明な場合と,境界が分かっている場合の2つのシナリオにおいて,視覚的な手がかりのみを用いて口唇の自動読解を行う場合の1対1のマッピング問題に対処する方法を提案する。
BBCのベンチマークデータセット "Lip Reading Sentences in the Wild" (LRS2) からの文章は、文字エラー率10.7%、単語エラー率18.0%で分類されている。
本論文の主な貢献は,自己回帰言語モデルを用いて,視覚手がかりのみが存在する場合のパープレキシティ分析を用いて単語を予測する手法を提案することである。 The performance of automated lip reading using visemes as a classification schema has achieved less success compared with the use of ASCII characters and words largely due to the problem of different words sharing identical visemes. The Generative Pre-Training transformer is an effective autoregressive language model used for many tasks in Natural Language Processing, including sentence prediction and text classification. This paper proposes a new application for this model and applies it in the context of lip reading, where it serves as a language model to convert visual speech in the form of visemes, to language in the form of words and sentences. The network uses the search for optimal perplexity to perform the viseme-to-word mapping and is thus a solution to the one-to-many mapping problem that exists whereby various words that sound different when spoken look identical. This paper proposes a method to tackle the one-to-many mapping problem when performing automated lip reading using solely visual cues in two separate scenarios: the first scenario is where the word boundary, that is, the beginning and the ending of a word, is unknown; and the second scenario is where the boundary is known. Sentences from the benchmark BBC dataset "Lip Reading Sentences in the Wild"(LRS2), are classified with a character error rate of 10.7% and a word error rate of 18.0%. The main contribution of this paper is to propose a method of predicting words through the use of perplexity analysis when only visual cues are present, using an autoregressive language model. | 翻訳日:2022-09-19 19:29:01 公開日:2020-11-28 |
| # 過パラメータ線形回帰に対する適応手法の一般化について On Generalization of Adaptive Methods for Over-parameterized Linear Regression ( http://arxiv.org/abs/2011.14066v1 ) ライセンス: Link先を確認 | Vatsal Shah, Soumya Basu, Anastasios Kyrillidis, Sujay Sanghavi | (参考訳) オーバーパラメータ化と適応的手法は、過去10年間のディープラーニングの成功に重要な役割を果たしてきた。
過剰パラメータ化の広範利用により、最適化アルゴリズムの暗黙的正規化やトレーニング進行を伴う二重降下といった新しい現象をもたらすことによって、一般化を再考せざるを得なくなった。
ニューラルネットワークが一般化する理由を理解するために、最近の一連の研究がこれらの領域に光を当て始めている。
過度にパラメータ化された線形回帰の設定は、ニューラルネットワークのこの神秘的な振る舞いを理解する上で重要な洞察を与えてきた。
本稿では,過パラメータ線形回帰設定における適応法の性能を特徴付けることを目的とする。
まず,適応的手法の2つのサブクラスに一般化性能に応じて焦点をあてる。
適応法の最初のクラスでは、パラメータベクトルはデータのスパンに留まり、勾配降下(GD)のような最小ノルム解に収束する。
一方、第2の適応法では、プリコンディショナー行列による勾配回転は、最小ノルム解に収束するパラメータベクトルのインスパン成分と飽和するアウト・オブ・スパン成分をもたらす。
過パラメータ線形回帰とディープニューラルネットワークによる実験はこの理論を裏付けるものである。 Over-parameterization and adaptive methods have played a crucial role in the success of deep learning in the last decade. The widespread use of over-parameterization has forced us to rethink generalization by bringing forth new phenomena, such as implicit regularization of optimization algorithms and double descent with training progression. A series of recent works have started to shed light on these areas in the quest to understand -- why do neural networks generalize well? The setting of over-parameterized linear regression has provided key insights into understanding this mysterious behavior of neural networks. In this paper, we aim to characterize the performance of adaptive methods in the over-parameterized linear regression setting. First, we focus on two sub-classes of adaptive methods depending on their generalization performance. For the first class of adaptive methods, the parameter vector remains in the span of the data and converges to the minimum norm solution like gradient descent (GD). On the other hand, for the second class of adaptive methods, the gradient rotation caused by the pre-conditioner matrix results in an in-span component of the parameter vector that converges to the minimum norm solution and the out-of-span component that saturates. Our experiments on over-parameterized linear regression and deep neural networks support this theory. | 翻訳日:2022-09-19 19:21:28 公開日:2020-11-28 |
| # FreezeNet: ストレージコスト削減によるフルパフォーマンス FreezeNet: Full Performance by Reduced Storage Costs ( http://arxiv.org/abs/2011.14087v1 ) ライセンス: Link先を確認 | Paul Wimmer, Jens Mehnert and Alexandru Condurache | (参考訳) プルーニングはパラメータをゼロにすることでスパースネットワークを生成する。
本研究では,スパース勾配計算を保ちながら,追加のストレージコストを加えることなく,トレーニング前に適用したワンショットプルーニング法を改善する。
プルーニングの主な違いは、ネットワークの重みをスパースするのではなく、いくつかの重要なパラメータを学習し、他のパラメータをランダムな初期化値に固定することです。
この機構はパラメータの凍結と呼ばれる。
凍結した重量は、32ビットのランダムなシード番号で効率的に保存できる。
凍結すべきパラメータは、トレーニング開始前に1つのフォワードとバックワードパスで決定される。
導入されたメソッドをFreezeNetと呼ぶ。
我々の実験では、特に極端凍結速度において、FreezeNetsは良い結果が得られることを示した。
凍結重みはネットワーク全体の勾配の流れを保ち、その結果、フリーズネットはよりよく訓練し、刈り取ったものに比べて容量を増加させる。
分類タスク MNIST と CIFAR-10/100 では、SNIP よりも優れており、この設定ではトレーニング前に適用された最も優れたワンショットプルーニング法である。
MNISTでは、FreezeNetはベースラインのLeNet-5-Caffeアーキテクチャの99.2%のパフォーマンスを達成し、トレーニングされたパラメータと格納されたパラメータの数をx 157で圧縮した。 Pruning generates sparse networks by setting parameters to zero. In this work we improve one-shot pruning methods, applied before training, without adding any additional storage costs while preserving the sparse gradient computations. The main difference to pruning is that we do not sparsify the network's weights but learn just a few key parameters and keep the other ones fixed at their random initialized value. This mechanism is called freezing the parameters. Those frozen weights can be stored efficiently with a single 32bit random seed number. The parameters to be frozen are determined one-shot by a single for- and backward pass applied before training starts. We call the introduced method FreezeNet. In our experiments we show that FreezeNets achieve good results, especially for extreme freezing rates. Freezing weights preserves the gradient flow throughout the network and consequently, FreezeNets train better and have an increased capacity compared to their pruned counterparts. On the classification tasks MNIST and CIFAR-10/100 we outperform SNIP, in this setting the best reported one-shot pruning method, applied before training. On MNIST, FreezeNet achieves 99.2% performance of the baseline LeNet-5-Caffe architecture, while compressing the number of trained and stored parameters by a factor of x 157. | 翻訳日:2022-09-19 19:21:09 公開日:2020-11-28 |
| # 診断における人間と機械の知覚の相違 Differences between human and machine perception in medical diagnosis ( http://arxiv.org/abs/2011.14036v1 ) ライセンス: Link先を確認 | Taro Makino, Stanislaw Jastrzebski, Witold Oleszkiewicz, Celin Chacko, Robin Ehrenpreis, Naziya Samreen, Chloe Chhor, Eric Kim, Jiyon Lee, Kristine Pysarenko, Beatriu Reig, Hildegard Toth, Divya Awal, Linda Du, Alice Kim, James Park, Daniel K. Sodickson, Laura Heacock, Linda Moy, Kyunghyun Cho, Krzysztof J. Geras | (参考訳) ディープニューラルネットワーク(DNN)は画像ベースの診断において有望であるが、人間の知覚が不変であるデータセットシフトによってそのパフォーマンスが著しく劣化する可能性があるため、完全に信頼できない。
人間と機械の知覚の違いをよりよく理解できれば、この効果を特徴づけ、緩和することができる。
そこで我々は,診断における人間と機械の知覚を比較する枠組みを提案する。
2つの画像は、臨床的に意味のある情報の除去に対する感度と、最も疑わしい画像の領域に対して比較される。
自然画像領域からインスピレーションを得て、両比較を摂動堅牢性の観点からフレーム化する。
臨床的に有意な差のあるサブグループに対して, 別々に分析を行うという枠組みは新奇である。
我々は、シンプソンのパラドックスを回避し、正しい結論を引き出すためには、これが必要であると論じる。
乳癌検診では,放射線科医とDNNの有意差が認められた。
この2つをガウス低域濾過法と比較し,微小石灰化と軟部組織病変のサブグループ分析を行った。
微小石灰化のために、dnnは放射線科医とは別の周波数成分を使い、そのうちのいくつかは放射線科医が最も疑わしいと思われる画像領域の外側にある。
これらの特徴は刺激的なリスクを負うが、そうでなければ、潜在的な新しいバイオマーカーを示す可能性がある。
軟部組織病変では、放射線科医とDNNのばらつきは、放射線科医が無視する急激な高周波成分に大きく依存している。
この軟部組織病変の偏りはサブグループ解析によってのみ観察可能であり,本フレームワークに医療領域知識を取り入れることの重要性を強調した。 Deep neural networks (DNNs) show promise in image-based medical diagnosis, but cannot be fully trusted since their performance can be severely degraded by dataset shifts to which human perception remains invariant. If we can better understand the differences between human and machine perception, we can potentially characterize and mitigate this effect. We therefore propose a framework for comparing human and machine perception in medical diagnosis. The two are compared with respect to their sensitivity to the removal of clinically meaningful information, and to the regions of an image deemed most suspicious. Drawing inspiration from the natural image domain, we frame both comparisons in terms of perturbation robustness. The novelty of our framework is that separate analyses are performed for subgroups with clinically meaningful differences. We argue that this is necessary in order to avert Simpson's paradox and draw correct conclusions. We demonstrate our framework with a case study in breast cancer screening, and reveal significant differences between radiologists and DNNs. We compare the two with respect to their robustness to Gaussian low-pass filtering, performing a subgroup analysis on microcalcifications and soft tissue lesions. For microcalcifications, DNNs use a separate set of high frequency components than radiologists, some of which lie outside the image regions considered most suspicious by radiologists. These features run the risk of being spurious, but if not, could represent potential new biomarkers. For soft tissue lesions, the divergence between radiologists and DNNs is even starker, with DNNs relying heavily on spurious high frequency components ignored by radiologists. Importantly, this deviation in soft tissue lesions was only observable through subgroup analysis, which highlights the importance of incorporating medical domain knowledge into our comparison framework. | 翻訳日:2022-09-19 19:19:54 公開日:2020-11-28 |
| # 事前支援深層学習を用いたMR画像の振り返り補正 Retrospective Motion Correction of MR Images using Prior-Assisted Deep Learning ( http://arxiv.org/abs/2011.14134v1 ) ライセンス: Link先を確認 | Soumick Chatterjee, Alessandro Sciarra, Max D\"unnwald, Steffen Oeltze-Jafra, Andreas N\"urnberger and Oliver Speck | (参考訳) MRIでは、モーションアーティファクトは最も一般的な種類のアーティファクトである。
画像は分解され、正確な診断には使用できない。
従来の方法、例えば前向きまたは後向きの動作補正は、動きのアーチファクトを回避または緩和するために提案されてきた。
近年,この問題を解決するために,深層学習手法に基づく手法がいくつか提案されている。
本研究は,画像プリミティブとして追加情報を含めることで,既存のディープラーニングモデルの性能を向上させることを目的とする。
提案手法は有望な結果を示し,臨床的妥当性についてさらに検討する。 In MRI, motion artefacts are among the most common types of artefacts. They can degrade images and render them unusable for accurate diagnosis. Traditional methods, such as prospective or retrospective motion correction, have been proposed to avoid or alleviate motion artefacts. Recently, several other methods based on deep learning approaches have been proposed to solve this problem. This work proposes to enhance the performance of existing deep learning models by the inclusion of additional information present as image priors. The proposed approach has shown promising results and will be further investigated for clinical validity. | 翻訳日:2022-09-19 19:19:25 公開日:2020-11-28 |
| # E-Pro: 顔検出・認識のためのオイラー角と確率モデル E-Pro: Euler Angle and Probabilistic Model for Face Detection and Recognition ( http://arxiv.org/abs/2011.14200v1 ) ライセンス: Link先を確認 | Sandesh Ramesh, Manoj Kumar M V, and Sanjay H A | (参考訳) 顔の外観を重要視するのは人間の本質である。
しばしば、よく見えるのは気分が良いことです。
また、顔の特徴は、この惑星のすべての個体に特有のものであり、重要な情報源である。
本研究では,顔画像の入力による顔の検出と認識のためのE-Proというフレームワークを提案する。
e-proは、出席、監視、群衆監視、生体認証など、さまざまな分野に応用できる可能性がある。
E-Proは,授業中の生徒の顔を検出して認識することで,教室での出席をマークすることを目的としたモバイルアプリケーションである。
e-proは、eulerアングルと確率モデルを使用するgoogle firebase顔認識apiを使用して開発された。
E-Proはストックイメージでテストされており、実験結果は有望である。 It is human nature to give prime importance to facial appearances. Often, to look good is to feel good. Also, facial features are unique to every individual on this planet, which means it is a source of vital information. This work proposes a framework named E-Pro for the detection and recognition of faces by taking facial images as inputs. E-Pro has its potential application in various domains, namely attendance, surveillance, crowd monitoring, biometric-based authentication etc. E-Pro is developed here as a mobile application that aims to aid lecturers to mark attendance in a classroom by detecting and recognizing the faces of students from a picture clicked through the app. E-Pro has been developed using Google Firebase Face Recognition APIs, which uses Euler Angles, and Probabilistic Model. E-Pro has been tested on stock images and the experimental results are promising. | 翻訳日:2022-09-19 19:13:27 公開日:2020-11-28 |
| # 投票に基づくアンサンブルは防御モデルの堅牢性を改善する Voting based ensemble improves robustness of defensive models ( http://arxiv.org/abs/2011.14031v1 ) ライセンス: Link先を確認 | Devvrit, Minhao Cheng, Cho-Jui Hsieh, Inderjit Dhillon | (参考訳) 逆摂動に対するロバストモデルの開発は活発な研究分野であり、個々のロバストモデルを訓練するために多くのアルゴリズムが提案されている。
これらの事前学習されたロバストモデルを用いて,ロバスト性をさらに向上させるアンサンブルを作成することができるか検討する。
以前のいくつかの試みは、ソフトラベル予測を解読することでこの問題に取り組み、最新の攻撃方法に基づいて脆弱であることが証明された。
本稿では,頑健な学習損失が十分に多様であれば,各モデルに対する頑健な誤差を増大させることができることを示す。
さらに,ロバストなモデルのプールが与えられると,どのモデルをアンサンブルにするかを原則的に選択する手法を考案する。
最後に, 改良されたロバスト性を検証するために, 投票に基づくアンサンブルの攻撃方法と, 新たなホワイトボックス攻撃の開発方法について, 広範な実験を行った。
CIFAR-10データセットでは、いくつかの最先端の事前訓練された防衛モデルを組み込むことで、59.8%の堅牢な精度を達成でき、追加データを用いることなく既存の防衛モデルよりも優れる。 Developing robust models against adversarial perturbations has been an active area of research and many algorithms have been proposed to train individual robust models. Taking these pretrained robust models, we aim to study whether it is possible to create an ensemble to further improve robustness. Several previous attempts tackled this problem by ensembling the soft-label prediction and have been proved vulnerable based on the latest attack methods. In this paper, we show that if the robust training loss is diverse enough, a simple hard-label based voting ensemble can boost the robust error over each individual model. Furthermore, given a pool of robust models, we develop a principled way to select which models to ensemble. Finally, to verify the improved robustness, we conduct extensive experiments to study how to attack a voting-based ensemble and develop several new white-box attacks. On CIFAR-10 dataset, by ensembling several state-of-the-art pre-trained defense models, our method can achieve a 59.8% robust accuracy, outperforming all the existing defensive models without using additional data. | 翻訳日:2022-09-19 19:12:38 公開日:2020-11-28 |
| # クラス別物体検出 Class-agnostic Object Detection ( http://arxiv.org/abs/2011.14204v1 ) ライセンス: Link先を確認 | Ayush Jaiswal, Yue Wu, Pradeep Natarajan, Premkumar Natarajan | (参考訳) オブジェクト検出モデルは、トレーニング中に表示されるオブジェクトのローカライズと分類をうまく行う。
しかし、検出データセットの作成と注釈付けに関連する困難さとコストのため、トレーニングされたモデルは、未知のオブジェクトをバックグラウンドコンテンツとして扱う限られた数のオブジェクトタイプを検出する。
これにより、大規模なオブジェクトマッチング、視覚的接地、視覚的関係予測、障害物検出(特定のタイプの発見よりも、オブジェクトの存在と位置を判断することが重要である)といった、現実のアプリケーションにおける従来の検出器の採用を妨げる。
オブジェクトクラスに関係なくオブジェクトを検出することに焦点を当てた新しい問題として,クラス非依存なオブジェクト検出を提案する。
具体的には、イメージ内のすべてのオブジェクトのバウンディングボックスを予測することであり、オブジェクトクラスではない。
予測ボックスは別のシステムによって消費され、アプリケーション固有の分類、検索などを行う。
本稿では,この領域における今後の研究を進めるために,クラス非依存検出器のベンチマークのためのトレーニングおよび評価プロトコルを提案する。
最後に,(1)ベースライン手法を提案し,(2)予測に使用される特徴からクラス固有情報を排除させるクラス非依存検出のための新しい逆学習フレームワークを提案する。
実験の結果, 敵対学習はクラス非依存検出効果が向上することが示された。 Object detection models perform well at localizing and classifying objects that they are shown during training. However, due to the difficulty and cost associated with creating and annotating detection datasets, trained models detect a limited number of object types with unknown objects treated as background content. This hinders the adoption of conventional detectors in real-world applications like large-scale object matching, visual grounding, visual relation prediction, obstacle detection (where it is more important to determine the presence and location of objects than to find specific types), etc. We propose class-agnostic object detection as a new problem that focuses on detecting objects irrespective of their object-classes. Specifically, the goal is to predict bounding boxes for all objects in an image but not their object-classes. The predicted boxes can then be consumed by another system to perform application-specific classification, retrieval, etc. We propose training and evaluation protocols for benchmarking class-agnostic detectors to advance future research in this domain. Finally, we propose (1) baseline methods and (2) a new adversarial learning framework for class-agnostic detection that forces the model to exclude class-specific information from features used for predictions. Experimental results show that adversarial learning improves class-agnostic detection efficacy. | 翻訳日:2022-09-19 19:12:19 公開日:2020-11-28 |
| # グラフ埋め込みにおける歪み防止のための曲率正則化 Curvature Regularization to Prevent Distortion in Graph Embedding ( http://arxiv.org/abs/2011.14211v1 ) ライセンス: Link先を確認 | Hongbin Pei, Bingzhe Wei, Kevin Chen-Chuan Chang, Chunxu Zhang, Bo Yang | (参考訳) グラフ埋め込みに関する最近の研究は、様々なアプリケーションで成功している。
ほとんどのグラフ埋め込み法は、埋め込み空間内の多様体へのグラフの近接を保つ。
グラフトポロジーパターンは、近接を保存することによって埋め込み多様体によく保存されるが、周囲の埋め込みユークリッド空間で歪曲する可能性があるため、機械学習モデルでは検出が困難になる。
この問題に対処するため, 曲率正則化を提案し, 埋め込み多様体の平坦性を強制し, 歪みを防止した。
ABS曲率と呼ばれる新しい角度に基づく断面曲率を示し、それに従って3種類の曲率正規化を行い、グラフ埋め込み中に平坦な埋め込み多様体を誘導する。
曲率正規化を5つの一般的な近接保存埋め込み手法に統合し、2つのアプリケーションにおける経験的結果から、幅広いオープングラフデータセットに顕著な改善が見られた。 Recent research on graph embedding has achieved success in various applications. Most graph embedding methods preserve the proximity in a graph into a manifold in an embedding space. We argue an important but neglected problem about this proximity-preserving strategy: Graph topology patterns, while preserved well into an embedding manifold by preserving proximity, may distort in the ambient embedding Euclidean space, and hence to detect them becomes difficult for machine learning models. To address the problem, we propose curvature regularization, to enforce flatness for embedding manifolds, thereby preventing the distortion. We present a novel angle-based sectional curvature, termed ABS curvature, and accordingly three kinds of curvature regularization to induce flat embedding manifolds during graph embedding. We integrate curvature regularization into five popular proximity-preserving embedding methods, and empirical results in two applications show significant improvements on a wide range of open graph datasets. | 翻訳日:2022-09-19 19:11:58 公開日:2020-11-28 |
| # 双方向シーケンスモデルと小型データセットの特徴工学を用いた短期負荷予測 Short-Term Load Forecasting using Bi-directional Sequential Models and Feature Engineering for Small Datasets ( http://arxiv.org/abs/2011.14137v1 ) ライセンス: Link先を確認 | Abdul Wahab, Muhammad Anas Tahir, Naveed Iqbal, Faisal Shafait, Syed Muhammad Raza Kazmi | (参考訳) 電気負荷予測により、グリッドオペレータは需要応答やエネルギー効率といったスマートグリッドの最も重要な機能を最適に実装できる。
電力需要プロファイルは、日、季節、年ごとに地域によって大きく異なることがある。
したがって、さまざまなデータセット、特にトレーニングデータが制限されている場合に、最高の見積を得られる負荷予測テクニックを考案するのは、大きな課題です。
本稿では,双方向シーケンシャルモデルに基づく短期負荷予測のためのディープラーニングアーキテクチャと,手作りの導出特徴を抽出する特徴工学を組み合わせることで,学習と予測を改善するためのモデルを支援する。
deep derived feature fusion (deepdeff) と名づけられた提案されたアーキテクチャでは、生の入力と手作りのフィーチャは別々のレベルで訓練され、それぞれの出力が組み合わされて最終的な予測が行われる。
提案手法の有効性は, 異なるパターンの5カ国のデータセットを用いて評価した。
その結果,提案手法は既存の技術よりも優れていることがわかった。 Electricity load forecasting enables the grid operators to optimally implement the smart grid's most essential features such as demand response and energy efficiency. Electricity demand profiles can vary drastically from one region to another on diurnal, seasonal and yearly scale. Hence to devise a load forecasting technique that can yield the best estimates on diverse datasets, specially when the training data is limited, is a big challenge. This paper presents a deep learning architecture for short-term load forecasting based on bidirectional sequential models in conjunction with feature engineering that extracts the hand-crafted derived features in order to aid the model for better learning and predictions. In the proposed architecture, named as Deep Derived Feature Fusion (DeepDeFF), the raw input and hand-crafted features are trained at separate levels and then their respective outputs are combined to make the final prediction. The efficacy of the proposed methodology is evaluated on datasets from five countries with completely different patterns. The results demonstrate that the proposed technique is superior to the existing state of the art. | 翻訳日:2022-09-19 19:11:20 公開日:2020-11-28 |
| # 生存率分析と深層学習の併用による国立行政データベースからの心血管リスクの予測 Predicting cardiovascular risk from national administrative databases using a combined survival analysis and deep learning approach ( http://arxiv.org/abs/2011.14032v1 ) ライセンス: Link先を確認 | Sebastiano Barbieri, Suneela Mehta, Billy Wu, Chrianna Bharat, Katrina Poppe, Louisa Jorm, Rod Jackson | (参考訳) AIMS
本研究は,国立健康管理データセットにおける循環器疾患(cvd)リスク予測方程式を導出する従来のcox proportional hazards(cph)モデルと,生存分析モデルのディープラーニング拡張の性能を比較した。
メソッド。
複数の管理データセットの個人リンクを用いて、2012年に公的資金提供された医療サービスと対話した30～74歳のニュージーランド人住民のコホートを構築し、5年間にわたるCVDの入院と死亡を確認した。
過去のCVDや心不全を除いた後、性特化深層学習モデルとCPHモデルは、5年以内に致命的または非致命的なCVD事象のリスクを見積もるために開発された。
研究全体のモデルと特定のリスクグループ間で,説明された事象発生・校正・識別の比率を比較検討した。
FINDINGS
最初のCVDは2,164,872人の61,927人であった。
診断・治療では,女性におけるタバコ使用の深層学習モデル (2.04, 95%CI: 1.99-2.10) と男性における急性下気感染症の慢性閉塞性肺疾患 (1.56, 95%CI: 1.50-1.62) が最大の「局所的」ハザード比となった。
他の特定された予測因子(高血圧、胸痛、糖尿病など)は、CVDリスク予測因子に関する現在の知識と一致している。
深層学習モデルは、説明時間と事象の比率(ロイストンとソーバーレイのR-squared:女性0.468対0.425、男性0.383対0.348)、キャリブレーション、差別(すべてp<0.0001)に基づいてCPHモデルよりも有意に優れていた。
解釈。
生存分析モデルの深層学習拡張は、従来のCPHモデルよりも正確である解釈可能なCVDリスク予測方程式を導出するために、大規模な健康管理データベースに適用することができる。 AIMS. This study compared the performance of deep learning extensions of survival analysis models with traditional Cox proportional hazards (CPH) models for deriving cardiovascular disease (CVD) risk prediction equations in national health administrative datasets. METHODS. Using individual person linkage of multiple administrative datasets, we constructed a cohort of all New Zealand residents aged 30-74 years who interacted with publicly funded health services during 2012, and identified hospitalisations and deaths from CVD over five years of follow-up. After excluding people with prior CVD or heart failure, sex-specific deep learning and CPH models were developed to estimate the risk of fatal or non-fatal CVD events within five years. The proportion of explained time-to-event occurrence, calibration, and discrimination were compared between models across the whole study population and in specific risk groups. FINDINGS. First CVD events occurred in 61,927 of 2,164,872 people. Among diagnoses and procedures, the largest 'local' hazard ratios were associated by the deep learning models with tobacco use in women (2.04, 95%CI: 1.99-2.10) and with chronic obstructive pulmonary disease with acute lower respiratory infection in men (1.56, 95%CI: 1.50-1.62). Other identified predictors (e.g. hypertension, chest pain, diabetes) aligned with current knowledge about CVD risk predictors. The deep learning models significantly outperformed the CPH models on the basis of proportion of explained time-to-event occurrence (Royston and Sauerbrei's R-squared: 0.468 vs. 0.425 in women and 0.383 vs. 0.348 in men), calibration, and discrimination (all p<0.0001). INTERPRETATION. Deep learning extensions of survival analysis models can be applied to large health administrative databases to derive interpretable CVD risk prediction equations that are more accurate than traditional CPH models. | 翻訳日:2022-09-19 19:11:05 公開日:2020-11-28 |