このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス（CC 0, CC BY, CC BY-SA）の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。（arxivのメタデータは CC 0です。） 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。
公開日が20200630となっている論文です。
| Title | Authors | Abstract | 論文公表日・翻訳日 |
|---|---|---|---|
| # 量子真正多成分非局所性に対する非有界ベル違反 Unbounded Bell violations for quantum genuine multipartite non-locality ( http://arxiv.org/abs/2002.12614v2 ) ライセンス: Link先を確認 | Abderram\'an Amr, Carlos Palazuelos, Julio I. de Vicente | (参考訳) 量子状態の観測によるベルの不等式違反は、量子非局所性の現象を生じさせ、ある情報理論的なタスクに古典的なものよりも量子資源を使う利点を表現している。
量子違反の相対的程度は、全局所的振る舞いに関して二部的シナリオと多部的シナリオにおいてよく研究されている。
しかし、多部構成は、非局所性についての異なる概念が確立できるより複雑な分類を伴う。
特に、真のマルチパーティリート非局所分布は、これらの挙動が局所的な共通原因を超えたパーティーの厳密な部分集合間の相関を許容する双局所モデルによって再現できないことを考えると、真のマルチパーティリート効果を証明している。
ここで、いわゆる相関シナリオでは、量子資源による双局所ベルの不等式に対する相対的違反は境界的であり、入力数に任意に増加しないが、一般の場合では非有界であることが分かる。
入力数と出力数の関数として、量子値と双局所値の比が非有界に成長する非局所ゲームの形をとるベル汎函数を同定する。 The violations of Bell inequalities by measurements on quantum states give rise to the phenomenon of quantum non-locality and express the advantage of using quantum resources over classical ones for certain information-theoretic tasks. The relative degree of quantum violations has been well studied in the bipartite scenario and in the multipartite scenario with respect to fully local behaviours. However, the multipartite setting entails a more complex classification in which different notions on non-locality can be established. In particular, genuine multipartite non-local distributions apprehend truly multipartite effects, given that these behaviours cannot be reproduced by bilocal models that allow correlations among strict subsets of the parties beyond a local common cause. We show here that, while in the so-called correlation scenario the relative violation of bilocal Bell inequalities by quantum resources is bounded, i.e. it does not grow arbitrarily with the number of inputs, it turns out to be unbounded in the general case. We identify Bell functionals that take the form of non-local games for which the ratio of the quantum and bilocal values grows unboundedly as a function of the number of inputs and outputs. | 翻訳日:2023-06-01 08:00:13 公開日:2020-06-30 |
| # レーザー励起マイクロパラボラミラーによる量子エミッタの客観励起 Objective-free excitation of quantum emitters with a laser-written micro parabolic mirror ( http://arxiv.org/abs/2003.03089v2 ) ライセンス: Link先を確認 | Sergii Morozov, Stefano Vezzoli, Ali Hossain Khan, Iwan Moreels, Riccardo Sapienza | (参考訳) 量子ドットや単一分子のような量子源の効率的な励起は、極低温や超高速光学においてしばしば困難となる高いNA光学を必要とする。
ここでは、CdSe/CdSコロイド量子ドットに直接レーザーを書き込み、励起光をサブ波長のスポットに集光し、狭いビームに衝突させて発生した放射を抽出する、0.8mの焦点長を持つ3.2の広放物鏡を提案する。
この鏡はその場で体積光学リソグラフィーによって作製され、個々のエミッタに合わせることができ、パラボロイド以外の他の測地にも容易に適応できる。
遠方場からエミッタへのコンパクトな固体トランスデューサは、客観的な量子技術において重要な応用である。 The efficient excitation of quantum sources such as quantum dots or single molecules requires high NA optics which is often a challenge in cryogenics, or in ultrafast optics. Here we propose a 3.2 um wide parabolic mirror, with a 0.8 um focal length, fabricated by direct laser writing on CdSe/CdS colloidal quantum dots, capable of focusing the excitation light to a sub-wavelength spot and to extract the generated emission by collimating it into a narrow beam. This mirror is fabricated via in-situ volumetric optical lithography, which can be aligned to individual emitters, and it can be easily adapted to other geometries beyond the paraboloid. This compact solid-state transducer from far-field to the emitter has important applications in objective-free quantum technologies. | 翻訳日:2023-05-30 09:09:32 公開日:2020-06-30 |
| # 2Qutrit Hiesmayr-Loffler Magic Simplex of Bell States 256-dimensional Entanglement-Probability Three-Set Algebra をスパニングする8つのブール原子 8 Boolean Atoms Spanning the 256-Dimensional Entanglement-Probability Three-Set Algebra of the Two-Qutrit Hiesmayr-Loffler Magic Simplex of Bell States ( http://arxiv.org/abs/2004.06745v2 ) ライセンス: Link先を確認 | Paul B. Slater | (参考訳) 8つの原子(図11)に対して$\frac{2}{121}$と$\frac{4 \left(242 \sqrt{3} \pi -1311\right)}{9801}$-を含む式(bot.p.12)を、256次元の3次元(p, s, ppt)のエンタングルメント確率ブール代数(英語版)(entanglement-probability boolean algebra)にまたがる1にまとめる。
PPT は正の部分転置を表すが、P と S は絡み合うのに必要なLi-カイオ条件と十分条件を与える。
絡み合いを保証する制約は$s> \frac{16}{9} \approx 1.7777$と$p> \frac{2^{27}}{3^{18} \cdot 7^{15} \cdot13} \approx 5.61324 \cdot 10^{-15}$である。
ここで、$s$は、ブロッホ表現の8の時間 8$相関行列の8つの特異値の和(キーファンノルム)の平方と、特異値の積の平方である$p$である。
2量子のhiesmayr-lofflerの場合、1つの制約は$s>\frac{9}{4} \approx 2.25$であり、$\frac{3^{24}}{2^{134}} \approx 1.2968528306 \cdot 10^{-29}$は適切な$p$の上限であり、エンタングルメント確率は$\approx 0.607698$である。
どちらの場合も、$S$制約はよく知られたCCNR/調整基準と同値である。
さらに,A. Mandilara-pseudo-one-copy undistillable (POCU) 陰性部分転位2-qutrit状態が分離可能な状態の表面に分布していることを検出する。
さらに、この2重項集合における最良の分離可能な近似問題を調べ、11個の積状態の和に分離可能な状態の明示的な分解を求める。
8つの原子を含む多くの関心 - まず、準ランダム手順を用いて推定される。 We obtain formulas (bot. p. 12)--including $\frac{2}{121}$ and $\frac{4 \left(242 \sqrt{3} \pi -1311\right)}{9801}$--for the eight atoms (Fig. 11), summing to 1, which span a 256-dimensional three-set (P, S, PPT) entanglement-probability boolean algebra for the two-qutrit Hiesmayr-Loffler states. PPT denotes positive partial transpose, while P and S provide the Li-Qiao necessary and}sufficient conditions for entanglement. The constraints ensuring entanglement are $s> \frac{16}{9} \approx 1.7777$ and $p> \frac{2^{27}}{3^{18} \cdot 7^{15} \cdot13} \approx 5.61324 \cdot 10^{-15}$. Here, $s$ is the square of the sum (Ky Fan norm) of the eight singular values of the $8 \times 8$ correlation matrix in the Bloch representation, and $p$, the square of the product of the singular values. In the two-ququart Hiesmayr-Loffler case, one constraint is $s>\frac{9}{4} \approx 2.25$, while $\frac{3^{24}}{2^{134}} \approx 1.2968528306 \cdot 10^{-29}$ is an upper bound on the appropriate $p$ value, with an entanglement probability $\approx 0.607698$. The $S$ constraints, in both cases, prove equivalent to the well-known CCNR/realignment criteria. Further, we detect and verify--using software of A. Mandilara--pseudo-one-copy undistillable (POCU) negative partial transposed two-qutrit states distributed over the surface of the separable states. Additionally, we study the best separable approximation problem within this two-qutrit setting, and obtain explicit decompositions of separable states into the sum of eleven product states. Numerous quantities of interest--including the eight atoms--were, first, estimated using a quasirandom procedure. | 翻訳日:2023-05-24 07:03:57 公開日:2020-06-30 |
| # 形状不変ポテンシャルに対するSWKBの実用性 Exactness of SWKB for Shape Invariant Potentials ( http://arxiv.org/abs/2005.06683v2 ) ライセンス: Link先を確認 | Asim Gangopadhyaya, Jeffry V. Mallow, Constantin Rasinariu, Jonathan Bougie | (参考訳) 超対称性に基づく半古典法(SWKB)は、従来の形状不変ポテンシャルの正確なスペクトルを生成することが知られている。
本稿では,この精度が加法的形状の不変性から導かれることを示す。 The supersymmetry based semiclassical method (SWKB) is known to produce exact spectra for conventional shape invariant potentials. In this paper we prove that this exactness follows from their additive shape invariance. | 翻訳日:2023-05-20 05:45:51 公開日:2020-06-30 |
| # ダークマターの重力デコヒーレンス Gravitational Decoherence of Dark Matter ( http://arxiv.org/abs/2005.12287v2 ) ライセンス: Link先を確認 | Itamar Allali, Mark P. Hertzberg | (参考訳) デコヒーレンス(Decoherence)は、量子サブシステムが量子特性を動的に失う傾向を示す。
これは、関心の量子サブシステムが相互作用し、追跡された環境と絡み合うときに起こる。
通常のマクロシステムでは、電磁と他の相互作用は急速にデコヒーレンスを引き起こす。
しかし、ダークマター(DM)は、特に重力的にしか相互作用しない場合、その環境との結合が弱いため、自然に長大な量子特性を示す可能性がある。
本研究では、局所密度が量子重ね合わせにおける質量、大きさ、位置を持つ銀河における光DMのデコヒーレンス率を計算する。
デコヒーレンス(decoherence)とは、通常の物質によって提供されるDM過密度と環境との重力相互作用である。
我々は比較的頑健な構成に焦点をあてる: DM摂動は、過密度とそれに続く低密度を伴い、モノポールを持たないため、比較的近い距離でしか観測できない。
オーバーデンシティによって生じるニュートンポテンシャルを持つ非相対論的散乱理論を用いて、プローブ粒子がどのように散乱して絡み合うかを決定する。
アプリケーションとしては、axionを含むlight scalar dmについて検討する。
銀河ハロでは、拡散水素を環境として使用し、地球の近くでは空気を環境として使用します。
典型的な DM de Broglie 波長である超高密度では、ハローのデコヒーレンス速度が現在の DM 質量のハッブル速度より高いのが$m_a \lesssim 5 \times 10^{-7}$eV であり、地球に基づく実験では$m_a \lesssim 10^{-6}$eV の古典場コヒーレンス速度よりも高いことが分かる。
状態の拡散が起こると、その速度は定量化されるにつれてずっと速くなります。
また、DM BEC が非常に高速に分解できることが証明され、古典的場の理論によって非常によく説明される。 Decoherence describes the tendency of quantum sub-systems to dynamically lose their quantum character. This happens when the quantum sub-system of interest interacts and becomes entangled with an environment that is traced out. For ordinary macroscopic systems, electromagnetic and other interactions cause rapid decoherence. However, dark matter (DM) may have the unique possibility of exhibiting naturally prolonged macroscopic quantum properties due to its weak coupling to its environment, particularly if it only interacts gravitationally. In this work, we compute the rate of decoherence for light DM in the galaxy, where a local density has its mass, size, and location in a quantum superposition. The decoherence is via the gravitational interaction of the DM overdensity with its environment, provided by ordinary matter. We focus on relatively robust configurations: DM perturbations that involve an overdensity followed by an underdensity, with no monopole, such that it is only observable at relatively close distances. We use non-relativistic scattering theory with a Newtonian potential generated by the overdensity to determine how a probe particle scatters off of it and thereby becomes entangled. As an application, we consider light scalar DM, including axions. In the galactic halo, we use diffuse hydrogen as the environment, while near the earth, we use air as the environment. For an overdensity whose size is the typical DM de Broglie wavelength, we find that the decoherence rate in the halo is higher than the present Hubble rate for DM masses $m_a \lesssim 5 \times 10^{-7}$eV and in earth based experiments it is higher than the classical field coherence rate for $m_a \lesssim 10^{-6}$eV. When spreading of the states occurs, the rates can become much faster, as we quantify. Also, we establish that DM BECs decohere very rapidly and so are very well described by classical field theory. | 翻訳日:2023-05-18 12:10:18 公開日:2020-06-30 |
| # 開量子多体系における非平衡非マルコフ定常状態:ハイゼンベルク量子スピン鎖における永続振動 Non-equilibrium non-Markovian steady-states in open quantum many-body systems: Persistent oscillations in Heisenberg quantum spin chains ( http://arxiv.org/abs/2006.03324v2 ) ライセンス: Link先を確認 | Regina Finsterh\"olzl, Manuel Katzer, Alexander Carmele | (参考訳) 公開ハイゼンベルクスピンチェーンに対する非マルコフ型構造型貯水池の効果について検討した。
貯水池はスピンチェーンに周波数依存するので,コヒーレントな自己フィードバック機構を確立する。
これにより、スピンチェーンと自前の過去との相互作用により、損失と駆動が発生する。
この非マルコフ強制境界運転の新しいパラダイムにより、新しい種類の非平衡定常状態について議論することができる。
長い時間限界でも特定のパラメータがチェーン内で持続的な振動が発生することを示す。
さらに, この振動と励起トラッピングの条件が鎖の特性に依存することを示し, 自己フィードバックの影響下での放出信号の検出により鎖を特徴付けることができることを示した。 We investigate the effect of a non-Markovian, structured reservoir on an open Heisenberg spin chain. We establish a coherent self-feedback mechanism as the reservoir couples frequency-dependent to the spin chain. Thus, loss and driving take place due to the interaction of the spin chain with its own past. This new paradigm of non-Markovian imposed boundary-driving allows to discuss a new kind of non-equilibrium steady-state. We show that for certain parameters even in the long-time limit persistent oscillations occur within the chain. Moreover, we demonstrate that the conditions for these oscillations and excitation trapping depend on the characteristics of the chain, thus making it possible to characterize a chain by detection of its emitted signal under influence of self-feedback. | 翻訳日:2023-05-17 02:08:07 公開日:2020-06-30 |
| # ガワーズ$U_2$ノルムを推定する量子アルゴリズムとブール関数の線形性試験 A quantum algorithm to estimate the Gowers $U_2$ norm and linearity testing of Boolean functions ( http://arxiv.org/abs/2006.16523v1 ) ライセンス: Link先を確認 | C. A. Jothishwaran, Anton Tkachenko, Sugata Gangopadhyay, Constanza Riera, Pantelimon Stanica | (参考訳) 本稿では,ガワーズ$U_2$ノルムを推定する量子アルゴリズムを提案し,それを2番目のアルゴリズムに拡張して,古典的BLRアルゴリズムよりも優れた線形ブール関数の集合から$\epsilon$-farの線形ブール関数とブール関数を区別する。
最後に,ブール関数の Gowers $U_3$ ノルムを推定するアルゴリズムを概説する。 We propose a quantum algorithm to estimate the Gowers $U_2$ norm of a Boolean function, and extend it into a second algorithm to distinguish between linear Boolean functions and Boolean functions that are $\epsilon$-far from the set of linear Boolean functions, which seems to perform better than the classical BLR algorithm. Finally, we outline an algorithm to estimate Gowers $U_3$ norms of Boolean functions. | 翻訳日:2023-05-12 01:33:27 公開日:2020-06-30 |
| # 新型コロナウイルス(covid-19)のパンデミックが米国の電力需要と供給に与える影響-データから The COVID-19 pandemic's impact on U.S. electricity demand and supply: an early view from the data ( http://arxiv.org/abs/2006.16504v1 ) ライセンス: Link先を確認 | Duzgun Agdas and Prabir Barooah | (参考訳) 新型コロナウイルス(COVID-19)のパンデミックが始まった後、多くの研究が電力消費の傾向の変化について報告した。
これらの報告書の全体的なテーマは「「電力利用はパンデミックの間に減少したが、電力網は依然として信頼できる」というものだった。
本稿では,2020年5月末までの電力データを分析し,電力需要とピーク需要や需要増加率といった電力網のストレスを示す変数について検討する。
私たちはこの研究を、ニューヨーク、カリフォルニア、フロリダの3州に限定しています。
その結果,電力需要に対するパンデミックの影響は,比較した時間枠からの単純な減少ではなく,地域差が顕著であることが示唆された。
グリッドのストレスを示す変数は混合メッセージを伝達する:ある変数はストレスの増加を示し、ある変数は減少を示し、ある変数は明確な違いを示しない。
ポジティブなメッセージは、外出禁止命令が発行された頃のいくつかの変更は2020年5月までに復活したように見えたというものである。
パンデミックの変化を観察する上で重要な課題は、天候の調整だ。
気象補正手法を提案し,それを小都市全域に適用し,需要の変化がもたらす影響について考察する。
気象補正運動は、気象補正が重要であると同時に難しいと強調した。 After the onset of the recent COVID-19 pandemic, a number of studies reported on possible changes in electricity consumption trends. The overall theme of these reports was that ``electricity use has decreased during the pandemic, but the power grid is still reliable''---mostly due to reduced economic activity. In this paper we analyze electricity data upto end of May 2020, examining both electricity demand and variables that can indicate stress on the power grid, such as peak demand and demand ramp-rate. We limit this study to three states in the USA: New York, California, and Florida. The results indicate that the effect of the pandemic on electricity demand is not a simple reduction from comparable time frames, and there are noticeable differences among regions. The variables that can indicate stress on the grid also conveyed mixed messages: some indicate an increase in stress, some indicate a decrease, and some do not indicate any clear difference. A positive message is that some of the changes that were observed around the time stay-at-home orders were issued appeared to revert back by May 2020. A key challenge in ascribing any observed change to the pandemic is correcting for weather. We provide a weather-correction method, apply it to a small city-wide area, and discuss the implications of the estimated changes in demand. The weather correction exercise underscored that weather-correction is as challenging as it is important. | 翻訳日:2023-05-12 01:33:17 公開日:2020-06-30 |
| # ベル・キャット状態のウィグナー関数の負性と熱効果 Negativity of the Wigner function and thermal effects of Bell-Cat states ( http://arxiv.org/abs/2006.16439v1 ) ライセンス: Link先を確認 | Vin\'icius N. A. Lula-Rocha, Sergio Floquet, Marco A. S. Trindade, Marco C. B. Fernandes and Jos\'e D. M. Vianna | (参考訳) 熱平衡系において,ベル・キャット状態の非古典的性質が温度値の段階的変化の影響を解析するために,熱場ダイナミクスの定式化を適用した。
本研究の目的は, 負の体積が非古典的特性と関連するこれらの状態に対する熱ウィグナー関数を計算し, これらの非古典的特徴が温度とどのように異なるかを評価することである。
以上の結果から,これらの性質は温度が約2\mathrm{K}$の場合にほとんど欠落していることが明らかとなった。 We applied the Thermofield Dynamics formalism to analyze how the non-classical properties of the Bell-Cat states are influenced by a gradual change of temperature values, in a thermal equilibrium system. To this purpose we calculate the thermal Wigner functions for these states, whose negative volume is associated with non-classical properties, and we evaluate how these non-classical features vary with temperature. Our results indicate that these properties are almost absent for temperatures of around $2\mathrm{K}$. | 翻訳日:2023-05-12 01:31:38 公開日:2020-06-30 |
| # 高光子効率超高分解能光分類器 A Super-resolution Optical Classifier with High Photon Efficiency ( http://arxiv.org/abs/2006.16713v1 ) ライセンス: Link先を確認 | He Zhang, Santosh Kumar, and Yu-Ping Huang | (参考訳) 空間分解能におけるレイリー限界を克服する光子効率光分類器の提案と実証を行う。
モード選択和周波発生と単一画素光子検出を利用して、光子計数統計に基づいて密集した非コヒーレント源を解決する。
超解像と光子効率が良く、顕微鏡、光検出・測光(lidar)、天体物理学で応用できる。 We propose and demonstrate a photon-efficient optical classifier to overcome the Rayleigh limit in spatial resolution. It utilizes mode-selective sum frequency generation and single-pixel photon detection to resolve closely spaced incoherent sources based on photon counting statistics. Super-resolving and photon efficient, this technique can find applications in microscopy, light detection and ranging (LiDAR), and astrophysics. | 翻訳日:2023-05-12 01:26:13 公開日:2020-06-30 |
| # 非断熱ホロノミック量子計算のためのハミルトニアンの一般的構成法 General approach for constructing Hamiltonians for nonadiabatic holonomic quantum computation ( http://arxiv.org/abs/2006.16708v1 ) ライセンス: Link先を確認 | P. Z. Zhao, K. Z. Li, G. F. Xu, D. M. Tong | (参考訳) 高忠実度量子ゲートの達成における主な課題は、不完全ハミルトニアンによる制御誤差の影響と環境騒音によるデコヒーレンスの影響を減らすことである。
制御誤差を克服するために、有望な提案は非線形ホロノミック量子計算であり、理論と実験の両方に大きな注目を集めている。
制御誤差に抵抗するホロノミック操作のメリットは十分に活用されているが, 環境騒音の影響を可能な限り回避するため, ホロノミックゲートの実現に必要な進化時間を短縮する方法が重要な課題である。
本稿では,非断熱的ホロノミック量子計算のためのハミルトニアンを構築し,その進化時間を最小化し,非断熱ホロノミック量子計算の現実的な実装に向けた新たな地平を開く方法を提案する。 The main challenges in achieving high-fidelity quantum gates are to reduce the influence of control errors caused by imperfect Hamiltonians and the influence of decoherence caused by environment noise. To overcome control errors, a promising proposal is nonadiabatic holonomic quantum computation, which has attracted much attention in both theories and experiments. While the merit of holonomic operations resisting control errors has been well exploited, an important issue following is how to shorten the evolution time needed for realizing a holonomic gate so as to avoid the influence of environment noise as much as possible. In this paper, we put forward a general approach of constructing Hamiltonians for nonadiabatic holonomic quantum computation, which makes it possible to minimize the evolution time and might open a new horizon for the realistic implementation of nonadiabatic holonomic quantum computation. | 翻訳日:2023-05-12 01:26:05 公開日:2020-06-30 |
| # 外部場を受けるガッピンググラフェンのgoos-h\"anchenシフト Goos-H\"anchen Shifts in Gapped Graphene subject to External Fields ( http://arxiv.org/abs/2006.16707v1 ) ライセンス: Link先を確認 | Miloud Mekkaoui, Ahmed Jellal, Hocine Bahlouli | (参考訳) 磁場と電位障壁が時間的に調和して振動するグラフェンのダイラックフェルミオンについて検討した。
ギャップ内のトンネルモードと関連するgoos-h\"anchen (gh)シフトを解析的に検討した。
中央バンドの伝送速度はghシフトし、最初の2つのサイドバンドはディラック点 $\epsilon+l\hbar\tilde{\omega}$(l=0,\pm 1)$ で符号を変える。
また、GHシフトは負か正かのいずれかであり、伝送共鳴ではゼロになる。 We study Dirac fermions in gapped graphene that are subjected to a magnetic field and a potential barrier harmonically oscillating in time. The tunneling modes inside the gap and the associated Goos-H\"anchen (GH) shifts are analytically investigated. We show that the GH shifts in transmission for the central band and the first two sidebands change sign at the Dirac points $\epsilon+l\hbar\tilde{\omega}$ $(l=0,\pm 1)$. We also find that the GH shifts can be either negative or positive and becomes zero at transmission resonances. | 翻訳日:2023-05-12 01:25:49 公開日:2020-06-30 |
| # 量子エレガント関節測定による局所ベル不等式 Bilocal Bell inequalities violated by the quantum Elegant Joint Measurement ( http://arxiv.org/abs/2006.16694v1 ) ライセンス: Link先を確認 | Armin Tavakoli, Nicolas Gisin and Cyril Branciard | (参考訳) ネットワークベル実験は、概念的にはベルの定理を超える量子非局所性の形式をもたらす。
ここでは,双局所性シナリオとして知られる,最も単純なネットワークについて検討する。
我々は,ネットワーク中央ノードにおけるベル状態測定の典型的使用から脱却し,いわゆるエレガントなジョイント測定を一般化する対称等角性測定ベース群を導入する。
これにより、双局所変数モデルを除外するノイズ耐性のある量子相関を報告できる。
これらの量子相関に着想を得て、二局所性シナリオに対するネットワークベルの不等式を導入し、ノイズ耐性量子違反を認めることを示す。
ネットワークベルの不等式に関する以前の多くの研究とは対照的に、我々の不等式も量子違反も標準ベルの不等式や標準量子非局所性に基づいている。
さらに、エレガントジョイント計測の実装と一般化のための単純な2量子ビット量子回路を提示することで、実験的な実現の道を開く。 Network Bell experiments give rise to a form of quantum nonlocality that conceptually goes beyond Bell's theorem. We investigate here the simplest network, known as the bilocality scenario. We depart from the typical use of the Bell State Measurement in the network central node and instead introduce a family of symmetric iso-entangled measurement bases that generalise the so-called Elegant Joint Measurement. This leads us to report noise-tolerant quantum correlations that elude bilocal variable models. Inspired by these quantum correlations, we introduce network Bell inequalities for the bilocality scenario and show that they admit noise-tolerant quantum violations. In contrast to many previous studies of network Bell inequalities, neither our inequalities nor their quantum violations are based on standard Bell inequalities and standard quantum nonlocality. Moreover, we pave the way for an experimental realisation by presenting a simple two-qubit quantum circuit for the implementation of the Elegant Joint Measurement and our generalisation. | 翻訳日:2023-05-12 01:25:35 公開日:2020-06-30 |
| # 単モード非古典性の評価 Evaluating Single-mode Nonclassicality ( http://arxiv.org/abs/2006.16693v1 ) ライセンス: Link先を確認 | Wenchao Ge and M. Suhail Zubairy | (参考訳) ボソニックモードの非古典性を定量化することは量子光学における重要な課題である。
近年、運用資源理論の概念に基づく最初の非古典性尺度が提案されている(Phys. Rev. Research 2, 023400 (2020))]。
ここでは,非古典的状態の異なるクラスを評価し,分類する。
我々は、大きな平均励起数の漸近極限において最大非古典性を達成することができる状態のクラスを見つける。
これらの状態は、例えばLIGO実験のようなセンシングスキームにおいて、圧縮真空の代わりに同じ感度を提供することができる。
また、特定の状態の非古典性は単一光子付加で大幅に改善できることも発見する。
さらに,混合状態の非古典性を解析的に評価する方法の例についても検討する。
以上の結果は,マッハツェンダー干渉計の2次センシングや位相センシングなど,精密センシングタスクにおける非古典的状態の調製と活用に有用である。 Quantifying nonclassicality of a bosonic mode is an important but challenge task in quantum optics. Recently, the first nonclassicality measure based on the concept of operational resource theory has been proposed [Phys. Rev. Research 2, 023400 (2020)], which shows several crucial properties as a resource for quantum metrology. Here we apply the measure to evaluate and categorize different classes of nonclassical states. We discover a class of states that can achieve the maximum nonclassicality in the asymptotic limit of large mean number of excitations. These states can provide the same sensitivity in place of a squeezed vacuum in a sensing scheme, e.g., the LIGO experiments. We also discover that the nonclassicality of certain states can be greatly improved with a single-photon addition. Besides, we explore some examples on how to evaluate analytically the nonclassicality of mixed states, which are in general difficult to calculate due to the convex roof nature of the measure. Our results will be useful for preparing and utilizing nonclassical states for applications in precision sensing tasks, such as quadrature sensing and phase sensing in a Mach-Zehnder interferometer. | 翻訳日:2023-05-12 01:25:19 公開日:2020-06-30 |
| # 量子ソフトウェアモデリング言語を目指して Towards a Quantum Software Modeling Language ( http://arxiv.org/abs/2006.16690v1 ) ライセンス: Link先を確認 | Carlos A. Perez-Delgado and Hector G. Perez-Gonzalez | (参考訳) 量子ソフトウェアのためのモデリング言語の背後にある原則を定めました。
量子ソフトウェアを効果的にモデル化できるUML(Unified Modeling Language)に、最小限の拡張セットを提示します。
これらの拡張はUMLとは独立している。
そのため、他のソフトウェアモデリング言語を拡張したり、全く新しい言語の基盤として利用することができる。
これらの拡張は、抽象的に、あらゆる量子ソフトウェアをモデル化するのに必要かつ十分であると主張する。
最後に,拡張セットの有効性を示す例をいくつか紹介する。 We set down the principles behind a modeling language for quantum software. We present a minimal set of extensions to the well-known Unified Modeling Language (UML) that allows it to effectively model quantum software. These extensions are separate and independent of UML as a whole. As such they can be used to extend any other software modeling language, or as a basis for a completely new language. We argue that these extensions are both necessary and sufficient to model, abstractly, any piece of quantum software. Finally, we provide a small set of examples that showcase the effectiveness of the extension set. | 翻訳日:2023-05-12 01:25:01 公開日:2020-06-30 |
| # 任意の偏光対変換のための複素複屈折誘電体メタサーフェス Complex-birefringent dielectric metasurfaces for arbitrary polarization-pair transformations ( http://arxiv.org/abs/2006.16559v1 ) ライセンス: Link先を確認 | Shaun Lung, Kai Wang, Khosro Zangeneh Kamali, Jihua Zhang, Mohsen Rahmani, Dragomir N. Neshev, Andrey A. Sukhorukov | (参考訳) 光の偏光制御のための波動板の動作を支える2つの線形偏光の位相差を導入する複屈折材料またはナノ構造体。
ここでは、偏光変換と偏光依存位相遅延と回折による振幅フィルタリングを組み合わせた複素複屈折波板の異なるクラスを実現するメタ曲面を開発する。
損失の存在は、選択された任意の非直交的な偏極対から出力における他の任意の対への写像を可能にする。
ペアワイズ型ナノ共振体構造に基づく最適設計枠組みを確立し,非対称位相制御による小さな偏光差と偏光結合の増幅におけるメタサーフェスの特異な性質を実験的に実証する。
さらに,これらの準曲面は,二光子偏光符号化量子状態の任意の変換を行うことができ,絡み合いの度合いが変化する。
これにより、古典的および量子的応用のための新しいタイプの多機能偏光光学を促進することができる。 Birefringent materials or nanostructures that introduce phase differences between two linear polarizations underpin the operation of wave plates for polarization control of light. Here we develop metasurfaces realizing a distinct class of complex-birefringent wave plates, which combine polarization transformation with a judiciously tailored polarization-dependent phase retardance and amplitude filtering via diffraction. We prove that the presence of loss enables the mapping from any chosen generally non-orthogonal pair of polarizations to any other pair at the output. We establish an optimal theoretical design-framework based on pairwise nanoresonator structures and experimentally demonstrate unique properties of metasurfaces in the amplification of small polarization differences and polarization coupling with unconventional phase control. Furthermore, we reveal that these metasurfaces can perform arbitrary transformations of biphoton polarization-encoded quantum states, including the modification of the degree of entanglement. Thereby, such flat devices can facilitate novel types of multi-functional polarization optics for classical and quantum applications. | 翻訳日:2023-05-12 01:24:13 公開日:2020-06-30 |
| # Bucking the Trends: ブログの魅力に対する管理的影響のエージェント的視点 Bucking the Trend: An Agentive Perspective of Managerial Influence on Blogs Attractiveness ( http://arxiv.org/abs/2006.16944v1 ) ライセンス: Link先を確認 | Carlos Denner dos Santos, Isadora Castro, George Kuk, Silvia Onoyama, Marina Moreira | (参考訳) ブログ管理は仕事のデジタル化の中心である。
しかし、既存の理論では、ブログの魅力をマイクロレベルで管理するよりも、環境の影響に焦点を当てる傾向にある。
本研究は,ブログ環境の構造的ネットワーク位置の特定と活用のために,ブログの内容を利用する方法を通じて,ブロガーが行う適応行動のエージェント的説明を提供する。
経済学についてブログを書いた165人のブロガーの個々の特徴を照合し、ブログの内容の保持方法を分析した。
モデル予測をテストするために,ネットワーク分析とモノミアルロジスティック回帰を用いた。
その結果,より魅力的なブログとは対照的に,ネットワーク位置を維持する手段としての仲間コンテンツに気を配るブロガーは,ブログへのトラフィックがはるかに高いことが判明した。
このエージェント的な視点は、ブログ管理においてnodalの好みを逆転させる方法に関する実践的な洞察を提供する。
論文は理論と今後の研究への貢献を論じてまとめる。 Blog management is central to the digitalization of work. However, existing theories tend to focus on environmental influence rather than managerial control of a blogs attractiveness at a microlevel. This study provides an agentive account of the adaptive behaviours exerted by the bloggers through the ways they use contents of their blogs to locate and harness their structural network positions of a blogosphere. We collated individual characteristics of 165 bloggers who blogged about economics, and then analysed the ways they maintained the contents of their blogs. We used network analysis and monomial logistic regression to test our model predictions. Our findings show that in contrast to less attractive blogs, bloggers who are mindful of their peers contents as a means of maintaining network positions attract a significantly higher level of traffic to their blogs. This agentive perspective offers practical insights into how nodal preferences can be reversed in blog management. We conclude the paper by discussing contributions to theory and future research. | 翻訳日:2023-05-12 01:16:55 公開日:2020-06-30 |
| # Floquet-modulated $\mathcal{PT}$-symmetric SSHモデルにおける実エッジモード Real Edge Modes in a Floquet-modulated $\mathcal{PT}$-symmetric SSH model ( http://arxiv.org/abs/2006.16890v1 ) ライセンス: Link先を確認 | Andrew K. Harter and Naomichi Hatano | (参考訳) 非エルミート的ハミルトニアン(英語版)は自然あるいは誘導的な利得と損失を持つ系を解析するための単純な図式を提供するが、一般にそのようなハミルトニアンは複素エネルギーと対応する非正規固有基底を特徴とする。
ハミルトニアンが$\mathcal{PT}$対称性を持つとすると、固有スペクトルが完全に実である状態を見つけることができる。
単純なSu-Schrieffer-Heegerモデルの静的 $\mathcal{PT}$-対称拡張の場合、任意のエッジ状態に関連するエネルギーは複素であることが保証されている。
時間依存システムに移行するということは、ハミルトンの処理は変調自体の効果的な時間スケールで行う必要があり、静的な場合よりも複雑な位相が生じることを意味する。
周期駆動の特定のクラスにおいて、実位相を高い駆動周波数で達成できることが示されている。
本稿では,このプロセスの詳細を,単純な2段階周期変調を用いて示す。
有効なフロッケハミルトニアンに対する厳密な表現を得るとともに、その対称性を変調ステップを構成する元のハミルトニアンと比較する。
有効ハミルトニアンの$\mathcal{pt}$位相は、変調周波数と利得/損失強度に依存する。
さらに、$\mathcal{PT}$-unbroken相の位相的非自明な状態は、パラメータ空間のより小さな範囲ではあるものの、高周波ケースとそれより下の両方の実固有値を持つ高局所化されたエッジ状態を認める。 Non-Hermitian Hamiltonians provide a simple picture for analyzing systems with natural or induced gain and loss; however, in general, such Hamiltonians feature complex energies and a corresponding non-orthonormal eigenbasis. Provided that the Hamiltonian has $\mathcal{PT}$ symmetry, it is possible to find a regime in which the eigenspectrum is completely real. In the case of static $\mathcal{PT}$-symmetric extensions of the simple Su-Schrieffer-Heeger model, it has been shown that the energies associated with any edge states are guaranteed to be complex. Moving to a time-dependent system means that treatment of the Hamiltonian must be done at the effective time-scale of the modulation itself, allowing for more intricate phases to occur than in the static case. It has been demonstrated that with particular classes of periodic driving, achieving a real topological phase at high driving frequency is possible. In the present paper, we show the details of this process by using a simple two-step periodic modulation. We obtain a rigorous expression for the effective Floquet Hamiltonian and compare its symmetries to those of the original Hamiltonians which comprise the modulation steps. The $\mathcal{PT}$ phase of the effective Hamiltonian is dependent on the modulation frequency as well as the gain/loss strength. Furthermore, the topologically nontrivial regime of the $\mathcal{PT}$-unbroken phase admits highly-localized edge states with real eigenvalues in both the high frequency case and below it, albeit within a smaller extent of the parameter space. | 翻訳日:2023-05-12 01:15:13 公開日:2020-06-30 |
| # 非ゼロローレンツ不変質量を持つ多光子波束状態の平均伝播速度 Mean propagation velocity of multiphoton wave-packet states with nonzero Lorentz-invariant mass ( http://arxiv.org/abs/2007.00447v1 ) ライセンス: Link先を確認 | S.V. Vintskevich, D.A. Grigoriev | (参考訳) ローレンツ不変質量と平均伝播速度の概念は、光の多光子波束状態について詳細に研究されている。
光検出理論と直接運動学に基づき、任意の多光子波束状態に対するローレンツ不変質量の概念と平均伝播速度が一致することを物理的に合理的かつ厳密に証明した。
平均伝播速度は真空中における光定数の速度よりも小さく、任意の波束状態に対する波動ベクトル空間の振幅の幾何学的性質によって制御されていると論じた。
ローレンツ不変質量の異なる固定値で状態の分類を行うため、残りのフレームで波束状態を記述するための特定のモードセットを導入した。 The concept of Lorenz invariant mass and mean propagation velocity have been investigated in detail for various multiphoton wave-packet states of light. Based on photodetection theory and straightforward kinematics, we presented a physically reasonable and at the same time rigorous proof that mean propagation velocity is consistent with the Lorentz-invariant mass concept for an arbitrary multiphoton wave-packet state. We argued that mean propagation velocity is less than the speed of light constant in vacuum and is governed by geometric properties of state's amplitude in wave-vector space for arbitrary wave-packet states. To classify states with different fixed values of Lorentz-invariant mass, we introduced a specific set of modes that allow us to describe the wave-packet state in its rest frame. | 翻訳日:2023-05-12 01:07:16 公開日:2020-06-30 |
| # 実世界複素ネットワーク上の量子ウォークのヌル固有値局在 Null-eigenvalue localization of quantum walks on real-world complex networks ( http://arxiv.org/abs/2007.00129v1 ) ライセンス: Link先を確認 | Ruben Bueno and Naomichi Hatano | (参考訳) まず、実世界の複素ネットワークの隣接行列は、ランダムネットワークよりもはるかに高次元のヌル固有空間を体系的に持つことを報告する。
これらのヌル固有値は、複雑な組織にもっと存在するはずの局所対称性を持つ構造につながる重複機構によって引き起こされる。
これらの状態の固有ベクトルは強く局所化されている。
次に、これらの微細構造を量子力学の文脈で評価し、連続時間量子ウォークの拡散を研究することにより、前述の局所化を実証する。
第一に、固有値は状態の密度の端ではなく、その中心にある。第二に、固有状態は指数関数的に崩壊せず、対称構造から漏れ出さない。
この意味では、連続体における有界状態に近い。 First we report that the adjacency matrices of real-world complex networks systematically have null eigenspaces with much higher dimensions than that of random networks. These null eigenvalues are caused by duplication mechanisms leading to structures with local symmetries which should be more present in complex organizations. The associated eigenvectors of these states are strongly localized. We then evaluate these microstructures in the context of quantum mechanics, demonstrating the previously mentioned localization by studying the spread of continuous-time quantum walks. This null-eigenvalue localization is essentially different from the Anderson localization in the following points: first, the eigenvalues do not lie on the edges of the density of states but at its center; second, the eigenstates do not decay exponentially and do not leak out of the symmetric structures. In this sense, it is closer to the bound state in continuum. | 翻訳日:2023-05-12 01:06:46 公開日:2020-06-30 |
| # 初期コヒーレンスによる量子作業統計 Quantum work statistics with initial coherence ( http://arxiv.org/abs/2007.00042v1 ) ライセンス: Link先を確認 | Mar\'ia Garc\'ia D\'iaz, Giacomo Guarnieri, and Mauro Paternostro | (参考訳) システム上での熱力学的作業を計算するための2点測定スキームは、当初は平衡状態である必要がある。
マーゲナウ・ヒルのスキームは、非平衡初期状態を可能にするために以前のアプローチを拡張している。
我々は,システムの初期状態に存在するコヒーレンス量を$l_1$-コヒーレンス測度で定量化することにより,両スキームの定量的比較を確立する。
両スキームで得られた作業の最初の2つのモーメント,作業のばらつき,および平均エントロピー生成の差を,そのような初期コヒーレンスの観点から考えることができることを示す。
さらに,マルゲナウ・ヒルフレームワークにおいて平均エントロピー生成が負の値を取ることを証明した。 The Two Point Measurement scheme for computing the thermodynamic work performed on a system requires it to be initially in equilibrium. The Margenau-Hill scheme, among others, extends the previous approach to allow for a non-equilibrium initial state. We establish a quantitative comparison between both schemes in terms of the amount of coherence present in the initial state of the system, as quantified by the $l_1$-coherence measure. We show that the difference between the two first moments of work, the variances of work and the average entropy production obtained in both schemes can be cast in terms of such initial coherence. Moreover, we prove that the average entropy production can take negative values in the Margenau-Hill framework. | 翻訳日:2023-05-12 01:06:34 公開日:2020-06-30 |
| # テンソルラドン変換によるバルク幾何学の構築 Building Bulk Geometry from the Tensor Radon Transform ( http://arxiv.org/abs/2007.00004v1 ) ライセンス: Link先を確認 | ChunJun Cao, Xiao-Liang Qi, Brian Swingle, Eugene Tang | (参考訳) テンソルラドン変換および関連する数値的手法を用いて,$\mathrm{ads}_3/\mathrm{cft}_2$ の特定の場合における境界絡みエントロピーからバルクジオメトリを明示的に再構成する方法について検討する。
この枠組みは, 2 ドルの CFT の境界エンタングルメントのエントロピーを考えると, バルク双対が摂動(AdS)限界において幾何であるかを検出する定量的な尺度を提供する。
よく定義されたバルク幾何が存在する場合、ゲージの選択がなされると、一意なバルク計量テンソルを明示的に再構成する。
次に, ホログラフィおよび多体系における静的および動的シナリオのための創発的バルクジオメトリについて検討する。
物理学的な結果とは別に,AdS/CFTにおけるバルク再構成の研究において,数値的手法が実現可能であることを示す。 Using the tensor Radon transform and related numerical methods, we study how bulk geometries can be explicitly reconstructed from boundary entanglement entropies in the specific case of $\mathrm{AdS}_3/\mathrm{CFT}_2$. We find that, given the boundary entanglement entropies of a $2$d CFT, this framework provides a quantitative measure that detects whether the bulk dual is geometric in the perturbative (near AdS) limit. In the case where a well-defined bulk geometry exists, we explicitly reconstruct the unique bulk metric tensor once a gauge choice is made. We then examine the emergent bulk geometries for static and dynamical scenarios in holography and in many-body systems. Apart from the physics results, our work demonstrates that numerical methods are feasible and effective in the study of bulk reconstruction in AdS/CFT. | 翻訳日:2023-05-12 01:05:27 公開日:2020-06-30 |
| # 光の非ガウス量子状態の生成と応用 Production and applications of non-Gaussian quantum states of light ( http://arxiv.org/abs/2006.16985v1 ) ライセンス: Link先を確認 | A. I. Lvovsky, Philippe Grangier, Alexei Ourjoumtsev, Valentina Parigi, Masahide Sasaki, Rosa Tualle-Brouri | (参考訳) このレビューでは、光の連続可変量子技術のコヒーレント状態や圧縮状態のような「ガウス的」量子状態を越えて、負のウィグナー関数を持つ「非ガウス的」状態の領域に拡張する最近の理論的および実験的試みについて述べる。
パラメトリックなダウンコンバージョンによって生成される1モードと2モードの真空状態に関連する基本的なガウス的非古典性から始まり、線形干渉法、コヒーレント状態注入、条件付きホモダインとフォトン数の測定といった一連の標準ツールを適用することで、基本的な量子物理学や量子光学情報処理に関係のある様々な光学状態とプロセスを実装できる。
我々は,これらの手法を体系的にレビューし,実装の基本的かつ実践的な側面に留意するとともに,その結果を総合的に概観する。 This review covers recent theoretical and experimental efforts to extend the application of the continuous-variable quantum technology of light beyond "Gaussian" quantum states, such as coherent and squeezed states, into the domain of "non-Gaussian" states with negative Wigner functions. Starting with basic Gaussian nonclassicality associated with single- and two-mode vacuum states produced by means of parametric down-conversion and applying a set of standard tools, such as linear interferometry, coherent state injection, and conditional homodyne and photon number measurements, one can implement a large variety of optical states and processes that are relevant in fundamental quantum physics as well as quantum optical information processing. We present a systematic review of these methods, paying attention to both fundamental and practical aspects of their implementation, as well as a comprehensive overview of the results achieved therewith. | 翻訳日:2023-05-12 01:05:08 公開日:2020-06-30 |
| # ランダムグ・ハミルトニアンの絡み合いダイナミクス Entanglement Dynamics of Random GUE Hamiltonians ( http://arxiv.org/abs/2001.00140v3 ) ライセンス: Link先を確認 | Daniel Chernowitz, Vladimir Gritsev | (参考訳) 本研究では、貯水池と相互作用するサブシステムのモデルを検討し、全体的な時間進化が非可積分ハミルトニアンによって支配されると仮定して、絡み合いのダイナミクスを研究する。
また、積分可能なハミルトンのアンサンブルと比較する。
これを実現するために、ウィグナー・ダイソンあるいはポアソンのエネルギー分布を持つランダム行列のユニタリ不変アンサンブルを利用する。
Weingarten関数の理論を用いて、還元密度行列と純度の平均時間的進化を導出し、これらの結果をいくつかの物理ハミルトニアンと比較する: 横フィールドのイジングとXXZモデルのランダム化バージョン、スピングラス、中央スピンとSYKモデル。
その理論は後者の2つを説明するのに優れている。
その過程で、gue固有値のガス中の指数的$n$-point相関関数の一般式が見つかる。 In this work, we consider a model of a subsystem interacting with a reservoir and study dynamics of entanglement assuming that the overall time-evolution is governed by non-integrable Hamiltonians. We also compare to an ensemble of Integrable Hamiltonians. To do this, we make use of unitary invariant ensembles of random matrices with either Wigner-Dyson or Poissonian distributions of energy. Using the theory of Weingarten functions, we derive universal average time evolution of the reduced density matrix and the purity and compare these results with several physical Hamiltonians: randomized versions of the transverse field Ising and XXZ models, Spin Glass and, Central Spin and SYK model. The theory excels at describing the latter two. Along the way, we find general expressions for exponential $n$-point correlation functions in the gas of GUE eigenvalues. | 翻訳日:2023-01-16 09:36:13 公開日:2020-06-30 |
| # U-Net-based Convolutional Neural Network を用いた自動舗装き裂分割 Automated Pavement Crack Segmentation Using U-Net-based Convolutional Neural Network ( http://arxiv.org/abs/2001.01912v4 ) ライセンス: Link先を確認 | Stephen L. H. Lau, Edwin K. P. Chong, Xu Yang, and Xin Wang | (参考訳) 自動舗装き裂画像分割は,不規則なパターン,照明条件,画像のノイズが原因で困難である。
従来のアプローチでは、クラック領域と非影響領域を区別するために、かなりの量の特徴工学が必要である。
本稿では,畳み込みニューラルネットワークを用いた,舗装き裂画像のセグメンテーションタスクを行う深層学習手法を提案する。
私たちのアプローチでは、他の機械学習技術と比較して、最小限の機能エンジニアリングが必要です。
我々は、エンコーダを事前訓練されたResNet-34ニューラルネットワークに置き換えるU-Netベースのネットワークアーキテクチャを提案する。
循環学習率に基づく「1サイクル」トレーニングスケジュールを使用して収束を高速化する。
提案手法はCFDデータセットで96%,Crack500データセットで73%のF1スコアを達成し,これらのデータセットでテストされた他のアルゴリズムよりも優れていた。
我々は,空間的・チャネル的圧縮・励起(SCSE)モジュールの追加,画像サイズの増加によるトレーニング,学習速度の異なるニューラルネットワークレイヤのトレーニングなど,限界性能向上に寄与するさまざまなテクニックについて,アブレーション研究を行った。 Automated pavement crack image segmentation is challenging because of inherent irregular patterns, lighting conditions, and noise in images. Conventional approaches require a substantial amount of feature engineering to differentiate crack regions from non-affected regions. In this paper, we propose a deep learning technique based on a convolutional neural network to perform segmentation tasks on pavement crack images. Our approach requires minimal feature engineering compared to other machine learning techniques. We propose a U-Net-based network architecture in which we replace the encoder with a pretrained ResNet-34 neural network. We use a "one-cycle" training schedule based on cyclical learning rates to speed up the convergence. Our method achieves an F1 score of 96% on the CFD dataset and 73% on the Crack500 dataset, outperforming other algorithms tested on these datasets. We perform ablation studies on various techniques that helped us get marginal performance boosts, i.e., the addition of spatial and channel squeeze and excitation (SCSE) modules, training with gradually increasing image sizes, and training various neural network layers with different learning rates. | 翻訳日:2023-01-13 20:54:04 公開日:2020-06-30 |
| # トランスフォーマーモデルを用いたストリーミング自動音声認識 Streaming automatic speech recognition with the transformer model ( http://arxiv.org/abs/2001.02674v5 ) ライセンス: Link先を確認 | Niko Moritz, Takaaki Hori, Jonathan Le Roux | (参考訳) エンコーダデコーダに基づくシーケンスツーシーケンスモデルは、エンドツーエンド自動音声認識(asr)において最先端の結果を示している。
近年,時間的文脈情報を自己アテンションでモデル化するトランスフォーマーアーキテクチャは,リカレントニューラルネットワーク(RNN)ベースのシステムアーキテクチャに比べて単語誤り率(WER)が著しく低いことが示されている。
エンコーダ-デコーダアーキテクチャは通常、入力として完全な音声発話を必要とするため、実際の使用はオフラインのasrタスクに限られる。
本研究では,ASRをストリーミングするトランスフォーマーに基づくエンドツーエンドのASRシステムを提案する。
これを実現するために、エンコーダに時間制限付き自己アテンションを適用し、エンコーダ・デコーダのアテンション機構に注意を向ける。
提案するストリーミングトランスフォーマーアーキテクチャは,librispeechの"クリーン"および"その他の"テストデータに対して2.8%と7.2%のwerを達成している。 Encoder-decoder based sequence-to-sequence models have demonstrated state-of-the-art results in end-to-end automatic speech recognition (ASR). Recently, the transformer architecture, which uses self-attention to model temporal context information, has been shown to achieve significantly lower word error rates (WERs) compared to recurrent neural network (RNN) based system architectures. Despite its success, the practical usage is limited to offline ASR tasks, since encoder-decoder architectures typically require an entire speech utterance as input. In this work, we propose a transformer based end-to-end ASR system for streaming ASR, where an output must be generated shortly after each spoken word. To achieve this, we apply time-restricted self-attention for the encoder and triggered attention for the encoder-decoder attention mechanism. Our proposed streaming transformer architecture achieves 2.8% and 7.2% WER for the "clean" and "other" test data of LibriSpeech, which to our knowledge is the best published streaming end-to-end ASR result for this task. | 翻訳日:2023-01-13 09:31:09 公開日:2020-06-30 |
| # 教師なし類似性探索のためのバイオインスパイアハッシュ Bio-Inspired Hashing for Unsupervised Similarity Search ( http://arxiv.org/abs/2001.04907v2 ) ライセンス: Link先を確認 | Chaitanya K. Ryali, John J. Hopfield, Leopold Grinberg, Dmitry Krotov | (参考訳) ショウジョウバエの嗅覚回路は、新しい局所性感度ハッシュ(LSH)アルゴリズムであるFlyHashにインスピレーションを与えました。
低次元ハッシュコードを生成する古典的なLSHアルゴリズムとは対照的に、FlyHashはスパースな高次元ハッシュコードを生成しており、類似検索における古典的なLSHアルゴリズムよりも経験的性能が優れていることも示されている。
しかし、FlyHashはランダムなプロジェクションを使用しており、データから学べない。
本研究では,FlyHashのインスピレーションと神経生物学におけるスパース拡大表現の普遍性に基づいて,データ駆動方式でスパース高次元ハッシュコードを生成する新しいハッシュアルゴリズムBioHashを提案する。
BioHashが以前発表したハッシュ手法のベンチマークより優れていることを示す。
我々の学習アルゴリズムは, 局所的かつ生物学的に可塑性なシナプス可塑性則に基づいており, 様々な生物学的システムにおいて, LSHがスパース膨張モチーフの多量化の計算的理由である可能性が示唆されている。
また,より高性能な畳み込み型BioConvHashを提案する。
コンピュータ科学の観点から見ると、BioHashとBioConvHashは高速でスケーラブルで圧縮されたバイナリ表現であり、類似性検索に役立つ。 The fruit fly Drosophila's olfactory circuit has inspired a new locality sensitive hashing (LSH) algorithm, FlyHash. In contrast with classical LSH algorithms that produce low dimensional hash codes, FlyHash produces sparse high-dimensional hash codes and has also been shown to have superior empirical performance compared to classical LSH algorithms in similarity search. However, FlyHash uses random projections and cannot learn from data. Building on inspiration from FlyHash and the ubiquity of sparse expansive representations in neurobiology, our work proposes a novel hashing algorithm BioHash that produces sparse high dimensional hash codes in a data-driven manner. We show that BioHash outperforms previously published benchmarks for various hashing methods. Since our learning algorithm is based on a local and biologically plausible synaptic plasticity rule, our work provides evidence for the proposal that LSH might be a computational reason for the abundance of sparse expansive motifs in a variety of biological systems. We also propose a convolutional variant BioConvHash that further improves performance. From the perspective of computer science, BioHash and BioConvHash are fast, scalable and yield compressed binary representations that are useful for similarity search. | 翻訳日:2023-01-11 12:33:30 公開日:2020-06-30 |
| # 不等角化コンテクストトランスフォーマタを用いた非自己回帰機械翻訳 Non-Autoregressive Machine Translation with Disentangled Context Transformer ( http://arxiv.org/abs/2001.05136v2 ) ライセンス: Link先を確認 | Jungo Kasai, James Cross, Marjan Ghazvininejad, Jiatao Gu | (参考訳) 最先端のニューラルネットワーク翻訳モデルは、左から右への翻訳を生成し、各ステップは以前に生成されたトークンに条件付けされる。
この生成プロセスのシーケンシャルな性質は、各文で複数のトークンを並列に生成できないため、推論の基本的な遅延を引き起こす。
本研究では,異なるコンテキストのトークンを同時に生成するDisentangled Context (DisCo) 変換器を提案する。
DisCo変換器は、他の参照トークンの任意のサブセットが与えられた全ての出力トークンを予測するように訓練される。
また,すべてのトークンを並列に精錬し,必要なイテレーション数を削減する並列イージーファースト推論アルゴリズムを開発した。
データサイズが異なる7つの翻訳方向について広範な実験を行った結果,本モデルの性能は,非回帰機械翻訳における性能と比較して,平均的な復号化時間を大幅に削減しながら,競争力を発揮できることが示された。
私たちのコードはhttps://github.com/facebookresearch/discoで利用可能です。 State-of-the-art neural machine translation models generate a translation from left to right and every step is conditioned on the previously generated tokens. The sequential nature of this generation process causes fundamental latency in inference since we cannot generate multiple tokens in each sentence in parallel. We propose an attention-masking based model, called Disentangled Context (DisCo) transformer, that simultaneously generates all tokens given different contexts. The DisCo transformer is trained to predict every output token given an arbitrary subset of the other reference tokens. We also develop the parallel easy-first inference algorithm, which iteratively refines every token in parallel and reduces the number of required iterations. Our extensive experiments on 7 translation directions with varying data sizes demonstrate that our model achieves competitive, if not better, performance compared to the state of the art in non-autoregressive machine translation while significantly reducing decoding time on average. Our code is available at https://github.com/facebookresearch/DisCo. | 翻訳日:2023-01-11 06:22:57 公開日:2020-06-30 |
| # 注意群同変畳み込みネットワーク Attentive Group Equivariant Convolutional Networks ( http://arxiv.org/abs/2002.03830v3 ) ライセンス: Link先を確認 | David W. Romero, Erik J. Bekkers, Jakub M. Tomczak, Mark Hoogendoorn | (参考訳) 群畳み込みネットワークは対称性パターンに基づいて強力な表現を学習できるが、それらの間の意味のある関係(例えば相対的な位置やポーズ)を学習する明確な手段が欠けている。
本稿では,有意義な対称性の組み合わせを強調するために畳み込みの過程で注意が払われる群畳み込みの一般化である注意群同変畳み込みについて述べる。
視覚的注意に関する先行研究は,提案する枠組みの特別な事例として記述でき,ベンチマーク画像データセットの従来のグループ畳み込みネットワークを一貫して上回っていることを実証的に示す。
同時に、同変アテンションマップの可視化を通じて学習概念の解釈可能性を提供する。 Although group convolutional networks are able to learn powerful representations based on symmetry patterns, they lack explicit means to learn meaningful relationships among them (e.g., relative positions and poses). In this paper, we present attentive group equivariant convolutions, a generalization of the group convolution, in which attention is applied during the course of convolution to accentuate meaningful symmetry combinations and suppress non-plausible, misleading ones. We indicate that prior work on visual attention can be described as special cases of our proposed framework and show empirically that our attentive group equivariant convolutional networks consistently outperform conventional group convolutional networks on benchmark image datasets. Simultaneously, we provide interpretability to the learned concepts through the visualization of equivariant attention maps. | 翻訳日:2023-01-03 03:33:53 公開日:2020-06-30 |
| # 解説:ディープネットワークのための軸的特徴相互作用 Explaining Explanations: Axiomatic Feature Interactions for Deep Networks ( http://arxiv.org/abs/2002.04138v3 ) ライセンス: Link先を確認 | Joseph D. Janizek, Pascal Sturmfels, Su-In Lee | (参考訳) 最近の研究は、ニューラルネットワークの振る舞いを説明することに大きな期待を示している。
特に、特徴属性法は、与えられた入力に対するモデルの予測においてどの特徴が最も重要かを説明する。
しかし、多くのタスクにおいて、モデルの予測にどの機能が重要かを知るだけでは、モデルの振る舞いを理解するのに十分な洞察が得られない。
モデル内の機能間の相互作用は、モデルだけでなく、ある機能が他のものよりも重要である理由を理解するのに役立つかもしれません。
本稿では,ニューラルネットワークにおける相対的特徴的相互作用を説明する統合勾配の拡張である統合ヘッシアンについて述べる。
統合ヘッセンは、相互作用を説明するための従来の手法のいくつかの理論的制限を克服し、そのような従来の手法と異なり、特定のアーキテクチャやニューラルネットワークのクラスに限らない。
さらに,本手法は,機能数が大きい場合の既存手法よりも高速であり,既存の定量的ベンチマークでは従来手法よりも優れていた。
コードはhttps://github.com/suinleelab/path_explainで利用可能 Recent work has shown great promise in explaining neural network behavior. In particular, feature attribution methods explain which features were most important to a model's prediction on a given input. However, for many tasks, simply knowing which features were important to a model's prediction may not provide enough insight to understand model behavior. The interactions between features within the model may better help us understand not only the model, but also why certain features are more important than others. In this work, we present Integrated Hessians, an extension of Integrated Gradients that explains pairwise feature interactions in neural networks. Integrated Hessians overcomes several theoretical limitations of previous methods to explain interactions, and unlike such previous methods is not limited to a specific architecture or class of neural network. Additionally, we find that our method is faster than existing methods when the number of features is large, and outperforms previous methods on existing quantitative benchmarks. Code available at https://github.com/suinleelab/path_explain | 翻訳日:2023-01-02 08:10:06 公開日:2020-06-30 |
| # 自己教師付き表現学習のためのショートカット自動除去 Automatic Shortcut Removal for Self-Supervised Representation Learning ( http://arxiv.org/abs/2002.08822v3 ) ライセンス: Link先を確認 | Matthias Minderer, Olivier Bachem, Neil Houlsby, Michael Tschannen | (参考訳) 自己教師付き視覚表現学習では、特徴抽出器は人間のアノテーションなしでラベルを安価に生成できる「前文タスク」で訓練される。
このアプローチにおける中心的な課題は、特徴抽出器が色収差や透かしなどの低レベルな視覚的特徴を素早く活用し、次に有用な意味表現を学ばないことである。
機能を特定し、その効果を減らすためのハンドデザインスキームに多くの作業が費やされた。
本稿では,効果ショートカット機能を緩和するための汎用フレームワークを提案する。
私たちの重要な前提は、プリテキストタスクを解くために最初に活用されるこれらの機能は、そのタスクを困難にするために訓練された敵にとって最も脆弱である、ということです。
この仮定は、"lens"ネットワークをトレーニングして、プリテキストタスクのパフォーマンスを最大に低下させる小さな画像変更を行うことで、共通のプリテキストタスクとデータセットにまたがる。
修正されたイメージで学んだ表現は、すべてのテストケースで学習した画像よりも優れています。
さらに、レンズによる修正は、プレテキストタスクとデータセットの選択が、自己監督によって学習された特徴にどのように影響するかを明らかにする。 In self-supervised visual representation learning, a feature extractor is trained on a "pretext task" for which labels can be generated cheaply, without human annotation. A central challenge in this approach is that the feature extractor quickly learns to exploit low-level visual features such as color aberrations or watermarks and then fails to learn useful semantic representations. Much work has gone into identifying such "shortcut" features and hand-designing schemes to reduce their effect. Here, we propose a general framework for mitigating the effect shortcut features. Our key assumption is that those features which are the first to be exploited for solving the pretext task may also be the most vulnerable to an adversary trained to make the task harder. We show that this assumption holds across common pretext tasks and datasets by training a "lens" network to make small image changes that maximally reduce performance in the pretext task. Representations learned with the modified images outperform those learned without in all tested cases. Additionally, the modifications made by the lens reveal how the choice of pretext task and dataset affects the features learned by self-supervision. | 翻訳日:2022-12-30 07:53:37 公開日:2020-06-30 |
| # no-regretとインセンティブ互換のオンライン学習 No-Regret and Incentive-Compatible Online Learning ( http://arxiv.org/abs/2002.08837v2 ) ライセンス: Link先を確認 | Rupert Freeman, David M. Pennock, Chara Podimata, and Jennifer Wortman Vaughan | (参考訳) 本研究では,学習アルゴリズムの予測に対する影響を最大化するために,専門家が戦略的に行動するオンライン学習環境について検討する。
私たちの目標は2倍です。
第一に、学習アルゴリズムが、後見の最高の固定エキスパートに対して無抵抗であるようにしたい。
第二に、インセンティブの互換性、すなわち、各専門家の最善の戦略は、各イベントの実現に関する彼の真の信念を報告することである。
この目標を達成するために,マルチエージェントスコアリングルールの一種である賃金メカニズムに関する文献を構築した。
我々は、全情報設定と部分情報設定の両方において、ミオピックの専門家に対して、後悔やインセンティブの互換性をもたないアルゴリズムを提供する。
FiveThirtyEightのデータセットの実験では、私たちのアルゴリズムは、インセンティブに適合しない古典的な非回帰アルゴリズムに匹敵するものを後悔している。
最後に,後悔を減少させる戦略エージェントに対するインセンティブ互換アルゴリズムを特定する。 We study online learning settings in which experts act strategically to maximize their influence on the learning algorithm's predictions by potentially misreporting their beliefs about a sequence of binary events. Our goal is twofold. First, we want the learning algorithm to be no-regret with respect to the best fixed expert in hindsight. Second, we want incentive compatibility, a guarantee that each expert's best strategy is to report his true beliefs about the realization of each event. To achieve this goal, we build on the literature on wagering mechanisms, a type of multi-agent scoring rule. We provide algorithms that achieve no regret and incentive compatibility for myopic experts for both the full and partial information settings. In experiments on datasets from FiveThirtyEight, our algorithms have regret comparable to classic no-regret algorithms, which are not incentive-compatible. Finally, we identify an incentive-compatible algorithm for forward-looking strategic agents that exhibits diminishing regret in practice. | 翻訳日:2022-12-30 07:26:19 公開日:2020-06-30 |
| # 逆勾配推定を用いた双方向生成モデル Bidirectional Generative Modeling Using Adversarial Gradient Estimation ( http://arxiv.org/abs/2002.09161v3 ) ライセンス: Link先を確認 | Xinwei Shen, Tong Zhang, Kani Chen | (参考訳) 本稿では,VAE と BiGAN を含む双方向生成モデリングの一般的な$f$-divergence の定式化について考察する。
本稿では,この定式化のための新しい最適化手法を提案する。
提案手法では, 異なるダイバーシティが, 異なるスケーリングを除いて, 勾配評価の観点から類似アルゴリズムを誘導することを示す。
そこで本研究では,原則付き$f$-divergenceに基づく生成モデリング手法の一般的なレシピを提案する。
従来の手法に対するアプローチの利点を実証するために,理論的正当化と広範な実証的研究を行った。 This paper considers the general $f$-divergence formulation of bidirectional generative modeling, which includes VAE and BiGAN as special cases. We present a new optimization method for this formulation, where the gradient is computed using an adversarially learned discriminator. In our framework, we show that different divergences induce similar algorithms in terms of gradient evaluation, except with different scaling. Therefore this paper gives a general recipe for a class of principled $f$-divergence based generative modeling methods. Theoretical justifications and extensive empirical studies are provided to demonstrate the advantage of our approach over existing methods. | 翻訳日:2022-12-30 00:15:30 公開日:2020-06-30 |
| # 核を用いた条件密度モデルの適合性の検証 Testing Goodness of Fit of Conditional Density Models with Kernels ( http://arxiv.org/abs/2002.10271v2 ) ライセンス: Link先を確認 | Wittawat Jitkrittum, Heishiro Kanagawa, Bernhard Sch\"olkopf | (参考訳) 条件付き確率密度関数 $p(y|x)$ とジョイントサンプルを与えられたとき、ある密度 $p(y|x)r_x$ に対してサンプルが$p(y|x)r_x(x)$ から引き出されたかどうかを判定する。
我々のテストはスタイン作用素で定式化され、任意の微分可能な条件密度モデルに適用でき、正規化定数の知識は不要である。
私たちはそれを示します
1) 我々のテストは、任意の固定された代替条件モデルと一致している。
2) 統計は,中間段階として密度推定を必要とせず,容易に見積もることができる。
3)2つ目のテストでは,条件モデルが共変量領域に適合しない点について,解釈可能なテスト結果を提供する。
ニューヨーク市のタクシーの降車位置の分布をピックアップポイントとしてモデル化する作業において,テストの解釈可能性を示す。
我々の知る限り、これらの望ましい性質を全て同時に備えた条件付き適合性テストを提案するのは、我々の研究が初めてである。 We propose two nonparametric statistical tests of goodness of fit for conditional distributions: given a conditional probability density function $p(y|x)$ and a joint sample, decide whether the sample is drawn from $p(y|x)r_x(x)$ for some density $r_x$. Our tests, formulated with a Stein operator, can be applied to any differentiable conditional density model, and require no knowledge of the normalizing constant. We show that 1) our tests are consistent against any fixed alternative conditional model; 2) the statistics can be estimated easily, requiring no density estimation as an intermediate step; and 3) our second test offers an interpretable test result providing insight on where the conditional model does not fit well in the domain of the covariate. We demonstrate the interpretability of our test on a task of modeling the distribution of New York City's taxi drop-off location given a pick-up point. To our knowledge, our work is the first to propose such conditional goodness-of-fit tests that simultaneously have all these desirable properties. | 翻訳日:2022-12-29 03:28:49 公開日:2020-06-30 |
| # 逆多重ソースPAC学習のサンプル複雑さについて On the Sample Complexity of Adversarial Multi-Source PAC Learning ( http://arxiv.org/abs/2002.10384v2 ) ライセンス: Link先を確認 | Nikola Konstantinov, Elias Frantar, Dan Alistarh, Christoph H. Lampert | (参考訳) 本稿では,クラウドソーシングと協調学習パラダイムの近年の出現を踏まえ,複数の信頼できないデータソースから学習することの課題について考察する。
具体的には,学習システムが複数の情報源からデータセットを取得する状況を分析する。
単一ソースの場合、トレーニングデータの一定割合を破損するパワーを持つ敵がPAC学習性を防止することが知られており、無限に多くのトレーニングデータの制限下であっても、最適なテストエラーにアプローチする学習システムは存在しない。
この研究で、意外なことに、マルチソース設定では、敵が任意にデータソースの一定割合を破壊できる場合において、同じことが正しくないことが示される。
我々の主な結果は、この学習条件に対する有限サンプル保証と対応する下界を提供する一般化境界である。
パックリーナビリティを確立することに加えて,共同学習では,悪意のある参加者であっても,他者とデータを共有することのメリットが証明可能であることも示しています。 We study the problem of learning from multiple untrusted data sources, a scenario of increasing practical relevance given the recent emergence of crowdsourcing and collaborative learning paradigms. Specifically, we analyze the situation in which a learning system obtains datasets from multiple sources, some of which might be biased or even adversarially perturbed. It is known that in the single-source case, an adversary with the power to corrupt a fixed fraction of the training data can prevent PAC-learnability, that is, even in the limit of infinitely much training data, no learning system can approach the optimal test error. In this work we show that, surprisingly, the same is not true in the multi-source setting, where the adversary can arbitrarily corrupt a fixed fraction of the data sources. Our main results are a generalization bound that provides finite-sample guarantees for this learning setting, as well as corresponding lower bounds. Besides establishing PAC-learnability our results also show that in a cooperative learning setting sharing data with other parties has provable benefits, even if some participants are malicious. | 翻訳日:2022-12-29 03:10:45 公開日:2020-06-30 |
| # 特徴重要度尺度としてのシェープ値に基づく説明の問題 Problems with Shapley-value-based explanations as feature importance measures ( http://arxiv.org/abs/2002.11097v2 ) ライセンス: Link先を確認 | I. Elizabeth Kumar, Suresh Venkatasubramanian, Carlos Scheidegger, Sorelle Friedler | (参考訳) ゲーム理論による特徴量定式化は、機械学習モデルを「説明」する方法として人気を集めている。
これらの方法は、モデルの特徴間の協調ゲームを定義し、ゲーム固有のシェープリー値の何らかの形式を用いて、これらの入力要素間で影響を分配する。
これらの方法の正当化は、それらの望ましい数学的性質と、説明の特定の動機に対する適用性という2つの柱にかかっている。
シャプリー値が特徴的重要性に使用される際に数学的な問題が生じることを示し、これらを緩和する解決策は因果推論の必要性など、必然的にさらなる複雑さを引き起こすことを示した。
また、Shapleyの価値観は人間中心の説明可能性の目標に合った説明を提供していないと主張する文献も追加する。 Game-theoretic formulations of feature importance have become popular as a way to "explain" machine learning models. These methods define a cooperative game between the features of a model and distribute influence among these input elements using some form of the game's unique Shapley values. Justification for these methods rests on two pillars: their desirable mathematical properties, and their applicability to specific motivations for explanations. We show that mathematical problems arise when Shapley values are used for feature importance and that the solutions to mitigate these necessarily induce further complexity, such as the need for causal reasoning. We also draw on additional literature to argue that Shapley values do not provide explanations which suit human-centric goals of explainability. | 翻訳日:2022-12-28 20:27:24 公開日:2020-06-30 |
| # Moniqua: 分散SGDにおけるモジュール量子通信 Moniqua: Modulo Quantized Communication in Decentralized SGD ( http://arxiv.org/abs/2002.11787v3 ) ライセンス: Link先を確認 | Yucheng Lu and Christopher De Sa | (参考訳) Stochastic Gradient Descent (SGD) を分散的に実行することは、有望な結果を示している。
本稿では,分散SGDが量子通信を利用できる手法であるMoniquaを提案する。
理論上、モニクアは、元のアルゴリズムが完全精度の通信を行うのと同じ漸近速度で収束しながら、繰り返し毎に証明可能な有界なビット数を伝えることを証明している。
moniquaは(1)追加のメモリを必要とせず、(2)1ビットの量子化で動作し、(3)様々な分散アルゴリズムに適用できるという以前の作業を改善する。
数値化分散アルゴリズムに比べて壁時計時間に関して,moniquaはより高速に収束することを示す。
また,ResNet20 と ResNet110 を CIFAR10 上でトレーニングする際の検証精度を損なうことなく,1ビット毎の通信が可能となる。 Running Stochastic Gradient Descent (SGD) in a decentralized fashion has shown promising results. In this paper we propose Moniqua, a technique that allows decentralized SGD to use quantized communication. We prove in theory that Moniqua communicates a provably bounded number of bits per iteration, while converging at the same asymptotic rate as the original algorithm does with full-precision communication. Moniqua improves upon prior works in that it (1) requires zero additional memory, (2) works with 1-bit quantization, and (3) is applicable to a variety of decentralized algorithms. We demonstrate empirically that Moniqua converges faster with respect to wall clock time than other quantized decentralized algorithms. We also show that Moniqua is robust to very low bit-budgets, allowing 1-bit-per-parameter communication without compromising validation accuracy when training ResNet20 and ResNet110 on CIFAR10. | 翻訳日:2022-12-28 14:24:51 公開日:2020-06-30 |
| # 階層分割情報理論の一般化に向けて Towards a generalization of information theory for hierarchical partitions ( http://arxiv.org/abs/2003.02911v2 ) ライセンス: Link先を確認 | Juan I. Perotti, Nahuel Almeira, Fabio Saracco | (参考訳) 複雑なシステムはしばしば、様々な物理的スケールをカバーする複数のレベルの組織を示すため、それらの構造と機能の階層的分解の研究は、しばしば便利である。
この現象をよりよく理解するために,階層的分割を扱う情報理論の一般化を提案する。
我々は最近導入された階層的相互情報(HMI)を再考し、古典的条件付き相互情報項のレベル和で記述できることを示す。
そして、HMIは対応する階層的関節エントロピーによって上から有界であることが証明される。
このように、古典的な場合と類似して、他の多くの古典的な情報理論量の階層的一般化を導出する。
特に、古典的なものとは対照的に、情報の変動の階層的な一般化は距離ではなく、それへの変換を認めることを証明している。
さらに,理論の既存展開の潜在的な応用に着目して,HMIを偶然に調整する方法を示す。
また, 提案した理論結果を全数値計算で相関し, 解析し, 導入した形式論の実証的応用例を含む。
最後に,成熟度に到達するための情報理論の一般化に対処すべき課題について述べる。 Complex systems often exhibit multiple levels of organization covering a wide range of physical scales, so the study of the hierarchical decomposition of their structure and function is frequently convenient. To better understand this phenomenon, we introduce a generalization of information theory that works with hierarchical partitions. We begin revisiting the recently introduced Hierarchical Mutual Information (HMI), and show that it can be written as a level by level summation of classical conditional mutual information terms. Then, we prove that the HMI is bounded from above by the corresponding hierarchical joint entropy. In this way, in analogy to the classical case, we derive hierarchical generalizations of many other classical information-theoretic quantities. In particular, we prove that, as opposed to its classical counterpart, the hierarchical generalization of the Variation of Information is not a metric distance, but it admits a transformation into one. Moreover, focusing on potential applications of the existing developments of the theory, we show how to adjust by chance the HMI. We also corroborate and analyze all the presented theoretical results with exhaustive numerical computations, and include an illustrative application example of the introduced formalism. Finally, we mention some open problems that should be eventually addressed for the proposed generalization of information theory to reach maturity. | 翻訳日:2022-12-28 08:31:10 公開日:2020-06-30 |
| # 一貫性クープマンオートエンコーダを用いたシーケンスデータの予測 Forecasting Sequential Data using Consistent Koopman Autoencoders ( http://arxiv.org/abs/2003.02236v2 ) ライセンス: Link先を確認 | Omri Azencot and N. Benjamin Erichson and Vanessa Lin and Michael W. Mahoney | (参考訳) リカレントニューラルネットワークは時系列データに広く使われているが、そのようなモデルはしばしばそのようなシーケンスの基盤となる物理構造を無視している。
クープマン理論に関連する新しい物理学に基づく手法が紹介され、非線形力学系を処理する代替手段が提供されている。
本研究では,既存の作業の多くと異なり,前方と後方のダイナミクスを活用する,一貫性のあるkoopmanオートエンコーダモデルを提案する。
私たちのアプローチの鍵となるのは、一貫性のあるダイナミクスと関連するkoopman演算子の相互作用を探求する新しい分析です。
我々のネットワークは、導出解析に直接関係しており、その計算要求は他のベースラインに匹敵する。
提案手法は,高次元および短期に係わる幅広い問題に対して評価し,ノイズに対して頑健でありながら,重要な予測地平線に対する正確な推定を行う。 Recurrent neural networks are widely used on time series data, yet such models often ignore the underlying physical structures in such sequences. A new class of physics-based methods related to Koopman theory has been introduced, offering an alternative for processing nonlinear dynamical systems. In this work, we propose a novel Consistent Koopman Autoencoder model which, unlike the majority of existing work, leverages the forward and backward dynamics. Key to our approach is a new analysis which explores the interplay between consistent dynamics and their associated Koopman operators. Our network is directly related to the derived analysis, and its computational requirements are comparable to other baselines. We evaluate our method on a wide range of high-dimensional and short-term dependent problems, and it achieves accurate estimates for significant prediction horizons, while also being robust to noise. | 翻訳日:2022-12-26 13:53:14 公開日:2020-06-30 |
| # automl-zero:スクラッチから進化する機械学習アルゴリズム AutoML-Zero: Evolving Machine Learning Algorithms From Scratch ( http://arxiv.org/abs/2003.03384v2 ) ライセンス: Link先を確認 | Esteban Real, Chen Liang, David R. So, and Quoc V. Le | (参考訳) 機械学習の研究は、モデル構造や学習方法など、さまざまな面で進歩している。
このような研究を自動化すること、AutoMLも大きな進歩を遂げている。
しかし、この進歩はニューラルネットワークのアーキテクチャに大きく焦点を合わせており、そこでは高度な専門家が設計したレイヤーをビルディングブロックとして頼りにしてきた。
今日では、基本的な数学的操作をビルディングブロックとして使用するだけで、完全な機械学習アルゴリズムを自動的に検出することが可能です。
一般的な検索空間を通じて人間のバイアスを大幅に低減する新しい枠組みを導入することでこれを実証する。
この空間の広大なにもかかわらず、進化的探索はバックプロパゲーションによって訓練された2層ニューラルネットワークを発見することができる。
これらの単純なニューラルネットワークは、関心のあるタスク、例えばCIFAR-10変種に基づいて直接進化することで、双線形相互作用、正規化勾配、平均化といった最新の技術がトップアルゴリズムに現れる。
さらに、進化はアルゴリズムを異なるタスクタイプに適応させる。例えば、データが少ないときにドロップアウトのようなテクニックが現れる。
機械学習アルゴリズムをスクラッチから発見する上で、これらの予備的な成功は、この分野にとって有望な新しい方向性を示していると信じている。 Machine learning research has advanced in multiple aspects, including model structures and learning methods. The effort to automate such research, known as AutoML, has also made significant progress. However, this progress has largely focused on the architecture of neural networks, where it has relied on sophisticated expert-designed layers as building blocks---or similarly restrictive search spaces. Our goal is to show that AutoML can go further: it is possible today to automatically discover complete machine learning algorithms just using basic mathematical operations as building blocks. We demonstrate this by introducing a novel framework that significantly reduces human bias through a generic search space. Despite the vastness of this space, evolutionary search can still discover two-layer neural networks trained by backpropagation. These simple neural networks can then be surpassed by evolving directly on tasks of interest, e.g. CIFAR-10 variants, where modern techniques emerge in the top algorithms, such as bilinear interactions, normalized gradients, and weight averaging. Moreover, evolution adapts algorithms to different task types: e.g., dropout-like techniques appear when little data is available. We believe these preliminary successes in discovering machine learning algorithms from scratch indicate a promising new direction for the field. | 翻訳日:2022-12-26 00:27:39 公開日:2020-06-30 |
| # 分割エッジ学習の効率向上のための共同パラメータ・バンド幅割当 Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of Partitioned Edge Learning ( http://arxiv.org/abs/2003.04544v3 ) ライセンス: Link先を確認 | Dingzhu Wen, Mehdi Bennis, and Kaibin Huang | (参考訳) モバイルデバイスのデータと計算能力を活用するため、機械学習アルゴリズムはネットワークエッジにデプロイされ、人工知能(AI)モデルをトレーニングする。
本稿では,多くの資源制約デバイス(ワーカと呼ばれる)を用いて大規模モデルを反復的に訓練するための分割エッジ学習の枠組みを検討する。
この目的のために、各イテレーションでモデルをパラメトリックブロックに動的に分割し、データサブセットを使用して更新するためにワーカーグループにダウンロードする。
そして、ローカル更新がサーバにアップロードされ、グローバルモデルを更新するためにケースケードされる。
総学習・通信遅延を最小化して資源使用量を削減するため、パラメータ(計算負荷)割り当てと帯域幅割り当て(ダウンロード・アップロード)の新たな共同設計に焦点を当てた。
2つのデザインアプローチが採用されている。
まず、PABA(Partial integrated parameter-and-bandwidth allocation)と呼ばれる実用的なシーケンシャルアプローチにより、帯域幅を考慮したパラメータ割り当てとパラメータを考慮した帯域幅割り当てという2つのスキームが得られる。
前者はワーカグループの最も遅い(コンピューティングにおける)負荷を最小限に抑え、それぞれが同じパラメトリックブロックをトレーニングする。
後者は、最大帯域幅を、レイテンシボトルネックであるワーカーに割り当てる。
第2に、PABAは共同最適化されている。
非凸問題であるにもかかわらず、二断面探索をインテリジェントにネストし、凸問題を解くことにより、効率的かつ最適解アルゴリズムが導出される。
実データを用いた実験の結果、PABAの統合は(46%)レイテンシと(4%)精度で、分割エッジ学習の性能を大幅に改善できることが示された。 To leverage data and computation capabilities of mobile devices, machine learning algorithms are deployed at the network edge for training artificial intelligence (AI) models, resulting in the new paradigm of edge learning. In this paper, we consider the framework of partitioned edge learning for iteratively training a large-scale model using many resource-constrained devices (called workers). To this end, in each iteration, the model is dynamically partitioned into parametric blocks, which are downloaded to worker groups for updating using data subsets. Then, the local updates are uploaded to and cascaded by the server for updating a global model. To reduce resource usage by minimizing the total learning-and-communication latency, this work focuses on the novel joint design of parameter (computation load) allocation and bandwidth allocation (for downloading and uploading). Two design approaches are adopted. First, a practical sequential approach, called partially integrated parameter-and-bandwidth allocation (PABA), yields two schemes, namely bandwidth aware parameter allocation and parameter aware bandwidth allocation. The former minimizes the load for the slowest (in computing) of worker groups, each training a same parametric block. The latter allocates the largest bandwidth to the worker being the latency bottleneck. Second, PABA are jointly optimized. Despite its being a nonconvex problem, an efficient and optimal solution algorithm is derived by intelligently nesting a bisection search and solving a convex problem. Experimental results using real data demonstrate that integrating PABA can substantially improve the performance of partitioned edge learning in terms of latency (by e.g., 46%) and accuracy (by e.g., 4%). | 翻訳日:2022-12-24 21:57:23 公開日:2020-06-30 |
| # BP-DIP: バックプロジェクションベースのDeep Image Prior BP-DIP: A Backprojection based Deep Image Prior ( http://arxiv.org/abs/2003.05417v2 ) ライセンス: Link先を確認 | Jenny Zukerman, Tom Tirer, Raja Giryes | (参考訳) ディープニューラルネットワークは、画像復元、最先端の結果の表示など、多くのコンピュータビジョンタスクのための非常に強力なツールである。
しかし, 深層学習法の性能は, 学習に使用する観測モデルが試験時間中に誤マッチすると低下する傾向にある。
さらに、多くのディープラーニング手法は大量のトレーニングデータを必要とするが、多くのアプリケーションではアクセスできない。
これらの欠点を軽減するために,2つの画像復元手法を組み合わせることを提案する。
(i)Deep Image Prior(DIP)は、与えられた劣化画像を用いて、テスト時間のスクラッチから畳み込みニューラルネットワーク(CNN)を訓練する。
トレーニングデータを一切必要とせず、CNNアーキテクチャが課した暗黙の前提の上に構築する。
(ii)バックプロジェクション(bp)忠実性項は、通常以前のディップワークで使われる標準最小二乗損失の代替である。
提案手法であるbp-dipの性能をデブラリングタスクで実証し,psnr値の上昇と実行時間の改善を両立させることで,平易なディップよりもそのアドバンテージを示す。 Deep neural networks are a very powerful tool for many computer vision tasks, including image restoration, exhibiting state-of-the-art results. However, the performance of deep learning methods tends to drop once the observation model used in training mismatches the one in test time. In addition, most deep learning methods require vast amounts of training data, which are not accessible in many applications. To mitigate these disadvantages, we propose to combine two image restoration approaches: (i) Deep Image Prior (DIP), which trains a convolutional neural network (CNN) from scratch in test time using the given degraded image. It does not require any training data and builds on the implicit prior imposed by the CNN architecture; and (ii) a backprojection (BP) fidelity term, which is an alternative to the standard least squares loss that is usually used in previous DIP works. We demonstrate the performance of the proposed method, termed BP-DIP, on the deblurring task and show its advantages over the plain DIP, with both higher PSNR values and better inference run-time. | 翻訳日:2022-12-24 14:14:42 公開日:2020-06-30 |
| # Mix-n-Match:ディープラーニングにおける不確かさ校正のためのアンサンブルと構成法 Mix-n-Match: Ensemble and Compositional Methods for Uncertainty Calibration in Deep Learning ( http://arxiv.org/abs/2003.07329v2 ) ライセンス: Link先を確認 | Jize Zhang and Bhavya Kailkhura and T. Yong-Jin Han | (参考訳) 本稿では,機械学習分類器のポストホックキャリブレーションの問題について検討する。
不確実性校正のための以下のデシデラタを導入する。
(a)精度保存
(b)データ効率,及び
(c)高表現力。
既存の手法が3つの要件をすべて満たさないことを示すとともに,mix-nマッチングキャリブレーション戦略(すなわちアンサンブルとコンポジション)が,元の分類器の分類精度を維持しつつ,極めて優れたデータ効率と表現力を達成する上で有効であることを示す。
mix-n-match戦略は、既存のキャリブレータのパフォーマンスを改善するために使用できるという意味では一般的です。
標準評価プラクティスの潜在的な問題も明らかにします。
一般的なアプローチ(例えばヒストグラムに基づく予測校正誤差(ECE))は、特に小さなデータ体制において誤解を招く結果をもたらす可能性がある。
そこで本研究では,キャリブレーション性能の信頼性評価のための代替データ効率の高いカーネル密度に基づく推定器を提案する。
提案手法は,キャリブレーションと評価タスクの両方において,実験のほとんどにおいて最先端のソリューションよりも優れています。
私たちのコードはhttps://github.com/zhang64-llnl/mix-n-match-calibrationで利用可能です。 This paper studies the problem of post-hoc calibration of machine learning classifiers. We introduce the following desiderata for uncertainty calibration: (a) accuracy-preserving, (b) data-efficient, and (c) high expressive power. We show that none of the existing methods satisfy all three requirements, and demonstrate how Mix-n-Match calibration strategies (i.e., ensemble and composition) can help achieve remarkably better data-efficiency and expressive power while provably maintaining the classification accuracy of the original classifier. Mix-n-Match strategies are generic in the sense that they can be used to improve the performance of any off-the-shelf calibrator. We also reveal potential issues in standard evaluation practices. Popular approaches (e.g., histogram-based expected calibration error (ECE)) may provide misleading results especially in small-data regime. Therefore, we propose an alternative data-efficient kernel density-based estimator for a reliable evaluation of the calibration performance and prove its asymptotically unbiasedness and consistency. Our approaches outperform state-of-the-art solutions on both the calibration as well as the evaluation tasks in most of the experimental settings. Our codes are available at https://github.com/zhang64-llnl/Mix-n-Match-Calibration. | 翻訳日:2022-12-23 02:48:32 公開日:2020-06-30 |
| # モデルベース非同期ハイパーパラメータとニューラルネットワーク検索 Model-based Asynchronous Hyperparameter and Neural Architecture Search ( http://arxiv.org/abs/2003.10865v2 ) ライセンス: Link先を確認 | Aaron Klein, Louis C. Tiao, Thibaut Lienart, Cedric Archambeau, Matthias Seeger | (参考訳) 本稿では,非同期ハイパーバンドとガウスプロセスに基づくベイズ最適化の強みを組み合わせたハイパーパラメータ・ニューラルアーキテクチャ探索のためのモデルベース非同期マルチフィデリティ手法を提案する。
提案手法の核心は,ハイパーパラメータと資源レベルの同時推論が可能な確率モデルであり,保留評価の有無による意思決定を支援する。
提案手法の有効性を,表型データ,画像分類,言語モデリングなど,幅広い課題のあるベンチマークで検証し,現状の手法に対する大幅な高速化を報告する。
私たちの新しいメソッドは、非同期のベースラインとともに、分散フレームワークに実装されています。 We introduce a model-based asynchronous multi-fidelity method for hyperparameter and neural architecture search that combines the strengths of asynchronous Hyperband and Gaussian process-based Bayesian optimization. At the heart of our method is a probabilistic model that can simultaneously reason across hyperparameters and resource levels, and supports decision-making in the presence of pending evaluations. We demonstrate the effectiveness of our method on a wide range of challenging benchmarks, for tabular data, image classification and language modelling, and report substantial speed-ups over current state-of-the-art methods. Our new methods, along with asynchronous baselines, are implemented in a distributed framework which will be open sourced along with this publication. | 翻訳日:2022-12-20 08:23:14 公開日:2020-06-30 |
| # 深層分子プログラミング:二元重み付きreluニューラルネットワークの自然な実装 Deep Molecular Programming: A Natural Implementation of Binary-Weight ReLU Neural Networks ( http://arxiv.org/abs/2003.13720v3 ) ライセンス: Link先を確認 | Marko Vasic and Cameron Chalk and Sarfraz Khurshid and David Soloveichik | (参考訳) 従来のエレクトロニクスと相容れない分子文脈での埋め込み計算は、合成生物学、医学、ナノファブリケーションなどの分野に幅広い影響を与えることが期待されている。
鍵となる課題は、分子計算のためのプログラミングパラダイムを開発することである。
我々は、一般的なニューラルネットワークのクラス(バイナリウェイトなReLU aka BinaryConnect)と、反応速度に対して絶対的に堅牢な結合化学反応のクラスとの間の驚くほど緊密な関係を発見した。
速度非依存の化学計算の堅牢性は、バイオエンジニアリングの実装に有望なターゲットとなる。
本稿では,よく構築されたディープラーニング最適化技術を用いてシリコでトレーニングされたBinaryConnectニューラルネットワークを等価な化学反応ネットワークにコンパイルし,新しい分子プログラミングパラダイムを提供する方法を示す。
本稿では,IRISデータセットとMNISTデータセットについて述べる。
目的とする化学計算の応用に向けて,本手法は遺伝子発現レベルに基づいて異なるウイルスタイプを識別できる化学反応ネットワークを生成する。
私たちの研究は、ニューラルネットワークと分子プログラミングコミュニティ間の豊富な知識伝達のステージを設定します。 Embedding computation in molecular contexts incompatible with traditional electronics is expected to have wide ranging impact in synthetic biology, medicine, nanofabrication and other fields. A key remaining challenge lies in developing programming paradigms for molecular computation that are well-aligned with the underlying chemical hardware and do not attempt to shoehorn ill-fitting electronics paradigms. We discover a surprisingly tight connection between a popular class of neural networks (binary-weight ReLU aka BinaryConnect) and a class of coupled chemical reactions that are absolutely robust to reaction rates. The robustness of rate-independent chemical computation makes it a promising target for bioengineering implementation. We show how a BinaryConnect neural network trained in silico using well-founded deep learning optimization techniques, can be compiled to an equivalent chemical reaction network, providing a novel molecular programming paradigm. We illustrate such translation on the paradigmatic IRIS and MNIST datasets. Toward intended applications of chemical computation, we further use our method to generate a chemical reaction network that can discriminate between different virus types based on gene expression levels. Our work sets the stage for rich knowledge transfer between neural network and molecular programming communities. | 翻訳日:2022-12-18 06:32:43 公開日:2020-06-30 |
| # 難解な確率をもつモデルに対する近似kldに基づく実験設計 An approximate KLD based experimental design for models with intractable likelihoods ( http://arxiv.org/abs/2004.00715v2 ) ライセンス: Link先を確認 | Ziqiao Ao and Jinglai Li | (参考訳) データ収集は統計的推論とデータ科学における重要なステップであり、統計実験設計(ED)の目標は、推論に最も多くの情報を提供できるデータ収集設定を見つけることである。
本研究では、確率が閉じた形式では利用できないような、特殊なタイプのed問題を考える。
この場合、KLDに基づく設計基準は、可能性関数の評価を必要とするため、直接使用することはできない。
この問題に対処するために、我々は、オリジナルのkldユーティリティの下限である新しいユーティリティ関数を導出する。
この下限は、データ空間内の2つ以上のエントロピーの総和として表現され、エントロピー推定法によって効率的に評価することができる。
提案手法の性能を示す数値的な例をいくつか提示する。 Data collection is a critical step in statistical inference and data science, and the goal of statistical experimental design (ED) is to find the data collection setup that can provide most information for the inference. In this work we consider a special type of ED problems where the likelihoods are not available in a closed form. In this case, the popular information-theoretic Kullback-Leibler divergence (KLD) based design criterion can not be used directly, as it requires to evaluate the likelihood function. To address the issue, we derive a new utility function, which is a lower bound of the original KLD utility. This lower bound is expressed in terms of the summation of two or more entropies in the data space, and thus can be evaluated efficiently via entropy estimation methods. We provide several numerical examples to demonstrate the performance of the proposed method. | 翻訳日:2022-12-17 19:23:54 公開日:2020-06-30 |
| # 協調学習:マルチエージェントナビゲーションにおける創発的コミュニケーション Learning to cooperate: Emergent communication in multi-agent navigation ( http://arxiv.org/abs/2004.01097v2 ) ライセンス: Link先を確認 | Ivana Kaji\'c, Eser Ayg\"un and Doina Precup | (参考訳) 人工エージェントにおける創発的コミュニケーションは、言語進化を理解するとともに、人間とのコミュニケーションを学ぶ人工システムを開発するために研究されている。
本稿では,様々なグリッドワールド環境において協調的なナビゲーションタスクを行うエージェントが,効率的な通信プロトコルを学習し,そのタスクを最適に解くことができることを示す。
エージェントのポリシーを分析すると、創発的な信号が状態空間を空間的にクラスタリングし、「左」、「上」、「上左室」のような特定の位置と空間方向を参照する信号が現れる。
エージェントの集団を用いて,創発プロトコルが基本構成構造を持ち,自然言語の中核的特性を示すことを示す。 Emergent communication in artificial agents has been studied to understand language evolution, as well as to develop artificial systems that learn to communicate with humans. We show that agents performing a cooperative navigation task in various gridworld environments learn an interpretable communication protocol that enables them to efficiently, and in many cases, optimally, solve the task. An analysis of the agents' policies reveals that emergent signals spatially cluster the state space, with signals referring to specific locations and spatial directions such as "left", "up", or "upper left room". Using populations of agents, we show that the emergent protocol has basic compositional structure, thus exhibiting a core property of natural language. | 翻訳日:2022-12-17 09:29:35 公開日:2020-06-30 |
| # 2次オプティマイザを用いたディープニューラルネットワーク学習 -確率的準ガウスニュートン法による実践的研究 Deep Neural Network Learning with Second-Order Optimizers -- a Practical Study with a Stochastic Quasi-Gauss-Newton Method ( http://arxiv.org/abs/2004.03040v2 ) ライセンス: Link先を確認 | Christopher Thiele, Mauricio Araya-Polo, Detlef Hohl | (参考訳) 教師付き深層学習の訓練は計算的に要求され、収束挙動は一般に完全には理解されない。
本稿では,確率的準ニュートン法,ガウス・ニュートン法,分散還元法を併用した2階確率的準ニュートン法(SQGN)を提案する。
SQGNは、多くのハイパーパラメータ構成を試す必要なしに優れた精度を提供する。
我々は、SQGNとTensorFlowの実装について議論し、その収束性と計算性能を、MNISTベンチマークと地球科学からの大規模地震トモグラフィーアプリケーションを用いて選択した一階法と比較する。 Training in supervised deep learning is computationally demanding, and the convergence behavior is usually not fully understood. We introduce and study a second-order stochastic quasi-Gauss-Newton (SQGN) optimization method that combines ideas from stochastic quasi-Newton methods, Gauss-Newton methods, and variance reduction to address this problem. SQGN provides excellent accuracy without the need for experimenting with many hyper-parameter configurations, which is often computationally prohibitive given the number of combinations and the cost of each training process. We discuss the implementation of SQGN with TensorFlow, and we compare its convergence and computational performance to selected first-order methods using the MNIST benchmark and a large-scale seismic tomography application from Earth science. | 翻訳日:2022-12-16 05:52:37 公開日:2020-06-30 |
| # スマート魚養殖のための深層学習:応用, 機会, 課題 Deep learning for smart fish farming: applications, opportunities and challenges ( http://arxiv.org/abs/2004.11848v2 ) ライセンス: Link先を確認 | Xinting Yang, Song Zhang, Jintao Liu, Qinfeng Gao, Shuanglin Dong, Chao Zhou | (参考訳) 深層学習技術(DL)技術の急激な普及に伴い、水耕栽培など様々な分野において成功している。
この変化は、スマートフィッシュファームにおける情報とデータ処理の新たな機会と課題を生み出します。
本稿では,生物の識別,種分類,行動分析,摂餌意思決定,サイズやバイオマス推定,水質予測など,水産養殖におけるdlの応用について述べる。
さらに,データ,アルゴリズム,計算能力,性能など,スマート魚養殖に適用されるDL手法の技術的詳細も分析した。
本研究の結果から, DLの最も重要な貢献は, 自動的に特徴を抽出できることが示唆された。
しかし、DLは依然として弱い人工知能の時代にある。
トレーニングには大量のラベル付きデータが必要であり、水養におけるDLのさらなる適用を制限するボトルネックとなっている。
それでもDLは、アクアカルチャーにおける複雑なデータ処理のブレークスルーを提供し続けている。
本研究の目的は,水産栽培におけるDL技術の現状を研究者や実践者により深く理解し,スマート魚養殖の実践を支援することにある。 With the rapid emergence of deep learning (DL) technology, it has been successfully used in various fields including aquaculture. This change can create new opportunities and a series of challenges for information and data processing in smart fish farming. This paper focuses on the applications of DL in aquaculture, including live fish identification, species classification, behavioral analysis, feeding decision-making, size or biomass estimation, water quality prediction. In addition, the technical details of DL methods applied to smart fish farming are also analyzed, including data, algorithms, computing power, and performance. The results of this review show that the most significant contribution of DL is the ability to automatically extract features. However, challenges still exist; DL is still in an era of weak artificial intelligence. A large number of labeled data are needed for training, which has become a bottleneck restricting further DL applications in aquaculture. Nevertheless, DL still offers breakthroughs in the handling of complex data in aquaculture. In brief, our purpose is to provide researchers and practitioners with a better understanding of the current state of the art of DL in aquaculture, which can provide strong support for the implementation of smart fish farming. | 翻訳日:2022-12-16 05:25:20 公開日:2020-06-30 |
| # カプセルネットワークによる単語埋め込みの分解 Decomposing Word Embedding with the Capsule Network ( http://arxiv.org/abs/2004.13844v2 ) ライセンス: Link先を確認 | Xin Liu, Qingcai Chen, Yan Liu, Joanna Siebert, Baotian Hu, Xiangping Wu and Buzhou Tang | (参考訳) 単語感覚の曖昧さは、与えられた文脈で曖昧な単語の適切な感覚を学ぼうとする。
既存の事前学習された言語手法と、単語のマルチエンベディングに基づく手法は、教師なしの単語埋め込みのパワーを十分に探求しなかった。
本稿では,カプセルネットワークに基づくアプローチについて検討し,カプセルの潜在能力を生かして重なり合う特徴を認識し,セグメンテーションを扱う。
本稿では,不明瞭な単語の教師なし単語の埋め込みを,CapsDecE2Sと呼ばれるコンテキスト固有のセンス埋め込みに分解するCapsuleネットワーク方式を提案する。
このアプローチでは、教師なし曖昧な埋め込みがカプセルネットワークに供給され、意味の基本意味言語単位として定義される複数の形態素様ベクトルを生成する。
注意操作により、CapsDecE2Sは単語コンテキストを統合し、複数の形態素様ベクトルをコンテキスト固有の感覚埋め込みに再構成する。
CapsDecE2Sを訓練するために,感性マッチング学習法を提案する。
本手法では,感覚学習を二分分類に変換し,マッチングラベルと非マッチングによって感覚の関係を明示的に学習する。
capsdece2sは2つの感覚学習タスク(文脈における単語と単語の曖昧さ)で実験的に評価された。
その結果,capsdece2sモデルは,文脈における単語の新たな状態と,単語意味の曖昧さを解消するタスクを実現することがわかった。 Word sense disambiguation tries to learn the appropriate sense of an ambiguous word in a given context. The existing pre-trained language methods and the methods based on multi-embeddings of word did not explore the power of the unsupervised word embedding sufficiently. In this paper, we discuss a capsule network-based approach, taking advantage of capsule's potential for recognizing highly overlapping features and dealing with segmentation. We propose a Capsule network-based method to Decompose the unsupervised word Embedding of an ambiguous word into context specific Sense embedding, called CapsDecE2S. In this approach, the unsupervised ambiguous embedding is fed into capsule network to produce its multiple morpheme-like vectors, which are defined as the basic semantic language units of meaning. With attention operations, CapsDecE2S integrates the word context to reconstruct the multiple morpheme-like vectors into the context-specific sense embedding. To train CapsDecE2S, we propose a sense matching training method. In this method, we convert the sense learning into a binary classification that explicitly learns the relation between senses by the label of matching and non-matching. The CapsDecE2S was experimentally evaluated on two sense learning tasks, i.e., word in context and word sense disambiguation. Results on two public corpora Word-in-Context and English all-words Word Sense Disambiguation show that, the CapsDecE2S model achieves the new state-of-the-art for the word in context and word sense disambiguation tasks. | 翻訳日:2022-12-16 00:07:04 公開日:2020-06-30 |
| # QuantNet: システム取引戦略間の学習の移行 QuantNet: Transferring Learning Across Systematic Trading Strategies ( http://arxiv.org/abs/2004.03445v2 ) ライセンス: Link先を確認 | Adriano Koshiyama, Sebastian Flennerhag, Stefano B. Blumberg, Nick Firoozye and Philip Treleaven | (参考訳) 体系的な金融取引戦略は株式の取引量の80%以上を占め、外国為替市場の大部分を占めている。
複数の市場からのデータ提供にもかかわらず、現在のトレーディングのアプローチは主に個々の市場ごとの学習トレーディング戦略に依存している。
本稿では, 市場特化貿易戦略の先駆けとして, 体系的傾向を生かした完全エンドツーエンドのグローバルトレーディング戦略を開拓する。
quantnet: 市場非依存のトレンドを学び、それらを優れた市場固有の取引戦略を学ぶために利用するアーキテクチャです。
各市場固有のモデルはエンコーダとデコーダのペアで構成されている。
エンコーダは、市場固有のデータを、すべての市場が共有するグローバルモデルによって処理される抽象的潜在表現に変換し、デコーダは、市場固有のエンコーダとグローバルモデルからのローカルおよびグローバル情報の両方に基づいて、市場固有の取引戦略を学ぶ。
QuantNetは近年のトランスファーとメタラーニングの進歩を利用しており、市場固有のパラメータは目前の問題に特化できるが、市場に依存しないパラメータはすべての市場からの信号をキャプチャするために駆動される。
慣用的な市場データを統合することで、オーバーフィッティングの問題を回避し、優れたリターンを持つ戦略を生成することができる。
58のグローバルエクイティマーケットにおける3103資産の履歴データに基づいてQuantNetを評価する。
トップパフォーマンスのベースラインに対して、QuantNetはシャープを51%、カルマー比を69%上回った。
さらに, シャープ比とカルマー比の15%と41%の改善により, 非トランスファー学習モデルに対するアプローチの利点を示す。
コードは appendix で利用可能。 Systematic financial trading strategies account for over 80% of trade volume in equities and a large chunk of the foreign exchange market. In spite of the availability of data from multiple markets, current approaches in trading rely mainly on learning trading strategies per individual market. In this paper, we take a step towards developing fully end-to-end global trading strategies that leverage systematic trends to produce superior market-specific trading strategies. We introduce QuantNet: an architecture that learns market-agnostic trends and use these to learn superior market-specific trading strategies. Each market-specific model is composed of an encoder-decoder pair. The encoder transforms market-specific data into an abstract latent representation that is processed by a global model shared by all markets, while the decoder learns a market-specific trading strategy based on both local and global information from the market-specific encoder and the global model. QuantNet uses recent advances in transfer and meta-learning, where market-specific parameters are free to specialize on the problem at hand, whilst market-agnostic parameters are driven to capture signals from all markets. By integrating over idiosyncratic market data we can learn general transferable dynamics, avoiding the problem of overfitting to produce strategies with superior returns. We evaluate QuantNet on historical data across 3103 assets in 58 global equity markets. Against the top performing baseline, QuantNet yielded 51% higher Sharpe and 69% Calmar ratios. In addition we show the benefits of our approach over the non-transfer learning variant, with improvements of 15% and 41% in Sharpe and Calmar ratios. Code available in appendix. | 翻訳日:2022-12-15 23:40:23 公開日:2020-06-30 |
| # アップかダウンか?
ポストトレーニング量子化のための適応ラウンドリング Up or Down? Adaptive Rounding for Post-Training Quantization ( http://arxiv.org/abs/2004.10568v2 ) ライセンス: Link先を確認 | Markus Nagel, Rana Ali Amjad, Mart van Baalen, Christos Louizos, Tijmen Blankevoort | (参考訳) ニューラルネットワークの量子化では、各浮動小数点重みを最も近い固定点値に割り当てることが主なアプローチである。
驚くことに、これは最善の方法ではないことが分かっています。
本稿では,データとタスク損失に適応する,学習後量子化のためのより優れた重み付き機構であるAdaRoundを提案する。
AdaRoundは高速で、ネットワークの微調整を必要としない。
まず,事前学習したニューラルネットワークの丸め問題を理論的に解析する。
テイラー級数展開でタスク損失を近似することにより、丸めタスクは2次非制約バイナリ最適化問題として表される。
これをレイヤ単位での局所的な損失に単純化し、ソフトリラクゼーションでこの損失を最適化する提案を行う。
AdaRoundは、ラウンド・トゥ・アレストを大きなマージンで上回るだけでなく、いくつかのネットワークやタスクで量子化を後トレーニングするための新しい最先端技術を確立している。
微調整がなければ、resnet18とresnet50の重みを1%の精度損失に保ちながら4ビットまで定量化することができる。 When quantizing neural networks, assigning each floating-point weight to its nearest fixed-point value is the predominant approach. We find that, perhaps surprisingly, this is not the best we can do. In this paper, we propose AdaRound, a better weight-rounding mechanism for post-training quantization that adapts to the data and the task loss. AdaRound is fast, does not require fine-tuning of the network, and only uses a small amount of unlabelled data. We start by theoretically analyzing the rounding problem for a pre-trained neural network. By approximating the task loss with a Taylor series expansion, the rounding task is posed as a quadratic unconstrained binary optimization problem. We simplify this to a layer-wise local loss and propose to optimize this loss with a soft relaxation. AdaRound not only outperforms rounding-to-nearest by a significant margin but also establishes a new state-of-the-art for post-training quantization on several networks and tasks. Without fine-tuning, we can quantize the weights of Resnet18 and Resnet50 to 4 bits while staying within an accuracy loss of 1%. | 翻訳日:2022-12-10 17:02:01 公開日:2020-06-30 |
| # グローバル小麦頭部検出(GWHD)データセット:高解像度RGBラベル付き画像の多種多様なデータセットを用いて小麦頭部検出法の開発と評価 Global Wheat Head Detection (GWHD) dataset: a large and diverse dataset of high resolution RGB labelled images to develop and benchmark wheat head detection methods ( http://arxiv.org/abs/2005.02162v2 ) ライセンス: Link先を確認 | E. David, S. Madec, P. Sadeghi-Tehran, H. Aasen, B. Zheng, S. Liu, N. Kirchgessner, G. Ishikawa, K. Nagasawa, M.A. Badhon, C. Pozniak, B. de Solan, A. Hund, S.C. Chapman, F. Baret, I. Stavness, W. Guo | (参考訳) コムギの頭部の検出は, 頭密度, 衛生状態, サイズ, 成熟期, 日除けの有無などの頭部特性などの関連形質を推定する上で重要な課題である。
いくつかの研究は高解像度RGB画像から小麦頭部を検出する方法を開発した。
それらはコンピュータビジョンと機械学習に基づいており、一般的に限られたデータセットに基づいて校正され、検証される。
しかし、観察条件、遺伝子型の違い、発達段階、頭部方向の変動は、コンピュータビジョンにおける課題である。
さらに、動きや風によるぼやけや人口密集地での頭部の重なりにより、この作業はさらに複雑になる。
国際共同作業を通じて、GWHD(Global Wheat Head Detection)データセットという、大きく、多様で、多種多様なデータセットを構築しました。
4700枚の高解像度RGB画像と190,000個のラベル付き小麦の頭が、様々な成長段階の様々な遺伝子型で集められている。
新しいヘッド検出データセットを開発する際に、画像取得ガイドライン、FAIR原則を尊重する最小メタデータと一貫性のあるヘッドラベリング手法を提案する。
GWHDはhttp://www.global-wheat.com/で公開されている。 Detection of wheat heads is an important task allowing to estimate pertinent traits including head population density and head characteristics such as sanitary state, size, maturity stage and the presence of awns. Several studies developed methods for wheat head detection from high-resolution RGB imagery. They are based on computer vision and machine learning and are generally calibrated and validated on limited datasets. However, variability in observational conditions, genotypic differences, development stages, head orientation represents a challenge in computer vision. Further, possible blurring due to motion or wind and overlap between heads for dense populations make this task even more complex. Through a joint international collaborative effort, we have built a large, diverse and well-labelled dataset, the Global Wheat Head detection (GWHD) dataset. It contains 4,700 high-resolution RGB images and 190,000 labelled wheat heads collected from several countries around the world at different growth stages with a wide range of genotypes. Guidelines for image acquisition, associating minimum metadata to respect FAIR principles and consistent head labelling methods are proposed when developing new head detection datasets. The GWHD is publicly available at http://www.global-wheat.com/ and aimed at developing and benchmarking methods for wheat head detection. | 翻訳日:2022-12-09 21:18:27 公開日:2020-06-30 |
| # 実世界データを用いたストリーム学習アルゴリズムベンチマークの課題 Challenges in Benchmarking Stream Learning Algorithms with Real-world Data ( http://arxiv.org/abs/2005.00113v2 ) ライセンス: Link先を確認 | Vinicius M. A. Souza, Denis M. dos Reis, Andre G. Maletzke, Gustavo E. A. P. A. Batista | (参考訳) ストリーミングデータは、センサー計測、衛星データフィード、株式市場、金融データといった現実世界のアプリケーションにますます存在する。
これらのアプリケーションの主な特徴は、高速なデータ観測のオンライン到着と、実際の環境の動的性質によるデータ分布の変化に対する感受性である。
データストリームマイニングコミュニティは、新しい提案の比較と評価に関するいくつかの主要な課題と困難に直面している。
著者は必ずしも同じ推奨事項、実験的な評価手順、データセット、仮定に従うとは限らないため、文献で提案されているストリームアルゴリズムの比較は簡単ではない。
本稿では,ストリーム分類器とドリフト検出器の実験的評価において,データセットの選択に関する問題を緩和する。
そこで本研究では,実世界のデータを用いてストリームアルゴリズムをベンチマークする公開データリポジトリを提案する。
このリポジトリには、光学センサーを用いた病気ベクター昆虫の認識を含む、非常に関連する公衆衛生問題に関連する文献や新しいデータセットからの最も人気のあるデータセットが含まれている。
これらの新しいデータセットの主な利点は、新しい適応アルゴリズムの提案を適切に評価するために、それらの特徴と変更パターンの事前知識である。
また,本論文で利用可能なベンチマークデータセットに関する共通問題の批判的レビューとともに,データ分散の異なる種類の変更をもたらす特徴,理由,問題に関する詳細な議論を行った。 Streaming data are increasingly present in real-world applications such as sensor measurements, satellite data feed, stock market, and financial data. The main characteristics of these applications are the online arrival of data observations at high speed and the susceptibility to changes in the data distributions due to the dynamic nature of real environments. The data stream mining community still faces some primary challenges and difficulties related to the comparison and evaluation of new proposals, mainly due to the lack of publicly available non-stationary real-world datasets. The comparison of stream algorithms proposed in the literature is not an easy task, as authors do not always follow the same recommendations, experimental evaluation procedures, datasets, and assumptions. In this paper, we mitigate problems related to the choice of datasets in the experimental evaluation of stream classifiers and drift detectors. To that end, we propose a new public data repository for benchmarking stream algorithms with real-world data. This repository contains the most popular datasets from literature and new datasets related to a highly relevant public health problem that involves the recognition of disease vector insects using optical sensors. The main advantage of these new datasets is the prior knowledge of their characteristics and patterns of changes to evaluate new adaptive algorithm proposals adequately. We also present an in-depth discussion about the characteristics, reasons, and issues that lead to different types of changes in data distribution, as well as a critical review of common problems concerning the current benchmark datasets available in the literature. | 翻訳日:2022-12-08 03:31:38 公開日:2020-06-30 |
| # 考古学のコンピュータ化:AI技術に関する調査 The computerization of archaeology: survey on AI techniques ( http://arxiv.org/abs/2005.02863v2 ) ライセンス: Link先を確認 | Lorenzo Mantovan and Loris Nanni | (参考訳) 本稿では, 人工知能技術の考古学分野への応用について, より具体的に分析する。
イ 展示会の組織における創造的刺激としてのソフトウェアツールの使用、博物館の訪問者と交流し関係するガイドとしてのヒューマノイドロボット及びホログラフィックディスプレイの使用
ロ 発掘調査で見つかった破片の分類方法及び陶磁器の復元方法に関する分析であって、史料及びエピグラフから欠落したテキストの一部を再構成すること。
c) 使用したAI技術の有効性の実証において属する社会的・歴史的文脈を理解するための人的遺物の目録及び研究
d) 遺跡が提示する問題を解決するのに最も適した人工ニューラルネットワークのアーキテクチャの分析により,特に難しい地上考古学的遺跡の検出。人類が到達できない深さに位置する海洋考古学的遺跡の探査研究を、自由に探索可能な3d版の構築を通じて設計すること。 This paper analyses the application of artificial intelligence techniques to various areas of archaeology and more specifically: a) The use of software tools as a creative stimulus for the organization of exhibitions; the use of humanoid robots and holographic displays as guides that interact and involve museum visitors; b) The analysis of methods for the classification of fragments found in archaeological excavations and for the reconstruction of ceramics, with the recomposition of the parts of text missing from historical documents and epigraphs; c) The cataloguing and study of human remains to understand the social and historical context of belonging with the demonstration of the effectiveness of the AI techniques used; d) The detection of particularly difficult terrestrial archaeological sites with the analysis of the architectures of the Artificial Neural Networks most suitable for solving the problems presented by the site; the design of a study for the exploration of marine archaeological sites, located at depths that cannot be reached by man, through the construction of a freely explorable 3D version. | 翻訳日:2022-12-06 14:06:25 公開日:2020-06-30 |
| # iUNets:学習可能なアップサンプリングとダウンサンプリングを備えた完全な非可逆U-Net iUNets: Fully invertible U-Nets with Learnable Up- and Downsampling ( http://arxiv.org/abs/2005.05220v3 ) ライセンス: Link先を確認 | Christian Etmann and Rihuan Ke and Carola-Bibiane Sch\"onlieb | (参考訳) U-Netは画像分割や画像の逆問題といった画像間学習の標準的なアーキテクチャとして確立されている。
大規模なデータについては、例えば3D医療画像に見られるように、U-Netはメモリ要求を禁止している。
本稿では,メモリ効率のよいバックプロパゲーションを実現するために,新しい学習可能で倒立可能なアップ・アンド・ダウンサンプリング操作を用いた,iunetと呼ばれる,完全にインバータブルなu-netベースのアーキテクチャを提案する。
これにより、GPUメモリと同じ制限の下で、より深いネットワークを実際にトレーニングすることが可能になります。
その可逆性のため、iUNetはさらに正規化フローを構築するために使うことができる。 U-Nets have been established as a standard architecture for image-to-image learning problems such as segmentation and inverse problems in imaging. For large-scale data, as it for example appears in 3D medical imaging, the U-Net however has prohibitive memory requirements. Here, we present a new fully-invertible U-Net-based architecture called the iUNet, which employs novel learnable and invertible up- and downsampling operations, thereby making the use of memory-efficient backpropagation possible. This allows us to train deeper and larger networks in practice, under the same GPU memory restrictions. Due to its invertibility, the iUNet can furthermore be used for constructing normalizing flows. | 翻訳日:2022-12-04 20:12:01 公開日:2020-06-30 |
| # 自己監督型世界モデルによる探索計画 Planning to Explore via Self-Supervised World Models ( http://arxiv.org/abs/2005.05960v2 ) ライセンス: Link先を確認 | Ramanan Sekar, Oleh Rybkin, Kostas Daniilidis, Pieter Abbeel, Danijar Hafner, Deepak Pathak | (参考訳) 強化学習は複雑なタスクを解くことができるが、学習はタスク固有であり、サンプル効率は依然として課題である。
plan2exploreという自己教師付き強化学習エージェントを,自己教師付き探索への新たなアプローチと,探索中に知る必要のない新しいタスクへの迅速な適応を通じて,これら2つの課題に取り組む。
調査中、エージェントが到達した後の観察の新規性を遡及的に計算する従来の方法とは異なり、我々のエージェントは予測される将来的な新規性を求める計画を活用することで効率的に行動する。
探索後、エージェントはゼロまたは数ショットの方法で複数の下流タスクに迅速に適応する。
我々は,高次元画像入力から挑戦的な制御タスクを評価する。
トレーニングの監督やタスク固有のインタラクションがなければ、plan2exploreは、事前の自己監督による探索方法よりも優れています。
ビデオとコード: https://ramanans1.github.io/plan2explore/ Reinforcement learning allows solving complex tasks, however, the learning tends to be task-specific and the sample efficiency remains a challenge. We present Plan2Explore, a self-supervised reinforcement learning agent that tackles both these challenges through a new approach to self-supervised exploration and fast adaptation to new tasks, which need not be known during exploration. During exploration, unlike prior methods which retrospectively compute the novelty of observations after the agent has already reached them, our agent acts efficiently by leveraging planning to seek out expected future novelty. After exploration, the agent quickly adapts to multiple downstream tasks in a zero or a few-shot manner. We evaluate on challenging control tasks from high-dimensional image inputs. Without any training supervision or task-specific interaction, Plan2Explore outperforms prior self-supervised exploration methods, and in fact, almost matches the performances oracle which has access to rewards. Videos and code at https://ramanans1.github.io/plan2explore/ | 翻訳日:2022-12-03 18:08:14 公開日:2020-06-30 |
| # 非パラメトリックスコア推定器 Nonparametric Score Estimators ( http://arxiv.org/abs/2005.10099v2 ) ライセンス: Link先を確認 | Yuhao Zhou, Jiaxin Shi, Jun Zhu | (参考訳) 未知分布によって生成されたサンプルの集合からログ密度関数の勾配を推定することは、柔軟で難解な密度を含む確率モデルの推論と学習における基本的なタスクである。
スタインの方法やスコアマッチングに基づくカーネル推定器は約束を示しているが、その理論的性質と関係は完全には理解されていない。
正規化非パラメトリック回帰の枠組みの下で、これらの推定器の統一的なビューを提供する。
これにより、異なる仮説空間と正規化子を選択することで、既存の推定子を分析し、望ましい性質を持つ新しいものを構築することができます。
そのような推定器には統一収束解析が提供される。
最後に,カールフリーカーネルと高速収束による計算便益を享受する反復正規化に基づくスコア推定器を提案する。 Estimating the score, i.e., the gradient of log density function, from a set of samples generated by an unknown distribution is a fundamental task in inference and learning of probabilistic models that involve flexible yet intractable densities. Kernel estimators based on Stein's methods or score matching have shown promise, however their theoretical properties and relationships have not been fully-understood. We provide a unifying view of these estimators under the framework of regularized nonparametric regression. It allows us to analyse existing estimators and construct new ones with desirable properties by choosing different hypothesis spaces and regularizers. A unified convergence analysis is provided for such estimators. Finally, we propose score estimators based on iterative regularization that enjoy computational benefits from curl-free kernels and fast convergence. | 翻訳日:2022-12-01 04:55:46 公開日:2020-06-30 |
| # 診断フィードバックを用いたグラフベース自己監督型プログラム修復 Graph-based, Self-Supervised Program Repair from Diagnostic Feedback ( http://arxiv.org/abs/2005.10636v2 ) ライセンス: Link先を確認 | Michihiro Yasunaga, Percy Liang | (参考訳) 診断フィードバック(例えば、コンパイラエラーメッセージ)からプログラムを修復する際の問題を考察する。
プログラムの修復は2つの理由から難しい。まず、ソースコードをまたいだ推論と追跡と診断フィードバックが必要である。
第二に、プログラムの修復に利用可能なラベル付きデータセットは比較的小さい。
本稿では,この2つの課題に対する新しい解決策を提案する。
まず、ソースコードと診断フィードバックのプログラム修復に関連するシンボルを結合するプログラムフィードバックグラフを導入し、その上にグラフニューラルネットワークを適用して推論プロセスをモデル化する。
第二に、オンラインで利用可能なラベルのないプログラムを活用して、多数の追加のプログラム修復例を作成するプログラム修復のための自己教師型学習パラダイムを提案する。
提案手法を2つのアプリケーションに対して評価する: 導入プログラミング代入(DeepFix データセット)の補正とプログラム合成(SPoC データセット)の出力の補正である。
最終システムであるDrRepairは、DeepFixで68.2%、SPoCで48.4%、SPoCで48.4%の完全修復成功率(+3.7%)を達成した。 We consider the problem of learning to repair programs from diagnostic feedback (e.g., compiler error messages). Program repair is challenging for two reasons: First, it requires reasoning and tracking symbols across source code and diagnostic feedback. Second, labeled datasets available for program repair are relatively small. In this work, we propose novel solutions to these two challenges. First, we introduce a program-feedback graph, which connects symbols relevant to program repair in source code and diagnostic feedback, and then apply a graph neural network on top to model the reasoning process. Second, we present a self-supervised learning paradigm for program repair that leverages unlabeled programs available online to create a large amount of extra program repair examples, which we use to pre-train our models. We evaluate our proposed approach on two applications: correcting introductory programming assignments (DeepFix dataset) and correcting the outputs of program synthesis (SPoC dataset). Our final system, DrRepair, significantly outperforms prior work, achieving 68.2% full repair rate on DeepFix (+22.9% over the prior best), and 48.4% synthesis success rate on SPoC (+3.7% over the prior best). | 翻訳日:2022-12-01 04:39:25 公開日:2020-06-30 |
| # 深層学習による胸部X線肺炎の重症度予測 Predicting COVID-19 Pneumonia Severity on Chest X-ray with Deep Learning ( http://arxiv.org/abs/2005.11856v3 ) ライセンス: Link先を確認 | Joseph Paul Cohen and Lan Dao and Paul Morrison and Karsten Roth and Yoshua Bengio and Beiyi Shen and Almas Abbasi and Mahsa Hoshmand-Kochi and Marzyeh Ghassemi and Haifang Li and Tim Q Duong | (参考訳) 目的:新型コロナウイルスの患者管理を合理化する必要性がこれまで以上に強まっている。
胸部X線は、病気の進行を監視する非侵襲的(潜在的にベッドサイド)ツールを提供する。
本研究では,前頭部胸部X線画像に対する新型コロナウイルス肺炎の重症度予測モデルを提案する。
このようなツールは、特にicuにおける治療効果の監視だけでなく、治療のエスカレーションや脱エスカレーションに使用できる新型コロナウイルスの肺感染症(および一般的に肺炎)の重症度を測定することができる。
方法: パブリックなCOVID-19データベースの画像は、3人の盲目の専門家によって、肺への関与の程度と不透明度の観点から振り返って測定された。
大規模な(非共生型)胸部x線データセットで事前トレーニングされたニューラルネットワークモデルは、私たちのタスクを予測できる新型コロナウイルスの画像の機能を構築するために使用されます。
結果】この前訓練された胸部x線モデルからの出力のサブセットに対する回帰モデルのトレーニングは,1.14平均絶対誤差 (mae) と0.78 mae の肺不透明度スコア (range 0-6) の地理的拡張スコア (range 0-8) を予測した。
結論: これらの結果から, 集中治療室(ICU)における治療効果の監視だけでなく, 治療のエスカレーションや非エスカレーションにも, 重症度を計測できるモデルが有用であることが示唆された。
有効性を評価するには適切な臨床試験が必要である。
これを実現するため、コード、ラベル、データをhttps://github.com/mlmed/torchxrayvision/tree/master/scripts/covid-severity and https://github.com/ieee8023/covid-chestxray-datasetでオンラインで公開しています。 Purpose: The need to streamline patient management for COVID-19 has become more pressing than ever. Chest X-rays provide a non-invasive (potentially bedside) tool to monitor the progression of the disease. In this study, we present a severity score prediction model for COVID-19 pneumonia for frontal chest X-ray images. Such a tool can gauge severity of COVID-19 lung infections (and pneumonia in general) that can be used for escalation or de-escalation of care as well as monitoring treatment efficacy, especially in the ICU. Methods: Images from a public COVID-19 database were scored retrospectively by three blinded experts in terms of the extent of lung involvement as well as the degree of opacity. A neural network model that was pre-trained on large (non-COVID-19) chest X-ray datasets is used to construct features for COVID-19 images which are predictive for our task. Results: This study finds that training a regression model on a subset of the outputs from an this pre-trained chest X-ray model predicts our geographic extent score (range 0-8) with 1.14 mean absolute error (MAE) and our lung opacity score (range 0-6) with 0.78 MAE. Conclusions: These results indicate that our model's ability to gauge severity of COVID-19 lung infections could be used for escalation or de-escalation of care as well as monitoring treatment efficacy, especially in the intensive care unit (ICU). A proper clinical trial is needed to evaluate efficacy. To enable this we make our code, labels, and data available online at https://github.com/mlmed/torchxrayvision/tree/master/scripts/covid-severity and https://github.com/ieee8023/covid-chestxray-dataset | 翻訳日:2022-11-29 14:08:53 公開日:2020-06-30 |
| # トランスポート-テレポート双対性によるデータ駆動連続体ダイナミクス Data-Driven Continuum Dynamics via Transport-Teleport Duality ( http://arxiv.org/abs/2005.13358v2 ) ライセンス: Link先を確認 | Jong-Hoon Ahn | (参考訳) 近年,制御方程式で解くのが難しい物理システムの研究に機械学習手法が広く用いられている。
物理学者とエンジニアは、物理科学の代替アプローチとしてデータ駆動パラダイムをフレームにしている。
このパラダイム変革では、ディープラーニングアプローチが重要な役割を担っています。
しかし、ほとんどの学習アーキテクチャは本質的に連続性方程式の形で保存則を取り入れておらず、保存量のダイナミクスを学ぶために密集したデータを必要とする。
本研究では,古典力学を量の消失と再出現のポイントワイズなプロセスとして表現する巧妙な数学的変換を導入し,輸送現象の機械学習のためのモデル複雑性とトレーニングデータを大幅に削減する。
実世界のオブジェクトのダイナミクスを学ぶのに、観測データと単純な学習モデルだけで十分であることを示す。
このアプローチでは、制御方程式の明示的な使用は必要とせず、観測データのみに依存する。
連続性方程式は保存量に従わなければならない一般的な方程式であるため、応用性は物理的から社会的・医学的な科学、あるいはデータが保存量である分野まで様々である。 In recent years, machine learning methods have been widely used to study physical systems that are challenging to solve with governing equations. Physicists and engineers are framing the data-driven paradigm as an alternative approach to physical sciences. In this paradigm change, the deep learning approach is playing a pivotal role. However, most learning architectures do not inherently incorporate conservation laws in the form of continuity equations, and they require dense data to learn the dynamics of conserved quantities. In this study, we introduce a clever mathematical transform to represent the classical dynamics as a point-wise process of disappearance and reappearance of a quantity, which dramatically reduces model complexity and training data for machine learning of transport phenomena. We demonstrate that just a few observational data and a simple learning model can be enough to learn the dynamics of real-world objects. The approach does not require the explicit use of governing equations and only depends on observation data. Because the continuity equation is a general equation that any conserved quantity should obey, the applicability may range from physical to social and medical sciences or any field where data are conserved quantities. | 翻訳日:2022-11-28 08:48:41 公開日:2020-06-30 |
| # 高インパクトイベントにおける信頼できるサイバー空間の独立成分分析:Covid-19への応用 Independent Component Analysis for Trustworthy Cyberspace during High Impact Events: An Application to Covid-19 ( http://arxiv.org/abs/2006.01284v3 ) ライセンス: Link先を確認 | Zois Boukouvalas, Christine Mallinson, Evan Crothers, Nathalie Japkowicz, Aritran Piplai, Sudip Mittal, Anupam Joshi, and T\"ulay Adal{\i} | (参考訳) 新型コロナウイルス(COVID-19)の感染拡大など、ソーシャルメディアは重要なコミュニケーションチャンネルとなっている。
ソーシャルメディアにおける誤報が急速に拡散し、社会不安を生じさせるため、そのような出来事における誤報の拡散は重要なデータ課題である。
機械学習をベースとした最近のソリューションは誤情報の検出を約束しているが、最も広く使われている手法は、すべてのシナリオに最適ではない手作りの特徴に依存するアプローチや、予測結果の解釈が直接アクセスできないディープラーニングに基づく手法が含まれる。
本研究では,知識の発見と誤情報の検出を共同で行うために,icaモデルに基づくデータ駆動型ソリューションを提案する。
本手法の有効性を実証し,その性能を深層学習法と比較するために,社会言語的基準に基づくラベル付きtwitterデータセットを開発した。 Social media has become an important communication channel during high impact events, such as the COVID-19 pandemic. As misinformation in social media can rapidly spread, creating social unrest, curtailing the spread of misinformation during such events is a significant data challenge. While recent solutions that are based on machine learning have shown promise for the detection of misinformation, most widely used methods include approaches that rely on either handcrafted features that cannot be optimal for all scenarios, or those that are based on deep learning where the interpretation of the prediction results is not directly accessible. In this work, we propose a data-driven solution that is based on the ICA model, such that knowledge discovery and detection of misinformation are achieved jointly. To demonstrate the effectiveness of our method and compare its performance with deep learning methods, we developed a labeled COVID-19 Twitter dataset based on socio-linguistic criteria. | 翻訳日:2022-11-26 06:21:52 公開日:2020-06-30 |
| # 適応接続サンプリングを用いたベイズグラフニューラルネットワーク Bayesian Graph Neural Networks with Adaptive Connection Sampling ( http://arxiv.org/abs/2006.04064v3 ) ライセンス: Link先を確認 | Arman Hasanzadeh, Ehsan Hajiramezanali, Shahin Boluki, Mingyuan Zhou, Nick Duffield, Krishna Narayanan, Xiaoning Qian | (参考訳) 本稿では,既存の確率正規化手法を一般化したグラフニューラルネットワーク(GNN)における適応的接続サンプリングのための統一的なフレームワークを提案する。
提案フレームワークは,深部GNNの過度なスムース化や過度に適合する傾向を緩和するだけでなく,グラフ解析タスクにおけるGNNによる不確実性の学習を可能にする。
既存の確率正規化手法では,固定サンプリング率やモデルハイパーパラメータとして手動チューニングを行う代わりに,GNNモデルパラメータとグローバルおよびローカルの両方で協調して適応接続サンプリングを訓練することができる。
適応的な接続サンプリングによるGNNトレーニングは,ベイジアンGNNの効率的な近似と数学的に等価であることが示されている。
グラフトレーニングデータに与えられたサンプリングレートを適応的に学習することが、半教師付きノード分類におけるgnnの性能向上の鍵であり、過剰なスムーシングやより堅牢な予測による過剰フィッティングを減少させる。 We propose a unified framework for adaptive connection sampling in graph neural networks (GNNs) that generalizes existing stochastic regularization methods for training GNNs. The proposed framework not only alleviates over-smoothing and over-fitting tendencies of deep GNNs, but also enables learning with uncertainty in graph analytic tasks with GNNs. Instead of using fixed sampling rates or hand-tuning them as model hyperparameters in existing stochastic regularization methods, our adaptive connection sampling can be trained jointly with GNN model parameters in both global and local fashions. GNN training with adaptive connection sampling is shown to be mathematically equivalent to an efficient approximation of training Bayesian GNNs. Experimental results with ablation studies on benchmark datasets validate that adaptively learning the sampling rate given graph training data is the key to boost the performance of GNNs in semi-supervised node classification, less prone to over-smoothing and over-fitting with more robust prediction. | 翻訳日:2022-11-24 07:27:57 公開日:2020-06-30 |
| # 野生におけるテキストの検出と認識 : レビュー Text Detection and Recognition in the Wild: A Review ( http://arxiv.org/abs/2006.04305v2 ) ライセンス: Link先を確認 | Zobeir Raisi, Mohamed A. Naiel, Paul Fieguth, Steven Wardell, and John Zelek | (参考訳) 自然画像中のテキストの検出と認識は、スポーツビデオの分析、自動運転、産業自動化など、さまざまな用途に応用できるコンピュータビジョンの分野における2つの大きな問題である。
テキストの表現方法や環境条件の影響の要因となる、一般的な課題に直面している。
現在の最先端のシーンテキスト検出および/または認識手法は、ディープラーニングアーキテクチャにおける目撃された進歩を活用し、マルチ解像度およびマルチ指向テキストを扱う際のベンチマークデータセット上で優れた精度を報告している。
しかし、既存メソッドを過小評価させるワイルドイメージのテキストに影響を与える課題は、まだいくつか残っており、そのモデルでは、見当たらないデータやラベルが不十分なデータに一般化できないためである。
この分野でのこれまでの調査と異なり,本調査の目的は以下の通りである。第1に,テキスト検出と認識の最近の進歩について,読者にレビューを提供するだけでなく,課題に対して事前学習した手法のモデルを評価する統一評価フレームワークを用いて広範な実験結果を提示し,その評価基準をこれらの手法に適用する。
第2に、野生画像におけるテキストの検出や認識に関する既存の課題、すなわち、面内回転、多方向および多解像度テキスト、視点歪み、照明反射、部分的オクルージョン、複雑なフォント、特殊文字を特定する。
最後に,シーンテキストの検出と認識技術にまだ遭遇している課題のいくつかに対処するため,この分野における潜在的研究の方向性について考察する。 Detection and recognition of text in natural images are two main problems in the field of computer vision that have a wide variety of applications in analysis of sports videos, autonomous driving, industrial automation, to name a few. They face common challenging problems that are factors in how text is represented and affected by several environmental conditions. The current state-of-the-art scene text detection and/or recognition methods have exploited the witnessed advancement in deep learning architectures and reported a superior accuracy on benchmark datasets when tackling multi-resolution and multi-oriented text. However, there are still several remaining challenges affecting text in the wild images that cause existing methods to underperform due to there models are not able to generalize to unseen data and the insufficient labeled data. Thus, unlike previous surveys in this field, the objectives of this survey are as follows: first, offering the reader not only a review on the recent advancement in scene text detection and recognition, but also presenting the results of conducting extensive experiments using a unified evaluation framework that assesses pre-trained models of the selected methods on challenging cases, and applies the same evaluation criteria on these techniques. Second, identifying several existing challenges for detecting or recognizing text in the wild images, namely, in-plane-rotation, multi-oriented and multi-resolution text, perspective distortion, illumination reflection, partial occlusion, complex fonts, and special characters. Finally, the paper also presents insight into the potential research directions in this field to address some of the mentioned challenges that are still encountering scene text detection and recognition techniques. | 翻訳日:2022-11-24 01:07:33 公開日:2020-06-30 |
| # コンペタブルブラックボックス Contestable Black Boxes ( http://arxiv.org/abs/2006.05133v2 ) ライセンス: Link先を確認 | Andrea Aler Tubella, Andreas Theodorou, Virginia Dignum, Loizos Michael | (参考訳) 個人や社会に影響を及ぼす決定を争う権利は、確立された民主的権利である。
この権利は、自動化された意思決定に関してgdprに明示的に含まれているにもかかわらず、その研究は、例えば説明の権利に対して、ai文献の注目度がはるかに低かったようである。
本稿では,アルゴリズムブラックボックスが関与する際の競合プロセスにおいて必要となる保証の種類について検討し,競合性や説明可能性に関する新たな疑問を提起する。
我々は、特定の意思決定が争われる場合に自動意思決定を評価するための専門的な補完的方法論を開発する必要があると主張している。
さらに,意思決定の自動化がもたらす新たな民主的課題のひとつとして,競争可能性問題に対する社会技術的解決策として,確立されたソフトウェア工学とルールベースのアプローチの組み合わせを提案する。 The right to contest a decision with consequences on individuals or the society is a well-established democratic right. Despite this right also being explicitly included in GDPR in reference to automated decision-making, its study seems to have received much less attention in the AI literature compared, for example, to the right for explanation. This paper investigates the type of assurances that are needed in the contesting process when algorithmic black-boxes are involved, opening new questions about the interplay of contestability and explainability. We argue that specialised complementary methodologies to evaluate automated decision-making in the case of a particular decision being contested need to be developed. Further, we propose a combination of well-established software engineering and rule-based approaches as a possible socio-technical solution to the issue of contestability, one of the new democratic challenges posed by the automation of decision making. | 翻訳日:2022-11-23 15:10:56 公開日:2020-06-30 |
| # 正規化回帰のためのコアセットについて On Coresets For Regularized Regression ( http://arxiv.org/abs/2006.05440v3 ) ライセンス: Link先を確認 | Rachit Chhaya, Anirban Dasgupta, Supratim Shit | (参考訳) 回帰問題に対するコアセットのサイズに対するノルムベース正規化の効果について検討する。
具体的には、行列 $ \mathbf{A} \in {\mathbb{R}}^{n \times d}$ に$n\gg d$ とベクトル $\mathbf{b} \in \mathbb{R} ^ n $ と $\lambda > 0$ が与えられたとき、形式 $\|\mathbf{Ax}-\mathbf{b}\|_p^r + \lambda\|{\mathbf{x}}\|_q^s$ の回帰の正規化バージョンに対するコアセットのサイズを分析する。
以前の研究は、リッジ回帰($p,q,r,s=2$)に対して、非正則化(すなわち最小二乗回帰(Avron et al))のコアセットよりも小さいコアセットが得られることを示した。
r \neq s$ の場合、正規化回帰のコアセットは、非正規化バージョンの最適コアセットよりも小さいサイズであることを示す。
よく知られたラスソ問題は、このカテゴリに該当するため、最小二乗回帰のコアセットよりも小さいコアセットを許さない。
我々は,lasso問題の修正版を提案し,最小二乗回帰よりも小さい大きさのコアセットを得る。
ラッソの修正版は、元のラッソと同様、溶液のスパース性も引き起こすことが実証的に示されている。
また、$\ell_p$レギュライゼーション付き$\ell_p$レグレッション用の小さなコアセットも取得します。
我々は手法を多応答正規化回帰に拡張する。
最後に、修正ラッソのコアセット性能と$\ell_1$レグレッションの$\ell_1$正規化を実証的に示す。 We study the effect of norm based regularization on the size of coresets for regression problems. Specifically, given a matrix $ \mathbf{A} \in {\mathbb{R}}^{n \times d}$ with $n\gg d$ and a vector $\mathbf{b} \in \mathbb{R} ^ n $ and $\lambda > 0$, we analyze the size of coresets for regularized versions of regression of the form $\|\mathbf{Ax}-\mathbf{b}\|_p^r + \lambda\|{\mathbf{x}}\|_q^s$ . Prior work has shown that for ridge regression (where $p,q,r,s=2$) we can obtain a coreset that is smaller than the coreset for the unregularized counterpart i.e. least squares regression (Avron et al). We show that when $r \neq s$, no coreset for regularized regression can have size smaller than the optimal coreset of the unregularized version. The well known lasso problem falls under this category and hence does not allow a coreset smaller than the one for least squares regression. We propose a modified version of the lasso problem and obtain for it a coreset of size smaller than the least square regression. We empirically show that the modified version of lasso also induces sparsity in solution, similar to the original lasso. We also obtain smaller coresets for $\ell_p$ regression with $\ell_p$ regularization. We extend our methods to multi response regularized regression. Finally, we empirically demonstrate the coreset performance for the modified lasso and the $\ell_1$ regression with $\ell_1$ regularization. | 翻訳日:2022-11-23 14:37:50 公開日:2020-06-30 |
| # 超解像可変オートエンコーダ Super-resolution Variational Auto-Encoders ( http://arxiv.org/abs/2006.05218v2 ) ライセンス: Link先を確認 | Ioannis Gatopoulos, Maarten Stol, Jakub M. Tomczak | (参考訳) 変分オートエンコーダ(VAE)のフレームワークは、潜在変数モデルと対応する推論モデルを共同で学習するための原則付き手法を提供する。
しかし、このアプローチの主な欠点は、生成された画像のぼかしである。
この効果を目的関数、すなわち(負の)対数類似度と結びつける研究もある。
本稿では,原画像の縮小版である確率変数を付加し,さらに学習目的としてログライク度関数を用いたvaes強化を提案する。
さらに、デコーダへの入力としてダウンスケール画像を提供することにより、超解像と同様の方法で使用することができる。
提案手法は負の対数類似度の観点から,VAEと同等に機能するが,データ合成におけるFIDスコアが向上することを示す。 The framework of variational autoencoders (VAEs) provides a principled method for jointly learning latent-variable models and corresponding inference models. However, the main drawback of this approach is the blurriness of the generated images. Some studies link this effect to the objective function, namely, the (negative) log-likelihood. Here, we propose to enhance VAEs by adding a random variable that is a downscaled version of the original image and still use the log-likelihood function as the learning objective. Further, by providing the downscaled image as an input to the decoder, it can be used in a manner similar to the super-resolution. We present empirically that the proposed approach performs comparably to VAEs in terms of the negative log-likelihood, but it obtains a better FID score in data synthesis. | 翻訳日:2022-11-23 13:24:26 公開日:2020-06-30 |
| # VAEに関するチュートリアル:ベイズのルールから無意味な圧縮へ A Tutorial on VAEs: From Bayes' Rule to Lossless Compression ( http://arxiv.org/abs/2006.10273v2 ) ライセンス: Link先を確認 | Ronald Yu | (参考訳) 変分オートエンコーダ(VAE)は、単純で、効率的で、人気のある最深度モデルである。
VAEの使用は広く行われているが、VAEの派生は広くは理解されていない。
本チュートリアルでは、VAEの概要と、VAE目標の様々な導出と解釈を通してのツアーについて紹介する。
確率論的観点からは、ベイズの法則のレンズ、重要サンプリング、変数の変化公式を通してvaeを調べる。
情報理論の観点からは、損失のない圧縮とノイズチャネルによる透過のレンズを通してVAEを調べる。
次に、VAEの定式化に関する2つの一般的な誤解とその実践的結果を特定する。
最後に、toy 2dデータ上のコード例(jupyter notebook付き)を使用して、vaesの機能と制限を視覚化します。 The Variational Auto-Encoder (VAE) is a simple, efficient, and popular deep maximum likelihood model. Though usage of VAEs is widespread, the derivation of the VAE is not as widely understood. In this tutorial, we will provide an overview of the VAE and a tour through various derivations and interpretations of the VAE objective. From a probabilistic standpoint, we will examine the VAE through the lens of Bayes' Rule, importance sampling, and the change-of-variables formula. From an information theoretic standpoint, we will examine the VAE through the lens of lossless compression and transmission through a noisy channel. We will then identify two common misconceptions over the VAE formulation and their practical consequences. Finally, we will visualize the capabilities and limitations of VAEs using a code example (with an accompanying Jupyter notebook) on toy 2D data. | 翻訳日:2022-11-19 10:07:24 公開日:2020-06-30 |
| # 非逆写像を用いた複数高分解能画像への低分解能画像のマッピング Mapping Low-Resolution Images To Multiple High-Resolution Images Using Non-Adversarial Mapping ( http://arxiv.org/abs/2006.11708v2 ) ライセンス: Link先を確認 | Vasileios Lioutas | (参考訳) 近年,Single Image Super-Resolution (SISR) 問題に対するいくつかの手法が提案されている。
現在の手法では、単一の低解像度画像は単一の高解像度画像しか生成できないと仮定している。
さらに、これらの手法はすべて、単純な双線形ダウンサンプリングによって人工的に生成された低解像度画像を使用する。
まず第一に、SISRの問題は低解像度と全候補高解像度画像間の一対多マッピングの問題であり、高解像度画像を現実的に分解してダウンサンプル化する方法を学ぶという課題に対処する。
この問題を回避するために,Non-Adversarial Mapping (NAM) 技術を用いたSR-NAMを提案する。
さらに,高解像度画像を現実的に撮影された低解像度画像に似た低解像度画像に変換する方法を学ぶ分解モデルを提案する。
最後に,sr-namの弱みとともに,提案手法の定性的な結果も含む。 Several methods have recently been proposed for the Single Image Super-Resolution (SISR) problem. The current methods assume that a single low-resolution image can only yield a single high-resolution image. In addition, all of these methods use low-resolution images that were artificially generated through simple bilinear down-sampling. We argue that, first and foremost, the problem of SISR is an one-to-many mapping problem between the low-resolution and all possible candidate high-resolution images and we address the challenging task of learning how to realistically degrade and down-sample high-resolution images. To circumvent this problem, we propose SR-NAM which utilizes the Non-Adversarial Mapping (NAM) technique. Furthermore, we propose a degradation model that learns how to transform high-resolution images to low-resolution images that resemble realistically taken low-resolution photos. Finally, some qualitative results for the proposed method along with the weaknesses of SR-NAM are included. | 翻訳日:2022-11-18 11:30:11 公開日:2020-06-30 |
| # オープンセット領域適応のためのプログレッシブグラフ学習 Progressive Graph Learning for Open-Set Domain Adaptation ( http://arxiv.org/abs/2006.12087v2 ) ライセンス: Link先を確認 | Yadan Luo, Zijian Wang, Zi Huang, Mahsa Baktashmotlagh | (参考訳) ドメインシフトは、典型的にはソースとターゲットデータが異なる分布に従うときに発生する視覚認識の基本的な問題である。
この問題に取り組む既存のドメイン適応アプローチは、ソースとターゲットデータが全く同じオブジェクトクラスを共有していると仮定して、クローズドセット設定で機能する。
本稿では、ターゲットデータにソースデータに存在しない追加のクラスを含むオープンセットドメインシフトのより現実的な問題に取り組む。
より具体的には、エピソジックトレーニングを備えたグラフニューラルネットワークを統合して、基礎となる条件シフトを抑えるためのエンドツーエンドのプログレッシブグラフ学習(PGL)フレームワークを導入し、ソースとターゲットの分布間のギャップを埋めるために、対角学習を採用する。
既存のオープンセット適応手法と比較すると,本手法は目標誤差の上限を狭くすることを保証する。
3つの標準オープンセットベンチマークに関する広範囲な実験は、我々のアプローチがオープンセットドメイン適応の最先端を著しく上回っていることを示している。 Domain shift is a fundamental problem in visual recognition which typically arises when the source and target data follow different distributions. The existing domain adaptation approaches which tackle this problem work in the closed-set setting with the assumption that the source and the target data share exactly the same classes of objects. In this paper, we tackle a more realistic problem of open-set domain shift where the target data contains additional classes that are not present in the source data. More specifically, we introduce an end-to-end Progressive Graph Learning (PGL) framework where a graph neural network with episodic training is integrated to suppress underlying conditional shift and adversarial learning is adopted to close the gap between the source and target distributions. Compared to the existing open-set adaptation approaches, our approach guarantees to achieve a tighter upper bound of the target error. Extensive experiments on three standard open-set benchmarks evidence that our approach significantly outperforms the state-of-the-arts in open-set domain adaptation. | 翻訳日:2022-11-18 04:26:38 公開日:2020-06-30 |
| # 複数の学習資源タイプからの知識獲得のモデル化 Modeling Knowledge Acquisition from Multiple Learning Resource Types ( http://arxiv.org/abs/2006.13390v2 ) ライセンス: Link先を確認 | Siqian Zhao, Chunpai Wang, Shaghayegh Sahebi | (参考訳) 学生は、ビデオ講義、問題、議論など、さまざまな学習材料と対話するときに知識を得る。
学習期間中の各点における学習知識のモデル化と各学習教材の学生知識への貢献の理解は,学生の知識ギャップの検出と学習教材の推薦に不可欠である。
現在の学生知識モデリング技術は、主に学生知識の成長をモデル化するために、あるタイプの学習材料、主に問題に依存している。
これらのアプローチは、生徒が他の種類の教材から学ぶという事実を無視している。
本稿では,学習教材間の関連性を明らかにしつつ,多様な学習リソースタイプから学習した結果として,知識の成長を捉えることができる学生の知識モデルを提案する。
我々の多視点知識モデル(MVKM)は、多視点テンソル因子化の上に柔軟な知識増加目標を組み込んで、低次元潜在空間における学生の知識と教材概念を表現しながら、時折忘れを捉える。
本研究では,学生の将来のパフォーマンスを正確に予測し,学生集団と概念の知識獲得を区別し,異なるタイプの学習教材間で隠れた類似点を明らかにするための実験を行った。 Students acquire knowledge as they interact with a variety of learning materials, such as video lectures, problems, and discussions. Modeling student knowledge at each point during their learning period and understanding the contribution of each learning material to student knowledge are essential for detecting students' knowledge gaps and recommending learning materials to them. Current student knowledge modeling techniques mostly rely on one type of learning material, mainly problems, to model student knowledge growth. These approaches ignore the fact that students also learn from other types of material. In this paper, we propose a student knowledge model that can capture knowledge growth as a result of learning from a diverse set of learning resource types while unveiling the association between the learning materials of different types. Our multi-view knowledge model (MVKM) incorporates a flexible knowledge increase objective on top of a multi-view tensor factorization to capture occasional forgetting while representing student knowledge and learning material concepts in a lower-dimensional latent space. We evaluate our model in different experiments toshow that it can accurately predict students' future performance, differentiate between knowledge gain in different student groups and concepts, and unveil hidden similarities across learning materials of different types. | 翻訳日:2022-11-17 23:54:58 公開日:2020-06-30 |
| # MANTRA:天文学的過渡事象認識のための機械学習参照光曲線データセット MANTRA: A Machine Learning reference lightcurve dataset for astronomical transient event recognition ( http://arxiv.org/abs/2006.13163v2 ) ライセンス: Link先を確認 | Mauricio Neira, Catalina G\'omez, John F. Su\'arez-P\'erez, Diego A. G\'omez, Juan Pablo Reyes, Marcela Hern\'andez Hoyos, Pablo Arbel\'aez, Jaime E. Forero-Romero | (参考訳) 我々は,カタリーナ実時間過渡調査から構築した4869光子と71207光子からなる注釈付きデータセットmantraを紹介する。
我々は、このデータセットをプレーンテキストファイルとして公開し、天文学的過渡事象認識アルゴリズムの標準化された定量的比較を容易にする。
データセットに含まれるいくつかのクラスは、超新星、カタクリズム変数、活動銀河核、高固有運動星、ブラザール、フレアである。
データセット上で実行できるタスクの例として、複数のデータ前処理方法、特徴選択技術、一般的な機械学習アルゴリズム(ベクターマシン、ランダムフォレスト、ニューラルネットワークをサポートする)を実験します。
二進的/非過渡的(transient/non-transient)と八等分類の2つの分類課題における定量的性能を評価する。
どちらのタスクでも最適なアルゴリズムはランダムフォレスト分類器である。
F1スコアは2進分類で96.25%、8等分類で52.79%である。
8級の分類では、非遷移星(96.83%)が最も高いF1スコアを持つクラスであり、最低値が16.79%、超新星では54.57%、クラス全体の平均に近い値である。
MANTRAの次のリリースには、ディープラーニングモデルによるイメージとベンチマークが含まれている。 We introduce MANTRA, an annotated dataset of 4869 transient and 71207 non-transient object lightcurves built from the Catalina Real Time Transient Survey. We provide public access to this dataset as a plain text file to facilitate standardized quantitative comparison of astronomical transient event recognition algorithms. Some of the classes included in the dataset are: supernovae, cataclysmic variables, active galactic nuclei, high proper motion stars, blazars and flares. As an example of the tasks that can be performed on the dataset we experiment with multiple data pre-processing methods, feature selection techniques and popular machine learning algorithms (Support Vector Machines, Random Forests and Neural Networks). We assess quantitative performance in two classification tasks: binary (transient/non-transient) and eight-class classification. The best performing algorithm in both tasks is the Random Forest Classifier. It achieves an F1-score of 96.25% in the binary classification and 52.79% in the eight-class classification. For the eight-class classification, non-transients ( 96.83% ) is the class with the highest F1-score, while the lowest corresponds to high-proper-motion stars ( 16.79% ); for supernovae it achieves a value of 54.57% , close to the average across classes. The next release of MANTRA includes images and benchmarks with deep learning models. | 翻訳日:2022-11-17 23:46:51 公開日:2020-06-30 |
| # 遠隔監視による感情態度抽出のための注意型ニューラルネットワーク Attention-Based Neural Networks for Sentiment Attitude Extraction using Distant Supervision ( http://arxiv.org/abs/2006.13730v2 ) ライセンス: Link先を確認 | Nicolay Rusnachenko, Natalia Loukachevitch | (参考訳) 感情態度抽出タスクでは,<attitudes>-- テキストで言及されたエンティティ間の感情関係を識別することを目的とする。
本稿では,感情態度抽出作業における注意に基づく文脈エンコーダの検討を行う。
このタスクでは,(1)特徴ベース,(2)自己ベースという2種類の注意コンテキストエンコーダを適用する。
本研究では,ロシア語分析テキストRuSentRelのコーパスと,学習セットの充実のためのニュースコレクションRuAttitudesを自動構築する。
態度抽出の問題は,文書全体の2類(正・負・中等)と3類(正・負・中等)の分類課題である。
RuSentRel corpus を用いた実験の結果,RuAttitudes corpus を用いた3クラス分類モデルでは,注意機構を含むモデルアーキテクチャでは,F1 が10% 増加し,さらに F1 が 3% 余分に増加した。
また,用語の種類に依存した注意重み分布の解析を行った。 In the sentiment attitude extraction task, the aim is to identify <<attitudes>> -- sentiment relations between entities mentioned in text. In this paper, we provide a study on attention-based context encoders in the sentiment attitude extraction task. For this task, we adapt attentive context encoders of two types: (1) feature-based; (2) self-based. In our study, we utilize the corpus of Russian analytical texts RuSentRel and automatically constructed news collection RuAttitudes for enriching the training set. We consider the problem of attitude extraction as two-class (positive, negative) and three-class (positive, negative, neutral) classification tasks for whole documents. Our experiments with the RuSentRel corpus show that the three-class classification models, which employ the RuAttitudes corpus for training, result in 10% increase and extra 3% by F1, when model architectures include the attention mechanism. We also provide the analysis of attention weight distributions in dependence on the term type. | 翻訳日:2022-11-17 23:11:49 公開日:2020-06-30 |
| # afdet: アンカーフリーワンステージ3dオブジェクト検出 AFDet: Anchor Free One Stage 3D Object Detection ( http://arxiv.org/abs/2006.12671v2 ) ライセンス: Link先を確認 | Runzhou Ge, Zhuangzhuang Ding, Yihan Hu, Yu Wang, Sijia Chen, Li Huang, Yuan Li | (参考訳) 組み込みシステムで動作する高効率のクラウド3Dオブジェクト検出は、自律運転を含む多くのロボットアプリケーションにとって重要である。
以前のほとんどの作業は、アンカーベースの検出手法を使って解決しようとするが、これには2つの欠点がある: 処理後は比較的複雑で計算コストが高く、アンカーパラメータのチューニングは難しい。
我々は、afdetと呼ばれるアンカーフリーかつ非最大抑制フリーワンステージ検出器を用いて、これらの欠点に最初に対処した。
AFDet全体は、CNNアクセラレータまたはGPU上で、単純化された後処理で効率的に処理できる。
ベルやホイッスルがなければ,提案するAFDetは,KITTI検証セットやWaymo Open Dataset検証セット上で,他の1ステージのアンカーベースの手法と競合的に動作する。 High-efficiency point cloud 3D object detection operated on embedded systems is important for many robotics applications including autonomous driving. Most previous works try to solve it using anchor-based detection methods which come with two drawbacks: post-processing is relatively complex and computationally expensive; tuning anchor parameters is tricky. We are the first to address these drawbacks with an anchor free and Non-Maximum Suppression free one stage detector called AFDet. The entire AFDet can be processed efficiently on a CNN accelerator or a GPU with the simplified post-processing. Without bells and whistles, our proposed AFDet performs competitively with other one stage anchor-based methods on KITTI validation set and Waymo Open Dataset validation set. | 翻訳日:2022-11-17 23:10:18 公開日:2020-06-30 |
| # ドメイン適応のための目標整合性:ロバストネスが転送可能性に合うとき Target Consistency for Domain Adaptation: when Robustness meets Transferability ( http://arxiv.org/abs/2006.14263v2 ) ライセンス: Link先を確認 | Yassine Ouali, Victor Bouvier, Myriam Tami, and C\'eline Hudelot | (参考訳) 学習不変表現(Learning Invariant Representations)は、ソースとUnsupervised Domain Adaptationのターゲットドメインの調整に成功している。
クラスター仮定のプリズムの下でそのような手法のロバスト性を調べることにより、低いソースリスクの不均一性は良好な目標分類器を保証しないという新たな証拠をもたらす。
より正確には、ソースドメインに保持されているにもかかわらず、クラスタの仮定がターゲットドメインに違反していることを示し、ターゲットの分類器の堅牢性の欠如を示す。
この問題に対処するために,特にCLIV(Class-Level InVariance)と組み合わせた場合,ターゲット領域におけるクラスタ仮定,Target Consistency (TC) の実施の重要性を示す。
新しいアプローチは,不変表現に基づく最先端手法よりも,画像分類とセグメンテーションベンチマークの両方において著しく改善する。
重要なことに,本手法は柔軟で実装が容易であり,表現の伝達性向上のための既存手法を補完する手法である。 Learning Invariant Representations has been successfully applied for reconciling a source and a target domain for Unsupervised Domain Adaptation. By investigating the robustness of such methods under the prism of the cluster assumption, we bring new evidence that invariance with a low source risk does not guarantee a well-performing target classifier. More precisely, we show that the cluster assumption is violated in the target domain despite being maintained in the source domain, indicating a lack of robustness of the target classifier. To address this problem, we demonstrate the importance of enforcing the cluster assumption in the target domain, named Target Consistency (TC), especially when paired with Class-Level InVariance (CLIV). Our new approach results in a significant improvement, on both image classification and segmentation benchmarks, over state-of-the-art methods based on invariant representations. Importantly, our method is flexible and easy to implement, making it a complementary technique to existing approaches for improving transferability of representations. | 翻訳日:2022-11-17 03:03:26 公開日:2020-06-30 |
| # DeltaGrad: 機械学習モデルの迅速な再トレーニング DeltaGrad: Rapid retraining of machine learning models ( http://arxiv.org/abs/2006.14755v2 ) ライセンス: Link先を確認 | Yinjun Wu, Edgar Dobriban, Susan B. Davidson | (参考訳) 機械学習モデルは静的ではなく、データポイントのセットの追加や削除などによって、わずかに変更されたデータセットで再トレーニングする必要がある。
これには、プライバシー、堅牢性、バイアス低減、不確実性定量化など、多くのアプリケーションがある。
しかし、スクラッチからモデルを再訓練するのは高価である。
そこで本研究では,学習期間中にキャッシュされた情報に基づいて,機械学習モデルを高速化するDeltaGradアルゴリズムを提案する。
DeltaGradの有効性に関する理論的および実証的な支援を共に提供し,その効果が技術状況と良好に比較できることを示す。 Machine learning models are not static and may need to be retrained on slightly changed datasets, for instance, with the addition or deletion of a set of data points. This has many applications, including privacy, robustness, bias reduction, and uncertainty quantifcation. However, it is expensive to retrain models from scratch. To address this problem, we propose the DeltaGrad algorithm for rapid retraining machine learning models based on information cached during the training phase. We provide both theoretical and empirical support for the effectiveness of DeltaGrad, and show that it compares favorably to the state of the art. | 翻訳日:2022-11-16 20:55:36 公開日:2020-06-30 |
| # GramGAN:2Dエグゼクティブによる深部3Dテクスチャ合成 GramGAN: Deep 3D Texture Synthesis From 2D Exemplars ( http://arxiv.org/abs/2006.16112v2 ) ライセンス: Link先を確認 | Tiziano Portenier, Siavash Bigdeli, Orcun Goksel | (参考訳) 2次元の模範画像が与えられた無限の高品質な3dテクスチャを生成できる新しいテクスチャ合成フレームワークを提案する。
近年の自然テクスチャ合成の進歩に触発されて,学習した雑音周波数を非線形に結合してテクスチャを生成するディープニューラルモデルを訓練した。
実例パッチに基づく高度に現実的な出力を実現するために,スタイル転送と生成的敵ネットワークの両方からアイデアを結合した新しい損失関数を提案する。
特に,識別器ネットワークからの深い特徴のグラム行列に適合するように合成ネットワークを訓練する。
さらに,一般化性能を大幅に向上させる2つのアーキテクチャ概念と外挿戦略を提案する。
特に、隠れネットワーク層にモデル入力と条件の両方を注入し、隠れたアクティベーションのスケールとバイアスを学習する。
多様な例の定量的・質的評価は、我々の設計決定を動機付け、我々のシステムが以前の技術よりも優れていることを示す。
最後に、我々のフレームワークの利点を確認するユーザスタディを実施します。 We present a novel texture synthesis framework, enabling the generation of infinite, high-quality 3D textures given a 2D exemplar image. Inspired by recent advances in natural texture synthesis, we train deep neural models to generate textures by non-linearly combining learned noise frequencies. To achieve a highly realistic output conditioned on an exemplar patch, we propose a novel loss function that combines ideas from both style transfer and generative adversarial networks. In particular, we train the synthesis network to match the Gram matrices of deep features from a discriminator network. In addition, we propose two architectural concepts and an extrapolation strategy that significantly improve generalization performance. In particular, we inject both model input and condition into hidden network layers by learning to scale and bias hidden activations. Quantitative and qualitative evaluations on a diverse set of exemplars motivate our design decisions and show that our system performs superior to previous state of the art. Finally, we conduct a user study that confirms the benefits of our framework. | 翻訳日:2022-11-15 15:17:12 公開日:2020-06-30 |
| # ラプラシアンピラミッド網を用いた大規模変形拡散画像登録 Large Deformation Diffeomorphic Image Registration with Laplacian Pyramid Networks ( http://arxiv.org/abs/2006.16148v2 ) ライセンス: Link先を確認 | Tony C. W. Mok and Albert C. S. Chung | (参考訳) 深層学習に基づく手法は, 幅広い医用画像解析タスクにおいて, 変形可能な画像登録の有望な結果を示した。
しかし,既存の深層学習に基づく手法は小さな変形設定に限られることが多いため,これらの手法では,客観的なマッピングやトポロジー保存を含む変換の望ましい特性が無視されることが多い。
本稿では, 微分写像空間内の粗大かつ微細な方法で, 画像登録最適化問題を解くことができる, 深層ラプラシアピラミッド画像登録ネットワークを提案する。
2つのMR脳スキャンデータセットの大規模定量および定性的評価は,本手法が望ましい微分特性と有望な登録速度を維持しつつ,既存の手法よりも有意なマージンで優れていることを示す。 Deep learning-based methods have recently demonstrated promising results in deformable image registration for a wide range of medical image analysis tasks. However, existing deep learning-based methods are usually limited to small deformation settings, and desirable properties of the transformation including bijective mapping and topology preservation are often being ignored by these approaches. In this paper, we propose a deep Laplacian Pyramid Image Registration Network, which can solve the image registration optimization problem in a coarse-to-fine fashion within the space of diffeomorphic maps. Extensive quantitative and qualitative evaluations on two MR brain scan datasets show that our method outperforms the existing methods by a significant margin while maintaining desirable diffeomorphic properties and promising registration speed. | 翻訳日:2022-11-15 15:16:40 公開日:2020-06-30 |
| # 逆行性CAC-UNetを用いた多段階大腸内視鏡下悪性組織検出 Multi-level colonoscopy malignant tissue detection with adversarial CAC-UNet ( http://arxiv.org/abs/2006.15954v2 ) ライセンス: Link先を確認 | Chuang Zhu, Ke Mei, Ting Peng, Yihao Luo, Jun Liu, Ying Wang and Mulan Jin | (参考訳) 自動的かつ客観的な診断モデルは早期癌の発見に有用であり、したがって死亡率を低下させる。
本稿では,CAC-UNetを用いた高効率多段階悪性組織検出法を提案する。
負のWSIを除去するために、事前予測戦略と悪性領域誘導ラベル平滑化を備えたパッチレベルモデルを採用し、偽陽性検出のリスクを低減する。
マルチモデルアンサンブルにより選択されたキーパッチに対して,対向的コンテキスト認識と外観整合性UNet(CAC-UNet)は,堅牢なセグメンテーションを実現するために設計されている。
CAC-UNetでは、ミラー設計の識別器は、巧妙に設計された強力なバックボーンネットワークの機能マップ全体を、情報を失うことなくシームレスに融合させることができる。
また、マスク領域判別器を介して正確なセグメンテーションマスク予測を導くために、マスク先行が追加される。
提案手法は,MICCAI DigestPath2019の大腸内視鏡組織分節化と分類作業における課題において,最も優れた結果が得られる。
完全な実装の詳細とトレーニングされたモデルはhttps://github.com/Raykoooo/CAC-UNet.comで公開されている。 The automatic and objective medical diagnostic model can be valuable to achieve early cancer detection, and thus reducing the mortality rate. In this paper, we propose a highly efficient multi-level malignant tissue detection through the designed adversarial CAC-UNet. A patch-level model with a pre-prediction strategy and a malignancy area guided label smoothing is adopted to remove the negative WSIs, with which to lower the risk of false positive detection. For the selected key patches by multi-model ensemble, an adversarial context-aware and appearance consistency UNet (CAC-UNet) is designed to achieve robust segmentation. In CAC-UNet, mirror designed discriminators are able to seamlessly fuse the whole feature maps of the skillfully designed powerful backbone network without any information loss. Besides, a mask prior is further added to guide the accurate segmentation mask prediction through an extra mask-domain discriminator. The proposed scheme achieves the best results in MICCAI DigestPath2019 challenge on colonoscopy tissue segmentation and classification task. The full implementation details and the trained models are available at https://github.com/Raykoooo/CAC-UNet. | 翻訳日:2022-11-15 15:06:06 公開日:2020-06-30 |
| # 多機能メタ光学システム:人工知能を用いた逆設計 Multifunctional Meta-Optic Systems: Inversely Designed with Artificial Intelligence ( http://arxiv.org/abs/2007.00130v1 ) ライセンス: Link先を確認 | Dayu Zhu, Zhaocheng Liu, Lakshmi Raju, Andrew S. Kim, Wenshan Cai | (参考訳) フラット光学は、メタ曲面が基礎となる超コンパクト光学デバイスの新時代を予見する。
従来のメタサーフェスの設計は、プロトタイプとして特定の構造から始まり、その後に出現する光の位相と振幅の要求を満たす広範なパラメトリックスイープが続く。
プロセスの計算方法に拘わらず、事前定義された構造は偏光、周波数、空間チャネルに対する独立な制御をほとんど実現できないため、メタサーフェスが多機能になる可能性を妨げる。
さらに、複雑で複数の関数を実現することで、メタ表面の複数のカスケード層を持つメタオプティカルシステムを設計することができる。
本研究では,多機能な多層メタ光学システムを設計するための人工知能フレームワークを提案する。
本稿では、偏光多重機能ビーム発生器、全光計算のための第2次微分器、空間偏光波長多重ホログラムの例を示す。
これらの例は単層メタサーフェスによってほとんど達成できず、従来の設計プロセスでは達成できない。 Flat optics foresees a new era of ultra-compact optical devices, where metasurfaces serve as the foundation. Conventional designs of metasurfaces start with a certain structure as the prototype, followed by an extensive parametric sweep to accommodate the requirements of phase and amplitude of the emerging light. Regardless of how computation-consuming the process is, a predefined structure can hardly realize the independent control over the polarization, frequency, and spatial channels, which hinders the potential of metasurfaces to be multifunctional. Besides, achieving complicated and multiple functions calls for designing a meta-optic system with multiple cascading layers of metasurfaces, which introduces super exponential complexity. In this work we present an artificial intelligence framework for designing multilayer meta-optic systems with multifunctional capabilities. We demonstrate examples of a polarization-multiplexed dual-functional beam generator, a second order differentiator for all-optical computation, and a space-polarization-wavelength multiplexed hologram. These examples are barely achievable by single-layer metasurfaces and unattainable by traditional design processes. | 翻訳日:2022-11-15 06:38:10 公開日:2020-06-30 |
| # 音響イベント認識における一般化のための逐次自己指導手法 A Sequential Self Teaching Approach for Improving Generalization in Sound Event Recognition ( http://arxiv.org/abs/2007.00144v1 ) ライセンス: Link先を確認 | Anurag Kumar, Vamsi Krishna Ithapu | (参考訳) 機械の聴覚知覚における重要な問題は、音事象を認識して検出することである。
本稿では,学習音に対する逐次自己学習手法を提案する。
我々の主な提案は、弱いラベル付きまたは/またはうるさいラベル付きデータから、悪い状況下での音の学習が困難であり、これらの場合、学習の単一の段階が不十分であるということである。
本提案は,与えられたモデリングシステムの一般化能力を向上させる段階学習プロセスである。
技術的結果を通じてこの方法を正当化し、最大のサウンドイベントデータセットであるaudiosetでは、シーケンシャルな学習アプローチが最大9%のパフォーマンス向上につながります。
包括的評価により,従来訓練されていたモデルから知識の伝達性の向上が達成され,伝達学習タスクにおける一般化能力の向上がもたらされた。 An important problem in machine auditory perception is to recognize and detect sound events. In this paper, we propose a sequential self-teaching approach to learning sounds. Our main proposition is that it is harder to learn sounds in adverse situations such as from weakly labeled and/or noisy labeled data, and in these situations a single stage of learning is not sufficient. Our proposal is a sequential stage-wise learning process that improves generalization capabilities of a given modeling system. We justify this method via technical results and on Audioset, the largest sound events dataset, our sequential learning approach can lead to up to 9% improvement in performance. A comprehensive evaluation also shows that the method leads to improved transferability of knowledge from previously trained models, thereby leading to improved generalization capabilities on transfer learning tasks. | 翻訳日:2022-11-15 06:37:35 公開日:2020-06-30 |
| # 埋め込み空間グラフニューラルネットワークによるトラックシードとラベリング Track Seeding and Labelling with Embedded-space Graph Neural Networks ( http://arxiv.org/abs/2007.00149v1 ) ライセンス: Link先を確認 | Nicholas Choma, Daniel Murnane, Xiangyang Ju, Paolo Calafiura, Sean Conlon, Steven Farrell, Prabhat, Giuseppe Cerati, Lindsey Gray, Thomas Klijnsma, Jim Kowalkowski, Panagiotis Spentzouris, Jean-Roch Vlimant, Maria Spiropulu, Adam Aurisano, Jeremy Hewes, Aristeidis Tsaris, Kazuhiro Terao, Tracy Usher | (参考訳) HL-LHCデータの前例のない規模に対応するため、Exa.TrkXプロジェクトは、粒子トラック再構築のための様々な機械学習アプローチを調査している。
最も有望なソリューションであるグラフニューラルネットワーク(GNN)は、トラック計測(ノードに対応する検出器ヒット)とヒット(エッジに対応する)の間の候補ラインセグメントを接続するグラフとしてイベントを処理する。
検出器情報はノードとエッジに関連付けることができ、GNNはグラフの周りに埋め込まれたパラメータを伝播し、ノード、エッジ、グラフレベルのオブザーバブルを予測することができる。
従来、メッセージパスGNNは二重化可能性の予測に成功しており、このタスクの最先端アーキテクチャについて報告している。
さらに、Exa.TrkXプロジェクトは、完全に学習されたエンドツーエンドのトラック探索を達成するために、グラフ構築と組込み表現の両方のイノベーションを調査した。
そこで,本研究では,ヒットグラフ分類の結果を奨励する拡張セットをオリジナルモデルに提示する。
さらに、非線形メトリック構造を含む学習表現からグラフを構築し、効率的なクラスタリングとデータポイントの近傍クエリを可能にすることにより、パフォーマンスの向上を探求する。
このフレームワークが従来のクラスタリングパイプラインとGNNアプローチの両方にどのように適合するかを示す。
埋め込みグラフは、高精度なダブルおよびトリプレット分類器にフィードするか、あるいは組み込み空間にクラスタリングすることでエンドツーエンドのトラック分類器として使用できる。
ポストプロセッシング法の集合は検出器物理学の知識により性能を向上させる。
最後に,TrackML粒子追跡課題データセットの数値的な結果を示す。 To address the unprecedented scale of HL-LHC data, the Exa.TrkX project is investigating a variety of machine learning approaches to particle track reconstruction. The most promising of these solutions, graph neural networks (GNN), process the event as a graph that connects track measurements (detector hits corresponding to nodes) with candidate line segments between the hits (corresponding to edges). Detector information can be associated with nodes and edges, enabling a GNN to propagate the embedded parameters around the graph and predict node-, edge- and graph-level observables. Previously, message-passing GNNs have shown success in predicting doublet likelihood, and we here report updates on the state-of-the-art architectures for this task. In addition, the Exa.TrkX project has investigated innovations in both graph construction, and embedded representations, in an effort to achieve fully learned end-to-end track finding. Hence, we present a suite of extensions to the original model, with encouraging results for hitgraph classification. In addition, we explore increased performance by constructing graphs from learned representations which contain non-linear metric structure, allowing for efficient clustering and neighborhood queries of data points. We demonstrate how this framework fits in with both traditional clustering pipelines, and GNN approaches. The embedded graphs feed into high-accuracy doublet and triplet classifiers, or can be used as an end-to-end track classifier by clustering in an embedded space. A set of post-processing methods improve performance with knowledge of the detector physics. Finally, we present numerical results on the TrackML particle tracking challenge dataset, where our framework shows favorable results in both seeding and track finding. | 翻訳日:2022-11-15 06:37:23 公開日:2020-06-30 |
| # IoTのための機械学習とデータ分析 Machine learning and data analytics for the IoT ( http://arxiv.org/abs/2007.04093v1 ) ライセンス: Link先を確認 | Erwin Adi, Adnan Anwar, Zubair Baig and Sherali Zeadally | (参考訳) IoT(Internet of Things)アプリケーションは、インテリジェントなデータ処理に必要な大量のデータを生成するために、外乱数で成長している。
しかし、さまざまなIoTインフラストラクチャ(クラウド、エッジ、フォグ)とメッセージの送受信におけるIoTアプリケーション層プロトコルの制限は、インテリジェントなIoTアプリケーションを作成する上で障壁となる。
これらの障壁は、現在のインテリジェントなIoTアプリケーションが他のIoTアプリケーションから適応的に学習することを妨げる。
本稿では、IoT生成データがどのように機械学習分析に処理されるのかを批判的にレビューし、IoT環境におけるインテリジェントなソリューションを強化する上での現在の課題を強調する。
さらに、IoTアプリケーションが他のIoTアプリケーションから適応的に学習できるフレームワークを提案し、そのフレームワークが文献における実際の研究にどのように適用できるかのケーススタディを示す。
最後に、IoTの将来的なインテリジェントアプリケーションに影響を与える重要な要因について論じる。 The Internet of Things (IoT) applications have grown in exorbitant numbers, generating a large amount of data required for intelligent data processing. However, the varying IoT infrastructures (i.e., cloud, edge, fog) and the limitations of the IoT application layer protocols in transmitting/receiving messages become the barriers in creating intelligent IoT applications. These barriers prevent current intelligent IoT applications to adaptively learn from other IoT applications. In this paper, we critically review how IoT-generated data are processed for machine learning analysis and highlight the current challenges in furthering intelligent solutions in the IoT environment. Furthermore, we propose a framework to enable IoT applications to adaptively learn from other IoT applications and present a case study in how the framework can be applied to the real studies in the literature. Finally, we discuss the key factors that have an impact on future intelligent applications for the IoT. | 翻訳日:2022-11-15 06:34:47 公開日:2020-06-30 |
| # サラウンドビューカメラシステムのための車両リid Vehicle Re-ID for Surround-view Camera System ( http://arxiv.org/abs/2006.16503v1 ) ライセンス: Link先を確認 | Zizhang Wu, Man Wang, Lingxiao Yin, Weiwei Sun, Jason Wang, Huangbin Wu | (参考訳) 自動車再識別(ReID)は、近年ますます注目を集めている自動運転の認識システムにおいて重要な役割を担っている。
しかし、我々の知る限りでは、車両に搭載されたサラウンドビューシステムの完全なソリューションは存在しない。
本稿では、上記のシナリオにおける2つの主な課題について論じる。
一 単一カメラビューにおいて、魚眼の歪み、閉塞、脱落等により、過去の画像フレームから同一の車両を認識することは困難である。
二 マルチカメラの視点において、同一の車両の外観は、異なるカメラの視点から大きく異なる。
そこで本研究では,これらの問題に対処する統合車両Re-IDソリューションを提案する。
具体的には,追跡ボックスのドリフトとターゲットの一貫性をバランスさせる新しい品質評価機構を提案する。
さらに,注意機構に基づくre-idネットワークを活用し,空間制約戦略と組み合わせることで,カメラ間の性能をさらに向上させる。
実験の結果,本手法は実時間で最先端の精度を実現することができた。
さらに、コミュニティの利益のためにコードと注釈付き魚眼データセットをリリースします。 The vehicle re-identification (ReID) plays a critical role in the perception system of autonomous driving, which attracts more and more attention in recent years. However, to our best knowledge, there is no existing complete solution for the surround-view system mounted on the vehicle. In this paper, we argue two main challenges in above scenario: i) In single camera view, it is difficult to recognize the same vehicle from the past image frames due to the fisheye distortion, occlusion, truncation, etc. ii) In multi-camera view, the appearance of the same vehicle varies greatly from different camera's viewpoints. Thus, we present an integral vehicle Re-ID solution to address these problems. Specifically, we propose a novel quality evaluation mechanism to balance the effect of tracking box's drift and target's consistency. Besides, we take advantage of the Re-ID network based on attention mechanism, then combined with a spatial constraint strategy to further boost the performance between different cameras. The experiments demonstrate that our solution achieves state-of-the-art accuracy while being real-time in practice. Besides, we will release the code and annotated fisheye dataset for the benefit of community. | 翻訳日:2022-11-15 06:34:33 公開日:2020-06-30 |
| # ガイド型畳み込み畳み込みニューラルネットワークを用いた前立腺拡散強調MRIの高速化 Accelerating Prostate Diffusion Weighted MRI using Guided Denoising Convolutional Neural Network: Retrospective Feasibility Study ( http://arxiv.org/abs/2007.00121v1 ) ライセンス: Link先を確認 | Elena A. Kaye, Emily A. Aherne, Cihan Duzgol, Ida H\"aggstr\"om, Erich Kobler, Yousef Mazaheri, Maggie M Fung, Zhigang Zhang, Ricardo Otazo, Herbert A. Vargas, Oguz Akin | (参考訳) 目的: 前立腺拡散強調画像(DWI)の獲得平均数を減らし,得られた画像をDnCNN(ガイドデノナイジング畳み込み畳み込みニューラルネットワーク)を用いてデノナイズし,実現可能性を検討すること。
材料と方法: 前立腺DWIスキャンの生データは、2018年7月から2019年7月にかけて、6つの単一ベンダーMRIスキャナーから振り返って収集された。
118データセットはトレーニングと検証(年齢:64.3+-8年)とテスト(年齢:65.1+-7.3年)に使用された。
高b値拡散重み付き(hb-DW)データを2つの平均値と16つの平均値を用いてノイズ画像に再構成した。
従来のDnCNNは、誘導入力として低b値DWI画像を使用するガイド付きDnCNNに修正された。
hb-DW画像の定量化と定性評価を行った。
読み手のスコアを比較するために累積リンク混合回帰モデルを用いた。
Bland Altman 解析により, 見かけ拡散係数 (ADC) マップ (デノテート対参照) の一致を解析した。
結果: dncnnと比較すると,dncnnはピーク信号対雑音比が高く,構造的類似度指数が低く,平均2乗誤差が低かった(p < 0.001)。
基準画像と比較すると,画像は高い画質スコア(p<0.0001)を得た。
hb-DW画像に基づくADC値は基準ADC値とよく一致した。
結論: 得られた平均数を削減し, 提案する誘導型dncnnを用いた画像の非表示化による前立腺dwiの促進は, 技術的に実現可能である。 Purpose: To investigate feasibility of accelerating prostate diffusion-weighted imaging (DWI) by reducing the number of acquired averages and denoising the resulting image using a proposed guided denoising convolutional neural network (DnCNN). Materials and Methods: Raw data from the prostate DWI scans were retrospectively gathered (between July 2018 and July 2019) from six single-vendor MRI scanners. 118 data sets were used for training and validation (age: 64.3 +- 8 years) and 37 - for testing (age: 65.1 +- 7.3 years). High b-value diffusion-weighted (hb-DW) data were reconstructed into noisy images using two averages and reference images using all sixteen averages. A conventional DnCNN was modified into a guided DnCNN, which uses the low b-value DWI image as a guidance input. Quantitative and qualitative reader evaluations were performed on the denoised hb-DW images. A cumulative link mixed regression model was used to compare the readers scores. The agreement between the apparent diffusion coefficient (ADC) maps (denoised vs reference) was analyzed using Bland Altman analysis. Results: Compared to the DnCNN, the guided DnCNN produced denoised hb-DW images with higher peak signal-to-noise ratio and structural similarity index and lower normalized mean square error (p < 0.001). Compared to the reference images, the denoised images received higher image quality scores (p < 0.0001). The ADC values based on the denoised hb-DW images were in good agreement with the reference ADC values. Conclusion: Accelerating prostate DWI by reducing the number of acquired averages and denoising the resulting image using the proposed guided DnCNN is technically feasible. | 翻訳日:2022-11-15 06:34:19 公開日:2020-06-30 |
| # 前立腺癌放射線治療における深層学習による線量予測 : 異なる治療計画へのモデル適応 Dose Prediction with Deep Learning for Prostate Cancer Radiation Therapy: Model Adaptation to Different Treatment Planning Practices ( http://arxiv.org/abs/2006.16481v1 ) ライセンス: Link先を確認 | Roya Norouzi Kandalan, Dan Nguyen, Nima Hassan Rezaeian, Ana M. Barragan-Montero, Sebastiaan Breedveld, Kamesh Namuduri, Steve Jiang, Mu-Han Lin | (参考訳) 本研究の目的は,前立腺癌に対する体積変調アーク療法(VMAT)のための先進的深層学習(DL)線量予測モデルの一般化可能性について検討し,そのモデルを3種類の内的治療計画スタイルと1つの外部機関計画スタイルに適用することである。
前立腺癌に対するvmat治療を施行した108例のソースモデルを構築した。
移行学習では,同一施設から3つの異なるスタイルと異なる施設から1つのスタイルの患者を選別し,ソースモデルを4つのターゲットモデルに適応させた。
対象モデルと対象モデルで予測した線量分布と臨床線量予測値を比較し,Dice similarity coefficients (DSC) of 10% to 100% isodose volume and the dose-volume-histogram parameters of the planning target volume and the organs-at-riskを用いて,対象モデルに対する予測精度の向上を定量化した。
ソースモデルは、同一のソーススタイルで生成されたプランの線量分布を正確に予測するが、3つの内部ターゲットスタイルと1つの外部ターゲットスタイルに対して、それぞれ平均DSCが0.81-0.94と0.82-0.91の範囲で準最適に実行する。
伝達学習では, 対象モデルの予測により, dsc平均値が0.88-0.95, 0.92-0.96に改善した。
ターゲットモデル予測はDVHパラメータ予測の精度を1.6%以内に改善した。
dlに基づく線量予測のモデル一般化可能性とトランスファー・ラーニングによる解決の可能性を示した。
14-29ケースのスタイルで、ソースモデルをいくつかの異なるプラクティススタイルに適合させました。
このことは、DLベースの線量予測の広範な臨床実践への現実的な方法を示している。 This work aims to study the generalizability of a pre-developed deep learning (DL) dose prediction model for volumetric modulated arc therapy (VMAT) for prostate cancer and to adapt the model to three different internal treatment planning styles and one external institution planning style. We built the source model with planning data from 108 patients previously treated with VMAT for prostate cancer. For the transfer learning, we selected patient cases planned with three different styles from the same institution and one style from a different institution to adapt the source model to four target models. We compared the dose distributions predicted by the source model and the target models with the clinical dose predictions and quantified the improvement in the prediction quality for the target models over the source model using the Dice similarity coefficients (DSC) of 10% to 100% isodose volumes and the dose-volume-histogram (DVH) parameters of the planning target volume and the organs-at-risk. The source model accurately predicts dose distributions for plans generated in the same source style but performs sub-optimally for the three internal and one external target styles, with the mean DSC ranging between 0.81-0.94 and 0.82-0.91 for the internal and the external styles, respectively. With transfer learning, the target model predictions improved the mean DSC to 0.88-0.95 and 0.92-0.96 for the internal and the external styles, respectively. Target model predictions significantly improved the accuracy of the DVH parameter predictions to within 1.6%. We demonstrated model generalizability for DL-based dose prediction and the feasibility of using transfer learning to solve this problem. With 14-29 cases per style, we successfully adapted the source model into several different practice styles. This indicates a realistic way to widespread clinical implementation of DL-based dose prediction. | 翻訳日:2022-11-15 06:33:47 公開日:2020-06-30 |
| # MIMOプリコーディング問題に対する深層強化学習アプローチ:最適性とロバスト性 Deep reinforcement learning approach to MIMO precoding problem: Optimality and Robustness ( http://arxiv.org/abs/2006.16646v1 ) ライセンス: Link先を確認 | Heunchul Lee, Maksym Girnyk and Jaeseong Jeong | (参考訳) 本稿では、複雑な多重出力多重出力(MIMO)プリコーディング問題に対する最適プリコーディングポリシーの学習に使用できる、深層強化学習(RL)ベースのプリコーディングフレームワークを提案する。
学習エージェントが環境条件の文脈情報に基づいてMIMOシステムの環境を提供するためのプリコーダを逐次選択するRL問題として,環境からの報酬フィードバックに基づいてプリコーダ選択ポリシーを同時に適用し,数値報酬信号の最大化を行う。
本稿では,DQN(Deep Q-network)とDDPG(Deep Deterministic Policy gradient)という2つの標準深度RLアルゴリズムを用いたRLエージェントを開発した。
提案するdrl型プリコーディングフレームワークの最適性を示すために,dqn型およびddpg系エージェントが,コードブックベースおよび非コードブック型mimoプリコーディングシステムにおいて,最適解を解析的に得ることのできる単純なmimo環境を明示的に検討し,mimoシステムの環境状態をそれぞれ報奨関数を最大化するプリコーダにマップする至近の最適化ポリシーをdqn型およびddpg型エージェントが学習可能であることを示す。
さらに,DRLをベースとしたプリコーディングフレームワークのロバスト性を検討するため,複雑なMIMO環境下での2つのDRLアルゴリズムの性能について検討した。
その結果,DRLをベースとしたプレコーディングフレームワークの有効性を確認し,複雑なMIMO環境下での従来の近似アルゴリズムより優れていることを示す。 In this paper, we propose a deep reinforcement learning (RL)-based precoding framework that can be used to learn an optimal precoding policy for complex multiple-input multiple-output (MIMO) precoding problems. We model the precoding problem for a single-user MIMO system as an RL problem in which a learning agent sequentially selects the precoders to serve the environment of MIMO system based on contextual information about the environmental conditions, while simultaneously adapting the precoder selection policy based on the reward feedback from the environment to maximize a numerical reward signal. We develop the RL agent with two canonical deep RL (DRL) algorithms, namely deep Q-network (DQN) and deep deterministic policy gradient (DDPG). To demonstrate the optimality of the proposed DRL-based precoding framework, we explicitly consider a simple MIMO environment for which the optimal solution can be obtained analytically and show that DQN- and DDPG-based agents can learn the near-optimal policy to map the environment state of MIMO system to a precoder that maximizes the reward function, respectively, in the codebook-based and non-codebook based MIMO precoding systems. Furthermore, to investigate the robustness of DRL-based precoding framework, we examine the performance of the two DRL algorithms in a complex MIMO environment, for which the optimal solution is not known. The numerical results confirm the effectiveness of the DRL-based precoding framework and show that the proposed DRL-based framework can outperform the conventional approximation algorithm in the complex MIMO environment. | 翻訳日:2022-11-15 06:33:12 公開日:2020-06-30 |
| # bs:クラウドファンディングキャンペーンにおける不正検出 I call BS: Fraud Detection in Crowdfunding Campaigns ( http://arxiv.org/abs/2006.16849v1 ) ライセンス: Link先を確認 | Beatrice Perez, Sara R. Machado, Jerone T. A. Andrews, Nicolas Kourtellis | (参考訳) チャリティーベースのクラウドファンディング環境への寄付はここ数年増加傾向にある。
当然のことながら、こうしたプラットフォームにおける騙しや詐欺も増えてきたが、そのような振る舞いを露呈し、その自動検出とブロックを可能にする特性について、十分に研究されていない。
実際、クラウドファンディングプラットフォームは、一般的に各サービスで立ち上げられたキャンペーンの監視を行う唯一のものだ。
しかし、利用者の不正対策やキャンペーン開始へのインセンティブは正しくない:一方、プラットフォームの売上は取引数に直接比例する(プラットフォームは1回の寄付で一定額を請求する)が、一方、プラットフォームが不正行為の量に関して透明である場合、潜在的寄付者への参加を妨げかねない。
本稿では,クラウドファンディングキャンペーンにおける詐欺研究の一歩を踏み出した。
我々は、さまざまなクラウドファンディングプラットフォームから収集されたデータを分析し、700件のキャンペーンを詐欺とみなす。
さまざまなテキストおよび画像に基づく特徴を計算し,その分布とキャンペーン詐欺との関連性について検討する。
これらの属性を用いて、機械学習分類器を構築し、これらの不正行為を90.14%の精度と96.01%のAUCで自動的に分類できることを示し、キャンペーンの説明から利用可能な機能(例えば、ユーザやお金のアクティビティがない)を使用することで、ユーザブラウザ上でリアルタイムに操作することができる。 Donations to charity-based crowdfunding environments have been on the rise in the last few years. Unsurprisingly, deception and fraud in such platforms have also increased, but have not been thoroughly studied to understand what characteristics can expose such behavior and allow its automatic detection and blocking. Indeed, crowdfunding platforms are the only ones typically performing oversight for the campaigns launched in each service. However, they are not properly incentivized to combat fraud among users and the campaigns they launch: on the one hand, a platform's revenue is directly proportional to the number of transactions performed (since the platform charges a fixed amount per donation); on the other hand, if a platform is transparent with respect to how much fraud it has, it may discourage potential donors from participating. In this paper, we take the first step in studying fraud in crowdfunding campaigns. We analyze data collected from different crowdfunding platforms, and annotate 700 campaigns as fraud or not. We compute various textual and image-based features and study their distributions and how they associate with campaign fraud. Using these attributes, we build machine learning classifiers, and show that it is possible to automatically classify such fraudulent behavior with up to 90.14% accuracy and 96.01% AUC, only using features available from the campaign's description at the moment of publication (i.e., with no user or money activity), making our method applicable for real-time operation on a user browser. | 翻訳日:2022-11-15 06:31:58 公開日:2020-06-30 |
| # フォトニックデバイスの評価と設計のためのディープニューラルネットワーク Deep neural networks for the evaluation and design of photonic devices ( http://arxiv.org/abs/2007.00084v1 ) ライセンス: Link先を確認 | Jiaqi Jiang, Mingkun Chen, and Jonathan A. Fan | (参考訳) データサイエンス革命は、フォトニックシステムのシミュレーションと設計の方法を変えようとしている。
フォトニクスは機械学習の理想的な基盤であり、多くの計算電磁学の目的は高次元空間における非線形関係を捉えることであり、これはニューラルネットワークの中核的な強みである。
さらに、Maxwellソルバの主流となることで、ニューラルネットワークのトレーニングと評価が、特定の問題に対して広くアクセス可能で、適切なものになる。
本稿では,識別ネットワークとして構成された深層ニューラルネットワークが,学習セットから学習し,高速サロゲート電磁ソルバとして動作することを示す。
また、深層生成ネットワークがデバイス分布の幾何学的特徴をどのように学習し、強固なグローバルオプティマイザとして機能するかについても検討する。
ネットワークトレーニングプロセス、異なるネットワーククラスとアーキテクチャのデライン化、次元の縮小など、フォトニクスのコンテキスト内で構成された基本的なデータサイエンスの概念についても論じる。 The data sciences revolution is poised to transform the way photonic systems are simulated and designed. Photonics are in many ways an ideal substrate for machine learning: the objective of much of computational electromagnetics is the capture of non-linear relationships in high dimensional spaces, which is the core strength of neural networks. Additionally, the mainstream availability of Maxwell solvers makes the training and evaluation of neural networks broadly accessible and tailorable to specific problems. In this Review, we will show how deep neural networks, configured as discriminative networks, can learn from training sets and operate as high-speed surrogate electromagnetic solvers. We will also examine how deep generative networks can learn geometric features in device distributions and even be configured to serve as robust global optimizers. Fundamental data sciences concepts framed within the context of photonics will also be discussed, including the network training process, delineation of different network classes and architectures, and dimensionality reduction. | 翻訳日:2022-11-15 06:31:31 公開日:2020-06-30 |
| # 外れ値を持つ部分空間近似 Subspace approximation with outliers ( http://arxiv.org/abs/2006.16573v1 ) ライセンス: Link先を確認 | Amit Deshpande and Rameshwar Pratap | (参考訳) 例えば、$d$次元の$x_{1},\ldots, x_{n} \in R^{d}$, an integer $1 \leq k \leq d$, and a outlier parameter $0 \leq \alpha \leq 1$, for given $n$ points in $d$ dimensions $x_{1},\ldots, x_{n} \in R^{d}$, an outlier parameter $0 \leq \alpha \leq 1$, to find $k$-dimensional linear subspace of $R^{d}$は、最も近い$(1-\alpha)n$点への平方距離の和を最小化する。
より一般に、外接点を持つ$\ell_{p}$ 部分空間近似問題は、平方距離の和ではなく、距離の$p$-次元の和を最小化する。
堅牢なPCAの場合でさえ非自明であり、以前の作業は入力に対して追加の仮定を必要とする。
外れ値を持つ部分空間近似問題に対する乗法近似アルゴリズムは、ロバストな部分空間回復問題を解かなければならないが、最適解の 1-\alpha)n$ inlier がちょうど$k$次元の線型部分空間上にあることを約束する特別な場合である。
しかし、ロバストなサブスペースリカバリはSmall Set Expansion (SSE)-hardである。
そこで本研究では,部分空間近似問題に対するサンプリングに基づく次元縮小法と双クリップ近似法について述べる。
ロバストな部分空間復元のsse-ハードネスを回避するために、最適な$(1-\alpha)n$イリアー上で和される最適な$k$-次元部分空間の2乗距離誤差は、いくつかの$0 < \delta \leq 1\alpha$ に対して、少なくとも$\delta$倍の2乗誤差であると仮定する。
この仮定により、最適解に対する乗法 $(1+\epsilon)$近似を与える$k$-次元部分空間を含むスパンを持つ $poly(k/\epsilon) \log(1/\delta) \log\log(1/\delta)$point の部分集合を見つける効率的なアルゴリズムを与える。
我々のアルゴリズムの実行時間は$n$と$d$で線形である。
興味深いことに、この結果は、明らかな条件 $0 < \delta \leq 1 - \alpha$ が満たされる限り、外れ値 $\alpha$ の比率が大きい場合にも成り立つ。 The subspace approximation problem with outliers, for given $n$ points in $d$ dimensions $x_{1},\ldots, x_{n} \in R^{d}$, an integer $1 \leq k \leq d$, and an outlier parameter $0 \leq \alpha \leq 1$, is to find a $k$-dimensional linear subspace of $R^{d}$ that minimizes the sum of squared distances to its nearest $(1-\alpha)n$ points. More generally, the $\ell_{p}$ subspace approximation problem with outliers minimizes the sum of $p$-th powers of distances instead of the sum of squared distances. Even the case of robust PCA is non-trivial, and previous work requires additional assumptions on the input. Any multiplicative approximation algorithm for the subspace approximation problem with outliers must solve the robust subspace recovery problem, a special case in which the $(1-\alpha)n$ inliers in the optimal solution are promised to lie exactly on a $k$-dimensional linear subspace. However, robust subspace recovery is Small Set Expansion (SSE)-hard. We show how to extend dimension reduction techniques and bi-criteria approximations based on sampling to the problem of subspace approximation with outliers. To get around the SSE-hardness of robust subspace recovery, we assume that the squared distance error of the optimal $k$-dimensional subspace summed over the optimal $(1-\alpha)n$ inliers is at least $\delta$ times its squared-error summed over all $n$ points, for some $0 < \delta \leq 1 - \alpha$. With this assumption, we give an efficient algorithm to find a subset of $poly(k/\epsilon) \log(1/\delta) \log\log(1/\delta)$ points whose span contains a $k$-dimensional subspace that gives a multiplicative $(1+\epsilon)$-approximation to the optimal solution. The running time of our algorithm is linear in $n$ and $d$. Interestingly, our results hold even when the fraction of outliers $\alpha$ is large, as long as the obvious condition $0 < \delta \leq 1 - \alpha$ is satisfied. | 翻訳日:2022-11-15 06:25:31 公開日:2020-06-30 |
| # 安全を追求する時が来た: タイムドシステムのためのシールド合成 It's Time to Play Safe: Shield Synthesis for Timed Systems ( http://arxiv.org/abs/2006.16688v1 ) ライセンス: Link先を確認 | Roderick Bloem, Peter Gj{\o}l Jensen, Bettina K\"onighofer, Kim Guldstrand Larsen, Florian Lorber and Alexander Palmisano | (参考訳) 安全クリティカルリアルタイムシステムの誤った振る舞いは深刻な結果をもたらす可能性がある。
本稿では,タイムド・オートマトンとして与えられる安全特性からタイムド・シールドを合成する方法を示す。
時間付きシールドは、可能な限りシステムに干渉しながら、ランニングシステムの安全性を強制する。
時間付きプレシールドと時間付きプレシールドを提示する。
タイムドプレシールドはシステムの前に置かれ、安全な出力のセットを提供する。
このセットはシステムの選択を制限する。
タイムドポストシールドはシステム後に実装される。
システムを監視し、必要に応じてのみシステムの出力を補正する。
さらに、タイムドポストシールド構造を拡張して、リカバリフェーズ、すなわち、仕様違反からシステムへの完全な制御が返される時点までの時間を保証する。
実験結果では, 車両小隊制御のための強化学習環境において, 小隊の学習・実行段階における安全を確保するために, 時間付きポストシールドを用い, その効果について検討した。 Erroneous behaviour in safety critical real-time systems may inflict serious consequences. In this paper, we show how to synthesize timed shields from timed safety properties given as timed automata. A timed shield enforces the safety of a running system while interfering with the system as little as possible. We present timed post-shields and timed pre-shields. A timed pre-shield is placed before the system and provides a set of safe outputs. This set restricts the choices of the system. A timed post-shield is implemented after the system. It monitors the system and corrects the system's output only if necessary. We further extend the timed post-shield construction to provide a guarantee on the recovery phase, i.e., the time between a specification violation and the point at which full control can be handed back to the system. In our experimental results, we use timed post-shields to ensure the safety in a reinforcement learning setting for controlling a platoon of cars, during the learning and execution phase, and study the effect. | 翻訳日:2022-11-15 06:24:15 公開日:2020-06-30 |
| # 対話を忘れるな:ロジスティック回帰を用いた新型コロナウイルス患者の死亡予測 Do not forget interaction: Predicting fatality of COVID-19 patients using logistic regression ( http://arxiv.org/abs/2006.16942v1 ) ライセンス: Link先を確認 | Feng Zhou, Tao Chen, and Baiying Lei | (参考訳) 新型コロナウイルス(covid-19)のパンデミックの中で、リスクの高い患者が回復できるかどうかは、ウイルスが患者に不可逆的な結果をもたらす前に、どの程度早期に適切な治療を受けるかに大きく依存する。
本研究では, 乳酸脱水素酵素, リンパ球 (%) および高感度c反応性蛋白(c-reactive protein) の3つの重要な血液バイオマーカーのみを用いて, 新型コロナウイルス患者の死亡率を予測するためのロジスティック回帰に基づく, 説明可能, 直感的, 正確な機械学習モデルとそれらの相互作用を報告した。
その結果,ロジスティック回帰モデルが生成する死亡確率が0.8以上であった場合,平均11.30日以上,最大34.91日前,累積f1-score93.76%,累積精度スコア93.92%であった。
このようなモデルは、3つの血液バイオマーカーでリスクの高い新型コロナウイルス患者を識別し、世界中の医療システムがこのパンデミックの中で重要な医療資源を計画するのに役立つ。 Amid the ongoing COVID-19 pandemic, whether COVID-19 patients with high risks can be recovered or not depends, to a large extent, on how early they will be treated appropriately before irreversible consequences are caused to the patients by the virus. In this research, we reported an explainable, intuitive, and accurate machine learning model based on logistic regression to predict the fatality rate of COVID-19 patients using only three important blood biomarkers, including lactic dehydrogenase, lymphocyte (%) and high-sensitivity C-reactive protein, and their interactions. We found that when the fatality probability produced by the logistic regression model was over 0.8, the model had the optimal performance in that it was able to predict patient fatalities more than 11.30 days on average with maximally 34.91 days in advance, an accumulative f1-score of 93.76% and and an accumulative accuracy score of 93.92%. Such a model can be used to identify COVID-19 patients with high risks with three blood biomarkers and help the medical systems around the world plan critical medical resources amid this pandemic. | 翻訳日:2022-11-15 06:24:00 公開日:2020-06-30 |
| # 学生成功予測における公正トレードオフの評価 Evaluation of Fairness Trade-offs in Predicting Student Success ( http://arxiv.org/abs/2007.00088v1 ) ライセンス: Link先を確認 | Hansol Lee and Ren\'e F. Kizilcec | (参考訳) リスクの高い学生を早期に識別するための予測モデルは、スタッフの直接的リソースを教育支援に役立てることができるが、教育におけるアルゴリズムシステムの公平性に関する懸念が高まっている。
予測モデルは、サポートを受ける人のバイアスを必然的に導入し、既存の不平等を悪化させる。
本稿では,大学経営記録に基づく学生成功予測モデルの構築により,この問題を考察する。
このモデルでは,3つの公正度尺度のうち2つに男女の偏見が認められた。
次に,3つの公正対策間のトレードオフを明らかにするために,モデルフェアネスを改善するためのポストホック調整を適用する。 Predictive models for identifying at-risk students early can help teaching staff direct resources to better support them, but there is a growing concern about the fairness of algorithmic systems in education. Predictive models may inadvertently introduce bias in who receives support and thereby exacerbate existing inequities. We examine this issue by building a predictive model of student success based on university administrative records. We find that the model exhibits gender and racial bias in two out of three fairness measures considered. We then apply post-hoc adjustments to improve model fairness to highlight trade-offs between the three fairness measures. | 翻訳日:2022-11-15 06:22:38 公開日:2020-06-30 |
| # モバイルリンク予測:知識グラフの自動生成とクラウドソースによる検証 Mobile Link Prediction: Automated Creation and Crowd-sourced Validation of Knowledge Graphs ( http://arxiv.org/abs/2006.16858v1 ) ライセンス: Link先を確認 | Mark Christopher Ballandies, Evangelos Pournaras | (参考訳) サイバー物理社会システム(CPSS)のための信頼できる知識グラフを構築することは困難である。
特に、人間の専門家に依存する現在のアプローチはスケーラビリティが限られているが、自動化されたアプローチは多くの場合、問題のある品質のナレッジグラフを生成するユーザに対して説明できない。
本稿では, 自動化, 専門家, クラウドソース市民の知識を組み合わせた, 広く普及する知識グラフ作成手法を提案する。
知識グラフは、透明性の向上と精度の校正のために人間によって検証された遺伝的プログラミングを使用して、リンクの自動予測を通じて成長する。
ナレッジグラフビルダーはスマートフォンなどの普及したデバイス向けに設計されており、すべての計算をローカライズすることでプライバシを保存する。
スマートフォン実装とスマートシティアプリケーションシナリオを含む実世界の社会実験において,知識グラフビルダーの精度,実用性,ユーザビリティを評価した。
提案する知識グラフ構築手法は,スマートフォン上での効率的な計算と,対話スループットの面での広汎な人的監督プロセスの実現可能性を示しながら,精度でベースライン手法より優れている。
これらの発見は、スマートシティーにおけるサイバー物理社会システムのための広汎な推論システムをクラウドソースし、運用するための新しい機会を約束している。 Building trustworthy knowledge graphs for cyber-physical social systems (CPSS) is a challenge. In particular, current approaches relying on human experts have limited scalability, while automated approaches are often not accountable to users resulting in knowledge graphs of questionable quality. This paper introduces a novel pervasive knowledge graph builder that brings together automation, experts' and crowd-sourced citizens' knowledge. The knowledge graph grows via automated link predictions using genetic programming that are validated by humans for improving transparency and calibrating accuracy. The knowledge graph builder is designed for pervasive devices such as smartphones and preserves privacy by localizing all computations. The accuracy, practicality, and usability of the knowledge graph builder is evaluated in a real-world social experiment that involves a smartphone implementation and a Smart City application scenario. The proposed knowledge graph building methodology outperforms the baseline method in terms of accuracy while demonstrating its efficient calculations on smartphones and the feasibility of the pervasive human supervision process in terms of high interactions throughput. These findings promise new opportunities to crowd-source and operate pervasive reasoning systems for cyber-physical social systems in Smart Cities. | 翻訳日:2022-11-15 06:15:21 公開日:2020-06-30 |
| # Autosploit: セキュリティ脆弱性の爆発性を評価するための完全に自動化されたフレームワーク Autosploit: A Fully Automated Framework for Evaluating the Exploitability of Security Vulnerabilities ( http://arxiv.org/abs/2007.00059v1 ) ライセンス: Link先を確認 | Noam Moscovich, Ron Bitton, Yakov Mallah, Masaki Inokuchi, Tomohiko Yagyu, Meir Kalech, Yuval Elovici, Asaf Shabtai | (参考訳) システムにセキュリティ脆弱性があるからといって、その脆弱性を悪用できるとは限らない。
本研究では,脆弱性の悪用性を評価する自動化フレームワークであるAutosploitを紹介する。
脆弱性のある環境と関連するエクスプロイトが与えられると、autosploitは、環境の異なる構成でエクスプロイトを自動的にテストし、既存の脆弱性のエクスプロイトの成功に必要な特定のプロパティを特定する。
可能なシステム構成をすべてテストすることは不可能であるため、環境の可能な構成をすべてテストし、検索するための効率的なアプローチを導入する。
autosploitによって実装された効率的なテストプロセスは、一般化バイナリ分割とバリネルという2つのアルゴリズムに基づいている。
提案フレームワークを実装し,実際の脆弱性を用いて評価した。
その結果、autosploitは無音環境と無音環境の両方において脆弱性を悪用する能力に影響を与えるシステム特性を自動的に特定できることがわかった。
これらの重要な結果は、より正確で効果的なリスク評価に利用できる。 The existence of a security vulnerability in a system does not necessarily mean that it can be exploited. In this research, we introduce Autosploit -- an automated framework for evaluating the exploitability of vulnerabilities. Given a vulnerable environment and relevant exploits, Autosploit will automatically test the exploits on different configurations of the environment in order to identify the specific properties necessary for successful exploitation of the existing vulnerabilities. Since testing all possible system configurations is infeasible, we introduce an efficient approach for testing and searching through all possible configurations of the environment. The efficient testing process implemented by Autosploit is based on two algorithms: generalized binary splitting and Barinel, which are used for noiseless and noisy environments respectively. We implemented the proposed framework and evaluated it using real vulnerabilities. The results show that Autosploit is able to automatically identify the system properties that affect the ability to exploit a vulnerability in both noiseless and noisy environments. These important results can be utilized for more accurate and effective risk assessment. | 翻訳日:2022-11-15 06:15:00 公開日:2020-06-30 |
| # 予測から処方薬:COVID-19に対するデータ駆動応答 From predictions to prescriptions: A data-driven response to COVID-19 ( http://arxiv.org/abs/2006.16509v1 ) ライセンス: Link先を確認 | Dimitris Bertsimas, L\'eonard Boussioux, Ryan Cory Wright, Arthur Delarue, Vassilis Digalakis Jr., Alexandre Jacquillat, Driss Lahlou Kitane, Galit Lukin, Michael Lingzhi Li, Luca Mingardi, Omid Nohadani, Agni Orfanoudaki, Theodore Papalexopoulos, Ivan Paskov, Jean Pauphilet, Omar Skali Lami, Bartolomeo Stellato, Hamza Tazi Bouardi, Kimberly Villalobos Carballo, Holly Wiberg, Cynthia Zeng | (参考訳) 新型コロナウイルスのパンデミックは世界中で前例のない課題を生み出している。
歪んだ医療提供者は毎日、患者のトリアージ、治療、ケア管理について難しい決断を下す。
政策当局者は、経済価格の急騰で、感染を鈍化させるための社会的距離調整措置を講じている。
我々はこれらの決定を支持し、パンデミックと戦う分析ツールを設計する。
具体的には、新型コロナウイルスの臨床的特徴を理解し、その死亡を予測し、その進化を予測し、最終的にその影響を緩和する包括的データ駆動アプローチを提案する。
コホートレベルの臨床データ、患者レベルの病院データ、および国勢調査レベルの疫学データを活用することで、記述的、予測的、規範的分析を組み合わせた統合4段階のアプローチを開発する。
まず、新型コロナウイルスに関する最も包括的なデータベースに数百の臨床研究をまとめて、この病気の新たなマクロなイメージを描きます。
第2に,人口動態,症状,共生,検査値の関数として,感染と死亡のリスクを予測するパーソナライズド計算機を構築した。
第3に,新型疫学モデルを開発し,パンデミックの広がりを予測し,ソーシャルディスタンシング政策に通知する。
第4に,人工呼吸器の再配置と不足軽減のための最適化モデルを提案する。
臨床レベルでは, 患者トリアージ, ガイドケア管理, ICU 容量計画, 再拡張人工呼吸器を施行した。
政策レベルでは現在、大手製薬会社で安全なバック・トゥ・ワーク政策を支援し、大手製薬会社で平等ワクチン配布計画を策定しており、米国疾病管理センターのパンデミック予報に統合された。 The COVID-19 pandemic has created unprecedented challenges worldwide. Strained healthcare providers make difficult decisions on patient triage, treatment and care management on a daily basis. Policy makers have imposed social distancing measures to slow the disease, at a steep economic price. We design analytical tools to support these decisions and combat the pandemic. Specifically, we propose a comprehensive data-driven approach to understand the clinical characteristics of COVID-19, predict its mortality, forecast its evolution, and ultimately alleviate its impact. By leveraging cohort-level clinical data, patient-level hospital data, and census-level epidemiological data, we develop an integrated four-step approach, combining descriptive, predictive and prescriptive analytics. First, we aggregate hundreds of clinical studies into the most comprehensive database on COVID-19 to paint a new macroscopic picture of the disease. Second, we build personalized calculators to predict the risk of infection and mortality as a function of demographics, symptoms, comorbidities, and lab values. Third, we develop a novel epidemiological model to project the pandemic's spread and inform social distancing policies. Fourth, we propose an optimization model to re-allocate ventilators and alleviate shortages. Our results have been used at the clinical level by several hospitals to triage patients, guide care management, plan ICU capacity, and re-distribute ventilators. At the policy level, they are currently supporting safe back-to-work policies at a major institution and equitable vaccine distribution planning at a major pharmaceutical company, and have been integrated into the US Center for Disease Control's pandemic forecast. | 翻訳日:2022-11-15 06:14:14 公開日:2020-06-30 |
| # 中間値原理を用いたロバストカーネル密度推定 Robust Kernel Density Estimation with Median-of-Means principle ( http://arxiv.org/abs/2006.16590v1 ) ライセンス: Link先を確認 | Pierre Humbert (ENS Paris Saclay), Batiste Le Bars (ENS Paris Saclay), Ludovic Minvielle (ENS Paris Saclay), Nicolas Vayatis (ENS Paris Saclay) | (参考訳) 本稿では,一般的なカーネル密度推定法と中間平均原理(MoM-KDE)を組み合わせた頑健な非パラメトリック密度推定手法を提案する。
この推定器は, 対向汚染の場合であっても, 任意の異常データに対して頑健性が得られることを示す。
特に、以前の研究は既知の汚染モデルの下での整合性しか証明していないが、この研究は、外れ値について事前知識を持たない有限サンプルの高確率誤差バウンドを提供する。
最後に、他の頑健なカーネル推定器と比較すると、MoM-KDEは計算複雑性を著しく低くしながら競合する結果が得られることを示す。 In this paper, we introduce a robust nonparametric density estimator combining the popular Kernel Density Estimation method and the Median-of-Means principle (MoM-KDE). This estimator is shown to achieve robustness to any kind of anomalous data, even in the case of adversarial contamination. In particular, while previous works only prove consistency results under known contamination model, this work provides finite-sample high-probability error-bounds without a priori knowledge on the outliers. Finally, when compared with other robust kernel estimators, we show that MoM-KDE achieves competitive results while having significant lower computational complexity. | 翻訳日:2022-11-15 06:13:28 公開日:2020-06-30 |
| # グラフラプラシアン,リーマン多様体とその機械学習 Graph Laplacians, Riemannian Manifolds and their Machine-Learning ( http://arxiv.org/abs/2006.16619v1 ) ライセンス: Link先を確認 | Yang-Hui He, Shing-Tung Yau | (参考訳) グラフラプラシアンや関連するスペクトル不等式や(共-)ホモロジーはリーマン多様体の離散的な類似に進出し、組合せ論、幾何学、理論物理学の間の豊富な相互作用を与える。
本稿では,データサイエンスにおける最新の技術として,教師付き・教師なし機械学習とトポロジ的データ解析を,これらの対応を研究するために,約8000個の有限グラフからなるWolframデータベースに適用する。
グラフのリッチ平坦性認識からスペクトルギャップの予測,ハミルトン周期の存在の検出に至るまで,多数のタスクを効率的に,高精度に,ニューラルネットワークの分類器や回帰器,ネットワークが実行可能であることが確認された。 Graph Laplacians as well as related spectral inequalities and (co-)homology provide a foray into discrete analogues of Riemannian manifolds, providing a rich interplay between combinatorics, geometry and theoretical physics. We apply some of the latest techniques in data science such as supervised and unsupervised machine-learning and topological data analysis to the Wolfram database of some 8000 finite graphs in light of studying these correspondences. Encouragingly, we find that neural classifiers, regressors and networks can perform, with high efficiently and accuracy, a multitude of tasks ranging from recognizing graph Ricci-flatness, to predicting the spectral gap, to detecting the presence of Hamiltonian cycles, etc. | 翻訳日:2022-11-15 06:13:15 公開日:2020-06-30 |
| # 項書き換えによる状況計算 Situation Calculus by Term Rewriting ( http://arxiv.org/abs/2007.00125v1 ) ライセンス: Link先を確認 | David A. Plaisted | (参考訳) 状況を一階の項として表現する状況計算の版が提示される。
fluentsは用語の構造から計算でき、状況に関するアクションは用語の規則を書き直すことに対応する。
流動のサブセットにのみ依存または影響するアクションは、いくつかの場合において、項のサブタームで動作する書き換え規則として記述することができる。
アクションが双方向である場合、効率的な補完手法が計画問題を解決するために使用できる。
この状況と行動の表現は、より柔軟であり、より使用が亜項構造から成り立つことを除いて、Thielscher \cite{Thielscher98} の流動計算と最もよく似ている。
いくつか例を挙げ、そのような書き換え規則を構成するための一般的な方法をいくつか提示する。
この論文は2019年12月23日にFSCD 2020に提出された。 A version of the situation calculus in which situations are represented as first-order terms is presented. Fluents can be computed from the term structure, and actions on the situations correspond to rewrite rules on the terms. Actions that only depend on or influence a subset of the fluents can be described as rewrite rules that operate on subterms of the terms in some cases. If actions are bidirectional then efficient completion methods can be used to solve planning problems. This representation for situations and actions is most similar to the fluent calculus of Thielscher \cite{Thielscher98}, except that this representation is more flexible and more use is made of the subterm structure. Some examples are given, and a few general methods for constructing such sets of rewrite rules are presented. This paper was submitted to FSCD 2020 on December 23, 2019. | 翻訳日:2022-11-15 06:06:38 公開日:2020-06-30 |
| # マルチビュー周波数LSTM:自動音声認識のための効率的なフロントエンド Multi-view Frequency LSTM: An Efficient Frontend for Automatic Speech Recognition ( http://arxiv.org/abs/2007.00131v1 ) ライセンス: Link先を確認 | Maarten Van Segbroeck, Harish Mallidih, Brian King, I-Fan Chen, Gurpreet Chadha, Roland Maas | (参考訳) リアルタイム音声認識システムにおける音響モデルは通常、複数の一方向lstm層を積み重ねて音響フレームを時間をかけて処理する。
バニラLSTMアーキテクチャの性能改善は、周波数LSTM(FLSTM)層のスタックを時間LSTMに前倒しすることで報告されている。
これらのFLSTM層は、音響入力信号の時間周波数相関をモデル化することにより、時刻LSTM層に対してより堅牢な入力特徴を学習することができる。
しかし、FLSTMベースのアーキテクチャの欠点は、事前に定義された、調整されたウィンドウサイズとストライドで動作することであり、この論文では「ビュー」と呼ばれている。
本稿では,複数のFLSTMスタックの出力を異なるビューに組み合わせて,次元の縮小した特徴表現に簡易かつ効率的な修正を提案する。
提案したマルチビュー FLSTM アーキテクチャは,単一ビューの FLSTM モデルと比較してより広い時間周波数相関をモデル化することができる。
CTC損失とsMBRシークエンストレーニングを併用した50K時間英語遠距離音声データのトレーニングを行ったところ、このマルチビューFLSTM音響モデルは、類似した計算フットプリントを維持しつつ、異なる話者および音響環境シナリオに対して3-7%の相対的なワード誤り率(WER)改善を提供することを示した。 Acoustic models in real-time speech recognition systems typically stack multiple unidirectional LSTM layers to process the acoustic frames over time. Performance improvements over vanilla LSTM architectures have been reported by prepending a stack of frequency-LSTM (FLSTM) layers to the time LSTM. These FLSTM layers can learn a more robust input feature to the time LSTM layers by modeling time-frequency correlations in the acoustic input signals. A drawback of FLSTM based architectures however is that they operate at a predefined, and tuned, window size and stride, referred to as 'view' in this paper. We present a simple and efficient modification by combining the outputs of multiple FLSTM stacks with different views, into a dimensionality reduced feature representation. The proposed multi-view FLSTM architecture allows to model a wider range of time-frequency correlations compared to an FLSTM model with single view. When trained on 50K hours of English far-field speech data with CTC loss followed by sMBR sequence training, we show that the multi-view FLSTM acoustic model provides relative Word Error Rate (WER) improvements of 3-7% for different speaker and acoustic environment scenarios over an optimized single FLSTM model, while retaining a similar computational footprint. | 翻訳日:2022-11-15 06:05:53 公開日:2020-06-30 |
| # 深部画像分割を伴う手術用フローシートグラフの手書きシンボル認識 Hand-drawn Symbol Recognition of Surgical Flowsheet Graphs with Deep Image Segmentation ( http://arxiv.org/abs/2006.16546v1 ) ライセンス: Link先を確認 | William Adorno III, Angela Yi, Marcel Durieux, Donald Brown | (参考訳) 周術期データは, 手術成績不良の原因調査に不可欠である。
低所得国や中所得国では、手術用フローシートのデジタル化が欠如しているため、これらのデータは計算上アクセスできない。
本稿では,U-Netアーキテクチャを用いて,フローシートグラフ上で手書きシンボルを検出するディープイメージセグメンテーション手法を提案する。
セグメンテーションマスクの出力は、各シンボル固有の技法で後処理され、数値に変換する。
U-Net法は、適切な時間間隔で、心拍数と血圧のシンボルを99%以上の精度で検出することができる。
予測の95%以上は、実際の値と比較して5の絶対誤差に該当する。
ディープラーニングモデルは、トレーニングセットで利用可能な注釈付きイメージの小さなサイズであっても、テンプレートマッチングを上回っていた。 Perioperative data are essential to investigating the causes of adverse surgical outcomes. In some low to middle income countries, these data are computationally inaccessible due to a lack of digitization of surgical flowsheets. In this paper, we present a deep image segmentation approach using a U-Net architecture that can detect hand-drawn symbols on a flowsheet graph. The segmentation mask outputs are post-processed with techniques unique to each symbol to convert into numeric values. The U-Net method can detect, at the appropriate time intervals, the symbols for heart rate and blood pressure with over 99 percent accuracy. Over 95 percent of the predictions fall within an absolute error of five when compared to the actual value. The deep learning model outperformed template matching even with a small size of annotated images available for the training set. | 翻訳日:2022-11-15 06:05:28 公開日:2020-06-30 |
| # 生スペクトルoctデータを用いた深層学習による針先力推定 Needle tip force estimation by deep learning from raw spectral OCT data ( http://arxiv.org/abs/2006.16675v1 ) ライセンス: Link先を確認 | M. Gromniak and N. Gessert and T. Saathoff and A. Schlaefer | (参考訳) 目的
針の配置は生検やブラキセラピーなどの応用において難しい問題である。
先端力センシングは、組織内の針のナビゲーションに有用なフィードバックを提供する。
この目的のために、光ファイバーセンサーを針先端に直接組み込むことができる。
光コヒーレンス断層撮影(oct)は組織を撮影するために用いられる。
ここでは、ロボット針の配置など、OCTを校正して力を検出する方法について検討する。
メソッド。
画像再構成を行なわない生スペクトルCTデータを用いて,光信号と力の深い校正を向上できるかを検討する。
この目的のために、畳み込みニューラルネットワーク(CNN)を用いて調整された、より堅牢な新しい設計の針を3つ検討する。
我々は,CNNを生のOCT信号と再構成深度プロファイルと比較した。
結果だ
その結果,最大CNNモデルの入力として生データを用いることで,8.04mNに比べて平均絶対誤差5.81mNの再構成データの利用に優れることがわかった。
結論だ
生のスペクトルオクターデータを用いた深層学習は、力の推定タスクの学習を改善することができる。
我々の針設計と校正手法は、針先端の力を測定するための非常に正確な光ファイバセンサを構成する。 Purpose. Needle placement is a challenging problem for applications such as biopsy or brachytherapy. Tip force sensing can provide valuable feedback for needle navigation inside the tissue. For this purpose, fiber-optical sensors can be directly integrated into the needle tip. Optical coherence tomography (OCT) can be used to image tissue. Here, we study how to calibrate OCT to sense forces, e.g. during robotic needle placement. Methods. We investigate whether using raw spectral OCT data without a typical image reconstruction can improve a deep learning-based calibration between optical signal and forces. For this purpose, we consider three different needles with a new, more robust design which are calibrated using convolutional neural networks (CNNs). We compare training the CNNs with the raw OCT signal and the reconstructed depth profiles. Results. We find that using raw data as an input for the largest CNN model outperforms the use of reconstructed data with a mean absolute error of 5.81 mN compared to 8.04 mN. Conclusions. We find that deep learning with raw spectral OCT data can improve learning for the task of force estimation. Our needle design and calibration approach constitute a very accurate fiber-optical sensor for measuring forces at the needle tip. | 翻訳日:2022-11-15 06:04:57 公開日:2020-06-30 |
| # 画像・空間変換器ネットワークを用いたマルチサイトデータの高調波化 Image-level Harmonization of Multi-Site Data using Image-and-Spatial Transformer Networks ( http://arxiv.org/abs/2006.16741v1 ) ライセンス: Link先を確認 | R. Robinson, Q. Dou, D.C. Castro, K. Kamnitsas, M. de Groot, R.M. Summers, D. Rueckert, B. Glocker | (参考訳) マルチサイト医療画像データにおける領域シフトに取り組むために,画像・空間変換ネットワーク(ISTN)を用いて検討した。
一般的に、ドメイン適応(DA)はドメイン間変換の説明可能性はほとんど考慮されず、しばしば潜在領域の機能レベルで実行される。
画像レベルでは,説明可能な外観や形状変化に変換を制約する ISTN を用いる。
概念実証として, シミュレーション2次元データを用いた分類問題に対して, ISTNを逆向きに訓練できることを示す。
実データ検証のために,Cam-CANとBritish Biobankによる2つの3次元脳MRIデータセットを構築し,取得と人口差による領域シフトを調査した。
istn出力でトレーニングされた年齢回帰モデルと性別分類モデルによって、あるサイトからのデータをトレーニングし、別のサイトでテストする場合の一般化が向上することが示された。 We investigate the use of image-and-spatial transformer networks (ISTNs) to tackle domain shift in multi-site medical imaging data. Commonly, domain adaptation (DA) is performed with little regard for explainability of the inter-domain transformation and is often conducted at the feature-level in the latent space. We employ ISTNs for DA at the image-level which constrains transformations to explainable appearance and shape changes. As proof-of-concept we demonstrate that ISTNs can be trained adversarially on a classification problem with simulated 2D data. For real-data validation, we construct two 3D brain MRI datasets from the Cam-CAN and UK Biobank studies to investigate domain shift due to acquisition and population differences. We show that age regression and sex classification models trained on ISTN output improve generalization when training on data from one and testing on the other site. | 翻訳日:2022-11-15 06:04:39 公開日:2020-06-30 |
| # FVV Live: リアルタイム、低コスト、無料ビューポイントビデオ FVV Live: Real-Time, Low-Cost, Free Viewpoint Video ( http://arxiv.org/abs/2006.16893v1 ) ライセンス: Link先を確認 | Daniel Berj\'on, Pablo Carballeira, Juli\'an Cabrera, Carlos Carmona, Daniel Corregidor, C\'esar D\'iaz, Francisco Mor\'an, Narciso Garc\'ia | (参考訳) fvv liveは、エッジサーバのキャプチャ、送信、合成、モバイル端末の可視化と制御を含む、新しいリアルタイム、低レイテンシ、エンドツーエンドのフリービューシステムである。
このシステムは、市販コンポーネントのみを使用して、低コストかつリアルタイムな運用のために特別に設計された。 FVV Live is a novel real-time, low-latency, end-to-end free viewpoint system including capture, transmission, synthesis on an edge server and visualization and control on a mobile terminal. The system has been specially designed for low-cost and real-time operation, only using off-the-shelf components. | 翻訳日:2022-11-15 06:04:22 公開日:2020-06-30 |
| # priorgan: 生成型adversarial netsに先行する実データ PriorGAN: Real Data Prior for Generative Adversarial Nets ( http://arxiv.org/abs/2006.16990v1 ) ライセンス: Link先を確認 | Shuyang Gu, Jianmin Bao, Dong Chen, Fang Wen | (参考訳) generative adversarial networks (gans) は、リッチなデータ分布の学習において急速に進歩した。
しかし、既存の技術の主な2つの問題について論じる。
第一に、学習した分布が大量の低品質サンプルを持つ低品質問題である。
第二に、学習した分布が実際のデータ分布の特定の領域を逸脱する欠落モードの問題である。
これら2つの問題に対処するため,我々は,GAN(PreferGAN)と呼ばれる,GANの実際のデータ分布全体をキャプチャする手法を提案する。
具体的には、単純かつエレガントなガウス混合モデル(gmm)を採用し、実データ全体の特徴量に明示的な確率分布を構築する。
生成データの確率を最大化することで、低品質のサンプルを高品質にプッシュすることができる。
一方,先行手法を用いて学習した分布の欠落モードを推定し,実データに基づくサンプリング戦略を設計し,その問題を解決する。
提案した実データは,LSGAN,WGAN-GP,SNGAN,さらにはStyleGANなど,さまざまなトレーニング設定に一般化することができる。
実験の結果,CIFAR-10,FFHQ,LSUN-cat,LSUN-birdのデータセットにおいて,プリエントGANは最先端のデータセットよりも大きな差があることがわかった。 Generative adversarial networks (GANs) have achieved rapid progress in learning rich data distributions. However, we argue about two main issues in existing techniques. First, the low quality problem where the learned distribution has massive low quality samples. Second, the missing modes problem where the learned distribution misses some certain regions of the real data distribution. To address these two issues, we propose a novel prior that captures the whole real data distribution for GANs, which are called PriorGANs. To be specific, we adopt a simple yet elegant Gaussian Mixture Model (GMM) to build an explicit probability distribution on the feature level for the whole real data. By maximizing the probability of generated data, we can push the low quality samples to high quality. Meanwhile, equipped with the prior, we can estimate the missing modes in the learned distribution and design a sampling strategy on the real data to solve the problem. The proposed real data prior can generalize to various training settings of GANs, such as LSGAN, WGAN-GP, SNGAN, and even the StyleGAN. Our experiments demonstrate that PriorGANs outperform the state-of-the-art on the CIFAR-10, FFHQ, LSUN-cat, and LSUN-bird datasets by large margins. | 翻訳日:2022-11-15 06:04:15 公開日:2020-06-30 |
| # 時間情報を活用した3次元検出と領域適応 Leveraging Temporal Information for 3D Detection and Domain Adaptation ( http://arxiv.org/abs/2006.16796v1 ) ライセンス: Link先を確認 | Cunjun Yu, Zhongang Cai, Daxuan Ren, Haiyu Zhao | (参考訳) 自動運転におけるlidarの利用が普及して以来、ポイントクラウドでの学習に多大な改善が加えられてきた。
しかし、最近の進歩は、時間的情報を広範囲に探ることなく、単一の360度スイープで物体を検出することに集中している。
本報告では,ポイントクラウドにタイムスタンプを追加することで,学習パイプラインにこのような情報を渡す簡単な方法について述べる。 Ever since the prevalent use of the LiDARs in autonomous driving, tremendous improvements have been made to the learning on the point clouds. However, recent progress largely focuses on detecting objects in a single 360-degree sweep, without extensively exploring the temporal information. In this report, we describe a simple way to pass such information in the learning pipeline by adding timestamps to the point clouds, which shows consistent improvements across all three classes. | 翻訳日:2022-11-15 05:57:34 公開日:2020-06-30 |
| # 自分だけに見える:教師なし、訓練なしの単一の画像デハザリングニューラルネットワーク You Only Look Yourself: Unsupervised and Untrained Single Image Dehazing Neural Network ( http://arxiv.org/abs/2006.16829v1 ) ライセンス: Link先を確認 | Boyun Li, Yuanbiao Gou, Shuhang Gu, Jerry Zitao Liu, Joey Tianyi Zhou, Xi Peng | (参考訳) 本稿では, 深層学習を地中清浄画像(教師なし)と画像収集(非教師なし)で訓練することなく, 画像デハジングを実現する方法について, 単一画像デハジングにおける課題と課題の2つについて検討する。
教師なしニューラルネットワークは、hazy-clean画像ペアの集中的な労力の収集を回避し、訓練されていないモデルは、観察されたhazy画像自体のみに基づいてhazeを除去し、余分な画像を使用しない‘'単一イメージデハジングアプローチである。
層解離のアイデアに触発されて、イメージデハジングのための最初の教師なし未学習ニューラルネットワークの1つとして、あなた自身(\textbf{YOLY})と呼ばれる新しい手法を提案する。
簡単に言うと、yolyは観測されたヘイジー画像を複数の潜伏層、すなわち \textit{i.e}, scene radiance layer, transmission map layer, and atmospheric light layerに分割するために3つのサブネットワークを使用している。
その後、これら3つの層は、自己監督的な方法で、さらにヘイズ画像に構成される。
YOLYの教師なし・訓練されていない特徴により,本手法は,ハジークリーンペアや大規模データセットの深層モデルの従来の訓練パラダイムをバイパスし,労働集約データ収集やドメインシフトの問題を回避する。
さらに,本手法は,その層交絡機構により,効果的な学習ベースヘイズ伝達ソリューションも提供する。
4つのデータベース上の14の手法と比較して,画像デハージングにおける本手法の有望な性能を示す。 In this paper, we study two challenging and less-touched problems in single image dehazing, namely, how to make deep learning achieve image dehazing without training on the ground-truth clean image (unsupervised) and a image collection (untrained). An unsupervised neural network will avoid the intensive labor collection of hazy-clean image pairs, and an untrained model is a ``real'' single image dehazing approach which could remove haze based on only the observed hazy image itself and no extra images is used. Motivated by the layer disentanglement idea, we propose a novel method, called you only look yourself (\textbf{YOLY}) which could be one of the first unsupervised and untrained neural networks for image dehazing. In brief, YOLY employs three jointly subnetworks to separate the observed hazy image into several latent layers, \textit{i.e.}, scene radiance layer, transmission map layer, and atmospheric light layer. After that, these three layers are further composed to the hazy image in a self-supervised manner. Thanks to the unsupervised and untrained characteristics of YOLY, our method bypasses the conventional training paradigm of deep models on hazy-clean pairs or a large scale dataset, thus avoids the labor-intensive data collection and the domain shift issue. Besides, our method also provides an effective learning-based haze transfer solution thanks to its layer disentanglement mechanism. Extensive experiments show the promising performance of our method in image dehazing compared with 14 methods on four databases. | 翻訳日:2022-11-15 05:57:27 公開日:2020-06-30 |
| # ニューラルネットワークの一般化のためのレースカートレーニングによるデータ駆動正規化 Data-driven Regularization via Racecar Training for Generalizing Neural Networks ( http://arxiv.org/abs/2007.00024v1 ) ライセンス: Link先を確認 | You Xie, Nils Thuerey | (参考訳) ニューラルネットワークの一般化を改善するための新しいトレーニング手法を提案する。
直交性に対する正規制約とは対照的に、我々のアプローチは直交性制約を表すものであり、重み行列の特異値分解と密接に関連していることが示される。
また,ネットワークの内部状態の全シーケンスを再構築することを目的とした逆パスにより,現実的なネットワークアーキテクチャにおいて,私たちの定式化が容易に実現できることを示す。
驚くほど単純な変更ではあるが、この前向きのトレーニングアプローチは、私たちが“em racecar”トレーニングと呼んでいるが、与えられたデータセットからより汎用的な特徴を抽出することに繋がる。
提案手法で学習したネットワークは,すべての層で入力と出力のバランスが良くなり,説明性が向上し,各種タスクやタスク転送の性能が向上した。 We propose a novel training approach for improving the generalization in neural networks. We show that in contrast to regular constraints for orthogonality, our approach represents a {\em data-dependent} orthogonality constraint, and is closely related to singular value decompositions of the weight matrices. We also show how our formulation is easy to realize in practical network architectures via a reverse pass, which aims for reconstructing the full sequence of internal states of the network. Despite being a surprisingly simple change, we demonstrate that this forward-backward training approach, which we refer to as {\em racecar} training, leads to significantly more generic features being extracted from a given data set. Networks trained with our approach show more balanced mutual information between input and output throughout all layers, yield improved explainability and, exhibit improved performance for a variety of tasks and task transfers. | 翻訳日:2022-11-15 05:56:02 公開日:2020-06-30 |
| # 人間心理物理学を用いたテキスト認識モデルにおける一般化評価 Using Human Psychophysics to Evaluate Generalization in Scene Text Recognition Models ( http://arxiv.org/abs/2007.00083v1 ) ライセンス: Link先を確認 | Sahar Siddiqui, Elena Sizikova, Gemma Roig, Najib J. Majaj, Denis G. Pelli | (参考訳) 近年,シーンテキスト認識モデルが大きく進歩している。
人間の読みにインスパイアされた2つの重要なシーンテキスト認識モデルについて,その領域,すなわち読み取ることができる刺激画像の範囲を測定することで特徴付ける。
このドメインは、読者が異なる単語の長さ、フォント、および閉塞量の一般化を行う能力を指定する。
これらのメトリクスは、既存のモデルの強みと弱みを特定する。
注意に基づく(Attn)モデルと比較して、結合性時間分類(CTC)モデルは雑音や閉塞に対してより堅牢であり、単語長の一般化がより優れていることが分かる。
さらに,いずれのモデルにおいても,訓練画像にノイズを加えると咬合の一般化が向上することを示す。
これらの結果は、失敗するまでのテストモデルの価値を示し、パフォーマンスの最適化に重点を置く従来のデータサイエンスを補完する。 Scene text recognition models have advanced greatly in recent years. Inspired by human reading we characterize two important scene text recognition models by measuring their domains i.e. the range of stimulus images that they can read. The domain specifies the ability of readers to generalize to different word lengths, fonts, and amounts of occlusion. These metrics identify strengths and weaknesses of existing models. Relative to the attention-based (Attn) model, we discover that the connectionist temporal classification (CTC) model is more robust to noise and occlusion, and better at generalizing to different word lengths. Further, we show that in both models, adding noise to training images yields better generalization to occlusion. These results demonstrate the value of testing models till they break, complementing the traditional data science focus on optimizing performance. | 翻訳日:2022-11-15 05:55:48 公開日:2020-06-30 |
| # バイナリ交差点の形式化 Binary intersection formalized ( http://arxiv.org/abs/2006.16711v1 ) ライセンス: Link先を確認 | \v{S}t\v{e}p\'an Holub and \v{S}t\v{e}p\'an Starosta | (参考訳) 我々は、Juhani Karhum\"akiによって古典的な結果の改定と形式化を提供し、$\{x,y\}^*\cap \{u,v\}^*$という形の2つの言語の交叉を特徴づける。
我々は、より短くより透明な方法で結果を定式化できる射の用語を使用し、証明アシスタントのIsabelle/HOLで結果を形式化する。 We provide a reformulation and a formalization of the classical result by Juhani Karhum\"aki characterizing intersections of two languages of the form $\{x,y\}^*\cap \{u,v\}^*$. We use the terminology of morphisms which allows to formulate the result in a shorter and more transparent way, and we formalize the result in the proof assistant Isabelle/HOL. | 翻訳日:2022-11-15 05:55:32 公開日:2020-06-30 |
| # 記述論理における非局所的問合せの有限化について On Finite Entailment of Non-Local Queries in Description Logics ( http://arxiv.org/abs/2006.16869v1 ) ライセンス: Link先を確認 | Tomasz Gogacz, V\'ictor Guti\'errez-Basulto, Albert Gutowski, Yazm\'in Ib\'a\~nez-Garc\'ia, Filip Murlak | (参考訳) オントロジーを媒介とするクエリの有限エンターメントの問題について検討する。
ローカルクエリを超えて、ロール上の推移的クロージャを許可します。
我々は、alcoi と alcoq の記述論理で定式化されたオントロジーに注目し、推移閉包で拡張する。
いずれの論理に対しても、推移的閉包を持つ連結クエリの和の有限部分に対する2exptime upperboundsを示す。
また, ALC における推移的閉包を伴う接続クエリの有限包含が 2EXPTIME-hard であることを示す。 We study the problem of finite entailment of ontology-mediated queries. Going beyond local queries, we allow transitive closure over roles. We focus on ontologies formulated in the description logics ALCOI and ALCOQ, extended with transitive closure. For both logics, we show 2EXPTIME upper bounds for finite entailment of unions of conjunctive queries with transitive closure. We also provide a matching lower bound by showing that finite entailment of conjunctive queries with transitive closure in ALC is 2EXPTIME-hard. | 翻訳日:2022-11-15 05:55:23 公開日:2020-06-30 |
| # 不定水平PMDPの検証 Verification of indefinite-horizon POMDPs ( http://arxiv.org/abs/2007.00102v1 ) ライセンス: Link先を確認 | Alexander Bork, Sebastian Junges, Joost-Pieter Katoen, Tim Quatmann | (参考訳) mdpsの検証問題は、非決定性を解決するポリシーに対して、何か悪いことが起こる確率が与えられたしきい値によって制限されるかどうかを問うものである。
この検証問題は、しばしば過度に悲観的であり、それが考慮しているポリシーは完全なシステム状態に依存する可能性がある。
本稿では,システムによって放出される観測に基づいて,政策が決定を行う部分観測可能なmdpの検証問題について考察する。
lovejoy-approach の以前のインスタンスを拡張した抽象再定義フレームワークを提案する。
実験の結果,このフレームワークはアプローチのスケーラビリティを大幅に改善することがわかった。 The verification problem in MDPs asks whether, for any policy resolving the nondeterminism, the probability that something bad happens is bounded by some given threshold. This verification problem is often overly pessimistic, as the policies it considers may depend on the complete system state. This paper considers the verification problem for partially observable MDPs, in which the policies make their decisions based on (the history of) the observations emitted by the system. We present an abstraction-refinement framework extending previous instantiations of the Lovejoy-approach. Our experiments show that this framework significantly improves the scalability of the approach. | 翻訳日:2022-11-15 05:55:14 公開日:2020-06-30 |
| # コリファレンス解決タスクのためのセグメンテーションアプローチ Segmentation Approach for Coreference Resolution Task ( http://arxiv.org/abs/2007.04301v1 ) ライセンス: Link先を確認 | Aref Jafari, Ali Ghodsi | (参考訳) コレファレンス解決では、コレファレンスクラスタのすべてのメンバを考慮し、それらをすべて同時に決定することが重要である。
この技術は精度の低下や長距離関係の発見にも有効である。
本論文は,文献に記載されたすべての参照項を1パスで解決できる,コリファレンス解決のための新しいアプローチを提案する,アイデアに関する継続的な研究の報告である。
これは、ドキュメント内のコリファレンスクラスタのすべてのメンバの位置に対する埋め込みメソッドを定義し、それらすべてを所定の言及のために解決することで実現されている。
提案手法では,文書のエンコードにBERTモデルを,埋め込みトークン間の関係を捉えるために設計したヘッダネットワークを用いている。
これらは提案されたスパン位置埋め込み行列に変換され、ドキュメント内のすべてのコア参照参照の位置を埋め込む。
我々は、conll 2012データセットでこのアイデアをテストし、この方法による予備的な結果は最先端の結果を完全に満たさないが、有望であり、他のアプローチよりも長距離関係のような機能を捉えることができる。 In coreference resolution, it is important to consider all members of a coreference cluster and decide about all of them at once. This technique can help to avoid losing precision and also in finding long-distance relations. The presented paper is a report of an ongoing study on an idea which proposes a new approach for coreference resolution which can resolve all coreference mentions to a given mention in the document in one pass. This has been accomplished by defining an embedding method for the position of all members of a coreference cluster in a document and resolving all of them for a given mention. In the proposed method, the BERT model has been used for encoding the documents and a head network designed to capture the relations between the embedded tokens. These are then converted to the proposed span position embedding matrix which embeds the position of all coreference mentions in the document. We tested this idea on CoNLL 2012 dataset and although the preliminary results from this method do not quite meet the state-of-the-art results, they are promising and they can capture features like long-distance relations better than the other approaches. | 翻訳日:2022-11-15 05:49:13 公開日:2020-06-30 |
| # 部分点雲からの3次元CADモデルのビューベース形状検索のための深度画像生成法 Method for the generation of depth images for view-based shape retrieval of 3D CAD model from partial point cloud ( http://arxiv.org/abs/2006.16500v1 ) ライセンス: Link先を確認 | Hyungki Kim, Moohyun Cha, Duhwan Mun | (参考訳) レーザスキャナは、点雲の形で物理環境の幾何学的データを容易に取得することができる。
点雲からの物体の認識は、幾何学情報だけでなく意味情報も含む産業用3D再構成に必要とされることが多い。
しかし、認識プロセスはドメイン知識と集中労働の専門知識を必要とするため、しばしば3D再構成においてボトルネックとなる。
この問題に対処するため、入力幾何クエリからデータベースの対応するモデルを取得することでオブジェクトを認識する様々な手法が開発されている。
近年,図形データを画像に変換し,図形に基づく3次元形状検索を適用する技術は,精度が高くなっている。
深度値をピクセルの強度としてエンコードした深度画像は、ビューベースの3d形状検索に頻繁に使用される。
しかし、物体から収集された幾何学的データは、しばしば閉塞と視線の限界のために不完全である。
閉鎖点雲によって生成された画像は、情報損失によるビューベース3Dオブジェクト検索の性能を低下させる。
本稿では,ポイントクラウドからの3次元形状検索のための視点推定法と画像分解能推定法を提案する。
データ取得率と密度をサンプル視点と画像解像度から算出し,視点と画像解像度の自動選択を提案する。
提案手法によって生成された画像からの検索性能を実験し,各種データセットと比較した。
さらに、深部畳み込みニューラルネットワークを用いたビューベース3次元形状検索性能を提案手法により実験した。 A laser scanner can easily acquire the geometric data of physical environments in the form of a point cloud. Recognizing objects from a point cloud is often required for industrial 3D reconstruction, which should include not only geometry information but also semantic information. However, recognition process is often a bottleneck in 3D reconstruction because it requires expertise on domain knowledge and intensive labor. To address this problem, various methods have been developed to recognize objects by retrieving the corresponding model in the database from an input geometry query. In recent years, the technique of converting geometric data into an image and applying view-based 3D shape retrieval has demonstrated high accuracy. Depth image which encodes depth value as intensity of pixel is frequently used for view-based 3D shape retrieval. However, geometric data collected from objects is often incomplete due to the occlusions and the limit of line of sight. Image generated by occluded point clouds lowers the performance of view-based 3D object retrieval due to loss of information. In this paper, we propose a method of viewpoint and image resolution estimation method for view-based 3D shape retrieval from point cloud query. Automatic selection of viewpoint and image resolution by calculating the data acquisition rate and density from the sampled viewpoints and image resolutions are proposed. The retrieval performance from the images generated by the proposed method is experimented and compared for various dataset. Additionally, view-based 3D shape retrieval performance with deep convolutional neural network has been experimented with the proposed method. | 翻訳日:2022-11-15 05:48:02 公開日:2020-06-30 |
| # 知識蒸留のデミスティフィケーション--残余ネットワークの視点から On the Demystification of Knowledge Distillation: A Residual Network Perspective ( http://arxiv.org/abs/2006.16589v1 ) ライセンス: Link先を確認 | Nandan Kumar Jha, Rajat Saini, Sparsh Mittal | (参考訳) 知識蒸留(KD)はモデル圧縮と学習ラベル平滑化を行う技術として一般的に考えられている。
しかし,本稿では,KDアプローチを新たな視点から検討し,その有効性について検討する。
ほとんどの場合、非残留学生ネットワークはKD(ベースラインネットワーク)を使わずに、生データで訓練された残余バージョンよりも同等かそれ以上の性能を発揮する。
意外なことに、下級教師でさえ、ベースラインネットワークの精度を超越するケースもある。
非残留学生ネットワークの一定の深さの後、残差接続の除去による精度低下が著しくなり、KDによるトレーニングにより学生の精度が大幅に向上するが、精度低下を完全に回復することはない。
また,従来のkdの教師・学生観は不完全であり,その説明が不十分である。
我々は、KDの全体像を提供するTraiee-Mentor仮説を用いて、KDの新しい解釈を提案する。
また,残差接続とkd間の相互作用を説明するために,ロスランドスケープと機能再利用という2つの視点を提示した。
残余ネットワークに関する広範な実験を通じて、我々の主張を裏付ける。 Knowledge distillation (KD) is generally considered as a technique for performing model compression and learned-label smoothing. However, in this paper, we study and investigate the KD approach from a new perspective: we study its efficacy in training a deeper network without any residual connections. We find that in most of the cases, non-residual student networks perform equally or better than their residual versions trained on raw data without KD (baseline network). Surprisingly, in some cases, they surpass the accuracy of baseline networks even with the inferior teachers. After a certain depth of non-residual student network, the accuracy drop, coming from the removal of residual connections, is substantial, and training with KD boosts the accuracy of the student up to a great extent; however, it does not fully recover the accuracy drop. Furthermore, we observe that the conventional teacher-student view of KD is incomplete and does not adequately explain our findings. We propose a novel interpretation of KD with the Trainee-Mentor hypothesis, which provides a holistic view of KD. We also present two viewpoints, loss landscape, and feature reuse, to explain the interplay between residual connections and KD. We substantiate our claims through extensive experiments on residual networks. | 翻訳日:2022-11-15 05:47:43 公開日:2020-06-30 |
| # 低画質画像生成のための簡易領域シフトネットワーク A Simple Domain Shifting Networkfor Generating Low Quality Images ( http://arxiv.org/abs/2006.16621v1 ) ライセンス: Link先を確認 | Guruprasad Hegde, Avinash Nittur Ramesh, Kanchana Vaishnavi Gandikota, Roman Obermaisser, Michael Moeller | (参考訳) ディープラーニングシステムは、有名なImageNetデータセット上で、大量のトレーニングデータが利用可能である画像認識タスクで非常に成功したことが証明されている。
安価なカメラ機器を備えたロボティクス・アプリケーションでは、画像品質は低いが、分類精度に影響を与え、自由に利用可能なデータベースはロボットに使用される分類器を訓練するために、真っ直ぐな方法では活用できないことを実証する。
そこで本研究では,特定の低画質撮像システムを模倣するために,品質画像の劣化に関するネットワークのトレーニングを提案する。
数値実験により,我々の品質劣化ネットワークが生み出した画像を用いて訓練した分類網は,実際のロボットシステムで使用する場合,高品質なデータのみに基づいて訓練した分類網よりも優れ,ゼロショット領域適応技術よりもはるかに使いやすくなっていることがわかった。 Deep Learning systems have proven to be extremely successful for image recognition tasks for which significant amounts of training data is available, e.g., on the famous ImageNet dataset. We demonstrate that for robotics applications with cheap camera equipment, the low image quality, however,influences the classification accuracy, and freely available databases cannot be exploited in a straight forward way to train classifiers to be used on a robot. As a solution we propose to train a network on degrading the quality images in order to mimic specific low quality imaging systems. Numerical experiments demonstrate that classification networks trained by using images produced by our quality degrading network along with the high quality images outperform classification networks trained only on high quality data when used on a real robot system, while being significantly easier to use than competing zero-shot domain adaptation techniques. | 翻訳日:2022-11-15 05:47:23 公開日:2020-06-30 |
| # OccInpFlow: 教師なし学習による光学的フロー推定 OccInpFlow: Occlusion-Inpainting Optical Flow Estimation by Unsupervised Learning ( http://arxiv.org/abs/2006.16637v1 ) ライセンス: Link先を確認 | Kunming Luo, Chuan Wang, Nianjin Ye, Shuaicheng Liu, Jue Wang | (参考訳) 閉塞は教師なし光フロー学習において必然的かつ批判的な問題である。
既存の方法は、閉塞を非閉塞領域として平等に扱うか、あるいは単に除去して不正を避けるかのいずれかである。
しかし,オクルージョン領域はオプティカルフロー学習に有効な情報を提供することができる。
本稿では,咬合領域を最大限に活用するためのオクシプフロー(occinpflow)を提案する。
具体的には, 画像内容に基づいて, 隠蔽流を塗布する新しい外観流網を提案する。
また,画像境界を超える変位による閉塞に対処するために境界ワープを提案する。
我々は,空飛ぶ椅子,kitti,mpi-sintelなどの複数のリードフローベンチマークデータセットについて実験を行い,提案するオクルージョンハンドリングフレームワークにより性能が大幅に向上することを示す。 Occlusion is an inevitable and critical problem in unsupervised optical flow learning. Existing methods either treat occlusions equally as non-occluded regions or simply remove them to avoid incorrectness. However, the occlusion regions can provide effective information for optical flow learning. In this paper, we present OccInpFlow, an occlusion-inpainting framework to make full use of occlusion regions. Specifically, a new appearance-flow network is proposed to inpaint occluded flows based on the image content. Moreover, a boundary warp is proposed to deal with occlusions caused by displacement beyond image border. We conduct experiments on multiple leading flow benchmark data sets such as Flying Chairs, KITTI and MPI-Sintel, which demonstrate that the performance is significantly improved by our proposed occlusion handling framework. | 翻訳日:2022-11-15 05:47:06 公開日:2020-06-30 |
| # ニューラルネットワークによるサンプル衝突予測 Predicting Sample Collision with Neural Networks ( http://arxiv.org/abs/2006.16868v1 ) ライセンス: Link先を確認 | Tuan Tran, Jory Denny, Chinwe Ekenna | (参考訳) 多くの最先端ロボットアプリケーションは高速かつ効率的な動き計画アルゴリズムを必要とする。
既存の動き計画手法は、ロボットの寸法や作業空間、特に衝突検出ルーチンの計算コストが増加するにつれて効果が低下する。
本研究では,サンプリングベース動作計画における高価なプリミティブ操作のコストに対処する枠組みを提案する。
本フレームワークは、ロボットのワークスペースの占有グリッド表現をキャプチャする契約型オートエンコーダ(CAE)と、CAEとロボットの構成からロボットの衝突状態を効率的に予測する多層パーセプトロンとを新たに組み合わせて、サンプルロボット構成の有効性を決定する。
各種ロボットを用いた2次元・3次元作業空間における複数計画問題の枠組みを評価する。
その結果,(1)フレームワークはすべての問題において計算効率が高く,(2)新しいワークスペースによく一般化できることがわかった。 Many state-of-art robotics applications require fast and efficient motion planning algorithms. Existing motion planning methods become less effective as the dimensionality of the robot and its workspace increases, especially the computational cost of collision detection routines. In this work, we present a framework to address the cost of expensive primitive operations in sampling-based motion planning. This framework determines the validity of a sample robot configuration through a novel combination of a Contractive AutoEncoder (CAE), which captures a occupancy grids representation of the robot's workspace, and a Multilayer Perceptron, which efficiently predicts the collision state of the robot from the CAE and the robot's configuration. We evaluate our framework on multiple planning problems with a variety of robots in 2D and 3D workspaces. The results show that (1) the framework is computationally efficient in all investigated problems, and (2) the framework generalizes well to new workspaces. | 翻訳日:2022-11-15 05:40:32 公開日:2020-06-30 |
| # 自律運転におけるロバストLiDARに基づく認識に向けて:一般ブラックボックス対向センサー攻撃と対策 Towards Robust LiDAR-based Perception in Autonomous Driving: General Black-box Adversarial Sensor Attack and Countermeasures ( http://arxiv.org/abs/2006.16974v1 ) ライセンス: Link先を確認 | Jiachen Sun, Yulong Cao, Qi Alfred Chen, Z. Morley Mao | (参考訳) 知覚は、カメラやLiDAR(Light Detection and Ranging)などの搭載センサーを使って周囲の環境を評価する自動運転システムにおいて重要な役割を果たす。
近年の研究では、LiDARをベースとした知覚は、被害者のLiDARセンサーにレーザー信号を戦略的に送信することで、被害者の自動運転車の前に偽の車両を偽装する攻撃に対して脆弱であることが示されている。
しかし、既存の攻撃は有効性と汎用性に限界がある。
本研究では、現在のLiDARベースの知覚アーキテクチャの一般的な脆弱性を調査し、LiDARポイントクラウドの無視された閉塞パターンが、自動運転車を偽造攻撃に脆弱にすることを発見した。
我々は、特定された脆弱性に基づいて、最初のブラックボックススプーフィング攻撃を構築し、すべてのターゲットモデルにおける平均成功率の約80%を普遍的に達成する。
我々は最初の防衛研究を行い、LiDARスプーフィング攻撃を軽減するためにCARLOを提案する。
カルロは無視された咬合パターンを不変な物理的特徴として扱うことでスプーフデータを検出し、平均攻撃成功率は5.5%に低下する。
一方、我々は、ロバストなLiDARに基づく認識のための一般的なアーキテクチャを探究する第一歩を踏み出し、無視された物理的特徴をエンドツーエンド学習に組み込むSVFを提案する。
SVFはさらに平均攻撃成功率を約2.3%に下げる。 Perception plays a pivotal role in autonomous driving systems, which utilizes onboard sensors like cameras and LiDARs (Light Detection and Ranging) to assess surroundings. Recent studies have demonstrated that LiDAR-based perception is vulnerable to spoofing attacks, in which adversaries spoof a fake vehicle in front of a victim self-driving car by strategically transmitting laser signals to the victim's LiDAR sensor. However, existing attacks suffer from effectiveness and generality limitations. In this work, we perform the first study to explore the general vulnerability of current LiDAR-based perception architectures and discover that the ignored occlusion patterns in LiDAR point clouds make self-driving cars vulnerable to spoofing attacks. We construct the first black-box spoofing attack based on our identified vulnerability, which universally achieves around 80% mean success rates on all target models. We perform the first defense study, proposing CARLO to mitigate LiDAR spoofing attacks. CARLO detects spoofed data by treating ignored occlusion patterns as invariant physical features, which reduces the mean attack success rate to 5.5%. Meanwhile, we take the first step towards exploring a general architecture for robust LiDAR-based perception, and propose SVF that embeds the neglected physical features into end-to-end learning. SVF further reduces the mean attack success rate to around 2.3%. | 翻訳日:2022-11-15 05:40:16 公開日:2020-06-30 |
| # 生体インスパイアされた視覚テクスチャモデルの自己教師あり学習 Self-Supervised Learning of a Biologically-Inspired Visual Texture Model ( http://arxiv.org/abs/2006.16976v1 ) ライセンス: Link先を確認 | Nikhil Parthasarathy and Eero P. Simoncelli | (参考訳) 低次元特徴空間で視覚テクスチャを表現するためのモデルを開発し、テクスチャ画像のラベルのないデータベース上で学習するための新しい自己教師あり学習目標を開発した。
霊長類視覚野のアーキテクチャにインスパイアされたこのモデルは、配向線形フィルターの第1段階(皮質領域V1に対応する)を使用し、整流された単位(単純細胞)とプールされた位相不変単位(複合細胞)の両方からなる。
これらの反応は第2段階(皮質領域V2)で処理され、畳み込みフィルターと半波整流とプールによりV2の「複雑な細胞」反応が生成される。
第2段階のフィルタは、各画像に対するv2応答の分布と全画像に対する応答の分布との間の距離を最大化する新しいコントラスト目的を用いて、ラベルのない均質なテクスチャ画像のセットで訓練される。
テクスチャ分類で評価すると、トレーニングされたモデルは様々な階層型モデルアーキテクチャよりもデータ効率が大幅に向上する。
さらに, 学習モデルでは, 事前学習した深部CNNよりも, 霊長類V2で記録された神経集団のテクスチャ応答に強い類似性を示した。 We develop a model for representing visual texture in a low-dimensional feature space, along with a novel self-supervised learning objective that is used to train it on an unlabeled database of texture images. Inspired by the architecture of primate visual cortex, the model uses a first stage of oriented linear filters (corresponding to cortical area V1), consisting of both rectified units (simple cells) and pooled phase-invariant units (complex cells). These responses are processed by a second stage (analogous to cortical area V2) consisting of convolutional filters followed by half-wave rectification and pooling to generate V2 'complex cell' responses. The second stage filters are trained on a set of unlabeled homogeneous texture images, using a novel contrastive objective that maximizes the distance between the distribution of V2 responses to individual images and the distribution of responses across all images. When evaluated on texture classification, the trained model achieves substantially greater data-efficiency than a variety of deep hierarchical model architectures. Moreover, we show that the learned model exhibits stronger representational similarity to texture responses of neural populations recorded in primate V2 than pre-trained deep CNNs. | 翻訳日:2022-11-15 05:39:51 公開日:2020-06-30 |
| # 深部幾何学的テクスチャ合成 Deep Geometric Texture Synthesis ( http://arxiv.org/abs/2007.00074v1 ) ライセンス: Link先を確認 | Amir Hertz, Rana Hanocka, Raja Giryes, Daniel Cohen-Or | (参考訳) 近年,画像生成のための深層生成逆ネットワークは急速に進歩しているが,不規則構造,特にメッシュの生成モデルに焦点を絞った研究は少ない。
それでも、メッシュ生成と合成はコンピュータグラフィックスの基本的なトピックである。
本研究では,テクスチャを合成するための新しい枠組みを提案する。
単一の参照3次元モデルの局所的近傍(局所三角形パッチ)から幾何学的テクスチャ統計学を学ぶ。
参照メッシュやターゲットメッシュをパラメータ化することなく、複数のスケールでオフセットを分割して生成するために使用される入力三角測量の顔の深い特徴を学習する。
我々のネットワークはメッシュ頂点を任意の方向(通常方向と接方向)に変位させ、単純な2次元変位マップでは表現できない幾何学的テクスチャの合成を可能にする。
局所的な幾何学的パッチの学習と合成は、異なる属の形状間のテクスチャ伝達を容易にする、属を公称するフレームワークを可能にする。 Recently, deep generative adversarial networks for image generation have advanced rapidly; yet, only a small amount of research has focused on generative models for irregular structures, particularly meshes. Nonetheless, mesh generation and synthesis remains a fundamental topic in computer graphics. In this work, we propose a novel framework for synthesizing geometric textures. It learns geometric texture statistics from local neighborhoods (i.e., local triangular patches) of a single reference 3D model. It learns deep features on the faces of the input triangulation, which is used to subdivide and generate offsets across multiple scales, without parameterization of the reference or target mesh. Our network displaces mesh vertices in any direction (i.e., in the normal and tangential direction), enabling synthesis of geometric textures, which cannot be expressed by a simple 2D displacement map. Learning and synthesizing on local geometric patches enables a genus-oblivious framework, facilitating texture transfer between shapes of different genus. | 翻訳日:2022-11-15 05:39:12 公開日:2020-06-30 |
| # 胸部X線写真からのCOVID-19検出のための現代畳み込みニューラルネットワークアーキテクチャの評価 Evaluation of Contemporary Convolutional Neural Network Architectures for Detecting COVID-19 from Chest Radiographs ( http://arxiv.org/abs/2007.01108v1 ) ライセンス: Link先を確認 | Nikita Albert | (参考訳) 胸部x線画像の解釈
胸部x線像は、医療専門家が患者を悩ませる多くの疾患の検出と同定に使用する、必要かつ重要な診断ツールである。
画像自体に豊富な貴重な情報が含まれているが、その有用性は、特に放射線医が疲労したり、経験豊富な放射線医が使用できない場合に、どのように解釈されるかによって制限される。
胸部X線写真の解析にディープラーニングモデルを用いた研究は、いくつかの場合において、このモデルが実践放射線学者より優れているという印象的な結果をもたらした。
新型コロナウイルス(COVID-19)のパンデミックの中で、研究者らは、医療資源の緊張緩和に役立つ方法として、このディープモデルを用いて、ラジオグラフィーから新型コロナウイルスの感染を検出することを提案した。
本研究では,胸部x線写真解析のために提案する3つのモデルアーキテクチャを訓練・評価し,この課題について現代研究で提案されている印象的なモデル性能を損なう問題を見つけ,より信頼性の高い結果を得られるモデルを訓練するための手法を提案する。
.
コード、スクリプト、トレーニング済みモデル、視覚化はhttps://github.com/nalbert/COVID-detection-from-radiographs.comで公開されている。 Interpreting chest radiograph, a.ka. chest x-ray, images is a necessary and crucial diagnostic tool used by medical professionals to detect and identify many diseases that may plague a patient. Although the images themselves contain a wealth of valuable information, their usefulness may be limited by how well they are interpreted, especially when the reviewing radiologist may be fatigued or when or an experienced radiologist is unavailable. Research in the use of deep learning models to analyze chest radiographs yielded impressive results where, in some instances, the models outperformed practicing radiologists. Amidst the COVID-19 pandemic, researchers have explored and proposed the use of said deep models to detect COVID-19 infections from radiographs as a possible way to help ease the strain on medical resources. In this study, we train and evaluate three model architectures, proposed for chest radiograph analysis, under varying conditions, find issues that discount the impressive model performances proposed by contemporary studies on this subject, and propose methodologies to train models that yield more reliable results.. Code, scripts, pre-trained models, and visualizations are available at https://github.com/nalbert/COVID-detection-from-radiographs. | 翻訳日:2022-11-15 05:38:40 公開日:2020-06-30 |
| # 不完全なカーネルによる分散回帰の最適速度 Optimal Rates of Distributed Regression with Imperfect Kernels ( http://arxiv.org/abs/2006.16744v1 ) ライセンス: Link先を確認 | Hongwei Sun (University of Jinan) and Qiang Wu (Middle Tennessee State University) | (参考訳) 分散機械学習システムは、大規模なデータ処理の効率化に注目が集まっている。
さまざまな機械学習タスクに対して、多くの分散フレームワークが提案されている。
本稿では,分散カーネルの分散回帰を分割・征服手法を用いて検討する。
このアプローチは、核が完全に選択され、真の回帰関数が関連する再生核ヒルベルト空間にある場合に漸近的に最適であることが証明されている。
しかし、これは通常、必ずしも非現実的ではない、なぜなら、以前の知識やチューニングプロセスでのみ選択できるカーネルは完璧ではないからである。
代わりに、真の回帰はよく近似できるが、正確には核空間に存在しないという意味では、カーネルが十分であるが不完全である方が一般的である。
この場合、分散カーネル回帰はキャパシティ独立な最適レートを達成できることを示した。
この目的のために,我々はまず,そのようなアルゴリズムの誤差を単一のデータセットにバインドすることにより,応答重み付けベースアルゴリズムを用いて分散回帰を解析できる汎用フレームワークを構築した。
次に,カーネルリッジ回帰とバイアス補正カーネルリッジ回帰の解析を行い,上記のフレームワークと組み合わせることで,関連する分散カーネル回帰アルゴリズムに対して,鋭い誤差境界と容量独立な最適レートを導出する。
完全な分析の副産物として、カーネルリッジ回帰は、ノイズフリー設定において、最初に観測され、回帰学習において新しいものとなる、$n^{-1}$(サンプルサイズは$n$)よりも速い速度が得られることを証明します。 Distributed machine learning systems have been receiving increasing attentions for their efficiency to process large scale data. Many distributed frameworks have been proposed for different machine learning tasks. In this paper, we study the distributed kernel regression via the divide and conquer approach. This approach has been proved asymptotically minimax optimal if the kernel is perfectly selected so that the true regression function lies in the associated reproducing kernel Hilbert space. However, this is usually, if not always, impractical because kernels that can only be selected via prior knowledge or a tuning process are hardly perfect. Instead it is more common that the kernel is good enough but imperfect in the sense that the true regression can be well approximated by but does not lie exactly in the kernel space. We show distributed kernel regression can still achieves capacity independent optimal rate in this case. To this end, we first establish a general framework that allows to analyze distributed regression with response weighted base algorithms by bounding the error of such algorithms on a single data set, provided that the error bounds has factored the impact of the unexplained variance of the response variable. Then we perform a leave one out analysis of the kernel ridge regression and bias corrected kernel ridge regression, which in combination with the aforementioned framework allows us to derive sharp error bounds and capacity independent optimal rates for the associated distributed kernel regression algorithms. As a byproduct of the thorough analysis, we also prove the kernel ridge regression can achieve rates faster than $N^{-1}$ (where $N$ is the sample size) in the noise free setting which, to our best knowledge, are first observed and novel in regression learning. | 翻訳日:2022-11-15 05:38:06 公開日:2020-06-30 |
| # BitMix:画像ステガナリシスのためのデータ拡張 BitMix: Data Augmentation for Image Steganalysis ( http://arxiv.org/abs/2006.16625v1 ) ライセンス: Link先を確認 | In-Jae Yu, Wonhyuk Ahn, Seung-Hun Nam, Heung-Kyu Lee | (参考訳) 画像ステガナシスのための畳み込みニューラルネットワーク(CNN)は、ハイレベル視覚タスクの概念を採用することにより、より良いパフォーマンスを示す。
主な採用概念は、制限されたデータによる過剰フィッティングを避けるためにデータ拡張を使用することである。
メッセージ埋め込みを損なうことなくデータを増強するため、1つのサンプルから8つの固定結果を生成するsteg analysisでは、90度の回転倍数または水平反転のみを使用する。
この制限を克服するために,空間画像ステガナリシスのためのデータ拡張法BitMixを提案する。
BitMixは、ランダムパッチをスワップしてカバーとステゴイメージペアを混合し、スワップされたパッチで修正された画素数とカバーステゴペアの画素数との比率で埋め込み適応ラベルを生成する。
最適なハイパーパラメータ、ミニバッチにおけるBitMixの適用率、パッチ交換のためのバウンディングボックスのサイズについて検討する。
その結果,BitMixを用いることで空間画像ステガナリシスの性能が向上し,他のデータ拡張法よりも優れることがわかった。 Convolutional neural networks (CNN) for image steganalysis demonstrate better performances with employing concepts from high-level vision tasks. The major employed concept is to use data augmentation to avoid overfitting due to limited data. To augment data without damaging the message embedding, only rotating multiples of 90 degrees or horizontally flipping are used in steganalysis, which generates eight fixed results from one sample. To overcome this limitation, we propose BitMix, a data augmentation method for spatial image steganalysis. BitMix mixes a cover and stego image pair by swapping the random patch and generates an embedding adaptive label with the ratio of the number of pixels modified in the swapped patch to those in the cover-stego pair. We explore optimal hyperparameters, the ratio of applying BitMix in the mini-batch, and the size of the bounding box for swapping patch. The results reveal that using BitMix improves the performance of spatial image steganalysis and better than other data augmentation methods. | 翻訳日:2022-11-15 05:37:38 公開日:2020-06-30 |
| # 非定常環境における政策最適化の動的後悔 Dynamic Regret of Policy Optimization in Non-stationary Environments ( http://arxiv.org/abs/2007.00148v1 ) ライセンス: Link先を確認 | Yingjie Fei, Zhuoran Yang, Zhaoran Wang, Qiaomin Xie | (参考訳) 本研究は,敵対的全情報報酬フィードバックと未知の固定遷移カーネルを持つエピソードMDPにおける強化学習(RL)について考察する。
我々は,POWERとPOWER++の2つのモデルフリーポリシー最適化アルゴリズムを提案し,その動的後悔を保証する。
静的後悔という古典的な概念と比較すると、動的後悔は環境の非定常性を明確に説明できるため、より強い概念である。
提案手法によって達成された動的後悔は、非定常性の異なるレジームの間で補間され、さらに、遅い変化する環境下での(近傍)最適の静的後悔と一致するという意味で適応的(近距離)最適化の概念を満たす。
動的後悔のバウンドには、遷移核の不確実性を扱う探索から生じるものと、非定常環境を扱う適応から生じるものという2つの構成要素がある。
具体的には、POWER++は、動的後悔の第2のコンポーネントであるPOWERよりも、予測によって非定常性に積極的に適応することで改善することを示す。
我々の知る限り、我々の研究は、非定常環境におけるモデルフリーなRLアルゴリズムの、最初の動的後悔分析である。 We consider reinforcement learning (RL) in episodic MDPs with adversarial full-information reward feedback and unknown fixed transition kernels. We propose two model-free policy optimization algorithms, POWER and POWER++, and establish guarantees for their dynamic regret. Compared with the classical notion of static regret, dynamic regret is a stronger notion as it explicitly accounts for the non-stationarity of environments. The dynamic regret attained by the proposed algorithms interpolates between different regimes of non-stationarity, and moreover satisfies a notion of adaptive (near-)optimality, in the sense that it matches the (near-)optimal static regret under slow-changing environments. The dynamic regret bound features two components, one arising from exploration, which deals with the uncertainty of transition kernels, and the other arising from adaptation, which deals with non-stationary environments. Specifically, we show that POWER++ improves over POWER on the second component of the dynamic regret by actively adapting to non-stationarity through prediction. To the best of our knowledge, our work is the first dynamic regret analysis of model-free RL algorithms in non-stationary environments. | 翻訳日:2022-11-15 05:31:49 公開日:2020-06-30 |
| # 生体信号に対する主観的コントラスト学習 Subject-Aware Contrastive Learning for Biosignals ( http://arxiv.org/abs/2007.04871v1 ) ライセンス: Link先を確認 | Joseph Y. Cheng, Hanlin Goh, Kaan Dogrusoz, Oncel Tuzel, Erdrin Azemi | (参考訳) 脳波(EEG)や心電図(ECG)などの生体信号のデータセットにはノイズラベルがあり、対象者数が限られている(100人)。
これらの課題に対処するために,ラベル付きデータへの依存度が低く,被験者も少ないバイオシグナルをモデル化するための,コントラスト学習に基づく自己教師付きアプローチを提案する。
この限定ラベルと対象のレジームでは、サブジェクト間の変動性はモデル性能に悪影響を及ぼす。
そこで,本研究では,(1)主観的コントラスト損失,(2)自己教師型学習における主観的非分散を促進するための対人訓練を通じて,主観的学習を紹介する。
また,バイオシグナールのコントラスト損失と併用するために,時系列データ拡張技術も開発している。
脳波復号法と心電図異常検出法という2つの異なる課題を持つ生体信号の公開データセットを用いて評価を行った。
自己超越的収率競争的分類結果を用いて学習した埋め込みは、完全に監督された方法と比較した。
本研究では,これらのタスクの表現品質が向上し,教師付きラベルによる微調整時の主観的損失が性能を向上させることを示す。 Datasets for biosignals, such as electroencephalogram (EEG) and electrocardiogram (ECG), often have noisy labels and have limited number of subjects (<100). To handle these challenges, we propose a self-supervised approach based on contrastive learning to model biosignals with a reduced reliance on labeled data and with fewer subjects. In this regime of limited labels and subjects, intersubject variability negatively impacts model performance. Thus, we introduce subject-aware learning through (1) a subject-specific contrastive loss, and (2) an adversarial training to promote subject-invariance during the self-supervised learning. We also develop a number of time-series data augmentation techniques to be used with the contrastive loss for biosignals. Our method is evaluated on publicly available datasets of two different biosignals with different tasks: EEG decoding and ECG anomaly detection. The embeddings learned using self-supervision yield competitive classification results compared to entirely supervised methods. We show that subject-invariance improves representation quality for these tasks, and observe that subject-specific loss increases performance when fine-tuning with supervised labels. | 翻訳日:2022-11-15 05:31:12 公開日:2020-06-30 |
| # PriceAggregator:ホテル価格設定のためのインテリジェントシステム PriceAggregator: An Intelligent System for Hotel Price Fetching ( http://arxiv.org/abs/2008.02087v1 ) ライセンス: Link先を確認 | Jiangwei Zhang, Li Zhang, Vigneshwaran Raveendran, Ziv Ben-Zuk, and Leonard Lu | (参考訳) 本稿では、ホテル、休暇レンタル、フライト、空港の乗り換えのためのグローバルなオンライン旅行代理店である agodaに展開する、ホテル価格集約システム(プライスアグリゲータ)について述べる。
agodaは、間接サプライヤーのホテルルームを集約し、アグダの顧客が常に最も幅広いホテル、ルームタイプ、パッケージを選べるようにしている。
今日、アグダは何百万ものホテルを集約している。
最大の課題は、各サプライヤーがAgodaに1秒あたりのクェリ数(QPS)を限定してホテル価格でしか取得できないことだ。
アゴダのユーザー検索トラフィックの量が多いため、この限られた量のQPSは全ユーザー検索をカバーするには不十分である。
必然的に、多くのユーザー検索を無視する必要がある。
そのため予約が途絶えた。
この課題を克服するために、PriceAggregatorを開発しました。
priceaggregatorは、サプライヤにいつ、どのように、そして何で価格を引き出すかをインテリジェントに決定する。
本稿では,PriceAggregatorが理論的に最適であることを示すだけでなく,PriceAggregatorが実際によく動作することを示す。
PriceAggregatorはAgodaにデプロイされている。
大規模なオンラインA/B実験により、PriceAggregatorはAgodaの予約を大幅に増加させた。 This paper describes the hotel price aggregation system - PriceAggregator, deployed at Agoda, a global online travel agency for hotels, vacation rentals, flights and airport transfer. Agoda aggregates non-direct suppliers' hotel rooms to ensure that Agoda's customers always have the widest selection of hotels, room types and packages. As of today, Agoda aggregates millions of hotels. The major challenge is that each supplier only allows Agoda to fetch for the hotel price with a limited amount of Queries Per Second (QPS). Due to the sheer volume of Agoda's user search traffic, this limited amount of QPS is never enough to cover all user searches. Inevitably, many user searches have to be ignored. Hence, booking lost. To overcome the challenge, we built PriceAggregator. PriceAggregator intelligently determines when, how and what to send to the suppliers to fetch for price. In this paper, we not only prove PriceAggregator is optimal theoretically but also demonstrate that PriceAggregator performs well in practice. PriceAggregator has been deployed in Agoda. Extensive online A/B experimentation have shown that PriceAggregator increases Agoda's bookings significantly. | 翻訳日:2022-11-15 05:30:52 公開日:2020-06-30 |
| # 構造液滴によるシームズ追跡におけるオクルージョン対策 Tackling Occlusion in Siamese Tracking with Structured Dropouts ( http://arxiv.org/abs/2006.16571v1 ) ライセンス: Link先を確認 | Deepak K. Gupta, Efstratios Gavves and Arnold W. M. Smeulders | (参考訳) 閉塞は、モデルに対するオブジェクト追跡の最も難しい課題の1つです。
これは、データ拡張が役立つ他の課題とは異なり、排他的オブジェクトがどんな形でもできるため、排他的オブジェクトをシミュレートするのは困難である。
本稿では,潜在空間における咬合の影響をシミュレートするための簡易解を提案する。
具体的には,咬合下の潜在コードの変化を模倣する構造化ドロップアウトを提案する。
我々は, 様々な形態の閉塞を念頭に, ドロップアウトの3つの形態(チャンネルドロップアウト, セグメントドロップアウト, スライスドロップアウト)を示す。
その効果を示すため、ドロップアウトは2つの現代のシームズトラッカー(SiamFCとSiamRPN++)に組み込まれている。
複数のドロップアウトからの出力をエンコーダネットワークを用いて組み合わせて最終的な予測を得る。
いくつかのトラッキングベンチマークの実験では、構造化されたドロップアウトの利点が示されているが、既存のトラッカーモデルにわずかな変更しか必要としない単純さのためである。 Occlusion is one of the most difficult challenges in object tracking to model. This is because unlike other challenges, where data augmentation can be of help, occlusion is hard to simulate as the occluding object can be anything in any shape. In this paper, we propose a simple solution to simulate the effects of occlusion in the latent space. Specifically, we present structured dropout to mimick the change in latent codes under occlusion. We present three forms of dropout (channel dropout, segment dropout and slice dropout) with the various forms of occlusion in mind. To demonstrate its effectiveness, the dropouts are incorporated into two modern Siamese trackers (SiamFC and SiamRPN++). The outputs from multiple dropouts are combined using an encoder network to obtain the final prediction. Experiments on several tracking benchmarks show the benefits of structured dropouts, while due to their simplicity requiring only small changes to the existing tracker models. | 翻訳日:2022-11-15 05:30:30 公開日:2020-06-30 |
| # 転移学習を用いたスペクトラルCTにおける肺結節の原発性腫瘍原性分類 Primary Tumor Origin Classification of Lung Nodules in Spectral CT using Transfer Learning ( http://arxiv.org/abs/2006.16633v1 ) ライセンス: Link先を確認 | Linde S. Hesse, Pim A. de Jong, Josien P.W. Pluim, Veronika Cheplygina | (参考訳) 肺癌の早期発見は死亡率を著しく低下させることが証明されている。
近年のCT(Computerd tomography, CT)の進歩により, 診断精度が向上する可能性が示唆された。
しかし、多数のスキャンを分析するためのせん断負荷は、自動診断方法の必要性を招きかねない。
そこで本研究では,CTにおける肺結節の検出・分類システムを提案する。
さらに,スペクトル画像が分類器の性能を向上させるかどうかを観察したい。
結節の検出のために,VGG様の3D畳み込みニューラルネット(CNN)を訓練した。
本データセットの原発性腫瘍分類器を得るために, LIDC-IDRIデータセットの結節悪性度に類似した構造を持つ3D CNNを事前訓練した。
その後、このトレーニング済みネットワークをデータセットの結節の特徴抽出器として使用しました。
得られた特徴ベクトルは,サポートベクターマシン(SVM)を用いて,2つの(良性/悪性)および3つの(良性/原発性肺癌/メタスターゼ)クラスに分類した。
この分類は結節レベルとスキャンレベルで行った。
LIDC-IDRIデータベースを用いて,診断・悪性度評価のための最先端技術について検討した。
私たちのデータセットの分類性能は、noduleレベルの予測よりもスキャンで高かった。
3クラススキャンレベル分類では78\%の精度を得た。
スペクトル機能は分類器の性能を向上させたが、顕著ではなかった。
本研究は,新しいネットワークと大規模データセットの精巧な微調整の必要性をなくし,肺結節の原発性腫瘍原産地分類器として事前訓練した特徴抽出器を使用できることを示唆する。
コードは \url{https://github.com/tueimage/lung-nodule-msc-2018} で入手できる。 Early detection of lung cancer has been proven to decrease mortality significantly. A recent development in computed tomography (CT), spectral CT, can potentially improve diagnostic accuracy, as it yields more information per scan than regular CT. However, the shear workload involved with analyzing a large number of scans drives the need for automated diagnosis methods. Therefore, we propose a detection and classification system for lung nodules in CT scans. Furthermore, we want to observe whether spectral images can increase classifier performance. For the detection of nodules we trained a VGG-like 3D convolutional neural net (CNN). To obtain a primary tumor classifier for our dataset we pre-trained a 3D CNN with similar architecture on nodule malignancies of a large publicly available dataset, the LIDC-IDRI dataset. Subsequently we used this pre-trained network as feature extractor for the nodules in our dataset. The resulting feature vectors were classified into two (benign/malignant) and three (benign/primary lung cancer/metastases) classes using support vector machine (SVM). This classification was performed both on nodule- and scan-level. We obtained state-of-the art performance for detection and malignancy regression on the LIDC-IDRI database. Classification performance on our own dataset was higher for scan- than for nodule-level predictions. For the three-class scan-level classification we obtained an accuracy of 78\%. Spectral features did increase classifier performance, but not significantly. Our work suggests that a pre-trained feature extractor can be used as primary tumor origin classifier for lung nodules, eliminating the need for elaborate fine-tuning of a new network and large datasets. Code is available at \url{https://github.com/tueimage/lung-nodule-msc-2018}. | 翻訳日:2022-11-15 05:30:13 公開日:2020-06-30 |
| # CNNに基づくパンシャーペン再考:GANによるパンクロマティック画像のガイドカラー化 Rethinking CNN-Based Pansharpening: Guided Colorization of Panchromatic Images via GANs ( http://arxiv.org/abs/2006.16644v1 ) ライセンス: Link先を確認 | Furkan Ozcelik, Ugur Alganci, Elif Sertel, Gozde Unal | (参考訳) 畳み込みニューラルネットワーク(CNN)に基づくアプローチは,近年,衛星画像のパンスハーペン化の有望な成果を示している。
しかし、高品質のパンシャーピング生産の限界がまだ示されている。
そこで本研究では,パンシャーペンをカラー化問題として扱う自己教師型学習フレームワークを提案する。このフレームワークは,マルチスペクトル画像の超高解像度バージョンのみをベースとした既存の手法と比較して,全く新しい視点と解決策をもたらす。
CNNをベースとした手法では,解像度の低下したマルチスペクトル画像とともにモデルへの入力として解像度の低下したパンクロマティック画像を提供するが,その代わりにグレースケール変換されたマルチスペクトル画像を入力として提供し,グレースケール入力のカラー化を学ぶようにモデルを訓練する。
さらに、トレーニング中の固定ダウンスケール比の仮定に対処するが、これはフルレゾリューションのシナリオによく当てはまらない。
我々は,ダウンサンプリング比をランダムに変化させることで,トレーニングにノイズ注入を導入する。
これら2つの重要な変更と、提案されたpancolorization generative adversarial networks(pancolorgan)フレームワークへの敵意訓練の追加は、cnnベースのpansharpeningで見られる空間的詳細損失とぼやけ問題を克服するのに役立つ。
提案手法は,これまでのcnnおよび従来の手法よりも優れていた。 Convolutional Neural Networks (CNN)-based approaches have shown promising results in pansharpening of satellite images in recent years. However, they still exhibit limitations in producing high-quality pansharpening outputs. To that end, we propose a new self-supervised learning framework, where we treat pansharpening as a colorization problem, which brings an entirely novel perspective and solution to the problem compared to existing methods that base their solution solely on producing a super-resolution version of the multispectral image. Whereas CNN-based methods provide a reduced resolution panchromatic image as input to their model along with reduced resolution multispectral images, hence learn to increase their resolution together, we instead provide the grayscale transformed multispectral image as input, and train our model to learn the colorization of the grayscale input. We further address the fixed downscale ratio assumption during training, which does not generalize well to the full-resolution scenario. We introduce a noise injection into the training by randomly varying the downsampling ratios. Those two critical changes, along with the addition of adversarial training in the proposed PanColorization Generative Adversarial Networks (PanColorGAN) framework, help overcome the spatial detail loss and blur problems that are observed in CNN-based pansharpening. The proposed approach outperforms the previous CNN-based and traditional methods as demonstrated in our experiments. | 翻訳日:2022-11-15 05:29:47 公開日:2020-06-30 |
| # EasyQuant: スケール最適化によるポストトレーニング量子化 EasyQuant: Post-training Quantization via Scale Optimization ( http://arxiv.org/abs/2006.16669v1 ) ライセンス: Link先を確認 | Di Wu, Qi Tang, Yongle Zhao, Ming Zhang, Ying Fu and Debing Zhang | (参考訳) 8ビットの量子化は、様々なディープラーニングアプリケーションにおけるネットワーク推論の高速化に広く応用されている。
量子化法には、トレーニングベース量子化と後学習量子化の2種類がある。
トレーニングベースのアプローチは面倒なトレーニングプロセスに悩まされる一方、トレーニング後の量子化は受け入れがたい精度低下につながる可能性がある。
本稿では,eq(easyquant)と呼ばれるスケール最適化による効率良く簡単なポストトレーニング手法を提案する。具体的には,まず,畳み込み出力において,すべての層を対象とする重みとアクティベーションのスケールを交互に最適化し,高い量子化精度を得る。
そして、重みとアクティベーションの両方においてビット幅をINT7に下げ、INT16中間ストレージと整数Winograd畳み込み実装を採用して推論を高速化する。 The 8 bits quantization has been widely applied to accelerate network inference in various deep learning applications. There are two kinds of quantization methods, training-based quantization and post-training quantization. Training-based approach suffers from a cumbersome training process, while post-training quantization may lead to unacceptable accuracy drop. In this paper, we present an efficient and simple post-training method via scale optimization, named EasyQuant (EQ),that could obtain comparable accuracy with the training-based method.Specifically, we first alternately optimize scales of weights and activations for all layers target at convolutional outputs to further obtain the high quantization precision. Then, we lower down bit width to INT7 both for weights and activations, and adopt INT16 intermediate storage and integer Winograd convolution implementation to accelerate inference.Experimental results on various computer vision tasks show that EQ outperforms the TensorRT method and can achieve near INT8 accuracy in 7 bits width post-training. | 翻訳日:2022-11-15 05:29:20 公開日:2020-06-30 |
| # UK Biobank body MRIによる肝脂肪とニューラルネットワークの大規模推定 Large-scale inference of liver fat with neural networks on UK Biobank body MRI ( http://arxiv.org/abs/2006.16777v1 ) ライセンス: Link先を確認 | Taro Langner, Robin Strand, H{\aa}kan Ahlstr\"om, Joel Kullberg | (参考訳) 英国バイオバンク・イメージング・リサーチは4万人以上のボランティアの医療スキャンを入手した。
その結果得られた豊富な解剖学的情報は、肝臓脂肪の測定を含む広範なメタデータとともに研究に利用できるようになった。
これらの値は代謝性疾患において重要な役割を担っているが、その収集には専用の肝MRIにおける画像分析者の注意を要するため、少数の被験者にしか利用できない。
UK Biobankのもう1つのプロトコルは、体組成分析のためのネック・トゥ・クニーボディMRIである。
結果の体積は、三点ディクソン法の代わりに二点法で再構成されたとしても、脂肪分画の定量化も可能である。
本研究は,英国バイオバンクの頸部-膝間MRIによる肝脂肪の自動推定のための新しい枠組みを提案する。
ResNet50は、これらのスキャンから2次元スライスとターゲットとしての参照値の回帰のためにトレーニングされた。
トレーニングが完了すると、手作業による介入を必要としない、高速で客観的で完全に自動化された予測を実行する。
与えられたデータに基づいて参照メソッドを密にエミュレートし、異なるゴールド標準技術に匹敵するレベルの合意に達する。
ネットワークは、脂肪分率値の非線形性を正し、基準値のいくつかの外れ値を特定することを学習した。
マルチアトラスのセグメンテーションベースラインを上回り, 基準値の欠如を考慮し, 第6因子による肝脂肪測定の総数を増加させた。 The UK Biobank Imaging Study has acquired medical scans of more than 40,000 volunteer participants. The resulting wealth of anatomical information has been made available for research, together with extensive metadata including measurements of liver fat. These values play an important role in metabolic disease, but are only available for a minority of imaged subjects as their collection requires the careful work of image analysts on dedicated liver MRI. Another UK Biobank protocol is neck-to-knee body MRI for analysis of body composition. The resulting volumes can also quantify fat fractions, even though they were reconstructed with a two- instead of a three-point Dixon technique. In this work, a novel framework for automated inference of liver fat from UK Biobank neck-to-knee body MRI is proposed. A ResNet50 was trained for regression on two-dimensional slices from these scans and the reference values as target, without any need for ground truth segmentations. Once trained, it performs fast, objective, and fully automated predictions that require no manual intervention. On the given data, it closely emulates the reference method, reaching a level of agreement comparable to different gold standard techniques. The network learned to rectify non-linearities in the fat fraction values and identified several outliers in the reference. It outperformed a multi-atlas segmentation baseline and inferred new estimates for all imaged subjects lacking reference values, expanding the total number of liver fat measurements by factor six. | 翻訳日:2022-11-15 05:28:31 公開日:2020-06-30 |
| # Involutive MCMC: 統一フレームワーク Involutive MCMC: a Unifying Framework ( http://arxiv.org/abs/2006.16653v1 ) ライセンス: Link先を確認 | Kirill Neklyudov, Max Welling, Evgenii Egorov, Dmitry Vetrov | (参考訳) Markov Chain Monte Carlo (MCMC) は、推論、積分、最適化、シミュレーションといった基本的な問題に対する計算手法である。
この分野は幅広い範囲のアルゴリズムを開発しており、その動機や適用方法、サンプリングの効率などによって異なる。
すべての違いにもかかわらず、それらの多くは同じコア原則を共有しており、Involutive MCMC(iMCMC)フレームワークとして統一しています。
これに基づいて, MCMCアルゴリズムの設計原理として利用できる, MCMCアルゴリズムをiMCMCで記述し, 多数の「トリック」を定式化する。
したがって、iMCMCは多くのMCMCアルゴリズムの統一ビューを提供し、強力な拡張の導出を容易にする。
後者は、既知の可逆MCMCアルゴリズムをより効率的な可逆アルゴリズムに変換する2つの例で示す。 Markov Chain Monte Carlo (MCMC) is a computational approach to fundamental problems such as inference, integration, optimization, and simulation. The field has developed a broad spectrum of algorithms, varying in the way they are motivated, the way they are applied and how efficiently they sample. Despite all the differences, many of them share the same core principle, which we unify as the Involutive MCMC (iMCMC) framework. Building upon this, we describe a wide range of MCMC algorithms in terms of iMCMC, and formulate a number of "tricks" which one can use as design principles for developing new MCMC algorithms. Thus, iMCMC provides a unified view of many known MCMC algorithms, which facilitates the derivation of powerful extensions. We demonstrate the latter with two examples where we transform known reversible MCMC algorithms into more efficient irreversible ones. | 翻訳日:2022-11-15 05:22:09 公開日:2020-06-30 |
| # 量子アニールと量子ゲートコンピュータによる大規模グラフの解析に向けて Towards analyzing large graphs with quantum annealing and quantum gate computers ( http://arxiv.org/abs/2006.16702v1 ) ライセンス: Link先を確認 | Hannu Reittu, Ville Kotovirta, Lasse Leskel\"a, Hannu Rummukainen, Tomi R\"aty | (参考訳) SzemerediのRegularity Lemma(SRL)に関連するグラフコミュニティ検出と正則性チェックにおける量子コンピューティングの利用は、D-Wave Systemsの量子アニールとシミュレーションによって実証された。
ビッグデータに関連する難しい問題の解決における量子コンピューティングの能力を示す。
また、SRLに基づく新しいコミュニティ検出アルゴリズムを導入、テストした。
最悪の場合の正則性チェックでは、Groverのアルゴリズムと量子位相推定アルゴリズムを用いて量子ゲートコンピュータを用いた計算を高速化する。 The use of quantum computing in graph community detection and regularity checking related to Szemeredi's Regularity Lemma (SRL) are demonstrated with D-Wave Systems' quantum annealer and simulations. We demonstrate the capability of quantum computing in solving hard problems relevant to big data. A new community detection algorithm based on SRL is also introduced and tested. In worst case scenario of regularity check we use Grover's algorithm and quantum phase estimation algorithm, in order to speed-up computations using a quantum gate computers. | 翻訳日:2022-11-15 05:21:55 公開日:2020-06-30 |
| # クロスバリデーションを用いたニューラルネットワークの等角予測間隔 Conformal Prediction Intervals for Neural Networks Using Cross Validation ( http://arxiv.org/abs/2006.16941v1 ) ライセンス: Link先を確認 | Saeed Khaki and Dan Nettleton | (参考訳) ニューラルネットワークは教師付き学習問題に対処するために使用される最も強力な非線形モデルの一つである。
多くの機械学習アルゴリズムと同様に、ニューラルネットワークはポイント予測を生成し、特定の確率で観測されていない応答値を含む予測間隔を提供しない。
本稿では,$k$-fold クロス検証に基づいてニューラルネットワークの予測間隔を構成するために,$k$-fold 予測間隔法を提案する。
提案手法による予測区間の有限サンプル特性と分割共形(SC)法との比較のために,10個の実データセットのシミュレーション研究と解析を行った。
提案手法は,同じカバレッジ確率を維持しつつ,sc法と比較して予測間隔が狭くなる傾向が示唆された。
実験の結果,提案手法は実効的な予測区間を生成でき,特にトレーニング観測回数が限られている場合の競合するアプローチと比較して有利であることがわかった。 Neural networks are among the most powerful nonlinear models used to address supervised learning problems. Similar to most machine learning algorithms, neural networks produce point predictions and do not provide any prediction interval which includes an unobserved response value with a specified probability. In this paper, we proposed the $k$-fold prediction interval method to construct prediction intervals for neural networks based on $k$-fold cross validation. Simulation studies and analysis of 10 real datasets are used to compare the finite-sample properties of the prediction intervals produced by the proposed method and the split conformal (SC) method. The results suggest that the proposed method tends to produce narrower prediction intervals compared to the SC method while maintaining the same coverage probability. Our experimental results also reveal that the proposed $k$-fold prediction interval method produces effective prediction intervals and is especially advantageous relative to competing approaches when the number of training observations is limited. | 翻訳日:2022-11-15 05:20:36 公開日:2020-06-30 |
| # すべてのアイテムを見ることなく$k$-DPPからサンプリングする Sampling from a $k$-DPP without looking at all items ( http://arxiv.org/abs/2006.16947v1 ) ライセンス: Link先を確認 | Daniele Calandriello, Micha{\l} Derezi\'nski, Michal Valko | (参考訳) 決定的点過程(英: determinantal point process、dpps)は、大量のアイテムから小さな多様なサブセットを選択するための有用な確率モデルであり、要約、確率最適化、アクティブラーニングなどの応用がある。
カーネル関数とサブセットサイズ$k$が与えられた場合、我々のゴールは、サブセットによって誘導されるカーネル行列の行列式に比例する確率を持つ$n$アイテムから$k$をサンプリングすることである(つまり$k$-DPP)。
既存の$k$-DPPサンプリングアルゴリズムは、すべての$n$アイテムを複数回パスする高価な前処理ステップを必要とするため、大規模なデータセットでは利用できない。
この問題に対処するna\"ive heuristicは、データのごく一部を一様にサンプリングし、これらのアイテムのみに$k$-dppサンプリングを実行することであるが、この方法は、生成されたサンプルが元のデータセット上のターゲットディストリビューションにほぼ類似することさえ保証しない。
そこで本研究では,十分な量の均一なデータサンプルを適応的に構築し,より小さな$k$項目のセットを効率的に生成し,このセットが$n$項目すべてで定義されたターゲット分布から正確に描画されることを保証するアルゴリズムを開発した。
私たちのアルゴリズムは、すべての要素のほんの一部しか観察しなかった後に、k$-dppのサンプルを生成することが実証的に示されています。 Determinantal point processes (DPPs) are a useful probabilistic model for selecting a small diverse subset out of a large collection of items, with applications in summarization, stochastic optimization, active learning and more. Given a kernel function and a subset size $k$, our goal is to sample $k$ out of $n$ items with probability proportional to the determinant of the kernel matrix induced by the subset (a.k.a. $k$-DPP). Existing $k$-DPP sampling algorithms require an expensive preprocessing step which involves multiple passes over all $n$ items, making it infeasible for large datasets. A na\"ive heuristic addressing this problem is to uniformly subsample a fraction of the data and perform $k$-DPP sampling only on those items, however this method offers no guarantee that the produced sample will even approximately resemble the target distribution over the original dataset. In this paper, we develop an algorithm which adaptively builds a sufficiently large uniform sample of data that is then used to efficiently generate a smaller set of $k$ items, while ensuring that this set is drawn exactly from the target distribution defined on all $n$ items. We show empirically that our algorithm produces a $k$-DPP sample after observing only a small fraction of all elements, leading to several orders of magnitude faster performance compared to the state-of-the-art. | 翻訳日:2022-11-15 05:20:22 公開日:2020-06-30 |
| # 再始動を制御した連続時間多腕バンディット Continuous-Time Multi-Armed Bandits with Controlled Restarts ( http://arxiv.org/abs/2007.00081v1 ) ライセンス: Link先を確認 | Semih Cayci, Atilla Eryilmaz, R. Srikant | (参考訳) 時間制約決定プロセスは、物理学、生物学、計算機科学の多くの基礎的な応用において、広く使われている。
近年, 再起動戦略が注目され, 完了時間を短縮し, 時間制約プロセスの効率化が図られている。
本研究では,時間制約付き決定プロセスにおける再起動制御による帯域幅問題について検討し,優れた学習アルゴリズムを開発した。
特に,各決定が無作為な終了時間を取るバンディット設定を検討し,最終決定時の未知の値と無作為で相関のある報酬を与える。
意思決定者の目標は、時間制約$\tau$の対象となる期待総報酬を最大化することである。
追加のコントロールとして、意思決定者が進行中のタスクを中断し、より報酬のある代替案に対する報酬を放棄できるようにします。
この問題に対して,我々は,再スタート戦略の有限および連続的な動作空間において,それぞれ$o(\log(\tau))$と$o(\sqrt{\tau\log(\tau)})$という効率的なオンライン学習アルゴリズムを開発した。
そこで本研究では,satソルバの性能向上を目的としたアルゴリズムの適用性を示す。 Time-constrained decision processes have been ubiquitous in many fundamental applications in physics, biology and computer science. Recently, restart strategies have gained significant attention for boosting the efficiency of time-constrained processes by expediting the completion times. In this work, we investigate the bandit problem with controlled restarts for time-constrained decision processes, and develop provably good learning algorithms. In particular, we consider a bandit setting where each decision takes a random completion time, and yields a random and correlated reward at the end, with unknown values at the time of decision. The goal of the decision-maker is to maximize the expected total reward subject to a time constraint $\tau$. As an additional control, we allow the decision-maker to interrupt an ongoing task and forgo its reward for a potentially more rewarding alternative. For this problem, we develop efficient online learning algorithms with $O(\log(\tau))$ and $O(\sqrt{\tau\log(\tau)})$ regret in a finite and continuous action space of restart strategies, respectively. We demonstrate an applicability of our algorithm by using it to boost the performance of SAT solvers. | 翻訳日:2022-11-15 05:19:30 公開日:2020-06-30 |
| # 感性分析のためのデータ駆動型ニューラルネットワークアーキテクチャ A Data-driven Neural Network Architecture for Sentiment Analysis ( http://arxiv.org/abs/2006.16642v1 ) ライセンス: Link先を確認 | Erion \c{C}ano and Maurizio Morisio | (参考訳) 画像関連タスクにおける畳み込みニューラルネットワークの素晴らしい結果が、テキストマイニングや感情分析、その他のテキスト分析研究者の注目を集めた。
しかし、そのようなネットワークを供給し、パラメータを最適化し、ネットワークアーキテクチャを構築する際に適切な設計を選択するのに十分なデータを見つけるのは難しい。
本稿では,2つの大きな感情データセットの作成手順について述べる。
また、曲の歌詞、製品、映画レビューテキストデータセットにおける畳み込みと最大プールニューラルネットワーク層の利用についても検討する。
単純で柔軟なニューラルネットワークアーキテクチャの3つのバリエーションも比較される。
私たちの意図は、類似モデルのパラメータ最適化のガイドラインとなる重要なパターンを見つけることです。
また、高いパフォーマンスの感情分析モデルにつながるアーキテクチャ設計の選択を特定したかったのです。
そこで我々は,様々な構成のニューラルアーキテクチャを用いた一連の実験を行った。
その結果,フィルタ長の並列畳み込みは,通常,関連するテキストの特徴を捉えるのに十分であることがわかった。
また、最大プール領域サイズは、最高の特徴マップを作成するためにテキスト文書の長さに適応すべきである。
得られた最上位の結果は、長さ6から18のフィーチャーマップで得られます。
感情分析のための将来のニューラルネットワークモデルの改善は、テキスト全体の小さな抜粋に対する予測の集約を用いて、文書の感情極性予測を生成することができる。 The fabulous results of convolution neural networks in image-related tasks, attracted attention of text mining, sentiment analysis and other text analysis researchers. It is however difficult to find enough data for feeding such networks, optimize their parameters, and make the right design choices when constructing network architectures. In this paper we present the creation steps of two big datasets of song emotions. We also explore usage of convolution and max-pooling neural layers on song lyrics, product and movie review text datasets. Three variants of a simple and flexible neural network architecture are also compared. Our intention was to spot any important patterns that can serve as guidelines for parameter optimization of similar models. We also wanted to identify architecture design choices which lead to high performing sentiment analysis models. To this end, we conducted a series of experiments with neural architectures of various configurations. Our results indicate that parallel convolutions of filter lengths up to three are usually enough for capturing relevant text features. Also, max-pooling region size should be adapted to the length of text documents for producing the best feature maps. Top results we got are obtained with feature maps of lengths 6 to 18. An improvement on future neural network models for sentiment analysis, could be generating sentiment polarity prediction of documents using aggregation of predictions on smaller excerpt of the entire text. | 翻訳日:2022-11-15 05:13:19 公開日:2020-06-30 |
| # SE3M: 事前学習した埋め込みモデルを用いたソフトウェア活動推定モデル SE3M: A Model for Software Effort Estimation Using Pre-trained Embedding Models ( http://arxiv.org/abs/2006.16831v1 ) ライセンス: Link先を確認 | Eliane M. De Bortoli F\'avero and Dalcimar Casanova and Andrey Ricardo Pimentel | (参考訳) 要求テキストに基づく労力の推定は、特に努力を推測する実行可能な機能を得る上で、多くの課題を提起する。
そこで本研究では, テキスト要求を表現し, 作業推定をアナログで推定する手法について検討し, 事前学習した埋め込みモデルの有効性について検討する。
このために、2つの組込みアプローチ、コンテキストレスモデルとコンテキスト化モデルが使用される。
両方のアプローチでトレーニング済みのジェネリックモデルは、微調整プロセスを経ている。
生成したモデルは、線形出力を持つ応用ディープラーニングアーキテクチャの入力として使用された。
この結果は非常に有望で、事前訓練された組込みモデルが要求テキストのみに基づいてソフトウェアの労力を見積もることができることに気付きました。
本稿では,単一のプロジェクトリポジトリに細調整で事前学習したBERTモデルを適用した結果,平均絶対誤差(MAE)は4.25で,標準偏差は0.17で,類似の作業と比較すると非常に肯定的な結果を示す。
提案手法の主な利点は, 信頼性, 一般化の可能性, 速度, 微調整プロセスによる計算コストの低減, 新たな要件や既存の要件を推測できることである。 Estimating effort based on requirement texts presents many challenges, especially in obtaining viable features to infer effort. Aiming to explore a more effective technique for representing textual requirements to infer effort estimates by analogy, this paper proposes to evaluate the effectiveness of pre-trained embeddings models. For this, two embeddings approach, context-less and contextualized models are used. Generic pre-trained models for both approaches went through a fine-tuning process. The generated models were used as input in the applied deep learning architecture, with linear output. The results were very promising, realizing that pre-trained incorporation models can be used to estimate software effort based only on requirements texts. We highlight the results obtained to apply the pre-trained BERT model with fine-tuning in a single project repository, whose value is the Mean Absolute Error (MAE) is 4.25 and the standard deviation of only 0.17, which represents a result very positive when compared to similar works. The main advantages of the proposed estimation method are reliability, the possibility of generalization, speed, and low computational cost provided by the fine-tuning process, and the possibility to infer new or existing requirements. | 翻訳日:2022-11-15 05:13:00 公開日:2020-06-30 |
| # berters: トランスフォーマーを用いたエキスパートレコメンデーションシステムのためのマルチモーダル表現学習 BERTERS: Multimodal Representation Learning for Expert Recommendation System with Transformer ( http://arxiv.org/abs/2007.07229v1 ) ライセンス: Link先を確認 | N. Nikzad-Khasmakhi, M. A. Balafar, M.Reza Feizi-Derakhshi, Cina Motamed | (参考訳) 専門家レコメンデーションシステムの目的は、候補者の専門知識と好みを追跡、専門家の専門的パターンを認識し、専門家を特定することである。
本稿では,専門家推薦システム(BERTERS)のためのマルチモーダル分類手法を提案する。
提案システムでは,テキスト(候補者が公開するアーティクル)とグラフ(共著者関係)情報からモダリティを導出する。
BERTERSは、双方向エンコーダ表現を変換器(BERT)からベクトルに変換する。
また、ExEmと呼ばれるグラフ表現技術を用いて、共著者ネットワークから候補の特徴を抽出する。
候補の最終的な表現はこれらのベクトルと他の特徴の連結である。
最終的に、特徴の結合に基づいて分類器が構築される。
このマルチモーダルなアプローチは、学術的コミュニティとコミュニティの質問応答の両方で利用できる。
BERTERSの有効性を検証するため,マルチラベル分類および可視化タスクの性能解析を行った。 The objective of an expert recommendation system is to trace a set of candidates' expertise and preferences, recognize their expertise patterns, and identify experts. In this paper, we introduce a multimodal classification approach for expert recommendation system (BERTERS). In our proposed system, the modalities are derived from text (articles published by candidates) and graph (their co-author connections) information. BERTERS converts text into a vector using the Bidirectional Encoder Representations from Transformer (BERT). Also, a graph Representation technique called ExEm is used to extract the features of candidates from the co-author network. Final representation of a candidate is the concatenation of these vectors and other features. Eventually, a classifier is built on the concatenation of features. This multimodal approach can be used in both the academic community and the community question answering. To verify the effectiveness of BERTERS, we analyze its performance on multi-label classification and visualization tasks. | 翻訳日:2022-11-15 05:12:40 公開日:2020-06-30 |
| # 時空間パターンに対するスパイキング連想記憶 Spiking Associative Memory for Spatio-Temporal Patterns ( http://arxiv.org/abs/2006.16684v1 ) ライセンス: Link先を確認 | Simon Davidson, Stephen B. Furber and Oliver Rhodes | (参考訳) スパイクタイミング依存塑性(Spike Timing Dependent Plasticity)は、実際の皮質組織で実証された学習形態であるが、人工システムに使用しようとする試みは良い結果を出していない。
本稿は2つの重要な進歩でこれを改善しようとしている。
1つ目は、ニューロン群の正確なスパイク時間にエンコードされたパターンを抽出できる、cyclic stdpと呼ばれる単純な確率的学習規則の開発である。
この学習規則によって与えられるニューロンの集団は、長期にわたるパターン関連を保存し、確実にリコールすることで、効果的な短期連想記憶として機能することを示す。
第2のメインテーマは、正確なタイミングでスパイクを生成するためにニューロンを訓練することに関連する課題と、さらなる学習が行われるにつれてスパイクリコール時間の忠実性を維持することにある。
正確な時間的スパイク(いわゆる時間的符号化)を扱うことの強い制約は、学習規則によって強制されるが、スパイクニューラルネットワークを継続的な学習環境における柔軟なインテリジェントシステムのための競争力のあるソリューションとしてレンダリングするようなエンコーディングスキームの必要性を信じることとも一致している。
符号化と学習のルールは、我々がシミュレートし特徴付けする単層連想メモリ(同様のサイズの記憶ニューロンと完全に接続された3,200個のスパイクニューロンからなる入力層)の設計において実証されている。
設計者の制御下でのパラメータの役割の考察と明確化について検討した。 Spike Timing Dependent Plasticity is form of learning that has been demonstrated in real cortical tissue, but attempts to use it for artificial systems have not produced good results. This paper seeks to remedy this with two significant advances. The first is the development a simple stochastic learning rule called cyclic STDP that can extract patterns encoded in the precise spiking times of a group of neurons. We show that a population of neurons endowed with this learning rule can act as an effective short-term associative memory, storing and reliably recalling a large set of pattern associations over an extended period of time. The second major theme examines the challenges associated with training a neuron to produce a spike at a precise time and for the fidelity of spike recall time to be maintained as further learning occurs. The strong constraint of working with precisely-timed spikes (so-called temporal coding) is mandated by the learning rule but is also consistent with the believe in the necessity of such an encoding scheme to render a spiking neural network a competitive solution for flexible intelligent systems in continuous learning environments. The encoding and learning rules are demonstrated in the design of a single-layer associative memory (an input layer consisting of 3,200 spiking neurons fully-connected to a similar sized population of memory neurons), which we simulate and characterise. Design considerations and clarification of the role of parameters under the control of the designer are explored. | 翻訳日:2022-11-15 05:12:26 公開日:2020-06-30 |
| # オンライン動的ネットワーク埋め込み Online Dynamic Network Embedding ( http://arxiv.org/abs/2006.16478v1 ) ライセンス: Link先を確認 | Haiwei Huang, Jinlong Li, Huimin He, Huanhuan Chen | (参考訳) ネットワーク埋め込みは、ネットワークデータにとって非常に重要な方法である。
しかし、ほとんどのアルゴリズムは静的ネットワークにしか対応できない。
本稿では,動的ネットワークを扱うアルゴリズムであるRNNE(Recurrent Neural Network Embedding)を提案する。
a) 時間とともにノードとエッジが増加する(減少)トポロジカルに進化したグラフ
b) エッジに時間情報を含む時間グラフ
動的ネットワークのサイズの変化に対処するため、RNNEは、他のノードと接続されていない仮想ノードをネットワークに追加し、新しいノードが到着するとそれを置き換えることにより、ネットワークサイズを異なるタイミングで統一することができる。
一方、RNNEは、ノード間の直接リンクと、2つのノードの近傍構造間の類似性に注目し、ローカルネットワークとグローバルネットワークの構造を保存しようとする。
一方、RNNEは、前の埋め込み情報を転送することでノイズの影響を低減する。
したがって、RNNEはネットワークの静的特性と動的特性の両方を考慮することができ、5つのネットワーク上でRNNEを評価し、いくつかの最先端アルゴリズムと比較する。
その結果,rnneは再構成,分類,リンク予測において他のアルゴリズムよりも優れていることがわかった。 Network embedding is a very important method for network data. However, most of the algorithms can only deal with static networks. In this paper, we propose an algorithm Recurrent Neural Network Embedding (RNNE) to deal with dynamic network, which can be typically divided into two categories: a) topologically evolving graphs whose nodes and edges will increase (decrease) over time; b) temporal graphs whose edges contain time information. In order to handle the changing size of dynamic networks, RNNE adds virtual node, which is not connected to any other nodes, to the networks and replaces it when new node arrives, so that the network size can be unified at different time. On the one hand, RNNE pays attention to the direct links between nodes and the similarity between the neighborhood structures of two nodes, trying to preserve the local and global network structure. On the other hand, RNNE reduces the influence of noise by transferring the previous embedding information. Therefore, RNNE can take into account both static and dynamic characteristics of the network.We evaluate RNNE on five networks and compare with several state-of-the-art algorithms. The results demonstrate that RNNE has advantages over other algorithms in reconstruction, classification and link predictions. | 翻訳日:2022-11-15 05:11:19 公開日:2020-06-30 |
| # adversarial deep ensemble: マルウェア検出のための回避攻撃と防御 Adversarial Deep Ensemble: Evasion Attacks and Defenses for Malware Detection ( http://arxiv.org/abs/2006.16545v1 ) ライセンス: Link先を確認 | Deqiang Li and Qianmu Li | (参考訳) マルウェアは依然としてサイバーセキュリティにとって大きな脅威であり、機械学習に基づくマルウェア検出を要求する。
有望ではあるが、そのような検出器は回避攻撃に弱いことが知られている。
アンサンブル学習は一般的に対策を促進するが、攻撃者は攻撃効果を向上させるためにこの技術を利用することができる。
このことは、アンサンブルの防御力や、アンサンブルの攻撃が達成できる効果、特に互いに戦うときの堅牢性について調査する動機となる。
そこで我々は,攻撃者が複数の生成方法と複数の操作セットを扱えるようにし,悪意のある機能を損なうことなくマルウェアの例を妨害する攻撃手法を提案する。
これは自然に、深層ニューラルネットワークのアンサンブルを強化するための、新たな敵訓練のインスタンス化につながる。
2つの実用的なデータセットに対する26の異なる攻撃に対するandroidマルウェア検出器による防御を評価する。
実験結果から,新たな敵対的トレーニングは,広範囲な攻撃に対するディープニューラルネットワークの堅牢性を著しく向上させ,アンサンブル手法はベース分類器が十分に堅牢である場合のロバスト性を促進させるが,アンサンブル攻撃はウイルスTotalサービスを格段に低下させたとしても,強化されたマルウェア検出を効果的に回避できることが示された。 Malware remains a big threat to cyber security, calling for machine learning based malware detection. While promising, such detectors are known to be vulnerable to evasion attacks. Ensemble learning typically facilitates countermeasures, while attackers can leverage this technique to improve attack effectiveness as well. This motivates us to investigate which kind of robustness the ensemble defense or effectiveness the ensemble attack can achieve, particularly when they combat with each other. We thus propose a new attack approach, named mixture of attacks, by rendering attackers capable of multiple generative methods and multiple manipulation sets, to perturb a malware example without ruining its malicious functionality. This naturally leads to a new instantiation of adversarial training, which is further geared to enhancing the ensemble of deep neural networks. We evaluate defenses using Android malware detectors against 26 different attacks upon two practical datasets. Experimental results show that the new adversarial training significantly enhances the robustness of deep neural networks against a wide range of attacks, ensemble methods promote the robustness when base classifiers are robust enough, and yet ensemble attacks can evade the enhanced malware detectors effectively, even notably downgrading the VirusTotal service. | 翻訳日:2022-11-15 05:11:01 公開日:2020-06-30 |
| # Sinkhorn EM: エントロピー最適輸送に基づく期待最大化アルゴリズム Sinkhorn EM: An Expectation-Maximization algorithm based on entropic optimal transport ( http://arxiv.org/abs/2006.16548v1 ) ライセンス: Link先を確認 | Gonzalo Mena, Amin Nejatbakhsh, Erdem Varol and Jonathan Niles-Weed | (参考訳) エントロピー最適輸送に基づく混合物に対する期待最大化(EM)アルゴリズムの変種であるシンクホーンEM(sEM)について検討した。
sEMは、クラスタにデータポイントを個別に割り当てる代わりに、重量の混合に関する事前情報を統合することで責任を計算するために最適なトランスポートを使用する。
EMと同様に、sEM は座標の昇華手順として自然な解釈を持ち、ログのような下界を反復的に構築し最適化する。
しかし、理論上、実証的に、sEMはEMよりも優れた振舞いを持ち、より優れたグローバル収束保証を持ち、悪い局所最適条件で立ち往生する傾向が低いことを示している。
これらの結果は、シミュレーションデータおよびC. elegansニューロンを含む推論タスクの実験で補完し、sEMが細胞ラベルを他のアプローチよりもかなり良く学習していることを示す。 We study Sinkhorn EM (sEM), a variant of the expectation maximization (EM) algorithm for mixtures based on entropic optimal transport. sEM differs from the classic EM algorithm in the way responsibilities are computed during the expectation step: rather than assign data points to clusters independently, sEM uses optimal transport to compute responsibilities by incorporating prior information about mixing weights. Like EM, sEM has a natural interpretation as a coordinate ascent procedure, which iteratively constructs and optimizes a lower bound on the log-likelihood. However, we show theoretically and empirically that sEM has better behavior than EM: it possesses better global convergence guarantees and is less prone to getting stuck in bad local optima. We complement these findings with experiments on simulated data as well as in an inference task involving C. elegans neurons and show that sEM learns cell labels significantly better than other approaches. | 翻訳日:2022-11-15 05:10:38 公開日:2020-06-30 |
| # ユニモーダルバンディットの強制爆発自由戦略 Forced-exploration free Strategies for Unimodal Bandits ( http://arxiv.org/abs/2006.16569v1 ) ライセンス: Link先を確認 | Hassan Saber (SEQUEL), Pierre M\'enard (SEQUEL), Odalric-Ambrym Maillard (SEQUEL) | (参考訳) 我々は、一様構造を持つガウス分布やベルヌーイ分布によって特定される多腕バンディット問題を考える。
この問題は文献(combes and proutiere, 2014)では解決されているが、そのような構造に対する最先端のアルゴリズムは強制爆発のメカニズムとなっている。
本稿では,本多と竹村(2015)が導入したIMED(Indexed Minimum Empirical Divergence)戦略に適応して,この不定形構造を利用した最初の強制探索自由戦略であるIMED-UBを紹介する。
この戦略は最適である。
次に, IMED-UBのKLUCBバージョンであるKLUCB-UBを導出する。
証明手法により,両戦略の簡潔な有限時間解析を統一的に行うことが可能となった。
数値実験により、IMED-UBとKLUCB-UBはどちらも同様の性能を示し、最先端のアルゴリズムよりも優れていた。 We consider a multi-armed bandit problem specified by a set of Gaussian or Bernoulli distributions endowed with a unimodal structure. Although this problem has been addressed in the literature (Combes and Proutiere, 2014), the state-of-the-art algorithms for such structure make appear a forced-exploration mechanism. We introduce IMED-UB, the first forced-exploration free strategy that exploits the unimodal-structure, by adapting to this setting the Indexed Minimum Empirical Divergence (IMED) strategy introduced by Honda and Takemura (2015). This strategy is proven optimal. We then derive KLUCB-UB, a KLUCB version of IMED-UB, which is also proven optimal. Owing to our proof technique, we are further able to provide a concise finite-time analysis of both strategies in an unified way. Numerical experiments show that both IMED-UB and KLUCB-UB perform similarly in practice and outperform the state-of-the-art algorithms. | 翻訳日:2022-11-15 05:10:22 公開日:2020-06-30 |
| # スパース解釈性を含むグラフニューラルネットワーク Graph Neural Networks Including Sparse Interpretability ( http://arxiv.org/abs/2007.00119v1 ) ライセンス: Link先を確認 | Chris Lin, Gerald J. Sun, Krishna C. Bulusu, Jonathan R. Dry and Marylens Hernandez | (参考訳) グラフニューラルネットワーク(GNN)は、グラフ構造と特徴表現学習を可能にし、多くのドメインにまたがるアプリケーションを持つ、汎用的で強力な機械学習手法である。
重要な解釈を必要とするアプリケーションでは、注意に基づくGNNが活用されている。
しかし、これらのアプローチは特定のモデルアーキテクチャに依存するか、あるいはその解釈においてグラフ構造とノードの特徴を共同で考慮していない。
本稿では,重要なグラフ構造とノード特徴を解釈するためのモデル非依存フレームワークであるsparse interpretability(gisst)を含むグラフニューラルネットワークを提案する。
GNNモデルでは、GISSTはアテンション機構とスパーシティ正規化を組み合わせて、グラフベースのタスクに関連する重要なサブグラフとノード特徴サブセットを生成する。
単一の自己アテンション層を通じて、GISSTモデルは入力グラフの各ノードの特徴とエッジに対する重要確率を学習する。
これらの重要度をモデル損失関数に含めることで、その確率はエンドツーエンドに最適化され、タスク固有のパフォーマンスに結びつく。
さらにgisstは、エントロピーとl1正規化によるこれらの重要度確率をスパースし、入力グラフトポロジーとノード特徴のノイズを低減する。
GISSTモデルは、代替解釈手法と比較して、合成データセットにおいて優れたノード特徴とエッジ説明精度を実現する。
さらに、GISSTモデルは、実世界のデータセットにおいて重要なグラフ構造を識別することができる。
GISSTエッジ確率計算にそれらを組み込むことで、エッジ特徴の重要性と複数のエッジタイプを考慮できることを示す。
GISSTは、トポロジ、ノードの特徴、エッジの特徴を共同で説明することによって、GNNモデルやタスクに対して本質的にシンプルで関連する解釈を提供する。 Graph Neural Networks (GNNs) are versatile, powerful machine learning methods that enable graph structure and feature representation learning, and have applications across many domains. For applications critically requiring interpretation, attention-based GNNs have been leveraged. However, these approaches either rely on specific model architectures or lack a joint consideration of graph structure and node features in their interpretation. Here we present a model-agnostic framework for interpreting important graph structure and node features, Graph neural networks Including SparSe inTerpretability (GISST). With any GNN model, GISST combines an attention mechanism and sparsity regularization to yield an important subgraph and node feature subset related to any graph-based task. Through a single self-attention layer, a GISST model learns an importance probability for each node feature and edge in the input graph. By including these importance probabilities in the model loss function, the probabilities are optimized end-to-end and tied to the task-specific performance. Furthermore, GISST sparsifies these importance probabilities with entropy and L1 regularization to reduce noise in the input graph topology and node features. Our GISST models achieve superior node feature and edge explanation precision in synthetic datasets, as compared to alternative interpretation approaches. Moreover, our GISST models are able to identify important graph structure in real-world datasets. We demonstrate in theory that edge feature importance and multiple edge types can be considered by incorporating them into the GISST edge probability computation. By jointly accounting for topology, node features, and edge features, GISST inherently provides simple and relevant interpretations for any GNN models and tasks. | 翻訳日:2022-11-15 05:04:06 公開日:2020-06-30 |
| # 性能保証可能な燃料噴射量のためのニューラルネットワーク仮想センサ Neural Network Virtual Sensors for Fuel Injection Quantities with Provable Performance Specifications ( http://arxiv.org/abs/2007.00147v1 ) ライセンス: Link先を確認 | Eric Wong, Tim Schneider, Joerg Schmitt, Frank R. Schmidt, J. Zico Kolter | (参考訳) 近年の研究では、入力摂動の対象となるモデルの出力を証明可能な保証でニューラルネットワークを学習できることが示されているが、これらの研究は主に画像分類器の敵対的例に対する防御に焦点を当てている。
本稿では, エンジン内燃料噴射量を測定するロバストな仮想センサの性能仕様の取得など, 実現可能な保証を他の実環境に適用する方法について検討する。
この環境では、単純なニューラルネットワークモデルでさえ、標準的なニューラルネットワークの平均相対誤差を6.6%から43.8%に増やすことができる、合理的なレベルの逆センサーノイズに非常に敏感であることを示す。
次に,頑健なネットワークを学習し,頑健性を検証する手法を活用し,センサノイズ下で16.5%の相対誤差を保証できるロバストモデルを構築した。
さらに,一定の範囲でのロバスト性を最大化するために,燃料噴射量の特定の間隔を目標にする方法を示し,正常化された燃料噴射範囲内の非敵データに対する3%の相対誤差を0.6～1.0で維持しながら,騒音下で10.69%の相対誤差を保証できる燃料噴射用仮想センサの訓練を可能にした。 Recent work has shown that it is possible to learn neural networks with provable guarantees on the output of the model when subject to input perturbations, however these works have focused primarily on defending against adversarial examples for image classifiers. In this paper, we study how these provable guarantees can be naturally applied to other real world settings, namely getting performance specifications for robust virtual sensors measuring fuel injection quantities within an engine. We first demonstrate that, in this setting, even simple neural network models are highly susceptible to reasonable levels of adversarial sensor noise, which are capable of increasing the mean relative error of a standard neural network from 6.6% to 43.8%. We then leverage methods for learning provably robust networks and verifying robustness properties, resulting in a robust model which we can provably guarantee has at most 16.5% mean relative error under any sensor noise. Additionally, we show how specific intervals of fuel injection quantities can be targeted to maximize robustness for certain ranges, allowing us to train a virtual sensor for fuel injection which is provably guaranteed to have at most 10.69% relative error under noise while maintaining 3% relative error on non-adversarial data within normalized fuel injection ranges of 0.6 to 1.0. | 翻訳日:2022-11-15 05:03:39 公開日:2020-06-30 |
| # 半教師付きシーケンス生成モデル Semi-supervised Sequential Generative Models ( http://arxiv.org/abs/2007.00155v1 ) ライセンス: Link先を確認 | Michael Teng, Tuan Anh Le, Adam Scibior, Frank Wood | (参考訳) 本稿では, 離散的潜在変数を持つ深部生成時系列モデルの学習のための新しい目的について紹介する。
この半教師付き学習の例は、離散潜在構成の指数的な個数が高分散勾配推定器をもたらすため、既存の手法では困難である。
我々はまず、半教師付き生成モデリングの標準目標をウェイクスリープで拡張することでこの問題を克服する。
しかし、この方法は、利用可能なラベルの頻度がトレーニングシーケンスによって異なる場合にも生じる。
最後に,教師の強制に触発された統一的な目的を導入し,この手法が可変長監視に堅牢であることを示す。
CWS(caffeinated wake-sleep)と呼ばれ、実際のデータへのさらなる依存を強調する。
MNIST, 手書き, フルーツフライトラジェクトリデータを用いた実験により, その効果を実証した。 We introduce a novel objective for training deep generative time-series models with discrete latent variables for which supervision is only sparsely available. This instance of semi-supervised learning is challenging for existing methods, because the exponential number of possible discrete latent configurations results in high variance gradient estimators. We first overcome this problem by extending the standard semi-supervised generative modeling objective with reweighted wake-sleep. However, we find that this approach still suffers when the frequency of available labels varies between training sequences. Finally, we introduce a unified objective inspired by teacher-forcing and show that this approach is robust to variable length supervision. We call the resulting method caffeinated wake-sleep (CWS) to emphasize its additional dependence on real data. We demonstrate its effectiveness with experiments on MNIST, handwriting, and fruit fly trajectory data. | 翻訳日:2022-11-15 05:03:15 公開日:2020-06-30 |
| # 科学的機械学習のための行動型属性マップ Actionable Attribution Maps for Scientific Machine Learning ( http://arxiv.org/abs/2006.16533v1 ) ライセンス: Link先を確認 | Shusen Liu, Bhavya Kailkhura, Jize Zhang, Anna M. Hiszpanski, Emily Robertson, Donald Loveland, T. Yong-Jin Han | (参考訳) 科学コミュニティは、さまざまな領域の課題を解決するためにディープラーニングの力を活用することにますます関心を寄せている。
しかしながら、予測モデルの構築に効果があるにもかかわらず、その不透明な性質からディープニューラルネットワークから実行可能な知識を抽出することには、基本的な課題が存在する。
本研究では,分析パイプラインに,ドメイン固有の動作可能な概念をチューナブルな`knobs'として注入することにより,ディープラーニングモデルの振る舞いを探索する手法を提案する。
ドメイン知識を生成モデルに組み込むことで、これらのブラックボックスモデルの振る舞いをよりよく理解できるだけでなく、科学者に基本的な発見につながる可能性のある実用的な洞察を与えることができる。 The scientific community has been increasingly interested in harnessing the power of deep learning to solve various domain challenges. However, despite the effectiveness in building predictive models, fundamental challenges exist in extracting actionable knowledge from the deep neural network due to their opaque nature. In this work, we propose techniques for exploring the behavior of deep learning models by injecting domain-specific actionable concepts as tunable ``knobs'' in the analysis pipeline. By incorporating the domain knowledge with generative modeling, we are not only able to better understand the behavior of these black-box models, but also provide scientists with actionable insights that can potentially lead to fundamental discoveries. | 翻訳日:2022-11-15 05:03:01 公開日:2020-06-30 |
| # テスト時間データ提示による分類信頼度推定 Classification Confidence Estimation with Test-Time Data-Augmentation ( http://arxiv.org/abs/2006.16705v1 ) ライセンス: Link先を確認 | Yuval Bahat and Gregory Shakhnarovich | (参考訳) マシンラーニングは、医療、輸送、セキュリティ、正義、その他の領域を含む、私たちの生活の多くの面において、ますます重要な役割を担っている。
これらの結果は、そのような誤った予測を自動でフラグ付けし、より信頼性の高いメカニズムに割り当てることができれば、よりコストがかかり、人間の注意を巻き込む可能性がある。
本稿では,視覚的分類における誤り検出の課題について述べる。
そこで本研究では,新しい分類信頼度推定手法を提案する。
入力画像にセマンティクスを保存した画像変換の集合を適用し,得られた画像集合を用いて分類器の予測の信頼性を推定する方法を示す。
本稿では,ResNext/ImageNetなど,多種多様な分類器アーキテクチャやデータセットで評価し,その性能を向上することで,我々のアプローチの可能性を示す。
本稿は、この方向における我々の初期の研究の大幅な改訂である(Bahat & Shakhnarovich, 2018)。 Machine learning plays an increasingly significant role in many aspects of our lives (including medicine, transportation, security, justice and other domains), making the potential consequences of false predictions increasingly devastating. These consequences may be mitigated if we can automatically flag such false predictions and potentially assign them to alternative, more reliable mechanisms, that are possibly more costly and involve human attention. This suggests the task of detecting errors, which we tackle in this paper for the case of visual classification. To this end, we propose a novel approach for classification confidence estimation. We apply a set of semantics-preserving image transformations to the input image, and show how the resulting image sets can be used to estimate confidence in the classifier's prediction. We demonstrate the potential of our approach by extensively evaluating it on a wide variety of classifier architectures and datasets, including ResNext/ImageNet, achieving state of the art performance. This paper constitutes a significant revision of our earlier work in this direction (Bahat & Shakhnarovich, 2018). | 翻訳日:2022-11-15 05:02:51 公開日:2020-06-30 |
| # 幾何学的事前知識によるディープニューラルネットワークの強化:サーベイ Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey ( http://arxiv.org/abs/2006.16867v1 ) ライセンス: Link先を確認 | Matthias Rath and Alexandru Paul Condurache | (参考訳) Deep Neural Networks(DNN)は、多くの異なる問題設定で最先端の結果を達成する一方で、いくつかの重大な弱点の影響を受けている。
一方、DNNは大量のトレーニングデータを活用することに依存しており、そのラベル付けプロセスは時間と費用がかかる。
一方、DNNはブラックボックスシステムとして扱われることが多く、評価と検証が複雑になる。
どちらの問題も、事前知識をDNNに組み込むことで軽減することができる。
コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(cnns)の成功に触発された有望な分野の1つは、解決すべき問題の対称幾何変換に関する知識を取り入れることである。
これにより、より容易に解釈可能なデータ効率とフィルタ応答が向上する。
本調査では,幾何学的事前知識をDNNに組み込むための様々なアプローチについて,簡潔に概説する。
さらに,これらの手法を,自律走行のための3次元物体検出の分野と結びつけて,その手法を応用する有望な結果を期待する。 While Deep Neural Networks (DNNs) achieve state-of-the-art results in many different problem settings, they are affected by some crucial weaknesses. On the one hand, DNNs depend on exploiting a vast amount of training data, whose labeling process is time-consuming and expensive. On the other hand, DNNs are often treated as black box systems, which complicates their evaluation and validation. Both problems can be mitigated by incorporating prior knowledge into the DNN. One promising field, inspired by the success of convolutional neural networks (CNNs) in computer vision tasks, is to incorporate knowledge about symmetric geometrical transformations of the problem to solve. This promises an increased data-efficiency and filter responses that are interpretable more easily. In this survey, we try to give a concise overview about different approaches to incorporate geometrical prior knowledge into DNNs. Additionally, we try to connect those methods to the field of 3D object detection for autonomous driving, where we expect promising results applying those methods. | 翻訳日:2022-11-15 05:02:35 公開日:2020-06-30 |
| # 最適品質を持つ逆例の生成 Generating Adversarial Examples with an Optimized Quality ( http://arxiv.org/abs/2007.00146v1 ) ライセンス: Link先を確認 | Aminollah Khormali, DaeHun Nyang, David Mohaisen | (参考訳) ディープラーニングモデルは、コンピュータビジョンやコンピュータセキュリティなど、さまざまなアプリケーション領域で広く使用されている。
しかし、ディープラーニングモデルは、Adversarial Examples (AEs) に対して脆弱であり、これらのモデルを騙すために慎重に作られたサンプルである。
近年の研究では、新たな敵攻撃法が導入されたが、我々の知る限り、ミスクラス化率(MR)のような単純な品質基準を超えて、工芸品に保証された品質は提供されなかった。
本稿では,画像品質評価(IQA)メトリクスをAEの設計・生成プロセスに組み込む。
提案手法は,AEを高い誤分類率で生成し,サンプルの品質,すなわち識別不能性を明示的に向上すると同時に,限られた画素数しか摂動しない進化型単目的・多目的最適化手法を提案する。
特に、エッジ分析、フーリエ分析、特徴記述子など、いくつかのIQAメトリクスがAEの生成プロセスに活用されている。
進化的アルゴリズムの特異な特徴は、AEsの誤分類率とIQAメトリクスを同時に最適化することを可能にする。
提案手法の性能を評価するため,多種多様なベンチマークデータセット(MNIST, CIFAR, GTSRB, Open Image Dataset V5)について,客観的な最適化構成を考慮した集中的な実験を行った。
実験の結果,既存の攻撃法と比較して,AEの生成過程におけるIQA測定値の使用は,高い誤分類率を維持しつつも,品質を著しく向上させることができるという仮説が得られた。 Deep learning models are widely used in a range of application areas, such as computer vision, computer security, etc. However, deep learning models are vulnerable to Adversarial Examples (AEs),carefully crafted samples to deceive those models. Recent studies have introduced new adversarial attack methods, but, to the best of our knowledge, none provided guaranteed quality for the crafted examples as part of their creation, beyond simple quality measures such as Misclassification Rate (MR). In this paper, we incorporateImage Quality Assessment (IQA) metrics into the design and generation process of AEs. We propose an evolutionary-based single- and multi-objective optimization approaches that generate AEs with high misclassification rate and explicitly improve the quality, thus indistinguishability, of the samples, while perturbing only a limited number of pixels. In particular, several IQA metrics, including edge analysis, Fourier analysis, and feature descriptors, are leveraged into the process of generating AEs. Unique characteristics of the evolutionary-based algorithm enable us to simultaneously optimize the misclassification rate and the IQA metrics of the AEs. In order to evaluate the performance of the proposed method, we conduct intensive experiments on different well-known benchmark datasets(MNIST, CIFAR, GTSRB, and Open Image Dataset V5), while considering various objective optimization configurations. The results obtained from our experiments, when compared with the exist-ing attack methods, validate our initial hypothesis that the use ofIQA metrics within generation process of AEs can substantially improve their quality, while maintaining high misclassification rate.Finally, transferability and human perception studies are provided, demonstrating acceptable performance. | 翻訳日:2022-11-15 05:01:56 公開日:2020-06-30 |
| # 忠実度間の変動を考慮したガウス過程に基づく多忠実度技術の概要 Overview of Gaussian process based multi-fidelity techniques with variable relationship between fidelities ( http://arxiv.org/abs/2006.16728v1 ) ライセンス: Link先を確認 | Lo\"ic Brevault, Mathieu Balesdent, Ali Hebbal | (参考訳) 航空機やロケットの新しい構成のような複雑なシステムの設計プロセスは通常、設計変数の数と物理モデルの忠実性の観点から分析の深さによって特徴づけられる異なるフェーズで分解される。
各フェーズでは、設計者は正確だが計算集約的なモデルと、安価だが不正確なモデルで構成する必要がある。
マルチフィデリティモデリングは、異なるフィデリティモデルをマージして、計算コストに制限のある正確な結果を提供する方法である。
マルチフィデリティモデリングの文脈において、ガウス過程に依存するアプローチは、異なるフィデリティモデル間で情報を融合する一般的な技術として現れる。
忠実度モデル間の関係は多忠実度モデリングにおける重要な側面である。
本稿では,忠実度モデル間の可変関係(線形性,非線形性,可変相関など)に対するガウス過程に基づく多元性モデリング手法について概説する。
各テクニックは統一フレームワーク内で記述され、異なるテクニック間のリンクが強調される。
これらすべてのアプローチは、問題特性に関する利点と欠点を評価するために、一連の分析テストケースと4つの航空宇宙関連エンジニアリング問題に基づいて数値的に比較される。 The design process of complex systems such as new configurations of aircraft or launch vehicles is usually decomposed in different phases which are characterized for instance by the depth of the analyses in terms of number of design variables and fidelity of the physical models. At each phase, the designers have to compose with accurate but computationally intensive models as well as cheap but inaccurate models. Multi-fidelity modeling is a way to merge different fidelity models to provide engineers with accurate results with a limited computational cost. Within the context of multi-fidelity modeling, approaches relying on Gaussian Processes emerge as popular techniques to fuse information between the different fidelity models. The relationship between the fidelity models is a key aspect in multi-fidelity modeling. This paper provides an overview of Gaussian process-based multi-fidelity modeling techniques for variable relationship between the fidelity models (e.g., linearity, non-linearity, variable correlation). Each technique is described within a unified framework and the links between the different techniques are highlighted. All the approaches are numerically compared on a series of analytical test cases and four aerospace related engineering problems in order to assess their benefits and disadvantages with respect to the problem characteristics. | 翻訳日:2022-11-15 04:54:35 公開日:2020-06-30 |
| # 逐次関数勾配最適化による非凸モデルの誘導学習 Guided Learning of Nonconvex Models through Successive Functional Gradient Optimization ( http://arxiv.org/abs/2006.16840v1 ) ライセンス: Link先を確認 | Rie Johnson and Tong Zhang | (参考訳) 本稿では,関数空間内のミラー降下によって学習を駆動するニューラルネットワークなどの非凸モデルの学習のための,逐次関数勾配最適化の枠組みを提案する。
本稿では,この枠組みに基づく学習方法の理論解析と経験的研究を行う。
その結果,本手法は標準訓練法よりも優れた性能を示すことがわかった。 This paper presents a framework of successive functional gradient optimization for training nonconvex models such as neural networks, where training is driven by mirror descent in a function space. We provide a theoretical analysis and empirical study of the training method derived from this framework. It is shown that the method leads to better performance than that of standard training techniques. | 翻訳日:2022-11-15 04:54:15 公開日:2020-06-30 |
| # Tomographic Auto-Encoder: 崩壊したデータの教師なしベイズ復元 Tomographic Auto-Encoder: Unsupervised Bayesian Recovery of Corrupted Data ( http://arxiv.org/abs/2006.16938v1 ) ライセンス: Link先を確認 | Francesco Tonolini, Pablo G. Moreno, Andreas Damianou, Roderick Murray-Smith | (参考訳) 破損したデータの教師なし回復のための新しい確率的手法を提案する。
劣化したサンプルの大規模なアンサンブルからクリーンな値の正確な後部を復元し、再構成可能なデータの多様体を探索し、基礎となる不確実性を特徴づける。
この設定では、古典的変分法を直接適用すると、しばしば解空間を十分に探索しない崩壊密度が生じる。
代わりに, エントロピー条件近似推定法を新たに開発した。
我々は,データ復元タスクにおいて,欠落値と雑音の共通設定下でモデルをテストし,実データ集合の異なるインプテーションと非ノイズ化のための既存の変分法よりも優れた性能を示す。
さらに,提案モデルを用いて,下流タスクに不確実性を伝播する利点を証明し,計算後の分類精度の向上を図った。 We propose a new probabilistic method for unsupervised recovery of corrupted data. Given a large ensemble of degraded samples, our method recovers accurate posteriors of clean values, allowing the exploration of the manifold of possible reconstructed data and hence characterising the underlying uncertainty. In this setting, direct application of classical variational methods often gives rise to collapsed densities that do not adequately explore the solution space. Instead, we derive our novel reduced entropy condition approximate inference method that results in rich posteriors. We test our model in a data recovery task under the common setting of missing values and noise, demonstrating superior performance to existing variational methods for imputation and de-noising with different real data sets. We further show higher classification accuracy after imputation, proving the advantage of propagating uncertainty to downstream tasks with our model. | 翻訳日:2022-11-15 04:53:35 公開日:2020-06-30 |
| # AdaSGD:SGDとAdamのギャップを埋める AdaSGD: Bridging the gap between SGD and Adam ( http://arxiv.org/abs/2006.16541v1 ) ライセンス: Link先を確認 | Jiaxuan Wang, Jenna Wiens | (参考訳) 近年,確率勾配降下 (SGD) と適応モーメント推定 (Adam) の文脈において,収束性および一般化性能の向上を目標として,アダムからSGDへ遷移する最適化手法が提案されている。
しかしながら、それぞれのアプローチの早期進行と一般化のトレードオフが正確には理解されていないため、あるアプローチから別のアプローチへ移行する時期や時期は明確ではない。
本研究では,まずconvex 設定の研究を行い,sgd と adam の性能差を観測する潜在的貢献者を特定する。
特に、Adam が SGD を上回った時期と理由に関する理論的知見を提供する。
我々は、AdaSGDと呼ぶSGDの1つのグローバル学習率を適用することで、パフォーマンスギャップを補足する。
提案手法を非凸設定における経験的解析を用いて正当化する。
3つの異なるドメインにまたがるいくつかのデータセットで、AdaSGDがSGDとAdamの両方の利点を組み合わせ、AdamからSGDへ移行するアプローチの必要性を排除していることを示す。 In the context of stochastic gradient descent(SGD) and adaptive moment estimation (Adam),researchers have recently proposed optimization techniques that transition from Adam to SGD with the goal of improving both convergence and generalization performance. However, precisely how each approach trades off early progress and generalization is not well understood; thus, it is unclear when or even if, one should transition from one approach to the other. In this work, by first studying the convex setting, we identify potential contributors to observed differences in performance between SGD and Adam. In particular,we provide theoretical insights for when and why Adam outperforms SGD and vice versa. We ad-dress the performance gap by adapting a single global learning rate for SGD, which we refer to as AdaSGD. We justify this proposed approach with empirical analyses in non-convex settings. On several datasets that span three different domains,we demonstrate how AdaSGD combines the benefits of both SGD and Adam, eliminating the need for approaches that transition from Adam to SGD. | 翻訳日:2022-11-15 04:45:09 公開日:2020-06-30 |
| # 産業機器構造を活用するためのグラフニューラルネットワーク:有用寿命推定の残留への応用 Graph Neural Networks for Leveraging Industrial Equipment Structure: An application to Remaining Useful Life Estimation ( http://arxiv.org/abs/2006.16556v1 ) ライセンス: Link先を確認 | Jyoti Narwariya, Pankaj Malhotra, Vishnu TV, Lovekesh Vig, Gautam Shroff | (参考訳) ストリーミングマルチセンサの時系列データからの自動機器の健康モニタリングは、条件ベースのメンテナンスを可能にし、突然の破滅的な失敗を回避し、高い運用可用性を確保するために使用することができる。
ほとんどの複雑な機械は文書化されており、容易にアクセスできる基盤構造であり、サブシステムやモジュール間の依存性を捉えている。
recurrent neural networks(rnns)やconvolutional neural networks(cnns)に基づいたディープラーニングモデルは、この潜在的に豊富なドメイン知識のソースを学習手順に明示的に活用できていない。
本研究では,複雑な機器の構造をグラフ形式で把握し,グラフニューラルネットワーク(GNN)を用いてマルチセンサ時系列データをモデル化する手法を提案する。
残余の寿命推定をアプリケーションタスクとして利用することにより、GNNによるグラフ構造を利用可能なターボファンエンジンベンチマークデータセットに組み込むことの利点を評価する。
我々は,提案したGNNに基づくRUL推定モデルが,RNNやCNNをベースとした文学からの強いベースラインと好意的に比較した。
さらに、学習したネットワークは、単純な注意機構を通じて、差し迫った失敗を伴ってモジュール(ノード)に集中でき、実用的な診断の道を開くことができる。 Automated equipment health monitoring from streaming multisensor time-series data can be used to enable condition-based maintenance, avoid sudden catastrophic failures, and ensure high operational availability. We note that most complex machinery has a well-documented and readily accessible underlying structure capturing the inter-dependencies between sub-systems or modules. Deep learning models such as those based on recurrent neural networks (RNNs) or convolutional neural networks (CNNs) fail to explicitly leverage this potentially rich source of domain-knowledge into the learning procedure. In this work, we propose to capture the structure of a complex equipment in the form of a graph, and use graph neural networks (GNNs) to model multi-sensor time-series data. Using remaining useful life estimation as an application task, we evaluate the advantage of incorporating the graph structure via GNNs on the publicly available turbofan engine benchmark dataset. We observe that the proposed GNN-based RUL estimation model compares favorably to several strong baselines from literature such as those based on RNNs and CNNs. Additionally, we observe that the learned network is able to focus on the module (node) with impending failure through a simple attention mechanism, potentially paving the way for actionable diagnosis. | 翻訳日:2022-11-15 04:44:47 公開日:2020-06-30 |
| # 球面高調波特徴を持つスパースガウス過程 Sparse Gaussian Processes with Spherical Harmonic Features ( http://arxiv.org/abs/2006.16649v1 ) ライセンス: Link先を確認 | Vincent Dutordoir, Nicolas Durrande, James Hensman | (参考訳) 我々は,領域間変動ガウス過程(GP)の新たなクラスを導入し,球面調和表現を使用するために,データを単位超球面にマッピングする。
我々の推論スキームは変分フーリエ特徴に匹敵するが、次元性の呪いに悩まされず、誘導変数間の対角的共分散行列をもたらす。
これにより、大きな共分散行列を逆転する必要がなくなるため、推論の高速化が可能になる。
実験の結果,本モデルでは,標準のスパースGPに比べて2桁の精度で600万エントリのデータセットの回帰モデルに適合し,精度の維持が可能であることがわかった。
また,非共役確率の分類における競合性能を示す。 We introduce a new class of inter-domain variational Gaussian processes (GP) where data is mapped onto the unit hypersphere in order to use spherical harmonic representations. Our inference scheme is comparable to variational Fourier features, but it does not suffer from the curse of dimensionality, and leads to diagonal covariance matrices between inducing variables. This enables a speed-up in inference, because it bypasses the need to invert large covariance matrices. Our experiments show that our model is able to fit a regression model for a dataset with 6 million entries two orders of magnitude faster compared to standard sparse GPs, while retaining state of the art accuracy. We also demonstrate competitive performance on classification with non-conjugate likelihoods. | 翻訳日:2022-11-15 04:43:58 公開日:2020-06-30 |
| # 質問応答のための条件認識と修正変圧器に基づく誤り背景知識の補正 Correction of Faulty Background Knowledge based on Condition Aware and Revise Transformer for Question Answering ( http://arxiv.org/abs/2006.16722v1 ) ライセンス: Link先を確認 | Xinyan Zhao, Xiao Feng, Haoming Zhong, Jun Yao, Huanhuan Chen | (参考訳) 近年,質問応答の研究が注目されている。
本研究は、eコマースにおける配送状況や在庫情報など、質問に対応するユーザの意図と条件情報の両方と互換性のある回答を提供することに重点を置いている。
しかし、これらの条件は現実世界のアプリケーションでは間違っているか不完全かもしれない。
既存の質問応答システムは、分類的属性や知識ベースにおけるトリプルといった外部情報を考慮しているが、これらはすべて、外部情報が正確かつ完全であると仮定している。
本稿では, 故障条件値の影響を軽減するために, 条件認識・修正変換器(CAR-Transformer)を提案する。
CAR変換器(1)は、会話全体と元の条件値に基づいて各条件値を修正し、(2)修正条件を符号化し、その条件を埋め込んで回答を選択する。
実世界の顧客サービスデータセットにおける実験結果から、CAR-Transformerは、疑問に対応する条件が間違っている場合や欠落している場合、適切な応答を選択することができ、自動評価と人的評価でベースラインモデルを大幅に上回っていることが示された。
提案した CAR-Transformer は他の NLP タスクにも拡張可能である。 The study of question answering has received increasing attention in recent years. This work focuses on providing an answer that compatible with both user intent and conditioning information corresponding to the question, such as delivery status and stock information in e-commerce. However, these conditions may be wrong or incomplete in real-world applications. Although existing question answering systems have considered the external information, such as categorical attributes and triples in knowledge base, they all assume that the external information is correct and complete. To alleviate the effect of defective condition values, this paper proposes condition aware and revise Transformer (CAR-Transformer). CAR-Transformer (1) revises each condition value based on the whole conversation and original conditions values, and (2) it encodes the revised conditions and utilizes the conditions embedding to select an answer. Experimental results on a real-world customer service dataset demonstrate that the CAR-Transformer can still select an appropriate reply when conditions corresponding to the question exist wrong or missing values, and substantially outperforms baseline models on automatic and human evaluations. The proposed CAR-Transformer can be extended to other NLP tasks which need to consider conditioning information. | 翻訳日:2022-11-15 04:37:03 公開日:2020-06-30 |
| # ゼロショット学習のためのオントロジー誘導意味合成 Ontology-guided Semantic Composition for Zero-Shot Learning ( http://arxiv.org/abs/2006.16917v1 ) ライセンス: Link先を確認 | Jiaoyan Chen and Freddy Lecue and Yuxia Geng and Jeff Z. Pan and Huajun Chen | (参考訳) ゼロショット学習(ZSL, Zero-shot Learning)は、クラス間関係を一部の情報と利用することで、トレーニング段階で一度も現れなかったクラスを予測することを目的とした一般的な研究課題である。
本研究では、OWL(Web Ontology Language)オントロジーによるクラスラベルの合成と表現のセマンティクスをモデル化し、さらに、オントロジーを組み込んだ新しいZSLフレームワークを開発することを提案する。
この効果は、動物画像分類と視覚的質問応答に関するいくつかの実験によって検証されている。 Zero-shot learning (ZSL) is a popular research problem that aims at predicting for those classes that have never appeared in the training stage by utilizing the inter-class relationship with some side information. In this study, we propose to model the compositional and expressive semantics of class labels by an OWL (Web Ontology Language) ontology, and further develop a new ZSL framework with ontology embedding. The effectiveness has been verified by some primary experiments on animal image classification and visual question answering. | 翻訳日:2022-11-15 04:35:53 公開日:2020-06-30 |
| # ラスベガスにおける境界性:確率論的有限オートマタ演奏 Bounded Rationality in Las Vegas: Probabilistic Finite Automata PlayMulti-Armed Bandits ( http://arxiv.org/abs/2006.16950v1 ) ライセンス: Link先を確認 | Xinming Liu, Joseph Y. Halpern | (参考訳) 従来の経済学では、人間が常に期待する効用を最大化する完全に合理的なエージェントであると仮定しているが、実際には我々は常に不合理な振る舞いを観察している。
1つの説明は、人々は計算能力に制限があるので、計算能力の限界を考えると、合理的に最善を尽くすことができる。
この仮説を検証するために,マルチアームドバンディット (mab) 問題を考える。
確率有限オートマトン(pfa)によって容易に実装可能なmabをプレイするための単純な戦略について検討する。
おおまかに言えば、PFAは特定の期待を設定し、それを満たす限り腕を組む。
pfaが十分多くの状態を持つ場合、ほぼ最適に振る舞う。
その性能は州数が減少するにつれて優雅に低下する。
さらに、PFAは「人間のような」方法で行動し、楽観主義バイアスや負性バイアスなど、多くの標準的な人間のバイアスを示す。 While traditional economics assumes that humans are fully rational agents who always maximize their expected utility, in practice, we constantly observe apparently irrational behavior. One explanation is that people have limited computational power, so that they are, quite rationally, making the best decisions they can, given their computational limitations. To test this hypothesis, we consider the multi-armed bandit (MAB) problem. We examine a simple strategy for playing an MAB that can be implemented easily by a probabilistic finite automaton (PFA). Roughly speaking, the PFA sets certain expectations, and plays an arm as long as it meets them. If the PFA has sufficiently many states, it performs near-optimally. Its performance degrades gracefully as the number of states decreases. Moreover, the PFA acts in a "human-like" way, exhibiting a number of standard human biases, like an optimism bias and a negativity bias. | 翻訳日:2022-11-15 04:35:43 公開日:2020-06-30 |
| # 辞書学習による構造化テンソルのオンラインCP/PARAFAC分解 Provable Online CP/PARAFAC Decomposition of a Structured Tensor via Dictionary Learning ( http://arxiv.org/abs/2006.16442v1 ) ライセンス: Link先を確認 | Sirisha Rambhatla, Xingguo Li, Jarvis Haupt | (参考訳) 構造付き3方向テンソルをその構成正準ポリアディック(CP)因子に分解する問題を考察する。
この分解はテンソルに対する特異値分解(SVD)の一般化と見なすことができ、テンソル次元(函数)がどのように相互作用するかを明らかにする。
しかし、これらの因子は未定であるため、対応する最適化問題は本質的に非凸である。
この非凸性を扱う既存の保証されたアルゴリズムは、既約エラー(bia)を引き起こし、全ての因子が同じ構造を持つ場合にのみ適用される。
この目的のために、オンライン構造的テンソル因子化のための証明可能なアルゴリズムを開発し、その1つの要因がいくつかの不整合条件に従属し、他の要素は疎結合である。
具体的には,初期化,ランク,スパーシティに関する比較的穏やかな条件下において,アルゴリズムが(スケールと置換までの)因子を線形速度で正確に回復することを示す。
我々の理論結果と相まって,我々の合成および実世界のデータ評価は,関連する技術と比較して優れた性能を示す。
さらに、オンザフライで学習するスケーラビリティと能力は、現実世界のタスクに適しています。 We consider the problem of factorizing a structured 3-way tensor into its constituent Canonical Polyadic (CP) factors. This decomposition, which can be viewed as a generalization of singular value decomposition (SVD) for tensors, reveals how the tensor dimensions (features) interact with each other. However, since the factors are a priori unknown, the corresponding optimization problems are inherently non-convex. The existing guaranteed algorithms which handle this non-convexity incur an irreducible error (bias), and only apply to cases where all factors have the same structure. To this end, we develop a provable algorithm for online structured tensor factorization, wherein one of the factors obeys some incoherence conditions, and the others are sparse. Specifically we show that, under some relatively mild conditions on initialization, rank, and sparsity, our algorithm recovers the factors exactly (up to scaling and permutation) at a linear rate. Complementary to our theoretical results, our synthetic and real-world data evaluations showcase superior performance compared to related techniques. Moreover, its scalability and ability to learn on-the-fly makes it suitable for real-world tasks. | 翻訳日:2022-11-15 04:35:28 公開日:2020-06-30 |
| # 時系列生成のための条件付きGAN Conditional GAN for timeseries generation ( http://arxiv.org/abs/2006.16477v1 ) ライセンス: Link先を確認 | Kaleb E Smith, Anthony O Smith | (参考訳) 時間依存データが世界の重要な情報源であることは、非常に明白である。
この課題は、機械学習のアプリケーションが、アルゴリズムの開発と分析に必要な大量の品質データにアクセスできるようにすることである。
GAN(Generative Adversarial Network)を用いた合成データのモデリングは,実現可能なソリューションの提供の中心にある。
我々の研究は1次元の時系列に焦点をあて、限られたデータでアルゴリズムがうまく機能する数少ないショットアプローチを探究する。
この研究は、現実的な時系列データをモデル化するために、新しいアーキテクチャであるTSGAN(Time Series GAN)を提案することで、フラストレーションを緩和しようとする。
ベンチマーク時系列データベースから,70データセット上でTSGANを評価する。
これらの結果から,TSGANはFrechet Inception Score(FID)の定量化と,評価基準として分類を用いる場合の定性化の両方において,競合よりも優れた性能を示した。 It is abundantly clear that time dependent data is a vital source of information in the world. The challenge has been for applications in machine learning to gain access to a considerable amount of quality data needed for algorithm development and analysis. Modeling synthetic data using a Generative Adversarial Network (GAN) has been at the heart of providing a viable solution. Our work focuses on one dimensional times series and explores the few shot approach, which is the ability of an algorithm to perform well with limited data. This work attempts to ease the frustration by proposing a new architecture, Time Series GAN (TSGAN), to model realistic time series data. We evaluate TSGAN on 70 data sets from a benchmark time series database. Our results demonstrate that TSGAN performs better than the competition both quantitatively using the Frechet Inception Score (FID) metric, and qualitatively when classification is used as the evaluation criteria. | 翻訳日:2022-11-15 04:35:09 公開日:2020-06-30 |
| # トンプソンサンプリング政策の政策勾配最適化 Policy Gradient Optimization of Thompson Sampling Policies ( http://arxiv.org/abs/2006.16507v1 ) ライセンス: Link先を確認 | Seungki Min, Ciamac C. Moallemi, Daniel J. Russo | (参考訳) 一般化されたトンプソンサンプリングポリシーのクラスにおいて、ポリシー勾配アルゴリズムを用いて最適化する。
我々の中心的な洞察は、トンプソンサンプリングによってサンプリングされた後部パラメータを一種の擬似行動として見ることである。
ポリシー勾配法は、観測されたデータの関数として疑似アクション(すなわちサンプルパラメータ)上の確率分布を決定するサンプリングポリシーのクラスを探索するために適切に適用することができる。
また,ベイズ帯域問題に特化した政策勾配推定器を提案し,比較する。
数値実験により、トンプソンサンプリングの上の直接ポリシー探索はアルゴリズムの既知の欠点を自動修正し、標準トンプソンサンプリングが極めて効果的である長地平線問題においても有意義な改善をもたらすことが示されている。 We study the use of policy gradient algorithms to optimize over a class of generalized Thompson sampling policies. Our central insight is to view the posterior parameter sampled by Thompson sampling as a kind of pseudo-action. Policy gradient methods can then be tractably applied to search over a class of sampling policies, which determine a probability distribution over pseudo-actions (i.e., sampled parameters) as a function of observed data. We also propose and compare policy gradient estimators that are specialized to Bayesian bandit problems. Numerical experiments demonstrate that direct policy search on top of Thompson sampling automatically corrects for some of the algorithm's known shortcomings and offers meaningful improvements even in long horizon problems where standard Thompson sampling is extremely effective. | 翻訳日:2022-11-15 04:29:03 公開日:2020-06-30 |
| # r2-b2:ゲームにおける非回帰学習のための再帰的推論に基づくベイズ最適化 R2-B2: Recursive Reasoning-Based Bayesian Optimization for No-Regret Learning in Games ( http://arxiv.org/abs/2006.16679v1 ) ライセンス: Link先を確認 | Zhongxiang Dai, Yizhou Chen, Kian Hsiang Low, Patrick Jaillet, Teck-Hua Ho | (参考訳) 本稿ではベイズ最適化(BO)の帰納的推論形式(Recursive reasoning formalism)について,未知の,複雑で費用がかかる,有理なエージェント間の相互作用における推論過程をモデル化し,再帰的推論に基づくBO(R2-B2)と呼ぶ。
我々のR2-B2アルゴリズムは、異なるエージェントのペイオフ関数間の関係を制約しないので、定数、一般サム、共通ペイオフゲームといった様々な種類のゲームに適用できる。
我々のR2-B2エージェントは, レベル2以上, レベル1以上で他のエージェントよりも高い推理を行うことで, 再帰的推論を使わずに, より早く漸近収束を達成できることを示した。
また、より弱い収束保証を犠牲にして、R2-B2-Liteと呼ばれる計算的に安価なR2-B2変種を提案する。
R2-B2アルゴリズムの性能と一般性は, 合成ゲーム, 対向機械学習, マルチエージェント強化学習を用いて実証的に検証した。 This paper presents a recursive reasoning formalism of Bayesian optimization (BO) to model the reasoning process in the interactions between boundedly rational, self-interested agents with unknown, complex, and costly-to-evaluate payoff functions in repeated games, which we call Recursive Reasoning-Based BO (R2-B2). Our R2-B2 algorithm is general in that it does not constrain the relationship among the payoff functions of different agents and can thus be applied to various types of games such as constant-sum, general-sum, and common-payoff games. We prove that by reasoning at level 2 or more and at one level higher than the other agents, our R2-B2 agent can achieve faster asymptotic convergence to no regret than that without utilizing recursive reasoning. We also propose a computationally cheaper variant of R2-B2 called R2-B2-Lite at the expense of a weaker convergence guarantee. The performance and generality of our R2-B2 algorithm are empirically demonstrated using synthetic games, adversarial machine learning, and multi-agent reinforcement learning. | 翻訳日:2022-11-15 04:28:49 公開日:2020-06-30 |
| # テキストフィードバックによる視覚検索のためのモダリティ非依存型注意融合 Modality-Agnostic Attention Fusion for visual search with text feedback ( http://arxiv.org/abs/2007.00145v1 ) ライセンス: Link先を確認 | Eric Dodds, Jack Culpepper, Simao Herdade, Yang Zhang, Kofi Boakye | (参考訳) 自然言語フィードバックによる画像検索は、オブジェクトやバイナリ属性を超えたきめ細かいビジュアル機能に基づいたカタログ検索を約束し、eコマースのような現実世界のアプリケーションを促進する。
maaf(modality-agnostic attention fusion)モデルでは,画像とテキストの機能を組み合わせることで,2つのビジュアル検索における既存のアプローチを上回り,フレーズデータセットである fashion iq と css を改良し,シングルワードのみの修正である fashion200k で競争的に実行する。
また,鳥から単語へ適応した2つの新しい難易度ベンチマークを導入し,リッチな言語入力による新しい設定を提供するとともに,強固なベースラインよりも修正を伴わない手法が優れていることを示す。
本モデルをよりよく理解するために,ファッションiqの詳細なアブレーションを行い,参照する画像領域への「接近」を避ける単語の驚くべき現象を可視化する。 Image retrieval with natural language feedback offers the promise of catalog search based on fine-grained visual features that go beyond objects and binary attributes, facilitating real-world applications such as e-commerce. Our Modality-Agnostic Attention Fusion (MAAF) model combines image and text features and outperforms existing approaches on two visual search with modifying phrase datasets, Fashion IQ and CSS, and performs competitively on a dataset with only single-word modifications, Fashion200k. We also introduce two new challenging benchmarks adapted from Birds-to-Words and Spot-the-Diff, which provide new settings with rich language inputs, and we show that our approach without modification outperforms strong baselines. To better understand our model, we conduct detailed ablations on Fashion IQ and provide visualizations of the surprising phenomenon of words avoiding "attending" to the image region they refer to. | 翻訳日:2022-11-15 04:27:45 公開日:2020-06-30 |
| # 技術報告:補助調律とその条件付きテキスト生成への応用 Technical Report: Auxiliary Tuning and its Application to Conditional Text Generation ( http://arxiv.org/abs/2006.16823v1 ) ライセンス: Link先を確認 | Yoel Zeldes, Dan Padnos, Or Sharir, and Barak Peleg | (参考訳) 我々は,事前学習した言語モデルを新しいタスクに適応させる,Auxiliary Tuningと呼ばれるシンプルで効率的な手法を導入し,条件付きテキスト生成のタスクに対して本手法を実証する。
提案手法は,対象タスクに応じて出力分布をシフトする補助モデルを用いて,元の事前学習モデルを補完する。
補助モデルは、事前訓練されたモデルロジットにロジットを追加し、目標タスク出力の可能性を最大化する。
本手法は補助アーキテクチャに制約を課さない。
特に、補助モデルは、事前訓練されたモデルの入力とは独立に、ターゲットタスクに関連する追加入力を取り込み得る。
さらに、モデルのロジッツレベルでの混合は、この手法の自然な確率論的解釈を提供する。
提案手法は,複数のタスクのスクラッチからのトレーニングと類似した結果を得たが,トレーニングのリソースは大幅に少なく,キーワードを条件としたテキスト生成の具体例を共有した。 We introduce a simple and efficient method, called Auxiliary Tuning, for adapting a pre-trained Language Model to a novel task; we demonstrate this approach on the task of conditional text generation. Our approach supplements the original pre-trained model with an auxiliary model that shifts the output distribution according to the target task. The auxiliary model is trained by adding its logits to the pre-trained model logits and maximizing the likelihood of the target task output. Our method imposes no constraints on the auxiliary architecture. In particular, the auxiliary model can ingest additional input relevant to the target task, independently from the pre-trained model's input. Furthermore, mixing the models at the logits level provides a natural probabilistic interpretation of the method. Our method achieved similar results to training from scratch for several different tasks, while using significantly fewer resources for training; we share a specific example of text generation conditioned on keywords. | 翻訳日:2022-11-15 04:19:48 公開日:2020-06-30 |
| # ヘビアン可塑性による連続学習の実現 Enabling Continual Learning with Differentiable Hebbian Plasticity ( http://arxiv.org/abs/2006.16558v1 ) ライセンス: Link先を確認 | Vithursan Thangarasa, Thomas Miconi, Graham W. Taylor | (参考訳) 連続学習は、獲得した知識を保護しながら、新しいタスクや知識を順次学習する問題である。
しかし、破滅的な忘れは、そのような学習プロセスを実行するニューラルネットワークにとって大きな課題となる。
したがって、現実世界に展開されるニューラルネットワークは、データ分散が非定常的(概念のドリフト)、不均衡、あるいは必ずしも完全に利用できないシナリオ、すなわち稀なエッジケースで苦労することが多い。
ソフトマックス出力層の固定パラメータに高速学習プラスチック成分(圧縮エピソードメモリ)を付加し,学習表現をより長い時間で保持できる,微分可能なヘビアン可塑性(DHP)ソフトマックス層からなる微分可能なヘビアン整合モデルを提案する。
本手法の柔軟性は,タスクごとに重要な遅い重みの変化をペナルティ化するために,よく知られたタスク固有のシナプス統合手法を統合することで実証する。
我々は、Permuted MNIST、Split MNIST、Vision Datasets Mixtureベンチマークに対する我々のアプローチを評価し、クラス不均衡と概念ドリフトの課題を組み合わせたデータセットであるPermuted MNISTの不均衡変種を導入する。
提案モデルでは,余分なハイパーパラメータを必要とせず,誤りを減らし,同等のベースラインを上回ります。 Continual learning is the problem of sequentially learning new tasks or knowledge while protecting previously acquired knowledge. However, catastrophic forgetting poses a grand challenge for neural networks performing such learning process. Thus, neural networks that are deployed in the real world often struggle in scenarios where the data distribution is non-stationary (concept drift), imbalanced, or not always fully available, i.e., rare edge cases. We propose a Differentiable Hebbian Consolidation model which is composed of a Differentiable Hebbian Plasticity (DHP) Softmax layer that adds a rapid learning plastic component (compressed episodic memory) to the fixed (slow changing) parameters of the softmax output layer; enabling learned representations to be retained for a longer timescale. We demonstrate the flexibility of our method by integrating well-known task-specific synaptic consolidation methods to penalize changes in the slow weights that are important for each target task. We evaluate our approach on the Permuted MNIST, Split MNIST and Vision Datasets Mixture benchmarks, and introduce an imbalanced variant of Permuted MNIST -- a dataset that combines the challenges of class imbalance and concept drift. Our proposed model requires no additional hyperparameters and outperforms comparable baselines by reducing forgetting. | 翻訳日:2022-11-15 04:18:43 公開日:2020-06-30 |
| # マルチモーダル感覚処理における不変物理関係学習の枠組み A Framework for Learning Invariant Physical Relations in Multimodal Sensory Processing ( http://arxiv.org/abs/2006.16607v1 ) ライセンス: Link先を確認 | Du Xiaorui, Yavuzhan Erdem, Immanuel Schweizer, Cristian Axenie | (参考訳) 知覚学習は、人間が様々な変換に不変な刺激を認識し、表現し、自己と物理的世界の一貫した表現を構築することを可能にする。
このような表現は、複数の知覚的手がかりの間の不変な物理的関係を保つ。
この作業は、これらの原則をエンジニアリングシステムで活用しようとする試みである。
本研究では,複数の感覚的手がかりの関係を教師なしの方法で学習できる新しいニューラルネットワークアーキテクチャを設計する。
このシステムは、競争、協力、相関といった計算原理を、神経的に妥当な計算基盤で組み合わせている。
時系列データから複数の感覚量間の関係を抽出する並列分散処理アーキテクチャによって実現される。
低次元感覚データで任意の非線形関係を学ぶ際のコアシステム機能について述べる。
ここでは、センサーとその相互作用に関する事前情報なしで、そのようなネットワークを比較的簡単な方法で構築できることから、最初のメリットが生じる。
さらに、退屈なモデリングとパラメトリゼーションの必要性を緩和し、ネットワークは任意の高次元多感性セットアップの一貫した記述に収束する。
我々は、標準的なRGBカメラフレームから、光強度、空間勾配、光学フローなどの物理量との関係を学習し、視覚シーンを記述する現実世界の学習問題を通してこれを実証する。
全体として、そのようなフレームワークの利点は、ノイズやセンサ入力の欠如によって安定したアーキテクチャにおいて、知覚ストリーム間の非線形対関係を学習できることにある。 Perceptual learning enables humans to recognize and represent stimuli invariant to various transformations and build a consistent representation of the self and physical world. Such representations preserve the invariant physical relations among the multiple perceived sensory cues. This work is an attempt to exploit these principles in an engineered system. We design a novel neural network architecture capable of learning, in an unsupervised manner, relations among multiple sensory cues. The system combines computational principles, such as competition, cooperation, and correlation, in a neurally plausible computational substrate. It achieves that through a parallel and distributed processing architecture in which the relations among the multiple sensory quantities are extracted from time-sequenced data. We describe the core system functionality when learning arbitrary non-linear relations in low-dimensional sensory data. Here, an initial benefit rises from the fact that such a network can be engineered in a relatively straightforward way without prior information about the sensors and their interactions. Moreover, alleviating the need for tedious modelling and parametrization, the network converges to a consistent description of any arbitrary high-dimensional multisensory setup. We demonstrate this through a real-world learning problem, where, from standard RGB camera frames, the network learns the relations between physical quantities such as light intensity, spatial gradient, and optical flow, describing a visual scene. Overall, the benefits of such a framework lie in the capability to learn non-linear pairwise relations among sensory streams in an architecture that is stable under noise and missing sensor input. | 翻訳日:2022-11-15 04:18:19 公開日:2020-06-30 |
| # GShard: 条件計算と自動シャーディングによる巨大モデルのスケーリング GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding ( http://arxiv.org/abs/2006.16668v1 ) ライセンス: Link先を確認 | Dmitry Lepikhin, HyoukJoong Lee, Yuanzhong Xu, Dehao Chen, Orhan Firat, Yanping Huang, Maxim Krikun, Noam Shazeer, Zhifeng Chen | (参考訳) ニューラルネットワークのスケーリングは、膨大なトレーニングデータと計算量を持つ多くの実世界の機械学習アプリケーションにおいて、モデル品質の改善に不可欠である。
このスケーリングの傾向は、モデル品質を改善するための確実なアプローチであると確認されているが、計算コスト、プログラミングの容易さ、並列デバイスへの効率的な実装といったパスには課題がある。
GShardは軽量なアノテーションAPIとXLAコンパイラの拡張で構成されるモジュールである。
既存のモデルコードへの最小限の変更で、幅広い並列計算パターンを表現するエレガントな方法を提供する。
Sparsely-Gated Mixture-of-Expertsを600億以上のパラメータで自動シャーディングすることで、多言語ニューラルネットワーク翻訳変換モデルのスケールアップを可能にしました。
我々は,2048 TPU v3アクセラレーターを4日間で効率的に訓練し,100言語から英語への翻訳において,従来の技術に比べてはるかに優れた品質が得られることを示した。 Neural network scaling has been critical for improving the model quality in many real-world machine learning applications with vast amounts of training data and compute. Although this trend of scaling is affirmed to be a sure-fire approach for better model quality, there are challenges on the path such as the computation cost, ease of programming, and efficient implementation on parallel devices. GShard is a module composed of a set of lightweight annotation APIs and an extension to the XLA compiler. It provides an elegant way to express a wide range of parallel computation patterns with minimal changes to the existing model code. GShard enabled us to scale up multilingual neural machine translation Transformer model with Sparsely-Gated Mixture-of-Experts beyond 600 billion parameters using automatic sharding. We demonstrate that such a giant model can efficiently be trained on 2048 TPU v3 accelerators in 4 days to achieve far superior quality for translation from 100 languages to English compared to the prior art. | 翻訳日:2022-11-15 04:17:27 公開日:2020-06-30 |
| # テキスト生成のための敵対的相互情報 Adversarial Mutual Information for Text Generation ( http://arxiv.org/abs/2007.00067v1 ) ライセンス: Link先を確認 | Boyuan Pan, Yazheng Yang, Kaizhao Liang, Bhavya Kailkhura, Zhongming Jin, Xian-Sheng Hua, Deng Cai, Bo Li | (参考訳) ソースとターゲット間の相互情報(MI)の最大化の最近の進歩は、テキスト生成においてその効果を実証している。
しかし、従来の研究は、MIの後方ネットワーク(すなわち、ターゲットからソースへの依存性)をモデル化することにはほとんど注意を払わなかった。
本稿では,ソースとターゲットの相互作用を識別することを目的とした,新たなサドルポイント(min-max)最適化として構築されたテキスト生成フレームワークであるadversarial mutual information (ami)を提案する。
このフレームワーク内では、前方と後方のネットワークは、実データと合成データの分布を比較して、互いに生成したインスタンスを反復的に促進または分解することができる。
また,高レベル意味空間におけるランダムな変動を利用して,生成過程における長期依存度を高める潜在雑音サンプリング戦略を開発した。
異なるテキスト生成タスクに基づく大規模な実験により,提案するAMIフレームワークは,いくつかの強いベースラインを大幅に上回ることを示すとともに,変動情報最大化問題に対する相互情報の最大値の厳密な下限化につながる可能性が示された。 Recent advances in maximizing mutual information (MI) between the source and target have demonstrated its effectiveness in text generation. However, previous works paid little attention to modeling the backward network of MI (i.e., dependency from the target to the source), which is crucial to the tightness of the variational information maximization lower bound. In this paper, we propose Adversarial Mutual Information (AMI): a text generation framework which is formed as a novel saddle point (min-max) optimization aiming to identify joint interactions between the source and target. Within this framework, the forward and backward networks are able to iteratively promote or demote each other's generated instances by comparing the real and synthetic data distributions. We also develop a latent noise sampling strategy that leverages random variations at the high-level semantic space to enhance the long term dependency in the generation process. Extensive experiments based on different text generation tasks demonstrate that the proposed AMI framework can significantly outperform several strong baselines, and we also show that AMI has potential to lead to a tighter lower bound of maximum mutual information for the variational information maximization problem. | 翻訳日:2022-11-15 04:17:09 公開日:2020-06-30 |