このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス（CC 0, CC BY, CC BY-SA）の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。（arxivのメタデータは CC 0です。） 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。
公開日が20201101となっている論文です。
| Title | Authors | Abstract | 論文公表日・翻訳日 |
|---|---|---|---|
| # 分散光学における絡み合いダイナミクス--非古典性と復活 Entanglement Dynamics in Dispersive Optomechanics: Non-Classicality and Revival ( http://arxiv.org/abs/2006.02455v3 ) ライセンス: Link先を確認 | Igor Brand\~ao and Bruno Suassuna and Bruno Melo and Thiago Guerreiro | (参考訳) 2つの光学モードと光学キャビティ内の機械振動子からなる分散光学系におけるエンタングルメントダイナミクスについて検討した。
2つの光学モードは機械振動子と相互作用するが、直接は相互作用しない。
光学的絡み合いの出現は、発振器の非古典性を示す。
本研究では,光メカニカルカップリング,キャビティの平均光子数,発振器温度によるエンタングルメントダイナミクスの依存性について検討した。
超低温原子アンサンブルを用いた実験的実現法を提案する。 We study entanglement dynamics in dispersive optomechanical systems consisting of two optical modes and a mechanical oscillator inside an optical cavity. The two optical modes interact with the mechanical oscillator, but not directly with each other. The appearance of optical entanglement witnesses non-classicality of the oscillator. We study the dependence of the entanglement dynamics with the optomechanical coupling, the mean photon number in the cavity and the oscillator temperature. An experimental realization with ultracold atomic ensembles is proposed. | 翻訳日:2023-05-17 06:33:21 公開日:2020-11-01 |
| # 相関およびエントロピーベルの不等式による異常な非古典性 Anomalous non-classicality via correlative and entropic Bell inequalities ( http://arxiv.org/abs/2007.03450v2 ) ライセンス: Link先を確認 | Sabiha Durucan and Alexei Grinbaum | (参考訳) エントロピックベルの不等式は、共同測定可能な可観測物の集合上の文脈的確率分布を目撃する。
これらの違反は,特定のパラメータ値に対する相関ベルの不等式違反を伴わないことがわかった。
文脈性のエントロピーと相関測度の間のこの異常は、非古典的資源のタイプを正確に評価するのに役立つ。
実験的な検証を招待する数値境界を決定する。
この異常を常に維持する可観測性の順列のうち、デバイス非依存のアプローチにおいて、すべての非等価な運用パーティ割り当ての下で非古典的リソースを生み出す「エキゾチック」なタイプを識別する。 Entropic Bell inequalities witness contextual probability distributions on sets of jointly measurable observables. We find that their violation does not entail a violation of the correlative Bell inequality for certain parameter values. This anomaly between the entropic and correlative measures of contextuality helps to precisely qualify the type of non-classical resource. We determine its numerical bounds inviting their experimental verification. Among the permutations of observables that keep this anomaly in place, we identify the 'exotic' type that gives rise to non-classical resources under all non-equivalent operational party assignments in a device-independent approach. | 翻訳日:2023-05-11 01:49:31 公開日:2020-11-01 |
| # ソーシャル・コミュニティ・トランスミッション予測のためのグラフベースクラスタリングアルゴリズム Graph based Clustering Algorithm for Social Community Transmission Prediction of COVID-19 ( http://arxiv.org/abs/2011.00414v1 ) ライセンス: Link先を確認 | Varun Nagesh Jolly Behera, Ashish Ranjan, Motahar Reza | (参考訳) グラフクラスタリングアルゴリズムを用いて、ホットスポットに基づく新たな予防対策を定義するため、ロックダウン後の新型コロナウイルス感染の拡散をモデル化するシステムが提案されている。
この方法では、ウイルスが拡散しにくい地域でより寛大な対策が可能となる。
感染者数を予測することによって、ウイルスの拡散をモデル化する方法がある。
しかし,提案システムは,近日中にウイルスのホットスポットとなる可能性のある地域や地域を予測することにより,地理的観点からのソリューションの予防的側面をより重視する。
ウイルスが既に感染している人の近くにいるだけで伝染できるという事実は、既存のホットスポットから容易に到達できる地域は、新しいホットスポットになる可能性が高いことを示唆している。
また、小地域では厳格な規定を経ても陽性例が発見されている。
この事実を考えるために、最寄りのホットスポット間の地理的距離は、地域の可能性の尺度としても使用できる。
本稿では,領域自体を重み付けノードとする領域の重み付きグラフを,ノードの重み付きノードをアクティブケース数として,エッジ重み付け距離を辺重みとする。
グラフは距離閾値に基づいて完全に接続または接続することができる。
ノードは管理的であり、距離測度は別々のコミュニティ間の通信を指示する。
このデータを用いて、ホットスポットとなる可能性のある領域を予測でき、予防策を考案することができる。 A system to model the spread of COVID-19 cases after lockdown has been proposed, to define new preventive measures based on hotspots, using the graph clustering algorithm. This method allows for more lenient measures in areas less prone to the virus spread. There exist methods to model the spread of the virus, by predicting the number of confirmed cases. But the proposed system focuses more on the preventive side of the solution from a geographical point of view, by predicting the areas or regions that may become hotspots for the virus in the near future. The fact that the virus can only be transmitted by being in close proximity to an already infected person, suggests that, the regions that can easily be reached from an existing hotspot, have a higher chance of becoming a new hotspot. Moreover, in smaller regions, even after strict provisions, positive cases have been found. To consider this fact, the geographic distance between the nearest hotspots can be used as a measure of likelihood of the region also becoming a hotspot. In this paper, a weighted graph of regions with the regions themselves as weighted nodes with weight of the nodes as the number of active cases and the distance as edge weights. The graph can be completely connected or connected based on a distance threshold. The nodes are the administrative, and the distance measure tells the possible transmission between separate communities. Using this data, the potential regions that can become hotspots can be predicted, and preventive measures can be devised. | 翻訳日:2023-04-26 03:54:17 公開日:2020-11-01 |
| # 二重トッフォリ及びペレス可逆ゲート Dual Toffoli and Peres-reversible gates ( http://arxiv.org/abs/2011.01746v1 ) ライセンス: Link先を確認 | Claudio Moraga | (参考訳) この論文は、分離制御下で動作し、barenco et al.量子モデルに基づく機能を示すdual toffoliおよびperes reversible gatesを紹介する。
制御には均一性と混合極性が考慮される。
書き換え規則が提示され、標準的な toffoli や peres ゲートを用いた可逆(sub)回路のゲート数と量子コストの削減が可能になる。
最後に、2つのトフォリと2つのペレスゲートをクリフォード+Tで実現し、IBM量子コンピュータに可逆回路をマッピングする際に使用することができる。 The paper introduces dual Toffoli and Peres reversible gates, which operate under disjunctive control, and shows their functionality based on the Barenco et al. quantum model. Both uniform and mixed polarity are considered for the controls. Rewriting rules are presented, which provide a possible reduction of the number of gates and quantum cost of reversible (sub)circuits using standard Toffoli or Peres gates. Finally, a Clifford+T realization of a dual Toffoli and a dual Peres gate is shown, which may be used when mapping reversible circuits to the IBM quantum computers. | 翻訳日:2023-04-26 03:51:39 公開日:2020-11-01 |
| # フィールド・オントロジストのためのパズル A puzzle for the field ontologists ( http://arxiv.org/abs/2011.01532v1 ) ライセンス: Link先を確認 | Shan Gao | (参考訳) 波動関数は、量子力学の現実論的解釈において、実場を記述していると広く考えられている。
本稿では,波動関数に対する場オントロジーの新しい解析について述べる。
まず、電子のような量子系に対する自己相互作用の非存在性は、場のオントロジーにとってパズルとなると論じる。
波動関数が物理場を表すなら、2つの電子の場の間には(電磁と重力の)相互作用があるが、電子の場の2つの部分の間の相互作用は存在しないのは奇妙である。
次に、フィールドオントロジーが提供できる3つのソリューションは完全に満足できないと論じる。
最後に、波動関数の素粒子存在論的解釈を導くこのパズルの解を提案する。 It has been widely thought that the wave function describes a real, physical field in a realist interpretation of quantum mechanics. In this paper, I present a new analysis of the field ontology for the wave function. First, I argue that the non-existence of self-interactions for a quantum system such as an electron poses a puzzle for the field ontologists. If the wave function represents a physical field, then it seems odd that there are (electromagnetic and gravitational) interactions between the fields of two electrons but no interactions between two parts of the field of an electron. Next, I argue that the three solutions a field ontologist may provide are not fully satisfactory. Finally, I propose a solution of this puzzle that leads to a particle ontological interpretation of the wave function. | 翻訳日:2023-04-26 03:51:29 公開日:2020-11-01 |
| # 時間可変パラメータを有するナノフォトニクス系における絡み合った電子-光子状態のダイナミクスと制御 Dynamics and control of entangled electron-photon states in nanophotonic systems with time-variable parameters ( http://arxiv.org/abs/2011.01531v1 ) ライセンス: Link先を確認 | Qianfan Chen, Yongrui Wang, Sultan Almutairi, Maria Erukhimova, Mikhail Tokman, Alexey Belyanin | (参考訳) 時間可変パラメータを持つ強結合ナノフォトニクス系の力学について検討する。
近似解析解は、時変キャビティ共鳴または電子遷移エネルギーを持つキャビティ内の多モード量子化電磁場に強く結合した2レベルフェルミオン放出子を含む広いクラスのオープン量子系に対して得られる。
フェルミオンと光子サブシステムの散逸性貯水池への結合は、マスター方程式の定式化におけるリンドブラッド近似と等価である確率方程式の進化的アプローチに含まれる。
量子状態と観測可能性に関する解析解は、パラメータ変調の速度と周波数変調の振幅が光遷移周波数よりもはるかに小さいという近似の下で得られる。
同時に、それらはコヒーレント力学を決定する一般化されたラビ発振周波数に対して任意である。
したがって、我々の解析理論は、量子状態を完全に制御するために、ラビ周波数よりも遅くて速いパラメータの任意の変調に適用することができる。
特に,フェルミオンとフォトニックのエンタングルメントのオン/オフ,量子状態間の交換,および変調誘起透過性によるキャビティフィールドからのフェルミオン量子ビットの分離のプロトコルを示す。 We study the dynamics of strongly coupled nanophotonic systems with time-variable parameters. The approximate analytic solutions are obtained for a broad class of open quantum systems including a two-level fermion emitter strongly coupled to a multimode quantized electromagnetic field in a cavity with time-varying cavity resonances or the electron transition energy. The coupling of the fermion and photon subsystems to their dissipative reservoirs is included within the stochastic equation of evolution approach, which is equivalent to the Lindblad approximation in the master equation formalism. The analytic solutions for the quantum states and the observables are obtained under the approximation that the rate of parameter modulation and the amplitude of the frequency modulation are much smaller than the optical transition frequencies. At the same time, they can be arbitrary with respect to the generalized Rabi oscillations frequency which determines the coherent dynamics. Therefore, our analytic theory can be applied to an arbitrary modulation of the parameters, both slower and faster than the Rabi frequency, for complete control of the quantum state. In particular, we demonstrate protocols for switching on and off the entanglement between the fermionic and photonic degrees of freedom, swapping between the quantum states, and the decoupling of the fermionic qubit from the cavity field due to modulation-induced transparency. | 翻訳日:2023-04-26 03:51:08 公開日:2020-11-01 |
| # 発光は基本的に発光粒子の量子コヒーレンスと結びついている Light emission is fundamentally tied to the quantum coherence of the emitting particle ( http://arxiv.org/abs/2011.00623v1 ) ライセンス: Link先を確認 | Aviv Karnieli, Nicholas Rivera, Ady Arie and Ido Kaminer | (参考訳) 自由荷電粒子による光のコヒーレント放出は、物理学や工学の多くの分野において広く知られており、光の性質は古典的な電磁磁気学によってすべての関連する実験環境でうまく捉えられると信じられている。
光と自由量子物質波の相互作用の出現は、粒子波動関数の役割に関する基本的な疑問をもたらした。
ここでは、一見古典的な実験的な方法でも、発光は基本的に粒子の量子的性質(量子コヒーレンスや相関など)に結びついていることを示す。
量子電磁力学を用いて、光のデコヒーレンスが支配的になることなく、粒子のコヒーレント運動量不確実性の役割を明らかにする。
例えば、約1世紀にわたって想定されていたチェレンコフ放射は、光の衝撃波である。
代わりに、衝撃波の持続時間は、粒子と光の間の基礎的な絡み合いにより、粒子のコヒーレントな運動量の不確実性によって下から基礎的に拘束される。
この量子光学パラダイムは、分析電子顕微鏡における新しい能力を開き、形状電子波束の量子相関の測定を可能にする。
我々の発見は、粒子物理学におけるチェレンコフ検出器にも応用できる。
例えば、スペクトルフォトン自己相関を測定することで、粒子の波動関数の大きさ、形状、コヒーレンスを露呈することができる。
このようなスキームは、他の技術が利用できない多くの高エネルギー粒子にとって特に興味深い。 Coherent emission of light by free charged particles is ubiquitous in many areas of physics and engineering, with the light's properties believed to be successfully captured by classical electromagnetism in all relevant experimental settings. The advent of interactions between light and free quantum matter waves brought about fundamental questions regarding the role of the particle wavefunction. Here we show that even in seemingly classical experimental regimes, light emission is fundamentally tied to quantum properties of the emitting particles, such as their quantum coherence and correlations. By employing quantum electrodynamics, we unveil the role of the particle's coherent momentum uncertainty, without which decoherence of light becomes dominant. As an example, we consider Cherenkov radiation, envisioned for almost a century as a shockwave of light. We find instead that the shockwave's duration is fundamentally bound from below by the particle's coherent momentum uncertainty due to the underlying entanglement between the particle and light. This quantum optical paradigm opens new capabilities in analytical electron microscopy, enabling the measurement of quantum correlations of shaped electron wavepackets. Our findings also have applications for Cherenkov detectors in particle physics. For example, by measuring spectral photon autocorrelations, one can unveil the particle's wavefunction size, shape and coherence. Such schemes are especially intriguing for many high-energy particles, where other techniques are not available. | 翻訳日:2023-04-26 03:50:47 公開日:2020-11-01 |
| # pauli方程式による荷電ダイソン系の位置依存性有効質量背景のマッピング Mapping the charge-dyon system into the position-dependent effective mass background via Pauli equation ( http://arxiv.org/abs/2011.00516v1 ) ライセンス: Link先を確認 | Anderson L. de Jesus and Alexandre G. M. Schmidt | (参考訳) 本研究の目的は、PDM自由パウリ方程式を通じて非相対論的状態における位置依存効用質量(PDM)の背景を利用して、陽イオンと反対の電荷(電荷ダイオン系)と相互作用する電荷スピン$1/2$フェルミオンからなる量子系を再現することである。
電荷ダイオン系(ターゲット系)と同じ物理(アナロジーモデル)を持つPDM量子系が存在するかどうかを調べるため、PDM自由パウリ方程式自体を用いる。
対象系の正確な双スピナーをこの方程式に置き換え、質量分布$M$に対する非線形偏微分方程式の非結合系を得る。
我々は、放射依存のみを考慮し、$M=M(r)$、$\theta_0$を固定し、ある条件を満たす$\mu$と$m$の特定の値を考えることで、それらを数値的に解くことができた。
我々は、これらの解をグラフィカルに提示し、そこから、我々の類似モデルを表すそれぞれの有効ポテンシャルを決定する。
最小値 $j = \mu - 1/2$ から始まる固有値の写像について検討する。 This work aims to reproduce a quantum system composed of a charged spin - $1/2$ fermion interacting with a dyon with an opposite electrical charge (charge-dyon system), utilizing a position-dependent effective mass (PDM) background in the non-relativistic regime via the PDM free Pauli equation. To investigate whether there is a PDM quantum system with the same physics (analogous model) that a charge-dyon system (target system), we resort to the PDM free Pauli equation itself. We proceed with replacing the exact bi-spinor of the target system into this equation, obtaining an uncoupled system of non-linear partial differential equations for the mass distribution $M$. We were able to solve them numerically for $M$ considering a radial dependence only, i.e., $M=M(r)$, fixing $\theta_0$, and considering specific values of $\mu$ and $m$ satisfying a certain condition. We present the solutions graphically, and from them, we determine the respective effective potentials, which actually represent our analogous models. We study the mapping for eigenvalues starting from the minimal value $j = \mu - 1/2$. | 翻訳日:2023-04-26 03:50:05 公開日:2020-11-01 |
| # 自由エネルギー構造から得られる光合成エネルギー伝達の展望:コヒーレント輸送、非コヒーレントホッピング、振動支援の再考 Insights into photosynthetic energy transfer gained from free-energy structure: Coherent transport, incoherent hopping, and vibrational assistance revisited ( http://arxiv.org/abs/2011.00489v1 ) ライセンス: Link先を確認 | Akihito Ishizaki and Graham R. Fleming | (参考訳) 超短パルス技術における巨大ストライドは、複雑な分子系における動的過程のリアルタイム観察を可能にした。
具体的には、光合成系の2次元電子スペクトルにおける振動遷移の発見は、光収穫過程の顕著な量子効率の物理的メカニズムを探求する多くの理論的研究を刺激した。
しかし、採用される理論は高度に高度に洗練され、複雑なものとなり、顕微鏡プロセスや生物学的に重要な疑問に対する洞察を得ることが困難になった。
本研究では, 環境にともなう電子エネルギー変動の基本的な側面を再考し, ファンネル型自由エネルギー景観における緩和の直感的なイメージでエネルギーの流れを理解するための簡単な方法を提案する。
提示されたエネルギー移動に関する自由エネルギー記述は、典型的な光合成系がほとんど障壁のない状態で動作することを示している。
このアプローチはまた、コヒーレントと非コヒーレントなエネルギー伝達の区別と振動アシストの必要性を考慮した基準に関する洞察を与える。 Giant strides in ultrashort laser pulse technology have enabled real-time observation of dynamical processes in complex molecular systems. Specifically, the discovery of oscillatory transients in the two-dimensional electronic spectra of photosynthetic systems stimulated a number of theoretical investigations exploring possible physical mechanisms of the remarkable quantum efficiency of light harvesting processes. However, the theories employed have reached a high degree of sophistication and have become complex, making it difficult to gain insights into microscopic processes and biologically significant questions. In this work, we revisit the elementary aspects of environment-induced fluctuations in the involved electronic energies and present a simple way to understand energy flow with the intuitive picture of relaxation in a funnel-type free-energy landscape. The presented free-energy description of energy transfer reveals that typical photosynthetic systems operate in an almost barrierless regime. The approach also provides insights into the distinction between coherent and incoherent energy transfer and criteria by which the necessity of the vibrational assistance is considered. | 翻訳日:2023-04-26 03:49:26 公開日:2020-11-01 |
| # 絡み合い対策の要件の検証 The verification of a requirement of entanglement measures ( http://arxiv.org/abs/2011.00458v1 ) ライセンス: Link先を確認 | Xianfei Qi, Ting Gao, Fengli Yan | (参考訳) 量子エンタングルメントの量子化は、量子情報理論における中心的な問題である。
最近、Gao \emph{et al} が登場している。
http://dx.doi.org/10.1103/PhysRevLett.112.180501}{Phys
Rev. Lett.
\textbf{112}, 180501 (2014)} は、$\rho$ の置換不変部分のエンタングルメント測度の最大値は、元の状態である $\rho$ のエンタングルメント測度の下限であるべきであることを指摘した。
個々の絡み合い尺度が要求を満たすかどうかはまだ証明する必要がある。
本研究は,両部量子系の絡み合い測度が新しい基準を満たすことを示し,すべての凸-ルーフの絡み合い測度,絡み合いの相対エントロピー,負性度,対数的負性度,対数的凸-フーフ拡張負性度を含む。
以上より,量子エンタングルメントの定量化と量子システムのエンタングルメント特性の理解を深める新たな知見が得られた。 The quantification of quantum entanglement is a central issue in quantum information theory. Recently, Gao \emph{et al}. ( \href{http://dx.doi.org/10.1103/PhysRevLett.112.180501}{Phys. Rev. Lett. \textbf{112}, 180501 (2014)}) pointed out that the maximum of entanglement measure of the permutational invariant part of $\rho$ ought to be a lower bound on entanglement measure of the original state $\rho$, and proposed that this argument can be used as an additional requirement for (multipartite) entanglement measures. Whether any individual proposed entanglement measure satisfies the requirement still has to prove. In this work, we show that most known entanglement measures of bipartite quantum systems satisfy the new criterion, include all convex-roof entanglement measures, the relative entropy of entanglement, the negativity, the logarithmic negativity and the logarithmic convex-roof extended negativity. Our results give a refinement in quantifying entanglement and provide new insights into a better understanding of entanglement properties of quantum systems. | 翻訳日:2023-04-26 03:49:03 公開日:2020-11-01 |
| # 属性付きネットワーク埋め込みのためのブロックベース生成モデル A Block-based Generative Model for Attributed Networks Embedding ( http://arxiv.org/abs/2001.01383v2 ) ライセンス: Link先を確認 | Xueyan Liu, Bo Yang, Wenzhuo Song, Katarzyna Musial, Wanli Zuo, Hongxu Chen, Hongzhi Yin | (参考訳) 分散ネットワークの埋め込みは近年、多くの関心を集めている。
トポロジと属性情報の両方を保持するノードに対して、タスク非依存、低次元、連続ベクトルを学習することを目的としている。
ランダムウォーク法やgcn法のような既存の手法のほとんどは、主にローカル情報、すなわち近隣の属性に焦点を当てている。
このように、これらのネットワークは、コンソーシアトネットワーク(コミュニティとのネットワーク)としてよく研究されているが、現実世界で一般的な非コンソーシアトネットワーク(マルチパーティイト、ハブ、ハイブリッド構造を持つネットワーク)を無視している。
そこで本研究では,確率的観点からのネットワーク埋め込みに対するブロックベース生成モデルを提案する。
具体的には、同じブロック内のノードが類似のリンケージパターンを共有している複数のブロックにノードを割り当てる。
これらのパターンは、コミュニティを含むアソシエイトネットワークや、マルチパーティイト、ハブ、あるいは任意のハイブリッド構造を持つ非コンソシエイトネットワークを定義することができる。
属性情報を保存するために、各ノードが割り当てられたブロックに関連する隠れ埋め込みを持っていると仮定する。
ニューラルネットワークを用いてノード埋め込みとノード属性間の非線形性を特徴付ける。
実世界および合成属性ネットワークに関する広範な実験を行う。
その結果,提案手法は,クラスタリングと分類タスク,特に異種ネットワークにおいて,最先端の組込み手法を一貫して上回っていることがわかった。 Attributed network embedding has attracted plenty of interest in recent years. It aims to learn task-independent, low-dimensional, and continuous vectors for nodes preserving both topology and attribute information. Most of the existing methods, such as random-walk based methods and GCNs, mainly focus on the local information, i.e., the attributes of the neighbours. Thus, they have been well studied for assortative networks (i.e., networks with communities) but ignored disassortative networks (i.e., networks with multipartite, hubs, and hybrid structures), which are common in the real world. To enable model both assortative and disassortative networks, we propose a block-based generative model for attributed network embedding from a probability perspective. Specifically, the nodes are assigned to several blocks wherein the nodes in the same block share the similar linkage patterns. These patterns can define assortative networks containing communities or disassortative networks with the multipartite, hub, or any hybrid structures. To preserve the attribute information, we assume that each node has a hidden embedding related to its assigned block. We use a neural network to characterize the nonlinearity between node embeddings and node attributes. We perform extensive experiments on real-world and synthetic attributed networks. The results show that our proposed method consistently outperforms state-of-the-art embedding methods for both clustering and classification tasks, especially on disassortative networks. | 翻訳日:2023-01-14 02:01:12 公開日:2020-11-01 |
| # ベトナムの多重選択機械読解における外部知識を用いた語彙的アプローチの強化 Enhancing lexical-based approach with external knowledge for Vietnamese multiple-choice machine reading comprehension ( http://arxiv.org/abs/2001.05687v5 ) ライセンス: Link先を確認 | Kiet Van Nguyen, Khiem Vinh Tran, Son T. Luu, Anh Gia-Tuan Nguyen, Ngan Luu-Thuy Nguyen | (参考訳) ベトナム語は世界で17番目に人気のある母語話者言語であるが、ベトナム語機械読解(mrc)についての研究は少ない。
その理由の1つは、このタスクに高品質のベンチマークデータセットが欠如しているためである。
本研究では,小学生の読書理解指導によく用いられるベトナム語の417のテキストに基づいて,2,783対の複数選択質問と回答からなるデータセットを構築した。
さらに、意味的類似度尺度と外部知識源を用いて質問を分析し、与えられたテキストから回答を抽出する語彙ベースのMDC手法を提案する。
提案モデルの性能を,複数のベースライン語彙ベースおよびニューラルネットワークベースモデルと比較する。
提案手法は,最良ベースラインモデルよりも5.51%高い精度で61.81%の精度を実現する。
また、データセット上で人間のパフォーマンスを測定し、マシンモデルと人間のパフォーマンスの間に大きなギャップがあることを見つけます。
これは、このタスクにおいて大きな進歩が達成できることを示している。
このデータセットは、我々のウェブサイトで研究目的で無料で利用可能です。 Although Vietnamese is the 17th most popular native-speaker language in the world, there are not many research studies on Vietnamese machine reading comprehension (MRC), the task of understanding a text and answering questions about it. One of the reasons is because of the lack of high-quality benchmark datasets for this task. In this work, we construct a dataset which consists of 2,783 pairs of multiple-choice questions and answers based on 417 Vietnamese texts which are commonly used for teaching reading comprehension for elementary school pupils. In addition, we propose a lexical-based MRC method that utilizes semantic similarity measures and external knowledge sources to analyze questions and extract answers from the given text. We compare the performance of the proposed model with several baseline lexical-based and neural network-based models. Our proposed method achieves 61.81% by accuracy, which is 5.51% higher than the best baseline model. We also measure human performance on our dataset and find that there is a big gap between machine-model and human performances. This indicates that significant progress can be made on this task. The dataset is freely available on our website for research purposes. | 翻訳日:2023-01-11 00:12:24 公開日:2020-11-01 |
| # 局所配列変換のための擬似双方向デコーディング Pseudo-Bidirectional Decoding for Local Sequence Transduction ( http://arxiv.org/abs/2001.11694v3 ) ライセンス: Link先を確認 | Wangchunshu Zhou, Tao Ge, Ke Xu | (参考訳) 局所配列変換(Local sequence transduction、LST)タスクは、文法的誤り訂正(GEC)やスペルやOCR補正など、ソースとターゲットシーケンスの間に大きな重複があるシーケンス変換タスクである。
従来の作業は、通常、左から右に出力トークンを生成し、バランスの取れない出力の問題に悩まされる標準的なシーケンス・ツー・シーケンス(seq2seq)モデルでLSTタスクに取り組む。
本稿では,LSTタスクの特性に触発されて,Pseudo-Bidirectional Decoding (PBD) というシンプルなアプローチを提案する。
PBDはデコーダに対応するソーストークンの表現を擬似将来のコンテキストとしてコピーし、デコーダがその双方向のコンテキストに出席できるようにする。
さらに、双方向デコード方式とLSTタスクの特性により、seq2seqモデルのエンコーダとデコーダを共有する動機付けとなる。
提案手法は、デコーダの右サイドコンテキスト情報を提供し、LSTタスクの帰納バイアスをモデル化し、パラメータの数を半分に減らし、良好な正規化効果を提供する。
いくつかのベンチマークデータセットによる実験結果から,LSTタスク上での標準Seq2seqモデルの性能は一貫して向上することが示された。 Local sequence transduction (LST) tasks are sequence transduction tasks where there exists massive overlapping between the source and target sequences, such as Grammatical Error Correction (GEC) and spell or OCR correction. Previous work generally tackles LST tasks with standard sequence-to-sequence (seq2seq) models that generate output tokens from left to right and suffer from the issue of unbalanced outputs. Motivated by the characteristic of LST tasks, in this paper, we propose a simple but versatile approach named Pseudo-Bidirectional Decoding (PBD) for LST tasks. PBD copies the corresponding representation of source tokens to the decoder as pseudo future context to enable the decoder to attends to its bi-directional context. In addition, the bidirectional decoding scheme and the characteristic of LST tasks motivate us to share the encoder and the decoder of seq2seq models. The proposed PBD approach provides right side context information for the decoder and models the inductive bias of LST tasks, reducing the number of parameters by half and providing good regularization effects. Experimental results on several benchmark datasets show that our approach consistently improves the performance of standard seq2seq models on LST tasks. | 翻訳日:2023-01-05 05:55:17 公開日:2020-11-01 |
| # 局所適応型非パラメトリックオンライン学習 Locally-Adaptive Nonparametric Online Learning ( http://arxiv.org/abs/2002.01882v2 ) ライセンス: Link先を確認 | Ilja Kuzborskij, Nicol\`o Cesa-Bianchi | (参考訳) オンラインアルゴリズムの主な強みの1つは、任意のデータシーケンスに適応する能力である。
これは、複雑な環境に適合する豊富なコンパレータ関数のクラスに対してパフォーマンスを測定する非パラメトリックな設定において特に重要である。
このようなハードコンパレータや複雑な環境は局所規則性を示すかもしれないが、これらの局所パターンを確実に活用できる効率的なアルゴリズムはほとんど知られていない。
このギャップを埋めるために、より効率的なオンラインアルゴリズム(単一の汎用マスターアルゴリズムに基づく)を導入する。
(i)競合関数の局所リプシッツ性
(ii)インスタンスシーケンスの局所計量次元
(iii)インスタンス空間の異なる領域にまたがる予測器の局所的性能。
以前のアプローチを拡張して、問題に対してプラニングが異なる「局所性プロファイル」に対応するインスタンス空間上の階層的$\epsilon$-netを動的に拡張するアルゴリズムを設計する。
木の専門家を基盤とした手法を駆使して,すべてのプルーニングと同時かつ効率的に競い合い,各スケーリングに異なる局所正則性を伴う量で後悔の限界を証明した。
単純な"局所性プロファイルと競合する場合、我々の手法は、以前のアプローチで証明されたよりもはるかに良い後悔の限界を提供する。
一方、我々の境界の時間依存は、局所正規性を無視して得られるものよりも悪くはない。 One of the main strengths of online algorithms is their ability to adapt to arbitrary data sequences. This is especially important in nonparametric settings, where performance is measured against rich classes of comparator functions that are able to fit complex environments. Although such hard comparators and complex environments may exhibit local regularities, efficient algorithms, which can provably take advantage of these local patterns, are hardly known. We fill this gap by introducing efficient online algorithms (based on a single versatile master algorithm) each adapting to one of the following regularities: (i) local Lipschitzness of the competitor function, (ii) local metric dimension of the instance sequence, (iii) local performance of the predictor across different regions of the instance space. Extending previous approaches, we design algorithms that dynamically grow hierarchical $\epsilon$-nets on the instance space whose prunings correspond to different "locality profiles" for the problem at hand. Using a technique based on tree experts, we simultaneously and efficiently compete against all such prunings, and prove regret bounds each scaling with a quantity associated with a different type of local regularity. When competing against "simple" locality profiles, our technique delivers regret bounds that are significantly better than those proven using the previous approach. On the other hand, the time dependence of our bounds is not worse than that obtained by ignoring any local regularities. | 翻訳日:2023-01-03 21:01:11 公開日:2020-11-01 |
| # 正のラベル付き問題としての物体検出 Object Detection as a Positive-Unlabeled Problem ( http://arxiv.org/abs/2002.04672v2 ) ライセンス: Link先を確認 | Yuewei Yang, Kevin J Liang, Lawrence Carin | (参考訳) 他の深層学習法と同様に、ラベルの品質は現代の畳み込み物体検出器の学習に重要である。
しかし、複雑な画像シーンで見られる可能性のある多種多様なオブジェクトインスタンスは、完全なアノテーションを構成することは困難なタスクであり、アノテーションが欠けているオブジェクトは、様々な人気のあるオブジェクト検出データセットで観察することができる。
オブジェクト検出モデルのトレーニングに使用される標準的なクロスエントロピー損失は、正負の(PN)問題として分類を扱い、ラベルのない領域は暗黙的に背景であると仮定する。
このように、境界ボックスを欠いた物体は、その効果を経験的に観察する、紛らわしい学習信号をもたらす。
そこで本研究では,未ラベル領域が負であるという仮定を排除し,対象検出を正の未ラベル(PU)問題として扱うことを提案する。
提案するPU分類の損失は, PASCAL VOCやMS COCO, Visual GenomeやDeepLesionなど, ラベルの欠如により, 標準的なPN損失よりも優れていた。 As with other deep learning methods, label quality is important for learning modern convolutional object detectors. However, the potentially large number and wide diversity of object instances that can be found in complex image scenes makes constituting complete annotations a challenging task; objects missing annotations can be observed in a variety of popular object detection datasets. These missing annotations can be problematic, as the standard cross-entropy loss employed to train object detection models treats classification as a positive-negative (PN) problem: unlabeled regions are implicitly assumed to be background. As such, any object missing a bounding box results in a confusing learning signal, the effects of which we observe empirically. To remedy this, we propose treating object detection as a positive-unlabeled (PU) problem, which removes the assumption that unlabeled regions must be negative. We demonstrate that our proposed PU classification loss outperforms the standard PN loss on PASCAL VOC and MS COCO across a range of label missingness, as well as on Visual Genome and DeepLesion with full labels. | 翻訳日:2023-01-02 02:32:34 公開日:2020-11-01 |
| # CAZSL: コンテキストを一般化したモデルプッシュのためのゼロショット回帰 CAZSL: Zero-Shot Regression for Pushing Models by Generalizing Through Context ( http://arxiv.org/abs/2003.11696v2 ) ライセンス: Link先を確認 | Wenyu Zhang, Skyler Seto, Devesh K. Jha | (参考訳) 多くのロボット操作タスクには、物理世界の正確なモデルを学ぶ必要がある。
しかし、操作中、ロボットは未知のワークピースと相互作用し、これらのオブジェクトを一般化できる予測モデルを構築することが非常に望ましい。
本稿では,文脈認識学習モデルを構築することによって,物理世界のモデルを一般化できる深層学習エージェントの設計の問題について検討する。
これらのエージェントの目的は、予測モデルに異なるコンテキストを提供する相互作用オブジェクトに関する特定の特徴に基づいて、現実世界における相互作用の物理学の概念を迅速に適応・一般化することである。
このモチベーションにより、文脈認識型ゼロショット学習(cazsl、カジュアルと発音される)モデル、シャムネットワークアーキテクチャを利用したアプローチ、コンテキスト変数に基づく空間マスキングと正規化により、相互作用するオブジェクトのさまざまなパラメータや特徴に一般化可能なモデルを学ぶことができる。
我々は,最近リリースされたOmnipushデータセットを用いて,低次元データを用いたメタ学習能力のテストを行う。
CAZSLのコードはhttps://www.merl.com/research/license/CAZSLで入手できる。 Learning accurate models of the physical world is required for a lot of robotic manipulation tasks. However, during manipulation, robots are expected to interact with unknown workpieces so that building predictive models which can generalize over a number of these objects is highly desirable. In this paper, we study the problem of designing deep learning agents which can generalize their models of the physical world by building context-aware learning models. The purpose of these agents is to quickly adapt and/or generalize their notion of physics of interaction in the real world based on certain features about the interacting objects that provide different contexts to the predictive models. With this motivation, we present context-aware zero shot learning (CAZSL, pronounced as casual) models, an approach utilizing a Siamese network architecture, embedding space masking and regularization based on context variables which allows us to learn a model that can generalize to different parameters or features of the interacting objects. We test our proposed learning algorithm on the recently released Omnipush datatset that allows testing of meta-learning capabilities using low-dimensional data. Codes for CAZSL are available at https://www.merl.com/research/license/CAZSL. | 翻訳日:2022-12-19 21:22:40 公開日:2020-11-01 |
| # 本質的にモチベーションのあるメタコントロルとラテント空間体験によるロボットデュアルシステムモータ学習の改良 Improving Robot Dual-System Motor Learning with Intrinsically Motivated Meta-Control and Latent-Space Experience Imagination ( http://arxiv.org/abs/2004.08830v3 ) ライセンス: Link先を確認 | Muhammad Burhan Hafez, Cornelius Weber, Matthias Kerzel, Stefan Wermter | (参考訳) モデルベースとモデルフリーの学習システムを組み合わせることで、複雑なロボットタスクを実行する学習のサンプル効率を向上させることが示されている。
しかし、マルチステップ予測に応用された場合、デュアルシステムアプローチは学習モデルの信頼性を考慮しておらず、結果として予測エラーと性能劣化が混在する。
本稿では,学習モデルの局所信頼度の推定に基づいて,メタコントローラがモデルベースとモデルフリーの意思決定をオンラインで仲裁する,新しいデュアルシステムモータラーニング手法を提案する。
信頼性推定は本質的なフィードバック信号の計算に使われ、モデルを改善するデータにつながる行動を奨励する。
提案手法は,学習した潜在空間モデルがその局所的信頼性に基づいて想像的な体験を生成し,追加のトレーニングデータとして用いるという想像と仲裁を統合する。
シミュレーションと実世界における視覚に基づくロボット把持学習におけるベースラインおよび最先端手法に対するアプローチを評価した。
その結果,提案手法は比較手法よりも優れており,密集環境と疎化環境において最適に近い把握方針を学習できることがわかった。 Combining model-based and model-free learning systems has been shown to improve the sample efficiency of learning to perform complex robotic tasks. However, dual-system approaches fail to consider the reliability of the learned model when it is applied to make multiple-step predictions, resulting in a compounding of prediction errors and performance degradation. In this paper, we present a novel dual-system motor learning approach where a meta-controller arbitrates online between model-based and model-free decisions based on an estimate of the local reliability of the learned model. The reliability estimate is used in computing an intrinsic feedback signal, encouraging actions that lead to data that improves the model. Our approach also integrates arbitration with imagination where a learned latent-space model generates imagined experiences, based on its local reliability, to be used as additional training data. We evaluate our approach against baseline and state-of-the-art methods on learning vision-based robotic grasping in simulation and real world. The results show that our approach outperforms the compared methods and learns near-optimal grasping policies in dense- and sparse-reward environments. | 翻訳日:2022-12-11 23:46:58 公開日:2020-11-01 |
| # Ensemble long short-term memory (EnLSTM) ネットワーク Ensemble long short-term memory (EnLSTM) network ( http://arxiv.org/abs/2004.13562v2 ) ライセンス: Link先を確認 | Yuntian Chen and Dongxiao Zhang | (参考訳) 本研究では,小規模データセット上でトレーニングを行い,シーケンシャルデータを処理できるアンサンブル長短期記憶(enlstm)ネットワークを提案する。
EnLSTMは、アンサンブルニューラルネットワーク(ENN)とカスケード長短期記憶(C-LSTM)ネットワークを組み合わせて構築され、それらの補完的な強度を利用する。
小型データ問題の性質からトレーニング失敗に伴う過収束と乱れ補償の問題を解決するために,モデルパラメータ摂動と高忠実度観測摂動法を導入する。
EnLSTMは、公表されたデータセット上で一般的に使用されるモデルと比較されており、平均2乗誤差(MSE)を34%削減したウェルログを生成する最先端モデルであることが証明されている。
本ケーススタディでは,lwd(loging-while-drilling)データに基づいて,掘削時に測定できない12の井戸ログを生成する。
EnLSTMはコストを削減し、実際に時間を節約できる。 In this study, we propose an ensemble long short-term memory (EnLSTM) network, which can be trained on a small dataset and process sequential data. The EnLSTM is built by combining the ensemble neural network (ENN) and the cascaded long short-term memory (C-LSTM) network to leverage their complementary strengths. In order to resolve the issues of over-convergence and disturbance compensation associated with training failure owing to the nature of small-data problems, model parameter perturbation and high-fidelity observation perturbation methods are introduced. The EnLSTM is compared with commonly-used models on a published dataset, and proven to be the state-of-the-art model in generating well logs with a mean-square-error (MSE) reduction of 34%. In the case study, 12 well logs that cannot be measured while drilling are generated based on logging-while-drilling (LWD) data. The EnLSTM is capable to reduce cost and save time in practice. | 翻訳日:2022-12-09 13:18:11 公開日:2020-11-01 |
| # スケジューリングDropHead:変圧器モデルの正規化手法 Scheduled DropHead: A Regularization Method for Transformer Models ( http://arxiv.org/abs/2004.13342v2 ) ライセンス: Link先を確認 | Wangchunshu Zhou, Tao Ge, Ke Xu, Furu Wei, Ming Zhou | (参考訳) 本稿では,様々なnlpタスクのための最先端モデルであるtransformerのキーコンポーネントであるマルチヘッドアテンション機構を定式化する,構造化ドロップアウト方式であるdropheadを提案する。
ユニットや接続をランダムにドロップする従来のドロップアウト機構とは対照的に,提案手法は構造化ドロップアウト方式である。
トレーニング中に注意ヘッド全体をドロップし、多頭注意モデルが少数の注意ヘッドに支配されるのを防ぐとともに、トレーニングデータの過剰フィットのリスクを低減し、多頭注意機構をより効率的に利用する。
マルチヘッドアテンション機構の学習力学に関する最近の研究により、DropHeadのドロップアウト率を適応的に調整し、より優れた正規化効果を達成するための特定のドロップアウト率スケジュールを提案する。
機械翻訳とテキスト分類ベンチマークによる実験結果から,提案手法の有効性が示された。 In this paper, we introduce DropHead, a structured dropout method specifically designed for regularizing the multi-head attention mechanism, which is a key component of transformer, a state-of-the-art model for various NLP tasks. In contrast to the conventional dropout mechanisms which randomly drop units or connections, the proposed DropHead is a structured dropout method. It drops entire attention-heads during training and It prevents the multi-head attention model from being dominated by a small portion of attention heads while also reduces the risk of overfitting the training data, thus making use of the multi-head attention mechanism more efficiently. Motivated by recent studies about the learning dynamic of the multi-head attention mechanism, we propose a specific dropout rate schedule to adaptively adjust the dropout rate of DropHead and achieve better regularization effect. Experimental results on both machine translation and text classification benchmark datasets demonstrate the effectiveness of the proposed approach. | 翻訳日:2022-12-08 22:06:17 公開日:2020-11-01 |
| # オフライン強化学習 - チュートリアル, レビュー, オープンな問題への展望 Offline Reinforcement Learning: Tutorial, Review, and Perspectives on Open Problems ( http://arxiv.org/abs/2005.01643v3 ) ライセンス: Link先を確認 | Sergey Levine, Aviral Kumar, George Tucker, Justin Fu | (参考訳) 本稿では、オフライン強化学習アルゴリズムの研究を開始するために必要な概念的ツールを読者に提供することを目的としている。
オフラインの強化学習アルゴリズムは、大規模なデータセットを強力な意思決定エンジンにできるという、大きな約束を持っています。
効果的なオフライン強化学習方法は、利用可能なデータから可能な限り最大限のユーティリティでポリシーを抽出し、医療や教育からロボティクスまで幅広い意思決定領域の自動化を可能にする。
しかし、現在のアルゴリズムの限界は、これを難しくしている。
我々は,これらの課題,特に近代的な深層強化学習手法の文脈において,読者にこれらの課題の理解を提供し,これらの課題を緩和するために近年研究されている潜在的な解決策と,最近の応用,およびこの分野におけるオープンな問題に対する視点に関する議論について述べる。 In this tutorial article, we aim to provide the reader with the conceptual tools needed to get started on research on offline reinforcement learning algorithms: reinforcement learning algorithms that utilize previously collected data, without additional online data collection. Offline reinforcement learning algorithms hold tremendous promise for making it possible to turn large datasets into powerful decision making engines. Effective offline reinforcement learning methods would be able to extract policies with the maximum possible utility out of the available data, thereby allowing automation of a wide range of decision-making domains, from healthcare and education to robotics. However, the limitations of current algorithms make this difficult. We will aim to provide the reader with an understanding of these challenges, particularly in the context of modern deep reinforcement learning methods, and describe some potential solutions that have been explored in recent work to mitigate these challenges, along with recent applications, and a discussion of perspectives on open problems in the field. | 翻訳日:2022-12-06 23:53:27 公開日:2020-11-01 |
| # ディファレンシャルプライバシ制約を持つ複数アクセスチャネル上での効率的なフェデレーション学習 Efficient Federated Learning over Multiple Access Channel with Differential Privacy Constraints ( http://arxiv.org/abs/2005.07776v2 ) ライセンス: Link先を確認 | Amir Sonee and Stefano Rini | (参考訳) 本稿では,クライアントとパラメータサーバ(ps)間のデジタル通信を通じて,ディファレンシャルプライバシ(dp)制約を受けるマルチアクセスチャネル(mac)上でのフェデレーション学習(fl)の問題について検討する。
より正確には、集中型ネットワーク内のクライアントがローカルデータセットを使用して機械学習モデルをトレーニングするよう促される設定を検討する。
クライアントとPS間の情報交換はMACチャネル上で行われ、ローカルデータセットのDPを保存する必要がある。
したがって、クライアントの目的は、トレーニング損失を最小限にすることである。
(i)mac上の信頼できる通信のためのレート制約
(ii) ローカルデータセットに対するDP制約。
この最適化シナリオでは,デジタル分散確率勾配降下(D-DSGD)を各クライアントが行う新しいコンセンサス方式を提案する。
DPを保存するために、ユーザが局所的な量子化勾配にデジタル人工ノイズを加える。
提案方式の性能は,所定のMAC容量に対する収束率とDPレベルの観点から評価する。
性能は、量子化レベルと人工雑音パラメータの選択により最適化される。
提案手法の性能を検証するために数値評価を行った。 In this paper, the problem of federated learning (FL) through digital communication between clients and a parameter server (PS) over a multiple access channel (MAC), also subject to differential privacy (DP) constraints, is studied. More precisely, we consider the setting in which clients in a centralized network are prompted to train a machine learning model using their local datasets. The information exchange between the clients and the PS takes places over a MAC channel and must also preserve the DP of the local datasets. Accordingly, the objective of the clients is to minimize the training loss subject to (i) rate constraints for reliable communication over the MAC and (ii) DP constraint over the local datasets. For this optimization scenario, we proposed a novel consensus scheme in which digital distributed stochastic gradient descent (D-DSGD) is performed by each client. To preserve DP, a digital artificial noise is also added by the users to the locally quantized gradients. The performance of the scheme is evaluated in terms of the convergence rate and DP level for a given MAC capacity. The performance is optimized over the choice of the quantization levels and the artificial noise parameters. Numerical evaluations are presented to validate the performance of the proposed scheme. | 翻訳日:2022-12-02 23:11:16 公開日:2020-11-01 |
| # マルチフィジカルシステムとマルチスケールシステムのインタフェース学習 Interface learning of multiphysics and multiscale systems ( http://arxiv.org/abs/2006.10112v2 ) ライセンス: Link先を確認 | Shady E. Ahmed, Omer San, Kursat Kara, Rami Younis, Adil Rasheed | (参考訳) 複雑な自然系または工学系は、複数の特性スケール、複数の時空間領域、さらには複数の物理的閉包則からなる。
このような課題に対処するために、インタフェース学習パラダイムを導入し、メモリ埋め込みに基づくデータ駆動クロージャアプローチを導入し、インタフェースにおける物理的に正しい境界条件を提供する。
影響領域と波動構造を考慮した双曲系のインタフェース学習を可能にするために, 物理に変形した領域分解に向けて, アップウインド学習の概念を提示する。
提案手法の約束は、一連の標準的な図解問題に対して示される。
我々は,新しい機械学習プラットフォームにおける処理ユニット間の通信コストを,エクサスケール時代に向けて削減する手法によって,高性能コンピューティング環境が恩恵を受けることを強調した。 Complex natural or engineered systems comprise multiple characteristic scales, multiple spatiotemporal domains, and even multiple physical closure laws. To address such challenges, we introduce an interface learning paradigm and put forth a data-driven closure approach based on memory embedding to provide physically correct boundary conditions at the interface. To enable the interface learning for hyperbolic systems by considering the domain of influence and wave structures into account, we put forth the concept of upwind learning towards a physics-informed domain decomposition. The promise of the proposed approach is shown for a set of canonical illustrative problems. We highlight that high-performance computing environments can benefit from this methodology to reduce communication costs among processing units in emerging machine learning ready heterogeneous platforms toward exascale era. | 翻訳日:2022-11-19 21:37:44 公開日:2020-11-01 |
| # 構成的ゼロショット認識の因果的視点 A causal view of compositional zero-shot recognition ( http://arxiv.org/abs/2006.14610v2 ) ライセンス: Link先を確認 | Yuval Atzmon, Felix Kreuk, Uri Shalit, Gal Chechik | (参考訳) 人々は既知のコンポーネントの新しい組み合わせである新しい視覚カテゴリーを容易に認識する。
この構成一般化能力は、新しい組み合わせの長い尾が分布を支配しているため、視覚や言語のような現実世界の領域での学習に不可欠である。
残念なことに、学習システムは、たとえクラスが"必須"でなくても、クラスラベルに関連付けられた機能を構築することが多いため、構成の一般化に苦しむ。
これにより、既知のコンポーネントの新しい組み合わせのように、新しいディストリビューションからのサンプルの一貫した誤分類につながる。
本稿では,因果概念に基づく構成一般化のアプローチについて述べる。
まず、因果的観点からの合成ゼロショット学習について述べ、ゼロショット推論を「どの介入が画像の原因となったのか?
第2に、相関学習データから視覚オブジェクトの基本成分の不整合表現を学習する因果インスパイアされた埋め込みモデルを提案する。
本手法は,属性オブジェクトペアの新たな組み合わせを予測するための2つのデータセットに対して評価する。
強いベースラインに比べて改善が見られた。 People easily recognize new visual categories that are new combinations of known components. This compositional generalization capacity is critical for learning in real-world domains like vision and language because the long tail of new combinations dominates the distribution. Unfortunately, learning systems struggle with compositional generalization because they often build on features that are correlated with class labels even if they are not "essential" for the class. This leads to consistent misclassification of samples from a new distribution, like new combinations of known components. Here we describe an approach for compositional generalization that builds on causal ideas. First, we describe compositional zero-shot learning from a causal perspective, and propose to view zero-shot inference as finding "which intervention caused the image?". Second, we present a causal-inspired embedding model that learns disentangled representations of elementary components of visual objects from correlated (confounded) training data. We evaluate this approach on two datasets for predicting new combinations of attribute-object pairs: A well-controlled synthesized images dataset and a real-world dataset which consists of fine-grained types of shoes. We show improvements compared to strong baselines. | 翻訳日:2022-11-17 04:16:23 公開日:2020-11-01 |
| # ノード埋め込みと機械学習によるネットワーク中心性対策の近似 Approximating Network Centrality Measures Using Node Embedding and Machine Learning ( http://arxiv.org/abs/2006.16392v4 ) ライセンス: Link先を確認 | Matheus R. F. Mendon\c{c}a, Andr\'e M. S. Barreto, and Artur Ziviani | (参考訳) 近年、現実世界の大規模ネットワークから情報を抽出することが重要な課題となっている。
例えば、ノードの中央性を計算することは、計算コストのために意図された中央性によっては不可能になる可能性がある。
一つの解決策は、ネットワーク中心性を近似できる高速な手法を開発することである。
本稿では,ニューラルネットワークとグラフ埋め込み手法を用いて,大規模ネットワークのノード集中度を効率的に近似する手法を提案する。
提案手法は,グラフ埋め込みを用いたネットワーク中心性近似 (nca-ge) であり,グラフの隣接行列と各ノードの特徴の組 (ここでは次数のみを使用する) を入力とし,各ノードの所望の中央性ランクを計算する。
NCA-GEは、グラフのエッジの集合である$O(|E|)$, $E$の時間複雑性を持ち、大きなネットワークに適している。
nca-geは、非常に高速にトレーニングでき、1000個の小さなスケールフリーグラフ(それぞれ100から1000ノード)しか必要とせず、異なるノードの中央、ネットワークサイズ、トポロジーでうまく機能する。
最後に, NCA-GE は, 様々なシナリオにおいて, 偏心度と固有ベクトル中心度を用いて, 偏心度を近似する最先端手法との比較を行った。 Extracting information from real-world large networks is a key challenge nowadays. For instance, computing a node centrality may become unfeasible depending on the intended centrality due to its computational cost. One solution is to develop fast methods capable of approximating network centralities. Here, we propose an approach for efficiently approximating node centralities for large networks using Neural Networks and Graph Embedding techniques. Our proposed model, entitled Network Centrality Approximation using Graph Embedding (NCA-GE), uses the adjacency matrix of a graph and a set of features for each node (here, we use only the degree) as input and computes the approximate desired centrality rank for every node. NCA-GE has a time complexity of $O(|E|)$, $E$ being the set of edges of a graph, making it suitable for large networks. NCA-GE also trains pretty fast, requiring only a set of a thousand small synthetic scale-free graphs (ranging from 100 to 1000 nodes each), and it works well for different node centralities, network sizes, and topologies. Finally, we compare our approach to the state-of-the-art method that approximates centrality ranks using the degree and eigenvector centralities as input, where we show that the NCA-GE outperforms the former in a variety of scenarios. | 翻訳日:2022-11-15 15:34:41 公開日:2020-11-01 |
| # 逆強化学習によるレトロスペクティブ知識の学習 Learning Retrospective Knowledge with Reverse Reinforcement Learning ( http://arxiv.org/abs/2007.06703v3 ) ライセンス: Link先を確認 | Shangtong Zhang, Vivek Veeriah, Shimon Whiteson | (参考訳) 振り返り知識を表現するために,逆強化学習(逆rl)アプローチを提案する。
一般価値関数(GVF)は、予測的知識、すなわち「AからBへ運転した場合、どれくらいの燃料が消費されるか」といった将来的な結果に関する疑問に答えることで、大きな成功を収めてきた。
しかし、gvfsは「t$?」の時点で自動車がbに与えた燃料はどれくらいあるか」といった疑問に答えることができない。
このような質問は過去の出来事が現在に与える影響を強調しているため、私たちは彼らの答えをふりかえりの知識として言及します。
本稿では,Reverse RLを用いて学習したReverse GVFを用いた振り返り知識の表現方法について述べる。
本稿では,表現学習と異常検出の両方において,逆GVFの有用性を実証的に示す。 We present a Reverse Reinforcement Learning (Reverse RL) approach for representing retrospective knowledge. General Value Functions (GVFs) have enjoyed great success in representing predictive knowledge, i.e., answering questions about possible future outcomes such as "how much fuel will be consumed in expectation if we drive from A to B?". GVFs, however, cannot answer questions like "how much fuel do we expect a car to have given it is at B at time $t$?". To answer this question, we need to know when that car had a full tank and how that car came to B. Since such questions emphasize the influence of possible past events on the present, we refer to their answers as retrospective knowledge. In this paper, we show how to represent retrospective knowledge with Reverse GVFs, which are trained via Reverse RL. We demonstrate empirically the utility of Reverse GVFs in both representation learning and anomaly detection. | 翻訳日:2022-11-12 03:23:43 公開日:2020-11-01 |
| # I2L-MeshNet:1枚のRGB画像からの3次元人物の正確な画像とメッシュ推定のための画像と画素予測ネットワーク I2L-MeshNet: Image-to-Lixel Prediction Network for Accurate 3D Human Pose and Mesh Estimation from a Single RGB Image ( http://arxiv.org/abs/2008.03713v2 ) ライセンス: Link先を確認 | Gyeongsik Moon and Kyoung Mu Lee | (参考訳) 従来の画像に基づく3次元人物ポーズおよびメッシュ推定手法のほとんどは、入力画像から人間のメッシュモデルのパラメータを推定する。
しかし、入力画像中の画素間の空間的関係を断ち切るため、入力画像からパラメータを直接退避させることは非常に非線形なマッピングである。
さらに、予測の不確実性をモデル化できないため、トレーニングを難しくすることができる。
上記の問題を解決するために,イメージ・トゥ・リッセル(ライン+ピクセル)予測ネットワークであるI2L-MeshNetを提案する。
提案するi2l-meshnetは、パラメータを直接レグレッションするのではなく、各メッシュ頂点座標の1次元ヒートマップにおけるリクセル当たりの確率を予測する。
我々のリセルベースの1Dヒートマップは入力画像の空間的関係を保存し、予測の不確かさをモデル化する。
画像-リセル予測の利点を実証し,提案したI2L-MeshNetが従来の手法より優れていることを示す。
コードはhttps://github.com/mks0601/I2L-MeshNet_RELEASEで公開されている。 Most of the previous image-based 3D human pose and mesh estimation methods estimate parameters of the human mesh model from an input image. However, directly regressing the parameters from the input image is a highly non-linear mapping because it breaks the spatial relationship between pixels in the input image. In addition, it cannot model the prediction uncertainty, which can make training harder. To resolve the above issues, we propose I2L-MeshNet, an image-to-lixel (line+pixel) prediction network. The proposed I2L-MeshNet predicts the per-lixel likelihood on 1D heatmaps for each mesh vertex coordinate instead of directly regressing the parameters. Our lixel-based 1D heatmap preserves the spatial relationship in the input image and models the prediction uncertainty. We demonstrate the benefit of the image-to-lixel prediction and show that the proposed I2L-MeshNet outperforms previous methods. The code is publicly available https://github.com/mks0601/I2L-MeshNet_RELEASE. | 翻訳日:2022-11-01 04:27:07 公開日:2020-11-01 |
| # 未知探索空間におけるベイズ最適化に対する部分線形後悔境界 Sub-linear Regret Bounds for Bayesian Optimisation in Unknown Search Spaces ( http://arxiv.org/abs/2009.02539v4 ) ライセンス: Link先を確認 | Hung Tran-The, Sunil Gupta, Santu Rana, Huong Ha, Svetha Venkatesh | (参考訳) ベイズ最適化は高価なブラックボックス関数の効率的な最適化のための一般的な方法である。
伝統的に、BOは検索空間が知られていると仮定する。
しかし、多くの問題において、この仮定は成り立たない。
そこで本研究では,超調和級数を考える拡張率の制御に基づいて探索空間を反復的に拡張(シフト)する新しいboアルゴリズムを提案する。
さらに,高次元までスケールするアルゴリズムの別の変種を提案する。
理論的には、我々のアルゴリズムでは、累積後悔はサブリニアレートで増加する。
合成および実世界の最適化タスクを用いた実験は,未知探索空間におけるベイズ最適化の現在の最先端手法よりもアルゴリズムの優越性を示す。 Bayesian optimisation is a popular method for efficient optimisation of expensive black-box functions. Traditionally, BO assumes that the search space is known. However, in many problems, this assumption does not hold. To this end, we propose a novel BO algorithm which expands (and shifts) the search space over iterations based on controlling the expansion rate thought a hyperharmonic series. Further, we propose another variant of our algorithm that scales to high dimensions. We show theoretically that for both our algorithms, the cumulative regret grows at sub-linear rates. Our experiments with synthetic and real-world optimisation tasks demonstrate the superiority of our algorithms over the current state-of-the-art methods for Bayesian optimisation in unknown search space. | 翻訳日:2022-10-21 20:53:51 公開日:2020-11-01 |
| # 株式保有ネットワーク解析のためのディリクレネットワーク分布の非対角混合 Nondiagonal Mixture of Dirichlet Network Distributions for Analyzing a Stock Ownership Network ( http://arxiv.org/abs/2009.04446v2 ) ライセンス: Link先を確認 | Wenning Zhang, Ryohei Hisano, Takaaki Ohnishi, Takayuki Mizuno | (参考訳) ブロックモデリングは複雑なネットワークの研究で広く使われている。
グラインドストーンモデルは確率ブロックモデル(SBM)であり、過去数十年にわたって広く使われている。
しかし、SBMは、モデルが本質的には、スパーシリティや重み付き次数分布のような多くの複雑なネットワークの基本特性を再現できないランダムグラフモデルであるため、複雑なネットワークの分析に限られている。
本稿では,そのような基本特徴を組み込んだエッジ交換可能なブロックモデルを提案し,同時に複素ネットワークの潜在ブロック構造を推定する。
本モデルは,ブロック数を柔軟に推定し,未知ノードの可能性を考慮したベイズ非パラメトリックモデルである。
1つの合成データセットと1つの実世界のストックオーナシップデータセットを用いて、我々のモデルは、保留リンク予測タスクにおいて最先端のSBMよりも優れていることを示す。 Block modeling is widely used in studies on complex networks. The cornerstone model is the stochastic block model (SBM), widely used over the past decades. However, the SBM is limited in analyzing complex networks as the model is, in essence, a random graph model that cannot reproduce the basic properties of many complex networks, such as sparsity and heavy-tailed degree distribution. In this paper, we provide an edge exchangeable block model that incorporates such basic features and simultaneously infers the latent block structure of a given complex network. Our model is a Bayesian nonparametric model that flexibly estimates the number of blocks and takes into account the possibility of unseen nodes. Using one synthetic dataset and one real-world stock ownership dataset, we show that our model outperforms state-of-the-art SBMs for held-out link prediction tasks. | 翻訳日:2022-10-20 21:03:34 公開日:2020-11-01 |
| # ContactNets: Smooth, Implicit Representationによる不連続接触ダイナミクスの学習 ContactNets: Learning Discontinuous Contact Dynamics with Smooth, Implicit Representations ( http://arxiv.org/abs/2009.11193v2 ) ライセンス: Link先を確認 | Samuel Pfrommer and Mathew Halm and Michael Posa | (参考訳) ロボットの動力学を学ぶ一般的な方法は、運動が連続的であると仮定し、不連続な衝撃とスティクション行動を行うシステムの非現実的なモデル予測を引き起こす。
本研究では,接触による不連続性に起因する構造を円滑かつ暗黙的に符号化することで,この対立を解決する。
本研究では, ロボット工学におけるシミュレーション, 制御, 計画環境に適合した, 物体間符号距離と接触フレームジャコビアンのパラメータ化を学習する。
さらに,相補性と最大散逸の原理に触発された新しい損失関数を用いて,強固あるいは非スムースダイナミクスによる微分の必要性を回避する。
実世界の60秒間のデータを用いて,現実的な影響,非ペネティフィケーション,スティクションを予測できる。 Common methods for learning robot dynamics assume motion is continuous, causing unrealistic model predictions for systems undergoing discontinuous impact and stiction behavior. In this work, we resolve this conflict with a smooth, implicit encoding of the structure inherent to contact-induced discontinuities. Our method, ContactNets, learns parameterizations of inter-body signed distance and contact-frame Jacobians, a representation that is compatible with many simulation, control, and planning environments for robotics. We furthermore circumvent the need to differentiate through stiff or non-smooth dynamics with a novel loss function inspired by the principles of complementarity and maximum dissipation. Our method can predict realistic impact, non-penetration, and stiction when trained on 60 seconds of real-world data. | 翻訳日:2022-10-15 16:56:58 公開日:2020-11-01 |
| # インストゥルメンタル変数回帰における深い特徴の学習 Learning Deep Features in Instrumental Variable Regression ( http://arxiv.org/abs/2010.07154v3 ) ライセンス: Link先を確認 | Liyuan Xu, Yutian Chen, Siddarth Srinivasan, Nando de Freitas, Arnaud Doucet, Arthur Gretton | (参考訳) 計器変数(IV)回帰は、計器変数を利用した観測データから、整合処理と結果変数の因果関係を学習するための標準戦略である。
古典IVレグレッションでは、学習は2段階に進み、ステージ1は機器から治療への線形回帰を行い、ステージ2は機器に条件付きで処理から結果への線形回帰を行う。
本稿では, 楽器, 治療, 結果の関係が非線形である場合に対処する手法として, DFIV(Deep Feature instrumental variable regression)を提案する。
この場合、ディープ・ニューラルネットは、機器や治療に関する情報的非線形特徴を定義するために訓練される。
本稿では,ステージ1と2を構成する際のエンドツーエンド性能を確保するために,これらの特徴を交互に訓練する手法を提案する。
dfivは、高次元画像データを含む、ivベンチマークに挑戦する最新の最先端手法よりも優れている。
dfivはまた、iv回帰タスクとして理解できる強化学習のためのオフポリシー政策評価における競合性能を示す。 Instrumental variable (IV) regression is a standard strategy for learning causal relationships between confounded treatment and outcome variables from observational data by utilizing an instrumental variable, which affects the outcome only through the treatment. In classical IV regression, learning proceeds in two stages: stage 1 performs linear regression from the instrument to the treatment; and stage 2 performs linear regression from the treatment to the outcome, conditioned on the instrument. We propose a novel method, deep feature instrumental variable regression (DFIV), to address the case where relations between instruments, treatments, and outcomes may be nonlinear. In this case, deep neural nets are trained to define informative nonlinear features on the instruments and treatments. We propose an alternating training regime for these features to ensure good end-to-end performance when composing stages 1 and 2, thus obtaining highly flexible feature maps in a computationally efficient manner. DFIV outperforms recent state-of-the-art methods on challenging IV benchmarks, including settings involving high dimensional image data. DFIV also exhibits competitive performance in off-policy policy evaluation for reinforcement learning, which can be understood as an IV regression task. | 翻訳日:2022-10-07 12:43:46 公開日:2020-11-01 |
| # AI生成遠方からの放射光データからの太陽コロナ磁場外挿 Solar Coronal Magnetic Field Extrapolation from Synchronic Data with AI-generated Farside ( http://arxiv.org/abs/2010.07553v3 ) ライセンス: Link先を確認 | Hyun-Jin Jeong, Yong-Jae Moon, Eunsu Park, Harim Lee | (参考訳) 太陽磁場はコロナ現象の性質を理解する上で重要な役割を果たす。
地球規模のコロナ磁場は、通常、光球の磁場から外挿される。
我々は、最前線と人工知能(AI)が生成する遠方磁場をほぼリアルタイムに利用して、地球規模の磁場の外挿を初めて構築した。
前面の太陽ダイナミクス観測所と極紫外線画像とマグネトグラムを用いて訓練した深層学習モデルにより、太陽地球関係観測所(stereo)の前方(a)と後方(b)の3チャンネルの遠方観測から、遠方磁図を生成する。
表側テストデータセットでは、生成された磁場分布が実際の磁場分布と一致していることが示され、活動領域(ars)だけでなく、太陽の静かな領域も示される。
我々は,従来の遠方データをモデルによって生成された遠方データに置き換えた大域的磁場同期マップを作成する。
同期マップは、ARの出現だけでなく、太陽表面上の他の天体の消失も以前よりもずっと良く示している。
我々は、これらの同期磁気データを用いて、ポテンシャル磁場源面(pfss)モデルを用いて大域コロナフィールドを外挿する。
本研究では, 太陽活動領域やコロナホールの観点から, 従来の方法よりも, コロナ観測と一致していることを示す。
我々は、太陽コロナ、ヘリウム圏、宇宙気象の研究のための新しい手法のいくつかの肯定的な展望を提示する。 Solar magnetic fields play a key role in understanding the nature of the coronal phenomena. Global coronal magnetic fields are usually extrapolated from photospheric fields, for which farside data is taken when it was at the frontside, about two weeks earlier. For the first time we have constructed the extrapolations of global magnetic fields using frontside and artificial intelligence (AI)-generated farside magnetic fields at a near-real time basis. We generate the farside magnetograms from three channel farside observations of Solar Terrestrial Relations Observatory (STEREO) Ahead (A) and Behind (B) by our deep learning model trained with frontside Solar Dynamics Observatory extreme ultraviolet images and magnetograms. For frontside testing data sets, we demonstrate that the generated magnetic field distributions are consistent with the real ones; not only active regions (ARs), but also quiet regions of the Sun. We make global magnetic field synchronic maps in which conventional farside data are replaced by farside ones generated by our model. The synchronic maps show much better not only the appearance of ARs but also the disappearance of others on the solar surface than before. We use these synchronized magnetic data to extrapolate the global coronal fields using Potential Field Source Surface (PFSS) model. We show that our results are much more consistent with coronal observations than those of the conventional method in view of solar active regions and coronal holes. We present several positive prospects of our new methodology for the study of solar corona, heliosphere, and space weather. | 翻訳日:2022-10-07 05:12:49 公開日:2020-11-01 |
| # SMARTS: 自律運転のためのスケーラブルなマルチエージェント強化学習学校 SMARTS: Scalable Multi-Agent Reinforcement Learning Training School for Autonomous Driving ( http://arxiv.org/abs/2010.09776v2 ) ライセンス: Link先を確認 | Ming Zhou, Jun Luo, Julian Villella, Yaodong Yang, David Rusu, Jiayu Miao, Weinan Zhang, Montgomery Alban, Iman Fadakar, Zheng Chen, Aurora Chongxi Huang, Ying Wen, Kimia Hassanzadeh, Daniel Graves, Dong Chen, Zhengbang Zhu, Nhat Nguyen, Mohamed Elsayed, Kun Shao, Sanjeevan Ahilan, Baokuan Zhang, Jiannan Wu, Zhengang Fu, Kasra Rezaee, Peyman Yadmellat, Mohsen Rohani, Nicolas Perez Nieves, Yihan Ni, Seyedershad Banijamali, Alexander Cowen Rivers, Zheng Tian, Daniel Palenicek, Haitham bou Ammar, Hongbo Zhang, Wulong Liu, Jianye Hao, Jun Wang | (参考訳) マルチエージェントインタラクションは、現実世界における自動運転の基本的な側面である。
研究と開発が10年以上続いたにもかかわらず、多様なシナリオにおいて、多様な道路ユーザーと能力的に対話する方法の問題はほとんど解決されていない。
この問題を解決するには学習方法が大いに役立ちます。
しかしそれらは、多様な有能な運転インタラクションを生成する現実的なマルチエージェントシミュレータを必要とする。
そこで我々はSMARTS(Scalable Multi-Agent RL Training School)と呼ばれる専用シミュレーションプラットフォームを開発した。
SMARTSは、道路利用者の多様な行動モデルのトレーニング、蓄積、使用をサポートする。
これらは、より現実的で多様な相互作用を生み出すために使用され、マルチエージェントインタラクションのより深い研究を可能にする。
本稿では,スマートシステムの設計目標を説明し,その基本アーキテクチャとその重要な特徴を説明し,インタラクティブシナリオにおける具体的マルチエージェント実験を通じてその利用について述べる。
我々はSMARTSプラットフォームと関連するベンチマークタスクと評価指標をオープンソース化し、自動運転のためのマルチエージェント学習の研究を奨励し、強化する。
私たちのコードはhttps://github.com/huawei-noah/smartsで利用可能です。 Multi-agent interaction is a fundamental aspect of autonomous driving in the real world. Despite more than a decade of research and development, the problem of how to competently interact with diverse road users in diverse scenarios remains largely unsolved. Learning methods have much to offer towards solving this problem. But they require a realistic multi-agent simulator that generates diverse and competent driving interactions. To meet this need, we develop a dedicated simulation platform called SMARTS (Scalable Multi-Agent RL Training School). SMARTS supports the training, accumulation, and use of diverse behavior models of road users. These are in turn used to create increasingly more realistic and diverse interactions that enable deeper and broader research on multi-agent interaction. In this paper, we describe the design goals of SMARTS, explain its basic architecture and its key features, and illustrate its use through concrete multi-agent experiments on interactive scenarios. We open-source the SMARTS platform and the associated benchmark tasks and evaluation metrics to encourage and empower research on multi-agent learning for autonomous driving. Our code is available at https://github.com/huawei-noah/SMARTS. | 翻訳日:2022-10-05 21:40:36 公開日:2020-11-01 |
| # 長期連続ユーザ行動モデリングのための学習可能なパラメータ Learning Transferrable Parameters for Long-tailed Sequential User Behavior Modeling ( http://arxiv.org/abs/2010.11401v2 ) ライセンス: Link先を確認 | Jianwen Yin, Chenghao Liu, Weiqing Wang, Jianling Sun, Steven C.H. Hoi | (参考訳) 逐次ユーザー行動モデリングは、製品購入、ニュースフィードの消費、オンライン広告などのオンラインユーザー指向サービスにおいて重要な役割を果たす。
逐次モデリングの性能は、歴史的行動のスケールと品質に大きく依存する。
しかし、ユーザー行動の個数は本質的には、ほとんど探求されていないロングテールのディストリビューションに従っている。
本研究では,最適化と機能の観点から,転送可能なパラメータを学習することで,テールユーザへの注目がより多くの利益をもたらし,長いテールの問題に対処できる,と論じる。
具体的には,グラデーションアライメントオプティマイザを提案し,頭から尾への知識伝達を容易にするための逆訓練方式を採用する。
このような手法は、新規ユーザのコールドスタート問題にも対処できる。
さらに、様々な確立された逐次モデルに直接適応することができる。
4つの実世界のデータセットに関する広範な実験は、最先端のベースラインと比較して、フレームワークの優位性を検証するものです。 Sequential user behavior modeling plays a crucial role in online user-oriented services, such as product purchasing, news feed consumption, and online advertising. The performance of sequential modeling heavily depends on the scale and quality of historical behaviors. However, the number of user behaviors inherently follows a long-tailed distribution, which has been seldom explored. In this work, we argue that focusing on tail users could bring more benefits and address the long tails issue by learning transferrable parameters from both optimization and feature perspectives. Specifically, we propose a gradient alignment optimizer and adopt an adversarial training scheme to facilitate knowledge transfer from the head to the tail. Such methods can also deal with the cold-start problem of new users. Moreover, it could be directly adaptive to various well-established sequential models. Extensive experiments on four real-world datasets verify the superiority of our framework compared with the state-of-the-art baselines. | 翻訳日:2022-10-04 06:07:32 公開日:2020-11-01 |
| # 産業用iotのための適応型連合学習とデジタルツイン Adaptive Federated Learning and Digital Twin for Industrial Internet of Things ( http://arxiv.org/abs/2010.13058v2 ) ライセンス: Link先を確認 | Wen Sun, Shiyu Lei, Lu Wang, Zhiqiang Liu, and Yan Zhang | (参考訳) 産業用iot(industrial internet of things)は、動的およびリアルタイムの産業用デバイスで異なる分散インテリジェントサービスを実現する。
本稿では,デジタル双生児が産業機器の特徴を捉え,連携学習を支援する,デジタル双生児による産業用IoTの新しいアーキテクチャについて考察する。
ディジタル双生児はデバイス状態の実際の値から推定偏差をもたらす可能性があることに気付き、フェデレーション学習において信頼に基づく集約を提案し、そのような偏差の影響を軽減する。
lyapunov動的欠陥キューと深層強化学習に基づいて,連合学習の集約頻度を適応的に調整し,資源制約下での学習性能を向上させる。
産業用iotの多様性にさらに適応するために,クラスタリングに基づく非同期フェデレーション学習フレームワークを提案する。
提案手法は, 学習精度, 収束度, 省エネルギーの点で, ベンチマークよりも優れていることを示す。 Industrial Internet of Things (IoT) enables distributed intelligent services varying with the dynamic and realtime industrial devices to achieve Industry 4.0 benefits. In this paper, we consider a new architecture of digital twin empowered Industrial IoT where digital twins capture the characteristics of industrial devices to assist federated learning. Noticing that digital twins may bring estimation deviations from the actual value of device state, a trusted based aggregation is proposed in federated learning to alleviate the effects of such deviation. We adaptively adjust the aggregation frequency of federated learning based on Lyapunov dynamic deficit queue and deep reinforcement learning, to improve the learning performance under the resource constraints. To further adapt to the heterogeneity of Industrial IoT, a clustering-based asynchronous federated learning framework is proposed. Numerical results show that the proposed framework is superior to the benchmark in terms of learning accuracy, convergence, and energy saving. | 翻訳日:2022-10-03 05:05:30 公開日:2020-11-01 |
| # 談話文脈を考慮したBERTを用いたきめ細かい情報状態分類 Fine-grained Information Status Classification Using Discourse Context-Aware BERT ( http://arxiv.org/abs/2010.14759v2 ) ライセンス: Link先を確認 | Yufang Hou | (参考訳) 橋渡しアナフォラ認識に関する以前の研究(hou et al., 2013a)では、この問題をきめ細かい情報ステータス(is)の学習のサブタスクとして位置づけている。
しかし、これらのシステムは手作りの言語的特徴に大きく依存している。
本稿では,詳細なIS分類のための単純な文脈対応BERTモデルを提案する。
isnotes コーパス (markert et al., 2012) では, 細粒度 is 分類における新たな最先端性能を達成し, hou など (2013a) と比較して4.8 の絶対精度向上を達成した。
さらに, ブリッジ現象を捉えるための複雑な手作り意味的特徴を使わずに, 10.5 F1 点の改良も行った。
さらに、訓練されたモデルを分析し、各isカテゴリーの最も参加者が多い信号が、情報ステータスの言語的概念によく対応していることを見出す。 Previous work on bridging anaphora recognition (Hou et al., 2013a) casts the problem as a subtask of learning fine-grained information status (IS). However, these systems heavily depend on many hand-crafted linguistic features. In this paper, we propose a simple discourse context-aware BERT model for fine-grained IS classification. On the ISNotes corpus (Markert et al., 2012), our model achieves new state-of-the-art performance on fine-grained IS classification, obtaining a 4.8 absolute overall accuracy improvement compared to Hou et al. (2013a). More importantly, we also show an improvement of 10.5 F1 points for bridging anaphora recognition without using any complex hand-crafted semantic features designed for capturing the bridging phenomenon. We further analyze the trained model and find that the most attended signals for each IS category correspond well to linguistic notions of information status. | 翻訳日:2022-10-02 19:06:30 公開日:2020-11-01 |
| # ラベル付け作業の少ない無人航空機の教師なし侵入検知システム Unsupervised Intrusion Detection System for Unmanned Aerial Vehicle with Less Labeling Effort ( http://arxiv.org/abs/2011.00540v1 ) ライセンス: Link先を確認 | Kyung Ho Park, Eunji Park, Huy Kang Kim | (参考訳) 安全性の重要性とともに、IDSは現実世界において重要な課題となっている。
以前の研究はuavの様々な侵入検知モデルを提案した。
過去のルールベースアプローチは、具体的なベースラインIDSモデルを提供し、機械学習ベースの手法は、教師付き学習モデルを用いて、UAV上で正確な侵入検出性能を達成した。
しかし,従来の手法には実世界で実施すべき改善の余地がある。
以前の方法はデータセットに大きなラベル付けの労力を必要とし、モデルは以前にトレーニングされなかった攻撃を識別できなかった。
これらのハードルを飛び越えるために,教師なし学習を用いたIDSを提案する。
教師なし学習はラベル付けを必要としないため、我々のモデルは実践者が飛行データからあらゆる種類の攻撃をラベル付けしないようにしている。
さらに、モデルは攻撃の種類にかかわらず、UAVの異常な状態を特定することができる。
我々は、良性飛行データのみを用いてオートエンコーダを訓練し、良性飛行と攻撃中の飛行において異なる復元損失を与えるモデルを確認した。
その結果, 本モデルでは, 航空機の進入時よりも, 攻撃時の飛行時の再建損失がはるかに大きいことが分かり, この復元損失を利用してUAVの侵入を認識できることがわかった。
宇宙空間における計算オーバーヘッドと検出性能を考慮すると,我々のモデルはUAV上の具体的で実用的なベースラインIDSとなることが期待できる。 Along with the importance of safety, an IDS has become a significant task in the real world. Prior studies proposed various intrusion detection models for the UAV. Past rule-based approaches provided a concrete baseline IDS model, and the machine learning-based method achieved a precise intrusion detection performance on the UAV with supervised learning models. However, previous methods have room for improvement to be implemented in the real world. Prior methods required a large labeling effort on the dataset, and the model could not identify attacks that were not trained before. To jump over these hurdles, we propose an IDS with unsupervised learning. As unsupervised learning does not require labeling, our model let the practitioner not to label every type of attack from the flight data. Moreover, the model can identify an abnormal status of the UAV regardless of the type of attack. We trained an autoencoder with the benign flight data only and checked the model provides a different reconstruction loss at the benign flight and the flight under attack. We discovered that the model produces much higher reconstruction loss with the flight under attack than the benign flight; thus, this reconstruction loss can be utilized to recognize an intrusion to the UAV. With consideration of the computation overhead and the detection performance in the wild, we expect our model can be a concrete and practical baseline IDS on the UAV. | 翻訳日:2022-10-01 00:04:07 公開日:2020-11-01 |
| # 高周波電圧信号を有する被覆導体の故障検出:局所パターンから大域的特徴へ Fault Detection for Covered Conductors With High-Frequency Voltage Signals: From Local Patterns to Global Features ( http://arxiv.org/abs/2011.02336v1 ) ライセンス: Link先を確認 | Kunjin Chen, Tom\'a\v{s} Vantuch, Yu Zhang, Jun Hu, Jinliang He | (参考訳) 部分放電 (PD) の検出とキャラクタリゼーションは, 被覆導体を用いた架空線の絶縁診断に不可欠である。
自然に得られた何千もの高周波電圧信号を含む大規模データセットのリリースにより、前例のない規模の障害関連pdパターンのデータ駆動分析が実現可能になる。
pdパターンの多様さと背景雑音の干渉は,代表的なpd関連パルス群を動的に識別できるクラスタリング技術に基づく革新的なパルス形状特徴付け手法の設計を動機付ける。
これらのパルスを基準パターンとして、洞察力のある特徴を構築し、初期被覆導体断層に対する検出性能に優れた新しい機械学習モデルを開発する。
提案モデルは,カグル競技における勝利モデルよりも優れ,現場におけるリアルタイムな乱れを検出する最先端のソリューションを提供する。 The detection and characterization of partial discharge (PD) are crucial for the insulation diagnosis of overhead lines with covered conductors. With the release of a large dataset containing thousands of naturally obtained high-frequency voltage signals, data-driven analysis of fault-related PD patterns on an unprecedented scale becomes viable. The high diversity of PD patterns and background noise interferences motivates us to design an innovative pulse shape characterization method based on clustering techniques, which can dynamically identify a set of representative PD-related pulses. Capitalizing on those pulses as referential patterns, we construct insightful features and develop a novel machine learning model with a superior detection performance for early-stage covered conductor faults. The presented model outperforms the winning model in a Kaggle competition and provides the state-of-the-art solution to detect real-time disturbances in the field. | 翻訳日:2022-10-01 00:03:24 公開日:2020-11-01 |
| # 視覚に基づくコンテキストセンシングのための効率的なパイプライン Efficient Pipelines for Vision-Based Context Sensing ( http://arxiv.org/abs/2011.00427v1 ) ライセンス: Link先を確認 | Xiaochen Liu | (参考訳) コンテキスト認識は、モバイルおよびユビキタスコンピューティングの重要な部分である。
その目標は、位置情報やアクティビティなどのモバイルユーザに関する状況情報を公開することだ。
sensed contextはナビゲーション、ar、スマートショッピングといった多くのサービスを可能にする。
このようなコンテキストは視覚センサーを含む様々な方法で認識することができる。
世界中に展開するビジョンソースが出現している。
カメラは道路、社内、およびモバイルプラットフォームに設置できる。
この傾向は、コンテキストセンシングに使用できる膨大な量の視覚データを提供する。
しかし、ビジョンデータ収集と分析は今でも非常に手作業で行われている。
データ収集には大規模なカメラの配備が困難である。
データからのコンテキストの整理とラベリングも、労働集約的です。
近年では、高度な視覚アルゴリズムとディープニューラルネットワークが視覚データの解析に利用されている。
しかし、このアプローチはデータ品質、ラベル付けの労力、ハードウェアリソースへの依存によって制限される。
要約すると、今日のビジョンベースのコンテキストセンシングシステムには、データ収集と大規模ラベリング、限られたハードウェアリソースで大規模なデータボリュームを効率的に処理し、ビジョンデータから正確なコンテキストを抽出するという3つの大きな課題がある。
この論文は、センシングタスク、センサタイプ、タスクロケーションという3つの次元からなるデザイン空間を探求している。
私たちの以前の仕事は、このデザインスペースのいくつかのポイントを探求しています。
我々は,(1)視覚に基づくセンシングタスクの設計空間における様々な点に対する効率的かつスケーラブルなソリューションの開発,(2)これらのアプリケーションにおける最先端の精度の実現,(3)そのようなセンシングシステムを設計するためのガイドラインの開発によって貢献する。 Context awareness is an essential part of mobile and ubiquitous computing. Its goal is to unveil situational information about mobile users like locations and activities. The sensed context can enable many services like navigation, AR, and smarting shopping. Such context can be sensed in different ways including visual sensors. There is an emergence of vision sources deployed worldwide. The cameras could be installed on roadside, in-house, and on mobile platforms. This trend provides huge amount of vision data that could be used for context sensing. However, the vision data collection and analytics are still highly manual today. It is hard to deploy cameras at large scale for data collection. Organizing and labeling context from the data are also labor intensive. In recent years, advanced vision algorithms and deep neural networks are used to help analyze vision data. But this approach is limited by data quality, labeling effort, and dependency on hardware resources. In summary, there are three major challenges for today's vision-based context sensing systems: data collection and labeling at large scale, process large data volumes efficiently with limited hardware resources, and extract accurate context out of vision data. The thesis explores the design space that consists of three dimensions: sensing task, sensor types, and task locations. Our prior work explores several points in this design space. We make contributions by (1) developing efficient and scalable solutions for different points in the design space of vision-based sensing tasks; (2) achieving state-of-the-art accuracy in those applications; (3) and developing guidelines for designing such sensing systems. | 翻訳日:2022-10-01 00:03:09 公開日:2020-11-01 |
| # 時間的畳み込みネットワークに基づくレーン切替予測法 A Lane-Changing Prediction Method Based on Temporal Convolution Network ( http://arxiv.org/abs/2011.01224v1 ) ライセンス: Link先を確認 | Yue Zhang, Yajie Zou, Jinjun Tang, Jian Liang | (参考訳) 車線変更は重要な運転行動であり、不当な車線変更は潜在的に危険な交通衝突を引き起こす可能性がある。
Advanced Driver Assistance System (ADAS) は、ドライバーが車線を安全かつ効率的に変更するのを支援できる。
本研究は,車線変化行動の確率的時系列を捉えるために,長期車線変化軌道と挙動を予測するための時間的畳み込みネットワーク(TCN)を提案する。
さらに、TNの学習能力を示すベンチマークモデルとして、畳み込みニューラルネットワーク(CNN)と繰り返しニューラルネットワーク(RNN)の手法が検討されている。
レーン変更データセットは運転シミュレータによって収集された。
TCNの予測性能は、異なる入力変数、異なる入力次元、異なる駆動シナリオの3つの側面から示される。
予測結果から,ttcnは2つのベンチマークモデルと比較して,計算時間を短縮した長期車線変更軌跡と運転挙動を正確に予測できることがわかった。
TCNは正確な車線変更予測を提供することができ、これは正確なADASを開発するための重要な情報である。 Lane-changing is an important driving behavior and unreasonable lane changes can result in potentially dangerous traffic collisions. Advanced Driver Assistance System (ADAS) can assist drivers to change lanes safely and efficiently. To capture the stochastic time series of lane-changing behavior, this study proposes a temporal convolutional network (TCN) to predict the long-term lane-changing trajectory and behavior. In addition, the convolutional neural network (CNN) and recurrent neural network (RNN) methods are considered as the benchmark models to demonstrate the learning ability of the TCN. The lane-changing dataset was collected by the driving simulator. The prediction performance of TCN is demonstrated from three aspects: different input variables, different input dimensions and different driving scenarios. Prediction results show that the TCN can accurately predict the long-term lane-changing trajectory and driving behavior with shorter computational time compared with two benchmark models. The TCN can provide accurate lane-changing prediction, which is one key information for the development of accurate ADAS. | 翻訳日:2022-10-01 00:02:24 公開日:2020-11-01 |
| # 幾何制約付き部分閉塞変形物体の追跡 Tracking Partially-Occluded Deformable Objects while Enforcing Geometric Constraints ( http://arxiv.org/abs/2011.00627v1 ) ライセンス: Link先を確認 | Yixuan Wang, Dale McConachie, Dmitry Berenson | (参考訳) ロープや布などの変形可能な物体を非構造環境で操作するには、ロボットが現在の形状を推定する方法が必要である。
しかし、物体の柔軟性、(自己)閉塞性、障害物との相互作用のため、変形可能な物体の形状を追跡することは困難である。
トラッキングを支援する高忠実度物理シミュレーションの構築は,新しい環境において困難である。
代わりに、rgbdイメージと幾何運動推定と障害物に基づくオブジェクトのトラッキングにフォーカスします。
この分野でのこれまでの仕事に対する私たちの重要な貢献は
1) 追従推定を定式化する運動モデルを用いて, 重度の咬合に対処するためのより良い方法
2) {\displaystyle \textit{convex} 幾何制約の定式化により,後処理ステップを通じて自己交叉や既知の障害物への侵入を防止できる。
これらの貢献により、厳密な閉塞や障害のあるシナリオにおいて、精度の面で、従来の手法よりも大きなマージンを達成できる。 In order to manipulate a deformable object, such as rope or cloth, in unstructured environments, robots need a way to estimate its current shape. However, tracking the shape of a deformable object can be challenging because of the object's high flexibility, (self-)occlusion, and interaction with obstacles. Building a high-fidelity physics simulation to aid in tracking is difficult for novel environments. Instead we focus on tracking the object based on RGBD images and geometric motion estimates and obstacles. Our key contributions over previous work in this vein are: 1) A better way to handle severe occlusion by using a motion model to regularize the tracking estimate; and 2) The formulation of \textit{convex} geometric constraints, which allow us to prevent self-intersection and penetration into known obstacles via a post-processing step. These contributions allow us to outperform previous methods by a large margin in terms of accuracy in scenarios with severe occlusion and obstacles. | 翻訳日:2022-09-30 23:57:35 公開日:2020-11-01 |
| # CT画像におけるCOVID-19感染領域の分離のためのバイフルケートオートエンコーダ Bifurcated Autoencoder for Segmentation of COVID-19 Infected Regions in CT Images ( http://arxiv.org/abs/2011.00631v1 ) ライセンス: Link先を確認 | Parham Yazdekhasty, Ali Zindar, Zahra Nabizadeh-ShahreBabak, Roshank Roshandel, Pejman Khadivi, Nader Karimi, Shadrokh Samavi | (参考訳) 新型コロナウイルスの感染拡大を受け、世界は2020年初頭から打撃を受けている。
この疾患の迅速検出は、生命を救い、感染した肺を検出するための医用画像(Computed Tomography と X-ray)に頼っていることが判明した。
この文脈では、ディープラーニングと畳み込みニューラルネットワークが画像解析に使われている。
しかし,2つの主な理由から,感染部位の正確な同定が困難であることが証明されている。
まず,感染領域の特徴は画像によって異なる。
第二に、トレーニングデータが不十分なため、ディープラーニングモデルを含むさまざまな機械学習アルゴリズムのトレーニングが困難になる。
本稿では, 心臓科医がより正確に, より速く, より管理しやすい疾患を診断するために, 新型コロナウイルスに感染した肺領域を分割する手法を提案する。
2種類のセグメンテーションに対する分岐2次元モデルを提案する。
このモデルは共有エンコーダと2つの別々のデコーダとの分岐接続を使用する。
1つのデコーダは肺の健康な領域のセグメンテーション用であり、もう1つは感染した領域のセグメンテーション用である。
公開された画像での実験では、分岐した構造のセグメントが肺の領域に感染し、最先端の技術よりも優れていることが示されている。 The new coronavirus infection has shocked the world since early 2020 with its aggressive outbreak. Rapid detection of the disease saves lives, and relying on medical imaging (Computed Tomography and X-ray) to detect infected lungs has shown to be effective. Deep learning and convolutional neural networks have been used for image analysis in this context. However, accurate identification of infected regions has proven challenging for two main reasons. Firstly, the characteristics of infected areas differ in different images. Secondly, insufficient training data makes it challenging to train various machine learning algorithms, including deep-learning models. This paper proposes an approach to segment lung regions infected by COVID-19 to help cardiologists diagnose the disease more accurately, faster, and more manageable. We propose a bifurcated 2-D model for two types of segmentation. This model uses a shared encoder and a bifurcated connection to two separate decoders. One decoder is for segmentation of the healthy region of the lungs, while the other is for the segmentation of the infected regions. Experiments on publically available images show that the bifurcated structure segments infected regions of the lungs better than state of the art. | 翻訳日:2022-09-30 23:57:04 公開日:2020-11-01 |
| # セマンティックセグメンテーションのための畳み込みニューラルネットワーク:生体画像の小さなデータセットへの応用 Convolution Neural Networks for Semantic Segmentation: Application to Small Datasets of Biomedical Images ( http://arxiv.org/abs/2011.01747v1 ) ライセンス: Link先を確認 | Vitaly Nikolaev | (参考訳) この論文は、小さなバイオメディカルデータセットに適用した場合、畳み込みニューラルネットワーク(CNN)によって生成されたセグメンテーション結果が互いにどう異なるかを研究する。
私たちは異なるアーキテクチャ、パラメータ、ハイパーパラメータを使い、タスクのより良い設定を見つけようとし、基礎となる規則を見つけようとしています。
2つの作業データセットは、生物医学的な研究分野からのものです。
我々は,2種類のネットワークについて多くの実験を行い,受信した結果は,ネットワークの条件やパラメータが他のネットワークよりも好まれることを示した。
すべてのテスト結果は表に示され、選択された結果のグラフとセグメンテーション予測がよりよく示される。 This thesis studies how the segmentation results, produced by convolutional neural networks (CNN), is different from each other when applied to small biomedical datasets. We use different architectures, parameters and hyper-parameters, trying to find out the better configurations for our task, and trying to find out underlying regularities. Two working datasets are from biomedical area of research. We conducted a lot of experiments with the two types of networks and the received results have shown the preference of some conditions of experiments and parameters of the networks over the others. All testing results are given in the tables and some selected resulting graphs and segmentation predictions are shown for better illustration. | 翻訳日:2022-09-30 23:56:46 公開日:2020-11-01 |
| # ロボットはあなたを信頼できるのか?
DRLに基づく信頼駆動型ヒューマンガイドナビゲーション Can a Robot Trust You? A DRL-Based Approach to Trust-Driven Human-Guided Navigation ( http://arxiv.org/abs/2011.00554v1 ) ライセンス: Link先を確認 | Vishnu Sashank Dorbala, Arjun Srinivasan, and Aniket Bera | (参考訳) 人間は様々な知覚入力を用いて日常の環境の認知マップを構築することが知られている。
そのため、人間に特定の場所への道順を尋ねると、この認知地図を方向指示に変換する際の方向決め能力に課題が生じる。
空間的不安のため、音声命令で使われる言語は曖昧であり、しばしば不明瞭である。
ナビゲーション指導におけるこの信頼性の欠如を考慮し,人間の信頼性を学習して言語誘導ナビゲーションタスクを実行する,DRLに基づく信頼駆動型ロボットナビゲーションアルゴリズムを提案する。
我々のアプローチは、ロボットが人間のナビゲーション指導を信頼できるかどうかという疑問に答えようとしている。
この目的のために、我々は、ロボット信頼度測定によって駆動される、信頼できる人的ガイダンスのみを使用して、目標地点に向かうことを学習する政策の訓練に目を向ける。
我々は、言語に基づく指示から様々な感情的特徴を定量化し、人間の信頼度指標の形でポリシーの観察空間にそれらを組み込む。
両者の信頼度を最適な認知的推論スキームに利用し、与えられた指導をいつ、いつ、いつ信頼するかを決定する。
その結果,学習した政策は,同じタスクを実行する爆発的アプローチとは対照的に,最適な時間効率で環境をナビゲートできることがわかった。
シミュレーションと実環境における実験結果の有効性について紹介する。 Humans are known to construct cognitive maps of their everyday surroundings using a variety of perceptual inputs. As such, when a human is asked for directions to a particular location, their wayfinding capability in converting this cognitive map into directional instructions is challenged. Owing to spatial anxiety, the language used in the spoken instructions can be vague and often unclear. To account for this unreliability in navigational guidance, we propose a novel Deep Reinforcement Learning (DRL) based trust-driven robot navigation algorithm that learns humans' trustworthiness to perform a language guided navigation task. Our approach seeks to answer the question as to whether a robot can trust a human's navigational guidance or not. To this end, we look at training a policy that learns to navigate towards a goal location using only trustworthy human guidance, driven by its own robot trust metric. We look at quantifying various affective features from language-based instructions and incorporate them into our policy's observation space in the form of a human trust metric. We utilize both these trust metrics into an optimal cognitive reasoning scheme that decides when and when not to trust the given guidance. Our results show that the learned policy can navigate the environment in an optimal, time-efficient manner as opposed to an explorative approach that performs the same task. We showcase the efficacy of our results both in simulation and a real-world environment. | 翻訳日:2022-09-30 23:56:33 公開日:2020-11-01 |
| # パラメータ重複攻撃に対する監視に基づくディファレンシャルプライバシ機構 Monitoring-based Differential Privacy Mechanism Against Query-Flooding Parameter Duplication Attack ( http://arxiv.org/abs/2011.00418v1 ) ライセンス: Link先を確認 | Haonan Yan, Xiaoguang Li, Hui Li, Jiamin Li, Wenhai Sun and Fenghua Li | (参考訳) 機械学習アルゴリズムによって実現されるパブリックインテリジェントサービスは、パブリッククエリを通じて学習モデルの機密情報を盗むモデル抽出攻撃に対して脆弱である。
ディファレンシャルプライバシ(dp)や監視などいくつかの保護オプションがあり、この攻撃を軽減するための有望なテクニックと考えられているが、それでも脆弱性は継続している。
本稿では,qpd(adaptive query-flooding parameter duplication)攻撃を提案する。
相手はモデル情報をブラックボックスアクセスで推測することができ、QPDを介してモデルパラメータやトレーニングデータの事前の知識がない。
また,この新たな攻撃に対して,モニタリングベースDP(MDP)と呼ばれるDPを用いた防衛戦略を開発した。
MDPでは,まず,モニタと呼ばれる新しいリアルタイムモデル抽出状況評価手法を提案し,モデルの状態を評価する。
そこで我々はAPBAと呼ばれる差分プライバシー予算配分を適応的に導く手法を設計した。
最後に、MDPを用いたDPベースの防衛は、モニタの結果に応じてモデル応答に付加されるノイズ量を動的に調整し、QPD攻撃を効果的に防御することができる。
さらに,実世界モデルにおけるQPD攻撃とMDP防御性能をDPおよび監視保護と徹底的に比較した。 Public intelligent services enabled by machine learning algorithms are vulnerable to model extraction attacks that can steal confidential information of the learning models through public queries. Though there are some protection options such as differential privacy (DP) and monitoring, which are considered promising techniques to mitigate this attack, we still find that the vulnerability persists. In this paper, we propose an adaptive query-flooding parameter duplication (QPD) attack. The adversary can infer the model information with black-box access and no prior knowledge of any model parameters or training data via QPD. We also develop a defense strategy using DP called monitoring-based DP (MDP) against this new attack. In MDP, we first propose a novel real-time model extraction status assessment scheme called Monitor to evaluate the situation of the model. Then, we design a method to guide the differential privacy budget allocation called APBA adaptively. Finally, all DP-based defenses with MDP could dynamically adjust the amount of noise added in the model response according to the result from Monitor and effectively defends the QPD attack. Furthermore, we thoroughly evaluate and compare the QPD attack and MDP defense performance on real-world models with DP and monitoring protection. | 翻訳日:2022-09-30 23:55:44 公開日:2020-11-01 |
| # チームメイト限定通信による多エージェント対戦ゲームにおけるサンプル効率トレーニング Sample Efficient Training in Multi-Agent Adversarial Games with Limited Teammate Communication ( http://arxiv.org/abs/2011.00424v1 ) ライセンス: Link先を確認 | Hardik Meisheri, Harshad Khadilkar | (参考訳) 我々は,NeurIPS 2019に関連する競争環境であるPommerman TeamRadioに対するソリューションアプローチについて説明する。
このアルゴリズムの特徴は, 従来の学習エージェントを上回りながら, 限定的な計算予算内でサンプル効率を達成することである。
提案アルゴリズム
(i)模擬学習を用いて政策をシードする。
(ii)2人のチームメイト間の通信プロトコルを明確に定義する。
(iii)訓練中、各エージェントによりリッチなフィードバック信号を提供するための報酬を形作る。
(iv)破滅的な悪行にマスキングを用いる。
2019年のコンペティションリーダーボードのベースラインに対する広範なテストや、学習したポリシーと各修正がパフォーマンスに与える影響に関する具体的な調査について述べます。
提案手法は,50万試合のトレーニングにおいて,他の文献研究よりもはるかに高速に,競争性能を達成可能であることを示す。 We describe our solution approach for Pommerman TeamRadio, a competition environment associated with NeurIPS 2019. The defining feature of our algorithm is achieving sample efficiency within a restrictive computational budget while beating the previous years learning agents. The proposed algorithm (i) uses imitation learning to seed the policy, (ii) explicitly defines the communication protocol between the two teammates, (iii) shapes the reward to provide a richer feedback signal to each agent during training and (iv) uses masking for catastrophic bad actions. We describe extensive tests against baselines, including those from the 2019 competition leaderboard, and also a specific investigation of the learned policy and the effect of each modification on performance. We show that the proposed approach is able to achieve competitive performance within half a million games of training, significantly faster than other studies in the literature. | 翻訳日:2022-09-30 23:55:26 公開日:2020-11-01 |
| # 高分子インフォマティクスの現状と今後の課題 Polymer Informatics: Current Status and Critical Next Steps ( http://arxiv.org/abs/2011.00508v1 ) ライセンス: Link先を確認 | Lihua Chen, Ghanshyam Pilania, Rohit Batra, Tran Doan Huan, Chiho Kim, Christopher Kuenneth, Rampi Ramprasad | (参考訳) 人工知能(AI)ベースのアプローチは、人間の生活、科学、テクノロジーのいくつかの領域に影響を与え始めている。
高分子情報学は、AIと機械学習(ML)ツールがポリマーの効率的な開発、設計、発見に使われている分野である。
サーロゲートモデルでは、利用可能なポリマーデータに基づいて即時特性予測を訓練し、特定の対象特性要件を持つ有望なポリマー候補のスクリーニングを可能にする。
合成性、標的ポリマーを作るためのポテンシャル(レトロ)合成ステップに関する質問は、統計的手段を用いて検討されている。
データ駆動型戦略は, 高分子の化学的, 物理的多様性から生じる特異な課題に, 小規模かつ大規模に対処するものである。
高分子情報学の他の大きなハードルは、キュレーションと組織化されたデータの広範な利用の欠如と、複雑な高分子の状況の構造だけでなく、合成と処理条件もキャプチャする機械可読表現の作成である。
アプリケーションターゲットを満たす高度なaiアルゴリズムを用いてポリマーの推奨を行う逆問題を解く方法が研究されている。
急成長する高分子インフォマティクスエコシステムの様々な部分が成熟して統合され、効率が向上し、発見が加速され、生産性が向上する可能性がある。
本稿では, この高分子情報生態系の創発的構成要素を概観し, 差し迫った課題と機会について論じる。 Artificial intelligence (AI) based approaches are beginning to impact several domains of human life, science and technology. Polymer informatics is one such domain where AI and machine learning (ML) tools are being used in the efficient development, design and discovery of polymers. Surrogate models are trained on available polymer data for instant property prediction, allowing screening of promising polymer candidates with specific target property requirements. Questions regarding synthesizability, and potential (retro)synthesis steps to create a target polymer, are being explored using statistical means. Data-driven strategies to tackle unique challenges resulting from the extraordinary chemical and physical diversity of polymers at small and large scales are being explored. Other major hurdles for polymer informatics are the lack of widespread availability of curated and organized data, and approaches to create machine-readable representations that capture not just the structure of complex polymeric situations but also synthesis and processing conditions. Methods to solve inverse problems, wherein polymer recommendations are made using advanced AI algorithms that meet application targets, are being investigated. As various parts of the burgeoning polymer informatics ecosystem mature and become integrated, efficiency improvements, accelerated discoveries and increased productivity can result. Here, we review emergent components of this polymer informatics ecosystem and discuss imminent challenges and opportunities. | 翻訳日:2022-09-30 23:55:13 公開日:2020-11-01 |
| # Dark Reciprocal-Rank:教師から学生への知識伝達によるグラフ畳み込み自己ローカライゼーションネットワークの強化 Dark Reciprocal-Rank: Boosting Graph-Convolutional Self-Localization Network via Teacher-to-student Knowledge Transfer ( http://arxiv.org/abs/2011.00402v1 ) ライセンス: Link先を確認 | Koji Takeda, Kanji Tanaka | (参考訳) 近年,視覚ロボットの自己ローカライゼーションにおいて,グラフに基づくシーン表現とマッチングが,自己ローカライゼーションのための堅牢で差別的な手法として研究の関心を集めている。
効果はあるものの、計算とストレージのコストは大規模環境には及ばない。
この問題を解決するため,グラフ分類問題として自己局在化を定式化し,グラフ畳み込みニューラルネットワーク(GCN)をグラフ分類エンジンとして利用する。
直感的なアプローチは、最先端の自己ローカライゼーションシステムで採用されている視覚的特徴記述子を直接グラフノード機能として使用することである。
しかし、元の自己局在化システムにおけるそれらの優れた性能は、必ずしもGCNベースの自己局在化において複製されるとは限らない。
そこで,本研究では,教師の自己ローカライゼーションモデルによる相互ランクベクトルの出力をダーク・ナレッジとして,ランクマッチングに基づく新しい教師から学生への知識伝達方式を提案する。
実験により,提案するグラフ畳み込み型自己局所化ネットワークは,教師分類器と同様に最先端の自己局所化システムを大きく上回ることが示された。 In visual robot self-localization, graph-based scene representation and matching have recently attracted research interest as robust and discriminative methods for selflocalization. Although effective, their computational and storage costs do not scale well to large-size environments. To alleviate this problem, we formulate self-localization as a graph classification problem and attempt to use the graph convolutional neural network (GCN) as a graph classification engine. A straightforward approach is to use visual feature descriptors that are employed by state-of-the-art self-localization systems, directly as graph node features. However, their superior performance in the original self-localization system may not necessarily be replicated in GCN-based self-localization. To address this issue, we introduce a novel teacher-to-student knowledge-transfer scheme based on rank matching, in which the reciprocal-rank vector output by an off-the-shelf state-of-the-art teacher self-localization model is used as the dark knowledge to transfer. Experiments indicate that the proposed graph-convolutional self-localization network can significantly outperform state-of-the-art self-localization systems, as well as the teacher classifier. | 翻訳日:2022-09-30 23:48:20 公開日:2020-11-01 |
| # HM4: 視覚的位置認識のためのメモリ管理を備えた隠れマルコフモデル HM4: Hidden Markov Model with Memory Management for Visual Place Recognition ( http://arxiv.org/abs/2011.00450v1 ) ライセンス: Link先を確認 | Anh-Dzung Doan, Yasir Latif, Tat-Jun Chin, Ian Reid | (参考訳) 視覚的な位置認識は,自然および人為的な要因による外観変動に対して頑健である必要がある。
したがって、トレーニングデータ収集は、継続的な外観変更を記録するための継続的なプロセスであるべきです。
しかし、これは、場所認識メソッドに時間とメモリスケーラビリティの課題をもたらす、無制限に成長するデータベースを生み出します。
自律運転における視覚位置認識のスケーラビリティ問題に取り組むため,二層メモリ管理を用いた隠れマルコフモデル手法を開発した。
我々のアルゴリズムはHM$^4$と呼ばれ、時間的ルックアヘッドを利用して、受動的ストレージとアクティブメモリ間で有望な候補画像を転送する。
推論プロセスは、有望な画像と完全なデータベースの粗い表現の両方を考慮に入れます。
固定被覆領域に対して一定の時間と空間推定が可能であることを示す。
粗い表現を漸進的に更新して、新しいデータを吸収することもできる。
メモリ要求をさらに低減するため,Locality Sensitive Hashing (LSH) にインスパイアされたコンパクトな画像表現を導出する。
実世界のデータを用いて、外観変化によるアプローチの優れたスケーラビリティと精度を実証し、最先端技術との比較を行う。 Visual place recognition needs to be robust against appearance variability due to natural and man-made causes. Training data collection should thus be an ongoing process to allow continuous appearance changes to be recorded. However, this creates an unboundedly-growing database that poses time and memory scalability challenges for place recognition methods. To tackle the scalability issue for visual place recognition in autonomous driving, we develop a Hidden Markov Model approach with a two-tiered memory management. Our algorithm, dubbed HM$^4$, exploits temporal look-ahead to transfer promising candidate images between passive storage and active memory when needed. The inference process takes into account both promising images and a coarse representations of the full database. We show that this allows constant time and space inference for a fixed coverage area. The coarse representations can also be updated incrementally to absorb new data. To further reduce the memory requirements, we derive a compact image representation inspired by Locality Sensitive Hashing (LSH). Through experiments on real world data, we demonstrate the excellent scalability and accuracy of the approach under appearance changes and provide comparisons against state-of-the-art techniques. | 翻訳日:2022-09-30 23:47:59 公開日:2020-11-01 |
| # 医用画像分割のためのEulerのElasticaモデル学習 Learning Euler's Elastica Model for Medical Image Segmentation ( http://arxiv.org/abs/2011.00526v1 ) ライセンス: Link先を確認 | Xu Chen and Xiangde Luo and Yitian Zhao and Shaoting Zhang and Guotai Wang and Yalin Zheng | (参考訳) イメージセグメンテーションは画像処理の基本的なトピックであり、数十年にわたって研究されてきた。
ディープラーニングに基づく教師付きセグメンテーションモデルは最先端のパフォーマンスを達成しているが,そのほとんどは,幾何学的制約を伴わないトレーニングに画素分割損失関数を使用することによって制限されている。
ディープラーニング分野に導入されたEulerのElasticaモデルと最近のアクティブな輪郭モデルに着想を得て,画像分割タスクの幾何学的自然制約としてElastica(曲率と長さ)と領域情報を組み込んだ,ACE損失関数付きアクティブな輪郭を提案する。
我々は、ACE損失関数における曲率を表す前に、すべての主曲率の平均を、より効果的な画像として紹介する。
さらに, 平均曲率の定義に基づき, 3次元画像分割のためのラプラス演算子を用いて3次元3次元のace損失を近似する高速解を提案する。
4つの2次元および3次元の自然および生体画像データセット上でACE損失関数を評価する。
提案した損失関数は,異なるセグメンテーションネットワーク上での他の主流損失関数よりも優れていた。
ソースコードはhttps://github.com/hilab-git/acelossで入手できます。 Image segmentation is a fundamental topic in image processing and has been studied for many decades. Deep learning-based supervised segmentation models have achieved state-of-the-art performance but most of them are limited by using pixel-wise loss functions for training without geometrical constraints. Inspired by Euler's Elastica model and recent active contour models introduced into the field of deep learning, we propose a novel active contour with elastica (ACE) loss function incorporating Elastica (curvature and length) and region information as geometrically-natural constraints for the image segmentation tasks. We introduce the mean curvature i.e. the average of all principal curvatures, as a more effective image prior to representing curvature in our ACE loss function. Furthermore, based on the definition of the mean curvature, we propose a fast solution to approximate the ACE loss in three-dimensional (3D) by using Laplace operators for 3D image segmentation. We evaluate our ACE loss function on four 2D and 3D natural and biomedical image datasets. Our results show that the proposed loss function outperforms other mainstream loss functions on different segmentation networks. Our source code is available at https://github.com/HiLab-git/ACELoss. | 翻訳日:2022-09-30 23:47:26 公開日:2020-11-01 |
| # LG-GAN: ポイントクラウド型ディープネットワークのフレキシブルターゲット攻撃のためのラベル付きアドバイサルネットワーク LG-GAN: Label Guided Adversarial Network for Flexible Targeted Attack of Point Cloud-based Deep Networks ( http://arxiv.org/abs/2011.00566v1 ) ライセンス: Link先を確認 | Hang Zhou, Dongdong Chen, Jing Liao, Weiming Zhang, Kejiang Chen, Xiaoyi Dong, Kunlin Liu, Gang Hua and Nenghai Yu | (参考訳) ディープニューラルネットワークは3Dポイントクラウド認識において大きな進歩を遂げている。
近年の研究では、これらの3d認識ネットワークは、最適化に基づく3dcarlyni-wagner攻撃、勾配に基づく反復高速勾配法、スケルトンデタックに基づくポイントドロップなど、様々な攻撃方法から生成された敵のサンプルにも脆弱であることが示されている。
しかしながら、注意深い分析の後、最適化/イテレーティブスキームのためにこれらの手法は非常に遅いか、特定のカテゴリのターゲット攻撃をサポートする柔軟性がないかのどちらかである。
そこで本稿では,これらの欠点を克服するために,リアルタイムフレキシブル・ターゲット・ポイント・クラウド攻撃のための新しいラベルガイド・アドバーサリー・ネットワーク(lg-gan)を提案する。
私たちの知る限りでは、これは第1世代ベースの3dポイントクラウド攻撃方法です。
元のポイントクラウドとターゲットアタックラベルをLG-GANに入力することで、ポイントクラウドを変形させ、認識ネットワークを1つのフォワードパスでのみ特定のラベルに誤解させる方法を学ぶことができる。
詳細では、LGGANはまず1つのマルチブランチ対向ネットワークを利用して入力点雲の階層的特徴を抽出し、次にラベルエンコーダを用いて指定されたラベル情報を複数の中間機能に組み込む。
最後に、符号化された特徴を座標再構成復号器に供給し、ターゲット対向サンプルを生成する。
異なるポイントクラウド認識モデル(PointNet、PointNet++、DGCNNなど)を評価することで、提案したLG-GANは、優れた攻撃性能と高い効率を同時に保証しつつ、フレキシブルなターゲット攻撃をサポートできることを実証する。 Deep neural networks have made tremendous progress in 3D point-cloud recognition. Recent works have shown that these 3D recognition networks are also vulnerable to adversarial samples produced from various attack methods, including optimization-based 3D Carlini-Wagner attack, gradient-based iterative fast gradient method, and skeleton-detach based point-dropping. However, after a careful analysis, these methods are either extremely slow because of the optimization/iterative scheme, or not flexible to support targeted attack of a specific category. To overcome these shortcomings, this paper proposes a novel label guided adversarial network (LG-GAN) for real-time flexible targeted point cloud attack. To the best of our knowledge, this is the first generation based 3D point cloud attack method. By feeding the original point clouds and target attack label into LG-GAN, it can learn how to deform the point clouds to mislead the recognition network into the specific label only with a single forward pass. In detail, LGGAN first leverages one multi-branch adversarial network to extract hierarchical features of the input point clouds, then incorporates the specified label information into multiple intermediate features using the label encoder. Finally, the encoded features will be fed into the coordinate reconstruction decoder to generate the target adversarial sample. By evaluating different point-cloud recognition models (e.g., PointNet, PointNet++ and DGCNN), we demonstrate that the proposed LG-GAN can support flexible targeted attack on the fly while guaranteeing good attack performance and higher efficiency simultaneously. | 翻訳日:2022-09-30 23:46:27 公開日:2020-11-01 |
| # 変換整合損失を用いた教師なしメトリック再局在 Unsupervised Metric Relocalization Using Transform Consistency Loss ( http://arxiv.org/abs/2011.00608v1 ) ライセンス: Link先を確認 | Mike Kasper, Fernando Nobre, Christoffer Heckman, Nima Keivan | (参考訳) メトリックの再ローカライズを行うためのトレーニングネットワークは、伝統的に正確な画像対応を必要とする。
実際には、これらはドメインカバレッジを制限したり、追加のセンサーを使用したり、大規模なマルチビューデータセットをキャプチャすることで得られる。
マップ内のクエリイメージのローカライズは、登録に使用される参照イメージに関係なく、同じ絶対的なポーズを持つべきである。
この直観に導かれ、我々は新しい変換一貫性損失を導出する。
この損失関数を用いて、ディープニューラルネットワークをトレーニングし、高密度特徴とサリエンシマップを推定し、動的環境におけるロバストな計量再局在を行う。
我々は,人工的および実世界のデータに関するフレームワークを評価し,限られた量の地中情報が利用可能である場合,他の教師あり手法よりも優れた手法を示す。 Training networks to perform metric relocalization traditionally requires accurate image correspondences. In practice, these are obtained by restricting domain coverage, employing additional sensors, or capturing large multi-view datasets. We instead propose a self-supervised solution, which exploits a key insight: localizing a query image within a map should yield the same absolute pose, regardless of the reference image used for registration. Guided by this intuition, we derive a novel transform consistency loss. Using this loss function, we train a deep neural network to infer dense feature and saliency maps to perform robust metric relocalization in dynamic environments. We evaluate our framework on synthetic and real-world data, showing our approach outperforms other supervised methods when a limited amount of ground-truth information is available. | 翻訳日:2022-09-30 23:45:53 公開日:2020-11-01 |
| # TNN(Dynamically Throttleable Neural Networks) Dynamically Throttleable Neural Networks (TNN) ( http://arxiv.org/abs/2011.02836v1 ) ライセンス: Link先を確認 | Hengyue Liu, Samyak Parajuli, Jesse Hostetler, Sek Chai, Bir Bhanu | (参考訳) ディープニューラルネットワーク(DNN)の条件計算は、全体の計算負荷を削減し、ネットワークのサブセットを実行することでモデルの精度を向上させる。
本研究では,TNN(Runtime throttleable Neural Network)を用いて,自身のパフォーマンス目標と計算資源を適応的に自己制御できるニューラルネットワークを提案する。
ランタイムコンテキストに基づいた動的実行の柔軟性を高めるために,いくつかの特性を備えたTNNを設計しました。
TNNは、単一の利用制御パラメータを生成する個別に訓練されたコントローラでゲートされるスロットル可能なモジュールとして定義される。
我々は、CiFAR-10とImageNetデータセットを用いた畳み込みニューラルネットワーク(VGG、ResNet、ResNeXt、DenseNetなどのCNN)をオブジェクト分類および認識タスクに適用するなど、多数の実験で提案手法を検証する。
また,手動動作のための3D Convolustion Network (C3D) における動的TNN実行の有効性を示す。
その結果、TNNはバニラ解に比べてピーク精度を保ちながら、計算要求を優雅に低減し、レイテンシを74%削減し、省エネを52%削減できることがわかった。 Conditional computation for Deep Neural Networks (DNNs) reduce overall computational load and improve model accuracy by running a subset of the network. In this work, we present a runtime throttleable neural network (TNN) that can adaptively self-regulate its own performance target and computing resources. We designed TNN with several properties that enable more flexibility for dynamic execution based on runtime context. TNNs are defined as throttleable modules gated with a separately trained controller that generates a single utilization control parameter. We validate our proposal on a number of experiments, including Convolution Neural Networks (CNNs such as VGG, ResNet, ResNeXt, DenseNet) using CiFAR-10 and ImageNet dataset, for object classification and recognition tasks. We also demonstrate the effectiveness of dynamic TNN execution on a 3D Convolustion Network (C3D) for a hand gesture task. Results show that TNN can maintain peak accuracy performance compared to vanilla solutions, while providing a graceful reduction in computational requirement, down to 74% reduction in latency and 52% energy savings. | 翻訳日:2022-09-30 23:37:52 公開日:2020-11-01 |
| # フィードバック重み学習を用いた展開後の会話質問応答システムの改善 Improving Conversational Question Answering Systems after Deployment using Feedback-Weighted Learning ( http://arxiv.org/abs/2011.00615v1 ) ライセンス: Link先を確認 | Jon Ander Campos, Kyunghyun Cho, Arantxa Otegi, Aitor Soroa, Gorka Azkune, Eneko Agirre | (参考訳) ユーザとの会話システムとのインタラクションは、デプロイ後にそれらを改善するエキサイティングな機会となるが、その実現可能性に関する証拠はほとんど提供されていない。
ほとんどのアプリケーションでは、ユーザはシステムに対して正しい答えを提供することはできないが、バイナリ(正しい、間違った)フィードバックを提供することができる。
本稿では,二元ユーザフィードバックを用いた初期教師付きシステムの改善のために,重要度サンプリングに基づくフィードバック強調学習を提案する。
文書分類(開発)やquacやdoqaといった会話型質問応答データセットに関するシミュレーション実験を行い,バイナリユーザからのフィードバックをゴールドアノテーションから導出する。
その結果,本手法は初期教師付きシステムよりも改良され,ドメイン内実験 (quac) で同じラベル付きサンプルにアクセス可能な完全教師付きシステム,さらにはドメイン外実験 (doqa) とのマッチングが可能となった。
当社の作業は,実際のユーザとのインタラクションを活用し,デプロイ後の会話システムを改善する可能性を開く。 The interaction of conversational systems with users poses an exciting opportunity for improving them after deployment, but little evidence has been provided of its feasibility. In most applications, users are not able to provide the correct answer to the system, but they are able to provide binary (correct, incorrect) feedback. In this paper we propose feedback-weighted learning based on importance sampling to improve upon an initial supervised system using binary user feedback. We perform simulated experiments on document classification (for development) and Conversational Question Answering datasets like QuAC and DoQA, where binary user feedback is derived from gold annotations. The results show that our method is able to improve over the initial supervised system, getting close to a fully-supervised system that has access to the same labeled examples in in-domain experiments (QuAC), and even matching in out-of-domain experiments (DoQA). Our work opens the prospect to exploit interactions with real users and improve conversational systems after deployment. | 翻訳日:2022-09-30 23:30:39 公開日:2020-11-01 |
| # アスペクトに基づく引数マイニング Aspect-Based Argument Mining ( http://arxiv.org/abs/2011.00633v1 ) ライセンス: Link先を確認 | Dietrich Trautmann | (参考訳) 計算論の一般論と特に論証マイニングは重要な研究分野である。
以前の作品では、自然言語引数を自動的に抽出し、ある程度の理由から取り出すという多くの課題が解決された。
引数ユニットを抽出するツールはますます利用でき、さらにオープンな問題に対処できる。
本稿では,アスペクト項抽出(ate)とネストセグメンテーション(ns)の基本的なサブタスクを用いて,アスペクトベース引数マイニング(abam)のタスクを提案する。
最初の例では、トークンレベルのアスペクト情報を備えた注釈付きコーパスを作成し、リリースします。
我々はアスペクトを主要なポイント(s)引数ユニットとして扱う。
この情報は、引数のランク付け、引数の要約、生成などの下流のタスクや、アスペクトレベルでの逆アロゲーションの探索において重要である。
我々は,最先端の教師付きアーキテクチャを用いたいくつかの実験を行い,その性能を両サブタスクで実証する。
annotated benchmarkはhttps://github.com/trtm/abamで入手できる。 Computational Argumentation in general and Argument Mining in particular are important research fields. In previous works, many of the challenges to automatically extract and to some degree reason over natural language arguments were addressed. The tools to extract argument units are increasingly available and further open problems can be addressed. In this work, we are presenting the task of Aspect-Based Argument Mining (ABAM), with the essential subtasks of Aspect Term Extraction (ATE) and Nested Segmentation (NS). At the first instance, we create and release an annotated corpus with aspect information on the token-level. We consider aspects as the main point(s) argument units are addressing. This information is important for further downstream tasks such as argument ranking, argument summarization and generation, as well as the search for counter-arguments on the aspect-level. We present several experiments using state-of-the-art supervised architectures and demonstrate their performance for both of the subtasks. The annotated benchmark is available at https://github.com/trtm/ABAM. | 翻訳日:2022-09-30 23:30:20 公開日:2020-11-01 |
| # RANC:ニューロモルフィックコンピューティングのための再構成可能なアーキテクチャ RANC: Reconfigurable Architecture for Neuromorphic Computing ( http://arxiv.org/abs/2011.00624v1 ) ライセンス: Link先を確認 | Joshua Mack, Ruben Purdy, Kris Rockowitz, Michael Inouye, Edward Richter, Spencer Valancius, Nirmal Kumbhare, Md Sahil Hassan, Kaitlin Fair, John Mixter, Ali Akoglu | (参考訳) ニューロモルフィックアーキテクチャは、エネルギー効率の良いスパイクニューラルネットワークの実行のためのプラットフォームとして導入された。
これらのアーキテクチャによって提供される巨大な並列性は、非機械学習アプリケーションドメインからの関心も引き起こしている。
ハードウェアデザイナとアプリケーション開発者の参入障壁を緩和するために、ranc: a reconfigurable architecture for neuromorphic computing(ニューロモルフィックコンピューティングのための再構成可能なアーキテクチャ、c++シミュレーションとfpgaエミュレーションによるハードウェアによる両方のソフトウェアにおけるニューロモルフィックアーキテクチャの迅速な実験を可能にする、オープンソースで柔軟なエコシステム)を紹介します。
我々は,IBMのTrueNorthの挙動を再現し,IBMのCompassシミュレーション環境や出版文献と直接比較して検証し,RANCエコシステムの有用性を示す。
RANCは、アプリケーションの洞察に基づくアーキテクチャの最適化と、アプリケーションの新しいクラスを完全にサポートできる将来のニューロモルフィックアーキテクチャのプロトタイプを可能にする。
本稿では,Alveo U250 FPGA を用いた定量的解析によるアプリケーションマッピング効率の向上に対するアーキテクチャ変更の影響について検討し,RANC のパラメータ化と構成性について述べる。
本稿では、合成開口レーダ分類とベクトル行列乗算の応用によるルーティングリソースの利用状況とスループット分析を行い、259Kの異なるニューロンと73.3Mの異なるシナプスをエミュレートするニューロモルフィックアーキテクチャを実証する。 Neuromorphic architectures have been introduced as platforms for energy efficient spiking neural network execution. The massive parallelism offered by these architectures has also triggered interest from non-machine learning application domains. In order to lift the barriers to entry for hardware designers and application developers we present RANC: a Reconfigurable Architecture for Neuromorphic Computing, an open-source highly flexible ecosystem that enables rapid experimentation with neuromorphic architectures in both software via C++ simulation and hardware via FPGA emulation. We present the utility of the RANC ecosystem by showing its ability to recreate behavior of the IBM's TrueNorth and validate with direct comparison to IBM's Compass simulation environment and published literature. RANC allows optimizing architectures based on application insights as well as prototyping future neuromorphic architectures that can support new classes of applications entirely. We demonstrate the highly parameterized and configurable nature of RANC by studying the impact of architectural changes on improving application mapping efficiency with quantitative analysis based on Alveo U250 FPGA. We present post routing resource usage and throughput analysis across implementations of Synthetic Aperture Radar classification and Vector Matrix Multiplication applications, and demonstrate a neuromorphic architecture that scales to emulating 259K distinct neurons and 73.3M distinct synapses. | 翻訳日:2022-09-30 23:30:03 公開日:2020-11-01 |
| # 多項式軌道パラメタライゼーションを用いた時間連続確率予測 Temporally-Continuous Probabilistic Prediction using Polynomial Trajectory Parameterization ( http://arxiv.org/abs/2011.00399v1 ) ライセンス: Link先を確認 | Zhaoen Su, Chao Wang, Henggang Cui, Nemanja Djuric, Carlos Vallespi-Gonzalez, David Bradley | (参考訳) アクタの動き予測のための一般的な表現は、各アクタの個々の将来の時点における経路点(位置と向き)の列である。
このアプローチは単純で柔軟であるが、中間時間ステップで非現実的な高次微分(加速など)や近似誤差を示すことができる。
この問題に対処するために,多項式軌道パラメタライゼーションに基づく時間的連続確率的軌道予測のためのシンプルで一般的な表現を提案する。
2つの大規模自動運転データセットを用いて、教師付き軌道予測タスクにおける提案した表現を評価する。
その結果, トラジェクタ上の推定雑音分布の利点に加え, 補間時間における現実的な高次導関数と精度の向上が示された。
既存の最先端モデルに基づく広範な実験研究は、車、自転車、歩行者の交通機関の将来の動きを予測する際に、他の表現に対する提案手法の有効性を示している。 A commonly-used representation for motion prediction of actors is a sequence of waypoints (comprising positions and orientations) for each actor at discrete future time-points. While this approach is simple and flexible, it can exhibit unrealistic higher-order derivatives (such as acceleration) and approximation errors at intermediate time steps. To address this issue we propose a simple and general representation for temporally continuous probabilistic trajectory prediction that is based on polynomial trajectory parameterization. We evaluate the proposed representation on supervised trajectory prediction tasks using two large self-driving data sets. The results show realistic higher-order derivatives and better accuracy at interpolated time-points, as well as the benefits of the inferred noise distributions over the trajectories. Extensive experimental studies based on existing state-of-the-art models demonstrate the effectiveness of the proposed approach relative to other representations in predicting the future motions of vehicle, bicyclist, and pedestrian traffic actors. | 翻訳日:2022-09-30 23:29:16 公開日:2020-11-01 |
| # トランジッションベースとシーケンスラベリング解析の統一理論 A Unifying Theory of Transition-based and Sequence Labeling Parsing ( http://arxiv.org/abs/2011.00584v1 ) ライセンス: Link先を確認 | Carlos G\'omez-Rodr\'iguez, Michalina Strzyz, David Vilares | (参考訳) 文を左から右へ読み取る遷移解析アルゴリズムから,構文木のシーケンスラベリング符号化へのマッピングを定義する。
これはトランジッションベース解析とシーケンスラベル解析の間の理論的関係を確立するだけでなく、既存の多くのトランジッションベースのパーサーから高速で単純なシーケンスラベリング解析のための新しいエンコーディングを得る方法を提供する。
依存関係解析に適用することにより、4つのアルゴリズムのシーケンスラベルバージョンを実装し、学習可能であり、既存のエンコーディングと同等のパフォーマンスが得られることを示す。 We define a mapping from transition-based parsing algorithms that read sentences from left to right to sequence labeling encodings of syntactic trees. This not only establishes a theoretical relation between transition-based parsing and sequence-labeling parsing, but also provides a method to obtain new encodings for fast and simple sequence labeling parsing from the many existing transition-based parsers for different formalisms. Applying it to dependency parsing, we implement sequence labeling versions of four algorithms, showing that they are learnable and obtain comparable performance to existing encodings. | 翻訳日:2022-09-30 23:28:06 公開日:2020-11-01 |
| # 局所依存に基づく音声表現学習のための非自己回帰予測符号化 Non-Autoregressive Predictive Coding for Learning Speech Representations from Local Dependencies ( http://arxiv.org/abs/2011.00406v1 ) ライセンス: Link先を確認 | Alexander H. Liu, Yu-An Chung, James Glass | (参考訳) 自己教師付き音声表現は様々な音声応用に有効であることが示されている。
しかし,既存の表現学習手法は,表現を生成する際に,自己回帰モデルやグローバルな依存関係に依存することが多い。
本研究では,非自己回帰予測符号化(NPC)を提案し,音声の局所的依存にのみ依存して非自己回帰的表現を学習する。
npcは概念的に単純な目的を持ち、導入されたマスク畳み込みブロックで容易に実装できる。
npcは時間的に並列化可能であり、入力シーケンスの長さに関係なくステップごとに固定された推論時間を持つため、推論の大幅なスピードアップを提供する。
理論上, 実験的に他の手法と比較することで, NPCの有効性を議論し, 検証する。
また,NPC表現は音声や話者の分類における他の手法と同等であり,より効率的であることを示す。 Self-supervised speech representations have been shown to be effective in a variety of speech applications. However, existing representation learning methods generally rely on the autoregressive model and/or observed global dependencies while generating the representation. In this work, we propose Non-Autoregressive Predictive Coding (NPC), a self-supervised method, to learn a speech representation in a non-autoregressive manner by relying only on local dependencies of speech. NPC has a conceptually simple objective and can be implemented easily with the introduced Masked Convolution Blocks. NPC offers a significant speedup for inference since it is parallelizable in time and has a fixed inference time for each time step regardless of the input sequence length. We discuss and verify the effectiveness of NPC by theoretically and empirically comparing it with other methods. We show that the NPC representation is comparable to other methods in speech experiments on phonetic and speaker classification while being more efficient. | 翻訳日:2022-09-30 23:21:34 公開日:2020-11-01 |
| # 偽物か本物か?
アラビア語風刺的偽ニュースの研究 Fake or Real? A Study of Arabic Satirical Fake News ( http://arxiv.org/abs/2011.00452v1 ) ライセンス: Link先を確認 | Hadeel Saadany and Emad Mohamed and Constantin Orasan | (参考訳) 非常に一般的なフェイクニュースの1つが風刺であり、これはニュースウェブサイトや、信頼できる本物のニュース代理店をパロディして、皮肉なバージョンの現実を創り出すオンラインプラットフォームである。
この種の偽ニュースは、直接のメッセージよりも批判の伝達に強い効果があるため、オンラインプラットフォーム上で個人によって広められることが多い。
しかし、その風刺文が情報源に言及せずにソーシャルメディアで拡散される場合、本当のニュースと間違えることがある。
本研究は,アラビア語の偽ニュースの言語的特徴を風刺的内容で識別するために,いくつかの探索的分析を行う。
これらの機能を利用して、風刺的なフェイクニュースを最大98.6%の精度で識別できる機械学習モデルを構築した。 One very common type of fake news is satire which comes in a form of a news website or an online platform that parodies reputable real news agencies to create a sarcastic version of reality. This type of fake news is often disseminated by individuals on their online platforms as it has a much stronger effect in delivering criticism than through a straightforward message. However, when the satirical text is disseminated via social media without mention of its source, it can be mistaken for real news. This study conducts several exploratory analyses to identify the linguistic properties of Arabic fake news with satirical content. We exploit these features to build a number of machine learning models capable of identifying satirical fake news with an accuracy of up to 98.6%. | 翻訳日:2022-09-30 23:21:21 公開日:2020-11-01 |
| # 森林と樹木の双方を観察する:多面的注意 : 構成レベルの違いによる共同分類 Seeing Both the Forest and the Trees: Multi-head Attention for Joint Classification on Different Compositional Levels ( http://arxiv.org/abs/2011.00470v1 ) ライセンス: Link先を確認 | Miruna Pislar and Marek Rei | (参考訳) 自然言語では、単語は関連づけて文を構成する。
独立した言葉ではなく、文全体の意味を伝える階層構造の適切な組み合わせである。
ニューラルネットワークは表現力のある言語の特徴を捉えることができるが、単語と文のリンクに対する洞察は自動獲得が難しい。
本研究では,低次言語的要素と高次言語的要素を明示的に関連付けるディープニューラルネットワークアーキテクチャを設計し,異なる階層レベルで同じタスクを実行する能力を評価する。
広義のテキスト分類タスクに落ち着くことで,我々のモデルであるmhalは階層間の知識を流動的に伝達することによって,異なる粒度で同時に解くことを学ぶ。
単文と全文の表現を結びつけるマルチヘッドアテンション機構を用いることで、mhalは構成表現の開発にインセンティブを与えない等価モデルを体系的に上回っている。
さらに,提案するアーキテクチャでは,文情報は個々の単語に自然に流れるので,ゼロショット方式で,単語の監督がなくても,モデルがシーケンスラベラーのように振る舞うことができることを示す。 In natural languages, words are used in association to construct sentences. It is not words in isolation, but the appropriate combination of hierarchical structures that conveys the meaning of the whole sentence. Neural networks can capture expressive language features; however, insights into the link between words and sentences are difficult to acquire automatically. In this work, we design a deep neural network architecture that explicitly wires lower and higher linguistic components; we then evaluate its ability to perform the same task at different hierarchical levels. Settling on broad text classification tasks, we show that our model, MHAL, learns to simultaneously solve them at different levels of granularity by fluidly transferring knowledge between hierarchies. Using a multi-head attention mechanism to tie the representations between single words and full sentences, MHAL systematically outperforms equivalent models that are not incentivized towards developing compositional representations. Moreover, we demonstrate that, with the proposed architecture, the sentence information flows naturally to individual words, allowing the model to behave like a sequence labeller (which is a lower, word-level task) even without any word supervision, in a zero-shot fashion. | 翻訳日:2022-09-30 23:21:06 公開日:2020-11-01 |
| # アスペクト指向の意見語抽出と感情分類を共同で改善する意見伝達ネットワーク Opinion Transmission Network for Jointly Improving Aspect-oriented Opinion Words Extraction and Sentiment Classification ( http://arxiv.org/abs/2011.00474v1 ) ライセンス: Link先を確認 | Chengcan Ying and Zhen Wu and Xinyu Dai and Shujian Huang and Jiajun Chen | (参考訳) アスペクトレベル感情分類(ALSC)とアスペクト指向意見単語抽出(AOWE)は、アスペクトベース感情分析(ABSA)の2つのサブタスクである。
それぞれ、感情極性を検出し、対応する意見語を文中の所定の側面に向けて抽出することを目的としている。
これまでの作業では、ニューラルネットワークを小さなラベル付きデータでトレーニングし、それらの接続を無視しながら、それらのうちの1つに集中していた。
本稿では,ALSC と AOWE の橋梁を有効利用し,それらを同時に実現するための新しいジョイントモデル Opinion Transmission Network (OTN) を提案する。
具体的には、ALSCからAOWEへ、ALSCからAOWEへ、それぞれ双方向に意見手がかりを流すための2つのテーラーメイドの意見伝達機構を設計する。
2つのベンチマークデータセットの実験結果から、我々のジョイントモデルは2つのタスクにおいて強いベースラインを上回ります。
さらに分析は意見伝達機構の有効性も検証する。 Aspect-level sentiment classification (ALSC) and aspect oriented opinion words extraction (AOWE) are two highly relevant aspect-based sentiment analysis (ABSA) subtasks. They respectively aim to detect the sentiment polarity and extract the corresponding opinion words toward a given aspect in a sentence. Previous works separate them and focus on one of them by training neural models on small-scale labeled data, while neglecting the connections between them. In this paper, we propose a novel joint model, Opinion Transmission Network (OTN), to exploit the potential bridge between ALSC and AOWE to achieve the goal of facilitating them simultaneously. Specifically, we design two tailor-made opinion transmission mechanisms to control opinion clues flow bidirectionally, respectively from ALSC to AOWE and AOWE to ALSC. Experiment results on two benchmark datasets show that our joint model outperforms strong baselines on the two tasks. Further analysis also validates the effectiveness of opinion transmission mechanisms. | 翻訳日:2022-09-30 23:20:47 公開日:2020-11-01 |
| # マルチスペクトルマルチセンス解析のためのトランスベースマルチスペクトルモデリング Transformer-based Multi-Aspect Modeling for Multi-Aspect Multi-Sentiment Analysis ( http://arxiv.org/abs/2011.00476v1 ) ライセンス: Link先を確認 | Zhen Wu and Chengcan Ying and Xinyu Dai and Shujian Huang and Jiajun Chen | (参考訳) アスペクトベースの感情分析(ABSA)は、文中の特定の側面の感情を分析することを目的としている。
近年、ニューラルネットワークに基づく手法は既存のABSAデータセットで有望な結果を得た。
しかし、これらのデータセットは、ほとんどの文が同じ感情極性を持つ1つの側面または複数の側面しか含まないため、文レベルの感情分析に縮退する傾向がある。
ABSAの研究を容易にするため、NLPCC 2020 Shared Task 2は新しい大規模マルチアスペクトマルチセンサー(MAMS)データセットをリリースしている。
MAMSデータセットでは、各文は、感情極性が異なる少なくとも2つの異なる側面を含むため、ABSAはより複雑で困難である。
この課題に対処するため,ABSAをマルチアスペクト感情分析の課題として再フォーマットし,複数の側面間の潜在的な関係を抽出し,文中のすべての側面の感情を同時に検出するトランスフォーマーベースのマルチアスペクトモデリングスキーム(TMM)を提案する。
MAMSデータセットを用いた実験結果から,BERTやRoBERTaなどの強力なベースラインと比較して顕著な改善が得られ,最終的にNLPCC 2020 Shared Task 2 Evaluationの2位にランクインした。 Aspect-based sentiment analysis (ABSA) aims at analyzing the sentiment of a given aspect in a sentence. Recently, neural network-based methods have achieved promising results in existing ABSA datasets. However, these datasets tend to degenerate to sentence-level sentiment analysis because most sentences contain only one aspect or multiple aspects with the same sentiment polarity. To facilitate the research of ABSA, NLPCC 2020 Shared Task 2 releases a new large-scale Multi-Aspect Multi-Sentiment (MAMS) dataset. In the MAMS dataset, each sentence contains at least two different aspects with different sentiment polarities, which makes ABSA more complex and challenging. To address the challenging dataset, we re-formalize ABSA as a problem of multi-aspect sentiment analysis, and propose a novel Transformer-based Multi-aspect Modeling scheme (TMM), which can capture potential relations between multiple aspects and simultaneously detect the sentiment of all aspects in a sentence. Experiment results on the MAMS dataset show that our method achieves noticeable improvements compared with strong baselines such as BERT and RoBERTa, and finally ranks the 2nd in NLPCC 2020 Shared Task 2 Evaluation. | 翻訳日:2022-09-30 23:20:31 公開日:2020-11-01 |
| # CHIME: 世代別質問応答のためのクロスパス階層型メモリネットワーク CHIME: Cross-passage Hierarchical Memory Network for Generative Review Question Answering ( http://arxiv.org/abs/2011.00519v1 ) ライセンス: Link先を確認 | Junru Lu, Gabriele Pergola, Lin Gui, Binyang Li, Yulan He | (参考訳) テキスト生成による質問応答(QA)のためのクロスパス階層型メモリネットワークCHIMEを紹介する。
XLNetは、クロスパスエビデンスを収集するコンテキストメモリと、バッファとして動作する応答メモリという、2つのコンポーネントからなる補助メモリモジュールを導入している。
提案手法の有効性を実証的に示し,AmazonQAレビューデータセットの課題に対処する上で,より構文的に良好な回答と精度の向上により,最先端のベースラインよりも優れていることを示す。
追加の定性解析により、メモリモジュールによって導入された解釈可能性が明らかになった。 We introduce CHIME, a cross-passage hierarchical memory network for question answering (QA) via text generation. It extends XLNet introducing an auxiliary memory module consisting of two components: the context memory collecting cross-passage evidences, and the answer memory working as a buffer continually refining the generated answers. Empirically, we show the efficacy of the proposed architecture in the multi-passage generative QA, outperforming the state-of-the-art baselines with better syntactically well-formed answers and increased precision in addressing the questions of the AmazonQA review dataset. An additional qualitative analysis revealed the interpretability introduced by the memory module. | 翻訳日:2022-09-30 23:20:08 公開日:2020-11-01 |
| # セマンティック座標解析がAI分野における言語変化を明らかに Semantic coordinates analysis reveals language changes in the AI field ( http://arxiv.org/abs/2011.00543v1 ) ライセンス: Link先を確認 | Zining Zhu, Yang Xu, Frank Rudzicz | (参考訳) 意味的変化は数百年にわたる信念の変化を反映しているが、短時間で変化するコミュニティの傾向が検出できるかどうかは明確ではない。
本稿では,意味的シフトに基づく意味的座標解析を提案する。この手法は,分野の出版物における言語の変化(AIを例に)を短時間で明らかにする。
複数の視点から移動方向と範囲を定量化するためにGloVe型確率比を用いる。
セマンティックコーディネート分析は、研究関心の変化を反映した変化(例えば「深み」が「厳密」から「神経」に移行した)を検出し、研究活動の進展(例えば「協力」は「協力」よりも「競争」が少ない)を10年間に及ぶ出版物に基づいて検出できることを示す。 Semantic shifts can reflect changes in beliefs across hundreds of years, but it is less clear whether trends in fast-changing communities across a short time can be detected. We propose semantic coordinates analysis, a method based on semantic shifts, that reveals changes in language within publications of a field (we use AI as example) across a short time span. We use GloVe-style probability ratios to quantify the shifting directions and extents from multiple viewpoints. We show that semantic coordinates analysis can detect shifts echoing changes of research interests (e.g., "deep" shifted further from "rigorous" to "neural"), and developments of research activities (e,g., "collaboration" contains less "competition" than "collaboration"), based on publications spanning as short as 10 years. | 翻訳日:2022-09-30 23:19:58 公開日:2020-11-01 |
| # smrtチャットボット:マルチリファレンストレーニングによる非タスク指向ダイアログの改善 SMRT Chatbots: Improving Non-Task-Oriented Dialog with Simulated Multiple Reference Training ( http://arxiv.org/abs/2011.00547v1 ) ライセンス: Link先を確認 | Huda Khayrallah, Jo\~ao Sedoc | (参考訳) 非タスク指向のダイアログモデルは品質の低下と非分散応答に苦しむ。
限られた会話データに対処するため,Simulated Multiple Reference Training (SMRT; Khayrallah et al., 2020) を適用し,パラフレーズを用いてトレーニングプロンプト毎に複数の応答をシミュレートする。
SMRTは,人間と自動品質スコアと語彙の多様性によって,強力なトランスフォーマーベースラインよりも改善されている。
また、SMRTは人間の評価品質の事前訓練に匹敵し、関連ドメインのダイアログデータを必要としない自動品質と語彙の多様性の事前訓練に優れていた。 Non-task-oriented dialog models suffer from poor quality and non-diverse responses. To overcome limited conversational data, we apply Simulated Multiple Reference Training (SMRT; Khayrallah et al., 2020), and use a paraphraser to simulate multiple responses per training prompt. We find SMRT improves over a strong Transformer baseline as measured by human and automatic quality scores and lexical diversity. We also find SMRT is comparable to pretraining in human evaluation quality, and outperforms pretraining on automatic quality and lexical diversity, without requiring related-domain dialog data. | 翻訳日:2022-09-30 23:19:40 公開日:2020-11-01 |
| # タスク指向対話システムにおけるスロット充填と意図分類に関する最近のニューラル手法-- Recent Neural Methods on Slot Filling and Intent Classification for Task-Oriented Dialogue Systems: A Survey ( http://arxiv.org/abs/2011.00564v1 ) ライセンス: Link先を確認 | Samuel Louvan and Bernardo Magnini | (参考訳) 近年,深層学習技術と対話型AIの高需要により,タスク指向対話システムにおけるユーザニーズを抽出し理解する能力に対処する様々なアプローチが提案されている。
我々は,スロット充填(sf)とインテント分類(ic)の2つのタスクに注目し,対話システムにおける自然言語理解に対応するために,ニューラルネットワークモデルがどのように急速に進化してきたかを調査した。
3つのニューラルアーキテクチャを導入する。sfとicを別々にモデル化する独立モデル、2つのタスクの相互利益を同時に活用するジョイントモデルと、モデルを新しいドメインにスケールする学習モデルを転送する学習モデルである。
SFおよびICにおける研究の現状について論じ,まだ注意を要する課題を強調した。 In recent years, fostered by deep learning technologies and by the high demand for conversational AI, various approaches have been proposed that address the capacity to elicit and understand user's needs in task-oriented dialogue systems. We focus on two core tasks, slot filling (SF) and intent classification (IC), and survey how neural-based models have rapidly evolved to address natural language understanding in dialogue systems. We introduce three neural architectures: independent model, which model SF and IC separately, joint models, which exploit the mutual benefit of the two tasks simultaneously, and transfer learning models, that scale the model to new domains. We discuss the current state of the research in SF and IC and highlight challenges that still require attention. | 翻訳日:2022-09-30 23:19:27 公開日:2020-11-01 |
| # Vec2Sent: 自然言語生成による文埋め込みの検証 Vec2Sent: Probing Sentence Embeddings with Natural Language Generation ( http://arxiv.org/abs/2011.00592v1 ) ライセンス: Link先を確認 | Martin Kerscher and Steffen Eger | (参考訳) 我々は,下位の離散文の検索を目的とした条件付き生成により,ブラックボックス文埋め込みをイントロスペクションする。
我々はこれを新しい教師なし探索タスクとして認識し、下流タスクのパフォーマンスとよく相関していることを示す。
また、異なるエンコーダから生成された言語の違いについても説明する。
文埋め込みから文類似を生成するために,本手法を適用した。 We introspect black-box sentence embeddings by conditionally generating from them with the objective to retrieve the underlying discrete sentence. We perceive of this as a new unsupervised probing task and show that it correlates well with downstream task performance. We also illustrate how the language generated from different encoders differs. We apply our approach to generate sentence analogies from sentence embeddings. | 翻訳日:2022-09-30 23:19:13 公開日:2020-11-01 |
| # 確率的制御の課題としての感染症のスクリーニング Screening for an Infectious Disease as a Problem in Stochastic Control ( http://arxiv.org/abs/2011.00635v1 ) ライセンス: Link先を確認 | Jakub Marecek | (参考訳) 近年,感染症のスクリーニングに多くの関心が寄せられている。
本稿では,最適なスクリーニング方針を見出すのが困難である確率制御モデルを提案する。しかし,トンプソンサンプリングはベイズ後悔の形で最適性能を保証する。
トンプソンサンプリングは特に病気に当てはまるようで、スーパースプレッドのCOVID-19など、ダイナミクスをよく理解していない。 There has been much recent interest in screening populations for an infectious disease. Here, we present a stochastic-control model, wherein the optimum screening policy is provably difficult to find, but wherein Thompson sampling has provably optimal performance guarantees in the form of Bayesian regret. Thompson sampling seems applicable especially to diseases, for which we do not understand the dynamics well, such as to the super-spreading COVID-19. | 翻訳日:2022-09-30 23:13:10 公開日:2020-11-01 |
| # 直交斜め木を用いた因果DAGのアクティブ構造学習 Active Structure Learning of Causal DAGs via Directed Clique Tree ( http://arxiv.org/abs/2011.00641v1 ) ライセンス: Link先を確認 | Chandler Squires, Sara Magliacane, Kristjan Greenewald, Dmitriy Katz, Murat Kocaoglu, Karthikeyan Shanmugam | (参考訳) 因果有向非巡回グラフ(DAG)の効率的な構造学習のための介入設計について研究が進められている。
典型的な設定は因果的に十分な設定であり、すなわち、観測同値クラス(ec)の本質グラフが入力として与えられ、介入が無ノイズであると仮定された場合、潜在共起者、選択バイアス、フィードバックのないシステムである。
既存の作業の多くは、DAGを指向するために必要な介入の数に対して、最悪のケースや平均ケースの低いバウンダリに重点を置いています。
これらの最悪の下界は、本質グラフの最大の傾きが真のDAGを学ぶのを困難にしていることを証明しているだけである。
本研究では,最大クランクが常に構造学習の基本的な障害であることを示す,単一ノード介入のための普遍的な下限を開発する。
具体的には、DAGを向き付けられた斜め木を通して独立に向き付け可能な成分に分解し、それを用いて、EC内の任意のDAGを向き付けるのに必要な単一ノード介入の数が、本命グラフの各チェーン成分の最大傾きの少なくとも半分であることを示す。
さらに, 弦骨格上の特定の条件下では, 最大クランク数における乗法対数係数まで, 最適な介入数に一致する二相干渉設計アルゴリズムを提案する。
合成実験により、我々のアルゴリズムは関連するほとんどの作業よりもはるかに大きなグラフにスケールでき、他の拡張性のあるアプローチよりも最悪のパフォーマンスが得られることを示す。
これらの結果を再現するコードベースはhttps://github.com/csquires/dct-policyにある。 A growing body of work has begun to study intervention design for efficient structure learning of causal directed acyclic graphs (DAGs). A typical setting is a causally sufficient setting, i.e. a system with no latent confounders, selection bias, or feedback, when the essential graph of the observational equivalence class (EC) is given as an input and interventions are assumed to be noiseless. Most existing works focus on worst-case or average-case lower bounds for the number of interventions required to orient a DAG. These worst-case lower bounds only establish that the largest clique in the essential graph could make it difficult to learn the true DAG. In this work, we develop a universal lower bound for single-node interventions that establishes that the largest clique is always a fundamental impediment to structure learning. Specifically, we present a decomposition of a DAG into independently orientable components through directed clique trees and use it to prove that the number of single-node interventions necessary to orient any DAG in an EC is at least the sum of half the size of the largest cliques in each chain component of the essential graph. Moreover, we present a two-phase intervention design algorithm that, under certain conditions on the chordal skeleton, matches the optimal number of interventions up to a multiplicative logarithmic factor in the number of maximal cliques. We show via synthetic experiments that our algorithm can scale to much larger graphs than most of the related work and achieves better worst-case performance than other scalable approaches. A code base to recreate these results can be found at https://github.com/csquires/dct-policy | 翻訳日:2022-09-30 23:13:02 公開日:2020-11-01 |
| # 低用量CT再構成のための2層クラスタリングに基づくスペーシング変換学習 Two-layer clustering-based sparsifying transform learning for low-dose CT reconstruction ( http://arxiv.org/abs/2011.00428v1 ) ライセンス: Link先を確認 | Xikai Yang, Yong Long, Saiprasad Ravishankar | (参考訳) 低用量CT(LDCT)測定による高品質な再構成は,臨床現場では極めて重要である。
モデルベース画像再構成法はLDCTのアーティファクトの除去に有効であることが証明されている。
本研究では、画像パッチとそれに続く特徴マップ(フィルタ残基)を、グループごとに異なる学習スペーシングフィルタを持つグループにクラスタ化する、リッチな2層クラスタリングに基づくスペーシング変換モデル(MCST2)の学習手法を提案する。
学習MCST2を取り入れたLDCT再建のためのPWLS法について検討した。
実験の結果,PWLS-MCST2法では他の手法と比較して優れた性能を示した。 Achieving high-quality reconstructions from low-dose computed tomography (LDCT) measurements is of much importance in clinical settings. Model-based image reconstruction methods have been proven to be effective in removing artifacts in LDCT. In this work, we propose an approach to learn a rich two-layer clustering-based sparsifying transform model (MCST2), where image patches and their subsequent feature maps (filter residuals) are clustered into groups with different learned sparsifying filters per group. We investigate a penalized weighted least squares (PWLS) approach for LDCT reconstruction incorporating learned MCST2 priors. Experimental results show the superior performance of the proposed PWLS-MCST2 approach compared to other related recent schemes. | 翻訳日:2022-09-30 23:12:04 公開日:2020-11-01 |
| # 隣人を信用するな!
自己監督型シーンフロー推定のための対数距離学習 Do not trust the neighbors! Adversarial Metric Learning for Self-Supervised Scene Flow Estimation ( http://arxiv.org/abs/2011.07945v1 ) ライセンス: Link先を確認 | Victor Zuanazzi | (参考訳) シーンフローは動的3次元シーンの個々の点に3次元運動ベクトルを推定するタスクである。
動作ベクトルは、アクション分類や衝突回避といった下流タスクに有益であることが示されている。
しかし、LiDARセンサーやステレオカメラを通じて収集されたデータは計算と労働集約的であり、シーンフローに正確にアノテートする。
このアノテーションのボトルネックを両端で解決する。
本研究では,3次元シーンフローベンチマークと,新しい自己教師あり設定を提案する。
ベンチマークは、フロー推定の個々の側面を、単一のオブジェクトの動きから現実世界のシーンまで、複雑さの順に調査するために設計されたデータセットで構成されている。
さらに,自己教師付きフロー推定のためのAdversarial Metric Learningを導入する。
フローモデルは点雲の列で供給され、フロー推定を行う。
第2のモデルは、フロー推定によって翻訳されたポイントとターゲットポイントクラウドとを区別するために潜在メトリックを学習する。
この潜在メトリックは、中間特徴ベクトルを用いて損失計算を行うマルチスケールトリプルト損失によって学習される。
提案したベンチマークを使用して、セットアップを使用してトレーニングした際のベースラインと異なるモデルのパフォーマンスに関する洞察を引き出します。
我々は,移動コヒーレンスを保ち,多くの自監督ベースラインが把握できない局所的なジオメトリーを維持できることを発見した。
一方、オクルージョンで対処することは、まだオープンな課題である。 Scene flow is the task of estimating 3D motion vectors to individual points of a dynamic 3D scene. Motion vectors have shown to be beneficial for downstream tasks such as action classification and collision avoidance. However, data collected via LiDAR sensors and stereo cameras are computation and labor intensive to precisely annotate for scene flow. We address this annotation bottleneck on two ends. We propose a 3D scene flow benchmark and a novel self-supervised setup for training flow models. The benchmark consists of datasets designed to study individual aspects of flow estimation in progressive order of complexity, from a single object in motion to real-world scenes. Furthermore, we introduce Adversarial Metric Learning for self-supervised flow estimation. The flow model is fed with sequences of point clouds to perform flow estimation. A second model learns a latent metric to distinguish between the points translated by the flow estimations and the target point cloud. This latent metric is learned via a Multi-Scale Triplet loss, which uses intermediary feature vectors for the loss calculation. We use our proposed benchmark to draw insights about the performance of the baselines and of different models when trained using our setup. We find that our setup is able to keep motion coherence and preserve local geometries, which many self-supervised baselines fail to grasp. Dealing with occlusions, on the other hand, is still an open challenge. | 翻訳日:2022-09-30 23:11:29 公開日:2020-11-01 |
| # トポロジーに基づくマルチセンターサイクロンの特徴設計と追跡 Topology-Based Feature Design and Tracking for Multi-Center Cyclones ( http://arxiv.org/abs/2011.08676v1 ) ライセンス: Link先を確認 | Wito Engelke, Talha Bin Masood, Jakob Beran, Rodrigo Caballero and Ingrid Hotz | (参考訳) 本稿では,臨界点の集合として表現されるアプリケーション固有の特徴定義を設計,追跡,比較する概念を提案する。
私たちの研究は、多くのアプリケーションで同じ概念のためにさまざまな機能定義が使われているという観察から着想を得ています。
これらの定義は互いに競合することが多く、どの文脈でどの定義を使うべきかは不明である。
顕著な例は、気候研究におけるサイクロンの定義である。
違いにもかかわらず、これらの特徴定義はしばしば位相的概念と関連付けられる。
提案手法では,すべての極端点と時間対応情報を格納する事前計算された追跡グラフに基づいて,対話的特徴定義と比較をサポートするサイクロン追跡フレームワークを提供する。
このフレームワークは、クリティカルポイント抽出、クリティカルポイント追跡、機能定義、トラック探索といった独立したビルディングブロックを組み合わせる。
このようなアプローチの大きな利点の1つは、柔軟性、すなわち各ブロックが交換可能であることである。
さらに、機能定義をインタラクティブに保ちながら、最も高価な分析、フルトラッキンググラフの構築を前提としたステップとして実行することも可能です。
異なる特徴定義は、この追跡グラフに基づいてインタラクティブに探索および比較することができる。
機能はクリティカルポイントをグループ化するルールによって指定されるが、機能トラッキングは特定のリクエストによる完全なトラッキンググラフのフィルタリングとクエリに対応する。
本研究では,気候研究の文脈でサイクロンの同定と追跡を行う方法を示す。 In this paper, we propose a concept to design, track, and compare application-specific feature definitions expressed as sets of critical points. Our work has been inspired by the observation that in many applications a large variety of different feature definitions for the same concept are used. Often, these definitions compete with each other and it is unclear which definition should be used in which context. A prominent example is the definition of cyclones in climate research. Despite the differences, frequently these feature definitions can be related to topological concepts. In our approach, we provide a cyclone tracking framework that supports interactive feature definition and comparison based on a precomputed tracking graph that stores all extremal points as well as their temporal correspondents. The framework combines a set of independent building blocks: critical point extraction, critical point tracking, feature definition, and track exploration. One of the major advantages of such an approach is the flexibility it provides, that is, each block is exchangeable. Moreover, it also enables us to perform the most expensive analysis, the construction of a full tracking graph, as a prepossessing step, while keeping the feature definition interactive. Different feature definitions can be explored and compared interactively based on this tracking graph. Features are specified by rules for grouping critical points, while feature tracking corresponds to filtering and querying the full tracking graph by specific requests. We demonstrate this method for cyclone identification and tracking in the context of climate research. | 翻訳日:2022-09-30 23:11:07 公開日:2020-11-01 |
| # Be More with Less: インダクティブテキスト分類のためのハイパーグラフ注意ネットワーク Be More with Less: Hypergraph Attention Networks for Inductive Text Classification ( http://arxiv.org/abs/2011.00387v1 ) ライセンス: Link先を確認 | Kaize Ding, Jianling Wang, Jundong Li, Dingcheng Li, Huan Liu | (参考訳) テキスト分類は自然言語処理に広く応用される重要な研究テーマである。
近年,グラフニューラルネットワーク (GNN) が研究コミュニティで注目され,この標準課題における有望な成果を実証している。
成功にもかかわらず、そのパフォーマンスは、(1)単語間の高次相互作用をキャプチャできないこと、(2)大きなデータセットと新しいドキュメントを扱うのが効率的でないこと、など、現実的に大きく損なわれる可能性がある。
本稿では,これらの問題に対処するために,テキスト表現学習のための計算量が少なく,より表現力に富むハイパーグラフアテンションネットワーク(hypergat)を提案する。
各種ベンチマークデータセットに対する大規模な実験により,テキスト分類作業における提案手法の有効性が示された。 Text classification is a critical research topic with broad applications in natural language processing. Recently, graph neural networks (GNNs) have received increasing attention in the research community and demonstrated their promising results on this canonical task. Despite the success, their performance could be largely jeopardized in practice since they are: (1) unable to capture high-order interaction between words; (2) inefficient to handle large datasets and new documents. To address those issues, in this paper, we propose a principled model -- hypergraph attention networks (HyperGAT), which can obtain more expressive power with less computational consumption for text representation learning. Extensive experiments on various benchmark datasets demonstrate the efficacy of the proposed approach on the text classification task. | 翻訳日:2022-09-30 23:10:45 公開日:2020-11-01 |
| # 修正微調整機構に基づく医療関係抽出におけるBERTモデルの検討 Investigation of BERT Model on Biomedical Relation Extraction Based on Revised Fine-tuning Mechanism ( http://arxiv.org/abs/2011.00398v1 ) ライセンス: Link先を確認 | Peng Su, K. Vijay-Shanker | (参考訳) バイオメディカル文学の爆発的成長に伴い、バイオメディカル研究において、文献から情報を抽出する自動ツールが重要である。
近年,バイオメディカル領域に適応した変換器を用いたBERTモデルが主要な成果を上げている。
しかし、関係分類のための既存のBERTモデルは、最終層からの部分的知識のみを利用する。
本稿では,BERTモデルの微調整過程における層全体の利用方法について検討する。
私たちの知る限りでは、私たちはこの手法を最初に探求しています。
実験の結果,提案手法はBERTモデルの性能を向上し,関係抽出タスクの異なる3つのベンチマークデータセット上で最先端の手法よりも優れていた。
さらに解析により,BERTモデルの最後の層から関係性に関する重要な知識を学習できることが示唆された。 With the explosive growth of biomedical literature, designing automatic tools to extract information from the literature has great significance in biomedical research. Recently, transformer-based BERT models adapted to the biomedical domain have produced leading results. However, all the existing BERT models for relation classification only utilize partial knowledge from the last layer. In this paper, we will investigate the method of utilizing the entire layer in the fine-tuning process of BERT model. To the best of our knowledge, we are the first to explore this method. The experimental results illustrate that our method improves the BERT model performance and outperforms the state-of-the-art methods on three benchmark datasets for different relation extraction tasks. In addition, further analysis indicates that the key knowledge about the relations can be learned from the last layer of BERT model. | 翻訳日:2022-09-30 23:10:33 公開日:2020-11-01 |
| # ニューロモルフィックプロセッサを用いたワンショットフェデレーション学習 One-Shot Federated Learning with Neuromorphic Processors ( http://arxiv.org/abs/2011.01813v1 ) ライセンス: Link先を確認 | Kenneth Stewart and Yanqi Gu | (参考訳) 非常に低消費電力であるため、モバイルデバイスにおけるニューロモーフィックプロセッサを使用して機械学習問題を解決することは、従来のvon neumannプロセッサに代わる有望な選択肢である。
Federated Learningは、モバイルデバイスなどのエンティティが、トレーニングデータをローカルに保ちながら、共有モデルを共同で学習することを可能にする。
さらに、モデルの重みだけがモデル間で共有され、データをプライベートに保つ必要があるため、連合学習は安全な学習方法である。
本稿では,ニューロモルフィックプロセッサにおけるフェデレーション学習の有効性を示す。
ニューロモーフィックプロセッサは協調学習の恩恵を受け、ローカルデータのプライバシを維持しながら、個々のプロセッサモデルにまたがるワンショット学習ジェスチャ認識タスクにおいて、技術精度の状態を実現できる。 Being very low power, the use of neuromorphic processors in mobile devices to solve machine learning problems is a promising alternative to traditional Von Neumann processors. Federated Learning enables entities such as mobile devices to collaboratively learn a shared model while keeping their training data local. Additionally, federated learning is a secure way of learning because only the model weights need to be shared between models, keeping the data private. Here we demonstrate the efficacy of federated learning in neuromorphic processors. Neuromorphic processors benefit from the collaborative learning, achieving state of the art accuracy on a one-shot learning gesture recognition task across individual processor models while preserving local data privacy. | 翻訳日:2022-09-30 23:03:59 公開日:2020-11-01 |
| # 非一様学習能力に対する理論的アプローチの測定 Measure Theoretic Approach to Nonuniform Learnability ( http://arxiv.org/abs/2011.00392v1 ) ライセンス: Link先を確認 | Ankit Bandyopadhyay | (参考訳) 以前に導入された非一様学習性の特徴は、サンプルサイズが学習者が比較する仮説に依存することを可能にし、測定理論のアプローチを用いて再定義されている。
非一様学習性は、ほぼ正しいフレームワークの厳密な緩和である。
新しいアルゴリズムであるgeneralize measure learnability frameworkの導入は、そのサンプルと計算複雑性境界の研究でこのアプローチを実装した。
最小記述長原理と同様に、このアプローチはOccam razorの重複と見なすことができる。
さらに,GML の枠組みを学習し,統計的整合性を達成できるような,GML フレームワークを適用可能な仮説クラスを多数提示した。 An earlier introduced characterization of nonuniform learnability that allows the sample size to depend on the hypothesis to which the learner is compared has been redefined using the measure theoretic approach. Where nonuniform learnability is a strict relaxation of the Probably Approximately Correct framework. Introduction of a new algorithm, Generalize Measure Learnability framework, to implement this approach with the study of its sample and computational complexity bounds. Like the Minimum Description Length principle, this approach can be regarded as an explication of Occam razor. Furthermore, many situations were presented, Hypothesis Classes that are countable where we can apply the GML framework, which we can learn to use the GML scheme and can achieve statistical consistency. | 翻訳日:2022-09-30 23:03:48 公開日:2020-11-01 |
| # フレンドリーなオンラインコミュニティを目指して - profanity redactionのための教師なしスタイル転送フレームワーク Towards A Friendly Online Community: An Unsupervised Style Transfer Framework for Profanity Redaction ( http://arxiv.org/abs/2011.00403v1 ) ライセンス: Link先を確認 | Minh Tran, Yipeng Zhang, Mohammad Soleymani | (参考訳) 暴力的かつ虐待的な言語は、ソーシャルメディアプラットフォームに迫る問題だ。
本研究では, 攻撃的コメント, 暴言, あるいは攻撃的言語を含む文を, 非攻撃的コメントに変換する手法を提案する。
本稿では,RETRIEVE, Genee, EDITの非教師型トランスファーパイプラインを設計し, 高いフラレンシを維持しつつ, 元のテキストの内容を保存しながら, 単語制限で攻撃コメントを再現する。
提案手法の性能を広範囲に評価し,自動計測と人的評価の両方を用いて従来型の伝達モデルと比較した。
実験結果から,本手法は人間の評価において他のモデルよりも優れており,全ての自動評価指標に対して一貫した性能を発揮するアプローチであることがわかった。 Offensive and abusive language is a pressing problem on social media platforms. In this work, we propose a method for transforming offensive comments, statements containing profanity or offensive language, into non-offensive ones. We design a RETRIEVE, GENERATE and EDIT unsupervised style transfer pipeline to redact the offensive comments in a word-restricted manner while maintaining a high level of fluency and preserving the content of the original text. We extensively evaluate our method's performance and compare it to previous style transfer models using both automatic metrics and human evaluations. Experimental results show that our method outperforms other models on human evaluations and is the only approach that consistently performs well on all automatic evaluation metrics. | 翻訳日:2022-09-30 23:02:44 公開日:2020-11-01 |
| # 大規模データベースからのリアルタイム顔認識のための並列手法 A Parallel Approach for Real-Time Face Recognition from a Large Database ( http://arxiv.org/abs/2011.00443v1 ) ライセンス: Link先を確認 | Ashish Ranjan, Varun Nagesh Jolly Behera, Motahar Reza | (参考訳) 本稿では,従来システムに保存されていた人物をリアルタイムに識別できる新しい顔認識システムを提案する。
このシステムは、被験者の顔の埋め込みを保存し、比較し、後にライブビデオフィード内でそれらを識別する。
このシステムは極めて正確で、リアルタイムでIDをタグ付けすることができる。
何千もの顔の埋め込みを含むデータベースを使っても、並列検索技術を使ってそれを実現できる。
これによりシステムは極めて高速になり、高度にスケーラブルになる。 We present a new facial recognition system, capable of identifying a person, provided their likeness has been previously stored in the system, in real time. The system is based on storing and comparing facial embeddings of the subject, and identifying them later within a live video feed. This system is highly accurate, and is able to tag people with their ID in real time. It is able to do so, even when using a database containing thousands of facial embeddings, by using a parallelized searching technique. This makes the system quite fast and allows it to be highly scalable. | 翻訳日:2022-09-30 23:02:30 公開日:2020-11-01 |
| # DNA分類のための機械学習アルゴリズムと特徴抽出の有無の比較 Comparing Machine Learning Algorithms with or without Feature Extraction for DNA Classification ( http://arxiv.org/abs/2011.00485v1 ) ライセンス: Link先を確認 | Xiangxie Zhang, Ben Beinke, Berlian Al Kindhi and Marco Wiering | (参考訳) DNA配列の分類はバイオインフォマティクスにおける重要な研究領域であり、研究者はゲノム解析を行い、病気を検出できる。
本稿では,3つの最先端アルゴリズム,すなわち畳み込みニューラルネットワーク,ディープニューラルネットワーク,N-gram確率モデルを用いてDNA分類を行う。
さらに,レベンシュテイン距離とランダムに生成されたDNAサブシーケンスに基づいて,DNA配列から情報豊富な特徴を抽出する新しい特徴抽出手法を提案する。
また,3-gramに基づく既存の特徴抽出法を用いてアミノ酸を表現し,特徴抽出法と機械学習アルゴリズムを組み合わせる。
Covid-19、AIDS、インフルエンザ、C型肝炎などのウイルス性疾患に関する4つの異なるデータセットを用いて、異なるアプローチを評価する。
実験の結果、全ての手法が異なるDNAデータセット上で高い精度が得られることが示された。
さらに、ドメイン固有の3グラム特徴抽出法は、実験において最も良い結果をもたらすが、新たに提案された手法は、最小のCovid-19データセット上で他のすべての方法より優れている。 The classification of DNA sequences is a key research area in bioinformatics as it enables researchers to conduct genomic analysis and detect possible diseases. In this paper, three state-of-the-art algorithms, namely Convolutional Neural Networks, Deep Neural Networks, and N-gram Probabilistic Models, are used for the task of DNA classification. Furthermore, we introduce a novel feature extraction method based on the Levenshtein distance and randomly generated DNA sub-sequences to compute information-rich features from the DNA sequences. We also use an existing feature extraction method based on 3-grams to represent amino acids and combine both feature extraction methods with a multitude of machine learning algorithms. Four different data sets, each concerning viral diseases such as Covid-19, AIDS, Influenza, and Hepatitis C, are used for evaluating the different approaches. The results of the experiments show that all methods obtain high accuracies on the different DNA datasets. Furthermore, the domain-specific 3-gram feature extraction method leads in general to the best results in the experiments, while the newly proposed technique outperforms all other methods on the smallest Covid-19 dataset | 翻訳日:2022-09-30 23:01:58 公開日:2020-11-01 |
| # MLモデルをより公平にする: LimeOutの場合 Making ML models fairer through explanations: the case of LimeOut ( http://arxiv.org/abs/2011.00603v1 ) ライセンス: Link先を確認 | Guilherme Alves, Vaishnavi Bhargava, Miguel Couceiro, Amedeo Napoli | (参考訳) アルゴリズムによる決定は今では日常的に使われており、複雑でバイアスのかかる機械学習(ML)プロセスに基づいている。
これは、偏見のある決定が個人や社会全体に与える重大な影響を考えると、いくつかの懸念を引き起こす。
不公平な結果が人権に影響を及ぼすだけでなく、MLとAIに対する公的な信頼を損なう。
本稿では,決定結果に基づくMLモデルのフェアネス問題に対処し,シンプルな「フィーチャードロップアウト」とそれに続く「アンサンブルアプローチ」がモデルフェアネスをいかに改善するかを示す。
説明するために、モデルの敏感な特徴や差別的特徴への依存度を測定する「プロセスフェアネス」に取り組むために提案された「ライムアウト」の事例を再検討する。
分類器、データセット、センシティブな機能のセットが与えられた後、LimeOutはまず、分類器が「Lime説明」を使用してセンシティブな機能に依存するかどうかを判断する。
もし不公平と考えられる場合、limeoutは機能ドロップアウトを適用して分類器のプールを取得する。
これらをアンサンブル分類器に結合し、分類器の精度を損なうことなく、敏感な特徴に頼らないことを示した。
複数のデータセットとアート分類器のいくつかの状態について異なる実験を行い、LimeOutの分類器はプロセスフェアネスだけでなく、個人とグループフェアネス、平等機会、人口比率といった他のフェアネス指標も改善(または少なくとも維持)していることを示した。 Algorithmic decisions are now being used on a daily basis, and based on Machine Learning (ML) processes that may be complex and biased. This raises several concerns given the critical impact that biased decisions may have on individuals or on society as a whole. Not only unfair outcomes affect human rights, they also undermine public trust in ML and AI. In this paper we address fairness issues of ML models based on decision outcomes, and we show how the simple idea of "feature dropout" followed by an "ensemble approach" can improve model fairness. To illustrate, we will revisit the case of "LimeOut" that was proposed to tackle "process fairness", which measures a model's reliance on sensitive or discriminatory features. Given a classifier, a dataset and a set of sensitive features, LimeOut first assesses whether the classifier is fair by checking its reliance on sensitive features using "Lime explanations". If deemed unfair, LimeOut then applies feature dropout to obtain a pool of classifiers. These are then combined into an ensemble classifier that was empirically shown to be less dependent on sensitive features without compromising the classifier's accuracy. We present different experiments on multiple datasets and several state of the art classifiers, which show that LimeOut's classifiers improve (or at least maintain) not only process fairness but also other fairness metrics such as individual and group fairness, equal opportunity, and demographic parity. | 翻訳日:2022-09-30 23:01:39 公開日:2020-11-01 |
| # loihiプロセッサを用いたmavの視フローベースランディングのニューロモルフィック制御 Neuromorphic control for optic-flow-based landings of MAVs using the Loihi processor ( http://arxiv.org/abs/2011.00534v1 ) ライセンス: Link先を確認 | Julien Dupeyroux, Jesse Hagenaars, Federico Paredes-Vall\'es, and Guido de Croon | (参考訳) loihiのようなニューロモルフィックなプロセッサは、micro air vehicle(mavs)のような制約付きシステムに対して、離陸や着陸、障害物回避、追跡といった堅牢で効率的で自律的なスキルを備えた、従来のコンピューティングモジュールに代わる有望な選択肢を提供する。
しかし、そのようなプロセッサをロボットプラットフォームで使用する上での最大の課題は、シミュレーションと現実世界の間の現実のギャップである。
本研究では,空飛ぶロボットにloihiニューロモルフィック・チップのプロトタイプが完全に組み込まれているのを初めて紹介する。
スパイキングニューラルネットワーク(SNN)は、腹側視床の分散に基づいて推力コマンドを計算し、自律着陸を行う。
進化はPythonベースのシミュレータでPySNNライブラリを使用して実行された。
ネットワークアーキテクチャは、わずか35のニューロンが3つの層に分散している。
シミュレーションとLoihiの定量的解析により、推力セットポイントのルート平均2乗誤差は0.005g、隠れた層のスパイクシーケンスの99.8%、出力層の99.7%が一致している。
提案されたアプローチは現実のギャップを埋めることに成功し、ロボット工学における将来のニューロモルフィック応用に重要な洞察を与える。
追加資料はhttps://mavlab.tudelft.nl/loihi/で入手できる。 Neuromorphic processors like Loihi offer a promising alternative to conventional computing modules for endowing constrained systems like micro air vehicles (MAVs) with robust, efficient and autonomous skills such as take-off and landing, obstacle avoidance, and pursuit. However, a major challenge for using such processors on robotic platforms is the reality gap between simulation and the real world. In this study, we present for the very first time a fully embedded application of the Loihi neuromorphic chip prototype in a flying robot. A spiking neural network (SNN) was evolved to compute the thrust command based on the divergence of the ventral optic flow field to perform autonomous landing. Evolution was performed in a Python-based simulator using the PySNN library. The resulting network architecture consists of only 35 neurons distributed among 3 layers. Quantitative analysis between simulation and Loihi reveals a root-mean-square error of the thrust setpoint as low as 0.005 g, along with a 99.8% matching of the spike sequences in the hidden layer, and 99.7% in the output layer. The proposed approach successfully bridges the reality gap, offering important insights for future neuromorphic applications in robotics. Supplementary material is available at https://mavlab.tudelft.nl/loihi/. | 翻訳日:2022-09-30 22:55:31 公開日:2020-11-01 |
| # オープンドメイン対話システムのための構成可能な評価基準の再構築 Deconstruct to Reconstruct a Configurable Evaluation Metric for Open-Domain Dialogue Systems ( http://arxiv.org/abs/2011.00483v1 ) ライセンス: Link先を確認 | Vitou Phy, Yang Zhao and Akiko Aizawa | (参考訳) オープンドメイン対話における応答の全体的な品質を評価するために,多くの自動評価指標が提案されている。
一般に、全体的な品質は、関連性、特異性、共感などの様々な側面で構成され、各側面の重要性はタスクによって異なる。
例えば、食品注文対話タスクでは特異性が必須であり、言語教育対話システムでは流布が好ましい。
しかし、既存のメトリクスはそのような柔軟性に対応するように設計されていない。
例えば、bleuスコアは単語の重複のみに依存し、bertscoreは参照と候補応答の間の意味的類似性に依存している。
したがって、それらは要求される側面、すなわち特異性を捉えることが保証されない。
タスクに柔軟であるメトリクスを設計するために、まず、これらの品質を3つのグループに分けて管理できるようにすることを提案する。
また,各側面のメトリクスを合成し,usl-hと呼ばれる,階層の理解性,知覚性,責任性を表す1つの指標を得るための簡易な手法を提案する。
我々は、USL-Hスコアが人間の判断と良好な相関を達成し、異なる側面やメトリクスに対する構成可能性を維持することを示した。 Many automatic evaluation metrics have been proposed to score the overall quality of a response in open-domain dialogue. Generally, the overall quality is comprised of various aspects, such as relevancy, specificity, and empathy, and the importance of each aspect differs according to the task. For instance, specificity is mandatory in a food-ordering dialogue task, whereas fluency is preferred in a language-teaching dialogue system. However, existing metrics are not designed to cope with such flexibility. For example, BLEU score fundamentally relies only on word overlapping, whereas BERTScore relies on semantic similarity between reference and candidate response. Thus, they are not guaranteed to capture the required aspects, i.e., specificity. To design a metric that is flexible to a task, we first propose making these qualities manageable by grouping them into three groups: understandability, sensibleness, and likability, where likability is a combination of qualities that are essential for a task. We also propose a simple method to composite metrics of each aspect to obtain a single metric called USL-H, which stands for Understandability, Sensibleness, and Likability in Hierarchy. We demonstrated that USL-H score achieves good correlations with human judgment and maintains its configurability towards different aspects and metrics. | 翻訳日:2022-09-30 22:55:07 公開日:2020-11-01 |
| # 生物医学的名前付きエンティティ認識におけるマルチタスク学習の効果分析 Analyzing the Effect of Multi-task Learning for Biomedical Named Entity Recognition ( http://arxiv.org/abs/2011.00425v1 ) ライセンス: Link先を確認 | Arda Akdemir and Tetsuo Shibuya | (参考訳) 生物医学的に命名された物質を検出するための高性能システムを開発することは大きな意味を持つ。
エンティティ認識のための最先端のディープラーニングベースのソリューションは、しばしば大きな注釈付きデータセットを必要とする。
転送学習とマルチタスク学習は低リソース領域の性能を向上させることが示されている。
しかし、これらの手法の応用は、生医学領域では比較的少なく、なぜこれらの手法が性能を改善するのかの理論的な理解が不足している。
本研究では,異なるバイオメディカル・エンティティ・データセット間の転送可能性を理解するために,広範囲な解析を行った。
これらのデータセット間の転送可能性を予測するための有用な手段を見出した。
また, 情報伝達学習とマルチタスク学習を組み合わせることで, 生物医学的名前付きエンティティ認識システムの性能を向上させることを提案する。 Developing high-performing systems for detecting biomedical named entities has major implications. State-of-the-art deep-learning based solutions for entity recognition often require large annotated datasets, which is not available in the biomedical domain. Transfer learning and multi-task learning have been shown to improve performance for low-resource domains. However, the applications of these methods are relatively scarce in the biomedical domain, and a theoretical understanding of why these methods improve the performance is lacking. In this study, we performed an extensive analysis to understand the transferability between different biomedical entity datasets. We found useful measures to predict transferability between these datasets. Besides, we propose combining transfer learning and multi-task learning to improve the performance of biomedical named entity recognition systems, which is not applied before to the best of our knowledge. | 翻訳日:2022-09-30 22:53:57 公開日:2020-11-01 |
| # Deep Diacritization:アラビア語の発音改善のための効率的な階層的再帰 Deep Diacritization: Efficient Hierarchical Recurrence for Improved Arabic Diacritization ( http://arxiv.org/abs/2011.00538v1 ) ライセンス: Link先を確認 | Badr AlKhamissi, Muhammad N. ElNokrashy and Mohamed Gabr | (参考訳) 本稿では,Tashkeela Arabic diacritizationベンチマークにおいて,文字列のラベル付けのための新しいアーキテクチャを提案する。
コアは単語と文字レベルで別々に動作する2段階の繰り返し階層で、従来のモデルよりも高速なトレーニングと推論を実現している。
クロスレベルアテンションモジュールは、さらにこの2つを接続し、ネットワーク解釈可能性の扉を開く。
taskモジュールは、ダイアクリティカルスの有効な組み合わせを列挙するsoftmax分類器である。
このアーキテクチャは、部分的にダイアライズされたテキストから事前を任意に受け入れ、結果を改善する再帰デコーダで拡張することができる。
我々は、最終結果をさらに高めるために、文のドロップアウトや多数決のような余分なトリックを用いる。
我々の最良モデルは5.34%のWERを達成し、30.56%の相対誤差削減で従来の最先端技術を上回った。 We propose a novel architecture for labelling character sequences that achieves state-of-the-art results on the Tashkeela Arabic diacritization benchmark. The core is a two-level recurrence hierarchy that operates on the word and character levels separately---enabling faster training and inference than comparable traditional models. A cross-level attention module further connects the two, and opens the door for network interpretability. The task module is a softmax classifier that enumerates valid combinations of diacritics. This architecture can be extended with a recurrent decoder that optionally accepts priors from partially diacritized text, which improves results. We employ extra tricks such as sentence dropout and majority voting to further boost the final result. Our best model achieves a WER of 5.34%, outperforming the previous state-of-the-art with a 30.56% relative error reduction. | 翻訳日:2022-09-30 22:53:45 公開日:2020-11-01 |
| # 逆向き自己監督型シーンフロー推定 Adversarial Self-Supervised Scene Flow Estimation ( http://arxiv.org/abs/2011.00551v1 ) ライセンス: Link先を確認 | Victor Zuanazzi, Joris van Vugt, Olaf Booij and Pascal Mettes | (参考訳) 本研究では,自己監督型シーンフロー推定のためのメトリクス学習手法を提案する。
シーンフロー推定は連続する3次元点雲の3次元フローベクトルを推定するタスクである。
このような流れベクトルは実りがあり、行動を認識するか衝突を避ける。
シーンフローの教師付き学習によるニューラルネットワークのトレーニングは、各シーンの新たなタイムスタンプの3dポイント毎に手動アノテーションを必要とするため、現実的ではない。
そこで我々は,フロー推定によって翻訳された点と対象点雲を区別するために,ネットワークが潜在距離を学習する自己教師型アプローチを提案する。
我々の対向距離学習は、2点雲の列上のマルチスケール三重項損失とサイクル整合損失を含む。
さらに,自己監督型シーンフロー推定のためのベンチマークであるScene Flow Sandboxについて概説する。
このベンチマークは、移動物体から現実のシーンまで、複雑な進行順にフロー推定の個々の側面を研究するために設計された5つのデータセットで構成されている。
評価実験により, 提案手法は, 近年の隣接手法よりも優れ, 最先端の自己監督型シーンフローが得られることが示された。
提案するベンチマークを使用して,問題点を明らかにし,さまざまなトレーニング設定についての洞察を得る。
我々の設定は、動きコヒーレンスを捕捉し、局所的なジオメトリを保存する。
一方、オクルージョンで対処することは、まだオープンな課題である。 This work proposes a metric learning approach for self-supervised scene flow estimation. Scene flow estimation is the task of estimating 3D flow vectors for consecutive 3D point clouds. Such flow vectors are fruitful, \eg for recognizing actions, or avoiding collisions. Training a neural network via supervised learning for scene flow is impractical, as this requires manual annotations for each 3D point at each new timestamp for each scene. To that end, we seek for a self-supervised approach, where a network learns a latent metric to distinguish between points translated by flow estimations and the target point cloud. Our adversarial metric learning includes a multi-scale triplet loss on sequences of two-point clouds as well as a cycle consistency loss. Furthermore, we outline a benchmark for self-supervised scene flow estimation: the Scene Flow Sandbox. The benchmark consists of five datasets designed to study individual aspects of flow estimation in progressive order of complexity, from a moving object to real-world scenes. Experimental evaluation on the benchmark shows that our approach obtains state-of-the-art self-supervised scene flow results, outperforming recent neighbor-based approaches. We use our proposed benchmark to expose shortcomings and draw insights on various training setups. We find that our setup captures motion coherence and preserves local geometries. Dealing with occlusions, on the other hand, is still an open challenge. | 翻訳日:2022-09-30 22:53:13 公開日:2020-11-01 |
| # ロバスト・イミテーションのための磁気ベンチマーク The MAGICAL Benchmark for Robust Imitation ( http://arxiv.org/abs/2011.00401v1 ) ライセンス: Link先を確認 | Sam Toyer, Rohin Shah, Andrew Critch, Stuart Russell | (参考訳) シミュレーション学習(IL)アルゴリズムは通常、デモを作成するのに使われたのと同じ環境で評価される。
これは、ある特定の環境でのデモの正確な再現を報いるが、アルゴリズムがデモンストレーターの意図をかなり異なる配置設定に一般化する方法については、ほとんど情報を提供していない。
本稿では,ilアルゴリズムが実際に遭遇する可能性のある異なる種類の分布シフトに対するロバスト性を定量化することにより,一般化の体系的評価を可能にする魔法的ベンチマークスイートを提案する。
MAGICAL スイートを用いて、既存の IL アルゴリズムがデモを提供するコンテキストにかなり適合していることを確認する。
また, オーバーフィッティング低減のための標準的な手法は, 狭義の知覚的不変性の生成には有効であるが, 実質的に異なる行動を必要とする文脈への移動を可能にするには不十分であり, 実証的意図を堅牢に一般化するために新たなアプローチが必要であることを示唆する。
magic suiteのコードとデータはhttps://github.com/qxcv/magical/で入手できる。 Imitation Learning (IL) algorithms are typically evaluated in the same environment that was used to create demonstrations. This rewards precise reproduction of demonstrations in one particular environment, but provides little information about how robustly an algorithm can generalise the demonstrator's intent to substantially different deployment settings. This paper presents the MAGICAL benchmark suite, which permits systematic evaluation of generalisation by quantifying robustness to different kinds of distribution shift that an IL algorithm is likely to encounter in practice. Using the MAGICAL suite, we confirm that existing IL algorithms overfit significantly to the context in which demonstrations are provided. We also show that standard methods for reducing overfitting are effective at creating narrow perceptual invariances, but are not sufficient to enable transfer to contexts that require substantially different behaviour, which suggests that new approaches will be needed in order to robustly generalise demonstrator intent. Code and data for the MAGICAL suite is available at https://github.com/qxcv/magical/. | 翻訳日:2022-09-30 22:52:32 公開日:2020-11-01 |
| # COOT:ビデオテキスト表現学習のための協調階層変換器 COOT: Cooperative Hierarchical Transformer for Video-Text Representation Learning ( http://arxiv.org/abs/2011.00597v1 ) ライセンス: Link先を確認 | Simon Ging (1), Mohammadreza Zolfaghari (1), Hamed Pirsiavash (2), Thomas Brox (1) ((1) University of Freiburg, (2) University of Maryland Baltimore County) | (参考訳) 多くの実世界のビデオテキストタスクは、フレームや単語、クリップや文、ビデオや段落など、それぞれ異なる意味を持つ粒度のレベルを含む。
本稿では,この階層的情報を活用し,異なる粒度と異なるモダリティの相互作用をモデル化する協調階層型トランスフォーマ(coot)を提案する。
この手法は3つの主要な構成要素から構成される: 注意を意識した特徴集約層は、局所的時間的文脈(例えばクリップ内のイントラレベル)、低レベルの意味論と高レベルの意味論(例えばクリップビデオ、文パラグラフ)の相互作用を学習するための文脈変換器、ビデオとテキストを接続するためのクロスモーダルサイクル一貫性損失である。
結果として得られた手法は、パラメータをほとんど持たずに、いくつかのベンチマークでアートの状態を好ましく比較する。
すべてのコードはhttps://github.com/gingsi/coot-videotextで公開されている。 Many real-world video-text tasks involve different levels of granularity, such as frames and words, clip and sentences or videos and paragraphs, each with distinct semantics. In this paper, we propose a Cooperative hierarchical Transformer (COOT) to leverage this hierarchy information and model the interactions between different levels of granularity and different modalities. The method consists of three major components: an attention-aware feature aggregation layer, which leverages the local temporal context (intra-level, e.g., within a clip), a contextual transformer to learn the interactions between low-level and high-level semantics (inter-level, e.g. clip-video, sentence-paragraph), and a cross-modal cycle-consistency loss to connect video and text. The resulting method compares favorably to the state of the art on several benchmarks while having few parameters. All code is available open-source at https://github.com/gingsi/coot-videotext | 翻訳日:2022-09-30 22:46:26 公開日:2020-11-01 |
| # deepopht: 深いモデルと視覚的説明による網膜画像の医用レポート生成 DeepOpht: Medical Report Generation for Retinal Images via Deep Models and Visual Explanation ( http://arxiv.org/abs/2011.00569v1 ) ライセンス: Link先を確認 | Jia-Hong Huang, Chao-Han Huck Yang, Fangyu Liu, Meng Tian, Yi-Chieh Liu, Ting-Wei Wu, I-Hung Lin, Kang Wang, Hiromasa Morikawa, Hernghua Chang, Jesper Tegner, Marcel Worring | (参考訳) そこで本研究では,従来の網膜疾患治療法を改良し,眼科医が診断効率と精度を向上させるためのAIベースの手法を提案する。
提案手法は、網膜疾患識別子と臨床説明生成装置を含む深層ニューラルネットワークに基づく(dnnベース)モジュールと、dnnビジュアル説明モジュールから構成されている。
DNNベースのモジュールの有効性を訓練し,検証するために,大規模な網膜疾患画像データセットを提案する。
また,眼科医によって手動でラベル付けされた網膜画像データセットを質的に提示し,提案手法の有効性を検証した。
実験の結果,提案手法は定量的かつ定性的に有効であることがわかった。
本手法は臨床的に関連のある有意義な網膜画像記述と視覚的説明を作成できる。 In this work, we propose an AI-based method that intends to improve the conventional retinal disease treatment procedure and help ophthalmologists increase diagnosis efficiency and accuracy. The proposed method is composed of a deep neural networks-based (DNN-based) module, including a retinal disease identifier and clinical description generator, and a DNN visual explanation module. To train and validate the effectiveness of our DNN-based module, we propose a large-scale retinal disease image dataset. Also, as ground truth, we provide a retinal image dataset manually labeled by ophthalmologists to qualitatively show, the proposed AI-based method is effective. With our experimental results, we show that the proposed method is quantitatively and qualitatively effective. Our method is capable of creating meaningful retinal image descriptions and visual explanations that are clinically relevant. | 翻訳日:2022-09-30 22:46:07 公開日:2020-11-01 |
| # WLV-RIT at HASOC-Dravidian-CodeMix-FIRE2020: Offensive Language Identification in Code-switched YouTube comments WLV-RIT at HASOC-Dravidian-CodeMix-FIRE2020: Offensive Language Identification in Code-switched YouTube Comments ( http://arxiv.org/abs/2011.00559v1 ) ライセンス: Link先を確認 | Tharindu Ranasinghe, Sarthak Gupte, Marcos Zampieri, Ifeoma Nwogu | (参考訳) 本稿では,インド・ヨーロッパ語におけるHate Speech and Offensive Content Identification(HASOC)のWLV-RITエントリについて述べる。
HASOC 2020の主催者は、ドラヴィダ語(マラヤラム語とタミル語)で混在するコードのソーシャルメディア投稿を含む注釈付きデータセットを参加者に提供した。
Code-mixed Malayalam Youtubeコメントにおける攻撃的なコメント識別。
提案手法では,マラヤラムデータへの言語間文脈単語埋め込みと移動学習を適用して,利用可能な英語データを活用する。
様々な微調整手法を用いて, 結果をさらに改善する。
本システムでは,テストセットの重量平均f1得点が0.89で,12名中5位にランクインした。 This paper describes the WLV-RIT entry to the Hate Speech and Offensive Content Identification in Indo-European Languages (HASOC) shared task 2020. The HASOC 2020 organizers provided participants with annotated datasets containing social media posts of code-mixed in Dravidian languages (Malayalam-English and Tamil-English). We participated in task 1: Offensive comment identification in Code-mixed Malayalam Youtube comments. In our methodology, we take advantage of available English data by applying cross-lingual contextual word embeddings and transfer learning to make predictions to Malayalam data. We further improve the results using various fine tuning strategies. Our system achieved 0.89 weighted average F1 score for the test set and it ranked 5th place out of 12 participants. | 翻訳日:2022-09-30 22:45:37 公開日:2020-11-01 |
| # ドメイン間深いガウス過程 Inter-domain Deep Gaussian Processes ( http://arxiv.org/abs/2011.00415v1 ) ライセンス: Link先を確認 | Tim G. J. Rudner, Dino Sejdinovic, Yarin Gal | (参考訳) ドメイン間ガウス過程(GP)はGPモデルで近似推論を行う際に高い柔軟性と低い計算コストを実現する。
グローバル構造を示すデータモデリングには特に適しているが、定常共分散関数に限定されており、非定常データを効果的にモデル化することができない。
本研究では,ドメイン間およびディープガウス間プロセス(dgps)の利点を組み合わせた,ドメイン間浅いgpsの拡張であるドメイン間ディープガウスプロセスを提案する。
本研究では,提案手法の性能評価を行い,大域構造と非定常性の両方を示す大規模実世界のデータセットに対して,ドメイン間浅層GPや従来のDGPよりも優れていることを示す。 Inter-domain Gaussian processes (GPs) allow for high flexibility and low computational cost when performing approximate inference in GP models. They are particularly suitable for modeling data exhibiting global structure but are limited to stationary covariance functions and thus fail to model non-stationary data effectively. We propose Inter-domain Deep Gaussian Processes, an extension of inter-domain shallow GPs that combines the advantages of inter-domain and deep Gaussian processes (DGPs), and demonstrate how to leverage existing approximate inference methods to perform simple and scalable approximate inference using inter-domain features in DGPs. We assess the performance of our method on a range of regression tasks and demonstrate that it outperforms inter-domain shallow GPs and conventional DGPs on challenging large-scale real-world datasets exhibiting both global structure as well as a high-degree of non-stationarity. | 翻訳日:2022-09-30 22:45:04 公開日:2020-11-01 |
| # プログレッシブ行列知能テストのための正解の生成 Generating Correct Answers for Progressive Matrices Intelligence Tests ( http://arxiv.org/abs/2011.00496v1 ) ライセンス: Link先を確認 | Niv Pekar, Yaniv Benny, Lior Wolf | (参考訳) Ravenのプログレッシブマトリクス(Progressive Matrices)は、複数選択のインテリジェンステストである。
このテストに対処する以前の試みは、複数の選択肢の中から正しい回答を選択することに集中していました。
この作業では、定義によって難しいタスクである選択を見ることなく、グリッドに与えられた正しい回答を生成することに重点を置いています。
提案するニューラルモデルは、生成モデルにおける複数の進歩を組み合わせることで、同じネットワークを複数の経路を通し、それらのエンコーディングに互換性を持たせるために2つの経路に沿って再パラメータ化トリックを使い、変動損失の動的応用、選択的バックプロパゲーション手順と結合した複雑な知覚的損失を組み合わせる。
提案アルゴリズムは, 探索可能な解の集合を生成できるだけでなく, 複数選択テストにおける工法の現状に競争力を持たせることができる。 Raven's Progressive Matrices are multiple-choice intelligence tests, where one tries to complete the missing location in a $3\times 3$ grid of abstract images. Previous attempts to address this test have focused solely on selecting the right answer out of the multiple choices. In this work, we focus, instead, on generating a correct answer given the grid, without seeing the choices, which is a harder task, by definition. The proposed neural model combines multiple advances in generative models, including employing multiple pathways through the same network, using the reparameterization trick along two pathways to make their encoding compatible, a dynamic application of variational losses, and a complex perceptual loss that is coupled with a selective backpropagation procedure. Our algorithm is able not only to generate a set of plausible answers, but also to be competitive to the state of the art methods in multiple-choice tests. | 翻訳日:2022-09-30 22:44:31 公開日:2020-11-01 |
| # 深部ニューラルネットワークの特異性について On Numerosity of Deep Neural Networks ( http://arxiv.org/abs/2011.08674v1 ) ライセンス: Link先を確認 | Xi Zhang and Xiaolin Wu | (参考訳) 近年,視覚物体認識のためだけに訓練された深層ニューラルネットワークに,数感覚が自発的に現れるという挑発的な主張が公表されている。
これは、もし本当なら、機械学習や認知科学の分野にもはるかに重要な意味を持つ。
本稿では,上記の主張が残念ながら誤りであることを示す。
この主張を支持する統計的分析は、対象認識ネットワークの膨大な数のニューロンと比較して、無数のニューロンを特定するために使用されるサンプルセットが小さすぎることに欠陥がある。
この欠陥分析により、ランダムに初期化されたディープニューラルネットワークにおいて、訓練を受けていない番号感知ニューロンを誤って識別することができる。
上述の批判では、深層畳み込みニューラルネットワークが数奇性のために慎重に訓練されている場合はどうだろうか?
私たちの発見はまちまちだ。
多数の画像で訓練された後も、ディープラーニングのアプローチでは、幼児が容易に行う認知的タスクである数字の抽象的な概念を習得するのは難しい。
しかし一方では、ディープニューラルネットワークが大規模なものよりも少ない数の分散シフトに頑健であることを示す、有望な証拠がいくつか発見されている。 Recently, a provocative claim was published that number sense spontaneously emerges in a deep neural network trained merely for visual object recognition. This has, if true, far reaching significance to the fields of machine learning and cognitive science alike. In this paper, we prove the above claim to be unfortunately incorrect. The statistical analysis to support the claim is flawed in that the sample set used to identify number-aware neurons is too small, compared to the huge number of neurons in the object recognition network. By this flawed analysis one could mistakenly identify number-sensing neurons in any randomly initialized deep neural networks that are not trained at all. With the above critique we ask the question what if a deep convolutional neural network is carefully trained for numerosity? Our findings are mixed. Even after being trained with number-depicting images, the deep learning approach still has difficulties to acquire the abstract concept of numbers, a cognitive task that preschoolers perform with ease. But on the other hand, we do find some encouraging evidences suggesting that deep neural networks are more robust to distribution shift for small numbers than for large numbers. | 翻訳日:2022-09-30 22:44:10 公開日:2020-11-01 |
| # ニューラルネットワーク設計 - ニューラルネットワークの検索から学ぶ Neural Network Design: Learning from Neural Architecture Search ( http://arxiv.org/abs/2011.00521v1 ) ライセンス: Link先を確認 | Bas van Stein and Hao Wang and Thomas B\"ack | (参考訳) Neural Architecture Search (NAS)は、ディープニューラルネットワークのアーキテクチャを、精度の向上や計算コストの削減のために最適化することを目的としている。
nasタスクの解決に様々なアプローチが提案されているが、その特性とともにその景観が調査されることはほとんどない。
本稿では,その景観特性を研究することの必要性を論じ,この目的のために,いわゆる探索景観解析(ELA)技術を用いることを提案する。
深層畳み込みネットワークの設計を広範に行ない,その性能を得るために広範な実験を行った。
実験結果の解析結果から,nasアルゴリズムの効率を向上させるために探索空間を大幅に狭めるため,性能の高いアーキテクチャ設計との間に高い類似性を見出した。
さらに,3つの共通画像分類データセット (MNIST, Fashion, CIFAR-10) からNASランドスケープ上のERA特徴を抽出し,これらの3つのデータセットに対してNASランドスケープを区別可能であることを示す。
また、よく知られたブラックボックス最適化ベンチマーク(BBOB)問題セットのERA機能と比較すると、NASのランドスケープが驚くほど独自の新しい問題クラスを形成し、24ドルのBBOB問題から分離できることがわかった。
そこで,本研究では,nasランドスケープの効率的な最適化を行うためのさらなる調査の重要性と,現在のベンチマーク問題セットの強化の必要性について述べる。 Neural Architecture Search (NAS) aims to optimize deep neural networks' architecture for better accuracy or smaller computational cost and has recently gained more research interests. Despite various successful approaches proposed to solve the NAS task, the landscape of it, along with its properties, are rarely investigated. In this paper, we argue for the necessity of studying the landscape property thereof and propose to use the so-called Exploratory Landscape Analysis (ELA) techniques for this goal. Taking a broad set of designs of the deep convolutional network, we conduct extensive experimentation to obtain their performance. Based on our analysis of the experimental results, we observed high similarities between well-performing architecture designs, which is then used to significantly narrow the search space to improve the efficiency of any NAS algorithm. Moreover, we extract the ELA features over the NAS landscapes on three common image classification data sets, MNIST, Fashion, and CIFAR-10, which shows that the NAS landscape can be distinguished for those three data sets. Also, when comparing to the ELA features of the well-known Black-Box Optimization Benchmarking (BBOB) problem set, we found out that the NAS landscapes surprisingly form a new problem class on its own, which can be separated from all $24$ BBOB problems. Given this interesting observation, we, therefore, state the importance of further investigation on selecting an efficient optimizer for the NAS landscape as well as the necessity of augmenting the current benchmark problem set. | 翻訳日:2022-09-30 22:43:52 公開日:2020-11-01 |