このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス（CC 0, CC BY, CC BY-SA）の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。（arxivのメタデータは CC 0です。） 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。
公開日が20200617となっている論文です。
| Title | Authors | Abstract | 論文公表日・翻訳日 |
|---|---|---|---|
| # Meissner-levitated ferromagnetic micro Particles による超低機械減衰 Ultralow mechanical damping with Meissner-levitated ferromagnetic microparticles ( http://arxiv.org/abs/1912.12252v3 ) ライセンス: Link先を確認 | A. Vinante, P. Falferi, G. Gasbarri, A. Setter, C. Timberlake, H. Ulbricht | (参考訳) 浮遊ナノ粒子とマイクロ粒子は、極端に孤立した機械系の実現に優れた候補であり、センシング応用や量子物理学に大きな影響を与える可能性がある。
静磁場に基づく磁気浮上は、完全にパッシブで低温と互換性があるというユニークな性質から、特に興味深いアプローチである。
ここでは,I型超伝導体上に浮遊したマイクロマグネットが低周波,低温で非常に低減衰であることを示す。
本実験では,誘電体マイクロスフィアの6つの剛体のメカニカルモードのうち5つを,1つのピックアップコイルを備えたdc SQUID (Superconducting Quantum Interference Device) を用いて検出した。
測定された周波数は理想マイスナー効果に基づく有限要素シミュレーションと一致している。
2つの特定のモードに対して、画像法に基づく解析的予測とより実質的な一致を見出す。
減衰時間$\tau$が10^4$ sを超え、品質要因$Q$が10^7$を超え、同じ原理に基づいて以前の実験よりも2-3$のオーダーが改善された。
ガス衝突以外の残留損失機構について検討し, さらなる努力と最適化により, 減衰時間を長くすることができると論じる。
この結果は、磁気学や重力計、基礎物理学、量子物理学に応用可能な超感度磁気力学センサの開発に向けての道を開く。 Levitated nanoparticles and microparticles are excellent candidates for the realization of extremely isolated mechanical systems, with a huge potential impact in sensing applications and in quantum physics. Magnetic levitation based on static fields is a particularly interesting approach, due to the unique property of being completely passive and compatible with low temperatures. Here, we show experimentally that micromagnets levitated above type-I superconductors feature very low damping at low frequency and low temperature. In our experiment, we detect 5 out of 6 rigid-body mechanical modes of a levitated ferromagnetic microsphere, using a dc SQUID (Superconducting Quantum Interference Device) with a single pick-up coil. The measured frequencies are in agreement with a finite element simulation based on ideal Meissner effect. For two specific modes we find further substantial agreement with analytical predictions based on the image method. We measure damping times $\tau$ exceeding $10^4$ s and quality factors $Q$ beyond $10^7$, improving by $2-3$ orders of magnitude over previous experiments based on the same principle. We investigate the possible residual loss mechanisms besides gas collisions, and argue that much longer damping time can be achieved with further effort and optimization. Our results open the way towards the development of ultrasensitive magnetomechanical sensors with potential applications to magnetometry and gravimetry, as well as to fundamental and quantum physics. | 翻訳日:2023-06-09 23:16:48 公開日:2020-06-17 |
| # 量子力学における局所トモグラフィーと複素数の役割 Local tomography and the role of the complex numbers in quantum mechanics ( http://arxiv.org/abs/2001.11421v2 ) ライセンス: Link先を確認 | Gerd Niestegge | (参考訳) 有限次元量子力学の様々な再構成は形式的実数ジョルダン代数 a となり、最後のステップは a が c*-代数の自己随伴部分であると結論付ける。
量子論理的設定を用いて、同じ系の2つのコピーからなる複合系の局所トモグラフィーモデルが存在することを仮定することにより、これを実現できることを示す。
局所トモグラフィーは古典的確率理論と量子力学の特徴であり、多成分系の状態トモグラフィーは全てのサブシステムにおける同時測定によって実現される。
局所トモグラフィーの量子論理的定義は十分であるが、文献の一般的な定義よりも相対的ではなく、いわゆるスピン因子に関する微妙な関係が伴う。 Various reconstructions of finite-dimensional quantum mechanics result in a formally real Jordan algebra A and a last step remains to conclude that A is the self-adjoint part of a C*-algebra. Using a quantum logical setting, it is shown that this can be achieved by postulating that there is a locally tomographic model for a composite system consisting of two copies of the same system. Local tomography is a feature of classical probability theory and quantum mechanics; it means that state tomography for a multipartite system can be performed by simultaneous measurements in all subsystems. The quantum logical definition of local tomography is sufficient, but it is less restictive than the prevalent definition in the literature and involves some subtleties concerning the so-called spin factors. | 翻訳日:2023-06-05 04:42:36 公開日:2020-06-17 |
| # 共鳴量子トンネルにおける連続状態の複素密度 Complex density of continuum states in resonant quantum tunneling ( http://arxiv.org/abs/2002.03874v2 ) ライセンス: Link先を確認 | Pavel Str\'ansk\'y, Milan \v{S}indelka, Michal Kloc, and Pavel Cejnar | (参考訳) 複素拡大連続体準位密度を導入し、有限範囲ポテンシャルによるトンネルの1次元散乱問題に適用する。
本研究では, 伝送粒子の実際の「時間シフト」に比例して密度の実際の部分を示す一方, 虚構部はインスタントンのようなトンネル軌道の虚構時間を反映していることを示す。
これらの仮定を複素スケーリング法を用いて検証する。
特に、ポテンシャルの定常点は、有界系における励起状態量子相転移の類似性を表す実密度と虚密度の両方の特異点をもたらすことを示す。 We introduce a complex-extended continuum level density and apply it to one-dimensional scattering problems involving tunneling through finite-range potentials. We show that the real part of the density is proportional to a real "time shift" of the transmitted particle, while the imaginary part reflects the imaginary time of an instanton-like tunneling trajectory. We confirm these assumptions for several potentials using the complex scaling method. In particular, we show that stationary points of the potentials give rise to specific singularities of both real and imaginary densities which represent close analogues of excited-state quantum phase transitions in bound systems. | 翻訳日:2023-06-04 01:45:20 公開日:2020-06-17 |
| # ブラックホール近傍の量子場による通信 Communication through quantum fields near a black hole ( http://arxiv.org/abs/2002.05482v3 ) ライセンス: Link先を確認 | Robert H. Jonsson, David Q. Aruquipa, Marc Casals, Achim Kempf, Eduardo Mart\'in-Mart\'inez | (参考訳) 量子場を介して3+1次元シュワルツシルト時空で通信する2つの局所化第一量子化系間の量子チャネルについて検討する。
我々は、直接およびブラックホールを公転するヌル測地線のキャパシティと、強いヒューゲンスの原理がシュワルツチャイルドの背景に当てはまらないことから生じる時間的貢献を解析する。
特に、ミンコフスキー時空に類似性を持たない非直接nullおよび時間的貢献は、直接的null貢献よりも優位に立つことができる。
我々は測地線と加速エミッターの両方の事例をカバーする。
理論的には、曲線時空における波動伝播の研究を、相対論的量子情報通信(英語版)(relativistic quantum information communication setup, first for generic spacetimes, first for generic spacetimes, and then for the case of schwarzschild spacetimes)に適用する。 We study the quantum channel between two localized first-quantized systems that communicate in 3+1 dimensional Schwarzschild spacetime via a quantum field. We analyze the information carrying capacity of direct and black hole-orbiting null geodesics as well as of the timelike contributions that arise because the strong Huygens principle does not hold on the Schwarzschild background. We find, in particular, that the non-direct-null and timelike contributions, which do not possess an analog on Minkowski spacetime, can dominate over the direct null contributions. We cover the cases of both geodesic and accelerated emitters. Technically, we apply tools previously designed for the study of wave propagation in curved spacetimes to a relativistic quantum information communication setup, first for generic spacetimes, and then for the case of Schwarzschild spacetime in particular. | 翻訳日:2023-06-03 19:20:39 公開日:2020-06-17 |
| # 光磁気センサ:ラーモア周波数の1/nの繰り返し速度を励起する量子共鳴 Optical Magnetometer: Quantum Resonances at pumping repetition rate of 1/n of the Larmor frequency ( http://arxiv.org/abs/2002.08631v4 ) ライセンス: Link先を確認 | Andrei Ben Amar Baranga, Alexander Gusarov, Gennady A. Koganov, David Levron and Reuben Shuker | (参考訳) 繰り返し短パルスポンプに対するSERF原子磁気センサの応答について検討した。
シールド内の磁場のラーモア周波数の1/n$の繰り返し速度での量子サブ共振を実験的に観察し、理論的に説明する。
これは同期現象の一種である。
KとRbの混合アルカリ原子と同様に、単一のアルカリ原子細胞の研究を行った。
後者では、1つの種が励起され、プローブはスピン交換によって偏光する。
スピン破壊、スピン交換、衝突の影響は共鳴の幅を考慮に入れるために研究されている。
この現象に対する3つのレベル\Lambda$モデルの量子計算は、パルスおよびCWポンプモードの両方の場合の吸収スペクトルの共鳴周波数の低下と、EITの証拠を示す。 The response of a SERF atomic magnetometer to a repetitive short-pulsed pump was investigated. Quantum sub-resonances at a repetition rate of $1/n$ of the Larmor frequency of the magnetic field inside the shield are experimentally observed and theoretically explained. This is a type of synchronization phenomenon. Investigations in single alkali atoms cells as well as mixed alkali atoms of K and Rb are presented. In the later, one species is pumped while the probe is on the other specie polarized by spin exchange. The effect of spin destruction, spin exchange and collisions are studied in order to account for the width of the resonances. Quantum calculations of a three levels $\Lambda$ model for this phenomenon exhibit a dip at the resonance frequency in the absorption spectrum for both cases of pulsed and CW pump modes and an evidence for EIT. | 翻訳日:2023-06-03 02:55:03 公開日:2020-06-17 |
| # 量子猫状態の平衡 Equilibration of quantum cat states ( http://arxiv.org/abs/2003.04702v3 ) ライセンス: Link先を確認 | Tony Jin | (参考訳) まず,猫状態,すなわち巨視的量子重ね合わせ状態において作製された孤立エルゴード量子系の平衡特性について検討した。
我々の主な結果は、平均的にデコヒーレンスが作用しているにもかかわらず、定常状態のゆらぎの強さで見える初期量子コヒーレンスが残されていることを示すことである。
我々は、エルゴード系におけるz軸に沿ったランダム場を持つXXXスピン鎖上で得られた数値結果を用いて解析をバックアップし、理論と良好な定性的かつ定量的な一致を見出す。
また, 固有状態熱化仮説に類似した初期状態の微視的詳細を頼らずに, 一般統計アンサンブルから平衡量を計算できる枠組みを提示し, 検討した。 We study the equilibration properties of isolated ergodic quantum systems initially prepared in a cat state, i.e a macroscopic quantum superposition of states. Our main result consists in showing that, even though decoherence is at work in the mean, there exists a remnant of the initial quantum coherences visible in the strength of the fluctuations of the steady state. We back-up our analysis with numerical results obtained on the XXX spin chain with a random field along the z-axis in the ergodic regime and find good qualitative and quantitative agreement with the theory. We also present and discuss a framework where equilibrium quantities can be computed from general statistical ensembles without relying on microscopic details about the initial state, akin to the eigenstate thermalization hypothesis. | 翻訳日:2023-05-30 01:04:38 公開日:2020-06-17 |
| # 従来およびエキゾチックな1次元超流体における磁化率と絡み合いの線形マッピング Linear mapping between magnetic susceptibility and entanglement in conventional and exotic one-dimensional superfluids ( http://arxiv.org/abs/2003.08148v2 ) ライセンス: Link先を確認 | D. Arisa and V. V. Fran\c{c}a | (参考訳) 本研究では,ハバードモデルによる一次元フェルミオン格子系の金属,絶縁,従来およびエキゾチック極性超流動相における磁化率と絡み合いのマッピングについて検討した。
磁化率測定による絡み合いの定量化に関する最近の提案に動機づけられ,ゼロ温度における2つの量間の内在関係を数値的に検討した。
金属絶縁体転移とBCS-BECクロスオーバーのシグネチャは見いだされるが, 従来およびエキゾチック超流動では磁化率と絡み合いのマッピングは驚くほど単純で, 逆比例的である。
この線形挙動は、現在の低温原子と凝縮物質実験における絡み合いの定量化に利用することができる。 We investigate the mapping between magnetic susceptibility and entanglement in the metallic, insulating, conventional and exotic polarized superfluid phases of one-dimensional fermionic lattice systems as described by the Hubbard model. Motivated by recent proposals for determining and quantifying entanglement via magnetic susceptibility measurements, we numerically study the intrinsic relationship between the two quantities at zero temperature. We find signatures of the metal-insulator transition and of the BCS-BEC crossover, but the most relevant result is that for conventional and exotic superfluids the mapping between magnetic susceptibility and entanglement is surprisingly simple: inversely proportional. This linear behavior could be exploited to quantify entanglement in current cold-atoms and condensed-matter experiments. | 翻訳日:2023-05-28 20:14:48 公開日:2020-06-17 |
| # 厳密な可能性と$D$-Majorization Strict Positivity and $D$-Majorization ( http://arxiv.org/abs/2004.05613v4 ) ライセンス: Link先を確認 | Frederik vom Ende | (参考訳) 量子熱力学によって動機づけられた我々はまず、正の定値を正の定値に再び正の定値に写す線型写像という厳密な肯定性の概念を考察する。
厳密な肯定性は任意のフルランク状態の作用によって決定され、非制限正の写像の像が低次元部分代数の中に存在することを示す。
これは、そのような写像と同一性チャネルの間の距離が1より低いことを意味する。
厳密な正の積の概念は、正のベクトル$d$に対する実ベクトル上の偏化順序を正の定行列$D$に関する平方行列上の偏化に一般化するときに便利である。
2次元の場合、有限個のトレースノルムの不等式を通してこの順序を特徴づけ、さらにその順序性のいくつかを調べる。
特に、一意的な極小元と極大元を許容する。
後者も一意であり、$D$ の最小固有値が多重性を持つときのみである。 Motivated by quantum thermodynamics we first investigate the notion of strict positivity, that is, linear maps which map positive definite states to something positive definite again. We show that strict positivity is decided by the action on any full-rank state, and that the image of non-strictly positive maps lives inside a lower-dimensional subalgebra. This implies that the distance of such maps to the identity channel is lower bounded by one. The notion of strict positivity comes in handy when generalizing the majorization ordering on real vectors with respect to a positive vector $d$ to majorization on square matrices with respect to a positive definite matrix $D$. For the two-dimensional case we give a characterization of this ordering via finitely many trace norm inequalities and, moreover, investigate some of its order properties. In particular it admits a unique minimal and a maximal element. The latter is unique as well if and only if minimal eigenvalue of $D$ has multiplicity one. | 翻訳日:2023-05-25 02:28:10 公開日:2020-06-17 |
| # 香港・奥羽・マンデル干渉による非定常時間レーザーモード Hong-Ou-Mandel interference of unconventional temporal laser modes ( http://arxiv.org/abs/2004.11259v2 ) ライセンス: Link先を確認 | Sascha Agne, Jeongwan Jin, Katanya B. Kuntz, Filippo M. Miatto, Jean-Philippe Bourgoin and Thomas Jennewein | (参考訳) ホン・ウー・マンデル(hom)効果は最も顕著な量子干渉現象の1つであり、量子技術における多くの応用の中心である。
基本効果は、2つの独立かつ識別不能な光子がビームスプリッタに重畳されたときに現れ、2つの出力ポート間の一致を完全に抑制する。
しかしながら、フィールドがコヒーレンス(連続波レーザー)やモードエンベロープ特性(パルスレーザー)を共有する場合、より少ない研究である。
この場合、コヒーレンス長時間スケールの従来のHOMディップとパルス長スケールの構造化HOM干渉パターンの2つの異なる同時に同時に発生するHOM干渉機構の存在を期待する。
任意の時間波形と時間の一部重なりしか持たないレーザー場に対するhom干渉を記述する理論的枠組みを開発した。
我々は、高速偏光変調と時間分解単一光子検出により、連続波レーザーからの構造HOM干渉を観測し、これらの構造HOMディップを解く。 The Hong-Ou-Mandel (HOM) effect ranks among the most notable quantum interference phenomena, and is central to many applications in quantum technologies. The fundamental effect appears when two independent and indistinguishable photons are superimposed on a beam splitter, which achieves a complete suppression of coincidences between the two output ports. Much less studied, however, is when the fields share coherence (continuous-wave lasers) or mode envelope properties (pulsed lasers). In this case, we expect the existence of two distinct and concurrent HOM interference regimes: the traditional HOM dip on the coherence length time scale, and a structured HOM interference pattern on the pulse length scale. We develop a theoretical framework that describes HOM interference for laser fields having arbitrary temporal waveforms and only partial overlap in time. We observe structured HOM interference from a continuous-wave laser via fast polarization modulation and time-resolved single photon detection fast enough to resolve these structured HOM dips. | 翻訳日:2023-05-22 08:19:34 公開日:2020-06-17 |
| # 自動想像支援システムの設計と開発 Design and Development of an Automated Coimagination Support System ( http://arxiv.org/abs/2006.04864v2 ) ライセンス: Link先を確認 | John Noel Victorino, Naoto Fukunaga, and Tomohiro Shibata | (参考訳) 補間法(英: coimagination method)は、3つの認知機能(認識記憶、注意の分割、計画)を活性化するための対話的コミュニケーションを支援する新しい手法である。
これらの認知機能は軽度認知障害(MCI)の初期段階で低下することが知られている。
前回の研究で、実験者は異なる医療機関で異なる設定をテストした。
これらの実験のうち、様々な測定方法を導入し、分析し、提示した。
しかし,参加者による構成変更の容易さや,取得したデータの迅速な評価は依然として困難であった。
また,共想像法を行うためには,観測者や測定者が必要である。
本稿では,このような課題に対処できる自動共想像支援システムの初期設計と開発を提案する。
我々は,健常者でも高齢者でも自然な音声インタフェースで容易に使用できる自動共想像支援システムの実現を目指している。
本稿では,高齢者を対象に提案した機能がどのように機能するかを評価することを目的とする。
健常者,特に高齢者を対象に予備実験を行った。
健常者では, 高齢者よりも発話時間と質問応答時間が長かったが, 後者では発話準備時間が長かった。
これらの予備実験では、初期システムは異なる構成を扱う能力を示した。
健康な参加者は音声でシステムを操作し、高齢者の参加者は最小限の支援でシステムを利用できる。 Coimagination method is a novel approach to support interactive communication for activating three (3) cognitive functions: episodic memory, division of attention, and planning. These cognitive functions are known to decline at an early stage of mild cognitive impairment (MCI). In previous studies about the coimagination method, experimenters tested different settings in different care institutions. Out of these experiments, various measures were introduced, analyzed, and presented. However, ease of changing configuration based on participants, and a quick assessment of captured data remained challenging. Also, several observers and measurers are needed to conduct the coimagination method. In this paper, we propose the initial design and development of an automated coimagination support system that can handle such challenges. We aim to have an automated coimagination support system that can be used easily either by healthy participants or elderly participants via a natural voice interface. In this paper, our focus is to measure how well our proposed features work with elderly participants. Preliminary experiments were conducted with healthy participants, and notably, with actual elder participants. Healthy participants experienced longer speaking round and question-and-answer round than with elderly participants; while, the latter had preparation time before the speaking round. In these preliminary experiments, our initial system showed the capability to handle different configurations. Healthy participants have operated the system using voice, while elderly participants managed to use the system with minimal assistance. | 翻訳日:2023-05-17 01:49:26 公開日:2020-06-17 |
| # Clebsch-Gordan係数の再帰計算の改善 Improved Recursive Computation of Clebsch-Gordan Coefficients ( http://arxiv.org/abs/2006.04267v2 ) ライセンス: Link先を確認 | Guanglang Xu | (参考訳) Clebsch-Gordan(C-G)係数の高速で正確かつ安定な計算は、例えば光散乱シミュレーション、多極体の変換、量子物理学、化学などにおいて常に望ましい。
c-g係数を計算する現在の再帰的手法は、数値オーバーフローや下方流のために大きな量子数に対して不安定であることが多い。
本稿では,C-G係数の再帰計算のための改良された手法,いわゆる符号出現再帰法を提案する。
その結果,提案手法は効率を損なうことなく計算の安定性を著しく向上し,非常に大きな量子数であってもC-G係数の正確な値が得られることがわかった。 Fast, accurate, and stable computation of the Clebsch-Gordan (C-G) coefficients is always desirable, for example, in light scattering simulations, the translation of the multipole fields, quantum physics and chemistry. Current recursive methods for computing the C-G coefficients are often unstable for large quantum numbers due to numerical overflow or underflow. In this paper, we present an improved method, the so-called sign-exponent recurrence, for the recursive computation of C-G coefficients. The result shows that the proposed method can significantly improve the stability of the computation without losing its efficiency, producing accurate values for the C-G coefficients even with very large quantum numbers. | 翻訳日:2023-05-16 09:07:23 公開日:2020-06-17 |
| # クロストークのシミュレーションと緩和 Simulating and mitigating crosstalk ( http://arxiv.org/abs/2006.09596v1 ) ライセンス: Link先を確認 | Adam Winick, Joel J. Wallman, and Joseph Emerson | (参考訳) 量子情報プロセッサ上でのクロストーク効果をモデル化するための,効率的かつスケーラブルなフレームワークについて述べる。
最適制御手法を適用することで、局所的および非局所的なクロストークを持つシステム上で任意の高忠実な並列操作をチューニングする方法を示す。
シミュレーションでは、超伝導トランスモン量子ビット100の2次元正方形アレイの誤差が劇的に低くなった。
これらの結果から, 製造中に好ましくない相互作用を取り除こうとするよりも, 注意深いキャラクタリゼーションと制御最適化により, その効果を軽減できることが示唆された。 We describe an efficient and scalable framework for modeling crosstalk effects on quantum information processors. By applying optimal control techniques, we show how to tuneup arbitrary high-fidelity parallel operations on systems with substantial local and nonlocal crosstalk. Simulations show drastically lower error rates for a 2D square array of 100 superconducting transmon qubits. These results suggest that rather than striving to engineer away undesirable interactions during fabrication, we can largely mitigate their effects through careful characterization and control optimization. | 翻訳日:2023-05-13 15:59:59 公開日:2020-06-17 |
| # 量子アニーラを用いた地球観測衛星の画像取得計画 Image Acquisition Planning for Earth Observation Satellites with a Quantum Annealer ( http://arxiv.org/abs/2006.09724v1 ) ライセンス: Link先を確認 | Tobias Stollenwerk, Vincent Michaud, Elisabeth Lobe, Mathieu Picard, Achim Basermann, Thierry Botter | (参考訳) 本稿では,d-wave 2000q量子アニーラを用いた地球観測ミッションの計画のための最新の古典的最適化手法の比較研究を行う。
問題は、衛星の制約に従わずに高価値の画像を取得することである。
実世界の問題に近づき,現実的なシナリオをシミュレートしてベンチマーク問題を構築した。
この結果から, 量子アニール法は古典的解法よりも高速に動作可能であることがわかった。
さらに,量子アニーラの解質は,小さな問題に対して操作的に使用されるヒューリスティック法に匹敵するものの,量子アニーラの精度が限られているため,急速に劣化することがわかった。 We present a comparison study of state-of-the-art classical optimisation methods to a D-Wave 2000Q quantum annealer for the planning of Earth observation missions. The problem is to acquire high value images while obeying the attitude manoeuvring constraint of the satellite. In order to investigate close to real-world problems, we created benchmark problems by simulating realistic scenarios. Our results show that a tuned quantum annealing approach can run faster than a classical exact solver for some of the problem instances. Moreover, we find that the solution quality of the quantum annealer is comparable to the heuristic method used operationally for small problem instances, but degrades rapidly due to the limited precision of the quantum annealer. | 翻訳日:2023-05-13 15:58:11 公開日:2020-06-17 |
| # 三元系における一次元遅延量子ウォーク One-Dimensional Lazy Quantum walk in Ternary System ( http://arxiv.org/abs/2006.09712v1 ) ライセンス: Link先を確認 | Amit Saha, Sudhindu Bikash Mandal, Debasri Saha, and Amlan Chakrabarti | (参考訳) 量子ウォークは、量子アルゴリズムや量子シミュレーションの開発において重要な役割を果たす。
ここでは1次元の3状態量子ウォーク(lazy quantum walk)を示し、三元量子論理における回路実現の等価性を示す。
歩行者が多量子状態に進化する位置空間の適切な論理的マッピングを用いて、3次量子系における1次元位置空間における遅延量子ウォークの実装に最も近い位置空間を考慮した効率的な量子回路を提案する。
また,3量子状態空間に対する例回路を用いた$n$-qutrit三元系の拡張性についても論じる。 Quantum walks play an important role for developing quantum algorithms and quantum simulations. Here we present one dimensional three-state quantum walk(lazy quantum walk) and show its equivalence for circuit realization in ternary quantum logic for the first of its kind. Using an appropriate logical mapping of the position space on which a walker evolves onto the multi-qutrit states, we present efficient quantum circuits considering the nearest neighbour position space for the implementation of lazy quantum walks in one-dimensional position space in ternary quantum system. We also address scalability in terms of $n$-qutrit ternary system with example circuits for a three qutrit state space. | 翻訳日:2023-05-13 15:57:59 公開日:2020-06-17 |
| # 環境破壊的確率的傾向--ビデオゲームプレイヤーの知覚的・行動学的研究 On the environment-destructive probabilistic trends: a perceptual and behavioral study on video game players ( http://arxiv.org/abs/2006.09706v1 ) ライセンス: Link先を確認 | Quan-Hoang Vuong, Manh-Toan Ho, Minh-Hoang Nguyen, Thanh-Hang Pham, Hoang-Anh Ho, Thu-Trang Vuong, and Viet-Phuong La | (参考訳) 現在、ゲームは世界で最も人気のあるエンターテイメントである。
様々な研究により、ゲームがプレイヤーの知覚や行動にどう影響するかが示され、エンターテイメントを超えた目的の機会がもたらされた。
この研究は、リアルタイムのライフシミュレーションゲームであるAnimal Crossing: New Horizons(ACNH)を、ビデオゲームが人間の環境知覚にどのように影響するかのユニークなケーススタディとして用いている。
ACNH選手のサーベイとハミルトンMCMC技術による584の観測データを用いて,ゲーム内行動と知覚の関係について検討した。
この結果は,ゲーム内環境をプレイヤーの認識にも拘わらず活用する確率的傾向を示し,商業的ゲームデザインの単純化は,プレイヤーが環境保護活動に参加する機会を見落としていることが示唆された。 Currently, gaming is the world's favorite form of entertainment. Various studies have shown how games impact players' perceptions and behaviors, prompting opportunities for purposes beyond entertainment. This study uses Animal Crossing: New Horizons (ACNH), a real-time life-simulation game, as a unique case study of how video games can affect humans' environmental perceptions. A dataset of 584 observations from a survey of ACNH players and the Hamiltonian MCMC technique has enabled us to explore the relationship between in-game behaviors and perceptions. The findings indicate a probabilistic trend towards exploiting the in-game environment despite players' perceptions, suggesting that the simplification of commercial game design may overlook opportunities to engage players in pro-environmental activities. | 翻訳日:2023-05-13 15:57:49 公開日:2020-06-17 |
| # Wigner-Yanaseスキュー情報に基づく不確実性関係 Uncertainty relations based on Wigner-Yanase skew information ( http://arxiv.org/abs/2006.09600v1 ) ライセンス: Link先を確認 | Xiaofen Huang, Tinggui Zhang and Naihuan Jing | (参考訳) 本稿では,wigner-yanaseスキュー情報に基づく新たな不確定関係を得るために,一定のノルム不等式を用いる。
まず、任意の有限個のオブザーバブルに対して、前の下限よりも高い不確実性関係を導出する。
次に、2つの非互換可観測性に対する新しい重み付き不確実性関係を提案する。
また、スキュー情報による2つの分離可能な基準も得られる。 In this paper, we use certain norm inequalities to obtain new uncertain relations based on the Wigner-Yanase skew information. First for an arbitrary finite number of observables we derive an uncertainty relation outperforming previous lower bounds. We then propose new weighted uncertainty relations for two noncompatible observables. Two separable criteria via skew information are also obtained. | 翻訳日:2023-05-13 15:56:32 公開日:2020-06-17 |
| # トポロジカル絶縁膜におけるZitterbewegungによるRKKY結合 Zitterbewegung-mediated RKKY coupling in topological insulator thin films ( http://arxiv.org/abs/2006.09598v1 ) ライセンス: Link先を確認 | Cong Son Ho, Zhuo Bin Siu, Seng Ghee Tan, Mansoor B. A. Jalil | (参考訳) トポロジカル絶縁体(TI)薄膜におけるイテナント電子の動的挙動をマルチバンド分解法を用いて検討した。
2次元膜中の電子軌道は異方性であり、特性領域に閉じ込められていることを示す。
注目すべきは、電子軌道の閉じ込めと異方性は、膜厚を調整したり、または面内磁場を印加することによって制御できるTI系のトポロジ相転移に関連付けられることである。
さらに、位相遷移点におけるTI薄膜系において持続的な電子ウェーブレット振動を達成でき、ジッタ運動(Zitterbewegung)の実験的検出を支援することができる。
TI薄膜における電子媒介RKKY結合など、他の輸送関連効果を説明する上での電子運動の顕微鏡像の影響についても論じる。 The dynamics of itinerant electrons in topological insulator (TI) thin films is investigated using a multi-band decomposition approach. We show that the electron trajectory in the 2D film is anisotropic and confined within a characteristic region. Remarkably, the confinement and anisotropy of the electron trajectory are associated with the topological phase transition of the TI system, which can be controlled by tuning the film thickness and/or applying an in-plane magnetic field. Moreover, persistent electron wavepacket oscillation can be achieved in the TI thin film system at the phase transition point, which may assist in the experimental detection of the jitter motion (Zitterbewegung). The implications of the microscopic picture of electron motion in explaining other transport-related effects, e.g., electron-mediated RKKY coupling in the TI thin film system, are also discussed. | 翻訳日:2023-05-13 15:56:26 公開日:2020-06-17 |
| # 開量子系における平均散逸熱に対する下界 Lower bounds for the mean dissipated heat in an open quantum system ( http://arxiv.org/abs/2006.09960v1 ) ライセンス: Link先を確認 | Kazunari Hashimoto, Bassano Vacchini, and Chikako Uchiyama | (参考訳) ランドウアーの原理は、情報処理の最小作業コストだけでなく、情報の物理的意味に関する視点を提供する。
計算的に不可逆な過程におけるエントロピーの減少と消散熱の低い境界との関係は、ほとんどの研究で研究されているが、最近の研究は熱の熱力学的変動に関連する別の下限も提供してきた。
概念的に独立した2つの境界の共存は、それらの密接な関係や密接性の比較研究を刺激してきたが、これらの研究は有限再帰時間のために消去された情報の復活を可能にする有限量子システムに関するものである。
我々は、これらの比較研究を無限再帰時間を持つ開放量子系にさらに広げる。
初期状態へのそれらの依存を調べることで、熱力学的境界は初期コヒーレンスから独立するのに対し、エントロピー境界は初期コヒーレンスと個体群の両方に依存する。
初期状態の純度によって重要な役割が示される: エントロピー境界は、初期状態が十分に混合されたときにより強固であり、熱力学的境界は、初期状態が純粋な状態に近いときより強固である。
これらの傾向は、有限系で得られた以前の結果と一致している。 Landauer's principle provides a perspective on the physical meaning of information as well as on the minimum working cost of information processing. Whereas most studies have related the decrease in entropy during a computationally irreversible process to a lower bound of dissipated heat, recent efforts have also provided another lower bound associated with the thermodynamic fluctuation of heat. The coexistence of the two conceptually independent bounds has stimulated comparative studies of their close relationship or tightness; however, these studies were concerned with finite quantum systems that allowed the revival of erased information because of a finite recurrence time. We broaden these comparative studies further to open quantum systems with infinite recurrence times. By examining their dependence on the initial state, we find the independence of the thermodynamic bound from the initial coherence, whereas the entropic bound depends on both the initial coherence and population. A crucial role is indicated by the purity of the initial state: the entropic bound is tighter when the initial condition is sufficiently mixed, whereas the thermodynamic bound is tighter when the initial state is close to a pure state. These trends are consistent with previous results obtained for finite systems. | 翻訳日:2023-05-13 15:48:29 公開日:2020-06-17 |
| # 重ね合わせ事象を持つ確率論:量子力学の方向における古典的一般化 Probability Theory with Superposition Events: A Classical Generalization in the Direction of Quantum Mechanics ( http://arxiv.org/abs/2006.09918v1 ) ライセンス: Link先を確認 | David Ellerman | (参考訳) 有限確率論では、事象は結果集合の部分集合である。
部分集合は1次元列ベクトルで表現できる。
事象の表現を2次元行列に拡張することで、「重ね合わせ事象」を導入することができる。
古典的事象、重畳事象、およびそれらの混合に対する確率は密度行列を用いて導入される。
すると、実験やこれらの全ての事象の「測定」の確率は、密度行列を用いて量子力学(qm)のように正確に決定できる。
また, 実験や「測定」によって誘導される密度行列の変換は, QMのようにルダース混合操作である。
そして最後に、機械をZ_2上のn次元ベクトル空間に移すことで、異なる基底集合は異なる結果集合となる。
有限確率論の「非可換」拡張は、多くのQMの特徴的な非古典的な結果をモデル化できるZ_2上の量子力学の教育モデルをもたらす。 In finite probability theory, events are subsets of the outcome set. Subsets can be represented by 1-dimensional column vectors. By extending the representation of events to two dimensional matrices, we can introduce "superposition events." Probabilities are introduced for classical events, superposition events, and their mixtures by using density matrices. Then probabilities for experiments or `measurements' of all these events can be determined in a manner exactly like in quantum mechanics (QM) using density matrices. Moreover the transformation of the density matrices induced by the experiments or `measurements' is the Luders mixture operation as in QM. And finally by moving the machinery into the n-dimensional vector space over Z_2, different basis sets become different outcome sets. That `non-commutative' extension of finite probability theory yields the pedagogical model of quantum mechanics over Z_2 that can model many characteristic non-classical results of QM. | 翻訳日:2023-05-13 15:47:48 公開日:2020-06-17 |
| # 希土類ドープナノ粒子における周波数多重コヒーレント光メモリ A Frequency-Multiplexed Coherent Electro-Optic Memory in Rare Earth Doped Nanoparticles ( http://arxiv.org/abs/2006.09847v1 ) ライセンス: Link先を確認 | Alexandre Fossati, Shuping Liu, Jenny Karlsson, Akio Ikesue, Alexandre Tallaire, Alban Ferrier, Diana Serrano, and Philippe Goldner | (参考訳) 光の量子記憶は、長距離量子通信や分散量子コンピューティングのような量子技術において必須の要素である。
近年の研究では、長い光学的およびスピンコヒーレンス寿命が希土類ドープナノ粒子で観測できることが示されており、例えば光や他の量子系との結合性を高めるためにバルク材料にエキサイティングな可能性をもたらしている。
本稿では、スタークエコー変調メモリ(semm)量子プロトコルを用いたeu$^{3+}$:y$_2$o$_3$ナノ粒子におけるコヒーレント光ストレージについて報告する。
まず,50kHz/(V/cm)のほぼ一定のStark係数を15GHz帯で測定し,ブロードバンド動作を期待する。
SEMMを使った光の保存は最大40$\mu$sの回数で実証される。
2つの異なる周波数を持つパルスも格納され、周波数多重化能力を確認し、メモリ高位相忠実度を示すために使用される。 Quantum memories for light are essential components in quantum technologies like long-distance quantum communication and distributed quantum computing. Recent studies have shown that long optical and spin coherence lifetimes can be observed in rare earth doped nanoparticles, opening exciting possibilities over bulk materials e.g. for enhancing coupling to light and other quantum systems, and material design. Here, we report on coherent light storage in Eu$^{3+}$:Y$_2$O$_3$ nanoparticles using the Stark Echo Modulation Memory (SEMM) quantum protocol. We first measure a nearly constant Stark coefficient of 50 kHz/(V/cm) across a bandwidth of 15 GHz, which is promising for broadband operation. Storage of light using SEMM is then demonstrated for times up to 40 $\mu$s. Pulses with two different frequencies are also stored, confirming frequency-multiplexing capability, and are used to demonstrate the memory high phase fidelity. | 翻訳日:2023-05-13 15:47:23 公開日:2020-06-17 |
| # 分子系コヒーレント光スピン界面による量子情報処理 --二核ユーロピウム錯体の光スピン状態偏光 Molecule-based coherent light-spin interfaces for quantum information processing -- optical spin state polarization in a binuclear Europium complex ( http://arxiv.org/abs/2006.09831v1 ) ライセンス: Link先を確認 | Kuppusamy Senthil Kumar, Diana Serrano, Aline M. Nonat, Beno\^it Heinrich, Lydia Karmazin, Lo\"ic J. Charbonni\`ere, Philippe Goldner, and Mario Ruben | (参考訳) 固体光量子情報処理(qip)の新興分野の成功は共鳴光材料へのアクセスに依存する。
希土類イオン(REIs)は、長い光およびスピンコヒーレンス寿命(T_2$)のような異常な光物理および磁気量子的性質のためにQIPプロトコルの候補となる。
しかし、REIを組み込んだ分子は、原子的に正確な量子チューナビリティ、固有のスケーラビリティ、大きなポータビリティといった利点があるにもかかわらず、QIPアプリケーションでは研究されていない。
As a first testimony of the usefulness of REI molecules for optical QIP applications, we demonstrate in this study that narrow spectral holes can be burned in the inhomogeneously broadened $^5$D$_0\to^7$F$_0$ optical transition of a binuclear Eu(III) complex, rendering a homogeneous linewidth ($\Gamma_h$) = 22 $\pm$ 1 MHz, which translates as $T_2 = 14.5$ $\pm$ 0.7 ns at 1.4 K. Moreover, long-lived spectral holes are observed, demonstrating efficient polarization of Eu(III) ground state nuclear spins, a fundamental requirement for all-optical spin initialization and addressing.
これらの結果は、REI系分子複合体を量子通信および処理への応用のための多用途コヒーレント光スピンインターフェースとしての有用性を解明する。 The success of the emerging field of solid-state optical quantum information processing (QIP) critically depends on the access to resonant optical materials. Rare-earth ions (REIs) are suitable candidates for QIP protocols due to their extraordinary photo-physical and magnetic quantum properties such as long optical and spin coherence lifetimes ($T_2$). However, molecules incorporating REIs, despite having advantageous properties such as atomically exact quantum tunability, inherent scalability, and large portability, have not yet been studied for QIP applications. As a first testimony of the usefulness of REI molecules for optical QIP applications, we demonstrate in this study that narrow spectral holes can be burned in the inhomogeneously broadened $^5$D$_0\to^7$F$_0$ optical transition of a binuclear Eu(III) complex, rendering a homogeneous linewidth ($\Gamma_h$) = 22 $\pm$ 1 MHz, which translates as $T_2 = 14.5$ $\pm$ 0.7 ns at 1.4 K. Moreover, long-lived spectral holes are observed, demonstrating efficient polarization of Eu(III) ground state nuclear spins, a fundamental requirement for all-optical spin initialization and addressing. These results elucidate the usefulness of REI-based molecular complexes as versatile coherent light-spin interfaces for applications in quantum communications and processing. | 翻訳日:2023-05-13 15:47:06 公開日:2020-06-17 |
| # 多部交絡のm-分離性の分類に必要な条件 Necessary conditions for classifying m-separability of multipartite entanglements ( http://arxiv.org/abs/2008.02730v1 ) ライセンス: Link先を確認 | Wen Xu, Chuan-Jie Zhu, Zhu-Jun Zheng and Shao-Ming Fei | (参考訳) 我々は任意の$n$-partite量子状態に対するブロッホベクトルのノルムについて研究する。
ノルムの厳密な上界は、個々の次元が異なる n$-partite system に対して導かれる。
これらの上限は分離性問題に対処するために用いられる。
n$-partite量子系における$\mathbf m$-分離可能な状態に必要な条件が提示される。
この上界に基づいて、多成分の絡み合いの分類を詳細な例で示す。 We study the norms of the Bloch vectors for arbitrary $n$-partite quantum states. A tight upper bound of the norms is derived for $n$-partite systems with different individual dimensions. These upper bounds are used to deal with the separability problems. Necessary conditions are presented for $\mathbf m$-separable states in $n$-partite quantum systems. Based on the upper bounds, classification of multipartite entanglement is illustrated with detailed examples. | 翻訳日:2023-05-13 15:40:09 公開日:2020-06-17 |
| # 広域データ分析 Wide-Area Data Analytics ( http://arxiv.org/abs/2006.10188v1 ) ライセンス: Link先を確認 | Rachit Agarwal and Jen Rexford (workshop co-chairs) with contributions from numerous workshop attendees | (参考訳) 私たちはますますデータ駆動の世界に住み、さまざまな種類のデータが多くの場所に分散しています。
場合によっては、センサー(携帯電話やストリートカメラなど)などの複数の場所からデータセットが収集される。
データは、特にアプリケーションが低レイテンシ、高コスト、低コスト、ユーザのプライバシ、規制制約を必要とする場合、生成する場所の近くで分析する必要がある。
その他のケースでは、大規模なデータセットがパブリッククラウド、プライベートクラウド、あるいはエッジクラウドコンピューティングサイト全体に分散し、より豊富な計算、ストレージ、帯域幅、エネルギーリソースを持つ。
多くの場合、分析の一部がエンドホストやエッジクラウド(ユーザのプライバシを尊重し、データ量を減らすため)で行われ、(より大きな計算とストレージリソースを活用するために)解析を完了するためにリモートクラウドに依存する。
広域データ分析は、地理的に分散したエンティティによって生成された、あるいは保存されたデータの分析である。
過去数年間、コンピュータサイエンス研究コミュニティのいくつかの部分が、複数の場所にまたがるデータを分析する効果的な方法を模索してきた。
特に、データベース、分散システム、コンピュータネットワーク、セキュリティとプライバシなど、"システム"研究のいくつかの領域が、これらのトピックを掘り下げている。
これらの研究サブコミュニティは、しばしば問題の異なる側面に注目し、異なる動機付けアプリケーションとユースケースを検討し、そのソリューションを異なる方法で設計し評価する。
これらの課題に対処するため、コンピューティングコミュニティコンソーシアム(CCC)は、2019年10月に、広域データ分析に焦点を当てた1.5日間のワークショップを開催した。
本報告は,ワークショップで議論された課題と結論をまとめたものである。 We increasingly live in a data-driven world, with diverse kinds of data distributed across many locations. In some cases, the datasets are collected from multiple locations, such as sensors (e.g., mobile phones and street cameras) spread throughout a geographic region. The data may need to be analyzed close to where they are produced, particularly when the applications require low latency, high, low cost, user privacy, and regulatory constraints. In other cases, large datasets are distributed across public clouds, private clouds, or edge-cloud computing sites with more plentiful computation, storage, bandwidth, and energy resources. Often, some portion of the analysis may take place on the end-host or edge cloud (to respect user privacy and reduce the volume of data) while relying on remote clouds to complete the analysis (to leverage greater computation and storage resources). Wide-area data analytics is any analysis of data that is generated by, or stored at, geographically dispersed entities. Over the past few years, several parts of the computer science research community have started to explore effective ways to analyze data spread over multiple locations. In particular, several areas of "systems" research - including databases, distributed systems, computer networking, and security and privacy - have delved into these topics. These research subcommunities often focus on different aspects of the problem, consider different motivating applications and use cases, and design and evaluate their solutions differently. To address these challenges the Computing Community Consortium (CCC) convened a 1.5-day workshop focused on wide-area data analytics in October 2019. This report summarizes the challenges discussed and the conclusions generated at the workshop. | 翻訳日:2023-05-13 15:40:04 公開日:2020-06-17 |
| # 立法再編シミュレーションにおける実証的検証の本質的役割 The Essential Role of Empirical Validation in Legislative Redistricting Simulation ( http://arxiv.org/abs/2006.10148v1 ) ライセンス: Link先を確認 | Benjamin Fifield, Kosuke Imai, Jun Kawahara, Christopher T. Kenny | (参考訳) 選挙や有権者に関する詳細なデータが利用可能になるにつれて、議会が再選計画を採用し、裁判所がその合法性を決定する際に、再選シミュレーション手法がますます重要な役割を果たすようになった。
これらのシミュレーション手法は、統一性、集団パリティ、コンパクト性といった法定ガイドラインと要件を満たす全ての再編成計画の代表的サンプルを得るように設計されている。
提案された再資源化計画は、パルチザンフェアネスの指標に従って、このサンプルに対する外れ値を構成する場合、ゲリーマンダードと見なすことができる。
使用量の増加にもかかわらず,シミュレーション手法の精度を実証的に検証する努力は不十分である。
本研究では,すべての再帰計画を効率的に列挙し,この個体群から独立した一様サンプルを抽出できる計算手法を適用した。
このアルゴリズムは,数百の地理的単位を持つ状態に拡張可能であることを示す。
最後に,既存のシミュレーション手法が現実的な検証データセットに与える影響を実証的に検証する。 As granular data about elections and voters become available, redistricting simulation methods are playing an increasingly important role when legislatures adopt redistricting plans and courts determine their legality. These simulation methods are designed to yield a representative sample of all redistricting plans that satisfy statutory guidelines and requirements such as contiguity, population parity, and compactness. A proposed redistricting plan can be considered gerrymandered if it constitutes an outlier relative to this sample according to partisan fairness metrics. Despite their growing use, an insufficient effort has been made to empirically validate the accuracy of the simulation methods. We apply a recently developed computational method that can efficiently enumerate all possible redistricting plans and yield an independent uniform sample from this population. We show that this algorithm scales to a state with a couple of hundred geographical units. Finally, we empirically examine how existing simulation methods perform on realistic validation data sets. | 翻訳日:2023-05-13 15:39:35 公開日:2020-06-17 |
| # 情報を利用した量子エンジンの実装 Implementation of a Quantum Engine Fuelled by Information ( http://arxiv.org/abs/2006.10136v1 ) ライセンス: Link先を確認 | John P. S. Peterson, Roberto S. Sarthour and Raymond Laflamme | (参考訳) 本稿では,情報によって駆動される量子エンジンの完全サイクルの実装について述べる。
このエンジンはszilardエンジンの量子バージョンであり、情報を使って環境から熱を抽出し、それを完全に作業に変換する。
我々の実験では、この研究は、最初は地面状態で、その励起状態に到達するために用いられる。
サイクルの各ステップの後に、エンジンの各コンポーネントのエネルギーと状態を測定し、それらを理論的な予測と比較し、サイクルが高精度に実装されていることを示す。
また,熱抽出後の環境からエンジンが十分に分離されていることを示す実験を行い,熱の完全変換を示すために重量のエントロピーを測定した。
そこで我々は, 単一貯留層エンジンの燃料として情報を利用することを実証した。 Here, we show the implementation of a complete cycle of a quantum engine fuelled by information. This engine is a quantum version of the Szilard engine, where information is used to extract heat from the environment and fully convert it into work. In our experiment, this work is used to make a weight, initially in the ground state, reach its excited state. We measure the energy and the state of each component of the engine, after each step of the cycle, and compare them with the theoretical prediction to show that the cycle is implemented with high precision. We also perform experiments to show that the engine is well isolated from the environment after the heat extraction, and we measure the entropy of the weight to show the full conversion of heat into work. Thus, we successfully demonstrate that information can be used as a fuel for single-reservoir engines. | 翻訳日:2023-05-13 15:39:19 公開日:2020-06-17 |
| # パルス列最適化のための磁場勾配の高速シミュレーション Fast Simulation of Magnetic Field Gradients for Optimization of Pulse Sequences ( http://arxiv.org/abs/2006.10133v1 ) ライセンス: Link先を確認 | John P. S. Peterson, Hemant Katiyar and Raymond Laflamme | (参考訳) 核磁気共鳴(NMR)におけるパルス磁場勾配(PFG)のシミュレーション法について検討した。
効率的なシミュレーションには時間と空間の離散化が必要である。
両離散化について検討し,実験に必要な精度に応じて最適な離散化値を選択するためのガイドラインを提供する。
複数のユニタリ進化とpfgからなる列を高精度にシミュレートするために、空間で必要となる最小の分割数を示す理論的研究とシミュレーションを提供する。
PFGの高速なシミュレーションにより、PFG、高周波パルス、自由進化からなるシーケンスを最適化し、非単体進化(量子チャネル)を実現することができることを示す。
我々の研究が成功した証拠として、2種類の実験を行った。
まず、2つの量子チャネルを実装し、その結果を理論的予測と比較する。
第2の実験では、pfgの高速シミュレーションを用いて、これまでのどの手順よりもノイズ比が良い擬似純状態を生成するシーケンスを最適化し、実装した。 We study how to simulate, efficiently, pulse field gradients (PFG) used in nuclear magnetic resonance (NMR). An efficient simulation requires discretization in time and space. We study both discretizations and provide a guideline to choose best discretization values depending on the precision required experimentally. We provide a theoretical study and simulation showing the minimum number of divisions we need in space for simulating, with high precision, a sequence composed of several unitary evolution and PFG. We show that the fast simulation of PFG allow us to optimize sequences composed of PFG, radio-frequency pulses and free evolution, to implement non-unitary evolution (quantum channels). As an evidence of the success of our work, we performed two types of experiments. First, we implement two quantum channels and compare the results with their theoretical predictions. In the second experiment, we used the fast simulation of PFG to optimize and implement a sequence to prepare pseudo pure state with better signal to noise ratio than any known procedure till now. | 翻訳日:2023-05-13 15:39:06 公開日:2020-06-17 |
| # 文脈カテゴリー列生成のための適応的相関モンテカルロ Adaptive Correlated Monte Carlo for Contextual Categorical Sequence Generation ( http://arxiv.org/abs/1912.13151v2 ) ライセンス: Link先を確認 | Xinjie Fan, Yizhe Zhang, Zhendong Wang, Mingyuan Zhou | (参考訳) シーケンス生成モデルは、一般的に、ユーザ定義メトリクスよりも強化学習によって洗練される。
しかし,高勾配分散は,本手法の実用化を妨げている。
本手法を安定化するために, 分散制御のための相関モンテカルロ (mc) ロールアウトを評価するポリシー勾配推定器を用いて, カテゴリ列の文脈的生成に適応する。
相関関係のため、ユニークなロールアウトの数はランダムであり、モデルの不確実性に適応する。
また,二分木ソフトマックスモデルに相関したMCロールアウトを用いることで,各カテゴリアクションをバイナリアクション列に分解することで,大語彙シナリオの高生成コストを低減できることを示す。
ニューラルプログラム合成法と画像キャプション法の両方について評価を行った。
提案手法は, 関連するベースラインよりも低い勾配分散と一貫した改善をもたらす。 Sequence generation models are commonly refined with reinforcement learning over user-defined metrics. However, high gradient variance hinders the practical use of this method. To stabilize this method, we adapt to contextual generation of categorical sequences a policy gradient estimator, which evaluates a set of correlated Monte Carlo (MC) rollouts for variance control. Due to the correlation, the number of unique rollouts is random and adaptive to model uncertainty; those rollouts naturally become baselines for each other, and hence are combined to effectively reduce gradient variance. We also demonstrate the use of correlated MC rollouts for binary-tree softmax models, which reduce the high generation cost in large vocabulary scenarios by decomposing each categorical action into a sequence of binary actions. We evaluate our methods on both neural program synthesis and image captioning. The proposed methods yield lower gradient variance and consistent improvement over related baselines. | 翻訳日:2023-01-16 20:15:01 公開日:2020-06-17 |
| # ワンホップ線形モデルを用いた簡易かつ効果的なグラフオートエンコーダ Simple and Effective Graph Autoencoders with One-Hop Linear Models ( http://arxiv.org/abs/2001.07614v3 ) ライセンス: Link先を確認 | Guillaume Salha, Romain Hennequin, Michalis Vazirgiannis | (参考訳) ここ数年、グラフオートエンコーダ(AE)と変分オートエンコーダ(VAE)は強力なノード埋め込み手法として登場し、リンク予測やノードクラスタリングといった課題に期待できるパフォーマンスを実現した。
グラフAE、VAEおよびそれらの拡張のほとんどは、ノードのベクトル空間表現を学ぶために、多層グラフ畳み込みネットワーク(GCN)エンコーダに依存している。
本稿では,多くのアプリケーションにおいてGCNエンコーダは不要に複雑であることを示す。
グラフの直接近傍(ワンホップ)隣接行列において、演算が少なく、パラメータが少なく、アクティベーション関数が存在しないような、より単純で解釈可能な線形モデルで置き換えることを提案する。
上記の2つのタスクに対して、この単純なアプローチは、多くの実世界のグラフに対して、GCNベースのグラフAEとVAEの競合性能に一貫して到達していることを示す。
これらの結果に基づいて,複雑なグラフ ae と vae を比較するために,これらのデータセットを繰り返し使用することの関連性についても疑問を呈する。 Over the last few years, graph autoencoders (AE) and variational autoencoders (VAE) emerged as powerful node embedding methods, with promising performances on challenging tasks such as link prediction and node clustering. Graph AE, VAE and most of their extensions rely on multi-layer graph convolutional networks (GCN) encoders to learn vector space representations of nodes. In this paper, we show that GCN encoders are actually unnecessarily complex for many applications. We propose to replace them by significantly simpler and more interpretable linear models w.r.t. the direct neighborhood (one-hop) adjacency matrix of the graph, involving fewer operations, fewer parameters and no activation function. For the two aforementioned tasks, we show that this simpler approach consistently reaches competitive performances w.r.t. GCN-based graph AE and VAE for numerous real-world graphs, including all benchmark datasets commonly used to evaluate graph AE and VAE. Based on these results, we also question the relevance of repeatedly using these datasets to compare complex graph AE and VAE. | 翻訳日:2023-01-07 23:43:27 公開日:2020-06-17 |
| # ソーシャルメディアプラットフォームにおける不満に基づくつぶやきの反復的識別手法 An Iterative Approach for Identifying Complaint Based Tweets in Social Media Platforms ( http://arxiv.org/abs/2001.09215v2 ) ライセンス: Link先を確認 | Gyanesh Anand, Akash Gautam, Puneet Mathur, Debanjan Mahata, Rajiv Ratn Shah, Ramit Sawhney | (参考訳) Twitterは、ユーザーがさまざまな問題について意見を述べるソーシャルメディアプラットフォームだ。
不満や苦情を提供する投稿は、民間または公共の組織によってサービスを改善するために利用でき、迅速に低コストのアセスメントを評価できる。
本稿では,トランスポートドメインに関連する苦情ベースのポストを識別することを目的とした反復的手法を提案する。
研究目的の新たなデータセットの公開とともに,総合的な評価を行う。 Twitter is a social media platform where users express opinions over a variety of issues. Posts offering grievances or complaints can be utilized by private/ public organizations to improve their service and promptly gauge a low-cost assessment. In this paper, we propose an iterative methodology which aims to identify complaint based posts pertaining to the transport domain. We perform comprehensive evaluations along with releasing a novel dataset for the research purposes. | 翻訳日:2023-01-07 05:26:21 公開日:2020-06-17 |
| # 残留アーキテクチャのランダムカーネルについて On Random Kernels of Residual Architectures ( http://arxiv.org/abs/2001.10460v4 ) ライセンス: Link先を確認 | Etai Littwin, Tomer Galanti, Lior Wolf | (参考訳) ResNets と DenseNets のニューラルタンジェントカーネル (NTK) に対して有限幅および深さ補正を導出する。
解析により、有限サイズの残差アーキテクチャは、バニラネットワークよりも「カーネルレジーム」にかなり近い初期化されていることが判明した: スキップ接続を使用しないネットワークでは、ntkへのコンバウンスでは、層幅を増加させながら、深さを固定する1つが必要である。
この結果から,ResNetsでは,深さと幅が同時に無限大となるとNTKへの収束が生じる可能性が示唆された。
しかし、密度ネットでは、幅が無限になるにつれて、ntkの限界への収束が保証され、深さと重みのスケールとは無関係である。
実験では,理論結果を検証し,ランダムな勾配特徴を持つ核回帰に対する深い再ネットと高密度ネットの利点を実証した。 We derive finite width and depth corrections for the Neural Tangent Kernel (NTK) of ResNets and DenseNets. Our analysis reveals that finite size residual architectures are initialized much closer to the "kernel regime" than their vanilla counterparts: while in networks that do not use skip connections, convergence to the NTK requires one to fix the depth, while increasing the layers' width. Our findings show that in ResNets, convergence to the NTK may occur when depth and width simultaneously tend to infinity, provided with a proper initialization. In DenseNets, however, convergence of the NTK to its limit as the width tends to infinity is guaranteed, at a rate that is independent of both the depth and scale of the weights. Our experiments validate the theoretical results and demonstrate the advantage of deep ResNets and DenseNets for kernel regression with random gradient features. | 翻訳日:2023-01-06 02:16:41 公開日:2020-06-17 |
| # Project CLAI:AIエージェントのための新しい環境としてコマンドラインを計測する Project CLAI: Instrumenting the Command Line as a New Environment for AI Agents ( http://arxiv.org/abs/2002.00762v2 ) ライセンス: Link先を確認 | Mayank Agarwal, Jorge J. Barroso, Tathagata Chakraborti, Eli M. Dow, Kshitij Fadnis, Borja Godoy, Madhavan Pallan, Kartik Talamadupula | (参考訳) このホワイトペーパーは、コマンドラインインターフェース(CLI)にAIのパワーをもたらすことを目的としたProject CLAI(Command Line AI)についてレポートする。
CLAIプラットフォームは、CLIを、AI研究者がコマンドラインを、従来のAIエージェントアーキテクチャと同じように、シンプルなセンスアクティベートAPIを使用するようにインターフェース可能な汎用環境として、克服するための新しい環境として設定する。
本稿では,clai対応端末のシステムフットプリントを定量的に評価し,この設計により実現される新しいエンドユーザーインタラクションパターンの活用事例を例示し,プラットフォームの設計と実装を詳細に検討する。
また、内部調査からclaiの機能に関する初期のユーザーフィードバックについても報告する。 This whitepaper reports on Project CLAI (Command Line AI), which aims to bring the power of AI to the command line interface (CLI). The CLAI platform sets up the CLI as a new environment for AI researchers to conquer by surfacing the command line as a generic environment that researchers can interface to using a simple sense-act API, much like the traditional AI agent architecture. In this paper, we discuss the design and implementation of the platform in detail, through illustrative use cases of new end user interaction patterns enabled by this design, and through quantitative evaluation of the system footprint of a CLAI-enabled terminal. We also report on some early user feedback on CLAI's features from an internal survey. | 翻訳日:2023-01-05 06:47:16 公開日:2020-06-17 |
| # 単層reluネットワークのグローバルロスランドスケープの理解, その1:理論 Understanding Global Loss Landscape of One-hidden-layer ReLU Networks, Part 1: Theory ( http://arxiv.org/abs/2002.04763v2 ) ライセンス: Link先を確認 | Bo Liu | (参考訳) 単層reluネットワークでは、すべての可微分極小が可微分領域内でグローバルであることが証明される。
ローカルミニマの位置と損失は,データ間の相互作用,隠されたニューロンの活性化パターン,ネットワークサイズに応じて,これらの局所ミニマが孤立点や連続超平面となりうることを示す。
さらに, サドル点の存在と, 非微分可能な局所極小点の存在, それらの位置について, 必要かつ十分な条件を与える。 For one-hidden-layer ReLU networks, we prove that all differentiable local minima are global inside differentiable regions. We give the locations and losses of differentiable local minima, and show that these local minima can be isolated points or continuous hyperplanes, depending on an interplay between data, activation pattern of hidden neurons and network size. Furthermore, we give necessary and sufficient conditions for the existence of saddle points as well as non-differentiable local minima, and their locations if they exist. | 翻訳日:2023-01-01 19:11:26 公開日:2020-06-17 |
| # 最小値最適化のための最適エポッチ確率勾配勾配法 Optimal Epoch Stochastic Gradient Descent Ascent Methods for Min-Max Optimization ( http://arxiv.org/abs/2002.05309v2 ) ライセンス: Link先を確認 | Yan Yan and Yi Xu and Qihang Lin and Wei Liu and Tianbao Yang | (参考訳) Hazan and Kale (2011) が提唱したエポッチ勾配降下法 (Epoch gradient descent method, Epoch-GD) は確率論的凸最小化のブレークスルーであり、O(1/T)$の最適収束率とT$の反復更新を達成している。
しかし、強い凸性と強い凹凸を持つ確率的min-max問題の解への拡張は依然として開かれておらず、強い凸性と強い凹凸の下での確率的min-max最適化のためにo(1/t)$が達成可能かどうかはまだ不明である。
近年の研究では、min-max問題に対する高速収束率を持つ確率的アルゴリズムが提案されているが、滑らか性、双線形構造など、問題に関する追加の仮定が必要である。
本稿では,強凸強凹(scscsc)min-max問題を解くためのエポックワイズ確率勾配降下上昇法(epoch-gda)の鋭利な解析を行い,滑らか性や関数の構造について追加の仮定を加えることなく,このギャップを解消する。
我々の知る限りでは、一般的なSCSC min-max問題の双対性ギャップに対して、Epoch-GDAが$O(1/T)$の最適レートを達成できることを示す最初の結果である。
我々は, SCSC min-max問題に対するEpoch-GDAに対して, 凸最小化問題に対するEpoch-GDのそのような一般化は非自明であり, 新たな技術的解析を必要とすることを強調する。
さらに,弱凸強凸min-max問題に対するepoch-gdaの収束性を証明するためにもキー補題を用いることができ,滑らか性や他の構造条件に頼らずにほぼ最適に複雑化できることを示した。 Epoch gradient descent method (a.k.a. Epoch-GD) proposed by Hazan and Kale (2011) was deemed a breakthrough for stochastic strongly convex minimization, which achieves the optimal convergence rate of $O(1/T)$ with $T$ iterative updates for the {\it objective gap}. However, its extension to solving stochastic min-max problems with strong convexity and strong concavity still remains open, and it is still unclear whether a fast rate of $O(1/T)$ for the {\it duality gap} is achievable for stochastic min-max optimization under strong convexity and strong concavity. Although some recent studies have proposed stochastic algorithms with fast convergence rates for min-max problems, they require additional assumptions about the problem, e.g., smoothness, bi-linear structure, etc. In this paper, we bridge this gap by providing a sharp analysis of epoch-wise stochastic gradient descent ascent method (referred to as Epoch-GDA) for solving strongly convex strongly concave (SCSC) min-max problems, without imposing any additional assumption about smoothness or the function's structure. To the best of our knowledge, our result is the first one that shows Epoch-GDA can achieve the optimal rate of $O(1/T)$ for the duality gap of general SCSC min-max problems. We emphasize that such generalization of Epoch-GD for strongly convex minimization problems to Epoch-GDA for SCSC min-max problems is non-trivial and requires novel technical analysis. Moreover, we notice that the key lemma can also be used for proving the convergence of Epoch-GDA for weakly-convex strongly-concave min-max problems, leading to a nearly optimal complexity without resorting to smoothness or other structural conditions. | 翻訳日:2023-01-01 10:09:59 公開日:2020-06-17 |
| # フラッド検出のためのインターリーブシーケンスRNN Interleaved Sequence RNNs for Fraud Detection ( http://arxiv.org/abs/2002.05988v2 ) ライセンス: Link先を確認 | Bernardo Branco, Pedro Abreu, Ana Sofia Gomes, Mariana S. C. Almeida, Jo\~ao Tiago Ascens\~ao, Pedro Bizarro | (参考訳) 支払いカード詐欺は世界中の銀行や商人に数十億ドルの損失をもたらし、しばしば複雑な犯罪行為を引き起こす。
これに対処するために、多くのリアルタイム不正検出システムは木ベースのモデルを使用しており、ミリ秒レベルのレイテンシに準拠しながら、履歴データによるトランザクションを効率的に強化するために複雑な機能エンジニアリングシステムを要求する。
この研究では、リカレントニューラルネットワークを使用し、各カードの履歴が非有界で不規則なサブシーケンスであるインターリーブドシーケンスとして支払いを扱うことで、これらの高価な機能を必要としない。
我々は,プリプロセスからデプロイまでの効率的なMLパイプラインを提案し,リアルタイムに不正を検出するための完全なRNNフレームワークを提案する。
これらの特徴のないマルチシーケンスRNNは、数百万ドルの不正検出と少ない計算資源の使用を省く最先端のモデルより優れていることを示す。 Payment card fraud causes multibillion dollar losses for banks and merchants worldwide, often fueling complex criminal activities. To address this, many real-time fraud detection systems use tree-based models, demanding complex feature engineering systems to efficiently enrich transactions with historical data while complying with millisecond-level latencies. In this work, we do not require those expensive features by using recurrent neural networks and treating payments as an interleaved sequence, where the history of each card is an unbounded, irregular sub-sequence. We present a complete RNN framework to detect fraud in real-time, proposing an efficient ML pipeline from preprocessing to deployment. We show that these feature-free, multi-sequence RNNs outperform state-of-the-art models saving millions of dollars in fraud detection and using fewer computational resources. | 翻訳日:2023-01-01 04:33:14 公開日:2020-06-17 |
| # 機能し続ける - オフライン強化学習のための行動モデリング優先事項 Keep Doing What Worked: Behavioral Modelling Priors for Offline Reinforcement Learning ( http://arxiv.org/abs/2002.08396v3 ) ライセンス: Link先を確認 | Noah Y. Siegel, Jost Tobias Springenberg, Felix Berkenkamp, Abbas Abdolmaleki, Michael Neunert, Thomas Lampe, Roland Hafner, Nicolas Heess, Martin Riedmiller | (参考訳) オフポリシ強化学習アルゴリズムは、環境インタラクションの固定データセット(batch)のみが利用可能で、新たなエクスペリエンスが取得できない設定でも適用可能だ。
この性質により、これらのアルゴリズムはロボット制御のような現実世界の問題にアピールする。
しかし、実際には、標準的なオフポリシーアルゴリズムは継続的制御のためにバッチ設定で失敗する。
本稿では,この問題に対する簡単な解法を提案する。
任意の行動ポリシーによって生成されたデータの使用を認め、学習前の -- 有利な行動モデル(ABM) -- を使用して、以前実行され、新しいタスクで成功する可能性が高いアクションに対してRLポリシーを偏見する。
我々の手法は、競合するデータソースから安定した学習を可能にするバッチ-RLに関する最近の研究の拡張と見なすことができる。
シミュレーションと実世界のロボットのための標準の継続的制御ベンチマークやマルチタスク学習など、さまざまなRLタスクにおける競争ベースラインの改善が見られます。 Off-policy reinforcement learning algorithms promise to be applicable in settings where only a fixed data-set (batch) of environment interactions is available and no new experience can be acquired. This property makes these algorithms appealing for real world problems such as robot control. In practice, however, standard off-policy algorithms fail in the batch setting for continuous control. In this paper, we propose a simple solution to this problem. It admits the use of data generated by arbitrary behavior policies and uses a learned prior -- the advantage-weighted behavior model (ABM) -- to bias the RL policy towards actions that have previously been executed and are likely to be successful on the new task. Our method can be seen as an extension of recent work on batch-RL that enables stable learning from conflicting data-sources. We find improvements on competitive baselines in a variety of RL tasks -- including standard continuous control benchmarks and multi-task learning for simulated and real-world robots. | 翻訳日:2022-12-30 13:45:03 公開日:2020-06-17 |
| # ニューラルネットワーク検証のためのラグランジアン分解 Lagrangian Decomposition for Neural Network Verification ( http://arxiv.org/abs/2002.10410v3 ) ライセンス: Link先を確認 | Rudy Bunel, Alessandro De Palma, Alban Desmaison, Krishnamurthy Dvijotham, Pushmeet Kohli, Philip H.S. Torr, M. Pawan Kumar | (参考訳) ニューラルネットワーク検証の基本的なコンポーネントは、出力が取ることのできる値のバウンドの計算である。
従来の手法では、既定の解法を使ったり、問題構造を捨てたり、問題をさらに緩和したりして、境界を不必要にゆるめたりしている。
我々はラグランジアン分解に基づく新しいアプローチを提案する。
この定式化は,高効率な超次昇降アルゴリズムと改良された近位アルゴリズムを認めている。
どちらのアルゴリズムも3つの利点があります
(i)ラグランジュ緩和に依拠して、少なくとも以前の双対アルゴリズムと同程度に密接な境界を与える。
(ii)それらは、ニューラルネットワーク層のフォワード/バックパスに類似した操作に基づいており、容易に並列化でき、gpuの実装に適合し、問題の畳み込み構造を活用できる。
(iii)有効限度を保ちながら、いつでも停止できる。
実験の結果,本論文では,本論文では,本論文の解法に匹敵する解法が実行時間の一部で得られ,従来の2重アルゴリズムと同時期により厳密な解法が得られた。
これにより、形式検証に境界を用いる場合の全体的なスピードアップが実現される。
私たちのアルゴリズムのコードはhttps://github.com/oval-group/decomposition-plnn-boundsで利用可能です。 A fundamental component of neural network verification is the computation of bounds on the values their outputs can take. Previous methods have either used off-the-shelf solvers, discarding the problem structure, or relaxed the problem even further, making the bounds unnecessarily loose. We propose a novel approach based on Lagrangian Decomposition. Our formulation admits an efficient supergradient ascent algorithm, as well as an improved proximal algorithm. Both the algorithms offer three advantages: (i) they yield bounds that are provably at least as tight as previous dual algorithms relying on Lagrangian relaxations; (ii) they are based on operations analogous to forward/backward pass of neural networks layers and are therefore easily parallelizable, amenable to GPU implementation and able to take advantage of the convolutional structure of problems; and (iii) they allow for anytime stopping while still providing valid bounds. Empirically, we show that we obtain bounds comparable with off-the-shelf solvers in a fraction of their running time, and obtain tighter bounds in the same time as previous dual algorithms. This results in an overall speed-up when employing the bounds for formal verification. Code for our algorithms is available at https://github.com/oval-group/decomposition-plnn-bounds. | 翻訳日:2022-12-29 03:10:00 公開日:2020-06-17 |
| # 非人間化の計算言語解析のための枠組み A Framework for the Computational Linguistic Analysis of Dehumanization ( http://arxiv.org/abs/2003.03014v2 ) ライセンス: Link先を確認 | Julia Mendelsohn, Yulia Tsvetkov, Dan Jurafsky | (参考訳) 非人道化(dehumanization)は、過激なグループ間バイアス、ヘイトスピーチ、ターゲットとする社会グループを対象とした暴力につながる、有害な心理的プロセスである。
これらの深刻な結果と利用可能なデータの豊富さにもかかわらず、非人間化は大規模に計算的に研究されていない。
社会心理学研究に基づき,非人間化の顕著な構成要素の言語的相関を同定し,非人間化言語を解析するための計算言語学的枠組みを構築した。
次に、1986年から2015年までニューヨーク・タイムズのlgbtqの人々の議論を分析するためにこの枠組みを適用した。
全体として、LGBTQの人々の人道的な記述は徐々に増えていく。
しかし、同性愛者というラベルはゲイなど他のレーベルよりも非人間的な態度に強く関連していることが判明した。
提案手法は,言語変化の過程と,辺縁化群を取り巻く談話の変化を強調する。
さらに、非人間化言語を大規模に分析する能力は、オンラインの虐待言語と同様に、メディアバイアスの自動検出と理解に意味を持つ。 Dehumanization is a pernicious psychological process that often leads to extreme intergroup bias, hate speech, and violence aimed at targeted social groups. Despite these serious consequences and the wealth of available data, dehumanization has not yet been computationally studied on a large scale. Drawing upon social psychology research, we create a computational linguistic framework for analyzing dehumanizing language by identifying linguistic correlates of salient components of dehumanization. We then apply this framework to analyze discussions of LGBTQ people in the New York Times from 1986 to 2015. Overall, we find increasingly humanizing descriptions of LGBTQ people over time. However, we find that the label homosexual has emerged to be much more strongly associated with dehumanizing attitudes than other labels, such as gay. Our proposed techniques highlight processes of linguistic variation and change in discourses surrounding marginalized groups. Furthermore, the ability to analyze dehumanizing language at a large scale has implications for automatically detecting and understanding media bias as well as abusive language online. | 翻訳日:2022-12-26 01:21:01 公開日:2020-06-17 |
| # コンテキストブロックバンド Contextual Blocking Bandits ( http://arxiv.org/abs/2003.03426v2 ) ライセンス: Link先を確認 | Soumya Basu, Orestis Papadigenopoulos, Constantine Caramanis, Sanjay Shakkottai | (参考訳) 我々は,多腕バンディット問題の新たな変種について検討し,各ステップごとに,腕の平均報酬を決定する独立したサンプルコンテキストをプレイヤーが観察する。
しかし、アームの演奏は(すべてのコンテキストにわたって)将来の時間ステップの固定および既知の回数でブロックする。
上記のコンテキスト設定は、レコメンデーションシステムや多様なユーザによる広告配置といった重要なシナリオをキャプチャし、その非コンテキスト対応(basu et al., neurips19)に有効な欲張りなソリューション技術を無効にする。
文脈分布の知識と各アーム-コンテキストペアの平均報酬を仮定すると、問題はオンラインの2部マッチング問題として、右バーチス(コンテキスト)が確率的に到着し、左バーチス(アーム)がマッチするたびに有限個のラウンドのためにブロックされる。
この問題は、競争比率の限界が導かれるフルインフォメーションのケースで近年研究されている。
我々は、当初報酬分布が不明なバンディット設定に注目し、$\omega(\log(t))$ regretlowboundに一致する$\mathcal{o}(\log t)$-regret w.r.t.$\alpha$-optimal strategyを$t$時間ステップで保証する全情報アルゴリズムのucbベースの変種を提案する。
ブロックによって引き起こされる時間的相関が原因で、既存のオーバーバウンディング後悔のテクニックは失敗する。
後悔の限界を証明するために、我々は、遅れた搾取と機会主義的なサブサンプリングという新しい概念を導入し、これらを組合せの包帯と非定常マルコフ連鎖結合のアイデアと組み合わせる。 We study a novel variant of the multi-armed bandit problem, where at each time step, the player observes an independently sampled context that determines the arms' mean rewards. However, playing an arm blocks it (across all contexts) for a fixed and known number of future time steps. The above contextual setting, which captures important scenarios such as recommendation systems or ad placement with diverse users, invalidates greedy solution techniques that are effective for its non-contextual counterpart (Basu et al., NeurIPS19). Assuming knowledge of the context distribution and the mean reward of each arm-context pair, we cast the problem as an online bipartite matching problem, where the right-vertices (contexts) arrive stochastically and the left-vertices (arms) are blocked for a finite number of rounds each time they are matched. This problem has been recently studied in the full-information case, where competitive ratio bounds have been derived. We focus on the bandit setting, where the reward distributions are initially unknown; we propose a UCB-based variant of the full-information algorithm that guarantees a $\mathcal{O}(\log T)$-regret w.r.t. an $\alpha$-optimal strategy in $T$ time steps, matching the $\Omega(\log(T))$ regret lower bound in this setting. Due to the time correlations caused by blocking, existing techniques for upper bounding regret fail. For proving our regret bounds, we introduce the novel concepts of delayed exploitation and opportunistic subsampling and combine them with ideas from combinatorial bandits and non-stationary Markov chains coupling. | 翻訳日:2022-12-26 00:54:30 公開日:2020-06-17 |
| # リレーショナル推論のためのより良い集合表現 Better Set Representations For Relational Reasoning ( http://arxiv.org/abs/2003.04448v2 ) ライセンス: Link先を確認 | Qian Huang, Horace He, Abhay Singh, Yan Zhang, Ser-Nam Lim, Austin Benson | (参考訳) 関係推論をニューラルネットワークに組み込むことで、その能力と範囲を大きく拡大した。
リレーショナル推論の特徴の1つは、標準的なベクトル表現とは対照的に、エンティティの集合で動作することである。
既存のエンドツーエンドアプローチは、通常、潜在特徴表現を集合として直接解釈することで、入力からエンティティを抽出する。
これらの手法は集合の置換不変性を尊重せず、したがって基本的な表現的制限を持つことを示す。
この制限を解決するために,SRN(Set Refiner Network)と呼ばれるシンプルで汎用的なネットワークモジュールを提案する。
まず, 画像合成実験を用いて, 対象物を効果的に分解する方法を, 明示的な監督なしに示す。
そして、既存の関係推論モデルにモジュールを挿入し、集合不変性に従えば、いくつかの関係推論タスクにおける予測性能とロバスト性が大幅に向上することを示す。 Incorporating relational reasoning into neural networks has greatly expanded their capabilities and scope. One defining trait of relational reasoning is that it operates on a set of entities, as opposed to standard vector representations. Existing end-to-end approaches typically extract entities from inputs by directly interpreting the latent feature representations as a set. We show that these approaches do not respect set permutational invariance and thus have fundamental representational limitations. To resolve this limitation, we propose a simple and general network module called a Set Refiner Network (SRN). We first use synthetic image experiments to demonstrate how our approach effectively decomposes objects without explicit supervision. Then, we insert our module into existing relational reasoning models and show that respecting set invariance leads to substantial gains in prediction performance and robustness on several relational reasoning tasks. | 翻訳日:2022-12-25 07:50:26 公開日:2020-06-17 |
| # スーパーネットのトレーニング方法:ウェイトシェアリングNASにおけるトレーニングヒューリスティックスの分析 How to Train Your Super-Net: An Analysis of Training Heuristics in Weight-Sharing NAS ( http://arxiv.org/abs/2003.04276v2 ) ライセンス: Link先を確認 | Kaicheng Yu and Rene Ranftl and Mathieu Salzmann | (参考訳) 重み共有は、コモディティハードウェア上でもneural architecture search(nas)を扱いやすくすることを約束している。
既存の手法は、共有重み付きバックボーンネットワーク、すなわちスーパーネットを設計し、訓練するための多様なヒューリスティックに依存している。
ヒューリスティックスとハイパーパラメータは異なる方法によって大きく異なるため、これらの要因の影響を体系的に分析することで、それらの公正な比較が達成できる。
そこで本研究では,重み共有型nasアルゴリズムで頻繁に使用されるヒューリスティックスとハイパーパラメータの系統的評価を行う。
我々の分析では,超ネットトレーニングにおける一般的なヒューリスティックスがスーパーネットとスタンドアローンのパフォーマンスの相関に負の影響を及ぼし,特定のハイパーパラメータとアーキテクチャ選択の強い影響を証明している。
私たちのコードと実験は、将来の作業が構築できる、強く再現可能なベースラインを設定しました。 Weight sharing promises to make neural architecture search (NAS) tractable even on commodity hardware. Existing methods in this space rely on a diverse set of heuristics to design and train the shared-weight backbone network, a.k.a. the super-net. Since heuristics and hyperparameters substantially vary across different methods, a fair comparison between them can only be achieved by systematically analyzing the influence of these factors. In this paper, we therefore provide a systematic evaluation of the heuristics and hyperparameters that are frequently employed by weight-sharing NAS algorithms. Our analysis uncovers that some commonly-used heuristics for super-net training negatively impact the correlation between super-net and stand-alone performance, and evidences the strong influence of certain hyperparameters and architectural choices. Our code and experiments set a strong and reproducible baseline that future works can build on. | 翻訳日:2022-12-25 07:38:54 公開日:2020-06-17 |
| # コミュニケーション効率の高い機械学習のための柔軟なフレームワーク:HPCからIoTへ A flexible framework for communication-efficient machine learning: from HPC to IoT ( http://arxiv.org/abs/2003.06377v2 ) ライセンス: Link先を確認 | Sarit Khirirat, Sindri Magn\'usson, Arda Aytekin, Mikael Johansson | (参考訳) 機械学習タスクの大規模化に伴い、計算ノード間の通信を減らすことが重要になっている。
勾配圧縮に関する初期の研究はCPUとGPUのボトルネックに焦点を当てていたが、通信効率は、高性能クラスタからエネルギー制約のIoTデバイスに至るまで、さまざまなシステムアーキテクチャで必要とされるようになった。
現在のプラクティスでは、圧縮レベルは通常、トレーニング前に選択され、あるタスクでうまく機能する設定は、別のアーキテクチャ上の別のデータセットに非常に適しています。
本稿では,各イテレーションで圧縮レベルを真の勾配に適応させ,通信ビット毎に達成される目的関数の改善を最大化するフレキシブルなフレームワークを提案する。
我々のフレームワークは、特定の技術の圧縮レベルに依存する通信コストをモデル化することで、ある技術から別の技術への適応が容易です。
理論的結果と実用実験から, 自動チューニング手法は, いくつかの最先端圧縮方式における通信効率を著しく向上させることが示された。 With the increasing scale of machine learning tasks, it has become essential to reduce the communication between computing nodes. Early work on gradient compression focused on the bottleneck between CPUs and GPUs, but communication-efficiency is now needed in a variety of different system architectures, from high-performance clusters to energy-constrained IoT devices. In the current practice, compression levels are typically chosen before training and settings that work well for one task may be vastly suboptimal for another dataset on another architecture. In this paper, we propose a flexible framework which adapts the compression level to the true gradient at each iteration, maximizing the improvement in the objective function that is achieved per communicated bit. Our framework is easy to adapt from one technology to the next by modeling how the communication cost depends on the compression level for the specific technology. Theoretical results and practical experiments indicate that the automatic tuning strategies significantly increase communication efficiency on several state-of-the-art compression schemes. | 翻訳日:2022-12-24 02:07:28 公開日:2020-06-17 |
| # 深部線形ニューラルネットワークにおけるアライメントについて On Alignment in Deep Linear Neural Networks ( http://arxiv.org/abs/2003.06340v2 ) ライセンス: Link先を確認 | Adityanarayanan Radhakrishnan and Eshaan Nichani and Daniel Bernstein and Caroline Uhler | (参考訳) 勾配勾配下での線形ニューラルネットワークにおけるアライメント,すなわち暗黙正則化の特性について検討する。
多次元アウトプットを持つ完全連結ネットワークのアライメントを定義し,ji と telgarsky が2018年に定義した1次元アウトプットを持つネットワークにおけるアライメントの自然な拡張であることを示す。
完全に接続されたネットワークでは、常にアライメントされたソリューションに対応するグローバルな最小値が存在し、トレーニングプロセスに関連するアライメントを分析する。
すなわち、アライメントが勾配降下下のトレーニングの不変量である場合、この不変量を保持するために必要な十分な条件を提供することによって特徴付ける。
このような環境では、勾配降下のダイナミクスが単純化され、ネットワークが線形に大域的最小値に収束する明示的な学習率を提供できる。
次に畳み込みネットワークなどの層制約を持つネットワークを分析する。
この設定では、勾配降下は投影勾配降下と等価であり、十分に大きなデータセットではアライメントが不可能であることを示す。 We study the properties of alignment, a form of implicit regularization, in linear neural networks under gradient descent. We define alignment for fully connected networks with multidimensional outputs and show that it is a natural extension of alignment in networks with 1-dimensional outputs as defined by Ji and Telgarsky, 2018. While in fully connected networks, there always exists a global minimum corresponding to an aligned solution, we analyze alignment as it relates to the training process. Namely, we characterize when alignment is an invariant of training under gradient descent by providing necessary and sufficient conditions for this invariant to hold. In such settings, the dynamics of gradient descent simplify, thereby allowing us to provide an explicit learning rate under which the network converges linearly to a global minimum. We then analyze networks with layer constraints such as convolutional networks. In this setting, we prove that gradient descent is equivalent to projected gradient descent, and that alignment is impossible with sufficiently large datasets. | 翻訳日:2022-12-24 01:14:17 公開日:2020-06-17 |
| # 少数ショットの画像分類を再考する: 良い埋め込みだけでいいのか? Rethinking Few-Shot Image Classification: a Good Embedding Is All You Need? ( http://arxiv.org/abs/2003.11539v2 ) ライセンス: Link先を確認 | Yonglong Tian, Yue Wang, Dilip Krishnan, Joshua B. Tenenbaum, and Phillip Isola | (参考訳) 最近のメタ学習研究の焦点は、限られたデータと計算コストの低いテスト時間タスクに迅速に適応できる学習アルゴリズムの開発である。
わずかなショット学習は、メタラーニングの標準ベンチマークの1つとして広く使われている。
本稿では,メタトレーニングセット上で教師付きあるいは自己教師付き表現を学習し,その表現の上に線形分類器をトレーニングし,最先端の少数ショット学習法を上回った,単純なベースラインを示す。
さらなる促進は、自己蒸留の利用によって達成できる。
これは、優れた学習埋め込みモデルを使うことが、洗練されたメタ学習アルゴリズムよりも効果的であることを示す。
我々は,この発見が,画像分類ベンチマークとメタ学習アルゴリズムの役割を再考する動機となっていると考えている。
コードはhttp://github.com/wangyueft/rfs/。 The focus of recent meta-learning research has been on the development of learning algorithms that can quickly adapt to test time tasks with limited data and low computational cost. Few-shot learning is widely used as one of the standard benchmarks in meta-learning. In this work, we show that a simple baseline: learning a supervised or self-supervised representation on the meta-training set, followed by training a linear classifier on top of this representation, outperforms state-of-the-art few-shot learning methods. An additional boost can be achieved through the use of self-distillation. This demonstrates that using a good learned embedding model can be more effective than sophisticated meta-learning algorithms. We believe that our findings motivate a rethinking of few-shot image classification benchmarks and the associated role of meta-learning algorithms. Code is available at: http://github.com/WangYueFt/rfs/. | 翻訳日:2022-12-20 03:07:49 公開日:2020-06-17 |
| # 深層gcnsにおけるオーバースムーシングの再検討 Revisiting Over-smoothing in Deep GCNs ( http://arxiv.org/abs/2003.13663v5 ) ライセンス: Link先を確認 | Chaoqi Yang, Ruijie Wang, Shuochao Yao, Shengzhong Liu, Tarek Abdelzaher | (参考訳) オーバースムーシングは、ディープグラフ畳み込みネットワーク(GCN)の性能低下の主な原因であると考えられている。
本稿では,深いGCNがトレーニング中に反過度に学習できることを新たな視点として提案する。
この研究は、標準的なGCNアーキテクチャを、多層パーセプトロン(MLP)とグラフ正規化の階層的な統合として解釈する。
トレーニングの前に、深いGCNの最終的な表現は過度に滑らかになるが、トレーニング中に反過度に学習する。
結論に基づき,GCNトレーニングを改善するための,安価で効果的な手法を考案した。
提案手法の検証と3つの引用ネットワーク上でのトリックの評価を行い,GCNにおける周辺集約に関する洞察を提供する。 Oversmoothing has been assumed to be the major cause of performance drop in deep graph convolutional networks (GCNs). In this paper, we propose a new view that deep GCNs can actually learn to anti-oversmooth during training. This work interprets a standard GCN architecture as layerwise integration of a Multi-layer Perceptron (MLP) and graph regularization. We analyze and conclude that before training, the final representation of a deep GCN does over-smooth, however, it learns anti-oversmoothing during training. Based on the conclusion, the paper further designs a cheap but effective trick to improve GCN training. We verify our conclusions and evaluate the trick on three citation networks and further provide insights on neighborhood aggregation in GCNs. | 翻訳日:2022-12-18 06:49:46 公開日:2020-06-17 |
| # COVID-CTデータセット: COVID-19に関するCTスキャンデータセット COVID-CT-Dataset: A CT Scan Dataset about COVID-19 ( http://arxiv.org/abs/2003.13865v3 ) ライセンス: Link先を確認 | Xingyi Yang, Xuehai He, Jinyu Zhao, Yichen Zhang, Shanghang Zhang, Pengtao Xie | (参考訳) 新型コロナウイルスの流行期には、CT(Computerd tomography)は新型コロナウイルス患者の診断に有用である。
プライバシー上の問題により、一般公開されているCOVID-19 CTデータセットの入手は非常に困難であり、CTに基づいたAIによる診断方法の研究と開発を妨げる。
この問題に対処するために、私たちはオープンソースのデータセットであるcovid-19-ctを構築します。
このデータセットの有用性は、新型コロナウイルス(covid-19)のパンデミック以来、患者の診断と治療を行ってきたシニア放射線科医によって確認されている。
また、このデータセットがcovid-19のaiベースの診断モデルの開発に有用であることを示す実験的研究も行っています。
本研究では,マルチタスク学習と自己教師あり学習に基づく診断法を開発し,0.90のf1,0.98のauc,0.89の精度を達成する。
上級放射線技師によると、そのような性能を持つモデルは臨床応用には十分である。
データとコードはhttps://github.com/UCSD-AI4H/COVID-CTで公開されている。 During the outbreak time of COVID-19, computed tomography (CT) is a useful manner for diagnosing COVID-19 patients. Due to privacy issues, publicly available COVID-19 CT datasets are highly difficult to obtain, which hinders the research and development of AI-powered diagnosis methods of COVID-19 based on CTs. To address this issue, we build an open-sourced dataset -- COVID-CT, which contains 349 COVID-19 CT images from 216 patients and 463 non-COVID-19 CTs. The utility of this dataset is confirmed by a senior radiologist who has been diagnosing and treating COVID-19 patients since the outbreak of this pandemic. We also perform experimental studies which further demonstrate that this dataset is useful for developing AI-based diagnosis models of COVID-19. Using this dataset, we develop diagnosis methods based on multi-task learning and self-supervised learning, that achieve an F1 of 0.90, an AUC of 0.98, and an accuracy of 0.89. According to the senior radiologist, models with such performance are good enough for clinical usage. The data and code are available at https://github.com/UCSD-AI4H/COVID-CT | 翻訳日:2022-12-18 06:22:25 公開日:2020-06-17 |
| # エッジ保存型CNN SAR除種アルゴリズムの複雑さ解析 Complexity Analysis of an Edge Preserving CNN SAR Despeckling Algorithm ( http://arxiv.org/abs/2004.08345v2 ) ライセンス: Link先を確認 | Sergio Vitale, Giampaolo Ferraioli, Vito Pascazio | (参考訳) SAR画像は、解釈を損なう乗法ノイズの影響を受けている。
過去数十年間,sarのデノイジング手法がいくつか提案され,近年ではディープラーニングベースのソリューションに注目が集まっている。
前回提案したSAR除種のための畳み込みニューラルネットワークに基づいて、このネットワークの複雑さの効果を利用する。
より正確には、データセットが修正されると、ネットワークを構成するレイヤの数と機能数に関して、ネットワーク性能の分析を行う。
シミュレーションデータおよび実データの評価を行う。
その結果、より深いネットワークはシミュレーション画像と実画像の両方でより一般化された。 SAR images are affected by multiplicative noise that impairs their interpretations. In the last decades several methods for SAR denoising have been proposed and in the last years great attention has moved towards deep learning based solutions. Based on our last proposed convolutional neural network for SAR despeckling, here we exploit the effect of the complexity of the network. More precisely, once a dataset has been fixed, we carry out an analysis of the network performance with respect to the number of layers and numbers of features the network is composed of. Evaluation on simulated and real data are carried out. The results show that deeper networks better generalize on both simulated and real images. | 翻訳日:2022-12-12 13:43:56 公開日:2020-06-17 |
| # 現実世界のゲームは回転するトップスに見える Real World Games Look Like Spinning Tops ( http://arxiv.org/abs/2004.09468v2 ) ライセンス: Link先を確認 | Wojciech Marian Czarnecki, Gauthier Gidel, Brendan Tracey, Karl Tuyls, Shayegan Omidshafiei, David Balduzzi, Max Jaderberg | (参考訳) 本稿では実世界のゲーム(tic-tac-toe, go, starcraft ii)の幾何学的性質について考察する。
我々は、それらの幾何学的構造がスピントップに似ており、直立軸は推移強度を表し、半径軸は特定の推移強度に存在する周期の数に対応し、非推移次元を表すと仮定する。
我々は、この幾何学が現実世界のゲームに広く存在することを証明し、その時間的性質を明らかにする。
さらに,この一意的な構造は学習にも影響を与えることを示し,エージェントの訓練に戦略の集団が必要な理由と,その集団の大きさがゲームの構造にどのように関係しているかを明らかにする。
最後に,9つの実世界2プレイヤーゼロサム対称ゲームの選択を用いて,これらの主張を実証的に検証した。
1) 回転トップ構造が明らかになり, 新手法のナッシュクラスタリングにより, 過渡的および循環的戦略行動の相互作用を計測し, 容易に再構築できる。
2) このゲームにおける集団の大きさが収束に与える影響 This paper investigates the geometrical properties of real world games (e.g. Tic-Tac-Toe, Go, StarCraft II). We hypothesise that their geometrical structure resemble a spinning top, with the upright axis representing transitive strength, and the radial axis, which corresponds to the number of cycles that exist at a particular transitive strength, representing the non-transitive dimension. We prove the existence of this geometry for a wide class of real world games, exposing their temporal nature. Additionally, we show that this unique structure also has consequences for learning - it clarifies why populations of strategies are necessary for training of agents, and how population size relates to the structure of the game. Finally, we empirically validate these claims by using a selection of nine real world two-player zero-sum symmetric games, showing 1) the spinning top structure is revealed and can be easily re-constructed by using a new method of Nash clustering to measure the interaction between transitive and cyclical strategy behaviour, and 2) the effect that population size has on the convergence in these games. | 翻訳日:2022-12-11 17:53:33 公開日:2020-06-17 |
| # r^3$:コモンセンス知識を用いたサーカズム生成のためのリバース、レトリバー、ランク $R^3$: Reverse, Retrieve, and Rank for Sarcasm Generation with Commonsense Knowledge ( http://arxiv.org/abs/2004.13248v4 ) ライセンス: Link先を確認 | Tuhin Chakrabarty, and Debanjan Ghosh, and Smaranda Muresan, and Nanyun Peng | (参考訳) 非皮肉な入力文に基づくサルカズム生成のための教師なしアプローチを提案する。
提案手法では,話者とリスナー間の共有常識や世界知識を含むコンテキストと,有意性逆転と意味的不整合の2つの主要な特徴をキャラクタリゼーションするために,検索と編集の枠組みを用いる。
先行研究のサルカズム生成は主に文脈不合理性に焦点をあてる一方で,共通感覚知識に基づく価率反転と意味不合理性の組み合わせが高品質のサルカズムを生み出すことを示した。
人体評価の結果,ヒトのアノテータの34%がサルカズムを,その90%が強化されたハイブリッドベースラインよりも優れていることがわかった。 We propose an unsupervised approach for sarcasm generation based on a non-sarcastic input sentence. Our method employs a retrieve-and-edit framework to instantiate two major characteristics of sarcasm: reversal of valence and semantic incongruity with the context which could include shared commonsense or world knowledge between the speaker and the listener. While prior works on sarcasm generation predominantly focus on context incongruity, we show that combining valence reversal and semantic incongruity based on the commonsense knowledge generates sarcasm of higher quality. Human evaluation shows that our system generates sarcasm better than human annotators 34% of the time, and better than a reinforced hybrid baseline 90% of the time. | 翻訳日:2022-12-08 21:48:56 公開日:2020-06-17 |
| # ジェネリック光電場再構成のための生成モデル A Generative Model for Generic Light Field Reconstruction ( http://arxiv.org/abs/2005.06508v2 ) ライセンス: Link先を確認 | Paramanand Chandramouli, Kanchana Vaishnavi Gandikota, Andreas Goerlitz, Andreas Kolb, Michael Moeller | (参考訳) 近年,深層生成モデルがトレーニングデータの分布のモデル化において顕著な進歩を遂げている。
本稿では,4次元光電界パッチに対して,可変オートエンコーダを用いた生成モデルを用いて,光電界パッチのデータ分布をキャプチャする。
我々は,光場の中心的視野を条件とした生成モデルを開発し,これをエネルギー最小化枠組みに先行して取り入れ,多様な光場再構成課題に対処した。
純粋な学習に基づくアプローチは、そのような問題のインスタンス毎に優れた結果をもたらすが、それらの適用性は、訓練された特定の観察モデルに限られる。
対照的に、訓練された光場生成モデルは、任意のモデルに基づく最適化手法に先行して組み込むことができ、したがって光場ビュー合成、空間角超解像、符号化投影からの再構成を含む多様な再構成タスクに拡張することができる。
提案手法は,エンド・ツー・エンドのトレーニングネットワークに近づく性能と,合成シーンと実シーンの両方において従来のモデルベースアプローチよりも優れた性能を示す。
さらに,本手法は入力の歪みにも拘わらず,信頼性の高い光界回復を可能にすることを示す。 Recently deep generative models have achieved impressive progress in modeling the distribution of training data. In this work, we present for the first time a generative model for 4D light field patches using variational autoencoders to capture the data distribution of light field patches. We develop a generative model conditioned on the central view of the light field and incorporate this as a prior in an energy minimization framework to address diverse light field reconstruction tasks. While pure learning-based approaches do achieve excellent results on each instance of such a problem, their applicability is limited to the specific observation model they have been trained on. On the contrary, our trained light field generative model can be incorporated as a prior into any model-based optimization approach and therefore extend to diverse reconstruction tasks including light field view synthesis, spatial-angular super resolution and reconstruction from coded projections. Our proposed method demonstrates good reconstruction, with performance approaching end-to-end trained networks, while outperforming traditional model-based approaches on both synthetic and real scenes. Furthermore, we show that our approach enables reliable light field recovery despite distortions in the input. | 翻訳日:2022-12-03 13:36:33 公開日:2020-06-17 |
| # 集団バイアスのあるデータに対する診断アルゴリズムの訓練リスク Risk of Training Diagnostic Algorithms on Data with Demographic Bias ( http://arxiv.org/abs/2005.10050v2 ) ライセンス: Link先を確認 | Samaneh Abbasi-Sureshjani, Ralf Raumanns, Britt E. J. Michels, Gerard Schouten, Veronika Cheplygina | (参考訳) 機械学習アプリケーションにおける重要な課題の1つは、公正な予測を持つことである。
バイアス付きデータセットでトレーニングされたアルゴリズムが、誤った結論や差別的な結論につながることを説得力強く示す、さまざまなドメインには、最近の多くの例がある。
これは、主に限られたまたは与えられた医療画像に基づいて予測アルゴリズムを設計し、年齢、性別、人種などの人口統計学的変数を考慮しない臨床応用においてさらに重要である。
本研究は,医療画像解析における一般的な実践を調査するために,miccai 2018の手順を調査した。
驚くべきことに、診断に焦点をあてた論文は、使用するデータセットの人口統計をほとんど記述せず、診断は純粋に画像に基づいていることがわかった。
診断課題における人口統計学的考察の重要性を強調するため,皮膚病変の公開データセットを用いた。
次に,曲線(AUC)の0.83の全体面積を持つ分類器は,訓練セットが比較的バランスが取れていたにもかかわらず,年齢と性別に基づく部分群において0.76から0.91の変動性能を有することを示した。
さらに,非偏りのある特徴を,対角的トレーニング設定における人口統計変数を明示的に用いて学習することが可能であることを示す。
最後に,これらの結果の意義について考察し,さらなる研究の提言を行う。 One of the critical challenges in machine learning applications is to have fair predictions. There are numerous recent examples in various domains that convincingly show that algorithms trained with biased datasets can easily lead to erroneous or discriminatory conclusions. This is even more crucial in clinical applications where the predictive algorithms are designed mainly based on a limited or given set of medical images and demographic variables such as age, sex and race are not taken into account. In this work, we conduct a survey of the MICCAI 2018 proceedings to investigate the common practice in medical image analysis applications. Surprisingly, we found that papers focusing on diagnosis rarely describe the demographics of the datasets used, and the diagnosis is purely based on images. In order to highlight the importance of considering the demographics in diagnosis tasks, we used a publicly available dataset of skin lesions. We then demonstrate that a classifier with an overall area under the curve (AUC) of 0.83 has variable performance between 0.76 and 0.91 on subgroups based on age and sex, even though the training set was relatively balanced. Moreover, we show that it is possible to learn unbiased features by explicitly using demographic variables in an adversarial training setup, which leads to balanced scores per subgroups. Finally, we discuss the implications of these results and provide recommendations for further research. | 翻訳日:2022-12-01 04:30:10 公開日:2020-06-17 |
| # microphantom: 不確実性とカオス下でmicrortsをプレイする microPhantom: Playing microRTS under uncertainty and chaos ( http://arxiv.org/abs/2005.11019v2 ) ライセンス: Link先を確認 | Florian Richoux | (参考訳) このコンペティションペーパーでは、microRTSをプレイするボットであるmicroPhantomを紹介し、2020年のmicroRTS AIコンペティションに参加する。
MicroPhantomは、2018年と2019年のmicroRTS AIコンペティションの部分的に観測可能なトラックを獲得した、私たちの以前のボットPOAdaptiveをベースにしています。
本稿では,制約プログラミングと意思決定理論を組み合わせた手法を用いてユニット生産問題に取り組むことにより,不確実な意思決定に焦点を当てる。
本手法を用いることで,観察可能なトラックからの2番目に高いマイクロRTSボットに対する勝利率が大幅に向上することを示す。
また,本手法はカオス環境では回復力があり,効率の低下が極めて少ないことを示す。
再現性とさらなる研究を容易にするため、microphantomのソースコードと、使用する制約プログラミングツールキットが利用可能である。 This competition paper presents microPhantom, a bot playing microRTS and participating in the 2020 microRTS AI competition. microPhantom is based on our previous bot POAdaptive which won the partially observable track of the 2018 and 2019 microRTS AI competitions. In this paper, we focus on decision-making under uncertainty, by tackling the Unit Production Problem with a method based on a combination of Constraint Programming and decision theory. We show that using our method to decide which units to train improves significantly the win rate against the second-best microRTS bot from the partially observable track. We also show that our method is resilient in chaotic environments, with a very small loss of efficiency only. To allow replicability and to facilitate further research, the source code of microPhantom is available, as well as the Constraint Programming toolkit it uses. | 翻訳日:2022-11-30 09:16:03 公開日:2020-06-17 |
| # Pairwise Markov Random Field Model を用いた分子連想記憶におけるパターン認識 Pattern Denoising in Molecular Associative Memory using Pairwise Markov Random Field Models ( http://arxiv.org/abs/2005.13780v4 ) ライセンス: Link先を確認 | Dharani Punithan and Byoung-Tak Zhang | (参考訳) Pairwise Markov Random Field (PMRF) モデルを用いて, パターン学習, 記憶, 認知のためのインサイリコ分子連想メモリモデルを提案する。
PMRFをベースとした分子連想記憶モデルは、露出した例から局所的に分布した特徴を抽出し、分子連想記憶のパターンを学習し、記憶し、DNA計算に基づく操作によって与えられた雑音パターンを識別する。
したがって, 計算分子モデルは, 人間の記憶の内容適応性の機能を実証する。
分子シミュレーションの結果,学習パターンと復調パターンの平均2乗誤差は,ノイズの30%まで低い(0.014)ことがわかった。 We propose an in silico molecular associative memory model for pattern learning, storage and denoising using Pairwise Markov Random Field (PMRF) model. Our PMRF-based molecular associative memory model extracts locally distributed features from the exposed examples, learns and stores the patterns in the molecular associative memory and denoises the given noisy patterns via DNA computation based operations. Thus, our computational molecular model demonstrates the functionalities of content-addressability of human memory. Our molecular simulation results show that the averaged mean squared error between the learned and denoised patterns are low (< 0.014) up to 30% of noise. | 翻訳日:2022-11-27 05:09:25 公開日:2020-06-17 |
| # 深部生成モデルを用いた脳波に基づく感情認識のためのデータ強化 Data Augmentation for Enhancing EEG-based Emotion Recognition with Deep Generative Models ( http://arxiv.org/abs/2006.05331v2 ) ライセンス: Link先を確認 | Yun Luo and Li-Zhen Zhu and Zi-Yu Wan and Bao-Liang Lu | (参考訳) 脳波(EEG)からの感情認識におけるデータ不足は、機械学習アルゴリズムやディープニューラルネットワークを用いて高精度な感情モデルを構築するのに困難をもたらす。
本研究では,感情認識モデルの性能を向上させるために,脳波訓練データの強化を行う3つの手法を提案する。
提案手法は,2つの深層生成モデル,変分オートエンコーダ (VAE) とGAN (Generative Adversarial Network) と2つのデータ拡張戦略に基づく。
フル使用戦略では、生成されたデータはすべて、生成されたデータの品質を判断することなくトレーニングデータセットに拡張され、部分使用では、高品質のデータのみを選択してトレーニングデータセットに追加する。
これら3つの方法は条件付きワッサースタイン GAN (cWGAN)、選択的VAE (sVAE)、選択的WGAN (sWGAN) と呼ばれる。
これらの方法の有効性を評価するために,感情認識のための2つの公開脳波データセット,すなわち種子と脱毛に関する体系的な実験を行った。
まず, パワースペクトル密度と微分エントロピーの2つの形態で, 現実的脳波訓練データを生成する。
次に、生成された現実的な脳波データが異なる数のトレーニングデータセットを拡張します。
最後に,サポートベクターマシンとディープニューラルネットワークをショートカットレイヤでトレーニングし,オリジナルおよび拡張トレーニングデータセットを使用して感情モデルを構築する。
実験の結果,本手法によって生成された拡張学習データセットは脳波に基づく感情認識モデルの性能を高め,条件vae,ガウス雑音,回転データ拡張といった既存のデータ拡張手法を上回った。 The data scarcity problem in emotion recognition from electroencephalography (EEG) leads to difficulty in building an affective model with high accuracy using machine learning algorithms or deep neural networks. Inspired by emerging deep generative models, we propose three methods for augmenting EEG training data to enhance the performance of emotion recognition models. Our proposed methods are based on two deep generative models, variational autoencoder (VAE) and generative adversarial network (GAN), and two data augmentation strategies. For the full usage strategy, all of the generated data are augmented to the training dataset without judging the quality of the generated data, while for partial usage, only high-quality data are selected and appended to the training dataset. These three methods are called conditional Wasserstein GAN (cWGAN), selective VAE (sVAE), and selective WGAN (sWGAN). To evaluate the effectiveness of these methods, we perform a systematic experimental study on two public EEG datasets for emotion recognition, namely, SEED and DEAP. We first generate realistic-like EEG training data in two forms: power spectral density and differential entropy. Then, we augment the original training datasets with a different number of generated realistic-like EEG data. Finally, we train support vector machines and deep neural networks with shortcut layers to build affective models using the original and augmented training datasets. The experimental results demonstrate that the augmented training datasets produced by our methods enhance the performance of EEG-based emotion recognition models and outperform the existing data augmentation methods such as conditional VAE, Gaussian noise, and rotational data augmentation. | 翻訳日:2022-11-25 12:48:28 公開日:2020-06-17 |
| # 連続的あるいは大きな離散的行動空間における計画のための限界効用 Marginal Utility for Planning in Continuous or Large Discrete Action Spaces ( http://arxiv.org/abs/2006.06054v2 ) ライセンス: Link先を確認 | Zaheen Farraz Ahmad, Levi H. S. Lelis, Michael Bowling | (参考訳) サンプルベースのプランニングは、環境モデルからインテリジェントな振る舞いを生成するアルゴリズムの強力なファミリーである。
優れた候補アクションを生成することは、サンプルベースのプランナー、特に連続的あるいは大きなアクションスペースの成功に不可欠である。
一般的に、候補アクション生成はアクション空間を浪費し、ドメイン知識を使い、最近ではそのような探索ガイダンスを提供するための確率的なポリシーを学ぶ。
本稿では,新しい目的,限界効用を最適化することで,候補アクションジェネレータを明示的に学習することを検討する。
アクションジェネレータの限界効用は、予め生成されたアクションに対するアクションの値の増加を測定する。
我々は、カーリング、連続状態とアクション空間を持つ挑戦的確率領域、離散的だが大きなアクション空間を持つ位置ゲームの両方において、我々のアプローチを検証する。
限界効用を訓練したジェネレータは、実際のドメイン知識、学習された確率ポリシー、およびサンプルベースプランナーのアクションを生成するためのその他の自然な目的に基づいて構築された手書きスキームよりも優れていることを示す。 Sample-based planning is a powerful family of algorithms for generating intelligent behavior from a model of the environment. Generating good candidate actions is critical to the success of sample-based planners, particularly in continuous or large action spaces. Typically, candidate action generation exhausts the action space, uses domain knowledge, or more recently, involves learning a stochastic policy to provide such search guidance. In this paper we explore explicitly learning a candidate action generator by optimizing a novel objective, marginal utility. The marginal utility of an action generator measures the increase in value of an action over previously generated actions. We validate our approach in both curling, a challenging stochastic domain with continuous state and action spaces, and a location game with a discrete but large action space. We show that a generator trained with the marginal utility objective outperforms hand-coded schemes built on substantial domain knowledge, trained stochastic policies, and other natural objectives for generating actions for sampled-based planners. | 翻訳日:2022-11-23 05:43:13 公開日:2020-06-17 |
| # 脳波データによるてんかんの早期診断に向けて Towards Early Diagnosis of Epilepsy from EEG Data ( http://arxiv.org/abs/2006.06675v2 ) ライセンス: Link先を確認 | Diyuan Lu, Sebastian Bauer, Valentin Neubert, Lara Sophie Costard, Felix Rosenow, Jochen Triesch | (参考訳) てんかんは最も一般的な神経疾患の1つで、あらゆる年齢の人口の約1%に影響を及ぼす。
てんかんの発生、すなわちてんかんが起こる前にてんかん(EPG)を検出することで、早期の介入や、より効果的な治療が可能になる。
本稿では,発作発生前の頭蓋内脳波(EEG)記録から,現代の機械学習(ML)技術がEPGを検出できるかどうかを検討する。
そこで我々は,脳の電気刺激によってEPGが誘発されるてんかんモデルを用いた。
本稿では,深層畳み込みニューラルネットワーク(CNN)と予測集約手法を組み合わせたEPG識別のためのMLフレームワークを提案する。
具体的には、前刺激期間または後刺激期間から採取した5秒の脳波記録を識別するために、ニューラルネットワークを訓練する。
てんかんの段階的発達により, 刺激前後の脳波パターンの重複が著しい。
これにより、長期にわたって予測をプールする予測集約プロセスが導入された。
1時間以上の予測を集約することにより、EPG検出タスクにおいて、曲線(AUC)の0.99以下の領域を達成できる。
これは脳波記録からのEPG予測の実現可能性を示している。 Epilepsy is one of the most common neurological disorders, affecting about 1% of the population at all ages. Detecting the development of epilepsy, i.e., epileptogenesis (EPG), before any seizures occur could allow for early interventions and potentially more effective treatments. Here, we investigate if modern machine learning (ML) techniques can detect EPG from intra-cranial electroencephalography (EEG) recordings prior to the occurrence of any seizures. For this we use a rodent model of epilepsy where EPG is triggered by electrical stimulation of the brain. We propose a ML framework for EPG identification, which combines a deep convolutional neural network (CNN) with a prediction aggregation method to obtain the final classification decision. Specifically, the neural network is trained to distinguish five second segments of EEG recordings taken from either the pre-stimulation period or the post-stimulation period. Due to the gradual development of epilepsy, there is enormous overlap of the EEG patterns before and after the stimulation. Hence, a prediction aggregation process is introduced, which pools predictions over a longer period. By aggregating predictions over one hour, our approach achieves an area under the curve (AUC) of 0.99 on the EPG detection task. This demonstrates the feasibility of EPG prediction from EEG recordings. | 翻訳日:2022-11-22 13:14:39 公開日:2020-06-17 |
| # Collegial Ensembles Collegial Ensembles ( http://arxiv.org/abs/2006.07678v2 ) ライセンス: Link先を確認 | Etai Littwin and Ben Myara and Sima Sabah and Joshua Susskind and Shuangfei Zhai and Oren Golan | (参考訳) 現代のニューラルネットワークの性能は、モデルのサイズが大きくなるにつれて改善される。
過パラメータ化されたネットワークのニューラルタンジェントカーネル(NTK)に関する最近の研究は、サイズ増加による改善が、より良い条件付きロスランドスケープの産物であることを示している。
本研究では,単一モデルとして訓練された同一のアーキテクチャを持つ複数の独立モデルの集合としてコレージアルアンサンブル (ce) を定義する。
その結果,アンサンブル内のモデル数が大きければ,ceの最適化ダイナミクスは劇的に単純化され,広いモデルのダイナミクスに似ているが,スケール性ははるかに高いことがわかった。
我々はNTKの有限幅補正に関する最近の理論的結果を用いて、容量を最小化するか、制約セットのトレーニング可能性の最大化を目的とした、有限幅CEの空間における効率的なアーキテクチャ探索を行う。
結果として得られるアンサンブルは、グループ畳み込みとブロック対角層を用いて実用的なアーキテクチャで効率的に実装することができる。
最後に、当社のフレームワークを用いて、1つのモデルをトレーニングすることなく、もともと高価なグリッドサーチを用いて見つかった最適なグループ畳み込みモジュールを解析的に導出する方法を示す。 Modern neural network performance typically improves as model size increases. A recent line of research on the Neural Tangent Kernel (NTK) of over-parameterized networks indicates that the improvement with size increase is a product of a better conditioned loss landscape. In this work, we investigate a form of over-parameterization achieved through ensembling, where we define collegial ensembles (CE) as the aggregation of multiple independent models with identical architectures, trained as a single model. We show that the optimization dynamics of CE simplify dramatically when the number of models in the ensemble is large, resembling the dynamics of wide models, yet scale much more favorably. We use recent theoretical results on the finite width corrections of the NTK to perform efficient architecture search in a space of finite width CE that aims to either minimize capacity, or maximize trainability under a set of constraints. The resulting ensembles can be efficiently implemented in practical architectures using group convolutions and block diagonal layers. Finally, we show how our framework can be used to analytically derive optimal group convolution modules originally found using expensive grid searches, without having to train a single model. | 翻訳日:2022-11-21 20:41:33 公開日:2020-06-17 |
| # 光ランダム特徴を持つ分子動力学におけるオンライン変化点検出 Online Change Point Detection in Molecular Dynamics With Optical Random Features ( http://arxiv.org/abs/2006.08697v2 ) ライセンス: Link先を確認 | Am\'elie Chatelain, Elena Tommasone, Laurent Daudet, Iacopo Poli | (参考訳) タンパク質は絶えず変動する原子でできているが、時々大規模な変化を起こすことがある。
このような遷移は生物学的に興味を持ち、タンパク質の構造とその機能と細胞をつなぐ。
分子動力学(MD)のような原子レベルのシミュレーションはこれらの現象を研究するために用いられる。
しかし、分子動力学シミュレーションは複数の観測可能な時系列を生成するが、変化はしばしばそれらの数個しか影響しない。
したがって、ほとんどの変化点検出アルゴリズムではコンフォメーション変化の検出は困難であることが証明されている。
本研究では,多くのノイズ観測値が与えられた事象の同定に焦点をあてる。
特に,Non-Knowledge Exponential Weighted moving Average (NEWMA)アルゴリズムは,光ハードウェアに沿って,これらの変化をリアルタイムに識別できることを示す。
我々の方法は、タンパク質の背景とタンパク質自体を区別する必要がない。
より大きなシミュレーションでは、従来のシリコンハードウェアよりも高速で、メモリフットプリントも少ない。
この手法は分子のコンフォメーション空間のサンプリングを強化することができる。
多数の機能を持つ他のシーケンシャルデータにおける変更点の検出にも使用することができる。 Proteins are made of atoms constantly fluctuating, but can occasionally undergo large-scale changes. Such transitions are of biological interest, linking the structure of a protein to its function with a cell. Atomic-level simulations, such as Molecular Dynamics (MD), are used to study these events. However, molecular dynamics simulations produce time series with multiple observables, while changes often only affect a few of them. Therefore, detecting conformational changes has proven to be challenging for most change-point detection algorithms. In this work, we focus on the identification of such events given many noisy observables. In particular, we show that the No-prior-Knowledge Exponential Weighted Moving Average (NEWMA) algorithm can be used along optical hardware to successfully identify these changes in real-time. Our method does not need to distinguish between the background of a protein and the protein itself. For larger simulations, it is faster than using traditional silicon hardware and has a lower memory footprint. This technique may enhance the sampling of the conformational space of molecules. It may also be used to detect change-points in other sequential data with a large number of features. | 翻訳日:2022-11-21 05:21:49 公開日:2020-06-17 |
| # ルールとディープラーニングアルゴリズムを統合したハイブリッド自然言語生成システム A Hybrid Natural Language Generation System Integrating Rules and Deep Learning Algorithms ( http://arxiv.org/abs/2006.09213v2 ) ライセンス: Link先を確認 | Wei Wei, Bei Zhou, Georgios Leontidis | (参考訳) 本稿では,ルールベースアプローチと最新のディープラーニングアルゴリズムの両方の利点を組み合わせた自然言語生成システムを提案する。
また,自然言語処理の性能を包括的かつ正確に測定するために,HMCUと呼ばれる新しい手法を考案した。 This paper proposes an enhanced natural language generation system combining the merits of both rule-based approaches and modern deep learning algorithms, boosting its performance to the extent where the generated textual content is capable of exhibiting agile human-writing styles and the content logic of which is highly controllable. We also come up with a novel approach called HMCU to measure the performance of the natural language processing comprehensively and precisely. | 翻訳日:2022-11-21 02:40:29 公開日:2020-06-17 |
| # 完全指向型ニューラルネットワークの平衡伝播 Equilibrium Propagation for Complete Directed Neural Networks ( http://arxiv.org/abs/2006.08798v2 ) ライセンス: Link先を確認 | Matilde Tristany Farinha, S\'ergio Pequito, Pedro A. Santos, M\'ario A. T. Figueiredo | (参考訳) 人工ニューラルネットワークは、教師あり学習において最も成功したアプローチの1つで、もともと彼らの生物学的なアプローチにインスパイアされていた。
しかし、人工ニューラルネットワークの最も成功した学習アルゴリズムであるバックプロパゲーションは生物学的に有望ではないと考えられている。
我々は,平衡伝播学習の枠組みを構築し拡張することによって,生物学的に妥当な神経学習の話題に貢献する。
具体的には,任意のネットワークアーキテクチャに対する新たなニューロンのダイナミクスと学習規則,無関係な接続を回避可能なスパース性誘導手法,リアプノフ理論を用いたモデルの動的システム特徴付けなどを紹介する。 Artificial neural networks, one of the most successful approaches to supervised learning, were originally inspired by their biological counterparts. However, the most successful learning algorithm for artificial neural networks, backpropagation, is considered biologically implausible. We contribute to the topic of biologically plausible neuronal learning by building upon and extending the equilibrium propagation learning framework. Specifically, we introduce: a new neuronal dynamics and learning rule for arbitrary network architectures; a sparsity-inducing method able to prune irrelevant connections; a dynamical-systems characterization of the models, using Lyapunov theory. | 翻訳日:2022-11-21 02:12:32 公開日:2020-06-17 |
| # 個人音声生成のための対立表現学習 Adversarial representation learning for private speech generation ( http://arxiv.org/abs/2006.09114v2 ) ライセンス: Link先を確認 | David Ericsson, Adam \"Ostberg, Edvin Listo Zec, John Martinsson, Olof Mogren | (参考訳) 組織や企業、国によってさまざまな設定で収集されるデータが増えていくにつれ、ユーザのプライバシの需要が高まっている。
したがって、データ分析のためのプライバシー保護手法の開発は重要な研究分野である。
本研究では,音声データ中の特定の感度属性を難読化するGAN(Generative Adversarial Network)に基づくモデルを提案する。
我々は、発話の意味を保ちながら、データに機密情報を隠蔽することを学ぶモデルを訓練する。
モデルは2つのステップで訓練される: まず、スペクトログラムドメインで機密情報をフィルタリングし、その後、フィルタされた情報とは独立に、新しくプライベートな情報を生成する。
このモデルは、メルスペクトルを入力とするU-Net CNNに基づいている。
MelGANは、スペクトルを生のオーディオ波形に戻すために使用される。
実用性やリアリズムを維持するために,新たなデータを生成することによって,性別などのセンシティブな情報を隠蔽することができることを示す。 As more and more data is collected in various settings across organizations, companies, and countries, there has been an increase in the demand of user privacy. Developing privacy preserving methods for data analytics is thus an important area of research. In this work we present a model based on generative adversarial networks (GANs) that learns to obfuscate specific sensitive attributes in speech data. We train a model that learns to hide sensitive information in the data, while preserving the meaning in the utterance. The model is trained in two steps: first to filter sensitive information in the spectrogram domain, and then to generate new and private information independent of the filtered one. The model is based on a U-Net CNN that takes mel-spectrograms as input. A MelGAN is used to invert the spectrograms back to raw audio waveforms. We show that it is possible to hide sensitive information such as gender by generating new data, trained adversarially to maintain utility and realism. | 翻訳日:2022-11-20 21:50:23 公開日:2020-06-17 |
| # 多層パーセプトロンのためのPAC-Bayesian一般化境界 PAC-Bayesian Generalization Bounds for MultiLayer Perceptrons ( http://arxiv.org/abs/2006.08888v2 ) ライセンス: Link先を確認 | Xinjie Lan, Xin Guo, Kenneth E. Barner | (参考訳) クロスエントロピー損失を持つ多層パーセプトロン(MLP)に対するPAC-ベイズ一般化境界について検討した。
以下に、MLPの確率論的説明を2つの側面で紹介する。
i)MLPは、ギブス分布の族を定式化し、
(II) MLPのクロスエントロピー損失を最小化することはベイズ変分推論と等価であり、MPP上のPAC-ベイズ境界を研究するための確固とした確率的基礎を確立する。
さらに、ELBO(エビデンス・ロウアー・バウンド)に基づいて、交差エントロピー損失を持つMLPが本質的にPAC-ベイジアン一般化境界を保証し、MPPに対するPAC-ベイジアン一般化境界を最小化することがELBOの最大化と等価であることを示す。
最後に,ベンチマークデータセットに基づくPAC-Bayesian一般化の検証を行った。 We study PAC-Bayesian generalization bounds for Multilayer Perceptrons (MLPs) with the cross entropy loss. Above all, we introduce probabilistic explanations for MLPs in two aspects: (i) MLPs formulate a family of Gibbs distributions, and (ii) minimizing the cross-entropy loss for MLPs is equivalent to Bayesian variational inference, which establish a solid probabilistic foundation for studying PAC-Bayesian bounds on MLPs. Furthermore, based on the Evidence Lower Bound (ELBO), we prove that MLPs with the cross entropy loss inherently guarantee PAC- Bayesian generalization bounds, and minimizing PAC-Bayesian generalization bounds for MLPs is equivalent to maximizing the ELBO. Finally, we validate the proposed PAC-Bayesian generalization bound on benchmark datasets. | 翻訳日:2022-11-20 19:10:06 公開日:2020-06-17 |
| # PECAIQR : Covid-19 疫病に応用した感染症のモデル PECAIQR: A Model for Infectious Disease Applied to the Covid-19 Epidemic ( http://arxiv.org/abs/2006.13693v1 ) ライセンス: Link先を確認 | Richard Bao, August Chen, Jethin Gowda, Shiva Mudide | (参考訳) Covid-19パンデミックは、現代の多変量時系列予測モデルを改善する必要性を明確にしている。
将来の日常的な死の美術予測の現状、特に病院の資源利用は、許容できないほど広い信頼区間を持っている。
政策立案者や病院は、法律を成立させ、資源を割り当てる上で、正確な予測を必要とする。
郡レベルでの日々の死亡数と人口統計のデータを使って、将来の死亡数を予測した。
我々はSIR疫学モデルをPECAIQRモデルと呼ばれる新しいモデルに拡張した。
SIRモデルにいくつかの新しい変数とパラメータを追加し、米国で実装された部分隔離の影響を考慮に入れた。
数値積分によりモデルパラメータにデータを取り付ける。
パラメータ空間の適合性の低下とパラメータの非定常性から,データテールのトレーニングや特定のポリシーレジームのトレーニングなど,適合性を最適化するためのいくつかの手法を開発した。
我々はクロスバリデーションを用いて、郡レベルでハイパーパラメータを調整し、将来の毎日の死亡に備えCDFを生成する。
5月25日までのトレーニングデータから得られた予測では,14日間の予測で平均ピンボール損失スコアが0.096であった。
最終的に、我々のモデルからユーティリティーの可能な道の例を示す。
我々は,過去1ヶ月の様々な窓上での長期地平線予測を行い,換気器やicuベッドなどの医療資源が郡でどれだけ必要か予測し,他国におけるモデルの有効性を評価する。 The Covid-19 pandemic has made clear the need to improve modern multivariate time-series forecasting models. Current state of the art predictions of future daily deaths and, especially, hospital resource usage have confidence intervals that are unacceptably wide. Policy makers and hospitals require accurate forecasts to make informed decisions on passing legislation and allocating resources. We used US county-level data on daily deaths and population statistics to forecast future deaths. We extended the SIR epidemiological model to a novel model we call the PECAIQR model. It adds several new variables and parameters to the naive SIR model by taking into account the ramifications of the partial quarantining implemented in the US. We fitted data to the model parameters with numerical integration. Because of the fit degeneracy in parameter space and non-constant nature of the parameters, we developed several methods to optimize our fit, such as training on the data tail and training on specific policy regimes. We use cross-validation to tune our hyper parameters at the county level and generate a CDF for future daily deaths. For predictions made from training data up to May 25th, we consistently obtained an averaged pinball loss score of 0.096 on a 14 day forecast. We finally present examples of possible avenues for utility from our model. We generate longer-time horizon predictions over various 1-month windows in the past, forecast how many medical resources such as ventilators and ICU beds will be needed in counties, and evaluate the efficacy of our model in other countries. | 翻訳日:2022-11-19 21:42:49 公開日:2020-06-17 |
| # Fisher法における重み付きP値の利用 Using Weighted P-Values in Fisher's Method ( http://arxiv.org/abs/2006.10126v1 ) ライセンス: Link先を確認 | Arvind Thiagarajan | (参考訳) fisherのメソッドは、複数の実験からp値を1つのp値に結合する方法を規定している。
しかし、元の手法では、すべての成分p値が等しく重み付けられた場合にのみ、組み合わせたp値を解析的に決定できる。
ここでは、証明とともに、任意の重みと p-値を組み合わせる方法を示す。 Fisher's method prescribes a way to combine p-values from multiple experiments into a single p-value. However, the original method can only determine a combined p-value analytically if all constituent p-values are weighted equally. Here we present, with proof, a method to combine p-values with arbitrary weights. | 翻訳日:2022-11-19 21:42:04 公開日:2020-06-17 |
| # ディープグラフニューラルネットワークを用いたワイヤレス3Dポイントクラウド配信 Wireless 3D Point Cloud Delivery Using Deep Graph Neural Networks ( http://arxiv.org/abs/2006.09835v1 ) ライセンス: Link先を確認 | Takuya Fujihashi, Toshiaki Koike-Akino, Siheng Chen, Takashi Watanabe | (参考訳) 典型的なポイントクラウド配信では、送信者はオクツリーベースのデジタルビデオ圧縮を使用して3次元(3D)ポイントとカラー属性を帯域制限リンク上で送信する。
しかし、デジタルベースのスキームには「クリフ効果」という問題があり、3d復元の質は無線回線品質の段階的な機能となる。
チャネル品質の変動によるクリフ効果を防止するため,我々はholocastと呼ばれるソフトポイントクラウド配信を提案する。
HoloCastは、無線チャンネルの品質に応じて優れた品質改善を実現するが、通信オーバーヘッドが大きい。
本稿では,より優れた品質と低い通信オーバーヘッドを同時に実現するための,ソフトポイントクラウド配信方式を提案する。
提案手法では,無線フェージングチャネル下での歪み観測から高品質な点雲を再構成するグラフニューラルネットワーク(GNN)に基づくエンドツーエンドのディープラーニングフレームワークを提案する。
提案手法により,低オーバーヘッドでクリーンな3次元点雲を再構成し,フェージングやノイズ効果を除去できることを示す。 In typical point cloud delivery, a sender uses octree-based digital video compression to send three-dimensional (3D) points and color attributes over band-limited links. However, the digital-based schemes have an issue called the cliff effect, where the 3D reconstruction quality will be a step function in terms of wireless channel quality. To prevent the cliff effect subject to channel quality fluctuation, we have proposed soft point cloud delivery called HoloCast. Although the HoloCast realizes graceful quality improvement according to wireless channel quality, it requires large communication overheads. In this paper, we propose a novel scheme for soft point cloud delivery to simultaneously realize better quality and lower communication overheads. The proposed scheme introduces an end-to-end deep learning framework based on graph neural network (GNN) to reconstruct high-quality point clouds from its distorted observation under wireless fading channels. We demonstrate that the proposed GNN-based scheme can reconstruct clean 3D point cloud with low overheads by removing fading and noise effects. | 翻訳日:2022-11-19 21:40:13 公開日:2020-06-17 |
| # 空間的・文脈的認識(SpACe)"仮想生検"ラジオゲノミクスマップによる構造MRI上の腫瘍突然変異の標的 Spatial-And-Context aware (SpACe) "virtual biopsy" radiogenomic maps to target tumor mutational status on structural MRI ( http://arxiv.org/abs/2006.09878v1 ) ライセンス: Link先を確認 | Marwa Ismail, Ramon Correa, Kaustav Bera, Ruchika Verma, Anas Saeed Bamashmos, Niha Beig, Jacob Antunes, Prateek Prasanna, Volodymyr Statsevych, Manmeet Ahluwalia, Pallavi Tiwari | (参考訳) 放射線ゲノミクスは、パーソナライズされたがん治療に重点を置いているため、定期的なMRI(MRI)スキャンで標的となる腫瘍の突然変異状態を特定することは約束されている。
これらのアプローチは、(1)深層学習/放射線学(コンテキストベース)、(2)個体群統計に基づく遺伝子変異の確率を得るために、腫瘍全体の画像特徴を用いて遺伝子変異のステータスを同定する2つのカテゴリに分類される。
多くの遺伝子(EGFR、MGMTなど)は空間的変異であるが、画像上での遺伝子変異状態の信頼性評価における重要な課題は、モデルを訓練するための共局在基底真理の欠如である。
本研究では,空間的・文脈的認識 (Spatial-And-Context aware) "仮想生検 (virtual biopsy)" マップを,集団アトラスからの空間的優位性とともに,最小の絶対収縮・選択操作子 (LASSO) 回帰モデル内に導入し,変異の有無 (M+ vs M-) のボクセル当たりの確率を求める。
次に確率的ペアワイドマルコフモデルを用いてボクセルワイド予測確率を改善する。
対応する生検から得られた共局在基底真理を伴うmriスキャンにおける空間地図の有効性を評価し,(1)egfr(n=91),(2)mgmt(n=81)の2つのドライバ遺伝子の変異状態を予測した。
深層学習(DL)と放射能モデルと比較して、SpACeマップは、EGFR増幅状態の同定において90%(n=71)と90.48%(n=21)のトレーニングとテストの精度を得た。
mgmtは88.3% (n=61) と71.5% (n=20) であり、放射能は52.4% と66.7%、dlは79.3% と68.4%であった。
バリデーションの後、SpACeマップは外科的ナビゲーションを提供し、がんの特定のドライバ遺伝子を標的とするサンプリングサイトの位置を改善することができる。 With growing emphasis on personalized cancer-therapies,radiogenomics has shown promise in identifying target tumor mutational status on routine imaging (i.e. MRI) scans. These approaches fall into 2 categories: (1) deep-learning/radiomics (context-based), using image features from the entire tumor to identify the gene mutation status, or (2) atlas (spatial)-based to obtain likelihood of gene mutation status based on population statistics. While many genes (i.e. EGFR, MGMT) are spatially variant, a significant challenge in reliable assessment of gene mutation status on imaging has been the lack of available co-localized ground truth for training the models. We present Spatial-And-Context aware (SpACe) "virtual biopsy" maps that incorporate context-features from co-localized biopsy site along with spatial-priors from population atlases, within a Least Absolute Shrinkage and Selection Operator (LASSO) regression model, to obtain a per-voxel probability of the presence of a mutation status (M+ vs M-). We then use probabilistic pair-wise Markov model to improve the voxel-wise prediction probability. We evaluate the efficacy of SpACe maps on MRI scans with co-localized ground truth obtained from corresponding biopsy, to predict the mutation status of 2 driver genes in Glioblastoma: (1) EGFR (n=91), and (2) MGMT (n=81). When compared against deep-learning (DL) and radiomic models, SpACe maps obtained training and testing accuracies of 90% (n=71) and 90.48% (n=21) in identifying EGFR amplification status,compared to 80% and 71.4% via radiomics, and 74.28% and 65.5% via DL. For MGMT status, training and testing accuracies using SpACe were 88.3% (n=61) and 71.5% (n=20), compared to 52.4% and 66.7% using radiomics,and 79.3% and 68.4% using DL. Following validation,SpACe maps could provide surgical navigation to improve localization of sampling sites for targeting of specific driver genes in cancer. | 翻訳日:2022-11-19 21:39:55 公開日:2020-06-17 |
| # ディープニューラルネットワークを用いたステージングてんかん発生 Staging Epileptogenesis with Deep Neural Networks ( http://arxiv.org/abs/2006.09885v1 ) ライセンス: Link先を確認 | Diyuan Lu, Sebastian Bauer, Valentin Neubert, Lara Sophie Costard, Felix Rosenow, Jochen Triesch | (参考訳) てんかんは、過度の同期脳活動を伴う再発発作を特徴とする一般的な神経疾患である。
脳の構造的および機能的な変化の過程は、発作の感受性を増加させ、最終的には自然発作(epg)と呼ばれ、数ヶ月から数年にわたる。
EPGの進行を検知し、監視することで、疾患の進行を遅らせたり、開発を停止したりできる早期の介入を可能にすることができる。
本稿では、深層ニューラルネットワークを用いたEPGのステージング手法を提案し、脳波の異なる位相を区別するために、電位脳波バイオマーカー(EEG)を同定する。
具体的には,電気的穿孔経路刺激 (pps) によりてんかんが誘発されるげっ歯類モデルから頭蓋内脳波記録を連続的に収集した。
ディープニューラルネットワーク(DNN)は、刺激前(ベースライン)、PSの直後、PSの直後、そしてFSSの最初の自然発作前(FSS)から脳波信号を識別するために訓練される。
実験の結果,本手法は曲線下平均面積0.93, 0.89, 0.86の3相から脳波信号を分類できることがわかった。
我々の知る限りでは、これは、DNNを使用してFSSの前にEPGを発生させようとする最初の試みである。 Epilepsy is a common neurological disorder characterized by recurrent seizures accompanied by excessive synchronous brain activity. The process of structural and functional brain alterations leading to increased seizure susceptibility and eventually spontaneous seizures is called epileptogenesis (EPG) and can span months or even years. Detecting and monitoring the progression of EPG could allow for targeted early interventions that could slow down disease progression or even halt its development. Here, we propose an approach for staging EPG using deep neural networks and identify potential electroencephalography (EEG) biomarkers to distinguish different phases of EPG. Specifically, continuous intracranial EEG recordings were collected from a rodent model where epilepsy is induced by electrical perforant pathway stimulation (PPS). A deep neural network (DNN) is trained to distinguish EEG signals from before stimulation (baseline), shortly after the PPS and long after the PPS but before the first spontaneous seizure (FSS). Experimental results show that our proposed method can classify EEG signals from the three phases with an average area under the curve (AUC) of 0.93, 0.89, and 0.86. To the best of our knowledge, this represents the first successful attempt to stage EPG prior to the FSS using DNNs. | 翻訳日:2022-11-19 21:39:06 公開日:2020-06-17 |
| # 分散同型暗号化による高速なセキュアデータマイニング Faster Secure Data Mining via Distributed Homomorphic Encryption ( http://arxiv.org/abs/2006.10091v1 ) ライセンス: Link先を確認 | Junyi Li, Heng Huang | (参考訳) データマイニングにおけるプライバシ要求の高まりにより、最近、暗号化されたフィールド上で計算を行う能力により、同型暗号化(HE)がますます注目を集めている。
HE技術を使用することで、モデル学習を信頼できないが強力なパブリッククラウド環境に安全にアウトソースすることが可能である。
しかし、計算の複雑さが高いため、heベースのトレーニングはひどくスケールする。
HEを大規模問題に適用できるかどうかはまだ未解決の問題である。
本稿では,スケーリング問題の解決に向けて,新しい分散HEベースのデータマイニングフレームワークを提案する。
我々のアプローチの主なアイデアは、he内のより浅い計算回路と引き換えに、より少ない通信オーバーヘッドを使用することで、全体的な複雑さを減らすことである。
各種データマイニングアルゴリズムとベンチマークデータセットを用いて,新しいフレームワークの有効性と有効性を検証する。
例えば、ロジスティック回帰モデルをトレーニングして、約5分以内に数字3と8を認識することに成功しました。 Due to the rising privacy demand in data mining, Homomorphic Encryption (HE) is receiving more and more attention recently for its capability to do computations over the encrypted field. By using the HE technique, it is possible to securely outsource model learning to the not fully trustful but powerful public cloud computing environments. However, HE-based training scales badly because of the high computation complexity. It is still an open problem whether it is possible to apply HE to large-scale problems. In this paper, we propose a novel general distributed HE-based data mining framework towards one step of solving the scaling problem. The main idea of our approach is to use the slightly more communication overhead in exchange of shallower computational circuit in HE, so as to reduce the overall complexity. We verify the efficiency and effectiveness of our new framework by testing over various data mining algorithms and benchmark data-sets. For example, we successfully train a logistic regression model to recognize the digit 3 and 8 within around 5 minutes, while a centralized counterpart needs almost 2 hours. | 翻訳日:2022-11-19 21:38:19 公開日:2020-06-17 |
| # Pendant Drop Tensiometry: 機械学習アプローチ Pendant Drop Tensiometry: A Machine Learning Approach ( http://arxiv.org/abs/2006.10111v1 ) ライセンス: Link先を確認 | Felix Kratz and Jan Kierfeld | (参考訳) 現代のペンダント滴テンジオメトリはヤング・ラプラス方程式の数値解に依存しており、ペンダント滴の1枚の画像から表面張力を高精度に決定できる。
これらの手法の多くはヤング・ラプラス方程式を何度も解き、実液滴の供給された画像に適合する物質パラメータを見つける。
本稿では,この問題を計算効率良く解くための機械学習手法を提案する。
深層ニューラルネットワークを用いて与えられた液滴形状の表面張力を数値的に生成された液滴形状のトレーニングセットを用いて決定する。
特に, トレーニングセットの形状が表面張力に対する液滴形状の感度を反映している場合, ディープラーニングアプローチは, アートシェイプフィッティングアプローチの速度と精度において, 現状よりも優れていることが示された。
このような最適化されたトレーニングセットを導出するために,従来の形状整合および機械学習アプローチにおける品質指標としてのWorthington数の役割を明らかにする。
本手法は,一般のレオロジー変形実験による材料パラメータ決定におけるディープニューラルネットワークの能力を示す。 Modern pendant drop tensiometry relies on numerical solution of the Young-Laplace equation and allow to determine the surface tension from a single picture of a pendant drop with high precision. Most of these techniques solve the Young-Laplace equation many times over to find the material parameters that provide a fit to a supplied image of a real droplet. Here we introduce a machine learning approach to solve this problem in a computationally more efficient way. We train a deep neural network to determine the surface tension of a given droplet shape using a large training set of numerically generated droplet shapes. We show that the deep learning approach is superior to the current state of the art shape fitting approach in speed and precision, in particular if shapes in the training set reflect the sensitivity of the droplet shape with respect to surface tension. In order to derive such an optimized training set we clarify the role of the Worthington number as quality indicator in conventional shape fitting and in the machine learning approach. Our approach demonstrates the capabilities of deep neural networks in the material parameter determination from rheological deformation experiments in general. | 翻訳日:2022-11-19 21:38:02 公開日:2020-06-17 |
| # 競争力のあるミラー降下 Competitive Mirror Descent ( http://arxiv.org/abs/2006.10179v1 ) ライセンス: Link先を確認 | Florian Sch\"afer and Anima Anandkumar and Houman Owhadi | (参考訳) 制約付き競争最適化は、制約の対象となる競合する目標を最小化しようとする複数のエージェントを含む。
これは非常に表現力豊かなモデリング言語であり、現代の機械学習のほとんどを仮定している。
本研究では,自動微分によって得られる一階情報に基づいて,そのような問題を解決する汎用手法である競争ミラー降下法(cmd)を提案する。
まず、ラグランジュ乗数を加えることで、関連するブレグマンポテンシャルを持つ単純化された制約集合を得る。
各イテレーションにおいて、全問題の正規化された双線形近似のナッシュ平衡を解き、エージェントの運動方向を求める。
最後に、ブレグマンポテンシャルによって誘導される双対幾何学に従って、この方向を従えば次の繰り返しが得られる。
双対幾何を用いることで、各反復で線形系を解くだけで実現可能なイテレートを得ることができ、制約集合の大域的非線形構造を考慮しつつ射影ステップを不要にすることができる。
特別の場合として、正の円錐上の問題に対する新しい競合乗法重みアルゴリズムを得る。 Constrained competitive optimization involves multiple agents trying to minimize conflicting objectives, subject to constraints. This is a highly expressive modeling language that subsumes most of modern machine learning. In this work we propose competitive mirror descent (CMD): a general method for solving such problems based on first order information that can be obtained by automatic differentiation. First, by adding Lagrange multipliers, we obtain a simplified constraint set with an associated Bregman potential. At each iteration, we then solve for the Nash equilibrium of a regularized bilinear approximation of the full problem to obtain a direction of movement of the agents. Finally, we obtain the next iterate by following this direction according to the dual geometry induced by the Bregman potential. By using the dual geometry we obtain feasible iterates despite only solving a linear system at each iteration, eliminating the need for projection steps while still accounting for the global nonlinear structure of the constraint set. As a special case we obtain a novel competitive multiplicative weights algorithm for problems on the positive cone. | 翻訳日:2022-11-19 21:37:31 公開日:2020-06-17 |
| # クイックリスト: 将来のプレイリストレコメンデーションのための豊富なプレイリスト埋め込み Quick Lists: Enriched Playlist Embeddings for Future Playlist Recommendation ( http://arxiv.org/abs/2006.12382v1 ) ライセンス: Link先を確認 | Brett Vintch | (参考訳) プレイリストは単なる部品の合計以上のものが多いため、デジタル音楽サービスのコンテキストでユーザーにプレイリストを推薦するのは難しい作業だ。
本稿では,プレイリストの長さに不変で,局所的およびグローバル的トラック順序に敏感なプレイリスト埋め込みを生成する新しい手法を提案する。
埋め込みはプレイリストのシークエンシングに関する情報もキャプチャし、プレイリストユーザーに関するサイド情報も強化される。
これらの埋め込みは、次のベストプレイリストレコメンデーションを生成するのに有用であり、コールドスタート問題にサイド情報を利用することができることを示す。 Recommending playlists to users in the context of a digital music service is a difficult task because a playlist is often more than the mere sum of its parts. We present a novel method for generating playlist embeddings that are invariant to playlist length and sensitive to local and global track ordering. The embeddings also capture information about playlist sequencing, and are enriched with side information about the playlist user. We show that these embeddings are useful for generating next-best playlist recommendations, and that side information can be used for the cold start problem. | 翻訳日:2022-11-19 21:37:15 公開日:2020-06-17 |
| # 機械学習抽象化境界の拡張: 社会コンテキストを組み込む複雑なシステムアプローチ Extending the Machine Learning Abstraction Boundary: A Complex Systems Approach to Incorporate Societal Context ( http://arxiv.org/abs/2006.09663v1 ) ライセンス: Link先を確認 | Donald Martin Jr., Vinodkumar Prabhakaran, Jill Kuhlberg, Andrew Smart, William S. Isaac | (参考訳) 機械学習(ML)の公正性の研究は、しばしば不透明なアルゴリズムやモデル、あるいはその即時的な入力や出力に対する数学的介入に主に焦点をあてる傾向がある。
このような過度に単純化された数学的モデルは、MLモデルを考案し、開発し、最終的に展開する社会的文脈を抽象化する。
フェアネス自体が、モデル入力やモデル自体とともに、その社会的文脈から生まれた社会的に構築された概念であるため、社会的文脈の深い理解が欠如しているため、MLフェアネスの追求が容易に妨げられる。
本稿では,社会的文脈の理解,識別,表現を改善するための3つの新しいツールについて概説する。
まず、複雑な適応システム(CAS)に基づく社会文脈の定義を提案し、研究者や製品開発者がMLフェアネスワークの抽象的境界を社会文脈を含むように拡張できるようにする。
第2に,多様な精神モデルと関連する因果理論を組み込んだ社会技術枠を確立する上で,協調因果理論形成(CCTF)を導入し,MLベースの製品における問題と解決空間をモデル化する。
最後に,コミュニティベースのシステムダイナミクス(CBSD)を,ML製品開発プロセスのすべての段階において,CCTFを実践するための強力で透明で厳密なアプローチとみなす。
社会技術システムが組み込まれている社会状況を理解するためのシステム理論的アプローチが、公正で包括的なMLベースの製品の開発をいかに改善するかを論じる。 Machine learning (ML) fairness research tends to focus primarily on mathematically-based interventions on often opaque algorithms or models and/or their immediate inputs and outputs. Such oversimplified mathematical models abstract away the underlying societal context where ML models are conceived, developed, and ultimately deployed. As fairness itself is a socially constructed concept that originates from that societal context along with the model inputs and the models themselves, a lack of an in-depth understanding of societal context can easily undermine the pursuit of ML fairness. In this paper, we outline three new tools to improve the comprehension, identification and representation of societal context. First, we propose a complex adaptive systems (CAS) based model and definition of societal context that will help researchers and product developers to expand the abstraction boundary of ML fairness work to include societal context. Second, we introduce collaborative causal theory formation (CCTF) as a key capability for establishing a sociotechnical frame that incorporates diverse mental models and associated causal theories in modeling the problem and solution space for ML-based products. Finally, we identify community based system dynamics (CBSD) as a powerful, transparent and rigorous approach for practicing CCTF during all phases of the ML product development process. We conclude with a discussion of how these systems theoretic approaches to understand the societal context within which sociotechnical systems are embedded can improve the development of fair and inclusive ML-based products. | 翻訳日:2022-11-19 21:31:12 公開日:2020-06-17 |
| # 自律水中車両の3次元経路追従と衝突回避のための深層強化学習制御 Deep Reinforcement Learning Controller for 3D Path-following and Collision Avoidance by Autonomous Underwater Vehicles ( http://arxiv.org/abs/2006.09792v1 ) ライセンス: Link先を確認 | Simen Theie Havenstr{\o}m and Adil Rasheed and Omer San | (参考訳) 制御理論は、力学系の閉ループ挙動と安定性を操作するコントローラを設計するための多数のツールを提供する。
これらの手法は物理システムを支配する数学的モデルについての洞察に大きく依存している。
しかし、経路追従と衝突回避という2つの目的を果たす自律型水中車両のような複雑なシステムでは、意思決定は簡単ではない。
本稿では,最先端のDeep Reinforcement Learning (DRL) 技術を用いて,目標や環境の事前知識を持たずに,このハイブリッド目的を達成する自律エージェントを開発することを提案する。
本研究は, 道路追従におけるDRLの実現可能性と, 極端障害物条件下での自律走行車システムにおける人間レベルの意思決定に向けた衝突回避効果を示すものである。 Control theory provides engineers with a multitude of tools to design controllers that manipulate the closed-loop behavior and stability of dynamical systems. These methods rely heavily on insights about the mathematical model governing the physical system. However, in complex systems, such as autonomous underwater vehicles performing the dual objective of path-following and collision avoidance, decision making becomes non-trivial. We propose a solution using state-of-the-art Deep Reinforcement Learning (DRL) techniques, to develop autonomous agents capable of achieving this hybrid objective without having \`a priori knowledge about the goal or the environment. Our results demonstrate the viability of DRL in path-following and avoiding collisions toward achieving human-level decision making in autonomous vehicle systems within extreme obstacle configurations. | 翻訳日:2022-11-19 21:30:27 公開日:2020-06-17 |
| # 加速器物理のための機械学習入門 Introduction to Machine Learning for Accelerator Physics ( http://arxiv.org/abs/2006.09913v1 ) ライセンス: Link先を確認 | Daniel Ratner | (参考訳) このペアのCAS講義は、加速物理学の学生に機械学習(ML)の枠組みと用語について紹介する。
まず,線形回帰の簡単な例を通じてmlの言語を導入することで,mle(maximum likelihood estimation)とmap(maximum a priori)推定の概念を導入する確率論的視点を導入する。
次に、この概念をニューラルネットワークやロジスティック回帰の例に適用する。
次に、非パラメトリックモデルとカーネル手法を導入し、教師なしおよび強化学習の2つの他の機械学習パラダイムについて簡単な紹介を行う。
最後に、自由電子レーザーにおけるmlの応用例を閉じる。 This pair of CAS lectures gives an introduction for accelerator physics students to the framework and terminology of machine learning (ML). We start by introducing the language of ML through a simple example of linear regression, including a probabilistic perspective to introduce the concepts of maximum likelihood estimation (MLE) and maximum a priori (MAP) estimation. We then apply the concepts to examples of neural networks and logistic regression. Next we introduce non-parametric models and the kernel method and give a brief introduction to two other machine learning paradigms, unsupervised and reinforcement learning. Finally we close with example applications of ML at a free-electron laser. | 翻訳日:2022-11-19 21:30:06 公開日:2020-06-17 |
| # ニューラルネットワーク解バンドルを用いた微分方程式の解法 Solving Differential Equations Using Neural Network Solution Bundles ( http://arxiv.org/abs/2006.14372v1 ) ライセンス: Link先を確認 | Cedric Flamant, Pavlos Protopapas, David Sondak | (参考訳) 力学系の時間発展は常微分方程式(ODE)によってしばしば説明され、与えられた初期条件に対して解かなければならない。
ほとんどの標準的なアプローチは、値が離散時間で計算される単一のソリューションを生成するODEを数値的に統合する。
ODEに異なる初期条件を持つ多くの様々な解が必要な場合、計算コストは増大する。
本稿では,様々な初期状態とシステムパラメータに対して,ニューラルネットワークを解束,ODEに対する解の集合として用いることを提案する。
ニューラルネットワークソリューションバンドルは、要求されたソリューションの事前知識を必要としない教師なしの損失でトレーニングされ、その結果のオブジェクトは初期条件とシステムパラメータで微分可能である。
解束は系状態の高速かつ並列化可能な評価を示し、実力学系におけるパラメータ推定にベイズ推定を用いることを容易にする。 The time evolution of dynamical systems is frequently described by ordinary differential equations (ODEs), which must be solved for given initial conditions. Most standard approaches numerically integrate ODEs producing a single solution whose values are computed at discrete times. When many varied solutions with different initial conditions to the ODE are required, the computational cost can become significant. We propose that a neural network be used as a solution bundle, a collection of solutions to an ODE for various initial states and system parameters. The neural network solution bundle is trained with an unsupervised loss that does not require any prior knowledge of the sought solutions, and the resulting object is differentiable in initial conditions and system parameters. The solution bundle exhibits fast, parallelizable evaluation of the system state, facilitating the use of Bayesian inference for parameter estimation in real dynamical systems. | 翻訳日:2022-11-19 21:29:06 公開日:2020-06-17 |
| # 企業レベルストックリターン予測のためのつぶやきに基づくデータセット A Tweet-based Dataset for Company-Level Stock Return Prediction ( http://arxiv.org/abs/2006.09723v1 ) ライセンス: Link先を確認 | Karolina Sowinska and Pranava Madhyastha | (参考訳) 世論は、特に株式市場の動きに関連する出来事に影響を与え、微妙なヒントが市場の地域的結果に影響を及ぼす可能性がある。
本稿では,1日,2日,3日,7日の株価リターンに対する企業レベルのツイートベース影響分析を可能にするデータセットを提案する。
当社のデータセットは、英語によるtwitterのラベル付きインスタンス852,231から成り、85,176のラベル付きインスタンスのクリーンなサブセットをコミュニティにリリースしています。
また、標準的な機械学習アルゴリズムと、さまざまなタイプの機能を利用するマルチビュー学習ベースのアプローチを用いたベースラインも提供しています。
私たちのデータセット、スクリプト、モデルは、https://github.com/ ImperialNLP/stockreturnpred.comで公開されています。 Public opinion influences events, especially related to stock market movement, in which a subtle hint can influence the local outcome of the market. In this paper, we present a dataset that allows for company-level analysis of tweet based impact on one-, two-, three-, and seven-day stock returns. Our dataset consists of 862, 231 labelled instances from twitter in English, we also release a cleaned subset of 85, 176 labelled instances to the community. We also provide baselines using standard machine learning algorithms and a multi-view learning based approach that makes use of different types of features. Our dataset, scripts and models are publicly available at: https://github.com/ImperialNLP/stockreturnpred. | 翻訳日:2022-11-19 21:22:09 公開日:2020-06-17 |
| # ローバーナビゲーションのための3次元CNNセマンティックマッピングの評価 Evaluation of 3D CNN Semantic Mapping for Rover Navigation ( http://arxiv.org/abs/2006.09761v1 ) ライセンス: Link先を確認 | Sebastiano Chiodini, Luca Torresin, Marco Pertile, Stefano Debei | (参考訳) 地形評価は自律探査ローバーにとって重要な側面であり、環境認識は最適な軌道計画や自律目標識別など、複数の目的のために必要である。
本研究では,火星環境の正確な3次元セマンティックマップを生成する手法を提案する。
このアルゴリズムは、ローバーに搭載されたカメラによって取得されたステレオ画像を入力する。
まず、画像は、エンコーダデコーダのConvolutional Neural Networl(CNN)であるDeepLabv3+でラベル付けされる。
次に、セマンティックセグメンテーションによって得られたラベルをVoxel表現のステレオ深度マップに結合する。
我々はESA Katwijk Beach Planetary Rover Datasetへのアプローチを評価した。 Terrain assessment is a key aspect for autonomous exploration rovers, surrounding environment recognition is required for multiple purposes, such as optimal trajectory planning and autonomous target identification. In this work we present a technique to generate accurate three-dimensional semantic maps for Martian environment. The algorithm uses as input a stereo image acquired by a camera mounted on a rover. Firstly, images are labeled with DeepLabv3+, which is an encoder-decoder Convolutional Neural Networl (CNN). Then, the labels obtained by the semantic segmentation are combined to stereo depth-maps in a Voxel representation. We evaluate our approach on the ESA Katwijk Beach Planetary Rover Dataset. | 翻訳日:2022-11-19 21:21:41 公開日:2020-06-17 |
| # 2コア対称位相角制御変圧器の知的保護と過渡性の分類 Intelligent Protection & Classification of Transients in Two-Core Symmetric Phase Angle Regulating Transformers ( http://arxiv.org/abs/2006.09865v1 ) ライセンス: Link先を確認 | Pallav Kumar Bera, Can Isik | (参考訳) 本稿では, 時間・周波数特性に基づく分類器の適用性について検討し, 内部異常, 交感神経刺激, 外部異常, 変圧器飽和, 過励起を識別し, 間接対称位相角制御変換器 (ISPAR) に適用する。
そして、ISPARの故障トランスフォーマーユニット(シリーズ/エキサイティング)が位置し、又は過渡的障害が特定される。
イベント検出器は、差動電流の変動を検出し、7つの分類器を訓練するための時間および時間周波数の特徴を抽出するために使用される3相後過渡サンプルの1サイクルを登録する。
3つの異なる特徴 - ウェーブレット係数、時間領域特徴、時間とウェーブレットエネルギーの組み合わせ - 決定木を用いた徹底探索から得られた時間とウェーブレットエネルギー - 、ランダムフォレスト特徴の選択、最大有効最小冗長性。
内部故障を平衡精度99.9%で検出し、故障単位を平衡精度98.7%で局所化し、非断層過渡を平衡精度99.5%で分類する。
その結果, 正確な内部異常検出と局所化, 過渡的同定の可能性が示唆された。
提案手法は, 既存のマイクロプロセッサに基づくディファレンシャルリレーの動作を監視できるため, 安定性と信頼性が向上する。
ISPARはモデル化され、過渡度は様々なパラメータによってPSCAD/EMTDCでシミュレートされる。 This paper investigates the applicability of time and time-frequency features based classifiers to distinguish internal faults and other transients - magnetizing inrush, sympathetic inrush, external faults with current transformer saturation, and overexcitation - for Indirect Symmetrical Phase Angle Regulating Transformers (ISPAR). Then the faulty transformer unit (series/exciting) of the ISPAR is located, or else the transient disturbance is identified. An event detector detects variation in differential currents and registers one-cycle of 3-phase post transient samples which are used to extract the time and time-frequency features for training seven classifiers. Three different sets of features - wavelet coefficients, time-domain features, and combination of time and wavelet energy - obtained from exhaustive search using Decision Tree, random forest feature selection, and maximum Relevance Minimum Redundancy are used. The internal fault is detected with a balanced accuracy of 99.9%, the faulty unit is localized with balanced accuracy of 98.7% and the no-fault transients are classified with balanced accuracy of 99.5%. The results show potential for accurate internal fault detection and localization, and transient identification. The proposed scheme can supervise the operation of existing microprocessor-based differential relays resulting in higher stability and dependability. The ISPAR is modeled and the transients are simulated in PSCAD/EMTDC by varying several parameters. | 翻訳日:2022-11-19 21:21:12 公開日:2020-06-17 |
| # 超音波画像シミュレーションのための散乱分布推定のためのディープネットワーク Deep Network for Scatterer Distribution Estimation for Ultrasound Image Simulation ( http://arxiv.org/abs/2006.10166v1 ) ライセンス: Link先を確認 | Lin Zhang, Valery Vishnevskiy, Orcun Goksel | (参考訳) シミュレーションに基づく超音波トレーニングは必須の教育ツールである。
典型的なスペックルテクスチャを持つ現実的な超音波画像の出現は、組織微細構造を表す点散乱関数の畳み込みとしてモデル化することができる。
しかし、そのような散乱体分布は一般には知られておらず、その組織型の推定は基本的に不適切な逆問題である。
本稿では,超音波観測データから確率的散乱体推定のための畳み込みニューラルネットワーク手法を提案する。
本稿では,合成画像に畳み込みニューラルネットワークを訓練することにより,散乱器に既知の統計分布を課し,超音波画像と分布パラメータマップのマッピングを学ぶことを提案する。
いくつかの既存手法と比較して,本手法で推定した散乱器表現からの合成画像が,画像領域の圧縮や回転といった様々な取得パラメータと密接に一致していることを示す。 Simulation-based ultrasound training can be an essential educational tool. Realistic ultrasound image appearance with typical speckle texture can be modeled as convolution of a point spread function with point scatterers representing tissue microstructure. Such scatterer distribution, however, is in general not known and its estimation for a given tissue type is fundamentally an ill-posed inverse problem. In this paper, we demonstrate a convolutional neural network approach for probabilistic scatterer estimation from observed ultrasound data. We herein propose to impose a known statistical distribution on scatterers and learn the mapping between ultrasound image and distribution parameter map by training a convolutional neural network on synthetic images. In comparison with several existing approaches, we demonstrate in numerical simulations and with in-vivo images that the synthesized images from scatterer representations estimated with our approach closely match the observations with varying acquisition parameters such as compression and rotation of the imaged domain. | 翻訳日:2022-11-19 21:20:24 公開日:2020-06-17 |
| # dcaf: オンラインサービスシステムのための動的計算割り当てフレームワーク DCAF: A Dynamic Computation Allocation Framework for Online Serving System ( http://arxiv.org/abs/2006.09684v1 ) ライセンス: Link先を確認 | Biye Jiang, Pengye Zhang, Rihan Chen, Binding Dai, Xinchen Luo, Yin Yang, Guan Wang, Guorui Zhou, Xiaoqiang Zhu, Kun Gai | (参考訳) 推薦システムやオンライン広告システムは計算集約的なインフラ上に構築されている。
これらの応用の典型的な目的は、GMV~(Gross Merchandise Volume)のような総収益を限られた計算資源の下で最大化することである。
通常、オンラインサービスシステムは、検索、序列、ランキングなどを含むいくつかの段階からなる多段階のカスケードアーキテクチャに従う。
これらのステージは通常、リソースを特定のコンピューティングパワー予算に手動で割り当てる。
その結果、既存システムは総収益の最大化に関して、容易に準最適解に陥る。
この制限は、トラフィック要求の価値は大きく異なるが、オンラインサービスシステムは依然として同等のコンピューティングパワーを消費しているためである。
本稿では,オンラインサービスシステムが各トラフィック要求を異なる方法で処理し,その値に基づいて「個人化された」計算資源を割り当てる,という新しい考え方を紹介する。
我々は,この資源割当問題をナップサック問題として定式化し,動的計算割当フレームワーク~(dcaf)を提案する。
いくつかの一般的な仮定の下では、DCAFはシステムが所定の計算予算内での総収入を最大化できることを理論的に保証することができる。
DCAFは、大きな改善をもたらし、主要なトラフィックを提供するため、Taobaoのディスプレイ広告システムに展開されている。
DCAFでは、20倍の計算リソース削減で、同じビジネスパフォーマンスを維持することができます。 Modern large-scale systems such as recommender system and online advertising system are built upon computation-intensive infrastructure. The typical objective in these applications is to maximize the total revenue, e.g. GMV~(Gross Merchandise Volume), under a limited computation resource. Usually, the online serving system follows a multi-stage cascade architecture, which consists of several stages including retrieval, pre-ranking, ranking, etc. These stages usually allocate resource manually with specific computing power budgets, which requires the serving configuration to adapt accordingly. As a result, the existing system easily falls into suboptimal solutions with respect to maximizing the total revenue. The limitation is due to the face that, although the value of traffic requests vary greatly, online serving system still spends equal computing power among them. In this paper, we introduce a novel idea that online serving system could treat each traffic request differently and allocate "personalized" computation resource based on its value. We formulate this resource allocation problem as a knapsack problem and propose a Dynamic Computation Allocation Framework~(DCAF). Under some general assumptions, DCAF can theoretically guarantee that the system can maximize the total revenue within given computation budget. DCAF brings significant improvement and has been deployed in the display advertising system of Taobao for serving the main traffic. With DCAF, we are able to maintain the same business performance with 20\% computation resource reduction. | 翻訳日:2022-11-19 21:20:01 公開日:2020-06-17 |
| # 人工音楽インテリジェンス:サーベイ Artificial Musical Intelligence: A Survey ( http://arxiv.org/abs/2006.10553v1 ) ライセンス: Link先を確認 | Elad Liebman and Peter Stone | (参考訳) 1950年代から1960年代にかけて、コンピュータは音楽の分析と制作に使われてきた。
1990年代後半から、インターネットと音楽レコメンデーションと検索のための大規模なプラットフォームが台頭し、音楽は機械学習と人工知能研究の領域としてますます広まりつつある。
生まれながら、広く「音楽的知性」と呼ばれるものに取り組むために、いくつかの異なるアプローチが採用されている。
この記事では、音楽知性の定義と、その構成要素の分類法を紹介し、機械学習の手法を特に重視しながら、その追求に役立てることができる、そして、これまで持ちこたえてきた、幅広いaiメソッドを調査します。 Computers have been used to analyze and create music since they were first introduced in the 1950s and 1960s. Beginning in the late 1990s, the rise of the Internet and large scale platforms for music recommendation and retrieval have made music an increasingly prevalent domain of machine learning and artificial intelligence research. While still nascent, several different approaches have been employed to tackle what may broadly be referred to as "musical intelligence." This article provides a definition of musical intelligence, introduces a taxonomy of its constituent components, and surveys the wide range of AI methods that can be, and have been, brought to bear in its pursuit, with a particular emphasis on machine learning methods. | 翻訳日:2022-11-19 21:19:39 公開日:2020-06-17 |
| # BlazePose: デバイス上でのリアルタイムボディポース追跡 BlazePose: On-device Real-time Body Pose tracking ( http://arxiv.org/abs/2006.10204v1 ) ライセンス: Link先を確認 | Valentin Bazarevsky, Ivan Grishchenko, Karthik Raveendran, Tyler Zhu, Fan Zhang, Matthias Grundmann | (参考訳) 本稿では,モバイルデバイス上でのリアルタイム推論に適した人間のポーズ推定のための軽量畳み込みニューラルネットワークアーキテクチャBlazePoseを提案する。
推論中、ネットワークは1人につき33のボディキーポイントを生成し、pixel 2携帯電話で毎秒30フレーム以上動作します。
これにより、フィットネストラッキングや手話認識といったリアルタイムのユースケースに特に適しています。
私たちの主な貢献は、新しいボディポーズ追跡ソリューションと、ヒートマップと回帰の両方をキーポイント座標に使用する軽量ボディポーズ推定ニューラルネットワークです。 We present BlazePose, a lightweight convolutional neural network architecture for human pose estimation that is tailored for real-time inference on mobile devices. During inference, the network produces 33 body keypoints for a single person and runs at over 30 frames per second on a Pixel 2 phone. This makes it particularly suited to real-time use cases like fitness tracking and sign language recognition. Our main contributions include a novel body pose tracking solution and a lightweight body pose estimation neural network that uses both heatmaps and regression to keypoint coordinates. | 翻訳日:2022-11-19 21:12:30 公開日:2020-06-17 |
| # オンライン会話における感情情報を用いた有害コメントのプリエンプティブ検出 Using Sentiment Information for Preemptive Detection of Toxic Comments in Online Conversations ( http://arxiv.org/abs/2006.10145v1 ) ライセンス: Link先を確認 | \'Eloi Brassard-Gourdeau, Richard Khoury | (参考訳) オンライン上で有害コメントを自動的に検出するという課題は、最近多くの研究の対象となっているが、主に投稿された個々のメッセージで検出することに焦点を当てている。
一部の著者は、最初の数つのメッセージの特徴を使って会話が有害になるかどうかを予測しようとした。
本稿では,このアプローチと,感情情報を用いた毒性検出に関するこれまでの研究を組み合わせることで,会話の最初のメッセージで表現された感情が今後の毒性を予測する上でどのように役立つかを示す。
以上の結果から,感情的特徴を加えることで毒性予測の精度が向上し,予防的毒性検出の一般的な課題について重要な観察が可能になることが示唆された。 The challenge of automatic detection of toxic comments online has been the subject of a lot of research recently, but the focus has been mostly on detecting it in individual messages after they have been posted. Some authors have tried to predict if a conversation will derail into toxicity using the features of the first few messages. In this paper, we combine that approach with previous work on toxicity detection using sentiment information, and show how the sentiments expressed in the first messages of a conversation can help predict upcoming toxicity. Our results show that adding sentiment features does help improve the accuracy of toxicity prediction, and also allow us to make important observations on the general task of preemptive toxicity detection. | 翻訳日:2022-11-19 21:12:22 公開日:2020-06-17 |
| # 合成データストリームにおけるサンプリングアルゴリズムのランキングとベンチマークフレームワーク Ranking and benchmarking framework for sampling algorithms on synthetic data streams ( http://arxiv.org/abs/2006.09895v1 ) ライセンス: Link先を確認 | J\'ozsef D\'aniel G\'asp\'ar, Martin Horv\'ath, Gy\H{o}z\H{o} Horv\'ath and Zolt\'an Zvara | (参考訳) ビッグデータ、ai、ストリーミング処理の分野では、複数のソースからの大量のデータを扱う。
メモリとネットワークの制限のため、分散システム上のデータストリームを処理し、計算とネットワークの負荷を軽減する。
非均一な分散を伴うデータストリームを処理する場合、単純なハッシュパーティショニングを使用するため、オーバーロードされたパーティショニングをしばしば観察する。
この不均衡に対処するために、データストリームの基盤となる分布を正確に推定するためにサンプリングアルゴリズムを必要とする動的パーティショニングアルゴリズムを使用することができる。
これらのアルゴリズムをテストする標準的な方法はありません。
ベンチマークとハイパーパラメータ最適化機能を備えた拡張可能なランキングフレームワークを提供し、コンセプトドリフトを処理可能なデータジェネレータをフレームワークに提供する。
私たちの仕事には、どんなデータストリームにも適用可能な動的マイクロバーストのジェネレータが含まれています。
我々は,概念ドリフトに反応し,それを最先端のアルゴリズムと比較するアルゴリズムを提供する。 In the fields of big data, AI, and streaming processing, we work with large amounts of data from multiple sources. Due to memory and network limitations, we process data streams on distributed systems to alleviate computational and network loads. When data streams with non-uniform distributions are processed, we often observe overloaded partitions due to the use of simple hash partitioning. To tackle this imbalance, we can use dynamic partitioning algorithms that require a sampling algorithm to precisely estimate the underlying distribution of the data stream. There is no standardized way to test these algorithms. We offer an extensible ranking framework with benchmark and hyperparameter optimization capabilities and supply our framework with a data generator that can handle concept drifts. Our work includes a generator for dynamic micro-bursts that we can apply to any data stream. We provide algorithms that react to concept drifts and compare those against the state-of-the-art algorithms using our framework. | 翻訳日:2022-11-19 21:12:10 公開日:2020-06-17 |
| # スペースマッチ:環境選好を利用して住民を適切な活動型ワークスペースに合わせる Spacematch: Using environmental preferences to match occupants to suitable activity-based workspaces ( http://arxiv.org/abs/2006.09570v1 ) ライセンス: Link先を確認 | Tapeesh Sood, Patrick Janssen, and Clayton Miller | (参考訳) アクティビティベースのワークスペース(ABW)パラダイムは、商用オフィススペースで人気が高まっている。
この戦略では、居住者は日常的に仕事や個人活動を行う場所を選択する。
本稿では、ABWの割り当てと管理を改善するために設計されたSpacematchプラットフォームの実装とテストについて述べる。
環境にやさしく空間効率の良いフレキシブルな作業空間に適合するように、居住者の好みを特徴付ける能力をテストする実験を行った。
このアプローチは、Webベースのモバイルアプリケーションを使用して、利用者を利用可能なワークデスクのカタログに結びつけ、リアルタイムな環境フィードバックを提供する。
本研究では,このフィードバックデータをiot(internet-of-things)センサの屋内環境値にマージして,同じ好みの居住者をグループ化することにより,空間とエネルギーの使用を最適化する機能を検証した。
本稿では,このプラットフォームを2つのオフィスビルに実装したケーススタディについて概説する。
この配備は、30日間の研究で25のフィールドベースの研究参加者から1,182の回答を集めた。
この初期データセットから, ABW利用者は, 蓄積した嗜好データに基づいて, 特定の種類のユーザに区分することができ, マッチング嗜好を導出してレコメンデーションプラットフォームを構築することができることを示した。 The activity-based workspace (ABW) paradigm is becoming more popular in commercial office spaces. In this strategy, occupants are given a choice of spaces to do their work and personal activities on a day-to-day basis. This paper shows the implementation and testing of the Spacematch platform that was designed to improve the allocation and management of ABW. An experiment was implemented to test the ability to characterize the preferences of occupants to match them with suitable environmentally-comfortable and spatially-efficient flexible workspaces. This approach connects occupants with a catalog of available work desks using a web-based mobile application and enables them to provide real-time environmental feedback. In this work, we tested the ability for this feedback data to be merged with indoor environmental values from Internet-of-Things (IoT) sensors to optimize space and energy use by grouping occupants with similar preferences. This paper outlines a case study implementation of this platform on two office buildings. This deployment collected 1,182 responses from 25 field-based research participants over a 30-day study. From this initial data set, the results show that the ABW occupants can be segmented into specific types of users based on their accumulated preference data, and matching preferences can be derived to build a recommendation platform. | 翻訳日:2022-11-19 21:11:55 公開日:2020-06-17 |
| # 画像認識のためのマルチサブスペースニューラルネットワーク Multi-Subspace Neural Network for Image Recognition ( http://arxiv.org/abs/2006.09618v1 ) ライセンス: Link先を確認 | Chieh-Ning Fang, Chin-Teng Lin | (参考訳) 画像分類タスクでは,特徴抽出は常に大きな問題である。
クラス内変動により、抽出器の設計が困難になる。
さらに、手作りの特徴抽出器は、単に新しい状況に適応できない。
近年、ディープラーニングはデータから機能を自動的に学習することに多くの注目を集めている。
本研究では,畳み込みニューラルネットワーク (cnn) の重要なコンポーネントを部分空間の概念と統合したマルチサブスペースニューラルネットワーク (msnn) を提案する。
ディープネットワークにサブスペースを関連付けることは新しい設計であり、データの様々な視点を提供する。
適応部分空間自己組織化マップ(ASSOM)によって訓練された基底ベクトルは、軸成分にアクセスし、視覚タスクの位相を歪ませることなくデータの基本パターンを抽出する受容場を定義するための伝達関数として機能する。
さらに、マルチサブスペース戦略は並列ブロックとして実装され、実世界のデータに適応し、クラス内の変数問題にもっと堅牢なデータ解釈に寄与する。
この目的のために、手書きの桁とオブジェクトの画像データセット(MNISTとCOIL-20)を用いて、提案したMSNNアーキテクチャを検証する。
実験の結果、MSNNは他の最先端のアプローチと競合していることが示された。 In image classification task, feature extraction is always a big issue. Intra-class variability increases the difficulty in designing the extractors. Furthermore, hand-crafted feature extractor cannot simply adapt new situation. Recently, deep learning has drawn lots of attention on automatically learning features from data. In this study, we proposed multi-subspace neural network (MSNN) which integrates key components of the convolutional neural network (CNN), receptive field, with subspace concept. Associating subspace with the deep network is a novel designing, providing various viewpoints of data. Basis vectors, trained by adaptive subspace self-organization map (ASSOM) span the subspace, serve as a transfer function to access axial components and define the receptive field to extract basic patterns of data without distorting the topology in the visual task. Moreover, the multiple-subspace strategy is implemented as parallel blocks to adapt real-world data and contribute various interpretations of data hoping to be more robust dealing with intra-class variability issues. To this end, handwritten digit and object image datasets (i.e., MNIST and COIL-20) for classification are employed to validate the proposed MSNN architecture. Experimental results show MSNN is competitive to other state-of-the-art approaches. | 翻訳日:2022-11-19 21:04:46 公開日:2020-06-17 |
| # 複合データベースマイクロ圧縮認識のためのモデルとデータスライキングによる不可視化 Revealing the Invisible with Model and Data Shrinking for Composite-database Micro-expression Recognition ( http://arxiv.org/abs/2006.09674v1 ) ライセンス: Link先を確認 | Zhaoqiang Xia, Wei Peng, Huai-Qian Khor, Xiaoyi Feng, Guoying Zhao | (参考訳) 複合データベースのマイクロ表現認識は、現実のアプリケーションではより実用的であるため、注目を集めている。
複合データベースは優れた表現モデルを学ぶためにより多くのサンプルの多様性を提供するが、重要な微妙なダイナミクスはドメインシフトで失われる傾向にあり、特に深いモデルではモデルの性能が著しく低下する。
本稿では,入力複雑性とモデルの複雑さを含む学習複雑性の影響を分析し,低分解能入力データと浅層構造モデルが複合データベースタスクにおける深層モデルの劣化を緩和するのに役立つことを明らかにする。
そこで本研究では,より浅層構造と低分解能入力データ,縮小モデルと入力複雑度を同時に探索する再帰畳み込みネットワーク(RCN)を提案する。
さらに、学習可能なパラメータを増やすことなくRCNと統合する3つのパラメータフリーモジュール(広拡張、ショートカット接続、アテンションユニット)を開発する。
これら3つのモジュールは、解像度の低いデータに対する奥行きのないアーキテクチャを維持しながら、さまざまな観点で表現能力を高めることができる。
さらに、3つのモジュールを自動戦略(ニューラルアーキテクチャ探索戦略)と組み合わせることで、検索されたアーキテクチャがより堅牢になる。
MEGC2019データセット(既存のSMIC、CASME II、SAMMデータセットからなる)の大規模な実験は、学習の複雑さの影響を検証し、3つのモジュールを持つRCNと検索された組み合わせが最先端のアプローチより優れていることを示した。 Composite-database micro-expression recognition is attracting increasing attention as it is more practical to real-world applications. Though the composite database provides more sample diversity for learning good representation models, the important subtle dynamics are prone to disappearing in the domain shift such that the models greatly degrade their performance, especially for deep models. In this paper, we analyze the influence of learning complexity, including the input complexity and model complexity, and discover that the lower-resolution input data and shallower-architecture model are helpful to ease the degradation of deep models in composite-database task. Based on this, we propose a recurrent convolutional network (RCN) to explore the shallower-architecture and lower-resolution input data, shrinking model and input complexities simultaneously. Furthermore, we develop three parameter-free modules (i.e., wide expansion, shortcut connection and attention unit) to integrate with RCN without increasing any learnable parameters. These three modules can enhance the representation ability in various perspectives while preserving not-very-deep architecture for lower-resolution data. Besides, three modules can further be combined by an automatic strategy (a neural architecture search strategy) and the searched architecture becomes more robust. Extensive experiments on MEGC2019 dataset (composited of existing SMIC, CASME II and SAMM datasets) have verified the influence of learning complexity and shown that RCNs with three modules and the searched combination outperform the state-of-the-art approaches. | 翻訳日:2022-11-19 21:04:26 公開日:2020-06-17 |
| # 時間符号化と深部圧縮によるリアルタイム行動表現 A Real-time Action Representation with Temporal Encoding and Deep Compression ( http://arxiv.org/abs/2006.09675v1 ) ライセンス: Link先を確認 | Kun Liu, Wu Liu, Huadong Ma, Mingkui Tan, Chuang Gan | (参考訳) ディープニューラルネットワークは、ビデオベースのアクション認識で目覚ましい成功を収めている。
しかし、計算コストが高いため、既存のアプローチのほとんどは実際に展開することはできない。
そこで本稿では,リアルタイム畳み込みアーキテクチャであるtemporal convolutional 3d network (t-c3d)を提案する。
t-c3dは、高いプロセス速度を得ながら、階層的なマルチグラニュラ性でビデオアクション表現を学習する。
具体的には、単一フレームの出現と連続フレーム間の動きに関する補足情報をキャプチャする残差3次元畳み込みニューラルネットワーク(cnn)を提案する。
このCNNに基づいて、ビデオ全体の時間的ダイナミクスを探索する新しい時間的エンコーディング手法を開発した。
さらに,T-C3Dと深部圧縮技術を統合し,モデルのサイズを小さくすることでモデルの展開をさらに加速する。
このような方法では、推論を行う際に重い計算を回避できるため、有望なパフォーマンスを維持しながら、リアルタイム速度以上のビデオを扱うことができる。
本手法は,最先端リアルタイム手法に対するutf101動作認識ベンチマークの精度5.4%,5mb以下のストレージモデルでの推論速度2倍の精度向上を実現している。
我々は,その動作表現性能を4つの異なるベンチマークで3つのタスクで検証することで,そのアプローチを検証する。
広範な実験により、最先端の手法と同等の認識性能を示す。
ソースコードと事前訓練されたモデルはhttps://github.com/tc3d.comで公開されている。 Deep neural networks have achieved remarkable success for video-based action recognition. However, most of existing approaches cannot be deployed in practice due to the high computational cost. To address this challenge, we propose a new real-time convolutional architecture, called Temporal Convolutional 3D Network (T-C3D), for action representation. T-C3D learns video action representations in a hierarchical multi-granularity manner while obtaining a high process speed. Specifically, we propose a residual 3D Convolutional Neural Network (CNN) to capture complementary information on the appearance of a single frame and the motion between consecutive frames. Based on this CNN, we develop a new temporal encoding method to explore the temporal dynamics of the whole video. Furthermore, we integrate deep compression techniques with T-C3D to further accelerate the deployment of models via reducing the size of the model. By these means, heavy calculations can be avoided when doing the inference, which enables the method to deal with videos beyond real-time speed while keeping promising performance. Our method achieves clear improvements on UCF101 action recognition benchmark against state-of-the-art real-time methods by 5.4% in terms of accuracy and 2 times faster in terms of inference speed with a less than 5MB storage model. We validate our approach by studying its action representation performance on four different benchmarks over three different tasks. Extensive experiments demonstrate comparable recognition performance to the state-of-the-art methods. The source code and the pre-trained models are publicly available at https://github.com/tc3d. | 翻訳日:2022-11-19 21:03:58 公開日:2020-06-17 |
| # LRPD:LiDARとRGBの比強度を利用した長距離3次元歩行者検出 LRPD: Long Range 3D Pedestrian Detection Leveraging Specific Strengths of LiDAR and RGB ( http://arxiv.org/abs/2006.09738v1 ) ライセンス: Link先を確認 | Michael F\"urst and Oliver Wasenm\"uller and Didier Stricker | (参考訳) 短距離3次元歩行者検出は緊急破断には十分であるが、スムーズな破断と自動運転車の信頼獲得には長距離検出が必要である。
KITTIベンチマークの現在の最先端技術は、歩行者の位置を長距離で検出する際の準最適化を行う。
そこで本研究では,RGBの密度とLiDARの精度を利用して,長距離3次元歩行者検出(LRPD)を対象とするアプローチを提案する。
そのため、提案手法ではRGBインスタンス分割とLiDARポイントベースの提案生成を併用し、両センサの対称性を対称に使用した第2段階が続く。
これは、現在の最先端技術と比較して、長い範囲でmAPが大幅に改善される。
本手法の評価は,kittiベンチマークから歩行者を対象に行った。 While short range 3D pedestrian detection is sufficient for emergency breaking, long range detections are required for smooth breaking and gaining trust in autonomous vehicles. The current state-of-the-art on the KITTI benchmark performs suboptimal in detecting the position of pedestrians at long range. Thus, we propose an approach specifically targeting long range 3D pedestrian detection (LRPD), leveraging the density of RGB and the precision of LiDAR. Therefore, for proposals, RGB instance segmentation and LiDAR point based proposal generation are combined, followed by a second stage using both sensor modalities symmetrically. This leads to a significant improvement in mAP on long range compared to the current state-of-the art. The evaluation of our LRPD approach was done on the pedestrians from the KITTI benchmark. | 翻訳日:2022-11-19 21:03:13 公開日:2020-06-17 |
| # 群集カウントのための浅層特徴量に基づくDense Attention Network Shallow Feature Based Dense Attention Network for Crowd Counting ( http://arxiv.org/abs/2006.09853v1 ) ライセンス: Link先を確認 | Yunqi Miao, Zijia Lin, Guiguang Ding, Jungong Han | (参考訳) 近年, 深層学習による群集カウントのパフォーマンスは劇的に改善されているが, 背景が散らばり, 人物の規模が変化するなど, 微妙な問題となっている。
そこで本稿では,Shallow Feature based Dense Attention Network (SDANet) を提案する。これは,浅層特徴に基づく注目モデルを含むことによって,背景の影響を低減し,また階層的特徴を密結合することで,マルチスケール情報をキャプチャする。
具体的には、背景とヒトの群集は、一般的に浅い特徴において顕著に異なる応答を持つという観察から着想を得て、浅い特徴マップに基づいて注意モデルを構築し、正確な背景画素検出を行う。
さらに,異なるスケールの人々の代表的特徴が,特徴抽出ネットワークの異なる層に現れることを考慮し,それらをより良く保持するために,異なる階層の階層的画像特徴を密結合し,その後,群衆密度を推定するための符号化を提案する。
3つのベンチマークデータセットの実験結果は、異なるシナリオを扱う際のSDANetの優位性を明確に示している。
特に、挑戦的なUCF CC 50データセットでは、SDANetの11.9%の平均絶対誤差(MAE)低下から明らかなように、我々の手法は他の既存の手法よりも大きなマージンで優れている。 While the performance of crowd counting via deep learning has been improved dramatically in the recent years, it remains an ingrained problem due to cluttered backgrounds and varying scales of people within an image. In this paper, we propose a Shallow feature based Dense Attention Network (SDANet) for crowd counting from still images, which diminishes the impact of backgrounds via involving a shallow feature based attention model, and meanwhile, captures multi-scale information via densely connecting hierarchical image features. Specifically, inspired by the observation that backgrounds and human crowds generally have noticeably different responses in shallow features, we decide to build our attention model upon shallow-feature maps, which results in accurate background-pixel detection. Moreover, considering that the most representative features of people across different scales can appear in different layers of a feature extraction network, to better keep them all, we propose to densely connect hierarchical image features of different layers and subsequently encode them for estimating crowd density. Experimental results on three benchmark datasets clearly demonstrate the superiority of SDANet when dealing with different scenarios. Particularly, on the challenging UCF CC 50 dataset, our method outperforms other existing methods by a large margin, as is evident from a remarkable 11.9% Mean Absolute Error (MAE) drop of our SDANet. | 翻訳日:2022-11-19 21:02:22 公開日:2020-06-17 |
| # 反復編集に基づく教師なし文の簡易化 Iterative Edit-Based Unsupervised Sentence Simplification ( http://arxiv.org/abs/2006.09639v1 ) ライセンス: Link先を確認 | Dhruv Kumar, Lili Mou, Lukasz Golab, Olga Vechtomova | (参考訳) 教師なし文の単純化に対する反復的,編集的アプローチを提案する。
本モデルは, 流束性, 単純性, 意味保存を含むスコアリング関数によって導かれる。
次に,複雑な文に対して単語や句レベルの編集を反復的に行う。
従来のアプローチと比較して,このモデルは並列トレーニングセットを必要としないが,より制御可能で解釈可能である。
NewselaとWikiLargeのデータセットの実験により、我々のアプローチは最先端の教師付きアプローチと同じくらい効果的であることが示された。 We present a novel iterative, edit-based approach to unsupervised sentence simplification. Our model is guided by a scoring function involving fluency, simplicity, and meaning preservation. Then, we iteratively perform word and phrase-level edits on the complex sentence. Compared with previous approaches, our model does not require a parallel training set, but is more controllable and interpretable. Experiments on Newsela and WikiLarge datasets show that our approach is nearly as effective as state-of-the-art supervised approaches. | 翻訳日:2022-11-19 20:55:16 公開日:2020-06-17 |
| # コンテクスト化有益性予測における隣人の活用 Exploiting Review Neighbors for Contextualized Helpfulness Prediction ( http://arxiv.org/abs/2006.09685v1 ) ライセンス: Link先を確認 | Jiahua Du, Jia Rong, Hua Wang, Yanchun Zhang | (参考訳) 顧客に対して高品質なオンラインレビューを識別し推奨するために、有益性予測技術が広く使われている。
現在、ほとんどの研究はレビューの有用性は自己完結していると仮定している。
しかし、実際には、顧客はシーケンシャルな性質から、レビューを独立して処理することはほとんどない。
レビューの有益さは、そのシーケンシャルな隣人(つまりコンテキスト)によって影響を受ける可能性が高いが、これはほとんど無視されている。
本稿では,レビューと隣人との相互作用の欠如を捉える新しい手法を提案する。
最初のエンドツーエンドニューラルネットワークアーキテクチャは、near-aware usefulness prediction (nap)のために開発された。
各レビューでは、NAPは3種類の隣人選択(前、後、および周辺隣人選択)が可能である。
4つの重み付けスキームは、選択した隣人からコンテキストヒントを学ぶように設計されている。
レビューは、近隣の注意力を予測するための学習した手がかりにコンテキスト化される。
NAPは、一連の最先端のベースラインに対して、現実世界のオンラインレビューの6つのドメインで評価されている。
広範囲な実験により、NAPの有効性と、近隣住民の影響が現在のレビューで確認されている。
さらなるハイパーパラメーター解析により3つの主要な所見が明らかとなった。
1) 平均して, 重要でない8人の隣人がコンテキスト構築に携わる。
2)近隣住民の予測の利点は主に近隣住民によるものである。
(3) レビューの隣人5人までを平等に考えると、通常より弱いが許容できる予測結果が得られる。 Helpfulness prediction techniques have been widely used to identify and recommend high-quality online reviews to customers. Currently, the vast majority of studies assume that a review's helpfulness is self-contained. In practice, however, customers hardly process reviews independently given the sequential nature. The perceived helpfulness of a review is likely to be affected by its sequential neighbors (i.e., context), which has been largely ignored. This paper proposes a new methodology to capture the missing interaction between reviews and their neighbors. The first end-to-end neural architecture is developed for neighbor-aware helpfulness prediction (NAP). For each review, NAP allows for three types of neighbor selection: its preceding, following, and surrounding neighbors. Four weighting schemes are designed to learn context clues from the selected neighbors. A review is then contextualized into the learned clues for neighbor-aware helpfulness prediction. NAP is evaluated on six domains of real-world online reviews against a series of state-of-the-art baselines. Extensive experiments confirm the effectiveness of NAP and the influence of sequential neighbors on a current reviews. Further hyperparameter analysis reveals three main findings. (1) On average, eight neighbors treated with uneven importance are engaged for context construction. (2) The benefit of neighbor-aware prediction mainly results from closer neighbors. (3) Equally considering up to five closest neighbors of a review can usually produce a weaker but tolerable prediction result. | 翻訳日:2022-11-19 20:55:09 公開日:2020-06-17 |
| # テキスト生成のための自動ランク付けロシア語パラフレーズコーパス Automatically Ranked Russian Paraphrase Corpus for Text Generation ( http://arxiv.org/abs/2006.09719v1 ) ライセンス: Link先を確認 | Vadim Gudkov, Olga Mitrofanova, Elizaveta Filippskikh | (参考訳) この記事は、ロシア計算言語学におけるこの種の最初のコーパスであることが証明された、ロシア語のパラフレーズ生成のための大きなコーパスの自動開発とランキングに焦点を当てている。
既存のロシア語の注釈付きパラフレーズデータセットは、パラフレーズやプラジャリズムの検出、文の類似性、関連性の推定など、NLPタスクのセットに適した小さなParaPhraser corpusとParaPlagに限られている。
サイズ制限のため、これらのデータセットはエンドツーエンドのテキスト生成ソリューションにはほとんど適用できない。
一方、パラフレーズ生成には大量のトレーニングデータが必要である。
本研究では,新たに利用可能な見出しパラフレーズコーパス(ParaPhraser Plus)を収集,ランク付け,評価し,さらにユニバーサルトランスフォーマーアーキテクチャを用いて自動ランキングコーパスを手動で評価したテキスト生成実験を行う。 The article is focused on automatic development and ranking of a large corpus for Russian paraphrase generation which proves to be the first corpus of such type in Russian computational linguistics. Existing manually annotated paraphrase datasets for Russian are limited to small-sized ParaPhraser corpus and ParaPlag which are suitable for a set of NLP tasks, such as paraphrase and plagiarism detection, sentence similarity and relatedness estimation, etc. Due to size restrictions, these datasets can hardly be applied in end-to-end text generation solutions. Meanwhile, paraphrase generation requires a large amount of training data. In our study we propose a solution to the problem: we collect, rank and evaluate a new publicly available headline paraphrase corpus (ParaPhraser Plus), and then perform text generation experiments with manual evaluation on automatically ranked corpora using the Universal Transformer architecture. | 翻訳日:2022-11-19 20:54:52 公開日:2020-06-17 |
| # ドメイン外分類を用いたオンライン議論における教師なしニューラルアスペクト抽出の改善 Improving unsupervised neural aspect extraction for online discussions using out-of-domain classification ( http://arxiv.org/abs/2006.09766v1 ) ライセンス: Link先を確認 | Anton Alekseev, Elena Tutubalina, Valentin Malykh, Sergey Nikolenko | (参考訳) 自己意識に基づくディープラーニングアーキテクチャは、教師なしアスペクト抽出とトピックモデリングのタスクにおいて、最近、技術結果の状態を達成し、超越している。
ニューラルアテンションベースのアスペクト抽出(ABAE)のようなモデルがユーザ生成テキストに適用されているが、ニュース記事やニュースグループ文書などの従来のデータソースに適用した場合、一貫性は低い。
本稿では,abaeの基本機構を変更せずにニュースグループベースのコンテンツから学習した話題的側面を改善するために,文フィルタリングに基づく単純なアプローチを提案する。
我々は、確率的分類器を訓練して、ドメイン外のテキスト(outer dataset)とドメイン内のテキスト(target dataset)を区別する。
そして、データ準備中に、ドメイン内である確率の低い文をフィルタリングし、残りの文でニューラルネットワークモデルをトレーニングします。
文フィルタリングがトピックコヒーレンスに与える影響を,未フィルタリングテキスト上で訓練されたアスペクト抽出モデルと比較した。 Deep learning architectures based on self-attention have recently achieved and surpassed state of the art results in the task of unsupervised aspect extraction and topic modeling. While models such as neural attention-based aspect extraction (ABAE) have been successfully applied to user-generated texts, they are less coherent when applied to traditional data sources such as news articles and newsgroup documents. In this work, we introduce a simple approach based on sentence filtering in order to improve topical aspects learned from newsgroups-based content without modifying the basic mechanism of ABAE. We train a probabilistic classifier to distinguish between out-of-domain texts (outer dataset) and in-domain texts (target dataset). Then, during data preparation we filter out sentences that have a low probability of being in-domain and train the neural model on the remaining sentences. The positive effect of sentence filtering on topic coherence is demonstrated in comparison to aspect extraction models trained on unfiltered texts. | 翻訳日:2022-11-19 20:54:34 公開日:2020-06-17 |
| # ファウショット学習イベント検出のための大規模マッチング Extensively Matching for Few-shot Learning Event Detection ( http://arxiv.org/abs/2006.10093v1 ) ライセンス: Link先を確認 | Viet Dac Lai, Franck Dernoncourt, Thien Huu Nguyen | (参考訳) 教師あり学習環境下での現在のイベント検出モデルは、neweventタイプへの転送に失敗する。
イベント検出では、新しいイベントタイプで高いジェネラリゼーションでうまく機能するようにモデルをal-lowするにも関わらず、わずかなショット学習は行われていない。
本研究では,イベント検出を数秒学習問題として定式化し,イベントデテククトを新たなイベントタイプに拡張する。
sup-port の例にマッチする2つのノベルロス因子を提案し,モデルにより多くのトレーニング信号を与える。
さらに、これらのトレーニング信号は多くのメトリックベースの少数ショット学習モデルに適用できる。
数発の学習セットによるACE-2005データセットの広範な実験により,提案手法が数発の学習性能を即時向上できることが示された。 Current event detection models under super-vised learning settings fail to transfer to newevent types. Few-shot learning has not beenexplored in event detection even though it al-lows a model to perform well with high gener-alization on new event types. In this work, weformulate event detection as a few-shot learn-ing problem to enable to extend event detec-tion to new event types. We propose two novelloss factors that matching examples in the sup-port set to provide more training signals to themodel. Moreover, these training signals can beapplied in many metric-based few-shot learn-ing models. Our extensive experiments on theACE-2005 dataset (under a few-shot learningsetting) show that the proposed method can im-prove the performance of few-shot learning | 翻訳日:2022-11-19 20:54:17 公開日:2020-06-17 |
| # この対話はコヒーレントか?
対話行為や実体から学ぶ Is this Dialogue Coherent? Learning from Dialogue Acts and Entities ( http://arxiv.org/abs/2006.10157v1 ) ライセンス: Link先を確認 | Alessandra Cervone, Giuseppe Riccardi | (参考訳) 本研究では,オープンドメイン対話におけるコヒーレンス知覚について検討する。
特に,対話の歴史全体を考慮しながら,次回候補の一貫性を注釈化しモデル化する問題に対処する。
まず、スイッチボード・コヒーレンス(swbd-coh)コーパスを作成し、全対話コンテキストを考慮した次回候補発話評価を提供する。
コーパスを統計的に分析した結果,従来導入されていた実体の分布パターンや対話法がターンコヒーレンス認知に与える影響が示唆された。
第2に,SWBD-Coh上での人間コヒーレンス評価の予測において,エンティティ,対話行為,それらの組み合わせをモデル化し,それらの性能を評価するために,異なるアーキテクチャを実験する。
DA情報とエンティティ情報を組み合わせたモデルでは,応答選択とターンコヒーレンス評価の両面で最高の性能が得られることがわかった。 In this work, we investigate the human perception of coherence in open-domain dialogues. In particular, we address the problem of annotating and modeling the coherence of next-turn candidates while considering the entire history of the dialogue. First, we create the Switchboard Coherence (SWBD-Coh) corpus, a dataset of human-human spoken dialogues annotated with turn coherence ratings, where next-turn candidate utterances ratings are provided considering the full dialogue context. Our statistical analysis of the corpus indicates how turn coherence perception is affected by patterns of distribution of entities previously introduced and the Dialogue Acts used. Second, we experiment with different architectures to model entities, Dialogue Acts and their combination and evaluate their performance in predicting human coherence ratings on SWBD-Coh. We find that models combining both DA and entity information yield the best performances both for response selection and turn coherence rating. | 翻訳日:2022-11-19 20:54:06 公開日:2020-06-17 |
| # 無線メッシュネットワークにおけるノード飢餓問題に対するFairness-Oriented Semi-Chaotic Genetic Algorithm-based Channel Assignment Technique Fairness-Oriented Semi-Chaotic Genetic Algorithm-Based Channel Assignment Technique for Nodes Starvation Problem in Wireless Mesh Network ( http://arxiv.org/abs/2006.09655v1 ) ライセンス: Link先を確認 | Fuad A. Ghaleb, Bander Ali Saleh Al-rimy, Maznah Kamat, Mohd. Foad Rohani, Shukor Abd Razak | (参考訳) マルチ無線マルチチャネル無線メッシュネットワーク(WMN)は、IoT(Internet of Things)や車両ネットワークなど、多くの革新的な技術をサポートするスケーラブルで信頼性が高く、アジャイルな無線ネットワークとして登場した。
直交チャネルの数が限られているため、チャネル間の干渉はメッシュクライアント間の帯域幅の公平な分配に悪影響を与え、効率的なアクセス技術としてwmnの採用を妨げる帯域幅の不足という観点からノード飢餓を引き起こす。
したがって、メッシュクライアントが利用可能なリソースを利用するためには、公平なチャネル割り当てが不可欠である。
しかし、不公平なチャネル分布によるノード飢餓問題は、現存する研究によってチャンネル割り当て中に非常に見過ごされている。
その代わり、既存のチャネル割り当てアルゴリズムは、ネットワーク全体の干渉を減らすか、あるいはネットワーク全体のスループットを最大化する。
この目的のために,無線メッシュネットワークにおけるノード飢餓問題に対して,Fairness-Oriented Semi-Chaotic Genetic Algorithm-Based Channel Assignment Technique (FA-SCGA-CAA)を提案する。
FA-SCGA-CAAは遺伝的アルゴリズム(GA)の修正版を用いて、多重基準に基づく公平性を最適化する。
この修飾は、強力な遺伝子を持つ一次染色体を作るための半カオス技術の提案を含む。
このような染色体は、効果的で効率的な方法でグローバルミニマへの探索を誘導する強い集団を形成するために用いられた。
その結果,リンク干渉を最小限に抑えつつリンクフェアネスを最大化することを目的とした非線形フェアネス指向フィットネス関数が得られた。
関連研究では,FA_SCGA_CAAにより電位ノードの飢餓が22%減少し,ネットワーク容量が23%向上した。 Multi-Radio Multi-Channel Wireless Mesh Networks (WMNs) have emerged as a scalable, reliable, and agile wireless network that supports many types of innovative technologies such as the Internet of Things (IoT) and vehicular networks. Due to the limited number of orthogonal channels, interference between channels adversely affects the fair distribution of bandwidth among mesh clients, causing node starvation in terms of insufficient bandwidth, which impedes the adoption of WMN as an efficient access technology. Therefore, a fair channel assignment is crucial for the mesh clients to utilize the available resources. However, the node starvation problem due to unfair channel distribution has been vastly overlooked during channel assignment by the extant research. Instead, existing channel assignment algorithms either reduce the total network interference or maximize the total network throughput, which neither guarantees a fair distribution of the channels nor eliminates node starvation. To this end, the Fairness-Oriented Semi-Chaotic Genetic Algorithm-Based Channel Assignment Technique (FA-SCGA-CAA) was proposed in this paper for Nodes Starvation Problem in Wireless Mesh Networks. FA-SCGA-CAA optimizes fairness based on multiple-criterion using a modified version of the Genetic Algorithm (GA). The modification includes proposing a semi-chaotic technique for creating the primary chromosome with powerful genes. Such a chromosome was used to create a strong population that directs the search towards the global minima in an effective and efficient way. The outcome is a nonlinear fairness oriented fitness function that aims at maximizing the link fairness while minimizing the link interference. Comparison with related work shows that the proposed FA_SCGA_CAA reduced the potential nodes starvation by 22% and improved network capacity utilization by 23%. | 翻訳日:2022-11-19 20:53:49 公開日:2020-06-17 |
| # 遺伝子プログラミングの訪問スケジューリングソリューションは、新型コロナウイルスのパンデミックの集団ロックダウンを減らしてくれる Genetic Programming visitation scheduling solution can deliver a less austere COVID-19 pandemic population lockdown ( http://arxiv.org/abs/2006.10748v1 ) ライセンス: Link先を確認 | Daniel Howard | (参考訳) 新型コロナウイルス(COVID-19)のパンデミックを受けて、ある程度のロックダウンに苦しむ人々の感染機会を最小限に抑えるため、計算手法が導入された。
携帯電話や計算装置を使って、必要な場所や日中の粗悪な時間を示す場所への旅行をリクエストする: 'morning'、'afternoon'、'night'、'any time' といった場合、訪問したい場所だけでなく、訪問したい場所も指定する。
遺伝的プログラミングの変種である人工知能の方法論は、感染、入院、死亡の全体的なリスクを最小限に抑えるため、すべての要求を調査し、特定の時間割当で応答する。
この計算のためのいくつかの代替案が提示され、様々な年齢の230人以上と1700人以上の訪問の背景健康レベルに関する数値実験の結果が3日間にわたって行われた。
地域訪問のためのラウンドロビン非インフォーム時間スケジューリングと比較した,これらの概念解の証明を議論するために,新しい部分感染モデルを導入した。
計算の結果、死亡者も入院者もはるかに少なく、大幅な改善が示された。
これらのオーガは、実際の世界での展開をテストするために、正確な感染モデルを用いたより現実的な研究に適している。
感染モデルを駆動する入力は、ウイルスの集団検査から生じる可能性のある情報や、他の汚染モデルなど、分類学的階級による感染の程度である。
計算で想定される分類学クラスは、年齢集団による感染の可能性が高い。 A computational methodology is introduced to minimize infection opportunities for people suffering some degree of lockdown in response to a pandemic, as is the 2020 COVID-19 pandemic. Persons use their mobile phone or computational device to request trips to places of their need or interest indicating a rough time of day: `morning', `afternoon', `night' or `any time' when they would like to undertake these outings as well as the desired place to visit. An artificial intelligence methodology which is a variant of Genetic Programming studies all requests and responds with specific time allocations for such visits that minimize the overall risks of infection, hospitalization and death of people. A number of alternatives for this computation are presented and results of numerical experiments involving over 230 people of various ages and background health levels in over 1700 visits that take place over three consecutive days. A novel partial infection model is introduced to discuss these proof of concept solutions which are compared to round robin uninformed time scheduling for visits to places. The computations indicate vast improvements with far fewer dead and hospitalized. These auger well for a more realistic study using accurate infection models with the view to test deployment in the real world. The input that drives the infection model is the degree of infection by taxonomic class, such as the information that may arise from population testing for COVID-19 or, alternatively, any contamination model. The taxonomy class assumed in the computations is the likely level of infection by age group. | 翻訳日:2022-11-19 20:53:20 公開日:2020-06-17 |
| # 人物再識別のためのクロスコラーレントアテンションネットワーク Cross-Correlated Attention Networks for Person Re-Identification ( http://arxiv.org/abs/2006.09597v1 ) ライセンス: Link先を確認 | Jieming Zhou, Soumava Kumar Roy, Pengfei Fang, Mehrtash Harandi, Lars Petersson | (参考訳) 深層ニューラルネットワークは、人物再同定のタスクが考慮されている場合、オクルージョン、背景クラッタ、ポーズ、視点のバリエーションの存在下でロバストな推論を行う必要がある。
注意機構は、最近、上記の課題をある程度処理することに成功している。
しかし、以前の設計では、出席する機能間の依存性をキャプチャできず、アテンションブロック間の相互作用が制限された。
本稿では,参加地域間の情報利得を最大化することにより,その制限を克服することを目的とした,相互関連注意(cca)と呼ばれる新しい注意モジュールを提案する。
さらに,人物画像のロバスト表現と識別表現を学習するために,異なる注意機構を利用する新しい深層ネットワークを提案する。
得られたモデルはCross-Correlated Attention Network (CCAN)と呼ばれる。
大規模な実験により、CCANは目に見えるマージンで現在の最先端のアルゴリズムより快適に優れていることが示された。 Deep neural networks need to make robust inference in the presence of occlusion, background clutter, pose and viewpoint variations -- to name a few -- when the task of person re-identification is considered. Attention mechanisms have recently proven to be successful in handling the aforementioned challenges to some degree. However previous designs fail to capture inherent inter-dependencies between the attended features; leading to restricted interactions between the attention blocks. In this paper, we propose a new attention module called Cross-Correlated Attention (CCA); which aims to overcome such limitations by maximizing the information gain between different attended regions. Moreover, we also propose a novel deep network that makes use of different attention mechanisms to learn robust and discriminative representations of person images. The resulting model is called the Cross-Correlated Attention Network (CCAN). Extensive experiments demonstrate that the CCAN comfortably outperforms current state-of-the-art algorithms by a tangible margin. | 翻訳日:2022-11-19 20:52:57 公開日:2020-06-17 |
| # xraygan:x線レポートからのx線画像の一貫性保存生成 XRayGAN: Consistency-preserving Generation of X-ray Images from Radiology Reports ( http://arxiv.org/abs/2006.10552v1 ) ライセンス: Link先を確認 | Xingyi Yang, Nandiraju Gireesh, Eric Xing, Pengtao Xie | (参考訳) 医学生が放射線科医になるよう効果的に訓練するためには、多様な医療状況の患者から収集した大量のX線画像が必要である。
しかし、データプライバシー上の懸念から、そのような画像を得るのは難しい。
この問題に対処するために,医学生の放射線学トレーニングを容易にするために,放射線学レポートから表示一貫性,高忠実度,高解像度X線画像を生成する手法を開発した。
この課題にはいくつかの課題がある。
まず、1つのレポートから異なるビュー(例えば、フロント、横)を持つ画像を生成する必要がある。
これらの画像の整合性を確保するには、どうすればよいのか?
第2に、高解像度のX線画像が必要である。
そうでなければ、多くの病気の詳細が失われるでしょう。
高解像度画像の作り方
第3に、放射線報告書は長く複雑な構造である。
それらのセマンティクスを効果的に理解し、レポートの内容を正確に反映した高忠実な画像を生成する方法?
To address these three challenges, we propose an XRayGAN composed of three modules: (1) a view consistency network that maximizes the consistency between generated frontal-view and lateral-view images; (2) a multi-scale conditional GAN that progressively generates a cascade of images with increasing resolution; (3) a hierarchical attentional encoder that learns the latent semantics of a radiology report by capturing its hierarchical linguistic structure and various levels of clinical importance of words and sentences.
2つの放射線学データセットの実験により,本手法の有効性が示された。
我々の知る限りでは、この研究は放射線学レポートから一貫した高解像度のX線画像を生成する最初の成果である。
コードはhttps://github.com/UCSD-AI4H/XRayGANで公開されている。 To effectively train medical students to become qualified radiologists, a large number of X-ray images collected from patients with diverse medical conditions are needed. However, due to data privacy concerns, such images are typically difficult to obtain. To address this problem, we develop methods to generate view-consistent, high-fidelity, and high-resolution X-ray images from radiology reports to facilitate radiology training of medical students. This task is presented with several challenges. First, from a single report, images with different views (e.g., frontal, lateral) need to be generated. How to ensure consistency of these images (i.e., make sure they are about the same patient)? Second, X-ray images are required to have high resolution. Otherwise, many details of diseases would be lost. How to generate high-resolutions images? Third, radiology reports are long and have complicated structure. How to effectively understand their semantics to generate high-fidelity images that accurately reflect the contents of the reports? To address these three challenges, we propose an XRayGAN composed of three modules: (1) a view consistency network that maximizes the consistency between generated frontal-view and lateral-view images; (2) a multi-scale conditional GAN that progressively generates a cascade of images with increasing resolution; (3) a hierarchical attentional encoder that learns the latent semantics of a radiology report by capturing its hierarchical linguistic structure and various levels of clinical importance of words and sentences. Experiments on two radiology datasets demonstrate the effectiveness of our methods. To our best knowledge, this work represents the first one generating consistent and high-resolution X-ray images from radiology reports. The code is available at https://github.com/UCSD-AI4H/XRayGAN. | 翻訳日:2022-11-19 20:46:31 公開日:2020-06-17 |
| # ウェーブレットとスペクトル法による画像分類データセットのパターン研究 Using Wavelets and Spectral Methods to Study Patterns in Image-Classification Datasets ( http://arxiv.org/abs/2006.09879v1 ) ライセンス: Link先を確認 | Roozbeh Yousefzadeh and Furong Huang | (参考訳) ディープラーニングモデルは、最終分類層の前に、前例のない有利なパフォーマンスの鍵となる特徴やパターンを抽出する。
しかし、複雑な非線形特徴抽出のプロセスはよく理解されていないため、深いニューラルネットワークの解釈、対角強靭性、一般化がすべてオープンな研究課題である。
本稿では、ウェーブレット変換とスペクトル法を用いて画像分類データセットの内容を分析し、データセットから特定のパターンを抽出し、パターンとクラス間の関連を見出す。
各画像はウェーブレット空間における有限階数-1パターンの和として記述することができ、学習に必要な構造やパターンを捉える低階近似を提供する。
記憶と学習に関する研究において,画像がランダムにラベル付けされた場合,クラスからのパターンの解離が明らかとなる。
本手法は,これらのデータセットの学習可能性を理解し,解釈するためのパターン認識手法として使用できる。
また、データセットから深層分類器が学習する特徴やパターンに関する洞察を得るためにも使用できる。 Deep learning models extract, before a final classification layer, features or patterns which are key for their unprecedented advantageous performance. However, the process of complex nonlinear feature extraction is not well understood, a major reason why interpretation, adversarial robustness, and generalization of deep neural nets are all open research problems. In this paper, we use wavelet transformation and spectral methods to analyze the contents of image classification datasets, extract specific patterns from the datasets and find the associations between patterns and classes. We show that each image can be written as the summation of a finite number of rank-1 patterns in the wavelet space, providing a low rank approximation that captures the structures and patterns essential for learning. Regarding the studies on memorization vs learning, our results clearly reveal disassociation of patterns from classes, when images are randomly labeled. Our method can be used as a pattern recognition approach to understand and interpret learnability of these datasets. It may also be used for gaining insights about the features and patterns that deep classifiers learn from the datasets. | 翻訳日:2022-11-19 20:46:10 公開日:2020-06-17 |
| # 切り抜きサンプルからのスパースグラフモデルの効率的な統計 Efficient Statistics for Sparse Graphical Models from Truncated Samples ( http://arxiv.org/abs/2006.09735v1 ) ライセンス: Link先を確認 | Arnab Bhattacharyya and Rathin Desai and Sai Ganesh Nagarajan and Ioannis Panageas | (参考訳) 本稿では,切断試料からの高次元推定について検討する。
基本的な問題と古典的な問題に焦点をあてる。
(i)疎ガウス図形モデルの推論と
(ii)スパース線形モデルの復元を支援する。
(i) ガウスのグラフィカルモデルに対して、$d$-次元のサンプル${\bf x}$ がガウスの$n(\mu,\sigma)$ から生成され、それらが$s \subseteq \mathbb{r}^d$ に属する場合にのみ観測されるとする。
これは$\tilde{o}\left(\frac{\textrm{nz}({\sigma}^{-1})}{\epsilon^2}\right)$が$\mathcal{n}({\mu},{\sigma})$と切り換えられた$\mathcal{n}({\mu},{\sigma})$からのサンプルを使って、フロベニウスのノルムで$\epsilon$をエラーとして推定でき、$s$で会員オラクルにアクセスすることができることを示している。
集合 $s$ は未知分布の下で非自明な測度であると仮定されるが、それ以外は任意である。
(ii) スパース線型回帰に対しては、$({\bf x},y)$ が生成されるが、$y = {\bf x}^\top{{\Omega}^*} + \mathcal{N}(0,1)$ と $({\bf x}, y)$ は、$y$ が truncation set $S \subseteq \mathbb{R}$ に属する場合にのみ見られる。
我々は、${\omega}^*$ が sparse で、サポートセットのサイズが $k$ である場合を考える。
我々の主な成果は, 問題次元$d$, サポートサイズ$k$, 観測値$n$, および, サンプルの特性, および${\Omega}^*$の支持を回復するのに十分なトラニケーションについて, 正確な条件を確立することである。
特に、いくつかの穏やかな仮定の下では、境界付きエラーまで$\ell_\infty$-normで${\omega}^*$を見積もるためには、サンプルは$o(k^2 \log d)$だけである。
どちらの問題に対しても、この推定器は有限集団負対同値関数と$\ell_1$-regularization項の和を最小化する。 In this paper, we study high-dimensional estimation from truncated samples. We focus on two fundamental and classical problems: (i) inference of sparse Gaussian graphical models and (ii) support recovery of sparse linear models. (i) For Gaussian graphical models, suppose $d$-dimensional samples ${\bf x}$ are generated from a Gaussian $N(\mu,\Sigma)$ and observed only if they belong to a subset $S \subseteq \mathbb{R}^d$. We show that ${\mu}$ and ${\Sigma}$ can be estimated with error $\epsilon$ in the Frobenius norm, using $\tilde{O}\left(\frac{\textrm{nz}({\Sigma}^{-1})}{\epsilon^2}\right)$ samples from a truncated $\mathcal{N}({\mu},{\Sigma})$ and having access to a membership oracle for $S$. The set $S$ is assumed to have non-trivial measure under the unknown distribution but is otherwise arbitrary. (ii) For sparse linear regression, suppose samples $({\bf x},y)$ are generated where $y = {\bf x}^\top{{\Omega}^*} + \mathcal{N}(0,1)$ and $({\bf x}, y)$ is seen only if $y$ belongs to a truncation set $S \subseteq \mathbb{R}$. We consider the case that ${\Omega}^*$ is sparse with a support set of size $k$. Our main result is to establish precise conditions on the problem dimension $d$, the support size $k$, the number of observations $n$, and properties of the samples and the truncation that are sufficient to recover the support of ${\Omega}^*$. Specifically, we show that under some mild assumptions, only $O(k^2 \log d)$ samples are needed to estimate ${\Omega}^*$ in the $\ell_\infty$-norm up to a bounded error. For both problems, our estimator minimizes the sum of the finite population negative log-likelihood function and an $\ell_1$-regularization term. | 翻訳日:2022-11-19 20:45:53 公開日:2020-06-17 |
| # オンラインおよび微分プライベート学習の平滑化分析 Smoothed Analysis of Online and Differentially Private Learning ( http://arxiv.org/abs/2006.10129v1 ) ライセンス: Link先を確認 | Nika Haghtalab, Tim Roughgarden, Abhishek Shetty | (参考訳) アルゴリズムにおける堅牢性とプライバシに対する実践的で普及したニーズは、オンラインの敵対的および微分プライベートな学習アルゴリズムの設計に影響を与えた。
これらの設定における学習可能性の特徴を特徴づける主要な量は、仮説のクラスのリトルストーン次元[Ben-David et al., 2009 Alon et al., 2019]である。
この特徴付けは、線形しきい値やニューラルネットワークのようなクラスが無限小石の次元を持つため、しばしば不可能であると解釈される。
本稿では,spielman and teng, 2004) を平滑化分析の枠組みに適用する。
我々は、最悪の場合よりも、スムーズな敵に対して、根本的な後悔と誤りの保証が可能であることを示した。
特に、VC次元と仮説クラスのブラッキング数、および摂動の大きさにのみ依存する後悔とプライバシのエラー境界を得る。 Practical and pervasive needs for robustness and privacy in algorithms have inspired the design of online adversarial and differentially private learning algorithms. The primary quantity that characterizes learnability in these settings is the Littlestone dimension of the class of hypotheses [Ben-David et al., 2009, Alon et al., 2019]. This characterization is often interpreted as an impossibility result because classes such as linear thresholds and neural networks have infinite Littlestone dimension. In this paper, we apply the framework of smoothed analysis [Spielman and Teng, 2004], in which adversarially chosen inputs are perturbed slightly by nature. We show that fundamentally stronger regret and error guarantees are possible with smoothed adversaries than with worst-case adversaries. In particular, we obtain regret and privacy error bounds that depend only on the VC dimension and the bracketing number of a hypothesis class, and on the magnitudes of the perturbations. | 翻訳日:2022-11-19 20:37:47 公開日:2020-06-17 |
| # MoFlow: 分子グラフ生成のための可逆フローモデル MoFlow: An Invertible Flow Model for Generating Molecular Graphs ( http://arxiv.org/abs/2006.10137v1 ) ライセンス: Link先を確認 | Chengxi Zang and Fei Wang | (参考訳) ディープグラフ生成モデルによって駆動される所望の化学的特性を持つ分子グラフの生成は、薬物発見プロセスを加速する非常に有望な方法である。
このようなグラフ生成モデルは、通常、潜在表現の学習と分子グラフの生成の2つのステップで構成される。
しかし、潜在表現から新規で化学的に有価な分子グラフを生成することは、分子グラフの化学的制約と組合せ複雑性のために非常に困難である。
本稿では,分子グラフとその潜在表現の間の可逆写像を学習するフローベースグラフ生成モデルMoFlowを提案する。
分子グラフを生成するために,我々のMoFlowはまずGlowモデルを用いて結合(エッジ)を生成し,次に新しいグラフ条件流によって与えられた結合(ノード)を生成し,最後にそれをポストホック正当性補正で化学的に有効な分子グラフに組み立てる。
私たちのMoFlowには、正確でトラクタブルなトレーニング、効率的なワンパス埋め込みと生成、化学的妥当性保証、トレーニングデータの100\%の再構築、優れた一般化能力など、メリットがあります。
我々は, 分子グラフの生成と再構成, 連続的潜在空間の可視化, 特性最適化, 制約付きプロパティ最適化の4つのタスクでモデルを検証する。
われわれのMoFlowは最先端のパフォーマンスを達成し、医薬品発見のための大きな化学物質空間を探索するための潜在的効率と有効性を示している。 Generating molecular graphs with desired chemical properties driven by deep graph generative models provides a very promising way to accelerate drug discovery process. Such graph generative models usually consist of two steps: learning latent representations and generation of molecular graphs. However, to generate novel and chemically-valid molecular graphs from latent representations is very challenging because of the chemical constraints and combinatorial complexity of molecular graphs. In this paper, we propose MoFlow, a flow-based graph generative model to learn invertible mappings between molecular graphs and their latent representations. To generate molecular graphs, our MoFlow first generates bonds (edges) through a Glow based model, then generates atoms (nodes) given bonds by a novel graph conditional flow, and finally assembles them into a chemically valid molecular graph with a posthoc validity correction. Our MoFlow has merits including exact and tractable likelihood training, efficient one-pass embedding and generation, chemical validity guarantees, 100\% reconstruction of training data, and good generalization ability. We validate our model by four tasks: molecular graph generation and reconstruction, visualization of the continuous latent space, property optimization, and constrained property optimization. Our MoFlow achieves state-of-the-art performance, which implies its potential efficiency and effectiveness to explore large chemical space for drug discovery. | 翻訳日:2022-11-19 20:37:31 公開日:2020-06-17 |
| # 部分的環境における動的目標追跡の学習 Learning to Track Dynamic Targets in Partially Known Environments ( http://arxiv.org/abs/2006.10190v1 ) ライセンス: Link先を確認 | Heejin Jeong, Hamed Hassani, Manfred Morari, Daniel D. Lee, George J. Pappas | (参考訳) 我々は,自律システムにおいて不可欠なタスクであるアクティブターゲットトラッキングを,深層強化学習(RL)アプローチを用いて解決する。
この問題では、自律エージェントが、その搭載センサーを用いて興味の対象に関する情報を取得する。
この問題の古典的な課題は、システムモデル依存と長期計画のための情報理論コスト関数の計算の難しさである。
RLは、効率的な計画の水平線の長さが計算の複雑さに影響を与えず、システムモデルへのアルゴリズムの強い依存を減少させるため、これらの課題に対する解決策を提供する。
特に、アクティブ・トラッキング・ターゲット・ネットワーク(ATTN)について紹介する。これは、アクティブ・ターゲット・トラッキングの主要なサブタスクである、インサイト・トラッキング、ナビゲーション、探索を解決できる統一されたRLポリシーである。
このポリシーは、アジャイルと異常なターゲットを部分的に既知のターゲットモデルで追跡する堅牢な行動を示している。
さらに、同じ方針は障害物環境の中を移動して遠くの目標に到達したり、予期せぬ位置に目標が配置されたときの環境を探索することができる。 We solve active target tracking, one of the essential tasks in autonomous systems, using a deep reinforcement learning (RL) approach. In this problem, an autonomous agent is tasked with acquiring information about targets of interests using its onboard sensors. The classical challenges in this problem are system model dependence and the difficulty of computing information-theoretic cost functions for a long planning horizon. RL provides solutions for these challenges as the length of its effective planning horizon does not affect the computational complexity, and it drops the strong dependency of an algorithm on system models. In particular, we introduce Active Tracking Target Network (ATTN), a unified RL policy that is capable of solving major sub-tasks of active target tracking -- in-sight tracking, navigation, and exploration. The policy shows robust behavior for tracking agile and anomalous targets with a partially known target model. Additionally, the same policy is able to navigate in obstacle environments to reach distant targets as well as explore the environment when targets are positioned in unexpected locations. | 翻訳日:2022-11-19 20:37:08 公開日:2020-06-17 |
| # 水文学・水資源における深層学習応用の総合的考察 A Comprehensive Review of Deep Learning Applications in Hydrology and Water Resources ( http://arxiv.org/abs/2007.12269v1 ) ライセンス: Link先を確認 | Muhammed Sit, Bekir Z. Demiray, Zhongrun Xiang, Gregory J. Ewing, Yusuf Sermet and Ibrahim Demir | (参考訳) デジタルデータのグローバルボリュームは2025年までに175ゼタバイトに達すると予想されている。
大規模センサネットワークによって水関連データの量,多様性,速度が増加し,災害対応,水資源管理,気候変動といった話題への注目が高まっている。
計算資源の増加とディープラーニングの普及と合わせて、これらのデータは実践的で実践的な知識へと変化し、水産業に革命をもたらした。
本稿では,水資源のモニタリング,管理,管理,管理,通信に関して,深層学習を水分野に取り入れた既存の研究を体系的に検討する。
本研究は,水産業界で用いられている最新の深層学習手法を総合的に概観し,今後の水資源問題に利用可能な深層学習手法をどのように活用するかの指針となる。
水資源管理とガバナンスにおける意思決定に関するこれらの技術の倫理を含む、水領域におけるこれらの技術の適用における重要な課題と課題について論じる。
最後に,深層学習モデルを水文学や水資源に適用するための推奨事項と今後の方向性について述べる。 The global volume of digital data is expected to reach 175 zettabytes by 2025. The volume, variety, and velocity of water-related data are increasing due to large-scale sensor networks and increased attention to topics such as disaster response, water resources management, and climate change. Combined with the growing availability of computational resources and popularity of deep learning, these data are transformed into actionable and practical knowledge, revolutionizing the water industry. In this article, a systematic review of literature is conducted to identify existing research which incorporates deep learning methods in the water sector, with regard to monitoring, management, governance and communication of water resources. The study provides a comprehensive review of state-of-the-art deep learning approaches used in the water industry for generation, prediction, enhancement, and classification tasks, and serves as a guide for how to utilize available deep learning methods for future water resources challenges. Key issues and challenges in the application of these techniques in the water domain are discussed, including the ethics of these technologies for decision-making in water resources management and governance. Finally, we provide recommendations and future directions for the application of deep learning models in hydrology and water resources. | 翻訳日:2022-11-19 20:36:49 公開日:2020-06-17 |
| # 視覚異常検出のための自己教師付き表現学習 Self-Supervised Representation Learning for Visual Anomaly Detection ( http://arxiv.org/abs/2006.09654v1 ) ライセンス: Link先を確認 | Rabia Ali, Muhammad Umar Karim Khan, Chong Min Kyung | (参考訳) 自己教師付き学習は、非ラベルデータのより良い利用を可能にする。
自己スーパービジョンによって得られた特徴表現は、分類、オブジェクト検出、セグメンテーション、異常検出などの下流タスクで使用できる。
分類、対象検出、セグメンテーションは自己教師付き学習によって研究されているが、異常検出にはもっと注意が必要である。
画像やビデオにおける異常検出の問題点を考察し,ビデオの新たな視覚的異常検出手法を提案する。
様々な画像データセットの異常検出のために,多くのセミナルおよび最先端の自己教師手法を評価した。
次に、映像における視覚異常検出における空間的特徴の重要性を確認するために、画像に基づく自己教師付き表現学習法をビデオ異常検出に適用する。
また,映像フレーム間の時間的コヒーレンスを光学フロー情報を用いずに学習するための簡易な自己スーパービジョン手法を提案する。
本手法は,映像の時空間的特徴を学習できるように,映像シーケンスのフレーム指標を同定する。
この直感的なアプローチは、UCF101およびILSVRC2015ビデオデータセット上の画像やビデオの多くの方法と比較して、視覚異常検出の優れた性能を示している。 Self-supervised learning allows for better utilization of unlabelled data. The feature representation obtained by self-supervision can be used in downstream tasks such as classification, object detection, segmentation, and anomaly detection. While classification, object detection, and segmentation have been investigated with self-supervised learning, anomaly detection needs more attention. We consider the problem of anomaly detection in images and videos, and present a new visual anomaly detection technique for videos. Numerous seminal and state-of-the-art self-supervised methods are evaluated for anomaly detection on a variety of image datasets. The best performing image-based self-supervised representation learning method is then used for video anomaly detection to see the importance of spatial features in visual anomaly detection in videos. We also propose a simple self-supervision approach for learning temporal coherence across video frames without the use of any optical flow information. At its core, our method identifies the frame indices of a jumbled video sequence allowing it to learn the spatiotemporal features of the video. This intuitive approach shows superior performance of visual anomaly detection compared to numerous methods for images and videos on UCF101 and ILSVRC2015 video datasets. | 翻訳日:2022-11-19 20:36:30 公開日:2020-06-17 |
| # 周期的活性化機能を持つ暗黙的ニューラル表現 Implicit Neural Representations with Periodic Activation Functions ( http://arxiv.org/abs/2006.09661v1 ) ライセンス: Link先を確認 | Vincent Sitzmann, Julien N. P. Martel, Alexander W. Bergman, David B. Lindell, Gordon Wetzstein | (参考訳) ニューラルネットワークによってパラメータ化される暗黙的に定義された、連続的な、微分可能な信号表現は、従来の表現よりも多くの利点を提供する強力なパラダイムとして現れてきた。
しかし、このような暗黙的神経表現のための現在のネットワークアーキテクチャは、偏微分方程式の解として暗黙的に定義される多くの物理信号に必須であるにもかかわらず、詳細な信号のモデル化が不可能であり、信号の空間的および時間的微分を表現できない。
また,これらのネットワークを正弦波表現ネットワーク(sirens)と呼び,複雑な自然信号とその導関数を表現するのに理想的に適していることを示す。
サイレンの活性化統計を分析し,原理的な初期化スキームを提案し,画像,波動場,映像,音声,それらの導関数の表現を示す。
さらに,特定の固有方程式(符号付き距離関数)やポアソン方程式,ヘルムホルツ方程式や波動方程式など,境界値問題を解くためにサイレンをどのように利用できるかを示す。
最後に、サイレン関数の空間で事前学習するためにサイレンとハイパーネットワークを組み合わせる。 Implicitly defined, continuous, differentiable signal representations parameterized by neural networks have emerged as a powerful paradigm, offering many possible benefits over conventional representations. However, current network architectures for such implicit neural representations are incapable of modeling signals with fine detail, and fail to represent a signal's spatial and temporal derivatives, despite the fact that these are essential to many physical signals defined implicitly as the solution to partial differential equations. We propose to leverage periodic activation functions for implicit neural representations and demonstrate that these networks, dubbed sinusoidal representation networks or Sirens, are ideally suited for representing complex natural signals and their derivatives. We analyze Siren activation statistics to propose a principled initialization scheme and demonstrate the representation of images, wavefields, video, sound, and their derivatives. Further, we show how Sirens can be leveraged to solve challenging boundary value problems, such as particular Eikonal equations (yielding signed distance functions), the Poisson equation, and the Helmholtz and wave equations. Lastly, we combine Sirens with hypernetworks to learn priors over the space of Siren functions. | 翻訳日:2022-11-19 20:36:12 公開日:2020-06-17 |
| # MetaSDF: メタ学習による距離関数 MetaSDF: Meta-learning Signed Distance Functions ( http://arxiv.org/abs/2006.09662v1 ) ライセンス: Link先を確認 | Vincent Sitzmann, Eric R. Chan, Richard Tucker, Noah Snavely, Gordon Wetzstein | (参考訳) ニューラル暗黙の形状表現は、空間分解能の高いメモリ効率を含む従来の離散表現よりも多くの潜在的な利点を提供する新興パラダイムである。
このような暗黙的表現で形状を一般化することは、各関数空間上の先行学習に比例し、部分的あるいは雑音的な観測から幾何学的再構成を可能にする。
既存の一般化手法は、エンコーダによって回帰されるか、オートデコーダフレームワークで共同最適化される低次元の潜在コードにニューラルネットワークを条件付けすることに依存している。
ここでは,形状空間の学習をメタラーニング問題として形式化し,勾配に基づくメタラーニングアルゴリズムを用いてこの問題を解決する。
このアプローチは自動デコーダベースのアプローチと同等に動作し、テスト時間推論では桁違いに高速であることを示す。
さらに,提案手法は,プール方式のセットエンコーダを利用するエンコーダ方式よりも優れていることを示す。 Neural implicit shape representations are an emerging paradigm that offers many potential benefits over conventional discrete representations, including memory efficiency at a high spatial resolution. Generalizing across shapes with such neural implicit representations amounts to learning priors over the respective function space and enables geometry reconstruction from partial or noisy observations. Existing generalization methods rely on conditioning a neural network on a low-dimensional latent code that is either regressed by an encoder or jointly optimized in the auto-decoder framework. Here, we formalize learning of a shape space as a meta-learning problem and leverage gradient-based meta-learning algorithms to solve this task. We demonstrate that this approach performs on par with auto-decoder based approaches while being an order of magnitude faster at test-time inference. We further demonstrate that the proposed gradient-based method outperforms encoder-decoder based methods that leverage pooling-based set encoders. | 翻訳日:2022-11-19 20:35:49 公開日:2020-06-17 |
| # 検索クエリのカラー表現の学習 Learning Colour Representations of Search Queries ( http://arxiv.org/abs/2006.09904v1 ) ライセンス: Link先を確認 | Paridhi Maheshwari, Manoj Ghuhan, Vishwa Vinay | (参考訳) 画像検索エンジンは、コンテンツセマンティクスの様々な側面と歴史的人気をキャプチャする適切に設計されたランキング機能に依存している。
本稿では,この相関マッチングプロセスにおける色彩の役割について考察する。
私たちの研究は、ユーザクエリのかなりの一部がそれらに固有の色を持っているという観察によって動機付けられたものです。
明示的な色言及を含むクエリ("black car"や"yellow daisies"など)もあるが、他のクエリには暗黙的な色概念("sky"や"grass"など)がある。
さらに、色における接地クエリは単一の色へのマッピングではなく、色空間の分布である。
例えば、"trees"の検索は、緑と茶色の周りにバイモーダルな分布を持つ傾向がある。
過去のクリックスルーデータを利用して検索クエリの色表現を生成し,未知のクエリをカラー空間にエンコードする再帰型ニューラルネットワークアーキテクチャを提案する。
また,結果画像のサブセットがクリックされたインプレッションログからのクロスモーダル関連ランク付けとともに,この埋め込みをどのように学習するかを示す。
検索画像の色彩距離特徴を用いることで,ユーザがクリックした画像とスキップした画像の好みによって,ランク付け性能が向上することを示す。 Image search engines rely on appropriately designed ranking features that capture various aspects of the content semantics as well as the historic popularity. In this work, we consider the role of colour in this relevance matching process. Our work is motivated by the observation that a significant fraction of user queries have an inherent colour associated with them. While some queries contain explicit colour mentions (such as 'black car' and 'yellow daisies'), other queries have implicit notions of colour (such as 'sky' and 'grass'). Furthermore, grounding queries in colour is not a mapping to a single colour, but a distribution in colour space. For instance, a search for 'trees' tends to have a bimodal distribution around the colours green and brown. We leverage historical clickthrough data to produce a colour representation for search queries and propose a recurrent neural network architecture to encode unseen queries into colour space. We also show how this embedding can be learnt alongside a cross-modal relevance ranker from impression logs where a subset of the result images were clicked. We demonstrate that the use of a query-image colour distance feature leads to an improvement in the ranker performance as measured by users' preferences of clicked versus skipped images. | 翻訳日:2022-11-19 20:35:24 公開日:2020-06-17 |
| # ワタミ:野生のトラとヒョウの個体を視覚で認識する自動ツール WhoAmI: An Automatic Tool for Visual Recognition of Tiger and Leopard Individuals in the Wild ( http://arxiv.org/abs/2006.09962v1 ) ライセンス: Link先を確認 | Rita Pucci, Jitendra Shankaraiah, Devcharan Jathanna, Ullas Karanth, and Kartic Subr | (参考訳) 自然の生息地にある野生動物の写真は、近くの動きによってトリガーされるカメラを通して邪魔に記録することができる。
このようなカメラトラップの設置は、世界中でますます一般的になりつつある。
これは生物学者、生態学者、保全活動家にとって有益なデータソースであるが、毎年何百万枚もの写真を撮影する厳しい作業は、禁止費用と遅延をもたらす。
我々は,動物を識別し,動物の種類を特定し,2種の個体を識別する自動アルゴリズムを開発した。
そこで本研究では,ヒョウとトラの特定の個体を識別できる初の完全自動計測ツールを提案する。
我々は,Deep Convolutional Neural Network (DCNN) を用いた機械学習の教師あり学習手法を採用し,これら3つの分類課題のそれぞれに対して,手作業による画像の複数例を用いて訓練を行った。
本研究では,南インドのジャングルに記録されたカメラトラップ画像のデータセットに対するアプローチの有効性を示す。 Photographs of wild animals in their natural habitats can be recorded unobtrusively via cameras that are triggered by motion nearby. The installation of such camera traps is becoming increasingly common across the world. Although this is a convenient source of invaluable data for biologists, ecologists and conservationists, the arduous task of poring through potentially millions of pictures each season introduces prohibitive costs and frustrating delays. We develop automatic algorithms that are able to detect animals, identify the species of animals and to recognize individual animals for two species. we propose the first fully-automatic tool that can recognize specific individuals of leopard and tiger due to their characteristic body markings. We adopt a class of supervised learning approach of machine learning where a Deep Convolutional Neural Network (DCNN) is trained using several instances of manually-labelled images for each of the three classification tasks. We demonstrate the effectiveness of our approach on a data set of camera-trap images recorded in the jungles of Southern India. | 翻訳日:2022-11-19 20:35:04 公開日:2020-06-17 |
| # カーネルアライメントリスク推定器 : トレーニングデータからのリスク予測 Kernel Alignment Risk Estimator: Risk Prediction from Training Data ( http://arxiv.org/abs/2006.09796v1 ) ライセンス: Link先を確認 | Arthur Jacot, Berfin \c{S}im\c{s}ek, Francesco Spadaro, Cl\'ement Hongler, Franck Gabriel | (参考訳) 我々はKRR(Kernel Ridge Regression)のリスク(すなわち一般化誤差)を、リッジ$\lambda>0$とi.d.観測値を持つカーネル$K$に対して検討する。
本稿では,SCT(Signal Capture Threshold)とKARE(Kernel Alignment Risk Estimator)の2つのオブジェクトを紹介する。
SCT $\vartheta_{K,\lambda}$は、データ分散の関数であり、KRR予測器がキャプチャするデータのコンポーネントを特定し、(予測された)KRRリスクを近似するために使用できる。
これにより、トレーニングデータの明示的な関数であるkare $\rho_{k, \lambda}$によるkrrのリスク近似が真のデータ分布とは無関係になる。
回帰問題を機能的設定で表現する。
鍵となる結果は、一般的なウィシャートランダム行列のスティルチェス変換の有限次元解析から導かれる。
自然普遍性仮定(KRRモーメントは観測の最初の2つのモーメントに漸近的に依存する)の下で、KRR予測子の平均と分散を捉える。
古典カーネルのヒッグスデータセットとMNISTデータセットに関する我々の知見を数値的に検討し、KAREはリスクの優れた近似を与え、普遍性仮定を支持する。
KAREを使用すると、トレーニングセットから直接カーネルとハイパーパラメータの選択を比較することができる。
したがって、KAREは、うまく一般化するカーネルを選択するための有望なデータ依存プロシージャを提供する。 We study the risk (i.e. generalization error) of Kernel Ridge Regression (KRR) for a kernel $K$ with ridge $\lambda>0$ and i.i.d. observations. For this, we introduce two objects: the Signal Capture Threshold (SCT) and the Kernel Alignment Risk Estimator (KARE). The SCT $\vartheta_{K,\lambda}$ is a function of the data distribution: it can be used to identify the components of the data that the KRR predictor captures, and to approximate the (expected) KRR risk. This then leads to a KRR risk approximation by the KARE $\rho_{K, \lambda}$, an explicit function of the training data, agnostic of the true data distribution. We phrase the regression problem in a functional setting. The key results then follow from a finite-size analysis of the Stieltjes transform of general Wishart random matrices. Under a natural universality assumption (that the KRR moments depend asymptotically on the first two moments of the observations) we capture the mean and variance of the KRR predictor. We numerically investigate our findings on the Higgs and MNIST datasets for various classical kernels: the KARE gives an excellent approximation of the risk, thus supporting our universality assumption. Using the KARE, one can compare choices of Kernels and hyperparameters directly from the training set. The KARE thus provides a promising data-dependent procedure to select Kernels that generalize well. | 翻訳日:2022-11-19 20:28:26 公開日:2020-06-17 |
| # 未知のユーティリティによる確率的ネットワーク利用率の最大化:マルチアーマッドバンドアプローチ Stochastic Network Utility Maximization with Unknown Utilities: Multi-Armed Bandits Approach ( http://arxiv.org/abs/2006.09997v1 ) ライセンス: Link先を確認 | Arun Verma and Manjesh K. Hanawal | (参考訳) 本稿では,エージェントの効用が不明な新しい確率的ネットワークユーティリティ最大化(NUM)問題について検討する。
各エージェントのユーティリティは、ネットワークオペレータ/コントローラから受信したリソース量に依存する。
オペレータは、ネットワークの期待される全効用を最大化するリソース割り当てを望んでいる。
我々は、受信するリソースの量が一定のしきい値以上の場合、各エージェントが非ゼロユーティリティとなるしきい値型ユーティリティ関数を検討する。
そうでない場合、そのユーティリティはゼロ(ハード・リアルタイム)である。
残念な最小化問題として、未知のユーティリティを備えたこのNUMセットアップを仮定する。
我々のゴールは、エージェントのユーティリティを知っている託宣方針として「良い」として機能する政策を特定することです。
この問題を,各ラウンドで得られたフィードバックがエージェントに割り当てられたリソースに依存する帯域設定としてモデル化する。
マルチプレイ・マルチアーマッド・バンドとコンビニアル・セミ・バンドのアイデアを用いた新しい設定法を提案する。
提案アルゴリズムは,全てのエージェントが同一の効用を有する場合に最適であることを示す。
提案アルゴリズムの性能保証を数値実験により検証する。 In this paper, we study a novel Stochastic Network Utility Maximization (NUM) problem where the utilities of agents are unknown. The utility of each agent depends on the amount of resource it receives from a network operator/controller. The operator desires to do a resource allocation that maximizes the expected total utility of the network. We consider threshold type utility functions where each agent gets non-zero utility if the amount of resource it receives is higher than a certain threshold. Otherwise, its utility is zero (hard real-time). We pose this NUM setup with unknown utilities as a regret minimization problem. Our goal is to identify a policy that performs as `good' as an oracle policy that knows the utilities of agents. We model this problem setting as a bandit setting where feedback obtained in each round depends on the resource allocated to the agents. We propose algorithms for this novel setting using ideas from Multiple-Play Multi-Armed Bandits and Combinatorial Semi-Bandits. We show that the proposed algorithm is optimal when all agents have the same utility. We validate the performance guarantees of our proposed algorithms through numerical experiments. | 翻訳日:2022-11-19 20:26:54 公開日:2020-06-17 |
| # 階層型オートエンコーダによる逆例検出と解析 Adversarial Examples Detection and Analysis with Layer-wise Autoencoders ( http://arxiv.org/abs/2006.10013v1 ) ライセンス: Link先を確認 | Bartosz W\'ojcik, Pawe{\l} Morawiecki, Marek \'Smieja, Tomasz Krzy\.zek, Przemys{\l}aw Spurek, Jacek Tabor | (参考訳) 本稿では,対象ネットワークの隠蔽層から抽出したデータ表現に基づいて,逆例を検出する機構を提案する。
この目的のために、ターゲットネットワークの中間層で個々のオートエンコーダを訓練する。
これにより、真のデータの多様体を記述することができ、その結果、与えられた例が真のデータと同じ特性を持つかどうかを決定することができる。
また、敵対的な例の振る舞いと、ディープニューラルネットワークの層を流れる流れについて、洞察を与えてくれる。
実験の結果,本手法は,教師なしおよび教師なしの設定において,芸術の状態を上回っていることがわかった。 We present a mechanism for detecting adversarial examples based on data representations taken from the hidden layers of the target network. For this purpose, we train individual autoencoders at intermediate layers of the target network. This allows us to describe the manifold of true data and, in consequence, decide whether a given example has the same characteristics as true data. It also gives us insight into the behavior of adversarial examples and their flow through the layers of a deep neural network. Experimental results show that our method outperforms the state of the art in supervised and unsupervised settings. | 翻訳日:2022-11-19 20:26:39 公開日:2020-06-17 |
| # N次元次数統計におけるジョイントCDFの計算と利用の改善 Improvements in Computation and Usage of Joint CDFs for the N-Dimensional Order Statistic ( http://arxiv.org/abs/2006.10124v1 ) ライセンス: Link先を確認 | Arvind Thiagarajan | (参考訳) 順序統計は、共通のインデックス集合上のスコアの複数のリストを結合するための直感を与える。
この直観は、結合すべきリストが賢明な方法で直接比較できない場合に特に有用である。
ここでは,このような順序統計のジョイントCDFを用いてスコアリストを組み合わせる手法の利点を述べる。
また,提案手法の証明により,結合CDF値の計算を行ない,組み合わせたリストのサイズを線形に行なえるような新しいアルゴリズムを提案する。 Order statistics provide an intuition for combining multiple lists of scores over a common index set. This intuition is particularly valuable when the lists to be combined cannot be directly compared in a sensible way. We describe here the advantages of a new method for using joint CDFs of such order statistics to combine score lists. We also present, with proof, a new algorithm for computing such joint CDF values, with runtime linear in the size of the combined list. | 翻訳日:2022-11-19 20:26:15 公開日:2020-06-17 |
| # 論理, 確率, 行動: 状況分析の視点 Logic, Probability and Action: A Situation Calculus Perspective ( http://arxiv.org/abs/2006.09868v1 ) ライセンス: Link先を確認 | Vaishak Belle | (参考訳) 論理と確率の統一は、AIにおける長年の関心事であり、より一般的には科学哲学における関心事である。
本質的には、論理はあらゆる可能な世界で保持されなければならない性質を特定する簡単な方法を提供し、確率は性質を満たす必要がある世界の重みと比率をさらに定量化することができる。
そのために多くの開発が行われ、確率的リレーショナルモデルのような提案が導かれた。
この進歩は注目に値するが、継続的な設定を含む確率やダイナミクスを推論する汎用一階知識表現言語はまだ登場していない。
本稿では,最も古くよく知られた形式主義の1つである状況計算における論理・確率・行動の統合に関する最近の結果について調査する。
次に、言語に対する還元定理とプログラミングインターフェースについて検討する。
これらの結果は、具体性のために認知ロボティクス(reiterと彼の同僚が想定した)の文脈に動機づけられている。
全体として、そのような汎用言語に対する証明結果の利点は、一般的な確率的リレーショナルモデルに限らず、特定の目的の断片に適応できることである。 The unification of logic and probability is a long-standing concern in AI, and more generally, in the philosophy of science. In essence, logic provides an easy way to specify properties that must hold in every possible world, and probability allows us to further quantify the weight and ratio of the worlds that must satisfy a property. To that end, numerous developments have been undertaken, culminating in proposals such as probabilistic relational models. While this progress has been notable, a general-purpose first-order knowledge representation language to reason about probabilities and dynamics, including in continuous settings, is still to emerge. In this paper, we survey recent results pertaining to the integration of logic, probability and actions in the situation calculus, which is arguably one of the oldest and most well-known formalisms. We then explore reduction theorems and programming interfaces for the language. These results are motivated in the context of cognitive robotics (as envisioned by Reiter and his colleagues) for the sake of concreteness. Overall, the advantage of proving results for such a general language is that it becomes possible to adapt them to any special-purpose fragment, including but not limited to popular probabilistic relational models. | 翻訳日:2022-11-19 20:20:43 公開日:2020-06-17 |
| # 機能入力を用いたディープラーニング Deep Learning with Functional Inputs ( http://arxiv.org/abs/2006.09590v1 ) ライセンス: Link先を確認 | Barinder Thind, Kevin Multani, Jiguo Cao | (参考訳) 本稿では,関数データを深い密結合されたフィードフォワードニューラルネットワークに統合する手法を提案する。
このモデルは、複数の関数とスカラー共変量を持つスカラー応答に対して定義される。
この手法の副産物は、最適化プロセス中に可視化できる動的な機能的重みの集合である。
この可視化により、コ変量と従来のニューラルネットワークに対する応答の関係の解釈性が向上する。
このモデルは、新しいデータの予測や、真の機能的重みの回復など、多くの文脈で良好に機能することが示され、実際の応用とシミュレーション研究によって確認された。
近日中にリリースされるRパッケージは、一般的なディープラーニングライブラリ(Keras)の上に開発され、このアプローチを一般化することができる。 We present a methodology for integrating functional data into deep densely connected feed-forward neural networks. The model is defined for scalar responses with multiple functional and scalar covariates. A by-product of the method is a set of dynamic functional weights that can be visualized during the optimization process. This visualization leads to greater interpretability of the relationship between the covariates and the response relative to conventional neural networks. The model is shown to perform well in a number of contexts including prediction of new data and recovery of the true underlying functional weights; these results were confirmed through real applications and simulation studies. A forthcoming R package is developed on top of a popular deep learning library (Keras) allowing for general use of the approach. | 翻訳日:2022-11-19 20:19:14 公開日:2020-06-17 |
| # アプリレビューの感性比較分析 Comparative Sentiment Analysis of App Reviews ( http://arxiv.org/abs/2006.09739v1 ) ライセンス: Link先を確認 | Sakshi Ranjan, Subhankar Mishra | (参考訳) google app marketは、評価やテキストレビューを通じてユーザーの思考を捉えている。
アプリに関する批判の見解は、満足度レベルに比例する。
その結果、他のユーザーがアプリをダウンロードまたは購入する前に洞察を得るのに役立つ。
指数的な成長のため、レビューから潜在的情報を手作業で抽出することはできない。
NLPを用いた機械学習アルゴリズムによる感情分析は、感情を明示的に発見し解釈するために用いられる。
本研究の目的は,アプリレビューの感情分類を行い,大学生のアプリ市場に対する行動を特定することである。
TF-IDFテキスト表現方式を用いて機械学習アルゴリズムを適用し,アンサンブル学習法の性能評価を行った。
われわれのモデルはGoogleのレビューで訓練され、学生のレビューでテストされた。
SVMは最大精度(93.37\%)、Fスコア(0.88)をトリグラム+TF-IDF方式で記録した。
バギングは、それぞれ87.80\%と85.5\%の精度でLRとNBの性能を高めた。 Google app market captures the school of thought of users via ratings and text reviews. The critique's viewpoint regarding an app is proportional to their satisfaction level. Consequently, this helps other users to gain insights before downloading or purchasing the apps. The potential information from the reviews can't be extracted manually, due to its exponential growth. Sentiment analysis, by machine learning algorithms employing NLP, is used to explicitly uncover and interpret the emotions. This study aims to perform the sentiment classification of the app reviews and identify the university students' behavior towards the app market. We applied machine learning algorithms using the TF-IDF text representation scheme and the performance was evaluated on the ensemble learning method. Our model was trained on Google reviews and tested on students' reviews. SVM recorded the maximum accuracy(93.37\%), F-score(0.88) on tri-gram + TF-IDF scheme. Bagging enhanced the performance of LR and NB with accuracy of 87.80\% and 85.5\% respectively. | 翻訳日:2022-11-19 20:17:45 公開日:2020-06-17 |
| # FishiNG Net: グリッドにおけるセマンティックヒートマップの将来予測 FISHING Net: Future Inference of Semantic Heatmaps In Grids ( http://arxiv.org/abs/2006.09917v1 ) ライセンス: Link先を確認 | Noureldin Hendy, Cooper Sloan, Feng Tian, Pengfei Duan, Nick Charchut, Yuesong Xie, Chuang Wang, James Philbin | (参考訳) 自律ロボットが複雑な環境をナビゲートするには、幾何学的にも意味的にも周囲のシーンを理解することが不可欠である。
現代の自律ロボットは、ライダー、レーダー、カメラを含む複数のセンサーを使用している。
異なる参照フレームとセンサーの特性を管理し、観察結果を単一の表現にマージすると、知覚が複雑になる。
すべてのセンサーに対して単一の統一表現を選択することは、知覚と融合のタスクを単純化する。
本稿では,トップダウン表現を用いた意味セグメンテーションと短期予測を行うエンドツーエンドパイプラインを提案する。
我々のアプローチは、センサーのさまざまなモードからセンサデータを取り込み、それらを単一の一般的なトップダウンセマンティックグリッド表現に変換するニューラルネットワークのアンサンブルで構成されています。
センサ固有の参照フレームに依存せず,周囲のシーンのセマンティック情報と幾何学的情報の両方をキャプチャするので,この表現が好ましい。
モダリティは単一の出力表現を共有するため、簡単に集約して融合出力を生成することができる。
この作業では、短期的なセマンティックグリッドを予測するが、フレームワークは他のタスクにも拡張できる。
このアプローチは、マルチモーダル認識と予測のためのシンプルで拡張可能なエンドツーエンドアプローチを提供する。 For autonomous robots to navigate a complex environment, it is crucial to understand the surrounding scene both geometrically and semantically. Modern autonomous robots employ multiple sets of sensors, including lidars, radars, and cameras. Managing the different reference frames and characteristics of the sensors, and merging their observations into a single representation complicates perception. Choosing a single unified representation for all sensors simplifies the task of perception and fusion. In this work, we present an end-to-end pipeline that performs semantic segmentation and short term prediction using a top-down representation. Our approach consists of an ensemble of neural networks which take in sensor data from different sensor modalities and transform them into a single common top-down semantic grid representation. We find this representation favorable as it is agnostic to sensor-specific reference frames and captures both the semantic and geometric information for the surrounding scene. Because the modalities share a single output representation, they can be easily aggregated to produce a fused output. In this work we predict short-term semantic grids but the framework can be extended to other tasks. This approach offers a simple, extensible, end-to-end approach for multi-modal perception and prediction. | 翻訳日:2022-11-19 20:11:00 公開日:2020-06-17 |
| # 雑音または信号:物体認識における画像背景の役割 Noise or Signal: The Role of Image Backgrounds in Object Recognition ( http://arxiv.org/abs/2006.09994v1 ) ライセンス: Link先を確認 | Kai Xiao and Logan Engstrom and Andrew Ilyas and Aleksander Madry | (参考訳) 画像背景からの信号に依存する最先端オブジェクト認識モデルの傾向を評価する。
我々はimagenetイメージ上でフォアグラウンドとバックグラウンド信号を分離するツールキットを作成し、それを見つける。
(a)モデルでは、背景だけに頼ることで、非自明な精度が得られる。
(b)正しく分類された前景がある場合でも、しばしば画像の分類を間違えるモデル--反対に選択された背景を持つ場合の87.5%まで、及び
(c)より正確なモデルは背景に依存する傾向がある。
私たちのバックグラウンド分析は、機械学習モデルが使用する相関や、分布性能からモデルを決定する方法の理解に近づきます。 We assess the tendency of state-of-the-art object recognition models to depend on signals from image backgrounds. We create a toolkit for disentangling foreground and background signal on ImageNet images, and find that (a) models can achieve non-trivial accuracy by relying on the background alone, (b) models often misclassify images even in the presence of correctly classified foregrounds--up to 87.5% of the time with adversarially chosen backgrounds, and (c) more accurate models tend to depend on backgrounds less. Our analysis of backgrounds brings us closer to understanding which correlations machine learning models use, and how they determine models' out of distribution performance. | 翻訳日:2022-11-19 20:10:41 公開日:2020-06-17 |
| # 分割lidarインスタンスの高速オブジェクト分類と有意義データ表現 Fast Object Classification and Meaningful Data Representation of Segmented Lidar Instances ( http://arxiv.org/abs/2006.10011v1 ) ライセンス: Link先を確認 | Lukas Hahn and Frederik Hasecke and Anton Kummert | (参考訳) 近年、Lidarデータに対するオブジェクト検出アルゴリズムは、自動車の要求を指向したデータセットベンチマークで良い結果を報告している。
それにもかかわらず、これらの多くは、リアルタイムに実行するために膨大な計算能力を必要とするため、組み込み車両システムにデプロイできない。
本稿では,CPU上でのリアルタイムLidarオブジェクト分類を容易にする手法を提案する。
提案手法では,分割されたオブジェクトインスタンスを用いて重要な特徴を抽出し,計算効率の高いバッチ単位の分類を実現する。
そこで本研究では,分割された正規ベクトル画像を用いて3次元情報を小さな画像パッチに変換するデータ表現を提案する。
これを、エッジケースを扱うために、専用のオブジェクト統計と組み合わせます。
提案手法は,オブジェクト検出と意味セグメンテーションのタスクに応用し,また,panopticセグメンテーションの比較的新しい課題にも応用する。
評価により,提案アルゴリズムは,特定の最適化を使わずに,CPU上でリアルタイムに実行しながら,公開データに対して良好な結果が得られることを示す。 Object detection algorithms for Lidar data have seen numerous publications in recent years, reporting good results on dataset benchmarks oriented towards automotive requirements. Nevertheless, many of these are not deployable to embedded vehicle systems, as they require immense computational power to be executed close to real time. In this work, we propose a way to facilitate real-time Lidar object classification on CPU. We show how our approach uses segmented object instances to extract important features, enabling a computationally efficient batch-wise classification. For this, we introduce a data representation which translates three-dimensional information into small image patches, using decomposed normal vector images. We couple this with dedicated object statistics to handle edge cases. We apply our method on the tasks of object detection and semantic segmentation, as well as the relatively new challenge of panoptic segmentation. Through evaluation, we show, that our algorithm is capable of producing good results on public data, while running in real time on CPU without using specific optimisation. | 翻訳日:2022-11-19 20:10:32 公開日:2020-06-17 |
| # LSD-C: 線形分離可能なディープクラスタ LSD-C: Linearly Separable Deep Clusters ( http://arxiv.org/abs/2006.10039v1 ) ライセンス: Link先を確認 | Sylvestre-Alvise Rebuffi, Sebastien Ehrhardt, Kai Han, Andrea Vedaldi, Andrew Zisserman | (参考訳) ラベルなしデータセットのクラスタを識別する新しい手法であるLSD-Cを提案する。
提案アルゴリズムは,まず,類似度測定値に基づいて,ミニバッチのサンプル間の特徴空間におけるペアワイズ接続を確立する。
その後、接続されたサンプルをクラスタに再グループ化し、クラスタ間の線形分離を実行する。
これはペアワイズ接続をターゲットとして使用し、関連するサンプルペアが同じクラスタに属するという予測において、バイナリクロスエントロピー損失と併用することで実現される。
このようにして、ネットワークの特徴表現は、この特徴空間で同様のサンプルが同じ線形に分離されたクラスタに属するように進化する。
本手法は,最近の半教師付き学習から着想を得て,自己教師付き事前学習と強いデータ拡張を組み合わせたクラスタリングアルゴリズムを提案する。
提案手法は,cifar 10/100,stl 10,mnist,およびドキュメント分類データセット reuters 10k など,人気のあるパブリックイメージベンチマークの競合を著しく上回っている。 We present LSD-C, a novel method to identify clusters in an unlabeled dataset. Our algorithm first establishes pairwise connections in the feature space between the samples of the minibatch based on a similarity metric. Then it regroups in clusters the connected samples and enforces a linear separation between clusters. This is achieved by using the pairwise connections as targets together with a binary cross-entropy loss on the predictions that the associated pairs of samples belong to the same cluster. This way, the feature representation of the network will evolve such that similar samples in this feature space will belong to the same linearly separated cluster. Our method draws inspiration from recent semi-supervised learning practice and proposes to combine our clustering algorithm with self-supervised pretraining and strong data augmentation. We show that our approach significantly outperforms competitors on popular public image benchmarks including CIFAR 10/100, STL 10 and MNIST, as well as the document classification dataset Reuters 10K. | 翻訳日:2022-11-19 20:10:16 公開日:2020-06-17 |
| # 単視点再構成のための3次元反射対称性の学習 Learning to Detect 3D Reflection Symmetry for Single-View Reconstruction ( http://arxiv.org/abs/2006.10042v1 ) ライセンス: Link先を確認 | Yichao Zhou, Shichen Liu, Yi Ma | (参考訳) 単一のRGB画像からの3D再構成は、コンピュータビジョンにおいて難しい問題である。
従来の手法は通常データ駆動であり、不正確な3d形状復元と限定的な一般化能力をもたらす。
本研究では,オブジェクトレベルの3次元再構成に着目し,まず人工物体に共通に存在する反射対称性の鏡面を検出し,その画像内画素間の対応を見出すことで深度マップを予測する,幾何学ベースのエンドツーエンドディープラーニングフレームワークを提案する。
本手法は,多視点ステレオプシスで使用される強力なツールであるプレーンスウィープコストボリュームを構築することで,試験時間における対称性からの幾何学的手がかりを十分に活用する。
われわれの知る限り、これは単画像3D再構成の設定におけるコストボリュームの概念を用いた最初の作品である。
筆者らは,シェープネットデータセットを広範囲に実験した結果,カメラのポーズと深度マップの精度において,対象が完全に対称である必要がなく,従来の最先端のsingle-view 3dレコンストラクションネットワークを大きく上回ることを見出した。
コードはhttps://github.com/zhou13/symmetrynetで入手できる。 3D reconstruction from a single RGB image is a challenging problem in computer vision. Previous methods are usually solely data-driven, which lead to inaccurate 3D shape recovery and limited generalization capability. In this work, we focus on object-level 3D reconstruction and present a geometry-based end-to-end deep learning framework that first detects the mirror plane of reflection symmetry that commonly exists in man-made objects and then predicts depth maps by finding the intra-image pixel-wise correspondence of the symmetry. Our method fully utilizes the geometric cues from symmetry during the test time by building plane-sweep cost volumes, a powerful tool that has been used in multi-view stereopsis. To our knowledge, this is the first work that uses the concept of cost volumes in the setting of single-image 3D reconstruction. We conduct extensive experiments on the ShapeNet dataset and find that our reconstruction method significantly outperforms the previous state-of-the-art single-view 3D reconstruction networks in term of the accuracy of camera poses and depth maps, without requiring objects being completely symmetric. Code is available at https://github.com/zhou13/symmetrynet. | 翻訳日:2022-11-19 20:09:59 公開日:2020-06-17 |
| # 点雲の時間列のグローバル登録の教師なし学習 Unsupervised Learning of Global Registration of Temporal Sequence of Point Clouds ( http://arxiv.org/abs/2006.12378v1 ) ライセンス: Link先を確認 | Lingjing Wang, Yi Shi, Xiang Li, Yi Fang | (参考訳) 点雲のグローバル登録は、2dまたは3dの点集合の配列の最適なアラインメントを見つけることを目的としている。
本稿では,現在進行中の深層学習技術を利用して,点雲の時間列からのグローバルな登録を教師なしで学習する手法を提案する。
我々の重要な特徴は、センサが未知の環境で取得した点雲列の時間的および空間的関係の幾何学的本質を記述した、深い時空間再表現(STREP)機能を導入することである。
個々の時間ステップ(ペアワイズ登録)を個別に扱う従来の手法とは対照的に、我々の教師なしモデルは、潜伏するSTREP特徴の列を最適化し、その列を時間的かつ空間的に連続的な幾何変換列にデコードして、グローバルに複数の点雲を整列させる。
シミュレーションされた2次元データと実3次元データの両方に対する提案手法を評価し,本手法が深層特徴学習における時間的情報を考慮した他の手法に勝ることを示す実験結果を得た。 Global registration of point clouds aims to find an optimal alignment of a sequence of 2D or 3D point sets. In this paper, we present a novel method that takes advantage of current deep learning techniques for unsupervised learning of global registration from a temporal sequence of point clouds. Our key novelty is that we introduce a deep Spatio-Temporal REPresentation (STREP) feature, which describes the geometric essence of both temporal and spatial relationship of the sequence of point clouds acquired with sensors in an unknown environment. In contrast to the previous practice that treats each time step (pair-wise registration) individually, our unsupervised model starts with optimizing a sequence of latent STREP feature, which is then decoded to a temporally and spatially continuous sequence of geometric transformations to globally align multiple point clouds. We have evaluated our proposed approach over both simulated 2D and real 3D datasets and the experimental results demonstrate that our method can beat other techniques by taking into account the temporal information in deep feature learning. | 翻訳日:2022-11-19 20:09:37 公開日:2020-06-17 |
| # MIMICS: 検索の明確化のための大規模データ収集 MIMICS: A Large-Scale Data Collection for Search Clarification ( http://arxiv.org/abs/2006.10174v1 ) ライセンス: Link先を確認 | Hamed Zamani, Gord Lueck, Everest Chen, Rodolfo Quispe, Flint Luu, Nick Craswell | (参考訳) 近年,検索エンジンへの応用により,検索の明確化が注目されている。
また、会話情報探索システムの主要な構成要素として認識されている。
その重要性にもかかわらず、調査コミュニティは検索の明確化のさまざまな側面を研究するための大規模なデータがないと感じている。
本稿では,Bing クエリログからサンプリングした実Web 検索クエリの検索明確化データセットである MIMICS について紹介する。
模倣のそれぞれの明確化はbing生成アルゴリズムによって生成され、明確化質問と最大5つの候補回答からなる。
MIMICS-Clickには、400k以上のユニークなクエリ、関連する明確化パネル、および対応する集約されたユーザインタラクション信号(クリック)の3つのデータセットが含まれている。
2) MIMICS-ClickExploreは,60k以上のユニークなクエリに対するユーザインタラクション信号を集約した探索データである。
(3) mimics-manual は、2k 以上のユニークな実検索クエリを含む。
このデータセットの各クエリを明確にするペアは、少なくとも3つのトレーニング済みアノテーションによって手動でラベル付けされている。
明快な質問のための等級別品質ラベル、候補回答セット、候補回答毎のランディング結果ページを含む。
MIMICSは、研究目的のために公開されており、研究者は、明確化の生成と選択、明確化のためのユーザエンゲージメント予測、明確化のためのクリックモデル、検索明確化によるユーザインタラクションの分析など、検索明確化に関連する多くのタスクを研究できる。 Search clarification has recently attracted much attention due to its applications in search engines. It has also been recognized as a major component in conversational information seeking systems. Despite its importance, the research community still feels the lack of a large-scale data for studying different aspects of search clarification. In this paper, we introduce MIMICS, a collection of search clarification datasets for real web search queries sampled from the Bing query logs. Each clarification in MIMICS is generated by a Bing production algorithm and consists of a clarifying question and up to five candidate answers. MIMICS contains three datasets: (1) MIMICS-Click includes over 400k unique queries, their associated clarification panes, and the corresponding aggregated user interaction signals (i.e., clicks). (2) MIMICS-ClickExplore is an exploration data that includes aggregated user interaction signals for over 60k unique queries, each with multiple clarification panes. (3) MIMICS-Manual includes over 2k unique real search queries. Each query-clarification pair in this dataset has been manually labeled by at least three trained annotators. It contains graded quality labels for the clarifying question, the candidate answer set, and the landing result page for each candidate answer. MIMICS is publicly available for research purposes, thus enables researchers to study a number of tasks related to search clarification, including clarification generation and selection, user engagement prediction for clarification, click models for clarification, and analyzing user interactions with search clarification. | 翻訳日:2022-11-19 20:09:01 公開日:2020-06-17 |
| # 政治広告データセット:2020年ポーランド大統領選挙のユースケース Political Advertising Dataset: the use case of the Polish 2020 Presidential Elections ( http://arxiv.org/abs/2006.10207v1 ) ライセンス: Link先を確認 | {\L}ukasz Augustyniak, Krzysztof Rajda, Tomasz Kajdanowicz, Micha{\l} Bernaczyk | (参考訳) 政治キャンペーンは、候補者がソーシャルメディアに投稿した政治広告でいっぱいだ。
政治広告は、様々な社会的要求に従う選挙運動の基本形態である。
ポーランド語で特定のテキストチャンクや政治広告のカテゴリを検出するための,最初の公開データセットを提案する。
ポーランドの選挙法に基づく選挙運動を構成する9つのカテゴリーでタグ付けされた1,705件の人間注釈ツイートが含まれている。
我々は0.65のアノテーション間契約(コーエンのkappaスコア)を締結した。
追加のアノテータは、最初の2つのアノテータ間のミスマッチを解決し、アノテーションプロセスの一貫性と複雑さを改善した。
新たに作成されたデータセットを使用して、確立されたニューラルネットワーク(70%のF1スコア)をトレーニングしました。
また,このようなデータセットやモデルのユースケースの方向性を,2020年のポーランド大統領選挙をtwitter上で最初に分析して示す。 Political campaigns are full of political ads posted by candidates on social media. Political advertisements constitute a basic form of campaigning, subjected to various social requirements. We present the first publicly open dataset for detecting specific text chunks and categories of political advertising in the Polish language. It contains 1,705 human-annotated tweets tagged with nine categories, which constitute campaigning under Polish electoral law. We achieved a 0.65 inter-annotator agreement (Cohen's kappa score). An additional annotator resolved the mismatches between the first two annotators improving the consistency and complexity of the annotation process. We used the newly created dataset to train a well established neural tagger (achieving a 70% percent points F1 score). We also present a possible direction of use cases for such datasets and models with an initial analysis of the Polish 2020 Presidential Elections on Twitter. | 翻訳日:2022-11-19 20:08:38 公開日:2020-06-17 |
| # インターセクションにおける戦術的意思決定のための不確かさ推定による強化学習 Reinforcement Learning with Uncertainty Estimation for Tactical Decision-Making in Intersections ( http://arxiv.org/abs/2006.09786v1 ) ライセンス: Link先を確認 | Carl-Johan Hoel, Tommy Tram, Jonas Sj\"oberg | (参考訳) 本稿では,ベイズ強化学習法を用いて,エージェントが推奨行動の信頼度を推定できる交差点シナリオにおいて,自律運転のための戦術的意思決定エージェントを作成する方法について検討する。
追加のランダム化事前関数(RPF)を備えたニューラルネットワークのアンサンブルは、ブートストラップされたエクスペリエンス再生メモリを使用してトレーニングされる。
アンサンブル部材の推定値q$値の変動係数を用いて不確実性を近似し、エージェントが特定の決定を行うのに十分な自信があるかどうかを判定する基準を導入する。
アンサンブルRPF法の性能を交差シナリオで評価し,標準Q-Network法と比較した。
また, トレーニング分布から遠い状況と, トレーニング分布内ではほとんど発生しない状況の両方において, 高い不確実性を有する症例を, 訓練アンサンブルrpfエージェントが検出できることが示されている。
本研究では,不確実性情報を用いて未知の状況における安全な行動の選択を行い,訓練分布内からすべての衝突を除去し,分布外における衝突のほとんどを除去した。 This paper investigates how a Bayesian reinforcement learning method can be used to create a tactical decision-making agent for autonomous driving in an intersection scenario, where the agent can estimate the confidence of its recommended actions. An ensemble of neural networks, with additional randomized prior functions (RPF), are trained by using a bootstrapped experience replay memory. The coefficient of variation in the estimated $Q$-values of the ensemble members is used to approximate the uncertainty, and a criterion that determines if the agent is sufficiently confident to make a particular decision is introduced. The performance of the ensemble RPF method is evaluated in an intersection scenario, and compared to a standard Deep Q-Network method. It is shown that the trained ensemble RPF agent can detect cases with high uncertainty, both in situations that are far from the training distribution, and in situations that seldom occur within the training distribution. In this study, the uncertainty information is used to choose safe actions in unknown situations, which removes all collisions from within the training distribution, and most collisions outside of the distribution. | 翻訳日:2022-11-19 20:08:27 公開日:2020-06-17 |
| # 線形制約付き確率帯域 Stochastic Bandits with Linear Constraints ( http://arxiv.org/abs/2006.10185v1 ) ライセンス: Link先を確認 | Aldo Pacchiano, Mohammad Ghavamzadeh, Peter Bartlett, Heinrich Jiang | (参考訳) 条件付き線形バンディットの設定について検討し、エージェントの目標は一連のポリシーを作ることであり、そこでは、t$ ラウンドの累積報酬が最大であり、それぞれが一定のしきい値である$\tau$ を下回る期待コストを持つ。
この問題に対して,楽観的悲観的線形バンドリット(OPLB)と呼ばれる上限有界アルゴリズムを提案し,そのT$ラウンドの後悔に対して$\widetilde{\mathcal{O}}(\frac{d\sqrt{T}}{\tau-c_0})$を証明した。
さらに,本手法を多腕バンディットに応用し,計算効率の高いアルゴリズムを提案する。
我々は、このアルゴリズムに対する$k$-armed banditsにおける$\widetilde{\mathcal{o}}(\frac{\sqrt{kt}}{\tau - c_0})$の後悔境界を証明した。
また,本論文で研究した問題に対して下限を証明し,理論結果を検証するためのシミュレーションを提供する。 We study a constrained contextual linear bandit setting, where the goal of the agent is to produce a sequence of policies, whose expected cumulative reward over the course of $T$ rounds is maximum, and each has an expected cost below a certain threshold $\tau$. We propose an upper-confidence bound algorithm for this problem, called optimistic pessimistic linear bandit (OPLB), and prove an $\widetilde{\mathcal{O}}(\frac{d\sqrt{T}}{\tau-c_0})$ bound on its $T$-round regret, where the denominator is the difference between the constraint threshold and the cost of a known feasible action. We further specialize our results to multi-armed bandits and propose a computationally efficient algorithm for this setting. We prove a regret bound of $\widetilde{\mathcal{O}}(\frac{\sqrt{KT}}{\tau - c_0})$ for this algorithm in $K$-armed bandits, which is a $\sqrt{K}$ improvement over the regret bound we obtain by simply casting multi-armed bandits as an instance of contextual linear bandits and using the regret bound of OPLB. We also prove a lower-bound for the problem studied in the paper and provide simulations to validate our theoretical results. | 翻訳日:2022-11-19 20:01:35 公開日:2020-06-17 |
| # LimeOut: プロセスの公正性を改善するためのアンサンブルアプローチ LimeOut: An Ensemble Approach To Improve Process Fairness ( http://arxiv.org/abs/2006.10531v1 ) ライセンス: Link先を確認 | Vaishnavi Bhargava, Miguel Couceiro, Amedeo Napoli | (参考訳) 人工知能と機械学習は、人間の生活のいくつかの側面、特に意思決定を扱う分野にますます存在し始めている。
これらのアルゴリズム的決定の多くは、人間の監督なく、透明性のない意思決定プロセスを通じて行われる。
これは、不公平な結果と、おそらくは人権侵害を伴う社会の特定のグループに対する、これらのプロセスの潜在的なバイアスに関する懸念を提起する。
このような偏りのあるモデルを扱うことは、公共の信頼を維持するための大きな懸念の1つです。
本稿では,プロセスや手続き的公正性の問題に対処する。
より正確には、分類器の精度を高め(少なくとも維持)、感度の高い特徴への依存を減らすことで、分類器をより公平にする問題を考える。
両方の目的を達成するために,ニューラルベースアプローチにおける"ドロップアウト"技術から着想を得て,プロセスフェアネスに取り組むために"機能ドロップアウト"に依存するフレームワークを提案する。
我々は「LIME Explanations」を用いて分類器の公平さを評価し、削除すべき感度のある特徴を判定する。
これは(特徴ドロップアウトを通じて)分類器のプールを生成し、そのアンサンブルは経験的に、感度の高い特徴に依存せず、精度に改善または全く影響しない。 Artificial Intelligence and Machine Learning are becoming increasingly present in several aspects of human life, especially, those dealing with decision making. Many of these algorithmic decisions are taken without human supervision and through decision making processes that are not transparent. This raises concerns regarding the potential bias of these processes towards certain groups of society, which may entail unfair results and, possibly, violations of human rights. Dealing with such biased models is one of the major concerns to maintain the public trust. In this paper, we address the question of process or procedural fairness. More precisely, we consider the problem of making classifiers fairer by reducing their dependence on sensitive features while increasing (or, at least, maintaining) their accuracy. To achieve both, we draw inspiration from "dropout" techniques in neural based approaches, and propose a framework that relies on "feature drop-out" to tackle process fairness. We make use of "LIME Explanations" to assess a classifier's fairness and to determine the sensitive features to remove. This produces a pool of classifiers (through feature dropout) whose ensemble is shown empirically to be less dependent on sensitive features, and with improved or no impact on accuracy. | 翻訳日:2022-11-19 20:00:42 公開日:2020-06-17 |
| # MCC-F1曲線:二項分類の性能評価手法 The MCC-F1 curve: a performance evaluation technique for binary classification ( http://arxiv.org/abs/2006.11278v1 ) ライセンス: Link先を確認 | Chang Cao, Davide Chicco, Michael M. Hoffman | (参考訳) 多くの分野では、二進分類法の標準評価としてROC曲線とPR曲線を用いる。
しかし、ROC と PR の分析は、特に不均衡な基底真理を伴って、誤解を招き、膨らませた性能評価を与えることが多い。
本稿では,シミュレーションによるROCとPR解析の問題点を実証し,これらの欠点に対処するMCC-F1曲線を提案する。
MCC-F1曲線は、MCCとF1スコアの2つの情報的単一閾値指標を組み合わせたものである。
MCC-F1曲線は、不均衡な基底真理であっても、良い分類器と悪い分類器をより明確に区別する。
MCC-F1測定値も導入し,分類しきい値全体にわたって,分類器性能の多くの側面を統合する単一の値を提供する。
最後に、MCC-F1曲線をプロットし、関連するメトリクスを計算するRパッケージを提供する。 Many fields use the ROC curve and the PR curve as standard evaluations of binary classification methods. Analysis of ROC and PR, however, often gives misleading and inflated performance evaluations, especially with an imbalanced ground truth. Here, we demonstrate the problems with ROC and PR analysis through simulations, and propose the MCC-F1 curve to address these drawbacks. The MCC-F1 curve combines two informative single-threshold metrics, MCC and the F1 score. The MCC-F1 curve more clearly differentiates good and bad classifiers, even with imbalanced ground truths. We also introduce the MCC-F1 metric, which provides a single value that integrates many aspects of classifier performance across the whole range of classification thresholds. Finally, we provide an R package that plots MCC-F1 curves and calculates related metrics. | 翻訳日:2022-11-19 20:00:20 公開日:2020-06-17 |
| # 判別型ニューラルネットワークによる冠動脈疾患のリスク解析 Analysing Risk of Coronary Heart Disease through Discriminative Neural Networks ( http://arxiv.org/abs/2008.02731v1 ) ライセンス: Link先を確認 | Ayush Khaneja, Siddharth Srivastava, Astha Rai, A S Cheema, P K Srivastava | (参考訳) 診断分野におけるデータマイニング、機械学習、人工知能技術の応用は、新しい概念ではなく、これらの技術は、特に皮膚科学やがん研究において、様々な応用に非常に成功している。
しかし、検査が真または偽(バイナリ分類)をもたらす医学的問題の場合、データは一般に1つのクラスに属するサンプルとクラス不均衡を持っている(例:患者が定期的な検査を受け、結果が偽である)。
このようなデータの格差は、データ上の予測システムをモデル化しようとすると問題を引き起こす。
診断などの重要なアプリケーションでは、このクラス不均衡は見過ごせないため、追加の注意を払わなければならない。
本研究では,このクラス不均衡をニューラルネットワークを介して識別モデルを用いて扱う方法と,シームズニューラルネットワーク構造を用いたコントラスト損失について述べる。
このようなモデルは、サンプルをラベルに分類する確率に基づくアプローチでは動作しない。
代わりに、異なるラベルの下に分類されたサンプルを区別するために、距離に基づくアプローチを使用する。
コードはhttps://tinyurl.com/DiscriminativeCHD/で入手できる。 The application of data mining, machine learning and artificial intelligence techniques in the field of diagnostics is not a new concept, and these techniques have been very successfully applied in a variety of applications, especially in dermatology and cancer research. But, in the case of medical problems that involve tests resulting in true or false (binary classification), the data generally has a class imbalance with samples majorly belonging to one class (ex: a patient undergoes a regular test and the results are false). Such disparity in data causes problems when trying to model predictive systems on the data. In critical applications like diagnostics, this class imbalance cannot be overlooked and must be given extra attention. In our research, we depict how we can handle this class imbalance through neural networks using a discriminative model and contrastive loss using a Siamese neural network structure. Such a model does not work on a probability-based approach to classify samples into labels. Instead it uses a distance-based approach to differentiate between samples classified under different labels. The code is available at https://tinyurl.com/DiscriminativeCHD/ | 翻訳日:2022-11-19 20:00:06 公開日:2020-06-17 |
| # 行列フィッシャー分布を用いた確率的方向推定 Probabilistic orientation estimation with matrix Fisher distributions ( http://arxiv.org/abs/2006.09740v1 ) ライセンス: Link先を確認 | D. Mohlin, G. Bianchi, J. Sullivan | (参考訳) 本稿では,深部ニューラルネットワークを用いた3次元回転数(SO(3)$)の確率分布の推定に着目する。
回転の集合にモデルを回帰させることは、$\mathbb{R}^N$ と $SO(3)$ の位相の違いにより本質的に困難である。
これらのパラメータは$\mathbb{R}^9$に同型であるため、ニューラルネットワークを用いて行列フィッシャー分布のパラメータを出力することでこの問題を克服する。
この分布に対して負のログ可能性損失を用いることで、ネットワーク出力に対して凸な損失が得られる。
この損失を最適化することで、Pascal3D+、ModelNet10-$SO(3)$、UPNAヘッドポーズといった、いくつかの挑戦可能なデータセットの最先端性を改善します。 This paper focuses on estimating probability distributions over the set of 3D rotations ($SO(3)$) using deep neural networks. Learning to regress models to the set of rotations is inherently difficult due to differences in topology between $\mathbb{R}^N$ and $SO(3)$. We overcome this issue by using a neural network to output the parameters for a matrix Fisher distribution since these parameters are homeomorphic to $\mathbb{R}^9$. By using a negative log likelihood loss for this distribution we get a loss which is convex with respect to the network outputs. By optimizing this loss we improve state-of-the-art on several challenging applicable datasets, namely Pascal3D+, ModelNet10-$SO(3)$ and UPNA head pose. | 翻訳日:2022-11-19 19:59:18 公開日:2020-06-17 |
| # 異なる機械学習アルゴリズムを用いた住宅市場予測問題の事例研究 Housing Market Prediction Problem using Different Machine Learning Algorithms: A Case Study ( http://arxiv.org/abs/2006.10092v1 ) ライセンス: Link先を確認 | Shashi Bhushan Jha, Radu F. Babiceanu, Vijay Pandey, Rajesh Kumar Jha | (参考訳) 住宅価格の正確な予測モデルの開発は、常に社会経済的発展と市民の幸福のために必要である。
本稿では,XGBoost,CatBoost,Random Forest,Lasso,Votting Regressorなどの機械学習アルゴリズムを用いて,公開データセットを用いた住宅価格の予測を行っている。
2015年1月から2019年11月までの62,723件の住宅データセットはフロリダ・ボルシア郡資産評価協会のウェブサイトから取得されている。
記録は公開されており、不動産や経済データベース、地図などの関連情報が含まれている。
データベースは通常、フロリダ州の規則に従って毎週更新される。
次に,機械学習を用いた住宅価格予測モデルを開発し,その回帰モデルの性能を比較した。
最後に,住宅市場を支援するための住宅価格予測モデルを提案する。
特に住宅販売業者や買い手、あるいは不動産ブローカーは、住宅価格の予測を考慮し、より良い意思決定を行うための洞察を得ることができる。
その結果、予測モデルの性能、決定係数(R2)、平均平方誤差(MSE)、平均絶対誤差(MAE)、計算時間に基づいて、XGBoostアルゴリズムは住宅価格を予測するために他のモデルよりも優れていることを示した。 Developing an accurate prediction model for housing prices is always needed for socio-economic development and well-being of citizens. In this paper, a diverse set of machine learning algorithms such as XGBoost, CatBoost, Random Forest, Lasso, Voting Regressor, and others, are being employed to predict the housing prices using public available datasets. The housing datasets of 62,723 records from January 2015 to November 2019 are obtained from Florida Volusia County Property Appraiser website. The records are publicly available and include the real estate or economic database, maps, and other associated information. The database is usually updated weekly according to the State of Florida regulations. Then, the housing price prediction models using machine learning techniques are developed and their regression model performances are compared. Finally, an improved housing price prediction model for assisting the housing market is proposed. Particularly, a house seller or buyer, or a real estate broker can get insight in making better-informed decisions considering the housing price prediction. The empirical results illustrate that based on prediction model performance, Coefficient of Determination (R2), Mean Square Error (MSE), Mean Absolute Error (MAE), and computational time, the XGBoost algorithm performs superior to the other models to predict the housing price. | 翻訳日:2022-11-19 19:53:17 公開日:2020-06-17 |
| # 重み付き雑音を伴う凸構成問題に対する近似ロバスト近似法 Nearly Optimal Robust Method for Convex Compositional Problems with Heavy-Tailed Noise ( http://arxiv.org/abs/2006.10095v1 ) ライセンス: Link先を確認 | Yan Yan and Xin Man and Tianbao Yang | (参考訳) 本稿では,雑音分布のテール,すなわち有界な2次モーメントに関する弱仮定の下で, {\bf sub-gaussian confidence bounds} を成立させることにより,$f(\e_\xi g(\cdot; \xi)) + r(\cdot)$ という形式の凸合成問題を解くためのロバストな確率的アルゴリズムを提案する。
低確率収束結果を高い確率結果に高める既存のブースティング戦略を使用することで、この目標を達成することができる。
しかし、構成問題の解決に既存の結果をまとめるには、いくつかの欠点がある。
i) ブースティング技術は,目的の強い凸性を必要とする。
(ii)非スムース$r$の処理には別のアルゴリズムが必要である。
(iii) 条件数に付加的な多義性因子に悩まされる。
これらの問題に対処するために,我々は,確率的強凸最適化の下限に対数係数まで一致するほぼ最適な高確率収束結果を持つ,最適強凸合成目標を最小化する単一房型確率的アルゴリズムを直接開発する。
我々の知る限りでは、これは重尾の仮定の下で構成問題に対するほぼ最適な準ガウス的自信境界を確立する最初の研究である。 In this paper, we propose robust stochastic algorithms for solving convex compositional problems of the form $f(\E_\xi g(\cdot; \xi)) + r(\cdot)$ by establishing {\bf sub-Gaussian confidence bounds} under weak assumptions about the tails of noise distribution, i.e., {\bf heavy-tailed noise} with bounded second-order moments. One can achieve this goal by using an existing boosting strategy that boosts a low probability convergence result into a high probability result. However, piecing together existing results for solving compositional problems suffers from several drawbacks: (i) the boosting technique requires strong convexity of the objective; (ii) it requires a separate algorithm to handle non-smooth $r$; (iii) it also suffers from an additional polylogarithmic factor of the condition number. To address these issues, we directly develop a single-trial stochastic algorithm for minimizing optimal strongly convex compositional objectives, which has a nearly optimal high probability convergence result matching the lower bound of stochastic strongly convex optimization up to a logarithmic factor. To the best of our knowledge, this is the first work that establishes nearly optimal sub-Gaussian confidence bounds for compositional problems under heavy-tailed assumptions. | 翻訳日:2022-11-19 19:52:57 公開日:2020-06-17 |
| # リカレント自己回帰流モデルに向けて Towards Recurrent Autoregressive Flow Models ( http://arxiv.org/abs/2006.10096v1 ) ライセンス: Link先を確認 | John Mern and Peter Morales and Mykel J. Kochenderfer | (参考訳) 非定常分布によって生成される確率過程はガウス過程のような従来のモデルで表すのは難しい。
本研究は, 正規化フローを用いた一般確率過程モデリングのための手法として, リカレント自己回帰フローを提案する。
提案手法は, ニューラル接続を繰り返す正規化フローのパラメータを条件付けすることで, 逐次的に各変数の条件分布を定義する。
複雑な条件付き関係は、繰り返しネットワークパラメータを通して学習される。
本研究では、再帰流セルの初期設計と、観測された経験分布に一致するようにモデルを訓練する方法を提案する。
モデルが3つの複雑な確率過程で訓練される一連の実験を通じて,このモデルの有効性を実証する。
現在の定式化の欠点を強調し、潜在的な解決策を提案する。 Stochastic processes generated by non-stationary distributions are difficult to represent with conventional models such as Gaussian processes. This work presents Recurrent Autoregressive Flows as a method toward general stochastic process modeling with normalizing flows. The proposed method defines a conditional distribution for each variable in a sequential process by conditioning the parameters of a normalizing flow with recurrent neural connections. Complex conditional relationships are learned through the recurrent network parameters. In this work, we present an initial design for a recurrent flow cell and a method to train the model to match observed empirical distributions. We demonstrate the effectiveness of this class of models through a series of experiments in which models are trained on three complex stochastic processes. We highlight the shortcomings of our current formulation and suggest some potential solutions. | 翻訳日:2022-11-19 19:52:32 公開日:2020-06-17 |
| # Markovian RNN:非定常環境に対するHMMスイッチングを用いた適応時系列予測ネットワーク Markovian RNN: An Adaptive Time Series Prediction Network with HMM-based Switching for Nonstationary Environments ( http://arxiv.org/abs/2006.10119v1 ) ライセンス: Link先を確認 | Fatih Ilhan, Oguzhan Karaahmetoglu, Ismail Balaban and Suleyman Serdar Kozat | (参考訳) 非定常シーケンシャルデータの非線形回帰について検討する。
金融、小売、エネルギー、経済などのビジネスドメインのような現実のほとんどのアプリケーションでは、時系列データは、基盤システムの時間的変動により非定常性を示す。
本稿では、マルコフ的な方法で内部構造を適応的に切り替え、与えられたデータの非定常特性をモデル化する新しいリカレントニューラルネットワーク(RNN)アーキテクチャを提案する。
我々のモデルであるMarkovian RNNは、レギュレーション遷移に隠れマルコフモデル(HMM)を使用し、各レギュレーションはリカレントセルの隠れ状態遷移を独立に制御する。
エンドツーエンドでネットワーク全体を最適化します。
我々は,バニラRNNやマルコフスイッチングARIMAのような従来手法と比較して,合成および実生活データセットを用いた広範な実験により,大幅な性能向上を示す。
また、推定パラメータと状態信念値を解釈し、与えられたシーケンスの基盤となるダイナミクスを分析する。 We investigate nonlinear regression for nonstationary sequential data. In most real-life applications such as business domains including finance, retail, energy and economy, timeseries data exhibits nonstationarity due to the temporally varying dynamics of the underlying system. We introduce a novel recurrent neural network (RNN) architecture, which adaptively switches between internal regimes in a Markovian way to model the nonstationary nature of the given data. Our model, Markovian RNN employs a hidden Markov model (HMM) for regime transitions, where each regime controls hidden state transitions of the recurrent cell independently. We jointly optimize the whole network in an end-to-end fashion. We demonstrate the significant performance gains compared to vanilla RNN and conventional methods such as Markov Switching ARIMA through an extensive set of experiments with synthetic and real-life datasets. We also interpret the inferred parameters and regime belief values to analyze the underlying dynamics of the given sequences. | 翻訳日:2022-11-19 19:51:22 公開日:2020-06-17 |
| # 凸性を利用した分類問題に対するブロック座標降下最適化器 A block coordinate descent optimizer for classification problems exploiting convexity ( http://arxiv.org/abs/2006.10123v1 ) ライセンス: Link先を確認 | Ravi G. Patel, Nathaniel A. Trask, Mamikon A. Gulian, Eric C. Cyr | (参考訳) 2階オプティマイザはディープラーニングの興味深い可能性を持っているが、勾配ベースのアプローチに比べて損失面の非凸性に対するコストと感度が上昇する。
本稿では,線形層の重みにおけるクロスエントロピー損失の大域的凸性を利用して,ディープニューラルネットワークを学習するための座標降下法を提案する。
ハイブリッドニュートン/勾配降下法 (ngd) は, 適応基底と線形層をデータに最適な適合性を与えるものとして, 隠れ層を解釈することと一致している。
線形層に対する大域的最適パラメータを求める二階法と隠蔽層を訓練する勾配降下法とを交互に組み合わせることで、トレーニング全体を通してデータに対する適応基底の最適適合性を確保する。
第2次ステップにおけるヘッシアンのサイズは、線形層内の数重みにのみスケールし、隠れ層の深さと幅ではなく、任意の隠れ層アーキテクチャに適用できる。
この適応的ベースパースペクティブを回帰問題に適用した以前の研究は、トレーニングコストの削減による精度の大幅な向上を示し、この手法を分類問題への拡張と見なすことができる。
まず、結果のヘッセン行列が対称半定値であること、ニュートンステップが大域的最小化を実現することを証明する。
製造した2次元点クラウドデータの分類を検討した結果, ngdを用いた学習において, 検証誤差の改善と, 隠れ層に符号化された基本関数の質的差異が明らかとなった。
画像分類ベンチマークへの高密度および畳み込みアーキテクチャの適用により、トレーニング精度が向上し、勾配勾配よりも2階法が向上する可能性が示唆された。 Second-order optimizers hold intriguing potential for deep learning, but suffer from increased cost and sensitivity to the non-convexity of the loss surface as compared to gradient-based approaches. We introduce a coordinate descent method to train deep neural networks for classification tasks that exploits global convexity of the cross-entropy loss in the weights of the linear layer. Our hybrid Newton/Gradient Descent (NGD) method is consistent with the interpretation of hidden layers as providing an adaptive basis and the linear layer as providing an optimal fit of the basis to data. By alternating between a second-order method to find globally optimal parameters for the linear layer and gradient descent to train the hidden layers, we ensure an optimal fit of the adaptive basis to data throughout training. The size of the Hessian in the second-order step scales only with the number weights in the linear layer and not the depth and width of the hidden layers; furthermore, the approach is applicable to arbitrary hidden layer architecture. Previous work applying this adaptive basis perspective to regression problems demonstrated significant improvements in accuracy at reduced training cost, and this work can be viewed as an extension of this approach to classification problems. We first prove that the resulting Hessian matrix is symmetric semi-definite, and that the Newton step realizes a global minimizer. By studying classification of manufactured two-dimensional point cloud data, we demonstrate both an improvement in validation error and a striking qualitative difference in the basis functions encoded in the hidden layer when trained using NGD. Application to image classification benchmarks for both dense and convolutional architectures reveals improved training accuracy, suggesting possible gains of second-order methods over gradient descent. | 翻訳日:2022-11-19 19:51:06 公開日:2020-06-17 |
| # グラフによる自己教師型学習 - Deep Insightsと新しい方向性 Self-supervised Learning on Graphs: Deep Insights and New Direction ( http://arxiv.org/abs/2006.10141v1 ) ライセンス: Link先を確認 | Wei Jin, Tyler Derr, Haochen Liu, Yiqi Wang, Suhang Wang, Zitao Liu, Jiliang Tang | (参考訳) ディープラーニングの成功は、大量の高価な注釈付きデータを必要とすることで悪名高い。
これにより、ラベルのないデータにドメイン固有のプレテキストタスクを作成することで、この制限を緩和することを目的とした、自己教師付き学習(SSL)の開発につながった。
同時に、グラフニューラルネットワーク(GNN)の形でグラフ領域にディープラーニングを一般化することへの関心が高まっている。
GNNは、ラベルのないノードを十分に利用できない単純な近傍集約を通じて、ラベルのないノードを自然に利用することができる。
そこで我々は、GNNのSSLを利用して、ラベルのないデータを完全に活用しようとしている。
画像領域やテキスト領域のデータインスタンスと異なり、グラフのノードは固有の構造情報を示し、それらは本質的に独立ではなく、同一の分散(または同一の分散)を示す。
このような複雑さは、グラフ上のsslの二重刃剣である。
一方、画像やテキストドメインからグラフへのソリューションの採用は困難であり、専用の取り組みが望まれていると判断する。
一方で、さまざまな観点からSSLを構築するための豊富な情報を提供しています。
そこで本稿では,グラフ上でのSSLプリテキストタスクを実証的に研究することにより,SSLがいつ,なぜ,どの戦略でGNNで動作するのかを,まず理解を深める。
実証研究から深い洞察を得て、さまざまな実世界のデータセットで最先端のパフォーマンスを達成できる高度なプレテキストタスクを構築するための、新たな方向を提案する。
結果を再現するための具体的な実験設定は、 \url{https://github.com/ChandlerBang/SelfTask-GNN} にある。 The success of deep learning notoriously requires larger amounts of costly annotated data. This has led to the development of self-supervised learning (SSL) that aims to alleviate this limitation by creating domain specific pretext tasks on unlabeled data. Simultaneously, there are increasing interests in generalizing deep learning to the graph domain in the form of graph neural networks (GNNs). GNNs can naturally utilize unlabeled nodes through the simple neighborhood aggregation that is unable to thoroughly make use of unlabeled nodes. Thus, we seek to harness SSL for GNNs to fully exploit the unlabeled data. Different from data instances in the image and text domains, nodes in graphs present unique structure information and they are inherently linked indicating not independent and identically distributed (or i.i.d.). Such complexity is a double-edged sword for SSL on graphs. On the one hand, it determines that it is challenging to adopt solutions from the image and text domains to graphs and dedicated efforts are desired. On the other hand, it provides rich information that enables us to build SSL from a variety of perspectives. Thus, in this paper, we first deepen our understandings on when, why, and which strategies of SSL work with GNNs by empirically studying numerous basic SSL pretext tasks on graphs. Inspired by deep insights from the empirical studies, we propose a new direction SelfTask to build advanced pretext tasks that are able to achieve state-of-the-art performance on various real-world datasets. The specific experimental settings to reproduce our results can be found in \url{https://github.com/ChandlerBang/SelfTask-GNN}. | 翻訳日:2022-11-19 19:50:34 公開日:2020-06-17 |
| # GPIRT:アイテム応答理論のためのガウス過程モデル GPIRT: A Gaussian Process Model for Item Response Theory ( http://arxiv.org/abs/2006.09900v1 ) ライセンス: Link先を確認 | JBrandon Duck-Mayr (1) and Roman Garnett (1) and Jacob M. Montgomery (1) ((1) Washington University in St. Louis) | (参考訳) 項目応答理論(IRT)モデルの目標は、2値観測された指標から潜時特性を推定し、同時に、潜時特性から観測された応答にマッピングするアイテム応答関数(IRF)を学習することである。
しかし、多くの場合、観察された振る舞いは従来のIRTモデルのパラメトリックな仮定からかなり逸脱する可能性がある。
非パラメトリックIRTモデルは、IRFの形式に関する仮定を緩和することでこれらの課題を克服するが、標準ツールは柔軟性のあるIRFを同時に見積もることができず、回答者の能力推定を回復できない。
IRFを定義する潜在関数上にガウス過程を配置することによりこの問題を解決するベイズ非パラメトリックモデルを提案する。
これにより、潜伏特性を推定する能力を保ちながら、IRFの形状に関する仮定を同時に緩和することができる。
これにより、モデルを簡単にアクティブラーニングなどのタスクに拡張することができます。
したがって、GPIRTはIRTの文学における長年の問題に対する単純で直感的な解決策を提供する。 The goal of item response theoretic (IRT) models is to provide estimates of latent traits from binary observed indicators and at the same time to learn the item response functions (IRFs) that map from latent trait to observed response. However, in many cases observed behavior can deviate significantly from the parametric assumptions of traditional IRT models. Nonparametric IRT models overcome these challenges by relaxing assumptions about the form of the IRFs, but standard tools are unable to simultaneously estimate flexible IRFs and recover ability estimates for respondents. We propose a Bayesian nonparametric model that solves this problem by placing Gaussian process priors on the latent functions defining the IRFs. This allows us to simultaneously relax assumptions about the shape of the IRFs while preserving the ability to estimate latent traits. This in turn allows us to easily extend the model to further tasks such as active learning. GPIRT therefore provides a simple and intuitive solution to several longstanding problems in the IRT literature. | 翻訳日:2022-11-19 19:43:16 公開日:2020-06-17 |
| # ベイズアクティブラーニングによる生産, 体系的研究, 再利用可能な図書館 Bayesian active learning for production, a systematic study and a reusable library ( http://arxiv.org/abs/2006.09916v1 ) ライセンス: Link先を確認 | Parmida Atighehchian, Fr\'ed\'eric Branchaud-Charron, Alexandre Lacoste | (参考訳) アクティブラーニングは、機械学習モデルを使用してユーザに特定の入力を問い合わせることで、ラベル付けの労力を削減することができる。
新しいアクティブラーニング技術に関する多くの論文があるが、これらのテクニックが実際のプロジェクトの制約を満たすことは滅多にない。
本稿では,現在のアクティブラーニング技術の主な欠点を分析し,その軽減のためのアプローチを提案する。
我々は,実世界のデータセットの最も一般的な課題が,モデル収束,アノテーションエラー,データセットの不均衡といった深層アクティブラーニングプロセスに与える影響を体系的に研究する。
部分的不確実性サンプリングやクエリサイズなど,アクティブな学習ループを高速化する2つの手法を導出する。
最後に,オープンソースのベイズ能動的学習ライブラリBaaLを紹介する。 Active learning is able to reduce the amount of labelling effort by using a machine learning model to query the user for specific inputs. While there are many papers on new active learning techniques, these techniques rarely satisfy the constraints of a real-world project. In this paper, we analyse the main drawbacks of current active learning techniques and we present approaches to alleviate them. We do a systematic study on the effects of the most common issues of real-world datasets on the deep active learning process: model convergence, annotation error, and dataset imbalance. We derive two techniques that can speed up the active learning loop such as partial uncertainty sampling and larger query size. Finally, we present our open-source Bayesian active learning library, BaaL. | 翻訳日:2022-11-19 19:42:50 公開日:2020-06-17 |
| # 近似推論のための領域ベースエネルギーニューラルネットワーク Region-based Energy Neural Network for Approximate Inference ( http://arxiv.org/abs/2006.09927v1 ) ライセンス: Link先を確認 | Dong Liu, Ragnar Thobaben, Lars K. Rasmussen | (参考訳) 地域ベースの自由エネルギーは、ループ型信念伝播(ループ型BP)を改善するための一般化信念伝播(GBP)のために提案された。
本稿では,領域グラフ上で定義される領域ベースの自由エネルギーを直接最小化する一般マルコフ確率場(mrfs)における推論のためのニューラルネットワークに基づくエネルギーモデルを提案する。
モデル領域に基づくエネルギーニューラルネットワーク(renn)と呼ぶ。
メッセージパッシングアルゴリズムとは異なり、RENNは反復的なメッセージ伝搬を避け、より高速である。
また、最近のディープニューラルネットワークベースモデルとは異なり、RENNによる推論ではサンプリングは不要で、RENNは一般的なMRFで動作する。
RENNはMDF学習にも利用できる。
MRFの限界分布推定,分割関数推定,学習に関する実験により,RENNは平均場法,ループBP,GBP,最先端ニューラルネットワークモデルよりも優れていた。 Region-based free energy was originally proposed for generalized belief propagation (GBP) to improve loopy belief propagation (loopy BP). In this paper, we propose a neural network based energy model for inference in general Markov random fields (MRFs), which directly minimizes the region-based free energy defined on region graphs. We term our model Region-based Energy Neural Network (RENN). Unlike message-passing algorithms, RENN avoids iterative message propagation and is faster. Also different from recent deep neural network based models, inference by RENN does not require sampling, and RENN works on general MRFs. RENN can also be employed for MRF learning. Our experiments on marginal distribution estimation, partition function estimation, and learning of MRFs show that RENN outperforms the mean field method, loopy BP, GBP, and the state-of-the-art neural network based model. | 翻訳日:2022-11-19 19:42:39 公開日:2020-06-17 |
| # 深層生成ネットワークにおける解析確率分布とem学習 Analytical Probability Distributions and EM-Learning for Deep Generative Networks ( http://arxiv.org/abs/2006.10023v1 ) ライセンス: Link先を確認 | Randall Balestriero, Sebastien Paris, Richard G. Baraniuk | (参考訳) 出力と潜在空間の確率的モデリングを伴うディープジェネレーションネットワーク(dgns)は現在、変分オートエンコーダ(vaes)を介して訓練されている。
後方および帰納的期待に関する既知の分析形式が存在しない場合、vaes は(amortized) variational inference (avi) や monte-carlo (mc) サンプリングを含む近似に依存する。
我々は,現代DGNの連続的ピアースアフィン(CPA)特性を利用して,その後縁分布と辺縁分布,および後者の最初の瞬間を導出する。
これらの結果から,勾配フリーなdgn学習を可能にする解析的期待最大化(em)アルゴリズムを導出することができる。
実験により,DGNsのEMトレーニングはVAEトレーニングよりも高い可能性が示唆された。
本研究は, モデル比較, 異常検出, 欠落データ計算に標準統計ツールを適用するために, 後部および開路を近似した新しいVAE AVIの設計を導くものである。 Deep Generative Networks (DGNs) with probabilistic modeling of their output and latent space are currently trained via Variational Autoencoders (VAEs). In the absence of a known analytical form for the posterior and likelihood expectation, VAEs resort to approximations, including (Amortized) Variational Inference (AVI) and Monte-Carlo (MC) sampling. We exploit the Continuous Piecewise Affine (CPA) property of modern DGNs to derive their posterior and marginal distributions as well as the latter's first moments. These findings enable us to derive an analytical Expectation-Maximization (EM) algorithm that enables gradient-free DGN learning. We demonstrate empirically that EM training of DGNs produces greater likelihood than VAE training. Our findings will guide the design of new VAE AVI that better approximate the true posterior and open avenues to apply standard statistical tools for model comparison, anomaly detection, and missing data imputation. | 翻訳日:2022-11-19 19:41:28 公開日:2020-06-17 |
| # 多基準多腕バンディットに対する制約付き後悔最小化 Constrained regret minimization for multi-criterion multi-armed bandits ( http://arxiv.org/abs/2006.09649v1 ) ライセンス: Link先を確認 | Anmol Kagrecha, Jayakrishnan Nair, Krishna Jagannathan | (参考訳) 我々は, 確率的多腕バンディット設定を検討し, リスク制約を前提として, 与えられた時間軸上の後悔の最小化問題を検討する。
各アームは未知のコスト/損失分布に関連付けられる。
学習エージェントは、リスクに対する条件付値(cvar)を事前に指定した上限を用いてモデル化し、許容するリスク評価によって特徴付けられる。
最適アームは、CVaR制約を満たすアームのうち、期待される損失を最小限に抑えるものである。
エージェントは、"危険すぎる"ものを含む、最適下腕の引き金の数を最小化することに興味がある。
そこで本研究では,非オプティカルアームの遊び数の平均値が対数的であり,対数的後悔を保証できるリスク制約付き低信頼境界(rc-lcb)アルゴリズムを提案する。
アルゴリズムはまた、与えられたインスタンスがリスク制約に関して実行可能か実行不可能かを、高い確率で正確に識別するブールフラグを出力する。
リスク制約付き後悔最小化アルゴリズムの性能に低い限界を証明し、後悔最小化と実現可能性識別の基本的なトレードオフを確立する。
提案アルゴリズムと解析は,バンディット設定における制約付き多重基準最適化問題を解くために容易に一般化できる。 We consider a stochastic multi-armed bandit setting and study the problem of regret minimization over a given time horizon, subject to a risk constraint. Each arm is associated with an unknown cost/loss distribution. The learning agent is characterized by a risk-appetite that she is willing to tolerate, which we model using a pre-specified upper bound on the Conditional Value at Risk (CVaR). An optimal arm is one that minimizes the expected loss, among those arms that satisfy the CVaR constraint. The agent is interested in minimizing the number of pulls of suboptimal arms, including the ones that are 'too risky.' For this problem, we propose a Risk-Constrained Lower Confidence Bound (RC-LCB) algorithm, that guarantees logarithmic regret, i.e., the average number of plays of all non-optimal arms is at most logarithmic in the horizon. The algorithm also outputs a boolean flag that correctly identifies with high probability, whether the given instance was feasible/infeasible with respect to the risk constraint. We prove lower bounds on the performance of any risk-constrained regret minimization algorithm and establish a fundamental trade-off between regret minimization and feasibility identification. The proposed algorithm and analyses can be readily generalized to solve constrained multi-criterion optimization problems in the bandits setting. | 翻訳日:2022-11-19 19:35:19 公開日:2020-06-17 |
| # freetree: 相関特徴を持つ高次元縦データに対する木ベースアプローチ FREEtree: A Tree-based Approach for High Dimensional Longitudinal Data With Correlated Features ( http://arxiv.org/abs/2006.09693v1 ) ライセンス: Link先を確認 | Yuancheng Xu, Athanasse Zafirov, R. Michael Alvarez, Dan Kojis, Min Tan and Christina M. Ramirez | (参考訳) 本稿では,相関特徴を持つ高次元縦データに対する木ベース手法であるfreetreeを提案する。
ランダムフォレストのような、変数選択に一般的に使用される一般的な機械学習アプローチは、相関した特徴がある場合、うまく動作せず、時間とともに観測されるデータも考慮しない。
freetreeは区分的ランダム効果モデルを用いて縦断データを扱う。
また、重み付き相関ネットワーク分析(WGCNA)を用いて最初にクラスタリングすることで、特徴のネットワーク構造を利用する。
その後、各機能クラスタ内のスクリーニングステップと、現存する機能のうちの選択ステップを実行し、機能を選択するための比較的偏りのない方法を提供する。
主原理成分を各葉の回帰変数として、元の特徴を分割ノードの分割変数として用いることにより、freetreeはその解釈性を維持し、計算効率を向上させる。
シミュレーションの結果,freetreeは他の木ベースの手法よりも予測精度,特徴選択精度,基盤となる構造を復元する能力において優れていた。 This paper proposes FREEtree, a tree-based method for high dimensional longitudinal data with correlated features. Popular machine learning approaches, like Random Forests, commonly used for variable selection do not perform well when there are correlated features and do not account for data observed over time. FREEtree deals with longitudinal data by using a piecewise random effects model. It also exploits the network structure of the features by first clustering them using weighted correlation network analysis, namely WGCNA. It then conducts a screening step within each cluster of features and a selection step among the surviving features, that provides a relatively unbiased way to select features. By using dominant principle components as regression variables at each leaf and the original features as splitting variables at splitting nodes, FREEtree maintains its interpretability and improves its computational efficiency. The simulation results show that FREEtree outperforms other tree-based methods in terms of prediction accuracy, feature selection accuracy, as well as the ability to recover the underlying structure. | 翻訳日:2022-11-19 19:34:39 公開日:2020-06-17 |
| # Mix2FLD: 2-Way混合によるアップリンク蒸留後のダウンリンクフェデレーション学習 Mix2FLD: Downlink Federated Learning After Uplink Federated Distillation With Two-Way Mixup ( http://arxiv.org/abs/2006.09801v1 ) ライセンス: Link先を確認 | Seungeun Oh, Jihong Park, Eunjeong Jeong, Hyesung Kim, Mehdi Bennis, Seong-Lyun Kim | (参考訳) このレターでは、Mix2FLDという新しい通信効率とプライバシ保護のための分散機械学習フレームワークを提案する。
アップリンク・ダウンリンク容量の非対称性に対処するために、フェデレーション蒸留(fd)のようにアップリンク内のサーバにローカルモデル出力をアップロードし、フェデレーション学習(fl)のようにダウンリンクにグローバルモデルパラメータをダウンロードする。
これは、デバイスから追加のデータサンプルを収集した後、サーバーでモデル出力からパラメータへの変換を必要とする。
精度を損なうことなくプライバシを維持するため、ローカルサンプルを線形に混合してアップロードし、サーバの異なるデバイス間で逆混合する。
数値評価の結果、Mix2FLDはFLに比べて最大16.7%高い精度でコンバージェンス時間を最大18.8%削減できることがわかった。 This letter proposes a novel communication-efficient and privacy-preserving distributed machine learning framework, coined Mix2FLD. To address uplink-downlink capacity asymmetry, local model outputs are uploaded to a server in the uplink as in federated distillation (FD), whereas global model parameters are downloaded in the downlink as in federated learning (FL). This requires a model output-to-parameter conversion at the server, after collecting additional data samples from devices. To preserve privacy while not compromising accuracy, linearly mixed-up local samples are uploaded, and inversely mixed up across different devices at the server. Numerical evaluations show that Mix2FLD achieves up to 16.7% higher test accuracy while reducing convergence time by up to 18.8% under asymmetric uplink-downlink channels compared to FL. | 翻訳日:2022-11-19 19:32:37 公開日:2020-06-17 |
| # 若年者による論証的文章の探索的研究--トランスフォーマーによるアプローチ An Exploratory Study of Argumentative Writing by Young Students: A Transformer-based Approach ( http://arxiv.org/abs/2006.09873v1 ) ライセンス: Link先を確認 | Debanjan Ghosh, Beata Beigman Klebanov, Yi Song | (参考訳) 本稿では,若い学生による議論批判文の計算的探索について述べる。
中学生は、原因の特定と説明に焦点を当てて、プロンプトで提示された議論を批判するよう求められた。
このタスクは、確立された大学レベルの議論批判タスクに似ている。
詳細なドメイン知識を使って批判を識別する語彙的特徴と談話的特徴は大学の課題には存在するが、若い学生のデータではうまく機能しない。
代わりに、トランスフォーマーベースのアーキテクチャ(例えばbert)は、大学のタスクから大量の批判的なエッセイのコーパスを微調整し、はるかにパフォーマンスが良い(f1スコアで20%以上改善)。
システムの様々な構成のパフォーマンスの分析は、子どもの文章は議論的なエッセイの標準的な言説構造を示さないが、より成熟した作家と基本的な局所的な構造を共有していることを示唆している。 We present a computational exploration of argument critique writing by young students. Middle school students were asked to criticize an argument presented in the prompt, focusing on identifying and explaining the reasoning flaws. This task resembles an established college-level argument critique task. Lexical and discourse features that utilize detailed domain knowledge to identify critiques exist for the college task but do not perform well on the young students data. Instead, transformer-based architecture (e.g., BERT) fine-tuned on a large corpus of critique essays from the college task performs much better (over 20% improvement in F1 score). Analysis of the performance of various configurations of the system suggests that while children's writing does not exhibit the standard discourse structure of an argumentative essay, it does share basic local sequential structures with the more mature writers. | 翻訳日:2022-11-19 19:26:30 公開日:2020-06-17 |
| # きめ細かい感情制御テキスト生成 Fine-grained Sentiment Controlled Text Generation ( http://arxiv.org/abs/2006.09891v1 ) ライセンス: Link先を確認 | Bidisha Samanta, Mohit Agarwal, Niloy Ganguly | (参考訳) 制御されたテキスト生成技術は、属性独立コンテンツを保持しながら特定の属性(例えば感情)を規制することを目的としている。
最先端のアプローチでは、指定された属性を構造化されたあるいは離散的な表現としてモデル化し、コンテンツ表現を独立させ、より良い制御を達成する。
しかし、テキスト表現を別個の潜在空間に切り離すことは、コンテンツと属性の間の複雑な依存関係を見落とし、不十分に構築され、あまり意味のない文を生成する。
さらに、このようなアプローチは属性変更の度合いに関するより細かい制御を提供しない。
本稿では,制御テキスト生成におけるこれらの問題に対処するために,情報エンタングル表現と属性固有のアンタングル表現の両方を異なる階層でキャプチャする階層的フレームワークであるde-vaeを提案する。
DE-VAEは、不協和感空間から所望の絡み合い表現への適切な損失のない変換ネットワークを学習し、コンテンツを保存しつつ、属性としての感情のより良い制御を実現する。
歪んだ表現の1次元における特徴監督を通じて、DE-VAEは感情の変動を連続した空間にマッピングし、感情をポジティブからネガティブへと円滑に調節するのに役立つ。
公開された3つのレビューデータセットに関する詳細な実験は、最近の最先端アプローチよりもDE-VAEの方が優れていることを示している。 Controlled text generation techniques aim to regulate specific attributes (e.g. sentiment) while preserving the attribute independent content. The state-of-the-art approaches model the specified attribute as a structured or discrete representation while making the content representation independent of it to achieve a better control. However, disentangling the text representation into separate latent spaces overlooks complex dependencies between content and attribute, leading to generation of poorly constructed and not so meaningful sentences. Moreover, such an approach fails to provide a finer control on the degree of attribute change. To address these problems of controlled text generation, in this paper, we propose DE-VAE, a hierarchical framework which captures both information enriched entangled representation and attribute specific disentangled representation in different hierarchies. DE-VAE achieves better control of sentiment as an attribute while preserving the content by learning a suitable lossless transformation network from the disentangled sentiment space to the desired entangled representation. Through feature supervision on a single dimension of the disentangled representation, DE-VAE maps the variation of sentiment to a continuous space which helps in smoothly regulating sentiment from positive to negative and vice versa. Detailed experiments on three publicly available review datasets show the superiority of DE-VAE over recent state-of-the-art approaches. | 翻訳日:2022-11-19 19:26:16 公開日:2020-06-17 |
| # CO-Search: セマンティック検索、質問回答、抽象要約によるCOVID-19情報検索 CO-Search: COVID-19 Information Retrieval with Semantic Search, Question Answering, and Abstractive Summarization ( http://arxiv.org/abs/2006.09595v1 ) ライセンス: Link先を確認 | Andre Esteva, Anuprit Kale, Romain Paulus, Kazuma Hashimoto, Wenpeng Yin, Dragomir Radev, Richard Socher | (参考訳) 新型コロナウイルス(covid-19)の世界的パンデミックは、この病気を理解し、追跡し、軽減するための国際的な取り組みにつながった。
2020年5月現在、COVID-19 Open Research Dataset Challengeを通じて12万8000件の新型コロナウイルス関連の論文が収集されている。
今回紹介するのはco-searchという、新型コロナウイルス(covid-19)の文献に関する複雑な問合せを処理するための検索ランク付け型セマンティック検索エンジンだ。
このレトリバーは、TF-IDFベクターライザで線形に構成され、BM25ベクターライザで融合された逆ランクのシームズ-BERTエンコーダから構築されている。
ランチャーはマルチホップ質問応答モジュールで構成され、マルチパラグラフ要約要約器と共にレトリバースコアを調整する。
ドメイン固有の比較的限られたデータセットを考慮し,文書の段落と引用の2部グラフを生成し,エンコーダを訓練するための130万タプル(引用タイトル,段落)を作成する。
TREC-COVID情報検索課題のデータに基づいて,本システムの評価を行った。
CO-Searchは、正規化割引累積ゲイン、精度、平均平均精度、バイナリ嗜好など、いくつかの主要な指標で、第1ラウンドと第2ラウンドのデータセット上で最高のパフォーマンスを得る。 The COVID-19 global pandemic has resulted in international efforts to understand, track, and mitigate the disease, yielding a significant corpus of COVID-19 and SARS-CoV-2-related publications across scientific disciplines. As of May 2020, 128,000 coronavirus-related publications have been collected through the COVID-19 Open Research Dataset Challenge. Here we present CO-Search, a retriever-ranker semantic search engine designed to handle complex queries over the COVID-19 literature, potentially aiding overburdened health workers in finding scientific answers during a time of crisis. The retriever is built from a Siamese-BERT encoder that is linearly composed with a TF-IDF vectorizer, and reciprocal-rank fused with a BM25 vectorizer. The ranker is composed of a multi-hop question-answering module, that together with a multi-paragraph abstractive summarizer adjust retriever scores. To account for the domain-specific and relatively limited dataset, we generate a bipartite graph of document paragraphs and citations, creating 1.3 million (citation title, paragraph) tuples for training the encoder. We evaluate our system on the data of the TREC-COVID information retrieval challenge. CO-Search obtains top performance on the datasets of the first and second rounds, across several key metrics: normalized discounted cumulative gain, precision, mean average precision, and binary preference. | 翻訳日:2022-11-19 19:25:53 公開日:2020-06-17 |
| # 実例駆動型BSPと変分オートエンコーダによるマルチドメインレベル生成とスケッチによるブレンディング Multi-Domain Level Generation and Blending with Sketches via Example-Driven BSP and Variational Autoencoders ( http://arxiv.org/abs/2006.09807v1 ) ライセンス: Link先を確認 | Sam Snodgrass and Anurag Sarkar | (参考訳) 機械学習(PCGML)による手続き的コンテンツ生成は、コンテンツとゲーム作成アプローチとしての有用性を示しており、人間の創造性をサポートすることが示されている。
創造性の重要な側面は、組み合わせ創造性、あるいはドメイン間のアイデアと概念の再結合、適応、再利用である。
本稿では,複数の領域から見当たらない領域への構造的パターンの再結合,適応,再利用が可能なレベル生成のためのpcgmlアプローチを提案する。
複数の領域におけるパターンの再結合と再利用のための例駆動のバイナリ空間分割を含む先行作業を拡張し、未知の構造を生成するための変分オートエンコーダ(VAE)を組み込んだ。
7ドルのドメインとそれらのドメインのサブセットを混ぜることで、私たちのアプローチを評価します。
提案手法では,構造的コンポーネントを維持しながらドメインをブレンドできることが示されている。
さらに、トレーニングドメインの異なるグループを使用することで、私たちのアプローチは両方を生成できるのです。
1)対象領域の特徴を再現・捕捉するレベル、及び
2)入力ドメインとは大きく異なる特性を持つレベル。 Procedural content generation via machine learning (PCGML) has demonstrated its usefulness as a content and game creation approach, and has been shown to be able to support human creativity. An important facet of creativity is combinational creativity or the recombination, adaptation, and reuse of ideas and concepts between and across domains. In this paper, we present a PCGML approach for level generation that is able to recombine, adapt, and reuse structural patterns from several domains to approximate unseen domains. We extend prior work involving example-driven Binary Space Partitioning for recombining and reusing patterns in multiple domains, and incorporate Variational Autoencoders (VAEs) for generating unseen structures. We evaluate our approach by blending across $7$ domains and subsets of those domains. We show that our approach is able to blend domains together while retaining structural components. Additionally, by using different groups of training domains our approach is able to generate both 1) levels that reproduce and capture features of a target domain, and 2) levels that have vastly different properties from the input domain. | 翻訳日:2022-11-19 19:25:02 公開日:2020-06-17 |
| # 多様なルールセット Diverse Rule Sets ( http://arxiv.org/abs/2006.09890v1 ) ライセンス: Link先を確認 | Guangyi Zhang and Aristides Gionis | (参考訳) 機械学習モデルは日常生活の多くの側面を繁栄させ、変化させているが、複雑なモデルを理解することができないことは、これらのモデルを完全に信頼し、受け入れることが困難である。
したがって、モデルの解釈可能性も予測力として等しく重要な品質として認識されている。
特にルールベースのシステムは、直感的なif-then表現のためにルネッサンスを経験している。
しかし、単にルールベースであることは解釈可能性を保証するものではない。
例えば、重複した規則は曖昧さを生じさせ、解釈を妨げる。
本稿では,最大和の多様化の枠組みにおいて,決定規則間の重なりを2近似保証で最適化し,多様規則集合を推定する新しい手法を提案する。
この問題を、識別的品質とルールセットの多様性の重み付け和を最大化する問題として定式化する。
関連ルールの指数的規模の探索空間を克服するために,頻繁かつ正確な規則を含む,小規模な規則候補集合に対するいくつかの自然な選択肢を調査し,それらの硬さについて検討する。
提案手法では,特殊構造を活用し,識別性が高く重なりが小さいルールをサンプルする効率的なランダム化アルゴリズムを考案する。
提案するサンプリングアルゴリズムは,目的に合わせたルールの分布を解析的に対象とする。
我々は,強力なベースラインに対する包括的実証研究を行い,モデルの優れた予測力と解釈可能性を示す。 While machine-learning models are flourishing and transforming many aspects of everyday life, the inability of humans to understand complex models poses difficulties for these models to be fully trusted and embraced. Thus, interpretability of models has been recognized as an equally important quality as their predictive power. In particular, rule-based systems are experiencing a renaissance owing to their intuitive if-then representation. However, simply being rule-based does not ensure interpretability. For example, overlapped rules spawn ambiguity and hinder interpretation. Here we propose a novel approach of inferring diverse rule sets, by optimizing small overlap among decision rules with a 2-approximation guarantee under the framework of Max-Sum diversification. We formulate the problem as maximizing a weighted sum of discriminative quality and diversity of a rule set. In order to overcome an exponential-size search space of association rules, we investigate several natural options for a small candidate set of high-quality rules, including frequent and accurate rules, and examine their hardness. Leveraging the special structure in our formulation, we then devise an efficient randomized algorithm, which samples rules that are highly discriminative and have small overlap. The proposed sampling algorithm analytically targets a distribution of rules that is tailored to our objective. We demonstrate the superior predictive power and interpretability of our model with a comprehensive empirical study against strong baselines. | 翻訳日:2022-11-19 19:24:46 公開日:2020-06-17 |
| # 階層的強化学習における忘れられた経験のリプレイ Forgetful Experience Replay in Hierarchical Reinforcement Learning from Demonstrations ( http://arxiv.org/abs/2006.09939v1 ) ライセンス: Link先を確認 | Alexey Skrynnik, Aleksey Staroverov, Ermek Aitygulov, Kirill Aksenov, Vasilii Davydov, Aleksandr I. Panov | (参考訳) 現在、深層強化学習(RL)は複雑なゲームやロボット環境において素晴らしい成果を上げている。
多くの場合、これらの結果は膨大な計算コストを犠牲にして達成され、エージェントと環境の間の膨大な数の相互作用を必要とする。
強化学習手法のサンプル効率向上には,階層的手法と専門家による実証の2つの主要なアプローチがある。
本稿では,複数の目標を持つ複雑な視覚環境において,エージェントが低品質のデモンストレーションを使用できる手法の組み合わせを提案する。
我々の忘れられた経験リプレイ(ForgER)アルゴリズムは、専門家データのエラーを効果的に処理し、エージェントの能力にアクション空間と表現を適応させる際の品質損失を低減する。
提案する目標指向のリプレイバッファの構造化により,エージェントは複雑な階層的タスクを解決するためのサブゴールを自動的にハイライトすることができる。
我々の手法は普遍的で、様々な非政治手法に統合できる。
さまざまなモデル環境でのエキスパートデモンストレーションを使用して、既存のすべての最先端rlメソッドを上回っている。
私たちのアルゴリズムに基づくこのソリューションは、有名なMineRLコンペティションのすべてのソリューションを破り、エージェントがMinecraft環境でダイヤモンドを採掘できるようにする。 Currently, deep reinforcement learning (RL) shows impressive results in complex gaming and robotic environments. Often these results are achieved at the expense of huge computational costs and require an incredible number of episodes of interaction between the agent and the environment. There are two main approaches to improving the sample efficiency of reinforcement learning methods - using hierarchical methods and expert demonstrations. In this paper, we propose a combination of these approaches that allow the agent to use low-quality demonstrations in complex vision-based environments with multiple related goals. Our forgetful experience replay (ForgER) algorithm effectively handles errors in expert data and reduces quality losses when adapting the action space and states representation to the agent's capabilities. Our proposed goal-oriented structuring of replay buffer allows the agent to automatically highlight sub-goals for solving complex hierarchical tasks in demonstrations. Our method is universal and can be integrated into various off-policy methods. It surpasses all known existing state-of-the-art RL methods using expert demonstrations on various model environments. The solution based on our algorithm beats all the solutions for the famous MineRL competition and allows the agent to mine a diamond in the Minecraft environment. | 翻訳日:2022-11-19 19:24:26 公開日:2020-06-17 |
| # 平均回帰MDPにおける外政評価への最大エントロピー的アプローチ A maximum-entropy approach to off-policy evaluation in average-reward MDPs ( http://arxiv.org/abs/2006.12620v1 ) ライセンス: Link先を確認 | Nevena Lazic, Dong Yin, Mehrdad Farajtabar, Nir Levine, Dilan Gorur, Chris Harris, Dale Schuurmans | (参考訳) この研究は、無限水平無カウントマルコフ決定過程(MDPs)における関数近似を用いたオフ政治評価(OPE)に焦点を当てる。
エルゴード的かつ線形なMDP(例えば、いくつかの既知の特徴において報酬と力学が線型である)に対しては、最初の有限サンプル OPE エラーバウンドを提供し、エピソードおよび割引されたケースを超えて既存の結果を拡張する。
より一般的な設定では、特徴力学が概線型で任意の報酬を求めるとき、関数近似を用いて定常分布を推定するための新しいアプローチを提案する。
この問題を,実験的ダイナミクス下での特徴期待値の一致に基づく最大エントロピー分布を求めるために定式化する。
この結果から,教師付き学習における最大エントロピーアプローチと並行して,十分な統計量を持つ指数関数群分布が得られた。
複数の環境において提案するOPE手法の有効性を実証する。 This work focuses on off-policy evaluation (OPE) with function approximation in infinite-horizon undiscounted Markov decision processes (MDPs). For MDPs that are ergodic and linear (i.e. where rewards and dynamics are linear in some known features), we provide the first finite-sample OPE error bound, extending existing results beyond the episodic and discounted cases. In a more general setting, when the feature dynamics are approximately linear and for arbitrary rewards, we propose a new approach for estimating stationary distributions with function approximation. We formulate this problem as finding the maximum-entropy distribution subject to matching feature expectations under empirical dynamics. We show that this results in an exponential-family distribution whose sufficient statistics are the features, paralleling maximum-entropy approaches in supervised learning. We demonstrate the effectiveness of the proposed OPE approaches in multiple environments. | 翻訳日:2022-11-19 19:23:57 公開日:2020-06-17 |
| # きめ細かい確率的アーキテクチャ探索 Fine-Grained Stochastic Architecture Search ( http://arxiv.org/abs/2006.09581v1 ) ライセンス: Link先を確認 | Shraman Ray Chaudhuri, Elad Eban, Hanhan Li, Max Moroz, Yair Movshovitz-Attias | (参考訳) 最先端のディープネットワークはモバイルデバイスや組み込みシステムにデプロイするには大きすぎることが多い。
mobile neural architecture search (nas)メソッドは小さなモデルの設計を自動化するが、最先端のnasメソッドの実行は高価である。
微分可能なニューラルアーキテクチャサーチ (DNAS) 法は探索コストを削減するが、候補アーキテクチャの限られた部分空間を探索する。
本稿では,より大きな候補アーキテクチャの集合を探索する微分可能探索法であるFine-Grained Stochastic Architecture Search (FiGS)を提案する。
figsはロジスティック・シグモイド分布に基づく構造化スパース正規化ペナルティを適用して、検索空間における演算子を選択・修正する。
既存の3つの検索空間にまたがって結果を示し、元の検索アルゴリズムをマッチングまたは性能良くし、ImageNet上で最先端のパラメータ効率モデルを生成する。
SSDLiteによるオブジェクト検出のバックボーンとしてアーキテクチャを使用すると、MobileNetV3やMnasNetよりもCOCO上のmAP(例えば、3.0Mパラムを持つ25.8)が大幅に向上する。 State-of-the-art deep networks are often too large to deploy on mobile devices and embedded systems. Mobile neural architecture search (NAS) methods automate the design of small models but state-of-the-art NAS methods are expensive to run. Differentiable neural architecture search (DNAS) methods reduce the search cost but explore a limited subspace of candidate architectures. In this paper, we introduce Fine-Grained Stochastic Architecture Search (FiGS), a differentiable search method that searches over a much larger set of candidate architectures. FiGS simultaneously selects and modifies operators in the search space by applying a structured sparse regularization penalty based on the Logistic-Sigmoid distribution. We show results across 3 existing search spaces, matching or outperforming the original search algorithms and producing state-of-the-art parameter-efficient models on ImageNet (e.g., 75.4% top-1 with 2.6M params). Using our architectures as backbones for object detection with SSDLite, we achieve significantly higher mAP on COCO (e.g., 25.8 with 3.0M params) than MobileNetV3 and MnasNet. | 翻訳日:2022-11-19 19:23:41 公開日:2020-06-17 |
| # 2次元および3次元顔のキーポイントを用いたモバイルビデオからの痛み強度推定 Pain Intensity Estimation from Mobile Video Using 2D and 3D Facial Keypoints ( http://arxiv.org/abs/2006.12246v1 ) ライセンス: Link先を確認 | Matthew Lee, Lyndon Kennedy, Andreas Girgensohn, Lynn Wilcox, John Song En Lee, Chin Wen Tan, Ban Leong Sng | (参考訳) 術後の痛みの管理は手術成功に不可欠である。
痛み管理の課題の1つは、患者の痛みレベルを正確に評価することである。
自己報告された数値的痛み評価は、主観的であり、気分に影響され、比較を行う際に患者の痛み知覚に影響を与える可能性があるため、制限されている。
本稿では,術後患者の2Dおよび3D顔のキーポイントを分析し,痛み強度を推定するアプローチを提案する。
提案手法は,スマートフォンのこれまで探索されていなかった機能を利用して,人の顔の濃密な3次元表現を入力として捉え,痛み強度レベルを推定する。
本研究は,2次元および3次元キーポイントの接地ラベル付きシーケンスを収集し,痛み推定アルゴリズムを開発し,複数のインスタンス学習を用いて顔面キーポイントシーケンスの固有限界を克服する痛み推定モデルと,2次元および3次元特徴を用いた痛み推定モデルの予備結果と代替アプローチの比較を行った。 Managing post-surgical pain is critical for successful surgical outcomes. One of the challenges of pain management is accurately assessing the pain level of patients. Self-reported numeric pain ratings are limited because they are subjective, can be affected by mood, and can influence the patient's perception of pain when making comparisons. In this paper, we introduce an approach that analyzes 2D and 3D facial keypoints of post-surgical patients to estimate their pain intensity level. Our approach leverages the previously unexplored capabilities of a smartphone to capture a dense 3D representation of a person's face as input for pain intensity level estimation. Our contributions are adata collection study with post-surgical patients to collect ground-truth labeled sequences of 2D and 3D facial keypoints for developing a pain estimation algorithm, a pain estimation model that uses multiple instance learning to overcome inherent limitations in facial keypoint sequences, and the preliminary results of the pain estimation model using 2D and 3D features with comparisons of alternate approaches. | 翻訳日:2022-11-19 19:16:42 公開日:2020-06-17 |
| # bi-objection active reliability redundancy allocation問題に対するswarm最適化 Simplified Swarm Optimization for Bi-Objection Active Reliability Redundancy Allocation Problems ( http://arxiv.org/abs/2006.09844v1 ) ライセンス: Link先を確認 | Wei-Chang Yeh | (参考訳) 信頼性冗長性割り当て問題(RRAP)は、システム設計、開発、管理においてよく知られたツールである。
RRAPは常に非線形混合整数非決定論的多項式時硬度(NP-hard)問題としてモデル化される。
システムの信頼性を最大化するために、コスト制限と非線形制約を満たすために、整数(コンポーネントアクティブ冗長度レベル)と実変数(コンポーネント信頼性)を決定する必要がある。
本研究では,システム全体の信頼性とコスト効果のバランスをとる必要があるため,コスト制約を新たな目標として変更することにより,両目的RRAPを定式化する。
提案する課題を解決するために, ペナルティ関数, 実1型解構造, 数ベースの自己適応型新更新機構, 制約のない非支配的解選択, および pbest 置換ポリシを備えた簡易群最適化 (sso) を, 完全因子設計から選択した構造を用いて開発し, パレート解を効率的かつ効果的に探索する。
nga-ii(nondominated sorting genetic algorithm ii)や多目的粒子群最適化(multi-objective particle swarm optimization, mopso)といったメタヒューリスティックな最先端アルゴリズムを,bi-objective active rrapを含む4つのベンチマーク問題に対する実験結果に匹敵する。 The reliability redundancy allocation problem (RRAP) is a well-known tool in system design, development, and management. The RRAP is always modeled as a nonlinear mixed-integer non-deterministic polynomial-time hardness (NP-hard) problem. To maximize the system reliability, the integer (component active redundancy level) and real variables (component reliability) must be determined to ensure that the cost limit and some nonlinear constraints are satisfied. In this study, a bi-objective RRAP is formulated by changing the cost constraint as a new goal, because it is necessary to balance the reliability and cost impact for the entire system in practical applications. To solve the proposed problem, a new simplified swarm optimization (SSO) with a penalty function, a real one-type solution structure, a number-based self-adaptive new update mechanism, a constrained nondominated-solution selection, and a new pBest replacement policy is developed in terms of these structures selected from full-factorial design to find the Pareto solutions efficiently and effectively. The proposed SSO outperforms several metaheuristic state-of-the-art algorithms, e.g., nondominated sorting genetic algorithm II (NSGA-II) and multi-objective particle swarm optimization (MOPSO), according to experimental results for four benchmark problems involving the bi-objective active RRAP. | 翻訳日:2022-11-19 19:15:22 公開日:2020-06-17 |
| # 定型CMA-ES変数に対するランドスケープ対応固定予算性能回帰とアルゴリズム選択 Landscape-Aware Fixed-Budget Performance Regression and Algorithm Selection for Modular CMA-ES Variants ( http://arxiv.org/abs/2006.09855v1 ) ライセンス: Link先を確認 | Anja Jankovic and Carola Doerr | (参考訳) 自動アルゴリズム選択は、与えられた問題に対して最も適切なアルゴリズムを選択する決定的なタスクにおいて、ユーザをサポートすることを約束する。
これらの機械訓練手法の一般的な構成要素は回帰モデルであり、既見の問題インスタンスで与えられたアルゴリズムのパフォーマンスを予測する。
数値ブラックボックス最適化の文脈では、このような回帰モデルは探索的ランドスケープ分析(ela)に基づいて構築され、問題のいくつかの特徴を定量化する。
これらの尺度は教師付きパフォーマンス回帰モデルのトレーニングに使用できる。
ELAベースのパフォーマンスレグレッションに向けた最初のステップは、固定ターゲット設定の文脈で行われてきた。
しかし、多くのアプリケーションでは、ユーザーは与えられた機能評価の予算内で最適なアルゴリズムを選択する必要がある。
この固定予算設定を採用することで,2つの異なる学習回帰モデルを適切に組み合わせることで,市販の教師付き学習アプローチで高品質なパフォーマンス予測を実現することが可能であることを実証する。
我々は,モジュール型CMA-ESアルゴリズム群から選択した,非常に類似したアルゴリズムのポートフォリオ上でのアルゴリズム選択という,非常に困難な問題に対して,このアプローチを検証した。 Automated algorithm selection promises to support the user in the decisive task of selecting a most suitable algorithm for a given problem. A common component of these machine-trained techniques are regression models which predict the performance of a given algorithm on a previously unseen problem instance. In the context of numerical black-box optimization, such regression models typically build on exploratory landscape analysis (ELA), which quantifies several characteristics of the problem. These measures can be used to train a supervised performance regression model. First steps towards ELA-based performance regression have been made in the context of a fixed-target setting. In many applications, however, the user needs to select an algorithm that performs best within a given budget of function evaluations. Adopting this fixed-budget setting, we demonstrate that it is possible to achieve high-quality performance predictions with off-the-shelf supervised learning approaches, by suitably combining two differently trained regression models. We test this approach on a very challenging problem: algorithm selection on a portfolio of very similar algorithms, which we choose from the family of modular CMA-ES algorithms. | 翻訳日:2022-11-19 19:14:57 公開日:2020-06-17 |
| # 多層メタグラフニューラルネットワークによるオープン知識基盤の正準化 Canonicalizing Open Knowledge Bases with Multi-Layered Meta-Graph Neural Network ( http://arxiv.org/abs/2006.09610v1 ) ライセンス: Link先を確認 | Tianwen Jiang, Tong Zhao, Bing Qin, Ting Liu, Nitesh V. Chawla, Meng Jiang | (参考訳) オープンナレッジベースにおける名詞句や関係句は、しばしば標準的ではなく、冗長で曖昧な事実をもたらす。
本研究では,構造情報(タプルから文まで)と意味情報(意味的類似性)を統合し,正準化を行う。
構造情報は文,関係句,名詞句の各層にまたがるリンクを形成し,意味情報は各層に対して重み付けされた層内リンクを形成する。
本稿では,多層メタグラフ構造を通して名詞句と関係句の表現を集約するグラフニューラルネットワークモデルを提案する。
実験により、我々のモデルは一般ドメインのパブリックデータセットにおける既存のアプローチよりも優れています。 Noun phrases and relational phrases in Open Knowledge Bases are often not canonical, leading to redundant and ambiguous facts. In this work, we integrate structural information (from which tuple, which sentence) and semantic information (semantic similarity) to do the canonicalization. We represent the two types of information as a multi-layered graph: the structural information forms the links across the sentence, relational phrase, and noun phrase layers; the semantic information forms weighted intra-layer links for each layer. We propose a graph neural network model to aggregate the representations of noun phrases and relational phrases through the multi-layered meta-graph structure. Experiments show that our model outperforms existing approaches on a public datasets in general domain. | 翻訳日:2022-11-19 19:14:38 公開日:2020-06-17 |
| # 価値認識によるカリキュラムの自動学習 Automatic Curriculum Learning through Value Disagreement ( http://arxiv.org/abs/2006.09641v1 ) ライセンス: Link先を確認 | Yunzhi Zhang, Pieter Abbeel, Lerrel Pinto | (参考訳) 新しい未解決タスクを継続的に解決することが、多様な行動を学ぶための鍵です。
強化学習(RL)を通じて,1つの目標を持つタスクの解決に大きく取り組みました。
しかしながら、エージェントが複数の目標を達成する必要があるマルチタスクドメインでは、トレーニング目標の選択がサンプル効率に大きく影響します。
生物学的エージェントが学ぶとき、しばしば学習が起こる組織的で意味のある順序がある。
そこで我々は,エージェントが解くべき目標のためのカリキュラムを自動設定することを提案する。
私たちの重要な洞察は、エージェントが到達できる目標のセットの最前線で目標をサンプリングできれば、ランダムにサンプリングされた目標よりもはるかに強力な学習信号が得られるということです。
このアイデアを運用するために,政策のQ-関数の認識的不確実性を最大化する目標を優先する目標提案モジュールを導入する。
このシンプルなテクニックは、エージェントが解決するには難しくも簡単でもない目標をサンプリングし、継続的な改善を可能にする。
提案手法は,13のマルチゴールロボットタスクと5つのナビゲーションタスクにまたがって評価し,現状の手法よりも高い性能を示す。 Continually solving new, unsolved tasks is the key to learning diverse behaviors. Through reinforcement learning (RL), we have made massive strides towards solving tasks that have a single goal. However, in the multi-task domain, where an agent needs to reach multiple goals, the choice of training goals can largely affect sample efficiency. When biological agents learn, there is often an organized and meaningful order to which learning happens. Inspired by this, we propose setting up an automatic curriculum for goals that the agent needs to solve. Our key insight is that if we can sample goals at the frontier of the set of goals that an agent is able to reach, it will provide a significantly stronger learning signal compared to randomly sampled goals. To operationalize this idea, we introduce a goal proposal module that prioritizes goals that maximize the epistemic uncertainty of the Q-function of the policy. This simple technique samples goals that are neither too hard nor too easy for the agent to solve, hence enabling continual improvement. We evaluate our method across 13 multi-goal robotic tasks and 5 navigation tasks, and demonstrate performance gains over current state-of-the-art methods. | 翻訳日:2022-11-19 19:08:36 公開日:2020-06-17 |
| # エッジデバイス上のグループ畳み込みの最適化 Optimizing Grouped Convolutions on Edge Devices ( http://arxiv.org/abs/2006.09791v1 ) ライセンス: Link先を確認 | Perry Gibson, Jos\'e Cano, Jack Turner, Elliot J. Crowley, Michael O'Boyle, Amos Storkey | (参考訳) 制約のあるハードウェアにディープニューラルネットワークをデプロイする場合、ネットワークの標準畳み込みをグループ畳み込みに置き換えることが可能である。
これにより、精度の低下を最小限に抑えることができる。
しかし、現代のディープラーニングフレームワークにおけるグループ型畳み込みの現在の実装は、速度の観点から最適に実行するには程遠い。
本稿では,既存ソリューションに勝るグループ化畳み込みの新たな実装であるgrouped spatial pack convolutions (gspc)を提案する。
我々は、エッジデバイス上で最先端のパフォーマンスを提供するテレビMにGSPCを実装した。
異なるタイプのグループ畳み込みを利用したネットワークの集合を分析し、複数のエッジデバイス上での推論時間の観点からそれらの性能を評価する。
新しい実装はグループ数によく適合しており、すべての設定で最高の推論時間を提供し、tvm、pytorch、tensorflow liteの既存のグループ畳み込みの実装を平均3.4倍、8倍、4倍改善しています。
コードはhttps://github.com/gecLAB/tvm-GSPC/で入手できる。 When deploying a deep neural network on constrained hardware, it is possible to replace the network's standard convolutions with grouped convolutions. This allows for substantial memory savings with minimal loss of accuracy. However, current implementations of grouped convolutions in modern deep learning frameworks are far from performing optimally in terms of speed. In this paper we propose Grouped Spatial Pack Convolutions (GSPC), a new implementation of grouped convolutions that outperforms existing solutions. We implement GSPC in TVM, which provides state-of-the-art performance on edge devices. We analyze a set of networks utilizing different types of grouped convolutions and evaluate their performance in terms of inference time on several edge devices. We observe that our new implementation scales well with the number of groups and provides the best inference times in all settings, improving the existing implementations of grouped convolutions in TVM, PyTorch and TensorFlow Lite by 3.4x, 8x and 4x on average respectively. Code is available at https://github.com/gecLAB/tvm-GSPC/ | 翻訳日:2022-11-19 19:06:28 公開日:2020-06-17 |
| # 人口統計リコメンデーションシステム因子を用いたディープラーニング機能選択 Deep Learning feature selection to unhide demographic recommender systems factors ( http://arxiv.org/abs/2006.12379v1 ) ライセンス: Link先を確認 | Jes\'us Bobadilla, \'Angel Gonz\'alez-Prieto, Fernando Ortega, Ra\'ul Lara-Cabrera | (参考訳) 階層的特徴を隠蔽要因から抽出することは、複数の関連するアプリケーションを提供する革新的な概念である。
行列分解モデルは意味的知識を含まない因子を生成する。
本稿では,コラボレーティブフィルタリングレコメンダシステムにおいて,ユーザおよび項目要因から人口統計情報を抽出可能なdeepunhideという,ディープラーニングベースの手法を提案する。
提案手法の核心は,各分類クラスの代表領域を強調するために,画像処理文献で用いられる勾配に基づく局所化である。
検証実験では、2つの公開データセットと現在のベースラインを使用する。
その結果,DeepUnHideは特徴選択手法の最先端技術と比較して,特徴選択と階層分類の優位性を示した。
関連するアプリケーションには、レコメンデーションの説明、協調フィルタリングにおける公正性、ユーザグループへのレコメンデーションが含まれる。 Extracting demographic features from hidden factors is an innovative concept that provides multiple and relevant applications. The matrix factorization model generates factors which do not incorporate semantic knowledge. This paper provides a deep learning-based method: DeepUnHide, able to extract demographic information from the users and items factors in collaborative filtering recommender systems. The core of the proposed method is the gradient-based localization used in the image processing literature to highlight the representative areas of each classification class. Validation experiments make use of two public datasets and current baselines. Results show the superiority of DeepUnHide to make feature selection and demographic classification, compared to the state of art of feature selection methods. Relevant and direct applications include recommendations explanation, fairness in collaborative filtering and recommendation to groups of users. | 翻訳日:2022-11-19 18:58:47 公開日:2020-06-17 |
| # テンソル分解による再帰的ニューラルモデルの一般化 Generalising Recursive Neural Models by Tensor Decomposition ( http://arxiv.org/abs/2006.10021v1 ) ライセンス: Link先を確認 | Daniele Castellana and Davide Bacciu | (参考訳) ほとんどの構造化データのための機械学習モデルは、ノードの周辺にある情報の単純な集約関数(ニューラルネットワークでは重み付け和)を利用して、ノードの構造知識をエンコードする。
それでも、和のような単純な文脈集約関数の選択は、広く準最適である。
本稿では,テンソルに基づく定式化を利用した構造的文脈のモデル集約手法を提案する。
パラメータ空間の大きさの指数関数的成長は、タッカーテンソル分解に基づく近似によって制御できることを示す。
この近似はパラメータの空間サイズを制限し、隠れたエンコーディング空間のサイズと厳密な関係から分離することができる。
これにより、隠蔽サイズ、計算複雑性、およびパラメータ化の影響を受けてモデル一般化によって制御される符号化の表現率のトレードオフを効果的に制御できる。
最後に、我々のフレームワークの例として、新しいTensorial Tree-LSTMを導入し、木分類シナリオにおける作業仮説を実験的に評価する。 Most machine learning models for structured data encode the structural knowledge of a node by leveraging simple aggregation functions (in neural models, typically a weighted sum) of the information in the node's neighbourhood. Nevertheless, the choice of simple context aggregation functions, such as the sum, can be widely sub-optimal. In this work we introduce a general approach to model aggregation of structural context leveraging a tensor-based formulation. We show how the exponential growth in the size of the parameter space can be controlled through an approximation based on the Tucker tensor decomposition. This approximation allows limiting the parameters space size, decoupling it from its strict relation with the size of the hidden encoding space. By this means, we can effectively regulate the trade-off between expressivity of the encoding, controlled by the hidden size, computational complexity and model generalisation, influenced by parameterisation. Finally, we introduce a new Tensorial Tree-LSTM derived as an instance of our framework and we use it to experimentally assess our working hypotheses on tree classification scenarios. | 翻訳日:2022-11-19 18:58:13 公開日:2020-06-17 |
| # 半監督型自己組織化マップによる深層分類 Deep Categorization with Semi-Supervised Self-Organizing Maps ( http://arxiv.org/abs/2006.13682v1 ) ライセンス: Link先を確認 | Pedro H. M. Braga, Heitor R. Medeiros and Hansenclever F. Bassani | (参考訳) 今日では、技術の進歩とともに、毎日大量の非構造化データが生成されるようになっている。
しかし、それをラベル付けして整理するのは辛い仕事です。
ラベル付けは高価で、時間がかかり、難しい作業である。
通常は手作業で行われ、データへのノイズやエラーの取り込みと協調する。
したがって、ラベル付きデータとラベルなしデータの両方から利益を得られるインテリジェントなモデルを開発することは非常に重要である。
現在、教師なしと半教師なしの学習の研究は、純粋な教師付き学習の成功によって、まだ影が隠れている。
しかし、長期的にはより重要になることが期待されている。
本稿では,バッチ・セミ・スーパービジョン・セルフ・オーガナイゼーション・マップ(Batch Semi-Supervised Self-Organizing Map, Batch SS-SOM)と呼ばれる半教師付きモデルを提案する。
その結果,Batch SS-SOMは半教師付き分類とクラスタリングに最適であることがわかった。
少数のラベル付きサンプルや教師なしデータに提示された場合であっても、精度とクラスタリングエラーの点で良好に動作し、従来の画像分類ベンチマークデータセットでの転送学習シナリオにおける競合結果を示す。 Nowadays, with the advance of technology, there is an increasing amount of unstructured data being generated every day. However, it is a painful job to label and organize it. Labeling is an expensive, time-consuming, and difficult task. It is usually done manually, which collaborates with the incorporation of noise and errors to the data. Hence, it is of great importance to developing intelligent models that can benefit from both labeled and unlabeled data. Currently, works on unsupervised and semi-supervised learning are still being overshadowed by the successes of purely supervised learning. However, it is expected that they become far more important in the longer term. This article presents a semi-supervised model, called Batch Semi-Supervised Self-Organizing Map (Batch SS-SOM), which is an extension of a SOM incorporating some advances that came with the rise of Deep Learning, such as batch training. The results show that Batch SS-SOM is a good option for semi-supervised classification and clustering. It performs well in terms of accuracy and clustering error, even with a small number of labeled samples, as well as when presented to unsupervised data, and shows competitive results in transfer learning scenarios in traditional image classification benchmark datasets. | 翻訳日:2022-11-19 18:57:57 公開日:2020-06-17 |
| # 概念の学習可能性について : 単語埋め込みアルゴリズムの比較への応用 On the Learnability of Concepts: With Applications to Comparing Word Embedding Algorithms ( http://arxiv.org/abs/2006.09896v1 ) ライセンス: Link先を確認 | Adam Sutton and Nello Cristianini | (参考訳) ワード埋め込みは、複数の自然言語処理(NLP)アプリケーションで広く使われている。
これらは辞書内の各単語に関連付けられた座標であり、大きなコーパス内のこれらの単語の統計的性質から推測される。
本稿では,意味コンテンツを共有する単語の一覧として「概念」の概念を紹介する。
我々はこの概念を用いて、ある概念の学習可能性を分析し、その概念のランダムなサブセットを訓練した後で、その概念の未確認メンバーを認識する分類器の能力として定義される。
まず,事前学習された単語埋め込みにおける概念の学習可能性を測定する。
次に,仮説テストとROC曲線に基づく概念学習可能性の統計的解析を行い,固定コーパスとハイパーパラメータを用いた様々な埋め込みアルゴリズムの相対的な利点を比較する。
すべての埋め込みメソッドがそれらのワードリストのセマンティックコンテンツをキャプチャするが、fastTextは他のものよりもパフォーマンスが良い。 Word Embeddings are used widely in multiple Natural Language Processing (NLP) applications. They are coordinates associated with each word in a dictionary, inferred from statistical properties of these words in a large corpus. In this paper we introduce the notion of "concept" as a list of words that have shared semantic content. We use this notion to analyse the learnability of certain concepts, defined as the capability of a classifier to recognise unseen members of a concept after training on a random subset of it. We first use this method to measure the learnability of concepts on pretrained word embeddings. We then develop a statistical analysis of concept learnability, based on hypothesis testing and ROC curves, in order to compare the relative merits of various embedding algorithms using a fixed corpora and hyper parameters. We find that all embedding methods capture the semantic content of those word lists, but fastText performs better than the others. | 翻訳日:2022-11-19 18:57:37 公開日:2020-06-17 |
| # LazyIter: マルコフ等価DAGの計算と設計実験のための高速アルゴリズム LazyIter: A Fast Algorithm for Counting Markov Equivalent DAGs and Designing Experiments ( http://arxiv.org/abs/2006.09670v1 ) ライセンス: Link先を確認 | Ali AhmadiTeshnizi, Saber Salehkaleybar, Negar Kiyavash | (参考訳) ランダム変数の集合間の因果関係は、通常、DAG (Directed Acyclic Graph) で表され、変数 $X$ から変数 $Y$ への有向エッジが存在する($X$ が$Y$ の直接原因である)。
純粋な観測データから、真の因果グラフは、変数間で同じ条件非依存性を持つDAGの集合であるマルコフ等価クラス(MEC)まで同定することができる。
MECのサイズは、介入によって真の因果グラフを復元する複雑さの尺度である。
そこで本研究では, 介入結果に対するMECよりも効率的な反復法を提案する。
提案手法は,アクティブ・パッシブ・ラーニング環境におけるmecサイズと実験設計の計算に活用する。
従来のMECの計算処理と比較して,提案アルゴリズムは,システム内の変数数が$n$となるスパースグラフに対して,O(n)$の係数で時間複雑性を減少させる。
さらに, 動的プログラミングへのアプローチを統合することにより, 受動的実験設計のための最適アルゴリズムを設計する。
実験結果から,提案アルゴリズムはMECのサイズを計算し,実験設計は技術よりも優れていた。 The causal relationships among a set of random variables are commonly represented by a Directed Acyclic Graph (DAG), where there is a directed edge from variable $X$ to variable $Y$ if $X$ is a direct cause of $Y$. From the purely observational data, the true causal graph can be identified up to a Markov Equivalence Class (MEC), which is a set of DAGs with the same conditional independencies between the variables. The size of an MEC is a measure of complexity for recovering the true causal graph by performing interventions. We propose a method for efficient iteration over possible MECs given intervention results. We utilize the proposed method for computing MEC sizes and experiment design in active and passive learning settings. Compared to previous work for computing the size of MEC, our proposed algorithm reduces the time complexity by a factor of $O(n)$ for sparse graphs where $n$ is the number of variables in the system. Additionally, integrating our approach with dynamic programming, we design an optimal algorithm for passive experiment design. Experimental results show that our proposed algorithms for both computing the size of MEC and experiment design outperform the state of the art. | 翻訳日:2022-11-19 18:57:06 公開日:2020-06-17 |
| # バイオマニュファクチャリング学習と制御のためのモデルリスクを用いたグリーンシミュレーション支援強化学習 Green Simulation Assisted Reinforcement Learning with Model Risk for Biomanufacturing Learning and Control ( http://arxiv.org/abs/2006.09919v1 ) ライセンス: Link先を確認 | Hua Zheng, Wei Xie and Mingbin Ben Feng | (参考訳) バイオ医薬品製造は、複雑さ、高い変動性、長いリードタイム、限られた歴史データと基礎となるシステム確率過程に関する知識といった重要な課題に直面している。
これらの課題に対処するために,グリーンシミュレーション支援モデルに基づく強化学習を提案し,オンライン学習のプロセスと動的意思決定のガイドを行う。
基本的に、プロセスモデルリスクは後方分布によって定量化される。
いずれの政策においても,確率的不確実性とモデルリスクの両方を考慮した予測リスクを伴う予測システム応答を予測する。
次に,グリーンシミュレーション支援強化学習を提案し,過去の実験から収集したプロセス軌道出力を選択的に再利用し,シミュレーションデータ効率を高め,政策勾配推定精度を向上し,最適方針の探索を高速化できる,政策勾配に対する決定過程と確率比に基づくメタモデルの混合分布を導出する。
本研究では,提案手法が有望な性能を示すことを示す。 Biopharmaceutical manufacturing faces critical challenges, including complexity, high variability, lengthy lead time, and limited historical data and knowledge of the underlying system stochastic process. To address these challenges, we propose a green simulation assisted model-based reinforcement learning to support process online learning and guide dynamic decision making. Basically, the process model risk is quantified by the posterior distribution. At any given policy, we predict the expected system response with prediction risk accounting for both inherent stochastic uncertainty and model risk. Then, we propose green simulation assisted reinforcement learning and derive the mixture proposal distribution of decision process and likelihood ratio based metamodel for the policy gradient, which can selectively reuse process trajectory outputs collected from previous experiments to increase the simulation data-efficiency, improve the policy gradient estimation accuracy, and speed up the search for the optimal policy. Our numerical study indicates that the proposed approach demonstrates the promising performance. | 翻訳日:2022-11-19 18:56:44 公開日:2020-06-17 |