このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス（CC 0, CC BY, CC BY-SA）の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。（arxivのメタデータは CC 0です。） 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。
公開日が20200131となっている論文です。
| Title | Authors | Abstract | 論文公表日・翻訳日 |
|---|---|---|---|
| # ジョブ予測:ディープニューラルネットワークモデルからアプリケーションへ Job Prediction: From Deep Neural Network Models to Applications ( http://arxiv.org/abs/1912.12214v2 ) ライセンス: Link先を確認 | Tin Van Huynh, Kiet Van Nguyen, Ngan Luu-Thuy Nguyen, Anh Gia-Tuan Nguyen | (参考訳) 求職は、知識やスキルの難しさといった仕事の説明に基づいて仕事を探している学生や学生に適しており、雇用主が必要な仕事に合った候補者を選ぶ方法を見つける必要がある。
本稿では,テキストCNN,Bi-GRU-LSTM-CNN,Bi-GRU-CNNなどの深層ニューラルネットワークモデルを用いて,ITジョブデータセットに事前学習した単語埋め込みを用いたジョブ予測について検討する。
さらに,異なるディープニューラルネットワークモデルを組み合わせた,シンプルで効果的なアンサンブルモデルも提案した。
実験の結果,提案したアンサンブルモデルはF1スコア72.71%で最高の結果を得た。
さらに,これらの実験結果を分析して,この問題に関する洞察を得て,今後よりよい解決策を見出す。 Determining the job is suitable for a student or a person looking for work based on their job's descriptions such as knowledge and skills that are difficult, as well as how employers must find ways to choose the candidates that match the job they require. In this paper, we focus on studying the job prediction using different deep neural network models including TextCNN, Bi-GRU-LSTM-CNN, and Bi-GRU-CNN with various pre-trained word embeddings on the IT Job dataset. In addition, we also proposed a simple and effective ensemble model combining different deep neural network models. The experimental results illustrated that our proposed ensemble model achieved the highest result with an F1 score of 72.71%. Moreover, we analyze these experimental results to have insights about this problem to find better solutions in the future. | 翻訳日:2023-06-09 23:26:31 公開日:2020-01-31 |
| # 安全なデータ交換とバッチ支払いのためのwibsonプロトコル Wibson Protocol for Secure Data Exchange and Batch Payments ( http://arxiv.org/abs/2001.08832v2 ) ライセンス: Link先を確認 | Daniel Fernandez, Ariel Futoransky, Gustavo Ajzenman, Matias Travizano, Carlos Sarraute | (参考訳) wibsonはブロックチェーンベースの分散データマーケットプレースで、信頼できる環境で情報を安全かつ匿名に販売する手段を個人に提供する。
Wibsonトークンとブロックチェーン対応のスマートコントラクトを組み合わせることで、Data SellersとData Buyersは相互に直接トランザクションし、個人が必要に応じて匿名性を維持することが可能になる。
wibson marketplaceは個人のプライバシーを犠牲にすることなく、個人が個人情報を安全に販売するためのインフラと金融インセンティブを提供する。
データ購入者は、その個人情報が正確かつ現在のものであることを知って、積極的に参加する個人から情報を受け取る。
効率的な分散市場を実現するために、ここでは2つの異なるコンポーネントが連携しています。
ひとつはData Exchangeと呼ばれるスマートコントラクトで、さまざまなバイヤーがオープンするデータ注文への参照を格納して、特定のタイプのデータを購入することに興味があることを市場に示し、トランザクションを実行するためのセキュアなメカニズムを提供する。
2つ目は買い手から売り手、仲介業者への支払い処理に使われ、バッチ支払いと呼ばれる。 Wibson is a blockchain-based, decentralized data marketplace that provides individuals a way to securely and anonymously sell information in a trusted environment. The combination of the Wibson token and blockchain-enabled smart contracts hopes to allow Data Sellers and Data Buyers to transact with each other directly while providing individuals the ability to maintain anonymity as desired. The Wibson marketplace will provide infrastructure and financial incentives for individuals to securely sell personal information without sacrificing personal privacy. Data Buyers receive information from willing and actively participating individuals with the benefit of knowing that the personal information should be accurate and current. We present here two different components working together to achieve an efficient decentralized marketplace. The first is a smart contract called Data Exchange, which stores references to Data Orders that different Buyers open in order to show to the market that they are interested in buying certain types of data, and provides secure mechanisms to perform the transactions. The second is used to process payments from Buyers to Sellers and intermediaries, and is called Batch Payments. | 翻訳日:2023-06-06 04:50:16 公開日:2020-01-31 |
| # 量子計測不整合の階層性に関する一考察 A Note on Hierarchy of Quantum Measurement Incompatibilities ( http://arxiv.org/abs/2001.11326v2 ) ライセンス: Link先を確認 | Bao-Zhi Sun, Zhi-Xi Wang, Xianqing Li-Jost, Shao-Ming Fei | (参考訳) 量子計測の不整合は量子力学の特徴的な特徴である。
一連の一般測度の不整合性について検討し、その部分集合の整合性の階層による非整合性の分類を行う。
測度演算子に雑音を加えるアプローチを用いることで、与えられた測度集合の非互換性を$n$のメンバーで完全に分類する。
半定値プログラムに基づく非偏平量子ビット測定の不整合性に関する詳細な例が与えられる。 The quantum measurement incompatibility is a distinctive feature of quantum mechanics. We investigate the incompatibility of a set of general measurements and classify the incompatibility by the hierarchy of compatibilities of its subsets. By using the approach of adding noises to measurement operators we present a complete classification of the incompatibility of a given measurement assemblage with $n$ members. Detailed examples are given to the incompatibility for unbiased qubit measurements based on semidefinite programm. | 翻訳日:2023-06-05 04:55:00 公開日:2020-01-31 |
| # テンソルネットワークとスパース回復を用いたベル非局所性 Bell non-locality using tensor networks and sparse recovery ( http://arxiv.org/abs/2001.11455v2 ) ライセンス: Link先を確認 | I. S. Eli\"ens and S. G. A. Brito and R. Chaves | (参考訳) ベルの定理は、量子予測は局所的な隠れ変数記述とは相容れないと述べ、量子理論の基盤であり、多くの量子情報処理プロトコルの中心である。
長年にわたり、非局所性に関する異なる視点と、非局所性を検出して定量化する異なる方法が提案されてきた。
残念ながら、その関連性にもかかわらず、ベルのシナリオの複雑さが増すにつれて、観測された相関が局所的でないかどうかの判断は計算的に難解になる。
本稿では,ベルのシナリオをテンソルネットワークとして解析し,圧縮されたセンシングから生じる非常に効率的なアルゴリズムを用いて非局所性の検証と定量化を可能にする視点を提案する。
さらに、非シグナリング相関が準確率によって支配される隠れ変数モデルによって記述できることを証明することができる。 Bell's theorem, stating that quantum predictions are incompatible with a local hidden variable description, is a cornerstone of quantum theory and at the center of many quantum information processing protocols. Over the years, different perspectives on non-locality have been put forward as well as different ways to to detect non-locality and quantify it. Unfortunately and in spite of its relevance, as the complexity of the Bell scenario increases, deciding whether a given observed correlation is non-local becomes computationally intractable. Here, we propose to analyse a Bell scenario as a tensor network, a perspective permitting to test and quantify non-locality resorting to very efficient algorithms originating from compressed sensing and that offer a significant speedup in comparison with standard linear programming methods. Furthermore, it allows to prove that non-signalling correlations can be described by hidden variable models governed by a quasi-probability. | 翻訳日:2023-06-05 04:44:04 公開日:2020-01-31 |
| # 長距離Rydberg分子による超低温イオン対の形成 Formation of ultracold ion pairs through long-range Rydberg molecules ( http://arxiv.org/abs/2001.11754v1 ) ライセンス: Link先を確認 | Michael Peper and Johannes Deiglmayr | (参考訳) 超低温ダイマーのイオン対状態に励起する新しい手法を提案する。
中心となるアイデアは、2段階のプロセスであり、最初の長距離リドバーグ分子は光結合によって形成され、その後イオンペア状態への刺激的な放出によって駆動される。
セシウム中のp波散乱による長距離リドベルグ分子の特定系に関する詳細な実験および理論的研究を通じて,本手法の実現可能性を評価し,等質量または類似質量の荷電粒子からなる強相関プラズマの研究への可能性について考察した。 We propose a new approach to excite ion-pair states of ultracold dimers. The central idea is a two-step process where first long-range Rydberg molecules are formed by photoassociation, which are then driven by stimulated emission towards the ion-pair state, a process bearing features of a photo-induced harpooning reaction. We assess the feasibility of this approach through a detailed experimental and theoretical study on a specific system, p-wave-scattering dominated long-range Rydberg molecules in caesium, and discuss potential applications for the study of strongly correlated plasmas consisting of oppositely charged particles of equal or similar mass. | 翻訳日:2023-06-05 02:49:25 公開日:2020-01-31 |
| # 2種類の局所計測によるeprステアリングの検出 Detecting EPR steering via two classes of local measurements ( http://arxiv.org/abs/2001.11748v1 ) ライセンス: Link先を確認 | Le-Min Lai, Tao Li, Shao-Ming Fei, and Zhi-Xi Wang | (参考訳) 本研究では, 相互非バイアス測定(MUM)と一般対称情報完全測定(一般SIC-POVM)に基づいて, 任意のqubit-qudit(qudit-qubit)系のアインシュタイン-ポドルスキー-ローゼンステアリング(EPR)について検討した。
通常の複雑なステアリングの不平等を避けるため、これらの基準は既存の基準よりも運用可能であり、実験的に実施される。
詳細な例は、計算と実験的実装の両方における基準の効率性を示すものである。 We study the Einstein-Podolsky-Rosen (EPR) steering and present steerability criteria for arbitrary qubit-qudit (qudit-qubit) systems based on mutually unbiased measurements (MUMs) and general symmetric informationally complete measurements (general SIC-POVMs). Avoiding the usual complicated steering inequalities, these criteria can be more operational than some existing criteria and implemented experimentally. Detailed examples are given to illustrate the efficiency of the criteria in both computation and experimental implementation. | 翻訳日:2023-06-05 02:49:07 公開日:2020-01-31 |
| # 超伝導を超えて Beyond Superconductivity ( http://arxiv.org/abs/2001.11743v1 ) ライセンス: Link先を確認 | Jochen Mannhart | (参考訳) 本稿では,量子力学と古典物理学の相乗効果を利用した新しいデバイス概念を提案する。
デバイスは、少数の量子力学的崩壊イベントを使用して、波のパケットで表される量子状態のユニタリ進化を妨害する。
シュレーディンガー方程式と古典ハミルトン物理学によって与えられる量子力学のユニタリ進化の制約を超えると、これらのデバイスは驚くべき振る舞いを示す。 We present a novel device concept that utilizes the fascinating transition regime between quantum mechanics and classical physics. The devices operate by using a small number of individual quantum mechanical collapse events to interrupt the unitary evolution of quantum states represented by wave packets. Exceeding the constraints of the unitary evolution of quantum mechanics given by the Schroedinger equation and of classical Hamiltonian physics, these devices display a surprising behavior. | 翻訳日:2023-06-05 02:48:45 公開日:2020-01-31 |
| # N-四重項相関の分離性不等式は局所現実不等式よりも指数関数的に強い Separability inequalities on N-qudit correlations exponentially stronger than local reality inequalities ( http://arxiv.org/abs/2001.11687v1 ) ライセンス: Link先を確認 | S. M. Roy | (参考訳) 任意の純あるいは混合の$N$Qudit状態における可観測物のベル相関に対する分離性不等式を導出する。
私は、これらの不等式に反する最大エンタングル状態を含む状態($D>3$の場合の連続状態)を2^{N-1}$ で示し、局所現実ベルの不等式はより弱く、最大の違反は2^{(N-1)/2}$である。
分離性の不等式は、測定された相関のみを用いて未知の状態の絡み合いのテストを可能にする。 I derive separability inequalities for Bell correlations of observables in arbitrary pure or mixed $N$ Qudit states in $D^N$-dimensional state space. I find states (a continuum of states if $D>3$) including maximally entangled states which violate these inequalities by a factor $2^{N-1}$ ; local reality Bell inequalities are much weaker, their maximum violation being by a factor $2^{(N-1)/2}$. The separability inequalities allow tests of entanglement of unknown states using only the measured correlations . | 翻訳日:2023-06-05 02:48:18 公開日:2020-01-31 |
| # 原子-イオン量子ハイブリッド系実験のための電気光学イオントラップ Electro-optical ion trap for experiments with atom-ion quantum hybrid systems ( http://arxiv.org/abs/2001.11968v1 ) ライセンス: Link先を確認 | Elia Perego, Lucia Duca, Carlo Sias | (参考訳) 原子、分子、光学(AMO)物理学の発展において、原子-イオンハイブリッド系は実験的なAMOツールボックスに新しいツールの存在によって特徴づけられる。
最先端の原子イオン実験における主な制限の1つは、ポールトラップにおけるイオンの運動のマイクロモーション成分であり、原子-イオン衝突におけるマイクロモーションの存在は、原子-イオン混合物がコヒーレントな進化を起こすのを防ぐ加熱機構をもたらす。
本稿では、特に超低温原子実験と統合するために考案された新しいイオントラップ装置の設計とシミュレーションについて報告する。
光と静電場の組み合わせに基づく電気光学トラップを用いてイオン閉じ込めを実現し、イオンの動力学にマイクロモーション成分は存在しない。
収束光学場は、ボウティーキャビティの交差時に生じる深い光学格子によって生成され、静的電気四重極は、光学格子に直交する平面におけるイオンの閉じ込めを確実にする。
また、熱原子ビームの光イオン化によって生じるイオンを冷却するポールトラップを備えており、2つのイオントラップの設計により、ポールトラップから電気光学トラップへのイオン交換が容易になる。 In the development of atomic, molecular and optical (AMO) physics, atom-ion hybrid systems are characterized by the presence of a new tool in the experimental AMO toolbox: atom-ion interactions. One of the main limitations in state-of-the-art atom-ion experiments is represented by the micromotion component of the ions' dynamics in a Paul trap, as the presence of micromotion in atom-ion collisions results in a heating mechanism that prevents atom-ion mixtures from undergoing a coherent evolution. Here we report the design and the simulation of a novel ion trapping setup especially conceived for the integration with an ultracold atoms experiment. The ion confinement is realized by using an electro-optical trap based on the combination of an optical and an electrostatic field, so that no micromotion component will be present in the ions' dynamics. The confining optical field is generated by a deep optical lattice created at the crossing of a bow-tie cavity, while a static electric quadrupole ensures the ions' confinement in the plane orthogonal to the optical lattice. The setup is also equipped with a Paul trap for cooling the ions produced by photoionization of a hot atomic beam, and the design of the two ion traps facilitates the swapping of the ions from the Paul trap to the electro-optical trap. | 翻訳日:2023-06-05 02:40:48 公開日:2020-01-31 |
| # プライベート量子ビット文字列コミット A Private Quantum Bit String Commitment ( http://arxiv.org/abs/2001.11911v1 ) ライセンス: Link先を確認 | Mariana Gama, Paulo Mateus, Andr\'e Souto | (参考訳) 我々は、ランダムオラクルモデルでコンポーザビリティが証明されるエンタングルメントベースの量子ビット文字列コミットメントプロトコルを提案する。
このプロトコルには、コミットされたメッセージのプライバシを保持するという追加プロパティがある。
この性質は中間者攻撃に対して弾力性はないが、当事者が認証チャネルを介して通信することを考えると、この脅威は回避できる。
ランダムなオラクルが、いわゆるbad pufモデルにおいて、オープンフェーズの前にアクセス可能な物理的に実行不能な関数であると認識すれば、プロトコルは安全(ただしプライベートではない)である。 We propose an entanglement-based quantum bit string commitment protocol whose composability is proven in the random oracle model. This protocol has the additional property of preserving the privacy of the committed message. Even though this property is not resilient against man-in-the-middle attacks, this threat can be circumvented by considering that the parties communicate through an authenticated channel. The protocol remains secure (but not private) if we realize the random oracles as physical unclonable functions in the so-called bad PUF model with access before the opening phase. | 翻訳日:2023-06-05 02:39:34 公開日:2020-01-31 |
| # 置換対数に対するベーカー・カンベル・ハウスドルフの公式 A Baker-Campbell-Hausdorff formula for the logarithm of permutations ( http://arxiv.org/abs/2001.11909v1 ) ライセンス: Link先を確認 | Hans-Thomas Elze | (参考訳) 古典的イジングスピンの置換のダイナミクスは、4つのスピンの連鎖に対して研究される。
仮定された対交換相互作用を符号化するユニタリ置換行列と同値なハミルトニアン作用素を得る。
これは、ハミルトニアンを指数化された2スピン交換置換の積に関連付けるベーカー=カンベル=ハウスドルフの公式によってどのように要約できるかを示す。
本研究の身体的動機と意義について簡潔に述べる。 The dynamics-from-permutations of classical Ising spins is studied for a chain of four spins. We obtain the Hamiltonian operator which is equivalent to the unitary permutation matrix that encodes assumed pairwise exchange interactions. It is shown how this can be summarized by an exact terminating Baker-Campbell-Hausdorff formula, which relates the Hamiltonian to a product of exponentiated two-spin exchange permutations. We briefly comment upon physical motivation and implications of this study. | 翻訳日:2023-06-05 02:39:26 公開日:2020-01-31 |
| # 量子ドットにおける励起スピン沈降に対するエンタングルメントロバスト性 Entanglement robustness to excitonic spin precession in a quantum dot ( http://arxiv.org/abs/2001.11833v1 ) ライセンス: Link先を確認 | Samir Bounouar, Gabriel Rein, Kisa Barkemeyer, Julian Schleibner, Peter Schnauber, Manuel Gschrey, Jan-Hindrik Schulze, Andr\'e Strittmatter, Sven Rodt, Andreas Knorr, Alexander Carmele, and Stephan Reitzenstein | (参考訳) 半導体量子ドット(qd)は偏光子対を生成する魅力的な資源である。
本研究では, 励起体微細構造分割(FSS)の異なるQD群における励起体スピン沈着(フリップフロップ)とその励起体-励起体放射カスケードから発生する光子の絡み合いへの影響について検討した。
この結果から,コヒーレントプロセスは, 系の固有状態を変化させながら, 有限 FSS による QD の絡み合いが影響を受けないことが判明した。
フリップフロップの偏差は、線形基底における偶然の異常振動を通じて量子トモグラフィーによって観測される。
スピンフリップフロップ機構を示すqd上の2光子量子トモグラフィ測定と比較し、励起フリップフロップ率を含む理論モデルを構築した。
理論モデルの一般化により、fssとスピンフリップ率の関数としての絡み合いの程度を推定できる。
有限時間分解では、FSSとスピンフリップ速度の両方に関して負性が振動していることが分かる。
この振動挙動は完全な時間分解能のために消失し、フリップフロップ過程にもかかわらず最大絡み合いが取り戻される。 A semiconductor quantum dot (QD) is an attractive resource to generate polarization-entangled photon pairs. We study the excitonic spin precession (flip-flop) in a family of QDs with different excitonic fine-structure splitting (FSS) and its impact on the entanglement of photons generated from the excitonic-biexcitonic radiative cascade. Our results reveal that coherent processes leave the time post-selected entanglement of QDs with finite FSS unaffected while changing the eigenstates of the system. The flip-flop's precession is observed via quantum tomography through anomalous oscillations of the coincidences in the rectilinear basis. A theoretical model is constructed with the inclusion of an excitonic flip-flop rate and is compared with a two-photon quantum tomography measurement on a QD exhibiting the spin flip-flop mechanism. A generalization of the theoretical model allows estimating the degree of entanglement as a function of the FSS and the spin-flip rate. For a finite temporal resolution, the negativity is found to be oscillating with respect to both the FSS and the spin-flip rate. This oscillatory behavior disappears for perfect temporal resolution and maximal entanglement is retrieved despite the flip-flop process. | 翻訳日:2023-06-05 02:39:08 公開日:2020-01-31 |
| # 量子ギブズ状態作成のための変分量子アルゴリズム A Variational Quantum Algorithm for Preparing Quantum Gibbs States ( http://arxiv.org/abs/2002.00055v1 ) ライセンス: Link先を確認 | Anirban N. Chowdhury, Guang Hao Low, Nathan Wiebe | (参考訳) ギブス分布の作成は量子計算の重要な課題である。
これはある種の量子シミュレーションにおいて必要となる第一歩であり、量子ボルツマントレーニングのような量子アルゴリズムにも不可欠である。
これにもかかわらず、ほとんどの熱状態を作成する方法は、メモリオーバーヘッドのため、短期的な量子コンピュータで実装できない。
本稿では,量子系の自由エネルギーを最小化することに基づくギブス状態の生成に対する変分的アプローチを提案する。
これを実現する重要な洞察は、自由エネルギーのエントロピー成分を古典的なポストプロセッシングを用いて組み合わせることができる単純な測定の列を通じて推定できる対数に対するフーリエ級数近似を使うことである。
さらに,プログラム可能な量子回路の変動パラメータの初期推定値が大域的オプティマに十分近い場合,この手法は定常誤差内で高温ギブス状態を生成するのに有効であることを示す。
最後に, 提案手法を数値的に検討し, トロッター化断熱処理をアンザッツとして用いた5量子ハミルトニアンに対するアプローチの実現可能性を示す。 Preparation of Gibbs distributions is an important task for quantum computation. It is a necessary first step in some types of quantum simulations and further is essential for quantum algorithms such as quantum Boltzmann training. Despite this, most methods for preparing thermal states are impractical to implement on near-term quantum computers because of the memory overheads required. Here we present a variational approach to preparing Gibbs states that is based on minimizing the free energy of a quantum system. The key insight that makes this practical is the use of Fourier series approximations to the logarithm that allows the entropy component of the free-energy to be estimated through a sequence of simpler measurements that can be combined together using classical post processing. We further show that this approach is efficient for generating high-temperature Gibbs states, within constant error, if the initial guess for the variational parameters for the programmable quantum circuit are sufficiently close to a global optima. Finally, we examine the procedure numerically and show the viability of our approach for five-qubit Hamiltonians using Trotterized adiabatic state preparation as an ansatz. | 翻訳日:2023-06-05 02:29:42 公開日:2020-01-31 |
| # 物理教育のためのオープンITツール Open IT tools for inquiry-based physics education ( http://arxiv.org/abs/2002.00045v1 ) ライセンス: Link先を確認 | Martin \v{S}echn\'y | (参考訳) 調査に基づく教育の場合、最優先事項は生徒の活動であり、実践と研究のスキルを発達させることである。
生徒が他の科目から得た知識や技能を活用できる。
物理学に応用された情報学は、デジタルリテラシーの適切な応用であると考えられる。
オープンITツールは、調査の自由を促進するいくつかのメリットをもたらす、利用可能なITツールのひとつです。
物理教育のためのオープンITツールの概要には、様々なアナログ電子部品とデジタル電子部品を備えたマイクロプロセッサキット、多数のアプリケーションソフトウェア、シミュレーションソフトウェア、プログラム言語、ライブラリと開発環境、Webツール、仮想実験室、データカタログ、ハイパーテキスト文書、その他の補助リソースが含まれる。
このようなオープンなITツールと適切なオープンな教育リソースは、物理学、数学、情報学などの分野に適用できる。 In case of inquiry-based education, the priority is the pupil's activity, developing his/her practical and research skills. We can use the knowledge and skills obtained by the pupil from other subjects. Applied informatics into physics seems to be a suitable application of digital literacy. Open IT tools are the ones of the available IT tools that bring several benefits to promote freedom of inquiry. An overview of open IT tools for physics education includes microprocessor kits with a variety of analog and digital electronic components, a large number of application software, simulation software, programming languages, libraries and development environments, web tools, virtual laboratories, data catalogs, hypertext documents and other auxiliary resources. Such open IT tools together with suitable open educational resources will be applicable in physics, mathematics, informatics and other subjects. | 翻訳日:2023-06-05 02:29:25 公開日:2020-01-31 |
| # TCM-ICP:複数のLIDARスキャンを登録するための変換適合度測定 TCM-ICP: Transformation Compatibility Measure for Registering Multiple LIDAR Scans ( http://arxiv.org/abs/2001.01129v2 ) ライセンス: Link先を確認 | Aby Thomas, Adarsh Sunilkumar, Shankar Shylesh, Aby Abahai T., Subhasree Methirumangalath, Dong Chen and Jiju Peethambaran | (参考訳) マルチビューおよびマルチプラットフォームLiDARスキャンの剛体登録は、3Dマッピング、ロボットナビゲーション、大規模都市モデリングアプリケーションにおいて基本的な問題である。
lidarセンサーによるデータ取得は、異なる視点から複数の領域をスキャンすることで、現実世界のシーンの一部が重なり合う点雲を生成する。
伝統的に、ICP(Iterative Closest Point)アルゴリズムは、取得した点雲を登録して、スキャンした実世界のシーンをキャプチャするユニークな点雲を形成する。
従来のICPは局所的なミニマ問題に直面し、しばしば最適に収束するために粗い初期アライメントを必要とする。
本研究では,複数重畳したLiDARスキャンを登録するアルゴリズムを提案する。
アルゴリズムの各イテレーションにおいて、最もよく似た点群を選択するのに役立つ変換適合度測定(TCM)と呼ばれる幾何学的計量を導入する。
参照LiDARスキャンと最もよく似たLiDARスキャンは、単純な技術を用いて変換される。
勾配降下法と模擬焼鈍法を併用した変換の最適化を行い, 登録精度の向上を図る。
提案手法を実世界の4つの場面で評価し,実験結果から,提案手法の登録性能が従来の登録方式と同等か優れていることを示す。
さらに、このアルゴリズムは、外れ値を扱う場合でも優れた登録結果が得られる。 Rigid registration of multi-view and multi-platform LiDAR scans is a fundamental problem in 3D mapping, robotic navigation, and large-scale urban modeling applications. Data acquisition with LiDAR sensors involves scanning multiple areas from different points of view, thus generating partially overlapping point clouds of the real world scenes. Traditionally, ICP (Iterative Closest Point) algorithm is used to register the acquired point clouds together to form a unique point cloud that captures the scanned real world scene. Conventional ICP faces local minima issues and often needs a coarse initial alignment to converge to the optimum. In this work, we present an algorithm for registering multiple, overlapping LiDAR scans. We introduce a geometric metric called Transformation Compatibility Measure (TCM) which aids in choosing the most similar point clouds for registration in each iteration of the algorithm. The LiDAR scan most similar to the reference LiDAR scan is then transformed using simplex technique. An optimization of the transformation using gradient descent and simulated annealing techniques are then applied to improve the resulting registration. We evaluate the proposed algorithm on four different real world scenes and experimental results shows that the registration performance of the proposed method is comparable or superior to the traditionally used registration methods. Further, the algorithm achieves superior registration results even when dealing with outliers. | 翻訳日:2023-01-14 12:57:51 公開日:2020-01-31 |
| # 暗黙正則化について:モース関数と行列分解への応用 On implicit regularization: Morse functions and applications to matrix factorization ( http://arxiv.org/abs/2001.04264v2 ) ライセンス: Link先を確認 | Mohamed Ali Belabbas | (参考訳) 本稿では,モース関数の力学系と不変部分空間の概念を用いて,基底からの暗黙正則化を再考する。
鍵となる貢献は、暗黙の正規化の新しい基準(ニューラルネットワークのような深層モデルの一般化力を説明する主要な候補)と、それを研究するための一般的な青写真である。
これらの手法を行列分解における暗黙正則化の予想に応用する。 In this paper, we revisit implicit regularization from the ground up using notions from dynamical systems and invariant subspaces of Morse functions. The key contributions are a new criterion for implicit regularization---a leading contender to explain the generalization power of deep models such as neural networks---and a general blueprint to study it. We apply these techniques to settle a conjecture on implicit regularization in matrix factorization. | 翻訳日:2023-01-11 22:38:54 公開日:2020-01-31 |
| # マルチエージェントシステムにおけるアルゴリズム:強化学習とゲーム理論からの全体論 Algorithms in Multi-Agent Systems: A Holistic Perspective from Reinforcement Learning and Game Theory ( http://arxiv.org/abs/2001.06487v3 ) ライセンス: Link先を確認 | Yunlong Lu and Kai Yan | (参考訳) 近年, 深層強化学習 (RL) が目覚ましい成果を上げており, 手法や応用の飛躍的な増加につながっている。
最近の研究は、シングルエージェントのシナリオを超えて学習すること、マルチエージェントのシナリオを検討することである。
しかし、彼らは多くの課題に直面しており、従来のゲーム理論的なアルゴリズムからの助けを求めている。
本稿では,まず1つのエージェントRLとマルチエージェントシステムに基本概念とアルゴリズムを導入し,関連するアルゴリズムを3つの側面から要約する。
ゲーム理論の解の概念はエージェントを評価したり、マルチエージェントシステムでより良い解を見つけようとするアルゴリズムにインスピレーションを与える。
架空の自己遊びが普及し、マルチエージェント強化学習のアルゴリズムに大きな影響を与えている。
反事実的後悔の最小化は、不完全な情報でゲームを解くための重要なツールであり、深層学習と組み合わせることで大きな強みを示している。 Deep reinforcement learning (RL) has achieved outstanding results in recent years, which has led a dramatic increase in the number of methods and applications. Recent works are exploring learning beyond single-agent scenarios and considering multi-agent scenarios. However, they are faced with lots of challenges and are seeking for help from traditional game-theoretic algorithms, which, in turn, show bright application promise combined with modern algorithms and boosting computing power. In this survey, we first introduce basic concepts and algorithms in single agent RL and multi-agent systems; then, we summarize the related algorithms from three aspects. Solution concepts from game theory give inspiration to algorithms which try to evaluate the agents or find better solutions in multi-agent systems. Fictitious self-play becomes popular and has a great impact on the algorithm of multi-agent reinforcement learning. Counterfactual regret minimization is an important tool to solve games with incomplete information, and has shown great strength when combined with deep learning. | 翻訳日:2023-01-10 09:58:38 公開日:2020-01-31 |
| # 逆流のない判別器ソフトアクター批判 Discriminator Soft Actor Critic without Extrinsic Rewards ( http://arxiv.org/abs/2001.06808v3 ) ライセンス: Link先を確認 | Daichi Nishio, Daiki Kuyoshi, Toi Tsuneda and Satoshi Yamane | (参考訳) 少数の専門家データとサンプリングデータから、未知の状態においてうまく模倣することは困難である。
行動クローニングのような教師あり学習法はサンプリングデータを必要としないが、分布シフトに苦しむことが多い。
逆強化学習やGAIL(generative adversarial mimicion learning)のような強化学習に基づく手法は,少数の専門家データからのみ学習することができる。
しかし、彼らはしばしば環境と相互作用する必要がある。
ソフトQ模倣学習はこの問題に対処し,行動クローンとソフトQ学習を一定報酬と組み合わせることで効率よく学習できることを示した。
本稿では,このアルゴリズムを分散シフトに対してより堅牢にするために,DSAC(Distriminator Soft Actor Critic)を提案する。
一定の報酬ではなく、逆逆強化学習に基づく報酬関数を用いる。
PyBullet環境において4つの専門的軌道のみを用いて評価した。 It is difficult to be able to imitate well in unknown states from a small amount of expert data and sampling data. Supervised learning methods such as Behavioral Cloning do not require sampling data, but usually suffer from distribution shift. The methods based on reinforcement learning, such as inverse reinforcement learning and generative adversarial imitation learning (GAIL), can learn from only a few expert data. However, they often need to interact with the environment. Soft Q imitation learning addressed the problems, and it was shown that it could learn efficiently by combining Behavioral Cloning and soft Q-learning with constant rewards. In order to make this algorithm more robust to distribution shift, we propose Discriminator Soft Actor Critic (DSAC). It uses a reward function based on adversarial inverse reinforcement learning instead of constant rewards. We evaluated it on PyBullet environments with only four expert trajectories. | 翻訳日:2023-01-08 10:02:58 公開日:2020-01-31 |
| # 自動車用大規模イベントベース検出データセット A Large Scale Event-based Detection Dataset for Automotive ( http://arxiv.org/abs/2001.08499v3 ) ライセンス: Link先を確認 | Pierre de Tournemire, Davide Nitti, Etienne Perot, Davide Migliore, Amos Sironi | (参考訳) イベントカメラのための最初の超大規模検出データセットを紹介する。
このデータセットは、304x240 ATISセンサーで取得された39時間以上の自動車記録で構成されている。
開放された道路と非常に多様な運転シナリオがあり、都市、高速道路、郊外、田舎のシーンから、天気や照明条件まで様々である。
録音に含まれる車や歩行者の手動バウンディングボックスのアノテーションも1Hzから4Hzの周波数で提供され、合計255,000以上のラベルが得られた。
このサイズのラベル付きデータセットの可用性は、オブジェクト検出や分類といったイベントベースのビジョンタスクの大きな進歩に寄与すると考えています。
また、光学的フロー、動きからの構造、追跡といった他のタスクにもメリットが期待でき、例えば、大量のデータを自己教師付き学習手法で活用することができる。 We introduce the first very large detection dataset for event cameras. The dataset is composed of more than 39 hours of automotive recordings acquired with a 304x240 ATIS sensor. It contains open roads and very diverse driving scenarios, ranging from urban, highway, suburbs and countryside scenes, as well as different weather and illumination conditions. Manual bounding box annotations of cars and pedestrians contained in the recordings are also provided at a frequency between 1 and 4Hz, yielding more than 255,000 labels in total. We believe that the availability of a labeled dataset of this size will contribute to major advances in event-based vision tasks such as object detection and classification. We also expect benefits in other tasks such as optical flow, structure from motion and tracking, where for example, the large amount of data can be leveraged by self-supervised learning methods. | 翻訳日:2023-01-07 12:56:16 公開日:2020-01-31 |
| # 非定常的ポリシー勾配による多目的ニューラルアーキテクチャ探索 Multi-objective Neural Architecture Search via Non-stationary Policy Gradient ( http://arxiv.org/abs/2001.08437v2 ) ライセンス: Link先を確認 | Zewei Chen, Fengwei Zhou, George Trimponias, Zhenguo Li | (参考訳) マルチオブジェクトニューラルアーキテクチャサーチ(NAS)は、複数の競合する目標が存在する場合に、新しいアーキテクチャを発見することを目的としている。
近年の進展にもかかわらず、パレートフロント全体を正確かつ効率的に近似する問題は依然として困難である。
本研究では,非定常政策勾配(NPG)の新たな強化学習(RL)パラダイムについて検討する。
NPGは非定常報酬関数を使用し、ポリシーの継続的な適応を奨励し、パレートフロント全体を効率的に捉える。
我々は,スカラー化と進化という支配的パラダイムの要素を持つ2つの新しい報酬関数を導入する。
非定常性を扱うために,コサイン温度減衰と温度再起動を用いた新しい探査手法を提案する。
アーキテクチャ評価を迅速かつ正確なものにするために、トレーニングを通じて継続的に微調整を行う、新しい事前学習共有モデルを導入する。
様々なデータセットを用いた大規模な実験により、我々のフレームワークはパレートフロント全体を高速に近似できることを示した。
さらに,他の多目的NAS法や同一のネットワークサイズでの単目的NAS法と比較して,最大予測性能が得られた。
我々の研究は、多目的NASのための単純で効率的で効果的なパラダイムとしてのNPGの可能性を示す。 Multi-objective Neural Architecture Search (NAS) aims to discover novel architectures in the presence of multiple conflicting objectives. Despite recent progress, the problem of approximating the full Pareto front accurately and efficiently remains challenging. In this work, we explore the novel reinforcement learning (RL) based paradigm of non-stationary policy gradient (NPG). NPG utilizes a non-stationary reward function, and encourages a continuous adaptation of the policy to capture the entire Pareto front efficiently. We introduce two novel reward functions with elements from the dominant paradigms of scalarization and evolution. To handle non-stationarity, we propose a new exploration scheme using cosine temperature decay with warm restarts. For fast and accurate architecture evaluation, we introduce a novel pre-trained shared model that we continuously fine-tune throughout training. Our extensive experimental study with various datasets shows that our framework can approximate the full Pareto front well at fast speeds. Moreover, our discovered cells can achieve supreme predictive performance compared to other multi-objective NAS methods, and other single-objective NAS methods at similar network sizes. Our work demonstrates the potential of NPG as a simple, efficient, and effective paradigm for multi-objective NAS. | 翻訳日:2023-01-07 12:40:06 公開日:2020-01-31 |
| # facebook ads monitor:facebook上の政治広告の独立した監査システム Facebook Ads Monitor: An Independent Auditing System for Political Ads on Facebook ( http://arxiv.org/abs/2001.10581v2 ) ライセンス: Link先を確認 | M\'arcio Silva, Lucas Santos de Oliveira, Athanasios Andreou, Pedro Olmo Vaz de Melo, Oana Goga and Fabr\'icio Benevenuto | (参考訳) 2016年アメリカ合衆国大統領選挙では、ターゲット広告がFacebook上で乱用された。
2018年のブラジル大統領選挙で同様の虐待が起こるリスクを懸念して、ブラジルのFacebook上の政治広告を監視する独立した監査システムを設計、展開しました。
そのために、まずブラウザプラグインを使って、Facebookを使ってボランティアのタイムラインから広告を集めました。
2000人以上のボランティアを説得して、プロジェクトの支援とツールのインストールに成功しました。
次に、畳み込みニューラルネットワーク(CNN)を用いて、単語埋め込みを用いて政治的Facebook広告を検出する。
このアプローチを評価するために,10k広告のデータ収集を政治的あるいは非政治的に,手動でラベル付けし,従来の教師付き機械学習手法と比較することにより,政治広告を識別するための提案手法の詳細な評価を行う。
そして最後に、政治に関連する広告を表示する実システムを導入しました。
検出した政治広告のすべてが、政治広告のためのFacebook Ad Libraryにはないことに気づいた。
政治広告を宣言するための執行機構の重要性と、独立した監査プラットフォームの必要性を強調した。 The 2016 United States presidential election was marked by the abuse of targeted advertising on Facebook. Concerned with the risk of the same kind of abuse to happen in the 2018 Brazilian elections, we designed and deployed an independent auditing system to monitor political ads on Facebook in Brazil. To do that we first adapted a browser plugin to gather ads from the timeline of volunteers using Facebook. We managed to convince more than 2000 volunteers to help our project and install our tool. Then, we use a Convolution Neural Network (CNN) to detect political Facebook ads using word embeddings. To evaluate our approach, we manually label a data collection of 10k ads as political or non-political and then we provide an in-depth evaluation of proposed approach for identifying political ads by comparing it with classic supervised machine learning methods. Finally, we deployed a real system that shows the ads identified as related to politics. We noticed that not all political ads we detected were present in the Facebook Ad Library for political ads. Our results emphasize the importance of enforcement mechanisms for declaring political ads and the need for independent auditing platforms. | 翻訳日:2023-01-06 02:50:29 公開日:2020-01-31 |
| # BNはどうやって崩壊したニューラルネットワークフィルタを増大させるのか? How Does BN Increase Collapsed Neural Network Filters? ( http://arxiv.org/abs/2001.11216v2 ) ライセンス: Link先を確認 | Sheng Zhou, Xinjiang Wang, Ping Luo, Litong Feng, Wenjie Li, Wei Zhang | (参考訳) ディープニューラルネットワーク(DNN)の空間性の向上は、ネットワーク圧縮に不可欠であり、多くの注目を集めている。
本研究では,バッチ正規化(BN)と正線形活性化関数(ReLU,Leaky ReLUなど)を持つDNNにおいて一般的であるフィルタ崩壊と呼ばれる有害な分散過程を明らかにする。
これは$l_1$のような明示的なスパーシティ誘導正規化なしでも発生する。
この現象は BN の正規化効果によって引き起こされ、パラメータ空間の非可変領域を誘導し、結果としてネットワーク容量を減少させる。
この現象は、ネットワークが大きな学習率(LR)または適応LRスケジューラで訓練され、ネットワークが微調整されたときに顕著になる。
本研究では, sgd更新時, 高勾配雑音時においてbnのパラメータがスパーサーになりやすいこと, 学習率の2乗に比例し, bnのスケールパラメータの2乗に逆比例していることを解析的に証明した。
望ましくない崩壊フィルタを防止するために, BNと同一の表現能力を持つポストシフト後のBN (psBN) という簡単な手法を提案する。
psBNにより、崩壊したフィルタを復元し、CIFAR-10の分類やMS-COCO2017のオブジェクト検出など、様々なタスクにおけるモデル性能を向上させることができる。 Improving sparsity of deep neural networks (DNNs) is essential for network compression and has drawn much attention. In this work, we disclose a harmful sparsifying process called filter collapse, which is common in DNNs with batch normalization (BN) and rectified linear activation functions (e.g. ReLU, Leaky ReLU). It occurs even without explicit sparsity-inducing regularizations such as $L_1$. This phenomenon is caused by the normalization effect of BN, which induces a non-trainable region in the parameter space and reduces the network capacity as a result. This phenomenon becomes more prominent when the network is trained with large learning rates (LR) or adaptive LR schedulers, and when the network is finetuned. We analytically prove that the parameters of BN tend to become sparser during SGD updates with high gradient noise and that the sparsifying probability is proportional to the square of learning rate and inversely proportional to the square of the scale parameter of BN. To prevent the undesirable collapsed filters, we propose a simple yet effective approach named post-shifted BN (psBN), which has the same representation ability as BN while being able to automatically make BN parameters trainable again as they saturate during training. With psBN, we can recover collapsed filters and increase the model performance in various tasks such as classification on CIFAR-10 and object detection on MS-COCO2017. | 翻訳日:2023-01-05 11:35:11 公開日:2020-01-31 |
| # リプレイ・アタック・スプーフィング検出における補助情報の役割に関する研究 A study on the role of subsidiary information in replay attack spoofing detection ( http://arxiv.org/abs/2001.11688v1 ) ライセンス: Link先を確認 | Jee-weon Jung, Hye-jin Shim, Hee-Soo Heo, Ha-Jin Yu | (参考訳) 本研究では,リプレイアタックスプーフィング検出における補助的情報の役割について,「ルームサイズ」,「残響」,「スピーカ対asv距離」,「アタッカー対スピーカー距離」,「再生デバイス品質」について分析した。
補助情報を解析する手段として、ディープニューラルネットワークから抽出されたコードに対する補助情報のカテゴリを抽出または含めるために、2つのフレームワークを使用する。
サブトラクションには,副次情報の基本ベクトルに直交する逆処理フレームワークを用いる。
さらに、マルチタスク学習フレームワークを利用して、コードに補助情報を含める。
全ての実験は、提供されたメタデータと共にASVspoof 2019物理アクセスシナリオを使用して実施される。
この2つのアプローチの結果を分析した結果、ディープニューラルネットワークがバイナリ分類のために訓練された場合、補助的な情報のさまざまなカテゴリがコード内に十分に存在するわけではないと結論づけた。
マルチタスク学習フレームワークを通じて,様々なカテゴリの補助情報を抽出することにより,クローズドな設定条件下での性能向上が期待できる。 In this study, we analyze the role of various categories of subsidiary information in conducting replay attack spoofing detection: `Room Size', `Reverberation', `Speaker-to-ASV distance, `Attacker-to-Speaker distance', and `Replay Device Quality'. As a means of analyzing subsidiary information, we use two frameworks to either subtract or include a category of subsidiary information to the code extracted from a deep neural network. For subtraction, we utilize an adversarial process framework which makes the code orthogonal to the basis vectors of the subsidiary information. For addition, we utilize the multi-task learning framework to include subsidiary information to the code. All experiments are conducted using the ASVspoof 2019 physical access scenario with the provided meta data. Through the analysis of the result of the two approaches, we conclude that various categories of subsidiary information does not reside enough in the code when the deep neural network is trained for binary classification. Explicitly including various categories of subsidiary information through the multi-task learning framework can help improve performance in closed set condition. | 翻訳日:2023-01-05 07:12:07 公開日:2020-01-31 |
| # 無線送信器分類における高速モンテカルロドロップアウトと誤差補正 Fast Monte Carlo Dropout and Error Correction for Radio Transmitter Classification ( http://arxiv.org/abs/2001.11963v1 ) ライセンス: Link先を確認 | Liangping Ma, John Kaewell | (参考訳) モンテカルロドロップアウトは、ディープラーニングにおけるモデルの不確かさを効果的に捉え、テスト時に複数のドロップアウトを使用して不確実性の測定値を得る。
しかしながら、モンテカルロドロップアウトはネットワーク全体に適用されるため、インスタンス数に比例する計算複雑性が著しく増加する。
計算複雑性を低減するため、テスト時にニューラルネットワークの出力付近でのみドロップアウトレイヤを有効にし、他のドロップアウトレイヤを無効にしながら、前のレイヤからの計算を再利用します。
さらに,様々な入力サンプルに対する理想的な分布の側情報を利用して,予測の「エラー訂正」を行う。
これらの手法を無線周波数(RF)送信機分類問題に適用し、提案アルゴリズムが単純なアンサンブル平均アルゴリズムよりも精度の高い予測不確実性を提供し、トレーニングデータセットにない送信機を効果的に識別し、トレーニングした送信機を正しく分類できることを示す。 Monte Carlo dropout may effectively capture model uncertainty in deep learning, where a measure of uncertainty is obtained by using multiple instances of dropout at test time. However, Monte Carlo dropout is applied across the whole network and thus significantly increases the computational complexity, proportional to the number of instances. To reduce the computational complexity, at test time we enable dropout layers only near the output of the neural network and reuse the computation from prior layers while keeping, if any, other dropout layers disabled. Additionally, we leverage the side information about the ideal distributions for various input samples to do `error correction' on the predictions. We apply these techniques to the radio frequency (RF) transmitter classification problem and show that the proposed algorithm is able to provide better prediction uncertainty than the simple ensemble average algorithm and can be used to effectively identify transmitters that are not in the training data set while correctly classifying transmitters it has been trained on. | 翻訳日:2023-01-05 07:10:53 公開日:2020-01-31 |
| # DNA符号化ライブラリによる機械学習: ヒットフィンディングの新しいパラダイム Machine learning on DNA-encoded libraries: A new paradigm for hit-finding ( http://arxiv.org/abs/2002.02530v1 ) ライセンス: Link先を確認 | Kevin McCloskey, Eric A. Sigel, Steven Kearnes, Ling Xue, Xia Tian, Dennis Moccia, Diana Gikunju, Sana Bazzaz, Betty Chan, Matthew A. Clark, John W. Cuozzo, Marie-Aude Gui\'e, John P. Guilinger, Christelle Huguet, Christopher D. Hupp, Anthony D. Keefe, Christopher J. Mulhern, Ying Zhang, and Patrick Riley | (参考訳) DNAエンコードされた小分子ライブラリー(DEL)は、最大で数十億の特異な小分子を持つライブラリーのスクリーニングを通じて、治療価値の多くの異なるタンパク質標的に対する新規な阻害剤の発見を可能にした。
本研究では,大規模な商業コレクションから活性分子を同定し,容易に合成可能な化合物の仮想ライブラリを用いて,機械学習をデル選択データに適用する新しいアプローチを示す。
我々は、DEL選択データのみを用いてモデルを訓練し、不安定性や反応性の可能性がある分子の除去に制限された化学レビュー付き自動または自動化可能なフィルタを適用した。
本手法は, sEH(ヒドロラーゼ), ER{\alpha(核受容体), c-KIT(キナーゼ)の3種類のタンパク質標的に対して, 概説(2000種近い化合物)により検証した。
このアプローチは有効であり、30 {\textmu}mでの全体のヒット率は30%であり、標的ごとに強力な化合物(ic50 <10 nm)が発見される。
このモデルは、元のDELと異なる分子に対しても有用な予測を行い、同定された化合物は多様であり、主に薬物様であり、既知の配位子とは異なる。
集合的に言えば、DEL選択データの品質と量、現代の機械学習手法のパワー、そして大規模で安価な商用ライブラリへのアクセスは、ヒットを見つけるための強力な新しいアプローチを生み出します。 DNA-encoded small molecule libraries (DELs) have enabled discovery of novel inhibitors for many distinct protein targets of therapeutic value through screening of libraries with up to billions of unique small molecules. We demonstrate a new approach applying machine learning to DEL selection data by identifying active molecules from a large commercial collection and a virtual library of easily synthesizable compounds. We train models using only DEL selection data and apply automated or automatable filters with chemist review restricted to the removal of molecules with potential for instability or reactivity. We validate this approach with a large prospective study (nearly 2000 compounds tested) across three diverse protein targets: sEH (a hydrolase), ER{\alpha} (a nuclear receptor), and c-KIT (a kinase). The approach is effective, with an overall hit rate of {\sim}30% at 30 {\textmu}M and discovery of potent compounds (IC50 <10 nM) for every target. The model makes useful predictions even for molecules dissimilar to the original DEL and the compounds identified are diverse, predominantly drug-like, and different from known ligands. Collectively, the quality and quantity of DEL selection data; the power of modern machine learning methods; and access to large, inexpensive, commercially-available libraries creates a powerful new approach for hit finding. | 翻訳日:2023-01-05 07:07:20 公開日:2020-01-31 |
| # 疎時間最適化のための集中型分散オンライン学習 Centralized and distributed online learning for sparse time-varying optimization ( http://arxiv.org/abs/2001.11939v1 ) ライセンス: Link先を確認 | Sophie M. Fosson | (参考訳) 時間変動システムを追跡するオンラインアルゴリズムの開発は、特にオンライン凸最適化の枠組みにおいて、ここ数年で注目されている。
一方、時間変化の少ない最適化は、動的圧縮センシングから擬似システム識別まで幅広い用途に対処するための強力なツールとして現れている。
スパース時変問題に関する多くの文献では、システムの進化に関する先行情報が利用できると仮定されている。
そこで本研究では,特定のモデルを用いず,敵対的フレームワークに適したオンライン学習手法を提案する。
具体的には,集中型および分散型アルゴリズムを開発し,オンライン学習の観点から動的後悔の観点から理論的に解析する。
さらに,その実用性を示す数値実験を提案する。 The development of online algorithms to track time-varying systems has drawn a lot of attention in the last years, in particular in the framework of online convex optimization. Meanwhile, sparse time-varying optimization has emerged as a powerful tool to deal with widespread applications, ranging from dynamic compressed sensing to parsimonious system identification. In most of the literature on sparse time-varying problems, some prior information on the system's evolution is assumed to be available. In contrast, in this paper, we propose an online learning approach, which does not employ a given model and is suitable for adversarial frameworks. Specifically, we develop centralized and distributed algorithms, and we theoretically analyze them in terms of dynamic regret, in an online learning perspective. Further, we propose numerical experiments that illustrate their practical effectiveness. | 翻訳日:2023-01-05 07:06:25 公開日:2020-01-31 |
| # Metropolis accept/reject決定の統一[0,1]値を非可逆的に更新する Non-reversibly updating a uniform [0,1] value for Metropolis accept/reject decisions ( http://arxiv.org/abs/2001.11950v1 ) ライセンス: Link先を確認 | Radford M. Neal | (参考訳) 私は、メトロポリスが一様[0,1]値 u と比較して、u をマルコフ連鎖状態の一部として非可逆的に更新することで、各イテレーションを個別にサンプリングするのではなく、その決定の受け入れ/取り消しを表現できることを示します。
これにより、ランダムウォークメトロポリスとランゲヴィンのアップデートを高次元で改善する。
ランゲヴィン更新を持続的な運動量で使用することで、長い軌道を持つハミルトン・モンテ・カルロ (HMC) に匹敵する性能が得られる。
hmcが使用される場合、これらの更新は形容詞間でのみ行われるが、ランジュバンの更新ではより頻繁に実行されるため、これは他のメソッドによって更新される場合に重要である。
hmcまたはlangevinの更新によって更新されるいくつかの連続変数の問題と、連続変数の更新間でgibbsサンプリングによって更新される離散変数については、持続的なモーメントを持つlangevinと、hmcよりも約2倍効率の良いuサンプルに対する非可逆的な更新がある。
ギブスサンプリングによってハイパーパラメータが更新されるベイズ型ニューラルネットワークモデルにもメリットがある。 I show how it can be beneficial to express Metropolis accept/reject decisions in terms of comparison with a uniform [0,1] value, u, and to then update u non-reversibly, as part of the Markov chain state, rather than sampling it independently each iteration. This provides a small improvement for random walk Metropolis and Langevin updates in high dimensions. It produces a larger improvement when using Langevin updates with persistent momentum, giving performance comparable to that of Hamiltonian Monte Carlo (HMC) with long trajectories. This is of significance when some variables are updated by other methods, since if HMC is used, these updates can be done only between trajectories, whereas they can be done more often with Langevin updates. I demonstrate that for a problem with some continuous variables, updated by HMC or Langevin updates, and also discrete variables, updated by Gibbs sampling between updates of the continuous variables, Langevin with persistent momentum and non-reversible updates to u samples nearly a factor of two more efficiently than HMC. Benefits are also seen for a Bayesian neural network model in which hyperparameters are updated by Gibbs sampling. | 翻訳日:2023-01-05 07:06:12 公開日:2020-01-31 |
| # 不確実性に基づく品質制御のためのベイズ推論を用いたニューラルネットワークを用いたT1ネイティブマッピングによる心筋組織特性の自動定量化 Automated quantification of myocardial tissue characteristics from native T1 mapping using neural networks with Bayesian inference for uncertainty-based quality-control ( http://arxiv.org/abs/2001.11711v1 ) ライセンス: Link先を確認 | Esther Puyol Anton, Bram Ruijsink, Christian F. Baumgartner, Matthew Sinclair, Ender Konukoglu, Reza Razavi, Andrew P. King | (参考訳) cmrパラメトリックマッピングを用いた組織キャラクタリゼーションは、後期ガドリニウムにより評価できない心筋構造の焦点変化と拡散変化の両方を検出・定量化する可能性がある。
特にネイティブT1マッピングは、虚血性および非虚血性心筋症における診断、治療、予後決定を支援する有用なバイオマーカーとして有望であることが示されている。
ベイズ推論を用いた畳み込みニューラルネットワークは、ネットワーク出力の不確かさをモデル化する人工知能ニューラルネットワークのカテゴリである。
本研究では,確率的階層的セグメンテーション(PHiSeg)ネットワークを用いて1.5TのShMOLLI T1マッピングから組織を自動解析するフレームワークを提案する。
さらに,新たな自動品質管理(qc)ステップにおいて,phisegネットワークが提供する不確実性情報を用いて不確実性t1値を同定する。
健常者および慢性心筋症患者を含む英国バイオバンクのコホートについて,phisegネットワークとqcを手作業で分析した。
健常者および一般的な臨床心臓状態における左室心筋の基準T1範囲について検討した。
自動セグメンテーションと手動セグメンテーションから計算したT1値は高い相関(r=0.97)を示した。
Bland-Altman分析では、自動測定と手動測定の一致が良好であった。
左室心筋の平均Dice測定値は0.84であった。
誤出力の検出感度は91%であった。
最後に、T1値は英国バイオバンクの14,683のCMR検査から自動的に導出された。
提案したパイプラインは、心筋ネイティブT1マッピングの自動解析を可能にし、潜在的に誤った結果を検出するQCプロセスを含む。
健常者に対するT1基準値と,T1マッピング画像を用いた最大コホートからの一般的な臨床心条件について検討した。 Tissue characterisation with CMR parametric mapping has the potential to detect and quantify both focal and diffuse alterations in myocardial structure not assessable by late gadolinium enhancement. Native T1 mapping in particular has shown promise as a useful biomarker to support diagnostic, therapeutic and prognostic decision-making in ischaemic and non-ischaemic cardiomyopathies. Convolutional neural networks with Bayesian inference are a category of artificial neural networks which model the uncertainty of the network output. This study presents an automated framework for tissue characterisation from native ShMOLLI T1 mapping at 1.5T using a Probabilistic Hierarchical Segmentation (PHiSeg) network. In addition, we use the uncertainty information provided by the PHiSeg network in a novel automated quality control (QC) step to identify uncertain T1 values. The PHiSeg network and QC were validated against manual analysis on a cohort of the UK Biobank containing healthy subjects and chronic cardiomyopathy patients. We used the proposed method to obtain reference T1 ranges for the left ventricular myocardium in healthy subjects as well as common clinical cardiac conditions. T1 values computed from automatic and manual segmentations were highly correlated (r=0.97). Bland-Altman analysis showed good agreement between the automated and manual measurements. The average Dice metric was 0.84 for the left ventricular myocardium. The sensitivity of detection of erroneous outputs was 91%. Finally, T1 values were automatically derived from 14,683 CMR exams from the UK Biobank. The proposed pipeline allows for automatic analysis of myocardial native T1 mapping and includes a QC process to detect potentially erroneous results. T1 reference values were presented for healthy subjects and common clinical cardiac conditions from the largest cohort to date using T1-mapping images. | 翻訳日:2023-01-05 07:05:48 公開日:2020-01-31 |
| # 低分解能ADCを用いたMIMO-OFDMシステムにおけるANN検出 ANN-Based Detection in MIMO-OFDM Systems with Low-Resolution ADCs ( http://arxiv.org/abs/2001.11643v1 ) ライセンス: Link先を確認 | Shabnam Rezaei and Sofiene Affes | (参考訳) 本稿では,多入力多重出力直交周波数分割多重化(MIMO-OFDM)システム上での信号検出,特に低分解能アナログ-デジタル変換器(LR-ADC)を用いた多層ニューラルネットワーク(ANN)を提案する。
本研究では,従来のアルゴリズムとは対照的に,受信機(CSIR)のチャネル状態情報を知ることなく,データシンボル推定を行うブラインド検出方式を検討する。
ann-based detector (annd) の主なパワーは、どんな変調スキームでも使い勝手が良くないが、その構造は変更されていないことである。
我々は,この新しい受信機を,シンボル誤り率(SER)の指標として,ML,最小平均二乗誤差(MMSE),ゼロ強制(ZF)といった従来の受信機と比較した。
その結果、ANNDはMLに非常に低い複雑さでアプローチし、評価された信号-雑音比(SNR)の値全体に対してZFより優れており、MMSEが異なるSNR範囲にまたがっていることも示唆された。 In this paper, we propose a multi-layer artificial neural network (ANN) that is trained with the Levenberg-Marquardt algorithm for use in signal detection over multiple-input multiple-output orthogonal frequency-division multiplexing (MIMO-OFDM) systems, particularly those with low-resolution analog-to-digital converters (LR-ADCs). We consider a blind detection scheme where data symbol estimation is carried out without knowing the channel state information at the receiver (CSIR)---in contrast to classical algorithms. The main power of the proposed ANN-based detector (ANND) lies in its versatile use with any modulation scheme, blindly, yet without a change in its structure. We compare by simulations this new receiver with conventional ones, namely, the maximum likelihood (ML), minimum mean square error (MMSE), and zero-forcing (ZF), in terms of symbol error rate (SER) performance. Results suggest that ANND approaches ML at much lower complexity, outperforms ZF over the entire range of assessed signal-to-noise ratio (SNR) values, and so does it also, though, with the MMSE over different SNR ranges. | 翻訳日:2023-01-05 07:04:25 公開日:2020-01-31 |
| # フレーム補間に基づくスライス間画像拡張による医用画像分割精度の向上 Inter-slice image augmentation based on frame interpolation for boosting medical image segmentation accuracy ( http://arxiv.org/abs/2001.11698v1 ) ライセンス: Link先を確認 | Zhaotao Wu and Jia Wei and Wenguang Yuan and Jiabing Wang and Tolga Tasdizen | (参考訳) 医用画像の分割精度を高めるため、医用画像とそれに対応するセグメンテーションラベルの数を2つの連続画像間で増加させる、スライス間画像拡大の考え方を導入する。
医用画像における従来のデータ拡張手法とは異なり, 回転, 転動, スケーリングなどの単純なパラメータ変換を用いて, 新しい仮想サンプルを追加することで, トレーニングサンプル数を直接増加させるだけで, トレーニングサンプル数だけでなく, トレーニングサンプル情報も増大させる2つの連続画像の関係に基づいてデータを増やすことを目指している。
本研究では,2つの連続画像間の中間医用画像と対応するセグメンテーションラベルを生成するフレーム補間に基づくデータ拡張手法を提案する。
SLIVER07 と CHAOS2019 の肝分節ネットワークを拡張トレーニングサンプルを用いて訓練・テストし,従来の拡張法と比較して有意な改善を示すセグメンテーションスコアを得た。 We introduce the idea of inter-slice image augmentation whereby the numbers of the medical images and the corresponding segmentation labels are increased between two consecutive images in order to boost medical image segmentation accuracy. Unlike conventional data augmentation methods in medical imaging, which only increase the number of training samples directly by adding new virtual samples using simple parameterized transformations such as rotation, flipping, scaling, etc., we aim to augment data based on the relationship between two consecutive images, which increases not only the number but also the information of training samples. For this purpose, we propose a frame-interpolation-based data augmentation method to generate intermediate medical images and the corresponding segmentation labels between two consecutive images. We train and test a supervised U-Net liver segmentation network on SLIVER07 and CHAOS2019, respectively, with the augmented training samples, and obtain segmentation scores exhibiting significant improvement compared to the conventional augmentation methods. | 翻訳日:2023-01-05 06:57:37 公開日:2020-01-31 |
| # MRI画像品質のデカップリング源の不確かさモデル A Heteroscedastic Uncertainty Model for Decoupling Sources of MRI Image Quality ( http://arxiv.org/abs/2001.11927v1 ) ライセンス: Link先を確認 | Richard Shaw and Carole H. Sudre and Sebastien Ourselin and M. Jorge Cardoso | (参考訳) セグメンテーションなどの下流解析を成功させるためには,医療画像の品質管理(qc)が不可欠である。
現在、QCは主に視覚的にかなりの時間と演算子コストで実行される。
本研究では,不確実性を推定する確率的ネットワークをヘテロシダスティックノイズモデルにより構築し,データから直接学習するタスク固有の画像品質のプロキシ尺度を提供することにより,プロセスを自動化することを目的とする。
異なる種類のk空間アーティファクトでトレーニングデータを増強することにより、学生-教師フレームワークに基づく新しいカスケードCNNアーキテクチャを提案し、異なるk空間アジュメンテーションに関連する不確実性のソースを、完全に自己教師された方法で分離する。
これにより、異なるタイプのデータ劣化に対する別個の不確実量を予測することができる。
この不確実性対策は、画像アーチファクトの存在と重大さを反映しているが、ネットワークはデータの品質を考慮に入れたセグメンテーション予測も提供する。
シミュレーションされた人工物を用いて訓練したモデルは、実世界の画像に不確実性を示す情報的尺度を提供し、人間のレーダが特定した問題画像に対する不確実性予測を検証する。 Quality control (QC) of medical images is essential to ensure that downstream analyses such as segmentation can be performed successfully. Currently, QC is predominantly performed visually at significant time and operator cost. We aim to automate the process by formulating a probabilistic network that estimates uncertainty through a heteroscedastic noise model, hence providing a proxy measure of task-specific image quality that is learnt directly from the data. By augmenting the training data with different types of simulated k-space artefacts, we propose a novel cascading CNN architecture based on a student-teacher framework to decouple sources of uncertainty related to different k-space augmentations in an entirely self-supervised manner. This enables us to predict separate uncertainty quantities for the different types of data degradation. While the uncertainty measures reflect the presence and severity of image artefacts, the network also provides the segmentation predictions given the quality of the data. We show models trained with simulated artefacts provide informative measures of uncertainty on real-world images and we validate our uncertainty predictions on problematic images identified by human-raters. | 翻訳日:2023-01-05 06:56:32 公開日:2020-01-31 |
| # インフォメーション・ボトルネック問題:モデル,コネクト,アプリケーション,および情報理論的視点 On the Information Bottleneck Problems: Models, Connections, Applications and Information Theoretic Views ( http://arxiv.org/abs/2002.00008v1 ) ライセンス: Link先を確認 | Abdellatif Zaidi, Inaki Estella Aguerri and Shlomo Shamai (Shitz) | (参考訳) 本稿では,情報理論的な視点を取り入れたボトルネック問題の変種に着目し,それを解決する実践的手法と,コーディングや学習の側面との関係について考察する。
この設定と対数的損失歪み測定、情報の組み合わせ、共通再構成、Wyner-Ahlswede-Korner問題、投資情報の効率、一般化、変分推論、表現学習、オートエンコーダなどのリモートソースコーディングとの親密な関係が強調される。
本稿では,gaussianモデルに着目した分散情報ボトルネック問題への拡張について検討し,uplink cloud radio access networks (cran) との基本的な接続を不明瞭な処理で強調する。
このモデルでは、離散およびベクトルガウスのフレームワークにおける関連性(情報)と複雑性(率)の最適なトレードオフが決定される。
結論付けの見通しでは、ガウスの情報ボトルネックの「関連」を最大化するパワー制限の下での最適入力(特徴)分布を「複雑度」制約の下で特徴づけるなど、いくつかの興味深い問題が言及されている。 This tutorial paper focuses on the variants of the bottleneck problem taking an information theoretic perspective and discusses practical methods to solve it, as well as its connection to coding and learning aspects. The intimate connections of this setting to remote source-coding under logarithmic loss distortion measure, information combining, common reconstruction, the Wyner-Ahlswede-Korner problem, the efficiency of investment information, as well as, generalization, variational inference, representation learning, autoencoders, and others are highlighted. We discuss its extension to the distributed information bottleneck problem with emphasis on the Gaussian model and highlight the basic connections to the uplink Cloud Radio Access Networks (CRAN) with oblivious processing. For this model, the optimal trade-offs between relevance (i.e., information) and complexity (i.e., rates) in the discrete and vector Gaussian frameworks is determined. In the concluding outlook, some interesting problems are mentioned such as the characterization of the optimal inputs ("features") distributions under power limitations maximizing the "relevance" for the Gaussian information bottleneck, under "complexity" constraints. | 翻訳日:2023-01-05 06:56:02 公開日:2020-01-31 |
| # ネストサンプリングアルゴリズムにおける平均シフトクラスタ認識手法の実装 Mean shift cluster recognition method implementation in the nested sampling algorithm ( http://arxiv.org/abs/2002.01431v1 ) ライセンス: Link先を確認 | M. Trassinelli (INSP-E10, INSP), Pierre Ciccodicola (INSP-E10, INSP) | (参考訳) ネストサンプリングはベイズ証拠と後方パラメータ確率分布の計算のための効率的なアルゴリズムである。
これはモンテカルロによるパラメータ空間のステップバイステップの探索に基づいており、興味のある領域へ進化する生きた点と呼ばれる一連の値集合、すなわち、可能性関数が極大であるところをサンプリングする。
局所的な最大値が存在する場合、アルゴリズムは困難に収束する。
いくつかの系統的エラーは、未探索のパラメータボリューム領域によっても導入できる。
これを避けるために,局所極大の存在下でも,新しいライブポイントを効率的に探索するための異なる手法が文献に提案されている。
本稿では,ランダムウォーク探索アルゴリズムに実装された平均シフトクラスタ認識法に基づく新しい解を提案する。
クラスタリング認識はベイズ解析プログラムNestedFitに統合されている。
いくつかの難しいケースを分析してテストする。
クラスタ認識のない解析結果と比較すると,計算時間が大幅に短縮される。
同時に、パラメータ空間全体が効率的に探索され、ベイズ証拠の抽出された値のより小さな不確かさへと変換される。 Nested sampling is an efficient algorithm for the calculation of the Bayesian evidence and posterior parameter probability distributions. It is based on the step-by-step exploration of the parameter space by Monte Carlo sampling with a series of values sets called live points that evolve towards the region of interest, i.e. where the likelihood function is maximal. In presence of several local likelihood maxima, the algorithm converges with difficulty. Some systematic errors can also be introduced by unexplored parameter volume regions. In order to avoid this, different methods are proposed in the literature for an efficient search of new live points, even in presence of local maxima. Here we present a new solution based on the mean shift cluster recognition method implemented in a random walk search algorithm. The clustering recognition is integrated within the Bayesian analysis program NestedFit. It is tested with the analysis of some difficult cases. Compared to the analysis results without cluster recognition, the computation time is considerably reduced. At the same time, the entire parameter space is efficiently explored, which translates into a smaller uncertainty of the extracted value of the Bayesian evidence. | 翻訳日:2023-01-05 06:55:38 公開日:2020-01-31 |
| # 逆強化学習を用いたゴール指向注意制御の予測 Predicting Goal-directed Attention Control Using Inverse-Reinforcement Learning ( http://arxiv.org/abs/2001.11921v1 ) ライセンス: Link先を確認 | Gregory J. Zelinsky, Yupei Chen, Seoyoung Ahn, Hossein Adeli, Zhibo Yang, Lihan Huang, Dimitrios Samaras, Minh Hoai | (参考訳) 目標状態の制御行動を理解することは、機械学習の新しい方法による尋問の熟考である。
これらのメソッドは、モデルをトレーニングするために大きなラベル付きデータセットを必要とします。
大規模な画像データセットに探索修正を施すため,4,366枚の画像(MS-COCO)を用いて,マイクロ波または時計を検索する人々から16,184個の画像データセットを収集した。
次に、この行動アノテートデータセットと、逆強化学習(IRL)の機械学習手法を用いて、これらの2つの目標に対する目標固有報酬関数とポリシーを学習した。
最後に,電子レンジと時計(低レベル画像のコントラストの違いを規定する)を描写したキッチンシーンの無秩序なテストデータセットにおいて,これらの学習したポリシーを用いて,新たな行動探索者60名(クロック=30,マイクロ波=30)の定着を予測した。
irlモデルは複数の指標を用いて行動探索効率と固定密度マップを予測した。
さらに、IRLモデルからの報酬マップは、ターゲット特徴による注意誘導だけでなく、シーンコンテキストによるガイダンス(例えば、時計探索における壁に沿った固定)も示唆するターゲット固有のパターンを明らかにした。
機械学習と心理的に意味のある報酬原理を用いて、ゴール指向の注意制御で使用される視覚的特徴を学習することができる。 Understanding how goal states control behavior is a question ripe for interrogation by new methods from machine learning. These methods require large and labeled datasets to train models. To annotate a large-scale image dataset with observed search fixations, we collected 16,184 fixations from people searching for either microwaves or clocks in a dataset of 4,366 images (MS-COCO). We then used this behaviorally-annotated dataset and the machine learning method of Inverse-Reinforcement Learning (IRL) to learn target-specific reward functions and policies for these two target goals. Finally, we used these learned policies to predict the fixations of 60 new behavioral searchers (clock = 30, microwave = 30) in a disjoint test dataset of kitchen scenes depicting both a microwave and a clock (thus controlling for differences in low-level image contrast). We found that the IRL model predicted behavioral search efficiency and fixation-density maps using multiple metrics. Moreover, reward maps from the IRL model revealed target-specific patterns that suggest, not just attention guidance by target features, but also guidance by scene context (e.g., fixations along walls in the search of clocks). Using machine learning and the psychologically-meaningful principle of reward, it is possible to learn the visual features used in goal-directed attention control. | 翻訳日:2023-01-05 06:48:29 公開日:2020-01-31 |
| # 完全畳み込みニューラルネットワークによるセンチネル-2画像からの人間の沈下範囲の大規模マッピングのための枠組み A framework for large-scale mapping of human settlement extent from Sentinel-2 images via fully convolutional neural networks ( http://arxiv.org/abs/2001.11935v1 ) ライセンス: Link先を確認 | C. Qiu and M. Schmitt and C. Geiss and T. K. Chen and X. X. Zhu | (参考訳) 人的定住範囲(HSE)情報は、自然環境に対する人的圧力だけでなく、世界規模の都市化の貴重な指標である。
したがって、HSEのマッピングは、地域、地域、さらには世界規模の様々な環境問題に対して重要である。
本稿では,多スペクトルSentinel-2データからHSEを自動的にマッピングする,深層学習に基づくフレームワークを提案する。
フレームワーク内のセマンティックセグメンテーションの例として、単純でシンプルで効果的な完全な畳み込みネットワークベースのアーキテクチャであるSen2HSEが実装されている。
このフレームワークは、テストエリアに均等に分散した手動ラベル付きチェックポイントと、openstreetmapビルディングレイヤの両方に対して検証される。
HSEマッピングの結果は,提案したHSEマッピングフレームワークの有効性を徹底的に評価するために,いくつかのベースライン製品と比較された。
HSEマッピングのパワーは、世界中の10の代表的な領域で一貫して実証されている。
また,本フレームワークから地域規模のHSEマッピングの例を1つ提示し,スケールアップの可能性を示した。
本研究は,cnnを用いた大規模都市地図作成手法の適用可能性の一般化に寄与する。 Human settlement extent (HSE) information is a valuable indicator of world-wide urbanization as well as the resulting human pressure on the natural environment. Therefore, mapping HSE is critical for various environmental issues at local, regional, and even global scales. This paper presents a deep-learning-based framework to automatically map HSE from multi-spectral Sentinel-2 data using regionally available geo-products as training labels. A straightforward, simple, yet effective fully convolutional network-based architecture, Sen2HSE, is implemented as an example for semantic segmentation within the framework. The framework is validated against both manually labelled checking points distributed evenly over the test areas, and the OpenStreetMap building layer. The HSE mapping results were extensively compared to several baseline products in order to thoroughly evaluate the effectiveness of the proposed HSE mapping framework. The HSE mapping power is consistently demonstrated over 10 representative areas across the world. We also present one regional-scale and one country-wide HSE mapping example from our framework to show the potential for upscaling. The results of this study contribute to the generalization of the applicability of CNN-based approaches for large-scale urban mapping to cases where no up-to-date and accurate ground truth is available, as well as the subsequent monitor of global urbanization. | 翻訳日:2023-01-05 06:48:04 公開日:2020-01-31 |
| # FastWordBug:NLPアプリケーションに対して逆テキストを生成する高速な方法 FastWordBug: A Fast Method To Generate Adversarial Text Against NLP Applications ( http://arxiv.org/abs/2002.00760v1 ) ライセンス: Link先を確認 | Dou Goodman and Lv Zhonghou and Wang minghua | (参考訳) 本稿では,感情分析やテキスト分類モードを強制して誤った予測を行うブラックボックス設定において,テキスト摂動を効率的に生成する新しいアルゴリズムであるFastWordBugを提案する。
単語の音声属性の部分を組み合わせることで,テキスト分類に影響を及ぼす重要な単語を素早く識別できるスコアリング手法を提案する。
fastwordbugを3つの実世界のテキストデータセットと2つの最先端機械学習モデル上でブラックボックス設定下で評価する。
その結果,本手法はモデルの精度を大幅に下げることができ,同時に攻撃効率が最も高いモデルを呼び出すことができることがわかった。
また、NLPの2つの人気のある現実世界のクラウドサービスを攻撃し、その結果、我々の手法も機能していることを示す。 In this paper, we present a novel algorithm, FastWordBug, to efficiently generate small text perturbations in a black-box setting that forces a sentiment analysis or text classification mode to make an incorrect prediction. By combining the part of speech attributes of words, we propose a scoring method that can quickly identify important words that affect text classification. We evaluate FastWordBug on three real-world text datasets and two state-of-the-art machine learning models under black-box setting. The results show that our method can significantly reduce the accuracy of the model, and at the same time, we can call the model as little as possible, with the highest attack efficiency. We also attack two popular real-world cloud services of NLP, and the results show that our method works as well. | 翻訳日:2023-01-05 06:47:28 公開日:2020-01-31 |
| # 時系列におけるイベントインパクトの2サンプルテスト Two-Sample Testing for Event Impacts in Time Series ( http://arxiv.org/abs/2001.11930v1 ) ライセンス: Link先を確認 | Erik Scharw\"achter and Emmanuel M\"uller | (参考訳) 多くのアプリケーションドメインでは、時系列が監視され、技術的欠陥、自然災害、病気の発生などの極端な事象を検出する。
残念ながら、イベントに関する情報を持つ時系列と強力な検出アルゴリズムの両方を選択することは非自明である: 検出アルゴリズムが適切でないか、あるいは時系列と関心のあるイベントの間に共有情報がないため、検出は失敗する可能性がある。
そこで本研究では,時系列と観測された事象の共有情報に対する非パラメトリック統計テストを提案する。
本テストでは,特定の事象検出手法にコミットすることなく,事象発生に関する情報を伝達する時系列を識別できる。
一言で言えば、複数の2つのサンプルテストアプローチで、イベント発生後の遅延の増加に伴う時系列の値分布のばらつきをテストする。
関連するテストとは対照的に,本手法は多変量数,文字列,グラフを含む任意の領域上の時系列に適用可能である。
我々は,不定時系列のタスクに関する関連するテストに匹敵する,あるいは同等であることを示すために,大規模シミュレーション研究を行う。
また、ソーシャルメディアやスマートホーム環境からのデータセットに対する我々のアプローチの現実的な適用性を示す。 In many application domains, time series are monitored to detect extreme events like technical faults, natural disasters, or disease outbreaks. Unfortunately, it is often non-trivial to select both a time series that is informative about events and a powerful detection algorithm: detection may fail because the detection algorithm is not suitable, or because there is no shared information between the time series and the events of interest. In this work, we thus propose a non-parametric statistical test for shared information between a time series and a series of observed events. Our test allows identifying time series that carry information on event occurrences without committing to a specific event detection methodology. In a nutshell, we test for divergences of the value distributions of the time series at increasing lags after event occurrences with a multiple two-sample testing approach. In contrast to related tests, our approach is applicable for time series over arbitrary domains, including multivariate numeric, strings or graphs. We perform a large-scale simulation study to show that it outperforms or is on par with related tests on our task for univariate time series. We also demonstrate the real-world applicability of our approach on datasets from social media and smart home environments. | 翻訳日:2023-01-05 06:46:28 公開日:2020-01-31 |
| # テンソル製品による制約満足度問題の不適合性試験 Testing Unsatisfiability of Constraint Satisfaction Problems via Tensor Products ( http://arxiv.org/abs/2002.03766v1 ) ライセンス: Link先を確認 | Daya Gaur and Muhammad Khan | (参考訳) 制約満足度問題(csp)の満足度を証明する確率的局所探索法の設計について検討した。
バイナリCSPでは、これらの手法はCSPのマイクロ構造を用いて設計されている。
本稿では,微細構造をグラフテンソルに分解する方法を開発した。
テンソル分解を用いて, 効率的に並列に不満足性の証明を計算する方法を示す。
また、我々のアプローチがPraxisを改善するという実証的な証拠も提供します。
例えば、ある分解は品質を犠牲にすることなく半分の時間で満足できない証明を得る。
もう1つの分解は、従来の方法に比べて20倍速く、有効な3倍の時間である。
本手法は任意の csp からバイナリ csp へのよく知られた双対および隠れ変数変換を用いて任意の csp に適用できる。 We study the design of stochastic local search methods to prove unsatisfiability of a constraint satisfaction problem (CSP). For a binary CSP, such methods have been designed using the microstructure of the CSP. Here, we develop a method to decompose the microstructure into graph tensors. We show how to use the tensor decomposition to compute a proof of unsatisfiability efficiently and in parallel. We also offer substantial empirical evidence that our approach improves the praxis. For instance, one decomposition yields proofs of unsatisfiability in half the time without sacrificing the quality. Another decomposition is twenty times faster and effective three-tenths of the times compared to the prior method. Our method is applicable to arbitrary CSPs using the well known dual and hidden variable transformations from an arbitrary CSP to a binary CSP. | 翻訳日:2023-01-05 06:40:27 公開日:2020-01-31 |
| # 顔認識精度における男女不平等の分析 Analysis of Gender Inequality In Face Recognition Accuracy ( http://arxiv.org/abs/2002.00065v1 ) ライセンス: Link先を確認 | V\'itor Albiero, Krishnapriya K.S., Kushal Vangara, Kai Zhang, Michael C. King, and Kevin W. Bowyer | (参考訳) 本稿では,男女の顔認識精度の違いについて,包括的分析を行った。
その結果,(1)高い類似度点への傾き,(2)低い類似度点に傾きを持つ女性の真の分布,の組合せにより,女性では精度が低下することがわかった。
この現象は、アフリカ系アメリカ人、白人、アジアの顔のデータセットにまたがって、女性同士が互いに近寄って行くという、詐欺師と真正な分布という現象が一般的であることを示している。
顔表情の分布は男性/女性によって異なるが, 画像サブセットの精度差は中性表現として自信を持って評価される。
精度の差は、ピッチ角が0に近い画像部分集合に対しても持続する。
毛髪や帽子によって部分的に隠された額の画像を除去しても、同じインポスタ/遺伝子精度差が持続する。
顔料を使用しない女性像のみを用いた場合, 女性の真の分布は改善するが, 同時に女性インポスタ分布も低下することを示した。
最後に,男女画像と被験者のバランスのとれたトレーニングデータを用いて,最先端のディープラーニング手法をスクラッチからトレーニングしても精度の差は持続することを示す。 We present a comprehensive analysis of how and why face recognition accuracy differs between men and women. We show that accuracy is lower for women due to the combination of (1) the impostor distribution for women having a skew toward higher similarity scores, and (2) the genuine distribution for women having a skew toward lower similarity scores. We show that this phenomenon of the impostor and genuine distributions for women shifting closer towards each other is general across datasets of African-American, Caucasian, and Asian faces. We show that the distribution of facial expressions may differ between male/female, but that the accuracy difference persists for image subsets rated confidently as neutral expression. The accuracy difference also persists for image subsets rated as close to zero pitch angle. Even when removing images with forehead partially occluded by hair/hat, the same impostor/genuine accuracy difference persists. We show that the female genuine distribution improves when only female images without facial cosmetics are used, but that the female impostor distribution also degrades at the same time. Lastly, we show that the accuracy difference persists even if a state-of-the-art deep learning method is trained from scratch using training data explicitly balanced between male and female images and subjects. | 翻訳日:2023-01-05 06:40:00 公開日:2020-01-31 |
| # 集団カウントのためのハイブリッドグラフニューラルネットワーク Hybrid Graph Neural Networks for Crowd Counting ( http://arxiv.org/abs/2002.00092v1 ) ライセンス: Link先を確認 | Ao Luo, Fan Yang, Xin Li, Dong Nie, Zhicheng Jiao, Shangchen Zhou and Hong Cheng | (参考訳) 群衆のカウントは、大規模かつ密度の変動のため、重要かつ困難なタスクである。
近年の研究では,多元的特徴間の豊富な関係を蒸留し,補助的課題,すなわち局所化から有用な情報を活用することが重要であることが示されている。
それでも、これらの関係を統一ネットワークアーキテクチャ内で包括的に活用する方法は、依然として難しい問題である。
本稿では,ハイブリッドグラフニューラルネットワーク (hygnn) と呼ばれる新しいネットワーク構造を提案する。これは,群集密度のマルチスケール特徴と,その補助タスク (局所化) を併用し,グラフ上での共同推論を行うことによって,問題を緩和することを目的としている。
具体的には、hygnnはハイブリッドグラフを統合して、異なるスケールのタスク固有の特徴マップをノードとして、そして2種類の関係をエッジとして表現する。
(i)スケール間の機能依存性を捉えるためのマルチスケール関係と
(ii)カウントとローカライゼーションの協調のために橋を架ける相互有益関係
したがって、メッセージパッシングにより、HyGnnはノード間の豊富な関係を蒸留してより強力な表現を得ることができ、堅牢で正確な結果をもたらす。
われわれのHyGnnは、上海技術パートA、上海技術パートB、UCF_CC_50、UCF_QNRFの4つの挑戦的なデータセットで非常によく機能し、最先端のアプローチを大きなマージンで上回っている。 Crowd counting is an important yet challenging task due to the large scale and density variation. Recent investigations have shown that distilling rich relations among multi-scale features and exploiting useful information from the auxiliary task, i.e., localization, are vital for this task. Nevertheless, how to comprehensively leverage these relations within a unified network architecture is still a challenging problem. In this paper, we present a novel network structure called Hybrid Graph Neural Network (HyGnn) which targets to relieve the problem by interweaving the multi-scale features for crowd density as well as its auxiliary task (localization) together and performing joint reasoning over a graph. Specifically, HyGnn integrates a hybrid graph to jointly represent the task-specific feature maps of different scales as nodes, and two types of relations as edges:(i) multi-scale relations for capturing the feature dependencies across scales and (ii) mutual beneficial relations building bridges for the cooperation between counting and localization. Thus, through message passing, HyGnn can distill rich relations between the nodes to obtain more powerful representations, leading to robust and accurate results. Our HyGnn performs significantly well on four challenging datasets: ShanghaiTech Part A, ShanghaiTech Part B, UCF_CC_50 and UCF_QNRF, outperforming the state-of-the-art approaches by a large margin. | 翻訳日:2023-01-05 06:39:38 公開日:2020-01-31 |
| # モダリティ補償ネットワーク:行動認識のためのクロスモーダル適応 Modality Compensation Network: Cross-Modal Adaptation for Action Recognition ( http://arxiv.org/abs/2001.11657v1 ) ライセンス: Link先を確認 | Sijie Song, Jiaying Liu, Yanghao Li, Zongming Guo | (参考訳) RGB-Dカメラの普及に伴い、マルチモーダルビデオデータが人間の行動認識に利用できるようになった。
このタスクの主な課題のひとつは、補完的な情報を効果的に活用する方法にある。
本研究では,異なるモダリティの関係を探索し,人間の行動認識のための表現を促進するためのモダリティ補償ネットワーク(MCN)を提案する。
rgb/optical flow videoをソースモダリティ,スケルトンを補助モダリティとする。
我々の目標は、補助モダリティの助けを借りて、ソースモダリティからより差別的な特徴を抽出することである。
深層畳み込みニューラルネットワーク(CNN)とLong Short Term Memory(LSTM)ネットワーク上に構築されたモデルでは,適応的な表現学習を実現するために,ソースおよび補助モダリティからのデータをモダリティ適応ブロックでブリッジし,テスト時やトレーニング時にも骨格の喪失を補うことを学習する。
トレーニングにおけるソースデータと補助データのアライメントに基づいて、ソースと補助モーダル分布の距離を異なるレベルから絞り込むための複数の適応スキームを探索する。
さらに、骨格は訓練段階でのみ必要とされる。
我々のモデルは、テスト時にソースデータを用いて認識性能を向上させることができる。
実験の結果,MCNは4つの広く使用されている行動認識ベンチマークにおいて,最先端のアプローチよりも優れていることがわかった。 With the prevalence of RGB-D cameras, multi-modal video data have become more available for human action recognition. One main challenge for this task lies in how to effectively leverage their complementary information. In this work, we propose a Modality Compensation Network (MCN) to explore the relationships of different modalities, and boost the representations for human action recognition. We regard RGB/optical flow videos as source modalities, skeletons as auxiliary modality. Our goal is to extract more discriminative features from source modalities, with the help of auxiliary modality. Built on deep Convolutional Neural Networks (CNN) and Long Short Term Memory (LSTM) networks, our model bridges data from source and auxiliary modalities by a modality adaptation block to achieve adaptive representation learning, that the network learns to compensate for the loss of skeletons at test time and even at training time. We explore multiple adaptation schemes to narrow the distance between source and auxiliary modal distributions from different levels, according to the alignment of source and auxiliary data in training. In addition, skeletons are only required in the training phase. Our model is able to improve the recognition performance with source data when testing. Experimental results reveal that MCN outperforms state-of-the-art approaches on four widely-used action recognition benchmarks. | 翻訳日:2023-01-05 06:38:21 公開日:2020-01-31 |
| # 野生の表情認識のための畳み込みネットワークにおけるロスレス注意 Lossless Attention in Convolutional Networks for Facial Expression Recognition in the Wild ( http://arxiv.org/abs/2001.11869v1 ) ライセンス: Link先を確認 | Chuang Wang, Ruimin Hu, Min Hu, Jiang Liu, Ting Ren, Shan He, Ming Jiang, Jing Miao | (参考訳) 前頭面の制約条件とは異なり、野生の顔は複雑な照明、遠近法の変化、様々な咬合といった様々な制約のない干渉要因を持っている。
顔の表情認識(FER)は難しい課題であり、既存の手法ではうまく機能しない。
しかし、閉塞面(他の物体による閉塞や頭部姿勢の変化による自己閉塞を含む)では、注意機構は非閉塞領域に自動的に集中することができる。
本稿では,畳み込みニューラルネットワーク (CNN) のためのロスレス注意モデル (LLAM) を提案し,顔から注意を意識した特徴を抽出する。
本モジュールは,前層の情報を用いて注意マップを生成する過程における減衰情報を避け,次元性を低減しない。
次に,注目マップと特徴マップを融合させて特徴応答を適応的に改善する。
我々は,FG-2020 Affective Behavior Analysis in-the-wild Challengeの7つの基本表現分類に参加する。
そして,本手法をチャレンジでリリースしたAff-Wild2データセット上で検証する。
検証セットにおける全精度(精度)と非重み付け平均(f1)はそれぞれ0.49と0.38であり、最終結果は0.42である(0.67 f1-score + 0.33精度)。 Unlike the constraint frontal face condition, faces in the wild have various unconstrained interference factors, such as complex illumination, changing perspective and various occlusions. Facial expressions recognition (FER) in the wild is a challenging task and existing methods can't perform well. However, for occluded faces (containing occlusion caused by other objects and self-occlusion caused by head posture changes), the attention mechanism has the ability to focus on the non-occluded regions automatically. In this paper, we propose a Lossless Attention Model (LLAM) for convolutional neural networks (CNN) to extract attention-aware features from faces. Our module avoids decay information in the process of generating attention maps by using the information of the previous layer and not reducing the dimensionality. Sequentially, we adaptively refine the feature responses by fusing the attention map with the feature map. We participate in the seven basic expression classification sub-challenges of FG-2020 Affective Behavior Analysis in-the-wild Challenge. And we validate our method on the Aff-Wild2 datasets released by the Challenge. The total accuracy (Accuracy) and the unweighted mean (F1) of our method on the validation set are 0.49 and 0.38 respectively, and the final result is 0.42 (0.67 F1-Score + 0.33 Accuracy). | 翻訳日:2023-01-05 06:37:44 公開日:2020-01-31 |
| # 非教師付きバイリンガルレキシコン誘導筆記システム Unsupervised Bilingual Lexicon Induction Across Writing Systems ( http://arxiv.org/abs/2002.00037v1 ) ライセンス: Link先を確認 | Parker Riley and Daniel Gildea | (参考訳) 非教師付きバイリンガル語彙誘導における最近の埋め込みに基づく手法は良い結果を示しているが、一般的には関連する言語のペアに役立つ正書法(スペル)情報を活用していない。
本研究は正書法的特徴を持つ最先端の手法を補強し、異なるスクリプトを持つ言語間でも正書法対応を学習し活用できる手法を提案することにより、この分野の先行研究を拡大するものである。
異なるスクリプトと様々な語彙的類似度を持つ3つの言語ペアを実験してこれを実証する。 Recent embedding-based methods in unsupervised bilingual lexicon induction have shown good results, but generally have not leveraged orthographic (spelling) information, which can be helpful for pairs of related languages. This work augments a state-of-the-art method with orthographic features, and extends prior work in this space by proposing methods that can learn and utilize orthographic correspondences even between languages with different scripts. We demonstrate this by experimenting on three language pairs with different scripts and varying degrees of lexical similarity. | 翻訳日:2023-01-05 06:31:43 公開日:2020-01-31 |
| # ランダム・ターゲット破壊に対する人気分類モデルのロバストさのベンチマーク Benchmarking Popular Classification Models' Robustness to Random and Targeted Corruptions ( http://arxiv.org/abs/2002.00754v1 ) ライセンス: Link先を確認 | Utkarsh Desai, Srikanth Tamilselvam, Jassimran Kaur, Senthil Mani, Shreya Khare | (参考訳) テキスト分類モデル、特にニューラルネットワークに基づくモデルは、多くの人気のあるベンチマークデータセットで非常に高い精度に達している。
しかし、そのようなモデルは現実世界のアプリケーションでデプロイされると、パフォーマンスが悪くなります。
主な理由は、これらのモデルが十分な実世界の自然データに対してテストされないからである。
アプリケーションユーザーに基づいて、モデルの入力の語彙とスタイルは大きく異なるかもしれない。
これはモデルに依存しないテストデータセットの必要性を強調している。
このようなベンチマークデータセットでトレーニングおよびテストされたモデルは、現実世界のデータに対してより堅牢である。
しかし、そのようなデータセットは簡単には利用できない。
そこで本研究では,Spelling Errors, Text Noise, Synonymsなどの自然発生汚職に沿って,ベンチマークデータセットを拡張して公開することにより,この問題に対処する。
広範囲な実験を通じて,LIME(Local Interpretable Model-Agnostic Explanations)を用いたランダムおよびターゲットの汚職戦略を比較した。
これらの腐敗に伴う2つの一般的なテキスト分類モデルの脆弱性を報告し、ターゲットとする腐敗が、ほとんどの場合において、ランダムな選択よりもモデルの脆弱性を露呈する可能性があることも確認します。 Text classification models, especially neural networks based models, have reached very high accuracy on many popular benchmark datasets. Yet, such models when deployed in real world applications, tend to perform badly. The primary reason is that these models are not tested against sufficient real world natural data. Based on the application users, the vocabulary and the style of the model's input may greatly vary. This emphasizes the need for a model agnostic test dataset, which consists of various corruptions that are natural to appear in the wild. Models trained and tested on such benchmark datasets, will be more robust against real world data. However, such data sets are not easily available. In this work, we address this problem, by extending the benchmark datasets along naturally occurring corruptions such as Spelling Errors, Text Noise and Synonyms and making them publicly available. Through extensive experiments, we compare random and targeted corruption strategies using Local Interpretable Model-Agnostic Explanations(LIME). We report the vulnerabilities in two popular text classification models along these corruptions and also find that targeted corruptions can expose vulnerabilities of a model better than random choices in most cases. | 翻訳日:2023-01-05 06:31:32 公開日:2020-01-31 |
| # ドミニオ・デル・ドミニオ・ディ・ナ・フラーズの類似性 Similarit\`a per la ricerca del dominio di una frase ( http://arxiv.org/abs/2002.00757v1 ) ライセンス: Link先を確認 | Massimiliano Morrelli, Giacomo Pansini, Massimiliano Polito, Arturo Vitale | (参考訳) 英語だ
この文書は、2つのベクトル間の距離を計算する異なる方法を比較することによって、特定の文書の関連領域への帰属を検証する最良のアルゴリズムを研究することを目的としている。
この研究は、Apache Sparkフレームワークで利用可能な構造の助けを借りて実現された。
massimiliano morrelliらによる論文"new frontier of textual classification: big data and distributed calculus"で紹介された研究から始め、分散環境を用いて文章の類似性を計算可能な解の実装の可能性についての研究を行おうとした。
イタリア人。
Il presente documento persegue l'obiettivo di studiare gli algoritmi migliori per verificare l'appartenza di un determinato documento a un relativo dominio tramite un confronto di diversi metodi per il calcolo della distanza fra due vettori。
Tale studio \`e stato condotto con l'ausilio delle strutture messe a disposizione dal framework Apache Spark。
Partendo dallo studio illustrato nella pubblicazione "Nuova frontiera della classificazione testuale: Big data e calcolo Distribuito" di Massimiliano Morrelli et al., si \`e voluto realizzare uno studio sulla possibile implementazione di una soluzione in grado di calcolare la similarit\`a di una frase sfruttando l'ambiente distribuito.. ^ ^ ダロ・スタジオ・ファウストラ・デッラ・プブブブリオーネ(英語版) English. This document aims to study the best algorithms to verify the belonging of a specific document to a related domain by comparing different methods for calculating the distance between two vectors. This study has been made possible with the help of the structures made available by the Apache Spark framework. Starting from the study illustrated in the publication "New frontier of textual classification: Big data and distributed calculus" by Massimiliano Morrelli et al., We wanted to carry out a study on the possible implementation of a solution capable of calculating the Similarity of a sentence using the distributed environment. Italiano. Il presente documento persegue l'obiettivo di studiare gli algoritmi migliori per verificare l'appartenenza di un determinato documento a un relativo dominio tramite un confronto di diversi metodi per il calcolo della distanza fra due vettori. Tale studio \`e stato condotto con l'ausilio delle strutture messe a disposizione dal framework Apache Spark. Partendo dallo studio illustrato nella pubblicazione "Nuova frontiera della classificazione testuale: Big data e calcolo distribuito" di Massimiliano Morrelli et al., si \`e voluto realizzare uno studio sulla possibile implementazione di una soluzione in grado di calcolare la Similarit\`a di una frase sfruttando l'ambiente distribuito. | 翻訳日:2023-01-05 06:31:14 公開日:2020-01-31 |
| # 機械に会話を教える Teaching Machines to Converse ( http://arxiv.org/abs/2001.11701v1 ) ライセンス: Link先を確認 | Jiwei Li | (参考訳) 機械が人間とコミュニケーションをとる能力は、AIの一般的な成功と関連付けられてきた。
これは1950年代初めのアラン・チューリングの画期的な研究にさかのぼるものであり、機械の知性は、機械が人間を騙して、機械が対話を通して人間であると信じることによって、いかにうまくテストできるかを示唆している。
多くのシステムは、手書きのルールやテンプレートの上に書かれた最小限のルールやラベルから生成ルールを学習する。
エンドツーエンドのニューラルネットワークフレームワークは、従来のシステムでは不可能な方法で、対話状態を追跡し、状態と対話動作をマッピングする機能とともに、スケーラビリティと言語依存の約束を提供する。
一方で、ニューラルネットワークは新たな課題を提起する: 鈍い応答と一般的な応答を出力しがちである; 一貫性のない、あるいは一貫性のあるペルソナが欠如している; 通常はシングルターンの会話を通じて最適化されており、会話の長期的な成功を処理できない; そして、人間との対話の利点を享受できない。
コントリビューションは2つある:(1)オープンドメイン対話生成システムにおけるニューラルネットワークモデルによる新しい課題に対処する; (2)対話型質問応答対話システムを開発する。
(a)代理人に質問する能力を与える
(b)人間との対話を通じて会話エージェントをオンラインで訓練し、そこではボットが人間とコミュニケーションし、その間違いから学習することで改善する。 The ability of a machine to communicate with humans has long been associated with the general success of AI. This dates back to Alan Turing's epoch-making work in the early 1950s, which proposes that a machine's intelligence can be tested by how well it, the machine, can fool a human into believing that the machine is a human through dialogue conversations. Many systems learn generation rules from a minimal set of authored rules or labels on top of hand-coded rules or templates, and thus are both expensive and difficult to extend to open-domain scenarios. Recently, the emergence of neural network models the potential to solve many of the problems in dialogue learning that earlier systems cannot tackle: the end-to-end neural frameworks offer the promise of scalability and language-independence, together with the ability to track the dialogue state and then mapping between states and dialogue actions in a way not possible with conventional systems. On the other hand, neural systems bring about new challenges: they tend to output dull and generic responses; they lack a consistent or a coherent persona; they are usually optimized through single-turn conversations and are incapable of handling the long-term success of a conversation; and they are not able to take the advantage of the interactions with humans. This dissertation attempts to tackle these challenges: Contributions are two-fold: (1) we address new challenges presented by neural network models in open-domain dialogue generation systems; (2) we develop interactive question-answering dialogue systems by (a) giving the agent the ability to ask questions and (b) training a conversation agent through interactions with humans in an online fashion, where a bot improves through communicating with humans and learning from the mistakes that it makes. | 翻訳日:2023-01-05 06:29:52 公開日:2020-01-31 |
| # Break it down: ベンチマークを理解するための質問 Break It Down: A Question Understanding Benchmark ( http://arxiv.org/abs/2001.11770v1 ) ライセンス: Link先を確認 | Tomer Wolfson, Mor Geva, Ankit Gupta, Matt Gardner, Yoav Goldberg, Daniel Deutch, Jonathan Berant | (参考訳) 自然言語の質問を理解するには、質問をその答えを計算するために必要なステップに分解する能力が必要です。
本稿では,質問に対する質問分割意味表現(QDMR)を紹介する。
QDMRは、質問に答えるために必要な自然言語で表されるステップの順序付きリストを構成する。
我々はクラウドソーシングパイプラインを開発し、品質QDMRを大規模に注釈付けできることを示し、83万以上の質問と彼らのQDMRを含むBreakデータセットをリリースする。
ここではQDMRの有用性を示す。
(a)HotpotQAデータセットのオープンドメイン質問応答を改善するために使用できる。
b) 意味解析アプリケーションにおけるアノテーションを緩和できる疑似SQL形式言語に決定的に変換することができる。
最後に、Breakを使用して、質問をQDMR構造に解析するコピーでシーケンス・ツー・シーケンスモデルをトレーニングし、いくつかの自然なベースラインを大幅に上回ることを示す。 Understanding natural language questions entails the ability to break down a question into the requisite steps for computing its answer. In this work, we introduce a Question Decomposition Meaning Representation (QDMR) for questions. QDMR constitutes the ordered list of steps, expressed through natural language, that are necessary for answering a question. We develop a crowdsourcing pipeline, showing that quality QDMRs can be annotated at scale, and release the Break dataset, containing over 83K pairs of questions and their QDMRs. We demonstrate the utility of QDMR by showing that (a) it can be used to improve open-domain question answering on the HotpotQA dataset, (b) it can be deterministically converted to a pseudo-SQL formal language, which can alleviate annotation in semantic parsing applications. Last, we use Break to train a sequence-to-sequence model with copying that parses questions into QDMR structures, and show that it substantially outperforms several natural baselines. | 翻訳日:2023-01-05 06:29:22 公開日:2020-01-31 |
| # テキスト感情分類のためのハイブリッドタイル畳み込みニューラルネットワーク Hybrid Tiled Convolutional Neural Networks for Text Sentiment Classification ( http://arxiv.org/abs/2001.11857v1 ) ライセンス: Link先を確認 | Maria Mihaela Trusca and Gerasimos Spanakis | (参考訳) タイル型畳み込みニューラルネットワーク(tiled cnn)は、学習不変性のためのコンピュータビジョンにのみ適用されている。
我々はそのアーキテクチャをNLPに調整し、感情分析において最も顕著な特徴の抽出を改善する。
NLPフィールドにおけるタイル付きCNNの最大の欠点は、その非フレキシブルフィルタ構造であることを認識し、類似した文脈に現れる単語と隣接する単語にのみフィルタを適用するハイブリッドタイル付きCNNと呼ばれる新しいアーキテクチャを提案する(n-gramの損失を防ぐために必要なステップ)。
IMDBの映画レビューとSemEval 2017のデータセットに関する実験は、CNNとCNNのどちらよりも優れた性能を持つハイブリッドタイル型CNNの効率を実証している。 The tiled convolutional neural network (tiled CNN) has been applied only to computer vision for learning invariances. We adjust its architecture to NLP to improve the extraction of the most salient features for sentiment analysis. Knowing that the major drawback of the tiled CNN in the NLP field is its inflexible filter structure, we propose a novel architecture called hybrid tiled CNN that applies a filter only on the words that appear in the similar contexts and on their neighbor words (a necessary step for preventing the loss of some n-grams). The experiments on the datasets of IMDB movie reviews and SemEval 2017 demonstrate the efficiency of the hybrid tiled CNN that performs better than both CNN and tiled CNN. | 翻訳日:2023-01-05 06:29:06 公開日:2020-01-31 |
| # 大規模計算比較言語学における効率的な自動データ分析手法 An efficient automated data analytics approach to large scale computational comparative linguistics ( http://arxiv.org/abs/2001.11899v1 ) ライセンス: Link先を確認 | Gabija Mikulyte and David Gilbert | (参考訳) 本研究は,人間言語関係の分析,言語分類の促進,自動比較手法の開発による血統関係の形成といった課題を克服することを目的とした。
技法は特定のキーワードや概念の音声表現に基づいていた。
例えば、数字1-10(キュレート)、数字1-10の膨大なデータベース、1-10(他のソース)、色(キュレート)、基本語(キュレート)などがある。
セット内の比較を可能にするために、レベンシュテイン距離メトリックに基づいて編集距離の測定値を算出した。
この2つの文字列間のメトリックは、挿入、削除、置換を含む1文字編集の最小数である。
どの単語が多かれ少なかれ変化を示し、どの単語がより保存され、セット内の言語的距離に基づいてどのように言語をグループ化できるかを調べるために、いくつかのデータ分析技術が関与した。
それらは密度評価,階層クラスタリング,シルエット,平均,標準偏差,バッタチャリヤ係数計算などであった。
これらの技術は後にUnixシェルスクリプト、開発Rパッケージ、SWI Prologを組み合わせて実装されたワークフローの開発につながった。
これは計算効率が良く、大規模な言語セットの迅速な探索と分析を可能にした。 This research project aimed to overcome the challenge of analysing human language relationships, facilitate the grouping of languages and formation of genealogical relationship between them by developing automated comparison techniques. Techniques were based on the phonetic representation of certain key words and concept. Example word sets included numbers 1-10 (curated), large database of numbers 1-10 and sheep counting numbers 1-10 (other sources), colours (curated), basic words (curated). To enable comparison within the sets the measure of Edit distance was calculated based on Levenshtein distance metric. This metric between two strings is the minimum number of single-character edits, operations including: insertions, deletions or substitutions. To explore which words exhibit more or less variation, which words are more preserved and examine how languages could be grouped based on linguistic distances within sets, several data analytics techniques were involved. Those included density evaluation, hierarchical clustering, silhouette, mean, standard deviation and Bhattacharya coefficient calculations. These techniques lead to the development of a workflow which was later implemented by combining Unix shell scripts, a developed R package and SWI Prolog. This proved to be computationally efficient and permitted the fast exploration of large language sets and their analysis. | 翻訳日:2023-01-05 06:28:53 公開日:2020-01-31 |
| # 深層学習に基づくケラトコヌスの教師なし・半教師付き分類 Deep Learning Based Unsupervised and Semi-supervised Classification for Keratoconus ( http://arxiv.org/abs/2001.11653v1 ) ライセンス: Link先を確認 | Nicole Hallett, Kai Yi, Josef Dick, Christopher Hodge, Gerard Sutton, Yu Guang Wang, Jingjing You | (参考訳) 透明角膜は目の窓であり、光の入射が容易であり、眼球内の光の動きに集中するのを制御する。
角膜は臨界であり、眼の屈折力の75%に寄与する。
ケラトコヌス(Keratoconus)は、世界中で2000人中1人に感染する進行性多因子性角膜変性疾患である。
現在, 角膜移植以外の角膜移植, 角膜架橋術の治療法は存在せず, KCの進行を抑えることができる。
微妙なKCまたはKC進行を正確に識別する能力は重要な臨床的意義である。
これまでKC患者を分類する有用なモデルについてはほとんど合意が得られておらず、疾患の進行を正確に予測する能力が阻害されている。
本稿では,機械学習を用いて114人のkc患者から得られた地形,臨床変数のデータを解析した。
既存のAmsler-Krumeich分類系を参照して,KC患者を分類するために,教師付き多層パーセプトロンと教師なし変分オートエンコーダモデルを用いた。
どちらの方法も精度が高く、教師なしの方法の方が性能が良い。
その結果,29変数を選抜した非教師的手法は,臨床医に自動分類ツールを提供する強力なツールである可能性が示唆された。
これらの結果はケラトコヌスの進行と治療のさらなる分析のためのプラットフォームを提供する。 The transparent cornea is the window of the eye, facilitating the entry of light rays and controlling focusing the movement of the light within the eye. The cornea is critical, contributing to 75% of the refractive power of the eye. Keratoconus is a progressive and multifactorial corneal degenerative disease affecting 1 in 2000 individuals worldwide. Currently, there is no cure for keratoconus other than corneal transplantation for advanced stage keratoconus or corneal cross-linking, which can only halt KC progression. The ability to accurately identify subtle KC or KC progression is of vital clinical significance. To date, there has been little consensus on a useful model to classify KC patients, which therefore inhibits the ability to predict disease progression accurately. In this paper, we utilised machine learning to analyse data from 124 KC patients, including topographical and clinical variables. Both supervised multilayer perceptron and unsupervised variational autoencoder models were used to classify KC patients with reference to the existing Amsler-Krumeich (A-K) classification system. Both methods result in high accuracy, with the unsupervised method showing better performance. The result showed that the unsupervised method with a selection of 29 variables could be a powerful tool to provide an automatic classification tool for clinicians. These outcomes provide a platform for additional analysis for the progression and treatment of keratoconus. | 翻訳日:2023-01-05 06:22:37 公開日:2020-01-31 |
| # ローカル・プライベート分散強化学習 Locally Private Distributed Reinforcement Learning ( http://arxiv.org/abs/2001.11718v1 ) ライセンス: Link先を確認 | Hajime Ono and Tsubasa Takahashi | (参考訳) 本研究では,分散プライベート環境にまたがるロバストなポリシを得るために,強化学習のための局所微分プライベートアルゴリズムについて検討する。
提案アルゴリズムは, エージェントのモデルに関する情報が逆エンジニアリングによって悪用されるのを防ぐ。
ローカルポリシーは個々の環境に強く影響を受けているため、エージェントの出力は無意識に個人情報を放出することができる。
提案アルゴリズムでは, ローカルエージェントが環境内のモデルを更新し, 局所的差分プライバシー(LDP)を満たすように設計されたノイズ勾配を報告し, 厳密な局所的プライバシー保証を実現する。
報告されたノイズ勾配を活用することで、中央アグリゲータはそのモデルを更新し、異なるローカルエージェントに配信する。
実験的な評価では, LDP 下での手法の有効性を実証する。
我々の知る限りでは、分散強化学習を LDP で実現したのはこれが初めてである。
この作業により、分散プライベート環境間でよく機能する堅牢なエージェントが得られます。 We study locally differentially private algorithms for reinforcement learning to obtain a robust policy that performs well across distributed private environments. Our algorithm protects the information of local agents' models from being exploited by adversarial reverse engineering. Since a local policy is strongly being affected by the individual environment, the output of the agent may release the private information unconsciously. In our proposed algorithm, local agents update the model in their environments and report noisy gradients designed to satisfy local differential privacy (LDP) that gives a rigorous local privacy guarantee. By utilizing a set of reported noisy gradients, a central aggregator updates its model and delivers it to different local agents. In our empirical evaluation, we demonstrate how our method performs well under LDP. To the best of our knowledge, this is the first work that actualizes distributed reinforcement learning under LDP. This work enables us to obtain a robust agent that performs well across distributed private environments. | 翻訳日:2023-01-05 06:21:52 公開日:2020-01-31 |
| # 離散ブラインドソースデータから瞬時周波数抽出と信号成分回収のためのディープネットワークの理論 Theory inspired deep network for instantaneous-frequency extraction and signal components recovery from discrete blind-source data ( http://arxiv.org/abs/2001.12006v1 ) ライセンス: Link先を確認 | Charles K. Chui, Ningning Han, Hrushikesh N. Mhaskar | (参考訳) 本稿では,未知の信号成分を復元する逆問題と,その瞬時周波数(ifs)を適応調和モデル(ahm)によって制御し,ブラインドソース複合信号の離散的(およびおそらくは一様でない)サンプルから抽出する問題について述べる。
最も一般的な経験的モード分解(EMD)計算スキームや現在の修正を含む既存の分解方法やアルゴリズムはいずれも、この逆問題を解決することはできない。
AHM の定式化を満たすために、内在モード関数 (IMFs) と呼ばれる分解された成分の IF を抽出するために、EMD の各 IMF はヒルベルト変換を介して複素平面の上半分の解析関数に拡張され、続いて解析拡張の極形の実部を取る。
残念ながら、このアプローチは多くの場合、逆問題の解決に失敗する。
最近では、逆問題を解決するために、Daubechies と Maes によってシンクロスキューズウェーブレット変換 (SST) の概念が提案され、さらに多くの論文でさらに発展し、さらに直接的に信号分離演算 (SSO) と呼ばれる手法が提案され、前回の論文『Applied and Computational Harmonic Analysis』で発表されている。
30(2):243-261, 2016.
本稿では、ブラインドソース信号の非一様サンプリングが可能な離散サンプルセットを直接ベースとしたディープニューラルネットワークを用いたSSO合成を提案する。
本手法は,信号の到着時間や出発時間が異なる成分を含む,多数の数値例で示されるように,局所化されている。
また、IFとともに信号成分の短期的な予測も得られる。
私たちのニューラルネットワークは理論にインスパイアされ、従来の意味でのトレーニングを必要としないように設計されています。 This paper is concerned with the inverse problem of recovering the unknown signal components, along with extraction of their instantaneous frequencies (IFs), governed by the adaptive harmonic model (AHM), from discrete (and possibly non-uniform) samples of the blind-source composite signal. None of the existing decomposition methods and algorithms, including the most popular empirical mode decomposition (EMD) computational scheme and its current modifications, is capable of solving this inverse problem. In order to meet the AHM formulation and to extract the IFs of the decomposed components, called intrinsic mode functions (IMFs), each IMF of EMD is extended to an analytic function in the upper half of the complex plane via the Hilbert transform, followed by taking the real part of the polar form of the analytic extension. Unfortunately, this approach most often fails to resolve the inverse problem satisfactorily. More recently, to resolve the inverse problem, the notion of synchrosqueezed wavelet transform (SST) was proposed by Daubechies and Maes, and further developed in many other papers, while a more direct method, called signal separation operation (SSO), was proposed and developed in our previous work published in the journal, Applied and Computational Harmonic Analysis, vol. 30(2):243-261, 2016. In the present paper, we propose a synthesis of SSO using a deep neural network, based directly on a discrete sample set, that may be non-uniformly sampled, of the blind-source signal. Our method is localized, as illustrated by a number of numerical examples, including components with different signal arrival and departure times. It also yields short-term prediction of the signal components, along with their IFs. Our neural networks are inspired by theory, designed so that they do not require any training in the traditional sense. | 翻訳日:2023-01-05 06:21:03 公開日:2020-01-31 |
| # Auxiliary Classifier Generative Adversarial Networks を用いた小児CTの年齢差合成 Age-Conditioned Synthesis of Pediatric Computed Tomography with Auxiliary Classifier Generative Adversarial Networks ( http://arxiv.org/abs/2002.00011v1 ) ライセンス: Link先を確認 | Chi Nok Enoch Kan, Najibakram Maheenaboobacker, Dong Hye Ye | (参考訳) ディープラーニングは臓器セグメンテーションのようなCT(Computerd tomography)画像処理において人気があり強力なツールであるが、大規模なトレーニングデータセットの要求は依然として課題である。
成長中の小児の解剖学的変化は大きいが,小児CTの訓練データセットは,小児への放射線の危険性から,特に入手が困難である。
本稿では, 年齢情報を考慮し, 新しい補助分類器生成逆数ネットワーク(ACGAN)アーキテクチャを用いて, リアルな小児CT画像を条件付き合成する方法を提案する。
提案ネットワークは小児のトレーニングデータセットを豊かにするために年齢条件付き高分解能ct画像を生成する。 Deep learning is a popular and powerful tool in computed tomography (CT) image processing such as organ segmentation, but its requirement of large training datasets remains a challenge. Even though there is a large anatomical variability for children during their growth, the training datasets for pediatric CT scans are especially hard to obtain due to risks of radiation to children. In this paper, we propose a method to conditionally synthesize realistic pediatric CT images using a new auxiliary classifier generative adversarial network (ACGAN) architecture by taking age information into account. The proposed network generated age-conditioned high-resolution CT images to enrich pediatric training datasets. | 翻訳日:2023-01-05 06:20:26 公開日:2020-01-31 |
| # AI支援型チェア設計のためのジェネレーティブ・アドバイサル・ネットワーク A Generative Adversarial Network for AI-Aided Chair Design ( http://arxiv.org/abs/2001.11715v1 ) ライセンス: Link先を確認 | Zhibo Liu, Feng Gao, Yizhou Wang | (参考訳) 椅子の人体設計を改善する方法を提案する。
提案手法は, 提案した椅子設計に基づいて, スケッチや3Dモデルを作成することにより, 人的設計を容易にするための巨大な椅子候補を生成することを目的とする。
トレーニングデータセットの基盤となる分布を学習する画像合成モジュールと、生成された画像の品質と人間の関与を改善する超解像度モジュールで構成される。
最後に、生成した候補の1つを手作業で選択し、実生活用の椅子を作成します。 We present a method for improving human design of chairs. The goal of the method is generating enormous chair candidates in order to facilitate human designer by creating sketches and 3d models accordingly based on the generated chair design. It consists of an image synthesis module, which learns the underlying distribution of training dataset, a super-resolution module, which improve quality of generated image and human involvements. Finally, we manually pick one of the generated candidates to create a real life chair for illustration. | 翻訳日:2023-01-05 06:19:58 公開日:2020-01-31 |
| # 深部記号検出のためのデータ駆動因子グラフ Data-Driven Factor Graphs for Deep Symbol Detection ( http://arxiv.org/abs/2002.00758v1 ) ライセンス: Link先を確認 | Nir Shlezinger, Nariman Farsad, Yonina C. Eldar, and Andrea J. Goldsmith | (参考訳) BCJRアルゴリズムからカルマンフィルタまで、信号処理と通信における多くの重要なスキームは、因子グラフ法の例である。
このアルゴリズム群は、グラフィカルモデル上で実行される再帰的メッセージパッシングに基づく計算に基づいており、基礎となる統計の因子化を表している。
したがって、これらのアルゴリズムを実装するためには、考慮された信号の統計モデルに関する正確な知識が必要である。
本研究では,因子グラフ法をデータ駆動方式で実装することを提案する。
特に、機械学習(ML)ツールを使用して、システム全体のタスクではなく、ファクタグラフを学習し、学習したグラフ上のメッセージパッシングによる推論に使用することを提案する。
本稿では,有限メモリチャネルを表す因子グラフを学習するために提案手法を適用し,データ駆動方式でbcjr検出を実現する能力を示す。
提案システムは,BCJRNetと呼ばれ,BCJRアルゴリズムを小さなトレーニングセットから学習し,その結果,同一レベルの不確実性の下で動作している従来のチャネルモデルベースの受信機と比較して,トレーニングの堅牢性を向上したことを示す。
その結果,ラベル付きデータから因子グラフを学習するためにmlツールを利用することで,従来データ駆動方式で統計の完全な知識を必要とする幅広いモデルベースアルゴリズムを実装できることがわかった。 Many important schemes in signal processing and communications, ranging from the BCJR algorithm to the Kalman filter, are instances of factor graph methods. This family of algorithms is based on recursive message passing-based computations carried out over graphical models, representing a factorization of the underlying statistics. Consequently, in order to implement these algorithms, one must have accurate knowledge of the statistical model of the considered signals. In this work we propose to implement factor graph methods in a data-driven manner. In particular, we propose to use machine learning (ML) tools to learn the factor graph, instead of the overall system task, which in turn is used for inference by message passing over the learned graph. We apply the proposed approach to learn the factor graph representing a finite-memory channel, demonstrating the resulting ability to implement BCJR detection in a data-driven fashion. We demonstrate that the proposed system, referred to as BCJRNet, learns to implement the BCJR algorithm from a small training set, and that the resulting receiver exhibits improved robustness to inaccurate training compared to the conventional channel-model-based receiver operating under the same level of uncertainty. Our results indicate that by utilizing ML tools to learn factor graphs from labeled data, one can implement a broad range of model-based algorithms, which traditionally require full knowledge of the underlying statistics, in a data-driven fashion. | 翻訳日:2023-01-05 06:19:49 公開日:2020-01-31 |
| # 最適個別処理ルール推定のためのブースティングアルゴリズム Boosting Algorithms for Estimating Optimal Individualized Treatment Rules ( http://arxiv.org/abs/2002.00079v1 ) ライセンス: Link先を確認 | Duzhe Wang, Haoda Fu, Po-Ling Loh | (参考訳) 最適個別化処理ルールを推定する非パラメトリックアルゴリズムを提案する。
提案されたアルゴリズムはxgboostアルゴリズムに基づいており、これは機械学習文献で最も強力なアルゴリズムの1つとして知られている。
我々の主なアイデアは, 臨床成績の条件付き平均値や, 増分回帰木による決定規則をモデル化し, ブースティング手法を用いて各単木を反復的に推定することである。
我々のアプローチは、現在のパラメトリック手法で必要とされる正しいモデル仕様の課題を克服する。
提案アルゴリズムの主な貢献は、実際にしばしば発生する高非線形かつ複雑な個別化処理規則の効率的かつ正確な評価を提供することである。
最後に、広範囲なシミュレーション研究により、アルゴリズムの優れた性能を概説し、糖尿病第III相臨床試験の実際のデータへの適用を結論づける。 We present nonparametric algorithms for estimating optimal individualized treatment rules. The proposed algorithms are based on the XGBoost algorithm, which is known as one of the most powerful algorithms in the machine learning literature. Our main idea is to model the conditional mean of clinical outcome or the decision rule via additive regression trees, and use the boosting technique to estimate each single tree iteratively. Our approaches overcome the challenge of correct model specification, which is required in current parametric methods. The major contribution of our proposed algorithms is providing efficient and accurate estimation of the highly nonlinear and complex optimal individualized treatment rules that often arise in practice. Finally, we illustrate the superior performance of our algorithms by extensive simulation studies and conclude with an application to the real data from a diabetes Phase III trial. | 翻訳日:2023-01-05 06:13:12 公開日:2020-01-31 |
| # 密積埋め込みによるスケーラブルバンドル Scalable bundling via dense product embeddings ( http://arxiv.org/abs/2002.00100v1 ) ライセンス: Link先を確認 | Madhav Kumar, Dean Eckles, Sinan Aral | (参考訳) 2つ以上の製品をディスカウントで共同販売するバンドルは、業界で広く使われている戦略であり、アカデミックではよく検討された概念である。
歴史的に、その焦点は独占的企業の文脈における理論的研究であり、製品関係(例えば、使用の相補性)を想定していた。
大規模でクロスカテゴリの小売環境でバンドルを設計するための新しい機械学習駆動手法を開発した。
クリックストリームデータから作成した履歴購入と考慮セットを活用して,埋め込みと呼ばれる製品の高密度な連続表現を生成する。
そして、これらの埋め込みに最小の構造を置き、積間の相補性と置換可能性のためのヒューリスティックを開発する。
その後、このヒューリスティックスを用いて各製品用の複数のバンドルを作成し、大規模小売業者によるフィールド実験を用いてその性能をテストする。
商品の組込み実験の結果を,バンドルの特徴と購入可能性のマッピングを行う階層モデルを用いて組み合わせた。
組込み型ヒューリスティックは,バンドル成功の強い予測因子であり,製品カテゴリ全体にわたって堅牢であり,小売店全体の構成をよく一般化している。 Bundling, the practice of jointly selling two or more products at a discount, is a widely used strategy in industry and a well examined concept in academia. Historically, the focus has been on theoretical studies in the context of monopolistic firms and assumed product relationships, e.g., complementarity in usage. We develop a new machine-learning-driven methodology for designing bundles in a large-scale, cross-category retail setting. We leverage historical purchases and consideration sets created from clickstream data to generate dense continuous representations of products called embeddings. We then put minimal structure on these embeddings and develop heuristics for complementarity and substitutability among products. Subsequently, we use the heuristics to create multiple bundles for each product and test their performance using a field experiment with a large retailer. We combine the results from the experiment with product embeddings using a hierarchical model that maps bundle features to their purchase likelihood, as measured by the add-to-cart rate. We find that our embeddings-based heuristics are strong predictors of bundle success, robust across product categories, and generalize well to the retailer's entire assortment. | 翻訳日:2023-01-05 06:12:17 公開日:2020-01-31 |
| # 限定合成音声データを用いた学習キーワードスポッター Training Keyword Spotters with Limited and Synthesized Speech Data ( http://arxiv.org/abs/2002.01322v1 ) ライセンス: Link先を確認 | James Lin, Kevin Kilgour, Dominik Roblek, Matthew Sharifi | (参考訳) 低消費電力音声対応装置の出現に伴い、任意のキーワード群を認識するためのモデルを迅速に作成する需要が高まっている。
多くの機械学習タスクと同様に、モデル作成プロセスの最も難しい部分の1つは、十分な量のトレーニングデータを取得することである。
そこで本研究では,約400kパラメータの音節検出モデルの訓練における合成音声データの有効性について検討する。
MFCCのような音声や低レベル機能を直接訓練する代わりに、訓練済みの音声埋め込みモデルを用いてキーワードスポッティングモデルに有用な特徴を抽出する。
この音声埋め込みを用いて,合成音声のみを訓練した場合に10個のキーワードを検出するモデルは,500以上の実例で訓練されたモデルと等価であることを示す。
また、同じ精度に達するためには、スピーチ埋め込みのないモデルを4000以上の実例でトレーニングする必要があることも示しています。 With the rise of low power speech-enabled devices, there is a growing demand to quickly produce models for recognizing arbitrary sets of keywords. As with many machine learning tasks, one of the most challenging parts in the model creation process is obtaining a sufficient amount of training data. In this paper, we explore the effectiveness of synthesized speech data in training small, spoken term detection models of around 400k parameters. Instead of training such models directly on the audio or low level features such as MFCCs, we use a pre-trained speech embedding model trained to extract useful features for keyword spotting models. Using this speech embedding, we show that a model which detects 10 keywords when trained on only synthetic speech is equivalent to a model trained on over 500 real examples. We also show that a model without our speech embeddings would need to be trained on over 4000 real examples to reach the same accuracy. | 翻訳日:2023-01-05 06:11:43 公開日:2020-01-31 |
| # 音声からの感情プリミティブの検出とカテゴリー感情の識別への応用 Detecting Emotion Primitives from Speech and their use in discerning Categorical Emotions ( http://arxiv.org/abs/2002.01323v1 ) ライセンス: Link先を確認 | Vasudha Kowtha, Vikramjit Mitra, Chris Bartels, Erik Marchi, Sue Booker, William Caruso, Sachin Kajarekar, Devang Naik | (参考訳) 感情は人間同士のコミュニケーションにおいて重要な役割を担い、幸福やフラストレーション、誠実さといった感情を伝えることができる。
最近の音声技術は音声認識と自然言語理解を音声コンテンツ理解に重きを置いているが、音声表現の研究はますます注目されている。
ロバストな感情モデルを構築する上で重要な考慮事項は、トレーニングデータ分布を前提として、モデルを認識できないデータ条件に一般化できる範囲のキャラクタリゼーションと改善である。
本研究は,長期記憶(LSTM)ネットワークと時間畳み込み(LSTM)を用いて,有能性,覚醒性,支配性などの原始的感情特性を音声から検出する手法である。
複数のデータセットとロバストな特徴を用いたトレーニングは、ベースラインシステムに関して、原子価の一致相関係数(concordance correlation coefficient, ccc)を30\%向上させた。
さらに, 感情プリミティブが, 幸福感, 嫌悪感, 侮辱感情, 怒り, 驚きといったカテゴリー的感情を中性言語から検出するためにどのように用いられるかを検討した。 Emotion plays an essential role in human-to-human communication, enabling us to convey feelings such as happiness, frustration, and sincerity. While modern speech technologies rely heavily on speech recognition and natural language understanding for speech content understanding, the investigation of vocal expression is increasingly gaining attention. Key considerations for building robust emotion models include characterizing and improving the extent to which a model, given its training data distribution, is able to generalize to unseen data conditions. This work investigated a long-shot-term memory (LSTM) network and a time convolution - LSTM (TC-LSTM) to detect primitive emotion attributes such as valence, arousal, and dominance, from speech. It was observed that training with multiple datasets and using robust features improved the concordance correlation coefficient (CCC) for valence, by 30\% with respect to the baseline system. Additionally, this work investigated how emotion primitives can be used to detect categorical emotions such as happiness, disgust, contempt, anger, and surprise from neutral speech, and results indicated that arousal, followed by dominance was a better detector of such emotions. | 翻訳日:2023-01-05 06:11:30 公開日:2020-01-31 |
| # FEA-Net:効率的な機械応答予測のための物理誘導型データ駆動モデル FEA-Net: A Physics-guided Data-driven Model for Efficient Mechanical Response Prediction ( http://arxiv.org/abs/2002.01893v1 ) ライセンス: Link先を確認 | Houpu Yao, Yi Gao, Yongming Liu | (参考訳) 本稿では,材料や構造物の機械的応答を予測するための物理誘導学習アルゴリズムを提案する。
本研究の重要な概念は、物理モデルが偏微分方程式(pde)によって制御され、その負荷/応答マッピングは有限要素解析(fea)を用いて解くことができるという事実に基づいている。
これに基づいて、物理におけるこれまでの知識を活用して、アーキテクチャが物理学的な意味を持つデータ駆動モデルを構築する、特別なタイプのディープ畳み込みニューラルネットワーク(DCNN)が提案されている。
このタイプのネットワークはfea-netと名付けられ、外部負荷下での機械的応答を解決するために使用される。
これにより、メカニカルシステムパラメータの同定と応答の計算をそれぞれfea-netの学習および推論として扱うことができる。
提案手法の理論的, 計算的優位性を実証し, 検証するために, 複合力学解析と多相問題(例えば, ランダムなミクロ構造を持つ複合材料)のケーススタディを用いる。 An innovative physics-guided learning algorithm for predicting the mechanical response of materials and structures is proposed in this paper. The key concept of the proposed study is based on the fact that physics models are governed by Partial Differential Equation (PDE), and its loading/ response mapping can be solved using Finite Element Analysis (FEA). Based on this, a special type of deep convolutional neural network (DCNN) is proposed that takes advantage of our prior knowledge in physics to build data-driven models whose architectures are of physics meaning. This type of network is named as FEA-Net and is used to solve the mechanical response under external loading. Thus, the identification of a mechanical system parameters and the computation of its responses are treated as the learning and inference of FEA-Net, respectively. Case studies on multi-physics (e.g., coupled mechanical-thermal analysis) and multi-phase problems (e.g., composite materials with random micro-structures) are used to demonstrate and verify the theoretical and computational advantages of the proposed method. | 翻訳日:2023-01-05 06:11:07 公開日:2020-01-31 |
| # CosmoVAE: CMBイメージペイントのための変分オートエンコーダ CosmoVAE: Variational Autoencoder for CMB Image Inpainting ( http://arxiv.org/abs/2001.11651v1 ) ライセンス: Link先を確認 | Kai Yi, Yi Guo, Yanan Fan, Jan Hamann, Yu Guang Wang | (参考訳) 宇宙マイクロ波背景放射(CMB)は初期の宇宙の理解と宇宙定数の正確な推定に重要である。
銀河内の熱塵のノイズが汚染されているため、2次元球面上の画像であるCMBマップは、主に赤道領域に集中する観測を欠いている。
CMBマップのノイズは、宇宙論的パラメータの推定精度に大きな影響を及ぼす。
cmbマップの塗り込みはパラメトリック推定の不確かさを効果的に低減することができる。
本稿では,CMBマップの欠落した観察を復元するために,深層学習に基づく変分オートエンコーダであるCosmoVAEを提案する。
CosmoVAEの入力と出力は正方形画像である。
トレーニング、検証、テストデータセットを生成するために、フルスキー CMB マップを多くの小さな画像にCartesian projection で分割する。
CosmoVAEは、ガウス確率場の角パワースペクトルを潜在変数として使用することにより、VAEネットワークのパラメータに物理量を割り当てる。
CosmoVAE では,エンコーダネットワークの後部分布と先行変数の分布,知覚的損失,全変量正規化器とのKullback-Leibler の分散,$\ell_1$再構成損失,Kulback-Leibler の分散,モデルの学習性能向上のために新たな損失関数を採用している。
提案したモデルは,Planck \texttt{Commander} 2018 CMBmap inpaintingのアートパフォーマンスの状態を達成している。 Cosmic microwave background radiation (CMB) is critical to the understanding of the early universe and precise estimation of cosmological constants. Due to the contamination of thermal dust noise in the galaxy, the CMB map that is an image on the two-dimensional sphere has missing observations, mainly concentrated on the equatorial region. The noise of the CMB map has a significant impact on the estimation precision for cosmological parameters. Inpainting the CMB map can effectively reduce the uncertainty of parametric estimation. In this paper, we propose a deep learning-based variational autoencoder --- CosmoVAE, to restoring the missing observations of the CMB map. The input and output of CosmoVAE are square images. To generate training, validation, and test data sets, we segment the full-sky CMB map into many small images by Cartesian projection. CosmoVAE assigns physical quantities to the parameters of the VAE network by using the angular power spectrum of the Gaussian random field as latent variables. CosmoVAE adopts a new loss function to improve the learning performance of the model, which consists of $\ell_1$ reconstruction loss, Kullback-Leibler divergence between the posterior distribution of encoder network and the prior distribution of latent variables, perceptual loss, and total-variation regularizer. The proposed model achieves state of the art performance for Planck \texttt{Commander} 2018 CMB map inpainting. | 翻訳日:2023-01-05 06:10:50 公開日:2020-01-31 |
| # 医用画像における予測テクスチャパターン発見のための教師なしディープクラスタリング Unsupervised deep clustering for predictive texture pattern discovery in medical images ( http://arxiv.org/abs/2002.03721v1 ) ライセンス: Link先を確認 | Matthias Perkonigg and Daniel Sobotka and Ahmed Ba-Ssalamah and Georg Langs | (参考訳) 画像データの予測マーカーパターンは、病気や進行を定量化する手段であるが、基礎となる生物学が不十分であれば、その識別は困難である。
本稿では,医療画像中の予測的テクスチャパターンを教師なしで識別する手法を提案する。
深層クラスタリングネットワークに基づいて,低次元潜在空間における医用画像パッチを同時にエンコードし,クラスタリングする。
結果として生じるクラスターは、病気のステージングの特徴として機能し、それらを基礎疾患と結びつける。
肝脂肪症患者のT1強調MRI70例について検討した。
ディープクラスタリングアプローチは、f1-score 0.78の低ステアトーシスと高ステアトーシスを区別して、安定したランキングを持つ予測クラスタを見つけることができる。 Predictive marker patterns in imaging data are a means to quantify disease and progression, but their identification is challenging, if the underlying biology is poorly understood. Here, we present a method to identify predictive texture patterns in medical images in an unsupervised way. Based on deep clustering networks, we simultaneously encode and cluster medical image patches in a low-dimensional latent space. The resulting clusters serve as features for disease staging, linking them to the underlying disease. We evaluate the method on 70 T1-weighted magnetic resonance images of patients with different stages of liver steatosis. The deep clustering approach is able to find predictive clusters with a stable ranking, differentiating between low and high steatosis with an F1-Score of 0.78. | 翻訳日:2023-01-05 06:04:03 公開日:2020-01-31 |
| # deep convolutional autoencoderと support vector regressor による連続感情認識 Continuous Emotion Recognition via Deep Convolutional Autoencoder and Support Vector Regressor ( http://arxiv.org/abs/2001.11976v1 ) ライセンス: Link先を確認 | Sevegni Odilon Clement Allognon, Alessandro L. Koerich, Alceu de S. Britto Jr | (参考訳) 表情の自動認識は、感情認識とコンピュータビジョンにおいて重要な研究領域である。
医療、ドライバーの疲労監視、 sociable robotics、その他の人間とコンピュータのインタラクションシステムなど、いくつかの分野に応用できる。
したがって、マシンはユーザの感情状態を高い精度で認識できることが重要である。
近年、ディープニューラルネットワークは感情認識に大きな成功を収めている。
本稿では,トランスファー学習とオートエンコーダに基づく教師なし学習アプローチを用いて,表情認識に基づく連続感情認識の新しいモデルを提案する。
提案手法は前処理および後処理技術も含んでおり, 覚醒次元と原子価次元の一致相関係数の予測性能の向上に寄与する。
RECOLA 2016データセットを用いた自然感情と自然感情の予測実験の結果,視覚情報に基づくアプローチによってそれぞれ0.516と0.264のCCCが得られることが示された。 Automatic facial expression recognition is an important research area in the emotion recognition and computer vision. Applications can be found in several domains such as medical treatment, driver fatigue surveillance, sociable robotics, and several other human-computer interaction systems. Therefore, it is crucial that the machine should be able to recognize the emotional state of the user with high accuracy. In recent years, deep neural networks have been used with great success in recognizing emotions. In this paper, we present a new model for continuous emotion recognition based on facial expression recognition by using an unsupervised learning approach based on transfer learning and autoencoders. The proposed approach also includes preprocessing and post-processing techniques which contribute favorably to improving the performance of predicting the concordance correlation coefficient for arousal and valence dimensions. Experimental results for predicting spontaneous and natural emotions on the RECOLA 2016 dataset have shown that the proposed approach based on visual information can achieve CCCs of 0.516 and 0.264 for valence and arousal, respectively. | 翻訳日:2023-01-05 06:03:50 公開日:2020-01-31 |
| # タイムリーフェイクニュース検出のための2パス深層半教師付き学習 Two-path Deep Semi-supervised Learning for Timely Fake News Detection ( http://arxiv.org/abs/2002.00763v1 ) ライセンス: Link先を確認 | Xishuang Dong, Uboho Victor, and Lijun Qian | (参考訳) Twitterのようなソーシャルメディアのニュースは、大量かつ高速に生成されている。
しかし、ほぼリアルタイムでプロによって(偽ニュースや真のニュースとして)ラベル付けされているものはほとんどない。
ソーシャルメディアにおける偽ニュースのタイムリー検出を実現するために,一方のパスが教師付き学習,もう一方のパスが教師なし学習のための2パス深層教師付き学習の新たな枠組みを提案する。
教師なし学習経路は、限られたラベル付きデータに基づいて学習し、教師なし学習経路は大量のラベルなしデータを学習することができる。
さらに、畳み込みニューラルネットワーク(cnn)で実装されたこれら2つの経路は、半教師付き学習を完了するために協調的に最適化される。
さらに、ラベル付きデータとラベルなしデータの両方の低レベル特徴を抽出し、これら2つのパスにフィードする共有CNNを構築します。
このフレームワークを検証するために、Word CNNベースの半教師付き学習モデルを実装し、LIARとPHEMEという2つのデータセット上でテストする。
実験の結果,提案フレームワークで構築したモデルは,ラベル付きデータが少なく,効果的に偽ニュースを認識できることがわかった。 News in social media such as Twitter has been generated in high volume and speed. However, very few of them are labeled (as fake or true news) by professionals in near real time. In order to achieve timely detection of fake news in social media, a novel framework of two-path deep semi-supervised learning is proposed where one path is for supervised learning and the other is for unsupervised learning. The supervised learning path learns on the limited amount of labeled data while the unsupervised learning path is able to learn on a huge amount of unlabeled data. Furthermore, these two paths implemented with convolutional neural networks (CNN) are jointly optimized to complete semi-supervised learning. In addition, we build a shared CNN to extract the low level features on both labeled data and unlabeled data to feed them into these two paths. To verify this framework, we implement a Word CNN based semi-supervised learning model and test it on two datasets, namely, LIAR and PHEME. Experimental results demonstrate that the model built on the proposed framework can recognize fake news effectively with very few labeled data. | 翻訳日:2023-01-05 06:03:33 公開日:2020-01-31 |
| # 反復分類による短文クラスタリングの強化 Enhancement of Short Text Clustering by Iterative Classification ( http://arxiv.org/abs/2001.11631v1 ) ライセンス: Link先を確認 | Md Rashadul Hasan Rakib, Norbert Zeh, Magdalena Jankowska, Evangelos Milios | (参考訳) 短いテキストクラスタリングは、このような短いテキストに含まれる信号が欠如しているため、難しいタスクである。
本研究では,短いテキストのクラスタリング品質(例えば,精度)をb o にする方法として反復分類を提案する。
任意のクラスタリングアルゴリズムを用いて得られた短いテキストのクラスタリングが与えられると、反復的分類は外れ値除去を適用し、外れ値のないクラスタを得る。
そして、クラスタ分布に基づいて非アウトレーヤを用いて分類アルゴリズムを訓練する。
訓練された分類モデルを使用して、反復的分類は外れ値を再分類し、新しいクラスタ群を得る。
これを数回繰り返すことで、テキストのクラスタリングが大幅に改善された。
提案手法は,異なるクラスタリング手法(k-means,k-means--,階層クラスタリングなど)のクラスタリング品質を向上させるだけでなく,いくつかの短文データセットにおける最先端の短文クラスタリング手法を統計的に有意なマージンで上回っている。 Short text clustering is a challenging task due to the lack of signal contained in such short texts. In this work, we propose iterative classification as a method to b o ost the clustering quality (e.g., accuracy) of short texts. Given a clustering of short texts obtained using an arbitrary clustering algorithm, iterative classification applies outlier removal to obtain outlier-free clusters. Then it trains a classification algorithm using the non-outliers based on their cluster distributions. Using the trained classification model, iterative classification reclassifies the outliers to obtain a new set of clusters. By repeating this several times, we obtain a much improved clustering of texts. Our experimental results show that the proposed clustering enhancement method not only improves the clustering quality of different clustering methods (e.g., k-means, k-means--, and hierarchical clustering) but also outperforms the state-of-the-art short text clustering methods on several short text datasets by a statistically significant margin. | 翻訳日:2023-01-05 06:03:15 公開日:2020-01-31 |
| # M3GPによる高機能リモートセンシングにおけるバーント領域検出の改善 Improving the Detection of Burnt Areas in Remote Sensing using Hyper-features Evolved by M3GP ( http://arxiv.org/abs/2002.00053v1 ) ライセンス: Link先を確認 | Jo\~ao E. Batista, Sara Silva | (参考訳) 衛星画像を扱う際の問題のひとつは、画像と異なる画像のラジオメトリックの変化である。
燃焼地域分類のためのリモートセンシングモデルの改善を目的として,2つの目標を設定した。
1つ目は、特徴空間とモデルの予測能力の関係を理解することであり、異なるデータセットでトレーニングやテストを行う際の学習と一般化の違いを説明することができる。
複数のイメージから構築されたデータセットのトレーニングは、より汎用的なモデルを提供する。
これらの結果は特徴空間上の値の分散を可視化することによって説明される。
2つめの目標は、さまざまなテストセットで異なる分類器のパフォーマンスを改善するハイパー機能を発展させることである。
我々は超函数が有益であることに気付き、超函数が別の方法に最適化されたとしても、XGBoostで最良のモデルを得る。 One problem found when working with satellite images is the radiometric variations across the image and different images. Intending to improve remote sensing models for the classification of burnt areas, we set two objectives. The first is to understand the relationship between feature spaces and the predictive ability of the models, allowing us to explain the differences between learning and generalization when training and testing in different datasets. We find that training on datasets built from more than one image provides models that generalize better. These results are explained by visualizing the dispersion of values on the feature space. The second objective is to evolve hyper-features that improve the performance of different classifiers on a variety of test sets. We find the hyper-features to be beneficial, and obtain the best models with XGBoost, even if the hyper-features are optimized for a different method. | 翻訳日:2023-01-05 06:02:15 公開日:2020-01-31 |
| # ベイズ不確かさモデルを用いた脳波記録からの頭蓋骨導電率と焦点源イメージング Simultaneous Skull Conductivity and Focal Source Imaging from EEG Recordings with the help of Bayesian Uncertainty Modelling ( http://arxiv.org/abs/2002.00066v1 ) ライセンス: Link先を確認 | Alexandra Koulouri and Ville Rimpilainen | (参考訳) 脳波源画像(eeg)問題は、検査中の患者の頭蓋骨の電気的モデリングに非常に敏感である。
残念ながら、現在利用可能なEEGデバイスとその組み込みソフトウェアは、これを考慮せず、文献ベースの頭蓋骨伝導率パラメータを使用するのが一般的である。
本稿では,未知の頭蓋骨伝導率によるソース画像誤差を補正するベイズ近似誤差法に基づく統計的手法を提案し,同時に,実際の頭蓋骨伝導率値の低次推定値を算出する。
焦点源活動に対応するシミュレーション脳波データを用いて, 基礎となる焦点源の再構成と未知の頭蓋骨導電率による低次誤差の可能性を示す。
その後、推定誤差を用いて頭蓋骨導電率を近似する。
その結果, 震源位置推定精度と頭蓋骨導電率の推定精度が明らかに向上した。 The electroencephalography (EEG) source imaging problem is very sensitive to the electrical modelling of the skull of the patient under examination. Unfortunately, the currently available EEG devices and their embedded software do not take this into account; instead, it is common to use a literature-based skull conductivity parameter. In this paper, we propose a statistical method based on the Bayesian approximation error approach to compensate for source imaging errors due to the unknown skull conductivity and, simultaneously, to compute a low-order estimate for the actual skull conductivity value. By using simulated EEG data that corresponds to focal source activity, we demonstrate the potential of the method to reconstruct the underlying focal sources and low-order errors induced by the unknown skull conductivity. Subsequently, the estimated errors are used to approximate the skull conductivity. The results indicate clear improvements in the source localization accuracy and feasible skull conductivity estimates. | 翻訳日:2023-01-05 06:01:47 公開日:2020-01-31 |
| # リカレントニューラルネットワークを用いたエッジベースシーケンシャルグラフ生成 Edge-based sequential graph generation with recurrent neural networks ( http://arxiv.org/abs/2002.00102v1 ) ライセンス: Link先を確認 | Davide Bacciu, Alessio Micheli, Marco Podda | (参考訳) 機械学習によるグラフ生成は、様々な研究分野で応用されるオープン問題である。
そこで本研究では,ノード順序付け手順に依拠して,グラフ生成プロセスを逐次処理にキャストする手法を提案する。
このシーケンシャルなプロセスを用いて、2つのリカレントニューラルネットワークからなる新しい生成モデルを設計し、グラフのエッジを予測し、第1のネットワークは各エッジの1つのエンドポイントを生成し、第2のネットワークは第1の状態に条件付けられた他のエンドポイントを生成する。
我々は5つの異なるデータセットに対して、グラフ文献から得られる2つのよく知られたベースラインと、2つの反復的なアプローチを比較した。
生成した試料の定量的および定性的特性を考慮した評価を行った。
結果から,本手法は,学習サンプルと非常によく似た構造を保ちながら,非常に異なる分布から生じる特異なグラフが得られることが示された。
提案した評価フレームワークにより,提案手法は,グラフ生成タスクにおける最先端技術に匹敵する性能を実現することができる。 Graph generation with Machine Learning is an open problem with applications in various research fields. In this work, we propose to cast the generative process of a graph into a sequential one, relying on a node ordering procedure. We use this sequential process to design a novel generative model composed of two recurrent neural networks that learn to predict the edges of graphs: the first network generates one endpoint of each edge, while the second network generates the other endpoint conditioned on the state of the first. We test our approach extensively on five different datasets, comparing with two well-known baselines coming from graph literature, and two recurrent approaches, one of which holds state of the art performances. Evaluation is conducted considering quantitative and qualitative characteristics of the generated samples. Results show that our approach is able to yield novel, and unique graphs originating from very different distributions, while retaining structural properties very similar to those in the training sample. Under the proposed evaluation framework, our approach is able to reach performances comparable to the current state of the art on the graph generation task. | 翻訳日:2023-01-05 05:54:31 公開日:2020-01-31 |
| # モデルミス種別と非依存分布シフトによる安定予測 Stable Prediction with Model Misspecification and Agnostic Distribution Shift ( http://arxiv.org/abs/2001.11713v1 ) ライセンス: Link先を確認 | Kun Kuang, Ruoxuan Xiong, Peng Cui, Susan Athey, Bo Li | (参考訳) 多くの機械学習アルゴリズムでは、パフォーマンスを保証するために2つの主な仮定が必要である。
1つは、テストデータがトレーニングデータと同じ分布から引き出され、もう1つは、モデルが正しく指定されていることである。
しかし、実際のアプリケーションでは、テストデータや基礎となる真のモデルに関する事前知識はほとんどありません。
モデルのミススペクテーションの下では、トレーニングデータとテストデータの間の非依存的な分布シフトは、未知のテストデータ間のパラメータ推定の不正確さと予測の不安定性をもたらす。
これらの問題に対処するために,可変相関正規化器と重み付き回帰モデルを組み合わせた新しい重み付け回帰(dwr)アルゴリズムを提案する。
変数相関正規化器は、重み付きトレーニングデータに変数が相関するように各サンプルの重みを推定する。
そして、重み付け回帰において、各変数の効果に対する推定精度を向上させるためにこれらの重み付けを用いて、未知のテストデータ間の予測の安定性を向上させる。
我々のDWRアルゴリズムはパラメータ推定の精度と予測の安定性をモデルミススペクテーションと非依存分布シフトで著しく向上することを示した。 For many machine learning algorithms, two main assumptions are required to guarantee performance. One is that the test data are drawn from the same distribution as the training data, and the other is that the model is correctly specified. In real applications, however, we often have little prior knowledge on the test data and on the underlying true model. Under model misspecification, agnostic distribution shift between training and test data leads to inaccuracy of parameter estimation and instability of prediction across unknown test data. To address these problems, we propose a novel Decorrelated Weighting Regression (DWR) algorithm which jointly optimizes a variable decorrelation regularizer and a weighted regression model. The variable decorrelation regularizer estimates a weight for each sample such that variables are decorrelated on the weighted training data. Then, these weights are used in the weighted regression to improve the accuracy of estimation on the effect of each variable, thus help to improve the stability of prediction across unknown test data. Extensive experiments clearly demonstrate that our DWR algorithm can significantly improve the accuracy of parameter estimation and stability of prediction with model misspecification and agnostic distribution shift. | 翻訳日:2023-01-05 05:53:30 公開日:2020-01-31 |
| # 深層分析辞書の学習 -その2:畳み込み辞書 Learning Deep Analysis Dictionaries -- Part II: Convolutional Dictionaries ( http://arxiv.org/abs/2002.00022v1 ) ライセンス: Link先を確認 | Jun-Jie Huang and Pier Luigi Dragotti | (参考訳) 本稿では,非構造化辞書の代わりに畳み込み辞書を学習するDeep Convolutional Analysis Dictionary Model (DeepCAM)を紹介する。
畳み込み辞書は、例えば画像のような高次元信号を処理するのに適しており、わずかな自由パラメータしか持たない。
畳み込み辞書の特性を利用して,効率的な畳み込み解析辞書学習手法を提案する。
l層ディープカムは畳み込み解析辞書のl層と要素方向ソフトスレッショルドペアと畳み込み合成辞書の単一層からなる。
DeepAMと同様に、各畳み込み分析辞書は、畳み込み情報保存分析辞書(IPAD)と畳み込みクラスタリング分析辞書(CAD)で構成されている。
IPADとCADは,提案した学習アルゴリズムのバリエーションを用いて学習する。
我々は,deepcamが効果的な多層畳み込みモデルであることを示し,単一画像の超解像では,他の手法に匹敵する性能を実現するとともに,優れた一般化能力を示す。 In this paper, we introduce a Deep Convolutional Analysis Dictionary Model (DeepCAM) by learning convolutional dictionaries instead of unstructured dictionaries as in the case of deep analysis dictionary model introduced in the companion paper. Convolutional dictionaries are more suitable for processing high-dimensional signals like for example images and have only a small number of free parameters. By exploiting the properties of a convolutional dictionary, we present an efficient convolutional analysis dictionary learning approach. A L-layer DeepCAM consists of L layers of convolutional analysis dictionary and element-wise soft-thresholding pairs and a single layer of convolutional synthesis dictionary. Similar to DeepAM, each convolutional analysis dictionary is composed of a convolutional Information Preserving Analysis Dictionary (IPAD) and a convolutional Clustering Analysis Dictionary (CAD). The IPAD and the CAD are learned using variations of the proposed learning algorithm. We demonstrate that DeepCAM is an effective multilayer convolutional model and, on single image super-resolution, achieves performance comparable with other methods while also showing good generalization capabilities. | 翻訳日:2023-01-05 05:46:35 公開日:2020-01-31 |
| # アメリカの選択肢から入力情報を抽出する校正ニューラルネットワークについて On Calibration Neural Networks for extracting implied information from American options ( http://arxiv.org/abs/2001.11786v1 ) ライセンス: Link先を確認 | Shuaiqiang Liu, \'Alvaro Leitao, Anastasia Borovykh, Cornelis W. Oosterlee | (参考訳) ボラティリティや配当のようなインプリード情報を観測されたオプション価格から抽出することは、対応する数学的問題を何千回も解くのに必要な計算コストのため、アメリカのオプションを扱う上で難しい課題である。
我々は、ブラック・スコルズが示唆するボラティリティとアメリカの選択肢の配当利回りを、迅速かつ堅牢な方法で推定するために、データ駆動機械学習アプローチを採用する。
暗黙のボラティリティを決定するために、逆関数は計算領域上の人工ニューラルネットワークによって近似され、オフライン(トレーニング)とオンライン(予測)のフェーズを分離し、反復的なプロセスの必要性をなくす。
含意配当は,逆問題をキャリブレーション問題として定式化し,含意ボラティリティと配当率を同時に決定する。
このため、キャリブレーションニューラルネットワーク(CaNN)と呼ばれる汎用的で堅牢な校正フレームワークを導入し、複数のパラメータを推定する。
機械学習は、アメリカの選択肢から入力情報を抽出する効率的な数値手法として利用できる。 Extracting implied information, like volatility and/or dividend, from observed option prices is a challenging task when dealing with American options, because of the computational costs needed to solve the corresponding mathematical problem many thousands of times. We will employ a data-driven machine learning approach to estimate the Black-Scholes implied volatility and the dividend yield for American options in a fast and robust way. To determine the implied volatility, the inverse function is approximated by an artificial neural network on the computational domain of interest, which decouples the offline (training) and online (prediction) phases and thus eliminates the need for an iterative process. For the implied dividend yield, we formulate the inverse problem as a calibration problem and determine simultaneously the implied volatility and dividend yield. For this, a generic and robust calibration framework, the Calibration Neural Network (CaNN), is introduced to estimate multiple parameters. It is shown that machine learning can be used as an efficient numerical technique to extract implied information from American options. | 翻訳日:2023-01-05 05:44:34 公開日:2020-01-31 |
| # ハイブリッド量子有効RBMアドバンテージ:量子画像圧縮と生成学習のための畳み込みオートエンコーダ A Hybrid Quantum enabled RBM Advantage: Convolutional Autoencoders For Quantum Image Compression and Generative Learning ( http://arxiv.org/abs/2001.11946v1 ) ライセンス: Link先を確認 | Jennifer Sleeman, John Dorband, Milton Halem | (参考訳) d-wave量子コンピュータが機械学習問題にどのように使われるかを理解することは、関心が高まっている。
本研究は,機械学習のサンプルとしてD-Waveを使用することの可能性を評価する。
D-Waveを用いて、古典的なディープニューラルネットワークオートエンコーダと量子アニーリング制限ボルツマンマシン(RBM)を組み合わせたハイブリッドシステムについて述べる。
MNISTデータセットとMNIST Fashionデータセットの2つのデータセットを用いたハイブリッドオートエンコーダアルゴリズムの評価を行った。
本稿では,量子RBM生成サンプルをベースとした下流分類手法を用いて,本手法の品質評価を行う。
提案手法は,2000-qubitのD-Waveプロセッサにおける2つの重要な制限,すなわち,完全連結量子目的関数の典型的な問題サイズに対応するために利用可能な量子ビット数の制限,およびバイナリピクセル表現であるサンプルを克服する。
これらの制限の結果、28×28のグレースケール画像の22倍近い圧縮係数を、元の28×28のグレースケール画像の損失回復を伴う2進6×6サイズの画像にどのように達成したかを示すことができた。
さらに、RBMトレーニング後のD-Waveからサンプルを生成する方法を示し、トレーニングサンプルの再作成とは対照的に、元の入力データ分布のバリエーションである28×28の画像が得られた。
我々は、量子RBMのサンプルを用いてMNIST分類器を訓練した深部畳み込みニューラルネットワークを用いてMNIST分類問題を定式化し、その結果をMNISTトレーニングデータセットで訓練されたMNIST分類器と古典的RBMサンプルを用いて訓練されたMNIST分類器と比較した。
我々のハイブリッドオートエンコーダアプローチは、画像ベース機械学習における現在のRBM古典的コンピュータ実装と、次世代D-Wave量子システムにおけるさらに有望な結果との対比により、RBM結果の利点を示す。 Understanding how the D-Wave quantum computer could be used for machine learning problems is of growing interest. Our work evaluates the feasibility of using the D-Wave as a sampler for machine learning. We describe a hybrid system that combines a classical deep neural network autoencoder with a quantum annealing Restricted Boltzmann Machine (RBM) using the D-Wave. We evaluate our hybrid autoencoder algorithm using two datasets, the MNIST dataset and MNIST Fashion dataset. We evaluate the quality of this method by using a downstream classification method where the training is based on quantum RBM-generated samples. Our method overcomes two key limitations in the current 2000-qubit D-Wave processor, namely the limited number of qubits available to accommodate typical problem sizes for fully connected quantum objective functions and samples that are binary pixel representations. As a consequence of these limitations we are able to show how we achieved nearly a 22-fold compression factor of grayscale 28 x 28 sized images to binary 6 x 6 sized images with a lossy recovery of the original 28 x 28 grayscale images. We further show how generating samples from the D-Wave after training the RBM, resulted in 28 x 28 images that were variations of the original input data distribution, as opposed to recreating the training samples. We formulated an MNIST classification problem using a deep convolutional neural network that used samples from a quantum RBM to train the MNIST classifier and compared the results with an MNIST classifier trained with the original MNIST training data set, as well as an MNIST classifier trained using classical RBM samples. Our hybrid autoencoder approach indicates advantage for RBM results relative to the use of a current RBM classical computer implementation for image-based machine learning and even more promising results for the next generation D-Wave quantum system. | 翻訳日:2023-01-05 05:44:13 公開日:2020-01-31 |
| # マルチタスク学習における意味フレーム情報を用いた視覚的質問応答の強化 Augmenting Visual Question Answering with Semantic Frame Information in a Multitask Learning Approach ( http://arxiv.org/abs/2001.11673v1 ) ライセンス: Link先を確認 | Mehrdad Alizadeh, Barbara Di Eugenio | (参考訳) VQA(Visual Question Answering)は、自然言語による画像に関する質問に対する回答を提供する。
タスクをエンドツーエンドでモデル化するために、いくつかのディープニューラルネットワークアプローチが提案されている。
タスクは視覚処理に基礎を置いているが、動詞によって記述されたイベントに焦点が当てられた場合、言語理解コンポーネントは重要になる。
我々の仮説では、モデルは意味的役割ラベル、引数タイプ、および/またはフレーム要素を介して表現されるように、動詞の意味を意識すべきである。
残念ながら、動詞の意味情報を含むVQAデータセットは存在しない。
最初のコントリビューションは、imSituアノテーションを利用して構築した新しいVQAデータセット(imSituVQA)です。
imSituデータセットは、主にFrameNetから取得したセマンティックフレーム要素で手動でラベル付けされたイメージで構成されている。
次に,マルチタスクCNN-LSTM VQAモデルを提案する。
実験により,VQAシステムでは不整合応答が回避され,性能が向上することがわかった。 Visual Question Answering (VQA) concerns providing answers to Natural Language questions about images. Several deep neural network approaches have been proposed to model the task in an end-to-end fashion. Whereas the task is grounded in visual processing, if the question focuses on events described by verbs, the language understanding component becomes crucial. Our hypothesis is that models should be aware of verb semantics, as expressed via semantic role labels, argument types, and/or frame elements. Unfortunately, no VQA dataset exists that includes verb semantic information. Our first contribution is a new VQA dataset (imSituVQA) that we built by taking advantage of the imSitu annotations. The imSitu dataset consists of images manually labeled with semantic frame elements, mostly taken from FrameNet. Second, we propose a multitask CNN-LSTM VQA model that learns to classify the answers as well as the semantic frame elements. Our experiments show that semantic frame element classification helps the VQA system avoid inconsistent responses and improves performance. | 翻訳日:2023-01-05 05:36:40 公開日:2020-01-31 |
| # 超複素値リカレント相関ニューラルネットワーク Hypercomplex-Valued Recurrent Correlation Neural Networks ( http://arxiv.org/abs/2002.00027v1 ) ライセンス: Link先を確認 | Marcos Eduardo Valle and Rodolfo Anibal Lobo | (参考訳) chiuehとgoodmanがバイポーラ相関ベースのホップフィールドニューラルネットワークの改良版として導入したrecurrent correlation neural networks (rcnns)は、高容量連想記憶の実装に使用できる。
本稿では,超複素数値データ処理のためのバイポーラRCNNを拡張する。
正確には、超複素値rcnnの幅広いクラスに対する数学的背景を示す。
そして,超複素値RCNNが同期モードと非同期更新モードのいずれかを用いて常に平衡に落ち着くために必要な条件を提供する。
二極性、複素性、双曲性、四元性、およびオクトニオン値のRCNNの例は、理論的結果を説明するために与えられる。
最後に, 計算実験により, グレースケール画像の記憶と記憶のための連想記憶として, ハイパーコンプレックス値rcnnの潜在的な応用が確認された。 Recurrent correlation neural networks (RCNNs), introduced by Chiueh and Goodman as an improved version of the bipolar correlation-based Hopfield neural network, can be used to implement high-capacity associative memories. In this paper, we extend the bipolar RCNNs for processing hypercomplex-valued data. Precisely, we present the mathematical background for a broad class of hypercomplex-valued RCNNs. Then, we provide the necessary conditions which ensure that a hypercomplex-valued RCNN always settles at an equilibrium using either synchronous or asynchronous update modes. Examples with bipolar, complex, hyperbolic, quaternion, and octonion-valued RCNNs are given to illustrate the theoretical results. Finally, computational experiments confirm the potential application of hypercomplex-valued RCNNs as associative memories designed for the storage and recall of gray-scale images. | 翻訳日:2023-01-05 05:36:22 公開日:2020-01-31 |
| # リカレントニューラルネットワークのためのエンコーディングベースメモリモジュール Encoding-based Memory Modules for Recurrent Neural Networks ( http://arxiv.org/abs/2001.11771v1 ) ライセンス: Link先を確認 | Antonio Carta, Alessandro Sperduti, Davide Bacciu | (参考訳) 逐次的タスクをリカレントモデルで解くには、長いシーケンスを記憶し、タスク関連機能を抽出する能力が必要である。
本稿では,リカレントニューラルネットワークの設計とトレーニングの観点から,記憶サブタスクについて検討する。
本稿では,線形オートエンコーダを組み込んだエンコーディングベースのメモリコンポーネントを特徴とする新しいモデルであるLinear Memory Networkを提案する。
記憶成分をモジュールメモリで拡張し,異なるサンプリング周波数で隠れた状態列を符号化する。
さらに,メモリを初期化し,ネットワークの隠れたアクティベーションを効率的にエンコードする専用トレーニングアルゴリズムを提案する。
合成および実世界のデータセットを用いた実験結果から, 記憶成分を訓練するためのトレーニングアルゴリズムの専門化は, 長い列の記憶が必要なときは常に最終性能を向上することがわかった。 Learning to solve sequential tasks with recurrent models requires the ability to memorize long sequences and to extract task-relevant features from them. In this paper, we study the memorization subtask from the point of view of the design and training of recurrent neural networks. We propose a new model, the Linear Memory Network, which features an encoding-based memorization component built with a linear autoencoder for sequences. We extend the memorization component with a modular memory that encodes the hidden state sequence at different sampling frequencies. Additionally, we provide a specialized training algorithm that initializes the memory to efficiently encode the hidden activations of the network. The experimental results on synthetic and real-world datasets show that specializing the training algorithm to train the memorization component always improves the final performance whenever the memorization of long sequences is necessary to solve the problem. | 翻訳日:2023-01-05 05:35:48 公開日:2020-01-31 |
| # 知識グラフを用いた質問応答のための事前学習トランスフォーマー Pretrained Transformers for Simple Question Answering over Knowledge Graphs ( http://arxiv.org/abs/2001.11985v1 ) ライセンス: Link先を確認 | D. Lukovnikov, A. Fischer, J. Lehmann | (参考訳) 知識グラフに関する単純な質問に答えることは、質問応答におけるよく研究された問題である。
このタスクに対する以前のアプローチは、事前学習された単語埋め込みを使用するリカレントおよび畳み込みニューラルネットワークベースのアーキテクチャに基づいている。
最近、様々な自然言語処理タスクにおいて、事前訓練されたトランスフォーマーネットワーク(例えばBERT)が従来の手法より優れていることが示されている。
本研究では, BERT が SimpleQuestions 上でどのように機能するかを検証し, データスパースシナリオにおける BERT と BiLSTM をベースとしたモデルの評価を行う。 Answering simple questions over knowledge graphs is a well-studied problem in question answering. Previous approaches for this task built on recurrent and convolutional neural network based architectures that use pretrained word embeddings. It was recently shown that finetuning pretrained transformer networks (e.g. BERT) can outperform previous approaches on various natural language processing tasks. In this work, we investigate how well BERT performs on SimpleQuestions and provide an evaluation of both BERT and BiLSTM-based models in datasparse scenarios. | 翻訳日:2023-01-05 05:35:34 公開日:2020-01-31 |