このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス(CC 0, CC BY, CC BY-SA)の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。(arxivのメタデータは CC 0です。) 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。

本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。

公開日が20200104となっている論文です。

PDF登録状況(公開日: 20200104)

TitleAuthorsAbstract論文公表日・翻訳日
# ペアワイズ判別器を用いた言い換え質問生成器の再検討

Revisiting Paraphrase Question Generator using Pairwise Discriminator ( http://arxiv.org/abs/1912.13149v2 )

ライセンス: Link先を確認
Badri N. Patro, Dev Chauhan, Vinod K. Kurmi, Vinay P. Namboodiri(参考訳) 本稿では,文レベルの埋め込みを実現する手法を提案する。 単語レベルの埋め込みの確保の問題はよく研究されているが,文レベルの埋め込みを得るための新しい手法を提案する。 これは、パラフレーズ生成タスクを解く文脈における単純な方法によって得られる。 パラフレーズを生成するためにシーケンシャルエンコーダ・デコーダモデルを使用する場合、生成されたパラフレーズが元の文にセマンティックに近いようにしたい。 これを保証する1つの方法は、真の言い換え埋め込みの制約を近く、関係のない言い換え候補の文埋め込みを遠くまで加えることである。 これは、適切な損失関数で訓練されたエンコーダと重みを共有するシーケンシャルなペアワイズ判別器を用いて保証される。 損失関数はパラフレーズ文の埋め込み距離が大きすぎることを罰する。 この損失はシーケンシャルエンコーダ-デコーダネットワークと組み合わせて使用される。 また,感情分析タスクにおいて得られた埋め込みを評価し,評価を行った。 提案手法は意味的埋め込みを生じさせ,標準データセットにおけるパラフレーズ生成と感情分析タスクの最先端を上回っている。 これらの結果は統計的に有意である。

In this paper, we propose a method for obtaining sentence-level embeddings. While the problem of securing word-level embeddings is very well studied, we propose a novel method for obtaining sentence-level embeddings. This is obtained by a simple method in the context of solving the paraphrase generation task. If we use a sequential encoder-decoder model for generating paraphrase, we would like the generated paraphrase to be semantically close to the original sentence. One way to ensure this is by adding constraints for true paraphrase embeddings to be close and unrelated paraphrase candidate sentence embeddings to be far. This is ensured by using a sequential pair-wise discriminator that shares weights with the encoder that is trained with a suitable loss function. Our loss function penalizes paraphrase sentence embedding distances from being too large. This loss is used in combination with a sequential encoder-decoder network. We also validated our method by evaluating the obtained embeddings for a sentiment analysis task. The proposed method results in semantic embeddings and outperforms the state-of-the-art on the paraphrase generation and sentiment analysis task on standard datasets. These results are also shown to be statistically significant.
翻訳日:2023-01-16 20:15:35 公開日:2020-01-04
# 推論問題における下降アルゴリズムの閾値

Thresholds of descending algorithms in inference problems ( http://arxiv.org/abs/2001.00479v2 )

ライセンス: Link先を確認
Stefano Sarao Mannelli and Lenka Zdeborova(参考訳) 確率論的推論問題における勾配に基づくアルゴリズムの力学解析に関する最近の研究について概説する。 これらの研究は、ガラス系物理学の手法と洞察を用いて、勾配に基づくアルゴリズムの性能を定量的かつ質的に理解する方法を示した。 ここでは、関連する研究の文脈において、物理学者の幅広い聴衆が利用できる非技術的用語による重要な結果とその解釈についてレビューする。

We review recent works on analyzing the dynamics of gradient-based algorithms in a prototypical statistical inference problem. Using methods and insights from the physics of glassy systems, these works showed how to understand quantitatively and qualitatively the performance of gradient-based algorithms. Here we review the key results and their interpretation in non-technical terms accessible to a wide audience of physicists in the context of related works.
翻訳日:2023-01-16 04:03:19 公開日:2020-01-04
# ナノファイバーを用いた極低温用高Qマイクロ共振器

Nanofiber-based high-Q microresonator for cryogenic applications ( http://arxiv.org/abs/2001.01084v1 )

ライセンス: Link先を確認
Johanna H\"utner, Thomas Hoinkes, Martin Becker, Manfred Rothhardt, Arno Rauschenbeutel, and Sarah M. Skoff(参考訳) 我々は、低温互換で完全ファイバ集積型アライメントレス光マイクロ共振器を実証する。 低温との互換性は、極低温環境がしばしば要求される固体量子光学の広い分野に応用できる範囲を広げる。 4.6 Kの温度では、$\mathbf{(9.9 \pm 0.7) \times 10^6}$となる。 ナノファイバーによって提供される小さなモード体積と相まって、このキャビティはコヒーレント力学または高速キャビティ状態において使用することができ、最大15のパーセル因子を提供することができる。 したがって、この共振器は、光と様々な量子エミッタとの結合を著しく向上させるのに適しており、また、広い温度範囲においてその性能が証明されているため、量子ハイブリッドシステムの実装にも有用である。

We demonstrate a cryo-compatible, fully fiber-integrated, alignment-free optical microresonator. The compatibility with low temperatures expands its possible applications to the wide field of solid-state quantum optics, where a cryogenic environment is often a requirement. At a temperature of 4.6 K we obtain a quality factor of $\mathbf{(9.9 \pm 0.7) \times 10^6}$. In conjunction with the small mode volume provided by the nanofiber, this cavity can be either used in the coherent dynamics or the fast cavity regime, where it can provide a Purcell factor of up to 15. Our resonator is therefore suitable for significantly enhancing the coupling between light and a large variety of different quantum emitters and due to its proven performance over a wide temperature range, also lends itself for the implementation of quantum hybrid systems.
翻訳日:2023-01-14 13:01:50 公開日:2020-01-04
# 量子鍵分布のためのマルチマトリックスレート互換再結合

Multi-matrix rate-compatible reconciliation for quantum key distribution ( http://arxiv.org/abs/2001.01074v1 )

ライセンス: Link先を確認
Chaohui Gao, Yu Guo, Dong Jiang, and Lijun Chen(参考訳) qkd(key reconciliation of quantum key distribution)は、チャネルノイズと盗聴者による2人の正当なユーザの鍵の識別による誤りを修正するプロセスである。 和解効率は、和解スキームの品質を判断する上で最も重要な指標である。 整合性を向上させるため,鍵整合性のための整合性向上技術 (SRCR) が提案された。 本稿では,最近提案されているマルチマトリックスリコンシリエーションと呼ばれる手法を,マルチマトリックスレート互換リコンシリエーション(mrcr)と呼ぶsrcrに導入し,リコンシリエーション効率をさらに向上させ,srcrのスループット向上を図る。 シミュレーションの結果,MRCRは整合効率とスループットにおいてSRCRより優れていることがわかった。

Key reconciliation of quantum key distribution (QKD) is the process of correcting errors caused by channel noise and eavesdropper to identify the keys of two legitimate users. Reconciliation efficiency is the most important figure for judging the quality of a reconciliation scheme. To improve reconciliation efficiency, rate-compatible technologies was proposed for key reconciliation, which is denoted as the single-matrix ratecompatible reconciliation (SRCR). In this paper, a recently suggested technique called multi-matrix reconciliation is introduced into SRCR, which is referred to as the multi-matrix rate-compatible reconciliation (MRCR), to further improve reconciliation efficiency and promote the throughput of SRCR. Simulation results show that MRCR we proposed outperforms SRCR in reconciliation efficiency and throughput.
翻訳日:2023-01-14 13:01:20 公開日:2020-01-04
# 大規模屋外環境のためのランドマーク付きビジュアルセマンティクススラム

Visual Semantic SLAM with Landmarks for Large-Scale Outdoor Environment ( http://arxiv.org/abs/2001.01028v1 )

ライセンス: Link先を確認
Zirui Zhao, Yijun Mao, Yan Ding, Pengju Ren, Nanning Zheng(参考訳) セマンティックSLAMは、自律運転とインテリジェントエージェントの重要な分野であり、ロボットが高度なナビゲーションタスクを達成し、単純な認識や推論能力を獲得し、言語に基づく人間ロボットのインタラクションを実現できる。 本稿では,orbスラムからの3dポイントクラウドと畳み込みニューラルネットワークモデルpspnet-101からの意味セグメンテーション情報を組み合わせることで,意味的3dマップを解明するシステムを構築した。 さらに、KITTIシークエンスのための新しいデータセットが構築され、シーケンスの関連通りのGoogleマップからランドマークのGPS情報とラベルが含まれている。 さらに,実世界のランドマークとポイントクラウドマップを関連付ける方法を見つけ,セマンティックマップに基づいたトポロジマップを構築した。

Semantic SLAM is an important field in autonomous driving and intelligent agents, which can enable robots to achieve high-level navigation tasks, obtain simple cognition or reasoning ability and achieve language-based human-robot-interaction. In this paper, we built a system to creat a semantic 3D map by combining 3D point cloud from ORB SLAM with semantic segmentation information from Convolutional Neural Network model PSPNet-101 for large-scale environments. Besides, a new dataset for KITTI sequences has been built, which contains the GPS information and labels of landmarks from Google Map in related streets of the sequences. Moreover, we find a way to associate the real-world landmark with point cloud map and built a topological map based on semantic map.
翻訳日:2023-01-14 12:59:00 公開日:2020-01-04
# Grab:カシエレスショッピングのための高速かつ高精度なセンサ処理

Grab: Fast and Accurate Sensor Processing for Cashier-Free Shopping ( http://arxiv.org/abs/2001.01033v1 )

ライセンス: Link先を確認
Xiaochen Liu, Yurong Jiang, Kyu-Han Kim, Ramesh Govindan(参考訳) Amazon Goのようなカシエレスショッピングシステムは、ショッピング体験を改善するが、店舗の再設計が必要になる。 本稿では,既存のインフラストラクチャとデバイスを利用してレジなしショッピングを実現する実用システムgrabを提案する。 Grabは顧客を正確に識別し、追跡し、各買い物客を棚から回収するアイテムに関連付ける必要がある。 これを実現するために、keypointベースのポーズトラッカーをビルディングブロックとして使用し、堅牢な機能ベースの顔追跡装置を開発し、腕の動きを関連付けて追跡するアルゴリズムを開発した。 また、カメラ、重量計、RFIDセンサーからの読み書きを融合させ、どの買い物客がどの商品を拾うかを正確に評価する。 小売店でのパイロット展開による実験では、40%のショッピング行動がシステムを混乱させるように設計された場合でも、Grabは90%以上の精度とリコールを達成できる。 さらにgrabには、コンピューティングインフラストラクチャへの投資を4倍に減らすための最適化がある。

Cashier-free shopping systems like Amazon Go improve shopping experience, but can require significant store redesign. In this paper, we propose Grab, a practical system that leverages existing infrastructure and devices to enable cashier-free shopping. Grab needs to accurately identify and track customers, and associate each shopper with items he or she retrieves from shelves. To do this, it uses a keypoint-based pose tracker as a building block for identification and tracking, develops robust feature-based face trackers, and algorithms for associating and tracking arm movements. It also uses a probabilistic framework to fuse readings from camera, weight and RFID sensors in order to accurately assess which shopper picks up which item. In experiments from a pilot deployment in a retail store, Grab can achieve over 90% precision and recall even when 40% of shopping actions are designed to confuse the system. Moreover, Grab has optimizations that help reduce investment in computing infrastructure four-fold.
翻訳日:2023-01-14 12:58:47 公開日:2020-01-04
# ブロックマッチングと3次元フィルタリングに基づく多層融合法による画像スペックルノイズの除去

Image Speckle Noise Denoising by a Multi-Layer Fusion Enhancement Method based on Block Matching and 3D Filtering ( http://arxiv.org/abs/2001.01055v1 )

ライセンス: Link先を確認
Huang Shuo, Zhou Ping, Shi Hao, Sun Yu, Wan Suiren(参考訳) ブロックマッチング3次元フィルタリング法(bm3d法)のスペックルノイズデノージングを改善するために,nsct(nonsubsampled contourlet transform)に基づく画像周波数領域多層融合拡張法(mlfe-bm3d)を提案する。 本発明の方法は、画像前処理のためにNSCTハードしきい値デノイズ化強調部を設計し、次にNSCTドメイン内の融合強調部を用いて、NSCTハードしきい値デノイズ化前後の画像の予備推定結果をフューズし、最終的に、融合画像を用いてBM3Dデノイズ化を行い、最終的なデノイズ化結果を得る。 自然画像と医用超音波画像を用いた実験により, MLFE-BM3D法はBM3D法よりも優れた視覚効果が得られ, 鑑別画像のピーク信号とノイズ比(PSNR)は0.5dBに増大することがわかった。 MLFE-BM3D法はテクスチャ領域におけるスペックルノイズの消音効果を改善でき、画像の滑らかな領域において良好な消音効果を維持することができる。

In order to improve speckle noise denoising of block matching 3d filtering (BM3D) method, an image frequency-domain multi-layer fusion enhancement method (MLFE-BM3D) based on nonsubsampled contourlet transform (NSCT) has been proposed. The method designs a NSCT hard threshold denoising enhancement to preprocess the image, then uses fusion enhancement in NSCT domain to fuse the preliminary estimation results of images before and after the NSCT hard threshold denoising, finally, BM3D denoising is carried out with the fused image to obtain the final denoising result. Experiments on natural images and medical ultrasound images show that MLFE-BM3D method can achieve better visual effects than BM3D method, the peak signal to noise ratio (PSNR) of the denoised image is increased by 0.5dB. The MLFE-BM3D method can improve the denoising effect of speckle noise in the texture region, and still maintain a good denoising effect in the smooth region of the image.
翻訳日:2023-01-14 12:58:31 公開日:2020-01-04
# 3次元畳み込みニューラルネットワークを用いたCT画像のPD分類

COPD Classification in CT Images Using a 3D Convolutional Neural Network ( http://arxiv.org/abs/2001.01100v1 )

ライセンス: Link先を確認
Jalil Ahmed, Sulaiman Vesal, Felix Durlak, Rainer Kaergel, Nishant Ravikumar, Martine Remy-Jardin, Andreas Maier(参考訳) 慢性閉塞性肺疾患(英: chronic obstructive pulmonary disease、copd)は、完全可逆性ではなく、世界の主要な病因の一つである肺疾患である。 COPDの早期発見と診断は、患者の生存率を高め、COPD進行のリスクを低減することができる。 現在, COPD を診断するための主要な検査ツールはスピロメトリーである。 しかし,CT(Computerd tomography)は症状の検出や COPD のサブタイプ分類に用いられている。 異なるイメージングモードを使用することは、医師にとっても困難で面倒な作業であり、サーバ間およびサーバ内変異の主観的です。 したがって、COPDと健康な患者を自動分類できるメソオドを開発することは大きな関心事である。 本稿では,容積的アノテーションのみを用いてcopdと気腫を分類する3次元ディープラーニング手法を提案する。 また,事前に訓練した COPD 分類モデルからの知識伝達を用いた気腫分類における移動学習の効果を示す。

Chronic obstructive pulmonary disease (COPD) is a lung disease that is not fully reversible and one of the leading causes of morbidity and mortality in the world. Early detection and diagnosis of COPD can increase the survival rate and reduce the risk of COPD progression in patients. Currently, the primary examination tool to diagnose COPD is spirometry. However, computed tomography (CT) is used for detecting symptoms and sub-type classification of COPD. Using different imaging modalities is a difficult and tedious task even for physicians and is subjective to inter-and intra-observer variations. Hence, developing meth-ods that can automatically classify COPD versus healthy patients is of great interest. In this paper, we propose a 3D deep learning approach to classify COPD and emphysema using volume-wise annotations only. We also demonstrate the impact of transfer learning on the classification of emphysema using knowledge transfer from a pre-trained COPD classification model.
翻訳日:2023-01-14 12:58:07 公開日:2020-01-04
# ビジネス交渉定義言語

Business Negotiation Definition Language ( http://arxiv.org/abs/2001.10799v1 )

ライセンス: Link先を確認
Rustam Tagiew(参考訳) 本論文の目的は,一般ゲームプレイのための業界対応プロトタイプソフトウェアを提案することである。 このソフトウェアは、ゲーム理論ライブラリ、AI駆動のソフトウェアテスト、アルゴリズム取引、人間の行動マイニング、(戦略的な)相互作用のシミュレーションなど、実験経済学研究の中心的要素としても使用できる。 このソフトウェアは、ビジネス交渉のためのドメイン固有言語SIDL3.0に基づいている。 この論文には、この言語の力を証明する多くの例も含まれている。

The target of this paper is to present an industry-ready prototype software for general game playing. This software can also be used as the central element for experimental economics research, interfacing of game-theoretic libraries, AI-driven software testing, algorithmic trade, human behavior mining and simulation of (strategic) interactions. The software is based on a domain-specific language for electronic business to business negotiations -- SIDL3.0. The paper also contains many examples to prove the power of this language.
翻訳日:2023-01-14 12:57:28 公開日:2020-01-04
# ソーシャルサイエンスによる特徴工学: サイン付きリンク分析への新しいアプローチ

Social Science Guided Feature Engineering: A Novel Approach to Signed Link Analysis ( http://arxiv.org/abs/2001.01015v1 )

ライセンス: Link先を確認
Ghazaleh Beigi, Jiliang Tang, Huan Liu(参考訳) 多くの実世界の関係は、正のリンク(例えば友情や信頼)と負のリンク(例えば、敵と不信)を持つ符号付きネットワークで表される。 リンク予測は、レコメンデーションシステムなどのソーシャルネットワーク分析におけるタスクの進行を支援する。 リンク分析に関する既存の作業のほとんどは、無署名のソーシャルネットワークに焦点を当てている。 負リンクの存在は、署名されたネットワークの性質と原則が無署名ネットワークと異なるかどうかを調査する研究の関心をひきつけ、署名されたソーシャルネットワークのリンク分析に関する専門的な取り組みを義務付ける。 近年の研究では、符号付きネットワークの特性は符号なしネットワークと大きく異なることが示唆され、負のリンクは相補的な方法で符号付きリンク解析において大きな助けとなる。 本稿では,サイン付きリンク解析の難解な問題を中心に議論を行う。 符号付きリンク解析はデータ空間の問題に直面し、符号付きリンクのごく一部しか与えられない。 この問題は、ネガティブリンクがポジティブリンクよりもスペアである場合、ユーザーがネガティブリンクよりもポジティブな配置に傾いている場合、さらに悪化する可能性がある。 署名付きリンク分析における他の情報源の活用方法について検討する。 この研究は主に3つの社会科学理論、感情情報、イノベーションの拡散、個性によって導かれている。 これらをもとに3つの関連特徴のカテゴリを抽出し,それらをリンク解析に活用した。 実験は、サイン付きリンク予測とデータスパーシティチャレンジに対処するための社会理論から得られた特徴の重要性を示す。

Many real-world relations can be represented by signed networks with positive links (e.g., friendships and trust) and negative links (e.g., foes and distrust). Link prediction helps advance tasks in social network analysis such as recommendation systems. Most existing work on link analysis focuses on unsigned social networks. The existence of negative links piques research interests in investigating whether properties and principles of signed networks differ from those of unsigned networks, and mandates dedicated efforts on link analysis for signed social networks. Recent findings suggest that properties of signed networks substantially differ from those of unsigned networks and negative links can be of significant help in signed link analysis in complementary ways. In this article, we center our discussion on a challenging problem of signed link analysis. Signed link analysis faces the problem of data sparsity, i.e. only a small percentage of signed links are given. This problem can even get worse when negative links are much sparser than positive ones as users are inclined more towards positive disposition rather than negative. We investigate how we can take advantage of other sources of information for signed link analysis. This research is mainly guided by three social science theories, Emotional Information, Diffusion of Innovations, and Individual Personality. Guided by these, we extract three categories of related features and leverage them for signed link analysis. Experiments show the significance of the features gleaned from social theories for signed link prediction and addressing the data sparsity challenge.
翻訳日:2023-01-14 12:57:19 公開日:2020-01-04
# 二次元バックルリーブ格子の実験的実現

Experimental Realization of Two-Dimensional Buckled Lieb lattice ( http://arxiv.org/abs/2001.01045v1 )

ライセンス: Link先を確認
Haifeng Feng, Chen Liu, Si Zhou, Nan Gao, Qian Gao, Jincheng Zhuang, Xun Xu, Zhenpeng Hu, Jiaou Wang, Lan Chen, Jijun Zhao, Yi Du(参考訳) リーブ格子を持つ2次元(2D)材料は、エキゾチックな電子バンド構造をホストすることができる。 このようなシステムは自然界には存在せず、構造的な不安定さのため実験室では入手が困難である。 そこで我々は,アルミニウム基板上のスズ重層からなる2Dシステムについて,分子線エピタキシーにより実験を行った。 Al(100)表面上のSn原子の特定の配列は、良好な界面相互作用の恩恵を受け、安定に座屈したリーブ格子を形成する。 我々の理論計算は、ミラー反射対称性と、このリーブ格子のバンド構造にスピン軌道結合(soc)効果を持つ位相的に非自明な絶縁状態によって保護される部分的断線ループを示している。 このシステムの電子構造は、走査トンネル分光法と角度分解光エミジョン分光法で実験的に特徴づけられている。 我々の研究はリーブ格子に基づく2次元量子材料を構築するための魅力的な方法を提供する。

Two-dimensional (2D) materials with a Lieb lattice can host exotic electronic band structures. Such a system does not exist in nature, and it is also difficult to obtain in the laboratory due to its structural instability. Here, we experimentally realized a 2D system composed of a tin overlayer on an aluminum substrate by molecular beam epitaxy. The specific arrangement of Sn atoms on the Al(100) surface, which benefits from favorable interface interactions, forms a stabilized buckled Lieb lattice. Our theoretical calculations indicate a partially broken nodal line loop protected by its mirror reflection symmetry and a topologically nontrivial insulating state with a spin-orbital coupling (SOC) effect in the band structure of this Lieb lattice. The electronic structure of this system has also been experimentally characterized by scanning tunnelling spectroscopy and angle-resolved photoemmision spectroscopy. Our work provides an appealing method for constructing 2D quantum materials based on the Lieb lattice.
翻訳日:2023-01-14 12:56:39 公開日:2020-01-04
# 皮膚病変画像分割・分類のための自己学習型AIフレームワーク

Self-Learning AI Framework for Skin Lesion Image Segmentation and Classification ( http://arxiv.org/abs/2001.05838v1 )

ライセンス: Link先を確認
Anandhanarayanan Kamalakannan, Shiva Shankar Ganesan and Govindaraj Rajamanickam(参考訳) 画像分割と分類は、パターン認識における2つの主要な基本ステップである。 深層学習モデルで医用画像のセグメンテーションや分類を行うには、アノテーションによる大規模な画像データセットのトレーニングが必要である。 本研究を対象とする皮膚内視鏡画像(ISICアーカイブ)には,病変の分節に関する真実情報がない。 このデータセットで手動ラベリングを実行するのに時間がかかる。 この問題を解決するために,2段階のディープラーニングアルゴリズムにおいて自己学習アノテーションスキームが提案された。 2段階のディープラーニングアルゴリズムは、アノテーションスキームとCNN分類器モデルを備えたU-Netセグメンテーションモデルからなる。 アノテーションスキームは、K平均クラスタリングアルゴリズムとマージ条件を用いて、U-Netモデルをトレーニングするための初期ラベリング情報を達成する。 ResNet-50とLeNet-5という分類器モデルは、比較のためのセグメンテーションや、提案された自己学習人工知能(AI)フレームワークを実装するためのU-Netセグメンテーションを使わずに、画像データセット上で訓練され、テストされた。 提案するaiフレームワークの分類結果は、入力画像上で直接トレーニングされた2つの分類器モデルと比較して、93.8%のトレーニング精度と82.42%のテスト精度を達成している。

Image segmentation and classification are the two main fundamental steps in pattern recognition. To perform medical image segmentation or classification with deep learning models, it requires training on large image dataset with annotation. The dermoscopy images (ISIC archive) considered for this work does not have ground truth information for lesion segmentation. Performing manual labelling on this dataset is time-consuming. To overcome this issue, self-learning annotation scheme was proposed in the two-stage deep learning algorithm. The two-stage deep learning algorithm consists of U-Net segmentation model with the annotation scheme and CNN classifier model. The annotation scheme uses a K-means clustering algorithm along with merging conditions to achieve initial labelling information for training the U-Net model. The classifier models namely ResNet-50 and LeNet-5 were trained and tested on the image dataset without segmentation for comparison and with the U-Net segmentation for implementing the proposed self-learning Artificial Intelligence (AI) framework. The classification results of the proposed AI framework achieved training accuracy of 93.8% and testing accuracy of 82.42% when compared with the two classifier models directly trained on the input images.
翻訳日:2023-01-14 12:49:50 公開日:2020-01-04
# コード切替インフォーマル短文の感性分類における深層学習の適用

Adapting Deep Learning for Sentiment Classification of Code-Switched Informal Short Text ( http://arxiv.org/abs/2001.01047v1 )

ライセンス: Link先を確認
Muhammad Haroon Shakeel, Asim Karim(参考訳) 現在、地域言語に影響を受けた非標準の文体を用いる短いテキストが大量に生成されている。 このような非公式なコンテンツやコードスイッチトされたコンテンツは、感情分類のような一般的なタスクであっても、ラベル付きデータセットや言語モデルの観点から過小評価されている。 本研究は,(1)コード切り換え略文の感情分類のためのmultisentiと呼ばれるラベル付きデータセットを提示し,(2)リソースリッチ言語からのリソース適応の可能性について検討し,(3)コード切り換え略文の感情分類のための深層学習に基づくモデルを提案する。 我々は、語彙正規化、言語翻訳、コードスイッチング表示なしでこれを実現することを目指している。 提案モデルの性能を既存の3つの多言語感情分類モデルと比較した。 提案モデルでは,単語ベースのドメイン固有埋め込みの学習よりも計算効率が良く,文字ベースの埋め込みを適応することで同等の性能が得られることを示す。

Nowadays, an abundance of short text is being generated that uses nonstandard writing styles influenced by regional languages. Such informal and code-switched content are under-resourced in terms of labeled datasets and language models even for popular tasks like sentiment classification. In this work, we (1) present a labeled dataset called MultiSenti for sentiment classification of code-switched informal short text, (2) explore the feasibility of adapting resources from a resource-rich language for an informal one, and (3) propose a deep learning-based model for sentiment classification of code-switched informal short text. We aim to achieve this without any lexical normalization, language translation, or code-switching indication. The performance of the proposed models is compared with three existing multilingual sentiment classification models. The results show that the proposed model performs better in general and adapting character-based embeddings yield equivalent performance while being computationally more efficient than training word-based domain-specific embeddings.
翻訳日:2023-01-14 12:49:31 公開日:2020-01-04
# ヒューマンタスクインターリーブモデルとしての階層的強化学習

Hierarchical Reinforcement Learning as a Model of Human Task Interleaving ( http://arxiv.org/abs/2001.02122v1 )

ライセンス: Link先を確認
Christoph Gebhardt, Antti Oulasvirta, Otmar Hilliges(参考訳) タスクの継続期間、切り替えのタイミング、その他のタスクについて、どのように判断するのでしょうか? タスクインターリービングを支えるメカニズムを理解することは、認知科学における長年の目標である。 先行研究は、欲深いヒューリスティックスと、利益の限界率を最大化する政策を示唆している。 しかし、このような戦略が複雑なスイッチコストと報酬の遅れを伴う複数のタスクを提供する日々の環境にどのように適応できるのかは不明だ。 本稿では,強化学習(rl)による監視制御の階層モデルを開発した。 監督レベルは、低いレベルで計算されるタスク固有の近似ユーティリティ推定を用いて切り替えることを学ぶ。 階層的に最適な値関数分解は、複数のタスクと任意かつ不確実な報酬とコスト構造を持つ条件でさえ経験から学べる。 このモデルは、タスクインターリービングの既知の経験的効果を再現する。 6タスク問題(N=211)では、ミオピックベースラインよりも個々のレベルのデータの予測が優れている。 その結果、タスクインターリーブの可能なモデルとして階層的rlがサポートされる。

How do people decide how long to continue in a task, when to switch, and to which other task? Understanding the mechanisms that underpin task interleaving is a long-standing goal in the cognitive sciences. Prior work suggests greedy heuristics and a policy maximizing the marginal rate of return. However, it is unclear how such a strategy would allow for adaptation to everyday environments that offer multiple tasks with complex switch costs and delayed rewards. Here we develop a hierarchical model of supervisory control driven by reinforcement learning (RL). The supervisory level learns to switch using task-specific approximate utility estimates, which are computed on the lower level. A hierarchically optimal value function decomposition can be learned from experience, even in conditions with multiple tasks and arbitrary and uncertain reward and cost structures. The model reproduces known empirical effects of task interleaving. It yields better predictions of individual-level data than a myopic baseline in a six-task problem (N=211). The results support hierarchical RL as a plausible model of task interleaving.
翻訳日:2023-01-14 12:49:14 公開日:2020-01-04
# rpr: トレーニングのためのランダムパーティショニング緩和;二元および三元重みニューラルネットワーク

RPR: Random Partition Relaxation for Training; Binary and Ternary Weight Neural Networks ( http://arxiv.org/abs/2001.01091v1 )

ライセンス: Link先を確認
Lukas Cavigelli, Luca Benini(参考訳) ニューラルネットワーク重みを2進(+1/-1)および3進(+1/0/-1)値に強く量子化する手法であるランダム分割緩和(RPR)を提案する。 事前学習したモデルから始めて、重みを定量化し、その後、無作為な分割を連続的な値に緩和して再トレーニングし、再定量化する前に別の重み分割に切り替え、さらなる適応を行う。 既存のフレームワークに容易に統合可能なSGDベースのトレーニング手法を用いて,GoogLeNetの最先端以上の精度とResNet-18とResNet-50の競合性能を有するバイナリおよび3次ネットワークを実証した。

We present Random Partition Relaxation (RPR), a method for strong quantization of neural networks weight to binary (+1/-1) and ternary (+1/0/-1) values. Starting from a pre-trained model, we quantize the weights and then relax random partitions of them to their continuous values for retraining before re-quantizing them and switching to another weight partition for further adaptation. We demonstrate binary and ternary-weight networks with accuracies beyond the state-of-the-art for GoogLeNet and competitive performance for ResNet-18 and ResNet-50 using an SGD-based training method that can easily be integrated into existing frameworks.
翻訳日:2023-01-14 12:48:30 公開日:2020-01-04
# DAF-NET : 微細な画像分類のための二重注意融合法

DAF-NET: a saliency based weakly supervised method of dual attention fusion for fine-grained image classification ( http://arxiv.org/abs/2001.02219v1 )

ライセンス: Link先を確認
ZiChao Dong, JiLong Wu, TingTing Ren, Yue Wang, MengYing Ge(参考訳) 識別的特徴を見つけるのが難しいため、きめ細かい画像分類は難しい問題である。 この状況に対処するには、基本的には2つの方法がある。 1つは注意に基づく手法で情報領域に焦点を合わせ、もう1つは特徴間の高次性を見つけることを目的としている。 さらに,注意に基づく手法には,アクティベーションベースと検出ベースという2つの方向がある。 しかし、高次特徴を持つ2種類の注意を融合させることに焦点が当てられている。 本稿では,2種類の注意を融合させて深部双線形変換モジュールのPAF(part attention filter)として用いる新しいDAF法を提案する。 簡単に言うと,2つのアテンションマップを出力しようとする学生ネットと,これら2つのマップを経験的情報として活用し,その結果を洗練する教師ネットによって構築されたネットワークである。 実験の結果,CUBデータセットの精度は87.6%,教師ネットとの連携は89.1%であった。

Fine-grained image classification is a challenging problem, since the difficulty of finding discriminative features. To handle this circumstance, basically, there are two ways to go. One is use attention based method to focus on informative areas, while the other one aims to find high order between features. Further, for attention based method there are two directions, activation based and detection based, which are proved effective by scholars. However ,rare work focus on fusing two types of attention with high order feature. In this paper, we propose a novel DAF method which fuse two types of attention and use them to as PAF(part attention filter) in deep bilinear transformation module to mine the relationship between separate parts of an object. Briefly, our network constructed by a student net who attempt to output two attention maps and a teacher net uses these two maps as empirical information to refine the result. The experiment result shows that only student net could get 87.6% accuracy in CUB dataset while cooperating with teacher net could achieve 89.1% accuracy.
翻訳日:2023-01-14 12:48:15 公開日:2020-01-04
# selp:シングルショット・エピステミック・ロジック・プログラム

selp: A Single-Shot Epistemic Logic Program Solver ( http://arxiv.org/abs/2001.01089v1 )

ライセンス: Link先を確認
Manuel Bichler, Michael Morak, and Stefan Woltran(参考訳) 認識論理プログラム(英: epistemic logic programs、elps)は、複数の可能な世界に対する推論を可能にする認識演算子を持つ解集合プログラミング(asp)の拡張である。 既存の ELP 解決アプローチは、一般的に ELP を評価するために、ASP ソルバへの複数の呼び出しに依存する。 しかし,本稿では,有界アリティを持つ非地上ASPへの ELP からの直接変換が存在することを示す。 これにより、ASPプログラムは単一のショットで解決できる。 そこで本論文では,最近提案されている大規模非接地aspルールを扱う手法を用いて,本符号化方式を試作したelpソルバリングシステム「selp」に実装する。 このソルバは、一連のelpベンチマークインスタンスで競合性能を示す。 論理プログラミングの理論と実践(tplp)における考察。

Epistemic Logic Programs (ELPs) are an extension of Answer Set Programming (ASP) with epistemic operators that allow for a form of meta-reasoning, that is, reasoning over multiple possible worlds. Existing ELP solving approaches generally rely on making multiple calls to an ASP solver in order to evaluate the ELP. However, in this paper, we show that there also exists a direct translation from ELPs into non-ground ASP with bounded arity. The resulting ASP program can thus be solved in a single shot. We then implement this encoding method, using recently proposed techniques to handle large, non-ground ASP rules, into the prototype ELP solving system "selp", which we present in this paper. This solver exhibits competitive performance on a set of ELP benchmark instances. Under consideration in Theory and Practice of Logic Programming (TPLP).
翻訳日:2023-01-14 12:47:18 公開日:2020-01-04
# 会話音声認識のためのトランスフォーマティブ言語モデリングと復号化

Transformer-based language modeling and decoding for conversational speech recognition ( http://arxiv.org/abs/2001.01140v1 )

ライセンス: Link先を確認
Kareem Nassar(参考訳) 本稿では,会話音声認識におけるトランスフォーマティブ言語モデルの利用法を提案する。 具体的には,重み付き有限状態トランスデューサフレームワークにおけるデコーディングを効率的に行う。 本稿では,トランスフォーマーに基づく言語モデルにより,より長い範囲履歴をキャプチャし,逐次計算を回避できるトランスフォーマーの能力を活かした格子再構成手法を提案する。

We propose a way to use a transformer-based language model in conversational speech recognition. Specifically, we focus on decoding efficiently in a weighted finite-state transducer framework. We showcase an approach to lattice re-scoring that allows for longer range history captured by a transfomer-based language model and takes advantage of a transformer's ability to avoid computing sequentially.
翻訳日:2023-01-14 12:40:47 公開日:2020-01-04
# 時相アライメントを用いた異常時系列の根本原因検出

Root Cause Detection Among Anomalous Time Series Using Temporal State Alignment ( http://arxiv.org/abs/2001.01056v1 )

ライセンス: Link先を確認
Sayan Chakraborty, Smit Shah, Kiumars Soltani, Anna Swigart(参考訳) 近年のソフトウェアシステムのスケールと複雑さの増大は,時系列モニタリングと異常検出プロセスに新たな課題をもたらしている。 既存の異常検出方法の大きな欠点は、ステークホルダが異常の原因を特定するのに役立つコンテキスト情報がないことだ。 根本原因検出(root cause detection)として知られるこの問題は、一般的に検討中のメトリクスが複数の内部および外部依存関係を持つため、今日の複雑な分散ソフトウェアシステムにおいて特に取り組まなければならない。 問題の正しい原因を分離するには、重要な手動分析と強力なドメイン専門知識が必要です。 本稿では,時系列変動のパターンを解析することにより,異常の根本原因を分離する手法を提案する。 本手法では,時系列を,離散化隠れ状態の列を通過する基礎過程からの観測と考える。 この考え方は、与えられた問題が基底状態の不整合であるが均一なシフトを引き起こすときの効果の伝播を追跡することである。 本研究では,zillowsのクリックストリームデータにおける異常の根本原因を,観測されたゆらぎのうち因果パターンを同定することで評価する。

The recent increase in the scale and complexity of software systems has introduced new challenges to the time series monitoring and anomaly detection process. A major drawback of existing anomaly detection methods is that they lack contextual information to help stakeholders identify the cause of anomalies. This problem, known as root cause detection, is particularly challenging to undertake in today's complex distributed software systems since the metrics under consideration generally have multiple internal and external dependencies. Significant manual analysis and strong domain expertise is required to isolate the correct cause of the problem. In this paper, we propose a method that isolates the root cause of an anomaly by analyzing the patterns in time series fluctuations. Our method considers the time series as observations from an underlying process passing through a sequence of discretized hidden states. The idea is to track the propagation of the effect when a given problem causes unaligned but homogeneous shifts of the underlying states. We evaluate our approach by finding the root cause of anomalies in Zillows clickstream data by identifying causal patterns among a set of observed fluctuations.
翻訳日:2023-01-14 12:40:25 公開日:2020-01-04
# 高次元独立試験と最大縁相関

High-Dimensional Independence Testing and Maximum Marginal Correlation ( http://arxiv.org/abs/2001.01095v1 )

ライセンス: Link先を確認
Cencheng Shen(参考訳) 最近、距離相関、カーネル相関、多スケールグラフ相関など、独立性をテストするための普遍的に一貫した依存尺度が提案されている。 それらは低次元での依存試験に十分なソリューションを提供するが、しばしば高次元データに対するパワー低下を示す。 本稿では,高次元テストシナリオをよりよく理解し,高次元に対する堅牢な手順を探究することを目的とする。 そこで本研究では,最大境界相関法を提案し,従属次元の概念を用いて高次元依存構造を特徴づける。 正則性条件下での高次元依存性のテストにおいて、最大値法が有効かつ普遍的に一貫性があることを証明し、最大値法が他の方法に勝る時期と方法を示す。 この手法は、既存のほとんどの依存度尺度で実装でき、様々な高次元設定において優れたテスト能力を有し、距離相関型カイ二乗検定を用いた場合、ビッグデータ解析に計算効率がよい。

A number of universally consistent dependence measures have been recently proposed for testing independence, such as distance correlation, kernel correlation, multiscale graph correlation, etc. They provide a satisfactory solution for dependence testing in low-dimensions, but often exhibit decreasing power for high-dimensional data, a phenomenon that has been recognized but remains mostly unchartered. In this paper, we aim to better understand the high-dimensional testing scenarios and explore a procedure that is robust against increasing dimension. To that end, we propose the maximum marginal correlation method and characterize high-dimensional dependence structures via the notion of dependent dimensions. We prove that the maximum method can be valid and universally consistent for testing high-dimensional dependence under regularity conditions, and demonstrate when and how the maximum method may outperform other methods. The methodology can be implemented by most existing dependence measures, has a superior testing power in a variety of common high-dimensional settings, and is computationally efficient for big data analysis when using the distance correlation chi-square test.
翻訳日:2023-01-14 12:40:07 公開日:2020-01-04
# 線形回帰モデルとニューラルネットワークモデルを用いたBitcoin閉鎖価格系列予測

Forecasting Bitcoin closing price series using linear regression and neural networks models ( http://arxiv.org/abs/2001.01127v1 )

ライセンス: Link先を確認
Nicola Uras and Lodovica Marchesi and Michele Marchesi and Roberto Tonelli(参考訳) 本稿では,前日の価格とボリュームのデータを用いて,Bitcoinの日次閉鎖価格の予測方法について検討する。 Bitcoinの価格変動は、まだ明らかにされていない。 我々は、bitcoin価格予測に関する最近の2つの研究と、intel、national bank shares、microsoft daily nasdaqの3年間にわたって価格を閉じる有名な論文と比較した。 統計的手法と機械学習アルゴリズムの両方を実装して、さまざまなアプローチを並行して行いました。 単変量系列予測のSLRモデルは閉値のみを使用するのに対し、多変量系列のMLRモデルは価格と体積データの両方を使用する。 ADF-Testをこれらのシリーズに適用し、ランダムウォークと区別できない結果となった。 MLPとLSTMという2つの人工ニューラルネットワークも使用しました。 その後、データセットを短いシーケンスに分割し、異なる価格体系を表現し、1つ以上の価格で最良の結果を得た。 すべてのモデルがMAPEと相対RMSEで評価された。 性能は良好で、ベンチマークで得られたものよりも全体的に優れていた。 その結果,提案手法の有効性と現状への貢献を実証することができた。

This paper studies how to forecast daily closing price series of Bitcoin, using data on prices and volumes of prior days. Bitcoin price behaviour is still largely unexplored, presenting new opportunities. We compared our results with two modern works on Bitcoin prices forecasting and with a well-known recent paper that uses Intel, National Bank shares and Microsoft daily NASDAQ closing prices spanning a 3-year interval. We followed different approaches in parallel, implementing both statistical techniques and machine learning algorithms. The SLR model for univariate series forecast uses only closing prices, whereas the MLR model for multivariate series uses both price and volume data. We applied the ADF -Test to these series, which resulted to be indistinguishable from a random walk. We also used two artificial neural networks: MLP and LSTM. We then partitioned the dataset into shorter sequences, representing different price regimes, obtaining best result using more than one previous price, thus confirming our regime hypothesis. All the models were evaluated in terms of MAPE and relativeRMSE. They performed well, and were overall better than those obtained in the benchmarks. Based on the results, it was possible to demonstrate the efficacy of the proposed methodology and its contribution to the state-of-the-art.
翻訳日:2023-01-14 12:39:49 公開日:2020-01-04
# 効率的なWebアプリケーションセキュリティテストのためのローカリティ感性ハッシュ

Locality-Sensitive Hashing for Efficient Web Application Security Testing ( http://arxiv.org/abs/2001.01128v1 )

ライセンス: Link先を確認
Ilan Ben-Bassat and Erez Rokah(参考訳) Webアプリケーションのセキュリティは近年、ますます多くのコンテンツやサービスがオンラインで利用できるようになり、大きな関心事になっている。 セキュリティ脆弱性を特定するための便利な方法はブラックボックステストであり、Webアプリケーションの自動クローリングに依存している。 しかし、リッチインターネットアプリケーション(RIA)をクローリングするのは非常に難しい作業です。 クローラが直面する重要な障害の1つは、状態の類似性の問題である。 現在の手法ではこの問題を完全に解決できないため、多くの現実世界のRIAのスキャンに成功したことは依然として不可能である。 セキュリティテストのために冗長なコンテンツを検出する新しい手法を提案する。 このアルゴリズムは、Webページのドキュメントオブジェクトモデル(DOM)構造を分析し、それらの類似性を効率的に推定するために、MinHashスケッチを用いて局所性に敏感なハッシュを適用している。 実験の結果、このアプローチにより、他の方法ではクロールできないriaのスキャンが成功できることがわかった。

Web application security has become a major concern in recent years, as more and more content and services are available online. A useful method for identifying security vulnerabilities is black-box testing, which relies on an automated crawling of web applications. However, crawling Rich Internet Applications (RIAs) is a very challenging task. One of the key obstacles crawlers face is the state similarity problem: how to determine if two client-side states are equivalent. As current methods do not completely solve this problem, a successful scan of many real-world RIAs is still not possible. We present a novel approach to detect redundant content for security testing purposes. The algorithm applies locality-sensitive hashing using MinHash sketches in order to analyze the Document Object Model (DOM) structure of web pages, and to efficiently estimate similarity between them. Our experimental results show that this approach allows a successful scan of RIAs that cannot be crawled otherwise.
翻訳日:2023-01-14 12:39:29 公開日:2020-01-04
# CatBoostLSS -- 確率予測へのCatBoostの拡張

CatBoostLSS -- An extension of CatBoost to probabilistic forecasting ( http://arxiv.org/abs/2001.02121v1 )

ライセンス: Link先を確認
Alexander M\"arz(参考訳) 本研究では,一変量応答変数の条件分布全体を予測するCatBoostの新しいフレームワークを提案する。 特に、CatBoostLSSは条件平均のみではなくパラメトリック分布(平均、位置、スケール、形状(LSS))のすべてのモーメントをモデル化する。 幅広い連続分布、離散分布、混合離散連続分布から選択することで、条件分布全体のモデル化と予測は、データ生成プロセスへの洞察を得るだけでなく、興味のある予測間隔と分位数を導出できる確率的予測を可能にするため、catboostの柔軟性を大幅に向上させる。 提案手法の利点を実証するシミュレーション研究と実世界の実例を共に提示する。

We propose a new framework of CatBoost that predicts the entire conditional distribution of a univariate response variable. In particular, CatBoostLSS models all moments of a parametric distribution (i.e., mean, location, scale and shape [LSS]) instead of the conditional mean only. Choosing from a wide range of continuous, discrete and mixed discrete-continuous distributions, modelling and predicting the entire conditional distribution greatly enhances the flexibility of CatBoost, as it allows to gain insight into the data generating process, as well as to create probabilistic forecasts from which prediction intervals and quantiles of interest can be derived. We present both a simulation study and real-world examples that demonstrate the benefits of our approach.
翻訳日:2023-01-14 12:39:15 公開日:2020-01-04
# Res3ATN -- ビデオにおける手のジェスチャー認識のための深部3次元残留注意ネットワーク

Res3ATN -- Deep 3D Residual Attention Network for Hand Gesture Recognition in Videos ( http://arxiv.org/abs/2001.01083v1 )

ライセンス: Link先を確認
Naina Dhingra and Andreas Kunz(参考訳) 手のジェスチャー認識は、ビデオで解決すべき厳しいタスクだ。 本稿では,手動ジェスチャー認識のために,エンドツーエンドに訓練された3D残像注意ネットワークを用いる。 複数のアテンションブロックを積み重ねることで,アテンションブロック毎に異なる特徴を生成する3dネットワークを構築する。 我々の3Dアテンションに基づく残留ネットワーク(Res3ATN)は構築され、非常に深い層に拡張できる。 このネットワークを使用して、3つの公開データセットに基づいて、他の3Dネットワーク上で広範な解析を行う。 Res3ATNネットワークの性能は、C3D、ResNet-10、ResNext-101ネットワークと比較される。 また,注意ブロック数の異なるベースラインネットワークについて検討し,評価した。 比較の結果,注意ブロックが3つある3次元残留注意ネットワークは注意学習において頑健であり,ジェスチャを精度良く分類でき,既存のネットワークよりも優れていることがわかった。

Hand gesture recognition is a strenuous task to solve in videos. In this paper, we use a 3D residual attention network which is trained end to end for hand gesture recognition. Based on the stacked multiple attention blocks, we build a 3D network which generates different features at each attention block. Our 3D attention based residual network (Res3ATN) can be built and extended to very deep layers. Using this network, an extensive analysis is performed on other 3D networks based on three publicly available datasets. The Res3ATN network performance is compared to C3D, ResNet-10, and ResNext-101 networks. We also study and evaluate our baseline network with different number of attention blocks. The comparison shows that the 3D residual attention network with 3 attention blocks is robust in attention learning and is able to classify the gestures with better accuracy, thus outperforming existing networks.
翻訳日:2023-01-14 12:38:39 公開日:2020-01-04
# 階層型競合学習を用いた生物学的動機付き深層学習法

Biologically-Motivated Deep Learning Method using Hierarchical Competitive Learning ( http://arxiv.org/abs/2001.01121v1 )

ライセンス: Link先を確認
Takashi Shinozaki(参考訳) 本研究では, 深層畳み込みニューラルネットワーク(CNN)のための生物学的学習手法を提案する。 CNNと後方伝播(BP)学習の組み合わせは、最近の機械学習システムにおいて最も強力な方法である。 しかし、トレーニングには大きなラベル付きデータが必要であり、この要件は時として現実世界のアプリケーションにとって障壁となることがある。 この問題に対処し,ラベルなしデータを活用するために,cnnの事前学習方法として,前方伝播信号のみを必要とする教師なし競争学習を導入することを提案する。 本手法は, MNIST, CIFAR-10, ImageNetデータセットを用いて画像識別タスクを用いて評価し, 生物学的に動機づけられた手法として, 最先端の性能を達成した。 提案手法は,畳み込み層を学習するための後方誤り信号なしで,前方伝播信号のみから高次学習表現を可能にする。 提案手法は, 時系列データや医療データなど, 様々な不適切なラベル付きデータに対して有用である。

This study proposes a novel biologically-motivated learning method for deep convolutional neural networks (CNNs). The combination of CNNs and back propagation (BP) learning is the most powerful method in recent machine learning regimes. However, it requires large labeled data for training, and this requirement can occasionally become a barrier for real world applications. To address this problem and utilize unlabeled data, I propose to introduce unsupervised competitive learning which only requires forward propagating signals as a pre-training method for CNNs. The method was evaluated by image discrimination tasks using MNIST, CIFAR-10, and ImageNet datasets, and it achieved a state-of-the-art performance as a biologically-motivated method in the ImageNet experiment. The results suggested that the method enables higher-level learning representations solely from forward propagating signals without a backward error signal for the learning of convolutional layers. The proposed method could be useful for a variety of poorly labeled data, for example, time series or medical data.
翻訳日:2023-01-14 12:31:59 公開日:2020-01-04
# x2vecは生きられるか? 自動メンタルヘルス分類のためのグラフと言語埋め込みの統合

Can x2vec Save Lives? Integrating Graph and Language Embeddings for Automatic Mental Health Classification ( http://arxiv.org/abs/2001.01126v1 )

ライセンス: Link先を確認
Alexander Ruch(参考訳) グラフおよび言語埋め込みモデルは、低次元空間において複雑なスパースデータを密に表現する能力から、大規模解析において一般的なものになりつつある。 これらのモデルの補完的なリレーショナルデータとコミュニケーティブデータを統合することは、レアイベントの予測や隠れた集団のメンバの分類において特に有用である。 例えば、社会的汚名と共生のため、メンタルヘルスサポートグループはしばしばアモルファスなオンライングループで形成される。 これらの設定において、標準的なネットワーク分析を用いて個人間のスーシダリティを予測することは、リソース制限(例えばメモリ)によって禁止され、そのようなモデルにテキストのような補助データを追加することは、複雑さとスパーシティに関する問題を悪化させる。 ここでは、グラフと言語埋め込みモデル(metapath2vecとdoc2vec)がこれらの制限を回避し、ドメインの専門知識や機能エンジニアリングなしに教師なしのクラスタリングデータを抽出する方法を示します。 自殺支援グループへのグラフと言語の距離は相関がほとんどない(\r{ho} < 0.23)。 個人間のsuicidityの予測に別々に使用する場合、グラフデータと言語データは、比較的正確な結果(それぞれ69%と76%)を生成するが、統合されると、どちらのデータも非常に正確な予測(90%、10%の偽陽性、2%の偽陰性)を生成する。 グラフ埋め込みの可視化と潜在的自殺者の予測は、統合モデルが支援グループから遠く離れていてもそのような個人を分類できることを示している。 これらの結果は、大規模ネットワークにおける行動と言語を同時に分析することの重要性と、予測と分類、特に稀なイベントを伴う場合における、異なる種類のデータへの埋め込みモデルの統合への取り組みに関する研究を拡張したものである。

Graph and language embedding models are becoming commonplace in large scale analyses given their ability to represent complex sparse data densely in low-dimensional space. Integrating these models' complementary relational and communicative data may be especially helpful if predicting rare events or classifying members of hidden populations - tasks requiring huge and sparse datasets for generalizable analyses. For example, due to social stigma and comorbidities, mental health support groups often form in amorphous online groups. Predicting suicidality among individuals in these settings using standard network analyses is prohibitive due to resource limits (e.g., memory), and adding auxiliary data like text to such models exacerbates complexity- and sparsity-related issues. Here, I show how merging graph and language embedding models (metapath2vec and doc2vec) avoids these limits and extracts unsupervised clustering data without domain expertise or feature engineering. Graph and language distances to a suicide support group have little correlation (\r{ho} < 0.23), implying the two models are not embedding redundant information. When used separately to predict suicidality among individuals, graph and language data generate relatively accurate results (69% and 76%, respectively); however, when integrated, both data produce highly accurate predictions (90%, with 10% false-positives and 12% false-negatives). Visualizing graph embeddings annotated with predictions of potentially suicidal individuals shows the integrated model could classify such individuals even if they are positioned far from the support group. These results extend research on the importance of simultaneously analyzing behavior and language in massive networks and efforts to integrate embedding models for different kinds of data when predicting and classifying, particularly when they involve rare events.
翻訳日:2023-01-14 12:31:25 公開日:2020-01-04
# 高速ストリーミング主成分分析のための分散確率アルゴリズム

Distributed Stochastic Algorithms for High-rate Streaming Principal Component Analysis ( http://arxiv.org/abs/2001.01017v1 )

ライセンス: Link先を確認
Haroon Raja and Waheed U. Bajwa(参考訳) 本稿では,ストリーミング環境における独立分散データサンプルから共分散行列の主固有ベクトルを推定する問題を考察する。 現代の多くのアプリケーションにおけるデータのストリーミング速度は、新しいサンプルが到着する前に、単一のプロセッサが既存の固有ベクトル推定手法のイテレーションを完了できないほど高い。 本稿では,複数の処理ノード間で計算負荷を分散することにより,高いストリーミング速度を追従できる古典的クラスリーナ法(d-krasulina)の分散変種を定式化し,解析する。 この分析は--適切な条件の下で--D-クラシュリーナが順序的に最適に主固有ベクトルに収束することを示し、すなわち全てのノードに$M$サンプルを受け取った後、その推定誤差は$O(1/M)$となる。 ネットワーク通信のオーバーヘッドを削減するために,dm-krasulinaと呼ばれるd-krasulinaのミニバッチ拡張を開発し,解析する。 DM-Krasulinaの分析は、通信遅延によりネットワーク内でいくつかのサンプルが破棄される場合であっても、適切な条件下で順序-最適推定誤差率を達成することができることを示している。 最後に、D-KrasulinaとDM-Krasulinaの高速ストリーミング環境での収束挙動を検証するために、合成および実世界のデータを用いて実験を行う。

This paper considers the problem of estimating the principal eigenvector of a covariance matrix from independent and identically distributed data samples in streaming settings. The streaming rate of data in many contemporary applications can be high enough that a single processor cannot finish an iteration of existing methods for eigenvector estimation before a new sample arrives. This paper formulates and analyzes a distributed variant of the classical Krasulina's method (D-Krasulina) that can keep up with the high streaming rate of data by distributing the computational load across multiple processing nodes. The analysis shows that---under appropriate conditions---D-Krasulina converges to the principal eigenvector in an order-wise optimal manner; i.e., after receiving $M$ samples across all nodes, its estimation error can be $O(1/M)$. In order to reduce the network communication overhead, the paper also develops and analyzes a mini-batch extension of D-Krasulina, which is termed DM-Krasulina. The analysis of DM-Krasulina shows that it can also achieve order-optimal estimation error rates under appropriate conditions, even when some samples have to be discarded within the network due to communication latency. Finally, experiments are performed over synthetic and real-world data to validate the convergence behaviors of D-Krasulina and DM-Krasulina in high-rate streaming settings.
翻訳日:2023-01-14 12:30:28 公開日:2020-01-04
# 多変量時系列予測のためのテンソル変換ネットワーク

Temporal Tensor Transformation Network for Multivariate Time Series Prediction ( http://arxiv.org/abs/2001.01051v1 )

ライセンス: Link先を確認
Yuya Jeremy Ong, Mu Qiao and Divyesh Jadav(参考訳) 多変量時系列予測は様々な領域で応用されており、特に変数が相関関係を持ち、季節性や傾向といった複雑な時間パターンを示す場合、非常に難しい課題であると考えられている。 既存の手法の多くは、強い統計的仮定、高次元の数値問題、手作業の特徴工学的取り組み、スケーラビリティに苦しむ。 本研究では, 時間的テンソル変換ネットワークと呼ばれる新しい深層学習アーキテクチャを提案し, 提案する時間的スライシングスタック変換により, 元の多変量時系列を高次テンソルに変換する。 これにより、元の多変量時系列の新しい表現が得られ、畳み込み核は、比較的大きな時間領域から複素および非線形の特徴や可変相互作用信号を抽出することができる。 実験の結果、時間テンソル変換ネットワークは、様々なタスクにわたるウィンドウベースの予測において、いくつかの最先端手法よりも優れていることがわかった。 提案手法は,広範な感度解析によりロバストな予測性能を示す。

Multivariate time series prediction has applications in a wide variety of domains and is considered to be a very challenging task, especially when the variables have correlations and exhibit complex temporal patterns, such as seasonality and trend. Many existing methods suffer from strong statistical assumptions, numerical issues with high dimensionality, manual feature engineering efforts, and scalability. In this work, we present a novel deep learning architecture, known as Temporal Tensor Transformation Network, which transforms the original multivariate time series into a higher order of tensor through the proposed Temporal-Slicing Stack Transformation. This yields a new representation of the original multivariate time series, which enables the convolution kernel to extract complex and non-linear features as well as variable interactional signals from a relatively large temporal region. Experimental results show that Temporal Tensor Transformation Network outperforms several state-of-the-art methods on window-based predictions across various tasks. The proposed architecture also demonstrates robust prediction performance through an extensive sensitivity analysis.
翻訳日:2023-01-14 12:29:46 公開日:2020-01-04
# ドメイン適応のための逆学習損失

Adversarial-Learned Loss for Domain Adaptation ( http://arxiv.org/abs/2001.01046v1 )

ライセンス: Link先を確認
Minghao Chen, Shuai Zhao, Haifeng Liu, Deng Cai(参考訳) 近年、ドメイン間の転送可能表現の学習において目覚ましい進歩を遂げている。 ドメイン適応に関するこれまでの研究は、主に2つのテクニックに基づいている。 しかし、ドメイン-敵学習は、ドメイン間の特徴分布を整合させるだけでなく、対象の機能が差別的かどうかも考慮しない。 一方、自己学習はモデル予測を利用して対象特徴の識別を強化するが、ドメイン分布を明示的に整列することはできない。 この2つの手法の強みを組み合わせるために,alda(adversarial-learned loss for domain adaptation)と呼ばれる新しい手法を提案する。 まず,典型的な自己学習法である擬似ラベル法を解析した。 それでも、擬似ラベルと地上の真実の間にはギャップがあり、誤った訓練を引き起こす可能性がある。 そこで本研究では,ALDAの逆方向から学習する混乱行列を導入し,そのギャップを減らし,特徴分布を整列させる。 最後に、学習した混乱行列から新たな損失関数が自動構築され、未ラベル対象サンプルの損失となる。 ALDAは4つの標準ドメイン適応データセットにおいて最先端のアプローチよりも優れています。 私たちのコードはhttps://github.com/zjulearning/aldaで利用可能です。

Recently, remarkable progress has been made in learning transferable representation across domains. Previous works in domain adaptation are majorly based on two techniques: domain-adversarial learning and self-training. However, domain-adversarial learning only aligns feature distributions between domains but does not consider whether the target features are discriminative. On the other hand, self-training utilizes the model predictions to enhance the discrimination of target features, but it is unable to explicitly align domain distributions. In order to combine the strengths of these two methods, we propose a novel method called Adversarial-Learned Loss for Domain Adaptation (ALDA). We first analyze the pseudo-label method, a typical self-training method. Nevertheless, there is a gap between pseudo-labels and the ground truth, which can cause incorrect training. Thus we introduce the confusion matrix, which is learned through an adversarial manner in ALDA, to reduce the gap and align the feature distributions. Finally, a new loss function is auto-constructed from the learned confusion matrix, which serves as the loss for unlabeled target samples. Our ALDA outperforms state-of-the-art approaches in four standard domain adaptation datasets. Our code is available at https://github.com/ZJULearning/ALDA.
翻訳日:2023-01-14 12:29:00 公開日:2020-01-04