このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス(CC 0, CC BY, CC BY-SA)の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。(arxivのメタデータは CC 0です。) 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。

本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。

公開日が20200908となっている論文です。

PDF登録状況(公開日: 20200908)

TitleAuthorsAbstract論文公表日・翻訳日
# 音声言語理解のための単語混乱ネットワークとbertとの対話コンテキストの協調符号化

Jointly Encoding Word Confusion Network and Dialogue Context with BERT for Spoken Language Understanding ( http://arxiv.org/abs/2005.11640v3 )

ライセンス: Link先を確認
Chen Liu, Su Zhu, Zijian Zhao, Ruisheng Cao, Lu Chen and Kai Yu(参考訳) Spoken Language Understanding (SLU)は、自動音声認識(ASR)からの仮説を構造化意味表現に変換する。 ASR認識誤差は、その後のSLUモジュールの性能を著しく低下させることができる。 この問題に対処するために、単語混乱ネットワーク(WCN)は、1-bestやn-bestの仮説リストよりも豊富な情報を含むSLUの入力を符号化するために使用されている。 さらに曖昧さをなくすため、最後の対話コンテキストのシステム行為も追加入力として利用される。 本稿では、WCNと対話コンテキストを共同で符号化するために、新しいBERTベースのSLUモデル(WCN-BERT SLU)を提案する。 WCNの構造情報とASR後部確率の両方をBERTアーキテクチャに組み込むことができる。 SLUのベンチマークであるDSTC2の実験では,提案手法は有効であり,従来の最先端モデルよりも優れていた。

Spoken Language Understanding (SLU) converts hypotheses from automatic speech recognizer (ASR) into structured semantic representations. ASR recognition errors can severely degenerate the performance of the subsequent SLU module. To address this issue, word confusion networks (WCNs) have been used to encode the input for SLU, which contain richer information than 1-best or n-best hypotheses list. To further eliminate ambiguity, the last system act of dialogue context is also utilized as additional input. In this paper, a novel BERT based SLU model (WCN-BERT SLU) is proposed to encode WCNs and the dialogue context jointly. It can integrate both structural information and ASR posterior probabilities of WCNs in the BERT architecture. Experiments on DSTC2, a benchmark of SLU, show that the proposed method is effective and can outperform previous state-of-the-art models significantly.
翻訳日:2022-11-29 13:14:25 公開日:2020-09-08
# 教師なし音声表現学習のための畳み込みDeep Markovモデル

A Convolutional Deep Markov Model for Unsupervised Speech Representation Learning ( http://arxiv.org/abs/2006.02547v2 )

ライセンス: Link先を確認
Sameer Khurana, Antoine Laurent, Wei-Ning Hsu, Jan Chorowski, Adrian Lancucki, Ricard Marxer, James Glass(参考訳) 確率的潜在変数モデル(LVM)は、言語表現学習のための自己教師付き学習手法の代替となる。 lvmは、潜在構造が信号から抽出された情報を形作る直感的な確率的解釈を許容する。 lvmは最近、変分オートエンコーダ(vaes)の導入によって新たな関心が寄せられているが、その音声表現学習への使用は、ほとんど検討されていない。 本研究では,ニューラルネットによってモデル化された非線形エミッションと遷移関数を持つガウス状態空間モデルconvolutional deep markov model (convdmm)を提案する。 この教師なしモデルはブラックボックス変分推論を用いて訓練される。 構造化変動近似の推論ネットワークとして深部畳み込みニューラルネットワークを用いる。 大規模音声データセット(librispeech)でトレーニングすると、convdmmは、wall street journalデータセットでリニア電話の分類と認識に関して、複数の自己教師あり特徴抽出法を大幅に上回る特徴を生成する。 さらに,ConvDMMは,Wav2VecやPASEなどの自己教師型手法を補完し,いずれかの手法単独で得られた結果を改善した。 最後に、ConvDMM機能によって、ラベル付きトレーニング例がほとんどない極低リソースのシステムにおいて、他のどの機能よりも優れた音声認識器を学習できることがわかった。

Probabilistic Latent Variable Models (LVMs) provide an alternative to self-supervised learning approaches for linguistic representation learning from speech. LVMs admit an intuitive probabilistic interpretation where the latent structure shapes the information extracted from the signal. Even though LVMs have recently seen a renewed interest due to the introduction of Variational Autoencoders (VAEs), their use for speech representation learning remains largely unexplored. In this work, we propose Convolutional Deep Markov Model (ConvDMM), a Gaussian state-space model with non-linear emission and transition functions modelled by deep neural networks. This unsupervised model is trained using black box variational inference. A deep convolutional neural network is used as an inference network for structured variational approximation. When trained on a large scale speech dataset (LibriSpeech), ConvDMM produces features that significantly outperform multiple self-supervised feature extracting methods on linear phone classification and recognition on the Wall Street Journal dataset. Furthermore, we found that ConvDMM complements self-supervised methods like Wav2Vec and PASE, improving on the results achieved with any of the methods alone. Lastly, we find that ConvDMM features enable learning better phone recognizers than any other features in an extreme low-resource regime with few labeled training examples.
翻訳日:2022-11-25 17:36:29 公開日:2020-09-08
# 遠方性非局所ニューラルネットワーク

Disentangled Non-Local Neural Networks ( http://arxiv.org/abs/2006.06668v2 )

ライセンス: Link先を確認
Minghao Yin and Zhuliang Yao and Yue Cao and Xiu Li and Zheng Zhang and Stephen Lin and Han Hu(参考訳) 非局所ブロックは、通常の畳み込みニューラルネットワークのコンテキストモデリング能力を強化するための一般的なモジュールである。 本稿では,まず非局所ブロックを深く研究し,その注意計算を2つの用語,すなわち2つのピクセル間の関係を記述した白対項と,各ピクセルの塩分を表す不定項とに分割できることを示した。 また、訓練された2つの用語単独で異なる視覚手がかりをモデル化する傾向も観察し、例えば、白くペアワイズされた用語は地域内関係を学習し、ユニタリな用語は突出した境界を学習する。 しかし、この2つの用語は非局所ブロックに密結合しており、それぞれの学習を妨げる。 これらの結果に基づき,両用語を分離し,両用語の学習を容易にする不連続非局所ブロックを提案する。 本研究では,都市景観のセマンティックセグメンテーション,ADE20KとPASCALコンテキスト,COCOのオブジェクト検出,キネティクスのアクション認識など,様々なタスクにおける疎結合設計の有効性を示す。

The non-local block is a popular module for strengthening the context modeling ability of a regular convolutional neural network. This paper first studies the non-local block in depth, where we find that its attention computation can be split into two terms, a whitened pairwise term accounting for the relationship between two pixels and a unary term representing the saliency of every pixel. We also observe that the two terms trained alone tend to model different visual clues, e.g. the whitened pairwise term learns within-region relationships while the unary term learns salient boundaries. However, the two terms are tightly coupled in the non-local block, which hinders the learning of each. Based on these findings, we present the disentangled non-local block, where the two terms are decoupled to facilitate learning for both terms. We demonstrate the effectiveness of the decoupled design on various tasks, such as semantic segmentation on Cityscapes, ADE20K and PASCAL Context, object detection on COCO, and action recognition on Kinetics.
翻訳日:2022-11-22 09:28:55 公開日:2020-09-08
# チャネルネットワークセンサデータを用いた予測洪水警報と状況認識のためのハイブリッド深層学習モデル

A Hybrid Deep Learning Model for Predictive Flood Warning and Situation Awareness using Channel Network Sensors Data ( http://arxiv.org/abs/2006.09201v2 )

ライセンス: Link先を確認
Shangjia Dong, Tianbo Yu, Hamed Farahmand, Ali Mostafavi(参考訳) 本研究の目的は,ネットワークセンサデータを用いた都市洪水予測と状況認識のためのハイブリッドディープラーニングモデルであるFastGRNN-FCN(Fast, Accurate, Stable and Tiny Gated Recurrent Neural Network-Fully Convolutional Network)の作成とテストである。 この研究はテキサス州ハリス郡を試験場として使用し、ハイブリッドディープラーニングモデルの訓練と検証のために3つの歴史的洪水(2016年税日洪水、2016年メモリアルデイ洪水、2017年ハリケーン・ハービー洪水など)からチャネルセンサーデータを得た。 洪水データは多変量時系列に分割され、モデル入力として使用される。 各入力は、チャネルネットワーク内のチャネルセンサとその前者および後継センサの情報を含む9つの変数からなる。 モデルパラメータの最適セットを特定するために,高精度リコール曲線とF測度を用いる。 重量1と臨界閾値0.59の最適モデルは、異なる重みとしきい値を調べることにより100回の反復で得られる。 試験精度とf測定値はそれぞれ97.8%、0.792である。 このモデルは、2019年のヒューストンのイメルダ洪水を予測するためにテストされ、その結果は経験的な洪水とよく一致している。 その結果,このモデルにより空間-時間的洪水の伝播と不況を正確に予測でき,緊急対応担当者に洪水応答と資源配分戦略を優先する予測洪水警報ツールを提供することができた。

The objective of this study is to create and test a hybrid deep learning model, FastGRNN-FCN (Fast, Accurate, Stable and Tiny Gated Recurrent Neural Network-Fully Convolutional Network), for urban flood prediction and situation awareness using channel network sensors data. The study used Harris County, Texas as the testbed, and obtained channel sensor data from three historical flood events (e.g., 2016 Tax Day Flood, 2016 Memorial Day flood, and 2017 Hurricane Harvey Flood) for training and validating the hybrid deep learning model. The flood data are divided into a multivariate time series and used as the model input. Each input comprises nine variables, including information of the studied channel sensor and its predecessor and successor sensors in the channel network. Precision-recall curve and F-measure are used to identify the optimal set of model parameters. The optimal model with a weight of 1 and a critical threshold of 0.59 are obtained through one hundred iterations based on examining different weights and thresholds. The test accuracy and F-measure eventually reach 97.8% and 0.792, respectively. The model is then tested in predicting the 2019 Imelda flood in Houston and the results show an excellent match with the empirical flood. The results show that the model enables accurate prediction of the spatial-temporal flood propagation and recession and provides emergency response officials with a predictive flood warning tool for prioritizing the flood response and resource allocation strategies.
翻訳日:2022-11-21 03:59:10 公開日:2020-09-08
# 多目的進化アルゴリズムによる分割マトロイド制約下でのサブモジュラーまたはモノトン関数の最大化

Maximizing Submodular or Monotone Functions under Partition Matroid Constraints by Multi-objective Evolutionary Algorithms ( http://arxiv.org/abs/2006.12773v2 )

ライセンス: Link先を確認
Anh Viet Do, Frank Neumann(参考訳) 多くの重要な問題は、いくつかの制約の下でサブモジュラー関数を最大化することと見なすことができる。 GSEMOと呼ばれる単純な多目的進化アルゴリズムは、部分モジュラ函数の近似を効率的に行うことが示されている。 この問題については多くの研究がなされているが、既存のGSEMOのランタイム分析のほとんどは単一の濃度制約を仮定している。 本研究では,集合的制約を一般化するmatroid制約を分割する理論結果を拡張し,gsemoが一般的に多項式の期待実行時間内での近似性能を保証できることを示す。 さらに,様々な分割マトロイド制約下でランダムグラフ上の無向グラフカットを最大化するために,ベースライングリーディアルゴリズムに対する実験的比較を行った。 GSEMOは2次実行時間でGREEDYを上回る傾向を示した。

Many important problems can be regarded as maximizing submodular functions under some constraints. A simple multi-objective evolutionary algorithm called GSEMO has been shown to achieve good approximation for submodular functions efficiently. While there have been many studies on the subject, most of existing run-time analyses for GSEMO assume a single cardinality constraint. In this work, we extend the theoretical results to partition matroid constraints which generalize cardinality constraints, and show that GSEMO can generally guarantee good approximation performance within polynomial expected run time. Furthermore, we conducted experimental comparison against a baseline GREEDY algorithm in maximizing undirected graph cuts on random graphs, under various partition matroid constraints. The results show GSEMO tends to outperform GREEDY in quadratic run time.
翻訳日:2022-11-17 21:40:12 公開日:2020-09-08
# 教師なし異常検出のためのID記述自動エンコーダ

ID-Conditioned Auto-Encoder for Unsupervised Anomaly Detection ( http://arxiv.org/abs/2007.05314v2 )

ライセンス: Link先を確認
S{\l}awomir Kapka(参考訳) 本稿では,教師なし異常検出のためのID-Conditioned Auto-Encoderを提案する。 本手法はオープンセット認識用に設計されたクラスコンディショニングオートエンコーダ(c2ae)の適応である。 非異常サンプルが異なるidからなると仮定すると、条件付きオートエンコーダをこれらのidで提供されるラベルで適用する。 C2AEに対して,本手法は分類サブタスクを省略し,学習プロセスを1回に短縮する。 非マッチングラベルのターゲットとして定数ベクトルを固定することで、学習プロセスをさらに単純化する。 機械状態監視のための音の文脈に本手法を適用した。 我々は,DCASE 2020 Challenge Task 2のToyADMOSおよびMIMIIデータセットについて検討した。 方法のどの段階が結果に最も影響を与えるかを示すため,アブレーション研究を行う。

In this paper, we introduce ID-Conditioned Auto-Encoder for unsupervised anomaly detection. Our method is an adaptation of the Class-Conditioned Auto-Encoder (C2AE) designed for the open-set recognition. Assuming that non-anomalous samples constitute of distinct IDs, we apply Conditioned Auto-Encoder with labels provided by these IDs. Opposed to C2AE, our approach omits the classification subtask and reduces the learning process to the single run. We simplify the learning process further by fixing a constant vector as the target for non-matching labels. We apply our method in the context of sounds for machine condition monitoring. We evaluate our method on the ToyADMOS and MIMII datasets from the DCASE 2020 Challenge Task 2. We conduct an ablation study to indicate which steps of our method influences results the most.
翻訳日:2022-11-11 22:44:43 公開日:2020-09-08
# 深部から浅部へ:カーネルクライン空間と不定支持ベクトルマシンの再現における深部ネットワークの等価形

From deep to Shallow: Equivalent Forms of Deep Networks in Reproducing Kernel Krein Space and Indefinite Support Vector Machines ( http://arxiv.org/abs/2007.07459v2 )

ライセンス: Link先を確認
Alistair Shilton, Sunil Gupta, Santu Rana, Svetha Venkatesh(参考訳) 本稿では,カーネルクレイン空間を再現する深層ネットワークと学習との関係について検討する。 すなわち、線形射影上で固定された非線形変換を、固定された非線形変換の出力上の線形射影に変換して、重みを非線形性を通して前進させる。 これを入力からディープネットワークの出力に繰り返し適用すると、重みは徐々に出力層に「プッシュ」され、その結果、固定された非線形写像の形をしたフラットネットワーク(これらの形式はディープネットワークの構造によって決定される)と、重み行列によって決定された線形射影(つまり、ディープネットワークを等価な(無限の)カーネルマシンに変換する。 次に、この変換がキャパシティ制御および均一収束に与える影響について検討し、カーネルKrein空間の再生におけるRadecher複雑性の観点から、ディープネットワーク上のRadecher複雑性を提供する。 最後に,平坦表現のスパーシティ特性を解析し,0<p<1 (ブリッジ回帰) で正規化した(効果的に)lp-"ノルム"であることを示した。

In this paper we explore a connection between deep networks and learning in reproducing kernel Krein space. Our approach is based on the concept of push-forward - that is, taking a fixed non-linear transform on a linear projection and converting it to a linear projection on the output of a fixed non-linear transform, pushing the weights forward through the non-linearity. Applying this repeatedly from the input to the output of a deep network, the weights can be progressively "pushed" to the output layer, resulting in a flat network that has the form of a fixed non-linear map (whose form is determined by the structure of the deep network) followed by a linear projection determined by the weight matrices - that is, we take a deep network and convert it to an equivalent (indefinite) kernel machine. We then investigate the implications of this transformation for capacity control and uniform convergence, and provide a Rademacher complexity bound on the deep network in terms of Rademacher complexity in reproducing kernel Krein space. Finally, we analyse the sparsity properties of the flat representation, showing that the flat weights are (effectively) Lp-"norm" regularised with 0<p<1 (bridge regression).
翻訳日:2022-11-10 04:42:12 公開日:2020-09-08
# Smooth-AP:大規模画像検索への道の平滑化

Smooth-AP: Smoothing the Path Towards Large-Scale Image Retrieval ( http://arxiv.org/abs/2007.12163v2 )

ライセンス: Link先を確認
Andrew Brown, Weidi Xie, Vicky Kalogeiton, Andrew Zisserman(参考訳) 平均精度(Average Precision, AAP)のようなランクベースの計量を最適化することは、それが微分不可能であるという事実から、非常に難しいことで知られている。 そこで本研究では,Smooth-APと呼ばれるAPのスムーズな近似を最適化する手法を提案する。 Smooth-APは、シンプルでエレガントな実装でディープネットワークのエンドツーエンドのトレーニングを可能にする、プラグアンドプレイの客観的機能である。 また, apのランキング基準を直接最適化することで, 他の深層学習損失よりもメリットが得られる理由について分析する。 我々はsmooth-apを標準検索ベンチマーク(スタンフォードオンライン製品と vehicleid)に適用し、さらに大規模データセット(細粒度カテゴリ検索のinaturalist、顔検索のvggface2とijb-c)を評価した。 いずれの場合も、最先端、特に大規模データセットのパフォーマンスを改善し、実世界のシナリオに対するSmooth-APの有効性とスケーラビリティを実証する。

Optimising a ranking-based metric, such as Average Precision (AP), is notoriously challenging due to the fact that it is non-differentiable, and hence cannot be optimised directly using gradient-descent methods. To this end, we introduce an objective that optimises instead a smoothed approximation of AP, coined Smooth-AP. Smooth-AP is a plug-and-play objective function that allows for end-to-end training of deep networks with a simple and elegant implementation. We also present an analysis for why directly optimising the ranking based metric of AP offers benefits over other deep metric learning losses. We apply Smooth-AP to standard retrieval benchmarks: Stanford Online products and VehicleID, and also evaluate on larger-scale datasets: INaturalist for fine-grained category retrieval, and VGGFace2 and IJB-C for face retrieval. In all cases, we improve the performance over the state-of-the-art, especially for larger-scale datasets, thus demonstrating the effectiveness and scalability of Smooth-AP to real-world scenarios.
翻訳日:2022-11-07 12:59:19 公開日:2020-09-08
# ロバスト微分幾何学最適化によるブラインド視点-n点問題終端問題の解法

Solving the Blind Perspective-n-Point Problem End-To-End With Robust Differentiable Geometric Optimization ( http://arxiv.org/abs/2007.14628v2 )

ライセンス: Link先を確認
Dylan Campbell, Liu Liu, Stephen Gould(参考訳) ブラインド・パースペクティブ・オン・ポイント(Blind Perspective-n-Point, PnP)は、2D-3D対応の事前知識なく、2D画像ポイントと3Dシーンポイントを与えられたシーンに対するカメラの位置と向きを推定する問題である。 探索空間が非常に大きいため,ポーズと対応を同時に解くことは極めて困難である。 幸いなことに、これは結合した問題である: ポーズは対応が与えられ、その逆も容易に見つかる。 既存のアプローチでは、騒がしい対応が提供され、適切な姿勢が先行できる、あるいは問題のサイズが小さいと仮定している。 代わりに、視覚障害者のPnP問題を効率的かつグローバルに解決するための、最初の完全なエンドツーエンドのトレーニング可能なネットワークを提案する。 我々は、Sinkhorn、RANSAC、PnPアルゴリズムを含むエンドツーエンドの学習フレームワークに幾何モデルフィッティングを組み込むために最適化問題を微分する最近の結果を利用する。 提案手法は他の合成法や実データ法を大きく上回っている。

Blind Perspective-n-Point (PnP) is the problem of estimating the position and orientation of a camera relative to a scene, given 2D image points and 3D scene points, without prior knowledge of the 2D-3D correspondences. Solving for pose and correspondences simultaneously is extremely challenging since the search space is very large. Fortunately it is a coupled problem: the pose can be found easily given the correspondences and vice versa. Existing approaches assume that noisy correspondences are provided, that a good pose prior is available, or that the problem size is small. We instead propose the first fully end-to-end trainable network for solving the blind PnP problem efficiently and globally, that is, without the need for pose priors. We make use of recent results in differentiating optimization problems to incorporate geometric model fitting into an end-to-end learning framework, including Sinkhorn, RANSAC and PnP algorithms. Our proposed approach significantly outperforms other methods on synthetic and real data.
翻訳日:2022-11-05 20:29:06 公開日:2020-09-08
# 有限対無限ニューラルネットワーク:実証的研究

Finite Versus Infinite Neural Networks: an Empirical Study ( http://arxiv.org/abs/2007.15801v2 )

ライセンス: Link先を確認
Jaehoon Lee, Samuel S. Schoenholz, Jeffrey Pennington, Ben Adlam, Lechao Xiao, Roman Novak, Jascha Sohl-Dickstein(参考訳) 我々は,広域ニューラルネットワークとカーネル手法の対応について,注意深く,徹底的に,大規模に実証研究を行う。 これにより、無限大のニューラルネットワークの研究に関連する様々なオープンな疑問を解決できる。 Our experimental results include: kernel methods outperform fully-connected finite-width networks, but underperform convolutional finite width networks; neural network Gaussian process (NNGP) kernels frequently outperform neural tangent (NT) kernels; centered and ensembled finite networks have reduced posterior variance and behave more similarly to infinite networks; weight decay and the use of a large learning rate break the correspondence between finite and infinite networks; the NTK parameterization outperforms the standard parameterization for finite width networks; diagonal regularization of kernels acts similarly to early stopping; floating point precision limits kernel performance beyond a critical dataset size; regularized ZCA whitening improves accuracy; finite network performance depends non-monotonically on width in ways not captured by double descent phenomena; equivariance of CNNs is only beneficial for narrow networks far from the kernel regime. また, 有限幅ネットワークの一般化を改善するため, 重み減衰の層間スケーリングも改善した。 最後に, nngp および nt カーネルを用いた予測手法を改良し, 新たな ensembling 手法を考案した。 これらのベストプラクティスを用いて、検討したアーキテクチャクラスに対応するカーネルの CIFAR-10 分類における最先端の結果を得る。

We perform a careful, thorough, and large scale empirical study of the correspondence between wide neural networks and kernel methods. By doing so, we resolve a variety of open questions related to the study of infinitely wide neural networks. Our experimental results include: kernel methods outperform fully-connected finite-width networks, but underperform convolutional finite width networks; neural network Gaussian process (NNGP) kernels frequently outperform neural tangent (NT) kernels; centered and ensembled finite networks have reduced posterior variance and behave more similarly to infinite networks; weight decay and the use of a large learning rate break the correspondence between finite and infinite networks; the NTK parameterization outperforms the standard parameterization for finite width networks; diagonal regularization of kernels acts similarly to early stopping; floating point precision limits kernel performance beyond a critical dataset size; regularized ZCA whitening improves accuracy; finite network performance depends non-monotonically on width in ways not captured by double descent phenomena; equivariance of CNNs is only beneficial for narrow networks far from the kernel regime. Our experiments additionally motivate an improved layer-wise scaling for weight decay which improves generalization in finite-width networks. Finally, we develop improved best practices for using NNGP and NT kernels for prediction, including a novel ensembling technique. Using these best practices we achieve state-of-the-art results on CIFAR-10 classification for kernels corresponding to each architecture class we consider.
翻訳日:2022-11-04 05:53:53 公開日:2020-09-08
# タンパク質コンフォメーション状態:第一原理ベイズ法

Protein Conformational States: A First Principles Bayesian Method ( http://arxiv.org/abs/2008.02353v2 )

ライセンス: Link先を確認
David M. Rogers(参考訳) 構造のシミュレーションからタンパク質のコンフォメーション状態の自動同定は、コンピュータに形状の認識を教える必要があるため、難しい問題である。 我々は,原子対原子対接触を利用するために,機械学習コミュニティのベイズ分類器を適用した。 その結果、教師なし学習アルゴリズムは、潜在的な分類スキームに対する'分布'をサンプリングする。 この分類器を一連のテスト構造と1つの実タンパク質に適用し、ほとんどの場合、95%の精度でコンフォメーション転移を同定することを示した。 我々の適応の非自明な特徴は情報エントロピーへの新たな接続であり、分類を損なうことなく構造的詳細のレベルを変更できる。 これは原子数と時間サンプル数を1.5桁以上変化させることで確認される。 さらに、この方法のベイズ解析による原子間接触の集合の導出により、より複雑な場合への理解や拡張が容易になる。

Automated identification of protein conformational states from simulation of an ensemble of structures is a hard problem because it requires teaching a computer to recognize shapes. We adapt the naive Bayes classifier from the machine learning community for use on atom-to-atom pairwise contacts. The result is an unsupervised learning algorithm that samples a `distribution' over potential classification schemes. We apply the classifier to a series of test structures and one real protein, showing that it identifies the conformational transition with > 95% accuracy in most cases. A nontrivial feature of our adaptation is a new connection to information entropy that allows us to vary the level of structural detail without spoiling the categorization. This is confirmed by comparing results as the number of atoms and time-samples are varied over 1.5 orders of magnitude. Further, the method's derivation from Bayesian analysis on the set of inter-atomic contacts makes it easy to understand and extend to more complex cases.
翻訳日:2022-11-02 19:05:01 公開日:2020-09-08
# MIMOをベースとしたグラントフリーランダムアクセスを用いた深層学習による信号の分離と支援

Jointly Sparse Signal Recovery and Support Recovery via Deep Learning with Applications in MIMO-based Grant-Free Random Access ( http://arxiv.org/abs/2008.01992v3 )

ライセンス: Link先を確認
Ying Cui, Shuaichao Li, Wanqing Zhang(参考訳) 本稿では,通信や信号処理の多くの応用において,複合信号の多重計測ベクトル(mmv)モデルにおいて,協調的にスパース信号の回復とスパース支持の回復について検討する。 最近の主要な応用としては、IoT(Internet of Things)のための大規模な機械型通信(mMTC)をサポートするために提案されているMIMOベースの無許可ランダムアクセスにおけるチャネル推定とデバイスアクティビティ検出がある。 圧縮センシング,最適化,深層学習の手法を用いて,実数に対する標準オートエンコーダ構造に基づく2つのモデル駆動手法を提案する。 1つは共用測定行列と共用分離信号回収法を共同設計し、もう1つは共用測定行列と共用分離支持回収法を共同設計することを目的とする。 提案するモデル駆動アプローチは,共通の計測行列の設計やモデル駆動デコーダの調整において,スパーシティパターンの特徴を効果的に活用することができる。 これにより、得られた共通測定行列および回収方法が、基礎となる高度な回収方法を大幅に上回ることができる。 提案手法は,MIMOに基づく無許可ランダムアクセスにおけるチャネル推定とデバイスアクティビティ検出に関する広範な数値計算を行う。 シミュレーションの結果,提案手法は,既存の手法よりも短い計算時間で高い推定精度や検出精度を達成できるパイロットシーケンスやチャネル推定,デバイスアクティビティ検出手法を提供することが示された。 さらに,提案手法により得られた成果を数値的に示す。

In this paper, we investigate jointly sparse signal recovery and jointly sparse support recovery in Multiple Measurement Vector (MMV) models for complex signals, which arise in many applications in communications and signal processing. Recent key applications include channel estimation and device activity detection in MIMO-based grant-free random access which is proposed to support massive machine-type communications (mMTC) for Internet of Things (IoT). Utilizing techniques in compressive sensing, optimization and deep learning, we propose two model-driven approaches, based on the standard auto-encoder structure for real numbers. One is to jointly design the common measurement matrix and jointly sparse signal recovery method, and the other aims to jointly design the common measurement matrix and jointly sparse support recovery method. The proposed model-driven approaches can effectively utilize features of sparsity patterns in designing common measurement matrices and adjusting model-driven decoders, and can greatly benefit from the underlying state-of-the-art recovery methods with theoretical guarantee. Hence, the obtained common measurement matrices and recovery methods can significantly outperform the underlying advanced recovery methods. We conduct extensive numerical results on channel estimation and device activity detection in MIMO-based grant-free random access. The numerical results show that the proposed approaches provide pilot sequences and channel estimation or device activity detection methods which can achieve higher estimation or detection accuracy with shorter computation time than existing ones. Furthermore, the numerical results explain how such gains are achieved via the proposed approaches.
翻訳日:2022-11-02 18:59:14 公開日:2020-09-08
# 注意検索による精度の高い画素対象追跡に向けて

Towards Accurate Pixel-wise Object Tracking by Attention Retrieval ( http://arxiv.org/abs/2008.02745v3 )

ライセンス: Link先を確認
Zhipeng Zhang, Bing Li, Weiming Hu, Houwen Peng(参考訳) オブジェクト追跡におけるターゲットのエンコーディングは、最近、粗い境界ボックスから細粒度のセグメンテーションマップに移行した。 追跡中にマスクを予測できるデファクトリアルタイムアプローチを再検討した結果,彼らは通常,バックボーンネットワークから光分枝を分岐してセグメンテーションを行った。 背景クラッタの負の影響を考慮せずにバックボーンの機能を効率よく融合するが、偽陰性予測を導入し、セグメンテーション精度を低下させる傾向にある。 この問題を軽減するために,バックボーンの特徴にソフトな空間制約を課すアテンション検索ネットワーク(ARN)を提案する。 まず,初期フレームに接地トラスマスクを備えたルックアップテーブル(LUT)を構築し,LUTを検索して空間制約に対するアテンションマップを得る。 さらに,マルチレゾリューションマルチステージセグメンテーションネットワーク(mms)を導入し,予測されたマスクを用いてバックボーン特徴をフィルタすることで背景クラッタの影響をさらに弱める。 私たちのアプローチは、40fpsで動作しながら、最近のpixel-wise object tracking benchmark vot2020に最新技術を設定した。 特に、提案されたモデルは、それぞれVOT2020、DAVIS2016、DAVIS2017で、SiamMaskを11.7/4.2/5.5ポイント上回る。 コードをhttps://github.com/researchmm/TracKit.comでリリースします。

The encoding of the target in object tracking moves from the coarse bounding-box to fine-grained segmentation map recently. Revisiting de facto real-time approaches that are capable of predicting mask during tracking, we observed that they usually fork a light branch from the backbone network for segmentation. Although efficient, directly fusing backbone features without considering the negative influence of background clutter tends to introduce false-negative predictions, lagging the segmentation accuracy. To mitigate this problem, we propose an attention retrieval network (ARN) to perform soft spatial constraints on backbone features. We first build a look-up-table (LUT) with the ground-truth mask in the starting frame, and then retrieves the LUT to obtain an attention map for spatial constraints. Moreover, we introduce a multi-resolution multi-stage segmentation network (MMS) to further weaken the influence of background clutter by reusing the predicted mask to filter backbone features. Our approach set a new state-of-the-art on recent pixel-wise object tracking benchmark VOT2020 while running at 40 fps. Notably, the proposed model surpasses SiamMask by 11.7/4.2/5.5 points on VOT2020, DAVIS2016, and DAVIS2017, respectively. We will release our code at https://github.com/researchmm/TracKit.
翻訳日:2022-11-02 07:30:31 公開日:2020-09-08
# コンピュータビジョンを用いたハリケーンシーズンの緊急対応改善

Improving Emergency Response during Hurricane Season using Computer Vision ( http://arxiv.org/abs/2008.07418v2 )

ライセンス: Link先を確認
Marc Bosch and Christian Conroy and Benjamin Ortiz and Philip Bogden(参考訳) 我々は,コンピュータビジョン(cv),内陸洪水予測,被害評価,データ可視化における最新の技術を取り入れた危機対応と管理のためのフレームワークを開発した。 このフレームワークは、危機前後に収集されたデータを使用して、災害対応の全段階において、迅速かつインフォームドな意思決定を可能にする。 コンピュータビジョンモデルでは,宇宙画像や空中画像を分析し,災害時および災害後の関連特徴を検知し,webアクセス可能なマッピングツールによって動作可能な情報に変換されるメタデータを作成する。 特に,水,道路,建物,植生などの特徴を画像から識別するモデル群を設計した。 我々は,OpenStreetMapsなどのオープンソースラベルの追加や,HAND(Height Above Nearest Drainage)などの補完データソースをネットワークの入力のサイドチャネルとして追加することにより,大規模データアノテーションの取り組みへの依存を解消し,視覚的特徴に直交する他の特徴の学習を促す手法を検討した。 モデリングには,(1)セマンティックセグメンテーション,(2)フラッドライン検出,(3)損傷評価のための接続されたU-Netの修正が含まれる。 特に損傷評価の場合には,U-Netに第2エンコーダを追加して,先行画像と後画像の特徴を同時に学習できるようにした。 この手法により,ネットワークは事前画像と事後画像の違いを学習し,より効果的に損傷レベルを分類することができる。 我々は,noaa(national oceanic and atmospheric administration)のリモートセンシング部門(remote sensing division)の公開データを用いて,モザイクタイル画像として都市と街並みの詳細を表示する手法と,xview2チャレンジの一環としてリリースされたデータを用いて検証を行った。

We have developed a framework for crisis response and management that incorporates the latest technologies in computer vision (CV), inland flood prediction, damage assessment and data visualization. The framework uses data collected before, during, and after the crisis to enable rapid and informed decision making during all phases of disaster response. Our computer-vision model analyzes spaceborne and airborne imagery to detect relevant features during and after a natural disaster and creates metadata that is transformed into actionable information through web-accessible mapping tools. In particular, we have designed an ensemble of models to identify features including water, roads, buildings, and vegetation from the imagery. We have investigated techniques to bootstrap and reduce dependency on large data annotation efforts by adding use of open source labels including OpenStreetMaps and adding complementary data sources including Height Above Nearest Drainage (HAND) as a side channel to the network's input to encourage it to learn other features orthogonal to visual characteristics. Modeling efforts include modification of connected U-Nets for (1) semantic segmentation, (2) flood line detection, and (3) for damage assessment. In particular for the case of damage assessment, we added a second encoder to U-Net so that it could learn pre-event and post-event image features simultaneously. Through this method, the network is able to learn the difference between the pre- and post-disaster images, and therefore more effectively classify the level of damage. We have validated our approaches using publicly available data from the National Oceanic and Atmospheric Administration (NOAA)'s Remote Sensing Division, which displays the city and street-level details as mosaic tile images as well as data released as part of the Xview2 challenge.
翻訳日:2022-10-28 04:19:52 公開日:2020-09-08
# 補助情報によるマッピングのためのベイズ深層学習:地球統計学の新しい時代?

Bayesian deep learning for mapping via auxiliary information: a new era for geostatistics? ( http://arxiv.org/abs/2008.07320v3 )

ライセンス: Link先を確認
Charlie Kirkwood, Theo Economou, Nicolas Pugeault(参考訳) 地理空間モデリングとマッピングのタスクでは、南アフリカの鉱山技術者Danie Krigeによって開発された空間補間技術であるクリグの変種が、確立された統計学的手法とみなされてきた。 しかし、リグレッション・クリッギングとその変種(回帰クリッギングなど、補助変数やそれらの誘導体が共変体として含まれる)は比較的限定的なモデルであり、深層ニューラルネットワークによって過去10年間に我々に与えられた能力の欠如である。 機能学習 - イメージなどのグリッド化されたデータの中で、タスク固有のパターンを認識するフィルタを学習する機能。 ここでは、深層ニューラルネットワークが、ポイントサンプリングされたターゲット変数とグリッド化された補助変数(リモートセンシングによって提供されるものなど)の間の複雑な関係を自動的に学習し、選択されたターゲット変数の詳細なマップを生成する方法を示す。 同時に、適切に調整された確率を必要とする意思決定者のニーズを満たすために、モンテカルロ・ドロップアウトとして知られるベイズ近似による不確実性推定を求める。 この例では,測点データから全国規模の確率的地球化学マップを作成し,地形高度グリッドによる補助情報を得た。 従来の統計手法とは異なり、補助的な可変格子はニューラルネットワークの生に供給される。 深層ニューラルネットワークはこれらを学習でき、予測性能を最大化するために必要に応じて任意に複雑な微分を提供することができるため、地形微分(例えば傾斜角、粗さなど)を提供する必要はない。 我々は,この結果がベイズ深層学習の適合性や,不確実性が問題となる大規模地球統計学応用のための機能学習能力の認知度を高めることを期待している。

For geospatial modelling and mapping tasks, variants of kriging - the spatial interpolation technique developed by South African mining engineer Danie Krige - have long been regarded as the established geostatistical methods. However, kriging and its variants (such as regression kriging, in which auxiliary variables or derivatives of these are included as covariates) are relatively restrictive models and lack capabilities that have been afforded to us in the last decade by deep neural networks. Principal among these is feature learning - the ability to learn filters to recognise task-specific patterns in gridded data such as images. Here we demonstrate the power of feature learning in a geostatistical context, by showing how deep neural networks can automatically learn the complex relationships between point-sampled target variables and gridded auxiliary variables (such as those provided by remote sensing), and in doing so produce detailed maps of chosen target variables. At the same time, in order to cater for the needs of decision makers who require well-calibrated probabilities, we obtain uncertainty estimates via a Bayesian approximation known as Monte Carlo dropout. In our example, we produce a national-scale probabilistic geochemical map from point-sampled assay data, with auxiliary information provided by a terrain elevation grid. Unlike traditional geostatistical approaches, auxiliary variable grids are fed into our deep neural network raw. There is no need to provide terrain derivatives (e.g. slope angles, roughness, etc) because the deep neural network is capable of learning these and arbitrarily more complex derivatives as necessary to maximise predictive performance. We hope our results will raise awareness of the suitability of Bayesian deep learning - and its feature learning capabilities - for large-scale geostatistical applications where uncertainty matters.
翻訳日:2022-10-28 03:24:58 公開日:2020-09-08
# バイオメディカルバイナリ分類のための厳密な機械学習分析パイプライン:膵癌ネストケースコントロール研究への応用とバイアス評価への応用

A Rigorous Machine Learning Analysis Pipeline for Biomedical Binary Classification: Application in Pancreatic Cancer Nested Case-control Studies with Implications for Bias Assessments ( http://arxiv.org/abs/2008.12829v2 )

ライセンス: Link先を確認
Ryan J. Urbanowicz and Pranshu Suri and Yuhan Cui and Jason H. Moore and Karen Ruth and Rachael Stolzenberg-Solomon and Shannon M. Lynch(参考訳) 機械学習(ml)は、多くの機能や複雑な関連を持つデータにしばしば適用される、関連の検出とモデリングのための強力なアプローチのコレクションを提供する。 現在、カスタムML分析の実装を容易にするツールが多数存在する(Scikit-learnなど)。 mlパッケージの自動化への関心も高まり、非専門家がmlを適用するのが容易になり、モデルパフォーマンスが向上する可能性がある。 mlは多くの生物医学研究のサブフィールドに浸透し、様々なレベルの厳密さと正しい使用法がある。 MLが提供する膨大な機会は、包括的な分析パイプラインを組み立てることの難しさと、ML誤用の容易さによって、しばしば相殺される。 この作業では、バイナリ分類(ケース/コントロール予測)に焦点を当てた、厳密な厳密なML分析パイプラインのレイアウトと組み立てを行い、シミュレーションと実世界のデータの両方にこのパイプラインを適用しました。 高いレベルでは、この'自動化'だがカスタマイズ可能なパイプラインには、 a) 探索分析, b) データクリーニング及び変換 c) 特徴の選択 d)9つの確立したmlアルゴリズムによるモデルトレーニング、それぞれのハイパーパラメータ最適化 e) 適切な指標、統計分析及び新規な可視化を含む徹底的な評価 このパイプラインはMLパイプラインアセンブリの多くの微妙な複雑さを整理し、バイアスを避け再現性を確保するためのベストプラクティスを説明する。 さらに、このパイプラインは、確立されたMLアルゴリズムをルールベースのMLアルゴリズムである「ExSTraCS」と比較した最初のものである。 広く応用できるように設計されているが,本パイプラインを膵癌に対する確立された,新たに同定された危険因子の疫学的調査に適用し,MLアルゴリズムによって異なるバイアス源がどのように扱われるかを評価する。

Machine learning (ML) offers a collection of powerful approaches for detecting and modeling associations, often applied to data having a large number of features and/or complex associations. Currently, there are many tools to facilitate implementing custom ML analyses (e.g. scikit-learn). Interest is also increasing in automated ML packages, which can make it easier for non-experts to apply ML and have the potential to improve model performance. ML permeates most subfields of biomedical research with varying levels of rigor and correct usage. Tremendous opportunities offered by ML are frequently offset by the challenge of assembling comprehensive analysis pipelines, and the ease of ML misuse. In this work we have laid out and assembled a complete, rigorous ML analysis pipeline focused on binary classification (i.e. case/control prediction), and applied this pipeline to both simulated and real world data. At a high level, this 'automated' but customizable pipeline includes a) exploratory analysis, b) data cleaning and transformation, c) feature selection, d) model training with 9 established ML algorithms, each with hyperparameter optimization, and e) thorough evaluation, including appropriate metrics, statistical analyses, and novel visualizations. This pipeline organizes the many subtle complexities of ML pipeline assembly to illustrate best practices to avoid bias and ensure reproducibility. Additionally, this pipeline is the first to compare established ML algorithms to 'ExSTraCS', a rule-based ML algorithm with the unique capability of interpretably modeling heterogeneous patterns of association. While designed to be widely applicable we apply this pipeline to an epidemiological investigation of established and newly identified risk factors for pancreatic cancer to evaluate how different sources of bias might be handled by ML algorithms.
翻訳日:2022-10-24 01:40:07 公開日:2020-09-08
# 深層学習と量子回帰を用いた時系列データを用いた計算機モデル校正

Computer Model Calibration with Time Series Data using Deep Learning and Quantile Regression ( http://arxiv.org/abs/2008.13066v2 )

ライセンス: Link先を確認
Saumya Bhatnagar, Won Chang, Seonjin Kim Jiali Wang(参考訳) コンピュータモデルは、多くの科学的、工学的問題において重要な役割を担っている。 コンピュータモデル実験における不確実性の主な源は入力パラメータの不確実性である。 コンピュータモデルキャリブレーション(computer model calibration)は、モデル実行と観測データからの情報を組み合わせて入力パラメータを推測する形式的な統計手順である。 既存の標準校正フレームワークは、エミュレータ構築の困難さや、入力パラメータとデータモデル差分の影響の非識別性により、モデル出力と観測データが大時系列などの高次元依存データである場合、推論問題に悩まされる。 これらの課題を克服するために、モデル出力と入力パラメータ間の逆関係を直接エミュレートする長期記憶層を持つディープニューラルネットワーク(DNN)に基づく新しいキャリブレーションフレームワークを提案する。 ノイズによる学習”の概念を採用して、DNNモデルをトレーニングし、入力パラメータの推論に対するデータモデルの不一致からの影響を除去します。 また,入力パラメータ推定の不確かさを定量化するために,量子化回帰を用いたdnnの区間予測手法を提案する。 wrf-hydroモデルを用いたシミュレーション研究と実データ応用により,入力パラメータの正確な点推定と高精度区間推定が得られることを示す。

Computer models play a key role in many scientific and engineering problems. One major source of uncertainty in computer model experiment is input parameter uncertainty. Computer model calibration is a formal statistical procedure to infer input parameters by combining information from model runs and observational data. The existing standard calibration framework suffers from inferential issues when the model output and observational data are high-dimensional dependent data such as large time series due to the difficulty in building an emulator and the non-identifiability between effects from input parameters and data-model discrepancy. To overcome these challenges we propose a new calibration framework based on a deep neural network (DNN) with long-short term memory layers that directly emulates the inverse relationship between the model output and input parameters. Adopting the 'learning with noise' idea we train our DNN model to filter out the effects from data model discrepancy on input parameter inference. We also formulate a new way to construct interval predictions for DNN using quantile regression to quantify the uncertainty in input parameter estimates. Through a simulation study and real data application with WRF-hydro model we show that our approach can yield accurate point estimates and well calibrated interval estimates for input parameters.
翻訳日:2022-10-23 17:01:51 公開日:2020-09-08
# 単純大域的神経談話解析器

A Simple Global Neural Discourse Parser ( http://arxiv.org/abs/2009.01312v2 )

ライセンス: Link先を確認
Yichu Zhou, Omri Koshorek, Vivek Srikumar and Jonathan Berant(参考訳) 談話構文解析は、主に手作業で設計した欲望のあるパーサーが中心であるが、グローバルパースはその計算コストのために稀である。 本稿では,手作業による特徴を一切必要とせず,学習したスパン表現のみに基づく簡易なチャートベースのニューラル・ディスコース・パーサを提案する。 計算課題を克服するために,木内のノードに割り当てられたラベルと,その子を分離する分割点との間に独立性の仮定を提案する。 我々は,学習したスパン表現のみを使用して,グローバルパーサの最高の性能と最先端の欲望パーサに匹敵するパフォーマンスを達成できることを実証的に証明した。

Discourse parsing is largely dominated by greedy parsers with manually-designed features, while global parsing is rare due to its computational expense. In this paper, we propose a simple chart-based neural discourse parser that does not require any manually-crafted features and is based on learned span representations only. To overcome the computational challenge, we propose an independence assumption between the label assigned to a node in the tree and the splitting point that separates its children, which results in tractable decoding. We empirically demonstrate that our model achieves the best performance among global parsers, and comparable performance to state-of-art greedy parsers, using only learned span representations.
翻訳日:2022-10-22 19:11:52 公開日:2020-09-08
# なぜ君に従わないのですか。 責任ある推薦システムにおける理由と理由

Why should I not follow you? Reasons For and Reasons Against in Responsible Recommender Systems ( http://arxiv.org/abs/2009.01953v2 )

ライセンス: Link先を確認
Gustavo Padilha Polleti, Douglas Luan de Souza, Fabio Cozman(参考訳) いくつかのレコメンダシステム(rs)は、レコメンデーションに対する信頼を高めるために説明に頼っている。 しかし、現在の説明生成技術は、理由と理由の両方を提示するのではなく、推奨製品を強く支持する傾向がある。 我々は,知識グラフを利用したり,スネーデガーの実践的推論理論を適用して,この2つの理由をユーザーに率直に提示することで,RSが全体的な信頼と透明性を高めることができると論じる。 我々は、実装したrsは優れた性能を示し、信頼、関与、説得性が大幅に向上した理由と反対理由を提示する価値を示す人間の被験者による実験を報告した。

A few Recommender Systems (RS) resort to explanations so as to enhance trust in recommendations. However, current techniques for explanation generation tend to strongly uphold the recommended products instead of presenting both reasons for and reasons against them. We argue that an RS can better enhance overall trust and transparency by frankly displaying both kinds of reasons to users.We have developed such an RS by exploiting knowledge graphs and by applying Snedegar's theory of practical reasoning. We show that our implemented RS has excellent performance and we report on an experiment with human subjects that shows the value of presenting both reasons for and against, with significant improvements in trust, engagement, and persuasion.
翻訳日:2022-10-22 08:00:31 公開日:2020-09-08
# LIMEによる意図しない放射能分類の解説

Explanation of Unintended Radiated Emission Classification via LIME ( http://arxiv.org/abs/2009.02418v2 )

ライセンス: Link先を確認
Tom Grimes, Eric Church, William Pitts, Lynn Wood(参考訳) 意図しない放射放出は電子機器の使用中に発生する。 これらの排出の影響を識別し緩和することは、現代の電力工学と関連する制御システムの重要な要素である。 電気システムの信号処理は、これらの排出源を識別することができる。 Flaming Moesと呼ばれるデータセットには、消費者電子からの意図しない放射放出が含まれている。 このデータセットは、デバイス識別のための次世代メソッドを構築するために分析された。 この目的のために、ResNet-18画像分類アーキテクチャを短時間で電圧シグネチャの短いセグメントのフーリエ変換に適用したニューラルネットワークを構築した。 この分類器を用いて、18のデバイスクラスとバックグラウンドクラスを100%近い精度で同定した。 この分類器にLIMEを適用し、同じ装置の多くの分類に対して結果を集約することにより、分類器が決定するために使用する周波数帯域を決定できる。 同じ親データ分布から、非常に類似したデータセットでトレーニングされた分類器のアンサンブルを使用して、デバイス出力のロバストな機能セットを識別に役立てることができる。 LIMEの適用によるさらなる理解は、URE分析ネットワークのトレーニング可能性、信頼性、転送可能性を高める。

Unintended radiated emissions arise during the use of electronic devices. Identifying and mitigating the effects of these emissions is a key element of modern power engineering and associated control systems. Signal processing of the electrical system can identify the sources of these emissions. A dataset known as Flaming Moes includes captured unintended radiated emissions from consumer electronics. This dataset was analyzed to construct next-generation methods for device identification. To this end, a neural network based on applying the ResNet-18 image classification architecture to the short time Fourier transforms of short segments of voltage signatures was constructed. Using this classifier, the 18 device classes and background class were identified with close to 100 percent accuracy. By applying LIME to this classifier and aggregating the results over many classifications for the same device, it was possible to determine the frequency bands used by the classifier to make decisions. Using ensembles of classifiers trained on very similar datasets from the same parent data distribution, it was possible to recover robust sets of features of device output useful for identification. The additional understanding provided by the application of LIME enhances the trainability, trustability, and transferability of URE analysis networks.
翻訳日:2022-10-22 02:00:44 公開日:2020-09-08
# bluff: ディープニューラルネットワークの敵攻撃をインタラクティブに解読する

Bluff: Interactively Deciphering Adversarial Attacks on Deep Neural Networks ( http://arxiv.org/abs/2009.02608v2 )

ライセンス: Link先を確認
Nilaksh Das, Haekyu Park, Zijie J. Wang, Fred Hohman, Robert Firstman, Emily Rogers, Duen Horng Chau(参考訳) ディープニューラルネットワーク(DNN)は現在、多くのドメインで一般的に使用されている。 しかし、それらは敵対的な攻撃に弱い: モデルを騙して誤った予測をする可能性のあるデータ入力の摂動を慎重に構築する。 DNN攻撃と防衛技術の開発に関する重大な研究にもかかわらず、そのような攻撃がモデルの内部をいかに浸透させるかは理解されていない。 視覚に基づくニューラルネットワークに対する敵攻撃を可視化し、特徴付け、解読するインタラクティブシステムであるBluffを提案する。 Bluffは、良心と攻撃された画像の活性化経路を柔軟に視覚化し、比較し、敵の攻撃がモデルに害を与えるメカニズムを明らかにする。 Bluffはオープンソースで、モダンなWebブラウザで動作する。

Deep neural networks (DNNs) are now commonly used in many domains. However, they are vulnerable to adversarial attacks: carefully crafted perturbations on data inputs that can fool a model into making incorrect predictions. Despite significant research on developing DNN attack and defense techniques, people still lack an understanding of how such attacks penetrate a model's internals. We present Bluff, an interactive system for visualizing, characterizing, and deciphering adversarial attacks on vision-based neural networks. Bluff allows people to flexibly visualize and compare the activation pathways for benign and attacked images, revealing mechanisms that adversarial attacks employ to inflict harm on a model. Bluff is open-sourced and runs in modern web browsers.
翻訳日:2022-10-21 21:09:19 公開日:2020-09-08
# グラフ畳み込みネットワークを用いたセグメンテーションによる視覚物体追跡

Visual Object Tracking by Segmentation with Graph Convolutional Network ( http://arxiv.org/abs/2009.02523v2 )

ライセンス: Link先を確認
Bo Jiang, Panpan Zhang, Lili Huang(参考訳) セグメンテーションに基づくトラッキングはコンピュータビジョンとマルチメディアで積極的に研究されている。 スーパーピクセルベースのオブジェクトセグメンテーションとトラッキング手法は通常、このタスクのために開発される。 しかし、それらが独立にスーパーピクセルの特徴表現と学習を行い、それが準最適結果につながる可能性がある。 本稿では,スーパーピクセルに基づく物体追跡のためのグラフ畳み込みネットワーク(gcn)モデルを提案する。 提案モデルは、統合する汎用的なエンドツーエンドフレームワークを提供する 一 線形予測のラベル及び 二 各スーパーピクセルの構造認識特徴情報を組み合わせてオブジェクトセグメンテーションを取得し、さらに追跡性能を向上させること。 提案したGCN法の主な利点は2つある。 まず、ターゲットオブジェクトセグメンテーションのための空間的および時間的一貫性の制約を効果的に活用する方法を提供する。 第2に、混合グラフ畳み込みモジュールを使用して、スーパーピクセル表現とラベリングのためのコンテキスト認識および識別機能を学ぶ。 提案モデルの最適化に有効なアルゴリズムが開発された。 5つのデータセットに関する広範囲な実験により、既存の代替手法よりも優れた性能が得られることを示した。

Segmentation-based tracking has been actively studied in computer vision and multimedia. Superpixel based object segmentation and tracking methods are usually developed for this task. However, they independently perform feature representation and learning of superpixels which may lead to sub-optimal results. In this paper, we propose to utilize graph convolutional network (GCN) model for superpixel based object tracking. The proposed model provides a general end-to-end framework which integrates i) label linear prediction, and ii) structure-aware feature information of each superpixel together to obtain object segmentation and further improves the performance of tracking. The main benefits of the proposed GCN method have two main aspects. First, it provides an effective end-to-end way to exploit both spatial and temporal consistency constraint for target object segmentation. Second, it utilizes a mixed graph convolution module to learn a context-aware and discriminative feature for superpixel representation and labeling. An effective algorithm has been developed to optimize the proposed model. Extensive experiments on five datasets demonstrate that our method obtains better performance against existing alternative methods.
翻訳日:2022-10-21 21:01:12 公開日:2020-09-08
# プラズマトモグラフィによる破壊前駆体解析のための深層学習

Deep Learning for the Analysis of Disruption Precursors based on Plasma Tomography ( http://arxiv.org/abs/2009.02708v2 )

ライセンス: Link先を確認
Diogo R. Ferreira, Pedro J. Carvalho, Carlo Sozzi, Peter J. Lomas, JET Contributors(参考訳) JETのベースラインシナリオは、高い核融合性能と持続的な核融合力を達成するために開発されている。 しかし、プラズマ電流が高く、入力電力が高くなると、パルス破壊性の増加が観測されている。 破壊の原因は広い範囲にあるが、現在の破壊は不純物蓄積、核放射、放射崩壊などの放射現象と密接に関連しているようである。 本研究では,プラズマ放射プロファイルの再構成を目的としたボロメータトモグラフィーに着目し,その上に異常検出を適用し,破壊に先行する放射線パターンを同定する。 このアプローチは機械学習を広範囲に活用する。 まず,マトリクス乗算に基づくプラズマトモグラフィのサロゲートモデルを訓練し,任意のパルスの全範囲にわたってプラズマ放射プロファイルを高速に計算する手法を提案する。 次に,可変オートエンコーダを訓練し,その放射線プロファイルを潜在分布に符号化し,その後に復号する。 異常検出装置として、変分オートエンコーダは、実際の破壊だけでなく前駆体も含む異常な振る舞いを再現するのに苦労する。 これらの前駆体は、jetにおける最近の2つのキャンペーンにおける全てのベースラインパルスの異常スコアの分析に基づいて同定される。

The JET baseline scenario is being developed to achieve high fusion performance and sustained fusion power. However, with higher plasma current and higher input power, an increase in pulse disruptivity is being observed. Although there is a wide range of possible disruption causes, the present disruptions seem to be closely related to radiative phenomena such as impurity accumulation, core radiation, and radiative collapse. In this work, we focus on bolometer tomography to reconstruct the plasma radiation profile and, on top of it, we apply anomaly detection to identify the radiation patterns that precede major disruptions. The approach makes extensive use of machine learning. First, we train a surrogate model for plasma tomography based on matrix multiplication, which provides a fast method to compute the plasma radiation profiles across the full extent of any given pulse. Then, we train a variational autoencoder to reproduce the radiation profiles by encoding them into a latent distribution and subsequently decoding them. As an anomaly detector, the variational autoencoder struggles to reproduce unusual behaviors, which includes not only the actual disruptions but their precursors as well. These precursors are identified based on an analysis of the anomaly score across all baseline pulses in two recent campaigns at JET.
翻訳日:2022-10-21 08:39:09 公開日:2020-09-08
# CalciumGAN : 神経集団のリアルカルシウムイメージングデータ合成のための生成逆ネットワークモデル

CalciumGAN: A Generative Adversarial Network Model for Synthesising Realistic Calcium Imaging Data of Neuronal Populations ( http://arxiv.org/abs/2009.02707v2 )

ライセンス: Link先を確認
Bryan M. Li, Theoklitos Amvrosiadis, Nathalie Rochefort, Arno Onken(参考訳) カルシウムイメージングは、生体内で多くのニューロンの活動を監視するために強力で一般的な技術となっている。 しかし、倫理的考察や近年の技術開発にもかかわらず、録音は限られた数の試験と動物に制限されている。 これにより、個々の実験から得られるデータ量が制限され、より現実的なニューロン集団の大きさのための分析技術やモデルの開発が妨げられる。 リアルな神経細胞のカルシウムシグナルを人工的に合成する能力は、試行回数を増やすことでこの問題を大幅に軽減することができる。 本稿では,ニューロンソマタとカルシウムイメージングを併用したリアルなカルシウム信号を生成するGANモデルを提案する。 この目的のために、WaveGANアーキテクチャを適用し、Wasserstein距離でトレーニングする。 既知の基底を持つ人工データを用いて実験を行い,生成された信号の分布が基礎となるデータ分布によく似ていることを示す。 そして,マウスの一次視覚野から記録された実際のカルシウム信号に基づいてモデルを訓練し,その逆転したスパイクトレインが記録されたデータの統計に一致することを確認した。 これらの結果から,本モデルが実際のカルシウムイメージングデータを生成することに成功し,既存のニューロン活動のデータセットを増強し,データ探索とモデリングを強化できることを示した。

Calcium imaging has become a powerful and popular technique to monitor the activity of large populations of neurons in vivo. However, for ethical considerations and despite recent technical developments, recordings are still constrained to a limited number of trials and animals. This limits the amount of data available from individual experiments and hinders the development of analysis techniques and models for more realistic size of neuronal populations. The ability to artificially synthesize realistic neuronal calcium signals could greatly alleviate this problem by scaling up the number of trials. Here we propose a Generative Adversarial Network (GAN) model to generate realistic calcium signals as seen in neuronal somata with calcium imaging. To this end, we adapt the WaveGAN architecture and train it with the Wasserstein distance. We test the model on artificial data with known ground-truth and show that the distribution of the generated signals closely resembles the underlying data distribution. Then, we train the model on real calcium signals recorded from the primary visual cortex of behaving mice and confirm that the deconvolved spike trains match the statistics of the recorded data. Together, these results demonstrate that our model can successfully generate realistic calcium imaging data, thereby providing the means to augment existing datasets of neuronal activity for enhanced data exploration and modeling.
翻訳日:2022-10-21 08:02:31 公開日:2020-09-08
# 信頼できる因果ルールの発見

Discovering Reliable Causal Rules ( http://arxiv.org/abs/2009.02728v2 )

ライセンス: Link先を確認
Kailash Budhathoki, Mario Boley and Jilles Vreeken(参考訳) 我々は、複雑なシステムで実行された場合、望ましい結果をもたらすポリシーや規則を導出する問題を調査する。 制御された実験を行う能力がないため、そのようなルールはシステムの振る舞いの過去の観察から推測される必要がある。 これは2つの理由において難しい問題である: 第一に、観察効果は、しばしば、因果効果を表わさない。 第二に、ある規則の効果の単純な経験的推定は高い分散を持ち、従ってそれらの最大化はランダムな結果をもたらす。 これらの問題に対処するために、まず、観察データからルールの因果効果を測定する。 重要なことは、因果規則発見が可能なグラフィカルな基準を提供する。 さらに, サンプルから信頼性の高い因果関係を推定するために, 因果関係の保守的かつ一貫した推定器を提案し, 推定器を最大化する効率的かつ正確なアルゴリズムを導出する。 合成データでは,提案した推定器は実測値よりも地上の真理に早く収束し,小さなサンプルサイズでも関連する因果規則を復元する。 様々な実世界のデータセットに対する大規模な実験は、提案アルゴリズムが効率的で有意義なルールを発見することを示している。

We study the problem of deriving policies, or rules, that when enacted on a complex system, cause a desired outcome. Absent the ability to perform controlled experiments, such rules have to be inferred from past observations of the system's behaviour. This is a challenging problem for two reasons: First, observational effects are often unrepresentative of the underlying causal effect because they are skewed by the presence of confounding factors. Second, naive empirical estimations of a rule's effect have a high variance, and, hence, their maximisation can lead to random results. To address these issues, first we measure the causal effect of a rule from observational data---adjusting for the effect of potential confounders. Importantly, we provide a graphical criteria under which causal rule discovery is possible. Moreover, to discover reliable causal rules from a sample, we propose a conservative and consistent estimator of the causal effect, and derive an efficient and exact algorithm that maximises the estimator. On synthetic data, the proposed estimator converges faster to the ground truth than the naive estimator and recovers relevant causal rules even at small sample sizes. Extensive experiments on a variety of real-world datasets show that the proposed algorithm is efficient and discovers meaningful rules.
翻訳日:2022-10-21 07:56:29 公開日:2020-09-08
# 複数インスタンス学習におけるキーインスタンス検出のためのスパースネットワークインバージョン

Sparse Network Inversion for Key Instance Detection in Multiple Instance Learning ( http://arxiv.org/abs/2009.02909v2 )

ライセンス: Link先を確認
Beomjo Shin, Junsu Cho, Hwanjo Yu, Seungjin Choi(参考訳) 複数インスタンス学習(MIL)では、トレーニングフェーズで各インスタンスのラベルにアクセスすることなく、バッグレベルで正または負のラベルが与えられたインスタンスの袋の1つのラベルを予測する。 正のバッグには正のインスタンスと負のインスタンスの両方が含まれているため、複数のインスタンスが正のバッグに分類された場合、正のインスタンス(キーのインスタンス)を検出することがしばしば必要となる。 注目に基づくディープMILモデルは、バッグレベルの分類とキーインスタンス検出(KID)の両方において最近の進歩である。 しかし、正の袋の中の正のインスタンスと負のインスタンスが明確に区別できない場合、注意に基づく深部MILモデルは、注意スコアが少数の正のインスタンスにスキューされるため、KID性能が制限される。 本稿では,KIDタスクにおける注意に基づく深層MILモデルの改善手法を提案する。 主なアイデアは、トレーニングされたmilモデルによって生成された袋レベルの予測にどのインスタンスが寄与したかを見つけるためにニューラルネットワークインバージョンを使用することである。 さらに,ニューラルネットワークのインバージョンにはスパース性制約が組み込まれており,近位勾配法によって解かれるスパースネットワークインバージョンが導かれる。 MNISTをベースとした画像MILデータセットと2つの実世界の病理組織学的データセットの数値実験により,本手法の有効性が検証され,バッグレベルの予測性能を維持しつつ,KID性能が著しく向上したことを示す。

Multiple Instance Learning (MIL) involves predicting a single label for a bag of instances, given positive or negative labels at bag-level, without accessing to label for each instance in the training phase. Since a positive bag contains both positive and negative instances, it is often required to detect positive instances (key instances) when a set of instances is categorized as a positive bag. The attention-based deep MIL model is a recent advance in both bag-level classification and key instance detection (KID). However, if the positive and negative instances in a positive bag are not clearly distinguishable, the attention-based deep MIL model has limited KID performance as the attention scores are skewed to few positive instances. In this paper, we present a method to improve the attention-based deep MIL model in the task of KID. The main idea is to use the neural network inversion to find which instances made contribution to the bag-level prediction produced by the trained MIL model. Moreover, we incorporate a sparseness constraint into the neural network inversion, leading to the sparse network inversion which is solved by the proximal gradient method. Numerical experiments on an MNIST-based image MIL dataset and two real-world histopathology datasets verify the validity of our method, demonstrating the KID performance is significantly improved while the performance of bag-level prediction is maintained.
翻訳日:2022-10-21 02:20:57 公開日:2020-09-08
# RETAINを用いた糖尿病患者の深部グルコース予測モデルの解析

Interpreting Deep Glucose Predictive Models for Diabetic People Using RETAIN ( http://arxiv.org/abs/2009.04524v1 )

ライセンス: Link先を確認
Maxime De Bois, Moun\^im A. El Yacoubi, Mehdi Ammi(参考訳) 深層学習によるバイオメディカル分野の進歩は、モデルの解釈可能性の欠如によって妨げられている。 本稿では,糖尿病患者に対する将来の血糖値予測のためのRETAINアーキテクチャについて検討する。 2レベルアテンション機構のおかげで、retainモデルは標準的なニューラルネットワークと同じくらい効率的でありながら解釈可能である。 実世界の2型糖尿病患者を対象に,無作為な森林モデルとLSTMをベースとしたリカレントニューラルネットワークとの比較を行った。 以上の結果から, 保持モデルは, 前者より優れており, 共通精度指標と臨床受容度指標では後者と同等であり, グルコースレベル予測の文脈でその正当性が証明された。 さらに,RETAINの解釈可能な性質を活用するツールを提案する。 患者にとって, 患者にとって有益であるように, モデルによる予測の理解を深め, 将来のグルコース予測モデルの設計を改善することができる。

Progress in the biomedical field through the use of deep learning is hindered by the lack of interpretability of the models. In this paper, we study the RETAIN architecture for the forecasting of future glucose values for diabetic people. Thanks to its two-level attention mechanism, the RETAIN model is interpretable while remaining as efficient as standard neural networks. We evaluate the model on a real-world type-2 diabetic population and we compare it to a random forest model and a LSTM-based recurrent neural network. Our results show that the RETAIN model outperforms the former and equals the latter on common accuracy metrics and clinical acceptability metrics, thereby proving its legitimacy in the context of glucose level forecasting. Furthermore, we propose tools to take advantage of the RETAIN interpretable nature. As informative for the patients as for the practitioners, it can enhance the understanding of the predictions made by the model and improve the design of future glucose predictive models.
翻訳日:2022-10-20 21:46:01 公開日:2020-09-08
# 全変分正規化モデルのための残差解とその展開ニューラルネットワーク

A Residual Solver and Its Unfolding Neural Network for Total Variation Regularized Models ( http://arxiv.org/abs/2009.03477v1 )

ライセンス: Link先を確認
Yuanhao Gong(参考訳) 本稿では,入力と未知最適解の残差を求めることにより,全変動正規化モデルを解くことを提案する。 従来の手法を解析した後、勾配領域のモデルを暗黙的に解いたResidual Solverと呼ばれる新しい反復アルゴリズムを開発した。 アルゴリズムにおける勾配場の一意性を理論的に証明する。 さらに,500個の自然画像の古典的解法と同じ大域的最適解に到達できることを数値的に確認する。 さらに、反復アルゴリズムを畳み込みニューラルネットワーク(Residual Solver Network)に展開する。 このネットワークは教師なしであり、反復アルゴリズムの「拡張版」と見なすことができる。 最後に,提案アルゴリズムとニューラルネットワークを併用して,画像の平滑化,脱雑音化,生医学的画像再構成などの有効性と効率性を示す。 提案するネットワークは汎用的であり、他の全変分正規化モデルの解法にも応用できる。

This paper proposes to solve the Total Variation regularized models by finding the residual between the input and the unknown optimal solution. After analyzing a previous method, we developed a new iterative algorithm, named as Residual Solver, which implicitly solves the model in gradient domain. We theoretically prove the uniqueness of the gradient field in our algorithm. We further numerically confirm that the residual solver can reach the same global optimal solutions as the classical method on 500 natural images. Moreover, we unfold our iterative algorithm into a convolution neural network (named as Residual Solver Network). This network is unsupervised and can be considered as an "enhanced version" of our iterative algorithm. Finally, both the proposed algorithm and neural network are successfully applied on several problems to demonstrate their effectiveness and efficiency, including image smoothing, denoising, and biomedical image reconstruction. The proposed network is general and can be applied to solve other total variation regularized models.
翻訳日:2022-10-20 21:45:48 公開日:2020-09-08
# 粒子加速器のオンライン最適化のための物理式ガウス過程

Physics-informed Gaussian Process for Online Optimization of Particle Accelerators ( http://arxiv.org/abs/2009.03566v1 )

ライセンス: Link先を確認
Adi Hanuka, X. Huang, J. Shtalenkova, D. Kennedy, A. Edelen, V. R. Lalchand, D. Ratner, and J. Duris(参考訳) 高次元最適化は大規模科学施設の運用において重要な課題である。 物理インフォームドガウシアンプロセス(GP)を最適化して,効率的な大域探索を行うことで複雑なシステムをチューニングする。 典型的なgpモデルは過去の観測から学び、予測を行うが、アーカイブデータが利用できない新しいシステムへの適用性は低下する。 ここでは,物理シミュレーションによる高速近似モデルを用いてgpモデルの設計を行う。 GPは、システムの最適化のために、シーケンシャルなオンライン観測から推論するために使用される。 ストレージリングのオンライン制御手法を実証するためにシミュレーションおよび実験を行った。 物理に変換されたgpは、収束速度とこのタスクのロバスト性の観点から、現在日常的に使用されているオンラインオプティマイザよりも優れていることを示す。 機械学習モデルに物理学を知らせる能力は、科学に幅広い応用をもたらす可能性がある。

High-dimensional optimization is a critical challenge for operating large-scale scientific facilities. We apply a physics-informed Gaussian process (GP) optimizer to tune a complex system by conducting efficient global search. Typical GP models learn from past observations to make predictions, but this reduces their applicability to new systems where archive data is not available. Instead, here we use a fast approximate model from physics simulations to design the GP model. The GP is then employed to make inferences from sequential online observations in order to optimize the system. Simulation and experimental studies were carried out to demonstrate the method for online control of a storage ring. We show that the physics-informed GP outperforms current routinely used online optimizers in terms of convergence speed, and robustness on this task. The ability to inform the machine-learning model with physics may have wide applications in science.
翻訳日:2022-10-20 21:45:34 公開日:2020-09-08
# ポーズと視線先行を用いた美術史画像の構成構造理解

Understanding Compositional Structures in Art Historical Images using Pose and Gaze Priors ( http://arxiv.org/abs/2009.03807v1 )

ライセンス: Link先を確認
Prathmesh Madhu, Tilman Marquart, Ronak Kosti, Peter Bell, Andreas Maier and Vincent Christlein(参考訳) 美術史家にとって、美術品の分析ツールとしてのイメージ構成は極めて重要である。 これらの構成は、アーティストとその作品を研究するために画像内の相互作用を分析するのに有用である。 マックス・イムダール(Max Imdahl)は、イコニク(Ikonik)と呼ばれる作品の中で、20世紀の他の著名な美術史家とともに、画像の構造構成の美的・意味的な重要性を説いた。 画像内の構成構造を理解することは難しく、時間を要する作業である。 コンピュータビジョン技術を用いてこれらの構造を自動生成することは、美術史家にとって、多くの時間を節約し、膨大な画像リポジトリの概観とアクセスを提供し、また、機械による人造画像の理解に向けた重要な一歩となる。 本研究では,既存の最先端の機械学習技術を用いて,トレーニングの形式を伴わずにこのプロセスを自動化しようとする。 マックス・インダールの先駆的作品に触発された我々のアプローチは、イメージ構成の2つの中心的なテーマに焦点を当てている。 (a)作品の動作領域及び動作線の検出及び (b)前景と背景のポーズに基づくセグメンテーション 現在,本手法は画像中の主人公(人物)からなるアートワークを対象としている。 質的,定量的にアプローチを検証するため,専門家や非専門家によるユーザスタディを実施している。 研究結果は我々のアプローチと非常に相関し、ドメインに依存しない能力を示す。 コードをhttps://github.com/image-compostion-canvas-group/image-compostion-canvasでオープンソース化しました。

Image compositions as a tool for analysis of artworks is of extreme significance for art historians. These compositions are useful in analyzing the interactions in an image to study artists and their artworks. Max Imdahl in his work called Ikonik, along with other prominent art historians of the 20th century, underlined the aesthetic and semantic importance of the structural composition of an image. Understanding underlying compositional structures within images is challenging and a time consuming task. Generating these structures automatically using computer vision techniques (1) can help art historians towards their sophisticated analysis by saving lot of time; providing an overview and access to huge image repositories and (2) also provide an important step towards an understanding of man made imagery by machines. In this work, we attempt to automate this process using the existing state of the art machine learning techniques, without involving any form of training. Our approach, inspired by Max Imdahl's pioneering work, focuses on two central themes of image composition: (a) detection of action regions and action lines of the artwork; and (b) pose-based segmentation of foreground and background. Currently, our approach works for artworks comprising of protagonists (persons) in an image. In order to validate our approach qualitatively and quantitatively, we conduct a user study involving experts and non-experts. The outcome of the study highly correlates with our approach and also demonstrates its domain-agnostic capability. We have open-sourced the code at https://github.com/image-compostion-canvas-group/image-compostion-canvas.
翻訳日:2022-10-20 21:40:43 公開日:2020-09-08
# 畳み込みニューラルネットワークによる大腸癌および肺癌病理像の診断

Convolution Neural Networks for diagnosing colon and lung cancer histopathological images ( http://arxiv.org/abs/2009.03878v1 )

ライセンス: Link先を確認
Sanidhya Mangal, Aanchal Chaurasia and Ayush Khajanchi(参考訳) 肺がんと結腸がんは、成人の死亡と死に至る主要な原因の1つである。 病理組織学的診断は癌型を識別する重要な要素の1つである。 本研究の目的は,コンボリューションニューラルネットワークを用いた肺扁平上皮癌,肺腺癌,大腸腺癌を診断するためのコンピュータ診断システムを提案することである。 ここでは、近い将来、人工知能を有用な技術として表現する。 クラス毎に5000の画像を含むlc25000データセットから、合計2500のデジタル画像が取得された。 病理組織学的スライドを肺扁平上皮癌,腺癌,良性癌に分類した。 同様のモデルを用いて大腸腺癌の分類を行った。 肺と結腸の診断精度は97%以上,96%以上であった。

Lung and Colon cancer are one of the leading causes of mortality and morbidity in adults. Histopathological diagnosis is one of the key components to discern cancer type. The aim of the present research is to propose a computer aided diagnosis system for diagnosing squamous cell carcinomas and adenocarcinomas of lung as well as adenocarcinomas of colon using convolutional neural networks by evaluating the digital pathology images for these cancers. Hereby, rendering artificial intelligence as useful technology in the near future. A total of 2500 digital images were acquired from LC25000 dataset containing 5000 images for each class. A shallow neural network architecture was used classify the histopathological slides into squamous cell carcinomas, adenocarcinomas and benign for the lung. Similar model was used to classify adenocarcinomas and benign for colon. The diagnostic accuracy of more than 97% and 96% was recorded for lung and colon respectively.
翻訳日:2022-10-20 21:40:17 公開日:2020-09-08
# task-specific hetero-modal domain-shifted datasetsによる組織と脳病変の学習関節分節化

Learning joint segmentation of tissues and brain lesions from task-specific hetero-modal domain-shifted datasets ( http://arxiv.org/abs/2009.04009v1 )

ライセンス: Link先を確認
Reuben Dorent, Thomas Booth, Wenqi Li, Carole H. Sudre, Sina Kafiabadi, Jorge Cardoso, Sebastien Ourselin, Tom Vercauteren(参考訳) マルチモーダルMRIからの脳組織分割は多くの神経画像解析パイプラインの重要な構成要素である。 しかし,白質病変や腫瘍などの病理所見から生じる大きな解剖学的変化に対処するために確立された組織分節法は開発されておらず,これらの症例では失敗することが多い。 一方,深層ニューラルネットワーク(dnn)の出現に伴い,脳病変の分節化が著しく進展している。 しかし、既存のアプローチはほとんどなく、正常な組織と脳病変の関節分割が可能である。 このような共同タスクのためのDNNの開発は、注釈付きデータセットが通常1つの特定のタスクにのみ対応し、タスク固有の画像モダリティセットを含むタスク固有のイメージングプロトコルに依存するという事実によって、現在妨げられている。 本研究では,タスク固有のヘテロモーダルドメインシフトおよび部分注釈付きデータセットから関節組織および病変区分モデルを構築するための新しい手法を提案する。 共同問題の変分的定式化から始めて,期待されるリスクを分解し,経験的に最適化する方法を示す。 リスクの上限を利用して、データセットにまたがる異種画像モダリティに対処します。 潜在的なドメインシフトに対処するために,データ拡張,逆学習,擬似健康生成という3つの手法を統合し,テストを行った。 それぞれのタスクに対して、我々のジョイントアプローチはタスク固有のモデルと完全に教師されたモデルに匹敵するパフォーマンスを達成します。 提案した枠組みは、白質病変とグリオーマの2種類の脳病変で評価されている。 後者では, 定量的評価のための共同基盤構造が欠如しているため, 臨床関連質的評価手法を提案する。

Brain tissue segmentation from multimodal MRI is a key building block of many neuroimaging analysis pipelines. Established tissue segmentation approaches have, however, not been developed to cope with large anatomical changes resulting from pathology, such as white matter lesions or tumours, and often fail in these cases. In the meantime, with the advent of deep neural networks (DNNs), segmentation of brain lesions has matured significantly. However, few existing approaches allow for the joint segmentation of normal tissue and brain lesions. Developing a DNN for such a joint task is currently hampered by the fact that annotated datasets typically address only one specific task and rely on task-specific imaging protocols including a task-specific set of imaging modalities. In this work, we propose a novel approach to build a joint tissue and lesion segmentation model from aggregated task-specific hetero-modal domain-shifted and partially-annotated datasets. Starting from a variational formulation of the joint problem, we show how the expected risk can be decomposed and optimised empirically. We exploit an upper bound of the risk to deal with heterogeneous imaging modalities across datasets. To deal with potential domain shift, we integrated and tested three conventional techniques based on data augmentation, adversarial learning and pseudo-healthy generation. For each individual task, our joint approach reaches comparable performance to task-specific and fully-supervised models. The proposed framework is assessed on two different types of brain lesions: White matter lesions and gliomas. In the latter case, lacking a joint ground-truth for quantitative assessment purposes, we propose and use a novel clinically-relevant qualitative assessment methodology.
翻訳日:2022-10-20 21:40:05 公開日:2020-09-08
# 自然場面における人体部分の自動セグメンテーションのための深層ニューラルネットワークツール

A Deep Neural Network Tool for Automatic Segmentation of Human Body Parts in Natural Scenes ( http://arxiv.org/abs/2009.09900v1 )

ライセンス: Link先を確認
Patrick McClure, Gabrielle Reimann, Michal Ramot and Francisco Pereira(参考訳) 本稿では,自然の場面で人体部分の自動セグメンテーションを行うために訓練されたディープニューラルネットワークについて述べる。 具体的には、Pascal-Partsデータセットに具体的なドロップアウトでBayesian SegNetをトレーニングし、特定のフレーム内の各ピクセルが人の髪、頭、耳、額、足、腕、口、首、鼻、胴体の一部であったかどうかを予測しました。

This short article describes a deep neural network trained to perform automatic segmentation of human body parts in natural scenes. More specifically, we trained a Bayesian SegNet with concrete dropout on the Pascal-Parts dataset to predict whether each pixel in a given frame was part of a person's hair, head, ear, eyebrows, legs, arms, mouth, neck, nose, or torso.
翻訳日:2022-10-20 21:39:38 公開日:2020-09-08
# CNNPruner:ビジュアル分析による畳み込みニューラルネットワークの実行

CNNPruner: Pruning Convolutional Neural Networks with Visual Analytics ( http://arxiv.org/abs/2009.09940v1 )

ライセンス: Link先を確認
Guan Li, Junpeng Wang, Han-Wei Shen, Kaixin Chen, Guihua Shan, and Zhonghua Lu(参考訳) 畳み込みニューラルネットワーク(CNN)は多くのコンピュータビジョンタスクにおいて極めて優れた性能を示している。 しかし、cnnモデルのサイズが大きくなると、モバイル/組み込みデバイスのような限られた計算リソースを持つデバイスに広くデプロイされることがなくなる。 モデルプルーニングの話題は、重要でないニューロンを除去し、プルーニングされたネットワークを微調整することで、精度の損失を最小限に抑えることでこの問題に対処しようとしている。 それでも、既存の自動プルーニングソリューションは、しばしばプルーニング基準の数値しきい値に依存し、モデルサイズと精度の間のトレードオフを最適にバランスする柔軟性に欠ける。 さらに、ニューロンプルーニングの段階とモデル微調整の段階の間の複雑な相互作用は、この過程を不透明にし、最適化が困難になる。 本稿では,CNNPrunerというビジュアル分析手法を用いて,これらの課題に対処する。 不安定性と感度の両方を通じて畳み込みフィルタの重要性を考慮し、モデルサイズや精度の目標に従って、ユーザがインタラクティブにプランニングを作成できるようにする。 また、cnnprunerは最先端のフィルタ可視化技術を統合して、異なるフィルターが果たす役割を理解し、プランを洗練するのに役立つ。 実世界規模CNNの総合ケーススタディを通じて,CNNPrunerの有効性を検証する。

Convolutional neural networks (CNNs) have demonstrated extraordinarily good performance in many computer vision tasks. The increasing size of CNN models, however, prevents them from being widely deployed to devices with limited computational resources, e.g., mobile/embedded devices. The emerging topic of model pruning strives to address this problem by removing less important neurons and fine-tuning the pruned networks to minimize the accuracy loss. Nevertheless, existing automated pruning solutions often rely on a numerical threshold of the pruning criteria, lacking the flexibility to optimally balance the trade-off between model size and accuracy. Moreover, the complicated interplay between the stages of neuron pruning and model fine-tuning makes this process opaque, and therefore becomes difficult to optimize. In this paper, we address these challenges through a visual analytics approach, named CNNPruner. It considers the importance of convolutional filters through both instability and sensitivity, and allows users to interactively create pruning plans according to a desired goal on model size or accuracy. Also, CNNPruner integrates state-of-the-art filter visualization techniques to help users understand the roles that different filters played and refine their pruning plans. Through comprehensive case studies on CNNs with real-world sizes, we validate the effectiveness of CNNPruner.
翻訳日:2022-10-20 21:39:26 公開日:2020-09-08
# TaBooN - Tabu Searchに基づくブールネットワーク合成

TaBooN -- Boolean Network Synthesis Based on Tabu Search ( http://arxiv.org/abs/2009.03587v1 )

ライセンス: Link先を確認
Sara Sadat Aghamiri, Franck Delaplace(参考訳) Omics-Technologyの最近の発展は、複数の次元とスケールで分子データを生成することによって生物学の研究に革命をもたらした。 この生物学のブレークスルーは、モデリングに基づく解釈の重要な問題を提起する。 この取り組みにおいて、ネットワークは分子間の相互作用をモデル化するための適切なフレームワークを提供する。 基本的に生物学的ネットワークは、遺伝子やタンパク質などのコンポーネントを参照するノードと、それらの相互作用を形式化するエッジ/弧から構成される。 相互作用の進化は、力学系の定義によってモデル化される。 ネットワークのさまざまなカテゴリのうち、booleanネットワークはモデリングの信頼性の高い定性フレームワークを提供する。 したがって、Booleanネットワークを実験データから自動的に合成することは、必要だが難しい問題である。 本研究では,生物データからブールネットワークを合成する作業フローであるタブーンを提案する。 この手法はブールプロファイルの形でデータを使用し、潜在的な局所的な公式推論をすべて推測する。 それらは結合して、生物の知識と実験に関する最も真正なモデルを見つける必要があるモデル空間を形成する。 タブーンワークフローにおいて、fittestモデルの選択は、タブ探索アルゴリズムによって達成される。 taboonは実験データからブールネットワーク推論を自動化する自動手法であり、さらなるモデリングと予測のための信頼できるプラットフォームを提供する生物学的ネットワークの動的動作の評価と最適化を支援する。

Recent developments in Omics-technologies revolutionized the investigation of biology by producing molecular data in multiple dimensions and scale. This breakthrough in biology raises the crucial issue of their interpretation based on modelling. In this undertaking, network provides a suitable framework for modelling the interactions between molecules. Basically a Biological network is composed of nodes referring to the components such as genes or proteins, and the edges/arcs formalizing interactions between them. The evolution of the interactions is then modelled by the definition of a dynamical system. Among the different categories of network, the Boolean network offers a reliable qualitative framework for the modelling. Automatically synthesizing a Boolean network from experimental data therefore remains a necessary but challenging issue. In this study, we present taboon, an original work-flow for synthesizing Boolean Networks from biological data. The methodology uses the data in the form of Boolean profiles for inferring all the potential local formula inference. They combine to form the model space from which the most truthful model with regards to biological knowledge and experiments must be found. In the taboon work-flow the selection of the fittest model is achieved by a Tabu-search algorithm. taboon is an automated method for Boolean Network inference from experimental data that can also assist to evaluate and optimize the dynamic behaviour of the biological networks providing a reliable platform for further modelling and predictions.
翻訳日:2022-10-20 21:39:04 公開日:2020-09-08
# 経験ベイズ後方分布の収束率:変分的視点

Convergence Rates of Empirical Bayes Posterior Distributions: A Variational Perspective ( http://arxiv.org/abs/2009.03969v1 )

ライセンス: Link先を確認
Fengshuo Zhang and Chao Gao(参考訳) 非パラメトリック・高次元推定のための経験ベイズ後方分布の収束率について検討した。 極小パラメータ集合が離散である限り、最大辺縁確率推定器によって誘導される経験的ベイズ後分布は階層的ベイズ後分布に対する変動近似とみなすことができる。 この経験ベイズと変分ベイズの関係は、変分ベイズ文学における最近の結果の活用を可能にし、変分ベイズ後方分布の収束率を直接的に得ることができる。 離散的ではないより一般的な超パラメータ集合に対して、支持が低次元部分空間である確率測度の凸結合として書ける事前分布を扱う「優先分解」と呼ばれる新しい手法を導入する。 これにより、経験ベイズの収束率の古典的「主質量および試験」条件の一般化版が導かれる。 本理論は、非パラメトリック密度推定やスパース線形回帰を含む多くの統計的推定問題に適用する。

We study the convergence rates of empirical Bayes posterior distributions for nonparametric and high-dimensional inference. We show that as long as the hyperparameter set is discrete, the empirical Bayes posterior distribution induced by the maximum marginal likelihood estimator can be regarded as a variational approximation to a hierarchical Bayes posterior distribution. This connection between empirical Bayes and variational Bayes allows us to leverage the recent results in the variational Bayes literature, and directly obtains the convergence rates of empirical Bayes posterior distributions from a variational perspective. For a more general hyperparameter set that is not necessarily discrete, we introduce a new technique called "prior decomposition" to deal with prior distributions that can be written as convex combinations of probability measures whose supports are low-dimensional subspaces. This leads to generalized versions of the classical "prior mass and testing" conditions for the convergence rates of empirical Bayes. Our theory is applied to a number of statistical estimation problems including nonparametric density estimation and sparse linear regression.
翻訳日:2022-10-20 21:38:47 公開日:2020-09-08
# 冷間曲げガラス Fa\c{c}ade の計算設計

Computational Design of Cold Bent Glass Fa\c{c}ades ( http://arxiv.org/abs/2009.03667v1 )

ライセンス: Link先を確認
Konstantinos Gavriil, Ruslan Guseinov, Jes\'us P\'erez, Davide Pellis, Paul Henderson, Florian Rist, Helmut Pottmann, Bernd Bickel(参考訳) コールドベントガラスは2重曲線ガラスfa\c{c}デアードを実現するための有望かつ費用効率のよい方法である。 湾曲したフレームに平面ガラスシートを取り付けて製造され、発生した応力を安全な範囲に保つ必要がある。 しかし, 材質の香りから, 冷曲げガラス板の設計空間を移動させることは極めて困難であり, 実用的かつ審美的に冷曲げガラス fa\c{c}ade の形状把握を妨げている。 我々は,典型的な設計パイプラインにシームレスに統合可能な冷曲げガラス fa\c{c}ade を設計するための,インタラクティブでデータ駆動の手法を提案する。 本手法により,非熟練のユーザは,冷曲げガラスパネルの変形形状と最大応力をリアルタイムにフィードバックしながら,パラメトリック表面をインタラクティブに編集することができる。 設計はいくつかの公平性基準を最小化するために自動的に洗練され、最大応力はガラス限界内に保持される。 我々は,100万以上のシミュレーションから学習した微分可能な混合密度ネットワークを用いて,インタラクティブなフレームレートを実現する。 曲面境界が与えられた場合, 回帰モデルは多安定な構成を扱い, パネルの平衡形状とその最大応力を正確に予測することができる。 予測は高精度であり, 冷曲げガラス表面を物理的に実現することで検証する。

Cold bent glass is a promising and cost-efficient method for realizing doubly curved glass fa\c{c}ades. They are produced by attaching planar glass sheets to curved frames and require keeping the occurring stress within safe limits. However, it is very challenging to navigate the design space of cold bent glass panels due to the fragility of the material, which impedes the form-finding for practically feasible and aesthetically pleasing cold bent glass fa\c{c}ades. We propose an interactive, data-driven approach for designing cold bent glass fa\c{c}ades that can be seamlessly integrated into a typical architectural design pipeline. Our method allows non-expert users to interactively edit a parametric surface while providing real-time feedback on the deformed shape and maximum stress of cold bent glass panels. Designs are automatically refined to minimize several fairness criteria while maximal stresses are kept within glass limits. We achieve interactive frame rates by using a differentiable Mixture Density Network trained from more than a million simulations. Given a curved boundary, our regression model is capable of handling multistable configurations and accurately predicting the equilibrium shape of the panel and its corresponding maximal stress. We show predictions are highly accurate and validate our results with a physical realization of a cold bent glass surface.
翻訳日:2022-10-20 21:38:13 公開日:2020-09-08
# ecgがスパース辞書の分類基準を破る

ECG Beats Fast Classification Base on Sparse Dictionaries ( http://arxiv.org/abs/2009.03792v1 )

ライセンス: Link先を確認
Nanyu Li, Yujuan Si, Di Wang, Tong Liu, Jinrun Yu(参考訳) 心電図(ecg)beats分類システムにおいて,特徴抽出は重要な役割を果たす。 他の一般的な方法と比較して、VQ法は次元減少の利点を生かしたECGの特徴抽出においてよく機能する。 VQ法では、ECGビートの各セグメントに対応する辞書のセットを訓練し、VQ符号を用いて各心拍を表現する。 しかし、実際にはk-meansまたはk-means++で最適化されたVQ符号は大きな量子化誤差が存在し、結果として同じタイプの2つの心拍のVQ符号は非常に異なる。 したがって、異なるタイプの心拍の違いは、うまく表現できない。 一方、VQはコードブック構築時に過剰なデータを使用するため、辞書学習の速度が制限される。 本稿では,VQ法の高速化と精度向上のための新しい手法を提案する。 コードブック構築の計算を低減するため、ECGビートの波分に対応するスパース辞書の集合を構築した。 初期化後、特徴符号とラグランジュ双対アルゴリズムによりスパース辞書を効率的に更新する。 これらの辞書に基づいて、元のECGビートを表現するために一組の符号を計算し、実験結果から、本手法によりECGから抽出した特徴がより効率的で分離可能であることを示す。 我々の手法の精度は他の方法よりも高く、特徴抽出の時間消費が少ない。

Feature extraction plays an important role in Electrocardiogram (ECG) Beats classification system. Compared to other popular methods, VQ method performs well in feature extraction from ECG with advantages of dimensionality reduction. In VQ method, a set of dictionaries corresponding to segments of ECG beats is trained, and VQ codes are used to represent each heartbeat. However, in practice, VQ codes optimized by k-means or k-means++ exist large quantization errors, which results in VQ codes for two heartbeats of the same type being very different. So the essential differences between different types of heartbeats cannot be representative well. On the other hand, VQ uses too much data during codebook construction, which limits the speed of dictionary learning. In this paper, we propose a new method to improve the speed and accuracy of VQ method. To reduce the computation of codebook construction, a set of sparse dictionaries corresponding to wave segments of ECG beats is constructed. After initialized, sparse dictionaries are updated efficiently by Feature-sign and Lagrange dual algorithm. Based on those dictionaries, a set of codes can be computed to represent original ECG beats.Experimental results show that features extracted from ECG by our method are more efficient and separable. The accuracy of our method is higher than other methods with less time consumption of feature extraction
翻訳日:2022-10-20 21:37:50 公開日:2020-09-08
# データマイニングによる産業用IoTシステムの異常・故障検出:CHRISTオモトロン水質浄化システムの検討

Detection of Anomalies and Faults in Industrial IoT Systems by Data Mining: Study of CHRIST Osmotron Water Purification System ( http://arxiv.org/abs/2009.03645v1 )

ライセンス: Link先を確認
Mohammad Sadegh Sadeghi Garmaroodi, Faezeh Farivar, Mohammad Sayad Haghighi, Mahdi Aliyari Shoorehdeli, Alireza Jolfaei(参考訳) 産業 4.0は製造プロセスをよりスマートにするが、このスマートさは、産業用モノのインターネットの場合、センサーの助けを借りて実現される環境意識を高める必要がある。 本稿では, 工業用医薬品システム, 特に水質浄化システムについて述べる。 特定の導電性を有する精製水は多くの医薬品の重要な成分である。 ほとんど全ての製薬会社は、相互依存システムの一部として浄水ユニットを持っている。 エッジの欠陥を早期に検出することは、メンテナンスコストを著しく削減し、安全性と出力品質を改善し、その結果、より良い医薬品の製造につながる。 本稿では,いくつかのセンサとデータマイニング手法を用いて,キリストオスモトロン浄水器のための異常検知システムを構築した。 これはSinaDarou Labs Coから収集された実世界のデータによる実践的研究である。 データ収集は、システムオーバーホール前後の2週間の間隔で6つのセンサーを使用して行われた。 これにより、正常で故障したオペレーションサンプルが得られました。 このデータから,エッジ故障検出システムを構築するための2つの異常検出手法を提案する。 最初のアプローチは、例えばサポートベクトルマシンによる教師付き学習とデータマイニングに基づいている。 しかし、可能なすべての障害データを収集できないため、ニューラルネットワークを用いてシステムコンポーネントをモデル化する通常のシステム同定に基づいて異常検出手法を提案する。 本研究では,データ駆動およびモデルに基づく異常検出手法の精度を示すために,データセットを用いて広範な実験を行った。

Industry 4.0 will make manufacturing processes smarter but this smartness requires more environmental awareness, which in case of Industrial Internet of Things, is realized by the help of sensors. This article is about industrial pharmaceutical systems and more specifically, water purification systems. Purified water which has certain conductivity is an important ingredient in many pharmaceutical products. Almost every pharmaceutical company has a water purifying unit as a part of its interdependent systems. Early detection of faults right at the edge can significantly decrease maintenance costs and improve safety and output quality, and as a result, lead to the production of better medicines. In this paper, with the help of a few sensors and data mining approaches, an anomaly detection system is built for CHRIST Osmotron water purifier. This is a practical research with real-world data collected from SinaDarou Labs Co. Data collection was done by using six sensors over two-week intervals before and after system overhaul. This gave us normal and faulty operation samples. Given the data, we propose two anomaly detection approaches to build up our edge fault detection system. The first approach is based on supervised learning and data mining e.g. by support vector machines. However, since we cannot collect all possible faults data, an anomaly detection approach is proposed based on normal system identification which models the system components by artificial neural networks. Extensive experiments are conducted with the dataset generated in this study to show the accuracy of the data-driven and model-based anomaly detection methods.
翻訳日:2022-10-20 21:31:29 公開日:2020-09-08
# 適応ペッパー

Adapted Pepper ( http://arxiv.org/abs/2009.03648v1 )

ライセンス: Link先を確認
Maxime Caniot, Vincent Bonnet, Maxime Busy, Thierry Labaye, Michel Besombes, Sebastien Courtois and Edouard Lagrue(参考訳) ロボット工学の主な課題の1つは、組み込み計算能力の欠如である。 近年,周辺環境(物体検出,骨格追跡など)をよりよく理解する技術アルゴリズムが求められている。 組込み計算能力の欠如は、技術アルゴリズムの状態の計算要求の増大に追従するのは難しいため、大量生産されたロボットにおいてより重要である。 追加のGPUの統合により、この組み込み計算能力の欠如を克服することができる。 本稿では,組込みGPUを備えたPepperのプロトタイプを紹介するとともに,ロボットの頭部に3Dカメラを追加し,後期GPUに接続する。 このプロトタイプはadapted pepperと呼ばれ、ヨーロッパプロジェクトmummer(multimodal mall entertainment robot)のために開発され、openposeやyoloなどのアルゴリズムを埋め込んだり、センサー情報を処理したり、いずれにしても送還された計算のためのネットワーク依存を回避したりする。

One of the main issue in robotics is the lack of embedded computational power. Recently, state of the art algorithms providing a better understanding of the surroundings (Object detection, skeleton tracking, etc.) are requiring more and more computational power. The lack of embedded computational power is more significant in mass-produced robots because of the difficulties to follow the increasing computational requirements of state of the art algorithms. The integration of an additional GPU allows to overcome this lack of embedded computational power. We introduce in this paper a prototype of Pepper with an embedded GPU, but also with an additional 3D camera on the head of the robot and plugged to the late GPU. This prototype, called Adapted Pepper, was built for the European project called MuMMER (MultiModal Mall Entertainment Robot) in order to embed algorithms like OpenPose, YOLO or to process sensors information and, in all cases, avoid network dependency for deported computation.
翻訳日:2022-10-20 21:31:05 公開日:2020-09-08
# 糖尿病患者の血糖予測のための予測コヒーレントLSTMリカレントニューラルネットワーク

Prediction-Coherent LSTM-based Recurrent Neural Network for Safer Glucose Predictions in Diabetic People ( http://arxiv.org/abs/2009.03722v1 )

ライセンス: Link先を確認
Maxime De Bois, Moun\^im A. El Yacoubi, Mehdi Ammi(参考訳) 時系列予測の文脈において,lstmに基づく再帰的ニューラルネットワークアーキテクチャと,予測の安定性を高める損失関数を提案する。 特に、損失関数は、予測誤差(平均二乗誤差)だけでなく、予測変動誤差にも、モデルをペナライズする。 このアイデアを糖尿病の将来の血糖値予測に適用する。不安定な予測は患者を疑わせ、間違った行動をとらせ、人生を脅かす可能性があるため、繊細な課題である。 この研究は1型と2型糖尿病患者を対象に行われ、30分前の予測に焦点を当てている。 まず、LSTMモデルのグルコース予測の文脈において、他の最先端モデル(Extreme Learning Machine, Gaussian Process Regressor, Support Vector Regressor)と比較することにより、LSTMモデルの優位性を確認する。 そして, モデルによる予測を円滑にすることで, 予測精度をわずかに損なうことなく, 費用のかかるモデルの臨床受容性が全体的に向上する, 安定した予測を行うことの重要性を示した。 最後に,提案手法がすべてのベースライン結果を上回ることを示す。 より正確には、臨床受容率27.1\%の改善のために予測精度の4.3\%の損失をトレードオフする。 移動平均後処理法と比較すると,このアプローチではトレードオフの方が効率的であることが分かる。

In the context of time-series forecasting, we propose a LSTM-based recurrent neural network architecture and loss function that enhance the stability of the predictions. In particular, the loss function penalizes the model, not only on the prediction error (mean-squared error), but also on the predicted variation error. We apply this idea to the prediction of future glucose values in diabetes, which is a delicate task as unstable predictions can leave the patient in doubt and make him/her take the wrong action, threatening his/her life. The study is conducted on type 1 and type 2 diabetic people, with a focus on predictions made 30-minutes ahead of time. First, we confirm the superiority, in the context of glucose prediction, of the LSTM model by comparing it to other state-of-the-art models (Extreme Learning Machine, Gaussian Process regressor, Support Vector Regressor). Then, we show the importance of making stable predictions by smoothing the predictions made by the models, resulting in an overall improvement of the clinical acceptability of the models at the cost in a slight loss in prediction accuracy. Finally, we show that the proposed approach, outperforms all baseline results. More precisely, it trades a loss of 4.3\% in the prediction accuracy for an improvement of the clinical acceptability of 27.1\%. When compared to the moving average post-processing method, we show that the trade-off is more efficient with our approach.
翻訳日:2022-10-20 21:30:50 公開日:2020-09-08
# 複数の移動体が存在する不確実・動的環境におけるオンライン計画

Online Planning in Uncertain and Dynamic Environment in the Presence of Multiple Mobile Vehicles ( http://arxiv.org/abs/2009.03733v1 )

ライセンス: Link先を確認
Junhong Xu, Kai Yin, Lantao Liu(参考訳) 移動ロボットの時間的不確定な環境変動下における移動ロボットの自律走行について検討する。 我々はまず,時間変動による乱れの影響を考慮し,他の車両の将来の状態分布を予測する。 次に,ロボットが到達する確率の高い状態を含む動的障害物を意識した到達可能空間を構築し,最適ポリシーを探索する。 一般論として、車両と環境障害のダイナミクスは非線形であるため、非線形ガウスフィルタ(unscented transform)を用いて将来の状態分布を近似する。 最後に、前方到達可能な空間計算と後方ポリシー探索を収束まで繰り返す。 広範なシミュレーション評価により,提案手法の計算時間,決定精度,計画信頼性の点で有意な利点が得られた。

We investigate the autonomous navigation of a mobile robot in the presence of other moving vehicles under time-varying uncertain environmental disturbances. We first predict the future state distributions of other vehicles to account for their uncertain behaviors affected by the time-varying disturbances. We then construct a dynamic-obstacle-aware reachable space that contains states with high probabilities to be reached by the robot, within which the optimal policy is searched. Since, in general, the dynamics of both the vehicle and the environmental disturbances are nonlinear, we utilize a nonlinear Gaussian filter -- the unscented transform -- to approximate the future state distributions. Finally, the forward reachable space computation and backward policy search are iterated until convergence. Extensive simulation evaluations have revealed significant advantages of this proposed method in terms of computation time, decision accuracy, and planning reliability.
翻訳日:2022-10-20 21:30:24 公開日:2020-09-08
# 思春期自殺未遂のリスク増加に伴う健康行動:データ駆動横断的研究

Health-behaviors associated with the growing risk of adolescent suicide attempts: A data-driven cross-sectional study ( http://arxiv.org/abs/2009.03966v1 )

ライセンス: Link先を確認
Zhiyuan Wei and Sayanti Mukherjee(参考訳) 目的: 健康行動と思春期自殺未遂のリスクの増加との関連を同定し, 社会経済的・人口統計学的差異をコントロールした。 設計: 断面データを用いたデータ駆動分析。 設定:1999年から2017年までモンタナ州のコミュニティ。 対象:22,447人の青少年の中から1,631人が少なくとも1回は自殺を試みた。 尺度: 心理的行動, 違法物質消費, 学校における日常活動, 人口統計学的背景を考慮した29変数(予測者)を総合的に検討した。 分析: 従来のロジスティック回帰と共に機械学習アルゴリズムのライブラリを使用して、自殺未遂のリスクをモデル化し予測した。 精度,精度,リコール,Fスコア測定値を用いて,モデル性能(適合度,予測精度)を測定した。 結果: 非パラメトリックベイズ木アンサンブルモデルは, 精度が80.0%(Fスコア:0.802), 予測精度が78.2%(Fスコア:0.785)の他のモデルよりも優れていた。 主な健康行動は、悲しむ/不眠であること、学校における安全上の懸念、身体的戦闘、吸入量、学校での違法薬物消費、現在のタバコ使用、そして15歳未満の若さでの最初の性行為である。 また、少数民族(アメリカン・インディアン・アラスカ・インディアン、ヒスパニック・ラティノス)や女性も自殺未遂に非常に脆弱である。 結論: 本研究の最も重要な貢献は, 青年期における自殺未遂の頻度を高めるための重要な健康行動と健康格差を理解することであり, 結果と被曝変数間の非線形性や複雑な相互作用を考慮に入れている。

Purpose: Identify and examine the associations between health behaviors and increased risk of adolescent suicide attempts, while controlling for socioeconomic and demographic differences. Design: A data-driven analysis using cross-sectional data. Setting: Communities in the state of Montana from 1999 to 2017. Subjects: Selected 22,447 adolescents of whom 1,631 adolescents attempted suicide at least once. Measures: Overall 29 variables (predictors) accounting for psychological behaviors, illegal substances consumption, daily activities at schools and demographic backgrounds, were considered. Analysis: A library of machine learning algorithms along with the traditionally-used logistic regression were used to model and predict suicide attempt risk. Model performances (goodness-of-fit and predictive accuracy) were measured using accuracy, precision, recall and F-score metrics. Results: The non-parametric Bayesian tree ensemble model outperformed all other models, with 80.0% accuracy in goodness-of-fit (F-score:0.802) and 78.2% in predictive accuracy (F-score:0.785). Key health-behaviors identified include: being sad/hopeless, followed by safety concerns at school, physical fighting, inhalant usage, illegal drugs consumption at school, current cigarette usage, and having first sex at an early age (below 15 years of age). Additionally, the minority groups (American Indian/Alaska Natives, Hispanics/Latinos), and females are also found to be highly vulnerable to attempting suicides. Conclusion: Significant contribution of this work is understanding the key health-behaviors and health disparities that lead to higher frequency of suicide attempts among adolescents, while accounting for the non-linearity and complex interactions among the outcome and the exposure variables.
翻訳日:2022-10-20 21:29:38 公開日:2020-09-08
# Leam:in-situビジュアルテキスト分析のためのインタラクティブシステム

Leam: An Interactive System for In-situ Visual Text Analysis ( http://arxiv.org/abs/2009.03520v1 )

ライセンス: Link先を確認
Sajjadur Rahman and Peter Griggs and \c{C}a\u{g}atay Demiralp(参考訳) オンライン小売業者やアグリゲータといった企業は、web上で生成されたデジタルテキストの規模と可用性の増加に伴い、データマイニングや分析にテキスト分析を使用して、サービスや製品を改善することが多い。 テキストデータ分析は、データのクリーニングから視覚化まで、さまざまな段階にわたるさまざまなワークフローを持つ反復的で非線形なプロセスである。 既存のテキスト分析システムは、通常これらのステージのサブセットに対応しており、しばしばデータの不均一性、証明、ワークフローの再利用性と再現性、確立されたプラクティスとの互換性に関する課題に対処できない。 これらの課題から導いた一連の設計上の考察に基づき,計算ノート,スプレッドシート,可視化ツールの利点を組み合わせることで,テキスト解析プロセスを単一連続体として扱うシステムであるLeamを提案する。 Leamは、テキスト分析ワークフローを実行するためのインタラクティブなユーザインターフェース、複数のアトミックおよび複合データ型を管理する新しいデータモデル、およびテキスト分析のさまざまなステージを表すさまざまな操作セットをキャプチャし、データ、コード、視覚化を含むシステムのさまざまなコンポーネント間の調整を可能にする表現代数学を備えている。 我々は,leam開発の現状を報告しつつ,利用例を用いてその有用性を示す。 最後に,Leamの改良点について概説し,インタラクティブなビジュアルテキスト解析システムを開発するためのいくつかの研究方向を特定する。

With the increase in scale and availability of digital text generated on the web, enterprises such as online retailers and aggregators often use text analytics to mine and analyze the data to improve their services and products alike. Text data analysis is an iterative, non-linear process with diverse workflows spanning multiple stages, from data cleaning to visualization. Existing text analytics systems usually accommodate a subset of these stages and often fail to address challenges related to data heterogeneity, provenance, workflow reusability and reproducibility, and compatibility with established practices. Based on a set of design considerations we derive from these challenges, we propose Leam, a system that treats the text analysis process as a single continuum by combining advantages of computational notebooks, spreadsheets, and visualization tools. Leam features an interactive user interface for running text analysis workflows, a new data model for managing multiple atomic and composite data types, and an expressive algebra that captures diverse sets of operations representing various stages of text analysis and enables coordination among different components of the system, including data, code, and visualizations. We report our current progress in Leam development while demonstrating its usefulness with usage examples. Finally, we outline a number of enhancements to Leam and identify several research directions for developing an interactive visual text analysis system.
翻訳日:2022-10-20 21:29:08 公開日:2020-09-08
# 画像分類における敵対的機械学習 : ディフェンダーの視点をめざして

Adversarial Machine Learning in Image Classification: A Survey Towards the Defender's Perspective ( http://arxiv.org/abs/2009.03728v1 )

ライセンス: Link先を確認
Gabriel Resende Machado, Eug\^enio Silva and Ronaldo Ribeiro Goldschmidt(参考訳) ディープラーニングアルゴリズムは、画像分類の最先端のパフォーマンスを達成し、生体認証システムや自動運転車のようなセキュリティクリティカルなアプリケーションでも使われてきた。 しかし、最近の研究では、人間の能力を超えたアルゴリズムは敵の例に弱いことが示されている。 コンピュータビジョンでは、逆例(adversarial examples)は、悪意のある最適化アルゴリズムによって生成される微妙な摂動を含む画像である。 これらの脆弱性を和らげるため、文学では数多くの対策が常に提案されている。 それにもかかわらず、効率的な防御機構の開発は、多くのアプローチがアダプティブアタッカーには効果がないことを示したため、難しい課題であることが証明されている。 そこで,本論文は,画像分類における機械学習の最近の研究動向をディフェンダーの視点から概観し,すべての読者に提供することを目的としている。 ここでは,敵の攻撃と防御を分類する新しい分類法を導入し,敵の事例の存在について議論する。 また, 外部調査とは対照的に, 防衛の整備・評価において研究者が考慮すべき適切な指針も与えられている。 最後に、レビューした文献に基づき、今後の研究に有望な道筋について論じる。

Deep Learning algorithms have achieved the state-of-the-art performance for Image Classification and have been used even in security-critical applications, such as biometric recognition systems and self-driving cars. However, recent works have shown those algorithms, which can even surpass the human capabilities, are vulnerable to adversarial examples. In Computer Vision, adversarial examples are images containing subtle perturbations generated by malicious optimization algorithms in order to fool classifiers. As an attempt to mitigate these vulnerabilities, numerous countermeasures have been constantly proposed in literature. Nevertheless, devising an efficient defense mechanism has proven to be a difficult task, since many approaches have already shown to be ineffective to adaptive attackers. Thus, this self-containing paper aims to provide all readerships with a review of the latest research progress on Adversarial Machine Learning in Image Classification, however with a defender's perspective. Here, novel taxonomies for categorizing adversarial attacks and defenses are introduced and discussions about the existence of adversarial examples are provided. Further, in contrast to exisiting surveys, it is also given relevant guidance that should be taken into consideration by researchers when devising and evaluating defenses. Finally, based on the reviewed literature, it is discussed some promising paths for future research.
翻訳日:2022-10-20 21:22:46 公開日:2020-09-08
# 画像の独特で情報的なキャプションを目指して

Towards Unique and Informative Captioning of Images ( http://arxiv.org/abs/2009.03949v1 )

ライセンス: Link先を確認
Zeyu Wang, Berthy Feng, Karthik Narasimhan, Olga Russakovsky(参考訳) かなりの進歩にもかかわらず、最先端の画像キャプションモデルは一般的なキャプションを生成し、重要な画像の詳細は残している。 さらに、これらのシステムは、共通の概念からなる単純なキャプションを生成するために、イメージを誤って表現することもある。 本稿では,これらの現象を定量化するための実証実験を通じて,近代的なキャプションシステムと評価指標の両方をまず分析する。 現代のキャプションシステムでは, 真実のキャプションに比較して, 誤用文の出現率が高く, SPICEなどの評価指標は, オブジェクト検出器に依存した単純なキャプションシステムを用いて「トッププット」できることがわかった。 これらの観測に触発されて、キャプションで生成された概念に一意性の概念を導入することにより、新しい計量(SPICE-U)を設計する。 SPICE-U は SPICE と比較して人間の判断と相関し,多様性と記述性の概念を効果的に捉えている。 最後に、復号時に相互情報を用いて既存のキャプションモデルを改善するための一般的な手法についても示す。 経験的に、これはよりユニークで情報的なキャプションをもたらし、SPICE-Uの3つの最先端モデルを改善し、既存のメトリクスの平均スコアも改善する。

Despite considerable progress, state of the art image captioning models produce generic captions, leaving out important image details. Furthermore, these systems may even misrepresent the image in order to produce a simpler caption consisting of common concepts. In this paper, we first analyze both modern captioning systems and evaluation metrics through empirical experiments to quantify these phenomena. We find that modern captioning systems return higher likelihoods for incorrect distractor sentences compared to ground truth captions, and that evaluation metrics like SPICE can be 'topped' using simple captioning systems relying on object detectors. Inspired by these observations, we design a new metric (SPICE-U) by introducing a notion of uniqueness over the concepts generated in a caption. We show that SPICE-U is better correlated with human judgements compared to SPICE, and effectively captures notions of diversity and descriptiveness. Finally, we also demonstrate a general technique to improve any existing captioning model -- by using mutual information as a re-ranking objective during decoding. Empirically, this results in more unique and informative captions, and improves three different state-of-the-art models on SPICE-U as well as average score over existing metrics.
翻訳日:2022-10-20 21:22:27 公開日:2020-09-08
# LiDARデータによる車両の連接姿勢と形状推定

Joint Pose and Shape Estimation of Vehicles from LiDAR Data ( http://arxiv.org/abs/2009.03964v1 )

ライセンス: Link先を確認
Hunter Goforth, Xiaoyan Hu, Michael Happold, Simon Lucey(参考訳) 我々は、自動運転車コミュニティが直面する一般的な問題であるLiDARスキャンから車両のポーズと形状を推定する問題に対処する。 最近の研究は、両者の固有のつながりにもかかわらず、別々にポーズと形状の推定に対処しがちである。 形状とポーズを効率良くかつ効果的に復号化できる1つの符号化から学習した形状とポーズを共同推定する手法について検討する。 また,新しい関節ポーズと形状損失を導入し,独立に訓練されたポーズと形状推定器よりも優れた結果が得られることを示す。 本手法は合成データと実世界のデータの両方で評価し,最先端のベースラインに対して優れた性能を示す。

We address the problem of estimating the pose and shape of vehicles from LiDAR scans, a common problem faced by the autonomous vehicle community. Recent work has tended to address pose and shape estimation separately in isolation, despite the inherent connection between the two. We investigate a method of jointly estimating shape and pose where a single encoding is learned from which shape and pose may be decoded in an efficient yet effective manner. We additionally introduce a novel joint pose and shape loss, and show that this joint training method produces better results than independently-trained pose and shape estimators. We evaluate our method on both synthetic data and real-world data, and show superior performance against a state-of-the-art baseline.
翻訳日:2022-10-20 21:22:06 公開日:2020-09-08
# ディープニューラルネットワークを用いた山火事周辺進化のモデル化

Modeling Wildfire Perimeter Evolution using Deep Neural Networks ( http://arxiv.org/abs/2009.03977v1 )

ライセンス: Link先を確認
Maxfield E. Green, Karl Kaiser, Nat Shenton(参考訳) 世界中の山火事の規模と頻度が増加し、進化する山火事の正確なリアルタイム予測は消防活動と対流管理の重要な要素である。 我々は,24時間周期における野火周辺部の進化を予測できる野火拡散モデルを提案する。 火災拡散シミュレーションは、リモートセンシングされた大気と環境の時系列データに基づいて訓練された深部畳み込みニューラルネットワーク(CNN)に基づいている。 このモデルはカリフォルニアのシエラネバダ山脈西部の一連の山火事から、実際の歴史的データセットから、山火事の拡散力学を学習できることを示す。 我々はこのモデルを未発見のワイルドファイアで検証し、78%98%の検証精度で、歴史の代替案を大幅に上回る現実的な結果を生成する。

With the increased size and frequency of wildfire eventsworldwide, accurate real-time prediction of evolving wildfirefronts is a crucial component of firefighting efforts and for-est management practices. We propose a wildfire spreadingmodel that predicts the evolution of the wildfire perimeter in24 hour periods. The fire spreading simulation is based ona deep convolutional neural network (CNN) that is trainedon remotely sensed atmospheric and environmental time se-ries data. We show that the model is able to learn wildfirespreading dynamics from real historic data sets from a seriesof wildfires in the Western Sierra Nevada Mountains in Cal-ifornia. We validate the model on a previously unseen wild-fire and produce realistic results that significantly outperformhistoric alternatives with validation accuracies ranging from78% - 98%
翻訳日:2022-10-20 21:21:53 公開日:2020-09-08
# 効率的な物体認識のための二元化ニューラルアーキテクチャ探索

Binarized Neural Architecture Search for Efficient Object Recognition ( http://arxiv.org/abs/2009.04247v1 )

ライセンス: Link先を確認
Hanlin Chen, Li'an Zhuo, Baochang Zhang, Xiawu Zheng, Jianzhuang Liu, Rongrong Ji, David Doermann, Guodong Guo(参考訳) 従来のニューラルネットワーク検索(nas)は、様々なタスクにネットワークアーキテクチャを自動的に設計することでコンピュータビジョンに大きな影響を与える。 本稿では,2値化畳み込みの探索空間を持つbinarized neural architecture search (bnas) を用いて,エッジコンピューティングのための組み込みデバイスにおける膨大な計算コストを削減するために,極端に圧縮されたモデルを生成する。 BNAS計算は、最適化要求と巨大なアーキテクチャ空間に起因する学習効率の低下と、様々なコンピューティングアプリケーションにおけるワイルドデータを扱う際の性能損失により、NASよりも困難である。 これらの課題に対処するため,BNAS に操作空間の削減とチャネルサンプリングを導入し,検索コストを大幅に削減する。 これは、ワイルドデータに対して堅牢なパフォーマンスベースの戦略によって達成される。 さらに,1ビットBNASを解くために,上信頼境界(UCB)を導入する。 2値化ニューラルネットワークの2つの最適化手法を用いてbnaの有効性を検証する。 広範囲にわたる実験により、提案されたBNASは、CIFARとImageNetデータベースの両方でNASに匹敵する性能を達成した。 cifar-10データセットでは、$96.53\%$対$7.22\%$の精度が達成されているが、かなり圧縮されたモデルで、最先端のpc-dartsよりも40\%高速で検索できる。 野生の顔認識タスクでは,二元化モデルが対応する全精度モデルと同等の性能を達成している。

Traditional neural architecture search (NAS) has a significant impact in computer vision by automatically designing network architectures for various tasks. In this paper, binarized neural architecture search (BNAS), with a search space of binarized convolutions, is introduced to produce extremely compressed models to reduce huge computational cost on embedded devices for edge computing. The BNAS calculation is more challenging than NAS due to the learning inefficiency caused by optimization requirements and the huge architecture space, and the performance loss when handling the wild data in various computing applications. To address these issues, we introduce operation space reduction and channel sampling into BNAS to significantly reduce the cost of searching. This is accomplished through a performance-based strategy that is robust to wild data, which is further used to abandon less potential operations. Furthermore, we introduce the Upper Confidence Bound (UCB) to solve 1-bit BNAS. Two optimization methods for binarized neural networks are used to validate the effectiveness of our BNAS. Extensive experiments demonstrate that the proposed BNAS achieves a comparable performance to NAS on both CIFAR and ImageNet databases. An accuracy of $96.53\%$ vs. $97.22\%$ is achieved on the CIFAR-10 dataset, but with a significantly compressed model, and a $40\%$ faster search than the state-of-the-art PC-DARTS. On the wild face recognition task, our binarized models achieve a performance similar to their corresponding full-precision models.
翻訳日:2022-10-20 21:21:41 公開日:2020-09-08
# LynyrdSkynyrd at WNUT-2020 Task 2: Semi-Supervised Learning for Identification of Informative COVID-19 English Tweets (英語)

LynyrdSkynyrd at WNUT-2020 Task 2: Semi-Supervised Learning for Identification of Informative COVID-19 English Tweets ( http://arxiv.org/abs/2009.03849v1 )

ライセンス: Link先を確認
Abhilasha Sancheti, Kushal Chawla, Gaurav Verma(参考訳) 本稿では,WNUT-2020における情報発信型英語ツイートの識別作業について述べる。 我々のシステムは様々な機械学習手法のアンサンブルであり、従来の特徴に基づく分類と、ツイートから構文的、意味的、文脈的特徴を捉えるのに役立つ事前学習言語モデルの最近の進歩を活用している。 さらに、パンデミックで公表されたラベルなしのtwitterデータを組み込むために、擬似ラベリングも採用しています。 我々の最高の性能モデルは、提供された検証セットのF1スコア0.9179、ブラインドテストセットの0.8805を達成する。

We describe our system for WNUT-2020 shared task on the identification of informative COVID-19 English tweets. Our system is an ensemble of various machine learning methods, leveraging both traditional feature-based classifiers as well as recent advances in pre-trained language models that help in capturing the syntactic, semantic, and contextual features from the tweets. We further employ pseudo-labelling to incorporate the unlabelled Twitter data released on the pandemic. Our best performing model achieves an F1-score of 0.9179 on the provided validation set and 0.8805 on the blind test-set.
翻訳日:2022-10-20 21:21:16 公開日:2020-09-08
# メンタルヘルスサポートフォーラムにおけるcovid-19の効果の定量化

Quantifying the Effects of COVID-19 on Mental Health Support Forums ( http://arxiv.org/abs/2009.04008v1 )

ライセンス: Link先を確認
Laura Biester, Katie Matton, Janarthanan Rajendran, Emily Mower Provost, Rada Mihalcea(参考訳) 新型コロナウイルス(COVID-19)のパンデミックは、それ以前に流行した多くの病気と同様、メンタルヘルスに深刻な影響を及ぼす可能性がある。 その影響を理解することは、ネガティブな結果を軽減する戦略をもたらす。 本研究は、Redditのメンタルヘルス支援コミュニティ内での議論を通じて、メンタルヘルスに対するCOVID-19の影響をよりよく理解することを目的とする。 まず、covid-19が各コミュニティやサブredditで議論される割合を定量化し、パンデミックの先入観のレベルを理解する。 次に、オンラインのメンタルヘルス支援を求める人々の数が増えるかどうかを判断するために、活動量を検討する。 最後に、各サブレディット内での言語使用や議論の話題に、COVID-19がどのように影響したかを分析する。

The COVID-19 pandemic, like many of the disease outbreaks that have preceded it, is likely to have a profound effect on mental health. Understanding its impact can inform strategies for mitigating negative consequences. In this work, we seek to better understand the effects of COVID-19 on mental health by examining discussions within mental health support communities on Reddit. First, we quantify the rate at which COVID-19 is discussed in each community, or subreddit, in order to understand levels of preoccupation with the pandemic. Next, we examine the volume of activity in order to determine whether the quantity of people seeking online mental health support has risen. Finally, we analyze how COVID-19 has influenced language use and topics of discussion within each subreddit.
翻訳日:2022-10-20 21:21:04 公開日:2020-09-08
# 部分微分方程式に対する大規模ニューラルソルバー

Large-scale Neural Solvers for Partial Differential Equations ( http://arxiv.org/abs/2009.03730v1 )

ライセンス: Link先を確認
Patrick Stiller and Friedrich Bethke and Maximilian B\"ohme and Richard Pausch and Sunna Torge and Alexander Debus and Jan Vorberger and Michael Bussmann and Nico Hoffmann(参考訳) 偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。 しかし、近年の数値解法では、基礎となる方程式の手動による離散化と、分散コンピューティングのための高度でカスタマイズされたコードが必要である。 基礎となるモデルのパラメータをスキャンすると、各パラメータ設定に対してシミュレーションを開始する必要があるため、ランタイムが大幅に増加する。 機械学習に基づく代理モデルは、入力、パラメータ、ソリューションの間の複雑な関係を学習するための有望な方法を示す。 しかし、最近の生成ニューラルネットワークは、多くのトレーニングデータを必要とする。 対照的に、偏微分方程式、物理インフォームドニューラルネットワーク(PINN)に対する連続的メッシュフリーニューラルネットワークの適用性について、初期/境界値とトレーニングのための検証ポイントのみを必要とするが、シミュレーションデータはない。 誘導された次元の呪いは、単位体積当たりのニューロン数を制御し、実行時間を大幅に改善するドメイン分解を学ぶことによってアプローチされる。 大規模クラスタシステム上での分散トレーニングは、包括的評価研究によって評価される大量のGPUの利用も約束する。 最後に,分析解に関してgatedpinnの精度と,スペクトル解法のような最先端の数値解法について考察する。

Solving partial differential equations (PDE) is an indispensable part of many branches of science as many processes can be modelled in terms of PDEs. However, recent numerical solvers require manual discretization of the underlying equation as well as sophisticated, tailored code for distributed computing. Scanning the parameters of the underlying model significantly increases the runtime as the simulations have to be cold-started for each parameter configuration. Machine Learning based surrogate models denote promising ways for learning complex relationship among input, parameter and solution. However, recent generative neural networks require lots of training data, i.e. full simulation runs making them costly. In contrast, we examine the applicability of continuous, mesh-free neural solvers for partial differential equations, physics-informed neural networks (PINNs) solely requiring initial/boundary values and validation points for training but no simulation data. The induced curse of dimensionality is approached by learning a domain decomposition that steers the number of neurons per unit volume and significantly improves runtime. Distributed training on large-scale cluster systems also promises great utilization of large quantities of GPUs which we assess by a comprehensive evaluation study. Finally, we discuss the accuracy of GatedPINN with respect to analytical solutions -- as well as state-of-the-art numerical solvers, such as spectral solvers.
翻訳日:2022-10-20 21:20:50 公開日:2020-09-08
# データ駆動アプローチによる不正検出

Fraud Detection using Data-Driven approach ( http://arxiv.org/abs/2009.06365v1 )

ライセンス: Link先を確認
Arianit Mehana and Krenare Pireva Nuci(参考訳) インターネットの広範な利用は、オンライン環境にサービスを組み込むために、ビジネスを継続的に漂流させている。 この進化を受け入れた最初のスペクトルの1つは銀行部門であった。 実際、最初のオンラインバンキングサービスは1980年に始まった。 この銀行はアメリカ合衆国銀行と呼ばれるノックスビルにあるコミュニティ銀行から派遣された。 それ以来、インターネットバンキングは、日々の銀行業務を完了させるために、コスチューナーに容易かつ効率性を提供してきた。 インターネットバンキングの利用が絶え間なく増加し、多くのオンライン取引も不正行為を増やした。 詐欺の増加が不十分なように、大量のオンライン取引がデータ複雑さをさらに増大させた。 現代のデータソースは複雑であるだけでなく、高速かつリアルタイムに生成される。 これは深刻な問題であり、金融サービス会社やクレジットカード保有者を保護するために、より高度なソリューションが望まれる理由である。 そこで本研究では,顧客行動の変化に適応し,不正行為をリアルタイムに検出・フィルタリングすることにより,不正行為を減らしがちな効率的な不正検出モデルを構築することを目的とする。 この目的を達成するために,銀行部門,特にフルート検出事務所で働く個人的経験を付加して,様々な手法の見直しを行う。 本研究で提案するモデルは,多くのレビュー手法とは異なり,インクリメンタル分類器を用いて発生時に不正を検出できる。 一般的な実世界の攻撃を再現するドメインの専門家と共同で選択された詐欺シナリオに基づく合成データの評価は、このアプローチが複雑な詐欺を正しくランク付けしていることを示している。 特に, 本提案は, 極めて低いコストを維持しつつ, 最大97\%の確率で不正行為や異常を検知する。

The extensive use of the internet is continuously drifting businesses to incorporate their services in the online environment. One of the first spectrums to embrace this evolution was the banking sector. In fact, the first known online banking service came in 1980. It was deployed from a community bank located in Knoxville, called the United American Bank. Since then, internet banking has been offering ease and efficiency to costumers in completing their daily banking tasks. The ever increasing use of internet banking and a large number of online transactions increased fraudulent behavior also. As if fraud increase was not enough, the massive number of online transactions further increased the data complexity. Modern data sources are not only complex but generated at high speed and in real-time as well. This presents a serious problem and a definite reason why more advanced solutions are desired to protect financial service companies and credit cardholders. Therefore, this research paper aims to construct an efficient fraud detection model which is adaptive to customer behavior changes and tends to decrease fraud manipulation, by detecting and filtering fraud in real-time. In order to achieve this aim, a review of various methods is conducted, adding above a personal experience working in the Banking sector, specifically in the Fraud Detection office. Unlike the majority of reviewed methods, the proposed model in this research paper is able to detect fraud in the moment of occurrence using an incremental classifier. The evaluation of synthetic data, based on fraud scenarios selected in collaboration with domain experts that replicate typical, real-world attacks, shows that this approach correctly ranks complex frauds. In particular, our proposal detects fraudulent behavior and anomalies with up to 97\% detection rate while maintaining a satisfyingly low cost.
翻訳日:2022-10-20 21:20:28 公開日:2020-09-08
# 単純な方が良い! 低リソーススロット充填とインテント分類のための軽量データ拡張

Simple is Better! Lightweight Data Augmentation for Low Resource Slot Filling and Intent Classification ( http://arxiv.org/abs/2009.03695v1 )

ライセンス: Link先を確認
Samuel Louvan, Bernardo Magnini(参考訳) かなり大きなドメイン内トレーニングデータが利用可能である場合、ニューラルネットワークモデルはスロット充填とインテント分類において優れたパフォーマンスを達成している。 しかし、新しいドメインが頻繁に追加されるため、大きなデータを作成するのはコストがかかる。 単語スパンと文レベルの操作を含む一連の拡張手法である軽量拡張が,データの不足を緩和することを示す。 制限データ設定実験により,ATISおよびSNIPSデータセットのスロットフィリングにおいて,軽量化により大幅な性能向上が達成され,より複雑で最先端な拡張アプローチに対する競合性能が達成された。 さらに、BERTベースのジョイントインテントとスロットフィリングモデルを改善することにより、事前訓練されたLMベースのモデルと組み合わせることで、軽量化も有益である。

Neural-based models have achieved outstanding performance on slot filling and intent classification, when fairly large in-domain training data are available. However, as new domains are frequently added, creating sizeable data is expensive. We show that lightweight augmentation, a set of augmentation methods involving word span and sentence level operations, alleviates data scarcity problems. Our experiments on limited data settings show that lightweight augmentation yields significant performance improvement on slot filling on the ATIS and SNIPS datasets, and achieves competitive performance with respect to more complex, state-of-the-art, augmentation approaches. Furthermore, lightweight augmentation is also beneficial when combined with pre-trained LM-based models, as it improves BERT-based joint intent and slot filling models.
翻訳日:2022-10-20 21:13:07 公開日:2020-09-08
# ernie at semeval-2020 task 10: learning word emphasis selection by pre-trained language model

ERNIE at SemEval-2020 Task 10: Learning Word Emphasis Selection by Pre-trained Language Model ( http://arxiv.org/abs/2009.03706v1 )

ライセンス: Link先を確認
Zhengjie Huang, Shikun Feng, Weiyue Su, Xuyi Chen, Shuohuan Wang, Jiaxiang Liu, Xuan Ouyang, Yu Sun(参考訳) 本稿では,SemEval-2020 Task 10: Emphasis Selection for Written Text in Visual Mediaにおいて,ERNIE Teamによって設計されたシステムについて述べる。 文が与えられたら、自動設計の提案として最も重要な単語を見つけるように求められます。 教師なし事前学習モデルを活用し、これらのモデルをタスクで微調整します。 調査の結果,ERNIE 2.0, XLM-ROBERTA, ROBERTA, ALBERTの3つのモデルが優れた性能を示した。 ポイントワイズ回帰損失と、最終matchmメトリックに近いペアワイズランキング損失を組み合わせることで、モデルを微調整します。 さらに、追加の機能エンジニアリングとデータ拡張がパフォーマンス向上に役立つことも分かりました。 我々の最良のモデルは0.823の最高スコアを達成し、あらゆる種類の指標で第1位となる。

This paper describes the system designed by ERNIE Team which achieved the first place in SemEval-2020 Task 10: Emphasis Selection For Written Text in Visual Media. Given a sentence, we are asked to find out the most important words as the suggestion for automated design. We leverage the unsupervised pre-training model and finetune these models on our task. After our investigation, we found that the following models achieved an excellent performance in this task: ERNIE 2.0, XLM-ROBERTA, ROBERTA and ALBERT. We combine a pointwise regression loss and a pairwise ranking loss which is more close to the final M atchm metric to finetune our models. And we also find that additional feature engineering and data augmentation can help improve the performance. Our best model achieves the highest score of 0.823 and ranks first for all kinds of metrics
翻訳日:2022-10-20 21:12:53 公開日:2020-09-08
# 会話傾向の因果効果の定量化

Quantifying the Causal Effects of Conversational Tendencies ( http://arxiv.org/abs/2009.03897v1 )

ライセンス: Link先を確認
Justine Zhang, Sendhil Mullainathan, Cristian Danescu-Niculescu-Mizil(参考訳) 効果的な会話につながるものを理解することは、より良いコンピュータによるコミュニケーションプラットフォームの設計に役立つ。 特に、以前の観察研究は、会話の効率と相関する個人の行動を特定することを模索してきた。 しかし、そのような相関関係を因果解釈に翻訳することは、より良い設計と政策を導くための規範的な方法でそれらを使用するための必要なステップである。 本研究では,会話行動と結果の因果関係を描く問題を形式的に記述する。 我々は,テキストベースの危機カウンセリングプラットフォームにおいて,過去の会話で示された行動傾向に基づいてカウンセラーを割り当てる方法について,特定のタイプの政策を決定することに集中する。 本稿では,無作為化試行の実施が困難な会話環境において,因果推論から導かれる議論を下記の課題に応用する。 最後に、我々は、これらの推論課題を特定のドメインで回避する方法を示し、結果として生じる規範的情報によって通知される割当ポリシーの潜在的な利点を説明する。

Understanding what leads to effective conversations can aid the design of better computer-mediated communication platforms. In particular, prior observational work has sought to identify behaviors of individuals that correlate to their conversational efficiency. However, translating such correlations to causal interpretations is a necessary step in using them in a prescriptive fashion to guide better designs and policies. In this work, we formally describe the problem of drawing causal links between conversational behaviors and outcomes. We focus on the task of determining a particular type of policy for a text-based crisis counseling platform: how best to allocate counselors based on their behavioral tendencies exhibited in their past conversations. We apply arguments derived from causal inference to underline key challenges that arise in conversational settings where randomized trials are hard to implement. Finally, we show how to circumvent these inference challenges in our particular domain, and illustrate the potential benefits of an allocation policy informed by the resulting prescriptive information.
翻訳日:2022-10-20 21:12:36 公開日:2020-09-08
# 混合目的関数による半スーパービジョンテキスト分類のためのLSTMネットワークの再検討

Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function ( http://arxiv.org/abs/2009.04007v1 )

ライセンス: Link先を確認
Devendra Singh Sachan and Manzil Zaheer and Ruslan Salakhutdinov(参考訳) 本稿では,教師付きと半教師付きの両方のアプローチを用いて,テキスト分類作業のための双方向LSTMネットワークについて検討する。 いくつかの先行研究は、言語モデリング(Dai, Le 2015, Miyato, Dai, Goodfellow 2016)や複雑なモデル(Johnson and Zhang 2017)のような教師なしの手法を用いた複雑な事前学習スキームが、高い分類精度を達成するために必要であることを示している。 しかし,クロスエントロピー損失をトレーニングする場合,単純なbilstmモデルであっても,より複雑なアプローチと比較して競争結果を達成するためのトレーニング戦略を開発する。 さらに,ラベル付きデータとラベル付きデータの両方に対して,エントロピー最小化,逆数,仮想対数損失の組み合わせを用いて,テキスト分類タスクの最先端結果について報告する。 特に、ACL-IMDBの感情分析とAG-Newsのトピック分類データセットにおいて、本手法は現在のアプローチよりもかなり優れている。 また,関係抽出タスクの性能を向上させることにより,混合目的関数の汎用性を示す。

In this paper, we study bidirectional LSTM network for the task of text classification using both supervised and semi-supervised approaches. Several prior works have suggested that either complex pretraining schemes using unsupervised methods such as language modeling (Dai and Le 2015; Miyato, Dai, and Goodfellow 2016) or complicated models (Johnson and Zhang 2017) are necessary to achieve a high classification accuracy. However, we develop a training strategy that allows even a simple BiLSTM model, when trained with cross-entropy loss, to achieve competitive results compared with more complex approaches. Furthermore, in addition to cross-entropy loss, by using a combination of entropy minimization, adversarial, and virtual adversarial losses for both labeled and unlabeled data, we report state-of-the-art results for text classification task on several benchmark datasets. In particular, on the ACL-IMDB sentiment analysis and AG-News topic classification datasets, our method outperforms current approaches by a substantial margin. We also show the generality of the mixed objective function by improving the performance on relation extraction task.
翻訳日:2022-10-20 21:12:19 公開日:2020-09-08
# マルチタスクディープラーニングを用いた未知クラスによる少数ショットハイパースペクトル画像分類

Few-Shot Hyperspectral Image Classification With Unknown Classes Using Multitask Deep Learning ( http://arxiv.org/abs/2009.03508v1 )

ライセンス: Link先を確認
Shengjie Liu, Qian Shi, and Liangpei Zhang(参考訳) 現在のハイパースペクトル画像分類では、事前定義された分類システムは閉かつ完備であり、未知のデータには未知のクラスや新しいクラスは存在しないと仮定している。 しかし、この仮定は現実の世界には厳しすぎるかもしれない。 分類体系が構築されると、新しいクラスを見落としてしまうことが多い。 閉じた自然は、モデルに新しいサンプルが与えられたラベルを割り当てさせ、既知の土地被覆(例えば作物面積)を過大評価させる可能性がある。 そこで我々は,未知のクラスが存在するオープンワールド(MDL4OW)において,分類と再構築を同時に行うマルチタスク深層学習手法を提案する。 復元されたデータは元のデータと比較されるが、ラベルの欠如により潜在的な特徴によく表されていないという前提から復元できないものは未知であると考えられる。 未知のクラスと既知のクラスを分離するためには,しきい値を定義する必要がある。 提案手法は実世界のハイパースペクトラル画像を用いてテストを行い,salinasデータ全体の精度を4.94%向上させた。 オープン世界に未知のクラスが存在することを考慮し,より高精度なハイパースペクトル画像分類,特にマイノリティ・ショット・コンテキストを実現した。

Current hyperspectral image classification assumes that a predefined classification system is closed and complete, and there are no unknown or novel classes in the unseen data. However, this assumption may be too strict for the real world. Often, novel classes are overlooked when the classification system is constructed. The closed nature forces a model to assign a label given a new sample and may lead to overestimation of known land covers (e.g., crop area). To tackle this issue, we propose a multitask deep learning method that simultaneously conducts classification and reconstruction in the open world (named MDL4OW) where unknown classes may exist. The reconstructed data are compared with the original data; those failing to be reconstructed are considered unknown, based on the assumption that they are not well represented in the latent features due to the lack of labels. A threshold needs to be defined to separate the unknown and known classes; we propose two strategies based on the extreme value theory for few-shot and many-shot scenarios. The proposed method was tested on real-world hyperspectral images; state-of-the-art results were achieved, e.g., improving the overall accuracy by 4.94% for the Salinas data. By considering the existence of unknown classes in the open world, our method achieved more accurate hyperspectral image classification, especially under the few-shot context.
翻訳日:2022-10-20 21:11:05 公開日:2020-09-08
# マルコフ鎖からの非パラメトリック密度推定

Nonparametric Density Estimation from Markov Chains ( http://arxiv.org/abs/2009.03937v1 )

ライセンス: Link先を確認
Andrea De Simone, Alessandro Morandini(参考訳) 我々は、マルコフ鎖に触発された新しい非パラメトリック密度推定器を導入し、よく知られたカーネル密度推定器(kde)を一般化する。 我々の推定器は, 通常のものに対していくつかの利点を示し, 全密度アルゴリズムの基盤として容易に利用できる。 推定器の整合性を証明し,大標本サイズと高次元の状況において,KDEよりも優れた結果が得られた。 また、密度推定器を用いて局所的な外れ値検出器を構築し、現実的なデータセットに適用した場合に非常に有望な結果を示す。

We introduce a new nonparametric density estimator inspired by Markov Chains, and generalizing the well-known Kernel Density Estimator (KDE). Our estimator presents several benefits with respect to the usual ones and can be used straightforwardly as a foundation in all density-based algorithms. We prove the consistency of our estimator and we find it typically outperforms KDE in situations of large sample size and high dimensionality. We also employ our density estimator to build a local outlier detector, showing very promising results when applied to some realistic datasets.
翻訳日:2022-10-20 21:03:58 公開日:2020-09-08
# ファジィユニークな画像変換:深部covid-19モデルの敵対的攻撃に対する防御

Fuzzy Unique Image Transformation: Defense Against Adversarial Attacks On Deep COVID-19 Models ( http://arxiv.org/abs/2009.04004v1 )

ライセンス: Link先を確認
Achyut Mani Tripathi, Ashish Mishra(参考訳) 胸部x線とct画像で訓練された深層モデルを用いた新型コロナウイルスの早期診断は、新型コロナウイルスの活発な感染状況の特定を早めるために研究者から注目されている。 これらの深層モデルは、特に遠隔地における専門医や放射線技師の役に立たない病院の支援として機能する。 新型ウイルスの検出には様々な深層モデルが提案されているが、画像ピクセルの小さな摂動を利用して深層モデルが深層モデルを騙すことができる敵攻撃に対する深層モデルを防止するための研究はほとんど行われていない。 本報告では、対人攻撃に対する深層COVID-19モデルの性能評価について述べる。 また、画像画素を区間的にダウンサンプリングする効率的かつ効果的なファジィ一意画像変換(fuit)手法を提案する。 FUIT変換後の画像はさらに、新型コロナウイルスの診断精度を高く保ち、敵の攻撃に対する信頼性の高い防御を提供するセキュアな深層モデルの訓練に利用される。 実験と結果から,提案モデルは6つの敵攻撃に対する深層モデルを防止するとともに,胸部x線画像とct画像データセットからcovid-19症例を分類する精度を維持していることが示された。 また, 深層モデルを用いて新型コロナウイルスの診断を行うには, 注意深い検査が必要であることも示唆した。

Early identification of COVID-19 using a deep model trained on Chest X-Ray and CT images has gained considerable attention from researchers to speed up the process of identification of active COVID-19 cases. These deep models act as an aid to hospitals that suffer from the unavailability of specialists or radiologists, specifically in remote areas. Various deep models have been proposed to detect the COVID-19 cases, but few works have been performed to prevent the deep models against adversarial attacks capable of fooling the deep model by using a small perturbation in image pixels. This paper presents an evaluation of the performance of deep COVID-19 models against adversarial attacks. Also, it proposes an efficient yet effective Fuzzy Unique Image Transformation (FUIT) technique that downsamples the image pixels into an interval. The images obtained after the FUIT transformation are further utilized for training the secure deep model that preserves high accuracy of the diagnosis of COVID-19 cases and provides reliable defense against the adversarial attacks. The experiments and results show the proposed model prevents the deep model against the six adversarial attacks and maintains high accuracy to classify the COVID-19 cases from the Chest X-Ray image and CT image Datasets. The results also recommend that a careful inspection is required before practically applying the deep models to diagnose the COVID-19 cases.
翻訳日:2022-10-20 21:03:03 公開日:2020-09-08
# COVIDNet-CT:胸部CT画像からCOVID-19症例を検出するためのニューラルネットワーク設計

COVIDNet-CT: A Tailored Deep Convolutional Neural Network Design for Detection of COVID-19 Cases from Chest CT Images ( http://arxiv.org/abs/2009.05383v1 )

ライセンス: Link先を確認
Hayden Gunraj, Linda Wang, and Alexander Wong(参考訳) 新型コロナウイルス(COVID-19)パンデミックは、世界中の患者や医療システムに深刻な影響を与え続けている。 In the fight against this novel disease, there is a pressing need for rapid and effective screening tools to identify patients infected with COVID-19, and to this end CT imaging has been proposed as one of the key screening methods which may be used as a complement to RT-PCR testing, particularly in situations where patients undergo routine CT scans for non-COVID-19 related reasons, patients with worsening respiratory status or developing complications that require expedited care, and patients suspected to be COVID-19-positive but have negative RT-PCR test results. そこで本研究では,深層畳み込みニューラルネットワークアーキテクチャであるcovid-19-ctを,機械駆動設計による胸部ct画像から検出する方法について紹介する。 また,中国国立生体情報センターが収集したCT画像データから得られたベンチマークCT画像データセットであるCOVIDx-CTを紹介した。 さらに、信頼性と透明性に関心を抱く中で、説明可能性に基づくパフォーマンス検証戦略を利用して、COVIDNet-CTの意思決定行動を調査し、その過程で、CT画像の関連指標に基づいて、COVIDNet-CTが予測を行うようにする。 COVIDNet-CTとCOVIDx-CTデータセットはいずれも、COVID-Netイニシアチブの一部として、オープンソースかつオープンなアクセス方法で一般向けに提供されている。 COVIDNet-CTはまだプロダクション対応のスクリーニングソリューションではありませんが、モデルとデータセットのリリースによって、研究者、臨床医、市民データサイエンティストがそれらを活用して構築できることを願っています。

The coronavirus disease 2019 (COVID-19) pandemic continues to have a tremendous impact on patients and healthcare systems around the world. In the fight against this novel disease, there is a pressing need for rapid and effective screening tools to identify patients infected with COVID-19, and to this end CT imaging has been proposed as one of the key screening methods which may be used as a complement to RT-PCR testing, particularly in situations where patients undergo routine CT scans for non-COVID-19 related reasons, patients with worsening respiratory status or developing complications that require expedited care, and patients suspected to be COVID-19-positive but have negative RT-PCR test results. Motivated by this, in this study we introduce COVIDNet-CT, a deep convolutional neural network architecture that is tailored for detection of COVID-19 cases from chest CT images via a machine-driven design exploration approach. Additionally, we introduce COVIDx-CT, a benchmark CT image dataset derived from CT imaging data collected by the China National Center for Bioinformation comprising 104,009 images across 1,489 patient cases. Furthermore, in the interest of reliability and transparency, we leverage an explainability-driven performance validation strategy to investigate the decision-making behaviour of COVIDNet-CT, and in doing so ensure that COVIDNet-CT makes predictions based on relevant indicators in CT images. Both COVIDNet-CT and the COVIDx-CT dataset are available to the general public in an open-source and open access manner as part of the COVID-Net initiative. While COVIDNet-CT is not yet a production-ready screening solution, we hope that releasing the model and dataset will encourage researchers, clinicians, and citizen data scientists alike to leverage and build upon them.
翻訳日:2022-10-20 21:02:39 公開日:2020-09-08
# ブラウン大学、trec deep learning 2019に参加

Brown University at TREC Deep Learning 2019 ( http://arxiv.org/abs/2009.04016v1 )

ライセンス: Link先を確認
George Zerveas, Ruochen Zhang, Leila Kim, Carsten Eickhoff(参考訳) 本稿では,ブラウン大学のTREC 2019 Deep Learningトラックへの提出について述べる。 第1フェーズでは、入力クエリを意味的に類似したクエリにリフレーズするようにトレーニングされたトランスフォーマーモデルによって生成された3つのクエリを追加することで、ユーザのクエリを拡張する。 拡張されたクエリは、表面形状と語彙が興味の通過と重なり合うことにより、下流情報検索方法に対する豊富な入力として機能することができる。 第2フェーズでは、言語モデリング用に事前訓練されたBERTベースのモデルを用いて、クエリドキュメント関連度予測を微調整し、クエリ毎の1000の候補パスに対する関連度スコアを計算し、予測された関連度スコアに基づいてそれらをソートすることで、パスのランク付けを行う。 TREC Deep Learning Track 2019のオフィシャルオーバービューで発表された結果によると、私たちのチームは、再ランクの申請のみを考慮すると、パス検索タスク(完全なランク付けと再ランク付けを含む)で3位、そして2位にランク付けしました。

This paper describes Brown University's submission to the TREC 2019 Deep Learning track. We followed a 2-phase method for producing a ranking of passages for a given input query: In the the first phase, the user's query is expanded by appending 3 queries generated by a transformer model which was trained to rephrase an input query into semantically similar queries. The expanded query can exhibit greater similarity in surface form and vocabulary overlap with the passages of interest and can therefore serve as enriched input to any downstream information retrieval method. In the second phase, we use a BERT-based model pre-trained for language modeling but fine-tuned for query - document relevance prediction to compute relevance scores for a set of 1000 candidate passages per query and subsequently obtain a ranking of passages by sorting them based on the predicted relevance scores. According to the results published in the official Overview of the TREC Deep Learning Track 2019, our team ranked 3rd in the passage retrieval task (including full ranking and re-ranking), and 2nd when considering only re-ranking submissions.
翻訳日:2022-10-20 20:55:28 公開日:2020-09-08
# イベントログから生成モデルを発見する: データ駆動シミュレーションとディープラーニング

Discovering Generative Models from Event Logs: Data-driven Simulation vs Deep Learning ( http://arxiv.org/abs/2009.03567v1 )

ライセンス: Link先を確認
Manuel Camargo, Marlon Dumas, Oscar Gonzalez-Rojas(参考訳) 生成モデルは、以前に観測されたデータから新しいデータインスタンスを生成する統計モデルである。 ビジネスプロセスのコンテキストでは、生成モデルは、イベントログとしても知られる一連の履歴トレースから新しい実行トレースを生成する。 データ駆動シミュレーションモデルとディープラーニングモデルという2種類の生成過程シミュレーションモデルが先行研究で開発されている。 これまでこれら2つのアプローチは独立して進化しており、相対的なパフォーマンスは研究されていない。 本稿では,データ駆動型シミュレーション手法と複数の深層学習手法を実証的に比較することにより,このギャップを埋める。 この研究は、両方のアプローチの相対的な強みに光を当て、これらの強みを組み合わせるハイブリッドアプローチの開発の可能性を高める。

A generative model is a statistical model that is able to generate new data instances from previously observed ones. In the context of business processes, a generative model creates new execution traces from a set of historical traces, also known as an event log. Two families of generative process simulation models have been developed in previous work: data-driven simulation models and deep learning models. Until now, these two approaches have evolved independently and their relative performance has not been studied. This paper fills this gap by empirically comparing a data-driven simulation technique with multiple deep learning techniques, which construct models are capable of generating execution traces with timestamped events. The study sheds light into the relative strengths of both approaches and raises the prospect of developing hybrid approaches that combine these strengths.
翻訳日:2022-10-20 20:54:52 公開日:2020-09-08
# スマートフォンを用いた日々の活動認識によるエネルギー消費の推定

Energy Expenditure Estimation Through Daily Activity Recognition Using a Smart-phone ( http://arxiv.org/abs/2009.03681v1 )

ライセンス: Link先を確認
Maxime De Bois, Hamdi Amroun, Mehdi Ammi(参考訳) 本稿では,個人の実時間エネルギー消費を非侵入的に見積もる3段階システムを提案する。 まず、ユーザのスマートフォンのセンサーを使用して、彼の身体活動を認識する決定木モデルを構築します(\textit{running}, \textit{standing}, ...)。 次に,検出された身体活動,時刻,利用者の速度を用いて,部分観測可能なマルコフ決定プロセスフレームワークである強化学習環境を用いて,日々の行動(\textit{watching TV}, \textit{going to the bath}, ...)を推測する。 日常活動が認識されれば、この情報を身体活動のコンペジウムを用いてエネルギー支出に変換する。 90\%で8つの身体活動の検出に成功し、17の異なる日常活動を認識する総合的精度80\%に達した。 この結果から, 平均誤差が26 % である場合, 利用者のエネルギー消費量を推定する。

This paper presents a 3-step system that estimates the real-time energy expenditure of an individual in a non-intrusive way. First, using the user's smart-phone's sensors, we build a Decision Tree model to recognize his physical activity (\textit{running}, \textit{standing}, ...). Then, we use the detected physical activity, the time and the user's speed to infer his daily activity (\textit{watching TV}, \textit{going to the bathroom}, ...) through the use of a reinforcement learning environment, the Partially Observable Markov Decision Process framework. Once the daily activities are recognized, we translate this information into energy expenditure using the compendium of physical activities. By successfully detecting 8 physical activities at 90\%, we reached an overall accuracy of 80\% in recognizing 17 different daily activities. This result leads us to estimate the energy expenditure of the user with a mean error of 26\% of the expected estimation.
翻訳日:2022-10-20 20:54:40 公開日:2020-09-08
# 広帯域DSAネットワークにおけるクロス層帯域選択とルーティング設計

Cross-layer Band Selection and Routing Design for Diverse Band-aware DSA Networks ( http://arxiv.org/abs/2009.03821v1 )

ライセンス: Link先を確認
Pratheek S. Upadhyaya, Vijay K. Shah, and Jeffrey H. Reed(参考訳) いくつかの新しいスペクトルバンドが共有利用のために開放されるにつれて、 \textit{diverse band-aware dynamic spectrum access} (d-dsa) の新しいパラダイムが出現した。 d-DSAは、ソフトウェア定義ラジオ(SDR)を備えたセカンダリデバイスを装備し、テレビ、LTE、市民ブロードバンドラジオサービス(CBRS)など、無許可のISMを含む \textit{multiple bands} のホワイトスペース(またはアイドルチャネル)を使用する。 本稿では、D-DSAネットワークのための階層間BAnd選択とルーティング設計(BARD)に基づく分散型オンラインマルチエージェント強化学習を提案する。 BARDはホワイトスペースを複数のスペクトル帯域で利用するだけでなく、これらの帯域の独特な電磁特性も考慮し、不均一なメッセージパケットのサービス品質(QoS)要件を最大化している。 広範にわたる実験により,BARD はメッセージ配信率の基準として dDSAaR アルゴリズムよりも高い性能を示したが,ネットワーク遅延が比較的高く,プライマリユーザやセカンダリユーザの数も多様であった。 さらに、BARDは、すべての考慮されたシナリオにおける両方のメトリクスの観点から、シングルバンドDSAのバリエーションを大幅に上回っている。

As several new spectrum bands are opening up for shared use, a new paradigm of \textit{Diverse Band-aware Dynamic Spectrum Access} (d-DSA) has emerged. d-DSA equips a secondary device with software defined radios (SDRs) and utilize whitespaces (or idle channels) in \textit{multiple bands}, including but not limited to TV, LTE, Citizen Broadband Radio Service (CBRS), unlicensed ISM. In this paper, we propose a decentralized, online multi-agent reinforcement learning based cross-layer BAnd selection and Routing Design (BARD) for such d-DSA networks. BARD not only harnesses whitespaces in multiple spectrum bands, but also accounts for unique electro-magnetic characteristics of those bands to maximize the desired quality of service (QoS) requirements of heterogeneous message packets; while also ensuring no harmful interference to the primary users in the utilized band. Our extensive experiments demonstrate that BARD outperforms the baseline dDSAaR algorithm in terms of message delivery ratio, however, at a relatively higher network latency, for varying number of primary and secondary users. Furthermore, BARD greatly outperforms its single-band DSA variants in terms of both the metrics in all considered scenarios.
翻訳日:2022-10-20 20:54:24 公開日:2020-09-08
# 空間を限定したスパース行列の近似乗算

Approximate Multiplication of Sparse Matrices with Limited Space ( http://arxiv.org/abs/2009.03527v1 )

ライセンス: Link先を確認
Yuanyu Wan and Lijun Zhang(参考訳) 空間を限定した近似行列乗法は、大規模応用の出現により、ますます注目を集めている。 近年,一般的な行列スケッチアルゴリズムをベースとして,この問題に対する近似誤差を低減するための共起方向(COD)を導入している。 2つの入力行列に対して$O((m_x+m_y)\ell)$X\in\mathbb{R}^{m_x\times n}$と$Y\in\mathbb{R}^{m_y\times n}$はスケッチサイズであるが、その時間複雑性は$O\left(n(m_x+m_y+\ell)\right)$である。 本稿では,入力行列の間隔を利用して,時間的複雑性を低減することを提案する。 鍵となるアイデアは、sparsityを利用する近似特異値分解(svd)法を用いて、codが必要とするqr分解の数を減らすことである。 このようにして、時間複雑性を$\widetilde{O}\left((\nnz(X)+\nnz(Y))\ell+n\ell^2\right)$に減らし、同じ空間複雑性を$O((m_x+m_y)\ell)$と保ちながら、$\nnz(X)$は$X$のゼロでないエントリの数を表す。 理論的解析により,我々のアルゴリズムの近似誤差はCODとほぼ同じであることがわかった。 さらに,本アルゴリズムの効率と有効性を実証的に検証した。

Approximate matrix multiplication with limited space has received ever-increasing attention due to the emergence of large-scale applications. Recently, based on a popular matrix sketching algorithm---frequent directions, previous work has introduced co-occuring directions (COD) to reduce the approximation error for this problem. Although it enjoys the space complexity of $O((m_x+m_y)\ell)$ for two input matrices $X\in\mathbb{R}^{m_x\times n}$ and $Y\in\mathbb{R}^{m_y\times n}$ where $\ell$ is the sketch size, its time complexity is $O\left(n(m_x+m_y+\ell)\ell\right)$, which is still very high for large input matrices. In this paper, we propose to reduce the time complexity by exploiting the sparsity of the input matrices. The key idea is to employ an approximate singular value decomposition (SVD) method which can utilize the sparsity, to reduce the number of QR decompositions required by COD. In this way, we develop sparse co-occuring directions, which reduces the time complexity to $\widetilde{O}\left((\nnz(X)+\nnz(Y))\ell+n\ell^2\right)$ in expectation while keeps the same space complexity as $O((m_x+m_y)\ell)$, where $\nnz(X)$ denotes the number of non-zero entries in $X$. Theoretical analysis reveals that the approximation error of our algorithm is almost the same as that of COD. Furthermore, we empirically verify the efficiency and effectiveness of our algorithm.
翻訳日:2022-10-20 20:47:52 公開日:2020-09-08
# 実験者直観を考慮した関数ベイズ最適化のための逐次部分空間探索

Sequential Subspace Search for Functional Bayesian Optimization Incorporating Experimenter Intuition ( http://arxiv.org/abs/2009.03543v1 )

ライセンス: Link先を確認
Alistair Shilton, Sunil Gupta, Santu Rana, Svetha Venkatesh(参考訳) ベイズ関数最適化のためのアルゴリズム,すなわち,ガウス過程の共分散関数に符号化された最適解の期待特性(長さスケール,滑らかさ,循環性など)に関する実験者信念と直感に導かれる過程を最適化する関数を求める。 本アルゴリズムは,実験者のガウス過程から引き出された一組の引き数で区切られた関数空間の有限次元ランダム部分空間列を生成する。 標準ベイズ最適化は各部分空間に適用され、最適な解は次の部分空間の出発点(origin)として用いられる。 有効次元の概念を用いてアルゴリズムの収束を解析し,有限有効次元が存在する限り,アルゴリズムが部分線形時間で収束することを示すための後悔を与える。 シミュレーションおよび実世界の実験,すなわちブラインド関数マッチング,アルミニウム合金の最適析出強化関数の探索,深層ネットワークの学習速度スケジュール最適化において,本アルゴリズムを検証した。

We propose an algorithm for Bayesian functional optimisation - that is, finding the function to optimise a process - guided by experimenter beliefs and intuitions regarding the expected characteristics (length-scale, smoothness, cyclicity etc.) of the optimal solution encoded into the covariance function of a Gaussian Process. Our algorithm generates a sequence of finite-dimensional random subspaces of functional space spanned by a set of draws from the experimenter's Gaussian Process. Standard Bayesian optimisation is applied on each subspace, and the best solution found used as a starting point (origin) for the next subspace. Using the concept of effective dimensionality, we analyse the convergence of our algorithm and provide a regret bound to show that our algorithm converges in sub-linear time provided a finite effective dimension exists. We test our algorithm in simulated and real-world experiments, namely blind function matching, finding the optimal precipitation-strengthening function for an aluminium alloy, and learning rate schedule optimisation for deep networks.
翻訳日:2022-10-20 20:47:10 公開日:2020-09-08
# 解釈可能な表現による多変数時系列分類

Multivariable times series classification through an interpretable representation ( http://arxiv.org/abs/2009.03614v1 )

ライセンス: Link先を確認
Francisco J. Bald\'an, Jos\'e M. Ben\'itez(参考訳) 多変量時系列分類は、多くの情報ソースが利用可能な様々な分野(経済、健康、エネルギー、輸送、作物など)における新たな問題の増加によって重要度が増す課題である。 非変量環境において伝統的に働く手法の直接的外挿は、多変量問題の最良の結果を得るために頻繁に適用できない。 これは主に、これらの方法が多変量時系列に適合する異なる変数間の関係を捉えることができないためである。 これまでに発表された多変量提案は競争結果を提供するが、解釈が難しい。 本稿では,多変量時系列の異なる変数間の関係を考慮した記述的特徴の組を通して,時系列の代替表現を考える時系列分類法を提案する。 我々は,従来の分類アルゴリズムを適用し,解釈可能かつ競争的な結果を得た。

Multivariate time series classification is a task with increasing importance due to the proliferation of new problems in various fields (economy, health, energy, transport, crops, etc.) where a large number of information sources are available. Direct extrapolation of methods that traditionally worked in univariate environments cannot frequently be applied to obtain the best results in multivariate problems. This is mainly due to the inability of these methods to capture the relationships between the different variables that conform a multivariate time series. The multivariate proposals published to date offer competitive results but are hard to interpret. In this paper we propose a time series classification method that considers an alternative representation of time series through a set of descriptive features taking into account the relationships between the different variables of a multivariate time series. We have applied traditional classification algorithms obtaining interpretable and competitive results.
翻訳日:2022-10-20 20:46:52 公開日:2020-09-08
# ユーザセグメンテーションと需要予測のためのトポロジーに基づくクラスタリグレッション

Topology-based Clusterwise Regression for User Segmentation and Demand Forecasting ( http://arxiv.org/abs/2009.03661v1 )

ライセンス: Link先を確認
Rodrigo Rivera-Castro, Aleksandr Pletnev, Polina Pilyugina, Grecia Diaz, Ivan Nazarov, Wanyi Zhu and Evgeny Burnaev(参考訳) トポロジカルデータ解析 (TDA) は、そのトポロジ的構造の観点からデータセットを分析するための最近のアプローチである。 時系列データの利用は制限されている。 本稿では,ユーザセグメンテーションと需要予測を組み合わせたクラウドコンピューティングのリーディングプロバイダ向けに開発されたシステムを提案する。 顧客セグメンテーションのための一般的な管理フレームワークにインスパイアされた時系列のtdaベースのクラスタリング手法からなり、需要を予測するために行列分解法を用いてクラスタリグレッションを行う場合に拡張される。 顧客ロイヤリティの増大と正確な予測の生成は、研究者とマネージャの両方にとって活発な議論のトピックである。 本研究は,商用データの公開データと新規のプロプライエタリデータセットを用いて,ユーザベースと計画要求を,artベースラインの状態よりもはるかに高い精度で,粒度レベルでクラスタ化することが可能であることを示す。 そこで本研究では,TDAをベースとした時系列クラスタリングと行列因数分解手法によるクラスタ回帰を実践者にとって実行可能なツールとして提案する。

Topological Data Analysis (TDA) is a recent approach to analyze data sets from the perspective of their topological structure. Its use for time series data has been limited. In this work, a system developed for a leading provider of cloud computing combining both user segmentation and demand forecasting is presented. It consists of a TDA-based clustering method for time series inspired by a popular managerial framework for customer segmentation and extended to the case of clusterwise regression using matrix factorization methods to forecast demand. Increasing customer loyalty and producing accurate forecasts remain active topics of discussion both for researchers and managers. Using a public and a novel proprietary data set of commercial data, this research shows that the proposed system enables analysts to both cluster their user base and plan demand at a granular level with significantly higher accuracy than a state of the art baseline. This work thus seeks to introduce TDA-based clustering of time series and clusterwise regression with matrix factorization methods as viable tools for the practitioner.
翻訳日:2022-10-20 20:46:39 公開日:2020-09-08
# グラフネットワークを用いたジョブショップスケジューリング問題の強化学習

Reinforcement Learning on Job Shop Scheduling Problems Using Graph Networks ( http://arxiv.org/abs/2009.03836v1 )

ライセンス: Link先を確認
Mohammed Sharafath Abdul Hameed, Andreas Schwung(参考訳) 本稿では,深層強化学習を用いたジョブショップスケジューリング問題に対する新しいアプローチを提案する。 生産環境の複雑さを考慮したグラフニューラルネットワークを用いて,生産環境内の様々な関係をモデル化する。 さらに,運用環境の変化に対して高い柔軟性を実現するために,学習エージェントを個別にリソースに割り当てる分散最適化問題としてjsspを採用した。 シングルリソースの生産スケジュールを最適化するために使用される分散rlエージェントは、必要な量のデータを得るためにプロダクション環境の共シミュレーションフレームワークと共に実行されている。 このアプローチは、マルチロボット環境と複雑なプロダクションスケジューリングベンチマーク環境に適用される。 最初の結果は,提案手法の適用可能性と性能を示す。

This paper presents a novel approach for job shop scheduling problems using deep reinforcement learning. To account for the complexity of production environment, we employ graph neural networks to model the various relations within production environments. Furthermore, we cast the JSSP as a distributed optimization problem in which learning agents are individually assigned to resources which allows for higher flexibility with respect to changing production environments. The proposed distributed RL agents used to optimize production schedules for single resources are running together with a co-simulation framework of the production environment to obtain the required amount of data. The approach is applied to a multi-robot environment and a complex production scheduling benchmark environment. The initial results underline the applicability and performance of the proposed method.
翻訳日:2022-10-20 20:45:16 公開日:2020-09-08
# トラックベースポッドキャストのレコメンデーション

Trajectory Based Podcast Recommendation ( http://arxiv.org/abs/2009.03859v1 )

ライセンス: Link先を確認
Greg Benton, Ghazal Fazelnia, Alice Wang, Ben Carterette(参考訳) Podcastのレコメンデーションは、新たな課題と機会を示す研究の領域が増えている。 個人は他のほとんどのメディアと異なる方法でポッドキャストと対話します。 ポッドキャストライブラリを順次移行したユーザを,成功して一貫したレコメンデーションが実現可能であることを示す。 将来のポッドキャストのレコメンデーションは、シーケンシャルな振る舞いから取られた軌道を使って行われる。 実験では,ユーザの行動が局所的な傾向に限定されていること,聴くパターンが類似したショーの短いシーケンスで見られる傾向があることの証拠を提供する。 最終的なアプローチは,協調フィルタリングベースラインよりもa450%効果的である。

Podcast recommendation is a growing area of research that presents new challenges and opportunities. Individuals interact with podcasts in a way that is distinct from most other media; and primary to our concerns is distinct from music consumption. We show that successful and consistent recommendations can be made by viewing users as moving through the podcast library sequentially. Recommendations for future podcasts are then made using the trajectory taken from their sequential behavior. Our experiments provide evidence that user behavior is confined to local trends, and that listening patterns tend to be found over short sequences of similar types of shows. Ultimately, our approach gives a450%increase in effectiveness over a collaborative filtering baseline.
翻訳日:2022-10-20 20:45:05 公開日:2020-09-08
# 協調進化的相関探索による進化的強化学習

Evolutionary Reinforcement Learning via Cooperative Coevolutionary Negatively Correlated Search ( http://arxiv.org/abs/2009.03603v1 )

ライセンス: Link先を確認
Hu Zhang, Peng Yang, Yanglong Yu, Mingjia Li, Ke Tang(参考訳) 進化的アルゴリズム(EA)は、探索能力により強化学習(RL)タスクの最適化に成功している。 近年提案されている負相関探索 (ncs) は, 並列探索の振る舞いを提供し, rlをより効果的に行うことが期待されている。 一般的に採用されているニューラルポリシーは、最適化される数百万のパラメータを必要とするため、NCSのRLへの直接適用は、大規模な検索空間において大きな課題に直面する可能性がある。 そこで本稿では, NCS の並列探索動作を保ちつつ, NCS をスケールアップするための NCS フレンドリな協調的共進化(Cooperative Coevolution, CC) フレームワークを提案する。 NCS を悪化させる従来の CC の問題についても論じる。 10の人気のあるアタリゲームに関する実証研究により、提案手法は170万次元の探索空間を効果的に探索することにより、50%少ない計算時間で最先端の3つのRL法を著しく上回り得ることを示した。

Evolutionary algorithms (EAs) have been successfully applied to optimize the policies for Reinforcement Learning (RL) tasks due to their exploration ability. The recently proposed Negatively Correlated Search (NCS) provides a distinct parallel exploration search behavior and is expected to facilitate RL more effectively. Considering that the commonly adopted neural policies usually involves millions of parameters to be optimized, the direct application of NCS to RL may face a great challenge of the large-scale search space. To address this issue, this paper presents an NCS-friendly Cooperative Coevolution (CC) framework to scale-up NCS while largely preserving its parallel exploration search behavior. The issue of traditional CC that can deteriorate NCS is also discussed. Empirical studies on 10 popular Atari games show that the proposed method can significantly outperform three state-of-the-art deep RL methods with 50% less computational time by effectively exploring a 1.7 million-dimensional search space.
翻訳日:2022-10-20 20:39:26 公開日:2020-09-08
# QED: 質問回答における説明のためのフレームワークとデータセット

QED: A Framework and Dataset for Explanations in Question Answering ( http://arxiv.org/abs/2009.06354v1 )

ライセンス: Link先を確認
Matthew Lamm, Jennimaria Palomaki, Chris Alberti, Daniel Andor, Eunsol Choi, Livio Baldini Soares, Michael Collins(参考訳) 質問応答システムでは、回答の提供に加えて、その回答につながる推論の説明が、デバッグ可能性、拡張性、信頼という面で潜在的に有利である。 そこで本稿では,QEDを提案する。QEDとは,質問応答における説明のための言語的に理解され,拡張可能なフレームワークである。 QEDの説明は、質問と回答の関係を、参照的平等、文化、含意といった形式的な意味概念に基づいて特定する。 Google Natural Questionsデータセットのサブセット上に構築されたQED説明のエキスパートアノテートデータセットを記述および公開し、ホック後の説明生成と、共同回答と説明生成という2つのタスクのベースラインモデルを報告します。 共同環境では,比較的少量のQEDデータによるトレーニングが質問応答を改善する可能性が示唆された。 QEDアプローチの形式的言語理論的モチベーションを説明することに加えて、QED説明の存在は、訓練を受けていないラッカーが、強い神経質なQAベースラインによる誤りを見つける能力を大幅に向上させることを示す大規模なユーザスタディを述べる。

A question answering system that in addition to providing an answer provides an explanation of the reasoning that leads to that answer has potential advantages in terms of debuggability, extensibility and trust. To this end, we propose QED, a linguistically informed, extensible framework for explanations in question answering. A QED explanation specifies the relationship between a question and answer according to formal semantic notions such as referential equality, sentencehood, and entailment. We describe and publicly release an expert-annotated dataset of QED explanations built upon a subset of the Google Natural Questions dataset, and report baseline models on two tasks -- post-hoc explanation generation given an answer, and joint question answering and explanation generation. In the joint setting, a promising result suggests that training on a relatively small amount of QED data can improve question answering. In addition to describing the formal, language-theoretic motivations for the QED approach, we describe a large user study showing that the presence of QED explanations significantly improves the ability of untrained raters to spot errors made by a strong neural QA baseline.
翻訳日:2022-10-20 20:38:59 公開日:2020-09-08
# 解釈可能な少数ショット画像分類のための領域比較ネットワーク

Region Comparison Network for Interpretable Few-shot Image Classification ( http://arxiv.org/abs/2009.03558v1 )

ライセンス: Link先を確認
Zhiyu Xue, Lixin Duan, Wen Li, Lin Chen and Jiebo Luo(参考訳) ディープラーニングは多くの現実世界のコンピュータビジョンタスクにうまく適用されているが、堅牢な分類器のトレーニングは通常、大量のラベル付きデータを必要とする。 しかし、アノテーションはしばしば高価で時間がかかります。 これにより、ラベル付きサンプルの限られた数だけを有効活用して、新しいクラスのモデルを訓練するための画像分類が提案されている。 転送可能なメトリック学習法に基づく最近の研究は,クエリとサポートセットからのサンプルの特徴の類似性を学習することで,有望な分類性能を実現している。 しかし、これらの多くは、トレーニングフェーズ中に実際に明らかにできるモデル解釈可能性を明確に考慮している。 そこで本研究では,ニューラルネットワークと同様に,ショット学習がいかに少ないかを明らかにするとともに,クエリやサポートセットから得られる画像において,相互に関連のある特定の領域を探索することのできる,領域比較ネットワーク(rcn)と呼ばれるメトリック学習手法を提案する。 さらに,ネットワーク内の中間変数を可視化することによって,我々の手法が何を学んだのかを直感的に説明するための領域活性化マッピング (RAM) も提案する。 また、タスクのレベルからカテゴリまで、解釈可能性を一般化する新しい方法を提案し、rcnの最終決定を支持するための原型的な部分を見つける方法も見いだせる。 4つのベンチマークデータセットの大規模な実験により,既存のベースラインに対する提案手法の有効性が明らかとなった。

While deep learning has been successfully applied to many real-world computer vision tasks, training robust classifiers usually requires a large amount of well-labeled data. However, the annotation is often expensive and time-consuming. Few-shot image classification has thus been proposed to effectively use only a limited number of labeled examples to train models for new classes. Recent works based on transferable metric learning methods have achieved promising classification performance through learning the similarity between the features of samples from the query and support sets. However, rare of them explicitly considers the model interpretability, which can actually be revealed during the training phase. For that, in this work, we propose a metric learning based method named Region Comparison Network (RCN), which is able to reveal how few-shot learning works as in a neural network as well as to find out specific regions that are related to each other in images coming from the query and support sets. Moreover, we also present a visualization strategy named Region Activation Mapping (RAM) to intuitively explain what our method has learned by visualizing intermediate variables in our network. We also present a new way to generalize the interpretability from the level of tasks to categories, which can also be viewed as a method to find the prototypical parts for supporting the final decision of our RCN. Extensive experiments on four benchmark datasets clearly show the effectiveness of our method over existing baselines.
翻訳日:2022-10-20 20:38:15 公開日:2020-09-08
# 脳波信号のスカルプトポグラフィーで表される独立成分からアーチファクトを自動的に検出する畳み込みニューラルネットワーク

Convolutional Neural Networks for Automatic Detection of Artifacts from Independent Components Represented in Scalp Topographies of EEG Signals ( http://arxiv.org/abs/2009.03696v1 )

ライセンス: Link先を確認
Giuseppe Placidi, Luigi Cinque, Matteo Polsinelli(参考訳) 脳波計(EEG)は頭皮にセンサーを設置し、リアルタイムで脳活動を測定する。 脳波の有用な脳信号(UBS)を正しく解釈するためには、眼球運動や点眼、筋/心臓活動、一般的な電気的障害などによるアーチファクトの認識と排除が必要である。 独立成分分析(ICA)は、2Dの頭皮の地形(画像)に再投影される独立した成分(IC)に信号を分割するのに有効である。 これまで、脳波のゴールドスタンダードであるICトポロット分析は、人間の専門家によって視覚的に行われてきたため、自動応答型脳波では使用できない。 3種類の人工物とUBSの4つのクラスでトポロを分割できる2次元畳み込みニューラルネットワーク(CNN)に基づく,ICトポロによる脳波アーチファクト認識のための完全自動かつ効果的なフレームワークを提案する。 フレームワークの設定を説明し、その結果を他の競合戦略によって得られたものと比較する。 パブリックなEEGデータセットで実施された実験では、全体の精度は98%を超え、標準のPCでは1.4秒で32のトポロを分類している。 提案するフレームワークはリアルタイムではないが,高速応答型EEGベースのBrain-Computer Interfaces (BCI) に利用できるほど効率的であり,ICに基づく他の自動手法よりも高速である。

Electroencephalography (EEG) measures the electrical brain activity in real-time by using sensors placed on the scalp. Artifacts, due to eye movements and blink, muscular/cardiac activity and generic electrical disturbances, have to be recognized and eliminated to allow a correct interpretation of the useful brain signals (UBS) of EEG. Independent Component Analysis (ICA) is effective to split the signal into independent components (ICs) whose re-projections on 2D scalp topographies (images), also called topoplots, allow to recognize/separate artifacts and by UBS. Until now, IC topoplot analysis, a gold standard in EEG, has been carried on visually by human experts and, hence, not usable in automatic, fast-response EEG. We present a completely automatic and effective framework for EEG artifact recognition by IC topoplots, based on 2D Convolutional Neural Networks (CNNs), capable to divide topoplots in 4 classes: 3 types of artifacts and UBS. The framework setup is described and results are presented, discussed and compared with those obtained by other competitive strategies. Experiments, carried on public EEG datasets, have shown an overall accuracy of above 98%, employing 1.4 sec on a standard PC to classify 32 topoplots, that is to drive an EEG system of 32 sensors. Though not real-time, the proposed framework is efficient enough to be used in fast-response EEG-based Brain-Computer Interfaces (BCI) and faster than other automatic methods based on ICs.
翻訳日:2022-10-20 20:37:53 公開日:2020-09-08
# 深層学習による依存変数の理解と爆発

Understanding and Exploiting Dependent Variables with Deep Metric Learning ( http://arxiv.org/abs/2009.03820v1 )

ライセンス: Link先を確認
Niall O' Mahony, Sean Campbell, Anderson Carvalho, Lenka Krpalkova, Gustavo Velasco-Hernandez, Daniel Riordan, Joseph Walsh(参考訳) ディープメトリックラーニング(DML)アプローチは、この空間における表現間の距離が、予め定義された類似性の概念と一致するように、低次元の潜在空間への入力を表現することを学ぶ。 本稿では、任意の分類問題における有意な特徴が時間とともに変化する状況や、基礎となる変数の変化により、DMLのマッピング要素がどのように利用されるかを検討する。 そのような特徴の例としては、自律航行のための場所認識タスクにおける屋外シーンの季節的および時間的変動と、医学・倫理研究の分類タスクにおける人間/動物被験者の年齢・性別の変動がある。 事前情報が利用可能なクエリ変数毎のdml表現の分布を可視化するツールを使用することにより、分類タスクにおける各変数の影響をより理解することができる。 これらの関係に基づき、これらの厳密な背景変数に関する事前情報は、クラスタリングアルゴリズムを用いて分類性能を向上させることにより、DMLアプローチの推論段階で利用することができる。 本研究では,クエリバックグラウンド変数の正当性を確立し,クラスタリングアルゴリズムを定式化する手法を提案する。 また,DML手法の組込みギャラリーにおいて,データの質と多様性を保存し,各クラスを表現するためのオンライン管理戦略についても論じる。 また、DMLによる基礎変数・複数変数の関連性を理解するための潜伏作業についても論じる。

Deep Metric Learning (DML) approaches learn to represent inputs to a lower-dimensional latent space such that the distance between representations in this space corresponds with a predefined notion of similarity. This paper investigates how the mapping element of DML may be exploited in situations where the salient features in arbitrary classification problems vary over time or due to changing underlying variables. Examples of such variable features include seasonal and time-of-day variations in outdoor scenes in place recognition tasks for autonomous navigation and age/gender variations in human/animal subjects in classification tasks for medical/ethological studies. Through the use of visualisation tools for observing the distribution of DML representations per each query variable for which prior information is available, the influence of each variable on the classification task may be better understood. Based on these relationships, prior information on these salient background variables may be exploited at the inference stage of the DML approach by using a clustering algorithm to improve classification performance. This research proposes such a methodology establishing the saliency of query background variables and formulating clustering algorithms for better separating latent-space representations at run-time. The paper also discusses online management strategies to preserve the quality and diversity of data and the representation of each class in the gallery of embeddings in the DML approach. We also discuss latent works towards understanding the relevance of underlying/multiple variables with DML.
翻訳日:2022-10-20 20:37:23 公開日:2020-09-08
# 高スループット関係抽出アルゴリズムの開発 : 知識記事と電子健康記録の関連

High-throughput relation extraction algorithm development associating knowledge articles and electronic health records ( http://arxiv.org/abs/2009.03506v1 )

ライセンス: Link先を確認
Yucong Lin, Keming Lu, Yulin Chen, Chuan Hong, Sheng Yu(参考訳) 目的:医療関係は、医療人工知能に必要な医療知識グラフの中核的な構成要素である。 しかし、従来のアルゴリズム開発プロセスによる専門家アノテーションの要求は、新しい関係をマイニングするための大きなボトルネックを生み出している。 本稿では,ハイスループット関係抽出アルゴリズム開発のためのフレームワークであるhi-resを提案する。 また,知識項目と電子健康記録(EHR)を組み合わせることで,分類精度が著しく向上することを示した。 方法: 対象コーパスからの文を正のトレーニングサンプルとしてラベル付けするために, 構造化データベースと半構造化Webページから得られた関係トリプレットを用いる。 また、正のサンプルと「陰性」のサンプルを組み合わせることにより、改善された負のサンプルを作成するための2つの方法も提供される。 本稿では,大規模事前学習された言語モデルとマルチインテンス・アテンションを用いて文情報を要約する共通モデルを提案する。 結果: hi-resフレームワークを応用して,障害-不規則関係と障害-位置関係の分類アルゴリズムを開発した。 数百万の文がトレーニングデータとして作成されます。 事前訓練された言語モデルとEHRベースの埋め込みを使用することで、以前のモデルよりもかなり精度が向上する。 それらを結合することで、それぞれ前のモデルよりも10~17ポイント高い2つの関係集合に対して0.947と0.998の精度が大幅に向上する。 結論: Hi-RES は高スループットかつ高精度な関係抽出アルゴリズム開発を実現するための効率的なフレームワークである。

Objective: Medical relations are the core components of medical knowledge graphs that are needed for healthcare artificial intelligence. However, the requirement of expert annotation by conventional algorithm development processes creates a major bottleneck for mining new relations. In this paper, we present Hi-RES, a framework for high-throughput relation extraction algorithm development. We also show that combining knowledge articles with electronic health records (EHRs) significantly increases the classification accuracy. Methods: We use relation triplets obtained from structured databases and semistructured webpages to label sentences from target corpora as positive training samples. Two methods are also provided for creating improved negative samples by combining positive samples with na\"ive negative samples. We propose a common model that summarizes sentence information using large-scale pretrained language models and multi-instance attention, which then joins with the concept embeddings trained from the EHRs for relation prediction. Results: We apply the Hi-RES framework to develop classification algorithms for disorder-disorder relations and disorder-location relations. Millions of sentences are created as training data. Using pretrained language models and EHR-based embeddings individually provides considerable accuracy increases over those of previous models. Joining them together further tremendously increases the accuracy to 0.947 and 0.998 for the two sets of relations, respectively, which are 10-17 percentage points higher than those of previous models. Conclusion: Hi-RES is an efficient framework for achieving high-throughput and accurate relation extraction algorithm development.
翻訳日:2022-10-20 20:36:01 公開日:2020-09-08
# 部分観測可能なMDPの深部能動推論

Deep Active Inference for Partially Observable MDPs ( http://arxiv.org/abs/2009.03622v1 )

ライセンス: Link先を確認
Otto van der Himst, Pablo Lanillos(参考訳) 深い能動推論は、大きな政策や状態空間を扱う知覚と行動に対するスケーラブルなアプローチとして提案されている。 しかし、現在のモデルは完全な観測可能な領域に限られている。 本稿では,高次元感覚入力から直接ポリシーを学習できる深層能動推論モデルについて述べる。 ディープラーニングアーキテクチャは、期待される自由エネルギーの変形を最適化し、変分オートエンコーダによって連続状態表現を符号化する。 OpenAIベンチマークでは、我々のアプローチは最先端の深層強化学習アルゴリズムである深部Q-ラーニングと同等か、あるいは優れたパフォーマンスを示している。

Deep active inference has been proposed as a scalable approach to perception and action that deals with large policy and state spaces. However, current models are limited to fully observable domains. In this paper, we describe a deep active inference model that can learn successful policies directly from high-dimensional sensory inputs. The deep learning architecture optimizes a variant of the expected free energy and encodes the continuous state representation by means of a variational autoencoder. We show, in the OpenAI benchmark, that our approach has comparable or better performance than deep Q-learning, a state-of-the-art deep reinforcement learning algorithm.
翻訳日:2022-10-20 20:29:58 公開日:2020-09-08
# TanhSoft -- TanhとSoftplusを組み合わせたアクティベーション機能のファミリー

TanhSoft -- a family of activation functions combining Tanh and Softplus ( http://arxiv.org/abs/2009.03863v1 )

ライセンス: Link先を確認
Koushik Biswas, Sandeep Kumar, Shilpak Banerjee, Ashish Kumar Pandey(参考訳) 中心となるディープラーニングは、活性化関数として知られる非線形関数を持つ線形変換を構成する関数を含む。 近年,新しい活性化機能の構築への関心が高まっており,学習の質が向上している。 本研究では,tanh({\alpha}x+{\beta}e^{{\gamma}x})ln({\delta}+e^x)の4つの未決定ハイパーパラメータを持つ新しい活性化関数tanhsoftの族を提案し,それらのハイパーパラメータをチューニングして,いくつかの既知の活性化関数を上回る活性化関数を得る。 例えば、ReLUをxtanh(0.6e^x)に置き換えると、CIFAR-10では0.46%、Inception-v3では0.7%、CIFAR-100ではTanh(0.87x)ln(1 +e^x)でトップ1分類精度が1.24%、SimpleNetモデルでは2.57%向上する。

Deep learning at its core, contains functions that are composition of a linear transformation with a non-linear function known as activation function. In past few years, there is an increasing interest in construction of novel activation functions resulting in better learning. In this work, we propose a family of novel activation functions, namely TanhSoft, with four undetermined hyper-parameters of the form tanh({\alpha}x+{\beta}e^{{\gamma}x})ln({\delta}+e^x) and tune these hyper-parameters to obtain activation functions which are shown to outperform several well known activation functions. For instance, replacing ReLU with xtanh(0.6e^x)improves top-1 classification accuracy on CIFAR-10 by 0.46% for DenseNet-169 and 0.7% for Inception-v3 while with tanh(0.87x)ln(1 +e^x) top-1 classification accuracy on CIFAR-100 improves by 1.24% for DenseNet-169 and 2.57% for SimpleNet model.
翻訳日:2022-10-20 20:29:49 公開日:2020-09-08
# 分割型貯留層サンプリングによる不均衡連続学習

Imbalanced Continual Learning with Partitioning Reservoir Sampling ( http://arxiv.org/abs/2009.03632v1 )

ライセンス: Link先を確認
Chris Dongjoo Kim, Jinseo Jeong, and Gunhee Kim(参考訳) シーケンシャルなデータストリームからの継続的な学習は、機械学習研究にとって重要な課題である。 多くの研究は、バランスのとれたラベル分布の仮定とともに、シングルラベル分類設定の下で行われている。 この研究は、マルチラベル分類に向けた研究の地平を広げる。 その際,多くのマルチラベルデータセット,すなわちロングテール分布に存在する予期せぬ逆行を識別する。 本稿は,まず,少数派の概念を忘れてしまうという新たな課題を実証的に示すことによって,独立に解決された2つの問題,カタストロピックフォーッティングと長い尾のラベル分布を共同で解決する。 次に、COCOseqとNUS-WIDEseqという2つのベンチマークデータセットをキュレートし、タスク内およびタスク間不均衡の研究を可能にする。 最後に,Reservoir Smpling (PRS) と呼ばれるリプレイ型アプローチのための新しいサンプリング手法を提案する。 データセットとコードはプロジェクトのページで公開しています。

Continual learning from a sequential stream of data is a crucial challenge for machine learning research. Most studies have been conducted on this topic under the single-label classification setting along with an assumption of balanced label distribution. This work expands this research horizon towards multi-label classification. In doing so, we identify unanticipated adversity innately existent in many multi-label datasets, the long-tailed distribution. We jointly address the two independently solved problems, Catastropic Forgetting and the long-tailed label distribution by first empirically showing a new challenge of destructive forgetting of the minority concepts on the tail. Then, we curate two benchmark datasets, COCOseq and NUS-WIDEseq, that allow the study of both intra- and inter-task imbalances. Lastly, we propose a new sampling strategy for replay-based approach named Partitioning Reservoir Sampling (PRS), which allows the model to maintain a balanced knowledge of both head and tail classes. We publicly release the dataset and the code in our project page.
翻訳日:2022-10-20 20:29:20 公開日:2020-09-08
# マルチモーダル変分法におけるより表現力のあるジョイント分布の学習

Learning more expressive joint distributions in multimodal variational methods ( http://arxiv.org/abs/2009.03651v1 )

ライセンス: Link先を確認
Sasho Nedelkoski, Mihail Bogojeski, Odej Kao(参考訳) データはしばしば複数のモードで形成され、観測された現象を共同で記述する。 マルチモーダルデータの連成分布をモデル化するには,高レベルの概念を捉え,より優れたデータ表現を提供するために,より大きな表現力が必要である。 しかし、変分推論に基づく多重モーダル生成モデルは、既知のパラメトリック分布の族内を探索することによって得られる近似後続の柔軟性の欠如により制限される。 正規化フローを用いたマルチモーダル変分法の表現能力を向上させる手法を提案する。 単純なパラメトリック分布で関節後方を近似し、その後より複雑なものへと変換する。 いくつかの実験を通じて,カラー化,エッジ・マスク検出,弱い教師付き学習といった様々なコンピュータビジョンタスクにおける変分推論に基づく,最先端のマルチモーダル手法を改良できることを実証した。 また,より強力な近似ジョイント分布の学習により,生成したサンプルの品質が向上することを示す。 私たちのモデルのコードはhttps://github.com/SashoNedelkoski/BPFDMVMで公開されています。

Data often are formed of multiple modalities, which jointly describe the observed phenomena. Modeling the joint distribution of multimodal data requires larger expressive power to capture high-level concepts and provide better data representations. However, multimodal generative models based on variational inference are limited due to the lack of flexibility of the approximate posterior, which is obtained by searching within a known parametric family of distributions. We introduce a method that improves the representational capacity of multimodal variational methods using normalizing flows. It approximates the joint posterior with a simple parametric distribution and subsequently transforms into a more complex one. Through several experiments, we demonstrate that the model improves on state-of-the-art multimodal methods based on variational inference on various computer vision tasks such as colorization, edge and mask detection, and weakly supervised learning. We also show that learning more powerful approximate joint distributions improves the quality of the generated samples. The code of our model is publicly available at https://github.com/SashoNedelkoski/BPFDMVM.
翻訳日:2022-10-20 20:29:03 公開日:2020-09-08
# ニューラルネットワークに基づく回帰におけるストレッチ確率分布の実証的戦略

Empirical Strategy for Stretching Probability Distribution in Neural-network-based Regression ( http://arxiv.org/abs/2009.03534v1 )

ライセンス: Link先を確認
Eunho Koo and Hyungjun Kim(参考訳) ニューラルネットワーク下での回帰解析では、予測性能は層間の適切な重み決定に依存する。 乱初期化重みは、所定の損失関数の下で勾配降下手順を用いてバックプロパゲーション中に更新されるので、損失関数構造は性能に大きな影響を与える。 本研究では,2つの分布の矛盾,すなわち予測値とラベルの矛盾を予測誤差として検討し,2つの分布の重み付け面積を増大させる新しい損失関数として重み付き経験的ストレッチ(WES)を提案する。 この関数は与えられたラベルの分布に依存するので、任意の分布形状に適用できる。 さらに、スケーリングハイパーパラメータを含み、適切なパラメータ値は2つの分布の共通セクションを最大化する。 この機能をテストするために, 理想的な分散曲線 (unimodal, skewed unimodal, bimodal, skewed bimodal) をラベルとして生成し, フィードフォワードニューラルネットワークによる曲線からのフーリエ抽出入力データを用いた。 一般にwesは損失関数を広範囲に上回り,性能は様々な雑音レベルに対して頑健であった。 極端領域(分布の両尾領域)におけるRMSEの改善結果は、自然災害や金融危機などの非線形複雑系における異常事象の予測に利用されることが期待されている。

In regression analysis under artificial neural networks, the prediction performance depends on determining the appropriate weights between layers. As randomly initialized weights are updated during back-propagation using the gradient descent procedure under a given loss function, the loss function structure can affect the performance significantly. In this study, we considered the distribution error, i.e., the inconsistency of two distributions (those of the predicted values and label), as the prediction error, and proposed weighted empirical stretching (WES) as a novel loss function to increase the overlap area of the two distributions. The function depends on the distribution of a given label, thus, it is applicable to any distribution shape. Moreover, it contains a scaling hyperparameter such that the appropriate parameter value maximizes the common section of the two distributions. To test the function capability, we generated ideal distributed curves (unimodal, skewed unimodal, bimodal, and skewed bimodal) as the labels, and used the Fourier-extracted input data from the curves under a feedforward neural network. In general, WES outperformed loss functions in wide use, and the performance was robust to the various noise levels. The improved results in RMSE for the extreme domain (i.e., both tail regions of the distribution) are expected to be utilized for prediction of abnormal events in non-linear complex systems such as natural disaster and financial crisis.
翻訳日:2022-10-20 20:28:24 公開日:2020-09-08
# 集中治療における深部モデルの解釈可能性の向上:糖尿病患者の血糖予測への応用

Enhancing the Interpretability of Deep Models in Heathcare Through Attention: Application to Glucose Forecasting for Diabetic People ( http://arxiv.org/abs/2009.03732v1 )

ライセンス: Link先を確認
Maxime De Bois, Moun\^im A. El Yacoubi, Mehdi Ammi(参考訳) 医療におけるディープラーニングの採用は、その“ブラックボックス”の性質によって妨げられている。 本稿では,糖尿病患者のグルソース予測のためのRETAINアーキテクチャについて検討する。 2段階の注意機構を用いることで、リカレントニューラルネットワークベースのRETAINモデルを解釈できる。 2型idiabと1型オハイオt1dmデータセットの保持モデルについて,2つの深部モデルと3つの決定木モデルとの比較により評価した。 本稿では,RETAINモデルが精度と解釈可能性の妥協を極めて良好に実現し,LSTMモデルとFCNモデルとほぼ同等の精度で解釈可能であることを示す。 最終予測に対する各変数の寄与を分析することにより,解釈可能な性質の有用性を示す。 その結果、グルコースの時間予測よりも30分前の保留モデルでは信号値が1時間以上使われないことが判明した。 また,保留モデルが炭水化物摂取やインスリン注入などのイベントの到来時にどのように行動を変えるかを示す。 特に,イベント前の患者の状態は,予測に特に重要であることが明らかとなった。 全体として、RETAINモデルは、解釈可能性のおかげで、医療における回帰や分類タスクにおいて非常に許容されるモデルであるようだ。

The adoption of deep learning in healthcare is hindered by their "black box" nature. In this paper, we explore the RETAIN architecture for the task of glusose forecasting for diabetic people. By using a two-level attention mechanism, the recurrent-neural-network-based RETAIN model is interpretable. We evaluate the RETAIN model on the type-2 IDIAB and the type-1 OhioT1DM datasets by comparing its statistical and clinical performances against two deep models and three models based on decision trees. We show that the RETAIN model offers a very good compromise between accuracy and interpretability, being almost as accurate as the LSTM and FCN models while remaining interpretable. We show the usefulness of its interpretable nature by analyzing the contribution of each variable to the final prediction. It revealed that signal values older than one hour are not used by the RETAIN model for the 30-minutes ahead of time prediction of glucose. Also, we show how the RETAIN model changes its behavior upon the arrival of an event such as carbohydrate intakes or insulin infusions. In particular, it showed that the patient's state before the event is particularily important for the prediction. Overall the RETAIN model, thanks to its interpretability, seems to be a very promissing model for regression or classification tasks in healthcare.
翻訳日:2022-10-20 20:27:57 公開日:2020-09-08
# CONDA-PM -- プロセスマイニングにおける概念ドリフト分析のためのシステムレビューとフレームワーク

CONDA-PM -- A Systematic Review and Framework for Concept Drift Analysis in Process Mining ( http://arxiv.org/abs/2009.05438v1 )

ライセンス: Link先を確認
Ghada Elkhawaga, Mervat Abuelkheir, Sherif I. Barakat, Alaa M. Riad and Manfred Reichert(参考訳) ビジネスプロセスは時間とともに進化し、変化するビジネス環境に適応します。 これは、ビジネスプロセスを継続的に監視し、意図した設計に適合するか、それから逸脱するかについて洞察を得る必要がある。 分析中にビジネスプロセスが変化する状況は、コンセプトドリフト(concept Drift)と表現される。 その分析は、ビジネスプロセスがどのように変化するか、変化の検出とローカライズ、そして後者の影響を研究することに関するものである。 概念ドリフト分析は、変化の早期発見と管理を可能にするために不可欠である。つまり、変更を改善プロセスの一部として推進するか、あるいは変更を拒否し、その効果を緩和する決定を下すかである。 その重要性にもかかわらず、コンセプトドリフトタイプ、影響のあるプロセス視点、そしてビジネスプロセスの粒度レベルを分析するための包括的なフレームワークは存在しない。 本稿では,プロセスマイニング(conda-pm)フレームワークにおけるドリフト解析の概念ドリフト解析について述べる。 CONDA-PMは、概念ドリフトを分析する現在のアプローチの体系的文献レビュー(SLR)に由来する。 我々は,conda-pmフレームワークを概念ドリフト解析の現在のアプローチに適用し,その成熟度を評価する。 CONDA-PMフレームワークの適用は、既存の取り組みを補完するために研究が必要な領域を強調します。

Business processes evolve over time to adapt to changing business environments. This requires continuous monitoring of business processes to gain insights into whether they conform to the intended design or deviate from it. The situation when a business process changes while being analysed is denoted as Concept Drift. Its analysis is concerned with studying how a business process changes, in terms of detecting and localising changes and studying the effects of the latter. Concept drift analysis is crucial to enable early detection and management of changes, that is, whether to promote a change to become part of an improved process, or to reject the change and make decisions to mitigate its effects. Despite its importance, there exists no comprehensive framework for analysing concept drift types, affected process perspectives, and granularity levels of a business process. This article proposes the CONcept Drift Analysis in Process Mining (CONDA-PM) framework describing phases and requirements of a concept drift analysis approach. CONDA-PM was derived from a Systematic Literature Review (SLR) of current approaches analysing concept drift. We apply the CONDA-PM framework on current approaches to concept drift analysis and evaluate their maturity. Applying CONDA-PM framework highlights areas where research is needed to complement existing efforts.
翻訳日:2022-10-20 20:27:11 公開日:2020-09-08
# 使用者の確率的予測--心理言語モデルにおける言語モデル性能の指標評価

Probabilistic Predictions of People Perusing: Evaluating Metrics of Language Model Performance for Psycholinguistic Modeling ( http://arxiv.org/abs/2009.03954v1 )

ライセンス: Link先を確認
Yiding Hao, Simon Mendelsohn, Rachel Sterneck, Randi Martinez, Robert Frank(参考訳) 自然主義的読解時間と情報理論的超越の関係を仮定することで、超越理論(hale, 2001; levy, 2008)は言語モデルと精神言語モデルの間の自然なインターフェイスを提供する。 本論文は,goodkind と bicknell (2018) による言語モデルの可読時間のモデル化能力がパープレキシティの線形関数であるという主張を再評価する。 グッドキンドとビックネルの分析を現代のニューラルアーキテクチャに拡張することにより、提案された関係が常に長期記憶ネットワーク、トランスフォーマー、事前訓練されたモデルで成り立つとは限らないことを示す。 本稿では,人間の被験者から測定したクローズ確率に基づく予測可能性規範相関と呼ばれる言語モデル性能の代替尺度を提案する。 我々の新しい指標は、言語モデルの品質と心理言語モデルのパフォーマンスのより堅牢な関係をもたらし、異なるトレーニング構成のモデルの比較を可能にします。

By positing a relationship between naturalistic reading times and information-theoretic surprisal, surprisal theory (Hale, 2001; Levy, 2008) provides a natural interface between language models and psycholinguistic models. This paper re-evaluates a claim due to Goodkind and Bicknell (2018) that a language model's ability to model reading times is a linear function of its perplexity. By extending Goodkind and Bicknell's analysis to modern neural architectures, we show that the proposed relation does not always hold for Long Short-Term Memory networks, Transformers, and pre-trained models. We introduce an alternate measure of language modeling performance called predictability norm correlation based on Cloze probabilities measured from human subjects. Our new metric yields a more robust relationship between language model quality and psycholinguistic modeling performance that allows for comparison between models with different training configurations.
翻訳日:2022-10-20 20:26:52 公開日:2020-09-08