このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス(CC 0, CC BY, CC BY-SA)の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。(arxivのメタデータは CC 0です。) 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。

本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。

公開日が20201218となっている論文です。

PDF登録状況(公開日: 20201218)

TitleAuthorsAbstract論文公表日・翻訳日
# (参考訳) 予測予測:多様性の問題 [全文訳有]

Forecast with Forecasts: Diversity Matters ( http://arxiv.org/abs/2012.01643v2 )

ライセンス: CC0 1.0
Yanfei Kang, Wei Cao, Fotios Petropoulos, Feng Li(参考訳) 過去数十年間、予測精度を向上させるために予測の組み合わせが広く適用されてきた。 近年,時系列特徴を用いた予測組み合わせモデルの構築が,予測領域で盛んに行われている。 このアイデアはm3やm4といったいくつかの予測競技で有益であることが証明されているが、多くの状況では実用的ではないかもしれない。 例えば、予測モデルを構築するための適切な機能を選択する作業は、多くの研究者にとって大きな課題となる。 特徴を定義する方法が1つあるとしても、現在ある特徴は、将来変化する運命にある歴史的パターンに基づいて推定されるか、あるいは、限られた歴史データの場合、実現不可能である。 本研究では,歴史的データから生成した予測へ焦点を移して特徴を抽出することを提案する。 対応する予測に基づいてモデルのプールの多様性を決定的な特徴として計算し、メタラーニングを用いて多様性に基づく予測の組み合わせモデルを構築する。 提案手法の性能を評価するために,時系列の豊富な組を用いる。 実験の結果,多様性に基づく予測組み合わせフレームワークはモデリングプロセスを単純化するだけでなく,予測性能も向上することがわかった。

Forecast combination has been widely applied in the last few decades to improve forecast accuracy. In recent years, the idea of using time series features to construct forecast combination model has flourished in the forecasting area. Although this idea has been proved to be beneficial in several forecast competitions such as the M3 and M4 competitions, it may not be practical in many situations. For example, the task of selecting appropriate features to build forecasting models can be a big challenge for many researchers. Even if there is one acceptable way to define the features, existing features are estimated based on the historical patterns, which are doomed to change in the future, or infeasible in the case of limited historical data. In this work, we suggest a change of focus from the historical data to the produced forecasts to extract features. We calculate the diversity of a pool of models based on the corresponding forecasts as a decisive feature and use meta-learning to construct diversity-based forecast combination models. A rich set of time series are used to evaluate the performance of the proposed method. Experimental results show that our diversity-based forecast combination framework not only simplifies the modelling process but also achieves superior forecasting performance.
翻訳日:2021-05-24 04:00:19 公開日:2020-12-18
# (参考訳) 異常検出器の比較:文脈問題

Comparison of Anomaly Detectors: Context Matters ( http://arxiv.org/abs/2012.06260v2 )

ライセンス: CC BY 4.0
V\'it \v{S}kv\'ara, Jan Franc\r{u}, Mat\v{e}j Zorek, Tom\'a\v{s} Pevn\'y, V\'aclav \v{S}m\'idl(参考訳) 深部生成モデルは、現在、異常検出の分野で古典的な手法に挑戦している。 あらゆる新しい手法は前者より優れており、しばしば矛盾した結果をもたらす。 この比較の目的は、様々なパラダイムの異常検出方法の比較と、異なる結果をもたらす可能性のある変動源の同定である。 これらの手法は一般的な表や画像のデータセットと比較された。 1つのクラスサポートベクターマシン(oc-svm)は表型データセットに競合しないが、画像データの最良の結果は機能マッチングganか、実験条件に応じて変分オートエンコーダ(vae)とoc-svmの組み合わせによって得られた。 提案手法の性能に影響を及ぼす変数の主な要因は,探索されたハイパーパラメータの範囲,モデル選択の方法論,異常サンプルの選択である。 コードと結果はすべてダウンロード可能です。

Deep generative models are challenging the classical methods in the field of anomaly detection nowadays. Every new method provides evidence of outperforming its predecessors, often with contradictory results. The objective of this comparison is twofold: comparison of anomaly detection methods of various paradigms, and identification of sources of variability that can yield different results. The methods were compared on popular tabular and image datasets. While the one class support-vector machine (OC-SVM) had no rival on the tabular datasets, the best results on the image data were obtained either by a feature-matching GAN or a combination of variational autoencoder (VAE) and OC-SVM, depending on the experimental conditions. The main sources of variability that can influence the performance of the methods were identified to be: the range of searched hyper-parameters, the methodology of model selection, and the choice of the anomalous samples. All our code and results are available for download.
翻訳日:2021-05-11 13:08:37 公開日:2020-12-18
# (参考訳) 動的分類器選択のためのコスト感受性階層クラスタリング [全文訳有]

Cost-sensitive Hierarchical Clustering for Dynamic Classifier Selection ( http://arxiv.org/abs/2012.09608v2 )

ライセンス: CC BY 4.0
Meinolf Sellmann and Tapan Shah(参考訳) 動的分類器選択(DCS)問題を考える: 分類器の集合が与えられた場合、分類する特定の入力ベクトルに応じてどの分類器を使うかを選択する。 この問題は、与えられた入力を処理するために使用できる複数の異なるアルゴリズムがある一般アルゴリズム選択問題の特別な場合である。 コストセンシティブな階層クラスタリング(CSHC)というアルゴリズム選択のための手法がDCSに適しているかを検討する。 分類アルゴリズムの選択に際し, CSHC法にいくつかの追加を加え, 性能への影響を評価する。 そして、いくつかの最先端動的分類器選択法と比較する。 実験の結果,修正cshcアルゴリズムは好ましく比較できることがわかった。

We consider the dynamic classifier selection (DCS) problem: Given an ensemble of classifiers, we are to choose which classifier to use depending on the particular input vector that we get to classify. The problem is a special case of the general algorithm selection problem where we have multiple different algorithms we can employ to process a given input. We investigate if a method developed for general algorithm selection named cost-sensitive hierarchical clustering (CSHC) is suited for DCS. We introduce some additions to the original CSHC method for the special case of choosing a classification algorithm and evaluate their impact on performance. We then compare with a number of state-of-the-art dynamic classifier selection methods. Our experimental results show that our modified CSHC algorithm compares favorably
翻訳日:2021-05-08 19:44:11 公開日:2020-12-18
# (参考訳) ディープニューラルネットワークの大規模バッチ分散トレーニングのためのデータ最適化 [全文訳有]

Data optimization for large batch distributed training of deep neural networks ( http://arxiv.org/abs/2012.09272v2 )

ライセンス: CC BY 4.0
Shubhankar Gahlot, Junqi Yin, Mallikarjun Shankar(参考訳) ディープラーニング(DL)における分散トレーニングは、データやモデルの成長に伴って一般的に行われる。 ディープニューラルネットワークの分散トレーニングの現在のプラクティスは、大規模運用時の通信ボトルネックや、グローバルバッチサイズの増加によるモデルの精度低下といった課題に直面している。 現在のソリューションは、メッセージ交換効率の改善と、トレーニングプロセスにおけるバッチサイズとモデルを調整するテクニックの実装に焦点を当てています。 訓練精度の低下は、通常、損失関数が局所的なミニマに閉じ込められるため起こる。 モデルとトレーニングデータの両方でロスランドスケープ最小化が形成されることを観察し、ローカルミニマを少なくするロスランドスケープを暗黙的に滑らかにするために機械学習を利用するデータ最適化アプローチを提案する。 このアプローチでは、機能学習において重要でないデータポイントをフィルタリングし、より大きなバッチサイズでのモデルのトレーニングを高速化し、精度を向上させる。

Distributed training in deep learning (DL) is common practice as data and models grow. The current practice for distributed training of deep neural networks faces the challenges of communication bottlenecks when operating at scale, and model accuracy deterioration with an increase in global batch size. Present solutions focus on improving message exchange efficiency as well as implementing techniques to tweak batch sizes and models in the training process. The loss of training accuracy typically happens because the loss function gets trapped in a local minima. We observe that the loss landscape minimization is shaped by both the model and training data and propose a data optimization approach that utilizes machine learning to implicitly smooth out the loss landscape resulting in fewer local minima. Our approach filters out data points which are less important to feature learning, enabling us to speed up the training of models on larger batch sizes to improved accuracy.
翻訳日:2021-05-03 06:09:46 公開日:2020-12-18
# 最善から学ぶ: 逆情報校正による合理化予測

Learning from the Best: Rationalizing Prediction by Adversarial Information Calibration ( http://arxiv.org/abs/2012.08884v2 )

ライセンス: Link先を確認
Lei Sha, Oana-Maria Camburu, and Thomas Lukasiewicz(参考訳) AIモデルの予測を説明することは、法律や医療分野など、安全クリティカルな応用において最重要である。 予測のための説明の1つの形式は、抽出的論理(extractive rationale)、すなわち、モデルがそのインスタンスにその予測を与えるように導くインスタンスの特徴のサブセットである。 前回の抽出的合理性の生成には、通常、最も重要な特徴(すなわち合理性)を選択するセレクタと、選択された特徴のみに基づいて予測を行う予測器という2相モデルを用いる。 これらの研究の欠点の1つは、機能を選択するための学習の主なシグナルは、予測者が与える答えと地対答えを比較することによるものである。 本研究では,情報キャリブレーション手法を用いて,予測者からの情報を絞り込む手法を提案する。 より正確には、2つのモデルを共同でトレーニングする。1つは手前のタスクを正確だがブラックボックスな方法で解く典型的なニューラルモデルであり、もう1つはセレクタ予測モデルであり、予測の根拠も生み出す。 第1モデルは第2モデルのガイドとして使用される。 我々は,2つのモデルから抽出した情報を,その差分が欠落あるいは過剰選択された特徴の指標となるように校正するために,逆数に基づく手法を用いる。 また,自然言語のタスクに対しては,言語モデルに基づく正規化手法を用いて,有理数抽出を促進することを提案する。 法的領域からの感情分析課題と3つの課題に関する実験結果から,抽出の合理化へのアプローチの有効性が示された。

Explaining the predictions of AI models is paramount in safety-critical applications, such as in legal or medical domains. One form of explanation for a prediction is an extractive rationale, i.e., a subset of features of an instance that lead the model to give its prediction on the instance. Previous works on generating extractive rationales usually employ a two-phase model: a selector that selects the most important features (i.e., the rationale) followed by a predictor that makes the prediction based exclusively on the selected features. One disadvantage of these works is that the main signal for learning to select features comes from the comparison of the answers given by the predictor and the ground-truth answers. In this work, we propose to squeeze more information from the predictor via an information calibration method. More precisely, we train two models jointly: one is a typical neural model that solves the task at hand in an accurate but black-box manner, and the other is a selector-predictor model that additionally produces a rationale for its prediction. The first model is used as a guide to the second model. We use an adversarial-based technique to calibrate the information extracted by the two models such that the difference between them is an indicator of the missed or over-selected features. In addition, for natural language tasks, we propose to use a language-model-based regularizer to encourage the extraction of fluent rationales. Experimental results on a sentiment analysis task as well as on three tasks from the legal domain show the effectiveness of our approach to rationale extraction.
翻訳日:2021-05-03 03:13:33 公開日:2020-12-18
# (参考訳) 深層強化学習による中国の最適地域暖房温度制御に向けて [全文訳有]

Towards Optimal District Heating Temperature Control in China with Deep Reinforcement Learning ( http://arxiv.org/abs/2012.09508v2 )

ライセンス: CC BY 4.0
Adrien Le-Coz, Tahar Nabil, Francois Courtot(参考訳) 中国の地域熱ネットワークの効率向上を実現し、炭素排出量を減らすためには、現在の産業用ツールを超えた新しい最適制御方法が必要である。 そこで本研究では,二次ネットワークに着目し,データ駆動型深層強化学習(drl)手法を提案する。 室内温度を予測するために,シミュレーションデータに基づくリカレントニューラルネットワークを構築した。 このモデルは、供給水温の最適制御のために、2つのDRLエージェントを専門家の指導なしに訓練するために使用される。 マルチアパートメント設定で行ったテストでは, 両エージェントが高熱的快適性を確保でき, 同時に, 最適化されたベースライン戦略と比較してエネルギーコストを低減できることがわかった。

Achieving efficiency gains in Chinese district heating networks, thereby reducing their carbon footprint, requires new optimal control methods going beyond current industry tools. Focusing on the secondary network, we propose a data-driven deep reinforcement learning (DRL) approach to address this task. We build a recurrent neural network, trained on simulated data, to predict the indoor temperatures. This model is then used to train two DRL agents, with or without expert guidance, for the optimal control of the supply water temperature. Our tests in a multi-apartment setting show that both agents can ensure a higher thermal comfort and at the same time a smaller energy cost, compared to an optimized baseline strategy.
翻訳日:2021-05-02 18:18:56 公開日:2020-12-18
# (参考訳) RainNet: 空間沈降ダウンスケーリングのための大規模データセット [全文訳有]

RainNet: A Large-Scale Dataset for Spatial Precipitation Downscaling ( http://arxiv.org/abs/2012.09700v2 )

ライセンス: CC BY 4.0
Xuanhong Chen, Kairui Feng, Naiyuan Liu, Yifan Lu, Zhengyan Tong, Bingbing Ni, Ziang Liu, Ning Lin(参考訳) 空間沈降ダウンスケーリングは地球科学コミュニティで最も重要な問題の一つである。 しかし、現在も未解決のままである。 ディープラーニングは、ダウンスケールのための有望なソリューションです。 深層学習のための降水ダウンスケーリングの研究を容易にするため,約17年間,62,424組の低分解能降水マップと高分解能降水マップを含む,初の大規模降水ダウンスケーリングデータセットであるRainNetを提示する。 シミュレーションデータとは対照的に、実際のデータセットは様々な種類の気象現象(ハリケーン、スカルなど)をカバーしている。 そして、ダウンスケーリングアルゴリズムに挑戦する物理的文字(時間的不一致、時間的スパース、流体的特性)を示します。 潜在的なダウンスケーリングソリューションを十分に検討するために,上記の特徴を学習するための暗黙的物理的推定フレームワークを提案する。 データセットの物理的特性を特に考慮した8つの指標が上げられ、提案データセット上で14のモデルが評価される。 最後に,降水ダウンスケーリングタスクにおけるモデルの有効性と実現可能性について分析する。 DatasetとCodeはhttps://neuralchen.g ithub.io/RainNet/.co mで入手できる。

Spatial Precipitation Downscaling is one of the most important problems in the geo-science community. However, it still remains an unaddressed issue. Deep learning is a promising potential solution for downscaling. In order to facilitate the research on precipitation downscaling for deep learning, we present the first REAL (non-simulated) Large-Scale Spatial Precipitation Downscaling Dataset, RainNet, which contains 62,424 pairs of low-resolution and high-resolution precipitation maps for 17 years. Contrary to simulated data, this real dataset covers various types of real meteorological phenomena (e.g., Hurricane, Squall, etc.), and shows the physical characters - Temporal Misalignment, Temporal Sparse and Fluid Properties - that challenge the downscaling algorithms. In order to fully explore potential downscaling solutions, we propose an implicit physical estimation framework to learn the above characteristics. Eight metrics specifically considering the physical property of the data set are raised, while fourteen models are evaluated on the proposed dataset. Finally, we analyze the effectiveness and feasibility of these models on precipitation downscaling task. The Dataset and Code will be available at https://neuralchen.g ithub.io/RainNet/.
翻訳日:2021-05-02 15:36:27 公開日:2020-12-18
# (参考訳) イメージベースジェット解析

Image-Based Jet Analysis ( http://arxiv.org/abs/2012.09719v2 )

ライセンス: CC BY 4.0
Michael Kagan(参考訳) 画像に基づくジェット解析は、高エネルギー物理学とコンピュータビジョンとディープラーニングの分野との直接接続を可能にするジェットのジェット画像表現に基づいている。 この接続を通じて、様々な新しいジェット解析技術が出現した。 本稿では,主に畳み込みニューラルネットワークを用いて構築されたジェット画像に基づく分類モデルを調査し,これらのモデルが何を学んだのか,不確実性に敏感であるかを理解するための手法を検討するとともに,これらのモデルが現象学的研究からLHC実験への現実的応用へ移行した最近の成果を概観する。 ジェット分類以外にも,エネルギ推定,積算雑音低減,データ生成,異常検出など,ジェット画像に基づく手法の応用についても論じている。

Image-based jet analysis is built upon the jet image representation of jets that enables a direct connection between high energy physics and the fields of computer vision and deep learning. Through this connection, a wide array of new jet analysis techniques have emerged. In this text, we survey jet image based classification models, built primarily on the use of convolutional neural networks, examine the methods to understand what these models have learned and what is their sensitivity to uncertainties, and review the recent successes in moving these models from phenomenological studies to real world application on experiments at the LHC. Beyond jet classification, several other applications of jet image based techniques, including energy estimation, pileup noise reduction, data generation, and anomaly detection, are discussed.
翻訳日:2021-05-02 14:31:38 公開日:2020-12-18
# (参考訳) 無限の自然: 単一画像からの自然シーンの永遠の視点生成 [全文訳有]

Infinite Nature: Perpetual View Generation of Natural Scenes from a Single Image ( http://arxiv.org/abs/2012.09855v2 )

ライセンス: CC0 1.0
Andrew Liu, Richard Tucker, Varun Jampani, Ameesh Makadia, Noah Snavely, Angjoo Kanazawa(参考訳) 一つの画像が与えられた任意の長さのカメラ軌跡に対応する新しいビューの長距離生成という、永続的なビュー生成の問題を紹介する。 これは、限られた範囲の視点で動作し、大きなカメラの動きで提示されるとすぐに縮退する現在のビュー合成手法の能力をはるかに超える、難しい問題である。 ビデオ生成用に設計された手法は、長いビデオシーケンスを生成する能力に制限があり、しばしばシーン幾何学に依存しない。 私たちは、幾何と画像合成の両方を反復レンダリング、洗練、反復フレームワークに統合するハイブリッドアプローチを採用し、数百フレームの後に大きな距離をカバーする長距離生成を可能にします。 提案手法は,手動のアノテーションを使わずに,一眼レフビデオシーケンスの集合から訓練することができる。 提案手法は,近年の景観合成と条件付き映像生成ベースラインとを比較し,既存の手法と比較して,大規模なカメラ軌道上におけるより長い時間的地平線を撮影できることを示す。 プロジェクトのページはhttps://infinite-nat ure.github.io/。

We introduce the problem of perpetual view generation -- long-range generation of novel views corresponding to an arbitrarily long camera trajectory given a single image. This is a challenging problem that goes far beyond the capabilities of current view synthesis methods, which work for a limited range of viewpoints and quickly degenerate when presented with a large camera motion. Methods designed for video generation also have limited ability to produce long video sequences and are often agnostic to scene geometry. We take a hybrid approach that integrates both geometry and image synthesis in an iterative render, refine, and repeat framework, allowing for long-range generation that cover large distances after hundreds of frames. Our approach can be trained from a set of monocular video sequences without any manual annotation. We propose a dataset of aerial footage of natural coastal scenes, and compare our method with recent view synthesis and conditional video generation baselines, showing that it can generate plausible scenes for much longer time horizons over large camera trajectories compared to existing methods. Please visit our project page at https://infinite-nat ure.github.io/.
翻訳日:2021-05-02 11:20:21 公開日:2020-12-18
# ディープセマンティックハッシュによる検索型チャットボットの超高速, 低ストレージ, 高効率粗粒選択

Ultra-Fast, Low-Storage, Highly Effective Coarse-grained Selection in Retrieval-based Chatbot by Using Deep Semantic Hashing ( http://arxiv.org/abs/2012.09647v2 )

ライセンス: Link先を確認
Tian Lan, Xian-Ling Mao, Xiaoyan Gao, Wei Wei, Heyan Huang(参考訳) 検索型チャットボットにおける粗粒度選択モジュールについて検討する。 粗粒度選択は検索ベースのチャットボットの基本モジュールであり、データベース全体から粗い候補セットを構築し、顧客との対話を高速化する。 これまでのところ, 粗粒度選択モジュールには(1) スパース表現, (2) 密表現という2種類のアプローチがある。 我々の知る限りでは、検索ベースのチャットボットにおけるこれらの2つのアプローチの体系的な比較は行われず、実際のシナリオにおいてどの手法が優れているかは、まだ未解決の問題である。 本稿では,まずこれらの2つの手法を,(1)有効性,(2)指標ストージ,(3)探索時間コスト,(4)人的評価の4つの側面から体系的に比較する。 広範な実験の結果、密表現法はスパース表現を大きく上回るが、時間とストレージの占有が増大することが示された。 密度表現法の致命的な弱点を克服するために,DSHCモデルと呼ばれる超高速,低ストレージ,高効率なディープセマンティックハッシュ粗粒化法を提案する。 具体的には,提案するDSHCモデルにおいて,2つのオートエンコーダモデルからなるハッシュ最適化モジュールを訓練された高密度表現モデル上に積み重ね,その最適化のために3つの損失関数を設計する。 ハッシュ最適化モジュールによって提供されるハッシュコードは、密閉ベクトル内の豊富な意味と類似性情報を効果的に保存する。 その結果,提案したDSHCモデルは疎表現よりもはるかに高速かつ低ストレージ化が可能であり,高密度表現と比較して性能損失は限定的であることがわかった。 さらに、将来の研究のためにソースコードが公開されています。

We study the coarse-grained selection module in retrieval-based chatbot. Coarse-grained selection is a basic module in a retrieval-based chatbot, which constructs a rough candidate set from the whole database to speed up the interaction with customers. So far, there are two kinds of approaches for coarse-grained selection module: (1) sparse representation; (2) dense representation. To the best of our knowledge, there is no systematic comparison between these two approaches in retrieval-based chatbots, and which kind of method is better in real scenarios is still an open question. In this paper, we first systematically compare these two methods from four aspects: (1) effectiveness; (2) index stoarge; (3) search time cost; (4) human evaluation. Extensive experiment results demonstrate that dense representation method significantly outperforms the sparse representation, but costs more time and storage occupation. In order to overcome these fatal weaknesses of dense representation method, we propose an ultra-fast, low-storage, and highly effective Deep Semantic Hashing Coarse-grained selection method, called DSHC model. Specifically, in our proposed DSHC model, a hashing optimizing module that consists of two autoencoder models is stacked on a trained dense representation model, and three loss functions are designed to optimize it. The hash codes provided by hashing optimizing module effectively preserve the rich semantic and similarity information in dense vectors. Extensive experiment results prove that, our proposed DSHC model can achieve much faster speed and lower storage than sparse representation, with limited performance loss compared with dense representation. Besides, our source codes have been publicly released for future research.
翻訳日:2021-05-02 07:30:43 公開日:2020-12-18
# ソフトメルローマックス演算子によるq学習の安定化

Stabilizing Q Learning Via Soft Mellowmax Operator ( http://arxiv.org/abs/2012.09456v2 )

ライセンス: Link先を確認
Yaozhong Gan, Zhe Zhang, Xiaoyang Tan(参考訳) 関数近似による高次元状態空間における複雑な値関数の学習は、時間差分更新に使用される最大演算子が、ほとんどの線形あるいは非線形近似スキームの不安定性を理論的に引き起こすため、難しい作業である。 mellowmaxは、最近提案された微分可能かつ非拡張ソフトマックス演算子であり、学習と計画において収束的な振る舞いを可能にする。 残念なことに、不動点に収束する性能は未だ不明であり、実際にはパラメータは様々な領域に敏感であり、ケースごとに調整されなければならない。 最後に、Mellowmax演算子は、アグリゲーション時に各アクションに対して取られる確率を無視するため、過度なスムーシングに悩まされることがある。 本稿では,SM2(Soft Mellowmax)と呼ばれる拡張Mellowmax演算子を用いて,上記の問題に対処する。 特に,提案した演算子は信頼性が高く,実装が容易で,Mellowmaxのすべての利点を保ちながら,保証可能な性能保証を備えている。 さらに, SM2演算子を多エージェント強化学習シナリオに適用することにより, 安定な値関数近似と技術性能の状態を実現できることを示す。

Learning complicated value functions in high dimensional state space by function approximation is a challenging task, partially due to that the max-operator used in temporal difference updates can theoretically cause instability for most linear or non-linear approximation schemes. Mellowmax is a recently proposed differentiable and non-expansion softmax operator that allows a convergent behavior in learning and planning. Unfortunately, the performance bound for the fixed point it converges to remains unclear, and in practice, its parameter is sensitive to various domains and has to be tuned case by case. Finally, the Mellowmax operator may suffer from oversmoothing as it ignores the probability being taken for each action when aggregating them. In this paper, we address all the above issues with an enhanced Mellowmax operator, named SM2 (Soft Mellowmax). Particularly, the proposed operator is reliable, easy to implement, and has provable performance guarantee, while preserving all the advantages of Mellowmax. Furthermore, we show that our SM2 operator can be applied to the challenging multi-agent reinforcement learning scenarios, leading to stable value function approximation and state of the art performance.
翻訳日:2021-05-02 07:20:23 公開日:2020-12-18
# 学習と共有:画像特徴学習のためのマルチタスク遺伝的プログラミングアプローチ

Learning and Sharing: A Multitask Genetic Programming Approach to Image Feature Learning ( http://arxiv.org/abs/2012.09444v2 )

ライセンス: Link先を確認
Ying Bi, Bing Xue, and Mengjie Zhang(参考訳) 進化的計算アルゴリズムを使って知識共有で複数のタスクを解くことは有望なアプローチである。 画像特徴学習は、異なるタスクが同様の特徴空間を持つ可能性があるため、マルチタスク問題とみなすことができる。 遺伝的プログラミング(GP)は分類のための画像特徴学習に成功している。 しかし、既存のGP手法のほとんどは、十分なトレーニングデータを用いて独立して1つのタスクを解く。 画像特徴学習のためのマルチタスクgp手法は開発されていない。 そこで本稿では,限られた学習データを用いた画像特徴学習のためのマルチタスクGP手法を提案する。 GPの柔軟な表現により、GPが2つのタスク間で何を共有すべきかを自動的に学習し、学習性能を向上させるために、新しい個別表現に基づく知識共有機構が開発された。 共有知識は共通木としてコード化され、2つのタスクの共通/一般的な特徴を表現することができる。 新しい個別表現では、共通木とタスク固有の特徴を表すタスク固有木から抽出した特徴を用いて各タスクを解く。 最も一般的な、タスク固有の木を学ぶために、新しい進化過程と新しいフィットネス機能を開発した。 提案手法の性能を,訓練データに制限のある12の画像分類データセットの6つのマルチタスク問題に対して検討し,3つのGPと14の非GPベースの競合手法と比較した。 実験の結果, この手法は, ほぼすべての比較において, 比較手法よりも優れていることがわかった。 さらなる分析により、新しいアプローチは単純だが効果的な共通木を高い有効性と伝達性で学習することが明らかとなった。

Using evolutionary computation algorithms to solve multiple tasks with knowledge sharing is a promising approach. Image feature learning can be considered as a multitask problem because different tasks may have a similar feature space. Genetic programming (GP) has been successfully applied to image feature learning for classification. However, most of the existing GP methods solve one task, independently, using sufficient training data. No multitask GP method has been developed for image feature learning. Therefore, this paper develops a multitask GP approach to image feature learning for classification with limited training data. Owing to the flexible representation of GP, a new knowledge sharing mechanism based on a new individual representation is developed to allow GP to automatically learn what to share across two tasks and to improve its learning performance. The shared knowledge is encoded as a common tree, which can represent the common/general features of two tasks. With the new individual representation, each task is solved using the features extracted from a common tree and a task-specific tree representing task-specific features. To learn the best common and task-specific trees, a new evolutionary process and new fitness functions are developed. The performance of the proposed approach is examined on six multitask problems of 12 image classification datasets with limited training data and compared with three GP and 14 non-GP-based competitive methods. Experimental results show that the new approach outperforms these compared methods in almost all the comparisons. Further analysis reveals that the new approach learns simple yet effective common trees with high effectiveness and transferability.
翻訳日:2021-05-02 07:17:37 公開日:2020-12-18
# (参考訳) PINN深層学習を用いた脱落型NLS方程式におけるデータ駆動ローグ波とパラメータ発見 [全文訳有]

Data-driven rogue waves and parameter discovery in the defocusing NLS equation with a potential using the PINN deep learning ( http://arxiv.org/abs/2012.09984v1 )

ライセンス: CC BY 4.0
Li Wang, Zhenya Yan(参考訳) 物理インフォームドニューラルネットワーク(PINN)は非線形偏微分方程式やその他の物理モデルの深層学習に利用できる。 本稿では,多層PINN深層学習法を用いて,ログ波,ヤコビ楕円コサイン関数,2-ガウス関数,3-双曲型セカント関数,周期境界条件などの初期条件を考慮し,時間依存ポテンシャルを持つ非線形Schr\"odinger(NLS)方程式のデータ駆動型ローグ波解について検討する。 さらに, 多層PINNアルゴリズムは, ローグ波解の知覚の下で, 時間依存ポテンシャルを持つ除染NLS方程式のパラメータを学習するためにも利用できる。 これらの結果は, 深層学習ニューラルネットワークの研究において, 脱着型NLS方程式のローグ波解について検討する上で有用である。

The physics-informed neural networks (PINNs) can be used to deep learn the nonlinear partial differential equations and other types of physical models. In this paper, we use the multi-layer PINN deep learning method to study the data-driven rogue wave solutions of the defocusing nonlinear Schr\"odinger (NLS) equation with the time-dependent potential by considering several initial conditions such as the rogue wave, Jacobi elliptic cosine function, two-Gaussian function, or three-hyperbolic-sec ant function, and periodic boundary conditions. Moreover, the multi-layer PINN algorithm can also be used to learn the parameter in the defocusing NLS equation with the time-dependent potential under the sense of the rogue wave solution. These results will be useful to further discuss the rogue wave solutions of the defocusing NLS equation with a potential in the study of deep learning neural networks.
翻訳日:2021-05-02 05:33:41 公開日:2020-12-18
# (参考訳) objectron: ポーズアノテーション付きオブジェクト中心のビデオの大規模データセット [全文訳有]

Objectron: A Large Scale Dataset of Object-Centric Videos in the Wild with Pose Annotations ( http://arxiv.org/abs/2012.09988v1 )

ライセンス: CC BY 4.0
Adel Ahmadyan, Liangkai Zhang, Jianing Wei, Artsiom Ablavatski, Matthias Grundmann(参考訳) ロボット工学、拡張現実、自律性、画像検索など多くの応用により、近年3Dオブジェクト検出が普及している。 本研究では,3次元物体検出における最先端技術であるobjectronデータセットを導入し,3次元物体追跡,ビュー合成,改良された3次元形状表現など,新たな研究と応用を展開する。 データセットには9つのカテゴリの注記付きオブジェクト中心のショートビデオが含まれており、14,819の注釈付きビデオに400万の注釈付き画像が含まれている。 また, 3次元物体検出のための新しい評価指標である3次元交叉法を提案する。 このデータセットでトレーニングされたベースラインモデルを提供することで、3次元オブジェクト検出タスクにおけるデータセットの有用性を示す。 私たちのデータセットと評価ソースコードはhttp://www.objectron .dev.comで公開されている。

3D object detection has recently become popular due to many applications in robotics, augmented reality, autonomy, and image retrieval. We introduce the Objectron dataset to advance the state of the art in 3D object detection and foster new research and applications, such as 3D object tracking, view synthesis, and improved 3D shape representation. The dataset contains object-centric short videos with pose annotations for nine categories and includes 4 million annotated images in 14,819 annotated videos. We also propose a new evaluation metric, 3D Intersection over Union, for 3D object detection. We demonstrate the usefulness of our dataset in 3D object detection tasks by providing baseline models trained on this dataset. Our dataset and evaluation source code are available online at http://www.objectron .dev
翻訳日:2021-05-02 05:18:51 公開日:2020-12-18
# (参考訳) ソーシャルメディアにおけるテキスト属性を用いたソーシャルPOI境界推定手法の改良 [全文訳有]

An Improved Approach for Estimating Social POI Boundaries With Textual Attributes on Social Media ( http://arxiv.org/abs/2012.09990v1 )

ライセンス: CC BY 4.0
Cong Tran, Dung D. Vu, Won-Yong Shin(参考訳) ソーシャルメディア上でのテキスト属性を利用して、密度に基づくクラスタリングを行う方法については不十分である。 本稿では,凸多角形として形成される社会的な関心点境界(POI)の発見を目指す。 より具体的には、社会POI境界推定(SoBEst)に関する以前の研究に基づいて、新しいアプローチとアルゴリズムを提案する。 このSoBEstアプローチは、テキストフィールドにPOI名またはそのバリエーションを含む地理的領域内の関連レコードと無関係レコードの両方を考慮に入れている。 SoBEstが基本的に想定している各POIの固定された代表座標は、特定のPOIに対して推定された社会的POI境界の遠心点から遠く離れている可能性がある。 したがって、そのような場合、SoBEstを使用すると境界推定品質(BEQ)が不満足な結果になる可能性があり、これは$F$-measureの関数として表される。 この問題を解決するために、円の半径とPOIの代表座標$c$を同時に求める共同最適化問題を、$c$を更新することで定式化する。 その後、いくつかのPOIに対して高いBEQを実現できる反復型SoBEst(I-SoBEst)アルゴリズムを設計する。 提案したI-SoBEstアルゴリズムの計算複雑性はレコード数と線形にスケールすることが示されている。 元のSoBEstを含む競合クラスタリング手法よりもアルゴリズムの方が優れていることを示す。

It has been insufficiently explored how to perform density-based clustering by exploiting textual attributes on social media. In this paper, we aim at discovering a social point-of-interest (POI) boundary, formed as a convex polygon. More specifically, we present a new approach and algorithm, built upon our earlier work on social POI boundary estimation (SoBEst). This SoBEst approach takes into account both relevant and irrelevant records within a geographic area, where relevant records contain a POI name or its variations in their text field. Our study is motivated by the following empirical observation: a fixed representative coordinate of each POI that SoBEst basically assumes may be far away from the centroid of the estimated social POI boundary for certain POIs. Thus, using SoBEst in such cases may possibly result in unsatisfactory performance on the boundary estimation quality (BEQ), which is expressed as a function of the $F$-measure. To solve this problem, we formulate a joint optimization problem of simultaneously finding the radius of a circle and the POI's representative coordinate $c$ by allowing to update $c$. Subsequently, we design an iterative SoBEst (I-SoBEst) algorithm, which enables us to achieve a higher degree of BEQ for some POIs. The computational complexity of the proposed I-SoBEst algorithm is shown to scale linearly with the number of records. We demonstrate the superiority of our algorithm over competing clustering methods including the original SoBEst.
翻訳日:2021-05-02 05:05:59 公開日:2020-12-18
# (参考訳) 車両シークエンシング問題の事例空間解析 [全文訳有]

Instance Space Analysis for the Car Sequencing Problem ( http://arxiv.org/abs/2012.10053v1 )

ライセンス: CC BY 4.0
Yuan Sun, Samuel Esler, Dhananjay Thiruvady, Andreas T. Ernst, Xiaodong Li and Kerri Morgan(参考訳) 本稿では,カーシークエンシング問題における重要な研究課題,すなわち,どの特徴がインスタンスの解決を困難にしているのかを検討する。 そこで本研究では,問題特徴のベクトルを抽出してインスタンスを特徴付け,特徴ベクトルを主成分分析を用いて2次元空間に投影することにより,カーシークエンシング問題に対するインスタンス空間解析を行う。 結果として得られた2次元の可視化は、テストに使用されるインスタンスの特性と、これらが異なる最適化アルゴリズムにどのように影響するかを比較するための洞察を提供する。 これにより、さまざまなインスタンスプロパティを持つ新しいベンチマークインスタンスのセットを構築するのに役立ちます。 これらは以前のベンチマークよりも多様であることが示されており、解決の難しいインスタンスが多数含まれている。 カーシークエンシング問題を解くための6つのアルゴリズムの性能を系統的に比較する。 テストされた手法には、文献からの既存の3つのアルゴリズムと、3つの新しいアルゴリズムが含まれる。 重要なのは、アルゴリズムがうまく機能すると思われるインスタンス空間のニッチを特定するために、機械学習モデルを構築することです。 その結果,新しいアルゴリズムは最先端であることがわかった。 この分析は、問題の難易度を理解し、与えられたカーシーケンシング問題のインスタンスを解決する適切なアルゴリズムを選択するのに役立つ。

In this paper, we investigate an important research question in the car sequencing problem, that is, what characteristics make an instance hard to solve? To do so, we carry out an Instance Space Analysis for the car sequencing problem, by extracting a vector of problem features to characterize an instance and projecting feature vectors onto a two-dimensional space using principal component analysis. The resulting two dimensional visualizations provide insights into both the characteristics of the instances used for testing and to compare how these affect different optimisation algorithms. This guides us in constructing a new set of benchmark instances with a range of instance properties. These are shown to be both more diverse than the previous benchmarks and include many hard to solve instances. We systematically compare the performance of six algorithms for solving the car sequencing problem. The methods tested include three existing algorithms from the literature and three new ones. Importantly, we build machine learning models to identify the niche in the instance space that an algorithm is expected to perform well on. Our results show that the new algorithms are state-of-the-art. This analysis helps to understand problem hardness and select an appropriate algorithm for solving a given car sequencing problem instance.
翻訳日:2021-05-02 04:05:21 公開日:2020-12-18
# (参考訳) 台湾における地中オゾン生成と今後の展望 [全文訳有]

Investigating the Ground-level Ozone Formation and Future Trend in Taiwan ( http://arxiv.org/abs/2012.10058v1 )

ライセンス: CC0 1.0
Yu-Wen Chen, Sourav Medya and Yi-Chun Chen(参考訳) 対流圏オゾン (O3) は大気汚染物質であり、環境に深刻なダメージを与える。 したがって、o3形成過程に関連する様々な因子の重要性を評価することが不可欠である。 しかし、利用可能な気候モデルによってシミュレーションされたO3は、異なる場所で大きなばらつきを示し、O3の形成過程を正しく説明できないことを示す。 本稿では,O3生成に及ぼす諸因子の影響を理解し,O3濃度を予測することを目的とする。 16の気象および化学的変数を用いて観測されたO3を推定するために、よく知られた6つの学習手法を評価する。 xgboostモデルと畳み込みニューラルネットワーク(cnn)モデルが最も正確な予測を行うことがわかった。 また,いくつかの変数の重要性を実証する。 その結果、窒素酸化物はO3の予測に負の寄与をするが、太陽放射の量は著しく正の寄与をもたらすことが示唆された。 さらに、XGBoostモデルを気候O3予測に適用し、地球規模の気候モデルによりシミュレーションされたO3の校正能力を示す。

Tropospheric ozone (O3) is an influential ground-level air pollutant which can severely damage the environment. Thus evaluating the importance of various factors related to the O3 formation process is essential. However, O3 simulated by the available climate models exhibits large variance in different places, indicating the insufficiency of models in explaining the O3 formation process correctly. In this paper, we aim to understand the impact of various factors on O3 formation and predict the O3 concentrations. Six well-known supervised learning methods are evaluated to estimate the observed O3 using sixteen meteorological and chemical variables. We find that the XGBoost and the convolution neural network (CNN) models achieve most accurate predictions. We also demonstrate the importance of several variables empirically. The results suggest that while Nitrogen Oxides negatively contributes to predicting O3, the amount of solar radiation makes significantly positive contribution. Furthermore, we apply the XGBoost model on climate O3 prediction and show its competence in calibrating the O3 simulated by a global climate model.
翻訳日:2021-05-02 03:47:11 公開日:2020-12-18
# (参考訳) PointINet: Point Cloud Frame Interpolation Network [全文訳有]

PointINet: Point Cloud Frame Interpolation Network ( http://arxiv.org/abs/2012.10066v1 )

ライセンス: CC BY 4.0
Fan Lu and Guang Chen and Sanqing Qu and Zhijun Li and Yinlong Liu and Alois Knoll(参考訳) lidar point cloud streamsは通常、ハードウェアのパフォーマンスによって制限された時間次元でスパースする。 一般的に、機械式LiDARセンサーのフレームレートは10Hzから20Hzであり、カメラなどの一般的なセンサーよりもはるかに低い。 本稿では,LiDARセンサの時間的制限を克服するために,Point Cloud Frame Interpolationという新しいタスクについて述べる。 2つの連続するクラウドフレームを与えられたポイントクラウドフレーム補間は、それらの中間フレームを生成することを目的としている。 そこで我々は,pointinet(point cloud frame interpolation network)という新しいフレームワークを提案する。 提案手法により,低フレームレートのクラウドストリームを高いフレームレートにアップサンプリングすることができる。 まず,2点の雲間の双方向3次元シーンフローを推定し,その3次元シーンフローに基づいて所定の時間ステップにワープする。 2つの重ね合せフレームを融合させ,中間点雲を生成するため,2つの重ね合せ点雲を同時に考慮した,新しい学習ベースの点融合モジュールを提案する。 我々は,2つの大規模屋外LiDARデータセットにおける点雲フレーム補間法の性能を評価するための定量的および定性的な実験を設計し,提案したPointINetの有効性を実証した。 私たちのコードはhttps://github.com/i spc-lab/pointinet.gi tで利用可能です。

LiDAR point cloud streams are usually sparse in time dimension, which is limited by hardware performance. Generally, the frame rates of mechanical LiDAR sensors are 10 to 20 Hz, which is much lower than other commonly used sensors like cameras. To overcome the temporal limitations of LiDAR sensors, a novel task named Point Cloud Frame Interpolation is studied in this paper. Given two consecutive point cloud frames, Point Cloud Frame Interpolation aims to generate intermediate frame(s) between them. To achieve that, we propose a novel framework, namely Point Cloud Frame Interpolation Network (PointINet). Based on the proposed method, the low frame rate point cloud streams can be upsampled to higher frame rates. We start by estimating bi-directional 3D scene flow between the two point clouds and then warp them to the given time step based on the 3D scene flow. To fuse the two warped frames and generate intermediate point cloud(s), we propose a novel learning-based points fusion module, which simultaneously takes two warped point clouds into consideration. We design both quantitative and qualitative experiments to evaluate the performance of the point cloud frame interpolation method and extensive experiments on two large scale outdoor LiDAR datasets demonstrate the effectiveness of the proposed PointINet. Our code is available at https://github.com/i spc-lab/PointINet.gi t.
翻訳日:2021-05-02 03:39:02 公開日:2020-12-18
# (参考訳) SQLクエリ生成のためのメンション抽出とリンク [全文訳有]

Mention Extraction and Linking for SQL Query Generation ( http://arxiv.org/abs/2012.10074v1 )

ライセンス: CC BY 4.0
Jianqiang Ma, Zeyu Yan, Shuai Pang, Yang Zhang, Jianping Shen(参考訳) WikiSQLベンチマークでは、最先端のテキストからSQLへのシステムは通常、スロットごとに複数の専用モデルを構築することでスロットを埋めるアプローチを取る。 このようなモジュール化されたシステムは複雑なだけでなく、SQL節間の依存性をキャプチャする能力も制限されている。 そこで本研究では,連結抽出器が質問文に現れるすべてのスロット参照を,リンカが認識した列をテーブルスキーマにマップして実行可能なsqlクエリを生成する前に認識する,新しい抽出リンク手法を提案する。 提案手法は,自動生成アノテーションを用いて学習し,WikiSQLベンチマークで第一位となる。

On the WikiSQL benchmark, state-of-the-art text-to-SQL systems typically take a slot-filling approach by building several dedicated models for each type of slots. Such modularized systems are not only complex butalso of limited capacity for capturing inter-dependencies among SQL clauses. To solve these problems, this paper proposes a novel extraction-linking approach, where a unified extractor recognizes all types of slot mentions appearing in the question sentence before a linker maps the recognized columns to the table schema to generate executable SQL queries. Trained with automatically generated annotations, the proposed method achieves the first place on the WikiSQL benchmark.
翻訳日:2021-05-02 02:43:04 公開日:2020-12-18
# (参考訳) 確率型ODEソルバの安定実装 [全文訳有]

Stable Implementation of Probabilistic ODE Solvers ( http://arxiv.org/abs/2012.10106v1 )

ライセンス: CC BY 4.0
Nicholas Kr\"amer and Philipp Hennig(参考訳) 常微分方程式(odes)の確率論的解法は、力学系のシミュレーションに関連する数値不確かさの効率的な定量化を提供する。 その収束速度は、理論分析の増大によって確立されている。 しかし、これらのアルゴリズムは、高い順序で実行されたり、小さなステップサイズで実行された場合、数値的な不安定さに悩まされる。 本研究は,この問題に対する解決策を提案し,検討する。 正確な初期化、数値安定性をステップサイズ非依存にする座標変更事前条件、平方根実装の3つのコンポーネントを含んでいる。 これら3つの手法を用いることで、一組の挑戦的なテスト問題で示されるように、ODEの確率的解を最大11のアルゴリズムで数値計算することができる。 結果として生じる急速な収束は、高次で最先端の古典的手法と競合することが示されている。 その結果、確率的ODEソルバの分析と興味深い機械学習問題への適用の障壁を効果的に除去する。

Probabilistic solvers for ordinary differential equations (ODEs) provide efficient quantification of numerical uncertainty associated with simulation of dynamical systems. Their convergence rates have been established by a growing body of theoretical analysis. However, these algorithms suffer from numerical instability when run at high order or with small step-sizes -- that is, exactly in the regime in which they achieve the highest accuracy. The present work proposes and examines a solution to this problem. It involves three components: accurate initialisation, a coordinate change preconditioner that makes numerical stability concerns step-size-independen t, and square-root implementation. Using all three techniques enables numerical computation of probabilistic solutions of ODEs with algorithms of order up to 11, as demonstrated on a set of challenging test problems. The resulting rapid convergence is shown to be competitive to high-order, state-of-the-art, classical methods. As a consequence, a barrier between analysing probabilistic ODE solvers and applying them to interesting machine learning problems is effectively removed.
翻訳日:2021-05-02 02:18:28 公開日:2020-12-18
# (参考訳) ラベルは完璧ではない:物体検出における空間的不確かさの推測 [全文訳有]

Labels Are Not Perfect: Inferring Spatial Uncertainty in Object Detection ( http://arxiv.org/abs/2012.12195v1 )

ライセンス: CC BY 4.0
Di Feng, Zining Wang, Yiyang Zhou, Lars Rosenbaum, Fabian Timm, Klaus Dietmayer, Masayoshi Tomizuka, Wei Zhan(参考訳) 多くの現実世界の運転データセットが利用できることは、自律運転におけるオブジェクト検出アルゴリズムの最近の進歩の背景にある重要な理由である。 しかしながら、オブジェクトラベルの曖昧さや失敗は、エラーを起こしやすいアノテーションプロセスやセンサ観測ノイズによるものである。 現在の公開オブジェクト検出データセットは、オブジェクト検出のための一般的なトレーニングプロセスや評価メトリクスと同様に、固有の不確かさを考慮せずに、決定論的オブジェクトラベルのみを提供する。 その結果, 物体検出手法の深度評価は依然として困難であり, 特に確率的物体検出において, 物体検出の訓練プロセスは準最適であることがわかった。 本研究では,lidar点雲から境界ボックスラベルの不確かさを生成モデルに基づいて推定し,空間的不確実性分布を通じて確率的境界ボックスの新しい表現を定義する。 包括的実験により,提案モデルはライダー知覚とラベル品質の複雑な環境雑音を反映していることがわかった。 さらに,ラベルの不確実性を組み込んだ評価指標として,Jaccard IoU(JIoU)を提案する。 JIoU測定値を用いて,複数のLiDAR系物体検出器の奥行き比較を行う。 最後に,提案するラベルの不確かさを損失関数に組み込んで確率的物体検出器を訓練し,検出精度を向上させる。 提案手法を2つの公開データセット (kitti, waymo) とシミュレーションデータで検証した。 コードはhttps://bit.ly/2W534 yoでリリースされる。

The availability of many real-world driving datasets is a key reason behind the recent progress of object detection algorithms in autonomous driving. However, there exist ambiguity or even failures in object labels due to error-prone annotation process or sensor observation noise. Current public object detection datasets only provide deterministic object labels without considering their inherent uncertainty, as does the common training process or evaluation metrics for object detectors. As a result, an in-depth evaluation among different object detection methods remains challenging, and the training process of object detectors is sub-optimal, especially in probabilistic object detection. In this work, we infer the uncertainty in bounding box labels from LiDAR point clouds based on a generative model, and define a new representation of the probabilistic bounding box through a spatial uncertainty distribution. Comprehensive experiments show that the proposed model reflects complex environmental noises in LiDAR perception and the label quality. Furthermore, we propose Jaccard IoU (JIoU) as a new evaluation metric that extends IoU by incorporating label uncertainty. We conduct an in-depth comparison among several LiDAR-based object detectors using the JIoU metric. Finally, we incorporate the proposed label uncertainty in a loss function to train a probabilistic object detector and to improve its detection accuracy. We verify our proposed methods on two public datasets (KITTI, Waymo), as well as on simulation data. Code is released at https://bit.ly/2W534 yo.
翻訳日:2021-05-02 01:57:12 公開日:2020-12-18
# (参考訳) ニューラルネットワーク探索と量子化を用いたキーワードスポッティングのための資源効率の良いDNN [全文訳有]

Resource-efficient DNNs for Keyword Spotting using Neural Architecture Search and Quantization ( http://arxiv.org/abs/2012.10138v1 )

ライセンス: CC BY-SA 4.0
David Peter, Wolfgang Roth, Franz Pernkopf(参考訳) 本稿では,限定的リソース環境におけるキーワードスポッティング(kws)のための小モデルの自動発見のためのニューラルネットワーク検索(nas)を提案する。 我々は,畳み込みニューラルネットワーク(CNN)の構造を最適化し,推論当たりの演算数を最小化しつつ,分類精度を最大化するために,微分可能なNASアプローチを用いる。 NASのみを使用して、Googleの音声コマンドデータセットで95.4%の精度で、メモリ使用量は494.8kB、操作数は19.6万である。 さらに、メモリ消費をさらに削減するために重量量子化が用いられる。 低ビット幅(例)に対する重み量子化を示す。 1bit)は精度を著しく損なうことなく使用できる。 入力機能を10mfccから20mfccに増やすことで、340.1kbのメモリ使用と2710万オペレーションで96.3%の精度に向上することができた。

This paper introduces neural architecture search (NAS) for the automatic discovery of small models for keyword spotting (KWS) in limited resource environments. We employ a differentiable NAS approach to optimize the structure of convolutional neural networks (CNNs) to maximize the classification accuracy while minimizing the number of operations per inference. Using NAS only, we were able to obtain a highly efficient model with 95.4% accuracy on the Google speech commands dataset with 494.8 kB of memory usage and 19.6 million operations. Additionally, weight quantization is used to reduce the memory consumption even further. We show that weight quantization to low bit-widths (e.g. 1 bit) can be used without substantial loss in accuracy. By increasing the number of input features from 10 MFCC to 20 MFCC we were able to increase the accuracy to 96.3% at 340.1 kB of memory usage and 27.1 million operations.
翻訳日:2021-05-02 01:20:47 公開日:2020-12-18
# (参考訳) 線形楕円型PDEの近似解に対するハイブリッドMGA-MSGD ANNトレーニング手法 [全文訳有]

A hybrid MGA-MSGD ANN training approach for approximate solution of linear elliptic PDEs ( http://arxiv.org/abs/2012.11517v1 )

ライセンス: CC BY 4.0
Hamidreza Dehghani and Andreas Zilian(参考訳) 本稿では,psd(artificial neural networks)によるpdesによる3次元機械的問題解決の精度と効率を大幅に向上させる"modified genetic algorithm-multilevel stochastic gradient descent"(mga-msgd)訓練アルゴリズムを提案する。 このアプローチにより、状態変数が物理問題に関連する制御方程式を満たすと期待される多くの関心の場所を選択することができる。 有限差分法や有限要素法のような古典的なPDE近似法とは異なり、特定の場所における機械的応答を予測するために、計算領域全体にわたる物理場量の確立と再構成は不要である。 MGA-MSGDの基本的な考え方は、学習可能なパラメータのコンポーネントがエラーの爆発の原因となり、ローカルなミニマのトラップを避けるために、比較的大きな学習率でネットワークを訓練できるようにすることである。 提案手法は,学習速度値,学習点密度と分布,およびランダムな初期パラメータにはあまり敏感ではない。 最小化のための距離関数は、物理法則や条件を含むPDEを導入する(いわゆる物理インフォームドANN)。 遺伝的アルゴリズムは、粗レベル確率勾配降下(csgd)を利用して子孫資格を決定するこのタイプのアンに適合するように修正されている。 提案手法を用いることで,従来のSGDやAdam optimiserなどの標準トレーニングアルゴリズムと比較して,精度と効率の両面で大幅な改善が見られた。 有限要素法 (FEM) の結果を基準変位として十分に微細なメッシュに導入することにより, 局所変位精度を検討した。 もう少し複雑な問題は、その実現可能性を保証するために解決される。

We introduce a hybrid "Modified Genetic Algorithm-Multilevel Stochastic Gradient Descent" (MGA-MSGD) training algorithm that considerably improves accuracy and efficiency of solving 3D mechanical problems described, in strong-form, by PDEs via ANNs (Artificial Neural Networks). This presented approach allows the selection of a number of locations of interest at which the state variables are expected to fulfil the governing equations associated with a physical problem. Unlike classical PDE approximation methods such as finite differences or the finite element method, there is no need to establish and reconstruct the physical field quantity throughout the computational domain in order to predict the mechanical response at specific locations of interest. The basic idea of MGA-MSGD is the manipulation of the learnable parameters' components responsible for the error explosion so that we can train the network with relatively larger learning rates which avoids trapping in local minima. The proposed training approach is less sensitive to the learning rate value, training points density and distribution, and the random initial parameters. The distance function to minimise is where we introduce the PDEs including any physical laws and conditions (so-called, Physics Informed ANN). The Genetic algorithm is modified to be suitable for this type of ANN in which a Coarse-level Stochastic Gradient Descent (CSGD) is exploited to make the decision of the offspring qualification. Employing the presented approach, a considerable improvement in both accuracy and efficiency, compared with standard training algorithms such as classical SGD and Adam optimiser, is observed. The local displacement accuracy is studied and ensured by introducing the results of Finite Element Method (FEM) at sufficiently fine mesh as the reference displacements. A slightly more complex problem is solved ensuring its feasibility.
翻訳日:2021-05-02 00:14:30 公開日:2020-12-18
# (参考訳) テストケース優先化のための強化学習 [全文訳有]

Reinforcement Learning for Test Case Prioritization ( http://arxiv.org/abs/2012.11364v1 )

ライセンス: CC BY 4.0
Jo\~ao Lousada, Miguel Ribeiro(参考訳) 現代のソフトウエアエンジニアリングでは、継続的インテグレーション(CI)はソフトウェア開発のライフサイクルを体系的に管理するために必要なステップになっています。 大規模な企業はパイプラインの更新と運用の維持に苦労し、多くの変更と機能の追加によって、さまざまなプラットフォームで作業する開発者を抱えている。 このようなソフトウェア変更に関連して、テストには必ず強力なコンポーネントがあります。 チームやプロジェクトが成長するにつれて、徹底的なテストはすぐに阻害的になり、ソフトウェア品質を損なうことなく、最も適切なテストケースを先に選択するようになる。 本稿では,強化学習をテスト戦略に応用する最近の研究について述べる。 我々は,金融機関から抽出された新たなデータを用いて,ネットワーク近似器とテストケースエラーリワードを用いて,障害検出の正規化率(NAPFD)を0.6ドル以上とすることで,新しい環境に適応する能力をテストする。 さらに,記憶表現モデルとして決定木(dt)近似器を用いた場合の影響について検討したが,ニューラルネットワークと比較して大きな改善は得られなかった。

In modern software engineering, Continuous Integration (CI) has become an indispensable step towards systematically managing the life cycles of software development. Large companies struggle with keeping the pipeline updated and operational, in useful time, due to the large amount of changes and addition of features, that build on top of each other and have several developers, working on different platforms. Associated with such software changes, there is always a strong component of Testing. As teams and projects grow, exhaustive testing quickly becomes inhibitive, becoming adamant to select the most relevant test cases earlier, without compromising software quality. This paper extends recent studies on applying Reinforcement Learning to optimize testing strategies. We test its ability to adapt to new environments, by testing it on novel data extracted from a financial institution, yielding a Normalized percentage of Fault Detection (NAPFD) of over $0.6$ using the Network Approximator and Test Case Failure Reward. Additionally, we studied the impact of using Decision Tree (DT) Approximator as a model for memory representation, which failed to produce significant improvements relative to Artificial Neural Networks.
翻訳日:2021-05-01 23:57:33 公開日:2020-12-18
# (参考訳) 論理的忘れやすいシングルヘッド式を再構築する

Reconstructing a single-head formula to facilitate logical forgetting ( http://arxiv.org/abs/2012.10191v1 )

ライセンス: CC BY 4.0
Paolo Liberatore(参考訳) 論理的忘れは一般に指数関数的な時間を要するが、入力が単頭命題定式であるときではない。 シングルヘッドは、変数が複数の節の先頭ではないことを意味する。 可能であれば単頭式を作成するアルゴリズムを示す。 完備化することで、以前のものよりも改善され、常に与えられたものと同値な単頭公式が見つかる。

Logical forgetting may take exponential time in general, but it does not when its input is a single-head propositional definite Horn formula. Single-head means that no variable is the head of multiple clauses. An algorithm to make a formula single-head if possible is shown. It improves over a previous one by being complete: it always finds a single-head formula equivalent to the given one if any.
翻訳日:2021-05-01 23:44:34 公開日:2020-12-18
# (参考訳) 総合強化学習における巨大動作空間の完全縮小 [全文訳有]

Exact Reduction of Huge Action Spaces in General Reinforcement Learning ( http://arxiv.org/abs/2012.10200v1 )

ライセンス: CC BY 4.0
Sultan Javed Majeed and Marcus Hutter(参考訳) 強化学習(RL)フレームワークは、相互作用による学習の概念を形式化する。 多くの現実世界の問題は、Go、StarCraft、タンパク質の折り畳み、ロボット工学のような大きな状態空間やアクション空間を持ち、非マルコフ的であり、RLアルゴリズムに重大な課題を引き起こしている。 本研究は,アクションを逐次化することで大規模なアクション空間問題に対処し,プランニングの地平線を増大させるため,アクション空間のサイズを2つのアクションに減らすことができる。 任意の履歴ベースのプロセスに対して、すべての利害関係に対する明示的かつ厳密な構成と等価証明を提供する。 MDPの場合、これはブートストラップを行うRLアルゴリズムに役立つ。 本研究では,非MDPケースにおけるアクションバイナリ化がエクストリーム状態アグリゲーション(ESA)境界を大幅に改善することを示す。 ESAは、任意の(非MDP、非エルゴード、歴史に基づく)RL問題を、マルコフ過程の助けを借りて固定サイズの非マルコフ状態空間にキャストできる。 利点として、ESAはマルコフモデルと同様の最適性を保証する。 しかし、デメリットは、集約された状態空間のサイズがアクション空間のサイズで指数関数的になることです。 本研究では,アクション空間をバイナライズすることでこの問題に対処する。 我々は,この二元化esaの状態数の上限を,元の動作空間サイズで対数的であり,二重指数的改善を与える。

The reinforcement learning (RL) framework formalizes the notion of learning with interactions. Many real-world problems have large state-spaces and/or action-spaces such as in Go, StarCraft, protein folding, and robotics or are non-Markovian, which cause significant challenges to RL algorithms. In this work we address the large action-space problem by sequentializing actions, which can reduce the action-space size significantly, even down to two actions at the expense of an increased planning horizon. We provide explicit and exact constructions and equivalence proofs for all quantities of interest for arbitrary history-based processes. In the case of MDPs, this could help RL algorithms that bootstrap. In this work we show how action-binarization in the non-MDP case can significantly improve Extreme State Aggregation (ESA) bounds. ESA allows casting any (non-MDP, non-ergodic, history-based) RL problem into a fixed-sized non-Markovian state-space with the help of a surrogate Markovian process. On the upside, ESA enjoys similar optimality guarantees as Markovian models do. But a downside is that the size of the aggregated state-space becomes exponential in the size of the action-space. In this work, we patch this issue by binarizing the action-space. We provide an upper bound on the number of states of this binarized ESA that is logarithmic in the original action-space size, a double-exponential improvement.
翻訳日:2021-05-01 23:43:39 公開日:2020-12-18
# (参考訳) Commonsense説明のためのベンチマークアラビアデータセット [全文訳有]

A Benchmark Arabic Dataset for Commonsense Explanation ( http://arxiv.org/abs/2012.10251v1 )

ライセンス: CC0 1.0
Saja AL-Tawalbeh, Mohammad AL-Smadi(参考訳) 機械による言語理解と常識知識の検証は、まだアラビア語のテキストで研究され評価されている課題である。 本稿では,コモンセンス説明のためのベンチマークアラビアデータセットを提案する。 データセットは、アラビア語の文が意味をなさないことと、その文がなぜ偽であるのかを説明する3つの選択から成り立っている。 さらに,本研究の今後の評価を補助し,促進するための基礎的結果について述べる。 データセットはCreative Commons CC-BY-SA 4.0ライセンスで配布されており、GitHubで公開されている。

Language comprehension and commonsense knowledge validation by machines are challenging tasks that are still under researched and evaluated for Arabic text. In this paper, we present a benchmark Arabic dataset for commonsense explanation. The dataset consists of Arabic sentences that does not make sense along with three choices to select among them the one that explains why the sentence is false. Furthermore, this paper presents baseline results to assist and encourage the future evaluation of research in this field. The dataset is distributed under the Creative Commons CC-BY-SA 4.0 license and can be found on GitHub
翻訳日:2021-05-01 23:26:22 公開日:2020-12-18
# (参考訳) スペクトルグラフネットワークの転送性に関する実験的研究 [全文訳有]

An Experimental Study of the Transferability of Spectral Graph Networks ( http://arxiv.org/abs/2012.10258v1 )

ライセンス: CC BY 4.0
Axel Nilsson and Xavier Bresson(参考訳) スペクトルグラフ畳み込みネットワーク(spectral graph convolutional network)は、ラプラシアン作用素を用いたグラフ構造化データのための標準畳み込みネットワークの一般化である。 一般的な誤解はスペクトルフィルタの不安定性である。 可変サイズのグラフとトポロジー間のスペクトルフィルタの転送が不可能である。 この誤解は、空間グラフネットワークに有利なマルチグラフタスクのためのスペクトルネットワークの開発を制限している。 しかし、近年の研究では、グラフ摂動下でのスペクトルフィルタの安定性が証明されている。 我々の研究は、異なる大きさのグラフと接続性を持つタスクにスペクトルグラフネットワークをベンチマークすることで、スペクトル転送性の高さを補完し、強調する。 数値実験は、2つのグラフベンチマーク上でのグラフ回帰、グラフ分類、ノード分類問題において良好な性能を示す。 私たちの実験の実装は再現性のためにGitHubで利用可能です。

Spectral graph convolutional networks are generalizations of standard convolutional networks for graph-structured data using the Laplacian operator. A common misconception is the instability of spectral filters, i.e. the impossibility to transfer spectral filters between graphs of variable size and topology. This misbelief has limited the development of spectral networks for multi-graph tasks in favor of spatial graph networks. However, recent works have proved the stability of spectral filters under graph perturbation. Our work complements and emphasizes further the high quality of spectral transferability by benchmarking spectral graph networks on tasks involving graphs of different size and connectivity. Numerical experiments exhibit favorable performance on graph regression, graph classification, and node classification problems on two graph benchmarks. The implementation of our experiments is available on GitHub for reproducibility.
翻訳日:2021-05-01 23:20:49 公開日:2020-12-18
# (参考訳) 線形回帰における逆ロバスト推定とリスク分析

Adversarially Robust Estimate and Risk Analysis in Linear Regression ( http://arxiv.org/abs/2012.10278v1 )

ライセンス: CC BY 4.0
Yue Xing, Ruizhi Zhang, Guang Cheng(参考訳) 逆ロバスト学習は、入力変数の小さな逆摂動にロバストなアルゴリズムを設計することを目的としている。 本研究の目的は, 線形回帰モデルの設定において, 逆向きの頑健な推定値の統計的特性を理解し, 逆向きのリスクを分析することである。 対向ロバストな推定器の収束率を統計的に極小化することにより,対向ロバストな学習においてモデル情報(例えばスパーシティ)を取り入れることの重要性を強調する。 さらに,正反対推定と標準推定との明確な関係を明らかにするとともに,モデル構造情報を利用した2段階逆学習フレームワークを提案する。 理論的には、逆ロバストな推定器の一貫性が証明され、そのバハドゥル表現は統計的推論のためにも開発されている。 提案する推定器は、低次元またはスパースシナリオのいずれにおいても鋭い速度で収束する。 さらに,本理論は,逆ロバスト性が一般化を損なうこと,ラベルのないデータが一般化を改善すること,という,逆ロバスト学習における2つの現象を裏付ける。 最終的に、我々は理論を検証するために数値シミュレーションを行う。

Adversarially robust learning aims to design algorithms that are robust to small adversarial perturbations on input variables. Beyond the existing studies on the predictive performance to adversarial samples, our goal is to understand statistical properties of adversarially robust estimates and analyze adversarial risk in the setup of linear regression models. By discovering the statistical minimax rate of convergence of adversarially robust estimators, we emphasize the importance of incorporating model information, e.g., sparsity, in adversarially robust learning. Further, we reveal an explicit connection of adversarial and standard estimates, and propose a straightforward two-stage adversarial learning framework, which facilitates to utilize model structure information to improve adversarial robustness. In theory, the consistency of the adversarially robust estimator is proven and its Bahadur representation is also developed for the statistical inference purpose. The proposed estimator converges in a sharp rate under either low-dimensional or sparse scenario. Moreover, our theory confirms two phenomena in adversarially robust learning: adversarial robustness hurts generalization, and unlabeled data help improve the generalization. In the end, we conduct numerical simulations to verify our theory.
翻訳日:2021-05-01 23:11:07 公開日:2020-12-18
# (参考訳) 生成事前学習による意味的構文解析のための文脈表現の学習 [全文訳有]

Learning Contextual Representations for Semantic Parsing with Generation-Augmented Pre-Training ( http://arxiv.org/abs/2012.10309v1 )

ライセンス: CC BY 4.0
Peng Shi, Patrick Ng, Zhiguo Wang, Henghui Zhu, Alexander Hanbo Li, Jun Wang, Cicero Nogueira dos Santos, Bing Xiang(参考訳) 最近では、大規模なテキストコーパスを活用して、マスケッド言語モデル(MLM)のような自己教師型学習目標を持つ大規模ニューラルネットワークモデルをトレーニングすることで、さまざまなNLPタスクの文脈表現の学習に大きな関心が寄せられている。 しかし、パイロット研究に基づいて、テキストからsqlへの意味的パーサに適用した場合、既存の汎用言語モデルの3つの問題を観察した: 発話中の列参照の検出に失敗したり、セル値からの列参照を推論できなかったり、複雑なsqlクエリを合成できなかったり。 そこで,本稿では,自然言語発話の表現とテーブルスキーマを共同で学習し,生成モデルを活用して事前学習データを生成する,モデル事前学習フレームワークであるgenes-augmented pre-training (gap)を提案する。 GAP MODELは、2Mの発話スキーマペアと30Kの発話スキーマSQLトリプルで訓練される。 実験結果に基づいて,GAP MODELを表現エンコーダとして利用するニューラルセマンティックパーサは,SPIDERとCRITERIA-TO-SQLベンチマークの両方で新たな最先端結果が得られる。

Most recently, there has been significant interest in learning contextual representations for various NLP tasks, by leveraging large scale text corpora to train large neural language models with self-supervised learning objectives, such as Masked Language Model (MLM). However, based on a pilot study, we observe three issues of existing general-purpose language models when they are applied to text-to-SQL semantic parsers: fail to detect column mentions in the utterances, fail to infer column mentions from cell values, and fail to compose complex SQL queries. To mitigate these issues, we present a model pre-training framework, Generation-Augmented Pre-training (GAP), that jointly learns representations of natural language utterances and table schemas by leveraging generation models to generate pre-train data. GAP MODEL is trained on 2M utterance-schema pairs and 30K utterance-schema-SQL triples, whose utterances are produced by generative models. Based on experimental results, neural semantic parsers that leverage GAP MODEL as a representation encoder obtain new state-of-the-art results on both SPIDER and CRITERIA-TO-SQL benchmarks.
翻訳日:2021-05-01 23:09:52 公開日:2020-12-18
# (参考訳) 非オブザーブドコンファウンディングのためのカーネル法:負の制御、プロキシ、および機器 [全文訳有]

Kernel Methods for Unobserved Confounding: Negative Controls, Proxies, and Instruments ( http://arxiv.org/abs/2012.10315v1 )

ライセンス: CC BY 4.0
Rahul Singh(参考訳) 負の制御は、未測定のコンファウンディングの存在下で、治療と結果の因果関係を学ぶための戦略である。 それにもかかわらず、治療効果は2つの補助変数、すなわち、負の制御の処理(実際の結果に影響を与えない)と負の制御の結果(実際の処理の影響を受けない)が利用可能であれば識別できる。 これらの補助変数は、伝統的な制御変数の集合のプロキシと見なすことができ、楽器変数に類似している。 ネガティブコントロールによる治療効果を学習するための新しい非パラメトリックアルゴリズムを提案する。 私は、人口、サブ人口、代替人口の治療効果について検討する。 離散的、連続的で、低、高、無限次元のデータを許容します。 再生カーネルヒルベルト空間(RKHS)は、機械学習において一般的な非パラメトリック設定である。 均一な一貫性を証明し、収束の有限サンプル率を提供します。 私はシミュレーションで推定器を評価します。

Negative control is a strategy for learning the causal relationship between treatment and outcome in the presence of unmeasured confounding. The treatment effect can nonetheless be identified if two auxiliary variables are available: a negative control treatment (which has no effect on the actual outcome), and a negative control outcome (which is not affected by the actual treatment). These auxiliary variables can also be viewed as proxies for a traditional set of control variables, and they bear resemblance to instrumental variables. I propose a new family of non-parametric algorithms for learning treatment effects with negative controls. I consider treatment effects of the population, of sub-populations, and of alternative populations. I allow for data that may be discrete or continuous, and low-, high-, or infinite-dimensional . I impose the additional structure of the reproducing kernel Hilbert space (RKHS), a popular non-parametric setting in machine learning. I prove uniform consistency and provide finite sample rates of convergence. I evaluate the estimators in simulations.
翻訳日:2021-05-01 22:47:08 公開日:2020-12-18
# (参考訳) 局所ベイズ最適化のための探索空間分割学習によるブラックボックス最適化問題の解法 [全文訳有]

Solving Black-Box Optimization Challenge via Learning Search Space Partition for Local Bayesian Optimization ( http://arxiv.org/abs/2012.10335v1 )

ライセンス: CC BY 4.0
Mikita Sazanovich, Anastasiya Nikolskaya, Yury Belousov, Aleksei Shpilman(参考訳) 本稿では,局所ベイズ最適化のための探索空間分割学習によるブラックボックス最適化問題の解法について述べる。 低予算最適化のためのアルゴリズムを開発する。 さらにベイズ最適化を用いてアルゴリズムのハイパーパラメータを最適化する。 我々のアプローチは競争で3位になった。

This paper describes our approach to solving the black-box optimization challenge through learning search space partition for local Bayesian optimization. We develop an algorithm for low budget optimization. We further optimize the hyper-parameters of our algorithm using Bayesian optimization. Our approach has been ranked 3rd in the competition.
翻訳日:2021-05-01 22:02:07 公開日:2020-12-18
# (参考訳) マイクロ波ラジオサーモメトリーデータ解析における計算機シミュレーション結果と機械学習の適用 [全文訳有]

Application of computer simulation results and machine learning in analysis of microwave radiothermometry data ( http://arxiv.org/abs/2012.10343v1 )

ライセンス: CC BY 4.0
Maxim Polyakov, Illarion Popov, Alexander Losev, Alexander Khoperskov(参考訳) 本研究は,マイクロ波ラジオサーモメトリー法による時空間温度分布のモデル化と得られたデータインテリジェント解析に基づく乳がん早期鑑別診断基盤の開発を目的として行われた。 この記事ではマイクロ波ラジオサーモメトリーデータ解析における機械学習の応用について論じる。 また, 各種診断クラスにおける乳腺温度場コンピュータモデルの構築に伴う問題点についても考察した。 機械学習アルゴリズムセット(論理回帰、単純ベイズ分類器、サポートベクターマシン、決定木、勾配押し上げ、K-アレスト隣人など)に基づいたコンピュータ実験の助けを借りて 使用法 乳腺の温度場 コンピュータモデルで 適度に設定します

This work was done with the aim of developing the fundamental breast cancer early differential diagnosis foundations based on modeling the space-time temperature distribution using the microwave radiothermometry method and obtained data intelligent analysis. The article deals with the machine learning application in the microwave radiothermometry data analysis. The problems associated with the construction mammary glands temperature fields computer models for patients with various diagnostics classes, are also discussed. With the help of a computer experiment, based on the machine learning algorithms set (logistic regression, naive Bayesian classifier, support vector machine, decision tree, gradient boosting, K-nearest neighbors, etc.) usage, the mammary glands temperature fields computer models set adequacy.
翻訳日:2021-05-01 21:58:51 公開日:2020-12-18
# (参考訳) 小企業名別分類:性別・地理的起源バイアスへの対応 [全文訳有]

Small Business Classification By Name: Addressing Gender and Geographic Origin Biases ( http://arxiv.org/abs/2012.10348v1 )

ライセンス: CC BY 4.0
Daniel Shapiro(参考訳) 小さなビジネス分類は、顧客セグメンテーションを含む多くのアプリケーションにおいて困難で重要なタスクである。 小さなビジネス名のトレーニングは、性別と地理的起源バイアスを導入します。 本研究で、ビジネス名のみに基づく66のビジネスタイプのうちの1つを予測するモデルを開発した(top-1 f1-score = 60.2%)。 このモデルからバイアスを取り除くための2つのアプローチが検討されている: 与えられた名前をプレースホルダトークンで置き換える。 これらのアプローチの結果を報告し、モデルから与えられた名前を隠すことでモデルのバイアスを減らした。 しかし、バイアス低減は分類性能を犠牲にして達成された(top-1 f1-score = 56.6%)。 性別変化サンプルを用いたトレーニングデータの強化は,評価データセットにおける名前隠れアプローチよりもバイアス低減効果が低かった。

Small business classification is a difficult and important task within many applications, including customer segmentation. Training on small business names introduces gender and geographic origin biases. A model for predicting one of 66 business types based only upon the business name was developed in this work (top-1 f1-score = 60.2%). Two approaches to removing the bias from this model are explored: replacing given names with a placeholder token, and augmenting the training data with gender-swapped examples. The results for these approaches is reported, and the bias in the model was reduced by hiding given names from the model. However, bias reduction was accomplished at the expense of classification performance (top-1 f1-score = 56.6%). Augmentation of the training data with gender-swapping samples proved less effective at bias reduction than the name hiding approach on the evaluated dataset.
翻訳日:2021-05-01 21:51:51 公開日:2020-12-18
# (参考訳) ドロップアウトニューラルネットワークにおける普遍近似

Universal Approximation in Dropout Neural Networks ( http://arxiv.org/abs/2012.10351v1 )

ライセンス: CC BY 4.0
Oxana A. Manita, Mark A. Peletier, Jacobus W. Portegies, Jaron Sanders, Albert Senen-Cerda(参考訳) 我々は、ドロップアウトニューラルネットワークに対する2つの普遍近似定理を証明した。 フィードフォワードニューラルネットワークは、各エッジにランダムな$\{0,1\}$-valued filterが与えられるが、これは2つの動作モードを持つ: 第一のエッジ出力はそのランダムなフィルタによって乗算され、第二のエッジ出力はそのフィルタの期待によって乗算され、決定論的出力をもたらす。 トレーニング中はランダムモード、テストと予測中は決定論的モードを用いるのが一般的である。 二つの定理は以下の形式である: 近似関数としきい値$\varepsilon>0$が与えられたとき、確率が$\varepsilon$-closeで$L^q$のドロップアウトネットワークが存在する。 最初の定理はランダムモードのドロップアウトネットワークに適用される。 活性化関数にはほとんど依存せず、幅広い種類のネットワークに適用でき、ニューラルネットワーク以外の近似スキームにも適用できる。 コアは代数的特性であり、決定論的ネットワークはランダムネットワークによって正確に一致できることを示す。 第二の定理はより強く仮定し、より強い結果を与える。 近似関数が与えられた場合、両方のモードを同時に近似するネットワークが存在する。 証明コンポーネントはエッジを独立したコピーで再帰的に置き換えるものであり、入力により大きなネットワークを結合する特別な第1層置換である。 近似される函数は一般ノルム空間の元であると仮定され、近似は対応するノルムで測定される。 ネットワークは明示的に構築されます。 証明方法が異なるため、2つの結果はランダムなドロップアウトネットワークの近似特性について独立した洞察を与える。 これにより、ドロップアウトニューラルネットワークは普遍近似特性を広く満たすことができる。

We prove two universal approximation theorems for a range of dropout neural networks. These are feed-forward neural networks in which each edge is given a random $\{0,1\}$-valued filter, that have two modes of operation: in the first each edge output is multiplied by its random filter, resulting in a random output, while in the second each edge output is multiplied by the expectation of its filter, leading to a deterministic output. It is common to use the random mode during training and the deterministic mode during testing and prediction. Both theorems are of the following form: Given a function to approximate and a threshold $\varepsilon>0$, there exists a dropout network that is $\varepsilon$-close in probability and in $L^q$. The first theorem applies to dropout networks in the random mode. It assumes little on the activation function, applies to a wide class of networks, and can even be applied to approximation schemes other than neural networks. The core is an algebraic property that shows that deterministic networks can be exactly matched in expectation by random networks. The second theorem makes stronger assumptions and gives a stronger result. Given a function to approximate, it provides existence of a network that approximates in both modes simultaneously. Proof components are a recursive replacement of edges by independent copies, and a special first-layer replacement that couples the resulting larger network to the input. The functions to be approximated are assumed to be elements of general normed spaces, and the approximations are measured in the corresponding norms. The networks are constructed explicitly. Because of the different methods of proof, the two results give independent insight into the approximation properties of random dropout networks. With this, we establish that dropout neural networks broadly satisfy a universal-approximat ion property.
翻訳日:2021-05-01 21:41:38 公開日:2020-12-18
# (参考訳) 機械学習が量子コンピュータと出会うとき:ケーススタディ [全文訳有]

When Machine Learning Meets Quantum Computers: A Case Study ( http://arxiv.org/abs/2012.10360v1 )

ライセンス: CC BY 4.0
Weiwen Jiang, Jinjun Xiong, Yiyu Shi(参考訳) AIの民主化の発展に伴い、機械学習アプローチ、特にニューラルネットワークは、広範囲のアプリケーションに適用されている。 異なるアプリケーションシナリオでは、ニューラルネットワークはカスタマイズされたコンピューティングプラットフォーム上で加速される。 CPU、GPU、FPGA、ASICなどの古典的コンピューティングプラットフォーム上でのニューラルネットワークの高速化は広く研究されているが、アプリケーションのスケールが一貫して大きくなると、メモリボトルネックは明らかになり、メモリウォールとして知られるようになった。 このような課題に対応して、n量子ビット(量子ビット)を持つ2^n状態を表す高度な量子コンピューティングは有望な解と見なされる。 ニューラルネットワークの高速化のための量子回路の設計方法を知ることは急務である。 最近では、ニューラルネットワークを実際の量子プロセッサにマップする方法の研究が始まっている。 最先端の設計をより深く理解し,新しい設計方法論を刺激するために,本稿では,エンドツーエンド実装を実証する事例研究を行う。 ニューラルネットワークでは,マルチ層パーセプトロンを用いて,標準かつ広く使用されているMNISTデータセットを用いて画像分類タスクを完成させる。 量子コンピューティングに関しては、IBM Qiskitを用いてプログラムし、シミュレートできるIBM Quantumプロセッサをターゲットにしている。 この研究は、量子プロセッサ上でトレーニングされたニューラルネットワークの推論フェーズの加速を目標とする。 このケーススタディとともに、ニューラルネットワークを量子回路にマッピングするための典型的な手順を実証する。

Along with the development of AI democratization, the machine learning approach, in particular neural networks, has been applied to wide-range applications. In different application scenarios, the neural network will be accelerated on the tailored computing platform. The acceleration of neural networks on classical computing platforms, such as CPU, GPU, FPGA, ASIC, has been widely studied; however, when the scale of the application consistently grows up, the memory bottleneck becomes obvious, widely known as memory-wall. In response to such a challenge, advanced quantum computing, which can represent 2^N states with N quantum bits (qubits), is regarded as a promising solution. It is imminent to know how to design the quantum circuit for accelerating neural networks. Most recently, there are initial works studying how to map neural networks to actual quantum processors. To better understand the state-of-the-art design and inspire new design methodology, this paper carries out a case study to demonstrate an end-to-end implementation. On the neural network side, we employ the multilayer perceptron to complete image classification tasks using the standard and widely used MNIST dataset. On the quantum computing side, we target IBM Quantum processors, which can be programmed and simulated by using IBM Qiskit. This work targets the acceleration of the inference phase of a trained neural network on the quantum processor. Along with the case study, we will demonstrate the typical procedure for mapping neural networks to quantum circuits.
翻訳日:2021-05-01 21:40:24 公開日:2020-12-18
# (参考訳) スペクトルMPT信号を用いた金属物体の同定:物体の特性と不変性

Identification of Metallic Objects using Spectral MPT Signatures: Object Characterisation and Invariants ( http://arxiv.org/abs/2012.10376v1 )

ライセンス: CC BY 4.0
P.D. Ledger and B.A. Wilson and A.A.S. Amad and W.R.B. Lionheart(参考訳) 銃やナイフのようなテロリストの脅威の早期発見は、金属探知の改善を通じて、攻撃の数を減らし、公衆の安全と安全を改善する可能性を秘めている。 これを実現するために、金属検出器がフィールドの摂動の中に隠れているため、異なる形状と異なる金属を区別するためにフィールドを応用して測定する可能性はかなりある。 磁気偏光性テンソル(MPT)は、異なる脅威と非脅威物体に対して計算できる金属物体の経済的な特徴付けを提供し、固定された理論的背景を持ち、誘導電圧が隠された物体のMPT係数の関数であることを示す。 本稿では, 単一周波数での計測と比較して, 誘導電圧を周波数範囲で測定する付加的な特性化情報について述べる。 このようなオブジェクトの特徴付けをMPTスペクトルシグネチャと呼ぶ。 次に,MPTスペクトルシグネチャを用いた隠蔽物体の分類を目的とした回転不変量について述べる。 最後に,機械学習アルゴリズムを分類目的に訓練するために使用できる,現実的脅威と非脅威オブジェクトのmptスペクトルシグネチャの計算例を含む。

The early detection of terrorist threats, such as guns and knives, through improved metal detection, has the potential to reduce the number of attacks and improve public safety and security. To achieve this, there is considerable potential to use the fields applied and measured by a metal detector to discriminate between different shapes and different metals since, hidden within the field perturbation, is object characterisation information. The magnetic polarizability tensor (MPT) offers an economical characterisation of metallic objects that can be computed for different threat and non-threat objects and has an established theoretical background, which shows that the induced voltage is a function of the hidden object's MPT coefficients. In this paper, we describe the additional characterisation information that measurements of the induced voltage over a range of frequencies offer compared to measurements at a single frequency. We call such object characterisations its MPT spectral signature. Then, we present a series of alternative rotational invariants for the purpose of classifying hidden objects using MPT spectral signatures. Finally, we include examples of computed MPT spectral signature characterisations of realistic threat and non-threat objects that can be used to train machine learning algorithms for classification purposes.
翻訳日:2021-05-01 21:25:39 公開日:2020-12-18
# (参考訳) パラメトリック制約最小二乗問題における変数数の削減 [全文訳有]

Reduction of the Number of Variables in Parametric Constrained Least-Squares Problems ( http://arxiv.org/abs/2012.10423v1 )

ライセンス: CC BY 4.0
Alberto Bemporad, Gionata Cimini(参考訳) 本稿では,パラメータのベクトルに依存する線形制約最小二乗問題に対して,関連する最適化変数の数を減らす手法を提案する。 QR分解法により数値的にロバストな方法で等式制約を除いた後、我々は特異値分解(SVD)と教師なし学習に基づく手法を提案し、これを$K$-SVDと呼び、ニューラル分類器によりパラメータベクトルの集合を、元の問題をより小さな変数の集合を用いて近似した$K$非線形領域に自動的に分割する。 モデル予測制御 (mpc) の定式化から生じるパラメトリック制約最小二乗問題の特別な場合に対し, 等式制約除去のための新規かつ非常に効率的なqr因子分解法を提案する。 svdまたは$k$-svdと共に、この方法は標準的な凝縮および移動ブロッキング、および基底関数に基づくmpcの他の複雑さ低減方法に対する数値的にロバストな代替手段を提供する。 本稿では, 非線形ベンチマークプロセスの数値実験および線形化MPC問題において, 提案手法の優れた性能を示す。

For linearly constrained least-squares problems that depend on a vector of parameters, this paper proposes techniques for reducing the number of involved optimization variables. After first eliminating equality constraints in a numerically robust way by QR factorization, we propose a technique based on singular value decomposition (SVD) and unsupervised learning, that we call $K$-SVD, and neural classifiers to automatically partition the set of parameter vectors in $K$ nonlinear regions in which the original problem is approximated by using a smaller set of variables. For the special case of parametric constrained least-squares problems that arise from model predictive control (MPC) formulations, we propose a novel and very efficient QR factorization method for equality constraint elimination. Together with SVD or $K$-SVD, the method provides a numerically robust alternative to standard condensing and move blocking, and to other complexity reduction methods for MPC based on basis functions. We show the good performance of the proposed techniques in numerical tests and in a linearized MPC problem of a nonlinear benchmark process.
翻訳日:2021-05-01 21:24:03 公開日:2020-12-18
# (参考訳) 深層ニューラルネットワークのロバストな説明に向けて

Towards Robust Explanations for Deep Neural Networks ( http://arxiv.org/abs/2012.10425v1 )

ライセンス: CC BY-SA 4.0
Ann-Kathrin Dombrowski, Christopher J. Anders, Klaus-Robert M\"uller, Pan Kessel(参考訳) 説明手法は、ディープニューラルネットワークのようなブラックボックス分類器の決定過程に光を当てた。 しかし、それらの有用性は操作に影響を受けやすいため、損なわれる可能性がある。 この研究は,説明のレジリエンスを高めることを目的としている。 モデルの最大操作性に関する境界を導出するための統一理論フレームワークを開発する。 これらの理論的知見に基づいて,重み付きトレーニング,活性化関数の平滑化,ネットワークのヘシアンの最小化という,操作に対する堅牢性を高める3つの手法を提案する。 実験結果から,これらの手法の有効性を確認した。

Explanation methods shed light on the decision process of black-box classifiers such as deep neural networks. But their usefulness can be compromised because they are susceptible to manipulations. With this work, we aim to enhance the resilience of explanations. We develop a unified theoretical framework for deriving bounds on the maximal manipulability of a model. Based on these theoretical insights, we present three different techniques to boost robustness against manipulation: training with weight decay, smoothing activation functions, and minimizing the Hessian of the network. Our experimental results confirm the effectiveness of these approaches.
翻訳日:2021-05-01 20:46:13 公開日:2020-12-18
# (参考訳) 対向例に対するロバスト決定木の効率的な学習 [全文訳有]

Efficient Training of Robust Decision Trees Against Adversarial Examples ( http://arxiv.org/abs/2012.10438v1 )

ライセンス: CC BY 4.0
Dani\"el Vos, Sicco Verwer(参考訳) 今日では、モデルの理解と堅牢性の両方を必要とする、センシティブなタスクに機械学習を使用します。 決定木のような伝統的なモデルは理解できるが、敵の攻撃に苦しむ。 決定木を用いてユーザの良性行動と悪意行動とを区別すると、敵対攻撃により、モデルが受信した入力を摂動することで、効果的にモデルを回避できる。 より堅牢な木に適合するために、敵の攻撃を考慮に入れるアルゴリズムを使うことができます。 本研究では,敵に対する精度を競いながら,最先端の作業よりも2桁高速なGROOTアルゴリズムを提案する。 GROOTは直感的で許容可能な脅威モデルを受け入れる。 従来の脅威モデルが距離ノルムに制限されていた場合、各機能は、最大距離または摂動方向の制約という、ユーザが指定したパラメータで摂動することができる。 これまでの研究では、良質なユーザーと悪意のあるユーザーの両方がモデル回避を試みたが、どのクラスが敵攻撃を行うかを選択できた。 さらに、GROOTが正規および対向的な設定で性能をトレードオフできるハイパーパラメータローを導入する。

In the present day we use machine learning for sensitive tasks that require models to be both understandable and robust. Although traditional models such as decision trees are understandable, they suffer from adversarial attacks. When a decision tree is used to differentiate between a user's benign and malicious behavior, an adversarial attack allows the user to effectively evade the model by perturbing the inputs the model receives. We can use algorithms that take adversarial attacks into account to fit trees that are more robust. In this work we propose an algorithm, GROOT, that is two orders of magnitude faster than the state-of-the-art-wor k while scoring competitively on accuracy against adversaries. GROOT accepts an intuitive and permissible threat model. Where previous threat models were limited to distance norms, we allow each feature to be perturbed with a user-specified parameter: either a maximum distance or constraints on the direction of perturbation. Previous works assumed that both benign and malicious users attempt model evasion but we allow the user to select which classes perform adversarial attacks. Additionally, we introduce a hyperparameter rho that allows GROOT to trade off performance in the regular and adversarial settings.
翻訳日:2021-05-01 20:45:09 公開日:2020-12-18
# (参考訳) CityLearn:需要対応と都市エネルギー管理のためのマルチエージェント強化学習の標準化研究 [全文訳有]

CityLearn: Standardizing Research in Multi-Agent Reinforcement Learning for Demand Response and Urban Energy Management ( http://arxiv.org/abs/2012.10504v1 )

ライセンス: CC BY 4.0
Jose R Vazquez-Canteli, Sourav Dey, Gregor Henze, Zoltan Nagy(参考訳) 急速な都市化、分散型再生可能エネルギー資源の統合、エネルギー貯蔵、電気自動車は電力網に新たな課題をもたらす。 米国では、建物が総電力需要の約70%を占め、需要応答は電力のピークを約20%削減する可能性がある。 このポテンシャルをアンロックするには、理想的にはデータ駆動でモデルフリーな分散システムで動作する制御システムが必要です。 このため, 近年, 強化学習(RL)アルゴリズムへの関心が高まっている。 しかし、需要対応のためのRLの研究は、コンピュータ科学コミュニティにおけるRL研究の大幅な進歩を促す標準化のレベルを欠いている。 そこで我々はCityLearnを開発した。CityLearnはOpenAI Gym環境で、研究者が要求応答のためにRLの実装を実装し、共有し、複製し、比較することができる。 ここでは,この分野のさらなる進歩を推進すべく,我々が主催したRLコンペティションであるThe CityLearn Challengeについて論じる。

Rapid urbanization, increasing integration of distributed renewable energy resources, energy storage, and electric vehicles introduce new challenges for the power grid. In the US, buildings represent about 70% of the total electricity demand and demand response has the potential for reducing peaks of electricity by about 20%. Unlocking this potential requires control systems that operate on distributed systems, ideally data-driven and model-free. For this, reinforcement learning (RL) algorithms have gained increased interest in the past years. However, research in RL for demand response has been lacking the level of standardization that propelled the enormous progress in RL research in the computer science community. To remedy this, we created CityLearn, an OpenAI Gym Environment which allows researchers to implement, share, replicate, and compare their implementations of RL for demand response. Here, we discuss this environment and The CityLearn Challenge, a RL competition we organized to propel further progress in this field.
翻訳日:2021-05-01 19:50:10 公開日:2020-12-18
# (参考訳) 3次元デジタル画像相関を用いたコンピュータビジョンによる構造物のトモグラフィー [全文訳有]

Computer Vision based Tomography of Structures Using 3D Digital Image Correlation ( http://arxiv.org/abs/2012.10516v1 )

ライセンス: CC0 1.0
Mehrdad Shafiei Dizaji, Devin Harris(参考訳) 試料の内部特性は、材料密度や化学組成の変化に依存する超音波装置、磁気共鳴画像(mri)、光コヒーレンス断層撮影(oct)などの医用イメージングツールによって観察することができる [1-21]。 本研究では, 三次元不均一試料の弾性率分布の相違から推定される内部欠陥を, 局所的均一性や弾性率分布の仮定を伴わずに, 逆最適化アルゴリズムとしての有限要素モデル更新のみで検出できる可能性について検討した。 近年, 著者らは, フルスケール鋼部品の構成特性同定におけるフルフィールド計測として, ディジタル画像相関技術を活用している[22-27]。 先行研究の延長に向けて,本稿では,構造同定のための3次元ディジタル画像相関を用いた構造成分の3次元不均質空間の内部における不審な体積欠陥分布の復元を目的とした新しい考え方 [28-57] について述べる。 概念実証として,提案するコンピュータビジョン技術により,見えない内部欠陥を識別する可能性を示し,内部異種材料を機械的特性分布と条件状態に特徴付ける新たな機会を見出した。

Internal properties of a sample can be observed by medical imaging tools, such as ultrasound devices, magnetic resonance imaging (MRI) and optical coherence tomography (OCT) which are based on relying on changes in material density or chemical composition [1-21]. As a preliminary investigation, the feasibility to detect interior defects inferred from the discrepancy in elasticity modulus distribution of a three-dimensional heterogeneous sample using only surface full-field measurements and finite element model updating as an inverse optimization algorithm without any assumption about local homogeneities and also the elasticity modulus distribution is investigated. Recently, the authors took advantages of the digital image correlation technique as a full field measurement in constitutive property identification of a full-scale steel component [22-27]. To the extension of previous works, in this brief technical note, the new idea intended at recovering unseen volumetric defect distributions within the interior of three-dimensional heterogeneous space of the structural component using 3D-Digital Image Correlation for structural identification [28-57]. As a proof of concept, the results of this paper illustrate the potential to identify invisible internal defect by the proposed computer vision technique establishes the potential for new opportunities to characterize internal heterogeneous materials for their mechanical property distribution and condition state.
翻訳日:2021-05-01 19:35:35 公開日:2020-12-18
# (参考訳) 空間不確実性モデリングによる人間の3次元キーポイント [全文訳有]

Human 3D keypoints via spatial uncertainty modeling ( http://arxiv.org/abs/2012.10518v1 )

ライセンス: CC BY 4.0
Francis Williams, Or Litany, Avneesh Sud, Kevin Swersky, Andrea Tagliasacchi(参考訳) 本稿では,キーポイントの空間的不確実性の概念を直接モデル化する3次元人間のキーポイント推定手法を提案する。 本手法は,ロバスト統計学の手法に触発された空間的不確かさをモデル化する原理的手法を用いる。 さらに、パイプラインには3D地上の真理ラベルは必要とせず、代わりに2D画像レベルのキーポイントに依存しています。 提案手法は,Human3.6mにおける最先端性能を効率よく評価し,簡便に実現する。

We introduce a technique for 3D human keypoint estimation that directly models the notion of spatial uncertainty of a keypoint. Our technique employs a principled approach to modelling spatial uncertainty inspired from techniques in robust statistics. Furthermore, our pipeline requires no 3D ground truth labels, relying instead on (possibly noisy) 2D image-level keypoints. Our method achieves near state-of-the-art performance on Human3.6m while being efficient to evaluate and straightforward to
翻訳日:2021-05-01 19:26:31 公開日:2020-12-18
# (参考訳) 簡易理論を用いた物理誘導機械学習 [全文訳有]

Physics guided machine learning using simplified theories ( http://arxiv.org/abs/2012.13343v1 )

ライセンス: CC BY 4.0
Suraj Pawar, Omer San, Burak Aksoylu, Adil Rasheed, Trond Kvamsdal(参考訳) 機械学習、特にディープラーニングの最近の応用は、物理科学における統計的推論アプローチの一般化可能性に対処する必要性を動機付けている。 本稿では,データ駆動予測エンジンの精度向上を目的とした,モジュラー物理誘導機械学習フレームワークを提案する。 我々のアプローチの主なアイデアは、単純化された理論の知識を基礎となる学習プロセスで強化することである。 それらの物理的重要性を強調するため、アーキテクチャは入力層ではなく中間層に特定の機能を追加する。 本手法を実証するために, ポテンシャル流理論の強化により, 標準翼空力問題を選択する。 学習手順において,未確認構成に対して効率的に計算できるパネル法で得られた特徴を含む。 一般化可能性の問題に対処することで,提案手法が多くの科学的機械学習アプリケーション,特に理論的,経験的,あるいは単純化されたモデルを用いて学習モジュールを導くシステムにおいて効果的に利用できることを示唆する。

Recent applications of machine learning, in particular deep learning, motivate the need to address the generalizability of the statistical inference approaches in physical sciences. In this letter, we introduce a modular physics guided machine learning framework to improve the accuracy of such data-driven predictive engines. The chief idea in our approach is to augment the knowledge of the simplified theories with the underlying learning process. To emphasise on their physical importance, our architecture consists of adding certain features at intermediate layers rather than in the input layer. To demonstrate our approach, we select a canonical airfoil aerodynamic problem with the enhancement of the potential flow theory. We include features obtained by a panel method that can be computed efficiently for an unseen configuration in our training procedure. By addressing the generalizability concerns, our results suggest that the proposed feature enhancement approach can be effectively used in many scientific machine learning applications, especially for the systems where we can use a theoretical, empirical, or simplified model to guide the learning module.
翻訳日:2021-05-01 19:19:18 公開日:2020-12-18
# (参考訳) グラフ表現学習とトップk類似度尺度を用いた生体医学知識グラフの洗練・完成 [全文訳有]

Biomedical Knowledge Graph Refinement and Completion using Graph Representation Learning and Top-K Similarity Measure ( http://arxiv.org/abs/2012.10540v1 )

ライセンス: CC BY 4.0
Islam Akef Ebeid, Majdi Hassan, Tingyi Wanyan, Jack Roper, Abhik Seal, Ying Ding(参考訳) 知識グラフは異種データソースを統合するための基本的な方法の1つだ。 異種データソースの統合は、特にバイオメディカル領域において重要であり、薬物発見のような中心的なデータ駆動タスクは、異なるバイオメディカルデータベースの情報を統合することに依存する。 これらのデータベースには、タンパク質(PDB)、遺伝子(遺伝子オントロジー)、薬物(DrugBank)、疾患(DDB)、タンパク質-タンパク質相互作用(BioGRID)など様々な生物学的実体と関係がある。 不均一な生物医学データベースを意味的に統合するプロセスには、しばしば不完全さが伴う。 データ駆動型薬物発見の品質は、使用される採掘方法の精度とデータの品質にも依存している。 したがって、完全かつ洗練されたバイオメディカル知識グラフを持つことは、より正確な薬物発見結果を達成するための中心となる。 本稿では、最新のグラフ表現学習と埋め込みモデルを用いて、バイオメディカル知識グラフの洗練と完全化を提案する。 この予備的な研究は、統合バイオメディカル知識グラフChem2Bio2RD[3]の学習離散表現を示す。 学習された埋め込みベクトル間の単純なトップkコサイン類似度尺度を用いて,知識グラフの補完・精細化タスクを行い,データに存在する薬物と標的間の欠落リンクを予測する。 リンク予測において,この単純な手続きをバイナリ分類器に代えて使用できることを示す。

Knowledge Graphs have been one of the fundamental methods for integrating heterogeneous data sources. Integrating heterogeneous data sources is crucial, especially in the biomedical domain, where central data-driven tasks such as drug discovery rely on incorporating information from different biomedical databases. These databases contain various biological entities and relations such as proteins (PDB), genes (Gene Ontology), drugs (DrugBank), diseases (DDB), and protein-protein interactions (BioGRID). The process of semantically integrating heterogeneous biomedical databases is often riddled with imperfections. The quality of data-driven drug discovery relies on the accuracy of the mining methods used and the data's quality as well. Thus, having complete and refined biomedical knowledge graphs is central to achieving more accurate drug discovery outcomes. Here we propose using the latest graph representation learning and embedding models to refine and complete biomedical knowledge graphs. This preliminary work demonstrates learning discrete representations of the integrated biomedical knowledge graph Chem2Bio2RD [3]. We perform a knowledge graph completion and refinement task using a simple top-K cosine similarity measure between the learned embedding vectors to predict missing links between drugs and targets present in the data. We show that this simple procedure can be used alternatively to binary classifiers in link prediction.
翻訳日:2021-05-01 19:07:17 公開日:2020-12-18
# (参考訳) 肯定的アルゴリズム:公正を意識する法的根拠 [全文訳有]

Affirmative Algorithms: The Legal Grounds for Fairness as Awareness ( http://arxiv.org/abs/2012.14285v1 )

ライセンス: CC BY 4.0
Daniel E. Ho and Alice Xiang(参考訳) アルゴリズム的公正性の研究は盛んに行われているが、現代の反差別法はそのような手法の採用を禁止している。 我々は3つの貢献をした。 まず,このようなアプローチが「自己肯定的行動」と見なされる可能性について議論し,特に高等教育法学において,平等保護を侵害する重大な法的リスクを提起する。 このようなケースは次第に反分類へと変わり、「個別の考慮」を要求し、目的に関係なく正式な量的重み付けを禁止している。 したがって、このケース法則は、機械学習における公平性と根本的に相容れない。 第2に,これらの事例は,俳優の歴史的差別に基づく明示的かつ定量的な人種ベースの救済を許容するため,政府契約の事例は,アルゴリズム的公平性に対する代替的根拠を提供すると主張する。 第3に、このドクトリナルアプローチはアルゴリズムの公平性の将来を導くもので、今日の格差を引き起こす歴史的差別に対するエンティティの責任に合わせて調整を行うことを義務付けている。 請負業者のケースは、現在の憲法ドクトリンの下でアルゴリズムの公平性に対して法的に実行可能な経路を提供するが、バイアス緩和が特定の原因とバイアスのメカニズムに合わせたものであることを保証するために、アルゴリズムの公平性と因果推論の交点におけるさらなる研究を要求する。

While there has been a flurry of research in algorithmic fairness, what is less recognized is that modern antidiscrimination law may prohibit the adoption of such techniques. We make three contributions. First, we discuss how such approaches will likely be deemed "algorithmic affirmative action," posing serious legal risks of violating equal protection, particularly under the higher education jurisprudence. Such cases have increasingly turned toward anticlassification, demanding "individualized consideration" and barring formal, quantitative weights for race regardless of purpose. This case law is hence fundamentally incompatible with fairness in machine learning. Second, we argue that the government-contracti ng cases offer an alternative grounding for algorithmic fairness, as these cases permit explicit and quantitative race-based remedies based on historical discrimination by the actor. Third, while limited, this doctrinal approach also guides the future of algorithmic fairness, mandating that adjustments be calibrated to the entity's responsibility for historical discrimination causing present-day disparities. The contractor cases provide a legally viable path for algorithmic fairness under current constitutional doctrine but call for more research at the intersection of algorithmic fairness and causal inference to ensure that bias mitigation is tailored to specific causes and mechanisms of bias.
翻訳日:2021-05-01 18:56:54 公開日:2020-12-18
# TVQAデータセットにおけるモダリティバイアスについて

On Modality Bias in the TVQA Dataset ( http://arxiv.org/abs/2012.10210v1 )

ライセンス: Link先を確認
Thomas Winterbottom, Sarah Xiao, Alistair McLean, Noura Al Moubayed(参考訳) TVQAは、人気のテレビ番組を基にした大規模ビデオ質問応答(ビデオQA)データセットである。 質問は「答えるために視覚と言語理解の両方を必要とする」よう特別に設計された。 本研究では,テキスト字幕モダリティに対するデータセットに固有のバイアスを示す。 特に、字幕で訓練されたモデルが平均して学習し、ビデオ機能への貢献を抑制することを発見した。 その結果,視覚情報のみに基づいてトレーニングしたモデルでは,質問の45%程度が解答可能であり,字幕のみを使用すれば約68%が解答できることがわかった。 モダリティの共役表現に基づく双線型プーリングは、モダリティ固有情報に依存する9%のモデル性能を損なうことが判明した。 また,テレビQAは,VQAで普及したRUBiモダリティバイアス低減手法の恩恵を受けないことを示す。 BERT埋め込みによるテキスト処理をTVQAで最初に提案した単純なモデルで簡単に改善することにより、非常に複雑なSTAGEモデル(70.50%)と比較して、最先端の結果(72.13%)が得られる。 我々は、モデルのバイアスを強調し、データの視覚およびテキスト依存部分集合を分離できるマルチモーダル評価フレームワークを推奨する。 本フレームワークを用いて,TVQAを意図したマルチモーダルモデリングを容易にするために,TVQAのサブセットを提案する。

TVQA is a large scale video question answering (video-QA) dataset based on popular TV shows. The questions were specifically designed to require "both vision and language understanding to answer". In this work, we demonstrate an inherent bias in the dataset towards the textual subtitle modality. We infer said bias both directly and indirectly, notably finding that models trained with subtitles learn, on-average, to suppress video feature contribution. Our results demonstrate that models trained on only the visual information can answer ~45% of the questions, while using only the subtitles achieves ~68%. We find that a bilinear pooling based joint representation of modalities damages model performance by 9% implying a reliance on modality specific information. We also show that TVQA fails to benefit from the RUBi modality bias reduction technique popularised in VQA. By simply improving text processing using BERT embeddings with the simple model first proposed for TVQA, we achieve state-of-the-art results (72.13%) compared to the highly complex STAGE model (70.50%). We recommend a multimodal evaluation framework that can highlight biases in models and isolate visual and textual reliant subsets of data. Using this framework we propose subsets of TVQA that respond exclusively to either or both modalities in order to facilitate multimodal modelling as TVQA originally intended.
翻訳日:2021-05-01 18:27:35 公開日:2020-12-18
# マルチモーダル機械翻訳のための効率的なオブジェクトレベルのビジュアルコンテキストモデリング:無関係オブジェクトのマスキングは接地に役立つ

Efficient Object-Level Visual Context Modeling for Multimodal Machine Translation: Masking Irrelevant Objects Helps Grounding ( http://arxiv.org/abs/2101.05208v1 )

ライセンス: Link先を確認
Dexin Wang and Deyi Xiong(参考訳) ビジュアルコンテキストはマルチモーダル機械翻訳(MMT)の基盤情報を提供する。 しかし、従来のMTモデルと視覚的特徴の探索研究は、視覚情報はテキスト情報に冗長であることが多いため、MTでは探索されないことを示唆している。 本稿では,マルチモーダル機械翻訳のための視覚情報を効率的に捉え,探索するためのオブジェクト指向ビジュアルコンテキストモデリングフレームワーク(ovc)を提案する。 検出対象により、提案したOVCは、視覚的モダリティにおいて無関係な物体をマスキングすることにより、MMTが望ましい視覚オブジェクトの翻訳を行うように促す。 我々は、この目標を達成するために、提案する追加のオブジェクトマスキング損失を装備する。 マスクされたオブジェクトとソーステキストとの類似性に応じて、オブジェクトマスキング損失を推定し、マスキングソース非関連オブジェクトを奨励する。 さらに、視覚に一貫性のあるターゲット語を生成するために、OVCに対して視覚強調翻訳損失を提案する。 MMTデータセットの実験では、提案したOVCモデルが最先端のMTTモデルより優れており、無関係な物体のマスキングがMTTの接地に役立つことが示されている。

Visual context provides grounding information for multimodal machine translation (MMT). However, previous MMT models and probing studies on visual features suggest that visual information is less explored in MMT as it is often redundant to textual information. In this paper, we propose an object-level visual context modeling framework (OVC) to efficiently capture and explore visual information for multimodal machine translation. With detected objects, the proposed OVC encourages MMT to ground translation on desirable visual objects by masking irrelevant objects in the visual modality. We equip the proposed with an additional object-masking loss to achieve this goal. The object-masking loss is estimated according to the similarity between masked objects and the source texts so as to encourage masking source-irrelevant objects. Additionally, in order to generate vision-consistent target words, we further propose a vision-weighted translation loss for OVC. Experiments on MMT datasets demonstrate that the proposed OVC model outperforms state-of-the-art MMT models and analyses show that masking irrelevant objects helps grounding in MMT.
翻訳日:2021-05-01 18:27:12 公開日:2020-12-18
# テキスト変換器と強化学習を用いたフルーレントクエリ再構成の探索

Exploring Fluent Query Reformulations with Text-to-Text Transformers and Reinforcement Learning ( http://arxiv.org/abs/2012.10033v1 )

ライセンス: Link先を確認
Jerry Zikun Chen, Shi Yu, Haoran Wang(参考訳) クエリ再構成は、潜在的にノイズや曖昧なテキストシーケンスを、自然言語の質問に近い一貫性のあるものに変更することを目的としている。 このプロセスでは、リプレースされたクエリを入力として与えたときの質問応答のような下流環境におけるパフォーマンスの維持と向上も重要です。 そこで本研究では,テキストからテキストへのトランスフォーマーを用いた再編成者を訓練し,ポリシーに基づく強化学習アルゴリズムを適用し,報酬学習をさらに促進する手法を提案する。 クエリフルーエンシは、人間の評価した良質なデータセットに基づいて微調整された同じモデルのクラスによって数値的に評価される。 トランスファーラーニングから得られた言語知識を活用し、定性的および定量的分析において翻訳に基づくモデルよりも、より良く形成された再構成を生成する。 強化学習中は、RLの目的を最適化して質問応答報酬を取得し、質的評価においてサンプル外テキストデータに一般化する。 我々のRLフレームワークはフレキシブルであることを示し、インテント分類などの下流環境から報奨信号を発生させることができる。

Query reformulation aims to alter potentially noisy or ambiguous text sequences into coherent ones closer to natural language questions. In this process, it is also crucial to maintain and even enhance performance in a downstream environments like question answering when rephrased queries are given as input. We explore methods to generate these query reformulations by training reformulators using text-to-text transformers and apply policy-based reinforcement learning algorithms to further encourage reward learning. Query fluency is numerically evaluated by the same class of model fine-tuned on a human-evaluated well-formedness dataset. The reformulator leverages linguistic knowledge obtained from transfer learning and generates more well-formed reformulations than a translation-based model in qualitative and quantitative analysis. During reinforcement learning, it better retains fluency while optimizing the RL objective to acquire question answering rewards and can generalize to out-of-sample textual data in qualitative evaluations. Our RL framework is demonstrated to be flexible, allowing reward signals to be sourced from different downstream environments such as intent classification.
翻訳日:2021-05-01 18:26:52 公開日:2020-12-18
# フーリエ特徴ネットワークの固有ベクトルバイアスについて:物理インフォームドニューラルネットワークを用いた多スケールPDEの回帰から解法へ

On the eigenvector bias of Fourier feature networks: From regression to solving multi-scale PDEs with physics-informed neural networks ( http://arxiv.org/abs/2012.10047v1 )

ライセンス: Link先を確認
Sifan Wang, Hanwen Wang, Paris Perdikaris(参考訳) 物理インフォームドニューラルネットワーク(PINN)は、物理モデルと余分でノイズの多い観測データを統合するという、目覚ましい将来性を示しているが、それでも、近似されるターゲット関数が高周波またはマルチスケールの特徴を示す場合に苦戦している。 本研究では,この限界を神経接核(ntk)理論のレンズを通して検討し,ピンが支配的固有方向に沿って学習関数にどのように偏っているかを解明する。 この観測により、時空間およびマルチスケールのランダムフーリエ特徴を用いた新しいアーキテクチャを構築し、そのような座標埋め込み層が堅牢かつ正確なPINNモデルにどのように寄与するかを正当化する。 波動伝播や反応拡散ダイナミクスなど,従来のピンモデルが故障したいくつかの問題に対して,提案手法が多スケールの偏微分方程式を含む前方および逆問題に対して効果的に対処できることを示す数値例が提示されている。 この原稿に付随するデータはすべて、 \url{https://github.com/P redictiveIntelligenc eLab/MultiscalePINNs } で公開されている。

Physics-informed neural networks (PINNs) are demonstrating remarkable promise in integrating physical models with gappy and noisy observational data, but they still struggle in cases where the target functions to be approximated exhibit high-frequency or multi-scale features. In this work we investigate this limitation through the lens of Neural Tangent Kernel (NTK) theory and elucidate how PINNs are biased towards learning functions along the dominant eigen-directions of their limiting NTK. Using this observation, we construct novel architectures that employ spatio-temporal and multi-scale random Fourier features, and justify how such coordinate embedding layers can lead to robust and accurate PINN models. Numerical examples are presented for several challenging cases where conventional PINN models fail, including wave propagation and reaction-diffusion dynamics, illustrating how the proposed methods can be used to effectively tackle both forward and inverse problems involving partial differential equations with multi-scale behavior. All code an data accompanying this manuscript will be made publicly available at \url{https://github.com/P redictiveIntelligenc eLab/MultiscalePINNs }.
翻訳日:2021-05-01 18:26:36 公開日:2020-12-18
# MASSIVE:多次元楽器変数モデルのトラクタブルおよびロバストベイズ学習

MASSIVE: Tractable and Robust Bayesian Learning of Many-Dimensional Instrumental Variable Models ( http://arxiv.org/abs/2012.10141v1 )

ライセンス: Link先を確認
Ioan Gabriel Bucur, Tom Claassen and Tom Heskes(参考訳) 最近のゲノムワイドアソシエーション研究(gwas)のような、巨大で多次元のデータセットは、因果推論を強化する多くの機会を提供している。 一般的なアプローチの1つは、これらの多次元測定を機器変数(インストゥルメント)として、他の変数間の因果効果推定を改善することである。 残念なことに、多次元の候補集合における適切な機器の探索は、難解なモデル空間と、これらの候補のどれが妥当であるかを直接テストできないことによる厄介な作業である。 我々は,少なくとも一部の候補が (近い) 有効である限り, 先行する候補を知らずに, 集合的に目標との相互作用に十分な制限を課して, 信頼できる因果効果推定が得られることを示す。 本稿では,最も有望な多次元インスツルメンタル変数モデルに対してベイズモデル平均化を行うことにより,モデル不確実性を考慮に入れた汎用的で効率的な因果推論アルゴリズムを提案する。 シミュレーションおよび実世界のデータを用いた実験結果により, アルゴリズムの効率性, 堅牢性, 予測性能を示す。

The recent availability of huge, many-dimensional data sets, like those arising from genome-wide association studies (GWAS), provides many opportunities for strengthening causal inference. One popular approach is to utilize these many-dimensional measurements as instrumental variables (instruments) for improving the causal effect estimate between other pairs of variables. Unfortunately, searching for proper instruments in a many-dimensional set of candidates is a daunting task due to the intractable model space and the fact that we cannot directly test which of these candidates are valid, so most existing search methods either rely on overly stringent modeling assumptions or fail to capture the inherent model uncertainty in the selection process. We show that, as long as at least some of the candidates are (close to) valid, without knowing a priori which ones, they collectively still pose enough restrictions on the target interaction to obtain a reliable causal effect estimate. We propose a general and efficient causal inference algorithm that accounts for model uncertainty by performing Bayesian model averaging over the most promising many-dimensional instrumental variable models, while at the same time employing weaker assumptions regarding the data generating process. We showcase the efficiency, robustness and predictive performance of our algorithm through experimental results on both simulated and real-world data.
翻訳日:2021-05-01 18:26:16 公開日:2020-12-18
# ビデオQAにおけるバイリニアプールの試み

Trying Bilinear Pooling in Video-QA ( http://arxiv.org/abs/2012.10285v1 )

ライセンス: Link先を確認
Thomas Winterbottom, Sarah Xiao, Alistair McLean, Noura Al Moubayed(参考訳) BLP(Bilinear pooling)は、VQAモデルのために開発された様々なモードから特徴を融合させるために最近開発された演算系である。 双線型(外部積)拡張は、モデルが2つの特徴空間間の相互作用を学習することを奨励し、VQAベンチマーク上での'simpler'ベクトル演算(結合と要素ワイド付加/乗法)を実験的に上回ったと考えられている。 逐次的BLP技術は計算コストを下げて高い性能をもたらし、しばしば注意機構と共に実装されている。 しかしながら、VQAの大幅な進歩にもかかわらず、BLP法はより最近のビデオ質問応答(ビデオQA)タスクには広く適用されていない。 本稿では,この研究ギャップをTVQA, TGIF-QA, Ego-VQA, MSVD-QAといった様々なビデオQAベンチマークに適用することによって埋める。 我々は,tvqaベースラインモデルと,最近提案されているヘテロジニアスメモリ型マルチモーダルアテンション(hme)モデルについて結果を共有する。 我々の実験は、既存のモデルにおける特徴連結をBLPに置き換えることと、BLPに対応するためのTVQAベースラインの修正版「Dual-stream」モデルの両方を含む。 比較的単純なBLP統合では、これらのビデオQAベンチマークのパフォーマンスは向上せず、ほとんど損なわれない。 最近提案された理論的マルチモーダル融合分類法を用いて、ビデオQAベンチマークにおけるBLP駆動のパフォーマンス向上が、以前のVQAモデルよりも困難であることを示す。 ビデオQAにBLPを適用する際に考慮すべき「ベストプラクティス」をいくつか提案する。 我々は,ビデオQAモデルにおいて,「冗長」融合の計算コストを回避するために,BLPからの複雑な表現ポテンシャルが実際に必要となる場所を慎重に検討する必要があることを強調する。

Bilinear pooling (BLP) refers to a family of operations recently developed for fusing features from different modalities predominantly developed for VQA models. A bilinear (outer-product) expansion is thought to encourage models to learn interactions between two feature spaces and has experimentally outperformed `simpler' vector operations (concatenation and element-wise-additio n/multiplication) on VQA benchmarks. Successive BLP techniques have yielded higher performance with lower computational expense and are often implemented alongside attention mechanisms. However, despite significant progress in VQA, BLP methods have not been widely applied to more recently explored video question answering (video-QA) tasks. In this paper, we begin to bridge this research gap by applying BLP techniques to various video-QA benchmarks, namely: TVQA, TGIF-QA, Ego-VQA and MSVD-QA. We share our results on the TVQA baseline model, and the recently proposed heterogeneous-memory -enchanced multimodal attention (HME) model. Our experiments include both simply replacing feature concatenation in the existing models with BLP, and a modified version of the TVQA baseline to accommodate BLP we name the `dual-stream' model. We find that our relatively simple integration of BLP does not increase, and mostly harms, performance on these video-QA benchmarks. Using recently proposed theoretical multimodal fusion taxonomies, we offer insight into why BLP-driven performance gain for video-QA benchmarks may be more difficult to achieve than in earlier VQA models. We suggest a few additional `best-practices' to consider when applying BLP to video-QA. We stress that video-QA models should carefully consider where the complex representational potential from BLP is actually needed to avoid computational expense on `redundant' fusion.
翻訳日:2021-05-01 18:25:52 公開日:2020-12-18
# stnet: クラウドカウントのためのマルチレベルアクシリエータを備えたスケールツリーネットワーク

STNet: Scale Tree Network with Multi-level Auxiliator for Crowd Counting ( http://arxiv.org/abs/2012.10189v1 )

ライセンス: Link先を確認
Mingjie Wang, Hao Cai, Xianfeng Han, Jun Zhou, Minglun Gong(参考訳) 大規模なスケールの変動、密度の不整合、複雑なバックグラウンドの存在は、カウントの精度を著しく低下させる可能性があるため、群衆カウントは依然として難しい課題である。 そこで本研究では, 精度低下問題に対処するために, スケールツリーネットワーク (stnet) と呼ばれる新しい強力なネットワークを提案する。 STNetは、Scale-Tree Diversity EnhancerとSemi-supervised Multi-level Auxiliatorの2つの重要なコンポーネントで構成されている。 具体的には、ダイバーシティエンハンサーは、スケールのレベル不足による既存の方法の制限を緩和する、スケールの多様性を強化するように設計されている。 階層的に粗大な群集領域を解析する新しい木構造を採用する。 さらに,複数レベルの共通特性を利用して,より正確な背景認識を実現するため,単純で効果的なマルチレベル補助器を提案する。 stnet全体は、メインタスクと補助タスクの間の損失重みを手動でチューニングする必要なしに、エンドツーエンドでトレーニングされる。 4つの挑戦的な群集データセットに対する大規模な実験により,提案手法の優位性を示した。

Crowd counting remains a challenging task because the presence of drastic scale variation, density inconsistency, and complex background can seriously degrade the counting accuracy. To battle the ingrained issue of accuracy degradation, we propose a novel and powerful network called Scale Tree Network (STNet) for accurate crowd counting. STNet consists of two key components: a Scale-Tree Diversity Enhancer and a Semi-supervised Multi-level Auxiliator. Specifically, the Diversity Enhancer is designed to enrich scale diversity, which alleviates limitations of existing methods caused by insufficient level of scales. A novel tree structure is adopted to hierarchically parse coarse-to-fine crowd regions. Furthermore, a simple yet effective Multi-level Auxiliator is presented to aid in exploiting generalisable shared characteristics at multiple levels, allowing more accurate pixel-wise background cognition. The overall STNet is trained in an end-to-end manner, without the needs for manually tuning loss weights between the main and the auxiliary tasks. Extensive experiments on four challenging crowd datasets demonstrate the superiority of the proposed method.
翻訳日:2021-05-01 18:25:23 公開日:2020-12-18
# 新型コロナウイルス臨床治験のための注意型LSTMネットワーク

Attention-Based LSTM Network for COVID-19 Clinical Trial Parsing ( http://arxiv.org/abs/2012.10063v1 )

ライセンス: Link先を確認
Xiong Liu, Luca A. Finelli, Greg L. Hersch, Iya Khalil(参考訳) 新型コロナウイルス(COVID-19)の予防と治療のための治療を開発する上で、臨床試験のデザインは重要な課題である。 本研究では, 試験設計と最適化の定量的分析を可能にするために, 新型コロナウイルスの治験から資格基準変数を抽出する深層学習手法を適用した。 具体的には,注意に基づく双方向長期短期記憶モデル(att-bilstm)を訓練し,その最適モデルを用いてcovid-19臨床試験の適格性基準から実体(変数)を抽出する。 Att-BiLSTMの性能を従来のオントロジー法と比較した。 ベンチマークデータセットの結果から、Att-BiLSTMはオントロジーモデルよりも優れています。 Att-BiLSTMは0.942の精度、0.810のリコール、0.871のF1の精度、オントロジーモデルは0.715の精度、0.659のリコール、0.686のF1の精度しか達成していない。 Att-BiLSTMは, 新型コロナウイルスの臨床試験において, 患者を特徴付けるための効果的なアプローチである。

COVID-19 clinical trial design is a critical task in developing therapeutics for the prevention and treatment of COVID-19. In this study, we apply a deep learning approach to extract eligibility criteria variables from COVID-19 trials to enable quantitative analysis of trial design and optimization. Specifically, we train attention-based bidirectional Long Short-Term Memory (Att-BiLSTM) models and use the optimal model to extract entities (i.e., variables) from the eligibility criteria of COVID-19 trials. We compare the performance of Att-BiLSTM with traditional ontology-based method. The result on a benchmark dataset shows that Att-BiLSTM outperforms the ontology model. Att-BiLSTM achieves a precision of 0.942, recall of 0.810, and F1 of 0.871, while the ontology model only achieves a precision of 0.715, recall of 0.659, and F1 of 0.686. Our analyses demonstrate that Att-BiLSTM is an effective approach for characterizing patient populations in COVID-19 clinical trials.
翻訳日:2021-05-01 18:25:05 公開日:2020-12-18
# 翻訳の理解とドメイン理解のためのトランスフォーマー

Understood in Translation, Transformers for Domain Understanding ( http://arxiv.org/abs/2012.10271v1 )

ライセンス: Link先を確認
Dimitrios Christofidellis, Matteo Manica, Leonidas Georgopoulos, Hans Vandierendonck(参考訳) 知識獲得は知識グラフ(KG)アプリケーションにとって不可欠な第一歩である。 この知識は所定のコーパス(kg生成プロセス)から抽出するか、既存のkg(kg特定プロセス)から特定することができる。 ドメイン固有のソリューションに焦点を当てた知識獲得は、通常、主題の専門家によって編成され、監督される労働集約的なタスクです。 具体的には、通常、関心領域は手動で定義され、必要な生成または抽出ツールを使用してKGを生成する。 本稿では,コーパスのドメイン定義のためのトランスフォーマーに基づく教師付き機械学習手法を提案する。 このようなドメイン構造の自動定義が、生成したグラフの構成時間と品質の両方において有益である理由を論じる。 提案手法は3つの公開データセット(WebNLG, NYT, DocRED)に対して,CNNモデルとRNNモデルに基づく2つの参照手法との比較により広く検証されている。 評価は、このタスクにおける我々のモデルの効率を示す。 学術文献理解に焦点をあて,PubMedから抽出した論文を基にした新たな健康領域データセットを提案する。 最後に、この作業が、完全に自動化され、教師なしのkg生成の基盤となることを実証する。

Knowledge acquisition is the essential first step of any Knowledge Graph (KG) application. This knowledge can be extracted from a given corpus (KG generation process) or specified from an existing KG (KG specification process). Focusing on domain specific solutions, knowledge acquisition is a labor intensive task usually orchestrated and supervised by subject matter experts. Specifically, the domain of interest is usually manually defined and then the needed generation or extraction tools are utilized to produce the KG. Herein, we propose a supervised machine learning method, based on Transformers, for domain definition of a corpus. We argue why such automated definition of the domain's structure is beneficial both in terms of construction time and quality of the generated graph. The proposed method is extensively validated on three public datasets (WebNLG, NYT and DocRED) by comparing it with two reference methods based on CNNs and RNNs models. The evaluation shows the efficiency of our model in this task. Focusing on scientific document understanding, we present a new health domain dataset based on publications extracted from PubMed and we successfully utilize our method on this. Lastly, we demonstrate how this work lays the foundation for fully automated and unsupervised KG generation.
翻訳日:2021-05-01 18:24:44 公開日:2020-12-18
# EVA:条件付き変分オートエンコーダを用いた縦型電子健康記録の生成

EVA: Generating Longitudinal Electronic Health Records Using Conditional Variational Autoencoders ( http://arxiv.org/abs/2012.10020v1 )

ライセンス: Link先を確認
Siddharth Biswal, Soumya Ghosh, Jon Duke, Bradley Malin, Walter Stewart and Jimeng Sun(参考訳) 研究者は、医療の質と効率を改善する機械学習ソリューションの開発、テスト、検証、実装のために、現実世界の経時的電子健康記録(EHR)にタイムリーにアクセスする必要がある。 対照的に、医療システムは患者のプライバシーとデータセキュリティを深く重視する。 身元不明の EHR は、身元不明のデータは再身元不明になり、容積も制限されるため、健康システムのニーズに適切に対処しない。 合成EHRは潜在的な解決策を提供する。 本稿では,個別のEHR遭遇(例えば臨床訪問)と遭遇特徴(例えば,診断,薬品,処置)を合成するためのEVA(EHR Variational Autoencoder)を提案する。 EVA は現実的な EHR 配列を生成でき、患者間の個人差を考慮し、特定の疾患状況に適応できるので、疾患特異的な研究が可能になる。 確率的勾配マルコフ連鎖モンテカルロと不定形変分推論を組み合わせた効率的高精度な推論アルゴリズムを設計した。 我々は,250,000人以上の患者を含む大規模実世界のERHリポジトリにおける手法の有用性を評価した。 本研究は,知識豊富な臨床医によるユーザスタディを含め,ehrシーケンスの生成が現実的であることを示唆する。 合成データでトレーニングされた予測モデルの性能は実際のeersでトレーニングされたモデルと類似していることを確認した。 さらに, 合成EHRによる実データの増大は, 最高の予測性能をもたらすことが示唆され, 上位20回のリコールにおいて, 最大8%のベースライン改善が達成された。

Researchers require timely access to real-world longitudinal electronic health records (EHR) to develop, test, validate, and implement machine learning solutions that improve the quality and efficiency of healthcare. In contrast, health systems value deeply patient privacy and data security. De-identified EHRs do not adequately address the needs of health systems, as de-identified data are susceptible to re-identification and its volume is also limited. Synthetic EHRs offer a potential solution. In this paper, we propose EHR Variational Autoencoder (EVA) for synthesizing sequences of discrete EHR encounters (e.g., clinical visits) and encounter features (e.g., diagnoses, medications, procedures). We illustrate that EVA can produce realistic EHR sequences, account for individual differences among patients, and can be conditioned on specific disease conditions, thus enabling disease-specific studies. We design efficient, accurate inference algorithms by combining stochastic gradient Markov Chain Monte Carlo with amortized variational inference. We assess the utility of the methods on large real-world EHR repositories containing over 250, 000 patients. Our experiments, which include user studies with knowledgeable clinicians, indicate the generated EHR sequences are realistic. We confirmed the performance of predictive models trained on the synthetic data are similar with those trained on real EHRs. Additionally, our findings indicate that augmenting real data with synthetic EHRs results in the best predictive performance - improving the best baseline by as much as 8% in top-20 recall.
翻訳日:2021-05-01 18:24:23 公開日:2020-12-18
# RAILS:ロバストな対人免疫誘発学習システム

RAILS: A Robust Adversarial Immune-inspired Learning System ( http://arxiv.org/abs/2012.10485v1 )

ライセンス: Link先を確認
Ren Wang, Tianqi Chen, Stephen Lindsly, Alnawaz Rehemtulla, Alfred Hero, Indika Rajapakse(参考訳) ディープニューラルネットワークに対する敵対的攻撃は継続的に進化している。 効果的な防御がなければ、壊滅的な失敗につながる可能性がある。 長年、そして間違いなく最も強力な天然防衛システムは哺乳類の免疫システムであり、何百万年も前から新しい病原体による攻撃を防いできた。 本稿では,Robust Adversarial Immune-inspired Learning System (RAILS) と呼ばれる,新たな対人防御フレームワークを提案する。 RAILSにはアダプティブ免疫系エミュレーション(Adaptive Immune System Emulation、AISE)が組み込まれており、病原体による攻撃から宿主を守るための生物学的メカニズムをシリコでエミュレートする。 我々はRAILSを用いて、ディープk-Nearest Neighbor(DkNN)アーキテクチャをエスケープ攻撃に対して強化する。 進化的プログラミングは、B細胞凝集、クローン伸長、親和性成熟といった自然免疫系の過程をシミュレートするために用いられる。 RAILS学習曲線は, 生体内実験で観察されたように, 多様性選択学習フェーズを示す。 3つの異なるデータセットの逆画像分類に適用すると、RAILSはクリーンなデータに精度を損なうことなく、DkNNのみを適用することと比較して、さらに5.62%/12.56%/4.74%の堅牢性向上を提供する。

Adversarial attacks against deep neural networks are continuously evolving. Without effective defenses, they can lead to catastrophic failure. The long-standing and arguably most powerful natural defense system is the mammalian immune system, which has successfully defended against attacks by novel pathogens for millions of years. In this paper, we propose a new adversarial defense framework, called the Robust Adversarial Immune-inspired Learning System (RAILS). RAILS incorporates an Adaptive Immune System Emulation (AISE), which emulates in silico the biological mechanisms that are used to defend the host against attacks by pathogens. We use RAILS to harden Deep k-Nearest Neighbor (DkNN) architectures against evasion attacks. Evolutionary programming is used to simulate processes in the natural immune system: B-cell flocking, clonal expansion, and affinity maturation. We show that the RAILS learning curve exhibits similar diversity-selection learning phases as observed in our in vitro biological experiments. When applied to adversarial image classification on three different datasets, RAILS delivers an additional 5.62%/12.56%/4.74% robustness improvement as compared to applying DkNN alone, without appreciable loss of accuracy on clean data.
翻訳日:2021-05-01 18:23:57 公開日:2020-12-18
# 多エージェントスポーツにおける軌跡予測のためのグラフ注意に基づくアプローチ

A Graph Attention Based Approach for Trajectory Prediction in Multi-agent Sports Games ( http://arxiv.org/abs/2012.10531v1 )

ライセンス: Link先を確認
Ding Ding and H. Howie Huang(参考訳) 本研究では,複数エージェントの軌道予測問題について検討する。 以前のアプローチでは、調整されたエージェント間のきめ細かい依存関係をキャプチャする能力がなかった。 本論文では,複数の協調エージェントを持つチームの戦略を学習可能な時空間軌道予測手法を提案する。 特に,グラフに基づく注意モデルを用いてエージェントの依存性を学習する。 さらに,再帰的ネットワーク(例えばVRNN,LSTM)を利用する代わりに,時間的畳み込みネットワーク(TCN)を時系列モデルとして,長期有効履歴をサポートし,並列性や安定勾配などの重要な特徴を提供する。 バスケットボールとサッカーの2つの異なるスポーツゲームデータセットに対するアプローチの有効性と有効性を示す。 その結果, プレイヤーの依存度を推定するモデルでは, 関連する手法と比較して, 性能が大幅に向上することがわかった。 コードはhttps://github.com/i HeartGraph/predictで入手できる。

This work investigates the problem of multi-agents trajectory prediction. Prior approaches lack of capability of capturing fine-grained dependencies among coordinated agents. In this paper, we propose a spatial-temporal trajectory prediction approach that is able to learn the strategy of a team with multiple coordinated agents. In particular, we use graph-based attention model to learn the dependency of the agents. In addition, instead of utilizing the recurrent networks (e.g., VRNN, LSTM), our method uses a Temporal Convolutional Network (TCN) as the sequential model to support long effective history and provide important features such as parallelism and stable gradients. We demonstrate the validation and effectiveness of our approach on two different sports game datasets: basketball and soccer datasets. The result shows that compared to related approaches, our model that infers the dependency of players yields substantially improved performance. Code is available at https://github.com/i HeartGraph/predict
翻訳日:2021-05-01 18:23:36 公開日:2020-12-18
# hatexplain:ヘイトスピーチ検出のためのベンチマークデータセット

HateXplain: A Benchmark Dataset for Explainable Hate Speech Detection ( http://arxiv.org/abs/2012.10289v1 )

ライセンス: Link先を確認
Binny Mathew, Punyajoy Saha, Seid Muhie Yimam, Chris Biemann, Pawan Goyal, and Animesh Mukherjee(参考訳) ヘイトスピーチは、オンラインソーシャルメディアを悩ませる難しい問題だ。 ヘイトスピーチ検出のためのより良いモデルが継続的に開発されているが、ヘイトスピーチのバイアスと解釈可能性に関する研究はほとんどない。 本稿では,この問題の複数の側面をカバーする最初のベンチマークヘイトスピーチデータセットであるHateXplainを紹介する。 私たちのデータセットの各投稿は、3つの異なる視点から注釈付けされている: 基本的、一般的に使用される3つのクラス分類(ヘイト、攻撃的または正常)、対象のコミュニティ(投稿におけるヘイトスピーチ/攻撃的スピーチの犠牲者であるコミュニティ)、および理論的、すなわち、ラベル付け決定(ヘイト、攻撃的または正常)がベースとなっているポストの一部である。 既存の最先端モデルを用いて,分類に非常に優れたモデルであっても,モデルの信頼性や忠実性といった説明可能性指標を高く評価できないことを観察した。 また,人間的根拠をトレーニングに活用したモデルが,対象コミュニティに対する意図しないバイアスの軽減に有効であることも観察した。 コードとデータセットをhttps://github.com/p unyajoy/HateXplainで公開しました。

Hate speech is a challenging issue plaguing the online social media. While better models for hate speech detection are continuously being developed, there is little research on the bias and interpretability aspects of hate speech. In this paper, we introduce HateXplain, the first benchmark hate speech dataset covering multiple aspects of the issue. Each post in our dataset is annotated from three different perspectives: the basic, commonly used 3-class classification (i.e., hate, offensive or normal), the target community (i.e., the community that has been the victim of hate speech/offensive speech in the post), and the rationales, i.e., the portions of the post on which their labelling decision (as hate, offensive or normal) is based. We utilize existing state-of-the-art models and observe that even models that perform very well in classification do not score high on explainability metrics like model plausibility and faithfulness. We also observe that models, which utilize the human rationales for training, perform better in reducing unintended bias towards target communities. We have made our code and dataset public at https://github.com/p unyajoy/HateXplain
翻訳日:2021-05-01 18:23:22 公開日:2020-12-18
# 低サンプリング率での視聴覚特徴量の時間的2線形符号化ネットワーク

Temporal Bilinear Encoding Network of Audio-Visual Features at Low Sampling Rates ( http://arxiv.org/abs/2012.10283v1 )

ライセンス: Link先を確認
Feiyan Hu, Eva Mohedano, Noel O'Connor and Kevin McGuinness(参考訳) 現在のディープラーニングベースのビデオ分類アーキテクチャは、通常、大量のデータに対してエンドツーエンドで訓練され、広範な計算資源を必要とする。 本稿では,毎秒1フレームのサンプリングレートで映像分類における視覚情報を活用することを目的とする。 本稿では,バイリニアプールを用いた音声と視覚の長距離時間情報の両方を符号化するテンポラルバイリニア符号化ネットワーク(TBEN)を提案し,サンプリングレートの低いビデオの時間次元における平均プールよりもバイリニアプールの方が優れていることを示す。 また、TBENにラベル階層を組み込んで分類器の堅牢性をさらに向上させる。 TBENを用いたFGA240きめ細かい分類データセットの実験は、新しい最先端(hit@1=47.95%)を実現する。 1 FPSでサンプリングされたUCF101実験は、最先端の精度(hit@1=91.03%)に近づき、トレーニングと予測の両方において競合するアプローチよりも計算資源をはるかに少なくする。

Current deep learning based video classification architectures are typically trained end-to-end on large volumes of data and require extensive computational resources. This paper aims to exploit audio-visual information in video classification with a 1 frame per second sampling rate. We propose Temporal Bilinear Encoding Networks (TBEN) for encoding both audio and visual long range temporal information using bilinear pooling and demonstrate bilinear pooling is better than average pooling on the temporal dimension for videos with low sampling rate. We also embed the label hierarchy in TBEN to further improve the robustness of the classifier. Experiments on the FGA240 fine-grained classification dataset using TBEN achieve a new state-of-the-art (hit@1=47.95%). We also exploit the possibility of incorporating TBEN with multiple decoupled modalities like visual semantic and motion features: experiments on UCF101 sampled at 1 FPS achieve close to state-of-the-art accuracy (hit@1=91.03%) while requiring significantly less computational resources than competing approaches for both training and prediction.
翻訳日:2021-05-01 18:22:16 公開日:2020-12-18
# 逆向き訓練された深部画像分類器の認識可能性現象について

On the human-recognizabilit y phenomenon of adversarially trained deep image classifiers ( http://arxiv.org/abs/2101.05219v1 )

ライセンス: Link先を確認
Jonathan Helland, Nathan VanHoudnos(参考訳) 本研究では,頑健な画像分類器が,評価関数の入力勾配とその後の逆方向の摂動を通じて,人間の認識可能な特徴を持つ現象を考察する。 特に,攻撃訓練における最先端の手法は,期待損失を最小化することで決定境界を定式化することと,局所リプシッツ定数をペナルティ化することにより分類器の判断面の滑らかさを誘導することの2つの用語を取り入れている。 この実演を通じて,先行研究における敵対的ロバスト性を促進するために,グラデーションとヤコビアンに基づく正則化の統一的な議論を行う。 この議論の後、我々は、上記の人間認識可能性現象を誘発するには、滑らかさと決定境界の向きの結合が十分であるという定性的証拠を与える。

In this work, we investigate the phenomenon that robust image classifiers have human-recognizable features -- often referred to as interpretability -- as revealed through the input gradients of their score functions and their subsequent adversarial perturbations. In particular, we demonstrate that state-of-the-art methods for adversarial training incorporate two terms -- one that orients the decision boundary via minimizing the expected loss, and another that induces smoothness of the classifier's decision surface by penalizing the local Lipschitz constant. Through this demonstration, we provide a unified discussion of gradient and Jacobian-based regularizers that have been used to encourage adversarial robustness in prior works. Following this discussion, we give qualitative evidence that the coupling of smoothness and orientation of the decision boundary is sufficient to induce the aforementioned human-recognizabilit y phenomenon.
翻訳日:2021-05-01 18:21:12 公開日:2020-12-18
# ウェーブレット特徴抽出と勾配増強決定木を用いた異常脳波信号の自動検出

Automatic detection of abnormal EEG signals using wavelet feature extraction and gradient boosting decision tree ( http://arxiv.org/abs/2012.10034v1 )

ライセンス: Link先を確認
Hezam Albaqami, Ghulam Mubashar Hassan, Abdulhamit Subasi and Amitava Datta(参考訳) 脳波検査は、その優れた分解能、非侵襲性、低コストにより、様々な脳関連疾患の診断にしばしば用いられる。 しかし、脳波信号の手動分析は困難であり、専門家にとっては時間がかかる。 医師が専門知識を身につけるのに長い訓練時間が必要であり、また専門家は相互契約(IRA)が低い。 そのため,コンピュータ支援診断(CAD)に基づく多くの研究は,脳波信号の解釈を自動化して作業負荷を軽減し,最終診断を支援することを検討した。 本稿では,多チャンネル脳波記録における脳信号の自動二分分類フレームワークを提案する。 我々は、ウェーブレットパケット分解(WPD)技術を用いて、脳波信号を周波数サブバンドに分解し、選択した各係数から統計的特徴の集合を抽出する。 さらに,抽出された特徴の品質を損なうことなく,特徴空間の次元を小さくする新しい手法を提案する。 抽出した特徴は,CataBoost,XGBoost,L ightGBMという,GBDT(Gradient Boosting Decision Tree)ベースの分類フレームワークを用いて分類される。 テンプル大学病院における脳波異常コーパスv2.0.0を用いて実験を行った。 CatBoost分類器は87.68%のバイナリ分類精度を達成し、同じデータセット上の最先端技術よりも1%以上、感度は3%以上向上することがわかった。 本研究は,脳波分類におけるWPD特徴抽出とGBDT分類器の有用性について重要な知見を提供する。

Electroencephalograp hy is frequently used for diagnostic evaluation of various brain-related disorders due to its excellent resolution, non-invasive nature and low cost. However, manual analysis of EEG signals could be strenuous and a time-consuming process for experts. It requires long training time for physicians to develop expertise in it and additionally experts have low inter-rater agreement (IRA) among themselves. Therefore, many Computer Aided Diagnostic (CAD) based studies have considered the automation of interpreting EEG signals to alleviate the workload and support the final diagnosis. In this paper, we present an automatic binary classification framework for brain signals in multichannel EEG recordings. We propose to use Wavelet Packet Decomposition (WPD) techniques to decompose the EEG signals into frequency sub-bands and extract a set of statistical features from each of the selected coefficients. Moreover, we propose a novel method to reduce the dimension of the feature space without compromising the quality of the extracted features. The extracted features are classified using different Gradient Boosting Decision Tree (GBDT) based classification frameworks, which are CatBoost, XGBoost and LightGBM. We used Temple University Hospital EEG Abnormal Corpus V2.0.0 to test our proposed technique. We found that CatBoost classifier achieves the binary classification accuracy of 87.68%, and outperforms state-of-the-art techniques on the same dataset by more than 1% in accuracy and more than 3% in sensitivity. The obtained results in this research provide important insights into the usefulness of WPD feature extraction and GBDT classifiers for EEG classification.
翻訳日:2021-05-01 18:20:55 公開日:2020-12-18
# 意味論と説明:なぜ反事実的説明がディープニューラルネットワークの逆例を生み出すのか

Semantics and explanation: why counterfactual explanations produce adversarial examples in deep neural networks ( http://arxiv.org/abs/2012.10076v1 )

ライセンス: Link先を確認
Kieran Browne, Ben Swift(参考訳) 説明可能なAIに関する最近の論文は、対実的な説明のモードを説得力あるものにしている。 反事実的説明はいくつかのケースでは極めて効果的であるように見えるが、正式には敵の例と等価である。 これは説明可能性研究者にとって明らかなパラドックスを示している: もしこの2つの手続きが形式的に等価であるなら、反事実的説明と敵対的な例の間で明らかな説明的分割の説明は何か? このパラドックスを反事実表現のセマンティクスに重きを置くことで解決する。 ディープラーニングシステムに十分な説明を提供するためには、ディープニューラルネットワークに隠された層表現の意味を解釈する方法を見つける必要がある。

Recent papers in explainable AI have made a compelling case for counterfactual modes of explanation. While counterfactual explanations appear to be extremely effective in some instances, they are formally equivalent to adversarial examples. This presents an apparent paradox for explainability researchers: if these two procedures are formally equivalent, what accounts for the explanatory divide apparent between counterfactual explanations and adversarial examples? We resolve this paradox by placing emphasis back on the semantics of counterfactual expressions. Producing satisfactory explanations for deep learning systems will require that we find ways to interpret the semantics of hidden layer representations in deep neural networks.
翻訳日:2021-05-01 18:20:30 公開日:2020-12-18
# 量子ハイゼンベルク連鎖のための生成型ニューラルサンプリング器

Generative Neural Samplers for the Quantum Heisenberg Chain ( http://arxiv.org/abs/2012.10264v1 )

ライセンス: Link先を確認
Johanna Vielhaben, Nils Strodthoff(参考訳) 生成神経サンプラーは、統計物理学や量子場理論における問題に対するモンテカルロ法を補完するアプローチを提供する。 本研究は, 実世界の低次元スピンシステムの観測対象を推定できる生成型ニューラルサンプリング装置の能力を検証する。 これは、スズキ-トロッター変換に基づく古典近似を通じて量子ハイゼンベルク鎖の構成を自己回帰モデルがどのようにサンプルできるかを地図化する。 モンテカルロの等方性xxx鎖と異方性xy鎖のエネルギー,比熱および感受性について,同じ近似スキームにおけるモンテカルロの結果とよく一致した結果を示す。

Generative neural samplers offer a complementary approach to Monte Carlo methods for problems in statistical physics and quantum field theory. This work tests the ability of generative neural samplers to estimate observables for real-world low-dimensional spin systems. It maps out how autoregressive models can sample configurations of a quantum Heisenberg chain via a classical approximation based on the Suzuki-Trotter transformation. We present results for energy, specific heat and susceptibility for the isotropic XXX and the anisotropic XY chain that are in good agreement with Monte Carlo results within the same approximation scheme.
翻訳日:2021-05-01 18:20:17 公開日:2020-12-18
# 合成データ中の丸い零点をインデュートする人工ニューラルネットワーク

Artificial Neural Networks to Impute Rounded Zeros in Compositional Data ( http://arxiv.org/abs/2012.10300v1 )

ライセンス: Link先を確認
Matthias Templ(参考訳) 近年, 深層学習の手法が普及しているが, 構成データ分析には至っていない。 合成データのインプテーション法は、典型的にはデータの付加的、中心的、または等尺的対数比表現に適用される。 一般に、合成データ解析の手法は、データマトリックスの観測された正の成分にのみ適用できる。 したがって、検出限界未満の値や測定値の欠落を示唆しようとする。 本稿では,従来の手法と比較して,ニューラルネットワークに基づく丸い零点を示唆する新しい手法を提案する。 我々はまた、計算目的のログ比のデータ表現であるANNが関係しているかどうかにも関心を持っている。 annは、適度なサイズで丸められたゼロのデータセットを暗示するときに、競争力があるか、あるいはパフォーマンスが良いことを示すことができる。 データセットが大きくなると、より良い結果が得られます。 また、ニューラルネットワークインプテーションにおける対数比変換は、それでも結果を改善するのに役立つことが分かる。 これは、合成データ分析の理論と合成データ分析の全ての特性の充足が深層学習の時代において依然として非常に重要であることを証明している。

Methods of deep learning have become increasingly popular in recent years, but they have not arrived in compositional data analysis. Imputation methods for compositional data are typically applied on additive, centered or isometric log-ratio representations of the data. Generally, methods for compositional data analysis can only be applied to observed positive entries in a data matrix. Therefore one tries to impute missing values or measurements that were below a detection limit. In this paper, a new method for imputing rounded zeros based on artificial neural networks is shown and compared with conventional methods. We are also interested in the question whether for ANNs, a representation of the data in log-ratios for imputation purposes, is relevant. It can be shown, that ANNs are competitive or even performing better when imputing rounded zeros of data sets with moderate size. They deliver better results when data sets are big. Also, we can see that log-ratio transformations within the artificial neural network imputation procedure nevertheless help to improve the results. This proves that the theory of compositional data analysis and the fulfillment of all properties of compositional data analysis is still very important in the age of deep learning.
翻訳日:2021-05-01 18:20:07 公開日:2020-12-18
# ビザンチンロバスト最適化の歴史から学ぶ

Learning from History for Byzantine Robust Optimization ( http://arxiv.org/abs/2012.10333v1 )

ライセンス: Link先を確認
Sai Praneeth Karimireddy, Lie He, Martin Jaggi(参考訳) ビザンチンの堅牢性は最近、分散学習と連合学習の重要性から注目されている。 それにもかかわらず,参加者間のデータ同一性が仮定された場合でも,既存のアルゴリズムの重大な欠陥を識別する。 まず、既存のロバストなアグリゲーションルールは、確率勾配における雑音の分布に過度に敏感であるため、ビザンチン攻撃者がいなくても収束しないことを示す。 第2に、たとえアグリゲーションルールが1ラウンドで攻撃者の影響力を制限することに成功しても、攻撃者は時間をかけて攻撃を衝突させ、最終的に分岐することを示す。 これらの問題に対処するために,我々は,新たな反復的クリッピング手順と,時間的結合による攻撃を克服するための作業者のモメンタムの導入という,驚くほどシンプルな2つの戦略を提示している。 これは標準確率的非凸最適化設定に対する最初の証明可能なロバストな方法である。

Byzantine robustness has received significant attention recently given its importance for distributed and federated learning. In spite of this, we identify severe flaws in existing algorithms even when the data across the participants is assumed to be identical. First, we show that most existing robust aggregation rules may not converge even in the absence of any Byzantine attackers, because they are overly sensitive to the distribution of the noise in the stochastic gradients. Secondly, we show that even if the aggregation rules may succeed in limiting the influence of the attackers in a single round, the attackers can couple their attacks across time eventually leading to divergence. To address these issues, we present two surprisingly simple strategies: a new iterative clipping procedure, and incorporating worker momentum to overcome time-coupled attacks. This is the first provably robust method for the standard stochastic non-convex optimization setting.
翻訳日:2021-05-01 18:19:50 公開日:2020-12-18
# カーネルPCAの性能に関する上下境界

Upper and Lower Bounds on the Performance of Kernel PCA ( http://arxiv.org/abs/2012.10369v1 )

ライセンス: Link先を確認
Maxime Haddouche and Benjamin Guedj and Omar Rivasplata and John Shawe-Taylor(参考訳) 主成分分析(PCA)は次元減少のための一般的な手法であり、何十年にもわたって不利な関心を集めてきた。 近年,カーネルPCAはPCAの拡張として現れているが,実際にはカーネルPCAの健全な理論的理解が欠落している。 本稿では,カーネルグラム行列の経験的固有値を含む,カーネルPCAの効率の低値と上値に寄与する。 2つの境界は固定推定値であり、2つはPAC-ベイズ理論によるランダム化推定値である。 我々は,カーネルPCAアルゴリズムの強みと限界を強調するために,カーネルPCAが取得する情報量を平均で制御する。 そこで我々は,カーネルPCAの理解を深めることに貢献した。 私たちの境界は、おもちゃの数値例に簡潔に示されています。

Principal Component Analysis (PCA) is a popular method for dimension reduction and has attracted an unfailing interest for decades. Recently, kernel PCA has emerged as an extension of PCA but, despite its use in practice, a sound theoretical understanding of kernel PCA is missing. In this paper, we contribute lower and upper bounds on the efficiency of kernel PCA, involving the empirical eigenvalues of the kernel Gram matrix. Two bounds are for fixed estimators, and two are for randomized estimators through the PAC-Bayes theory. We control how much information is captured by kernel PCA on average, and we dissect the bounds to highlight strengths and limitations of the kernel PCA algorithm. Therefore, we contribute to the better understanding of kernel PCA. Our bounds are briefly illustrated on a toy numerical example.
翻訳日:2021-05-01 18:19:34 公開日:2020-12-18
# 低ランク行列最適化のための行列指数勾配アルゴリズムの効率的な実装について

On the Efficient Implementation of the Matrix Exponentiated Gradient Algorithm for Low-Rank Matrix Optimization ( http://arxiv.org/abs/2012.10469v1 )

ライセンス: Link先を確認
Dan Garber, Atara Kaplan(参考訳) spectrahedron上の凸最適化、すなわち、単位トレースを持つすべての実$n\times n$正半定行列の集合は、機械学習、信号処理、統計学において重要な応用であり、主に低ランク行列による凸緩和のために用いられる。 これはまた、非ユークリッド法がユークリッド法に対して著しく好まれる凸最適化のための一階法の理論、特に(負の)フォン・ノイマンのエントロピーによって引き起こされるブレグマン距離に基づく行列指数勾配(meg)法の理論の最も顕著な例の1つである。 残念ながら、MEGの実装には各イテレーションで完全なSVD計算が必要である。 本稿では,低ランク行列の最適化に適した決定的勾配と確率的勾配を併用したMEGの効率的な実装を提案し,各イテレーションで1つの低ランクSVD計算のみを使用する。 また,本手法の正しい収束のための効率よく計算可能な証明書も提供する。 主に,厳密な相補条件下では,提案手法が完全svdベースと類似した「ウォームスタート」初期化から収束することを証明する。 最後に,我々の理論的知見を裏付ける実証実験を行い,本手法の実用的魅力を実証する。

Convex optimization over the spectrahedron, i.e., the set of all real $n\times n$ positive semidefinite matrices with unit trace, has important applications in machine learning, signal processing and statistics, mainly as a convex relaxation for optimization with low-rank matrices. It is also one of the most prominent examples in the theory of first-order methods for convex optimization in which non-Euclidean methods can be significantly preferable to their Euclidean counterparts, and in particular the Matrix Exponentiated Gradient (MEG) method which is based on the Bregman distance induced by the (negative) von Neumann entropy. Unfortunately, implementing MEG requires a full SVD computation on each iteration, which is not scalable to high-dimensional problems. In this work we propose efficient implementations of MEG, both with deterministic and stochastic gradients, which are tailored for optimization with low-rank matrices, and only use a single low-rank SVD computation on each iteration. We also provide efficiently-computab le certificates for the correct convergence of our methods. Mainly, we prove that under a strict complementarity condition, the suggested methods converge from a "warm-start" initialization with similar rates to their full-SVD-based counterparts. Finally, we bring empirical experiments which both support our theoretical findings and demonstrate the practical appeal of our methods.
翻訳日:2021-05-01 18:19:05 公開日:2020-12-18
# 動的トピックモデルを用いた特許分類法改正のための技術用語の技術進歩分析

Technical Progress Analysis Using a Dynamic Topic Model for Technical Terms to Revise Patent Classification Codes ( http://arxiv.org/abs/2012.10120v1 )

ライセンス: Link先を確認
Mana Iwata, Yoshiro Matsuda, Yoshimasa Utsumi, Yoshitoshi Tanaka, Kazuhide Nakata(参考訳) 日本の特許には、日本独自の特許分類コードFI(File Index)が割り当てられている。 fiは、日本の技術に関連する国際特許分類コード(ipc)のサブディビジョンである。 FIは技術開発に合わせて改訂される。 これらの改訂は2006年以来すでに30,000以上の新しいfisを確立している。 しかしながら、これらのリビジョンには多くの時間と作業負荷が必要です。 さらに、これらのリビジョンは自動化されておらず、非効率である。 したがって、機械学習を用いて特許分類コード(FI)の改訂を支援することにより、精度と効率が向上する。 本研究は,機械学習による特許分類コードの改訂を支援する新たな視点から,特許文書の分析を行う。 特許の時系列変化を分析するために,潜在ディリクレ割り当て(LDA)の拡張である動的トピックモデル(DTM)を用いた。 また、英語とは異なり、日本語は形態素解析を必要とする。 特許には日常生活で使われない多くの技術用語が含まれているため、共通辞書を用いた形態解析は不十分である。 そこで,テキストから専門用語を抽出する手法を用いた。 技術的用語を抽出した後,DTMに応用した。 本研究では,14年間の照明クラスF21の技術的進歩を,特許分類コードの実際の改訂と比較した。 言い換えれば、日本の特許から技術用語を抽出し、日本の技術の進歩を判断するためにDTMを適用した。 そこで我々は,機械学習による特許分類コードの変更という新たな視点から,その結果を分析した。 その結果,話題が高まりつつあるものが新技術であると判断された。

Japanese patents are assigned a patent classification code, FI (File Index), that is unique to Japan. FI is a subdivision of the IPC, an international patent classification code, that is related to Japanese technology. FIs are revised to keep up with technological developments. These revisions have already established more than 30,000 new FIs since 2006. However, these revisions require a lot of time and workload. Moreover, these revisions are not automated and are thus inefficient. Therefore, using machine learning to assist in the revision of patent classification codes (FI) will lead to improved accuracy and efficiency. This study analyzes patent documents from this new perspective of assisting in the revision of patent classification codes with machine learning. To analyze time-series changes in patents, we used the dynamic topic model (DTM), which is an extension of the latent Dirichlet allocation (LDA). Also, unlike English, the Japanese language requires morphological analysis. Patents contain many technical words that are not used in everyday life, so morphological analysis using a common dictionary is not sufficient. Therefore, we used a technique for extracting technical terms from text. After extracting technical terms, we applied them to DTM. In this study, we determined the technological progress of the lighting class F21 for 14 years and compared it with the actual revision of patent classification codes. In other words, we extracted technical terms from Japanese patents and applied DTM to determine the progress of Japanese technology. Then, we analyzed the results from the new perspective of revising patent classification codes with machine learning. As a result, it was found that those whose topics were on the rise were judged to be new technologies.
翻訳日:2021-05-01 18:18:41 公開日:2020-12-18
# 重なり関係抽出のための正規化注意カプセルネットワーク

Regularized Attentive Capsule Network for Overlapped Relation Extraction ( http://arxiv.org/abs/2012.10187v1 )

ライセンス: Link先を確認
Tianyi Liu, Xiangyu Lin, Weijia Jia, Mingliang Zhou, Wei Zhao(参考訳) 人的努力の必要の少ない知識ベース構築において,遠隔教師付き関係抽出が広く適用されている。 しかし,遠隔監視において自動的に確立された訓練データセットには,ノイズの多い単語と重なり合う関係を持つ低品質な事例が含まれており,正確な関係抽出には大きな課題が伴う。 そこで本研究では,各文の重なり関係をよりよく識別する新しい正規化カプセルネットワーク (ra-capnet) を提案する。 例えば、複数の関係性の特徴を発見するために、複数の頭がカプセルネットワークに低レベルカプセルとして組み込まれ、そこでは2つの実体の減算が新しい関係性クエリとして作用し、それらの位置に関わらず突出した特徴を選択する。 重なり合う関係性の特徴を更に識別するために,複数の注目ヘッドと低レベルのカプセルの多様性を明確に促進するために不一致正則化を考案した。 広範に使用されているデータセットを用いた大規模な実験により,関係抽出の大幅な改善が得られた。

Distantly supervised relation extraction has been widely applied in knowledge base construction due to its less requirement of human efforts. However, the automatically established training datasets in distant supervision contain low-quality instances with noisy words and overlapped relations, introducing great challenges to the accurate extraction of relations. To address this problem, we propose a novel Regularized Attentive Capsule Network (RA-CapNet) to better identify highly overlapped relations in each informal sentence. To discover multiple relation features in an instance, we embed multi-head attention into the capsule network as the low-level capsules, where the subtraction of two entities acts as a new form of relation query to select salient features regardless of their positions. To further discriminate overlapped relation features, we devise disagreement regularization to explicitly encourage the diversity among both multiple attention heads and low-level capsules. Extensive experiments conducted on widely used datasets show that our model achieves significant improvements in relation extraction.
翻訳日:2021-05-01 18:18:20 公開日:2020-12-18
# AdvExpander: テキストの拡張による自然言語の逆例の生成

AdvExpander: Generating Natural Language Adversarial Examples by Expanding Text ( http://arxiv.org/abs/2012.10235v1 )

ライセンス: Link先を確認
Zhihong Shao, Zitao Liu, Jiyong Zhang, Zhongqin Wu, Minlie Huang(参考訳) 機械学習モデルの脆弱性を明らかにするには、逆の例が不可欠である。 元の例でいくつかの文字や単語を置換する最も一般的な置換ベース手法の成功にもかかわらず、モデルのすべての堅牢性の問題を明らかにするには置換のみが不十分である。 本稿では,従来の置換法を補完するテキストを拡張することで,新たな逆例を構築する手法であるAdvExpanderを提案する。 まず言語規則を用いて,展開する構成要素と拡張する修飾子の種類を決定する。 次に,大規模コーパス上で事前学習したCVAEベース生成モデルから検索した逆変調器を挿入することにより,各構成成分を拡大する。 逆修正器を探索するために,事前学習されたパラメータを調整することなく,逆修正符号を直接検索する。 逆の例がテキストマッチングのためのラベル保存であることを保証するために、私たちはまた、変更をヒューリスティックなルールで制限します。 3つの分類課題に関する実験により,advexpanderの有効性が検証された。 AdvExpanderはテキスト拡張による新しいタイプの敵の例を作成し、それによって新しい堅牢性問題を明らかにすることを約束している。

Adversarial examples are vital to expose the vulnerability of machine learning models. Despite the success of the most popular substitution-based methods which substitutes some characters or words in the original examples, only substitution is insufficient to uncover all robustness issues of models. In this paper, we present AdvExpander, a method that crafts new adversarial examples by expanding text, which is complementary to previous substitution-based methods. We first utilize linguistic rules to determine which constituents to expand and what types of modifiers to expand with. We then expand each constituent by inserting an adversarial modifier searched from a CVAE-based generative model which is pre-trained on a large scale corpus. To search adversarial modifiers, we directly search adversarial latent codes in the latent space without tuning the pre-trained parameters. To ensure that our adversarial examples are label-preserving for text matching, we also constrain the modifications with a heuristic rule. Experiments on three classification tasks verify the effectiveness of AdvExpander and the validity of our adversarial examples. AdvExpander crafts a new type of adversarial examples by text expansion, thereby promising to reveal new robustness issues.
翻訳日:2021-05-01 18:17:46 公開日:2020-12-18
# ReINTEL Challenge 2020: ベトナムSNS上の信頼できない情報を検出するマルチモーダルアンサンブルモデル

ReINTEL Challenge 2020: A Multimodal Ensemble Model for Detecting Unreliable Information on Vietnamese SNS ( http://arxiv.org/abs/2012.10267v1 )

ライセンス: Link先を確認
Nguyen Manh Duc Tuan, Pham Quang Nhat Minh(参考訳) 本稿では,VLSP 2020 ReINTEL Challengeにおいて,実現不可能な情報識別のための手法を提案する。 タスクは、情報の断片を信頼できないカテゴリに分類することである。 本稿では,2つのマルチモーダルモデルを組み合わせた新しいマルチモーダルアンサンブルモデルを提案する。 各マルチモーダルモデルにおいて,テキスト,画像,メタデータの3つの異なるデータ型から得られた特徴表現を組み合わせた。 マルチモーダル特徴は3つのニューラルネットワークから派生し、分類のために融合される。 実験の結果, ROC AUCスコアでは, 単一モデルに対するマルチモーダルアンサンブルモデルが改善された。 課題のプライベートテストで0.9445 AUCのスコアを得た。

In this paper, we present our methods for unrealiable information identification task at VLSP 2020 ReINTEL Challenge. The task is to classify a piece of information into reliable or unreliable category. We propose a novel multimodal ensemble model which combines two multimodal models to solve the task. In each multimodal model, we combined feature representations acquired from three different data types: texts, images, and metadata. Multimodal features are derived from three neural networks and fused for classification. Experimental results showed that our proposed multimodal ensemble model improved against single models in term of ROC AUC score. We obtained 0.9445 AUC score on the private test of the challenge.
翻訳日:2021-05-01 18:17:29 公開日:2020-12-18
# 具体的強化学習の階層的原理--概観

Hierarchical principles of embodied reinforcement learning: A review ( http://arxiv.org/abs/2012.10147v1 )

ライセンス: Link先を確認
Manfred Eppe, Christian Gumbsch, Matthias Kerzel, Phuong D.H. Nguyen, Martin V. Butz and Stefan Wermter(参考訳) 認知心理学と関連する分野は、知的生物学的エージェントが複雑な問題を解決することを学べるいくつかの重要なメカニズムを特定してきた。 これらの種の問題解決スキルを可能にする認知メカニズムが階層的な精神表現の上に構築されているという、強い証拠がある。 人工知能やロボットに匹敵する学習に基づく問題解決能力を提供する最も有望な計算手法は階層的な強化学習である。 しかし、これまでの計算手法では、人間や非ヒトの霊長類、カラス、タコなど、知的動物に匹敵する問題解決能力を持つ人工エージェントを装備することはできなかった。 ここでは,まず認知心理学や関連分野の文献を調査し,構成的抽象化,好奇心,前方モデルなど,多くの重要な心的メカニズムが関与していることを見いだした。 次に,これらの知見を現代的階層的強化学習法と関連付け,これらのメカニズムを実現する重要な機械知のアプローチを特定する。 結論として,すべての重要な認知メカニズムが独立した計算アーキテクチャで独立に実装されてきたことを示し,それらを適切に統合するアプローチの欠如を明らかにした。 今後の人工エージェントが知的動物のレベルで問題解決性能を達成するために,より洗練された認知的インスパイアされた階層的手法の開発を導くことを期待する。

Cognitive Psychology and related disciplines have identified several critical mechanisms that enable intelligent biological agents to learn to solve complex problems. There exists pressing evidence that the cognitive mechanisms that enable problem-solving skills in these species build on hierarchical mental representations. Among the most promising computational approaches to provide comparable learning-based problem-solving abilities for artificial agents and robots is hierarchical reinforcement learning. However, so far the existing computational approaches have not been able to equip artificial agents with problem-solving abilities that are comparable to intelligent animals, including human and non-human primates, crows, or octopuses. Here, we first survey the literature in Cognitive Psychology, and related disciplines, and find that many important mental mechanisms involve compositional abstraction, curiosity, and forward models. We then relate these insights with contemporary hierarchical reinforcement learning methods, and identify the key machine intelligence approaches that realise these mechanisms. As our main result, we show that all important cognitive mechanisms have been implemented independently in isolated computational architectures, and there is simply a lack of approaches that integrate them appropriately. We expect our results to guide the development of more sophisticated cognitively inspired hierarchical methods, so that future artificial agents achieve a problem-solving performance on the level of intelligent animals.
翻訳日:2021-05-01 18:17:09 公開日:2020-12-18
# どのヒーローを選ぶか? ニューラルネットワークと木探索によるMOBAゲームにおけるドラフト学習

Which Heroes to Pick? Learning to Draft in MOBA Games with Neural Networks and Tree Search ( http://arxiv.org/abs/2012.10171v1 )

ライセンス: Link先を確認
Sheng Chen, Menghui Zhu, Deheng Ye, Weinan Zhang, Qiang Fu, Wei Yang(参考訳) ヒーローのドラフトはMOBAゲームプレイにおいて不可欠であり、各サイドのチームを構築し、マッチ結果に直接影響を与える。 1)ヒーロープールが拡張されたときのドラフト効率、2)MOBA 5v5マッチシリーズのマルチラウンドの性質、すなわち2つのチームがベスト・オブ・Nをプレーし、同じヒーローがシリーズ全体を通して1回だけドラフトされる。 本稿では,複数ラウンドの組合せゲームとしてドラフト処理を定式化し,ニューラルネットワークとモンテカルロ木探索に基づく新しいドラフトアルゴリズムであるJueWuDraftを提案する。 具体的には,Nの最良の起案事例を扱うための長期値推定機構を設計する。 現在最も人気のあるMOBAゲームの一つであるHonor of Kingsをランニングケースとして、JueWuDraftの最先端のドラフト手法と比較して実用性と有効性を示す。

Hero drafting is essential in MOBA game playing as it builds the team of each side and directly affects the match outcome. State-of-the-art drafting methods fail to consider: 1) drafting efficiency when the hero pool is expanded; 2) the multi-round nature of a MOBA 5v5 match series, i.e., two teams play best-of-N and the same hero is only allowed to be drafted once throughout the series. In this paper, we formulate the drafting process as a multi-round combinatorial game and propose a novel drafting algorithm based on neural networks and Monte-Carlo tree search, named JueWuDraft. Specifically, we design a long-term value estimation mechanism to handle the best-of-N drafting case. Taking Honor of Kings, one of the most popular MOBA games at present, as a running case, we demonstrate the practicality and effectiveness of JueWuDraft when compared to state-of-the-art drafting methods.
翻訳日:2021-05-01 18:16:47 公開日:2020-12-18
# 信念伝播によるスマートグリッドの潮流状態推定

State Estimation of Power Flows for Smart Grids via Belief Propagation ( http://arxiv.org/abs/2012.10473v1 )

ライセンス: Link先を確認
Tim Ritmeester and Hildegard Meyer-Ortmanns(参考訳) 信念の伝播は統計物理学と計算機科学から知られているアルゴリズムである。 これは、マージンを近似するために、マージンのネスト化された積に効率的に並べ替えられる、大量の積を含むマージンを計算する効率的な方法を提供する。 これにより、電力網管理の制御と予測に必要な状態と電力網の分散の信頼性の高い推定が可能になる。 ieeeグリッドの原型的な例では、信念伝達は状態推定自体のグリッドサイズと線形にスケールするだけでなく、欠落したデータの検索を促進・加速し、測定単位の最適な位置決めを可能にする。 信念の伝播に基づいて,局所的な情報のみを用いた他のアルゴリズムが与えられたグリッドの状態推定に適切かどうかを評価するための基準を与える。 また,粗粒度バージョンをより大きなグリッドに組み込んだ場合の計算労力を削減する表現に対して,信念伝達を粗粒化パワーグリッドに活用できることを実証する。 異なる領域間の流量推定誤差を最小限に抑えるため、電力グリッドを領域に分割するための基準を提供する。

Belief propagation is an algorithm that is known from statistical physics and computer science. It provides an efficient way of calculating marginals that involve large sums of products which are efficiently rearranged into nested products of sums to approximate the marginals. It allows a reliable estimation of the state and its variance of power grids that is needed for the control and forecast of power grid management. At prototypical examples of IEEE-grids we show that belief propagation not only scales linearly with the grid size for the state estimation itself, but also facilitates and accelerates the retrieval of missing data and allows an optimized positioning of measurement units. Based on belief propagation, we give a criterion for how to assess whether other algorithms, using only local information, are adequate for state estimation for a given grid. We also demonstrate how belief propagation can be utilized for coarse-graining power grids towards representations that reduce the computational effort when the coarse-grained version is integrated into a larger grid. It provides a criterion for partitioning power grids into areas in order to minimize the error of flow estimates between different areas.
翻訳日:2021-05-01 18:16:30 公開日:2020-12-18
# OcSaFPNによるノイズのある空中画像の物体検出

Object Detection based on OcSaFPN in Aerial Images with Noise ( http://arxiv.org/abs/2012.09859v1 )

ライセンス: Link先を確認
Chengyuan Li, Jun Liu, Hailong Hong, Wenju Mao, Chenjie Wang, Chudi Hu, Xin Su, Bin Luo(参考訳) 深層学習に基づくアルゴリズムを考慮に入れることは、空中画像における物体検出性能を高める重要な方法となっている。 様々なニューラルネットワーク表現が開発されているが、従来の研究は、特に望遠レンズ付きカメラで撮影されたノイズのある空中画像において、ノイズ回復性能を調べるのに非効率であり、ほとんどの研究はノイズ除去の分野に集中している。 ノイズレジリエントは、アルゴリズム自体の属性である異なるノイズに対するネットワーク自体の堅牢性の記述である。 このため、ニューラルネットワークの雑音回復性能を分析し、ノイズ回復構造を構築するための2つの仮説を提案する。 これらの仮説に基づき,oct-resnetの耐雑音性能と周波数分割処理と一般のresnetを比較した。 また,従来はOcto-ResNetの周波数分割特徴マップのためには設計されておらず,異なる深度から多様な特徴マップ間の意味的ギャップを埋めることに注意が払われている。 このことから,新しいオクターブ畳み込み型セマンティックアテンション特徴ピラミッドネットワーク(OcSaFPN)が提案され,ノイズによる物体検出の精度が向上した。 3つのデータセットでテストされた提案アルゴリズムは,提案手法がガウス雑音や乗法雑音を伴う最先端検出性能を実現することを示す。 さらに、OcSaFPN構造を既存のアルゴリズムに簡単に付加でき、耐雑音性能を効果的に向上できることが多くの実験で証明されている。

Taking the deep learning-based algorithms into account has become a crucial way to boost object detection performance in aerial images. While various neural network representations have been developed, previous works are still inefficient to investigate the noise-resilient performance, especially on aerial images with noise taken by the cameras with telephoto lenses, and most of the research is concentrated in the field of denoising. Of course, denoising usually requires an additional computational burden to obtain higher quality images, while noise-resilient is more of a description of the robustness of the network itself to different noises, which is an attribute of the algorithm itself. For this reason, the work will be started by analyzing the noise-resilient performance of the neural network, and then propose two hypotheses to build a noise-resilient structure. Based on these hypotheses, we compare the noise-resilient ability of the Oct-ResNet with frequency division processing and the commonly used ResNet. In addition, previous feature pyramid networks used for aerial object detection tasks are not specifically designed for the frequency division feature maps of the Oct-ResNet, and they usually lack attention to bridging the semantic gap between diverse feature maps from different depths. On the basis of this, a novel octave convolution-based semantic attention feature pyramid network (OcSaFPN) is proposed to get higher accuracy in object detection with noise. The proposed algorithm tested on three datasets demonstrates that the proposed OcSaFPN achieves a state-of-the-art detection performance with Gaussian noise or multiplicative noise. In addition, more experiments have proved that the OcSaFPN structure can be easily added to existing algorithms, and the noise-resilient ability can be effectively improved.
翻訳日:2021-05-01 18:15:13 公開日:2020-12-18
# 完全畳み込みネットワークによる自己教師型学習

Self-supervised Learning with Fully Convolutional Networks ( http://arxiv.org/abs/2012.10017v1 )

ライセンス: Link先を確認
Zhengeng Yang, Hongshan Yu, Yong He, Zhi-Hong Mao, Ajmal Mian(参考訳) 深層学習に基づく手法は多くのコンピュータビジョンタスクで大きな成功を収めてきたが、その性能は典型的には入手が困難である大量の注釈付きサンプルに依存している。 本稿では,セマンティックセグメンテーションのためのラベルのないデータから表現を学習する問題に焦点を当てる。 2つのパッチベース手法に着想を得て,jigsawパズル問題をパッチワイズ分類プロセスとして定式化し,完全畳み込みネットワークを用いて解く,新しい自己教師付き学習フレームワークを開発した。 Jigsaw Puzzleを25のパッチで解決し、学習した機能をCityscapesデータセットのセマンティックセグメンテーションタスクに転送することで、ランダムな値から初期化したベースラインモデルよりも5.8ポイント改善できる。 さらに,本研究の自己教師型学習手法が,異なるデータセットやモデルに適用可能であることを示す。 特に,PASCAL VOC2012データセットの最先端手法との競合性能は,少ないトレーニング画像を用いて達成した。

Although deep learning based methods have achieved great success in many computer vision tasks, their performance relies on a large number of densely annotated samples that are typically difficult to obtain. In this paper, we focus on the problem of learning representation from unlabeled data for semantic segmentation. Inspired by two patch-based methods, we develop a novel self-supervised learning framework by formulating the Jigsaw Puzzle problem as a patch-wise classification process and solving it with a fully convolutional network. By learning to solve a Jigsaw Puzzle problem with 25 patches and transferring the learned features to semantic segmentation task on Cityscapes dataset, we achieve a 5.8 percentage point improvement over the baseline model that initialized from random values. Moreover, experiments show that our self-supervised learning method can be applied to different datasets and models. In particular, we achieved competitive performance with the state-of-the-art methods on the PASCAL VOC2012 dataset using significant fewer training images.
翻訳日:2021-05-01 18:14:16 公開日:2020-12-18
# 実世界スーパーレゾリューションの周波数整合適応

Frequency Consistent Adaptation for Real World Super Resolution ( http://arxiv.org/abs/2012.10102v1 )

ライセンス: Link先を確認
Xiaozhong Ji, Guangpin Tao, Yun Cao, Ying Tai, Tong Lu, Chengjie Wang, Jilin Li, Feiyue Huang(参考訳) 近年の深層学習に基づく超解法 (SR) は, 劣化した画像に対して顕著な性能を発揮している。 しかし、理想的な分解後の低解像度(lr)画像(例えば、bicubic down-sampling)は、実際のソースドメインから逸脱するため、これらの手法は常に実際のシーンでは失敗する。 LR画像と実世界の画像との領域ギャップは周波数密度ではっきりと観察でき、不正確な劣化に起因する望ましくないギャップを明示的に狭めるきっかけとなる。 この観点から、既存のSR手法を実シーンに適用する際の周波数領域の整合性を保証する新しい周波数一貫性適応(FCA)を設計する。 教師なし画像から劣化カーネルを推定し、対応するLR画像を生成する。 カーネル推定に有用な勾配情報を提供するため,画像の周波数密度を異なるスケールで区別して周波数密度比較器(fdc)を提案する。 ドメイン一貫性のあるLR-HRペアに基づいて、容易に実装可能な畳み込みニューラルネットワーク(CNN)SRモデルを訓練する。 広範な実験により,提案手法は実世界におけるsrモデルの性能を向上し,高い忠実度と妥当な知覚を実現し,実世界srアプリケーションのための新しい効果的なフレームワークを提供することが示された。

Recent deep-learning based Super-Resolution (SR) methods have achieved remarkable performance on images with known degradation. However, these methods always fail in real-world scene, since the Low-Resolution (LR) images after the ideal degradation (e.g., bicubic down-sampling) deviate from real source domain. The domain gap between the LR images and the real-world images can be observed clearly on frequency density, which inspires us to explictly narrow the undesired gap caused by incorrect degradation. From this point of view, we design a novel Frequency Consistent Adaptation (FCA) that ensures the frequency domain consistency when applying existing SR methods to the real scene. We estimate degradation kernels from unsupervised images and generate the corresponding LR images. To provide useful gradient information for kernel estimation, we propose Frequency Density Comparator (FDC) by distinguishing the frequency density of images on different scales. Based on the domain-consistent LR-HR pairs, we train easy-implemented Convolutional Neural Network (CNN) SR models. Extensive experiments show that the proposed FCA improves the performance of the SR model under real-world setting achieving state-of-the-art results with high fidelity and plausible perception, thus providing a novel effective framework for real-world SR application.
翻訳日:2021-05-01 18:13:30 公開日:2020-12-18
# 都市景観におけるハイパースペクトル画像意味セグメンテーション

Hyperspectral Image Semantic Segmentation in Cityscapes ( http://arxiv.org/abs/2012.10122v1 )

ライセンス: Link先を確認
Yuxing Huang, Erqi Huang, Linsen Chen, Shaodi You, Ying Fu and Qiu Shen(参考訳) 高分解能ハイパースペクトル画像(HSIs)は、複雑なシーンにおける様々な物体を効果的に識別するために、異なるスペクトル帯域における各画素の応答を含む。 HSIカメラは低コストになったが、それに基づくアルゴリズムは十分に活用されていない。 本稿では,hsisを用いた都市景観における半教師付き意味セグメンテーション(半教師付き意味セグメンテーション)という新しいトピックに注目し,都市シーンにおける高分解能hsisには豊かなスペクトル情報が含まれているという考えに基づく。 そこで本研究では, 複雑な場面において, 低コストで信頼性の高いセマンティクスセグメンテーションを実現する。特に, スペクトル情報を利用して粗いラベルを高精度に改善する半教師付きhsiセマンティクスセグメンテーションネットワークを提案する。 同時に、最適化されたラベルはセマンティックセグメンテーションの効果を効果的に改善できることを示した。 HSIとセマンティックセグメンテーションの組み合わせは、ハイレベルな視覚タスクにおいてHSIが大きな可能性を証明している。

High-resolution hyperspectral images (HSIs) contain the response of each pixel in different spectral bands, which can be used to effectively distinguish various objects in complex scenes. While HSI cameras have become low cost, algorithms based on it has not been well exploited. In this paper, we focus on a novel topic, semi-supervised semantic segmentation in cityscapes using HSIs.It is based on the idea that high-resolution HSIs in city scenes contain rich spectral information, which can be easily associated to semantics without manual labeling. Therefore, it enables low cost, highly reliable semantic segmentation in complex scenes.Specifically, in this paper, we introduce a semi-supervised HSI semantic segmentation network, which utilizes spectral information to improve the coarse labels to a finer degree.The experimental results show that our method can obtain highly competitive labels and even have higher edge fineness than artificial fine labels in some classes. At the same time, the results also show that the optimized labels can effectively improve the effect of semantic segmentation. The combination of HSIs and semantic segmentation proves that HSIs have great potential in high-level visual tasks.
翻訳日:2021-05-01 18:13:09 公開日:2020-12-18
# CodeVIO: 学習可能なDense深さを持つビジュアル慣性オドメトリー

CodeVIO: Visual-Inertial Odometry with Learned Optimizable Dense Depth ( http://arxiv.org/abs/2012.10133v1 )

ライセンス: Link先を確認
Xingxing Zuo, Nathaniel Merrill, Wei Li, Yong Liu, Marc Pollefeys, Guoquan Huang(参考訳) 本研究では,高精度な状態推定と深度マップを提供する,軽量で密結合の深度ネットワークと視覚慣性オドメトリー(VIO)システムを提案する。 提案する軽量条件付き変分オートエンコーダ(cvae)を奥行き推定とエンコーディングに活用し,vioのそれまでの細分化された特徴をネットワークに与え,初期深度予測と一般化能力の精度を向上させる。 コンパクトなエンコードされた深度マップは、密集したローカルシーンの幾何学を提供するために、スライディングウィンドウ推定器のナビゲーション状態と共同で更新される。 また, CVAE のジャコビアンを従来よりも1桁以上高速に取得できる新しい手法を提案し, また, 第一推定ジャコビアン (FEJ) を用いて再計算を回避する。 完全高密度残差に依存する従来の研究とは対照的に、深度コード更新のための疎度測定のみを提供し、スパース測定とFEJの選択が依然として推定深度マップを大幅に改善できることを示す。 また,本システムでは,ネットワークとコードヤコビアンにのみGPUアクセラレーションを活用しながら,シングルスレッド実行でリアルタイムに動作可能であることを示す。

In this work, we present a lightweight, tightly-coupled deep depth network and visual-inertial odometry (VIO) system, which can provide accurate state estimates and dense depth maps of the immediate surroundings. Leveraging the proposed lightweight Conditional Variational Autoencoder (CVAE) for depth inference and encoding, we provide the network with previously marginalized sparse features from VIO to increase the accuracy of initial depth prediction and generalization capability. The compact encoded depth maps are then updated jointly with navigation states in a sliding window estimator in order to provide the dense local scene geometry. We additionally propose a novel method to obtain the CVAE's Jacobian which is shown to be more than an order of magnitude faster than previous works, and we additionally leverage First-Estimate Jacobian (FEJ) to avoid recalculation. As opposed to previous works relying on completely dense residuals, we propose to only provide sparse measurements to update the depth code and show through careful experimentation that our choice of sparse measurements and FEJs can still significantly improve the estimated depth maps. Our full system also exhibits state-of-the-art pose estimation accuracy, and we show that it can run in real-time with single-thread execution while utilizing GPU acceleration only for the network and code Jacobian.
翻訳日:2021-05-01 18:12:43 公開日:2020-12-18
# SCNet: インスタンスセグメンテーションのためのトレーニング推論サンプル一貫性

SCNet: Training Inference Sample Consistency for Instance Segmentation ( http://arxiv.org/abs/2012.10150v1 )

ライセンス: Link先を確認
Thang Vu, Haeyong Kang, Chang D. Yoo(参考訳) カスケードアーキテクチャは、オブジェクト検出とインスタンスセグメンテーションで大幅なパフォーマンス改善をもたらした。 しかし、IoU(Intersection-ove r-Union)のトレーニングと推論の間には、サンプルの分布の格差に関する大きな問題がある。 この差は検出精度を悪化させる可能性がある。 本稿では,学習時間におけるサンプルのiou分布が推定時間と近いことを保証するため,サンプル一貫性ネットワーク(scnet)と呼ばれるアーキテクチャを提案する。 さらに、SCNetは機能リレーを導入し、グローバルコンテキスト情報を利用して、サブタスクの分類、検出、セグメンテーションの相互関係をさらに強化する。 標準COCOデータセットに対する大規模な実験により,ボックスAP,マスクAP,推論速度など,複数の評価指標に対する提案手法の有効性が明らかになった。 特に,38\%高速動作中に提案するscnetは,強力なカスケードマスクr-cnnベースラインと比較して,箱のapとマスク予測をそれぞれ1.3ポイント,2.3ポイント向上させた。 コードは \url{https://github.com/t hangvubk/SCNet} で入手できる。

Cascaded architectures have brought significant performance improvement in object detection and instance segmentation. However, there are lingering issues regarding the disparity in the Intersection-over-Un ion (IoU) distribution of the samples between training and inference. This disparity can potentially exacerbate detection accuracy. This paper proposes an architecture referred to as Sample Consistency Network (SCNet) to ensure that the IoU distribution of the samples at training time is close to that at inference time. Furthermore, SCNet incorporates feature relay and utilizes global contextual information to further reinforce the reciprocal relationships among classifying, detecting, and segmenting sub-tasks. Extensive experiments on the standard COCO dataset reveal the effectiveness of the proposed method over multiple evaluation metrics, including box AP, mask AP, and inference speed. In particular, while running 38\% faster, the proposed SCNet improves the AP of the box and mask predictions by respectively 1.3 and 2.3 points compared to the strong Cascade Mask R-CNN baseline. Code is available at \url{https://github.com/t hangvubk/SCNet}.
翻訳日:2021-05-01 18:12:20 公開日:2020-12-18
# 深部表現学習のためのホリスティック誘導デコーダと意味セグメンテーションとオブジェクト検出への応用

A Holistically-Guided Decoder for Deep Representation Learning with Applications to Semantic Segmentation and Object Detection ( http://arxiv.org/abs/2012.10162v1 )

ライセンス: Link先を確認
Jianbo Liu, Sijie Ren, Yuanjie Zheng, Xiaogang Wang, Hongsheng Li(参考訳) 高レベルかつ高解像度な特徴表現は、様々な視覚的理解タスクにおいて非常に重要である。 高レベルのセマンティック情報を持つ高解像度特徴写像を得るために、バックボーンネットワークに拡張畳み込みを導入し、セマンティックセグメンテーションのための拡張FCN法のような高解像度特徴写像を抽出する。 しかし、多くの畳み込み操作が高分解能特徴マップ上で実行されるため、そのような手法は計算の複雑さとメモリ消費が大きい。 本稿では,エンコーダからマルチスケール機能を介して高分解能なセマンティクスリッチ特徴マップを得るために導入された,新たなホリスティック誘導デコーダを提案する。 このデコーディングは、エンコーダの機能から高レベルと低レベルの両方の機能の利点を生かした、新しい総合的なコードワード生成とコードワードアセンブリ操作によって実現される。 提案手法では, セマンティックセグメンテーションのための効率的なFCNアーキテクチャとオブジェクト検出とインスタンスセグメンテーションのためのHGD-FPNを実装した。 EfficientFCNは、PASCAL Context, PASCAL VOC, ADE20Kデータセット上のセマンティックセグメンテーションの計算コストの1/3しか持たない最先端の手法に比べて、同等またはそれ以上の性能を達成する。 一方、提案されたHGD-FPNは、ResNet-50エンコードバックボーンで複数のオブジェクト検出フレームワークに統合された場合、平均平均精度(mAP)が$>2\%以上に達する。

Both high-level and high-resolution feature representations are of great importance in various visual understanding tasks. To acquire high-resolution feature maps with high-level semantic information, one common strategy is to adopt dilated convolutions in the backbone networks to extract high-resolution feature maps, such as the dilatedFCN-based methods for semantic segmentation. However, due to many convolution operations are conducted on the high-resolution feature maps, such methods have large computational complexity and memory consumption. In this paper, we propose one novel holistically-guided decoder which is introduced to obtain the high-resolution semantic-rich feature maps via the multi-scale features from the encoder. The decoding is achieved via novel holistic codeword generation and codeword assembly operations, which take advantages of both the high-level and low-level features from the encoder features. With the proposed holistically-guided decoder, we implement the EfficientFCN architecture for semantic segmentation and HGD-FPN for object detection and instance segmentation. The EfficientFCN achieves comparable or even better performance than state-of-the-art methods with only 1/3 of their computational costs for semantic segmentation on PASCAL Context, PASCAL VOC, ADE20K datasets. Meanwhile, the proposed HGD-FPN achieves $>2\%$ higher mean Average Precision (mAP) when integrated into several object detection frameworks with ResNet-50 encoding backbones.
翻訳日:2021-05-01 18:12:01 公開日:2020-12-18
# LGENet: 航空機搭載レーザー走査点雲のセマンティックセグメンテーションのためのローカルおよびグローバルエンコーダネットワーク

LGENet: Local and Global Encoder Network for Semantic Segmentation of Airborne Laser Scanning Point Clouds ( http://arxiv.org/abs/2012.10192v1 )

ライセンス: Link先を確認
Yaping Lin, George Vosselman, Yanpeng Cao, Michael Ying Yang(参考訳) 空中レーザー走査(ALS)点雲の解釈は、3次元都市モデル、デジタル地形モデル、土地利用地図などの様々な地理情報製品を生産するための重要な手順である。 本稿では,ALS点雲のセマンティックセグメンテーションのためのローカルおよびグローバルエンコーダネットワーク(LGENet)を提案する。 KPConvネットワークに適応して,まず2次元と3次元の点畳み込みによって特徴を抽出し,ネットワークがより代表的な局所幾何学を学習できるようにする。 次に、ネットワーク内でグローバルエンコーダを使用して、オブジェクトとポイントレベルのコンテキスト情報を利用する。 セグメント間のグローバルコンテキストを符号化するセグメントベースのエッジ条件付き畳み込みを設計する。 ネットワークの最後に空間チャネルアテンションモジュールを適用することで,ポイント間のグローバルな相互依存を捉えるだけでなく,チャネル間のインタラクションをモデル化する。 提案手法をISPRSベンチマークデータセットとDCF2019データセットの2つのALSデータセット上で評価する。 ISPRSベンチマークデータセットでは, 平均F1スコアが0.737, 0.845, 平均F1スコアが0.737である。 DFC2019データセットに関して、提案するネットワークは、0.984の総合精度と平均F1スコアの0.834を達成する。

Interpretation of Airborne Laser Scanning (ALS) point clouds is a critical procedure for producing various geo-information products like 3D city models, digital terrain models and land use maps. In this paper, we present a local and global encoder network (LGENet) for semantic segmentation of ALS point clouds. Adapting the KPConv network, we first extract features by both 2D and 3D point convolutions to allow the network to learn more representative local geometry. Then global encoders are used in the network to exploit contextual information at the object and point level. We design a segment-based Edge Conditioned Convolution to encode the global context between segments. We apply a spatial-channel attention module at the end of the network, which not only captures the global interdependencies between points but also models interactions between channels. We evaluate our method on two ALS datasets namely, the ISPRS benchmark dataset and DCF2019 dataset. For the ISPRS benchmark dataset, our model achieves state-of-the-art results with an overall accuracy of 0.845 and an average F1 score of 0.737. With regards to the DFC2019 dataset, our proposed network achieves an overall accuracy of 0.984 and an average F1 score of 0.834.
翻訳日:2021-05-01 18:11:36 公開日:2020-12-18
# 軽量3次元点融合による単眼深度推定

Boosting Monocular Depth Estimation with Lightweight 3D Point Fusion ( http://arxiv.org/abs/2012.10296v1 )

ライセンス: Link先を確認
Lam Huynh, Phong Nguyen, Jiri Matas, Esa Rahtu, Janne Heikkila(参考訳) 本稿では,従来の多視点ステレオやslamを用いた単眼深度推定法を用いて,両世界の精巧さ,すなわち,第1の濃密な深さと第2の視点の軽量さを生かした。 より具体的には、単眼深度推定ネットワークに供給され、その性能を高めるために、従来のパイプラインを用いてスパース3Dポイントクラウドを生成する。 このように、重みがかなり少ないマルチビューステレオと同様の精度を実現することができる。 また,最善の単眼深度推定法を上回るためには,32点以下でも十分であり,追加情報を最大限に活用するには約200点であることを示した。 さらに,モバイルデバイス上に内蔵されたSLAMシステムと統合することで,本手法の有効性を示す。

In this paper, we address the problem of fusing monocular depth estimation with a conventional multi-view stereo or SLAM to exploit the best of both worlds, that is, the accurate dense depth of the first one and lightweightness of the second one. More specifically, we use a conventional pipeline to produce a sparse 3D point cloud that is fed to a monocular depth estimation network to enhance its performance. In this way, we can achieve accuracy similar to multi-view stereo with a considerably smaller number of weights. We also show that even as few as 32 points is sufficient to outperform the best monocular depth estimation methods, and around 200 points to gain full advantage of the additional information. Moreover, we demonstrate the efficacy of our approach by integrating it with a SLAM system built-in on mobile devices.
翻訳日:2021-05-01 18:10:54 公開日:2020-12-18
# 複雑な3次元自己接触の学習

Learning Complex 3D Human Self-Contact ( http://arxiv.org/abs/2012.10366v1 )

ライセンス: Link先を確認
Mihai Fieraru, Mihai Zanfir, Elisabeta Oneata, Alin-Ionut Popa, Vlad Olaru, Cristian Sminchisescu(参考訳) 身体言語理解と行動モデリングを含む詳細な情景分析には,3次元自己接触の単眼的推定が基本である。 既存の3d再構成法は、自己接触の身体領域に焦点を合わせず、触るべき時に互いに遠く離れているか、あるいは自己干渉している構成を回復する。 これは、詳細な3dモデルが重要な役割を果たすことが期待される非常にきめ細かい分析領域において、知覚的に誤った推定と影響の制限につながる。 このような課題に対処するため、私たちは自己接触を検出し、明示的に強制するために3dロスを設計する。 具体的には, トレーニングと推論の両方において, 画像中の自己接触の局在を利用して, 自己接触体表面のシグネチャを推定する自己接触予測モデル(scp)を開発した。 学習と評価をサポートするために2つの大きなデータセットを収集した: (1) humanc3dは、5,058ドルのコンタクトイベントと1246,487ドルのグランド・トゥルート3dポーズを含む正確な3dモーションキャプチャーリポジトリであり、(2) flickrsc3dは3,969ドルのイメージのリポジトリで、25,297ドルの表面対面対応と注釈付き画像空間サポートを含んでいる。 また,より正確な自己接触モデルによって実現された複数の応用の1つとして,より表現力のある3次元再構成を自己接触署名制約の下でどのように回収するかを述べる。

Monocular estimation of three dimensional human self-contact is fundamental for detailed scene analysis including body language understanding and behaviour modeling. Existing 3d reconstruction methods do not focus on body regions in self-contact and consequently recover configurations that are either far from each other or self-intersecting, when they should just touch. This leads to perceptually incorrect estimates and limits impact in those very fine-grained analysis domains where detailed 3d models are expected to play an important role. To address such challenges we detect self-contact and design 3d losses to explicitly enforce it. Specifically, we develop a model for Self-Contact Prediction (SCP), that estimates the body surface signature of self-contact, leveraging the localization of self-contact in the image, during both training and inference. We collect two large datasets to support learning and evaluation: (1) HumanSC3D, an accurate 3d motion capture repository containing $1,032$ sequences with $5,058$ contact events and $1,246,487$ ground truth 3d poses synchronized with images collected from multiple views, and (2) FlickrSC3D, a repository of $3,969$ images, containing $25,297$ surface-to-surface correspondences with annotated image spatial support. We also illustrate how more expressive 3d reconstructions can be recovered under self-contact signature constraints and present monocular detection of face-touch as one of the multiple applications made possible by more accurate self-contact models.
翻訳日:2021-05-01 18:10:25 公開日:2020-12-18
# オーバーヘッド画像からの動的交通モデリング

Dynamic Traffic Modeling From Overhead Imagery ( http://arxiv.org/abs/2012.10530v1 )

ライセンス: Link先を確認
Scott Workman, Nathan Jacobs(参考訳) 私たちの目標は,日曜日の午前3時にタイムズスクエアを横切る速度など,トラフィックフローのパターンを理解するために,オーバーヘッドイメージを使用することです。 この問題を解決する伝統的なアプローチは、各道路セグメントの速度を時間の関数としてモデル化することである。 しかし、この戦略は、モデルが使われる前に大量のデータが最初に収集されなければならず、新しい領域に一般化できないという点で制限されている。 そこで我々は,畳み込みニューラルネットワークを用いて交通速度の動的マップを生成する手法を提案する。 本手法は頭上画像で動作し, 位置と時刻を条件とし, 移動方向と対応する移動速度を捉えた局所運動モデルを出力する。 モデルをトレーニングするには、ニューヨーク市から収集した歴史的交通データを活用する。 実験により,本手法を都市交通モデルに応用できることを実証した。

Our goal is to use overhead imagery to understand patterns in traffic flow, for instance answering questions such as how fast could you traverse Times Square at 3am on a Sunday. A traditional approach for solving this problem would be to model the speed of each road segment as a function of time. However, this strategy is limited in that a significant amount of data must first be collected before a model can be used and it fails to generalize to new areas. Instead, we propose an automatic approach for generating dynamic maps of traffic speeds using convolutional neural networks. Our method operates on overhead imagery, is conditioned on location and time, and outputs a local motion model that captures likely directions of travel and corresponding travel speeds. To train our model, we take advantage of historical traffic data collected from New York City. Experimental results demonstrate that our method can be applied to generate accurate city-scale traffic models.
翻訳日:2021-05-01 18:09:38 公開日:2020-12-18
# GANによる顔変形攻撃に対する顔認識のロバスト性

Robustness of Facial Recognition to GAN-based Face-morphing Attacks ( http://arxiv.org/abs/2012.10548v1 )

ライセンス: Link先を確認
Richard T. Marriott, Sami Romdhani, St\'ephane Gentric and Liming Chen(参考訳) 顔の変形攻撃は何年も前から懸念されてきた。 攻撃者の一歩先を行くために、研究者たちはモルヒネ画像の作成と検出の方法を提案してきた。 しかし、これらの検出方法は一般に不十分であることが証明されている。 この研究では、攻撃者が既に武器に持っている可能性のある2つの新しいGANベースの方法を特定します。 各手法は最先端の顔認識 (FR) アルゴリズムに対して評価され, FRアルゴリズムの忠実度向上は, 動作許容閾値を設定する際に, モルヒネ画像による攻撃の成功率の低下につながることを示した。

Face-morphing attacks have been a cause for concern for a number of years. Striving to remain one step ahead of attackers, researchers have proposed many methods of both creating and detecting morphed images. These detection methods, however, have generally proven to be inadequate. In this work we identify two new, GAN-based methods that an attacker may already have in his arsenal. Each method is evaluated against state-of-the-art facial recognition (FR) algorithms and we demonstrate that improvements to the fidelity of FR algorithms do lead to a reduction in the success rate of attacks provided morphed images are considered when setting operational acceptance thresholds.
翻訳日:2021-05-01 18:09:08 公開日:2020-12-18
# アイデンティティ関連アプリケーションのためのGANの評価

An Assessment of GANs for Identity-related Applications ( http://arxiv.org/abs/2012.10553v1 )

ライセンス: Link先を確認
Richard T. Marriott, Safa Madiouni, Sami Romdhani, St\'ephane Gentric and Liming Chen(参考訳) GAN(Generative Adversarial Networks)は現在、非常に高い視覚的品質の合成顔画像を生成することができる。 GAN自体の発展と並行して,合成画像の特徴を客観的に評価する指標の開発が試みられ,主に視覚的品質と多様な画像に焦点を当てている。 しかし、GANの過剰適合と新しいアイデンティティを生成する能力を評価するための作業はほとんど行われていない。 本稿では,合成画像の各種データセットにアートバイオメトリックネットワークの状態を応用し,そのアイデンティティ関連特性の徹底的な評価を行う。 ganは、イメージの匿名化やトレーニングデータセットの強化といったアプリケーションが実行可能なアプリケーションであることを示す、想像上の新しいアイデンティティを生成するために実際に使用できる、と結論付けている。 また,他の画像特徴と同一性を分離するganの能力を評価し,この不連続性を改善するために新たなgan三重項損失を提案する。

Generative Adversarial Networks (GANs) are now capable of producing synthetic face images of exceptionally high visual quality. In parallel to the development of GANs themselves, efforts have been made to develop metrics to objectively assess the characteristics of the synthetic images, mainly focusing on visual quality and the variety of images. Little work has been done, however, to assess overfitting of GANs and their ability to generate new identities. In this paper we apply a state of the art biometric network to various datasets of synthetic images and perform a thorough assessment of their identity-related characteristics. We conclude that GANs can indeed be used to generate new, imagined identities meaning that applications such as anonymisation of image sets and augmentation of training datasets with distractor images are viable applications. We also assess the ability of GANs to disentangle identity from other image characteristics and propose a novel GAN triplet loss that we show to improve this disentanglement.
翻訳日:2021-05-01 18:08:57 公開日:2020-12-18
# ツイートから新型コロナウイルスイベントを抽出するイベント特化機能とチャンクスパン機能を活用する

Leveraging Event Specific and Chunk Span features to Extract COVID Events from tweets ( http://arxiv.org/abs/2012.10052v1 )

ライセンス: Link先を確認
Ayush Kaushal and Tejas Vaidhya(参考訳) Twitterは災害やパンデミック、特に新型コロナウイルス(COVID-19)の時代に重要な情報ソースとして機能してきた。 本稿では,WNUT 2020 Shared Task-3のシステムエントリについて述べる。 このタスクは、twitterからさまざまな新型コロナウイルス関連のイベントを自動的に抽出することを目的としていた。例えば、最近ウイルスに感染した個人、検査を拒否され、感染に対する治療を信じている症状のある人などだ。 システムは、スロットフィルングサブタスクと文分類サブタスクのための別々のマルチタスクモデルからなり、対応するイベントに有用な文レベルの情報を活用する。 このシステムは、COVID-Twitter-Bertと注目度の高いスロットチャンク機能を使って、有用な情報チャンクをキャプチャする。 F1は0.6598であり、アンサンブルや追加のデータセットは使用していない。 コードとトレーニングされたモデルは、このhttps URLで入手できる。

Twitter has acted as an important source of information during disasters and pandemic, especially during the times of COVID-19. In this paper, we describe our system entry for WNUT 2020 Shared Task-3. The task was aimed at automating the extraction of a variety of COVID-19 related events from Twitter, such as individuals who recently contracted the virus, someone with symptoms who were denied testing and believed remedies against the infection. The system consists of separate multi-task models for slot-filling subtasks and sentence-classificat ion subtasks while leveraging the useful sentence-level information for the corresponding event. The system uses COVID-Twitter-Bert with attention-weighted pooling of candidate slot-chunk features to capture the useful information chunks. The system ranks 1st at the leader-board with F1 of 0.6598, without using any ensembles or additional datasets. The code and trained models are available at this https URL.
翻訳日:2021-05-01 18:08:41 公開日:2020-12-18
# この場所を訪ねましょうか。 レビューからの包含句と排他句のマイニング

Should I visit this place? Inclusion and Exclusion Phrase Mining from Reviews ( http://arxiv.org/abs/2012.10226v1 )

ライセンス: Link先を確認
Omkar Gurjar and Manish Gupta(参考訳) いくつかの自動的な旅程生成サービスによって旅行計画が容易になったが、旅行者は旅行で最善を尽くすことができないユニークな状況にあることが多い。 訪問者は、障害に苦しむこと、特定の食事の好みであること、幼児と旅行することなど、多くの要因で異なる。 ほとんどの観光地は普遍的だが、他は包括的ではない。 本稿では,観光地に関するレビューから,11の要因に関連する鉱毒包有物と排他的フレーズの問題に焦点をあてる。 観光データマイニングに関する既存の研究は、旅行関連情報の構造化抽出、パーソナライズされた感情分析、自動イチナリー生成に重点を置いているが、我々の知る限りでは、観光レビューからの包括的/排他的フレーズマイニングに関する最初の作業である。 1000の観光スポットに関する2000のレビューのデータセットを使用して、私たちのワイドレベル分類器は、各フレーズを包含または除外として分類するために$\sim$80と$\sim$82のバイナリオーバーラップF1を提供します。 さらに、包含/排他分類器は、それぞれ11クラス包含と排他分類に対して$\sim$98と$\sim$97のF1を提供する。 当社の作業は,自動イテレーション生成サービスの品質を著しく向上させることができると信じている。

Although several automatic itinerary generation services have made travel planning easy, often times travellers find themselves in unique situations where they cannot make the best out of their trip. Visitors differ in terms of many factors such as suffering from a disability, being of a particular dietary preference, travelling with a toddler, etc. While most tourist spots are universal, others may not be inclusive for all. In this paper, we focus on the problem of mining inclusion and exclusion phrases associated with 11 such factors, from reviews related to a tourist spot. While existing work on tourism data mining mainly focuses on structured extraction of trip related information, personalized sentiment analysis, and automatic itinerary generation, to the best of our knowledge this is the first work on inclusion/exclusion phrase mining from tourism reviews. Using a dataset of 2000 reviews related to 1000 tourist spots, our broad level classifier provides a binary overlap F1 of $\sim$80 and $\sim$82 to classify a phrase as inclusion or exclusion respectively. Further, our inclusion/exclusion classifier provides an F1 of $\sim$98 and $\sim$97 for 11-class inclusion and exclusion classification respectively. We believe that our work can significantly improve the quality of an automatic itinerary generation service.
翻訳日:2021-05-01 18:08:24 公開日:2020-12-18
# 自動生成によるテキスト分類における粗い相関性へのロバスト性

Robustness to Spurious Correlations in Text Classification via Automatically Generated Counterfactuals ( http://arxiv.org/abs/2012.10040v1 )

ライセンス: Link先を確認
Zhao Wang and Aron Culotta(参考訳) 純粋相関は統計分類器の妥当性を脅かす。 テストデータがトレーニングデータと同じ分布である場合、モデルの精度は高く見えるが、テスト分布が変化するとすぐに劣化する可能性がある。 例えば、人間がサンプルのラベルを変更するために小さな修正を行った場合、分類器は性能が悪いことが示されている。 モデルの信頼性と一般化性を高める一つの解決策は、特徴とクラスの間の因果関係を特定することである。 本稿では,自動生成した対実データを用いてトレーニングデータを増強し,頑健なテキスト分類器を訓練することを提案する。 まず,統計的マッチング手法を用いて因果的特徴を同定する。 次に, 元のトレーニングデータに対して, 因果的特徴をアントロニムに置換し, 反対のラベルを反ファクト的サンプルに割り当てることで, 反ファクト的サンプルを生成する。 最後に、元のデータと反実データを組み合わせて、堅牢な分類器を訓練する。 2つの分類タスクの実験は、オリジナルのデータに基づいて訓練された伝統的な分類器が、人間の生成した偽物サンプル(例えば、10%-37%の精度低下)に非常に悪影響を及ぼすことを示した。 しかし、組み合わせデータに基づいて訓練された分類器はより堅牢で、元のテストデータとカウンターファクトテストデータの両方(例えば従来の分類器と比較して12%-25%の精度向上)で良好に機能する。 詳細な分析によると、ロバスト分類器は因果的特徴を強調し、非因果的特徴を強調することによって有意義で信頼できる予測を行う。

Spurious correlations threaten the validity of statistical classifiers. While model accuracy may appear high when the test data is from the same distribution as the training data, it can quickly degrade when the test distribution changes. For example, it has been shown that classifiers perform poorly when humans make minor modifications to change the label of an example. One solution to increase model reliability and generalizability is to identify causal associations between features and classes. In this paper, we propose to train a robust text classifier by augmenting the training data with automatically generated counterfactual data. We first identify likely causal features using a statistical matching approach. Next, we generate counterfactual samples for the original training data by substituting causal features with their antonyms and then assigning opposite labels to the counterfactual samples. Finally, we combine the original data and counterfactual data to train a robust classifier. Experiments on two classification tasks show that a traditional classifier trained on the original data does very poorly on human-generated counterfactual samples (e.g., 10%-37% drop in accuracy). However, the classifier trained on the combined data is more robust and performs well on both the original test data and the counterfactual test data (e.g., 12%-25% increase in accuracy compared with the traditional classifier). Detailed analysis shows that the robust classifier makes meaningful and trustworthy predictions by emphasizing causal features and de-emphasizing non-causal features.
翻訳日:2021-05-01 18:08:00 公開日:2020-12-18
# リソース制約デバイスのためのトランスファー学習に基づく自動モデル作成ツール

Transfer Learning Based Automatic Model Creation Tool For Resource Constraint Devices ( http://arxiv.org/abs/2012.10056v1 )

ライセンス: Link先を確認
Karthik Bhat, Manan Bhandari, ChangSeok Oh, Sujin Kim and Jeeho Yoo(参考訳) 機械学習の強化により、開発者が機械学習モデルを簡単に作成できるように多くのツールが設計されている。 本稿では,機械学習コードを記述することなく,トランスファー学習を用いた制約デバイスのためのカスタムモデルの自動生成手法を提案する。 我々は,yamnetやmobilenetv2などの事前学習モデルを用いて作成した自動モデル作成ツールとcnnモデルのアーキテクチャを特徴抽出器として共有する。 最後に,自動画像分類器と音声分類器を作成し,このツールを用いて作成したモデルの精度とメモリフットプリントを実証し,スタンフォード車とesc-50データセットを用いた実験結果を報告する。

With the enhancement of Machine Learning, many tools are being designed to assist developers to easily create their Machine Learning models. In this paper, we propose a novel method for auto creation of such custom models for constraint devices using transfer learning without the need to write any machine learning code. We share the architecture of our automatic model creation tool and the CNN Model created by it using pretrained models such as YAMNet and MobileNetV2 as feature extractors. Finally, we demonstrate accuracy and memory footprint of the model created from the tool by creating an Automatic Image and Audio classifier and report the results of our experiments using Stanford Cars and ESC-50 dataset.
翻訳日:2021-05-01 18:07:35 公開日:2020-12-18
# フェデレーション学習における公正性と正確性

Fairness and Accuracy in Federated Learning ( http://arxiv.org/abs/2012.10069v1 )

ライセンス: Link先を確認
Wei Huang, Tianrui Li, Dexian Wang, Shengdong Du, Junbo Zhang(参考訳) 連合学習設定では、複数のクライアントが中央サーバの調整の下でモデルを共同でトレーニングし、トレーニングデータをクライアントに保持してプライバシを確保する。 通常、フェデレーションネットワーク内の異なるデバイス間でのデータの一貫性のない分散と、エンドデバイス間の通信帯域の制限は、フェデレーション学習の主要な課題として統計的な異質性と高価な通信の両方を課す。 本稿では,フェデレート学習(FedFa)において,より公平で精度の高いアルゴリズムを提案する。 二重運動量勾配を利用する最適化スキームを導入し、それによってモデルの収束速度を加速する。 トレーニング精度の情報量とトレーニング周波数を組み合わせて重みを計測する適切な重み選択アルゴリズムを提案する。 この手順は、特定のクライアントの好みによるフェデレーション学習における不公平な問題に対処するのに役立つ。 提案したFedFaアルゴリズムは,精度と公平性の観点からベースラインアルゴリズムよりも優れていることを示す。

In the federated learning setting, multiple clients jointly train a model under the coordination of the central server, while the training data is kept on the client to ensure privacy. Normally, inconsistent distribution of data across different devices in a federated network and limited communication bandwidth between end devices impose both statistical heterogeneity and expensive communication as major challenges for federated learning. This paper proposes an algorithm to achieve more fairness and accuracy in federated learning (FedFa). It introduces an optimization scheme that employs a double momentum gradient, thereby accelerating the convergence rate of the model. An appropriate weight selection algorithm that combines the information quantity of training accuracy and training frequency to measure the weights is proposed. This procedure assists in addressing the issue of unfairness in federated learning due to preferences for certain clients. Our results show that the proposed FedFa algorithm outperforms the baseline algorithm in terms of accuracy and fairness.
翻訳日:2021-05-01 18:07:23 公開日:2020-12-18
# roby: 決定境界による深層モデルのロバスト性の評価

ROBY: Evaluating the Robustness of a Deep Model by its Decision Boundaries ( http://arxiv.org/abs/2012.10282v1 )

ライセンス: Link先を確認
Jinyin Chen, Zhen Wang, Haibin Zheng, Jun Xiao, Zhaoyan Ming(参考訳) 多くの現実世界のタスクにディープラーニングモデルをうまく適用することで、モデルの堅牢性はますます重要になる。 多くの場合,特定の攻撃者やモデルタイプに依存して計算的にコストがかかる敵のサンプルを意図的に攻撃することで,深層モデルの堅牢性を評価する。 本研究は, モデル決定境界に基づく新たな攻撃非依存ロバストネス尺度であるROBYの総合評価指標を提案する。 敵対的なサンプルとは独立して、ROBYはクラス間およびクラス内統計特徴を使用して、モデルの決定境界の特徴をキャプチャする。 我々は10種類の最先端の深層モデルで実験を行い、ロビーは強力な一階攻撃者による攻撃成功率(ASR)のロバストネスゴールド標準と一致することを示した。 時間的コストは1%に過ぎません 我々の知る限りでは、ROBYは、幅広い深層モデルに適用可能な、最初の軽量な攻撃非依存のロバストネス評価指標である。 ROBYのコードはhttps://github.com/b aaaad/ROBY-Evaluatin g-the-Robustness-of- a-Deep-Model-by-its- Decision-Boundariesで公開されている。

With the successful application of deep learning models in many real-world tasks, the model robustness becomes more and more critical. Often, we evaluate the robustness of the deep models by attacking them with purposely generated adversarial samples, which is computationally costly and dependent on the specific attackers and the model types. This work proposes a generic evaluation metric ROBY, a novel attack-independent robustness measure based on the model's decision boundaries. Independent of adversarial samples, ROBY uses the inter-class and intra-class statistic features to capture the features of the model's decision boundaries. We experimented on ten state-of-the-art deep models and showed that ROBY matches the robustness gold standard of attack success rate (ASR) by a strong first-order generic attacker. with only 1% of time cost. To the best of our knowledge, ROBY is the first lightweight attack-independent robustness evaluation metric that can be applied to a wide range of deep models. The code of ROBY is open sourced at https://github.com/b aaaad/ROBY-Evaluatin g-the-Robustness-of- a-Deep-Model-by-its- Decision-Boundaries.
翻訳日:2021-05-01 18:07:05 公開日:2020-12-18
# ヒト脳の拡散テンソルイメージングを用いた機械学習応用:PubMed文献レビュー

Machine learning applications using diffusion tensor imaging of human brain: A PubMed literature review ( http://arxiv.org/abs/2012.10517v1 )

ライセンス: Link先を確認
Ashirbani Saha, Pantea Fadaiefard, Jessica E. Rabski, Alireza Sadeghian, and Michael D. Cusimano(参考訳) われわれは,2010年1月から2019年12月にかけて,人間の脳,拡散テンソルイメージング(DTI),機械学習(ML)に関連する148論文のPubMed検索を行った。 健康なコホート(n = 15)、精神健康障害(n = 25)、腫瘍(n = 19)、外傷(n = 5)、認知症(n = 24)、発達障害(n = 5)、運動障害(n = 9)、他の神経障害(n = 27)、雑多な非神経障害(n = 7)、フォーカス病(n = 7)、および前述のカテゴリの複数の組み合わせ(n = 12)に焦点を当てた。 DTIの情報を用いた患者の分類は、最も一般的な(n = 114)MLアプリケーションであることが示されている。 研究のかなりの数 (n = 93) は、サポートベクトルマシン (SVM) を分類のためのMLモデルの選択として用いた。 近年の出版物(2018-2019)のかなりの部分(31/44)は、SVMを使い続け、ベクトル回帰をサポートし、従来のMLの一部であるランダムフォレストをサポートした。 様々な健康状態(健康状態を含む)にまたがる多くの応用が実施されたが、研究の大部分は100未満の小さなコホートに基づいており、テストセットに対する独立・外部検証は行わなかった。

We performed a PubMed search to find 148 papers published between January 2010 and December 2019 related to human brain, Diffusion Tensor Imaging (DTI), and Machine Learning (ML). The studies focused on healthy cohorts (n = 15), mental health disorders (n = 25), tumor (n = 19), trauma (n = 5), dementia (n = 24), developmental disorders (n = 5), movement disorders (n = 9), other neurological disorders (n = 27), miscellaneous non-neurological disorders, or without stating the disease of focus (n = 7), and multiple combinations of the aforementioned categories (n = 12). Classification of patients using information from DTI stands out to be the most commonly (n = 114) performed ML application. A significant number (n = 93) of studies used support vector machines (SVM) as the preferred choice of ML model for classification. A significant portion (31/44) of publications in the recent years (2018-2019) continued to use SVM, support vector regression, and random forest which are a part of traditional ML. Though many types of applications across various health conditions (including healthy) were conducted, majority of the studies were based on small cohorts (less than 100) and did not conduct independent/external validation on test sets.
翻訳日:2021-05-01 18:06:43 公開日:2020-12-18
# 時間窓を有する動的多周期車両経路問題の領域設計

Territory Design for Dynamic Multi-Period Vehicle Routing Problem with Time Windows ( http://arxiv.org/abs/2012.10506v1 )

ライセンス: Link先を確認
Hern\'an Lespay and Karol Suchan(参考訳) 本研究は,食品会社の流通センターにおける実世界のアプリケーションにより動機付けられた時間窓(td-dmpvrptw)を用いた動的多周期車両経路問題に対する領域設計を提案する。 この問題は、複数期間計画の地平線上で、倉庫から時間窓のある一連の顧客へ注文を届けるための、連続的でコンパクトな領域の設計を扱う。 顧客と要求は時間とともに動的に変化する。 この問題はMILP(mixed-integer linear program)としてモデル化され、提案したヒューリスティックによって解決される。 ヒューリスティックソリューションは、小さな人工インスタンスのセット上の提案されたMILPソリューションと、実世界のインスタンスのセット上の食品会社のソリューションと比較される。 計算結果から,提案アルゴリズムは適度な実行時間内に高品質な解が得られることが示された。

This study introduces the Territory Design for Dynamic Multi-Period Vehicle Routing Problem with Time Windows (TD-DMPVRPTW), motivated by a real-world application at a food company's distribution center. This problem deals with the design of contiguous and compact territories for delivery of orders from a depot to a set of customers, with time windows, over a multi-period planning horizon. Customers and their demands vary dynamically over time. The problem is modeled as a mixed-integer linear program (MILP) and solved by a proposed heuristic. The heuristic solutions are compared with the proposed MILP solutions on a set of small artificial instances and the food company's solutions on a set of real-world instances. Computational results show that the proposed algorithm can yield high-quality solutions within moderate running times.
翻訳日:2021-05-01 18:06:14 公開日:2020-12-18
# 一般しきい値に基づく非サブモジュラーモデルにおける影響最大化

Influence Maximization Under Generic Threshold-based Non-submodular Model ( http://arxiv.org/abs/2012.12309v1 )

ライセンス: Link先を確認
Liang Ma(参考訳) 広く観察可能な社会効果として、影響拡散はイノベーション、トレンド、認識などのプロセスを指す。 個人間の社会的影響を通じて ネットワーク全体に広がります このような社会的効果によって動機づけられた影響最大化の概念は、最大影響拡散を共同で引き起こすことができるように、ソーシャルネットワークから最も影響力のあるノード(種子ノード)の有界数を選択することが目的である。 この領域における豊富な研究は、証明可能な部分モジュラリティを持つ統計拡散モデルの下で行われ、これは本質的に問題を単純化し、単純な欲求探索によって最適な結果が近似できるためである。 しかし, 拡散モデルが非部分モジュラーである場合, 研究コミュニティは, 最適結果を推定するために, 移動可能な部分モジュラー関数によってそれらを束縛・近似する方法に重点を置いている。 言い換えれば、非部分モジュラー影響の最大化問題を直接解決できる効率的な方法がまだ存在しない。 そこで本研究では,ネットワークグラフィカル特性を用いたシード選択戦略を一般化しきい値モデルで提案することで,そのギャップを埋める。 具体的には、まず、ノード除去によって生成されたネットワークが元のネットワークと同じ最適なシードセットを持つことを保証するグラフィカルな条件を明らかにする。 次に,これらの理論条件を利用して,重要でないノードを戦略的に除去し,残りのネットワークでのみ種を選択できる効率的なアルゴリズムを開発する。 我々の知る限りでは、これは非部分モジュラー影響の最大化に直接取り組む最初のグラフベースのアプローチである。

As a widely observable social effect, influence diffusion refers to a process where innovations, trends, awareness, etc. spread across the network via the social impact among individuals. Motivated by such social effect, the concept of influence maximization is coined, where the goal is to select a bounded number of the most influential nodes (seed nodes) from a social network so that they can jointly trigger the maximal influence diffusion. A rich body of research in this area is performed under statistical diffusion models with provable submodularity, which essentially simplifies the problem as the optimal result can be approximated by the simple greedy search. When the diffusion models are non-submodular, however, the research community mostly focuses on how to bound/approximate them by tractable submodular functions so as to estimate the optimal result. In other words, there is still a lack of efficient methods that can directly resolve non-submodular influence maximization problems. In this regard, we fill the gap by proposing seed selection strategies using network graphical properties in a generalized threshold-based model, called influence barricade model, which is non-submodular. Specifically, under this model, we first establish theories to reveal graphical conditions that ensure the network generated by node removals has the same optimal seed set as that in the original network. We then exploit these theoretical conditions to develop efficient algorithms by strategically removing less-important nodes and selecting seeds only in the remaining network. To the best of our knowledge, this is the first graph-based approach that directly tackles non-submodular influence maximization.
翻訳日:2021-05-01 18:05:58 公開日:2020-12-18
# NeurST: ニューラルネットワーク翻訳ツールキット

NeurST: Neural Speech Translation Toolkit ( http://arxiv.org/abs/2012.10018v1 )

ライセンス: Link先を確認
Chengqi Zhao and Mingxuan Wang and Lei Li(参考訳) NeurSTはByteDance AI Labが開発した、ニューラルネットワーク翻訳のためのオープンソースのツールキットである。 このツールキットは主にエンドツーエンドの音声翻訳に焦点を当てており、使用、修正、高度な音声翻訳研究や製品への拡張が容易である。 neurstは、nlp研究者のための音声翻訳研究の促進を目標とし、特徴抽出、データ前処理、分散トレーニング、評価を含む音声翻訳ベンチマークの完全なセットアップを提供する。 さらに、このツールキットは、エンドツーエンドの音声翻訳のためのいくつかの主要なアーキテクチャを実装している。 これは、様々なベンチマークデータセットの実験結果を示し、将来の研究の信頼性の高いベースラインと見なすことができる。 このツールキットはhttps://github.com/b ytedance/neurstで公開されている。

NeurST is an open-source toolkit for neural speech translation developed by ByteDance AI Lab. The toolkit mainly focuses on end-to-end speech translation, which is easy to use, modify, and extend to advanced speech translation research and products. NeurST aims at facilitating the speech translation research for NLP researchers and provides a complete setup for speech translation benchmarks, including feature extraction, data preprocessing, distributed training, and evaluation. Moreover, The toolkit implements several major architectures for end-to-end speech translation. It shows experimental results for different benchmark datasets, which can be regarded as reliable baselines for future research. The toolkit is publicly available at https://github.com/b ytedance/neurst.
翻訳日:2021-05-01 18:05:32 公開日:2020-12-18
# trader-company method: 解釈可能な株価予測のためのメタヒューリスティック

Trader-Company Method: A Metaheuristic for Interpretable Stock Price Prediction ( http://arxiv.org/abs/2012.10215v1 )

ライセンス: Link先を確認
Katsuya Ito and Kentaro Minami and Kentaro Imajo and Kei Nakagawa(参考訳) 投資家は投資を成功させるために金融資産のリターンを予測しようとする。 多くの量的アナリストは、大量の市場データから未知の利益率の市場ルールを見つけるために機械学習ベースの手法を使ってきた。 しかし、金融市場には機械学習ベースのモデルの実践的応用を妨げるいくつかの課題がある。 まず、金融市場では、市場のトレーダーが新たに利用可能な情報に迅速に適応するため、常に正確な予測ができるモデルが存在しない。 その代わり、「アルファ因子」と呼ばれる多くの短命かつ部分的に正しいモデルが存在する。 第二に、金融市場は極めて不確実であるため、信頼できる取引戦略を作るには予測モデルの解釈可能性を確保することが極めて重要である。 これらの課題を克服するために,金融機関とそれに属するトレーダーの役割を模倣する新たな進化モデルであるトレーダー・コーポニー法を提案する。 提案手法は,トレーダーと呼ばれる複数の弱い学習者からの示唆を集約することで,将来の株価リターンを予測する。 トレーダーは単純な数式の集合を持ち、それぞれアルファ因子の候補を表し、現実世界の投資家にとって解釈可能である。 集約アルゴリズムは企業と呼ばれ、複数のトレーダーを維持する。 新しいトレーダーをランダムに生成し、再訓練することで、企業は市場の過渡状態への過度な適合を避けつつ、経済的に有意義な公式を効率的に見つけることができる。 実市場データを用いて実験を行い,本手法の有効性を示す。

Investors try to predict returns of financial assets to make successful investment. Many quantitative analysts have used machine learning-based methods to find unknown profitable market rules from large amounts of market data. However, there are several challenges in financial markets hindering practical applications of machine learning-based models. First, in financial markets, there is no single model that can consistently make accurate prediction because traders in markets quickly adapt to newly available information. Instead, there are a number of ephemeral and partially correct models called "alpha factors". Second, since financial markets are highly uncertain, ensuring interpretability of prediction models is quite important to make reliable trading strategies. To overcome these challenges, we propose the Trader-Company method, a novel evolutionary model that mimics the roles of a financial institute and traders belonging to it. Our method predicts future stock returns by aggregating suggestions from multiple weak learners called Traders. A Trader holds a collection of simple mathematical formulae, each of which represents a candidate of an alpha factor and would be interpretable for real-world investors. The aggregation algorithm, called a Company, maintains multiple Traders. By randomly generating new Traders and retraining them, Companies can efficiently find financially meaningful formulae whilst avoiding overfitting to a transient state of the market. We show the effectiveness of our method by conducting experiments on real market data.
翻訳日:2021-05-01 18:05:07 公開日:2020-12-18
# 未知スペクトルパワー分布を持つプロジェクタを用いたスペクトル反射率推定

Spectral Reflectance Estimation Using Projector with Unknown Spectral Power Distribution ( http://arxiv.org/abs/2012.10083v1 )

ライセンス: Link先を確認
Hironori Hidaka, Yusuke Monno, Masatoshi Okutomi(参考訳) RGBカメラとプロジェクターを用いた照明ベースのマルチスペクトルイメージングシステムは、シーンのスペクトル反射情報を推定するためのマルチスペクトル観測を行う最も実用的で低コストなシステムの一つである。 しかし、既存のプロジェクターベースシステムでは、各プロジェクタープライマリのスペクトル電力分布(SPD)が知られており、SPDを測定するには分光計のような追加の機器が必要である。 本稿では,各プロジェクタプライマリのスペクトル反射率とspdを共同で推定する手法を提案する。 共通のスペクトル反射基底モデルを採用することに加えて、新たに収集したプロジェクタのspdデータベースから得られた基底関数を用いて、低次元モデルによりプロジェクタのspdをモデル化する。 そして、基底モデルに基づいてスペクトル反射率とプロジェクタのspdを代替的に推定する。 異なる射影イルミネーションを用いた共同推定の性能を実験的に示し、未知のspdを持つプロジェクタを用いたスペクトル反射率推定の可能性について検討した。

A lighting-based multispectral imaging system using an RGB camera and a projector is one of the most practical and low-cost systems to acquire multispectral observations for estimating the scene's spectral reflectance information. However, existing projector-based systems assume that the spectral power distribution (SPD) of each projector primary is known, which requires additional equipment such as a spectrometer to measure the SPD. In this paper, we present a method for jointly estimating the spectral reflectance and the SPD of each projector primary. In addition to adopting a common spectral reflectance basis model, we model the projector's SPD by a low-dimensional model using basis functions obtained by a newly collected projector's SPD database. Then, the spectral reflectances and the projector's SPDs are alternatively estimated based on the basis models. We experimentally show the performance of our joint estimation using a different number of projected illuminations and investigate the potential of the spectral reflectance estimation using a projector with unknown SPD.
翻訳日:2021-05-01 18:03:53 公開日:2020-12-18
# 網膜血管分節に対するマルチモーダルトランスファー学習に基づくアプローチ

Multimodal Transfer Learning-based Approaches for Retinal Vascular Segmentation ( http://arxiv.org/abs/2012.10160v1 )

ライセンス: Link先を確認
Jos\'e Morano, \'Alvaro S. Hervella, Noelia Barreira, Jorge Novo, Jos\'e Rouco(参考訳) 眼科領域では、網膜微小循環の研究は、高血圧や糖尿病など多くの眼疾患や全身疾患の分析において重要な問題である。 これは網膜血管セグメンテーションを改善する研究の動機となっている。 現在、FCN(Fully Convolutional Neural Networks)は画像セグメンテーションにおいて最も成功したアプローチである。 しかしながら、これらのモデルの成功は、使用するアーキテクチャやテクニックの適切な選択と適応、そして大量の注釈付きデータの可用性によって条件付けられている。 これらの2つの問題は、医用画像セグメント化にFCNを適用する際に特に重要となり、第一に、既存のモデルは通常、写真画像よりも広い領域のアプリケーションから調整され、第二に、注釈付きデータの量は、通常不足している。 本研究では,網膜血管セグメンテーションに対するマルチモーダルトランスファー学習に基づくアプローチを提案し,最近のFCNアーキテクチャの比較研究を行った。 特に,アノテーテッドデータ不足を克服するために,既存のラベルなしマルチモーダルデータを利用した自己教師付きネットワークプリトレーニングの新たな応用を提案する。 その結果, 自己指導型プレトレーニングネットワークは, ネットワークアーキテクチャとは独立に, 目標タスクでのトレーニングを少なくして, はるかに優れた血管マスクが得られること, 広範ドメインアプリケーションに動機づけられたFCNアーキテクチャの進歩が, 血管分節タスクよりも大幅に改善されることが示唆された。

In ophthalmology, the study of the retinal microcirculation is a key issue in the analysis of many ocular and systemic diseases, like hypertension or diabetes. This motivates the research on improving the retinal vasculature segmentation. Nowadays, Fully Convolutional Neural Networks (FCNs) usually represent the most successful approach to image segmentation. However, the success of these models is conditioned by an adequate selection and adaptation of the architectures and techniques used, as well as the availability of a large amount of annotated data. These two issues become specially relevant when applying FCNs to medical image segmentation as, first, the existent models are usually adjusted from broad domain applications over photographic images, and second, the amount of annotated data is usually scarcer. In this work, we present multimodal transfer learning-based approaches for retinal vascular segmentation, performing a comparative study of recent FCN architectures. In particular, to overcome the annotated data scarcity, we propose the novel application of self-supervised network pretraining that takes advantage of existent unlabelled multimodal data. The results demonstrate that the self-supervised pretrained networks obtain significantly better vascular masks with less training in the target task, independently of the network architecture, and that some FCN architecture advances motivated for broad domain applications do not translate into significant improvements over the vasculature segmentation task.
翻訳日:2021-05-01 18:03:35 公開日:2020-12-18
# 写真におけるガウスノイズフィルタの視覚的知覚に関する調査

A Survey on the Visual Perceptions of Gaussian Noise Filtering on Photography ( http://arxiv.org/abs/2012.10472v1 )

ライセンス: Link先を確認
Aidan Draper and Laura L. Taylor(参考訳) 統計学者や機械学習やコンピュータビジョンの専門家は、テキストの文書化、トモグラフィ、天文学、低光度撮影など、様々な分野の写真を分類することで画像再構成を研究している。 本稿では,adobe lightroom の denoise フィルタと同様に,r および python 言語に共通な推論型カーネルフィルタを適用し,jpeg 画像からのノイズ除去におけるその効果を比較した。 標準ベンチマークテストを実施し,ノイズ除去に対する各手法の有効性を評価した。 また、Elon大学の学生を対象に、さまざまなフィルター法で処理された写真のコレクションから1枚のフィルターで撮影した写真について調査した。 多くの科学者はノイズフィルタがぼやけや画質の低下を引き起こしていると信じているため、ノイズのない画像に比べてノイズが品質の低下を引き起こすように感じられるかどうかを分析した。 個人は1から10スケールのノイズのない写真と比較して、画像の画質を示すスコアを割り当てた。 画像品質スコアに有意差があるかどうかを評価するために,フィルタ間で調査スコアを比較した。 ベンチマークスコアは視覚知覚スコアと比較した。 次に, 共分散テストの分析を行い, 調査実習得点が, 学生の視覚スコアの無計画変動を, フィルター法で説明できるかどうかについて検討した。

Statisticians, as well as machine learning and computer vision experts, have been studying image reconstitution through denoising different domains of photography, such as textual documentation, tomographic, astronomical, and low-light photography. In this paper, we apply common inferential kernel filters in the R and python languages, as well as Adobe Lightroom's denoise filter, and compare their effectiveness in removing noise from JPEG images. We ran standard benchmark tests to evaluate each method's effectiveness for removing noise. In doing so, we also surveyed students at Elon University about their opinion of a single filtered photo from a collection of photos processed by the various filter methods. Many scientists believe that noise filters cause blurring and image quality loss so we analyzed whether or not people felt as though denoising causes any quality loss as compared to their noiseless images. Individuals assigned scores indicating the image quality of a denoised photo compared to its noiseless counterpart on a 1 to 10 scale. Survey scores are compared across filters to evaluate whether there were significant differences in image quality scores received. Benchmark scores were compared to the visual perception scores. Then, an analysis of covariance test was run to identify whether or not survey training scores explained any unplanned variation in visual scores assigned by students across the filter methods.
翻訳日:2021-05-01 18:02:39 公開日:2020-12-18
# Atlas-ISTN: Image-and-Spatial Transformer Networksによる関節分割・登録・アトラス構築

Atlas-ISTN: Joint Segmentation, Registration and Atlas Construction with Image-and-Spatial Transformer Networks ( http://arxiv.org/abs/2012.10533v1 )

ライセンス: Link先を確認
Matthew Sinclair and Andreas Schuh and Karl Hahn and Kersten Petersen and Ying Bai and James Batten and Michiel Schaap and Ben Glocker(参考訳) セマンティックセグメンテーションのためのディープラーニングモデルは、ピクセルワイズ予測のための強力な表現を学習することができるが、テスト時のノイズに敏感であり、妥当なトポロジを保証しない。 一方、画像登録モデルは、既知のトポロジを、セグメンテーションの手段としてターゲット画像にワープすることができるが、通常は大量のトレーニングデータを必要とし、ピクセルワイドセグメンテーションモデルに対して広くベンチマークされていない。 本研究では,2次元画像データと3次元画像データのセグメンテーションと登録を共同で学習するフレームワークであるAtlas-ISTNを提案する。 Atlas-ISTNは、複数の関心構造をセグメンテーションし、構成された位相的に整合したアトラスラベルマップを中間画素分割に登録する。 さらに、Atlas-ISTNはモデルパラメータのテスト時間改善を可能にし、アトラスのラベルマップを中間ピクセルワイドセグメンテーションに最適化する。 このプロセスは、ターゲット画像のノイズを緩和し、刺激的なピクセルワイズ予測をもたらすとともに、モデルのワンパス予測を改善する。 Atlas-ISTNフレームワークの利点は2次元合成データと3次元心電図および脳磁気共鳴画像データに定性的かつ定量的に示され、セグメンテーションと登録ベースラインモデルの両方に優れる。 Atlas-ISTNはまた、関心の構造のオブジェクト間対応を提供し、人口レベルの形状と運動分析を可能にする。

Deep learning models for semantic segmentation are able to learn powerful representations for pixel-wise predictions, but are sensitive to noise at test time and do not guarantee a plausible topology. Image registration models on the other hand are able to warp known topologies to target images as a means of segmentation, but typically require large amounts of training data, and have not widely been benchmarked against pixel-wise segmentation models. We propose Atlas-ISTN, a framework that jointly learns segmentation and registration on 2D and 3D image data, and constructs a population-derived atlas in the process. Atlas-ISTN learns to segment multiple structures of interest and to register the constructed, topologically consistent atlas labelmap to an intermediate pixel-wise segmentation. Additionally, Atlas-ISTN allows for test time refinement of the model's parameters to optimize the alignment of the atlas labelmap to an intermediate pixel-wise segmentation. This process both mitigates for noise in the target image that can result in spurious pixel-wise predictions, as well as improves upon the one-pass prediction of the model. Benefits of the Atlas-ISTN framework are demonstrated qualitatively and quantitatively on 2D synthetic data and 3D cardiac computed tomography and brain magnetic resonance image data, out-performing both segmentation and registration baseline models. Atlas-ISTN also provides inter-subject correspondence of the structures of interest, enabling population-level shape and motion analysis.
翻訳日:2021-05-01 18:02:17 公開日:2020-12-18
# ハイパースペクトル圧縮スナップショット再構成のための教師なし空間スペクトルネットワーク学習

Unsupervised Spatial-spectral Network Learning for Hyperspectral Compressive Snapshot Reconstruction ( http://arxiv.org/abs/2012.12086v1 )

ライセンス: Link先を確認
Yubao Sun, Ying Yang, Qingshan Liu, Mohan Kankanhalli(参考訳) ハイパースペクトル圧縮イメージングは、圧縮センシング理論を利用して、時間的走査を行わずに符号化された開口スナップショット測定を行い、3次元空間スペクトルデータ全体を1回の積分期間中に2次元投影によってキャプチャする。 その核となる問題は、圧縮センシング再構成アルゴリズムを用いて基礎となるハイパースペクトル画像を再構築する方法である。 異なるスペクトルイメージング装置のスペクトル応答特性と波長範囲の多様性のため、以前の研究は複雑なスペクトルのばらつきを捉えたり、新しいハイパースペクトル画像装置に適応する能力に欠けることが多い。 これらの問題に対処するために,圧縮スナップショット計測からのみハイパースペクトル像を再構成する空間スペクトルネットワークを提案する。 提案するネットワークは,スナップショット計測に基づく条件付き生成モデルとして機能し,空間スペクトルアテンションモジュールを用いてハイパースペクトル画像の共役空間スペクトル相関を捉える。 ネットワークパラメータは、ネットワーク出力が画像モデルに従って所定のスナップショット測定と密に一致するように最適化されるため、提案するネットワークは異なる撮像設定に適応でき、ネットワークの適用性が本質的に向上する。 複数のデータセットに対する大規模な実験により、我々のネットワークは最先端の手法よりもより良い再構築結果が得られることを示した。

Hyperspectral compressive imaging takes advantage of compressive sensing theory to achieve coded aperture snapshot measurement without temporal scanning, and the entire three-dimensional spatial-spectral data is captured by a two-dimensional projection during a single integration period. Its core issue is how to reconstruct the underlying hyperspectral image using compressive sensing reconstruction algorithms. Due to the diversity in the spectral response characteristics and wavelength range of different spectral imaging devices, previous works are often inadequate to capture complex spectral variations or lack the adaptive capacity to new hyperspectral imagers. In order to address these issues, we propose an unsupervised spatial-spectral network to reconstruct hyperspectral images only from the compressive snapshot measurement. The proposed network acts as a conditional generative model conditioned on the snapshot measurement, and it exploits the spatial-spectral attention module to capture the joint spatial-spectral correlation of hyperspectral images. The network parameters are optimized to make sure that the network output can closely match the given snapshot measurement according to the imaging model, thus the proposed network can adapt to different imaging settings, which can inherently enhance the applicability of the network. Extensive experiments upon multiple datasets demonstrate that our network can achieve better reconstruction results than the state-of-the-art methods.
翻訳日:2021-05-01 18:01:48 公開日:2020-12-18
# プログレッシブ生成逆ネットワークを用いた3次元mr画像合成

Three Dimensional MR Image Synthesis with Progressive Generative Adversarial Networks ( http://arxiv.org/abs/2101.05218v1 )

ライセンス: Link先を確認
Muzaffer \"Ozbey, Mahmut Yurt, Salman Ul Hassan Dar, Tolga \c{C}ukur(参考訳) 3次元MRI合成の主ストリーム深部モデルは、入力に応じて断面的または体積的である。 断面モデルはモデルの複雑さを減少させるが、不連続な成果物につながる可能性がある。 一方で、ボリュームモデルは不連続なアーティファクトを軽減できるが、モデルの複雑さの増加とトレーニングデータの不足により、空間分解能が失われる可能性がある。 両手法の限界を緩和するため,各方向を横断する単純な合成タスクにより,目標音量を段階的に回復するモデルを提案する。

Mainstream deep models for three-dimensional MRI synthesis are either cross-sectional or volumetric depending on the input. Cross-sectional models can decrease the model complexity, but they may lead to discontinuity artifacts. On the other hand, volumetric models can alleviate the discontinuity artifacts, but they might suffer from loss of spatial resolution due to increased model complexity coupled with scarce training data. To mitigate the limitations of both approaches, we propose a novel model that progressively recovers the target volume via simpler synthesis tasks across individual orientations.
翻訳日:2021-05-01 18:01:26 公開日:2020-12-18
# ErGAN: エンティティ解決のためのジェネレータネットワーク

ErGAN: Generative Adversarial Networks for Entity Resolution ( http://arxiv.org/abs/2012.10004v1 )

ライセンス: Link先を確認
Jingyu Shao, Qing Wang, Asiri Wijesinghe, Erhard Rahm(参考訳) エンティティの解像度は、1つ以上のデータセットから同じ現実世界のエンティティを表すレコードを特定することを目標としている。 学習ベースのエンティティ解決における大きな課題は、トレーニングのラベルコストを削減する方法だ。 レコード対比較の二次的な性質から、ラベル付けはコストのかかる作業であり、人間の専門家からの多大な努力を必要とする。 近年のGAN(Generative Adversarial Network)の発展に触発されて,ErGANと呼ばれる新しいディープラーニング手法を提案する。 ErGANはラベルジェネレータと識別器の2つの重要なコンポーネントから構成されており、逆学習によって代わりに最適化される。 過剰フィッティングと高度にバランスの取れない分布の問題を緩和するために, モデル一般化能力を大幅に向上できる, 多様性と伝播のための2つの新しいモジュールを設計した。 我々はErGANのラベル付けと学習効率を実証的に検証するための広範な実験を行った。 実験の結果,ErGANは教師なし,半教師なし,教師なしの学習方法を含む最先端のベースラインを上回っていることがわかった。

Entity resolution targets at identifying records that represent the same real-world entity from one or more datasets. A major challenge in learning-based entity resolution is how to reduce the label cost for training. Due to the quadratic nature of record pair comparison, labeling is a costly task that often requires a significant effort from human experts. Inspired by recent advances of generative adversarial network (GAN), we propose a novel deep learning method, called ErGAN, to address the challenge. ErGAN consists of two key components: a label generator and a discriminator which are optimized alternatively through adversarial learning. To alleviate the issues of overfitting and highly imbalanced distribution, we design two novel modules for diversity and propagation, which can greatly improve the model generalization power. We have conducted extensive experiments to empirically verify the labeling and learning efficiency of ErGAN. The experimental results show that ErGAN beats the state-of-the-art baselines, including unsupervised, semi-supervised, and unsupervised learning methods.
翻訳日:2021-05-01 18:01:16 公開日:2020-12-18
# 確率計画による宇宙船衝突リスク評価

Spacecraft Collision Risk Assessment with Probabilistic Programming ( http://arxiv.org/abs/2012.10260v1 )

ライセンス: Link先を確認
Giacomo Acciarini, Francesco Pinto, Sascha Metz, Sarah Boufelja, Sylvester Kaczmarek, Klaus Merz, Jos\'e A. Martinez-Heras, Francesca Letizia, Christopher Bridges, At{\i}l{\i}m G\"une\c{s} Baydin(参考訳) 長さ10cm以上の34,000以上の天体が地球を公転していることが知られている。 そのうち、アクティブ衛星はごくわずかだが、残りの人口は死んだ衛星、ロケット体、そして運用衛星に衝突の脅威をもたらす破片でできている。 さらに、宇宙セクターの成長が予測され、メガ星の打ち上げが計画されると、さらに複雑さが増し、宇宙運用者の衝突リスクと負担が増大する。 この複雑なフレームワークを国際的に合意された方法で管理することは、重要かつ緊急である。 この文脈では,合成結合データメッセージ生成のための物理ベースの確率生成モデルを構築し,実データを用いてキャリブレーションを行う。 観測を条件づけることで,ベイズ推定による後方分布を求める。 協調評価に対する確率的プログラミングアプローチは、予測や観測されたデータを結合データメッセージで説明するためのパラメータを見つけるのに役立ち、これにより、結合イベントにつながる可能性のある重要な変数や軌道特性に光を当てる。 さらに,この領域で作業する空間と機械学習コミュニティの基本的なニーズに応え,物理的に正確な衝突の合成データセットの生成を可能にする。

Over 34,000 objects bigger than 10 cm in length are known to orbit Earth. Among them, only a small percentage are active satellites, while the rest of the population is made of dead satellites, rocket bodies, and debris that pose a collision threat to operational spacecraft. Furthermore, the predicted growth of the space sector and the planned launch of megaconstellations will add even more complexity, therefore causing the collision risk and the burden on space operators to increase. Managing this complex framework with internationally agreed methods is pivotal and urgent. In this context, we build a novel physics-based probabilistic generative model for synthetically generating conjunction data messages, calibrated using real data. By conditioning on observations, we use the model to obtain posterior distributions via Bayesian inference. We show that the probabilistic programming approach to conjunction assessment can help in making predictions and in finding the parameters that explain the observed data in conjunction data messages, thus shedding more light on key variables and orbital characteristics that more likely lead to conjunction events. Moreover, our technique enables the generation of physically accurate synthetic datasets of collisions, answering a fundamental need of the space and machine learning communities working in this area.
翻訳日:2021-05-01 17:59:30 公開日:2020-12-18
# 自動司法意思決定システムのリバースエンジニアリングの危険性

The Danger of Reverse-Engineering of Automated Judicial Decision-Making Systems ( http://arxiv.org/abs/2012.10301v1 )

ライセンス: Link先を確認
Masha Medvedeva, Martijn Wieling and Michel Vols(参考訳) 本稿では、人権侵害の可能性がある状況において、司法判断に機械学習を用いることの意味について論じる。 このような状況におけるこのようなツールの使用は、現状の偏見やリバースエンジニアリングの危険性によって制限されるべきである。 機械学習ツールを使わずに、これらの問題が司法システムにすでに存在していることを議論する。

In this paper we discuss the implications of using machine learning for judicial decision-making in situations where human rights may be infringed. We argue that the use of such tools in these situations should be limited due to inherent status quo bias and dangers of reverse-engineering. We discuss that these issues already exist in the judicial systems without using machine learning tools, but how introducing them might exacerbate them.
翻訳日:2021-05-01 17:59:11 公開日:2020-12-18
# バイアスデータセットからの多特性主題選択

Multi-characteristic Subject Selection from Biased Datasets ( http://arxiv.org/abs/2012.10311v1 )

ライセンス: Link先を確認
Tahereh Arabghalizi, Alexandros Labrinidis(参考訳) 被験者選択は実験研究、特にヒトの被験者にとって重要な役割を果たす。 逸話的な証拠は、大学のキャンパスで行われている多くの研究は、選択バイアス、すなわち過剰なコラージュ・キッド・アズ・サブジェクト問題に苦しんでいることを示唆している。 残念ながら、従来のサンプリング技術は、バイアスデータの上に適用されると、通常はバイアス結果を返す。 本稿では,バイアス付きデータセットからの複数特徴的主題選択の問題に取り組む。 本稿では,対象選択を行う研究者が所望するサンプリング分数に基づいて,異なる集団群に対して最適なサンプリング分数を求める制約付き最適化に基づく手法を提案する。 その結果,提案手法はすべての問題のベースラインを最大90%上回っていることがわかった。

Subject selection plays a critical role in experimental studies, especially ones with human subjects. Anecdotal evidence suggests that many such studies, done at or near university campus settings suffer from selection bias, i.e., the too-many-college-kid s-as-subjects problem. Unfortunately, traditional sampling techniques, when applied over biased data, will typically return biased results. In this paper, we tackle the problem of multi-characteristic subject selection from biased datasets. We present a constrained optimization-based method that finds the best possible sampling fractions for the different population subgroups, based on the desired sampling fractions provided by the researcher running the subject selection.We perform an extensive experimental study, using a variety of real datasets. Our results show that our proposed method outperforms the baselines for all problem variations by up to 90%.
翻訳日:2021-05-01 17:59:05 公開日:2020-12-18
# 因果関係の方向を推定し、ベイズ・メンデルランダム化アプローチによるその効果を推定する

Inferring the Direction of a Causal Link and Estimating Its Effect via a Bayesian Mendelian Randomization Approach ( http://arxiv.org/abs/2012.10167v1 )

ライセンス: Link先を確認
Ioan Gabriel Bucur, Tom Claassen and Tom Heskes(参考訳) 遺伝子変異をインストゥルメンタル変数(mendelian randomization)として用いることは、疾患に対する暴露(表現型、バイオマーカー、リスクファクター)の因果効果や、観察データから健康関連の結果を予測する一般的な疫学手法である。 機器変数は強い、しばしば証明不可能な仮定を満たさなければならない。 この困難は、多くの遺伝子変異が異なる因果経路を通じて複数の表現型に影響を及ぼすという事実、すなわち水平プレオトロピー(英語版)と呼ばれる現象によって複合される。 これにより、因果効果の大きさを推定するだけでなく、因果連鎖の方向を推定する際の誤差も生じる。 本稿では,多変量効果を許容するメンデル確率化手法の一般化であるベイズMR(BayesMR)というベイズ的手法を提案する。 この方法の出力は、目標因果効果に対する後方分布であり、推定における不確かさの即時かつ容易に解釈可能な尺度を提供する。 さらに重要なことは、推定された方向が逆方向に対してどれだけ高いかを決定するためにベイズ平均モデルを用いることである。

The use of genetic variants as instrumental variables - an approach known as Mendelian randomization - is a popular epidemiological method for estimating the causal effect of an exposure (phenotype, biomarker, risk factor) on a disease or health-related outcome from observational data. Instrumental variables must satisfy strong, often untestable assumptions, which means that finding good genetic instruments among a large list of potential candidates is challenging. This difficulty is compounded by the fact that many genetic variants influence more than one phenotype through different causal pathways, a phenomenon called horizontal pleiotropy. This leads to errors not only in estimating the magnitude of the causal effect but also in inferring the direction of the putative causal link. In this paper, we propose a Bayesian approach called BayesMR that is a generalization of the Mendelian randomization technique in which we allow for pleiotropic effects and, crucially, for the possibility of reverse causation. The output of the method is a posterior distribution over the target causal effect, which provides an immediate and easily interpretable measure of the uncertainty in the estimation. More importantly, we use Bayesian model averaging to determine how much more likely the inferred direction is relative to the reverse direction.
翻訳日:2021-05-01 17:58:32 公開日:2020-12-18
# 機械学習によるBRITEデータから可能な太陽系外惑星トランジットの探索

Searching for Possible Exoplanet Transits from BRITE Data through a Machine Learning Technique ( http://arxiv.org/abs/2012.10035v1 )

ライセンス: Link先を確認
Li-Chin Yeh (ICMS, NTHU, Taiwan), Ing-Guey Jiang (CICA, NTHU, Taiwan)(参考訳) BRITE衛星の光度曲線は、近傍の明るい恒星の周りを移動する太陽系外惑星が存在するかどうかを機械学習で調査した。 異なるトランジット期間に焦点を当て、いくつかの畳み込みニューラルネットワークがトランジット候補を探すために構築された。 畳み込みニューラルネットワークは合成トランジット信号とBRITE光曲線を組み合わせて訓練され、精度は99.7$\%以上になった。 我々の手法は、少数の交通候補を効率的に導くことができる。 これら10つの候補のうち、HD37465とHD186882の2つは、より優先度の高い将来の観測を通して続いた。 この研究で使用される畳み込みニューラルネットワークのコードは、http://www.phys.nthu .edu.tw/$\sim$jiang/ BRITE2020YehJiangCNN .tar.gzで公開されている。

The photometric light curves of BRITE satellites were examined through a machine learning technique to investigate whether there are possible exoplanets moving around nearby bright stars. Focusing on different transit periods, several convolutional neural networks were constructed to search for transit candidates. The convolutional neural networks were trained with synthetic transit signals combined with BRITE light curves until the accuracy rate was higher than 99.7 $\%$. Our method could efficiently lead to a small number of possible transit candidates. Among these ten candidates, two of them, HD37465, and HD186882 systems, were followed up through future observations with a higher priority. The codes of convolutional neural networks employed in this study are publicly available at http://www.phys.nthu .edu.tw/$\sim$jiang/ BRITE2020YehJiangCNN .tar.gz.
翻訳日:2021-05-01 17:58:08 公開日:2020-12-18