このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス(CC 0, CC BY, CC BY-SA)の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。(arxivのメタデータは CC 0です。) 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。

本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。

公開日が20201225となっている論文です。

PDF登録状況(公開日: 20201225)

TitleAuthorsAbstract論文公表日・翻訳日
# 生成モデル学習のためのニューラルコーディングフレームワーク

The Neural Coding Framework for Learning Generative Models ( http://arxiv.org/abs/2012.03405v3 )

ライセンス: Link先を確認
Alexander Ororbia and Daniel Kifer(参考訳) ニューラル生成モデルは、データから複雑な確率分布を学習し、それらからサンプリングし、確率密度推定を生成するために使うことができる。 本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 予測処理理論によれば、脳のニューロンは、あるレベルのニューロンが別のレベルの感覚入力に対する期待を形成する階層を形成する。 これらのニューロンは、期待値と観測信号の違いに基づいて局所的なモデルを更新する。 同様に、我々の生成モデルの人工ニューロンは、隣のニューロンが何をするかを予測し、その予測が現実とどのように一致しているかに基づいてパラメータを調整する。 この神経生成モデルは実際非常によく機能する。 さまざまなベンチマークデータセットやメトリクスでは、同様の機能を持つ他の生成モデル(例えば変分オートエンコーダ)と競合するか、大幅に上回っている。

Neural generative models can be used to learn complex probability distributions from data, to sample from them, and to produce probability density estimates. We propose a novel neural generative model inspired by the theory of predictive processing in the brain. According to predictive processing theory, the neurons in the brain form a hierarchy in which neurons in one level form expectations about sensory inputs from another level. These neurons update their local models based on differences between their expectations and the observed signals. In a similar way, artificial neurons in our generative model predict what neighboring neurons will do, and adjust their parameters based on how well the predictions matched reality. This neural generative model performs very well in practice. On a variety of benchmark datasets and metrics, it either remains competitive with or significantly outperforms other generative models with similar functionality (such as the variational auto-encoder).
翻訳日:2021-05-16 21:41:12 公開日:2020-12-25
# (参考訳) 一階最適化のための条件数の検討

A Study of Condition Numbers for First-Order Optimization ( http://arxiv.org/abs/2012.05782v2 )

ライセンス: CC BY 4.0
Charles Guille-Escuret and Baptiste Goujaud and Manuela Girotti and Ioannis Mitliagkas(参考訳) 1次最適化アルゴリズム(FOA)の研究は、典型的には目的関数、最も一般的な滑らかさ、強い凸性に関する仮定から始まる。 これらのメトリクスは、foaのハイパーパラメータのチューニングに使用される。 我々は*-ノルムと呼ばれる新しいノルムによって定量化された摂動のクラスを導入する。 目的関数に小さな摂動を加えると、任意のFOAの挙動に同等に小さな影響を与えることが示され、アルゴリズムのチューニングに小さな影響を与えることが示唆された。 しかし, ゆるやかさと強い凸性は任意に小さな摂動によって大きく影響し, 過度に保守的なチューニングや収束の問題を引き起こす。 これらの観測から,ロバストなチューニング戦略に不可欠なメトリクスの連続性の概念を提案する。 滑らかさと強い凸性は連続ではないので,既存の代替指標を包括的に研究し,連続であることを証明する。 そこで我々は,それらの相互関係を記述し,グラディエント・Descentアルゴリズムに対する収束率を調整した。 最後に、我々の研究がFOAとその性能の理論的理解に与える影響について論じる。

The study of first-order optimization algorithms (FOA) typically starts with assumptions on the objective functions, most commonly smoothness and strong convexity. These metrics are used to tune the hyperparameters of FOA. We introduce a class of perturbations quantified via a new norm, called *-norm. We show that adding a small perturbation to the objective function has an equivalently small impact on the behavior of any FOA, which suggests that it should have a minor impact on the tuning of the algorithm. However, we show that smoothness and strong convexity can be heavily impacted by arbitrarily small perturbations, leading to excessively conservative tunings and convergence issues. In view of these observations, we propose a notion of continuity of the metrics, which is essential for a robust tuning strategy. Since smoothness and strong convexity are not continuous, we propose a comprehensive study of existing alternative metrics which we prove to be continuous. We describe their mutual relations and provide their guaranteed convergence rates for the Gradient Descent algorithm accordingly tuned. Finally we discuss how our work impacts the theoretical understanding of FOA and their performances.
翻訳日:2021-05-15 13:00:24 公開日:2020-12-25
# Bayes DistNet - アルゴリズム実行時分布予測のためのロバストニューラルネットワーク

Bayes DistNet -- A Robust Neural Network for Algorithm Runtime Distribution Predictions ( http://arxiv.org/abs/2012.07197v2 )

ライセンス: Link先を確認
Jake Tuero, Michael Buro(参考訳) ランダム化アルゴリズムは制約満足度問題 (CSP) やブール満足度問題 (SAT) の多くの最先端の解法で用いられている。 これらの問題の多くは、他の問題を支配する単一の解法は存在しない。 これらのソルバの基盤となるランタイムディストリビューション(rtd)へのアクセスにより、アルゴリズムの選択、アルゴリズムポートフォリオ、再起動戦略をよりよく利用することができる。 従来の最先端手法は、入力インスタンスが従う固定パラメトリック分布を直接予測しようとする。 本稿では,rtd予測モデルをベイズ系に初めて拡張する。 この新モデルは,低観測環境下での堅牢な予測性能と,検閲された観測処理を実現する。 この技法はまた、出力表現を制限する古典モデルでは達成できないよりリッチな表現を可能にする。 我々のモデルは、データが不足している設定において、過去の最先端モデルよりも優れており、そのデータの種類が捨てられるような、低いバウンドタイム推定のような検閲されたデータを利用することができる。 また、予測における不確実性を定量化することで、アルゴリズムポートフォリオモデルによって、特定のインスタンス上でどのアルゴリズムを実行するかに関するより詳細な決定が可能になる。

Randomized algorithms are used in many state-of-the-art solvers for constraint satisfaction problems (CSP) and Boolean satisfiability (SAT) problems. For many of these problems, there is no single solver which will dominate others. Having access to the underlying runtime distributions (RTD) of these solvers can allow for better use of algorithm selection, algorithm portfolios, and restart strategies. Previous state-of-the-art methods directly try to predict a fixed parametric distribution that the input instance follows. In this paper, we extend RTD prediction models into the Bayesian setting for the first time. This new model achieves robust predictive performance in the low observation setting, as well as handling censored observations. This technique also allows for richer representations which cannot be achieved by the classical models which restrict their output representations. Our model outperforms the previous state-of-the-art model in settings in which data is scarce, and can make use of censored data such as lower bound time estimates, where that type of data would otherwise be discarded. It can also quantify its uncertainty in its predictions, allowing for algorithm portfolio models to make better informed decisions about which algorithm to run on a particular instance.
翻訳日:2021-05-08 14:26:21 公開日:2020-12-25
# クローンの中に座る:シャッフルによるプライバシーの増幅をシンプルかつほぼ最適に分析する

Hiding Among the Clones: A Simple and Nearly Optimal Analysis of Privacy Amplification by Shuffling ( http://arxiv.org/abs/2012.12803v2 )

ライセンス: Link先を確認
Vitaly Feldman, Audra McMillan, Kunal Talwar(参考訳) Erlingsson, Feldman, Mironov, Raghunathan, Talwar, Thakurta[EFMRTT19]の最近の研究は、ランダムシャッフルが局所的にランダム化されたデータの差分プライバシー保証を増幅することを示した。 このような増幅は、データが匿名で寄付されるシステム(bemmrlrkts17])のプライバシー保証が大幅に強化され、シャッフルプライバシモデル(csuzz19,efmrtt19)に大きな関心を寄せている。 我々は、$\varepsilon_0$-diff erentially private local randomizersに入力された$n$のデータレコードをランダムにシャッフルすると、$(O((1-e^{-\varepsilon_0})\sqrt{\frac{e^{\varepsilon_0}\log(1/\delta)}{n}}),$-differentially private algorithmが生成されることを示す。 これは以前の作業よりも大幅に改善され、$\varepsilon_0$の漸近的最適依存を達成する。 我々の結果は、従来の作業よりもシンプルで、ほぼ同じ保証で近似的な差分プライバシーにまで拡張された新しいアプローチに基づいている。 我々の研究はまた、得られる$\varepsilon$ のより厳密な境界を導出する経験的方法を与え、それが最適境界の小さな定数係数の範囲内になることを示す。 分析の直接系として,プライバシのシャッフルモデルにおける離散分布推定のための単純かつ漸近的最適アルゴリズムを導出する。 また,この結果から,非置換サンプリングに適用できる雑音の確率的勾配降下の非漸近的最適プライバシー解析が示唆された。

Recent work of Erlingsson, Feldman, Mironov, Raghunathan, Talwar, and Thakurta [EFMRTT19] demonstrates that random shuffling amplifies differential privacy guarantees of locally randomized data. Such amplification implies substantially stronger privacy guarantees for systems in which data is contributed anonymously [BEMMRLRKTS17] and has lead to significant interest in the shuffle model of privacy [CSUZZ19,EFMRTT19]. We show that random shuffling of $n$ data records that are input to $\varepsilon_0$-diff erentially private local randomizers results in an $(O((1-e^{-\varepsilon_0})\sqrt{\frac{e^{\varepsilon_0}\log(1/\delta)}{n}}), \delta)$-differentia lly private algorithm. This significantly improves over previous work and achieves the asymptotically optimal dependence in $\varepsilon_0$. Our result is based on a new approach that is simpler than previous work and extends to approximate differential privacy with nearly the same guarantees. Our work also yields an empirical method to derive tighter bounds the resulting $\varepsilon$ and we show that it gets to within a small constant factor of the optimal bound. As a direct corollary of our analysis, we derive a simple and asymptotically optimal algorithm for discrete distribution estimation in the shuffle model of privacy. We also observe that our result implies the first asymptotically optimal privacy analysis of noisy stochastic gradient descent that applies to sampling without replacement.
翻訳日:2021-04-25 18:15:57 公開日:2020-12-25
# (参考訳) UMLE:低光化のための教師なしマルチディスクリミネータネットワーク [全文訳有]

UMLE: Unsupervised Multi-discriminator Network for Low Light Enhancement ( http://arxiv.org/abs/2012.13177v2 )

ライセンス: CC BY 4.0
Yangyang Qu, Kai Chen, Chao Liu, Yongsheng Ou(参考訳) 低照度画像から色やテクスチャの詳細を復元するなど、低照度画像の強化は複雑で重要な課題である。 自動走行では、低照度シナリオが視覚ベースのアプリケーションに深刻な影響を与える。 この問題に対処するために,複数の識別器を含むリアルタイム非教師付き生成対向ネットワーク(GAN)を提案する。 マルチスケールの識別器、テクスチャ識別器、色識別器。 これらの識別器は異なる視点から画像を評価することができる。 さらに,異なるチャネル特徴に異なる情報が含まれており,照明が不均一であることを考慮し,特徴融合注意モジュールを提案する。 このモジュールは、チャンネルアテンションとピクセルアテンション機構を組み合わせて画像の特徴を抽出する。 さらに、トレーニング時間を短縮するために、ジェネレータと判別器に共有エンコーダを採用する。 これにより、モデルの構造はよりコンパクトになり、トレーニングはより安定する。 実験の結果,本手法は定性的・定量的評価において最先端手法よりも優れており,オートパイロット測位と検出結果の両方において有意な改善が得られた。

Low-light image enhancement, such as recovering color and texture details from low-light images, is a complex and vital task. For automated driving, low-light scenarios will have serious implications for vision-based applications. To address this problem, we propose a real-time unsupervised generative adversarial network (GAN) containing multiple discriminators, i.e. a multi-scale discriminator, a texture discriminator, and a color discriminator. These distinct discriminators allow the evaluation of images from different perspectives. Further, considering that different channel features contain different information and the illumination is uneven in the image, we propose a feature fusion attention module. This module combines channel attention with pixel attention mechanisms to extract image features. Additionally, to reduce training time, we adopt a shared encoder for the generator and the discriminator. This makes the structure of the model more compact and the training more stable. Experiments indicate that our method is superior to the state-of-the-art methods in qualitative and quantitative evaluations, and significant improvements are achieved for both autopilot positioning and detection results.
翻訳日:2021-04-25 15:55:35 公開日:2020-12-25
# (参考訳) 自動車追従モデルのための物理インフォームドディープラーニングパラダイム [全文訳有]

A Physics-Informed Deep Learning Paradigm for Car-Following Models ( http://arxiv.org/abs/2012.13376v2 )

ライセンス: CC BY 4.0
Zhaobin Mo, Xuan Di, Rongye Shi(参考訳) 自動車追従挙動は、インテリジェントドライバモデルのような物理モデルを用いて広く研究されている。 これらのモデルは現実世界で観測される交通現象をうまく解釈するが、運転の複雑な認知過程を完全に捉えることはできない。 一方、ディープラーニングモデルは、観測された交通現象を捉える能力を示しているが、トレーニングには大量の運転データを必要とする。 本稿では、物理モデル(データ効率および解釈可能)とディープラーニングモデル(一般化可能)の両方の利点を生かした、物理モデルから情報を得たニューラルネットワークに基づくカーフォローモデルの一群を開発することを目的とする。 我々は,自動車追従(PIDL-CF)アーキテクチャを2つの物理モデル - IDMとOVM - で符号化した物理インフォームドディープラーニングを設計し,加速,減速,巡航,緊急ブレーキの4つの交通系に対して加速を予測した。 2種類のPIDL-CFM問題について検討し,その1つは加速のみを予測し,もう1つは加速のみを予測し,モデルパラメータを発見する。 また,次世代シミュレーション(ngsim)データセットがベースライン上,特にトレーニングデータがスパースする場合において,pidlの優れた性能を示す。 その結果,無力者よりも物理によって学習されるニューラルネットの性能が向上した。 開発したPIDL-CFフレームワークは、駆動モデルのシステム識別と、自動車両の駆動制御の開発の可能性を秘めている。

Car-following behavior has been extensively studied using physics-based models, such as the Intelligent Driver Model. These models successfully interpret traffic phenomena observed in the real-world but may not fully capture the complex cognitive process of driving. Deep learning models, on the other hand, have demonstrated their power in capturing observed traffic phenomena but require a large amount of driving data to train. This paper aims to develop a family of neural network based car-following models that are informed by physics-based models, which leverage the advantage of both physics-based (being data-efficient and interpretable) and deep learning based (being generalizable) models. We design physics-informed deep learning for car-following (PIDL-CF) architectures encoded with two popular physics-based models - IDM and OVM, on which acceleration is predicted for four traffic regimes: acceleration, deceleration, cruising, and emergency braking. Two types of PIDL-CFM problems are studied, one to predict acceleration only and the other to jointly predict acceleration and discover model parameters. We also demonstrate the superior performance of PIDL with the Next Generation SIMulation (NGSIM) dataset over baselines, especially when the training data is sparse. The results demonstrate the superior performance of neural networks informed by physics over those without. The developed PIDL-CF framework holds the potential for system identification of driving models and for the development of driving-based controls for automated vehicles.
翻訳日:2021-04-25 11:28:02 公開日:2020-12-25
# グラフ上の半教師付きノード分類:マルコフ確率場対グラフニューラルネットワーク

Semi-Supervised Node Classification on Graphs: Markov Random Fields vs. Graph Neural Networks ( http://arxiv.org/abs/2012.13085v2 )

ライセンス: Link先を確認
Binghui Wang, Jinyuan Jia, Neil Zhenqiang Gong(参考訳) グラフ構造データ上の半教師付きノード分類には、不正検出、偽アカウントおよびレビュー検出、ソーシャルネットワークにおけるユーザのプライベート属性推論、コミュニティ検出など多くの応用がある。 半教師付きノード分類のためのペアワイドマルコフランダムフィールド(pMRF)やグラフニューラルネットワークなどの様々な手法を開発した。 pMRFはグラフニューラルネットワークよりも効率的である。 しかしながら、既存のpmrfベースの手法は、すべてのエッジに対するヒューリスティックスベースの定数エッジポテンシャルを前提とする重要な制限のため、グラフニューラルネットワークよりも精度が低い。 本研究では,既存のpMRF法の重要な限界に対処することを目的とする。 特に,pMRFのエッジポテンシャルを学習することを提案する。 各種グラフデータセットに対する評価結果から,pMRFに基づく最適化手法は,精度と効率の両面で,既存のグラフニューラルネットワークよりも一貫して優れていた。 以上の結果から, 半教師付きノード分類におけるpMRFのパワーを過小評価した可能性が示唆された。

Semi-supervised node classification on graph-structured data has many applications such as fraud detection, fake account and review detection, user's private attribute inference in social networks, and community detection. Various methods such as pairwise Markov Random Fields (pMRF) and graph neural networks were developed for semi-supervised node classification. pMRF is more efficient than graph neural networks. However, existing pMRF-based methods are less accurate than graph neural networks, due to a key limitation that they assume a heuristics-based constant edge potential for all edges. In this work, we aim to address the key limitation of existing pMRF-based methods. In particular, we propose to learn edge potentials for pMRF. Our evaluation results on various types of graph datasets show that our optimized pMRF-based method consistently outperforms existing graph neural networks in terms of both accuracy and efficiency. Our results highlight that previous work may have underestimated the power of pMRF for semi-supervised node classification.
翻訳日:2021-04-25 08:12:00 公開日:2020-12-25
# auto-agent-distiller :ニューラルネットワークによる高効率深層強化学習エージェントの開発

Auto-Agent-Distiller : Towards Efficient Deep Reinforcement Learning Agents via Neural Architecture Search ( http://arxiv.org/abs/2012.13091v2 )

ライセンス: Link先を確認
Yonggan Fu, Zhongzhi Yu, Yongan Zhang, Yingyan Lin(参考訳) AlphaGoの驚くべきパフォーマンスは、インテリジェントロボティクスのような多くの現実世界の応用のための深層強化学習(DRL)の開発に爆発的な関心を喚起した。 しかし、DRLのしばしば禁止される複雑さは、多くのDRLアプリケーションで要求されるリアルタイム制御と制約されたリソースに反し、DRL駆動のインテリジェントデバイスの大きな可能性を制限する。 他の深層学習モデルの圧縮に多大な努力が注がれているが、既存の研究はDRLの圧縮面にはほとんど触れていない。 そこで本研究では,テストスコアと効率の両方を最大化し,タスク固有のDRLエージェントの必要性を動機付ける,DRLの最適モデルサイズが存在することを最初に確認する。 そこで我々は,テストスコアと効率の両方を最適化する様々なタスクに対して最適なDRLエージェントを自動検索するためにDRLに適用された最初のニューラルアーキテクチャサーチ(NAS)であるAuto-Agent-Distiller (A2D)フレームワークを提案する。 具体的には,バニラNASはDRL訓練安定性のばらつきが大きいため,最適なエージェントの探索に容易に失敗することを示した上で,教師エージェントのアクターと評論家の両方からの知識を蒸留し,探索プロセスを安定化し,探索エージェントの最適性を向上する新しい蒸留機構を開発した。 大規模な実験とアブレーション研究は、我々のA2Dの発見と利点と一般応用性を一貫して検証し、テストスコアと効率の両方で手作業で設計したDRLよりも優れています。 すべてのコードは受理時に解放される。

AlphaGo's astonishing performance has ignited an explosive interest in developing deep reinforcement learning (DRL) for numerous real-world applications, such as intelligent robotics. However, the often prohibitive complexity of DRL stands at the odds with the required real-time control and constrained resources in many DRL applications, limiting the great potential of DRL powered intelligent devices. While substantial efforts have been devoted to compressing other deep learning models, existing works barely touch the surface of compressing DRL. In this work, we first identify that there exists an optimal model size of DRL that can maximize both the test scores and efficiency, motivating the need for task-specific DRL agents. We therefore propose an Auto-Agent-Distiller (A2D) framework, which to our best knowledge is the first neural architecture search (NAS) applied to DRL to automatically search for the optimal DRL agents for various tasks that optimize both the test scores and efficiency. Specifically, we demonstrate that vanilla NAS can easily fail in searching for the optimal agents, due to its resulting high variance in DRL training stability, and then develop a novel distillation mechanism to distill the knowledge from both the teacher agent's actor and critic to stabilize the searching process and improve the searched agents' optimality. Extensive experiments and ablation studies consistently validate our findings and the advantages and general applicability of our A2D, outperforming manually designed DRL in both the test scores and efficiency. All the codes will be released upon acceptance.
翻訳日:2021-04-25 08:11:43 公開日:2020-12-25
# (参考訳) 進化は必要なすべて: コントラスト学習のための系統的強化 [全文訳有]

Evolution Is All You Need: Phylogenetic Augmentation for Contrastive Learning ( http://arxiv.org/abs/2012.13475v1 )

ライセンス: CC BY 4.0
Amy X. Lu, Alex X. Lu, Alan Moses(参考訳) 生物配列埋め込みの自己教師あり表現学習は、高価な実験ラベル取得を回避しつつ、下流タスクの計算資源制約を緩和する。 しかし、既存の手法はバイオインフォマティクスの哲学を念頭に置いているのではなく、NLP用に設計された大きな言語モデルから直接借用している。 近年、対照的な相互情報最大化手法がimagenetの最先端表現を実現している。 本稿では,進化を自然配列の増大と見なし,系統的「ノイズチャネル」にまたがる情報の最大化が,エンコーダを事前学習するための生物学的かつ理論的に望ましい目的であることを示す。 まず、現在のコントラスト学習文献のレビューを行い、次に、進化的拡張を用いたコントラスト学習を、生物学的シーケンスとその保存機能間の相互情報を最大化する表現学習目標として利用し、最終的にこのアプローチの理論的根拠を概説する例を示す。

Self-supervised representation learning of biological sequence embeddings alleviates computational resource constraints on downstream tasks while circumventing expensive experimental label acquisition. However, existing methods mostly borrow directly from large language models designed for NLP, rather than with bioinformatics philosophies in mind. Recently, contrastive mutual information maximization methods have achieved state-of-the-art representations for ImageNet. In this perspective piece, we discuss how viewing evolution as natural sequence augmentation and maximizing information across phylogenetic "noisy channels" is a biologically and theoretically desirable objective for pretraining encoders. We first provide a review of current contrastive learning literature, then provide an illustrative example where we show that contrastive learning using evolutionary augmentation can be used as a representation learning objective which maximizes the mutual information between biological sequences and their conserved function, and finally outline rationale for this approach.
翻訳日:2021-04-25 07:36:25 公開日:2020-12-25
# (参考訳) 予測による予測:インタラクション学習に基づくアクション・コンディション予測手法 [全文訳有]

Prediction by Anticipation: An Action-Conditional Prediction Method based on Interaction Learning ( http://arxiv.org/abs/2012.13478v1 )

ライセンス: CC BY 4.0
Ershad Banijamali, Mohsen Rohani, Elmira Amirloo, Jun Luo, Pascal Poupart(参考訳) 自律運転(ad)では、環境の変化を正確に予測することで、安全性と快適性が効果的に向上する。 しかし,トラヒック参加者間の相互作用が複雑であるため,遠距離での正確な予測は困難である。 この課題に対処すべく,我々は予測による予測を提案し,他の車両が予測する動きに部分的に反応する潜在確率的生成過程の観点でインタラクションを考察する。 このビューでは、連続したデータフレームをアクション条件分布から逐次的なサンプルに分解し、より広い範囲のアクションや運転状況に効果的に一般化することができる。 提案する予測モデルである変分ベイズ型は,この条件分布のlog-likelihoodのエビデンス下限 (elbo) を最大化するために訓練されている。 ngsim i-80 と argoverse を用いた提案手法の評価は, 精度と一般化の両方において, 現状よりも著しく改善している。

In autonomous driving (AD), accurately predicting changes in the environment can effectively improve safety and comfort. Due to complex interactions among traffic participants, however, it is very hard to achieve accurate prediction for a long horizon. To address this challenge, we propose prediction by anticipation, which views interaction in terms of a latent probabilistic generative process wherein some vehicles move partly in response to the anticipated motion of other vehicles. Under this view, consecutive data frames can be factorized into sequential samples from an action-conditional distribution that effectively generalizes to a wider range of actions and driving situations. Our proposed prediction model, variational Bayesian in nature, is trained to maximize the evidence lower bound (ELBO) of the log-likelihood of this conditional distribution. Evaluations of our approach with prominent AD datasets NGSIM I-80 and Argoverse show significant improvement over current state-of-the-art in both accuracy and generalization.
翻訳日:2021-04-25 07:23:24 公開日:2020-12-25
# (参考訳) 誰がテストする? アクティブサンプリングによる新型コロナウイルス対策 [全文訳有]

Whom to Test? Active Sampling Strategies for Managing COVID-19 ( http://arxiv.org/abs/2012.13483v1 )

ライセンス: CC BY 4.0
Yingfei Wang, Inbal Yahav, Balaji Padmanabhan(参考訳) 本稿では,感染率が高く,非感染性キャリアーの存在を特徴とする,新型コロナウイルスなどのパンデミックの感染検査を行う個人を選択する方法を提案する。 ここで提示されるスマートテストのアイデアは、機械学習におけるアクティブラーニングとマルチアームバンディット技術によって動機付けられている。 アクティブサンプリング手法は, 検疫方針と連動して動作し, 異なる目的を処理でき, 動的かつ適応的であり, リアルタイムデータの変化に継続的に適応する。 Banditアルゴリズムは、接触追跡、位置に基づくサンプリング、ランダムサンプリングを使用して、テスト対象の特定の個人を選択する。 ニューヨーク市をシミュレートするデータ駆動型エージェントベースモデルを用いて、このアルゴリズムは感染した個人を迅速に追跡する方法で個人を検査する。 また、スマートテストは、接触追跡の有無に関わらず症状の個人をテストする現在の方法と比較して、死亡率を著しく低下させる可能性も示唆している。

This paper presents methods to choose individuals to test for infection during a pandemic such as COVID-19, characterized by high contagion and presence of asymptomatic carriers. The smart-testing ideas presented here are motivated by active learning and multi-armed bandit techniques in machine learning. Our active sampling method works in conjunction with quarantine policies, can handle different objectives, is dynamic and adaptive in the sense that it continually adapts to changes in real-time data. The bandit algorithm uses contact tracing, location-based sampling and random sampling in order to select specific individuals to test. Using a data-driven agent-based model simulating New York City we show that the algorithm samples individuals to test in a manner that rapidly traces infected individuals. Experiments also suggest that smart-testing can significantly reduce the death rates as compared to current methods such as testing symptomatic individuals with or without contact tracing.
翻訳日:2021-04-25 07:04:34 公開日:2020-12-25
# (参考訳) ニューラルネットワークと人工知能と計算脳 [全文訳有]

Neural Networks, Artificial Intelligence and the Computational Brain ( http://arxiv.org/abs/2101.08635v1 )

ライセンス: CC BY 4.0
Martin C. Nwadiugwu(参考訳) 近年、いくつかの研究がシナプスによって相互に結合して神経細胞とネットワークを形成する脳の機能に関する洞察を与えている。 ニューラルネットワークは神経細胞の相互接続システムによって形成され、ANN(Artificial Neural Network)とバイオニューラルネットワーク(Biological Neural Network)の2つのタイプから構成される。 ANNは人間のニューロンの影響を受け、神経系のモデリングに使用される。 annの推論基盤は、即席の医師、電子鼻、パターン認識、生物学的システムのモデリングといった医学の分野で、異常検出に有用である。 人間の脳のアーキテクチャを用いた人工知能の研究の促進は、脳モデルのための技術を探すのではなく、脳を研究することによってシステムをモデル化しようとする。 本研究では,生体ニューロンのシミュレータとしてのANNの概念とその応用分野について検討する。 また、脳のような知性が必要な理由と、ニューラルネットワークと現代のコンピュータを比較して計算フレームワークとの違いを探っている。

In recent years, several studies have provided insight on the functioning of the brain which consists of neurons and form networks via interconnection among them by synapses. Neural networks are formed by interconnected systems of neurons, and are of two types, namely, the Artificial Neural Network (ANNs) and Biological Neural Network (interconnected nerve cells). The ANNs are computationally influenced by human neurons and are used in modelling neural systems. The reasoning foundations of ANNs have been useful in anomaly detection, in areas of medicine such as instant physician, electronic noses, pattern recognition, and modelling biological systems. Advancing research in artificial intelligence using the architecture of the human brain seeks to model systems by studying the brain rather than looking to technology for brain models. This study explores the concept of ANNs as a simulator of the biological neuron, and its area of applications. It also explores why brain-like intelligence is needed and how it differs from computational framework by comparing neural networks to contemporary computers and their modern day implementation.
翻訳日:2021-04-25 06:42:28 公開日:2020-12-25
# (参考訳) distributional ground truth: uiラベリングタスクにおける非冗長クラウドソーシングデータ品質管理 [全文訳有]

Distributional Ground Truth: Non-Redundant Crowdsourcing Data Quality Control in UI Labeling Tasks ( http://arxiv.org/abs/2012.13546v1 )

ライセンス: CC BY-SA 4.0
Maxim Bakaev, Sebastian Heil, Martin Gaedke(参考訳) HCIは、特にユーザインターフェイス(UI)の視覚分析に機械学習と画像認識をますます採用している。 ヒューマンラベルのトレーニングデータを取得する一般的な方法はクラウドソーシングであり、一般的には品質管理の方法である ground truth と majority consensus を使い、その結果の冗長性を必要とする。 本稿では,2つのサンプルkolmogorov-smirnovテストにより評価した分布の均質性に基づいて,web uiラベリングタスクにおけるクラウドワーカーの出力品質を予測する非冗長な手法を提案する。 11の信頼できるラベルと298のAmazon Mechanical Turkのクラウドワーカーによって分類された74,000以上のUI要素を持つ約500のスクリーンショットのデータセットを使用して、平均タイム・オン・タスクに基づくベースラインモデルに対する我々のアプローチの利点を実証する。 異なるデータセット分割を検討することで、信頼されたセットサイズ17-27% uisによって、"分散基底真理"モデルが0.8以上のr2を達成し、補助的な作業労力と費用を省くことができることを示します。

HCI increasingly employs Machine Learning and Image Recognition, in particular for visual analysis of user interfaces (UIs). A popular way for obtaining human-labeled training data is Crowdsourcing, typically using the quality control methods ground truth and majority consensus, which necessitate redundancy in the outcome. In our paper we propose a non-redundant method for prediction of crowdworkers' output quality in web UI labeling tasks, based on homogeneity of distributions assessed with two-sample Kolmogorov-Smirnov test. Using a dataset of about 500 screenshots with over 74,000 UI elements located and classified by 11 trusted labelers and 298 Amazon Mechanical Turk crowdworkers, we demonstrate the advantage of our approach over the baseline model based on mean Time-on-Task. Exploring different dataset partitions, we show that with the trusted set size of 17-27% UIs our "distributional ground truth" model can achieve R2s of over 0.8 and help to obviate the ancillary work effort and expenses.
翻訳日:2021-04-25 06:29:20 公開日:2020-12-25
# (参考訳) 畳み込みニューラルネットワークにおけるエッジ検出の再検討 [全文訳有]

Revisiting Edge Detection in Convolutional Neural Networks ( http://arxiv.org/abs/2012.13576v1 )

ライセンス: CC BY-SA 4.0
Minh Le, Subhradeep Kayal(参考訳) エッジを検出する能力は、視覚概念を真に捉えるのに必要な基本的な属性である。 本稿では,ニューラルネットワークの第1畳み込み層においてエッジを適切に表現できないこと,さらに,VGG-16やResNetといった一般的なニューラルネットワークアーキテクチャにおいて,エッジが不十分であることを示す。 ニューラルネットワークは色情報に依存しており、評価に使用されるデータセット以外では予期せぬ方法で変化する可能性がある。 その頑健性を改善するために,エッジ検出ユニットを提案し,性能損失を低減し,定性的に異なる表現を生成することを示す。 様々なモデルを比較することにより、エッジ検出の堅牢性は、カラーノイズに対するモデルの堅牢性に寄与する重要な要因であることを示す。

The ability to detect edges is a fundamental attribute necessary to truly capture visual concepts. In this paper, we prove that edges cannot be represented properly in the first convolutional layer of a neural network, and further show that they are poorly captured in popular neural network architectures such as VGG-16 and ResNet. The neural networks are found to rely on color information, which might vary in unexpected ways outside of the datasets used for their evaluation. To improve their robustness, we propose edge-detection units and show that they reduce performance loss and generate qualitatively different representations. By comparing various models, we show that the robustness of edge detection is an important factor contributing to the robustness of models against color noise.
翻訳日:2021-04-25 05:51:52 公開日:2020-12-25
# (参考訳) カモフラージュによる物体検出と追跡:サーベイ [全文訳有]

Camouflaged Object Detection and Tracking: A Survey ( http://arxiv.org/abs/2012.13581v1 )

ライセンス: CC BY 4.0
Ajoy Mondal(参考訳) 移動物体の検出と追跡には、監視、異常検出、車両ナビゲーションなど、さまざまな応用がある。 物体検出と追跡に関する文献は十分に豊富であり、いくつかの重要な調査論文が存在する。 しかし, カモフラージュ物体の検出・追跡に関する研究は, 問題の複雑さにより制限された。 既存の研究は、カモフラージュされた物体の生物学的特性やコンピュータビジョン技術に基づいて行われている。 本稿では,コンピュータビジョンアルゴリズムを用いた既存のカモフラージュ物体検出・追跡手法について,理論的な観点から検討する。 本稿は、この分野の今後の研究の方向性とともに、いくつかの関心事についても論じる。 このレビューは、読者が最近の偽造物検出と追跡の進歩を学ぶのに役立つことを期待している。

Moving object detection and tracking have various applications, including surveillance, anomaly detection, vehicle navigation, etc. The literature on object detection and tracking is rich enough, and several essential survey papers exist. However, the research on camouflage object detection and tracking limited due to the complexity of the problem. Existing work on this problem has been done based on either biological characteristics of the camouflaged objects or computer vision techniques. In this article, we review the existing camouflaged object detection and tracking techniques using computer vision algorithms from the theoretical point of view. This article also addresses several issues of interest as well as future research direction on this area. We hope this review will help the reader to learn the recent advances in camouflaged object detection and tracking.
翻訳日:2021-04-25 05:39:51 公開日:2020-12-25
# (参考訳) デジタル胸部x線画像を用いたcovid-19のコンピュータ診断と重症度予測 [全文訳有]

COVIDX: Computer-aided diagnosis of Covid-19 and its severity prediction with raw digital chest X-ray images ( http://arxiv.org/abs/2012.13605v1 )

ライセンス: CC BY-SA 4.0
Wajid Arshad Abbasi, Syed Ali Abbas, Saiqa Andleeb(参考訳) 新型コロナウイルス(COVID-19)は、重症急性呼吸器症候群ウイルス(SARS-COV-2)による伝染性感染症で、世界中で何百万人もの人々が感染し死亡している。 新型コロナウイルス(COVID-19)の治療薬やワクチンが欠如し、診断技術が普及するのが制限されているため、医師が感染した患者を迅速かつ分離するために使用できる代替の自動スクリーニングシステムが必要である。 胸部X線(CXR)画像は、新型コロナウイルスの検出と診断のための代替モダリティとして使用できる。 本研究では,CXR画像からの深部特徴マップを用いて,新型コロナウイルスとその重症度予測を診断する自動診断・重症度予測システムを提案する。 提案システムは、異なる浅層分類アルゴリズムを用いて、3段階の分類アプローチ(健康対不健康、COVID-19対肺炎、COVID-19重症度)を用いる。 我々は10倍のクロス2バリデーションと外部バリデーションデータセットを用いて、経験豊富な放射線科医による実際の設定でCOVIDXを評価した。 すべての評価設定において、COVIDXは、この目的のために設計された既存の最先端メソッドよりも優れています。 COVIDXはクラウドベースのWebサーバから簡単にアクセスでき、pythonコードはhttps://sites.google .com/view/wajidarsha d/softwareとhttps://github.com/w ajidarshad/covidxで利用可能です。

Coronavirus disease (COVID-19) is a contagious infection caused by severe acute respiratory syndrome coronavirus-2 (SARS-COV-2) and it has infected and killed millions of people across the globe. In the absence of specific drugs or vaccines for the treatment of COVID-19 and the limitation of prevailing diagnostic techniques, there is a requirement for some alternate automatic screening systems that can be used by the physicians to quickly identify and isolate the infected patients. A chest X-ray (CXR) image can be used as an alternative modality to detect and diagnose the COVID-19. In this study, we present an automatic COVID-19 diagnostic and severity prediction (COVIDX) system that uses deep feature maps from CXR images to diagnose COVID-19 and its severity prediction. The proposed system uses a three-phase classification approach (healthy vs unhealthy, COVID-19 vs Pneumonia, and COVID-19 severity) using different shallow supervised classification algorithms. We evaluated COVIDX not only through 10-fold cross2 validation and by using an external validation dataset but also in real settings by involving an experienced radiologist. In all the evaluation settings, COVIDX outperforms all the existing stateof-the-art methods designed for this purpose. We made COVIDX easily accessible through a cloud-based webserver and python code available at https://sites.google .com/view/wajidarsha d/software and https://github.com/w ajidarshad/covidx, respectively.
翻訳日:2021-04-25 05:29:31 公開日:2020-12-25
# (参考訳) 映画対話におけるきめ細かい感情と意図学習 [全文訳有]

Fine-grained Emotion and Intent Learning in Movie Dialogues ( http://arxiv.org/abs/2012.13624v1 )

ライセンス: CC BY 4.0
Anuradha Welivita, Yubo Xie, Pearl Pu(参考訳) そこで本研究では,OpenSubtitles corpusから1Mの対話を抽出し,32の感情と9の共感的反応意図を付加した大規模対話データセットを提案する。 本研究は,映画の字幕の前処理や,アノテートに優れた映画対話の選択に使用される複雑なパイプラインを説明する。 また,半教師付き学習プロセスを記述し,これらの対話に注釈をつけるための細粒度感情分類器を訓練する。 ラベルの多さにもかかわらず、私たちの対話感情分類器は6,5\%の精度を達成し、OpenSubtitlesから100万の感情映画対話に注釈を付けた。 このような感情対話の分類は、データセットのサイズと微粒な感情と意図のカテゴリーの両方において試みられたことがない。 結果データセットの品質を分析するために使用される可視化技術は、人間の社会的相互作用のパターンに準拠していることを示唆している。

We propose a novel large-scale emotional dialogue dataset, consisting of 1M dialogues retrieved from the OpenSubtitles corpus and annotated with 32 emotions and 9 empathetic response intents using a BERT-based fine-grained dialogue emotion classifier. This work explains the complex pipeline used to preprocess movie subtitles and select good movie dialogues to annotate. We also describe the semi-supervised learning process followed to train a fine-grained emotion classifier to annotate these dialogues. Despite the large set of labels, our dialogue emotion classifier achieved an accuracy of $65\%$ and was used to annotate 1M emotional movie dialogues from OpenSubtitles. This scale of emotional dialogue classification has never been attempted before, both in terms of dataset size and fine-grained emotion and intent categories. Visualization techniques used to analyze the quality of the resultant dataset suggest that it conforms to the patterns of human social interaction.
翻訳日:2021-04-25 05:16:46 公開日:2020-12-25
# (参考訳) シンプルなファインチューニングが必要なのは、逆のファインチューニングによるロバストなディープラーニング [全文訳有]

A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning ( http://arxiv.org/abs/2012.13628v1 )

ライセンス: CC0 1.0
Ahmadreza Jeddi, Mohammad Javad Shafiee, Alexander Wong(参考訳) GAD(Projected Gradient Descent)を用いたAT(Adversarial Training)は、ディープニューラルネットワークの堅牢性向上に有効なアプローチである。 しかし、PGD ATは、高い計算コストと、モデル一般化の減少につながる訓練中の過度なオーバーフィッティングという2つの大きな制限に悩まされていることが示されている。 モデルキャパシティやトレーニングデータのスケールが対向ロバスト性に与える影響は広く研究されているが、全てのネットワーク最適化において非常に重要なパラメータが対向ロバスト性(学習率)に与える影響はほとんど注目されていない。 特に, 対人訓練における効果的な学習率スケジューリングは, オーバーフィッティング問題を, スクラッチからモデルを逆さまに訓練する必要がなく, 単に逆向きに訓練済みモデルを微調整できる程度に, 著しく低減することができると仮定する。 この仮説に動機づけられ、計算コストを大幅に削減するだけでなく、ディープニューラルネットワークの精度とロバスト性を大幅に向上させる、$\textit{slow start, fast decay}$学習率スケジューリング戦略に基づく、単純かつ非常に効果的な敵の微調整手法を提案する。 実験結果から,CIFAR-10,CIFAR-100, ImageNetの各データセットに対して,計算コストを8~10$\times$に削減しつつ,精度とロバスト性を両立させる手法が提案された。 さらに、提案した逆調整アプローチの非常に重要な利点は、モデルをスクラッチからトレーニングすることなく、事前訓練されたディープニューラルネットワークの堅牢性を改善することができることである。

Adversarial Training (AT) with Projected Gradient Descent (PGD) is an effective approach for improving the robustness of the deep neural networks. However, PGD AT has been shown to suffer from two main limitations: i) high computational cost, and ii) extreme overfitting during training that leads to reduction in model generalization. While the effect of factors such as model capacity and scale of training data on adversarial robustness have been extensively studied, little attention has been paid to the effect of a very important parameter in every network optimization on adversarial robustness: the learning rate. In particular, we hypothesize that effective learning rate scheduling during adversarial training can significantly reduce the overfitting issue, to a degree where one does not even need to adversarially train a model from scratch but can instead simply adversarially fine-tune a pre-trained model. Motivated by this hypothesis, we propose a simple yet very effective adversarial fine-tuning approach based on a $\textit{slow start, fast decay}$ learning rate scheduling strategy which not only significantly decreases computational cost required, but also greatly improves the accuracy and robustness of a deep neural network. Experimental results show that the proposed adversarial fine-tuning approach outperforms the state-of-the-art methods on CIFAR-10, CIFAR-100 and ImageNet datasets in both test accuracy and the robustness, while reducing the computational cost by 8-10$\times$. Furthermore, a very important benefit of the proposed adversarial fine-tuning approach is that it enables the ability to improve the robustness of any pre-trained deep neural network without needing to train the model from scratch, which to the best of the authors' knowledge has not been previously demonstrated in research literature.
翻訳日:2021-04-25 05:01:37 公開日:2020-12-25
# 対人訓練の堅牢性、プライバシー、一般化

Robustness, Privacy, and Generalization of Adversarial Training ( http://arxiv.org/abs/2012.13573v1 )

ライセンス: Link先を確認
Fengxiang He, Shaopeng Fu, Bohan Wang, Dacheng Tao(参考訳) 敵意トレーニングは、敵意攻撃に抵抗するためにディープニューラルネットワークをかなり強固にすることができる。 しかし、いくつかの研究は、敵の訓練がプライバシー保護と一般化能力を構成する可能性を示唆している。 本稿では, 理論的, 実証的両面から, 対人訓練におけるプライバシー・損益トレードオフと一般化・損益トレードオフを確立し, 定量化する。 まず、逆訓練アルゴリズムのロバスト性を測定するために、"it robustified intensity"という概念を定義した。 この測度は漸近的に一貫した経験的推定器によって経験的に近似することができる。 強弱化強度に基づいて,(1)逆極性トレーニングが$(\varepsilon, \delta)$-differentia lly privateであり,(2)差分プライバシーの大きさが強弱化強度と正の相関を持つこと,(2)逆極性トレーニングの一般化誤差が平均値$\mathcal O(\sqrt{\log N}/N)$ on-average boundと$\mathcal O(1/\sqrt{N})$ high-probability boundで上界化できることを証明した。 さらに、我々の一般化境界は、ディープラーニングにおいて禁止的に大きいパラメータサイズに明示的に依存しません。 標準データセットCIFAR-10とCIFAR-100の体系的な実験は、我々の理論と完全に一致している。 ソースコードパッケージは \url{https://github.com/f shp971/RPG} で入手できる。

Adversarial training can considerably robustify deep neural networks to resist adversarial attacks. However, some works suggested that adversarial training might comprise the privacy-preserving and generalization abilities. This paper establishes and quantifies the privacy-robustness trade-off and generalization-robus tness trade-off in adversarial training from both theoretical and empirical aspects. We first define a notion, {\it robustified intensity} to measure the robustness of an adversarial training algorithm. This measure can be approximate empirically by an asymptotically consistent empirical estimator, {\it empirical robustified intensity}. Based on the robustified intensity, we prove that (1) adversarial training is $(\varepsilon, \delta)$-differentia lly private, where the magnitude of the differential privacy has a positive correlation with the robustified intensity; and (2) the generalization error of adversarial training can be upper bounded by an $\mathcal O(\sqrt{\log N}/N)$ on-average bound and an $\mathcal O(1/\sqrt{N})$ high-probability bound, both of which have positive correlations with the robustified intensity. Additionally, our generalization bounds do not explicitly rely on the parameter size which would be prohibitively large in deep learning. Systematic experiments on standard datasets, CIFAR-10 and CIFAR-100, are in full agreement with our theories. The source code package is available at \url{https://github.com/f shp971/RPG}.
翻訳日:2021-04-25 04:40:05 公開日:2020-12-25
# LOREN: ファクト検証のための論理的強化ニューラル推論

LOREN: Logic Enhanced Neural Reasoning for Fact Verification ( http://arxiv.org/abs/2012.13577v1 )

ライセンス: Link先を確認
Jiangjie Chen, Qiaoben Bao, Jiaze Chen, Changzhi Sun, Hao Zhou, Yanghua Xiao, Lei Li(参考訳) 自然言語のステートメントが与えられたら、Wikipediaのような大規模な知識ソースによって、それがサポートされているか、否定されているか、不明であるかを検証するにはどうすればよいのか? 既存のニューラルネットワークベースの手法では、文全体を概観することが多い。 ステートメントを複数の検証可能な論理点に分解することは有益であると主張する一方で。 本稿では,論理的推論とニューラル推論の両方を統合する,事実検証のための新しいアプローチであるlorenを提案する。 LORENの重要な洞察は、文を中央の句の周りの複数の推論単位に分解することである。 単一の推論ユニットを直接検証する代わりに、LORENはそれを質問回答タスクに変換し、埋め込み空間におけるニューラルネットワークを使用して、すべての仮説の信頼度を計算する。 それらは3値論理ルールのセットによって導かれる神経結合推論を用いて最終的な予測を行うために集約される。 loren氏は、解釈可能性という付加的なメリットを享受している -- 中間の結果で結果にどのように到達したか、なぜミスを犯したのかを説明するのは簡単である。 事実検証のための公開ベンチマークであるFEVER上でLORENを評価する。 実験の結果,提案手法は他の方法よりも優れており,73.43%の発熱率を達成した。

Given a natural language statement, how to verify whether it is supported, refuted, or unknown according to a large-scale knowledge source like Wikipedia? Existing neural-network-based methods often regard a sentence as a whole. While we argue that it is beneficial to decompose a statement into multiple verifiable logical points. In this paper, we propose LOREN, a novel approach for fact verification that integrates both Logic guided Reasoning and Neural inference. The key insight of LOREN is that it decomposes a statement into multiple reasoning units around the central phrases. Instead of directly validating a single reasoning unit, LOREN turns it into a question-answering task and calculates the confidence of every single hypothesis using neural networks in the embedding space. They are aggregated to make a final prediction using a neural joint reasoner guided by a set of three-valued logic rules. LOREN enjoys the additional merit of interpretability -- it is easy to explain how it reaches certain results with intermediate results and why it makes mistakes. We evaluate LOREN on FEVER, a public benchmark for fact verification. Experiments show that our proposed LOREN outperforms other previously published methods and achieves 73.43% of the FEVER score.
翻訳日:2021-04-25 04:39:15 公開日:2020-12-25
# 言語モデリングのための文脈温度

Contextual Temperature for Language Modeling ( http://arxiv.org/abs/2012.13575v1 )

ライセンス: Link先を確認
Pei-Hsin Wang, Sheng-Iou Hsieh, Shih-Chieh Chang, Yu-Ting Chen, Jia-Yu Pan, Wei Wei, Da-Chang Juan(参考訳) 温度のスケーリングは分布の滑らかさを制御する効果的な手法として広く用いられており、様々なタスクにおけるモデルの性能を向上させる。 温度スケーリングを適用する現在のプラクティスは、固定または手作業による動的に変化するスケジュールのいずれかを前提としています。 しかし,本研究では,各クラス毎の最適軌跡がコンテキストによって変化することを示す。 そこで本研究では,文脈上の各語彙の最適な温度軌跡を学習する一般的な手法である文脈温度を提案する。 実験の結果,Penn Treebank と WikiText-2 のテストセットにおいて,55.31 と62.89 の難易度を達成し,最先端言語モデルを大幅に改善することが確認された。 詳細な分析により、学習した温度スケジュールの挙動は語彙によって劇的に変化し、最適なスケジュールは不確実性を制御するのに役立つことが示された。 これらの証拠は、提案手法の必要性と固定温度スケジュールに対する利点をさらに正当化している。

Temperature scaling has been widely used as an effective approach to control the smoothness of a distribution, which helps the model performance in various tasks. Current practices to apply temperature scaling assume either a fixed, or a manually-crafted dynamically changing schedule. However, our studies indicate that the individual optimal trajectory for each class can change with the context. To this end, we propose contextual temperature, a generalized approach that learns an optimal temperature trajectory for each vocabulary over the context. Experimental results confirm that the proposed method significantly improves state-of-the-art language models, achieving a perplexity of 55.31 and 62.89 on the test set of Penn Treebank and WikiText-2, respectively. In-depth analyses show that the behaviour of the learned temperature schedules varies dramatically by vocabulary, and that the optimal schedules help in controlling the uncertainties. These evidences further justify the need for the proposed method and its advantages over fixed temperature schedules.
翻訳日:2021-04-25 04:38:57 公開日:2020-12-25
# 継続的強化学習に向けて : レビューと展望

Towards Continual Reinforcement Learning: A Review and Perspectives ( http://arxiv.org/abs/2012.13490v1 )

ライセンス: Link先を確認
Khimya Khetarpal, Matthew Riemer, Irina Rish, Doina Precup(参考訳) 本稿では,ライフロングあるいは非定常RLとしても知られる連続的強化学習(RL)に対する,異なる定式化とアプローチの文献レビューを提案する。 まず、RLが継続的学習に自然に適合する理由について議論する。 次に、異なる連続RLの定式化の分類を提供し、各設定の非定常力学を数学的に特徴づける。 続いて、連続RLエージェントの評価について論じ、文献で使用されるベンチマークの概要と、エージェントのパフォーマンスを理解するための重要な指標を提供する。 最後に、連続RLの状態と神経科学の発見とのギャップを埋める際のオープンな問題と課題を強調した。 初期の段階において、連続RLの研究は、非定常性が重要な役割を果たす、より現実的なアプリケーションで機能するより良い増分強化学習者を開発することを約束している。 これには、医療、教育、物流、ロボット工学などの分野の応用が含まれる。

In this article, we aim to provide a literature review of different formulations and approaches to continual reinforcement learning (RL), also known as lifelong or non-stationary RL. We begin by discussing our perspective on why RL is a natural fit for studying continual learning. We then provide a taxonomy of different continual RL formulations and mathematically characterize the non-stationary dynamics of each setting. We go on to discuss evaluation of continual RL agents, providing an overview of benchmarks used in the literature and important metrics for understanding agent performance. Finally, we highlight open problems and challenges in bridging the gap between the current state of continual RL and findings in neuroscience. While still in its early days, the study of continual RL has the promise to develop better incremental reinforcement learners that can function in increasingly realistic applications where non-stationarity plays a vital role. These include applications such as those in the fields of healthcare, education, logistics, and robotics.
翻訳日:2021-04-25 04:38:40 公開日:2020-12-25
# 交通異常に対するグラフ畳み込みネットワーク

Graph Convolutional Networks for traffic anomaly ( http://arxiv.org/abs/2012.13637v1 )

ライセンス: Link先を確認
Yue Hu, Ao Qu, Dan Work(参考訳) イベント検出は交通機関において重要な課題であり、大規模なイベントが都市交通ネットワークの大部分を破壊したときにポイントを検出する。 地図サービスベンダーによる旅行情報 {Origin-Destination} (OD) 行列データは、歴史的パターンを発見し、異常を識別するための洞察を与える大きな可能性を持っている。 しかしながら、空間的および時間的トラフィックパターンを完全に捉えることは依然として課題であるが、効果的な異常検出には重要な役割を果たす。 一方、既存の異常検出手法は、OD行列データセットに共通する極端なデータ空間と高次元の課題に十分に適応していない。 これらの課題に取り組むため,我々は,各時間帯の交通状況を表す有向重み付きグラフの組における異常を検知する手法として,新しい手法で問題を定式化する。 さらに,データスパーシティと高次元の問題に取り組みながら,空間的トラフィックネットワークパターンをキャプチャするために,グラフ埋め込みとコンテキスト埋め込み技術を活用する \textit{context augmented graph autoencoder} (\textbf{con-gae }) を提案する。 Con-GAEはオートエンコーダフレームワークを採用し、半教師付き学習を通じて異常を検出する。 広範囲な実験により,実世界の大規模od行列データセットに適用すると,auc(auc)スコア下の領域が最先端の異常検出ベースラインよりも0.1-0.4向上することを示した。

Event detection has been an important task in transportation, whose task is to detect points in time when large events disrupts a large portion of the urban traffic network. Travel information {Origin-Destination} (OD) matrix data by map service vendors has large potential to give us insights to discover historic patterns and distinguish anomalies. However, to fully capture the spatial and temporal traffic patterns remains a challenge, yet serves a crucial role for effective anomaly detection. Meanwhile, existing anomaly detection methods have not well-addressed the extreme data sparsity and high-dimension challenges, which are common in OD matrix datasets. To tackle these challenges, we formulate the problem in a novel way, as detecting anomalies in a set of directed weighted graphs representing the traffic conditions at each time interval. We further propose \textit{Context augmented Graph Autoencoder} (\textbf{Con-GAE }), that leverages graph embedding and context embedding techniques to capture the spatial traffic network patterns while working around the data sparsity and high-dimensionality issue. Con-GAE adopts an autoencoder framework and detect anomalies via semi-supervised learning. Extensive experiments show that our method can achieve up can achieve a 0.1-0.4 improvements of the area under the curve (AUC) score over state-of-art anomaly detection baselines, when applied on several real-world large scale OD matrix datasets.
翻訳日:2021-04-25 04:38:25 公開日:2020-12-25
# 深層ニューラルネットワークにおける局所最小問題の適応解法

Adaptively Solving the Local-Minimum Problem for Deep Neural Networks ( http://arxiv.org/abs/2012.13632v1 )

ライセンス: Link先を確認
Huachuan Wang and James Ting-Ho Lo(参考訳) 本稿では,ディープニューラルネットワーク(DNN)の理論と応用における根本的な問題を克服することを目的とする。 そこで本研究では,DNNを直接訓練する際の局所最小問題の解法を提案する。 本手法は, クロスエントロピー損失をリスク回避誤差(RAE)に変換することにより, クロスエントロピー損失基準の凸化に基づく。 数値的困難を軽減するため、正規化RAE(NRAE)を用いる。 クロスエントロピー損失の凸領域はリスク感度指数(RSI)が増加するにつれて拡大する。 凸領域を最大限に活用するため,本手法は広いrsiを用いてトレーニングを開始し,徐々に縮小し,raeが数値的に実現可能であればraeに切り替える。 トレーニングが収束すると、結果のディープラーニングマシンは、世界最小のクロスエントロピー損失のアトラクション盆地内にあることが期待される。 提案手法の有効性を示すために, 数値計算を行った。

This paper aims to overcome a fundamental problem in the theory and application of deep neural networks (DNNs). We propose a method to solve the local minimum problem in training DNNs directly. Our method is based on the cross-entropy loss criterion's convexification by transforming the cross-entropy loss into a risk averting error (RAE) criterion. To alleviate numerical difficulties, a normalized RAE (NRAE) is employed. The convexity region of the cross-entropy loss expands as its risk sensitivity index (RSI) increases. Making the best use of the convexity region, our method starts training with an extensive RSI, gradually reduces it, and switches to the RAE as soon as the RAE is numerically feasible. After training converges, the resultant deep learning machine is expected to be inside the attraction basin of a global minimum of the cross-entropy loss. Numerical results are provided to show the effectiveness of the proposed method.
翻訳日:2021-04-25 04:37:18 公開日:2020-12-25
# 異種学習タスクを用いた再構成可能なインテリジェント表面支援モバイルエッジコンピューティング

Reconfigurable Intelligent Surface Assisted Mobile Edge Computing with Heterogeneous Learning Tasks ( http://arxiv.org/abs/2012.13533v1 )

ライセンス: Link先を確認
Shanfeng Huang, Shuai Wang, Rui Wang, Miaowen Wen, and Kaibin Huang(参考訳) 人工知能(AI)の普及と急速な進歩は、無線ネットワークの進化を再考している。 モバイルエッジコンピューティング(MEC)は、マシンラーニング(ML)モデルをトレーニングするための豊富な計算リソースと、モバイルおよびモノのインターネット(IoT)デバイスによって生成されたデータへの低レイテンシアクセスを備えた、AIアプリケーションのための自然なプラットフォームを提供する。 本稿では、再構成可能なインテリジェントサーフェス(RIS)の助けを借りて、MECサーバでMLタスクを実行するインフラを提案する。 スループットを最大化するための基本基準である従来の通信システムとは対照的に,学習性能の最大化を目標としている。 具体的には,モバイルユーザの送信パワー,基地局(bs)のビームフォーミングベクトル,risの位相シフト行列を共同で最適化することにより,参加ユーザの最大学習誤差を最小化する。 An alternating optimization (AO)-based framework is proposed to optimize the three terms iteratively, where a successive convex approximation (SCA)-based algorithm is developed to solve the power allocation problem, closed-form expressions of the beamforming vectors are derived, and an alternating direction method of multipliers (ADMM)-based algorithm is designed together with an error level searching (ELS) framework to effectively solve the challenging nonconvex optimization problem of the phase-shift matrix. シミュレーションの結果、RISをデプロイし、様々なベンチマークに対して提案アルゴリズムの利点を検証した。 最後に、CARLAプラットフォームとSECONDネットワークに基づいて、統一的な通信訓練・推論プラットフォームを開発し、提案手法のユースケース(自律運転における3Dオブジェクト検出)を開発プラットフォーム上で実証する。

The ever-growing popularity and rapid improving of artificial intelligence (AI) have raised rethinking on the evolution of wireless networks. Mobile edge computing (MEC) provides a natural platform for AI applications since it is with rich computation resources to train machine learning (ML) models, as well as low-latency access to the data generated by mobile and internet of things (IoT) devices. In this paper, we present an infrastructure to perform ML tasks at an MEC server with the assistance of a reconfigurable intelligent surface (RIS). In contrast to conventional communication systems where the principal criterions are to maximize the throughput, we aim at maximizing the learning performance. Specifically, we minimize the maximum learning error of all participating users by jointly optimizing transmit power of mobile users, beamforming vectors of the base station (BS), and the phase-shift matrix of the RIS. An alternating optimization (AO)-based framework is proposed to optimize the three terms iteratively, where a successive convex approximation (SCA)-based algorithm is developed to solve the power allocation problem, closed-form expressions of the beamforming vectors are derived, and an alternating direction method of multipliers (ADMM)-based algorithm is designed together with an error level searching (ELS) framework to effectively solve the challenging nonconvex optimization problem of the phase-shift matrix. Simulation results demonstrate significant gains of deploying an RIS and validate the advantages of our proposed algorithms over various benchmarks. Lastly, a unified communication-traini ng-inference platform is developed based on the CARLA platform and the SECOND network, and a use case (3D object detection in autonomous driving) for the proposed scheme is demonstrated on the developed platform.
翻訳日:2021-04-25 04:36:35 公開日:2020-12-25
# T2強調3次元高速スピンエコー画像における前立腺領域と末梢領域の完全自動分割のための残留UNET

A Cascaded Residual UNET for Fully Automated Segmentation of Prostate and Peripheral Zone in T2-weighted 3D Fast Spin Echo Images ( http://arxiv.org/abs/2012.13501v1 )

ライセンス: Link先を確認
Lavanya Umapathy, Wyatt Unger, Faryal Shareef, Hina Arif, Diego Martin, Maria Altbach, and Ali Bilgin(参考訳) 前立腺癌の非侵襲的診断には多パラメータMR画像が有効であることが示されている。 前立腺の自動セグメンテーションは、時間を要する放射線技師による手動アノテーションの必要性を排除する。 これにより、前立腺組織のキャラクタリゼーションのための画像特徴抽出の効率が向上する。 本研究では,ネットワークを経由する前立腺と末梢領域のセグメンテーションのために,残差ブロックであるカスケードmres-unetを用いた,完全自動カスケード型ディープラーニングアーキテクチャを提案する。 ネットワークは高Diceスコア(0.91\pm.02$)、精度(0.91\pm.04$)、リコールスコア(0.92\pm.03$)を前立腺セグメンテーションで得る。 前立腺総容積推定の平均差は5%未満である。

Multi-parametric MR images have been shown to be effective in the non-invasive diagnosis of prostate cancer. Automated segmentation of the prostate eliminates the need for manual annotation by a radiologist which is time consuming. This improves efficiency in the extraction of imaging features for the characterization of prostate tissues. In this work, we propose a fully automated cascaded deep learning architecture with residual blocks, Cascaded MRes-UNET, for segmentation of the prostate gland and the peripheral zone in one pass through the network. The network yields high Dice scores ($0.91\pm.02$), precision ($0.91\pm.04$), and recall scores ($0.92\pm.03$) in prostate segmentation compared to manual annotations by an experienced radiologist. The average difference in total prostate volume estimation is less than 5%.
翻訳日:2021-04-25 04:35:42 公開日:2020-12-25
# 胸部x線を用いた肺結核検診の深部学習法

Deep Learning Methods for Screening Pulmonary Tuberculosis Using Chest X-rays ( http://arxiv.org/abs/2012.13582v1 )

ライセンス: Link先を確認
Chirath Dasanayakaa and Maheshi Buddhinee Dissanayake(参考訳) 結核 (tb) は細菌の感染症であり、世界でもトップ10の死因の1つである。 世界保健機関(WHO)によると、2018年に約18億人がTBに感染し、60万人の死者が報告された。 さらに重要なことに、95%の症例と死亡は発展途上国からのものである。 しかし,TBは早期診断による完全治癒性疾患である。 この目標を達成するための重要な要件のひとつは、胸部x線がアクティブなtbのスクリーニングに使用される診断ツールの最初のラインである既存の診断技術の効率的な利用である。 提案したディープラーニングパイプラインは,肺X線の生成,分画,分類を行う,最先端の3つのアーキテクチャの異なる状態で構成されている。 この画像前処理とは別に、画像拡張、遺伝的アルゴリズムに基づくハイパーパラメータチューニング、モデルアンサンブルを用いて診断プロセスを改善した。 分類精度は97.1%(ヨーデンの指数0.941、感度97.9%、特異性96.2%)となり、文献に残されているものに比べてかなり向上した。 そこで本研究では,胸部x線を用いた高精度なtb検診システムを提案する。

Tuberculosis (TB) is a contagious bacterial airborne disease, and is one of the top 10 causes of death worldwide. According to the World Health Organization (WHO), around 1.8 billion people are infected with TB and 1.6 million deaths were reported in 2018. More importantly,95% of cases and deaths were from developing countries. Yet, TB is a completely curable disease through early diagnosis. To achieve this goal one of the key requirements is efficient utilization of existing diagnostic technologies, among which chest X-ray is the first line of diagnostic tool used for screening for active TB. The presented deep learning pipeline consists of three different state of the art deep learning architectures, to generate, segment and classify lung X-rays. Apart from this image preprocessing, image augmentation, genetic algorithm based hyper parameter tuning and model ensembling were used to to improve the diagnostic process. We were able to achieve classification accuracy of 97.1% (Youden's index-0.941,sensitiv ity of 97.9% and specificity of 96.2%) which is a considerable improvement compared to the existing work in the literature. In our work, we present an highly accurate, automated TB screening system using chest X-rays, which would be helpful especially for low income countries with low access to qualified medical professionals.
翻訳日:2021-04-25 04:35:24 公開日:2020-12-25
# ロボットに新しい物体を指差して教える

Teaching Robots Novel Objects by Pointing at Them ( http://arxiv.org/abs/2012.13620v1 )

ライセンス: Link先を確認
Sagar Gubbi Venkatesh and Raviteja Upadrashta and Shishir Kolathaya and Bharadwaj Amrutur(参考訳) 新たな環境で動作し、人間と協力する必要があるロボットは、操作中に人間の専門家から新しい知識を得ることができる必要がある。 本研究は,ロボットがこれまで遭遇したことのない新しい物体を,新たな興味の対象に指差して教えることを提案する。 エンド・ツー・エンドのニューラルネットワークは、ポインティング・ハンドが示す新しい興味のあるオブジェクトに出席し、新しいシーンでオブジェクトをローカライズするために使用される。 ポインティング・ハンドが示す新しいオブジェクトに出席するために,シーン内の他のオブジェクトを無視しながら強調されたオブジェクトに焦点を合わせることを学ぶ空間的注意変調機構を提案する。 ロボットアームは手を指して強調される新しい物体を操作可能であることを示す。 また,絵文字を用いた合成データセットと実世界の共通オブジェクトのデータセットを用いて提案手法の性能を評価する。

Robots that must operate in novel environments and collaborate with humans must be capable of acquiring new knowledge from human experts during operation. We propose teaching a robot novel objects it has not encountered before by pointing a hand at the new object of interest. An end-to-end neural network is used to attend to the novel object of interest indicated by the pointing hand and then to localize the object in new scenes. In order to attend to the novel object indicated by the pointing hand, we propose a spatial attention modulation mechanism that learns to focus on the highlighted object while ignoring the other objects in the scene. We show that a robot arm can manipulate novel objects that are highlighted by pointing a hand at them. We also evaluate the performance of the proposed architecture on a synthetic dataset constructed using emojis and on a real-world dataset of common objects.
翻訳日:2021-04-25 04:35:02 公開日:2020-12-25
# 1st Place Solution to VisDA-2020: Bias Elimination for Domain Adaptive Pedestrian Re-identification

1st Place Solution to VisDA-2020: Bias Elimination for Domain Adaptive Pedestrian Re-identification ( http://arxiv.org/abs/2012.13498v1 )

ライセンス: Link先を確認
Jianyang Gu, Hao Luo, Weihua Chen, Yiqi Jiang, Yuqi Zhang, Shuting He, Fan Wang, Hao Li, Wei Jiang(参考訳) 本稿では,視覚領域適応チャレンジ(VisDA-2020)における領域適応型歩行者再識別(Re-ID)タスクを提案する。 ソースドメインとターゲットドメインの間の大きなギャップを考慮して,ドメイン適応歩行者再識別の性能に影響を及ぼす2つのバイアスの解決に着目し,2段階のトレーニング手順を提案した。 最初の段階では、ベースラインモデルはソースドメインからターゲットドメイン、単一カメラから複数のカメラスタイルに変換された画像で訓練される。 そして、ソースデータとターゲットデータでモデルを同時にトレーニングするためのドメイン適応フレームワークを導入しました。 モデルの識別能力を継続的に改善するために、異なる擬似ラベル生成戦略を採用する。 最後に,複数のモデルと追加のポスト処理アプローチが採用され,テストセット上で76.56%のマップと84.25%のランク-1を達成した。 コードはhttps://github.com/v imar-gu/Bias-Elimina te-DA-ReIDで公開されている。

This paper presents our proposed methods for domain adaptive pedestrian re-identification (Re-ID) task in Visual Domain Adaptation Challenge (VisDA-2020). Considering the large gap between the source domain and target domain, we focused on solving two biases that influenced the performance on domain adaptive pedestrian Re-ID and proposed a two-stage training procedure. At the first stage, a baseline model is trained with images transferred from source domain to target domain and from single camera to multiple camera styles. Then we introduced a domain adaptation framework to train the model on source data and target data simultaneously. Different pseudo label generation strategies are adopted to continuously improve the discriminative ability of the model. Finally, with multiple models ensembled and additional post processing approaches adopted, our methods achieve 76.56% mAP and 84.25% rank-1 on the test set. Codes are available at https://github.com/v imar-gu/Bias-Elimina te-DA-ReID
翻訳日:2021-04-25 04:34:49 公開日:2020-12-25
# 生成型VoxelNet:3次元形状合成と解析のためのエネルギーモデル学習

Generative VoxelNet: Learning Energy-Based Models for 3D Shape Synthesis and Analysis ( http://arxiv.org/abs/2012.13522v1 )

ライセンス: Link先を確認
Jianwen Xie, Zilong Zheng, Ruiqi Gao, Wenguan Wang, Song-Chun Zhu, Ying Nian Wu(参考訳) オブジェクトやシーンのリッチな幾何学情報を含む3Dデータは、3D物理世界を理解するのに有用である。 近年の大規模3dデータセットの出現に伴い、3d形状合成と解析のための強力な3d生成モデルを持つことがますます重要になっている。 本稿では,体積形状を表す3次元エネルギーモデルを提案する。 モデルの最大限の訓練は「合成による分析」スキームに従う。 The benefits of the proposed model are six-fold: first, unlike GANs and VAEs, the model training does not rely on any auxiliary models; second, the model can synthesize realistic 3D shapes by Markov chain Monte Carlo (MCMC); third, the conditional model can be applied to 3D object recovery and super resolution; fourth, the model can serve as a building block in a multi-grid modeling and sampling framework for high resolution 3D shape synthesis; fifth, the model can be used to train a 3D generator via MCMC teaching; sixth, the unsupervisedly trained model provides a powerful feature extractor for 3D data, which is useful for 3D object classification. 実験により,提案モデルが高品質な3d形状パターンを生成できることを示し,多種多様な3d形状解析に有用であることを示す。

3D data that contains rich geometry information of objects and scenes is valuable for understanding 3D physical world. With the recent emergence of large-scale 3D datasets, it becomes increasingly crucial to have a powerful 3D generative model for 3D shape synthesis and analysis. This paper proposes a deep 3D energy-based model to represent volumetric shapes. The maximum likelihood training of the model follows an "analysis by synthesis" scheme. The benefits of the proposed model are six-fold: first, unlike GANs and VAEs, the model training does not rely on any auxiliary models; second, the model can synthesize realistic 3D shapes by Markov chain Monte Carlo (MCMC); third, the conditional model can be applied to 3D object recovery and super resolution; fourth, the model can serve as a building block in a multi-grid modeling and sampling framework for high resolution 3D shape synthesis; fifth, the model can be used to train a 3D generator via MCMC teaching; sixth, the unsupervisedly trained model provides a powerful feature extractor for 3D data, which is useful for 3D object classification. Experiments demonstrate that the proposed model can generate high-quality 3D shape patterns and can be useful for a wide variety of 3D shape analysis.
翻訳日:2021-04-25 04:34:30 公開日:2020-12-25
# 物体検出のための暗黙的特徴ピラミッドネットワーク

Implicit Feature Pyramid Network for Object Detection ( http://arxiv.org/abs/2012.13563v1 )

ライセンス: Link先を確認
Tiancai Wang, Xiangyu Zhang, Jian Sun(参考訳) 本稿ではオブジェクト検出のための暗黙的特徴ピラミッドネットワーク(i-FPN)を提案する。 既存のFPNはいくつかのクロススケールブロックを積み重ねて大きな受容場を得る。 本稿では,FPNの変換をモデル化するために,最近Deep equilibrium model (DEQ) で導入された暗黙関数を提案する。 隠れた状態を効率的に更新する残差のようなイテレーションを開発する。 MS COCOデータセットの実験結果によると、i-FPN は ResNet-50-FPN: +3.4, +3.2, +3.5, +4.2, +3.2 mAP on RetinaNet, Faster-RCNN, FCOS, ATSS, AutoAssign のベースライン検出器と比較して検出性能を著しく向上させることができる。

In this paper, we present an implicit feature pyramid network (i-FPN) for object detection. Existing FPNs stack several cross-scale blocks to obtain large receptive field. We propose to use an implicit function, recently introduced in deep equilibrium model (DEQ), to model the transformation of FPN. We develop a residual-like iteration to updates the hidden states efficiently. Experimental results on MS COCO dataset show that i-FPN can significantly boost detection performance compared to baseline detectors with ResNet-50-FPN: +3.4, +3.2, +3.5, +4.2, +3.2 mAP on RetinaNet, Faster-RCNN, FCOS, ATSS and AutoAssign, respectively.
翻訳日:2021-04-25 04:34:15 公開日:2020-12-25
# 効率的な拡張探索によるインセプション・コンボリューション

Inception Convolution with Efficient Dilation Search ( http://arxiv.org/abs/2012.13587v1 )

ライセンス: Link先を確認
Jie Liu, Chuming Li, Feng Liang, Chen Lin, Ming Sun, Junjie Yan, Wanli Ouyang, Dong Xu(参考訳) 拡張畳み込み(dilation convolution)は、有効な受容野を制御し、追加の計算を導入することなく、オブジェクトの大規模な分散を処理する標準畳み込みニューラルネットワークの重要な変異体である。 しかし、拡張畳み込みデータに有効な受信フィールドを合わせることは、文献では議論されていない。 その可能性を完全に探究するため,我々は,異なる軸,チャネル,層間でそれぞれ独立した拡張を有する拡張畳み込み (inception (dilated) convolution) という,拡張畳み込みの新しい変異体を提案した。 複雑なインセプション畳み込みをデータに適合させる実用的な方法を探るため,統計的最適化に基づく簡易かつ効果的な拡張探索アルゴリズム(EDO)を開発した。 探索法は,大規模データセットに適用することが極めて高速なゼロコスト方式で動作する。 実験の結果,本手法は広範囲のベンチマークで一貫した性能向上が得られることがわかった。 例えば、ResNet-50バックボーンの3x3標準の畳み込みをインセプション畳み込みに置き換えることで、MS-COCO上のFaster-RCNNのmAPを36.4%から39.2%に改善する。 さらに,resnet-101のバックボーンと同じ置き換えを用いて,ボトムアップの人間のポーズ推定において,apスコアを60.2%から68.5%まで大幅に改善した。

Dilation convolution is a critical mutant of standard convolution neural network to control effective receptive fields and handle large scale variance of objects without introducing additional computation. However, fitting the effective reception field to data with dilated convolution is less discussed in the literature. To fully explore its potentials, we proposed a new mutant of dilated convolution, namely inception (dilated) convolution where the convolutions have independent dilation among different axes, channels and layers. To explore a practical method for fitting the complex inception convolution to the data, a simple while effective dilation search algorithm(EDO) based on statistical optimization is developed. The search method operates in a zero-cost manner which is extremely fast to apply on large scale datasets. Empirical results reveal that our method obtains consistent performance gains in an extensive range of benchmarks. For instance, by simply replace the 3 x 3 standard convolutions in ResNet-50 backbone with inception convolution, we improve the mAP of Faster-RCNN on MS-COCO from 36.4% to 39.2%. Furthermore, using the same replacement in ResNet-101 backbone, we achieve a huge improvement over AP score from 60.2% to 68.5% on COCO val2017 for the bottom up human pose estimation.
翻訳日:2021-04-25 04:33:58 公開日:2020-12-25
# 信号因果情報を用いた動脈交通予測のためのグラフ畳み込みネットワーク

A Graph Convolutional Network with Signal Phasing Information for Arterial Traffic Prediction ( http://arxiv.org/abs/2012.13479v1 )

ライセンス: Link先を確認
Victor Chan, Qijian Gan, and Alexandre Bayen(参考訳) 交通計測の正確かつ信頼性の高い予測は、現代のインテリジェント輸送システムの開発において重要な役割を担っている。 より複雑な道路ジオメトリと信号制御の存在により、動脈交通予測は高速道路交通予測よりも高いレベルである。 動脈交通予測に関する既存の研究の多くは、ループセンサからの流量と占有率の時間的測定のみを考慮し、上流と下流の検出器間のリッチな空間的関係を無視している。 その結果、特に長い地平線において、大きな予測誤差を被ることが多い。 我々は,信号タイミング計画から発生する空間情報を用いて,深層学習アプローチである拡散畳み込みリカレントニューラルネットワークを強化することで,このギャップを埋める。 信号位相タイミング計画の位相分割から構成された遷移行列を用いた拡散過程として信号化交差点でのトラフィックをモデル化する。 本研究では,カリフォルニア州アルカディアの動脈交差部におけるループセンサ計測と信号タイミング計画から交通流を予測する手法を提案する。 提案手法は予測精度が優れており,30分間の予測では,朝ピーク時では16%,オフピーク時では10%,午後ピーク時では8%に短縮した。 さらに,検出器のカバー範囲,検出器タイプ,データ品質など,さまざまな設定による実験を通じて,モデルのロバスト性を実証する。

Accurate and reliable prediction of traffic measurements plays a crucial role in the development of modern intelligent transportation systems. Due to more complex road geometries and the presence of signal control, arterial traffic prediction is a level above freeway traffic prediction. Many existing studies on arterial traffic prediction only consider temporal measurements of flow and occupancy from loop sensors and neglect the rich spatial relationships between upstream and downstream detectors. As a result, they often suffer large prediction errors, especially for long horizons. We fill this gap by enhancing a deep learning approach, Diffusion Convolutional Recurrent Neural Network, with spatial information generated from signal timing plans at targeted intersections. Traffic at signalized intersections is modeled as a diffusion process with a transition matrix constructed from the phase splits of the signal phase timing plan. We apply this novel method to predict traffic flow from loop sensor measurements and signal timing plans at an arterial intersection in Arcadia, CA. We demonstrate that our proposed method yields superior forecasts; for a prediction horizon of 30 minutes, we cut the MAPE down to 16% for morning peaks, 10% for off peaks, and even 8% for afternoon peaks. In addition, we exemplify the robustness of our model through a number of experiments with various settings in detector coverage, detector type, and data quality.
翻訳日:2021-04-25 04:33:16 公開日:2020-12-25
# 自己教師型マルチモーダル表現学習について:アルツハイマー病への応用

On self-supervised multi-modal representation learning: An application to Alzheimer's disease ( http://arxiv.org/abs/2012.13619v1 )

ライセンス: Link先を確認
Alex Fedorov, Lei Wu, Tristan Sylvain, Margaux Luck, Thomas P. DeRamus, Dmitry Bleklov, Sergey M. Plis, Vince D. Calhoun(参考訳) 機能的および構造的脳イメージングで訓練された深い教師付き予測モデルのイントロスペクションは、アルツハイマー病(AD)の新しいマーカーを明らかにする可能性がある。 しかし、教師付きトレーニングは、発見過程においてその価値を損なう刺激的な特徴(ショートカット学習)から学ぶ傾向がある。 深い教師なし、そして近年では、分類に偏らない対照的な自己監督アプローチが、このタスクのより良い候補である。 それらのマルチモーダルオプションは、特にモダリティ相互作用によるさらなる正規化を提供する。 本稿では,AD患者の fMRI と MRI の対比的自己監督的融合のためのマルチモーダルアーキテクチャを徹底的に検討する手法を提案する。 このマルチモーダル融合は,両モーダルの下流分類の結果を改善する表現をもたらすことを示す。 我々は,脳空間に投射される融合自己教師機能について検討し,数値的に安定な方法を導入する。

Introspection of deep supervised predictive models trained on functional and structural brain imaging may uncover novel markers of Alzheimer's disease (AD). However, supervised training is prone to learning from spurious features (shortcut learning) impairing its value in the discovery process. Deep unsupervised and, recently, contrastive self-supervised approaches, not biased to classification, are better candidates for the task. Their multimodal options specifically offer additional regularization via modality interactions. In this paper, we introduce a way to exhaustively consider multimodal architectures for contrastive self-supervised fusion of fMRI and MRI of AD patients and controls. We show that this multimodal fusion results in representations that improve the results of the downstream classification for both modalities. We investigate the fused self-supervised features projected into the brain space and introduce a numerically stable way to do so.
翻訳日:2021-04-25 04:32:41 公開日:2020-12-25
# 知識グラフに基づく脳誘発検索エンジンアシスタント

Brain-inspired Search Engine Assistant based on Knowledge Graph ( http://arxiv.org/abs/2012.13529v1 )

ライセンス: Link先を確認
Xuejiao Zhao, Huanhuan Chen, Zhenchang Xing, Chunyan Miao(参考訳) 検索エンジンはクエリキーワードに従ってハイパーリンクリストに素早く応答できる。 しかし、クエリが複雑である場合、開発者は繰り返し検索キーワードを洗練し、回答を見つけ、要約するために多数のWebページを開く必要がある。 質問・回答(q and answering、qとa)システムは、シンプルで正確で理解可能な回答を提供することで、検索エンジンを支援する。 しかし、本来の意味的コンテキストがなければ、これらの答えには説明責任がなく、ユーザが信頼し、採用することが難しくなる。 本稿では,知識グラフに基づく脳インスパイアされた検索エンジンアシスタントであるdeveloperbotを提案する。 具体的には、DeveloperBotは、複雑なマルチ制約クエリを複数の順序付けられた制約に分割することで、まずマルチレイヤクエリグラフを構築する。 次に、制約推論過程を認知科学の活性化モデルの普及に触発されたサブグラフ探索プロセスとしてモデル化する。 最終的に、この部分グラフの新たな特徴を意思決定のために抽出する。 対応する理由書及び回答の信頼性は、説明として導き出される。 意思決定の結果は、DeveloperBotが回答を見積もり、信頼性を高い精度で回答できることを示している。 プロトタイプを実装し,ユーザ調査を行い,developerbotが提供する直接的な回答と説明が,開発者の情報ニーズにどのように役立つかを評価する。

Search engines can quickly response a hyperlink list according to query keywords. However, when a query is complex, developers need to repeatedly refine the search keywords and open a large number of web pages to find and summarize answers. Many research works of question and answering (Q and A) system attempt to assist search engines by providing simple, accurate and understandable answers. However, without original semantic contexts, these answers lack explainability, making them difficult for users to trust and adopt. In this paper, a brain-inspired search engine assistant named DeveloperBot based on knowledge graph is proposed, which aligns to the cognitive process of human and has the capacity to answer complex queries with explainability. Specifically, DeveloperBot firstly constructs a multi-layer query graph by splitting a complex multi-constraint query into several ordered constraints. Then it models the constraint reasoning process as subgraph search process inspired by the spreading activation model of cognitive science. In the end, novel features of the subgraph will be extracted for decision-making. The corresponding reasoning subgraph and answer confidence will be derived as explanations. The results of the decision-making demonstrate that DeveloperBot can estimate the answers and answer confidences with high accuracy. We implement a prototype and conduct a user study to evaluate whether and how the direct answers and the explanations provided by DeveloperBot can assist developers' information needs.
翻訳日:2021-04-25 04:32:30 公開日:2020-12-25
# 地理距離から見た人工知能におけるチームコラボレーションの理解

Understanding Team Collaboration in Artificial Intelligence from the perspective of Geographic Distance ( http://arxiv.org/abs/2012.13560v1 )

ライセンス: Link先を確認
Xuli Tang, Xin Li, Ying Ding, Feicheng Ma(参考訳) 本稿では,人工知能(ai)分野におけるチームコラボレーションを地理的距離の観点から分析する。 1950-2019年にmicrosoft academic graphから1,584,175件のai関連出版物を得た。 3つの緯度と経度に基づく指標を用いて、国内および国際レベルのAIにおけるコラボレーションの地理的距離を定量化した。 その結果、AIにおけるチームのコラボレーションは、2019年の42,000件(38.4%)のマルチアフィリエイトAIパブリッシングによって、この分野でより人気を博している。 チームコラボレーションの地理的距離の変化は、時間とともに国内外のaiコラボレーションの幅と密度が増加することを示している。 さらに、米国は、単一国および国際協力型AI出版物の最大数を生み出し、中国は2010年以降、AIにおける国際協力において重要な役割を担ってきた。

This paper analyzes team collaboration in the field of Artificial Intelligence (AI) from the perspective of geographic distance. We obtained 1,584,175 AI related publications during 1950-2019 from the Microsoft Academic Graph. Three latitude-and-longitu de-based indicators were employed to quantify the geographic distance of collaborations in AI over time at domestic and international levels. The results show team collaborations in AI has been more popular in the field over time with around 42,000 (38.4%) multiple-affiliation AI publications in 2019. The changes in geographic distances of team collaborations indicate the increase of breadth and density for both domestic and international collaborations in AI over time. In addition, the United States produced the largest number of single-country and internationally collaborated AI publications, and China has played an important role in international collaborations in AI after 2010.
翻訳日:2021-04-25 04:32:09 公開日:2020-12-25
# 個人化決定境界を用いた動的K勧告

Dynamic-K Recommendation with Personalized Decision Boundary ( http://arxiv.org/abs/2012.13569v1 )

ライセンス: Link先を確認
Yan Gao, Jiafeng Guo, Yanyan Lan, Huaming Liao(参考訳) 本稿では,最も一般的なシナリオにおいて,暗黙的なフィードバック(クリック,購入など)を用いて推薦タスクを検討する。 この方向の最先端の手法は、通常、一連のアイテム(例えば、Webページ、製品)でパーソナライズされたランキングを学ぶために問題を提起する。 トップNの結果はユーザにレコメンデーションとして提供され、通常、Nはヒューリスティックな基準(ページサイズ、画面サイズなど)に従ってシステムによって事前に定義された固定数である。 この固定数レコメンデーションスキームには、ある大きな前提がある。つまり、ユーザーの好みには常に十分な関連項目がある。 残念ながら、この仮定が現実のシナリオで常に成り立つとは限らない。 アプリケーションによっては、推奨すべき候補項目が非常に限られている場合もありますし、推奨する関連性の高い要件を持つユーザもいます。 このように、上位1位のアイテムでさえ、ユーザの好みとは無関係かもしれない。 そこで我々は,K が候補項目セットと対象ユーザに対して異なる場合に,動的 K 勧告を提供することが重要であると論じている。 我々は,この動的k推薦タスクを,ランク付けと分類目標の両方を併せ持つ共同学習問題として定式化する。 ランキングの目的は、既存の方法と同じであり、すなわち、ユーザの興味に応じてアイテムのランキングリストを作成することである。 この分類の目的は、関連する項目と無関係な項目を区別するために、パーソナライズされた決定境界を学ぶことである。 これらの考え方に基づき、BPRMFとHRMの2つの最先端ランキングベースの推薦手法を対応する動的Kバージョン(DK-BPRMFとDK-HRM)に拡張する。 2つのデータセットに対する実験結果から,動的Kモデルの方が従来の固定N推奨手法よりも有効であることが示された。

In this paper, we investigate the recommendation task in the most common scenario with implicit feedback (e.g., clicks, purchases). State-of-the-art methods in this direction usually cast the problem as to learn a personalized ranking on a set of items (e.g., webpages, products). The top-N results are then provided to users as recommendations, where the N is usually a fixed number pre-defined by the system according to some heuristic criteria (e.g., page size, screen size). There is one major assumption underlying this fixed-number recommendation scheme, i.e., there are always sufficient relevant items to users' preferences. Unfortunately, this assumption may not always hold in real-world scenarios. In some applications, there might be very limited candidate items to recommend, and some users may have very high relevance requirement in recommendation. In this way, even the top-1 ranked item may not be relevant to a user's preference. Therefore, we argue that it is critical to provide a dynamic-K recommendation, where the K should be different with respect to the candidate item set and the target user. We formulate this dynamic-K recommendation task as a joint learning problem with both ranking and classification objectives. The ranking objective is the same as existing methods, i.e., to create a ranking list of items according to users' interests. The classification objective is unique in this work, which aims to learn a personalized decision boundary to differentiate the relevant items from irrelevant items. Based on these ideas, we extend two state-of-the-art ranking-based recommendation methods, i.e., BPRMF and HRM, to the corresponding dynamic-K versions, namely DK-BPRMF and DK-HRM. Our experimental results on two datasets show that the dynamic-K models are more effective than the original fixed-N recommendation methods.
翻訳日:2021-04-25 04:31:57 公開日:2020-12-25
# 技術報告:飲料水システムにおけるフラッシング戦略

Technical Report: Flushing Strategies in Drinking Water Systems ( http://arxiv.org/abs/2012.13574v1 )

ライセンス: Link先を確認
Margarita Rebolledo, Sowmya Chandrasekaran, and Thomas Bartz-Beielstein(参考訳) 飲料水供給・流通システムは、公共の安全のために十分に維持されなければならない重要なインフラである。 配水システム(WDS)の保守において重要な道具はフラッシングである。 フラッシングは、排水管内の堆積物やその他の汚染物質を浄化するために周期的に行われるプロセスである。 異なる地形、水組成、wds間の供給需要を考えると、これら全てに単一のフラッシング戦略は適していない。 本稿では,WDSにおけるフラッシング最適化手法について概観する。 フラッシング手順とフラッシング計画の最適化手法の実装について述べる。 提案は、既存のフラッシング計画フレームワークを最適化するオプションとして提供される。

Drinking water supply and distribution systems are critical infrastructure that has to be well maintained for the safety of the public. One important tool in the maintenance of water distribution systems (WDS) is flushing. Flushing is a process carried out in a periodic fashion to clean sediments and other contaminants in the water pipes. Given the different topographies, water composition and supply demand between WDS no single flushing strategy is suitable for all of them. In this report a non-exhaustive overview of optimization methods for flushing in WDS is given. Implementation of optimization methods for the flushing procedure and the flushing planing are presented. Suggestions are given as a possible option to optimise existing flushing planing frameworks.
翻訳日:2021-04-25 04:31:28 公開日:2020-12-25
# 教師なしクロスモーダルハッシュのための包括的グラフ条件類似性保存ネットワーク

Comprehensive Graph-conditional Similarity Preserving Network for Unsupervised Cross-modal Hashing ( http://arxiv.org/abs/2012.13538v1 )

ライセンス: Link先を確認
Jun Yu, Hao Zhou, Yibing Zhan, Dacheng Tao(参考訳) 教師なしクロスモーダルハッシュ(UCMH)が最近話題になっている。 現在のUCMHは、データの類似性を探求することに焦点を当てている。 しかし、現在のudmh法は2つのデータ間の類似度を計算し、主に2つのデータのクロスモーダルな特徴に依存する。 これらの手法は、2つのデータが異なる特徴表現を持つが固有の概念を共有するような複雑なデータ関係を記述するのに、データ間のクロスモーダルな特徴が十分ではないため、不正確な類似性の問題に悩まされる。 本稿では,dgcpn(deep graph-neighbor coherence preservation network)を考案する。 具体的には、DGCPNはグラフモデルから派生し、データと隣人の情報を統合することによってグラフ近傍のコヒーレンスを探索する。 DGCPNは3種類のデータ類似性(グラフ近傍のコヒーレンス、共存する類似性、およびモダリティ内およびモダリティ間の整合性)を活用し、半現実的および半バイナリ最適化戦略を設計し、ハッシュ中の量子化エラーを低減することで損失を抑える。 本質的には、DGCPNはグラフ内のデータ固有の関係を探索し、活用することによって、不正確な類似性問題に対処する。 3つの公開UCMHデータセットについて広範な実験を行った。 実験結果は,64ビットハッシュ符号を用いて画像からテキストを検索し,平均精度を0.722から0.751に向上させることにより,DGCPNの優位性を示す。 ソースコードパッケージとトレーニングされたモデルをhttps://github.com/A tmegal/DGCPN.comでリリースします。

Unsupervised cross-modal hashing (UCMH) has become a hot topic recently. Current UCMH focuses on exploring data similarities. However, current UCMH methods calculate the similarity between two data, mainly relying on the two data's cross-modal features. These methods suffer from inaccurate similarity problems that result in a suboptimal retrieval Hamming space, because the cross-modal features between the data are not sufficient to describe the complex data relationships, such as situations where two data have different feature representations but share the inherent concepts. In this paper, we devise a deep graph-neighbor coherence preserving network (DGCPN). Specifically, DGCPN stems from graph models and explores graph-neighbor coherence by consolidating the information between data and their neighbors. DGCPN regulates comprehensive similarity preserving losses by exploiting three types of data similarities (i.e., the graph-neighbor coherence, the coexistent similarity, and the intra- and inter-modality consistency) and designs a half-real and half-binary optimization strategy to reduce the quantization errors during hashing. Essentially, DGCPN addresses the inaccurate similarity problem by exploring and exploiting the data's intrinsic relationships in a graph. We conduct extensive experiments on three public UCMH datasets. The experimental results demonstrate the superiority of DGCPN, e.g., by improving the mean average precision from 0.722 to 0.751 on MIRFlickr-25K using 64-bit hashing codes to retrieve texts from images. We will release the source code package and the trained model on https://github.com/A tmegal/DGCPN.
翻訳日:2021-04-25 04:31:20 公開日:2020-12-25
# 球面高調波を用いた拡張物体の3次元同時形状とポーズ推定

Three-dimensional Simultaneous Shape and Pose Estimation for Extended Objects Using Spherical Harmonics ( http://arxiv.org/abs/2012.13580v1 )

ライセンス: Link先を確認
Gerhard Kurz, Florian Faion, Florian Pfaff, Antonio Zea, Uwe D. Hanebeck(参考訳) 本稿では3次元拡張オブジェクトのポーズと形状を同時に推定する新しい再帰的手法を提案する。 提案手法の重要な考え方は, 2次元の場合におけるフーリエ級数の使用法と同様の,球面高調波を用いて物体の形状を表現することである。 これにより、UKFのような非線形フィルタの枠組みで用いられる測定方程式を導出することができる。 我々は,新しい手法のシミュレーションと実験的評価の両方を提供する。

We propose a new recursive method for simultaneous estimation of both the pose and the shape of a three-dimensional extended object. The key idea of the presented method is to represent the shape of the object using spherical harmonics, similar to the way Fourier series can be used in the two-dimensional case. This allows us to derive a measurement equation that can be used within the framework of nonlinear filters such as the UKF. We provide both simulative and experimental evaluations of the novel techniques.
翻訳日:2021-04-25 04:30:49 公開日:2020-12-25
# 能動教育における直感性

Intuitiveness in Active Teaching ( http://arxiv.org/abs/2012.13551v1 )

ライセンス: Link先を確認
Jan Philip G\"opfert, Ulrike Kuhl, Lukas Hindemith, Heiko Wersing, Barbara Hammer(参考訳) 機械学習は二重刃の剣であり、自動化されたシステムで驚くべき結果をもたらすが、膨大なデータ要求のコストがかかる。 これにより、マシンラーニングから得られる多くのアルゴリズムは、人間と機械のインタラクションに不適当であり、適切な時間枠内でユーザが提供できる少数のトレーニングサンプルからマシンを学ばなければならない。 幸いなことに、ユーザは、マシンの要件と制限を知っていれば、必要なサイズを著しく制限して、作成するトレーニングデータを可能な限り有効に調整することができる。 もちろん、この知識を得ることは、結局面倒で費用がかかる。 これにより、機械学習アルゴリズムの操作がいかに簡単かという疑問が持ち上がる。 本研究では,ユーザが積極的に教えているアルゴリズムの直感性を解析することで,この問題に対処する。 アルゴリズムの特性として直感性の理論的な枠組みを開発した後、著名な機械学習アルゴリズムと対話する800人のユーザのパフォーマンスと教育戦略に関する大規模ユーザ研究の結果を提示し、議論する。 この広範な検査によって、人間と機械の相互作用の有効性を判断し、システムがいかにアクセス可能で理解可能で公正であるかを精査する体系的な方法を提供する。

Machine learning is a double-edged sword: it gives rise to astonishing results in automated systems, but at the cost of tremendously large data requirements. This makes many successful algorithms from machine learning unsuitable for human-machine interaction, where the machine must learn from a small number of training samples that can be provided by a user within a reasonable time frame. Fortunately, the user can tailor the training data they create to be as useful as possible, severely limiting its necessary size -- as long as they know about the machine's requirements and limitations. Of course, acquiring this knowledge can in turn be cumbersome and costly. This raises the question how easy machine learning algorithms are to interact with. In this work we address this issue by analyzing the intuitiveness of certain algorithms when they are actively taught by users. After developing a theoretical framework of intuitiveness as a property of algorithms, we present and discuss the results of a large-scale user study into the performance and teaching strategies of 800 users interacting with prominent machine learning algorithms. Via this extensive examination we offer a systematic method to judge the efficacy of human-machine interactions and thus, to scrutinize how accessible, understandable, and fair, a system is.
翻訳日:2021-04-25 04:30:41 公開日:2020-12-25
# dnsタイプポスキャッティングドメイン検出: データ分析と機械学習に基づくアプローチ

DNS Typo-squatting Domain Detection: A Data Analytics & Machine Learning Based Approach ( http://arxiv.org/abs/2012.13604v1 )

ライセンス: Link先を確認
Abdallah Moubayed, MohammadNoor Injadat, Abdallah Shami, Hanan Lutfiyya(参考訳) ドメイン名システム(DNS)は、IP解決のための標準メカニズムであるため、現在のIPベースのネットワークにおいて重要なコンポーネントである。 しかし、データの完全性や元の認証プロセスが欠如しているため、様々な攻撃に対して脆弱である。 そのような攻撃の1つはタイプクワッティングである。 この攻撃を検出することは、企業秘密に対する脅威となり、情報を盗んだり、詐欺を犯すのに使用できるため、特に重要である。 本稿では,型付け脆弱性に取り組むために,機械学習に基づく手法を提案する。 この目的のために、探索データ分析は、まず8つのドメイン名に基づく抽出された特徴の傾向をよりよく理解するために使用される。 さらに,疑わしいドメインを高精度に検出できる5つの分類アルゴリズムを用いた多数投票型アンサンブル学習分類器を提案する。 さらに、k-meansクラスタリングアルゴリズムを用いてラベルなしデータセットで同じ特徴を解析し、開発したアンサンブル学習分類器を適用することにより、観測された傾向を検証する。 その結果、正当なドメインはドメイン名の長さが小さく、ユニークな文字が少ないことが判明した。 さらに、開発したアンサンブル学習分類器は、精度、精度、Fスコアの点で優れている。 さらに,クラスタリングを用いた場合,同様の傾向が観察されることが示された。 しかし、潜在的に疑わしいと思われる藩は多い。 したがって、アンサンブル学習分類器は、潜在的に疑わしいと同定されたドメインの数が5倍近く減少する一方で、特徴統計の点でも同じ傾向を維持していることを示す結果に適用される。

Domain Name System (DNS) is a crucial component of current IP-based networks as it is the standard mechanism for name to IP resolution. However, due to its lack of data integrity and origin authentication processes, it is vulnerable to a variety of attacks. One such attack is Typosquatting. Detecting this attack is particularly important as it can be a threat to corporate secrets and can be used to steal information or commit fraud. In this paper, a machine learning-based approach is proposed to tackle the typosquatting vulnerability. To that end, exploratory data analytics is first used to better understand the trends observed in eight domain name-based extracted features. Furthermore, a majority voting-based ensemble learning classifier built using five classification algorithms is proposed that can detect suspicious domains with high accuracy. Moreover, the observed trends are validated by studying the same features in an unlabeled dataset using K-means clustering algorithm and through applying the developed ensemble learning classifier. Results show that legitimate domains have a smaller domain name length and fewer unique characters. Moreover, the developed ensemble learning classifier performs better in terms of accuracy, precision, and F-score. Furthermore, it is shown that similar trends are observed when clustering is used. However, the number of domains identified as potentially suspicious is high. Hence, the ensemble learning classifier is applied with results showing that the number of domains identified as potentially suspicious is reduced by almost a factor of five while still maintaining the same trends in terms of features' statistics.
翻訳日:2021-04-25 04:30:24 公開日:2020-12-25
# 科学的影響の早期指標:altmetricsによる引用予測

Early Indicators of Scientific Impact: Predicting Citations with Altmetrics ( http://arxiv.org/abs/2012.13599v1 )

ライセンス: Link先を確認
Akhil Pandey Akella, Hamed Alhoori, Pavan Ravikanth Kondamudi, Cole Freeman, Haiming Zhou(参考訳) 初期の重要な学術文献の特定は、学術研究コミュニティや技術企業や政府機関などの利害関係者にとって不可欠である。 出版される膨大な研究の量と学際的領域の成長のために、研究者は重要な学術研究を識別するための効率的な方法を必要としている。 特定の研究出版物が獲得した引用数は、この目的のために使われてきたが、これらは発生に時間がかかる。 本稿では,学術刊行物が得る短期的・長期的引用の予測にaltmetricsを用いた。 様々な分類と回帰モデルを構築し、それらの性能を評価し、これらのタスクに最適なニューラルネットワークとアンサンブルモデルを見つける。 また,初期の引用予測においてメンデリーの読者数が最も重要な要因であり,さらに,読者の学術的地位(学生,ポストドク,教授など),twitter上のフォロワー,オンライン投稿の長さ,著者数,twitter,wikipedia,その他の国での言及数などが挙げられる。

Identifying important scholarly literature at an early stage is vital to the academic research community and other stakeholders such as technology companies and government bodies. Due to the sheer amount of research published and the growth of ever-changing interdisciplinary areas, researchers need an efficient way to identify important scholarly work. The number of citations a given research publication has accrued has been used for this purpose, but these take time to occur and longer to accumulate. In this article, we use altmetrics to predict the short-term and long-term citations that a scholarly publication could receive. We build various classification and regression models and evaluate their performance, finding neural networks and ensemble models to perform best for these tasks. We also find that Mendeley readership is the most important factor in predicting the early citations, followed by other factors such as the academic status of the readers (e.g., student, postdoc, professor), followers on Twitter, online post length, author count, and the number of mentions on Twitter, Wikipedia, and across different countries.
翻訳日:2021-04-25 04:29:28 公開日:2020-12-25
# アソシエーションルールを用いたeラーニング環境における学生の参加とパフォーマンスの関係

Relationship between Student Engagement and Performance in e-Learning Environment Using Association Rules ( http://arxiv.org/abs/2101.02006v1 )

ライセンス: Link先を確認
Abdallah Moubayed, MohammadNoor Injadat, Abdallah Shami, Hanan Lutfiyya(参考訳) 電子学習の分野は、スマートフォンやワイヤレスデバイスを使ってインターネットにアクセスしやすくなったため、学界への関心が高まりつつある。 eラーニングプラットフォームが直面する課題のひとつは、学生のモチベーションとエンゲージメントを維持する方法だ。 また,学業成績が損なわれないように支援が必要な学生を特定することも重要である。 そこで本研究では,学生のエンゲージメントと学業成績との関係について検討する。 apriori association rulesアルゴリズムは、学生のエンゲージメントとアカデミックなパフォーマンスを関連づける一連のルールを導出するために使用される。 信頼度とリフト指標を用いた実験結果の分析により,混合型e-ラーニング環境において,学生のエンゲージメントレベルと学業成績との間に正の相関がみられた。 特に、エンゲージメントが高まると学業成績が上がることがしばしば示されている。 これは従来の教室でのエンゲージメントと学業成績を結びつけた以前の研究を補強するものである。

The field of e-learning has emerged as a topic of interest in academia due to the increased ease of accessing the Internet using using smart-phones and wireless devices. One of the challenges facing e-learning platforms is how to keep students motivated and engaged. Moreover, it is also crucial to identify the students that might need help in order to make sure their academic performance doesn't suffer. To that end, this paper tries to investigate the relationship between student engagement and their academic performance. Apriori association rules algorithm is used to derive a set of rules that relate student engagement to academic performance. Experimental results' analysis done using confidence and lift metrics show that a positive correlation exists between students' engagement level and their academic performance in a blended e-learning environment. In particular, it is shown that higher engagement often leads to better academic performance. This cements the previous work that linked engagement and academic performance in traditional classrooms.
翻訳日:2021-04-25 04:29:08 公開日:2020-12-25