このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス(CC 0, CC BY, CC BY-SA)の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。(arxivのメタデータは CC 0です。) 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。

本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。

公開日が20200615となっている論文です。

PDF登録状況(公開日: 20200615)

TitleAuthorsAbstract論文公表日・翻訳日
# CNNを用いたハイパースペクトル/SAR画像分類におけるグローバル空間特徴の統合

Integrating global spatial features in CNN based Hyperspectral/SAR imagery classification ( http://arxiv.org/abs/2006.00234v2 )

ライセンス: Link先を確認
Fan Zhang, MinChao Yan, Chen Hu, Jun Ni, Fei Ma(参考訳) 土地被覆分類は、人間の作業を減らすために、巨大なリモートセンシング画像の中の物をインテリジェントに識別できるため、リモートセンシングにおいて重要な役割を担っている。 しかし,リモートセンシング画像の画素特徴や限られた空間特徴に基づいて多くの分類手法が設計されており,その分類精度と普遍性は制限されている。 本稿では,リモートセンシング画像の情報,すなわち地理緯度-経度情報を利用する新しい手法を提案する。 さらに、デュアルブランチ畳み込みニューラルネットワーク(CNN)分類法を、画像の画素特性をマイニングするためのグローバル情報と組み合わせて設計する。 そして、2つのニューラルネットワークの特徴を別の完全ニューラルネットワークと融合させ、リモートセンシング画像の分類を実現する。 最後に,高スペクトル画像(HSI)と偏光合成開口レーダ(PolSAR)の2種類のリモートセンシング画像を用いて,本手法の有効性を検証した。 提案手法は従来の単一チャネル畳み込みニューラルネットワークよりも優れている。

The land cover classification has played an important role in remote sensing because it can intelligently identify things in one huge remote sensing image to reduce the work of humans. However, a lot of classification methods are designed based on the pixel feature or limited spatial feature of the remote sensing image, which limits the classification accuracy and universality of their methods. This paper proposed a novel method to take into the information of remote sensing image, i.e., geographic latitude-longitude information. In addition, a dual-branch convolutional neural network (CNN) classification method is designed in combination with the global information to mine the pixel features of the image. Then, the features of the two neural networks are fused with another fully neural network to realize the classification of remote sensing images. Finally, two remote sensing images are used to verify the effectiveness of our method, including hyperspectral imaging (HSI) and polarimetric synthetic aperture radar (PolSAR) imagery. The result of the proposed method is superior to the traditional single-channel convolutional neural network.
翻訳日:2022-11-26 17:33:08 公開日:2020-06-15
# グローバルに推測してみよう: 一般化可能な対スプーフィングアプローチ

Look Locally Infer Globally: A Generalizable Face Anti-Spoofing Approach ( http://arxiv.org/abs/2006.02834v3 )

ライセンス: Link先を確認
Debayan Deb, Anil K. Jain(参考訳) 最先端のspoof検出手法は、トレーニング中に見られるspoofタイプに過度に適合する傾向があり、未知のspoofタイプに一般化できない。 フェイスアンチスプーフィングは本質的に局所的なタスクであると考えられるため,自己教師あり地域完全畳み込みネットワーク(ssr-fcn)と呼ばれるフェイスアンチスプーフィングフレームワークを提案する。 提案手法は,nvidia gtx 1080ti gpu 上での対スプーフィング法 (4ms) の計算効率を維持しつつ,汎用性を向上させる。 提案手法は,顔のどの部分がスプーフとしてラベル付けられているかをローカライズするため,解釈可能である。 SSR-FCNは,標準ベンチマークデータセット(Oulu-NPU,CASIA-MFSD,Replay-Attack)を用いて,未知の攻撃下での13種類のスプーフ型からなるデータセットに対して,TDR = 65% @2.0% FDRを達成することができた。

State-of-the-art spoof detection methods tend to overfit to the spoof types seen during training and fail to generalize to unknown spoof types. Given that face anti-spoofing is inherently a local task, we propose a face anti-spoofing framework, namely Self-Supervised Regional Fully Convolutional Network (SSR-FCN), that is trained to learn local discriminative cues from a face image in a self-supervised manner. The proposed framework improves generalizability while maintaining the computational efficiency of holistic face anti-spoofing approaches (< 4 ms on a Nvidia GTX 1080Ti GPU). The proposed method is interpretable since it localizes which parts of the face are labeled as spoofs. Experimental results show that SSR-FCN can achieve TDR = 65% @ 2.0% FDR when evaluated on a dataset comprising of 13 different spoof types under unknown attacks while achieving competitive performances under standard benchmark datasets (Oulu-NPU, CASIA-MFSD, and Replay-Attack).
翻訳日:2022-11-25 10:08:04 公開日:2020-06-15
# 確率線形バンディットに対する問題複雑性適応モデル選択

Problem-Complexity Adaptive Model Selection for Stochastic Linear Bandits ( http://arxiv.org/abs/2006.02612v2 )

ライセンス: Link先を確認
Avishek Ghosh, Abishek Sankararaman and Kannan Ramchandran(参考訳) 2つの一般的な確率線形バンディット設定に対するモデル選択の問題を検討し,未知問題に適応するアルゴリズムを提案する。 最初の設定では、腕$i \in [K]$の平均的な報酬が$\mu_i+ \langle \alpha_{i,t},\theta^* \rangle $, with $\alpha_{i,t} \in \mathbb{R}^d$が既知のコンテキストベクトルであり、$\mu_i \in [-1,1]$と$\theta^*$が未知のパラメータであるような、K$の武装混合包帯を考える。 問題複雑性として$\|\theta^*\|$ と定義し、ネスト化された仮説クラスの列を考え、それぞれ$\|\theta^*\|$ 上の異なる上限を仮定する。 そこで我々は,真の問題複雑性に対応する新しい位相ベースのアルゴリズムであるAdaptive Linear Bandit (ALB) を提案する。 alb は $o(\|\theta^*\|\sqrt{t})$ の後悔のスケーリングを達成できることを示し、ここで $\|\theta^*\|$ は apriori 未知であることを示した。 結論として、$\theta^*=0$ のとき、ALB は$\theta^*$ の知識のない単純なバンドイットアルゴリズムに対するミニマックスの後悔を回復する。 ALBは、パラメータノルムを線形帯域のモデルセクション基準として利用する最初のアルゴリズムである。 以前の状態のアルゴリズム \cite{osom} は$o(l\sqrt{t})$ の後悔を達成し、ここで $l$ は問題への入力として与えられる$\|\theta^*\|$ の上限である。 第2の設定では、標準線形バンディット問題(おそらく無限個のアームを持つ)を考える。ここでは、$d^* \leq d$ で表される$\theta^*$ のスパース性はアルゴリズムには未知である。 問題複雑性として $d^*$ を定義すると、alb が$o(d^*\sqrt{t})$ を達成でき、真のスパーシティレベルを知っているオラクルのそれと一致することが分かる。 この方法論は有限個の腕の場合に拡張され、同様の結果が証明される。 このようなモデル選択を保証する最初のアルゴリズムである。 さらに、合成および実データ実験により結果を検証する。

We consider the problem of model selection for two popular stochastic linear bandit settings, and propose algorithms that adapts to the unknown problem complexity. In the first setting, we consider the $K$ armed mixture bandits, where the mean reward of arm $i \in [K]$, is $\mu_i+ \langle \alpha_{i,t},\theta^* \rangle $, with $\alpha_{i,t} \in \mathbb{R}^d$ being the known context vector and $\mu_i \in [-1,1]$ and $\theta^*$ are unknown parameters. We define $\|\theta^*\|$ as the problem complexity and consider a sequence of nested hypothesis classes, each positing a different upper bound on $\|\theta^*\|$. Exploiting this, we propose Adaptive Linear Bandit (ALB), a novel phase based algorithm that adapts to the true problem complexity, $\|\theta^*\|$. We show that ALB achieves regret scaling of $O(\|\theta^*\|\sqrt{T})$, where $\|\theta^*\|$ is apriori unknown. As a corollary, when $\theta^*=0$, ALB recovers the minimax regret for the simple bandit algorithm without such knowledge of $\theta^*$. ALB is the first algorithm that uses parameter norm as model section criteria for linear bandits. Prior state of art algorithms \cite{osom} achieve a regret of $O(L\sqrt{T})$, where $L$ is the upper bound on $\|\theta^*\|$, fed as an input to the problem. In the second setting, we consider the standard linear bandit problem (with possibly an infinite number of arms) where the sparsity of $\theta^*$, denoted by $d^* \leq d$, is unknown to the algorithm. Defining $d^*$ as the problem complexity, we show that ALB achieves $O(d^*\sqrt{T})$ regret, matching that of an oracle who knew the true sparsity level. This methodology is then extended to the case of finitely many arms and similar results are proven. This is the first algorithm that achieves such model selection guarantees. We further verify our results via synthetic and real-data experiments.
翻訳日:2022-11-25 09:15:59 公開日:2020-06-15
# FMEAに基づく大規模ベイズネットワークによるリチウムイオン電池製造の根本原因解析

Root Cause Analysis in Lithium-Ion Battery Production with FMEA-Based Large-Scale Bayesian Network ( http://arxiv.org/abs/2006.03610v2 )

ライセンス: Link先を確認
Michael Kirchhof and Klaus Haas and Thomas Kornas and Sebastian Thiede and Mario Hirz and Christoph Herrmann(参考訳) リチウムイオン電池の製造は, プロセス特性の因果関係が多々あるため, 複雑度が高いことが特徴である。 マルチステージ生産に関する知識は、いくつかの専門家の間で広まり、タスクを障害分析の課題としてレンダリングする。 本稿では,フェールモードとエフェクト分析(FMEA)をベイズネットワークと組み合わせることで,生産ラインアップにおける専門家の知識獲得を含む新しい手法を提案する。 いくつかのプロセスエキスパートから知識を集める際に発生する、専門家が提供するパラメータ間の矛盾を検出し解決する特別なアルゴリズムが提示されている。 リチウムイオン電池製造における大規模, クロスプロセスベイズ障害ネットワークの構築と根源解析への応用により, この総括的手法の有効性を示す。

The production of lithium-ion battery cells is characterized by a high degree of complexity due to numerous cause-effect relationships between process characteristics. Knowledge about the multi-stage production is spread among several experts, rendering tasks as failure analysis challenging. In this paper, a new method is presented that includes expert knowledge acquisition in production ramp-up by combining Failure Mode and Effects Analysis (FMEA) with a Bayesian Network. Special algorithms are presented that help detect and resolve inconsistencies between the expert-provided parameters which are bound to occur when collecting knowledge from several process experts. We show the effectiveness of this holistic method by building up a large scale, cross-process Bayesian Failure Network in lithium-ion battery production and its application for root cause analysis.
翻訳日:2022-11-25 04:21:18 公開日:2020-06-15
# パワー球面分布

The Power Spherical distribution ( http://arxiv.org/abs/2006.04437v2 )

ライセンス: Link先を確認
Nicola De Cao, Wilker Aziz(参考訳) 観測されたデータや潜在構造に対応するため、超球面空間で定義される確率モデルへの関心が高まっている。 von Mises-Fisher (vMF) 分布は、しばしば超球面上の正規分布と見なされるが、標準的なモデリング選択であり、指数族であり、KL(Kulback-Leibler) と他の vMF 分布との分岐など、重要な統計結果をもたらす。 しかし、vmf分布からのサンプリングには、再パラメータ化トリックによる確率的バックプロパゲーションの文脈において、遅いステップの他に、拒絶サンプリング手順が必要である。 さらに、この手順は、例えば高濃度および/または高次元の特定の vMF に対して数値的に不安定である。 我々は,vmf の重要な側面(例えば,超球面のサポート,その平均方向パラメータに関する対称性,他の vmf 分布からkl が知られている)を保ちつつ,その主な欠点(スケーラビリティと数値安定性)に対処する新しい分布,パワー球面分布を提案する。 数値実験により,パワー球面分布の安定性を実証し,さらにMNISTで訓練された変分オートエンコーダに適用する。 コード・アット: https://github.com/nicola-decao/power_spherical

There is a growing interest in probabilistic models defined in hyper-spherical spaces, be it to accommodate observed data or latent structure. The von Mises-Fisher (vMF) distribution, often regarded as the Normal distribution on the hyper-sphere, is a standard modeling choice: it is an exponential family and thus enjoys important statistical results, for example, known Kullback-Leibler (KL) divergence from other vMF distributions. Sampling from a vMF distribution, however, requires a rejection sampling procedure which besides being slow poses difficulties in the context of stochastic backpropagation via the reparameterization trick. Moreover, this procedure is numerically unstable for certain vMFs, e.g., those with high concentration and/or in high dimensions. We propose a novel distribution, the Power Spherical distribution, which retains some of the important aspects of the vMF (e.g., support on the hyper-sphere, symmetry about its mean direction parameter, known KL from other vMF distributions) while addressing its main drawbacks (i.e., scalability and numerical stability). We demonstrate the stability of Power Spherical distributions with a numerical experiment and further apply it to a variational auto-encoder trained on MNIST. Code at: https://github.com/nicola-decao/power_spherical
翻訳日:2022-11-24 00:32:30 公開日:2020-06-15
# 最適輸送におけるエントロピー正則化の統計的効果

The statistical effect of entropic regularization in optimal transportation ( http://arxiv.org/abs/2006.05199v2 )

ライセンス: Link先を確認
Eustasio del Barrio and Jean-Michel Loubes(参考訳) シンクホーンalgotihmsにおける正則化の効果を理解する問題に取り組む。 ガウス分布の場合、正則化された最適輸送に対して閉形式を提供し、統計的枠組みから正則化の効果をよりよく理解することができる。

We propose to tackle the problem of understanding the effect of regularization in Sinkhorn algotihms. In the case of Gaussian distributions we provide a closed form for the regularized optimal transport which enables to provide a better understanding of the effect of the regularization from a statistical framework.
翻訳日:2022-11-23 15:56:38 公開日:2020-06-15
# 安全制約のある適応型臨床試験におけるドーズアロケーションの学習

Learning for Dose Allocation in Adaptive Clinical Trials with Safety Constraints ( http://arxiv.org/abs/2006.05026v2 )

ライセンス: Link先を確認
Cong Shen, Zhiyang Wang, Sofia S. Villar, and Mihaela van der Schaar(参考訳) 新規化合物(またはそれらの組み合わせ)の有効性と毒性の関係がより複雑になるにつれて、第i相線量探索試験はますます困難になっている。 それにもかかわらず、実際最も一般的に使われている方法は、毒性事象のみから学ぶことによって最大許容量(MTD)を特定することである。 我々は, 毒性安全性制約を高い確率で満たしながら累積効果を最大化することを目的とした, safe effective exploration dose allocation (seeda) という新しい適応型臨床試験手法を提案する。 本研究は, 累積有効性, 推奨/配置成功確率, 毒性違反確率, サンプル効率など, 実用的臨床試験において意味のあるパフォーマンス目標を評価する。 また,分子標的剤 (MTA) の高次プラトー効果に適合する拡張SEEDA-Plateauアルゴリズムについても述べる。 合成データと実世界のデータの両方を用いた数値実験により,seedaは,高い成功率と少ない患者で最適な服用量を見出すことにより,最先端の臨床試験設計を上回っていることが示された。

Phase I dose-finding trials are increasingly challenging as the relationship between efficacy and toxicity of new compounds (or combination of them) becomes more complex. Despite this, most commonly used methods in practice focus on identifying a Maximum Tolerated Dose (MTD) by learning only from toxicity events. We present a novel adaptive clinical trial methodology, called Safe Efficacy Exploration Dose Allocation (SEEDA), that aims at maximizing the cumulative efficacies while satisfying the toxicity safety constraint with high probability. We evaluate performance objectives that have operational meanings in practical clinical trials, including cumulative efficacy, recommendation/allocation success probabilities, toxicity violation probability, and sample efficiency. An extended SEEDA-Plateau algorithm that is tailored for the increase-then-plateau efficacy behavior of molecularly targeted agents (MTA) is also presented. Through numerical experiments using both synthetic and real-world datasets, we show that SEEDA outperforms state-of-the-art clinical trial designs by finding the optimal dose with higher success rate and fewer patients.
翻訳日:2022-11-23 14:27:03 公開日:2020-06-15
# ソーシャルアプリにおけるユーザエンゲージメント予測のための友人関係,行動,時間的説明

Knowing your FATE: Friendship, Action and Temporal Explanations for User Engagement Prediction on Social Apps ( http://arxiv.org/abs/2006.06427v2 )

ライセンス: Link先を確認
Xianfeng Tang, Yozen Liu, Neil Shah, Xiaolin Shi, Prasenjit Mitra, Suhang Wang(参考訳) 近年のソーシャルネットワークアプリケーション(Apps)の急速な成長と普及に伴い、ユーザエンゲージメントの理解がますます重要になり、将来のアプリ設計と開発に有用な洞察を提供するようになった。 いくつかの有望なニューラルモデリングアプローチがユーザエンゲージメントの正確な予測のために先駆的なものだが、ブラックボックスの設計は残念ながらモデル説明可能性に制限がある。 本稿では,ソーシャルネットワークアプリにおけるユーザエンゲージメント予測の新たな課題について考察する。 まず,将来の期待値に基づいて,様々なビジネスシナリオに対するユーザエンゲージメントの柔軟な定義を提案する。 次に、エンド・ツー・エンドのニューラルフレームワークであるdestinationを設計し、フレンドシップ、ユーザアクション、時間的ダイナミクスという3つの重要な要素を取り入れて、説明可能なエンゲージメント予測を実現します。 FATEは、テンソルベースのグラフニューラルネットワーク(GNN)、LSTM、および混合アテンション機構に基づいており、これにより実現可能である。 (a)異なる特徴カテゴリーにまたがる学習重みに基づく予測説明 (b)ネットワークの複雑さを減少させ、 (c)予測精度とトレーニング/推論時間の両方で性能が向上した。 我々はsnapchatの2つの大規模データセットについて広範囲な実験を行い、fausteは最先端のアプローチを${\approx}10\%$ errorと${\approx}20\%$ runtime reductionで上回っている。 また,FATEからの説明も評価し,定量的,定性的な性能を示した。

With the rapid growth and prevalence of social network applications (Apps) in recent years, understanding user engagement has become increasingly important, to provide useful insights for future App design and development. While several promising neural modeling approaches were recently pioneered for accurate user engagement prediction, their black-box designs are unfortunately limited in model explainability. In this paper, we study a novel problem of explainable user engagement prediction for social network Apps. First, we propose a flexible definition of user engagement for various business scenarios, based on future metric expectations. Next, we design an end-to-end neural framework, FATE, which incorporates three key factors that we identify to influence user engagement, namely friendships, user actions, and temporal dynamics to achieve explainable engagement predictions. FATE is based on a tensor-based graph neural network (GNN), LSTM and a mixture attention mechanism, which allows for (a) predictive explanations based on learned weights across different feature categories, (b) reduced network complexity, and (c) improved performance in both prediction accuracy and training/inference time. We conduct extensive experiments on two large-scale datasets from Snapchat, where FATE outperforms state-of-the-art approaches by ${\approx}10\%$ error and ${\approx}20\%$ runtime reduction. We also evaluate explanations from FATE, showing strong quantitative and qualitative performance.
翻訳日:2022-11-23 05:14:27 公開日:2020-06-15
# Generalized SHAP: 機械学習における多種多様な説明の生成

Generalized SHAP: Generating multiple types of explanations in machine learning ( http://arxiv.org/abs/2006.07155v2 )

ライセンス: Link先を確認
Dillon Bowen, Lyle Ungar(参考訳) モデルに関する重要な質問の多くは、各機能がアウトプットにどの程度貢献するかを説明するだけでは答えられません。 より広範な質問に答えるために、一般的な数学的によく理解された説明手法、Shapley Additive Explanations (SHAP)を一般化する。 我々の新しい手法 - Generalized Shapley Additive Explanations (G-SHAP) - は、以下を含む多くの追加的な説明を生成する。 1) 一般的な分類の説明; なぜこのサンプルは他のクラスよりもあるクラスに属しやすいのか? 2) 群間差; なぜ我々のモデルの予測は観測群によって異なるのか? 3) モデル障害: なぜ私たちのモデルは与えられたサンプルでパフォーマンスが悪いのか? このような説明を形式的に定義し,実データ上での実用性を説明する。

Many important questions about a model cannot be answered just by explaining how much each feature contributes to its output. To answer a broader set of questions, we generalize a popular, mathematically well-grounded explanation technique, Shapley Additive Explanations (SHAP). Our new method - Generalized Shapley Additive Explanations (G-SHAP) - produces many additional types of explanations, including: 1) General classification explanations; Why is this sample more likely to belong to one class rather than another? 2) Intergroup differences; Why do our model's predictions differ between groups of observations? 3) Model failure; Why does our model perform poorly on a given sample? We formally define these types of explanations and illustrate their practical use on real data.
翻訳日:2022-11-22 02:49:22 公開日:2020-06-15
# モデル同定と経験リラベリングによる分布シフトにロバストなメタ強化学習

Meta-Reinforcement Learning Robust to Distributional Shift via Model Identification and Experience Relabeling ( http://arxiv.org/abs/2006.07178v2 )

ライセンス: Link先を確認
Russell Mendonca, Xinyang Geng, Chelsea Finn, Sergey Levine(参考訳) 強化学習アルゴリズムは、複雑なタスクのポリシーを自律的に取得することができる。 しかし、多様なスキルセットを学ぶのに必要なサンプルの数は、違法に多い可能性がある。 メタ強化学習手法により、エージェントは新しいタスクに素早く適応するために事前の経験を活用することができるが、そのパフォーマンスは、新しいタスクが以前経験したタスクにどの程度近いかに大きく依存する。 現在のアプローチは、うまく外挿できないか、または、オンポリシーなメタトレーニングのために非常に大量のデータを必要とする犠牲にできる。 本研究では,テスト時に分散タスクに直面する場合,効率良く外挿可能なメタ強化学習アルゴリズムであるmodel identification and experience relabeling (mier)を提案する。 我々は、動的モデルがポリシーや値関数よりも簡単に、政策外のデータに効率的かつ一貫して適応できることを認識します。 これらのダイナミクスモデルは、新しいタスクの総合的な経験を生成することによって、メタ強化学習をまったく使わずに、分散タスクのトレーニングポリシーと価値関数を継続するために使うことができる。

Reinforcement learning algorithms can acquire policies for complex tasks autonomously. However, the number of samples required to learn a diverse set of skills can be prohibitively large. While meta-reinforcement learning methods have enabled agents to leverage prior experience to adapt quickly to new tasks, their performance depends crucially on how close the new task is to the previously experienced tasks. Current approaches are either not able to extrapolate well, or can do so at the expense of requiring extremely large amounts of data for on-policy meta-training. In this work, we present model identification and experience relabeling (MIER), a meta-reinforcement learning algorithm that is both efficient and extrapolates well when faced with out-of-distribution tasks at test time. Our method is based on a simple insight: we recognize that dynamics models can be adapted efficiently and consistently with off-policy data, more easily than policies and value functions. These dynamics models can then be used to continue training policies and value functions for out-of-distribution tasks without using meta-reinforcement learning at all, by generating synthetic experience for the new task.
翻訳日:2022-11-22 02:49:11 公開日:2020-06-15
# fedgan: 分散データのためのfederated generative adversarial network

FedGAN: Federated Generative Adversarial Networks for Distributed Data ( http://arxiv.org/abs/2006.07228v2 )

ライセンス: Link先を確認
Mohammad Rasouli, Tao Sun, Ram Rajagopal(参考訳) 通信やプライバシーの制約を受ける非独立分散データソースの分散ソース間でGANをトレーニングするためのFedGAN(Federated Generative Adversarial Network)を提案する。 本アルゴリズムは,ジェネレータと識別器のパラメータを平均し,ブロードキャストする中間体を介して周期的に同期するローカルジェネレータと判別器を用いる。 我々は,確率近似と通信効率のよい確率勾配勾配を用いて,FedGANとジェネレータと判別器の等時および2つの時間的更新による収束を理論的に証明する。 おもちゃの例(2Dシステム,混合ガウスロール,スイスロール),画像データセット(MNIST,CIFAR-10,CelebA),時系列データセット(家庭用電力消費および電気自動車充電セッション)について実験を行った。 我々は、FedGANが収束し、一般的な分散GANと同等の性能を持つことを示した。 通信の削減にも堅牢性を示します。

We propose Federated Generative Adversarial Network (FedGAN) for training a GAN across distributed sources of non-independent-and-identically-distributed data sources subject to communication and privacy constraints. Our algorithm uses local generators and discriminators which are periodically synced via an intermediary that averages and broadcasts the generator and discriminator parameters. We theoretically prove the convergence of FedGAN with both equal and two time-scale updates of generator and discriminator, under standard assumptions, using stochastic approximations and communication efficient stochastic gradient descents. We experiment FedGAN on toy examples (2D system, mixed Gaussian, and Swiss role), image datasets (MNIST, CIFAR-10, and CelebA), and time series datasets (household electricity consumption and electric vehicle charging sessions). We show FedGAN converges and has similar performance to general distributed GAN, while reduces communication complexity. We also show its robustness to reduced communications.
翻訳日:2022-11-22 02:13:52 公開日:2020-06-15
# 実用的微分的因果グラフ発見に向けて

Towards practical differentially private causal graph discovery ( http://arxiv.org/abs/2006.08598v1 )

ライセンス: Link先を確認
Lun Wang and Qi Pang and Dawn Song(参考訳) 因果グラフ発見は、純粋な観測データから因果関係グラフを発見する過程を指す。 他の統計データと同様に、因果グラフはデータセットの参加者に関する機密情報を漏洩する可能性がある。 本稿では,実効時間と実行時間の両方を改善した,因果グラフ発見アルゴリズムpriv-pcを提案する。 Priv-PCの設計はSieve-and-examineと呼ばれる新しいパラダイムに従っており、これは少数のプライバシー予算を使って"重要"クエリをフィルタリングし、残りの予算を利用して"重要"クエリの高精度な回答を得る。 また,条件付きケンドールのタウや条件付きスピアマンのローを含む条件付き独立試験の初回感度分析を行った。 4つの公開データセット上でPriv-PCを評価し,現状と比較した。 その結果、Priv-PCは10.61倍から32.85倍のスピードアップを実現し、実用性も向上した。

Causal graph discovery refers to the process of discovering causal relation graphs from purely observational data. Like other statistical data, a causal graph might leak sensitive information about participants in the dataset. In this paper, we present a differentially private causal graph discovery algorithm, Priv-PC, which improves both utility and running time compared to the state-of-the-art. The design of Priv-PC follows a novel paradigm called sieve-and-examine which uses a small amount of privacy budget to filter out "insignificant" queries, and leverages the remaining budget to obtain highly accurate answers for the "significant" queries. We also conducted the first sensitivity analysis for conditional independence tests including conditional Kendall's tau and conditional Spearman's rho. We evaluated Priv-PC on 4 public datasets and compared with the state-of-the-art. The results show that Priv-PC achieves 10.61 to 32.85 times speedup and better utility.
翻訳日:2022-11-21 05:26:03 公開日:2020-06-15
# code-as-a-graphを用いたソフトウェア脆弱性へのソースコードマップの学習

Learning to map source code to software vulnerability using code-as-a-graph ( http://arxiv.org/abs/2006.08614v1 )

ライセンス: Link先を確認
Sahil Suneja, Yunhui Zheng, Yufan Zhuang, Jim Laredo, Alessandro Morari(参考訳) セキュリティの観点からソースコードのニュアンス学習におけるグラフニューラルネットワークの適用性について検討する。 具体的には、ノードとエッジの関係の観点から、ソースコードの脆弱性のシグネチャをグラフ表現から学ぶことができる。 AI4VAと呼ばれるパイプラインを作成し、まずサンプルソースコードをコードプロパティグラフにエンコードします。 抽出されたグラフは、その意味情報を保持する方法でベクトル化される。 Gated Graph Neural Networkは、このようなグラフを使用してトレーニングされ、脆弱なサンプルのグラフを正常なグラフから識別するテンプレートを自動的に抽出する。 私たちのモデルは、静的アナライザ、古典的な機械学習、CNNとRNNベースのディープラーニングモデルよりも優れています。 したがって,コード・アズ・グラフエンコーディングは,既存のコード・アズ・フォトおよび線形シーケンスエンコーディングアプローチよりも脆弱性検出に有意であることを示す。 (2019年10月発行、第28号、ICST)

We explore the applicability of Graph Neural Networks in learning the nuances of source code from a security perspective. Specifically, whether signatures of vulnerabilities in source code can be learned from its graph representation, in terms of relationships between nodes and edges. We create a pipeline we call AI4VA, which first encodes a sample source code into a Code Property Graph. The extracted graph is then vectorized in a manner which preserves its semantic information. A Gated Graph Neural Network is then trained using several such graphs to automatically extract templates differentiating the graph of a vulnerable sample from a healthy one. Our model outperforms static analyzers, classic machine learning, as well as CNN and RNN-based deep learning models on two of the three datasets we experiment with. We thus show that a code-as-graph encoding is more meaningful for vulnerability detection than existing code-as-photo and linear sequence encoding approaches. (Submitted Oct 2019, Paper #28, ICST)
翻訳日:2022-11-21 05:25:49 公開日:2020-06-15
# 深部強化学習による半導体量子ドット用高忠実多ビットゲートの設計

Designing high-fidelity multi-qubit gates for semiconductor quantum dots through deep reinforcement learning ( http://arxiv.org/abs/2006.08813v1 )

ライセンス: Link先を確認
Sahar Daraeizadeh, Shavindra P. Premaratne, A. Y. Matsuura(参考訳) 本稿では,シリコンの量子ドットに基づく量子プロセッサのための高忠実なマルチキュービットゲートを,単一電子のスピンに符号化された量子ビットを用いて設計する機械学習フレームワークを提案する。 このハードウェアアーキテクチャでは,制御環境は広く複雑であるため,高忠実度マルチキュービットゲートを実現するための最適制御パルスの設計には,深層強化学習法を用いる。 我々の学習モデルでは、シミュレーターが量子ドットの物理系をモデル化し、システムの時間進化を行い、深層ニューラルネットワークが制御ポリシーを学習するための関数近似器として機能する。 我々は,システムの全状態空間においてハミルトニアンを進化させ,実験可能性を確保するために現実的な制約を課す。

In this paper, we present a machine learning framework to design high-fidelity multi-qubit gates for quantum processors based on quantum dots in silicon, with qubits encoded in the spin of single electrons. In this hardware architecture, the control landscape is vast and complex, so we use the deep reinforcement learning method to design optimal control pulses to achieve high fidelity multi-qubit gates. In our learning model, a simulator models the physical system of quantum dots and performs the time evolution of the system, and a deep neural network serves as the function approximator to learn the control policy. We evolve the Hamiltonian in the full state-space of the system, and enforce realistic constraints to ensure experimental feasibility.
翻訳日:2022-11-21 05:25:33 公開日:2020-06-15
# PageRankに基づくハイパーグラフクラスタリング

Hypergraph Clustering Based on PageRank ( http://arxiv.org/abs/2006.08302v1 )

ライセンス: Link先を確認
Yuuki Takai, Atsushi Miyauchi, Masahiro Ikeda, Yuichi Yoshida(参考訳) ハイパーグラフは3次あるいは高次関係をモデル化するための有用な組合せオブジェクトである。 クラスタリングハイパーグラフは、ネットワーク分析における基本的なタスクである。 本研究では,ハイパーグラフに基づくパーソナライズされたPageRankに基づく2つのクラスタリングアルゴリズムを提案する。 第一は、特定の頂点を含む有界体積を持つ密連結な頂点集合を見つけることを目的とするという意味で局所的である。 2つ目は、その目的がタイトに連結された頂点集合を見つけることであるという意味で、グローバルである。 両アルゴリズムにおいて,出力頂点集合のコンダクタンスに関する理論的保証について議論する。 また,クラスタリングアルゴリズムは,ソリューションの品質と実行時間の両方において,既存の手法よりも優れていることを示す。 我々の知識を最大限に活用するために、我々は、出力セットのコンダクタンスに関する理論的保証のあるハイパーグラフのための最初の実用的なアルゴリズムである。

A hypergraph is a useful combinatorial object to model ternary or higher-order relations among entities. Clustering hypergraphs is a fundamental task in network analysis. In this study, we develop two clustering algorithms based on personalized PageRank on hypergraphs. The first one is local in the sense that its goal is to find a tightly connected vertex set with a bounded volume including a specified vertex. The second one is global in the sense that its goal is to find a tightly connected vertex set. For both algorithms, we discuss theoretical guarantees on the conductance of the output vertex set. Also, we experimentally demonstrate that our clustering algorithms outperform existing methods in terms of both the solution quality and running time. To the best of our knowledge, ours are the first practical algorithms for hypergraphs with theoretical guarantees on the conductance of the output set.
翻訳日:2022-11-21 05:25:20 公開日:2020-06-15
# 分散特徴量に対する複合最適化のためのマルチエージェントプリマル双対戦略

A Multi-Agent Primal-Dual Strategy for Composite Optimization over Distributed Features ( http://arxiv.org/abs/2006.08722v1 )

ライセンス: Link先を確認
Sulaiman A. Alghunaim, Ming Yan, Ali H. Sayed(参考訳) 目的関数は滑らかな局所関数の和と、すべてのエージェントを結合する凸関数(おそらくは非滑らか)の和である。 このシナリオは、分散機能に対する回帰やリソース割り当てなど、多くの機械学習およびエンジニアリングアプリケーションで発生します。 我々はこの問題を,分散解に適応可能な等価な鞍点問題に再構成する。 次に,局所関数が強凸であるとき,その線形収束を最適解に定め,近位原始双対アルゴリズムを提案する。 我々の知る限り、これは一般凸(おそらく非滑らかな)カップリング関数を持つマルチエージェント共有問題に対する最初の線形収束分散アルゴリズムである。

This work studies multi-agent sharing optimization problems with the objective function being the sum of smooth local functions plus a convex (possibly non-smooth) function coupling all agents. This scenario arises in many machine learning and engineering applications, such as regression over distributed features and resource allocation. We reformulate this problem into an equivalent saddle-point problem, which is amenable to decentralized solutions. We then propose a proximal primal-dual algorithm and establish its linear convergence to the optimal solution when the local functions are strongly-convex. To our knowledge, this is the first linearly convergent decentralized algorithm for multi-agent sharing problems with a general convex (possibly non-smooth) coupling function.
翻訳日:2022-11-21 05:21:31 公開日:2020-06-15
# total deep variation: 逆問題に対する安定正規化器

Total Deep Variation: A Stable Regularizer for Inverse Problems ( http://arxiv.org/abs/2006.08789v1 )

ライセンス: Link先を確認
Erich Kobler, Alexander Effland, Karl Kunisch, Thomas Pock(参考訳) コンピュータビジョンと医用画像の様々な問題が逆問題として考えられる。 逆問題を解く頻繁な方法は変分的アプローチであり、これはデータ忠実性項と正規化子からなるエネルギーを最小化する。 古典的には、手作りの正則化器が使われ、一般に最先端のディープラーニングアプローチに勝っている。 本研究では,データ駆動型汎用型全深部変動正規化器を導入することで,逆問題の変分定式化とディープラーニングを組み合わせる。 コアでは、畳み込みニューラルネットワークが複数のスケールや連続したブロックで局所的な特徴を抽出する。 この組み合わせにより、平均場設定におけるトレーニング問題の最適制御定式化と、初期値と正規化子のパラメータに関する安定性解析を含む厳密な数学的解析が可能になる。 さらに,敵攻撃に対するロバスト性を実験的に検証し,一般化誤差の上限を数値的に導出する。 最後に,多くの画像処理タスクにおいて最先端の成果を得る。

Various problems in computer vision and medical imaging can be cast as inverse problems. A frequent method for solving inverse problems is the variational approach, which amounts to minimizing an energy composed of a data fidelity term and a regularizer. Classically, handcrafted regularizers are used, which are commonly outperformed by state-of-the-art deep learning approaches. In this work, we combine the variational formulation of inverse problems with deep learning by introducing the data-driven general-purpose total deep variation regularizer. In its core, a convolutional neural network extracts local features on multiple scales and in successive blocks. This combination allows for a rigorous mathematical analysis including an optimal control formulation of the training problem in a mean-field setting and a stability analysis with respect to the initial values and the parameters of the regularizer. In addition, we experimentally verify the robustness against adversarial attacks and numerically derive upper bounds for the generalization error. Finally, we achieve state-of-the-art results for numerous imaging tasks.
翻訳日:2022-11-21 05:20:25 公開日:2020-06-15
# 反復アルゴリズムによるディープアンフォールディングニューラルネットワーク:マルチユーザmimoシステムのためのプレコーディング設計

Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding Design for Multiuser MIMO Systems ( http://arxiv.org/abs/2006.08099v1 )

ライセンス: Link先を確認
Qiyu Hu, Yunlong Cai, Qingjiang Shi, Kaidi Xu, Guanding Yu, and Zhi Ding(参考訳) 最適化理論助成アルゴリズムはマルチユーザマルチインプット多重出力(MU-MIMO)システムにおけるプリコーディング設計において大きな注目を集めている。 結果、最適化アルゴリズムは優れた性能を提供することができるが、一般的には計算の複雑さがかなり必要であり、リアルタイムシステムにおける実際の応用の邪魔になる。 本研究では,この問題に対処するため,まず,情報通信システムにおける問題をよりよく解くために,AIIDNN(Iterative Algorithm induced Deep-Unfolding Neural Network)の一般形を開発するディープ・アンフォールディング・フレームワークを提案する。 次に,mu-mimoシステムにおけるプレコーディング設計のための和率最大化問題を解決するために,提案するdeepunfoldingフレームワークを実装した。 古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。 具体的には、反復wmmseアルゴリズムを層状構造に展開し、複数の訓練可能なパラメータを導入し、前方伝播における高複雑度演算を置き換える。 このネットワークをトレーニングするために、IAIDNNの一般化連鎖ルールを提案し、後部伝播における2つの隣接層間の勾配の繰り返し関係を描いている。 さらに,提案手法の計算複雑性と一般化能力について考察する。 シミュレーションの結果,提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく達成できることがわかった。

Optimization theory assisted algorithms have received great attention for precoding design in multiuser multiple-input multiple-output (MU-MIMO) systems. Although the resultant optimization algorithms are able to provide excellent performance, they generally require considerable computational complexity, which gets in the way of their practical application in real-time systems. In this work, in order to address this issue, we first propose a framework for deep-unfolding, where a general form of iterative algorithm induced deep-unfolding neural network (IAIDNN) is developed in matrix form to better solve the problems in communication systems. Then, we implement the proposed deepunfolding framework to solve the sum-rate maximization problem for precoding design in MU-MIMO systems. An efficient IAIDNN based on the structure of the classic weighted minimum mean-square error (WMMSE) iterative algorithm is developed. Specifically, the iterative WMMSE algorithm is unfolded into a layer-wise structure, where a number of trainable parameters are introduced to replace the highcomplexity operations in the forward propagation. To train the network, a generalized chain rule of the IAIDNN is proposed to depict the recurrence relation of gradients between two adjacent layers in the back propagation. Moreover, we discuss the computational complexity and generalization ability of the proposed scheme. Simulation results show that the proposed IAIDNN efficiently achieves the performance of the iterative WMMSE algorithm with reduced computational complexity.
翻訳日:2022-11-21 05:20:10 公開日:2020-06-15
# 線形制御系のリワードを期待する学習:非漸近的視点

Learning Expected Reward for Switched Linear Control Systems: A Non-Asymptotic View ( http://arxiv.org/abs/2006.08105v1 )

ライセンス: Link先を確認
Muhammad Abdullah Naeem, Miroslav Pajic(参考訳) 本研究では,$\mathbb{r}^{n}$ の非有界部分集合における系力学のノルム安定な仮定の下で,スイッチト線形力学系 (slds) に対する不変エルゴード測度の存在を示す。 したがって、定常マルコフ制御ポリシーが与えられた場合、バーホフのエルゴディック定理を用いた時間的経験から期待される報酬(w.r.t invariant ergodic measure our closed-loop system mixes)を学習するための非漸近的境界を導出する。 以上の結果から,SLDSの平均報酬に基づく最適制御のための非漸近解析を導出する基盤を提供する。 最後に、提示された理論結果を2つのケーススタディで説明する。

In this work, we show existence of invariant ergodic measure for switched linear dynamical systems (SLDSs) under a norm-stability assumption of system dynamics in some unbounded subset of $\mathbb{R}^{n}$. Consequently, given a stationary Markov control policy, we derive non-asymptotic bounds for learning expected reward (w.r.t the invariant ergodic measure our closed-loop system mixes to) from time-averages using Birkhoff's Ergodic Theorem. The presented results provide a foundation for deriving non-asymptotic analysis for average reward-based optimal control of SLDSs. Finally, we illustrate the presented theoretical results in two case-studies.
翻訳日:2022-11-21 05:19:47 公開日:2020-06-15
# 安全対策のためのニューラル証明書

Neural Certificates for Safe Control Policies ( http://arxiv.org/abs/2006.08465v1 )

ライセンス: Link先を確認
Wanxin Jin, Zhaoran Wang, Zhuoran Yang, Shaoshuai Mou(参考訳) 本稿では,安全かつ目標達成の両立が保証される動的システムの方針を学習するためのアプローチを開発する。 ここでの安全とは、政策がシステムの状態を任意の安全でない領域に動かさなければならないことを意味し、一方、目標達成には制御システムの軌道が漸近的にゴール領域に収束する(安定性の一般化)必要がある。 我々は,安全性を保証するバリア関数と,ニューラルネットワークで表現される目標獲得要求を満たすために開発されたリャプノフ様関数の2つの追加証明関数を共同で学習することにより,安全かつ目標獲得政策を得る。 本手法は, 振り子, カートポール, uavなど, 様々なシステムにおいて安全かつゴールリーチポリシを学習する手法の有効性を示す。

This paper develops an approach to learn a policy of a dynamical system that is guaranteed to be both provably safe and goal-reaching. Here, the safety means that a policy must not drive the state of the system to any unsafe region, while the goal-reaching requires the trajectory of the controlled system asymptotically converges to a goal region (a generalization of stability). We obtain the safe and goal-reaching policy by jointly learning two additional certificate functions: a barrier function that guarantees the safety and a developed Lyapunov-like function to fulfill the goal-reaching requirement, both of which are represented by neural networks. We show the effectiveness of the method to learn both safe and goal-reaching policies on various systems, including pendulums, cart-poles, and UAVs.
翻訳日:2022-11-21 05:19:06 公開日:2020-06-15
# 暗号化脳波データニューラルネットワークの分類と認識

Classification and Recognition of Encrypted EEG Data Neural Network ( http://arxiv.org/abs/2006.08122v1 )

ライセンス: Link先を確認
Yongshuang Liu, Haiping Huang, Fu Xiao, Reza Malekian, Wenming Wang(参考訳) 脳波(EEG)信号に適用される機械学習技術の急速な発展に伴い、BCI(Brain-Computer Interface)は、スマートホーム、インテリジェント医療、その他のIoT(Internet of Things)シナリオのための、新しく便利なヒューマンコンピュータインタラクションとして登場した。 しかし、機密情報開示や不正操作などのセキュリティ問題は十分な懸念を受けていない。 暗号化されたEEGデータに対する既存のソリューションには、低い正確性、高速な複雑性、遅い処理速度など、いくつかの欠陥がある。 このため、ニューラルネットワークに基づく暗号化された脳波データの分類と認識法が提案され、Paillier暗号化アルゴリズムを用いて脳波データを暗号化し、浮動小数点演算の問題を解く。 さらに、アクティベーション関数の代わりに近似関数を用いて従来のフィードフォワードニューラルネットワーク(FNN)を改善し、暗号化されたEEGデータの多重分類を実現する。 複数の指標(隠れニューロンのサイズや改良されたシミュレーションアニーリングアルゴリズムによって更新された学習率など)が認識結果に与える影響を調べるために、広範囲な実験を行った。 セキュリティと時間的コスト分析により,PhyloNet,BCI Competition IV,EPILEPSIAEなどの公開EEGデータセットを用いて,提案手法の有効性を検証・評価した。 実験の結果,提案手法の精度,効率,実現性は,他のソリューションと比較して良好であった。

With the rapid development of Machine Learning technology applied in electroencephalography (EEG) signals, Brain-Computer Interface (BCI) has emerged as a novel and convenient human-computer interaction for smart home, intelligent medical and other Internet of Things (IoT) scenarios. However, security issues such as sensitive information disclosure and unauthorized operations have not received sufficient concerns. There are still some defects with the existing solutions to encrypted EEG data such as low accuracy, high time complexity or slow processing speed. For this reason, a classification and recognition method of encrypted EEG data based on neural network is proposed, which adopts Paillier encryption algorithm to encrypt EEG data and meanwhile resolves the problem of floating point operations. In addition, it improves traditional feed-forward neural network (FNN) by using the approximate function instead of activation function and realizes multi-classification of encrypted EEG data. Extensive experiments are conducted to explore the effect of several metrics (such as the hidden neuron size and the learning rate updated by improved simulated annealing algorithm) on the recognition results. Followed by security and time cost analysis, the proposed model and approach are validated and evaluated on public EEG datasets provided by PhysioNet, BCI Competition IV and EPILEPSIAE. The experimental results show that our proposal has the satisfactory accuracy, efficiency and feasibility compared with other solutions.
翻訳日:2022-11-21 05:13:49 公開日:2020-06-15
# Raspberry PiにおけるGoogle AssistantとAmazon Alexaの実装

Implementation of Google Assistant & Amazon Alexa on Raspberry Pi ( http://arxiv.org/abs/2006.08220v1 )

ライセンス: Link先を確認
Shailesh D. Arya, Dr. Samir Patel(参考訳) 本稿では,Raspberry Pi上での音声対応Google AssistantとAmazon Alexaの実装について検討する。 仮想アシスタントは、物理デバイスとのインタラクションや計算の方法の新しいトレンドだ。 音声対応システムは基本的に、音声を入力として処理し、その入力の意味を理解し、適切な音声出力を生成するシステムを意味する。 本稿では,同じraspberry piで両方の機能を持つスマートスピーカーのプロトタイプを開発している。 ユーザはホットワードを言って仮想アシスタントを呼び出すことができ、両方のエコシステムの最高のサービスを利用することができます。 本稿は、Google AssistantとAmazon Alexaの複雑なアーキテクチャと、両方のアシスタントの動作についても説明する。 その後、このシステムはスマートホームIoTデバイスを制御するために使用できる。

This paper investigates the implementation of voice-enabled Google Assistant and Amazon Alexa on Raspberry Pi. Virtual Assistants are being a new trend in how we interact or do computations with physical devices. A voice-enabled system essentially means a system that processes voice as an input, decodes, or understands the meaning of that input and generates an appropriate voice output. In this paper, we are developing a smart speaker prototype that has the functionalities of both in the same Raspberry Pi. Users can invoke a virtual assistant by saying the hot words and can leverage the best services of both eco-systems. This paper also explains the complex architecture of Google Assistant and Amazon Alexa and the working of both assistants as well. Later, this system can be used to control the smart home IoT devices.
翻訳日:2022-11-21 05:12:55 公開日:2020-06-15
# マスクの裏側:Twitter上の匿名性に関する計算的研究

Behind the Mask: A Computational Study of Anonymous' Presence on Twitter ( http://arxiv.org/abs/2006.08273v1 )

ライセンス: Link先を確認
Keenan Jones, Jason R. C. Nurse, Shujun Li (University of Kent)(参考訳) hacktivist group anonymousは、その公的な性質では珍しい。 他のサイバー犯罪組織とは異なり、Anonymousはソーシャルメディアサイト、Twitterで広く使われている。 本稿では,Twitter上でのアノニマスの存在を大規模に解析し,グループに対する以前の小規模な質的研究で報告された重要な知見を再検討する。 本報告では,2011~2013年の著名なメンバーの逮捕後,グループによるリーダーレスの主張を拒否する報告について言及する。 本稿では,2008年から2019年にかけてtwitter上で2万以上の匿名アカウントのネットワークの存在を,機械学習を用いて識別し分析する試みについて紹介する。 そこで本研究では,sna(social network analysis)と中央集権的尺度を用いて,この大規模ネットワークにおける影響力分布を検証し,少数の影響力のあるアカウントの存在を同定する。 さらに,いくつかの重要なインフルエンサーアカウントからのつぶやきに関する最初の研究を行い,トピックモデリングを用いて,これらの著名アカウント間の議論の全体的話題における類似性を示す。 これらの発見は、匿名集団の小規模で定性的な研究の主張を支持する、堅牢で定量的な証拠を提供する。

The hacktivist group Anonymous is unusual in its public-facing nature. Unlike other cybercriminal groups, which rely on secrecy and privacy for protection, Anonymous is prevalent on the social media site, Twitter. In this paper we re-examine some key findings reported in previous small-scale qualitative studies of the group using a large-scale computational analysis of Anonymous' presence on Twitter. We specifically refer to reports which reject the group's claims of leaderlessness, and indicate a fracturing of the group after the arrests of prominent members in 2011-2013. In our research, we present the first attempts to use machine learning to identify and analyse the presence of a network of over 20,000 Anonymous accounts spanning from 2008-2019 on the Twitter platform. In turn, this research utilises social network analysis (SNA) and centrality measures to examine the distribution of influence within this large network, identifying the presence of a small number of highly influential accounts. Moreover, we present the first study of tweets from some of the identified key influencer accounts and, through the use of topic modelling, demonstrate a similarity in overarching subjects of discussion between these prominent accounts. These findings provide robust, quantitative evidence to support the claims of smaller-scale, qualitative studies of the Anonymous collective.
翻訳日:2022-11-21 05:12:44 公開日:2020-06-15
# 分位回帰のための近似線形列サンプリングアルゴリズム

Nearly Linear Row Sampling Algorithm for Quantile Regression ( http://arxiv.org/abs/2006.08397v1 )

ライセンス: Link先を確認
Yi Li, Ruosong Wang, Lin Yang, Hanrui Zhang(参考訳) データの次元にほぼ線形なサンプリング複雑性を持つ量子損失関数の行サンプリングアルゴリズムを提案し、サンプリング複雑性が少なくとも次元に3乗依存する以前の最良のアルゴリズムを改善した。 行サンプリングアルゴリズムに基づいて,分位回帰のための最速の既知のアルゴリズムと,平衡有向グラフに対するグラフスパーシフィケーションアルゴリズムを与える。 我々の主要な技術的貢献は、$\ell_p$ノルムの行サンプリングアルゴリズムで使用されているlewis weights samplingが、様々な損失関数の行サンプリングアルゴリズムにも適用可能であることを示すことです。 本手法の実用性を示すために実験により理論的結果を補完する。

We give a row sampling algorithm for the quantile loss function with sample complexity nearly linear in the dimensionality of the data, improving upon the previous best algorithm whose sampling complexity has at least cubic dependence on the dimensionality. Based upon our row sampling algorithm, we give the fastest known algorithm for quantile regression and a graph sparsification algorithm for balanced directed graphs. Our main technical contribution is to show that Lewis weights sampling, which has been used in row sampling algorithms for $\ell_p$ norms, can also be applied in row sampling algorithms for a variety of loss functions. We complement our theoretical results by experiments to demonstrate the practicality of our approach.
翻訳日:2022-11-21 05:12:23 公開日:2020-06-15
# 重み付きMMSEビームフォーミングアルゴリズムの深部展開

Deep unfolding of the weighted MMSE beamforming algorithm ( http://arxiv.org/abs/2006.08448v1 )

ライセンス: Link先を確認
Lissy Pellaco and Mats Bengtsson and Joakim Jald\'en(参考訳) ダウンリンクビームフォーミングはセルラーネットワークの重要な技術である。 しかし、電力制約を受ける重み付け和率を最大化する送信ビームフォーマの計算はNPハード問題である。 結果として、局所最適化に収束する反復アルゴリズムが実際に用いられる。 中でも、重み付き最小平均二乗誤差(WMMSE)アルゴリズムは人気があるが、その計算複雑性とそれに伴うレイテンシは、性能を犠牲にして低複雑さの近似の必要性を動機付けている。 複雑性と性能のトレードオフにおいて,近年の深部展開の成功に触発されて,MISOダウンリンクチャネルのためのWMMSEアルゴリズムに深部展開の新たな適用法を提案する。 主なアイデアは、WMMSEアルゴリズムの一定回数の反復をトレーニング可能なニューラルネットワーク層にマッピングすることであり、そのアーキテクチャは元のアルゴリズムの構造を反映している。 従来のエンド・ツー・エンドの学習に関しては、深層展開はエキスパートの知識を自然に取り入れており、即時かつしっかりとしたアーキテクチャ選択の利点、トレーニング可能なパラメータの削減、説明可能性の向上といった利点がある。 しかし、shi等で述べられているように、wmmseアルゴリズムの定式化は、行列の反転、固有デコンポジション、および各イテレーションで実行される二分探索のために展開することができない。 そこで本研究では,これらの操作を投影勾配降下に頼って回避する別の定式化を提案する。 シミュレーションにより、ほとんどの設定において、展開されたWMMSEは、より少ない計算負荷の利点を生かして、一定回数の繰り返しにおいてWMMSEに等しく性能を発揮することを示す。

Downlink beamforming is a key technology for cellular networks. However, computing the transmit beamformer that maximizes the weighted sum rate subject to a power constraint is an NP-hard problem. As a result, iterative algorithms that converge to a local optimum are used in practice. Among them, the weighted minimum mean square error (WMMSE) algorithm has gained popularity, but its computational complexity and consequent latency has motivated the need for lower-complexity approximations at the expense of performance. Motivated by the recent success of deep unfolding in the trade-off between complexity and performance, we propose the novel application of deep unfolding to the WMMSE algorithm for a MISO downlink channel. The main idea consists of mapping a fixed number of iterations of the WMMSE algorithm into trainable neural network layers, whose architecture reflects the structure of the original algorithm. With respect to traditional end-to-end learning, deep unfolding naturally incorporates expert knowledge, with the benefits of immediate and well-grounded architecture selection, fewer trainable parameters, and better explainability. However, the formulation of the WMMSE algorithm, as described in Shi et al., is not amenable to be unfolded due to a matrix inversion, an eigendecomposition, and a bisection search performed at each iteration. Therefore, we present an alternative formulation that circumvents these operations by resorting to projected gradient descent. By means of simulations, we show that, in most of the settings, the unfolded WMMSE outperforms or performs equally to the WMMSE for a fixed number of iterations, with the advantage of a lower computational load.
翻訳日:2022-11-21 05:11:41 公開日:2020-06-15
# 仮想ネットワーク機能インスタンスのための機械学習に基づくマイグレーション戦略

A Machine Learning-Based Migration Strategy for Virtual Network Function Instances ( http://arxiv.org/abs/2006.08456v1 )

ライセンス: Link先を確認
Dimitrios Michael Manias, Hassan Hawilo, Abdallah Shami(参考訳) データコネクティビティの需要が高まる中、ネットワークサービスプロバイダは、資本と運用コストの削減と同時に、ネットワークパフォーマンスの向上と需要増加に対応するという課題に直面している。 Network Function Virtualization (NFV) は有望なソリューションとして認識されているが、実現可能性を保証するためにはいくつかの課題に対処する必要がある。 本稿では、VNFインスタンスのマイグレーション戦略であるVNNIM(VNF Neural Network for Instance Migration)を開発することにより、仮想ネットワーク関数(VNF)マイグレーション問題に対処する。 粒子群最適化による学習速度ハイパーパラメータの最適化により, VNNIMの性能をさらに向上する。 その結果,vnnimは,2進精度99.07%の移動後サーバと,最適化モデルと比較して0平均を中心とする遅延差分分布の予測に非常に有効であることがわかった。 しかし、VNNIMの最大の利点は、ランタイム分析によって強調される実行時の効率である。

With the growing demand for data connectivity, network service providers are faced with the task of reducing their capital and operational expenses while simultaneously improving network performance and addressing the increased demand. Although Network Function Virtualization (NFV) has been identified as a promising solution, several challenges must be addressed to ensure its feasibility. In this paper, we address the Virtual Network Function (VNF) migration problem by developing the VNF Neural Network for Instance Migration (VNNIM), a migration strategy for VNF instances. The performance of VNNIM is further improved through the optimization of the learning rate hyperparameter through particle swarm optimization. Results show that the VNNIM is very effective in predicting the post-migration server exhibiting a binary accuracy of 99.07% and a delay difference distribution that is centered around a mean of zero when compared to the optimization model. The greatest advantage of VNNIM, however, is its run-time efficiency highlighted through a run-time analysis.
翻訳日:2022-11-21 05:11:11 公開日:2020-06-15
# 通勤バスにおける近接検出のためのGoogle/Apple露出通知APIの測定に基づく評価

Measurement-Based Evaluation Of Google/Apple Exposure Notification API For Proximity Detection in a Commuter Bus ( http://arxiv.org/abs/2006.08543v1 )

ライセンス: Link先を確認
Douglas J. Leith, Stephen Farrell(参考訳) アイルランドのダブリンの通勤バスでGoogle/Apple Exposure Notification (GAEN) APIを用いて行った測定結果について報告する。 このAPIは、Covid-19コンタクトトレースアプリで広く利用されている可能性が高い。 測定は60組のハンドセットのロケーションで収集され、公開されている。 GAEN APIによって報告される減衰レベルは, メタルリッチ環境によるバス内部に複雑な無線環境が存在するため, ハンドセット間距離で増大する必要はない。 一対のハンドセットを持っている人の位置を変えると、GAEN APIによって報告される減衰レベルにおける+/-10dBの変動を引き起こす可能性がある。 スイスのCovid-19(コビッド19)の接触追跡アプリ(コンタクト追跡アプリ)が、バスの測定に露出通知をトリガーするルールを適用した結果、少なくとも15分間は、すべてのハンドセットが2m以内であったにもかかわらず、露出通知は発生しなかったことがわかりました。 代替しきい値に基づく露光通知ルールの適用により、露光持続時間閾値を15分間使用した場合の5%検出率に対する性能が多少向上し、露光持続時間閾値を10分に減らすと8%に向上する。 1対のハンドセット間の距離でデータを階層化することは、検出速度の距離依存性が弱いことを示しています。

We report on the results of a measurement study carried out on a commuter bus in Dublin, Ireland using the Google/Apple Exposure Notification (GAEN) API. This API is likely to be widely used by Covid-19 contact tracing apps. Measurements were collected between 60 pairs of handset locations and are publicly available. We find that the attenuation level reported by the GAEN API need not increase with distance between handsets, consistent with there being a complex radio environment inside a bus caused by the metal-rich environment. Changing the people holding a pair of handsets, with the location of the handsets otherwise remaining unchanged, can cause variations of +/-10dB in the attenuation level reported by the GAEN API. Applying the rule used by the Swiss Covid-19 contact tracing app to trigger an exposure notification to our bus measurements we find that no exposure notifications would have been triggered despite the fact that all pairs of handsets were within 2m of one another for at least 15 mins. Applying an alternative threshold-based exposure notification rule can somewhat improve performance to a detection rate of 5% when an exposure duration threshold of 15 minutes is used, increasing to 8% when the exposure duration threshold is reduced to 10 mins. Stratifying the data by distance between pairs of handsets indicates that there is only a weak dependence of detection rate on distance.
翻訳日:2022-11-21 05:10:55 公開日:2020-06-15
# 量子画像処理の批判的・移動的展望

A Critical and Moving-Forward View on Quantum Image Processing ( http://arxiv.org/abs/2006.08747v1 )

ライセンス: Link先を確認
Fei Yan, Salvador E. Venegas-Andraca, Kaoru Hirota(参考訳) 物理学と計算機科学は交配の長い伝統がある。 この相互に有益な関係の最新の結果の1つは量子情報科学であり、量子力学系を用いて達成できる情報処理タスクの研究を含んでいる。 量子画像処理(QIMP)は量子情報科学の創発的な分野であり、デジタルパラダイムから量子パラダイムへ移行するか、デジタルイメージングを量子技術で補完することによって、画像やビデオから視覚情報を保存、処理、検索する能力を強化することを目的としている。 期待されているのは、QIMPにおける量子力学システムの特性を活用することで、画像およびビデオ処理タスクにおいて、既存のおよび今後のデジタル技術より優れ、強化し、補完する先進技術の実現につながるということだ。

Physics and computer science have a long tradition of cross-fertilization. One of the latest outcomes of this mutually beneficial relationship is quantum information science, which comprises the study of information processing tasks that can be accomplished using quantum mechanical systems. Quantum Image Processing (QIMP) is an emergent field of quantum information science whose main goal is to strengthen our capacity for storing, processing, and retrieving visual information from images and video either by transitioning from digital to quantum paradigms or by complementing digital imaging with quantum techniques. The expectation is that harnessing the properties of quantum mechanical systems in QIMP will result in the realization of advanced technologies that will outperform, enhance or complement existing and upcoming digital technologies for image and video processing tasks.
翻訳日:2022-11-21 05:03:55 公開日:2020-06-15
# 運動からの密集した非剛性構造:多様体的視点

Dense Non-Rigid Structure from Motion: A Manifold Viewpoint ( http://arxiv.org/abs/2006.09197v1 )

ライセンス: Link先を確認
Suryansh Kumar, Luc Van Gool, Carlos E. P. de Oliveira, Anoop Cherian, Yuchao Dai, Hongdong Li(参考訳) Non-Rigid Structure-from-Motion (NRSfM) 問題は、複数のフレームにまたがる2次元特徴対応から変形物体の3次元形状を復元することを目的としている。 この問題に対する古典的なアプローチは、少数の特徴点を仮定し、形状変形の局所非線形性を無視しているため、非線形変形を確実にモデル化するのに苦労している。 さらに、利用可能な高密度NASfMアルゴリズムは、スケーラビリティ、計算、ノイズ測定、そして単にグローバルな変形をモデル化することに限定される。 本稿では,従来の手法でこれらの制約を克服するアルゴリズムを提案すると同時に,非剛性物体の信頼性の高い3次元構造を高い精度で復元する手法を提案する。 変形形状が局所線形部分空間の結合から成り、大域的な低ランク空間を複数のフレームにまたぐと、複雑な非剛性変形を効率的にモデル化できると仮定する。 そのため、各局所線型部分空間はグラスマン多様体を用いて表現され、複数のフレームにわたる大域的な3次元形状はローランク表現を用いて表現される。 提案手法は,ノイズに対する精度,スケーラビリティ,堅牢性を大幅に向上させる。 また,NRSfM問題に対してより適していると考えられる同時再構成とクラスタリングの枠組みも自然に実現している。 現在,本手法は標準ベンチマークデータセットの先行性能を実現している。

Non-Rigid Structure-from-Motion (NRSfM) problem aims to recover 3D geometry of a deforming object from its 2D feature correspondences across multiple frames. Classical approaches to this problem assume a small number of feature points and, ignore the local non-linearities of the shape deformation, and therefore, struggles to reliably model non-linear deformations. Furthermore, available dense NRSfM algorithms are often hurdled by scalability, computations, noisy measurements and, restricted to model just global deformation. In this paper, we propose algorithms that can overcome these limitations with the previous methods and, at the same time, can recover a reliable dense 3D structure of a non-rigid object with higher accuracy. Assuming that a deforming shape is composed of a union of local linear subspace and, span a global low-rank space over multiple frames enables us to efficiently model complex non-rigid deformations. To that end, each local linear subspace is represented using Grassmannians and, the global 3D shape across multiple frames is represented using a low-rank representation. We show that our approach significantly improves accuracy, scalability, and robustness against noise. Also, our representation naturally allows for simultaneous reconstruction and clustering framework which in general is observed to be more suitable for NRSfM problems. Our method currently achieves leading performance on the standard benchmark datasets.
翻訳日:2022-11-21 05:03:39 公開日:2020-06-15
# スカイ・オプティマイゼーション:低照度撮影における空のセマンティックな画像処理

Sky Optimization: Semantically aware image processing of skies in low-light photography ( http://arxiv.org/abs/2006.10172v1 )

ライセンス: Link先を確認
Orly Liba, Longqi Cai, Yun-Ta Tsai, Elad Eban, Yair Movshovitz-Attias, Yael Pritch, Huizhong Chen, Jonathan T. Barron(参考訳) 空は写真の外観の主要な要素であり、その色とトーンは写真の気分に強く影響を与える。 夜間の撮影では、空はノイズや色のアーティファクトに苦しむこともある。 そのため、シーンの他の部分から切り離して、最適な外観を実現するために、空を処理したいという強い願望がある。 本研究では,カメラパイプラインの一部として動作し,正確な空アルファマスクを作成し,それを用いて空面の外観を改善する自動手法を提案する。 本手法は,モバイルデバイス上で半秒未満でエンドツーエンドスカイ最適化を行う。 そこで本研究では,改良重み付きガイドフィルタによる部分注釈画像に基づく,高精度なsky-maskデータセットの作成法を提案する。 このデータセットを使用して、セマンティックスカイセグメンテーションのためのニューラルネットワークをトレーニングします。 モバイルデバイスの計算と電力制約のため、スカイセグメンテーションは低解像度で実行される。 改良した重み付きガイドフィルタを用いて,αマスクを高解像度化するためにエッジアウェアアップサンプリングを行った。 この詳細なマスクにより、空間的に変化するホワイトバランスの自動調整、明るさ調整、コントラスト強調、ノイズ低減など、空に自動的に処理ステップを適用する。

The sky is a major component of the appearance of a photograph, and its color and tone can strongly influence the mood of a picture. In nighttime photography, the sky can also suffer from noise and color artifacts. For this reason, there is a strong desire to process the sky in isolation from the rest of the scene to achieve an optimal look. In this work, we propose an automated method, which can run as a part of a camera pipeline, for creating accurate sky alpha-masks and using them to improve the appearance of the sky. Our method performs end-to-end sky optimization in less than half a second per image on a mobile device. We introduce a method for creating an accurate sky-mask dataset that is based on partially annotated images that are inpainted and refined by our modified weighted guided filter. We use this dataset to train a neural network for semantic sky segmentation. Due to the compute and power constraints of mobile devices, sky segmentation is performed at a low image resolution. Our modified weighted guided filter is used for edge-aware upsampling to resize the alpha-mask to a higher resolution. With this detailed mask we automatically apply post-processing steps to the sky in isolation, such as automatic spatially varying white-balance, brightness adjustments, contrast enhancement, and noise reduction.
翻訳日:2022-11-21 05:03:16 公開日:2020-06-15
# 存在規則に対する従属的半聖書的有界性

Oblivious and Semi-Oblivious Boundedness for Existential Rules ( http://arxiv.org/abs/2006.08467v1 )

ライセンス: Link先を確認
Pierre Bourhis and Michel Lecl\`ere and Marie-Laure Mugnier and Sophie Tison and Federico Ulliana and Lily Galois(参考訳) 有界性(boundedness)の概念を正の存在規則(つまり、チェイス手続きの深さに上限が存在するかどうか)という文脈で検討し、最初の事例とは無関係である。 難解な追尾変種と半報知な追尾変種に注意を集中させることにより,FO補修性および追尾終了性の観点から有界性の特徴づけを与える。 ルールの集合が複数のクラスにバインドされているかどうかを認識し、問題の複雑さを概説することは決定可能であることを示す。 このレポートには、IJCAI 2019で発表された論文と、完全な証明付きの付録が含まれている。

We study the notion of boundedness in the context of positive existential rules, that is, whether there exists an upper bound to the depth of the chase procedure, that is independent from the initial instance. By focussing our attention on the oblivious and the semi-oblivious chase variants, we give a characterization of boundedness in terms of FO-rewritability and chase termination. We show that it is decidable to recognize if a set of rules is bounded for several classes and outline the complexity of the problem. This report contains the paper published at IJCAI 2019 and an appendix with full proofs.
翻訳日:2022-11-21 05:02:35 公開日:2020-06-15
# IoTネットワークによる定常DDoS攻撃のタイムリー検出と軽減

Timely Detection and Mitigation of Stealthy DDoS Attacks via IoT Networks ( http://arxiv.org/abs/2006.08064v1 )

ライセンス: Link先を確認
Keval Doshi, Yasin Yilmaz and Suleyman Uludag(参考訳) IoT(Internet of Things)ネットワークは、センサ、アクチュエータ、モバイルおよびウェアラブルデバイスから成り、インターネットに接続することができる。 何十億というデバイスがすでに市場に存在し、重大な脆弱性を抱えているため、インターネットサービスやインターネットに接続されているサイバーフィジカルシステムにも危険な脅威がある。 具体的には、既存の脆弱性のため、IoTデバイスは妥協される可能性があり、Mongon DDoSと呼ばれる、新たなタイプのステルスなDistributed Denial of Service(DDoS)攻撃の一部である。 本研究では,この新たなタイプのddos攻撃をタイムリーに検出し軽減できる,新しい異常型侵入検知システム(ids)を提案する。 数値的およびテストベッド実験により,ソース当たりの攻撃サイズが極めて低いステルスddos攻撃を検出・緩和するidsの有用性を実証した。

Internet of Things (IoT) networks consist of sensors, actuators, mobile and wearable devices that can connect to the Internet. With billions of such devices already in the market which have significant vulnerabilities, there is a dangerous threat to the Internet services and also some cyber-physical systems that are also connected to the Internet. Specifically, due to their existing vulnerabilities IoT devices are susceptible to being compromised and being part of a new type of stealthy Distributed Denial of Service (DDoS) attack, called Mongolian DDoS, which is characterized by its widely distributed nature and small attack size from each source. This study proposes a novel anomaly-based Intrusion Detection System (IDS) that is capable of timely detecting and mitigating this emerging type of DDoS attacks. The proposed IDS's capability of detecting and mitigating stealthy DDoS attacks with even very low attack size per source is demonstrated through numerical and testbed experiments.
翻訳日:2022-11-21 05:02:14 公開日:2020-06-15
# ランダム射影を用いた最小方形に対する下界とほぼ最適収縮推定器

Lower Bounds and a Near-Optimal Shrinkage Estimator for Least Squares using Random Projections ( http://arxiv.org/abs/2006.08160v1 )

ライセンス: Link先を確認
Srivatsan Sridhar, Mert Pilanci, Ayfer \"Ozg\"ur(参考訳) 本研究では,確率予測を用いた決定論的最適化を統計的推定問題とみなし,推定器からの予測と真の解との2乗距離を誤差計量とする。 ガウスのスケッチを用いた大規模最小二乗問題の近似解法において,スケッチ解は真の解を平均とする条件付きガウス分布を持つことを示す。 第一に、ガウススケッチを用いて任意の推定器に対して明示定数を持つ厳密な最悪のケースエラー下限を導出し、古典的スケッチは最適な非バイアス推定器であることが示される。 バイアス付き推定器の場合、下限は真の解に関する事前の知識も組み込む。 次に、ジェームズ・スタイン推定器を用いて、ガウススケッチを用いた最小二乗解に対する改良された推定器を導出する。 この推定器の期待誤差の上限は導出され、任意のデータに対する古典ガウスのスケッチ解の誤差よりも小さい。 真解の SNR が小さく、データ行列が十分に条件付けられたときに、上界と下界は一致する。 経験的に、この推定器はシミュレーションと実際のデータセットの誤差を小さくし、他の一般的なスケッチ手法でも機能する。

In this work, we consider the deterministic optimization using random projections as a statistical estimation problem, where the squared distance between the predictions from the estimator and the true solution is the error metric. In approximately solving a large scale least squares problem using Gaussian sketches, we show that the sketched solution has a conditional Gaussian distribution with the true solution as its mean. Firstly, tight worst case error lower bounds with explicit constants are derived for any estimator using the Gaussian sketch, and the classical sketching is shown to be the optimal unbiased estimator. For biased estimators, the lower bound also incorporates prior knowledge about the true solution. Secondly, we use the James-Stein estimator to derive an improved estimator for the least squares solution using the Gaussian sketch. An upper bound on the expected error of this estimator is derived, which is smaller than the error of the classical Gaussian sketch solution for any given data. The upper and lower bounds match when the SNR of the true solution is known to be small and the data matrix is well conditioned. Empirically, this estimator achieves smaller error on simulated and real datasets, and works for other common sketching methods as well.
翻訳日:2022-11-21 05:01:59 公開日:2020-06-15
# 評判評価の解説

Explaining reputation assessments ( http://arxiv.org/abs/2006.08818v1 )

ライセンス: Link先を確認
Ingrid Nunes, Phillip Taylor, Lina Barakat, Nathan Griffiths, Simon Miles(参考訳) 評価は、人間またはソフトウェアエージェントが代替プロバイダの中から選択できるようにするのに不可欠である。 いくつかの効果的な評価方法が存在するが、通常は評価の背後にある根拠の説明を伴わず、評価を数値的な表現に分解する。 このような説明により、ユーザやクライアントはプロバイダをよりリッチに評価でき、好みや現在の状況に応じて選択を調整できる。 本稿では,定量的評価モデルから評価の背後にある理論的根拠を説明するための手法を提案する。 我々のアプローチは、評価の文脈において、複数の属性決定モデルを用いた決定を説明する既存のアプローチを適応し、拡張し、結合する。 本稿では,引数テンプレートの例を示し,そのパラメータを説明アルゴリズムを用いて選択する方法を説明する。 本提案は,既存のプロトコルに準拠したユーザ調査によって評価された。 以上の結果から,信頼スコアの情報のサブセットは説明されているものの,信頼スコアに基づいて推奨するプロバイダを等しく評価する上で十分であることを示す。 さらに、説明論が暗黙的なモデル情報を明らかにする場合、スコアよりも説得力が少ない。

Reputation is crucial to enabling human or software agents to select among alternative providers. Although several effective reputation assessment methods exist, they typically distil reputation into a numerical representation, with no accompanying explanation of the rationale behind the assessment. Such explanations would allow users or clients to make a richer assessment of providers, and tailor selection according to their preferences and current context. In this paper, we propose an approach to explain the rationale behind assessments from quantitative reputation models, by generating arguments that are combined to form explanations. Our approach adapts, extends and combines existing approaches for explaining decisions made using multi-attribute decision models in the context of reputation. We present example argument templates, and describe how to select their parameters using explanation algorithms. Our proposal was evaluated by means of a user study, which followed an existing protocol. Our results give evidence that although explanations present a subset of the information of trust scores, they are sufficient to equally evaluate providers recommended based on their trust score. Moreover, when explanation arguments reveal implicit model information, they are less persuasive than scores.
翻訳日:2022-11-21 04:55:53 公開日:2020-06-15
# エージェントベースモデリングとシミュレーションにおけるモデル駆動開発の効果の定量的評価

Quantitatively Assessing the Benefits of Model-driven Development in Agent-based Modeling and Simulation ( http://arxiv.org/abs/2006.08820v1 )

ライセンス: Link先を確認
Fernando Santos, Ingrid Nunes, Ana L. C. Bazzan(参考訳) エージェントベースのモデリングとシミュレーション(ABMS)パラダイムは、多くのアプリケーション領域に関連する現象を分析し、再現し、予測するために使われてきた。 シミュレーション開発をサポートするエージェントベースのプラットフォームはたくさんあるが、広範なプログラミング知識を必要とするプログラミング言語に依存している。 モデル駆動開発(MDD)は、計算複雑性を隠蔽する再利用可能なビルディングブロックとコード生成を提供する高レベルモデリング言語を用いて、シミュレーションモデリングを容易にするために研究されてきた。 しかし、MDDのABMSへのアプローチが開発生産性と品質の向上にどのように貢献するかについては、まだ知識が限られています。 本稿では,mdd と abms プラットフォームの使用を,主に労力と開発者のミスの観点から定量的に比較した実証研究を行う。 MDD4ABMSをコアと拡張したMDDアプローチを用いて評価を行い,その1つとして広く利用されているNetLogoについて検討した。 以上の結果から,MDD4ABMSはNetLogoと類似した設計品質のシミュレーションを開発するために必要な労力が少なく,ABMSにMDDがもたらすメリットの証拠が得られた。

The agent-based modeling and simulation (ABMS) paradigm has been used to analyze, reproduce, and predict phenomena related to many application areas. Although there are many agent-based platforms that support simulation development, they rely on programming languages that require extensive programming knowledge. Model-driven development (MDD) has been explored to facilitate simulation modeling, by means of high-level modeling languages that provide reusable building blocks that hide computational complexity, and code generation. However, there is still limited knowledge of how MDD approaches to ABMS contribute to increasing development productivity and quality. We thus in this paper present an empirical study that quantitatively compares the use of MDD and ABMS platforms mainly in terms of effort and developer mistakes. Our evaluation was performed using MDD4ABMS-an MDD approach with a core and extensions to two application areas, one of which developed for this study-and NetLogo, a widely used platform. The obtained results show that MDD4ABMS requires less effort to develop simulations with similar (sometimes better) design quality than NetLogo, giving evidence of the benefits that MDD can provide to ABMS.
翻訳日:2022-11-21 04:55:38 公開日:2020-06-15
# 1次および全次ソボル指数のモンテカルロ推定器

Monte Carlo estimators of first-and total-orders Sobol' indices ( http://arxiv.org/abs/2006.08232v1 )

ライセンス: Link先を確認
Ivano Azzini (JRC), Thierry Mara (JRC, PIMENT, GdR MASCOT-NUM), Rossana Rosati (JRC)(参考訳) 本研究は,1次および全次差分に基づく感度指標(ソボル指数)の同時推定のための2つのサンプリングベース戦略の性能を比較した。 最初の戦略は [8] によって導入され、実践者が採用している現在のアプローチである。 2つめは,本稿の著者によって最近紹介されたものである。 どちらも一階と全階のソボの指数の異なる推定器に依存している。 2組の推定器のasymp-totic正規分散を定式化し、その精度を理論的および数値的に比較する。 その結果,新しい戦略は現在の戦略よりも優れており,グローバル感度分析,分散に基づく感度指標,1次sobol'指数,全次sobol'指数,モンテカルロ推定値,漸近正規性が鍵となる。

This study compares the performances of two sampling-based strategies for the simultaneous estimation of the first-and total-orders variance-based sensitivity indices (a.k.a Sobol' indices). The first strategy was introduced by [8] and is the current approach employed by practitioners. The second one was only recently introduced by the authors of the present article. They both rely on different estimators of first-and total-orders Sobol' indices. The asymp-totic normal variances of the two sets of estimators are established and their accuracies are compared theoretically and numerically. The results show that the new strategy outperforms the current one.Keywords: global sensitivity analysis, variance-based sensitivity indices, first-order Sobol' index, total-order Sobol' index, Monte Carlo estimate, asymptotic normality
翻訳日:2022-11-21 04:55:02 公開日:2020-06-15
# 一般化線形モデルパラメータの仮定-リーン推論

Assumption-lean inference for generalised linear model parameters ( http://arxiv.org/abs/2006.08402v1 )

ライセンス: Link先を確認
Stijn Vansteelandt and Oliver Dukes(参考訳) 一般化線形モデルを索引付けするパラメータの推論は、モデルが正しいという仮定と事前指定に基づいてルーチン的に行われる。 なぜなら、選択されたモデルは、通常認識されない過剰な不確実性を引き起こすデータ適応モデル選択プロセスの結果であるからである。 さらに、選択されたモデルに符号化された仮定は、既知の基底真理を表わすことが滅多になく、標準推論はバイアスに陥りやすいが、データに含まれる情報の純粋に反映することができない。 いわゆる射影パラメータの仮定自由推論の発展に触発されて、主効果推定と効果修正推定の新しい非パラメトリックな定義を提案する。 これらは、これらのモデルが正しく特定されたときの一般線形モデルにおける標準的な主効果と効果修正パラメータに還元されるが、それらがそれぞれ2つの変数の間の一次(条件付き)関連、あるいは2つの変数が結果に対する影響において(統計的意味で)相互作用する度合いを捉え続けるという利点がある。 非パラメトリックモデルの下でその影響曲線を導出し、柔軟なデータ適応(例えば機械学習)手順を呼び出すことで、これらの推定値(つまり、下層の回帰パラメータ)に対する仮定-リーン推論を実現する。

Inference for the parameters indexing generalised linear models is routinely based on the assumption that the model is correct and a priori specified. This is unsatisfactory because the chosen model is usually the result of a data-adaptive model selection process, which may induce excess uncertainty that is not usually acknowledged. Moreover, the assumptions encoded in the chosen model rarely represent some a priori known, ground truth, making standard inferences prone to bias, but also failing to give a pure reflection of the information that is contained in the data. Inspired by developments on assumption-free inference for so-called projection parameters, we here propose novel nonparametric definitions of main effect estimands and effect modification estimands. These reduce to standard main effect and effect modification parameters in generalised linear models when these models are correctly specified, but have the advantage that they continue to capture respectively the primary (conditional) association between two variables, or the degree to which two variables interact (in a statistical sense) in their effect on outcome, even when these models are misspecified. We achieve an assumption-lean inference for these estimands (and thus for the underlying regression parameters) by deriving their influence curve under the nonparametric model and invoking flexible data-adaptive (e.g., machine learning) procedures.
翻訳日:2022-11-21 04:54:40 公開日:2020-06-15
# 各種劣化レベルにおける劣化画像の分類

Classifying degraded images over various levels of degradation ( http://arxiv.org/abs/2006.08145v1 )

ライセンス: Link先を確認
Kazuki Endo, Masayuki Tanaka, Masatoshi Okutomi(参考訳) 種々の劣化レベルを有する劣化画像の分類は、実用上非常に重要である。 本稿では,復元ネットワークとアンサンブル学習を用いて劣化画像の分類を行う畳み込みニューラルネットワークを提案する。 提案するネットワークは, 劣化の度合いに応じて, 劣化した画像を分類できることを示す。 また,分類ネットワークのトレーニングデータの画質が劣化画像の分類性能にどのように影響するかを明らかにする。

Classification for degraded images having various levels of degradation is very important in practical applications. This paper proposes a convolutional neural network to classify degraded images by using a restoration network and an ensemble learning. The results demonstrate that the proposed network can classify degraded images over various levels of degradation well. This paper also reveals how the image-quality of training data for a classification network affects the classification performance of degraded images.
翻訳日:2022-11-21 04:53:24 公開日:2020-06-15
# ORD:ビジュアル対話生成のためのオブジェクト関係発見

ORD: Object Relationship Discovery for Visual Dialogue Generation ( http://arxiv.org/abs/2006.08322v1 )

ライセンス: Link先を確認
Ziwei Wang, Zi Huang, Yadan Luo, Huimin Lu(参考訳) With the rapid advancement of image captioning and visual question answering at single-round level, the question of how to generate multi-round dialogue about visual content has not yet been well explored.Existing visual dialogue methods encode the image into a fixed feature vector directly, concatenated with the question and history embeddings to predict the response.Some recent methods tackle the co-reference resolution problem using co-attention mechanism to cross-refer relevant elements from the image, history, and the target question.However, it remains challenging to reason visual relationships, since the fine-grained object-level information is omitted before co-attentive reasoning. 本稿では,視覚対話生成のためのオブジェクトインタラクションを保存するためのオブジェクト関係探索(ORD)フレームワークを提案する。 具体的には、階層型グラフ畳み込みネットワーク(hiergcn)を提案し、オブジェクトノードと隣接関係をローカルに保持し、オブジェクトとオブジェクトの接続をグローバルに洗練し、最終的なグラフ埋め込みを得る。 グラフ注意はさらに、応答推論段階でこのグラフ構造化表現に動的に参加するように組み込まれている。 提案手法は,視覚関係の文脈情報を活用し,対話の質を著しく向上できることが実証された。 このモデルは、Visual Dialogデータセットの最先端メソッドよりも優れたパフォーマンスを実現し、MSRは0.6222から0.6447に増加し、リコール@1は48.48%から51.22%に増加した。

With the rapid advancement of image captioning and visual question answering at single-round level, the question of how to generate multi-round dialogue about visual content has not yet been well explored.Existing visual dialogue methods encode the image into a fixed feature vector directly, concatenated with the question and history embeddings to predict the response.Some recent methods tackle the co-reference resolution problem using co-attention mechanism to cross-refer relevant elements from the image, history, and the target question.However, it remains challenging to reason visual relationships, since the fine-grained object-level information is omitted before co-attentive reasoning. In this paper, we propose an object relationship discovery (ORD) framework to preserve the object interactions for visual dialogue generation. Specifically, a hierarchical graph convolutional network (HierGCN) is proposed to retain the object nodes and neighbour relationships locally, and then refines the object-object connections globally to obtain the final graph embeddings. A graph attention is further incorporated to dynamically attend to this graph-structured representation at the response reasoning stage. Extensive experiments have proved that the proposed method can significantly improve the quality of dialogue by utilising the contextual information of visual relationships. The model achieves superior performance over the state-of-the-art methods on the Visual Dialog dataset, increasing MRR from 0.6222 to 0.6447, and recall@1 from 48.48% to 51.22%.
翻訳日:2022-11-21 04:52:53 公開日:2020-06-15
# 数理モデルと協調ツールの組み合わせによる農業計画のための集団意思決定支援

Group Decision Support for agriculture planning by a combination of Mathematical Model and Collaborative Tool ( http://arxiv.org/abs/2006.08151v1 )

ライセンス: Link先を確認
Pascale Zarat\'e (UT1, IRIT, IRIT-ADRIA), Alemany Mme, Ana Esteso Alvarez, Amir Sakka (UR TSCF), Guy Camilleri (UT3)(参考訳) 農業領域における意思決定は複雑な作業である。 各作物に割り当てられる土地は、価格、需要、収穫時期、種子、土壌、季節など、様々なパラメータにより、毎年固定されるべきである。 . 農家の集団が価格と全てのパラメータをまとめて修正しなければならないと、意思決定は難しくなります。 概して、最適化モデルは農家にとって支配的な解決策が見つからないのに有用であるが、農家が一つの解決策に同意しなければ、依然として困難である。 このような意思決定プロセスに従事する農家のグループをサポートするために、2つのアプローチを組み合わせる。 まず、集中最適化モデルにより、支配的でないソリューションの集合を生成する。 この一連のソリューションに基づいて、私たちはGRUSと呼ばれるグループ決定支援システムを使用して、農家のグループにとって最良のソリューションを選択しました。 組み合わせたアプローチによって、コンセンサスな方法でグループにとって最良の解決策を決定できるのです。 このアプローチの組み合わせは農業にとって非常に革新的です。 この手法は以前の研究で実験室でテストされている。 現在の作業では、専門知識の恩恵を受けるために、同じ実験が実際のビジネス(農家)で行われています。 2つの実験を比較する。

Decision making in the Agriculture domain can be a complex task. The land area allocated to each crop should be fixed every season according to several parameters: prices, demand, harvesting periods, seeds, ground, season etc... The decision to make becomes more difficult when a group of farmers must fix the price and all parameters all together. Generally, optimization models are useful for farmers to find no dominated solutions, but it remains difficult if the farmers have to agree on one solution. We combine two approaches in order to support a group of farmers engaged in this kind of decision making process. We firstly generate a set of no dominated solutions thanks to a centralized optimization model. Based on this set of solution we then used a Group Decision Support System called GRUS for choosing the best solution for the group of farmers. The combined approach allows us to determine the best solution for the group in a consensual way. This combination of approaches is very innovative for the Agriculture. This approach has been tested in laboratory in a previous work. In the current work the same experiment has been conducted with real business (farmers) in order to benefit from their expertise. The two experiments are compared.
翻訳日:2022-11-21 04:45:38 公開日:2020-06-15
# 制御計画更新のための知的意思決定支援システム

Intelligent Decision Support System for Updating Control Plans ( http://arxiv.org/abs/2006.08153v1 )

ライセンス: Link先を確認
Fadwa Oukhay, Pascale Zarat\'e (UT1, IRIT, IRIT-ADRIA), Taieb Romdhane(参考訳) 現在の競争環境においては、製造システムの効率と効率を最適化するために、製造者が最短時間で最善の決定を下すことが不可欠である。 これらの決定は戦略レベルから戦術的および運用的な生産計画と制御に到達する。 この文脈では、多種多様なモデルとデータや知識資源を統合することができる知的意思決定支援システム(DSS)が有望である。 本稿では,品質管理計画のためのインテリジェントDSSを提案する。 DSSは、意思決定者が2つの異なるアプローチを使って最適な制御シナリオを選択するのに役立つレコメンデータシステム(RS)である。 1つ目は、複数基準決定方式を用いた手動選択である。 2つ目はケースベース推論(CBR)技術に基づく自動レコメンデーションである。 さらに,提案したRSは,実際のプロセス品質に適応するために,制御計画の継続的な更新を可能にする。 そのため、CBRは意思決定の質を改善するために必要な知識を学ぶのに使用される。 実ケーススタディにおいて,提案DSSの実現可能性と実用性を示す数値計算を行った。

In the current competitive environment, it is crucial for manufacturers to make the best decisions in the shortest time, in order to optimize the efficiency and effectiveness of the manufacturing systems. These decisions reach from the strategic level to tactical and operational production planning and control. In this context, elaborating intelligent decisions support systems (DSS) that are capable of integrating a wide variety of models along with data and knowledge resources has become promising. This paper proposes an intelligent DSS for quality control planning. The DSS is a recommender system (RS) that helps the decision maker to select the best control scenario using two different approaches. The first is a manual choice using a multi-criteria decision making method. The second is an automatic recommendation based on case-based reasoning (CBR) technique. Furthermore, the proposed RS makes it possible to continuously update the control plans in order to be adapted to the actual process quality situation. In so doing, CBR is used for learning the required knowledge in order to improve the decision quality. A numerical application is performed in a real case study in order to illustrate the feasibility and practicability of the proposed DSS.
翻訳日:2022-11-21 04:45:21 公開日:2020-06-15
# 集団決定システムに基づく国家軍事組織(SMO)の配置のための総合的安全保障区域の選択--多基準アプローチ

Selection of an Integrated Security Area for locating a State Military Organization (SMO) based on group decision system: a multicriteria approach ( http://arxiv.org/abs/2006.08155v1 )

ライセンス: Link先を確認
Jean Gomes Turet, Ana Paula Cabral Seixtas Cabral, Pascale Zarat\'e (UT1, IRIT, IRIT-ADRIA)(参考訳) 過去数年間、世界中の犯罪について当局の間で懸念が高まってきた。 ブラジルでも同様である。 高い犯罪率は、公共安全に関わる政府当局に犯罪を最小化するための解決策を特定するよう促している。 この文脈では、セキュリティを計画し管理する一つの方法は、ISA(Integrated Security Areas)内の地区の区分にある。 各ISAは、その位置を考慮に入れた近隣のコングロマリットを持っている。 これにより、治安管理と戦闘犯罪の最大化が可能となる。 それに基づいて、政府レベルで大きな議論を巻き起こす主要なポイントの1つは、特定の警察大隊を設置するための特定の統合された警備エリアの選択である。 この選択には複数の階層が関与しているため、複数の意思決定者が関与する。 そこで本稿は,集団意思決定技術とツールを用いて,警察大隊の配備に最適なISAを特定することを目的とする。 この作業のために、GRoUp Support(GRUS)と呼ばれるグループ決定支援システム(GDSS)が2つの主要な投票手法であるCondorcetとBordaから使用された。 これにより、予め確立された基準を考慮に入れた最高のISAを特定できる。

Over the past few years there has been growing concern among authorities over crimes committed worldwide. In Brazil it is no different. High crime rates have encouraged government authorities involved in public safety to identify solutions to minimize crimes. In this context, one way to plan and manage security is in the division of neighborhoods in ISA (Integrated Security Areas). Each ISA has a neighborhood conglomerates taking into account their geolocation. From this it becomes possible to maximize security management and combat crime. Based on that, one of the main points that generate great discussion at the governmental level is the choice of a certain integrated security area for the installation of a certain police battalion. This choice involves multiple decision makers since several hierarchies are involved. Thus, this paper aims to identify the best ISA to deploy a police battalion using group decision techniques and tools. For this work the Group Decision Support System (GDSS) called GRoUp Support (GRUS) was used from two main Vote techniques: Condorcet and Borda. With this it was possible to identify the best ISA taking into account the pre-established criteria.
翻訳日:2022-11-21 04:45:05 公開日:2020-06-15
# ハイパーヒューリスティックスを用いたグループ理論暗号学攻撃の進化

Evolution of Group-Theoretic Cryptology Attacks using Hyper-heuristics ( http://arxiv.org/abs/2006.08458v1 )

ライセンス: Link先を確認
Matthew J. Craven and John R. Woodward(参考訳) 従来,多環群上でのアンシェル・アンシェル・ゴールドフェルト(AAG)鍵交換プロトコルをランダムに解くための1つの進化的アルゴリズム(EA)を開発した。 EAは弦を操作する6つの単純なヒューリスティックで構成されていた。 本研究は,グループ理論暗号学における超ヒューリスティクスの利用を初めて検討することで,これを拡張している。 超ヒューリスティックス(hyper-heuristics)は、既存のアルゴリズムコンポーネント(この場合、単純なヒューリスティックス)から新しいアルゴリズムを生成する方法であり、easは、超ヒューリスティックなフレームワークによって生成されるアルゴリズムのタイプの一例です。 私たちは、上記のEAの出発点として、ハイパーヒューリスティックに小さな調整を加えることで、その上に構築できるようにしています。 この適応は、EAを取り込み、単純なヒューリスティックから構築されたヒューリスティックの連鎖を注入するプロセスを通じて行われる。 我々は、新しいヒューリスティックチェーンを作成できることを示した。EAに置かれると、既存のEAよりも優れたアルゴリズムが生成される。 新しいアルゴリズムは、難しいインスタンスに対してEAよりもはるかに多くのAAGインスタンスを解決する。 これは、このアプローチが同じ種類の問題の多くに適用可能であることを示唆し、グループ上の暗号学問題の解決のためのフレームワークを提供する。 本論文の貢献は,暗号学問題に対処するアルゴリズムを自動構築するフレームワークである。

In previous work, we developed a single Evolutionary Algorithm (EA) to solve random instances of the Anshel-Anshel-Goldfeld (AAG) key exchange protocol over polycyclic groups. The EA consisted of six simple heuristics which manipulated strings. The present work extends this by exploring the use of hyper-heuristics in group-theoretic cryptology for the first time. Hyper-heuristics are a way to generate new algorithms from existing algorithm components (in this case the simple heuristics), with the EAs being one example of the type of algorithm which can be generated by our hyper-heuristic framework. We take as a starting point the above EA and allow hyper-heuristics to build on it by making small tweaks to it. This adaptation is through a process of taking the EA and injecting chains of heuristics built from the simple heuristics. We demonstrate we can create novel heuristic chains, which when placed in the EA create algorithms which out-perform the existing EA. The new algorithms solve a markedly greater number of random AAG instances than the EA for harder instances. This suggests the approach could be applied to many of the same kinds of problems, providing a framework for the solution of cryptology problems over groups. The contribution of this paper is thus a framework to automatically build algorithms to attack cryptology problems.
翻訳日:2022-11-21 04:44:33 公開日:2020-06-15
# 意思決定支援・推薦システムにおける説明の体系的レビューと分類

A systematic review and taxonomy of explanations in decision support and recommender systems ( http://arxiv.org/abs/2006.08672v1 )

ライセンス: Link先を確認
Ingrid Nunes and Dietmar Jannach(参考訳) 近年の人工知能分野の進歩により、意思決定タスクの数がソフトウェアシステムに委譲されている。 このようなシステムの成功と採用のための重要な要件は、ユーザがシステム選択や、完全に自動化された決定を信頼しなければならないことです。 これを実現するために、これらのシステムに対する信頼を確立する手段として、エキスパートシステムの初期から説明施設が広く研究されてきた。 今日の高度な機械学習アルゴリズムでは、説明や説明責任、システムに対する信頼といった文脈において、常に新たな課題が発生する。 本研究では,勧告システムにおける説明に関する文献を体系的にレビューする。 これはレコメンデーションシステムを含むシステムのファミリーであり、実際には最も成功したアドバイス型ソフトウェアクラスの1つである。 本稿では,説明の目的や生成方法,ユーザへの提示,評価について検討する。 その結果、現在および将来の意思決定支援システムの解説施設を設計する際に考慮すべき側面の包括的分類法が導出された。 分類学は、説明目的、応答性、内容、プレゼンテーションなど、様々な異なるファセットを含んでいる。 さらに,説明の提示に伴うきめ細かい問題や説明施設の評価など,これまで未解決のままであったいくつかの課題を明らかにした。

With the recent advances in the field of artificial intelligence, an increasing number of decision-making tasks are delegated to software systems. A key requirement for the success and adoption of such systems is that users must trust system choices or even fully automated decisions. To achieve this, explanation facilities have been widely investigated as a means of establishing trust in these systems since the early years of expert systems. With today's increasingly sophisticated machine learning algorithms, new challenges in the context of explanations, accountability, and trust towards such systems constantly arise. In this work, we systematically review the literature on explanations in advice-giving systems. This is a family of systems that includes recommender systems, which is one of the most successful classes of advice-giving software in practice. We investigate the purposes of explanations as well as how they are generated, presented to users, and evaluated. As a result, we derive a novel comprehensive taxonomy of aspects to be considered when designing explanation facilities for current and future decision support systems. The taxonomy includes a variety of different facets, such as explanation objective, responsiveness, content and presentation. Moreover, we identified several challenges that remain unaddressed so far, for example related to fine-grained issues associated with the presentation of explanations and how explanation facilities are evaluated.
翻訳日:2022-11-21 04:43:51 公開日:2020-06-15
# 生産水準問題に対する厳密かつメタヒューリスティックなアプローチ

Exact and Metaheuristic Approaches for the Production Leveling Problem ( http://arxiv.org/abs/2006.08731v1 )

ライセンス: Link先を確認
Johannes Vass, Marie-Louise Lackner, Nysret Musliu(参考訳) 本稿では,生産水準問題(Product Leveling Problem)と呼ぶ生産計画分野における新たな問題を紹介する。 タスクは、各期間の負荷と各生産資源のバランスが取れ、容量制限が越えられず、注文の優先順位が考慮されるように、生産期間に注文を割り当てることである。 生産レベル設定は、長期計画と生産期間内の注文の最終スケジューリングの間の重要な中間ステップであり、各期間内にスケジュールされる注文の優れたサブセットを選択する責任がある。 問題の公式モデルを提案し、Bin Backingからの還元によりNP硬度を示す。 適度なサイズのインスタンスを解くための正確な方法として、MIP定式化を導入する。 大きな問題を解くために,メタヒューリスティックな局所探索について検討した。 局所探索のためのグリーディ・ヒューリスティックと2つの近傍構造を提案し, 可変近傍DescentとSimulated Annealingを用いて適用した。 正確な技術については、どのサイズのインスタンスが一定時間以内に解決可能であるか、研究の主な疑問である。 メタヒューリスティックなアプローチでは、より小さなインスタンスに対してほぼ最適のソリューションを生成するが、非常に大きなインスタンスに対しては十分にスケールできることが示される。 産業パートナーによる現実的な問題インスタンスのセットは、ランダムなインスタンスジェネレータと同様に文献に貢献する。 実験の結果,最大250注文のインスタンスに対して提案したMIPモデルが有効であることがわかった。 研究したメタヒューリスティックアプローチのうち、シミュレート・アニーリングは最良の結果を得る。 小規模インスタンスの平均最適性ギャップが3%未満のソリューションを生成し、数千の注文と数十の期間と製品に十分にスケールできることが示されている。 提示されたメタヒューリスティックな手法は、すでに業界で使われている。

In this paper we introduce a new problem in the field of production planning which we call the Production Leveling Problem. The task is to assign orders to production periods such that the load in each period and on each production resource is balanced, capacity limits are not exceeded and the orders' priorities are taken into account. Production Leveling is an important intermediate step between long-term planning and the final scheduling of orders within a production period, as it is responsible for selecting good subsets of orders to be scheduled within each period. A formal model of the problem is proposed and NP-hardness is shown by reduction from Bin Backing. As an exact method for solving moderately sized instances we introduce a MIP formulation. For solving large problem instances, metaheuristic local search is investigated. A greedy heuristic and two neighborhood structures for local search are proposed, in order to apply them using Variable Neighborhood Descent and Simulated Annealing. Regarding exact techniques, the main question of research is, up to which size instances are solvable within a fixed amount of time. For the metaheuristic approaches the aim is to show that they produce near-optimal solutions for smaller instances, but also scale well to very large instances. A set of realistic problem instances from an industrial partner is contributed to the literature, as well as random instance generators. The experimental evaluation conveys that the proposed MIP model works well for instances with up to 250 orders. Out of the investigated metaheuristic approaches, Simulated Annealing achieves the best results. It is shown to produce solutions with less than 3% average optimality gap on small instances and to scale well up to thousands of orders and dozens of periods and products. The presented metaheuristic methods are already being used in the industry.
翻訳日:2022-11-21 04:43:33 公開日:2020-06-15
# 皮膚科医対ニューラルネットワーク

Dermatologist vs Neural Network ( http://arxiv.org/abs/2006.08254v1 )

ライセンス: Link先を確認
Kaushil Mangaroliya and Mitt Shah(参考訳) 一般的に癌は非常に致命的です。 がんのタイムリーな治療は、命を救うための鍵です。 皮膚がんは例外ではない。 世界中で毎年何千もの皮膚がん患者が登録されている。 1年間に123,000件の悪性黒色腫が検出されている。 この膨大な数は、オゾン層の劣化により、日光中に大量の紫外線が発生する原因であることが証明されている。 早期に発見されなければ、皮膚がんは患者の死亡につながる可能性がある。 専門の皮膚科医、最先端の検査施設、迅速な生検結果などの適切な資源が利用できなくなると、研究者は上記の問題を解決する技術を開発するようになった。 ディープラーニングは、素晴らしい結果をもたらす方法の1つです。 本研究で提案する畳み込みニューラルネットワークは,すべての事前学習モデルを実行する。 7種類の皮膚疾患に属する10015の画像を提供するHAM10000データセットでモデルをトレーニングした。 提案したモデルは89%の精度を示した。 このモデルでは致死性メラノーマ皮膚癌を高い精度で予測することができる。 本研究は,本研究によるギャップを埋めることによって,適切な皮膚科学資源が利用できない人々の生活を救えることを期待する。

Cancer, in general, is very deadly. Timely treatment of any cancer is the key to saving a life. Skin cancer is no exception. There have been thousands of Skin Cancer cases registered per year all over the world. There have been 123,000 deadly melanoma cases detected in a single year. This huge number is proven to be a cause of a high amount of UV rays present in the sunlight due to the degradation of the Ozone layer. If not detected at an early stage, skin cancer can lead to the death of the patient. Unavailability of proper resources such as expert dermatologists, state of the art testing facilities, and quick biopsy results have led researchers to develop a technology that can solve the above problem. Deep Learning is one such method that has offered extraordinary results. The Convolutional Neural Network proposed in this study out performs every pretrained models. We trained our model on the HAM10000 dataset which offers 10015 images belonging to 7 classes of skin disease. The model we proposed gave an accuracy of 89%. This model can predict deadly melanoma skin cancer with a great accuracy. Hopefully, this study can help save people's life where there is the unavailability of proper dermatological resources by bridging the gap using our proposed study.
翻訳日:2022-11-21 04:37:21 公開日:2020-06-15
# 3d-zef: ベンチマークデータセットを追跡する3dzebrafish

3D-ZeF: A 3D Zebrafish Tracking Benchmark Dataset ( http://arxiv.org/abs/2006.08466v1 )

ライセンス: Link先を確認
Malte Pedersen, Joakim Bruslund Haurum, Stefan Hein Bengtson, Thomas B. Moeslund(参考訳) 本研究では,多目的ゼブラフィッシュ追跡のためのステレオベース3d rgbデータセットである3d-zefを提案する。 ゼブラフィッシュ(zebrafish)は、神経障害、薬物依存などを研究するために用いられる、ますます人気のあるモデル生物である。 行動分析は、しばしばそのような研究の重要な部分である。 しかし、ゼブラフィッシュの視覚的類似性、閉塞性、および不安定な動きは、頑健な3D追跡を困難かつ未解決の問題にしている。 提案したデータセットは,15~120秒から1-10自由移動ゼブラフィッシュの8つの配列からなる。 ビデオには86,400点の注釈とバウンディングボックスが付されている。 さらに,zebrafishの3dトラッキングのための新しいオープンソースモジュールベースラインシステムと複雑性スコアを提案する。 システムの性能は、単純アプローチとより高速なR-CNNベースの魚頭検出器の2つの検出器で測定される。 このシステムは最大77.6%のmotaに達する。 コードとデータセットへのリンクはプロジェクトページhttps://vap.aau.dk/3d-zefで確認できる。

In this work we present a novel publicly available stereo based 3D RGB dataset for multi-object zebrafish tracking, called 3D-ZeF. Zebrafish is an increasingly popular model organism used for studying neurological disorders, drug addiction, and more. Behavioral analysis is often a critical part of such research. However, visual similarity, occlusion, and erratic movement of the zebrafish makes robust 3D tracking a challenging and unsolved problem. The proposed dataset consists of eight sequences with a duration between 15-120 seconds and 1-10 free moving zebrafish. The videos have been annotated with a total of 86,400 points and bounding boxes. Furthermore, we present a complexity score and a novel open-source modular baseline system for 3D tracking of zebrafish. The performance of the system is measured with respect to two detectors: a naive approach and a Faster R-CNN based fish head detector. The system reaches a MOTA of up to 77.6%. Links to the code and dataset is available at the project page https://vap.aau.dk/3d-zef
翻訳日:2022-11-21 04:36:51 公開日:2020-06-15
# 単一画像からの複数人のコヒーレントな再構築

Coherent Reconstruction of Multiple Humans from a Single Image ( http://arxiv.org/abs/2006.08586v1 )

ライセンス: Link先を確認
Wen Jiang, Nikos Kolotouros, Georgios Pavlakos, Xiaowei Zhou, Kostas Daniilidis(参考訳) 本研究では,1枚の画像から多人数の3Dポーズ推定を行う問題に対処する。 この問題のトップダウン設定における典型的な回帰アプローチは、まずすべての人間を検出し、それぞれを独立して再構築する。 しかし、この種の予測は、例えば、シーン内の人々間の相互接続や不整合深度秩序といった、一貫性のない結果に悩まされる。 我々のゴールは、これらの問題を回避し、現場のすべての人間のコヒーレントな3D再構成を生成する単一のネットワークを訓練することである。 このために、トップダウンフレームワークにSMPLパラメトリックボディモデルを組み込むことで、2つの新たな損失を発生させることができる。 第一に、距離場に基づく衝突損失は、再建された人々間の相互接続を罰する。 第2に、隠蔽に関する深い順序付けによる損失を理由として、アノテーション付きインスタンスセグメンテーションと整合したレンダリングにつながる人々の深度順序付けを促進する。 これは、イメージに明示的な3Dアノテーションがなくても、ネットワークに奥行き監視信号を提供する。 実験の結果,提案手法は従来の3次元ポーズベンチマークよりも優れており,提案手法により自然画像のコヒーレントな再構築が可能となった。 ビデオ、結果、コードを含むプロジェクトのwebサイトは、https://jiangwenpl.github.io/multiperson.com/で見ることができる。

In this work, we address the problem of multi-person 3D pose estimation from a single image. A typical regression approach in the top-down setting of this problem would first detect all humans and then reconstruct each one of them independently. However, this type of prediction suffers from incoherent results, e.g., interpenetration and inconsistent depth ordering between the people in the scene. Our goal is to train a single network that learns to avoid these problems and generate a coherent 3D reconstruction of all the humans in the scene. To this end, a key design choice is the incorporation of the SMPL parametric body model in our top-down framework, which enables the use of two novel losses. First, a distance field-based collision loss penalizes interpenetration among the reconstructed people. Second, a depth ordering-aware loss reasons about occlusions and promotes a depth ordering of people that leads to a rendering which is consistent with the annotated instance segmentation. This provides depth supervision signals to the network, even if the image has no explicit 3D annotations. The experiments show that our approach outperforms previous methods on standard 3D pose benchmarks, while our proposed losses enable more coherent reconstruction in natural images. The project website with videos, results, and code can be found at: https://jiangwenpl.github.io/multiperson
翻訳日:2022-11-21 04:36:35 公開日:2020-06-15
# 自律認識のための自己監督型ドメインミスマッチ推定

Self-Supervised Domain Mismatch Estimation for Autonomous Perception ( http://arxiv.org/abs/2006.08613v1 )

ライセンス: Link先を確認
Jonas L\"ohdefink, Justin Fehrling, Marvin Klingner, Fabian H\"uger, Peter Schlicht, Nico M. Schmidt, Tim Fingscheidt(参考訳) 自律運転は認知機能の自己認識を必要とする。 技術的に言えば、様々な知覚モジュールのパフォーマンス指標を監視するオブザーバによって実現可能である。 本研究では、例えば、監視対象のセマンティックセグメンテーションを選択し、監視対象のセマンティックセグメンテーションと全く同じトレーニングデータに基づいて自己教師付きでトレーニングされたオートエンコーダを提案する。 オンライン推論における自動エンコーダの画像再構成性能(PSNR)は, セマンティックセマンティックセグメンテーション性能においてすでに優れた予測力を示しているが, トレーニング(ソース)データ上の事前記憶PSNR分布と任意の推論(ターゲット)データ上のオンライン取得PSNR分布との間の地球移動量として, 新たなドメインミスマッチ距離DMを提案する。 DM測度が機能範囲内の意味的セグメンテーションと強いランク順序相関を持つことを実験により示すことができる。 また、DMメトリックに対して、この機能範囲を定義するためのトレーニングドメイン依存しきい値を提案する。

Autonomous driving requires self awareness of its perception functions. Technically spoken, this can be realized by observers, which monitor the performance indicators of various perception modules. In this work we choose, exemplarily, a semantic segmentation to be monitored, and propose an autoencoder, trained in a self-supervised fashion on the very same training data as the semantic segmentation to be monitored. While the autoencoder's image reconstruction performance (PSNR) during online inference shows already a good predictive power w.r.t. semantic segmentation performance, we propose a novel domain mismatch metric DM as the earth mover's distance between a pre-stored PSNR distribution on training (source) data, and an online-acquired PSNR distribution on any inference (target) data. We are able to show by experiments that the DM metric has a strong rank order correlation with the semantic segmentation within its functional scope. We also propose a training domain-dependent threshold for the DM metric to define this functional scope.
翻訳日:2022-11-21 04:36:14 公開日:2020-06-15
# ESL: セマンティックセグメンテーションにおける領域適応のためのエントロピー誘導型自己教師型学習

ESL: Entropy-guided Self-supervised Learning for Domain Adaptation in Semantic Segmentation ( http://arxiv.org/abs/2006.08658v1 )

ライセンス: Link先を確認
Antoine Saporta, Tuan-Hung Vu, Matthieu Cord, Patrick P\'erez(参考訳) 完全教師付きディープラーニングは、都市シーンセマンティックセグメンテーションのための良いモデルをもたらすが、これらのモデルは、例えば異なる照明や天候条件を持つ新しい環境への一般化に苦慮している。 さらに、タスクが必要とする広範なピクセルレベルのアノテーションを生成することは、非常にコストがかかる。 非教師なしドメイン適応(UDA)は、そのようなシステムをよりスケーラブルにするためにこれらの問題に対処しようとするアプローチである。 特に, 自己教師付き学習(SSL)は, セマンティックセグメンテーションにおいて, UDAの効果的な戦略となっている。 このような手法の中核は 'pseudo-labeling' であり、すなわち、高信頼のクラス予測を擬似ラベルとして割り当てるプラクティスであり、後に真のラベルとしてターゲットデータに使用される。 擬似ラベルを収集するために、以前の作品はしばしば最高ソフトマックススコアに依存しており、これは好ましくない信頼度測定であると主張する。 本研究では,より正確な擬似ラベルを生成するために,エントロピーを信頼度指標として活用する,エントロピー誘導型自己教師学習(ESL)を提案する。 異なるUDAベンチマークでは、ESLは強いSSLベースラインを一貫して上回り、最先端の結果を得る。

While fully-supervised deep learning yields good models for urban scene semantic segmentation, these models struggle to generalize to new environments with different lighting or weather conditions for instance. In addition, producing the extensive pixel-level annotations that the task requires comes at a great cost. Unsupervised domain adaptation (UDA) is one approach that tries to address these issues in order to make such systems more scalable. In particular, self-supervised learning (SSL) has recently become an effective strategy for UDA in semantic segmentation. At the core of such methods lies `pseudo-labeling', that is, the practice of assigning high-confident class predictions as pseudo-labels, subsequently used as true labels, for target data. To collect pseudo-labels, previous works often rely on the highest softmax score, which we here argue as an unfavorable confidence measurement. In this work, we propose Entropy-guided Self-supervised Learning (ESL), leveraging entropy as the confidence indicator for producing more accurate pseudo-labels. On different UDA benchmarks, ESL consistently outperforms strong SSL baselines and achieves state-of-the-art results.
翻訳日:2022-11-21 04:35:53 公開日:2020-06-15
# DeshuffleGAN: 構造学習を改善する自己監督型GAN

DeshuffleGAN: A Self-Supervised GAN to Improve Structure Learning ( http://arxiv.org/abs/2006.08694v1 )

ライセンス: Link先を確認
Gulcin Baykal, Gozde Unal(参考訳) GAN(Generative Adversarial Networks)は、画像品質の向上と新しい手法への拡張のための汎用性により、画像生成問題への関心が高まった。 GANベースの多くの作業は、アーキテクチャと損失に基づく拡張による生成を改善する。 我々は、現実主義と元のデータ分布との類似性の観点からganの性能を改善する重要なポイントの1つは、モデルにデータの空間構造を学ぶ能力を提供することであると主張する。 そこで本研究では,判別器と生成器の学習を自己スーパービジョンアプローチにより強化するデシャッフルガンを提案する。 具体的には、ランダムにシャッフルされた画像タイルのパズルを解くデシャッフルタスクを導入し、デシャッフルGANが空間構造と現実的な外観の表現能力を高めるのに役立つ。 2つの異なるデータセットで一貫して観測されるベースライン法と比較して,生成画像の性能向上に関する実験的証拠を提供する。

Generative Adversarial Networks (GANs) triggered an increased interest in problem of image generation due to their improved output image quality and versatility for expansion towards new methods. Numerous GAN-based works attempt to improve generation by architectural and loss-based extensions. We argue that one of the crucial points to improve the GAN performance in terms of realism and similarity to the original data distribution is to be able to provide the model with a capability to learn the spatial structure in data. To that end, we propose the DeshuffleGAN to enhance the learning of the discriminator and the generator, via a self-supervision approach. Specifically, we introduce a deshuffling task that solves a puzzle of randomly shuffled image tiles, which in turn helps the DeshuffleGAN learn to increase its expressive capacity for spatial structure and realistic appearance. We provide experimental evidence for the performance improvement in generated images, compared to the baseline methods, which is consistently observed over two different datasets.
翻訳日:2022-11-21 04:35:12 公開日:2020-06-15
# 多機能抽出と超越について

On the Multi-Property Extraction and Beyond ( http://arxiv.org/abs/2006.08281v1 )

ライセンス: Link先を確認
Tomasz Dwojak and Micha{\l} Pietruszka and {\L}ukasz Borchmann and Filip Grali\'nski and Jakub Ch{\l}\k{e}dowski(参考訳) 本稿では,WikiReading情報抽出と機械読解データセットにおけるDual-source Transformerアーキテクチャについて検討する。 提案モデルでは,現状の最先端を大きなマージンで上回っている。 次に、新しく開発されたパブリックデータセットであるWikiReading Recycledを紹介し、複数のプロパティ抽出のタスクをサポートする。 オリジナルのWikiReadingの精神を保っているが、前者の不利な点を継承していない。

In this paper, we investigate the Dual-source Transformer architecture on the WikiReading information extraction and machine reading comprehension dataset. The proposed model outperforms the current state-of-the-art by a large margin. Next, we introduce WikiReading Recycled - a newly developed public dataset, supporting the task of multiple property extraction. It keeps the spirit of the original WikiReading but does not inherit the identified disadvantages of its predecessor.
翻訳日:2022-11-21 04:34:31 公開日:2020-06-15
# 対数正規化に基づくMADM法のVIKORとTOPSISによる再解析

A VIKOR and TOPSIS focused reanalysis of the MADM methods based on logarithmic normalization ( http://arxiv.org/abs/2006.08150v1 )

ライセンス: Link先を確認
Sarfaraz Zolfani, Morteza Yazdani, Dragan Pamucar, Pascale Zarat\'e (IRIT-ADRIA, IRIT, UT1)(参考訳) 多基準意思決定分析における意思決定と政策立案者は、結果を分析し、最終的に効果的でより正確な決定を行うためにいくつかの戦略を考慮する。 これらの戦略の中で、多重基準決定アルゴリズムにおける正規化プロセスの変更は、多くの正規化ツールの対立のため、依然として問題である。 正規化は、MADM問題とMADMモデルを定義し、解決する基本的な作用である。 正規化は、MADM法の適用という問題を解決するための最初のステップである。 正規化法の選択が結果に直接的な影響を及ぼすという事実である。 導入された最新の正規化手法の1つは対数正規化(LN)法である。 この新しい方法は、基準の正規化値の和が常に 1 に等しいことを反映して、際立った利点を持つ。 この正規化法がmadm法に適用されることはなかった。 本研究は、対数正規化に基づく古典的MADM法の解析に焦点を当てた。 この2つのMADM法としてVIKORとTOPSISが再分析研究のために選ばれた。 LNに基づく古典的手法と斬新な手法の両方に基づいて, 2つの数値例を両手法で検証した。 その結果,2つのアプローチに違いが認められた。 最終的に、最終結果の信頼性を示すために感度分析も設計されている。

Decision and policy-makers in multi-criteria decision-making analysis take into account some strategies in order to analyze outcomes and to finally make an effective and more precise decision. Among those strategies, the modification of the normalization process in the multiple-criteria decision-making algorithm is still a question due to the confrontation of many normalization tools. Normalization is the basic action in defining and solving a MADM problem and a MADM model. Normalization is the first, also necessary, step in solving, i.e. the application of a MADM method. It is a fact that the selection of normalization methods has a direct effect on the results. One of the latest normalization methods introduced is the Logarithmic Normalization (LN) method. This new method has a distinguished advantage, reflecting in that a sum of the normalized values of criteria always equals 1. This normalization method had never been applied in any MADM methods before. This research study is focused on the analysis of the classical MADM methods based on logarithmic normalization. VIKOR and TOPSIS, as the two famous MADM methods, were selected for this reanalysis research study. Two numerical examples were checked in both methods, based on both the classical and the novel ways based on the LN. The results indicate that there are differences between the two approaches. Eventually, a sensitivity analysis is also designed to illustrate the reliability of the final results.
翻訳日:2022-11-21 04:28:22 公開日:2020-06-15
# ボードゲームにおける効率的な推論

Efficient Reasoning in Regular Boardgames ( http://arxiv.org/abs/2006.08295v1 )

ライセンス: Link先を確認
Jakub Kowalski, Rados{\l}aw Miernik, Maksymilian Mika, Wojciech Pawlik, Jakub Sutowicz, Marek Szyku{\l}a, Andrzej Tkaczyk(参考訳) 本稿では,正規表現の形式で規則を符号化する有限決定性ゲームクラスに対する汎用ゲームプレイング(GGP)形式であるRBG言語における推論の技術的側面について述べる。 RBGは知識推論、分析、生成、学習、ゲームのための一般化されたアルゴリズムの開発を支援する研究ツールとして機能する。 これらすべてのタスクにおいて、一般性と効率性の両方が重要である。 第一部では、rbgコンパイラが使用する最適化について述べる。 これらの最適化の影響は、1秒あたりのプレイアウト数を測定する際に1.7から33倍の効率改善まで様々である。 そして、他の3つのggpシステム(gdl、ludii、ai ai)との詳細な効率比較を行う。 我々はまた、最大速度の基準を提供するために、高度に最適化されたゲーム固有の推論器も含んでいます。 実験の結果,RBGは現在,抽象的な汎用ゲーム言語の中で最速であり,その効率性は手作りゲーム固有の実装に依存する一般的なインタフェースベースシステムと競合することがわかった。 最後に,このような計算ベンチマークの問題点と方法論について論じる。

We present the technical side of reasoning in Regular Boardgames (RBG) language -- a universal General Game Playing (GGP) formalism for the class of finite deterministic games with perfect information, encoding rules in the form of regular expressions. RBG serves as a research tool that aims to aid in the development of generalized algorithms for knowledge inference, analysis, generation, learning, and playing games. In all these tasks, both generality and efficiency are important. In the first part, this paper describes optimizations used by the RBG compiler. The impact of these optimizations ranges from 1.7 to even 33-fold efficiency improvement when measuring the number of possible game playouts per second. Then, we perform an in-depth efficiency comparison with three other modern GGP systems (GDL, Ludii, Ai Ai). We also include our own highly optimized game-specific reasoners to provide a point of reference of the maximum speed. Our experiments show that RBG is currently the fastest among the abstract general game playing languages, and its efficiency can be competitive to common interface-based systems that rely on handcrafted game-specific implementations. Finally, we discuss some issues and methodology of computing benchmarks like this.
翻訳日:2022-11-21 04:28:03 公開日:2020-06-15
# 機械常識

Machine Common Sense ( http://arxiv.org/abs/2006.08409v1 )

ライセンス: Link先を確認
Alexander Gavrilenko, Katerina Morozova(参考訳) 機械常識は、人工知能(AI)において広く、潜在的に無制限な問題である。 この挑戦を前進させるためには、幅広い戦略が採用されている。 この記事では、人間同士の相互作用のようなドメインに焦点を当てた常識推論のモデリングの側面について取り上げる。 基本的な考え方は、コモンセンス推論にはいくつかの種類がある: 1つは物理的行動の論理的なレベルに現れ、もう1つは人間と人間の相互作用の本質を理解することを扱う。 既存のアプローチでは、形式論理とニューラルネットワークに基づいて、最初のタイプの常識のみをモデリングすることができる。 第2のタイプをモデル化するには、人間の行動の動機とルールを理解することが不可欠である。 このモデルは、実生活のヒューリスティック、すなわち、異なる世代の知識と経験を通じて発達した親指の規則に基づいている。 このような知識ベースは、推論と説明機構(常識推論アルゴリズムと個人モデル)を備えたエキスパートシステムの開発を可能にする。 アルゴリズムは状況分析のためのツールを提供するが、個人モデルは性格特性を識別することができる。 このように設計されたシステムは、人間-機械を含む相互作用のための増幅された知性機能を実行するべきである。

Machine common sense remains a broad, potentially unbounded problem in artificial intelligence (AI). There is a wide range of strategies that can be employed to make progress on this challenge. This article deals with the aspects of modeling commonsense reasoning focusing on such domain as interpersonal interactions. The basic idea is that there are several types of commonsense reasoning: one is manifested at the logical level of physical actions, the other deals with the understanding of the essence of human-human interactions. Existing approaches, based on formal logic and artificial neural networks, allow for modeling only the first type of common sense. To model the second type, it is vital to understand the motives and rules of human behavior. This model is based on real-life heuristics, i.e., the rules of thumb, developed through knowledge and experience of different generations. Such knowledge base allows for development of an expert system with inference and explanatory mechanisms (commonsense reasoning algorithms and personal models). Algorithms provide tools for a situation analysis, while personal models make it possible to identify personality traits. The system so designed should perform the function of amplified intelligence for interactions, including human-machine.
翻訳日:2022-11-21 04:27:44 公開日:2020-06-15
# あなたが何を考えているのか、どれだけよく知っていますか。 RTSゲームにおける対向モデル

Does it matter how well I know what you're thinking? Opponent Modelling in an RTS game ( http://arxiv.org/abs/2006.08659v1 )

ライセンス: Link先を確認
James Goodman, Simon Lucas(参考訳) Opponent Modellingは、対戦者の将来の行動を予測しようと試み、マルチプレイヤーゲームでうまく機能する必要がある。 相手のモデルを学ぶことについては深い文献があるが、そのモデルの正確さはそれほど重要ではない。 実時間戦略ゲームにおいて,モンテカルロ木探索(MCTS)とローリング水平進化アルゴリズム(RHEA)の,相手のモデリング精度に対する感度について検討した。 この領域では、RHEAはMCTSよりも敵モデルの精度にはるかに敏感である。 MCTSは一般に不正確なモデルでも良いが、RHEAの性能は低下する。 我々は、未知の相手と低い計算予算に直面して、RHEAで明示的なモデルを使用しず、MCTSアルゴリズムの一部としてツリー内の相手の動作をモデル化した方がよいことを示す。

Opponent Modelling tries to predict the future actions of opponents, and is required to perform well in multi-player games. There is a deep literature on learning an opponent model, but much less on how accurate such models must be to be useful. We investigate the sensitivity of Monte Carlo Tree Search (MCTS) and a Rolling Horizon Evolutionary Algorithm (RHEA) to the accuracy of their modelling of the opponent in a simple Real-Time Strategy game. We find that in this domain RHEA is much more sensitive to the accuracy of an opponent model than MCTS. MCTS generally does better even with an inaccurate model, while this will degrade RHEA's performance. We show that faced with an unknown opponent and a low computational budget it is better not to use any explicit model with RHEA, and to model the opponent's actions within the tree as part of the MCTS algorithm.
翻訳日:2022-11-21 04:27:27 公開日:2020-06-15
# p-d-セパレーション -- 因果ネットワークにおける依存/独立関係を表現する概念

p-d-Separation -- A Concept for Expressing Dependence/Independence Relations in Causal Networks ( http://arxiv.org/abs/2006.09196v1 )

ライセンス: Link先を確認
Mieczys{\l}aw A. K{\l}opotek(参考訳) Spirtes, Glymour and Scheines は、パールのd-分離が適用される結合確率分布(ベイジアンネットワーク)の非巡回グラフ分解を、直接依存テストと頭対頭ミーティングテストで解釈するのに十分であるという結論を定式化した。 この導出は後にパールとヴェルマの結果の直接の結果であることが判明した。 本稿では, p-d-分離(部分依存分離)の概念を生かして, この予想を新たな方法で証明することを目的としている。 パールのd分離はベイズネットワークで機能するが、p-d分離は因果ネットワークに適用することを目的としている:すなわち、向き付けがそれらの辺のみに与えられ、統計的に確認された因果影響を表す部分指向ネットワークである。 この導出の妥当性を証明する特定の方法の結果として、利用可能な独立情報を含む有向非巡回グラフ(ダグ)を全て構築するためのアルゴリズムも提示される。 部分指向グラフ(pog)の概念が導入され、このグラフ内では p-d-分離の概念が定義される。 pog内のp-d分離は、すべての派生dagのd分離と同値であることが示されている。

Spirtes, Glymour and Scheines formulated a Conjecture that a direct dependence test and a head-to-head meeting test would suffice to construe directed acyclic graph decompositions of a joint probability distribution (Bayesian network) for which Pearl's d-separation applies. This Conjecture was later shown to be a direct consequence of a result of Pearl and Verma. This paper is intended to prove this Conjecture in a new way, by exploiting the concept of p-d-separation (partial dependency separation). While Pearl's d-separation works with Bayesian networks, p-d-separation is intended to apply to causal networks: that is partially oriented networks in which orientations are given to only to those edges, that express statistically confirmed causal influence, whereas undirected edges express existence of direct influence without possibility of determination of direction of causation. As a consequence of the particular way of proving the validity of this Conjecture, an algorithm for construction of all the directed acyclic graphs (dags) carrying the available independence information is also presented. The notion of a partially oriented graph (pog) is introduced and within this graph the notion of p-d-separation is defined. It is demonstrated that the p-d-separation within the pog is equivalent to d-separation in all derived dags.
翻訳日:2022-11-21 04:27:12 公開日:2020-06-15
# ディープラーニングを用いた高速道路の異常動作検出

Anomalous Motion Detection on Highway Using Deep Learning ( http://arxiv.org/abs/2006.08143v1 )

ライセンス: Link先を確認
Harpreet Singh, Emily M. Hand, Kostas Alexis(参考訳) 視覚異常検出の研究は、その監視への応用により、多くの関心を集めている。 評価のための共通データセットは、関心領域を見下ろす静止カメラを用いて構築される。 これまでの研究では、これらの設定における空間的および時間的異常の検出に有望な結果が示されている。 自動運転車の登場は、よりダイナミックなアプリケーションに視覚異常検出を適用する機会を提供するが、この種の環境ではデータセットは存在しない。 本稿では,道路上の車両のダッシュカムビデオから異常な交通パターンを検出するために,新しい異常検出データセットであるハイウェイ交通異常(HTA)データセットを提案する。 最先端のディープラーニング異常検出モデルを評価し,その新しいバリエーションを提案する。 この結果から,静止カメラで設定できる最先端モデルでは,よりダイナミックな環境に適さないことがわかった。 提案手法のバリエーションは,新しいHTAデータセットにおいて有望な結果を示す。

Research in visual anomaly detection draws much interest due to its applications in surveillance. Common datasets for evaluation are constructed using a stationary camera overlooking a region of interest. Previous research has shown promising results in detecting spatial as well as temporal anomalies in these settings. The advent of self-driving cars provides an opportunity to apply visual anomaly detection in a more dynamic application yet no dataset exists in this type of environment. This paper presents a new anomaly detection dataset - the Highway Traffic Anomaly (HTA) dataset - for the problem of detecting anomalous traffic patterns from dash cam videos of vehicles on highways. We evaluate state-of-the-art deep learning anomaly detection models and propose novel variations to these methods. Our results show that state-of-the-art models built for settings with a stationary camera do not translate well to a more dynamic environment. The proposed variations to these SoTA methods show promising results on the new HTA dataset.
翻訳日:2022-11-21 04:26:44 公開日:2020-06-15
# 深層マルチモーダルデータ分析に関する調査 : コラボレーション,競合,融合

Survey on Deep Multi-modal Data Analytics: Collaboration, Rivalry and Fusion ( http://arxiv.org/abs/2006.08159v1 )

ライセンス: Link先を確認
Yang Wang(参考訳) Web技術の発展に伴い、マルチモーダルまたはマルチビューデータがビッグデータの主要なストリームとして急増し、各モーダル/ビューはデータオブジェクトの個々のプロパティをエンコードする。 しばしば異なるモダリティは互いに相補的である。 このような事実は、データオブジェクトを包括的に特徴付けるためにマルチモーダルな特徴空間を融合させることに多くの研究の関心を惹いた。 既存の最先端技術のほとんどは、マルチモーダル空間からエネルギーや情報を融合して、単一のモーダルを持つ彼らよりも優れたパフォーマンスを提供する方法に重点を置いている。 近年、ディープニューラルネットワークは、高次元マルチメディアデータの非線形分布をうまく捉えるための強力なアーキテクチャとして提示されている。 マルチモーダル深層特徴空間からの融合を本質的に深めることができる深層マルチモーダル手法の利点を実証するために実証的な研究が行われている。 本稿では,浅層から深層へのマルチモーダルデータ解析における既存技術の現状について概観する。 この調査を通じて,この分野の重要な要素はコラボレーション,敵対的競争,マルチモーダル空間上の融合であることが示唆された。 最後に、この分野の今後の方向性について、我々の見解を共有します。

With the development of web technology, multi-modal or multi-view data has surged as a major stream for big data, where each modal/view encodes individual property of data objects. Often, different modalities are complementary to each other. Such fact motivated a lot of research attention on fusing the multi-modal feature spaces to comprehensively characterize the data objects. Most of the existing state-of-the-art focused on how to fuse the energy or information from multi-modal spaces to deliver a superior performance over their counterparts with single modal. Recently, deep neural networks have exhibited as a powerful architecture to well capture the nonlinear distribution of high-dimensional multimedia data, so naturally does for multi-modal data. Substantial empirical studies are carried out to demonstrate its advantages that are benefited from deep multi-modal methods, which can essentially deepen the fusion from multi-modal deep feature spaces. In this paper, we provide a substantial overview of the existing state-of-the-arts on the filed of multi-modal data analytics from shallow to deep spaces. Throughout this survey, we further indicate that the critical components for this field go to collaboration, adversarial competition and fusion over multi-modal spaces. Finally, we share our viewpoints regarding some future directions on this field.
翻訳日:2022-11-21 04:26:30 公開日:2020-06-15
# 正規化クロス相関層を用いた赤外画像の小さなターゲット検出のためのフィルタ設計

Filter design for small target detection on infrared imagery using normalized-cross-correlation layer ( http://arxiv.org/abs/2006.08162v1 )

ライセンス: Link先を確認
H. Se\c{c}kin Demir and Erdem Akagunduz(参考訳) 本稿では,赤外線小型ターゲット検出フィルタの設計問題に対する機械学習手法を提案する。 この目的のために,ニューラルネットワークの畳み込み層と同様に,ターゲット検出・認識フィルタバンクの設計に利用する正規化クロス相関(ncc)層を提案する。 ニューラルネットワーク構造にNCC層を用いることで、赤外線画像上の特定の目標検出/認識タスクに必要なフィルタの最適なフィルタ形状と最適なフィルタ数を計算するための教師付きトレーニングを行うフレームワークを導入する。 また,実時間計算のために平方根演算を回避したFPGAシステムにおいて,提案したNCC層を効率よく実装したMAD-NCC層を提案する。 本研究では,中波長赤外画像におけるディムターゲット検出について検討し,動作コンセプトに特有な種々の背景クラッタからディムターゲットを識別できるフィルタについて検討する。

In this paper, we introduce a machine learning approach to the problem of infrared small target detection filter design. For this purpose, similarly to a convolutional layer of a neural network, the normalized-cross-correlational (NCC) layer, which we utilize for designing a target detection/recognition filter bank, is proposed. By employing the NCC layer in a neural network structure, we introduce a framework, in which supervised training is used to calculate the optimal filter shape and the optimum number of filters required for a specific target detection/recognition task on infrared images. We also propose the mean-absolute-deviation NCC (MAD-NCC) layer, an efficient implementation of the proposed NCC layer, designed especially for FPGA systems, in which square root operations are avoided for real-time computation. As a case study we work on dim-target detection on mid-wave infrared imagery and obtain the filters that can discriminate a dim target from various types of background clutter, specific to our operational concept.
翻訳日:2022-11-21 04:26:10 公開日:2020-06-15
# 二元化DAD-Net:自律運転のための二元化駆動可能エリア検出ネットワーク

Binary DAD-Net: Binarized Driveable Area Detection Network for Autonomous Driving ( http://arxiv.org/abs/2006.08178v1 )

ライセンス: Link先を確認
Alexander Frickenstein and Manoj Rohit Vemparala and Jakob Mayr and Naveen Shankar Nagaraja and Christian Unger and Federico Tombari and Walter Stechele(参考訳) 駆動可能な領域検出は、地上面検出、障害物検出、操縦計画など、自律運転(AD)分野における様々な応用において重要な要素である。 さらに、かさばった、過剰なパラメータ化されたネットワークは、組み込みシステムでのより高速な推論のために、簡単にforgoneおよびより小さなネットワークに置き換えられる。 2クラスセグメンテーションタスクとして設定された駆動可能な領域検出は、スリムバイナリネットワークで効率的にモデル化することができる。 本稿では,エンコーダ,ボトルネック,デコーダ部の2値重みとアクティベーションのみを用いた,新しい2値化駆動可能領域検出ネットワーク(binary dad-net)を提案する。 ボトルネックの潜在空間はバイナリ拡張畳み込みを通じて効率的に増加(x32 -> x16ダウンサンプリング)し、より複雑な特徴を学習する。 自動生成されたトレーニングデータに加えて、バイナリdad-netはパブリックデータセット上の最先端セマンティクスセグメンテーションネットワークよりも優れている。 完全精度モデルと比較して,提案手法はFPGA上での計算複雑性をx14.3削減し,0.9MBのメモリリソースしか必要としない。 したがって、商品simdベースのアドハードウェアはバイナリdad-netを加速することができる。

Driveable area detection is a key component for various applications in the field of autonomous driving (AD), such as ground-plane detection, obstacle detection and maneuver planning. Additionally, bulky and over-parameterized networks can be easily forgone and replaced with smaller networks for faster inference on embedded systems. The driveable area detection, posed as a two class segmentation task, can be efficiently modeled with slim binary networks. This paper proposes a novel binarized driveable area detection network (binary DAD-Net), which uses only binary weights and activations in the encoder, the bottleneck, and the decoder part. The latent space of the bottleneck is efficiently increased (x32 -> x16 downsampling) through binary dilated convolutions, learning more complex features. Along with automatically generated training data, the binary DAD-Net outperforms state-of-the-art semantic segmentation networks on public datasets. In comparison to a full-precision model, our approach has a x14.3 reduced compute complexity on an FPGA and it requires only 0.9MB memory resources. Therefore, commodity SIMD-based AD-hardware is capable of accelerating the binary DAD-Net.
翻訳日:2022-11-21 04:25:54 公開日:2020-06-15
# 分子画像合成のための条件流モデルの改良

Improved Conditional Flow Models for Molecule to Image Synthesis ( http://arxiv.org/abs/2006.08532v1 )

ライセンス: Link先を確認
Karren Yang, Samuel Goldman, Wengong Jin, Alex Lu, Regina Barzilay, Tommi Jaakkola, Caroline Uhler(参考訳) 本稿では, 薬物開発への実用的な応用を動機とし, 異なる分子介入下での細胞顕微鏡像の合成を目標とする。 分子埋め込み学習のためのグラフニューラルネットワークと画像生成のためのフローベースモデルを構築し,分子から細胞への画像合成のためのフローベース生成モデル Mol2Image を提案する。 セルの特徴を異なる解像度で生成し,高解像度画像にスケールするために,Haarウェーブレット画像ピラミッドに基づく新しいマルチスケールフローアーキテクチャを開発した。 生成した画像と分子介入の相互情報を最大化するために,コントラスト学習に基づくトレーニング戦略を考案した。 本モデルを評価するために, 生体画像生成のための新しい指標セットを提案する。 本手法は,分子介入の生物学的効果を反映した画像表現に翻訳され,有意義な分子介入の埋め込みを学習できることを定量的に示す。

In this paper, we aim to synthesize cell microscopy images under different molecular interventions, motivated by practical applications to drug development. Building on the recent success of graph neural networks for learning molecular embeddings and flow-based models for image generation, we propose Mol2Image: a flow-based generative model for molecule to cell image synthesis. To generate cell features at different resolutions and scale to high-resolution images, we develop a novel multi-scale flow architecture based on a Haar wavelet image pyramid. To maximize the mutual information between the generated images and the molecular interventions, we devise a training strategy based on contrastive learning. To evaluate our model, we propose a new set of metrics for biological image generation that are robust, interpretable, and relevant to practitioners. We show quantitatively that our method learns a meaningful embedding of the molecular intervention, which is translated into an image representation reflecting the biological effects of the intervention.
翻訳日:2022-11-21 04:18:50 公開日:2020-06-15
# 非凸テンソル完備化の不確かさの定量化:信頼区間、ヘテロセダサスティック性および最適性

Uncertainty quantification for nonconvex tensor completion: Confidence intervals, heteroscedasticity and optimality ( http://arxiv.org/abs/2006.08580v1 )

ライセンス: Link先を確認
Changxiao Cai, H. Vincent Poor, Yuxin Chen(参考訳) 雑音のあるテンソル完備化のための非凸最適化の分布と不確実性について検討する。 Cai et al. (2019) によって提案された2段階推定アルゴリズムに着目し、この非凸推定器の分布を微細なスケールまで特徴づける。 この分布論により、未知のテンソル要素と未知のテンソル要素の両方に対して有効かつ短い信頼区間を構築することができる。 提案手法は,(1)ノイズの不均一性に完全に適応し,(2)データ駆動型であり,未知の雑音分布に自動的に適応する,という,いくつかの重要な特徴を享受する。 さらに,非凸テンソル補完の統計的最適性も明らかにしている: 未知テンソルと基礎となるテンソル係数の両方を推定する場合,速度と前コンテンソルの両方を含む改良不可能な$\ell_{2}$ の精度が得られる。

We study the distribution and uncertainty of nonconvex optimization for noisy tensor completion -- the problem of estimating a low-rank tensor given incomplete and corrupted observations of its entries. Focusing on a two-stage estimation algorithm proposed by Cai et al. (2019), we characterize the distribution of this nonconvex estimator down to fine scales. This distributional theory in turn allows one to construct valid and short confidence intervals for both the unseen tensor entries and the unknown tensor factors. The proposed inferential procedure enjoys several important features: (1) it is fully adaptive to noise heteroscedasticity, and (2) it is data-driven and automatically adapts to unknown noise distributions. Furthermore, our findings unveil the statistical optimality of nonconvex tensor completion: it attains un-improvable $\ell_{2}$ accuracy -- including both the rates and the pre-constants -- when estimating both the unknown tensor and the underlying tensor factors.
翻訳日:2022-11-21 04:18:34 公開日:2020-06-15
# ベクトル量子変分オートエンコーダを用いたエビデンス対応推論テキスト生成

Evidence-Aware Inferential Text Generation with Vector Quantised Variational AutoEncoder ( http://arxiv.org/abs/2006.08101v1 )

ライセンス: Link先を確認
Daya Guo, Duyu Tang, Nan Duan, Jian Yin, Daxin Jiang and Ming Zhou(参考訳) 異なる視点でイベントに関する推論テキストを生成するには、イベントが発生するさまざまなコンテキストを推論する必要がある。 既存の作品は通常、明示的に提供されていないコンテキストを無視して、生成をサポートするのに苦労するコンテキストに依存しない意味表現を生成する。 そこで本研究では,大規模テキストコーパスからイベントの証拠を自動的に発見する手法を提案する。 本手法はエンコーダ・デコーダ方式で動作し,ベクトル量子化変数オートエンコーダを備え,離散変数上の分布から表現を出力する。 このような離散表現は、証拠認識生成を容易にするだけでなく、生成の背後にある合理性を明らかにする自然な方法を提供する、関連する証拠を自動的に選択することができる。 このアプローチはEvent2MindとATOMICの両方のデータセットで最先端のパフォーマンスを提供します。 さらに重要なことは、離散表現では、モデルを選択的にエビデンスを使用して異なる推論テキストを生成することである。

Generating inferential texts about an event in different perspectives requires reasoning over different contexts that the event occurs. Existing works usually ignore the context that is not explicitly provided, resulting in a context-independent semantic representation that struggles to support the generation. To address this, we propose an approach that automatically finds evidence for an event from a large text corpus, and leverages the evidence to guide the generation of inferential texts. Our approach works in an encoder-decoder manner and is equipped with a Vector Quantised-Variational Autoencoder, where the encoder outputs representations from a distribution over discrete variables. Such discrete representations enable automatically selecting relevant evidence, which not only facilitates evidence-aware generation, but also provides a natural way to uncover rationales behind the generation. Our approach provides state-of-the-art performance on both Event2Mind and ATOMIC datasets. More importantly, we find that with discrete representations, our model selectively uses evidence to generate different inferential texts.
翻訳日:2022-11-21 04:18:00 公開日:2020-06-15
# 制約付きサブシーケンスカーネルを用いたN-aryクロスセンス関係の抽出

Extracting N-ary Cross-sentence Relations using Constrained Subsequence Kernel ( http://arxiv.org/abs/2006.08185v1 )

ライセンス: Link先を確認
Sachin Pawar, Pushpak Bhattacharyya, Girish K. Palshikar(参考訳) 関係抽出における過去の仕事のほとんどは、文内で発生し、2つのエンティティ引数しか持たない関係を扱う。 本稿では,複数の文にまたがって2つ以上の議論ができるという意味で,関係が文内関係よりも一般的である関係抽出タスクの新たな定式化を提案する。 さらに、それらの関係は、その範囲が文書内でのみ制限され、コーパス全体では有効ではないという意味で、コーパスレベルの関係よりも具体的である。 このような関係のインスタンスを特徴付ける新しいシーケンス表現を提案する。 次に、このシーケンス表現から特徴を引き出す様々な分類器を探索する。 SVM分類器では、一般化サブシーケンスカーネルの変種である制約付きサブシーケンスカーネルを設計する。 バイオメディカルと一般ドメインという2つのドメインにまたがる3つのデータセットに対するアプローチを評価した。

Most of the past work in relation extraction deals with relations occurring within a sentence and having only two entity arguments. We propose a new formulation of the relation extraction task where the relations are more general than intra-sentence relations in the sense that they may span multiple sentences and may have more than two arguments. Moreover, the relations are more specific than corpus-level relations in the sense that their scope is limited only within a document and not valid globally throughout the corpus. We propose a novel sequence representation to characterize instances of such relations. We then explore various classifiers whose features are derived from this sequence representation. For SVM classifier, we design a Constrained Subsequence Kernel which is a variant of Generalized Subsequence Kernel. We evaluate our approach on three datasets across two domains: biomedical and general domain.
翻訳日:2022-11-21 04:17:43 公開日:2020-06-15
# トランスフォーマーの微粒化評価とニューラルマシン翻訳への再帰的アプローチ

Fine-grained Human Evaluation of Transformer and Recurrent Approaches to Neural Machine Translation for English-to-Chinese ( http://arxiv.org/abs/2006.08297v1 )

ライセンス: Link先を確認
Yuying Ye, Antonio Toral(参考訳) 本研究では,トランスフォーマーとニューラルマシン翻訳(MT)に対する反復的アプローチを,英語から中国語への翻訳方向で比較する。 そこで我々は,この翻訳方向の関連現象に合わせてカスタマイズされた多次元品質指標(MQM)フレームワークに準拠した誤り分類法を開発した。 次に、WMT2019のニューステストセットのサブセット上で、最先端のリカレントおよびトランスフォーマーベースのMTシステムの出力に対して、このカスタマイズされたエラー分類を用いたエラーアノテーションを実行する。 その結果,ベストリカレントシステムと比較して,最高のトランスフォーマーシステムではエラー数が31%減少し,22のエラーカテゴリ中10のエラーが著しく減少した。 また、評価された2つのシステムは、NTTシステムの出現以前にこの翻訳方向に関連するカテゴリに対して、いかなる誤りも生じていないことに留意する。

This research presents a fine-grained human evaluation to compare the Transformer and recurrent approaches to neural machine translation (MT), on the translation direction English-to-Chinese. To this end, we develop an error taxonomy compliant with the Multidimensional Quality Metrics (MQM) framework that is customised to the relevant phenomena of this translation direction. We then conduct an error annotation using this customised error taxonomy on the output of state-of-the-art recurrent- and Transformer-based MT systems on a subset of WMT2019's news test set. The resulting annotation shows that, compared to the best recurrent system, the best Transformer system results in a 31% reduction of the total number of errors and it produced significantly less errors in 10 out of 22 error categories. We also note that two of the systems evaluated do not produce any error for a category that was relevant for this translation direction prior to the advent of NMT systems: Chinese classifiers.
翻訳日:2022-11-21 04:17:31 公開日:2020-06-15
# DynE:マルチドキュメント要約のための動的アンサンブルデコーディング

DynE: Dynamic Ensemble Decoding for Multi-Document Summarization ( http://arxiv.org/abs/2006.08748v1 )

ライセンス: Link先を確認
Chris Hokamp, Demian Gholipour Ghalandari, Nghia The Pham, John Glover(参考訳) sequence-to-sequence(s2s)モデルは、自然言語処理における広範な作業の基礎である。 しかし、マルチドキュメント要約、マルチモーダル機械翻訳、機械翻訳の自動後編集といった応用では、複数の異なる入力の集合を単一の出力シーケンスにマッピングする必要がある。 最近の研究は、これらのマルチインプット設定のためのbespokeアーキテクチャを導入し、より長い入力を処理できるモデルを開発したが、特別なモデルアーキテクチャの性能は、利用可能なドメイン内のトレーニングデータによって制限されている。 本研究では,異なる入力に対して同一モデルの複数のインスタンスの出力をアンサンブルする単純な復号手法を提案する。 提案手法により,バニラs2sタスクのために訓練されたモデルを直接マルチ入力設定で使用することができる。 同一イベントに関するニュース記事の集合を1つの一貫性のある要約に圧縮する場合など、各入力が他と大きく重なり合う場合に特に有効であり、複数の文書要約データセットに対して最先端の結果が得られる。

Sequence-to-sequence (s2s) models are the basis for extensive work in natural language processing. However, some applications, such as multi-document summarization, multi-modal machine translation, and the automatic post-editing of machine translation, require mapping a set of multiple distinct inputs into a single output sequence. Recent work has introduced bespoke architectures for these multi-input settings, and developed models which can handle increasingly longer inputs; however, the performance of special model architectures is limited by the available in-domain training data. In this work we propose a simple decoding methodology which ensembles the output of multiple instances of the same model on different inputs. Our proposed approach allows models trained for vanilla s2s tasks to be directly used in multi-input settings. This works particularly well when each of the inputs has significant overlap with the others, as when compressing a cluster of news articles about the same event into a single coherent summary, and we obtain state-of-the-art results on several multi-document summarization datasets.
翻訳日:2022-11-21 04:16:51 公開日:2020-06-15
# オッカムの幽霊

Occam's Ghost ( http://arxiv.org/abs/2006.09813v1 )

ライセンス: Link先を確認
Peter K\"ovesarki(参考訳) 本稿では、オッカムのラザーの原理を統計データの非パラメトリックモデル構築に適用し、最小ビット数のモデルを見つけることにより、確率密度推定器の極めて効果的な正規化法を導出する。 このアイデアは、最大化がデータセットをエンコードするのに必要となるビット数を最小化するという事実に由来する。 しかし、従来の手法では、モデルパラメータの最適化がデータポイントを符号化する役割を故意に果たす可能性も見落としている。 この記事は、ビットカウントをモデルパラメータにも拡張する方法を示し、パラメトリックモデルの複雑性の最初の真の尺度を提供する。 データセットのモデルの総ビット要求を最小化することは、より小さな微分、よりスムーズな確率密度関数の推定、そして最も重要なのは、関連するパラメータが少ない位相空間を好む。 実際、パラメータをプルーンし、少量の確率で特徴を同時に検出することができる。 また、任意の滑らかで非パラメトリックな確率密度推定器に適用できることを示した。

This article applies the principle of Occam's Razor to non-parametric model building of statistical data, by finding a model with the minimal number of bits, leading to an exceptionally effective regularization method for probability density estimators. The idea comes from the fact that likelihood maximization also minimizes the number of bits required to encode a dataset. However, traditional methods overlook that the optimization of model parameters may also inadvertently play the part in encoding data points. The article shows how to extend the bit counting to the model parameters as well, providing the first true measure of complexity for parametric models. Minimizing the total bit requirement of a model of a dataset favors smaller derivatives, smoother probability density function estimates and most importantly, a phase space with fewer relevant parameters. In fact, it is able prune parameters and detect features with small probability at the same time. It is also shown, how it can be applied to any smooth, non-parametric probability density estimator.
翻訳日:2022-11-21 04:11:13 公開日:2020-06-15
# ディープニューラルネットワークを用いた音声・ビデオの感情認識

Emotion Recognition in Audio and Video Using Deep Neural Networks ( http://arxiv.org/abs/2006.08129v1 )

ライセンス: Link先を確認
Mandeep Singh and Yuan Fang(参考訳) 人間は、音声、テキスト、視覚など、複数のドメインからの情報を理解することができる。 ディープラーニング技術の進歩により、音声認識が大幅に向上した。 音声から感情を認識することは重要な側面であり、ディープラーニング技術によって感情認識は精度とレイテンシが向上した。 精度向上にはまだまだ多くの課題がある。 本研究では,感情認識の精度を向上させるために,異なるニューラルネットワークを探索する。 CNN+RNN) + 3DCNNマルチモデルアーキテクチャは、4つの感情のうち54.0%、IEMOCAP[2]データセットを用いて3つの感情のうち71.75%の感情を予測する。

Humans are able to comprehend information from multiple domains for e.g. speech, text and visual. With advancement of deep learning technology there has been significant improvement of speech recognition. Recognizing emotion from speech is important aspect and with deep learning technology emotion recognition has improved in accuracy and latency. There are still many challenges to improve accuracy. In this work, we attempt to explore different neural networks to improve accuracy of emotion recognition. With different architectures explored, we find (CNN+RNN) + 3DCNN multi-model architecture which processes audio spectrograms and corresponding video frames giving emotion prediction accuracy of 54.0% among 4 emotions and 71.75% among 3 emotions using IEMOCAP[2] dataset.
翻訳日:2022-11-21 04:10:29 公開日:2020-06-15
# 可視性誘導NMS:クラウドトラフィックシーンにおけるアモーダル物体検出の効率向上

Visibility Guided NMS: Efficient Boosting of Amodal Object Detection in Crowded Traffic Scenes ( http://arxiv.org/abs/2006.08547v1 )

ライセンス: Link先を確認
Nils G\"ahlert, Niklas Hanselmann, Uwe Franke, Joachim Denzler(参考訳) 物体検出は環境認識における自律運転の重要な課題である。 Yolo、SSD、Faster R-CNNのような現代の2Dオブジェクト検出フレームワークは、オブジェクトごとの複数のバウンディングボックスを予測し、Non-Maximum-Suppression (NMS)を使用して洗練され、1つのバウンディングボックスを除く全てのバウンディングボックスを抑圧する。 オブジェクト検出自体は完全にエンドツーエンドで学習可能であり、手動パラメータの選択を必要としないが、標準NMSは手動で選択しなければならないオーバーラップしきい値によってパラメータ化される。 実際には、駐車中の車や歩行者の群集など、高い相互閉塞の存在下で、混雑したシーンで異なる物体を区別する標準的なnsm戦略が欠如していることが多い。 新たに開発した可視性誘導nms (vg-nms) は,ピクセルベースとamodalオブジェクト検出パラダイムを両立させ,特に計算オーバーヘッドの少ない高占有率オブジェクトに対する検出性能を向上させる。 我々は,kitti,viper,synscapesデータセットを用いたvg-nmsの評価を行い,現状のnmsよりも優れていることを示す。

Object detection is an important task in environment perception for autonomous driving. Modern 2D object detection frameworks such as Yolo, SSD or Faster R-CNN predict multiple bounding boxes per object that are refined using Non-Maximum-Suppression (NMS) to suppress all but one bounding box. While object detection itself is fully end-to-end learnable and does not require any manual parameter selection, standard NMS is parametrized by an overlap threshold that has to be chosen by hand. In practice, this often leads to an inability of standard NMS strategies to distinguish different objects in crowded scenes in the presence of high mutual occlusion, e.g. for parked cars or crowds of pedestrians. Our novel Visibility Guided NMS (vg-NMS) leverages both pixel-based as well as amodal object detection paradigms and improves the detection performance especially for highly occluded objects with little computational overhead. We evaluate vg-NMS using KITTI, VIPER as well as the Synscapes dataset and show that it outperforms current state-of-the-art NMS.
翻訳日:2022-11-21 04:09:29 公開日:2020-06-15
# HyperFlow: 3Dオブジェクトをサーフェスとして表現

HyperFlow: Representing 3D Objects as Surfaces ( http://arxiv.org/abs/2006.08710v1 )

ライセンス: Link先を確認
Przemys{\l}aw Spurek, Maciej Zi\k{e}ba, Jacek Tabor, Tomasz Trzci\'nski(参考訳) 本稿では,ハイパーネットワークを活用した新しい生成モデルであるHyperFlowを紹介し,軽量な表面(メシ)の形で連続的な3Dオブジェクト表現を,ポイントクラウドから直接生成する。 効率的なオブジェクト表現は、ロボット操作や自律運転を含む多くのコンピュータビジョンアプリケーションに不可欠である。 しかしながら、これらの表現の作成は、整列されていない点雲の集合を処理する必要があるため、しばしば煩雑である。 したがって、置換不変性のような追加の最適化制約のために計算コストがかかるか、あるいは点雲を離散ボクセルに結合することで量子化損失をもたらす。 コンピュータグラフィックスで使用されるオブジェクトのメッシュベース表現にインスパイアされた我々は、根本的に異なるアプローチを仮定し、3Dオブジェクトを表面のファミリとして表現する。 そこで我々は,連続正規化フロー(CNF)ターゲットネットワークの重みを返すためにハイパーネットワークを用いた生成モデルを考案した。 このターゲットネットワークの目標は、確率分布からの点を3dメッシュにマッピングすることである。 コンパクトな支持分布におけるCNFの数値不安定性を回避するために,3次元撮像装置が導入したノイズを模倣した物体表面の3次元点密度をモデル化する球面対数関数を提案する。 その結果、トレーニング時間を1桁以上削減しながら、競合するアプローチよりも質的な結果が得られる連続的なメッシュベースのオブジェクト表現が得られる。

In this work, we present HyperFlow - a novel generative model that leverages hypernetworks to create continuous 3D object representations in a form of lightweight surfaces (meshes), directly out of point clouds. Efficient object representations are essential for many computer vision applications, including robotic manipulation and autonomous driving. However, creating those representations is often cumbersome, because it requires processing unordered sets of point clouds. Therefore, it is either computationally expensive, due to additional optimization constraints such as permutation invariance, or leads to quantization losses introduced by binning point clouds into discrete voxels. Inspired by mesh-based representations of objects used in computer graphics, we postulate a fundamentally different approach and represent 3D objects as a family of surfaces. To that end, we devise a generative model that uses a hypernetwork to return the weights of a Continuous Normalizing Flows (CNF) target network. The goal of this target network is to map points from a probability distribution into a 3D mesh. To avoid numerical instability of the CNF on compact support distributions, we propose a new Spherical Log-Normal function which models density of 3D points around object surfaces mimicking noise introduced by 3D capturing devices. As a result, we obtain continuous mesh-based object representations that yield better qualitative results than competing approaches, while reducing training time by over an order of magnitude.
翻訳日:2022-11-21 04:09:06 公開日:2020-06-15
# 強い解剖学的保証を伴う心分画

Cardiac Segmentation with Strong Anatomical Guarantees ( http://arxiv.org/abs/2006.08825v1 )

ライセンス: Link先を確認
Nathan Painchaud, Youssef Skandarani, Thierry Judge, Olivier Bernard, Alain Lalande, Pierre-Marc Jodoin(参考訳) 畳み込みニューラルネットワーク(CNN)は医療画像、特に医用画像分割において前例のない成功を収めてきた。 しかし、セグメンテーションの結果がかつてないほど専門家間の多様性に近づいているにもかかわらず、CNNは以前の形状の上に構築された場合でも、解剖学的に不正確なセグメンテーションを生み出すことに免疫を持たない。 本稿では, 既定義の解剖学的基準を尊重しつつ, 専門家間変動の範囲内に留まることが保証される心臓画像分割マップを作成するための枠組みを提案する。 この方法の背景にあるアイデアは、よく訓練されたcnnを使い、心臓画像を処理し、解剖学的に有望な結果を識別し、それらの結果を解剖学的に有効な心臓形状に向けることである。 このワープ手順は、スムーズで制約のある遅延空間を通して有効な心臓形状の表現を学ぶために訓練された制約付き変分オートエンコーダ(cVAE)を用いて実行される。 このcVAEにより、どんな不明瞭な形状でも心臓の潜伏空間に投射し、最も近い正確な形状に操舵することができる。 短軸mriとアピカル2,4チャンバービュー超音波画像を用いて,心形態が著しく異なる2つの形態を比較検討した。 我々の方法では、CNNは、専門家間の変動の範囲内であり、常に解剖学的に妥当な結果を生み出すことができる。

Convolutional neural networks (CNN) have had unprecedented success in medical imaging and, in particular, in medical image segmentation. However, despite the fact that segmentation results are closer than ever to the inter-expert variability, CNNs are not immune to producing anatomically inaccurate segmentations, even when built upon a shape prior. In this paper, we present a framework for producing cardiac image segmentation maps that are guaranteed to respect pre-defined anatomical criteria, while remaining within the inter-expert variability. The idea behind our method is to use a well-trained CNN, have it process cardiac images, identify the anatomically implausible results and warp these results toward the closest anatomically valid cardiac shape. This warping procedure is carried out with a constrained variational autoencoder (cVAE) trained to learn a representation of valid cardiac shapes through a smooth, yet constrained, latent space. With this cVAE, we can project any implausible shape into the cardiac latent space and steer it toward the closest correct shape. We tested our framework on short-axis MRI as well as apical two and four-chamber view ultrasound images, two modalities for which cardiac shapes are drastically different. With our method, CNNs can now produce results that are both within the inter-expert variability and always anatomically plausible without having to rely on a shape prior.
翻訳日:2022-11-21 04:08:41 公開日:2020-06-15
# カラーグレーディングにおける繰り返しナダラヤ-ワトソン分布移動

Iterative Nadaraya-Watson Distribution Transfer for Colour Grading ( http://arxiv.org/abs/2006.09208v1 )

ライセンス: Link先を確認
Hana Alghamdi and Rozenn Dahyot(参考訳) そこで,nadaraya-watson(ナダライア・ワットソン)を用いた,あるn次元分布を他のn次元分布にマッピングする手法を提案する。 重なり合うデータ点の近傍を符号化し, 2d/3d問題を高次元に拡張し, 反復投影法による1次元空間における高次元問題を解く。 このマッピングの可能性を示すために、重なり合うシーンを示す2つの画像間の色移動に適用する。 実験では, 従来の色転写法に比べて定量的, 質的な改善が見られた。

We propose a new method with Nadaraya-Watson that maps one N-dimensional distribution to another taking into account available information about correspondences. We extend the 2D/3D problem to higher dimensions by encoding overlapping neighborhoods of data points and solve the high dimensional problem in 1D space using an iterative projection approach. To show potentials of this mapping, we apply it to colour transfer between two images that exhibit overlapped scene. Experiments show quantitative and qualitative improvements over previous state of the art colour transfer methods.
翻訳日:2022-11-21 04:08:17 公開日:2020-06-15
# スキル分布の推定

Estimation of Skill Distributions ( http://arxiv.org/abs/2006.08189v1 )

ライセンス: Link先を確認
Ali Jadbabaie and Anuran Makur and Devavrat Shah(参考訳) 本稿では,トーナメントにおけるペアゲームの観察から,エージェントの集団のスキル分布を学習する問題について考察する。 これらのゲームは、人口からランダムに引き出されたエージェントの間でプレイされる。 私たちのモデルのエージェントは個人、スポーツチーム、あるいはウォール街のファンドマネージャーです。 ゲーム結果の確率はBradley-Terry-Luce(多項ロジット)モデルによって制御され、エージェントが他のエージェントを打つ確率はそのスキルレベルとスキルレベルのペア和の比率であり、スキルパラメータは未知のスキル密度から引き出される。 問題は本質的に、ノイズの多い量子化された観測から分布を学ぶことである。 そこで本研究では, ほぼ最適最小値を用いて, スキル密度を最小値に近い2乗誤差スケーリングで学習し, 任意の$\varepsilon>0$に対して$n^{-1+\varepsilon}$とする。 本手法は,非パラメトリック統計量からのカーネル密度推定とペアワイズによる学習スキルパラメータの事前研究を組み合わせる。 さらに,本アルゴリズムにおけるスキルパラメータ推定手法の最小最適性を確立するミニマックス下限を証明した。 これらの境界はファノの方法の連続バージョンと被覆引数を利用する。 我々は,このアルゴリズムを様々なサッカーリーグ,ワールドカップ,クリケットワールドカップ,相互資金に適用する。 学習分布のエントロピーはスキルの定量的指標を提供し、サッカーリーグのランキングのようなスポーツイベントの質が認識されるという一般的な信念に対する厳密な説明を与える。 最後に,本手法を用いて相互資金のスキル分布を評価する。 以上の結果から,2008年大不況前の低質ファンドの充実と,金融危機後のより熟練したファンドによる業界支配を明らかにした。

In this paper, we study the problem of learning the skill distribution of a population of agents from observations of pairwise games in a tournament. These games are played among randomly drawn agents from the population. The agents in our model can be individuals, sports teams, or Wall Street fund managers. Formally, we postulate that the likelihoods of game outcomes are governed by the Bradley-Terry-Luce (or multinomial logit) model, where the probability of an agent beating another is the ratio between its skill level and the pairwise sum of skill levels, and the skill parameters are drawn from an unknown skill density of interest. The problem is, in essence, to learn a distribution from noisy, quantized observations. We propose a simple and tractable algorithm that learns the skill density with near-optimal minimax mean squared error scaling as $n^{-1+\varepsilon}$, for any $\varepsilon>0$, when the density is smooth. Our approach brings together prior work on learning skill parameters from pairwise comparisons with kernel density estimation from non-parametric statistics. Furthermore, we prove minimax lower bounds which establish minimax optimality of the skill parameter estimation technique used in our algorithm. These bounds utilize a continuum version of Fano's method along with a covering argument. We apply our algorithm to various soccer leagues and world cups, cricket world cups, and mutual funds. We find that the entropy of a learnt distribution provides a quantitative measure of skill, which provides rigorous explanations for popular beliefs about perceived qualities of sporting events, e.g., soccer league rankings. Finally, we apply our method to assess the skill distributions of mutual funds. Our results shed light on the abundance of low quality funds prior to the Great Recession of 2008, and the domination of the industry by more skilled funds after the financial crisis.
翻訳日:2022-11-21 04:08:07 公開日:2020-06-15
# 公正機械学習の逆バイアスとロバスト性について

On Adversarial Bias and the Robustness of Fair Machine Learning ( http://arxiv.org/abs/2006.08669v1 )

ライセンス: Link先を確認
Hongyan Chang, Ta Duy Nguyen, Sasi Kumar Murakonda, Ehsan Kazemi, Reza Shokri(参考訳) 予測精度の最適化は公平さを犠牲にすることができる。 グループに対する差別を最小化するために、公正な機械学習アルゴリズムは、モデルに公正性制約を課すことで、異なるグループ間でモデルの振る舞いを等化しようとする。 しかし、トレーニングデータにおけるバイアスの影響を抑えるために、異なるサイズや分布の群に同じ重要性を与えることは、堅牢性と矛盾する可能性がある。 グループベースの公正機械学習に対するデータ中毒攻撃を分析し、等化確率に着目した。 少数のトレーニングデータのサンプリングやラベル付けを制御できる敵は、制約のないモデルで達成できる以上のテスト精度を著しく削減することができる。 逆サンプリングと逆ラベリング攻撃は、モデルがトレーニングデータに対するフェアネス制約を満たすとしても、テストデータに対するモデルのフェアネスギャップを悪化させる可能性がある。 複数のアルゴリズムとベンチマークデータセットに対する攻撃の実証的評価を通じて、公正な機械学習の堅牢性を分析する。

Optimizing prediction accuracy can come at the expense of fairness. Towards minimizing discrimination against a group, fair machine learning algorithms strive to equalize the behavior of a model across different groups, by imposing a fairness constraint on models. However, we show that giving the same importance to groups of different sizes and distributions, to counteract the effect of bias in training data, can be in conflict with robustness. We analyze data poisoning attacks against group-based fair machine learning, with the focus on equalized odds. An adversary who can control sampling or labeling for a fraction of training data, can reduce the test accuracy significantly beyond what he can achieve on unconstrained models. Adversarial sampling and adversarial labeling attacks can also worsen the model's fairness gap on test data, even though the model satisfies the fairness constraint on training data. We analyze the robustness of fair machine learning through an empirical evaluation of attacks on multiple algorithms and benchmark datasets.
翻訳日:2022-11-21 04:01:45 公開日:2020-06-15
# データ探索のための可視化

Supervised Visualization for Data Exploration ( http://arxiv.org/abs/2006.08701v1 )

ライセンス: Link先を確認
Jake S. Rhodes, Adele Cutler, Guy Wolf, Kevin R. Moon(参考訳) 次元の減少は、分類や回帰のための前処理や視覚化のためのデータ探索の最初のステップとしてしばしば用いられる。 これまでのほとんどの次元還元技法は教師なしであり、クラスラベルを考慮しない(例えば、pca、mds、t-sne、isomap)。 このような方法は大量のデータを必要とし、しばしばデータの重要なパターンを難読化するノイズに敏感である。 補助アノテーション(例えばクラスラベル)を考慮した次元縮小法を監督する様々な試みは、分類精度の向上やデータの可視化の改善を目標として、うまく実施されている。 これらの教師付き技術の多くは、類似性や相似性行列という形で損失関数にラベルを組み込むことで、データ内の局所的および大域的な関係を現実的に表現しないクラスクラスタ間の過大な分離を生み出す。 さらに、これらのアプローチはしばしばパラメータチューニングに敏感であり、視覚的優越性の明確な定量的概念なしでは構成が難しい。 本稿では,無作為な森林確率と拡散に基づく次元減少に基づく新しい可視化手法について述べる。 低次元埋め込みにおいて重要な変数を強調しながら、データの局所的および大域的構造を維持する際のアプローチの利点を質的かつ定量的に示す。 重要なことは、我々のアプローチはノイズやパラメータチューニングに頑健であり、データ探索のための信頼性の高い可視化を作成しながら、簡単に使用できることである。

Dimensionality reduction is often used as an initial step in data exploration, either as preprocessing for classification or regression or for visualization. Most dimensionality reduction techniques to date are unsupervised; they do not take class labels into account (e.g., PCA, MDS, t-SNE, Isomap). Such methods require large amounts of data and are often sensitive to noise that may obfuscate important patterns in the data. Various attempts at supervised dimensionality reduction methods that take into account auxiliary annotations (e.g., class labels) have been successfully implemented with goals of increased classification accuracy or improved data visualization. Many of these supervised techniques incorporate labels in the loss function in the form of similarity or dissimilarity matrices, thereby creating over-emphasized separation between class clusters, which does not realistically represent the local and global relationships in the data. In addition, these approaches are often sensitive to parameter tuning, which may be difficult to configure without an explicit quantitative notion of visual superiority. In this paper, we describe a novel supervised visualization technique based on random forest proximities and diffusion-based dimensionality reduction. We show, both qualitatively and quantitatively, the advantages of our approach in retaining local and global structures in data, while emphasizing important variables in the low-dimensional embedding. Importantly, our approach is robust to noise and parameter tuning, thus making it simple to use while producing reliable visualizations for data exploration.
翻訳日:2022-11-21 04:01:30 公開日:2020-06-15
# 分散ニュートンは、ビザンティン労働者のコミュニケーションを減らし、抵抗できる

Distributed Newton Can Communicate Less and Resist Byzantine Workers ( http://arxiv.org/abs/2006.08737v1 )

ライセンス: Link先を確認
Avishek Ghosh, Raj Kumar Maity and Arya Mazumdar(参考訳) 我々は,作業機械のビザンチン故障に対してロバストな通信効率を持つ分散二階最適化アルゴリズムを開発した。 本研究では,作業機械が1回に1回のみセンタマシンと通信する反復型2次アルゴリズムであるcomrade (comunication- efficient and robust approximation distributed newton)を提案する。 これは、ジャイアント [34] や dingo[7] のような最先端の分散2次アルゴリズムとは対照的で、ワーカマシンが局所勾配とヘッセンを連続的に送信(関数)する。 さらに, 作業機械は, 中央に送信する前に, さらにローカル情報を圧縮できることを示す。 さらに,バイザンティン作業機械のフィルタリングには,単純なノルムベースのしきい値設定規則を用いる。 本研究では,コプラドの収束率を線形-四分率で定め,通信の節約とビザンチン弾性によって任意の凸損失関数に対する統計誤差が小さくなることを確かめる。 私たちの知る限りでは、二階分散最適化におけるビザンチンのレジリエンスの問題に対処する最初の作業です。 さらに, LIBSVM [5] のデータ集合の合成およびベンチマークに関する広範な実験により, 理論結果を検証し, 収束保証を示す。

We develop a distributed second order optimization algorithm that is communication-efficient as well as robust against Byzantine failures of the worker machines. We propose COMRADE (COMunication-efficient and Robust Approximate Distributed nEwton), an iterative second order algorithm, where the worker machines communicate only once per iteration with the center machine. This is in sharp contrast with the state-of-the-art distributed second order algorithms like GIANT [34] and DINGO[7], where the worker machines send (functions of) local gradient and Hessian sequentially; thus ending up communicating twice with the center machine per iteration. Moreover, we show that the worker machines can further compress the local information before sending it to the center. In addition, we employ a simple norm based thresholding rule to filter-out the Byzantine worker machines. We establish the linear-quadratic rate of convergence of COMRADE and establish that the communication savings and Byzantine resilience result in only a small statistical error rate for arbitrary convex loss functions. To the best of our knowledge, this is the first work that addresses the issue of Byzantine resilience in second order distributed optimization. Furthermore, we validate our theoretical results with extensive experiments on synthetic and benchmark LIBSVM [5] data-sets and demonstrate convergence guarantees.
翻訳日:2022-11-21 04:00:35 公開日:2020-06-15
# FANOK: 直線時間でのノックオフ

FANOK: Knockoffs in Linear Time ( http://arxiv.org/abs/2006.08790v1 )

ライセンス: Link先を確認
Armin Askari, Quentin Rebjock, Alexandre d'Aspremont and Laurent El Ghaoui(参考訳) 本稿では,ガウスモデル-Xノックオフを効率的に実装し,大規模特徴選択問題における誤発見率を制御するアルゴリズムについて述べる。 ノックオフ分布の同定には,複数の効率的な手法を導出する大規模半定値プログラムの解決が必要である。 1つはジェネリック共分散行列を処理し、その複雑性のスケーリングは$o(p^3)$であり、一方もう1つは共分散行列上のランク$k$因子モデルを仮定し、この複雑性を$o(pk^2)$とする。 また,次元に線形な複雑性を持つ推定係数モデルとサンプルノックオフ共変量に対する効率的な手順を導出する。 当社のメソッドは、最大50,000ドルという問題でテストしています。

We describe a series of algorithms that efficiently implement Gaussian model-X knockoffs to control the false discovery rate on large scale feature selection problems. Identifying the knockoff distribution requires solving a large scale semidefinite program for which we derive several efficient methods. One handles generic covariance matrices, has a complexity scaling as $O(p^3)$ where $p$ is the ambient dimension, while another assumes a rank $k$ factor model on the covariance matrix to reduce this complexity bound to $O(pk^2)$. We also derive efficient procedures to both estimate factor models and sample knockoff covariates with complexity linear in the dimension. We test our methods on problems with $p$ as large as $500,000$.
翻訳日:2022-11-21 03:59:44 公開日:2020-06-15
# スケーラブルなハイブリッドベイズ推論を用いたディープ自動エンコーディングトピックモデル

Deep Autoencoding Topic Model with Scalable Hybrid Bayesian Inference ( http://arxiv.org/abs/2006.08804v1 )

ライセンス: Link先を確認
Hao Zhang, Bo Chen, Yulai Cong, Dandan Guo, Hongwei Liu, Mingyuan Zhou(参考訳) 文書解析のためのフレキシブルかつ解釈可能なモデルを構築するために,ガンマ分布の階層構造を用いた深層自動符号化トピックモデル(DATM)を開発した。 生成ネットワークのパラメータに対するスケーラブルな後方推定を提供するために,トピック層適応確率勾配リーマンmcを開発し,トピックとレイヤ固有の学習率を用いて,すべてのレイヤとトピックにまたがるsimplex制約付きグローバルパラメータを共同で学習する。 大域的パラメータの後方サンプルが与えられると、全ての確率層にまたがって文書の局所潜在表現を効率的に推定するために、深層ニューラルネットワークを介して情報を上向きに伝播するワイブル上向き変分エンコーダを提案し、次いでWeibull分布に基づく確率下向き生成モデルを提案する。 文書とその関連ラベルを共同でモデル化するために,その潜在表現の識別力を高める教師付きDATMを提案する。 大規模コーパス上での教師なしおよび教師なしの学習タスクにおいて,モデルの有効性とスケーラビリティを実証した。

To build a flexible and interpretable model for document analysis, we develop deep autoencoding topic model (DATM) that uses a hierarchy of gamma distributions to construct its multi-stochastic-layer generative network. In order to provide scalable posterior inference for the parameters of the generative network, we develop topic-layer-adaptive stochastic gradient Riemannian MCMC that jointly learns simplex-constrained global parameters across all layers and topics, with topic and layer specific learning rates. Given a posterior sample of the global parameters, in order to efficiently infer the local latent representations of a document under DATM across all stochastic layers, we propose a Weibull upward-downward variational encoder that deterministically propagates information upward via a deep neural network, followed by a Weibull distribution based stochastic downward generative model. To jointly model documents and their associated labels, we further propose supervised DATM that enhances the discriminative power of its latent representations. The efficacy and scalability of our models are demonstrated on both unsupervised and supervised learning tasks on big corpora.
翻訳日:2022-11-21 03:59:30 公開日:2020-06-15
# deep prediction clustering of disease progressionを用いた時間表現型

Temporal Phenotyping using Deep Predictive Clustering of Disease Progression ( http://arxiv.org/abs/2006.08600v1 )

ライセンス: Link先を確認
Changhee Lee and Mihaela van der Schaar(参考訳) 現代の電子健康記録が広く入手可能であるため、患者のケアデータは時系列形式で保存されることが多い。 このような時系列データをクラスタリングすることは、患者の表現型化、類似した患者の識別による患者の予後予測、同種患者サブグループに適した治療ガイドラインの設計に不可欠である。 本稿では、時系列データをクラスタリングするための深層学習手法を開発し、各クラスタは、類似した将来的な利益(例えば、有害事象、協調の開始)を共有する患者から構成される。 各クラスタが均質な将来結果を持つことを奨励するために、新たな損失関数に基づいて将来の成果分布を最もよく記述する離散表現を学習してクラスタ化を行う。 2つの実世界のデータセットの実験により、我々のモデルは最先端のベンチマークよりも優れたクラスタリング性能を達成し、臨床的意思決定のために実行可能な情報に変換できる意味のあるクラスタを特定する。

Due to the wider availability of modern electronic health records, patient care data is often being stored in the form of time-series. Clustering such time-series data is crucial for patient phenotyping, anticipating patients' prognoses by identifying "similar" patients, and designing treatment guidelines that are tailored to homogeneous patient subgroups. In this paper, we develop a deep learning approach for clustering time-series data, where each cluster comprises patients who share similar future outcomes of interest (e.g., adverse events, the onset of comorbidities). To encourage each cluster to have homogeneous future outcomes, the clustering is carried out by learning discrete representations that best describe the future outcome distribution based on novel loss functions. Experiments on two real-world datasets show that our model achieves superior clustering performance over state-of-the-art benchmarks and identifies meaningful clusters that can be translated into actionable information for clinical decision-making.
翻訳日:2022-11-21 03:50:05 公開日:2020-06-15
# 複数画像の要約:結束画像の集合からのテキスト概要

Multi-Image Summarization: Textual Summary from a Set of Cohesive Images ( http://arxiv.org/abs/2006.08686v1 )

ライセンス: Link先を確認
Nicholas Trieu, Sebastian Goodman, Pradyumna Narayana, Kazoo Sone, Radu Soricut(参考訳) マルチ文要約はNLPにおいてよく研究されている問題であり、一方、単一画像の画像記述を生成することはコンピュータビジョンにおいてよく研究されている問題である。 しかし,画像クラスタラベリングやWebページ要約などのアプリケーションでは,画像集合の要約も有用かつ困難な作業である。 本稿では,入力画像のコヒーレントな集合から簡潔で記述的な要約を生成することを目的とした,マルチイメージ要約の新しいタスクを提案する。 本稿では,イメージキャプション型トランスフォーマーアーキテクチャをマルチイメージに拡張するモデルを提案する。 濃密な平均画像特徴集約ネットワークにより、入力画像全体にわたる属性のコヒーレントなサブセットに集中することができる。 トランスフォーマーネットワークへの様々な入力表現を探索し、集約された画像特徴が個々の画像埋め込みよりも優れていることを示す。 さらに,単一画像のキャプションタスクにおいて,モデルパラメータを事前学習することにより,モデルの性能がさらに向上することを示す。

Multi-sentence summarization is a well studied problem in NLP, while generating image descriptions for a single image is a well studied problem in Computer Vision. However, for applications such as image cluster labeling or web page summarization, summarizing a set of images is also a useful and challenging task. This paper proposes the new task of multi-image summarization, which aims to generate a concise and descriptive textual summary given a coherent set of input images. We propose a model that extends the image-captioning Transformer-based architecture for single image to multi-image. A dense average image feature aggregation network allows the model to focus on a coherent subset of attributes across the input images. We explore various input representations to the Transformer network and empirically show that aggregated image features are superior to individual image embeddings. We additionally show that the performance of the model is further improved by pretraining the model parameters on a single-image captioning task, which appears to be particularly effective in eliminating hallucinations in the output.
翻訳日:2022-11-21 03:44:01 公開日:2020-06-15
# 動的車両経路問題に対する粒子群最適化超ヒューリスティック

A Particle Swarm Optimization hyper-heuristic for the Dynamic Vehicle Routing Problem ( http://arxiv.org/abs/2006.08809v1 )

ライセンス: Link先を確認
Micha{\l} Okulewicz and Jacek Ma\'ndziuk(参考訳) 本稿では,与えられた問題インスタンスの初期利用可能なデータに基づいて,動的車両経路問題に対する粒子群最適化に基づく最適化器を選択する手法を提案する。 最適化アルゴリズムは、そのデータに基づいて訓練された線形モデルによる予測と、最適化アルゴリズムによって得られた相対結果に基づいて選択される。 その結果,本手法は,重要事例の82%で適切なアルゴリズムを選択することで,ベンチマークインスタンス群で得られる平均結果を改善するため,超ヒューリスティックな手法で使用できることが示唆された。 動的車両ルーティング問題を解くための2つの主要なマルチスワーム粒子群最適化アルゴリズムが基本最適化アルゴリズムとして用いられている。 マルチ環境マルチスワーム最適化と著者の2相マルチスワーム粒子群最適化

This paper presents a method for choosing a Particle Swarm Optimization based optimizer for the Dynamic Vehicle Routing Problem on the basis of the initially available data of a given problem instance. The optimization algorithm is chosen on the basis of a prediction made by a linear model trained on that data and the relative results obtained by the optimization algorithms. The achieved results suggest that such a model can be used in a hyper-heuristic approach as it improved the average results, obtained on the set of benchmark instances, by choosing the appropriate algorithm in 82% of significant cases. Two leading multi-swarm Particle Swarm Optimization based algorithms for solving the Dynamic Vehicle Routing Problem are used as the basic optimization algorithms: Khouadjia's et al. Multi-Environmental Multi-Swarm Optimizer and authors' 2--Phase Multiswarm Particle Swarm Optimization.
翻訳日:2022-11-21 03:43:10 公開日:2020-06-15
# AIのためのソーシャルコントラクト

The Social Contract for AI ( http://arxiv.org/abs/2006.08140v1 )

ライセンス: Link先を確認
Mirka Snyder Caron (1), Abhishek Gupta (1 and 2) ((1) Montreal AI Ethics Institute, (2) Microsoft)(参考訳) 他の技術と同様に、AIシステムは固有のリスクと潜在的な利益をもたらす。 確立された規範や仕事の方法、社会的影響、外部性の潜在的な混乱が伴う。 テクノロジーの採用は社会的契約の一形態であり、それは時間、規模、影響において進化または変動する可能性がある。 安全でない、無責任な、または非倫理的なaiシステムの採用と実装を無謀に推進することは、社会に深刻な害を与えないとしても、解決に数十年を要する産業やアカデミアに対する深刻な反発を引き起こす可能性があるため、aiにとって、この社会契約の期待を満たすことは重要であることを念頭に置いておくことが重要です。 本稿では,この新技術の採用と導入に社会内で十分な合意が得られた場合に,社会契約が生じることを考察する。 このようにして、AIの採用と実装のために社会的契約が生まれるようにする。 1)社会的に受け入れられた目的 2)安全で責任のある方法 3)社会的に意識されたリスクレベル、例えば 4)社会的に有益な結果が鍵となる。

Like any technology, AI systems come with inherent risks and potential benefits. It comes with potential disruption of established norms and methods of work, societal impacts and externalities. One may think of the adoption of technology as a form of social contract, which may evolve or fluctuate in time, scale, and impact. It is important to keep in mind that for AI, meeting the expectations of this social contract is critical, because recklessly driving the adoption and implementation of unsafe, irresponsible, or unethical AI systems may trigger serious backlash against industry and academia involved which could take decades to resolve, if not actually seriously harm society. For the purpose of this paper, we consider that a social contract arises when there is sufficient consensus within society to adopt and implement this new technology. As such, to enable a social contract to arise for the adoption and implementation of AI, developing: 1) A socially accepted purpose, through 2) A safe and responsible method, with 3) A socially aware level of risk involved, for 4) A socially beneficial outcome, is key.
翻訳日:2022-11-21 03:42:53 公開日:2020-06-15
# シンボリック論理が機械学習を満たす - 無限領域での簡単な調査

Symbolic Logic meets Machine Learning: A Brief Survey in Infinite Domains ( http://arxiv.org/abs/2006.08480v1 )

ライセンス: Link先を確認
Vaishak Belle(参考訳) 推論と帰納の緊張は、おそらく哲学、認知、人工知能(AI)といった分野において最も根本的な問題である。 導出キャンプは、世界に関する知識をつかむためのフォーマルな言語の表現性に関する疑問と、そのような知識ベースからの推論の証明システムに関するものである。 学習キャンプは、世界に関する部分的な記述の例から一般化しようとする。 歴史的に、これらのキャンプはフィールドの開発を緩やかに分けてきたが、統計関係学習、ニューロシンボリックシステム、ハイレベル制御といったクロスオーバー分野の進歩は、二分法があまり構成的ではなく、おそらくは不整形であることを示している。 本稿では,論理と学習の関連に関するさらなるエビデンスを提供するための調査を行う。 私たちの物語は、論理対学習、論理のための機械学習、機械学習のための論理という3つの鎖で構成されています。 論理は離散的性質のためのものであるという一般的な誤解がある一方、確率論と機械学習はより一般に連続的性質のためのものである。 我々は,この論理の限界に挑戦する結果について報告し,無限領域の学習に論理が果たす役割を明らかにした。

The tension between deduction and induction is perhaps the most fundamental issue in areas such as philosophy, cognition and artificial intelligence (AI). The deduction camp concerns itself with questions about the expressiveness of formal languages for capturing knowledge about the world, together with proof systems for reasoning from such knowledge bases. The learning camp attempts to generalize from examples about partial descriptions about the world. In AI, historically, these camps have loosely divided the development of the field, but advances in cross-over areas such as statistical relational learning, neuro-symbolic systems, and high-level control have illustrated that the dichotomy is not very constructive, and perhaps even ill-formed. In this article, we survey work that provides further evidence for the connections between logic and learning. Our narrative is structured in terms of three strands: logic versus learning, machine learning for logic, and logic for machine learning, but naturally, there is considerable overlap. We place an emphasis on the following "sore" point: there is a common misconception that logic is for discrete properties, whereas probability theory and machine learning, more generally, is for continuous properties. We report on results that challenge this view on the limitations of logic, and expose the role that logic can play for learning in infinite domains.
翻訳日:2022-11-21 03:42:35 公開日:2020-06-15
# 戦略保証オークションネットワークの認証

Certifying Strategyproof Auction Networks ( http://arxiv.org/abs/2006.08742v1 )

ライセンス: Link先を確認
Michael J. Curry, Ping-Yeh Chiang, Tom Goldstein, John Dickerson(参考訳) 最適なオークションは、買い手に対する個人的合理性と戦略的保護の対象となる売り手の期待収益を最大化する。 1981年、マイアーソンの独創的な仕事は1つのアイテムを競売するという問題に決着をつけたが、その後の数十年の作業は1つのアイテムを超えてほとんど進展せず、収益を最大化するオークションの設計は機構設計の分野における中心的なオープン問題として残されている。 微分経済学」の最近の研究のスレッドでは、現代のディープラーニングのツールを使って優れたメカニズムを学習している。 私たちは、任意の数のアイテムや参加者によるオークションを表現できるrestenetアーキテクチャにフォーカスしています。 本稿では,ニューラルネットワーク検証文献から得られた手法を用いて,特定の評価プロファイル下での戦略保証性を明確に検証する方法を提案する。 そのためには、整数プログラムで正確に表現するために、RegretNetアーキテクチャにいくつかの変更を加える必要がある。 ネットワークをトレーニングし、最適な防御機構が不明な設定を含む、いくつかの設定で証明書を生成する。

Optimal auctions maximize a seller's expected revenue subject to individual rationality and strategyproofness for the buyers. Myerson's seminal work in 1981 settled the case of auctioning a single item; however, subsequent decades of work have yielded little progress moving beyond a single item, leaving the design of revenue-maximizing auctions as a central open problem in the field of mechanism design. A recent thread of work in "differentiable economics" has used tools from modern deep learning to instead learn good mechanisms. We focus on the RegretNet architecture, which can represent auctions with arbitrary numbers of items and participants; it is trained to be empirically strategyproof, but the property is never exactly verified leaving potential loopholes for market participants to exploit. We propose ways to explicitly verify strategyproofness under a particular valuation profile using techniques from the neural network verification literature. Doing so requires making several modifications to the RegretNet architecture in order to represent it exactly in an integer program. We train our network and produce certificates in several settings, including settings for which the optimal strategyproof mechanism is not known.
翻訳日:2022-11-21 03:41:46 公開日:2020-06-15
# 単層reluネットワークのグローバルロスランドスケープの理解, その2:実験と解析

Understanding Global Loss Landscape of One-hidden-layer ReLU Networks, Part 2: Experiments and Analysis ( http://arxiv.org/abs/2006.09192v1 )

ライセンス: Link先を確認
Bo Liu(参考訳) 1層ReLUネットワークにおける局所ミニマの存在は[8]で理論的に研究されている。 この理論に基づいて、本論文では、既存の局所最小値の確率が1次元ガウスデータに対してどれほど大きいか、および重量空間全体でどのように変化するかを分析する。 この確率は、ほとんどの地域で非常に低いことを示す。 次に,本手法を用いて,MNIST と CIFAR-10 データセットに悪局部ミニマが存在するかどうかを判断する線形プログラミングに基づく手法を設計し,実装し,いくつかの隠れニューロンがサンプルによって活性化されると,ほぼ至る所で悪い局部ミニマが存在しないことを確認する。 これらの理論的予測は、勾配降下が開始する細胞に閉じ込められていないことを示すことによって実験的に検証される。 また,重量空間における微分可能細胞の数とサイズを探索する実験を行った。

The existence of local minima for one-hidden-layer ReLU networks has been investigated theoretically in [8]. Based on the theory, in this paper, we first analyze how big the probability of existing local minima is for 1D Gaussian data and how it varies in the whole weight space. We show that this probability is very low in most regions. We then design and implement a linear programming based approach to judge the existence of genuine local minima, and use it to predict whether bad local minima exist for the MNIST and CIFAR-10 datasets, and find that there are no bad differentiable local minima almost everywhere in weight space once some hidden neurons are activated by samples. These theoretical predictions are verified experimentally by showing that gradient descent is not trapped in the cells from which it starts. We also perform experiments to explore the count and size of differentiable cells in the weight space.
翻訳日:2022-11-21 03:33:10 公開日:2020-06-15
# 人間の参照データを用いた自動画像記述の評価について

On the use of human reference data for evaluating automatic image descriptions ( http://arxiv.org/abs/2006.08792v1 )

ライセンス: Link先を確認
Emiel van Miltenburg(参考訳) 自動画像記述システムは、クラウドソースによる人為的画像記述を用いて、一般的に訓練され評価される。 次に、参照データ(BLEU、Meteor、CIDERなど)と類似性のある指標を用いてベストパフォーマンスシステムを決定する。 したがって、システムの品質と評価の質は、記述の品質に依存する。 第2節が示すように、現在の画像記述データセットの品質は不十分である。 視覚障害者のニーズを考慮に入れつつ、適切な記述を生成する可能性についても、より詳細なガイドラインが必要であると私は主張する。 高品質なデータでは、画像記述システムの評価は参照記述を用いることができるが、代替案も探すべきである。

Automatic image description systems are commonly trained and evaluated using crowdsourced, human-generated image descriptions. The best-performing system is then determined using some measure of similarity to the reference data (BLEU, Meteor, CIDER, etc). Thus, both the quality of the systems as well as the quality of the evaluation depends on the quality of the descriptions. As Section 2 will show, the quality of current image description datasets is insufficient. I argue that there is a need for more detailed guidelines that take into account the needs of visually impaired users, but also the feasibility of generating suitable descriptions. With high-quality data, evaluation of image description systems could use reference descriptions, but we should also look for alternatives.
翻訳日:2022-11-21 03:32:32 公開日:2020-06-15
# 顔認識システムにおけるオオカミ攻撃に使用するマスターフェイスの生成

Generating Master Faces for Use in Performing Wolf Attacks on Face Recognition Systems ( http://arxiv.org/abs/2006.08376v1 )

ライセンス: Link先を確認
Huy H. Nguyen, Junichi Yamagishi, Isao Echizen, S\'ebastien Marcel(参考訳) その利便性のため、バイオメトリック認証(especial face authentication)が主流となり、攻撃者にとって主要なターゲットとなっている。 提示攻撃と顔変形は典型的な攻撃である。 従来の研究では、オオカミの攻撃による指紋認証や指紋認証は、オオカミのサンプルは多くの登録されたユーザーテンプレートと一致している。 本研究では,私たちが「マスターフェイス」と呼ぶウルフ(ジェネリック)の顔が,顔認識システムを損なうことや,マスターフェイスの概念を一般化できることを実証した。 指紋領域における最近の類似研究に動機づけられ, 潜在変数進化と呼ばれるプロセスにおいて, 最先端のファジィジェネレータスタイルガンを用いて高品質なマスタフェイスを生成した。 実験では、インターネット上で利用可能なトレーニング済みモデルのみを使用して限られたリソースを持つ攻撃者でさえ、マスターフェイス攻撃を開始することができた。 この結果は、攻撃者の視点による性能の実証に加えて、顔認識システムの性能の明確化と改善、および顔認証システムの強化に利用することができる。

Due to its convenience, biometric authentication, especial face authentication, has become increasingly mainstream and thus is now a prime target for attackers. Presentation attacks and face morphing are typical types of attack. Previous research has shown that finger-vein- and fingerprint-based authentication methods are susceptible to wolf attacks, in which a wolf sample matches many enrolled user templates. In this work, we demonstrated that wolf (generic) faces, which we call "master faces," can also compromise face recognition systems and that the master face concept can be generalized in some cases. Motivated by recent similar work in the fingerprint domain, we generated high-quality master faces by using the state-of-the-art face generator StyleGAN in a process called latent variable evolution. Experiments demonstrated that even attackers with limited resources using only pre-trained models available on the Internet can initiate master face attacks. The results, in addition to demonstrating performance from the attacker's point of view, can also be used to clarify and improve the performance of face recognition systems and harden face authentication systems.
翻訳日:2022-11-21 03:32:04 公開日:2020-06-15
# データ駆動によるCNNの微調整をエッジ上で実現します。

Now that I can see, I can improve: Enabling data-driven finetuning of CNNs on the edge ( http://arxiv.org/abs/2006.08554v1 )

ライセンス: Link先を確認
Aditya Rajagopal, Christos-Savvas Bouganis(参考訳) 今日の世界では、達成された精度で機械学習アルゴリズムのパフォーマンスを向上させるために、あるいはモデルの計算要求を減らすために、貴重なトレーニングデータとして使用できるエッジデバイスによって大量のデータが生成される。 しかしながら、ユーザデータのプライバシの懸念とストレージや通信帯域幅の制限のため、モデルの改善とその後のデプロイメントのために、このデータはデバイスからデータセンタに移動することはできない。 そのため、エッジインテリジェンスの向上が必要であり、デプロイされたモデルをエッジに微調整することで、精度の向上と/またはモデルのワークロードの削減、メモリと電力フットプリントの削減につながる。 畳み込みニューラルネットワーク(CNN)の場合、ネットワークの重みとトポロジの両方を調整して、処理するデータに適応させることができる。 本稿では,構造的プルーニングに基づくエッジデバイス上でcnnの微調整を可能にするための第一歩を提案する。 パフォーマンスの向上とコストについて検討し、幅広いネットワークアーキテクチャやデバイスにそのようなアプローチを展開可能な拡張可能なオープンソースフレームワークを提示している。 その結果, ネットワークが処理するデータに依存しない方法で, ネットワーク, ネットワーク, プルーニングレベルに対して平均10.2ppの精度向上を実現し, プルーニングおよび再トレーニングよりも最大42.0ppの精度向上を実現した。

In today's world, a vast amount of data is being generated by edge devices that can be used as valuable training data to improve the performance of machine learning algorithms in terms of the achieved accuracy or to reduce the compute requirements of the model. However, due to user data privacy concerns as well as storage and communication bandwidth limitations, this data cannot be moved from the device to the data centre for further improvement of the model and subsequent deployment. As such there is a need for increased edge intelligence, where the deployed models can be fine-tuned on the edge, leading to improved accuracy and/or reducing the model's workload as well as its memory and power footprint. In the case of Convolutional Neural Networks (CNNs), both the weights of the network as well as its topology can be tuned to adapt to the data that it processes. This paper provides a first step towards enabling CNN finetuning on an edge device based on structured pruning. It explores the performance gains and costs of doing so and presents an extensible open-source framework that allows the deployment of such approaches on a wide range of network architectures and devices. The results show that on average, data-aware pruning with retraining can provide 10.2pp increased accuracy over a wide range of subsets, networks and pruning levels with a maximum improvement of 42.0pp over pruning and retraining in a manner agnostic to the data being processed by the network.
翻訳日:2022-11-21 03:31:45 公開日:2020-06-15
# ネストド・ドロップアウト正規化流れを伴う秩序次元

Ordering Dimensions with Nested Dropout Normalizing Flows ( http://arxiv.org/abs/2006.08777v1 )

ライセンス: Link先を確認
Artur Bekasov, Iain Murray(参考訳) 正規化フローの潜在空間は、出力空間と同じ次元でなければならない。 この制約は、低次元、意味論的意味のある表現を学習したい場合に問題となる。 近年の研究は、多様体に制約された流れをフィッティングすることでコンパクト表現を提供してきたが、その多様体の密度を定義していない。 この作業では、データ空間をフルサポートするフローを、順序付き潜在変数で検討する。 PCA と同様に、主潜在次元はデータに近い多様体の列を定義する。 フローのパラメータ化によって,フロー可能性と順序の質との間にトレードオフがあることに留意する。

The latent space of normalizing flows must be of the same dimensionality as their output space. This constraint presents a problem if we want to learn low-dimensional, semantically meaningful representations. Recent work has provided compact representations by fitting flows constrained to manifolds, but hasn't defined a density off that manifold. In this work we consider flows with full support in data space, but with ordered latent variables. Like in PCA, the leading latent dimensions define a sequence of manifolds that lie close to the data. We note a trade-off between the flow likelihood and the quality of the ordering, depending on the parameterization of the flow.
翻訳日:2022-11-21 03:23:20 公開日:2020-06-15
# 滑らかさと公正表現の学習

Learning Smooth and Fair Representations ( http://arxiv.org/abs/2006.08788v1 )

ライセンス: Link先を確認
Xavier Gitiaux, Huzefa Rangwala(参考訳) データを所有している組織は、保護された集団に対する差別的使用に対する法的責任の増大に直面しており、サードパーティによるデータのアクセスと利用を含む契約上の取引にまで及んでいる。 オリジナルのデータ所有者は、下流ユーザーによる将来の使用を期待できないため、これは問題である。 本稿では,特徴量と感性属性との相関関係を,公平な表現空間にマッピングすることで事前に除去できる上流能力について検討する。 本結果から,表現分布の人口分布パリティによって測定される公平性は,特徴量と表現量の間のカイ二乗相互情報が有限である場合に限り,有限標本から証明できることが示唆された。 実験により,表現分布のスムーズ化は,既存の公正表現学習手法を改良したフェアネス証明の一般化保証を提供することがわかった。 さらに,表現分布の平滑化は,表現学習における最先端手法と比較して下流タスクの精度を低下させるものではない。

Organizations that own data face increasing legal liability for its discriminatory use against protected demographic groups, extending to contractual transactions involving third parties access and use of the data. This is problematic, since the original data owner cannot ex-ante anticipate all its future uses by downstream users. This paper explores the upstream ability to preemptively remove the correlations between features and sensitive attributes by mapping features to a fair representation space. Our main result shows that the fairness measured by the demographic parity of the representation distribution can be certified from a finite sample if and only if the chi-squared mutual information between features and representations is finite. Empirically, we find that smoothing the representation distribution provides generalization guarantees of fairness certificates, which improves upon existing fair representation learning approaches. Moreover, we do not observe that smoothing the representation distribution degrades the accuracy of downstream tasks compared to state-of-the-art methods in fair representation learning.
翻訳日:2022-11-21 03:23:11 公開日:2020-06-15
# 流れの正規化が分布外データの検出に失敗する理由

Why Normalizing Flows Fail to Detect Out-of-Distribution Data ( http://arxiv.org/abs/2006.08545v1 )

ライセンス: Link先を確認
Polina Kirichenko, Pavel Izmailov, Andrew Gordon Wilson(参考訳) 堅牢な機械学習システムでは、分散(ood)データの検出が不可欠である。 正規化フローはフレキシブルな深層生成モデルであり、しばしば分布内とアウト・オブ・ディストリビューションデータの区別に失敗する:衣服の写真で訓練されたフローは手書きの数字に高い確率を割り当てる。 OOD検出になぜ正規化フローが不十分かを検討する。 フローは,対象画像データセットに特有でない局所画素相関と一般画像-ラテント空間変換を学習する。 フロー結合層のアーキテクチャを変更することで,対象データのセマンティクス構造を学習し,ood検出を改善するために,フローをバイアスできることを示す。 本研究は,高忠実度画像の生成を可能にする特性がOOD検出に有害な影響があることを明らかにする。

Detecting out-of-distribution (OOD) data is crucial for robust machine learning systems. Normalizing flows are flexible deep generative models that often surprisingly fail to distinguish between in- and out-of-distribution data: a flow trained on pictures of clothing assigns higher likelihood to handwritten digits. We investigate why normalizing flows perform poorly for OOD detection. We demonstrate that flows learn local pixel correlations and generic image-to-latent-space transformations which are not specific to the target image dataset. We show that by modifying the architecture of flow coupling layers we can bias the flow towards learning the semantic structure of the target data, improving OOD detection. Our investigation reveals that properties that enable flows to generate high-fidelity images can have a detrimental effect on OOD detection.
翻訳日:2022-11-21 03:15:08 公開日:2020-06-15
# ニューラルネットワークへの異常入力の検出

Detecting unusual input to neural networks ( http://arxiv.org/abs/2006.08278v1 )

ライセンス: Link先を確認
J\"org Martin, Clemens Elster(参考訳) トレーニングデータと大きく異なる入力に対するニューラルネットワークの評価は、不規則で欠陥のある予測を引き起こす可能性がある。 本研究では,学習パラメータと比較して情報内容を評価することによって,入力の特異性を判定する手法を提案する。 このテクニックは、ネットワークが特定の入力を処理するのに適しているかどうかを判断し、予期しない振る舞いが先にあるかもしれない赤旗を上げるのに使用できる。 各種データセットやシナリオの文献からの不確実性評価を行う手法との比較を行った。 具体的には、これらの指標が異なるスケールで生きている場合でも、単一の入力ポイントに対してこれらの指標の出力を直接比較できる、単純で効果的な方法を提案する。

Evaluating a neural network on an input that differs markedly from the training data might cause erratic and flawed predictions. We study a method that judges the unusualness of an input by evaluating its informative content compared to the learned parameters. This technique can be used to judge whether a network is suitable for processing a certain input and to raise a red flag that unexpected behavior might lie ahead. We compare our approach to various methods for uncertainty evaluation from the literature for various datasets and scenarios. Specifically, we introduce a simple, effective method that allows to directly compare the output of such metrics for single input points even if these metrics live on different scales.
翻訳日:2022-11-21 03:07:33 公開日:2020-06-15
# ラベル付きデータ分類におけるロバストな局所性認識回帰

Robust Locality-Aware Regression for Labeled Data Classification ( http://arxiv.org/abs/2006.08292v1 )

ライセンス: Link先を確認
Liangchen Hu and Wensheng Zhang(参考訳) データ表現における次元の劇的な増加に伴い、潜在低次元特徴の抽出が効率的な分類にとって最も重要となる。 既存の線形判別手法のほとんどにおいて、不明瞭なマージン表現とデータ多様体構造を明らかにすることの難しさを考慮し、ロバスト局所性認識回帰(RLAR)と呼ばれる新しい特徴抽出フレームワークを提案する。 本モデルでは,クラス間の平均差を使わずに,適応的に境界表現学習を行う再ターゲット回帰を導入する。 さらに,局所性認識グラフ構造と望ましい射影行列の合同学習を実現するために,データ多様体の局所的クラス内コンパクト性を高めるための新しい戦略を定式化する。 外れ値の乱れを緩和し、過剰フィットを防止するため、回帰項と局所性認識項をl2,1ノルムによる正規化項とともに測定する。 さらに、L2,1ノルムを通した投影行列に行間隔を強制することにより、特徴選択と特徴抽出の協調を実現する。 そして,提案モデルを解くための効果的な反復アルゴリズムを導出する。 UCIデータセットや他のベンチマークデータベースに対する実験結果は、提案したRLARが最先端のアプローチよりも優れていることを示している。

With the dramatic increase of dimensions in the data representation, extracting latent low-dimensional features becomes of the utmost importance for efficient classification. Aiming at the problems of unclear margin representation and difficulty in revealing the data manifold structure in most of the existing linear discriminant methods, we propose a new discriminant feature extraction framework, namely Robust Locality-Aware Regression (RLAR). In our model, we introduce a retargeted regression to perform the marginal representation learning adaptively instead of using the general average inter-class margin. Besides, we formulate a new strategy for enhancing the local intra-class compactness of the data manifold, which can achieve the joint learning of locality-aware graph structure and desirable projection matrix. To alleviate the disturbance of outliers and prevent overfitting, we measure the regression term and locality-aware term together with the regularization term by the L2,1 norm. Further, forcing the row sparsity on the projection matrix through the L2,1 norm achieves the cooperation of feature selection and feature extraction. Then, we derive an effective iterative algorithm for solving the proposed model. The experimental results over a range of UCI data sets and other benchmark databases demonstrate that the proposed RLAR outperforms some state-of-the-art approaches.
翻訳日:2022-11-21 03:07:23 公開日:2020-06-15
# Cryptotree: 暗号化された構造化データの高速かつ正確な予測

Cryptotree: fast and accurate predictions on encrypted structured data ( http://arxiv.org/abs/2006.08299v1 )

ライセンス: Link先を確認
Daniel Huynh(参考訳) 金融データや医療データなどのプライベートデータに機械学習アルゴリズムを適用することは、機密性を維持しながら難しい課題である。 ホモモルフィック暗号化(HE)は、入力と出力の両方が暗号化される暗号化データ上での計算を可能にするため、プライベートデータの安全な推論を可能にする。 しかしながら、非ポリノミカル関数の評価や任意の行列乗法を効率的に実行できないなど、HEの制約のため、これまでのHEパラダイムでは線形モデルの推論しか利用できないように思われる。 本稿では,線形回帰と比較して非常に強力な学習手法であるランダムフォレスト(RF)をHEの文脈で利用するためのフレームワークであるCryptotreeを提案する。 この目的のために、まず正則RFをニューラルRFに変換し、次に実値上のHE演算を可能にするHEスキームCKKSに適合させる。 SIMD操作により、暗号化データ上の元のRFよりも高速な推測と予測結果が得られる。

Applying machine learning algorithms to private data, such as financial or medical data, while preserving their confidentiality, is a difficult task. Homomorphic Encryption (HE) is acknowledged for its ability to allow computation on encrypted data, where both the input and output are encrypted, which therefore enables secure inference on private data. Nonetheless, because of the constraints of HE, such as its inability to evaluate non-polynomial functions or to perform arbitrary matrix multiplication efficiently, only inference of linear models seem usable in practice in the HE paradigm so far. In this paper, we propose Cryptotree, a framework that enables the use of Random Forests (RF), a very powerful learning procedure compared to linear regression, in the context of HE. To this aim, we first convert a regular RF to a Neural RF, then adapt this to fit the HE scheme CKKS, which allows HE operations on real values. Through SIMD operations, we are able to have quick inference and prediction results better than the original RF on encrypted data.
翻訳日:2022-11-21 03:07:00 公開日:2020-06-15
# 代数的基底真理推論:aiアルゴリズムによるサンプル誤差の非パラメトリック推定

Algebraic Ground Truth Inference: Non-Parametric Estimation of Sample Errors by AI Algorithms ( http://arxiv.org/abs/2006.08312v1 )

ライセンス: Link先を確認
Andr\'es Corrada-Emmanuel and Edward Pantridge and Edward Zahrebelski and Aditya Chaganti and Simeon Simeonov(参考訳) バイナリ分類はML生産システムで広く使われている。 制約付きイベント空間における分類器の監視はよく知られている。 しかし、実世界の生産システムは、しばしばこれらの方法が必要とする基礎的な真実を欠いている。 プライバシーに関する懸念は、分類器を評価するために必要な基礎的な真実が利用できないことも要求される。 これらの自律的な設定では、パフォーマンスの非パラメトリック推定器が魅力的なソリューションである。 任意のサンプルにおいて分類器がどのように誤りを犯したかに関する理論的モデルを必要としない。 彼らは単に、産業やロボットのデータストリームのサンプルにあるエラーの数を見積もるだけです。 弱い二項分類器のアンサンブルに対するサンプル誤差の非パラメトリック推定器を1つ構築する。 提案手法は代数幾何学を用いて二項分類器のアンサンブルに対する自己評価問題を正確な多項式系として再構成する。 多項式の定式化は、自己評価問題に対する一般解が存在しない代数幾何学的アルゴリズムとして、証明するために用いられる。 しかし、エンジニアリングコンテキストが分類器を独立したエラーに近づける設定では、特定のソリューションが利用可能である。 本手法の実用性は,オンライン広告キャンペーンによる実世界のデータセットと,一般的な分類ベンチマークのサンプルに示される。 基礎となる真実を持つ実験における精度推定器は、100分の1よりも優れている。 基本真理データを持たないオンライン広告キャンペーンデータは、代数幾何学の定理としての妥当性を推測する内部整合性アプローチによって検証される。 我々はこのアプローチを代数的基底真理推論と呼ぶ。

Binary classification is widely used in ML production systems. Monitoring classifiers in a constrained event space is well known. However, real world production systems often lack the ground truth these methods require. Privacy concerns may also require that the ground truth needed to evaluate the classifiers cannot be made available. In these autonomous settings, non-parametric estimators of performance are an attractive solution. They do not require theoretical models about how the classifiers made errors in any given sample. They just estimate how many errors there are in a sample of an industrial or robotic datastream. We construct one such non-parametric estimator of the sample errors for an ensemble of weak binary classifiers. Our approach uses algebraic geometry to reformulate the self-assessment problem for ensembles of binary classifiers as an exact polynomial system. The polynomial formulation can then be used to prove - as an algebraic geometry algorithm - that no general solution to the self-assessment problem is possible. However, specific solutions are possible in settings where the engineering context puts the classifiers close to independent errors. The practical utility of the method is illustrated on a real-world dataset from an online advertising campaign and a sample of common classification benchmarks. The accuracy estimators in the experiments where we have ground truth are better than one part in a hundred. The online advertising campaign data, where we do not have ground truth data, is verified by an internal consistency approach whose validity we conjecture as an algebraic geometry theorem. We call this approach - algebraic ground truth inference.
翻訳日:2022-11-21 03:06:09 公開日:2020-06-15
# ロバスト連合推薦システム

Robust Federated Recommendation System ( http://arxiv.org/abs/2006.08259v1 )

ライセンス: Link先を確認
Chen Chen, Jingfeng Zhang, Anthony K. H. Tung, Mohan Kankanhalli, Gang Chen(参考訳) フェデレートされたレコメンデーションシステムは、ユーザのプライベートデータを収集することなく、優れたパフォーマンスを提供できる。 しかし、その性能を低下させる低コストの中毒攻撃の影響を受けやすい。 本稿では,ビザンツのクライアントが優勢な中毒攻撃に対して頑健なフェデレーション推奨手法を開発した。 ビザンチン検出の鍵は、クライアントのモデルパラメータの勾配をモニタリングすることだと我々は主張する。 次に、モデルパラメータの代わりに中央サーバが計算し、勾配を利用してビザンティンのクライアントをフィルタリングする頑健な学習戦略を提案する。 理論的には,提案するビザンチンレジリエンスの定義により,ロバストな学習戦略を正当化する。 フェデレーションレコメンデーションシステムにおいて,4つのデータセットを用いたロバストな学習戦略の有効性を実証した。

Federated recommendation systems can provide good performance without collecting users' private data, making them attractive. However, they are susceptible to low-cost poisoning attacks that can degrade their performance. In this paper, we develop a novel federated recommendation technique that is robust against the poisoning attack where Byzantine clients prevail. We argue that the key to Byzantine detection is monitoring of gradients of the model parameters of clients. We then propose a robust learning strategy where instead of using model parameters, the central server computes and utilizes the gradients to filter out Byzantine clients. Theoretically, we justify our robust learning strategy by our proposed definition of Byzantine resilience. Empirically, we confirm the efficacy of our robust learning strategy employing four datasets in a federated recommendation system.
翻訳日:2022-11-21 02:56:31 公開日:2020-06-15
# 未知の未知に関する悲観論は保守主義を刺激する

Pessimism About Unknown Unknowns Inspires Conservatism ( http://arxiv.org/abs/2006.08753v1 )

ライセンス: Link先を確認
Michael K. Cohen and Marcus Hutter(参考訳) もし、すべての悪い結果のセットを定義できれば、それらを避けるエージェントをハードコードできますが、十分に複雑な環境では、これは実現不可能です。 我々は、新しい失敗モードを避けるために文学における汎用的なアプローチを一切知らない。 これを動機として,世界モデルに対する最悪の期待報酬を最大化する政策に従う理想的なベイズ強化学習者を定義する。 最悪の場合を想定して最適化するため、我々はこのエージェントを悲観的と呼ぶ。 スカラーパラメータは、考慮される世界モデルの集合のサイズを変更することでエージェントの悲観性を調整する。 エージェントのモデルクラスについて仮定すると、十分に悲観的なエージェントは、1-\delta$の確率で"予期せぬイベント"を引き起こすことはない。 悲観主義は探究を妨げるため、各段階においてエージェントは、改善したい人間や既知の安全政策であるかもしれないメンターを軽蔑することができる。 その他の主な貢献は、エージェントのポリシーの価値が少なくともメンターの方針に近づき、メンターに延期される確率が0に近づいたことです。 高スループット環境では、高度な人工エージェントが目標を慎重に追求することを望んでおり、エージェントが任意の計算能力を許可されたとしても、これは非自明な問題である。

If we could define the set of all bad outcomes, we could hard-code an agent which avoids them; however, in sufficiently complex environments, this is infeasible. We do not know of any general-purpose approaches in the literature to avoiding novel failure modes. Motivated by this, we define an idealized Bayesian reinforcement learner which follows a policy that maximizes the worst-case expected reward over a set of world-models. We call this agent pessimistic, since it optimizes assuming the worst case. A scalar parameter tunes the agent's pessimism by changing the size of the set of world-models taken into account. Our first main contribution is: given an assumption about the agent's model class, a sufficiently pessimistic agent does not cause "unprecedented events" with probability $1-\delta$, whether or not designers know how to precisely specify those precedents they are concerned with. Since pessimism discourages exploration, at each timestep, the agent may defer to a mentor, who may be a human or some known-safe policy we would like to improve. Our other main contribution is that the agent's policy's value approaches at least that of the mentor, while the probability of deferring to the mentor goes to 0. In high-stakes environments, we might like advanced artificial agents to pursue goals cautiously, which is a non-trivial problem even if the agent were allowed arbitrary computing power; we present a formal solution.
翻訳日:2022-11-21 02:50:09 公開日:2020-06-15
# COMPOSE: 患者トライアルマッチングのためのクロスモーダル擬似シマセネットワーク

COMPOSE: Cross-Modal Pseudo-Siamese Network for Patient Trial Matching ( http://arxiv.org/abs/2006.08765v1 )

ライセンス: Link先を確認
Junyi Gao, Cao Xiao, Lucas M. Glass, Jimeng Sun(参考訳) 臨床試験は薬物開発において重要な役割を果たすが、しばしば高価で不正確で不十分な患者の採用に苦しむ。 大量電子健康記録(ehr)データと試用適性基準(ec)が利用可能であることは、データ駆動の患者採用に新たな機会をもたらす。 EHRと非構造化ECテキスト(包括的および排他的基準の両方)が与えられた臨床試験の資格のある患者を見つけること。 複雑なecテキストを縦型患者eersとマッチングする方法 患者と治験の多対多関係をどう埋め込むか? 包含と排除基準の違いを明示的に扱うには? 本稿では,これらの課題を解決するために,クロスモーダル疑似シアムネットワーク (compose) を提案する。 ネットワークの1つの経路は、畳み込みハイウェイネットワークを用いてECを符号化する。 他の経路はehrをマルチグラニュラリティーメモリネットワークで処理し、医療オントロジーに基づいて構造化された患者の記録を複数のレベルにエンコードする。 EC埋め込みをクエリとして使用すると、Composeは注意レコードアライメントを実行し、ダイナミックな患者と臨床のマッチングを可能にする。 COMPOSEはまた、患者の記録と包括的基準との類似性を最大化し、排他的基準との類似性を最小化する複合的損失項も導入している。 実験の結果、Composeは患者基準マッチングで98.0%のAUCに到達し、83.7%の精度で患者基準マッチングを達成でき、現実の患者基準マッチングタスクでは24.3%の改善が達成された。

Clinical trials play important roles in drug development but often suffer from expensive, inaccurate and insufficient patient recruitment. The availability of massive electronic health records (EHR) data and trial eligibility criteria (EC) bring a new opportunity to data driven patient recruitment. One key task named patient-trial matching is to find qualified patients for clinical trials given structured EHR and unstructured EC text (both inclusion and exclusion criteria). How to match complex EC text with longitudinal patient EHRs? How to embed many-to-many relationships between patients and trials? How to explicitly handle the difference between inclusion and exclusion criteria? In this paper, we proposed CrOss-Modal PseudO-SiamEse network (COMPOSE) to address these challenges for patient-trial matching. One path of the network encodes EC using convolutional highway network. The other path processes EHR with multi-granularity memory network that encodes structured patient records into multiple levels based on medical ontology. Using the EC embedding as query, COMPOSE performs attentional record alignment and thus enables dynamic patient-trial matching. COMPOSE also introduces a composite loss term to maximize the similarity between patient records and inclusion criteria while minimize the similarity to the exclusion criteria. Experiment results show COMPOSE can reach 98.0% AUC on patient-criteria matching and 83.7% accuracy on patient-trial matching, which leads 24.3% improvement over the best baseline on real-world patient-trial matching tasks.
翻訳日:2022-11-21 02:49:46 公開日:2020-06-15
# 動的クラシファイアチェインのための極勾配強化多ラベル木

Extreme Gradient Boosted Multi-label Trees for Dynamic Classifier Chains ( http://arxiv.org/abs/2006.08094v1 )

ライセンス: Link先を確認
Bohlender, Simon and Loza Mencia, Eneldo and Kulessa, Moritz(参考訳) 分類チェインはラベル依存を効果的に考慮できるため、マルチラベル分類において重要なテクニックである。 しかし、分類器はラベルの静的順序に従って整列される。 動的分類器チェーン(DCC)の概念では、手元にある各インスタンスに応じて、各予測に対してラベル順序が動的に選択される。 我々は、この概念と、効果的でスケーラブルな最先端技術である極度の勾配向上木(XGBoost)の強化を組み合わせ、DCCをXGBoostの高速マルチラベル拡張に組み込んで公開します。 正のラベルのみを予測しなければならず、通常はわずかであるので、トレーニングコストは大幅に削減できる。 さらに、11のデータセットでの実験が示すように、チェーンの長さは、以前の予測の使用をより制御できるため、最適化したい測定値よりも大きい。

Classifier chains is a key technique in multi-label classification, since it allows to consider label dependencies effectively. However, the classifiers are aligned according to a static order of the labels. In the concept of dynamic classifier chains (DCC) the label ordering is chosen for each prediction dynamically depending on the respective instance at hand. We combine this concept with the boosting of extreme gradient boosted trees (XGBoost), an effective and scalable state-of-the-art technique, and incorporate DCC in a fast multi-label extension of XGBoost which we make publicly available. As only positive labels have to be predicted and these are usually only few, the training costs can be further substantially reduced. Moreover, as experiments on eleven datasets show, the length of the chain allows for a more control over the usage of previous predictions and hence over the measure one want to optimize.
翻訳日:2022-11-21 02:48:54 公開日:2020-06-15
# 生成モデルの指数的ティルティング:遅延エネルギーからのトレーニングとサンプリングによるサンプル品質の向上

Exponential Tilting of Generative Models: Improving Sample Quality by Training and Sampling from Latent Energy ( http://arxiv.org/abs/2006.08100v1 )

ライセンス: Link先を確認
Zhisheng Xiao, Qing Yan, Yali Amit(参考訳) 本稿では,事前学習された確率ベース生成モデルのサンプル品質を向上できる汎用的手法を提案する。 本手法は,事前学習した生成モデルにより生成した試料に対してエネルギー関数を生成する潜在変数空間上のエネルギー関数を構築する。 エネルギーベースモデルをデータ可能性の最大化により効率よく訓練し、トレーニング後、エネルギーベースモデルから潜伏空間の新しいサンプルを生成し、発電機を通過して観測空間内でサンプルを生成する。 提案手法を用いることで,フローの正規化やVAEなどの一般的な確率ベース生成モデルのサンプル品質を,計算オーバーヘッドが少なく,大幅に向上できることを示す。

In this paper, we present a general method that can improve the sample quality of pre-trained likelihood based generative models. Our method constructs an energy function on the latent variable space that yields an energy function on samples produced by the pre-trained generative model. The energy based model is efficiently trained by maximizing the data likelihood, and after training, new samples in the latent space are generated from the energy based model and passed through the generator to producing samples in observation space. We show that using our proposed method, we can greatly improve the sample quality of popular likelihood based generative models, such as normalizing flows and VAEs, with very little computational overhead.
翻訳日:2022-11-21 02:48:38 公開日:2020-06-15
# ハット基底関数に基づくスパースガウス過程

Sparse Gaussian Process Based On Hat Basis Functions ( http://arxiv.org/abs/2006.08117v1 )

ライセンス: Link先を確認
Wenqi Fang, Huiyun Li, Hui Huang, Shaobo Dang, Zhejun Huang, Zheng Wang(参考訳) ガウス過程は回帰問題をモデル化する最も一般的な非パラメトリックベイズ法の一つである。 それはその平均と共分散関数によって完全に決定される。 その線形性は予測問題を比較的簡単に解くことができる。 ガウス過程は多くの分野でうまく適用されているが、不等式制約を満たす物理系を扱うには十分ではない。 この問題は近年、いわゆる制約付きガウス過程によって解決されている。 本稿では,制約付きガウス過程の核となる考え方を拡張する。 トレーニングやテストデータの範囲に応じて、制約付きガウスプロセスで言及されるハット基底関数を再定義します。 ハット基底関数に基づいて,制約のない回帰問題を解くための新しい疎ガウス過程法を提案する。 完全独立訓練条件近似による正確なガウス過程やガウス過程と同様、オープンソースのデータセットや解析関数に対して良好な近似結果が得られる。 性能の面では、提案手法は計算の全体的な複雑さを、正確なガウス過程における$O(n^{3})$計算から$O(nm^{2})$に減らし、$m$のハット基底関数と$n$のトレーニングデータポイントを持つ。

Gaussian process is one of the most popular non-parametric Bayesian methodologies for modeling the regression problem. It is completely determined by its mean and covariance functions. And its linear property makes it relatively straightforward to solve the prediction problem. Although Gaussian process has been successfully applied in many fields, it is still not enough to deal with physical systems that satisfy inequality constraints. This issue has been addressed by the so-called constrained Gaussian process in recent years. In this paper, we extend the core ideas of constrained Gaussian process. According to the range of training or test data, we redefine the hat basis functions mentioned in the constrained Gaussian process. Based on hat basis functions, we propose a new sparse Gaussian process method to solve the unconstrained regression problem. Similar to the exact Gaussian process and Gaussian process with Fully Independent Training Conditional approximation, our method obtains satisfactory approximate results on open-source datasets or analytical functions. In terms of performance, the proposed method reduces the overall computational complexity from $O(n^{3})$ computation in exact Gaussian process to $O(nm^{2})$ with $m$ hat basis functions and $n$ training data points.
翻訳日:2022-11-21 02:48:25 公開日:2020-06-15
# 確率勾配降下の安定性と一般化のきめ細かい解析

Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent ( http://arxiv.org/abs/2006.08157v1 )

ライセンス: Link先を確認
Yunwen Lei and Yiming Ying(参考訳) 近年,確率勾配降下法(SGD)のアルゴリズム的安定性と一般化に関する研究に多くの研究がなされている。 しかし、既存の安定性解析では、勾配の有界性、強い滑らか性、損失関数の凸性に制限的な仮定を課す必要がある。 本稿では,これらの仮定を実質的に緩和することにより,SGDの安定性と一般化を詳細に解析する。 まず,既存の境界勾配仮定を取り除き,sgdの安定性と一般化を確立する。 重要なアイデアは、sgdイテレートのリスクによって制御される新しい境界を開発する、平均モデル安定性と呼ばれる新しい安定性尺度の導入である。 これにより、最善のモデルの振る舞いに依存する一般化境界が得られ、安定性アプローチを用いた低ノイズ設定において、最初に知られたファストバウンドが導かれる。 第二に、スムースネスの仮定は、計算と安定性のバランスをとることで最適境界がまだ達成されていることを示すホルダー連続(部分)勾配の損失関数を考えることで緩和される。 我々の知る限りでは、これはSGD に対して、微分不能な損失関数でさえも初めて知られている安定性と一般化境界を与える。 最後に,(強い)凸目標と非凸損失関数との学習問題を考察した。

Recently there are a considerable amount of work devoted to the study of the algorithmic stability and generalization for stochastic gradient descent (SGD). However, the existing stability analysis requires to impose restrictive assumptions on the boundedness of gradients, strong smoothness and convexity of loss functions. In this paper, we provide a fine-grained analysis of stability and generalization for SGD by substantially relaxing these assumptions. Firstly, we establish stability and generalization for SGD by removing the existing bounded gradient assumptions. The key idea is the introduction of a new stability measure called on-average model stability, for which we develop novel bounds controlled by the risks of SGD iterates. This yields generalization bounds depending on the behavior of the best model, and leads to the first-ever-known fast bounds in the low-noise setting using stability approach. Secondly, the smoothness assumption is relaxed by considering loss functions with Holder continuous (sub)gradients for which we show that optimal bounds are still achieved by balancing computation and stability. To our best knowledge, this gives the first-ever-known stability and generalization bounds for SGD with even non-differentiable loss functions. Finally, we study learning problems with (strongly) convex objectives but non-convex loss functions.
翻訳日:2022-11-21 02:47:24 公開日:2020-06-15
# 最大符号化率低減原理による学習の多様性と判別表現

Learning Diverse and Discriminative Representations via the Principle of Maximal Coding Rate Reduction ( http://arxiv.org/abs/2006.08558v1 )

ライセンス: Link先を確認
Yaodong Yu, Kwan Ho Ryan Chan, Chong You, Chaobing Song, Yi Ma(参考訳) クラス間を最も識別する高次元データから本質的低次元構造を学ぶために,データセット全体と各クラスの合計の符号化速度差を最大化する情報理論的な尺度である最大符号化率低減(\text{mcr}^2$)の原理を提案する。 クロスエントロピー,情報ボトルネック,情報ゲイン,契約学習,コントラスト学習などの既存のフレームワークとの関連性を明らかにし,多様で識別的な特徴を学習するための理論的保証を提供する。 符号化速度は、縮退部分空間様分布の有限サンプルから正確に計算でき、教師あり、自己教師あり、教師なしの設定で内在表現を統一的に学習することができる。 経験的に、この原理だけで学んだ表現は、クロスエントロピーを用いたものよりも分類における汚職のラベル付けにかなり堅牢であり、自己学習不変な特徴から混合データをクラスタリングする最先端の結果をもたらす可能性がある。

To learn intrinsic low-dimensional structures from high-dimensional data that most discriminate between classes, we propose the principle of Maximal Coding Rate Reduction ($\text{MCR}^2$), an information-theoretic measure that maximizes the coding rate difference between the whole dataset and the sum of each individual class. We clarify its relationships with most existing frameworks such as cross-entropy, information bottleneck, information gain, contractive and contrastive learning, and provide theoretical guarantees for learning diverse and discriminative features. The coding rate can be accurately computed from finite samples of degenerate subspace-like distributions and can learn intrinsic representations in supervised, self-supervised, and unsupervised settings in a unified manner. Empirically, the representations learned using this principle alone are significantly more robust to label corruptions in classification than those using cross-entropy, and can lead to state-of-the-art results in clustering mixed data from self-learned invariant features.
翻訳日:2022-11-21 02:41:10 公開日:2020-06-15
# 合成訓練データセット生成における照明モデルの影響に関する研究

A study of the effect of the illumination model on the generation of synthetic training datasets ( http://arxiv.org/abs/2006.08819v1 )

ライセンス: Link先を確認
Xin Zhang and Ning Jia and Ioannis Ivrissimtzis(参考訳) コンピュータ生成画像を用いてDeep Neural Networksを訓練することは、後者が不足している場合や高価である場合、実際の画像の代替となる。 本稿では,レンダリングソフトウェアが使用する照明モデルが生成画像の品質に与える影響について検討する。 それぞれ異なる照明モデルを持つ8つのトレーニングセットを作成し、これらを3つの異なるネットワークアーキテクチャ(resnet、u-net、そして私たちが開発した複合アーキテクチャ)でテストしました。 テストセットは、トレーニングセットを生成するために使用されるCADモデルと同じ3Dプリントオブジェクトの写真で構成されています。 テクスチャやカメラ位置といったレンダリングプロセスの他のパラメータの影響はランダム化されている。 その結果,照明モデルの効果は重要であり,ネットワークアーキテクチャと同等であることがわかった。 また, 自然環境光を捉えた光プローブと, モデル化された照明環境の両方が良好な結果をもたらすことを示した。 光プローブの場合,光プローブと試験環境の類似性,および光プローブの分解能に影響を及ぼす2つの重要な要因を同定した。 模擬照明環境については, 試験環境との類似性が重要な要因として再確認された。

The use of computer generated images to train Deep Neural Networks is a viable alternative to real images when the latter are scarce or expensive. In this paper, we study how the illumination model used by the rendering software affects the quality of the generated images. We created eight training sets, each one with a different illumination model, and tested them on three different network architectures, ResNet, U-Net and a combined architecture developed by us. The test set consisted of photos of 3D printed objects produced from the same CAD models used to generate the training set. The effect of the other parameters of the rendering process, such as textures and camera position, was randomized. Our results show that the effect of the illumination model is important, comparable in significance to the network architecture. We also show that both light probes capturing natural environmental light, and modelled lighting environments, can give good results. In the case of light probes, we identified as two significant factors affecting performance the similarity between the light probe and the test environment, as well as the light probe's resolution. Regarding modelled lighting environment, similarity with the test environment was again identified as a significant factor.
翻訳日:2022-11-21 02:40:22 公開日:2020-06-15
# DreamCoder: 覚醒学習による一般化可能な解釈可能な知識の育成

DreamCoder: Growing generalizable, interpretable knowledge with wake-sleep Bayesian program learning ( http://arxiv.org/abs/2006.08381v1 )

ライセンス: Link先を確認
Kevin Ellis, Catherine Wong, Maxwell Nye, Mathias Sable-Meyer, Luc Cary, Lucas Morales, Luke Hewitt, Armando Solar-Lezama, Joshua B. Tenenbaum(参考訳) エキスパート問題解決は、問題とその解決策を考えるための強力な言語によって推進される。 専門知識の獲得とは,これらの言語 – 概念体系 – を,使用するスキルとともに学ぶことです。 本稿では,プログラム記述による問題解決学習システムであるDreamCoderを紹介する。 ドメイン概念を表現するためのプログラミング言語と、これらの言語内のプログラムの検索をガイドするニューラルネットワークを作成することで、専門知識を構築する。 学習アルゴリズムは、新しいシンボリック抽象化で言語を交互に拡張し、想像と再生の問題でニューラルネットワークをトレーニングする。 dreamcoderは、古典的なインダクティブなプログラミングタスクと、絵を描く、シーンを作るといった創造的なタスクの両方を解決します。 ニュートンの法則やクーロンの法則を含む、現代的な関数型プログラミング、ベクトル代数、古典物理学の基礎を再発見する。 概念は、以前に学んだものから構成的に構築され、新しいタスクに解釈可能で転送可能な、多層的な象徴表現を生み出す。

Expert problem-solving is driven by powerful languages for thinking about problems and their solutions. Acquiring expertise means learning these languages -- systems of concepts, alongside the skills to use them. We present DreamCoder, a system that learns to solve problems by writing programs. It builds expertise by creating programming languages for expressing domain concepts, together with neural networks to guide the search for programs within these languages. A ``wake-sleep'' learning algorithm alternately extends the language with new symbolic abstractions and trains the neural network on imagined and replayed problems. DreamCoder solves both classic inductive programming tasks and creative tasks such as drawing pictures and building scenes. It rediscovers the basics of modern functional programming, vector algebra and classical physics, including Newton's and Coulomb's laws. Concepts are built compositionally from those learned earlier, yielding multi-layered symbolic representations that are interpretable and transferrable to new tasks, while still growing scalably and flexibly with experience.
翻訳日:2022-11-21 02:38:54 公開日:2020-06-15
# インタラクションネットワーク:Reinforcement Learnerを使って他の機械学習アルゴリズムをトレーニングする

Interaction Networks: Using a Reinforcement Learner to train other Machine Learning algorithms ( http://arxiv.org/abs/2006.08457v1 )

ライセンス: Link先を確認
Florian Dietz(参考訳) 脳内のニューロンの配線は、現代の人工ニューラルネットワークにおける接続の配線よりも柔軟である。 この余分な柔軟性は、効率的な問題解決と学習に重要である可能性がある。 本稿ではインタラクションネットワークを紹介する。 インタラクションネットワークは、この余分な柔軟性を捉えることを目指している。 インタラクションネットワークは、従来のニューラルネットワークの集合、メモリ位置のセット、およびdqnまたは他の強化学習者からなる。 dqnは、各ニューラルネットワークの実行時期とメモリ位置を決定する。 このように、個々のニューラルネットワークは、異なるタスクのために、異なるデータでトレーニングすることができる。 同時に、個々のネットワークの結果が強化学習者の意思決定プロセスに影響を及ぼす。 これにより、DQNは自身の意思決定を改善するアクションを実行することができる。 既存のタイプのニューラルネットワークは、計算オーバーヘッドを一定に抑えながら、インタラクションネットワーク全体の中で再生することができる。 インタラクションネットワークは、パフォーマンスをさらに向上するための追加機能を導入することができる。 これらはアルゴリズムをより柔軟で汎用的なものにしますが、訓練が難しくなります。 本稿では,既存のニューラルネットワークを改良するために,インタラクションネットワークの付加能力をどのように活用できるかを検討するために,思考実験を用いる。 概念が健全であることを証明するために、いくつかの実験が行われた。 これらは基本的なアイデアが機能することを示しているが、従来のニューラルネットワークには現れない多くの課題も明らかにしているため、インタラクションネットワークのトレーニングが非常に困難である。 これらの問題を解決するためには、さらなる研究が必要である。 これを実現するためのいくつかの有望な研究成果を本稿で概説する。

The wiring of neurons in the brain is more flexible than the wiring of connections in contemporary artificial neural networks. It is possible that this extra flexibility is important for efficient problem solving and learning. This paper introduces the Interaction Network. Interaction Networks aim to capture some of this extra flexibility. An Interaction Network consists of a collection of conventional neural networks, a set of memory locations, and a DQN or other reinforcement learner. The DQN decides when each of the neural networks is executed, and on what memory locations. In this way, the individual neural networks can be trained on different data, for different tasks. At the same time, the results of the individual networks influence the decision process of the reinforcement learner. This results in a feedback loop that allows the DQN to perform actions that improve its own decision-making. Any existing type of neural network can be reproduced in an Interaction Network in its entirety, with only a constant computational overhead. Interaction Networks can then introduce additional features to improve performance further. These make the algorithm more flexible and general, but at the expense of being harder to train. In this paper, thought experiments are used to explore how the additional abilities of Interaction Networks could be used to improve various existing types of neural networks. Several experiments have been run to prove that the concept is sound. These show that the basic idea works, but they also reveal a number of challenges that do not appear in conventional neural networks, which make Interaction Networks very hard to train. Further research needs to be done to alleviate these issues. A number of promising avenues of research to achieve this are outlined in this paper.
翻訳日:2022-11-21 02:38:37 公開日:2020-06-15
# 再現可能なアーキテクチャ改善のための微分可能なニューラルアーキテクチャ変換

Differentiable Neural Architecture Transformation for Reproducible Architecture Improvement ( http://arxiv.org/abs/2006.08231v1 )

ライセンス: Link先を確認
Do-Guk Kim, Heung-Chang Lee(参考訳) 近年,neural architecture search (nas)法が導入され,多くのベンチマークで印象的な性能を示す。 これらのNAS研究の中で、NAT(Neural Architecture Transformer)は、計算コストを維持しながらパフォーマンスを向上させるために、与えられたニューラルアーキテクチャを改善することを目的としている。 しかし、NATには再現性の欠如に関する制限がある。 本稿では,再現性と効率のよい識別可能なニューラルアーキテクチャ変換を提案する。 提案手法は,各種アーキテクチャ上での安定した性能を示す。 CIFAR-10とTiny Imagenetの2つのデータセットに対する大規模な再現性実験は、提案手法がNATよりも優れ、他のモデルやデータセットに適用可能であることを示唆している。

Recently, Neural Architecture Search (NAS) methods are introduced and show impressive performance on many benchmarks. Among those NAS studies, Neural Architecture Transformer (NAT) aims to improve the given neural architecture to have better performance while maintaining computational costs. However, NAT has limitations about a lack of reproducibility. In this paper, we propose differentiable neural architecture transformation that is reproducible and efficient. The proposed method shows stable performance on various architectures. Extensive reproducibility experiments on two datasets, i.e., CIFAR-10 and Tiny Imagenet, present that the proposed method definitely outperforms NAT and be applicable to other models and datasets.
翻訳日:2022-11-21 02:32:30 公開日:2020-06-15
# 機械学習における時空間情報の保存について

On the Preservation of Spatio-temporal Information in Machine Learning Applications ( http://arxiv.org/abs/2006.08321v1 )

ライセンス: Link先を確認
Yigit Oktar, Mehmet Turkan(参考訳) 従来の機械学習アプリケーションでは、各データ属性は他のものと直交していると仮定される。 すなわち、すべての次元の対は互いに直交しており、したがって次元間の関係の区別は存在しない。 しかし、時空間構成から自然に生じる実世界の信号では、これは確かにそうではない。 その結果、従来のベクトル化プロセスでは、1ドル、$$d、$$$d、$$$$d、$$$$$dといったデータの注文/場所に関する時間的・時間的情報をすべて破壊する。 本稿では、直交性の問題は、画像がベクトルとして処理される従来の1k$-meansのイメージを通して最初に検討される。 解として、シフト不変な$k$-means はスパース表現の助けを借りて、新しいフレームワークで提案されている。 シフト不変な$k$-means(畳み込み辞書学習)の一般化は、分類のための教師なし特徴抽出法として利用される。 実験により、浅い畳み込みニューラルネットワークのシミュレーションとしてのgabor特徴抽出は、畳み込み辞書学習よりも少し優れた性能をもたらすことが示唆された。 畳み込み論理の多くの代替法は時空間情報保存のためにも議論されている。

In conventional machine learning applications, each data attribute is assumed to be orthogonal to others. Namely, every pair of dimension is orthogonal to each other and thus there is no distinction of in-between relations of dimensions. However, this is certainly not the case in real world signals which naturally originate from a spatio-temporal configuration. As a result, the conventional vectorization process disrupts all of the spatio-temporal information about the order/place of data whether it be $1$D, $2$D, $3$D, or $4$D. In this paper, the problem of orthogonality is first investigated through conventional $k$-means of images, where images are to be processed as vectors. As a solution, shift-invariant $k$-means is proposed in a novel framework with the help of sparse representations. A generalization of shift-invariant $k$-means, convolutional dictionary learning, is then utilized as an unsupervised feature extraction method for classification. Experiments suggest that Gabor feature extraction as a simulation of shallow convolutional neural networks provides a little better performance compared to convolutional dictionary learning. Many alternatives of convolutional-logic are also discussed for spatio-temporal information preservation, including a spatio-temporal hypercomplex encoding scheme.
翻訳日:2022-11-21 02:32:19 公開日:2020-06-15
# APQ: ネットワークアーキテクチャ、プルーニング、量子化ポリシーの共同検索

APQ: Joint Search for Network Architecture, Pruning and Quantization Policy ( http://arxiv.org/abs/2006.08509v1 )

ライセンス: Link先を確認
Tianzhe Wang, Kuan Wang, Han Cai, Ji Lin, Zhijian Liu, Song Han(参考訳) 本稿では,リソース制約のあるハードウェア上での効率的なディープラーニング推論のためのAPQを提案する。 ニューラルアーキテクチャ、プルーニングポリシー、量子化ポリシーを別々に検索する従来の方法とは異なり、我々はそれらを共同で最適化する。 より広い設計空間に対応するために、有望なアプローチは、量子化対応の精度予測器を訓練して、量子化モデルの精度を素早く取得し、最適な適合度を選択するために検索エンジンに供給することである。 しかし、この量子化・認識精度予測器の訓練には、量子化・アウェアの微調整を伴う大量の量子化<model, accuracy>ペアの収集が必要である。 そこで本研究では,全精度 (fp32) 精度予測器から量子化認識 (int8) 精度予測器へ知識を転送し, サンプル効率を大幅に向上させる手法を提案する。 さらに、fp32精度予測器のデータセットの収集には、トレーニング済みの1対1のネットワークからサンプリングすることで、トレーニングコストなしでニューラルネットワークを評価する必要がある。 imagenetに関する広範な実験は、共同最適化アプローチの利点を示しています。 同じ精度で、APQはMobileNetV2+HAQよりもレイテンシ/エネルギーを2倍/1.3倍削減する。 分離された最適化アプローチ(ProxylessNAS+AMC+HAQ)と比較して、APQは2.3%高画質でGPU時間とCO2排出量のオーダーを削減し、環境に優しいグリーンAIのフロンティアを推し進めている。 コードとビデオは公開されている。

We present APQ for efficient deep learning inference on resource-constrained hardware. Unlike previous methods that separately search the neural architecture, pruning policy, and quantization policy, we optimize them in a joint manner. To deal with the larger design space it brings, a promising approach is to train a quantization-aware accuracy predictor to quickly get the accuracy of the quantized model and feed it to the search engine to select the best fit. However, training this quantization-aware accuracy predictor requires collecting a large number of quantized <model, accuracy> pairs, which involves quantization-aware finetuning and thus is highly time-consuming. To tackle this challenge, we propose to transfer the knowledge from a full-precision (i.e., fp32) accuracy predictor to the quantization-aware (i.e., int8) accuracy predictor, which greatly improves the sample efficiency. Besides, collecting the dataset for the fp32 accuracy predictor only requires to evaluate neural networks without any training cost by sampling from a pretrained once-for-all network, which is highly efficient. Extensive experiments on ImageNet demonstrate the benefits of our joint optimization approach. With the same accuracy, APQ reduces the latency/energy by 2x/1.3x over MobileNetV2+HAQ. Compared to the separate optimization approach (ProxylessNAS+AMC+HAQ), APQ achieves 2.3% higher ImageNet accuracy while reducing orders of magnitude GPU hours and CO2 emission, pushing the frontier for green AI that is environmental-friendly. The code and video are publicly available.
翻訳日:2022-11-21 02:31:02 公開日:2020-06-15
# バッチサイズ制限

The Limit of the Batch Size ( http://arxiv.org/abs/2006.08517v1 )

ライセンス: Link先を確認
Yang You and Yuhui Wang and Huan Zhang and Zhao Zhang and James Demmel and Cho-Jui Hsieh(参考訳) 大規模トレーニングは、現在の分散ディープラーニングシステムにとって効率的なアプローチである。 研究者はimagenet/resnet-50のトレーニングを29時間から約1分に短縮できる。 本稿では,バッチサイズの限界について検討する。 AIスーパーコンピュータとアルゴリズムデザイナへのガイダンスを提供するかもしれない。 ステップバイステップ比較のための詳細な数値最適化手順を提案する。 さらに,大規模バッチトレーニングの一般化と最適化性能も理解することが重要である。 hofferらは大規模な訓練に"ultra-slow diffusion"理論を導入した。 しかし,本実験はhofferらによる結論と矛盾する結果を示した。 バッチサイズスケーリングと"ultra-slow diffusion"理論の限界を検討するため,包括的な実験結果と詳細な解析を行った。 ImageNetのバッチサイズを以前のすべての作業よりも少なくとも1桁大きく拡張し、この設定下での多くの最先端の最適化スキームの性能に関する詳細な研究を行った。 そこで本研究では,トップ1テストの精度をベースラインと比較して18%向上させる最適化手法を提案する。

Large-batch training is an efficient approach for current distributed deep learning systems. It has enabled researchers to reduce the ImageNet/ResNet-50 training from 29 hours to around 1 minute. In this paper, we focus on studying the limit of the batch size. We think it may provide a guidance to AI supercomputer and algorithm designers. We provide detailed numerical optimization instructions for step-by-step comparison. Moreover, it is important to understand the generalization and optimization performance of huge batch training. Hoffer et al. introduced "ultra-slow diffusion" theory to large-batch training. However, our experiments show contradictory results with the conclusion of Hoffer et al. We provide comprehensive experimental results and detailed analysis to study the limitations of batch size scaling and "ultra-slow diffusion" theory. For the first time we scale the batch size on ImageNet to at least a magnitude larger than all previous work, and provide detailed studies on the performance of many state-of-the-art optimization schemes under this setting. We propose an optimization recipe that is able to improve the top-1 test accuracy by 18% compared to the baseline.
翻訳日:2022-11-21 02:30:32 公開日:2020-06-15
# NP-PROV: 位置関連性のみを有するニューラルプロセス

NP-PROV: Neural Processes with Position-Relevant-Only Variances ( http://arxiv.org/abs/2007.00767v1 )

ライセンス: Link先を確認
Xuesong Wang, Lina Yao, Xianzhi Wang, Feiping Nie(参考訳) ニューラルプロセス(NP)ファミリーは、関数上の分布を、与えられたコンテキストデータである潜在表現にエンコードし、未知の場所での後方平均と分散をデコードする。 平均と分散は同じ潜在空間から導かれるので、関数値の変動がモデルの不確実性を増幅する領域外タスクでは失敗する。 本稿では,NP-PROV(Neural Processes with Position-Relevant-Only Variances)という新しいメンバーを紹介する。 NP-PROVは、その位置の関数値に関係なく、コンテキストポイントに近いターゲットポイントが小さな不確実性を持つという仮説を立てている。 結果として得られるアプローチは、関数値関連空間と位置関連のみの潜在空間から平均と分散を別々に導き出す。 本研究では, NP-PROVが関数値内にドリフトが存在する場合の有界分散を保ちながら, 最先端の可能性が得られることを示す。

Neural Processes (NPs) families encode distributions over functions to a latent representation, given context data, and decode posterior mean and variance at unknown locations. Since mean and variance are derived from the same latent space, they may fail on out-of-domain tasks where fluctuations in function values amplify the model uncertainty. We present a new member named Neural Processes with Position-Relevant-Only Variances (NP-PROV). NP-PROV hypothesizes that a target point close to a context point has small uncertainty, regardless of the function value at that position. The resulting approach derives mean and variance from a function-value-related space and a position-related-only latent space separately. Our evaluation on synthetic and real-world datasets reveals that NP-PROV can achieve state-of-the-art likelihood while retaining a bounded variance when drifts exist in the function value.
翻訳日:2022-11-21 02:30:00 公開日:2020-06-15
# 進化的多目的最適化における最終決定のための解サブセット選択

Solution Subset Selection for Final Decision Making in Evolutionary Multi-Objective Optimization ( http://arxiv.org/abs/2006.08156v1 )

ライセンス: Link先を確認
Hisao Ishibuchi and Lie Meng Pang and Ke Shang(参考訳) 一般に、多目的最適化問題は単一の最適解ではなく、目的空間におけるパレートフロントを形成するパレート最適解の集合を持つ。 様々な進化的アルゴリズムが、あらかじめ特定された数の解を用いてパレートフロントを近似するために提案されている。 単一の実行で数百のソリューションが得られる。 得られた解から1つの最終解を選択することは、人間の意思決定者によって行われると仮定される。 しかし、多くの場合、意思決定者は何百ものソリューションを検査したくない。 したがって、得られた解の小さな部分集合を選択する必要がある。 本稿では,最終的な意思決定の観点から,サブセットの選択について論じる。 まず,既存の部分集合選択研究について簡単に説明する。 次に、サブセット選択のための期待損失関数を定式化する。 また、この定式化関数はIGD+インジケータと同じであることを示す。 次に,提案手法を他の指標に基づくサブセット選択法と比較する実験結果について報告する。

In general, a multi-objective optimization problem does not have a single optimal solution but a set of Pareto optimal solutions, which forms the Pareto front in the objective space. Various evolutionary algorithms have been proposed to approximate the Pareto front using a pre-specified number of solutions. Hundreds of solutions are obtained by their single run. The selection of a single final solution from the obtained solutions is assumed to be done by a human decision maker. However, in many cases, the decision maker does not want to examine hundreds of solutions. Thus, it is needed to select a small subset of the obtained solutions. In this paper, we discuss subset selection from a viewpoint of the final decision making. First we briefly explain existing subset selection studies. Next we formulate an expected loss function for subset selection. We also show that the formulated function is the same as the IGD plus indicator. Then we report experimental results where the proposed approach is compared with other indicator-based subset selection methods.
翻訳日:2022-11-21 02:29:42 公開日:2020-06-15
# 動的車両ルーティング問題:モンテカルロのアプローチ

Dynamic Vehicle Routing Problem: A Monte Carlo approach ( http://arxiv.org/abs/2006.09996v1 )

ライセンス: Link先を確認
Micha{\l} Okulewicz and Jacek Ma\'ndziuk(参考訳) 本研究では,DVRP(Dynamic Vehicle Routing Problem)を解く。 DVRPは、クライアントの要求(都市)番号と場所が作業日の始めに分かっていないかもしれない車両ルーティング問題の修正であり、また、すべての要求は、限られた能力の車両群によって1日の作業日に提供されなければならない。 本研究では,dvrpにおける到着要求の動的性質に直接アプローチするモンテカルロ法(mctree)を提案する。 また,従来の2相マルチスワーム粒子群最適化 (2MPSO) アルゴリズムを用いてMCTree+PSOをハイブリダイズした。 この方法は2つの仮定に基づいている。 まず、リクエストが現れる可能性のある領域の境界長方形が分かっていることです。 第二に、初期リクエストのサイズと出現頻度が未知のクライアントの要求に代表されるということです。 DVRPを解くために、作業日をいくつかの時間スライスに分割し、静的な問題を解決する。 モンテカルロのアプローチでは、未知のクライアントの要求をランダムに生成し、有界矩形上の均一な空間分布と、すでに知られている要求のサイズから一様にサンプリングした要求のサイズを推定する。 提案手法はクラスタリングアルゴリズムとルート構築アルゴリズムを適用して構築する。 mctree法はkilbyらによって提案されたベンチマークでテストされ、これまでの2mpsoアルゴリズムや他の文献結果を適用して得られた結果と比較される。 提案した MCTree アプローチは,高品質なトレードオフ,そして平易なヒューリスティックアルゴリズムを実現する。 さらに、MCTree+PSOのハイブリッド手法は、2MPSOを最小限の最適化時間で高品質なトレードオフを実現し、現実の商品の配送問題に対処するための良い候補となる。

In this work we solve the Dynamic Vehicle Routing Problem (DVRP). DVRP is a modification of the Vehicle Routing Problem, in which the clients' requests (cities) number and location might not be known at the beginning of the working day Additionally, all requests must be served during one working day by a fleet of vehicles with limited capacity. In this work we propose a Monte Carlo method (MCTree), which directly approaches the dynamic nature of arriving requests in the DVRP. The method is also hybridized (MCTree+PSO) with our previous Two-Phase Multi-swarm Particle Swarm Optimization (2MPSO) algorithm. Our method is based on two assumptions. First, that we know a bounding rectangle of the area in which the requests might appear. Second, that the initial requests' sizes and frequency of appearance are representative for the yet unknown clients' requests. In order to solve the DVRP we divide the working day into several time slices in which we solve a static problem. In our Monte Carlo approach we randomly generate the unknown clients' requests with uniform spatial distribution over the bounding rectangle and requests' sizes uniformly sampled from the already known requests' sizes. The solution proposal is constructed with the application of a clustering algorithm and a route construction algorithm. The MCTree method is tested on a well established set of benchmarks proposed by Kilby et al. and is compared with the results achieved by applying our previous 2MPSO algorithm and other literature results. The proposed MCTree approach achieves a better time to quality trade-off then plain heuristic algorithms. Moreover, a hybrid MCTree+PSO approach achieves better time to quality trade-off then 2MPSO for small optimization time limits, making the hybrid a good candidate for handling real world scale goods delivery problems.
翻訳日:2022-11-21 02:29:29 公開日:2020-06-15
# 公平なランキングのための因果交叉性

Causal intersectionality for fair ranking ( http://arxiv.org/abs/2006.08688v1 )

ライセンス: Link先を確認
Ke Yang, Joshua R. Loftus, Julia Stoyanovich(参考訳) 本稿では,交差フェアネスに対する因果モデリング手法と,交差フェアネスを計算するためのフレキシブルなタスク固有手法を提案する。 ランキングは、Web検索結果から大学入学まで、多くの文脈で使用されているが、公正ランキングに対する因果推論は、あまり注目されていない。 さらに因果的公平性に関する文学の発展は、交叉性にほとんど注意を向けていない。 これらの問題を正式な因果関係のフレームワークにまとめることで、公正な機械学習における交叉性の応用を明確化し、重要な現実世界の影響とドメイン知識と結び付き、技術的な制限を透明にする。 実データと合成データに対するアプローチを実験的に評価し、異なる構造的仮定の下でその振る舞いを探索する。

In this paper we propose a causal modeling approach to intersectional fairness, and a flexible, task-specific method for computing intersectionally fair rankings. Rankings are used in many contexts, ranging from Web search results to college admissions, but causal inference for fair rankings has received limited attention. Additionally, the growing literature on causal fairness has directed little attention to intersectionality. By bringing these issues together in a formal causal framework we make the application of intersectionality in fair machine learning explicit, connected to important real world effects and domain knowledge, and transparent about technical limitations. We experimentally evaluate our approach on real and synthetic datasets, exploring its behaviour under different structural assumptions.
翻訳日:2022-11-21 02:23:43 公開日:2020-06-15
# 潜在バンド再考

Latent Bandits Revisited ( http://arxiv.org/abs/2006.08714v1 )

ライセンス: Link先を確認
Joey Hong and Branislav Kveton and Manzil Zaheer and Yinlam Chow and Amr Ahmed and Craig Boutilier(参考訳) 潜伏包帯問題は、学習エージェントが未知の離散潜伏状態に条件付けられた腕の報酬分布を知るものである。 エージェントの主な目的は潜伏状態を特定し、その後最適に動作させることである。 この設定は、オンラインとオフラインの学習の自然な中間点であり、エージェントが潜在状態を特定してオフラインで学習することができる。 本研究では, 上位信頼境界 (UCBs) とトンプソンサンプリング (Thompson sample) に基づいて, この設定のための一般的なアルゴリズムを提案する。 我々の手法は文脈的であり、モデルの不確実性と誤特定を認識している。 我々は,潜在状態の数が動作数より小さい場合に,従来のバンディットポリシーよりも後悔が少ないアルゴリズムの統一的理論的解析を行う。 包括的な実証研究が我々のアプローチの利点を示している。

A latent bandit problem is one in which the learning agent knows the arm reward distributions conditioned on an unknown discrete latent state. The primary goal of the agent is to identify the latent state, after which it can act optimally. This setting is a natural midpoint between online and offline learning---complex models can be learned offline with the agent identifying latent state online---of practical relevance in, say, recommender systems. In this work, we propose general algorithms for this setting, based on both upper confidence bounds (UCBs) and Thompson sampling. Our methods are contextual and aware of model uncertainty and misspecification. We provide a unified theoretical analysis of our algorithms, which have lower regret than classic bandit policies when the number of latent states is smaller than actions. A comprehensive empirical study showcases the advantages of our approach.
翻訳日:2022-11-21 02:23:30 公開日:2020-06-15
# 無人車両部品コスト推定のための説明可能なAI:トップダウンアプローチ

Explainable AI for a No-Teardown Vehicle Component Cost Estimation: A Top-Down Approach ( http://arxiv.org/abs/2006.08828v1 )

ライセンス: Link先を確認
Ayman Moawad, Ehsan Islam, Namdoo Kim, Ram Vijayagopal, Aymeric Rousseau, and Wei Biao Wu(参考訳) この記事のより広い野望は、システムのアウトプットの量をサブシステムに公平に分配するアプローチを普及させ、複雑なサブシステムレベルの相互作用を可能にすることです。 特に,機械学習とゲーム理論の概念を組み合わせることで,車両価格モデリングとその部品価格推定へのデータ駆動アプローチを提案する。 我々は,部品価格および車両価格推定のための共通分解手法と調査手法の代替案を,不確実性をバイパスする利点を有するメーカーの提案小売価格(msrp)レベルで示す。 1)解体データの収集 2)高価で偏りのある調査を行う必要性 3) 小売価格等価(rpe)または間接コスト乗算器(icm)の調整を行い,直接製造コストをmsrpに設定する必要がある。 この新たなエクササイズは、顧客レベルでのテクノロジの正確な価格設定を提供するだけでなく、製造業者、車のサイズ、クラス、市場セグメント、その他の要因間の価格戦略における、先行的な大きなギャップを示す。 また、特定の技術と同一車両に存在する他の仕様との間の相乗効果や相互作用も明確である。 これらの(予想外の)結果は、メーカーレベルの部品コスト、集約、およびフラットで剛性のあるrpeまたはicm調整因子の適用に関する古い方法が慎重に検討されるべきであることを示すものである。 この発見は、アルゴンヌ国立研究所(argonne national laboratory)が開発した広範囲のデータベースに基づいており、my1990からmy2020まで、数百台の車両仕様をカバーする64,000台以上の車両が含まれている。

The broader ambition of this article is to popularize an approach for the fair distribution of the quantity of a system's output to its subsystems, while allowing for underlying complex subsystem level interactions. Particularly, we present a data-driven approach to vehicle price modeling and its component price estimation by leveraging a combination of concepts from machine learning and game theory. We show an alternative to common teardown methodologies and surveying approaches for component and vehicle price estimation at the manufacturer's suggested retail price (MSRP) level that has the advantage of bypassing the uncertainties involved in 1) the gathering of teardown data, 2) the need to perform expensive and biased surveying, and 3) the need to perform retail price equivalent (RPE) or indirect cost multiplier (ICM) adjustments to mark up direct manufacturing costs to MSRP. This novel exercise not only provides accurate pricing of the technologies at the customer level, but also shows the, a priori known, large gaps in pricing strategies between manufacturers, vehicle sizes, classes, market segments, and other factors. There is also clear synergism or interaction between the price of certain technologies and other specifications present in the same vehicle. Those (unsurprising) results are indication that old methods of manufacturer-level component costing, aggregation, and the application of a flat and rigid RPE or ICM adjustment factor should be carefully examined. The findings are based on an extensive database, developed by Argonne National Laboratory, that includes more than 64,000 vehicles covering MY1990 to MY2020 over hundreds of vehicle specs.
翻訳日:2022-11-21 02:22:42 公開日:2020-06-15
# サイバー物理システムにおけるエンドツーエンド学習の形式的検証:進展と課題

Formal Verification of End-to-End Learning in Cyber-Physical Systems: Progress and Challenges ( http://arxiv.org/abs/2006.09181v1 )

ライセンス: Link先を確認
Nathan Fulton, Nathan Hunt, Nghia Hoang, Subhro Das(参考訳) 自動運転車、無人ドローン、自動列車などの自律システムは、強力な安全性を保証する必要がある。 過去10年間で、形式的手法に基づく技術は、オペレーティングシステムカーネル、暗号プロトコル、ドローンの制御ソフトウェアなど、大規模ソフトウェアシステムに対して強力な正確性保証を提供することに成功した。 これらの成功は、正式なコンピュータチェックによる正当性証明を構築することによって、自律システムの安全性を確保することができることを示唆している。 本稿では,既存の形式的検証手法に基づく3つの仮定を特定し,これらの仮定が自律システムにおける検証の適用性をいかに制限しているかを説明し,形式的検証による証拠の強度向上に向けた予備的な取り組みを要約する。

Autonomous systems -- such as self-driving cars, autonomous drones, and automated trains -- must come with strong safety guarantees. Over the past decade, techniques based on formal methods have enjoyed some success in providing strong correctness guarantees for large software systems including operating system kernels, cryptographic protocols, and control software for drones. These successes suggest it might be possible to ensure the safety of autonomous systems by constructing formal, computer-checked correctness proofs. This paper identifies three assumptions underlying existing formal verification techniques, explains how each of these assumptions limits the applicability of verification in autonomous systems, and summarizes preliminary work toward improving the strength of evidence provided by formal verification.
翻訳日:2022-11-21 02:22:14 公開日:2020-06-15
# 無限特徴選択:グラフに基づく特徴フィルタリングアプローチ

Infinite Feature Selection: A Graph-based Feature Filtering Approach ( http://arxiv.org/abs/2006.08184v1 )

ライセンス: Link先を確認
Giorgio Roffo, Simone Melzi, Umberto Castellani, Alessandro Vinciarelli, Marco Cristani(参考訳) 本稿では,特徴のサブセットをグラフ内のパスとして考慮するフィルタリング機能選択フレームワークを提案する。ノードは特徴であり,エッジは特徴間のペアワイズ(カスタマイズ可能な)関係を示し,関連性や冗長性の原則を扱う。 2つの異なる解釈(行列列のパワー級数の性質とマルコフ連鎖の基本に依存すること)により、任意の長さの経路(すなわち特徴部分集合)の値が最終的に無限となり、そこからフレームワーク Infinite Feature Selection (Inf-FS) をダブする。 無限に進むことで、選択プロセスの計算複雑性を制限し、特定の特徴を含む任意のパス(サブセット)の値を考慮して、その特徴をエレガントな方法でランク付けすることができる。 また、ランキングを減らすための単純な教師なし戦略を提案し、維持すべき機能のサブセットを提供します。 実験では,不均質な特徴を持つ多様な設定を,合計11のベンチマークで分析し,18の一般的な比較手法と比較した。 その結果、Inf-FS はほとんどどんな状況でもより良く振る舞うことが示され、すなわち、保持する特徴の数が優先順位に固定された場合や、部分集合の基数の決定がプロセスの一部である場合である。

We propose a filtering feature selection framework that considers subsets of features as paths in a graph, where a node is a feature and an edge indicates pairwise (customizable) relations among features, dealing with relevance and redundancy principles. By two different interpretations (exploiting properties of power series of matrices and relying on Markov chains fundamentals) we can evaluate the values of paths (i.e., feature subsets) of arbitrary lengths, eventually go to infinite, from which we dub our framework Infinite Feature Selection (Inf-FS). Going to infinite allows to constrain the computational complexity of the selection process, and to rank the features in an elegant way, that is, considering the value of any path (subset) containing a particular feature. We also propose a simple unsupervised strategy to cut the ranking, so providing the subset of features to keep. In the experiments, we analyze diverse settings with heterogeneous features, for a total of 11 benchmarks, comparing against 18 widely-known comparative approaches. The results show that Inf-FS behaves better in almost any situation, that is, when the number of features to keep are fixed a priori, or when the decision of the subset cardinality is part of the process.
翻訳日:2022-11-21 02:20:47 公開日:2020-06-15
# スパイクニューラルネットワークにおける漏れの影響の理解に向けて

Towards Understanding the Effect of Leak in Spiking Neural Networks ( http://arxiv.org/abs/2006.08761v1 )

ライセンス: Link先を確認
Sayeed Shafayet Chowdhury, Chankyu Lee and Kaushik Roy(参考訳) スパイクニューラルネットワーク(snn)は、ノイズの多いスパイク活動で機能を堅牢かつ効率的に学習し計算できる人間の脳の驚くべき能力を模倣するために研究されている。 様々なスパイキングニューロンモデルが生物学的神経機能に類似するように提案されている。 生体適合性のレベルが異なるため、これらのモデルは膜電位と呼ばれる内部状態のリーク経路を含むことが多い。 リークモデルはより生物学的に証明可能であると議論されているが、純粋に計算的な観点からのリークのないモデル間の比較分析には注意が必要である。 本稿では,漏洩の正当性に関する問題点と,漏洩挙動を利用した場合の利点と欠点について考察する。 その結果, 漏洩ニューロンモデルにより, 漏れのないモデルに比べ, 堅牢性が向上し, 一般化性が向上することがわかった。 しかし、リークは共通の概念に反して計算のスパーシティを減少させる。 周波数領域解析により,入力からの高周波成分の除去における漏洩の影響を実証し,雑音のスパイク入力に対してsnがより頑健になることを示す。

Spiking Neural Networks (SNNs) are being explored to emulate the astounding capabilities of human brain that can learn and compute functions robustly and efficiently with noisy spiking activities. A variety of spiking neuron models have been proposed to resemble biological neuronal functionalities. With varying levels of bio-fidelity, these models often contain a leak path in their internal states, called membrane potentials. While the leaky models have been argued as more bioplausible, a comparative analysis between models with and without leak from a purely computational point of view demands attention. In this paper, we investigate the questions regarding the justification of leak and the pros and cons of using leaky behavior. Our experimental results reveal that leaky neuron model provides improved robustness and better generalization compared to models with no leak. However, leak decreases the sparsity of computation contrary to the common notion. Through a frequency domain analysis, we demonstrate the effect of leak in eliminating the high-frequency components from the input, thus enabling SNNs to be more robust against noisy spike-inputs.
翻訳日:2022-11-21 02:13:52 公開日:2020-06-15
# 深い因果グラフを用いた因果推論

Causal Inference with Deep Causal Graphs ( http://arxiv.org/abs/2006.08380v1 )

ライセンス: Link先を確認
\'Alvaro Parafita and Jordi Vitri\`a(参考訳) パラメトリック因果モデリング技術は、しばしばモデリングの複雑さを犠牲にして、カウンターファクトな推定のための機能を提供することは滅多にない。 因果推定はデータのモデル化に使用される関数の族に依存するため、単純化モデルは生成機構の不正確な特徴を補うことができ、結果として信頼性の低い結果が得られる。 これにより、非線形関係と変数間の高い相互作用により、実際のデータセットへの適用性が制限される。 我々は、ニューラルネットワークが因果分布をモデル化するために必要な機能の抽象的な仕様であるDeep Causal Graphsを提案し、この契約を満たすモデルを提供する:因果フローの正規化。 複雑な相互作用をモデル化する上で,その表現力を示し,真の因果反事実を用いて,機械学習の説明可能性と公平性を示す。

Parametric causal modelling techniques rarely provide functionality for counterfactual estimation, often at the expense of modelling complexity. Since causal estimations depend on the family of functions used to model the data, simplistic models could entail imprecise characterizations of the generative mechanism, and, consequently, unreliable results. This limits their applicability to real-life datasets, with non-linear relationships and high interaction between variables. We propose Deep Causal Graphs, an abstract specification of the required functionality for a neural network to model causal distributions, and provide a model that satisfies this contract: Normalizing Causal Flows. We demonstrate its expressive power in modelling complex interactions and showcase applications of the method to machine learning explainability and fairness, using true causal counterfactuals.
翻訳日:2022-11-21 02:12:45 公開日:2020-06-15
# 事前訓練の有無:資源豊富な課題における事前訓練のメリットの検討

To Pretrain or Not to Pretrain: Examining the Benefits of Pretraining on Resource Rich Tasks ( http://arxiv.org/abs/2006.08671v1 )

ライセンス: Link先を確認
Sinong Wang, Madian Khabsa, Hao Ma(参考訳) Masked Language Model (MLM) の目的を持ったNLPモデルの事前学習は、最近多くのタスクにおいて大幅な改善をもたらした。 本稿では,ダウンストリームタスクで使用するトレーニングサンプル数の関数として,事前学習モデルの利点について検討する。 いくつかのテキスト分類タスクにおいて、トレーニング例の数が数百万に増加するにつれて、細調整BERTモデルと訓練バニラLSTMとの精度のギャップがスクラッチ狭さから1%以内になることを示す。 以上の結果から,教師付きデータサイズが大幅に増加するにつれて,mlmモデルがリターンポイントを減少させる可能性が示唆された。

Pretraining NLP models with variants of Masked Language Model (MLM) objectives has recently led to a significant improvements on many tasks. This paper examines the benefits of pretrained models as a function of the number of training samples used in the downstream task. On several text classification tasks, we show that as the number of training examples grow into the millions, the accuracy gap between finetuning BERT-based model and training vanilla LSTM from scratch narrows to within 1%. Our findings indicate that MLM-based models might reach a diminishing return point as the supervised data size increases significantly.
翻訳日:2022-11-21 02:12:20 公開日:2020-06-15