このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス(CC 0, CC BY, CC BY-SA)の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。(arxivのメタデータは CC 0です。) 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。

本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。

公開日が20200905となっている論文です。

PDF登録状況(公開日: 20200905)

TitleAuthorsAbstract論文公表日・翻訳日
# 部分ラベル学習のための真のラベルのプログレッシブ同定

Progressive Identification of True Labels for Partial-Label Learning ( http://arxiv.org/abs/2002.08053v3 )

ライセンス: Link先を確認
Jiaqi Lv, Miao Xu, Lei Feng, Gang Niu, Xin Geng, Masashi Sugiyama(参考訳) 部分ラベル学習 (pll) は典型的な弱い教師付き学習問題であり、各トレーニングインスタンスには1つだけが真のラベルである候補ラベルのセットが備えられている。 既存のほとんどの手法は、特定の方法で解決しなければならない制約付き最適化として学習目標を精巧に設計し、その計算複雑性をビッグデータにスケールアップするボトルネックにする。 本研究の目的は、モデルと最適化アルゴリズムの柔軟性を備えたPLLの新しいフレームワークを提案することである。 具体的には,分類リスクの新たな推定器を提案し,理論的に分類器の一貫性を分析し,推定誤差境界を確立する。 そこで我々は,モデルのアップデートと真のラベルの識別をシームレスに行う,提案したリスク推定器を大まかに最小化するプログレッシブ同定アルゴリズムを提案する。 得られたアルゴリズムはモデル独立で損失独立であり、確率最適化と互換性がある。 徹底した実験は、新しい芸術の状態を実証する。

Partial-label learning (PLL) is a typical weakly supervised learning problem, where each training instance is equipped with a set of candidate labels among which only one is the true label. Most existing methods elaborately designed learning objectives as constrained optimizations that must be solved in specific manners, making their computational complexity a bottleneck for scaling up to big data. The goal of this paper is to propose a novel framework of PLL with flexibility on the model and optimization algorithm. More specifically, we propose a novel estimator of the classification risk, theoretically analyze the classifier-consistency, and establish an estimation error bound. Then we propose a progressive identification algorithm for approximately minimizing the proposed risk estimator, where the update of the model and identification of true labels are conducted in a seamless manner. The resulting algorithm is model-independent and loss-independent, and compatible with stochastic optimization. Thorough experiments demonstrate it sets the new state of the art.
翻訳日:2022-12-30 13:10:26 公開日:2020-09-05
# 弱反転ネットワークによる逆問題の数値解法

Numerical Solution of Inverse Problems by Weak Adversarial Networks ( http://arxiv.org/abs/2002.11340v2 )

ライセンス: Link先を確認
Gang Bao, Xiaojing Ye, Yaohua Zang, Haomin Zhou(参考訳) 本稿では,電気インピーダンストモグラフィーや動的インピーダンストモグラフィーなど,逆問題の種類を数値的に解くための弱い対向ネットワーク手法を検討する。 我々は与えられた逆問題におけるPDEの弱い定式化を活用し、解とテスト関数をディープニューラルネットワークとしてパラメータ化する。 弱い定式化と境界条件は、ネットワークパラメータのサドル関数のミニマックス問題を引き起こす。 パラメータが更新されるにつれて、ネットワークは徐々に逆問題の解を近似する。 提案アルゴリズムの収束に関する理論的正当性を提供する。 提案手法は空間的離散化を伴わずに完全にメッシュフリーであり,特に高次元および低規則性解問題に適している。 様々なテスト逆問題に関する数値実験により,提案手法の精度と効率性を示す。

We consider a weak adversarial network approach to numerically solve a class of inverse problems, including electrical impedance tomography and dynamic electrical impedance tomography problems. We leverage the weak formulation of PDE in the given inverse problem, and parameterize the solution and the test function as deep neural networks. The weak formulation and the boundary conditions induce a minimax problem of a saddle function of the network parameters. As the parameters are alternatively updated, the network gradually approximates the solution of the inverse problem. We provide theoretical justifications on the convergence of the proposed algorithm. Our method is completely mesh-free without any spatial discretization, and is particularly suitable for problems with high dimensionality and low regularity on solutions. Numerical experiments on a variety of test inverse problems demonstrate the promising accuracy and efficiency of our approach.
翻訳日:2022-12-28 16:01:39 公開日:2020-09-05
# 訓練をやめない攻撃は、敵の学習を強くする

Attacks Which Do Not Kill Training Make Adversarial Learning Stronger ( http://arxiv.org/abs/2002.11242v2 )

ライセンス: Link先を確認
Jingfeng Zhang, Xilie Xu, Bo Han, Gang Niu, Lizhen Cui, Masashi Sugiyama, Mohan Kankanhalli(参考訳) ミニマックスの定式化に基づく対向訓練は、訓練モデルの対向的ロバスト性を得るために必要である。 しかし、保守的あるいは悲観的であるため、自然の一般化を損なうこともある。 本稿では,自然一般化を敵対的ロバスト性から切り離さなければならないかという根本的な疑問を提起する。 敵のトレーニングは、現在のモデルを更新するために自信のある敵のデータを活用することである。 本研究は、損失を最大化するほとんどの敵データを活用するのではなく、損失を最小化する最小の敵データ(すなわち、友好的敵データ)を確実に分類した敵データの中から探索する。 我々の新しい定式化は、PGD(投射勾配降下)のような最も敵対的なデータ探索アルゴリズムを早期に停止させることで実装が容易である。 理論的には、FATは敵のリスクの上界によって正当化される。 経験的に、初期のPGDは、初期の質問に否定的に答えることができる。--逆の堅牢性は、自然な一般化を妥協することなく、実際に達成できる。

Adversarial training based on the minimax formulation is necessary for obtaining adversarial robustness of trained models. However, it is conservative or even pessimistic so that it sometimes hurts the natural generalization. In this paper, we raise a fundamental question---do we have to trade off natural generalization for adversarial robustness? We argue that adversarial training is to employ confident adversarial data for updating the current model. We propose a novel approach of friendly adversarial training (FAT): rather than employing most adversarial data maximizing the loss, we search for least adversarial (i.e., friendly adversarial) data minimizing the loss, among the adversarial data that are confidently misclassified. Our novel formulation is easy to implement by just stopping the most adversarial data searching algorithms such as PGD (projected gradient descent) early, which we call early-stopped PGD. Theoretically, FAT is justified by an upper bound of the adversarial risk. Empirically, early-stopped PGD allows us to answer the earlier question negatively---adversarial robustness can indeed be achieved without compromising the natural generalization.
翻訳日:2022-12-28 14:07:07 公開日:2020-09-05
# レーン・チェンジシナリオにおける多車間相互作用パターンの時空間学習

Spatiotemporal Learning of Multivehicle Interaction Patterns in Lane-Change Scenarios ( http://arxiv.org/abs/2003.00759v2 )

ライセンス: Link先を確認
Chengyuan Zhang, Jiacheng Zhu, Wenshuo Wang, Junqiang Xi(参考訳) 共通の相互作用シナリオの解釈は、自動運転車の確立された意思決定に有用である。 従来の研究は、事前定義されたモデルを持つ特定のシナリオに関する事前の知識を使ってこれを達成し、適応能力を制限した。 本稿では、連続(ガウス過程)と離散(ディリクレ過程)の確率過程を利用して、エゴ車両と他の車両との相互作用パターンを明らかにするベイズ非パラメトリックアプローチについて述べる。 本モデルでは,ガウス過程に基づく加速感度速度場を開発することにより,周辺車両数への依存を緩和する。 実験の結果,速度場はエゴ車とその周囲の空間的相互作用を表現できることがわかった。 次に、ディリクレ過程と隠れマルコフモデルを統合する離散ベイズ非パラメトリックモデルを開発し、逐次的相互作用データを解釈可能な粒度パターンに分割・クラスタリングすることで、時間空間上の相互作用パターンを学習する。 次に、実環境から収集した高Dデータセットを用いて、ハイウェイレーン変更シナリオにおけるアプローチを評価する。 その結果,提案するベイズ型非パラメトリックアプローチは,解釈可能な相互作用パターンと時間的関係における遷移特性に基づいて,複数のトラヒック参加者とのego車両の複雑な車線変更相互作用に関する洞察を与える。 提案手法は,車とペデストリアンの相互作用など,他の種類のマルチエージェント相互作用を効率的に解析することに光を当てる。 デモはhttps://youtu.be/z_vf9UHtdAMで見ることができる。

Interpretation of common-yet-challenging interaction scenarios can benefit well-founded decisions for autonomous vehicles. Previous research achieved this using their prior knowledge of specific scenarios with predefined models, limiting their adaptive capabilities. This paper describes a Bayesian nonparametric approach that leverages continuous (i.e., Gaussian processes) and discrete (i.e., Dirichlet processes) stochastic processes to reveal underlying interaction patterns of the ego vehicle with other nearby vehicles. Our model relaxes dependency on the number of surrounding vehicles by developing an acceleration-sensitive velocity field based on Gaussian processes. The experiment results demonstrate that the velocity field can represent the spatial interactions between the ego vehicle and its surroundings. Then, a discrete Bayesian nonparametric model, integrating Dirichlet processes and hidden Markov models, is developed to learn the interaction patterns over the temporal space by segmenting and clustering the sequential interaction data into interpretable granular patterns automatically. We then evaluate our approach in the highway lane-change scenarios using the highD dataset collected from real-world settings. Results demonstrate that our proposed Bayesian nonparametric approach provides an insight into the complicated lane-change interactions of the ego vehicle with multiple surrounding traffic participants based on the interpretable interaction patterns and their transition properties in temporal relationships. Our proposed approach sheds light on efficiently analyzing other kinds of multi-agent interactions, such as vehicle-pedestrian interactions. View the demos via https://youtu.be/z_vf9UHtdAM.
翻訳日:2022-12-27 05:51:05 公開日:2020-09-05
# Deep-n-Cheap:低複雑性ディープラーニングのための自動検索フレームワーク

Deep-n-Cheap: An Automated Search Framework for Low Complexity Deep Learning ( http://arxiv.org/abs/2004.00974v3 )

ライセンス: Link先を確認
Sourya Dey, Saikrishna C. Kanala, Keith M. Chugg, Peter A. Beerel(参考訳) 私たちはディープラーニングモデルを探すためのオープンソースのAutoMLフレームワークであるDeep-n-Cheapを紹介します。 この検索には、アーキテクチャとトレーニングの両方のハイパーパラメータが含まれ、畳み込みニューラルネットワークと多層パーセプトロンをサポートする。 我々のフレームワークは、ベンチマークとカスタムデータセットの両方にデプロイすることを目的としており、その結果、文献から既存のモデルのみに対するより限定的な検索に比べて、検索空間のカスタマイズ性が高い。 また、フレームワークから複数のデータセットへのモデルの一般化機能を示す「検索転送」技術についても紹介する。 Deep-n-Cheapには、トレーニング時間やパラメータ数とパフォーマンスをトレードオフする、ユーザ管理可能な複雑性ペナルティが含まれている。 特に、私たちのフレームワークは、他のautomlおよびモデル検索フレームワークのモデルよりも1-2桁のトレーニング時間を要しながら、最先端に匹敵するパフォーマンスを提供するモデルを提供します。 さらに本研究は,検索過程に関する様々な知見を調査し,展開する。 特に,欲望戦略の優越性を示し,ランダム/グリッド探索よりもベイズ最適化を第一の探索方法論として正当化する。

We present Deep-n-Cheap -- an open-source AutoML framework to search for deep learning models. This search includes both architecture and training hyperparameters, and supports convolutional neural networks and multi-layer perceptrons. Our framework is targeted for deployment on both benchmark and custom datasets, and as a result, offers a greater degree of search space customizability as compared to a more limited search over only pre-existing models from literature. We also introduce the technique of 'search transfer', which demonstrates the generalization capabilities of the models found by our framework to multiple datasets. Deep-n-Cheap includes a user-customizable complexity penalty which trades off performance with training time or number of parameters. Specifically, our framework results in models offering performance comparable to state-of-the-art while taking 1-2 orders of magnitude less time to train than models from other AutoML and model search frameworks. Additionally, this work investigates and develops various insights regarding the search process. In particular, we show the superiority of a greedy strategy and justify our choice of Bayesian optimization as the primary search methodology over random / grid search.
翻訳日:2022-12-19 04:27:52 公開日:2020-09-05
# 多言語ニューラルマシン翻訳のためのバランストレーニング

Balancing Training for Multilingual Neural Machine Translation ( http://arxiv.org/abs/2004.06748v4 )

ライセンス: Link先を確認
Xinyi Wang, Yulia Tsvetkov, Graham Neubig(参考訳) 複数の言語への翻訳が可能なマルチ言語機械翻訳(MT)モデルをトレーニングする場合、私たちは不均衡なトレーニングセットに直面します。 標準的な実践は、より少ないリソース言語をサンプリングして表現を増加させることであり、アップサンプリングの度合いが全体的なパフォーマンスに大きな影響を与える。 本稿では,すべてのテスト言語の性能を最大化するために最適化されたデータスコアラを用いて,トレーニングデータの重み付けを自動的に学習する手法を提案する。 1対1のMT設定と多対1のMT設定の2つの言語に対する実験は、平均性能においてヒューリスティックベースラインを一貫して上回るだけでなく、どの言語が最適化されているかを柔軟に制御できることを示している。

When training multilingual machine translation (MT) models that can translate to/from multiple languages, we are faced with imbalanced training sets: some languages have much more training data than others. Standard practice is to up-sample less resourced languages to increase representation, and the degree of up-sampling has a large effect on the overall performance. In this paper, we propose a method that instead automatically learns how to weight training data through a data scorer that is optimized to maximize performance on all test languages. Experiments on two sets of languages under both one-to-many and many-to-one MT settings show our method not only consistently outperforms heuristic baselines in terms of average performance, but also offers flexible control over the performance of which languages are optimized.
翻訳日:2022-12-13 09:41:17 公開日:2020-09-05
# ApplicaAI at SemEval-2020 Task 11: On RoBERTa-CRF, Span CLS and whether self-Training help them

ApplicaAI at SemEval-2020 Task 11: On RoBERTa-CRF, Span CLS and Whether Self-Training Helps Them ( http://arxiv.org/abs/2005.07934v2 )

ライセンス: Link先を確認
Dawid Jurkiewicz, {\L}ukasz Borchmann, Izabela Kosmala, Filip Grali\'nski(参考訳) 本稿では,プロパガンダ技術分類(TC)タスクの当選システムと,プロパガンダスパン識別(SI)タスクの第2位システムについて述べる。 TCタスクの目的は,プロパガンダテキストフラグメントを付与した適用プロパガンダ技術を特定することである。 siタスクの目的は、少なくとも1つのプロパガンダ技術を含む特定のテキストフラグメントを見つけることだった。 いずれのソリューションも、半教師付き学習技術を用いて自己学習を行った。 興味深いことに、CRFはトランスフォーマーベースの言語モデルではほとんど使われていないが、SIタスクはRoBERTa-CRFアーキテクチャでアプローチされた。 本稿では,本論文で紹介したSpan CLSレイヤを用いて,RoBERTaをベースとしたモデルのアンサンブルを提案する。 提案したシステムを説明することに加えて,アーキテクチャ決定とトレーニングスキームの影響を,より低い計算予算で同じ又はより良い品質のトレーニングモデルについて考察した。 最後に,誤差解析の結果を示す。

This paper presents the winning system for the propaganda Technique Classification (TC) task and the second-placed system for the propaganda Span Identification (SI) task. The purpose of TC task was to identify an applied propaganda technique given propaganda text fragment. The goal of SI task was to find specific text fragments which contain at least one propaganda technique. Both of the developed solutions used semi-supervised learning technique of self-training. Interestingly, although CRF is barely used with transformer-based language models, the SI task was approached with RoBERTa-CRF architecture. An ensemble of RoBERTa-based models was proposed for the TC task, with one of them making use of Span CLS layers we introduce in the present paper. In addition to describing the submitted systems, an impact of architectural decisions and training schemes is investigated along with remarks regarding training models of the same or better quality with lower computational budget. Finally, the results of error analysis are presented.
翻訳日:2022-12-02 13:25:31 公開日:2020-09-05
# 医用画像のための差分プライベート残差ネットワークのベンチマーク

Benchmarking Differentially Private Residual Networks for Medical Imagery ( http://arxiv.org/abs/2005.13099v5 )

ライセンス: Link先を確認
Sahib Singh, Harshvardhan Sikka, Sasikanth Kotti, Andrew Trask(参考訳) 本稿では,医療画像に適用した場合,$\epsilon$-differential Privacy (DP) の有効性を評価する。 我々は,ローカルdpとdp-sgdの2つのロバストなディファレンシャルプライバシメカニズムを比較し,医療画像記録の解析におけるパフォーマンスをベンチマークする。 モデルの正確性と保証するプライバシのレベルとのトレードオフを分析し、これらの理論的なプライバシ保証が実際の医療環境において実際にどの程度有用であるかを評価する。

In this paper we measure the effectiveness of $\epsilon$-Differential Privacy (DP) when applied to medical imaging. We compare two robust differential privacy mechanisms: Local-DP and DP-SGD and benchmark their performance when analyzing medical imagery records. We analyze the trade-off between the model's accuracy and the level of privacy it guarantees, and also take a closer look to evaluate how useful these theoretical privacy guarantees actually prove to be in the real world medical setting.
翻訳日:2022-11-28 08:02:29 公開日:2020-09-05
# ガウス過程因子分析を用いた時間分解fMRI共有応答モデル

Time-Resolved fMRI Shared Response Model using Gaussian Process Factor Analysis ( http://arxiv.org/abs/2006.05572v2 )

ライセンス: Link先を確認
MohammadReza Ebrahimi, Navona Calarco, Kieran Campbell, Colin Hawco, Aristotle Voineskos, Ashish Khisti(参考訳) マルチオブジェクトfMRI研究は、参加者間の脳解剖学と機能的脳トポグラフィーの両方の多様性が高いため、難しい。 多目的fMRIデータを集約する効果的な方法は、被験者間の望ましくない変動をフィルタリングする共有表現を抽出することである。 近年の研究では、タスクfMRIで共有表現を抽出するために確率モデルを実装している。 本研究では,共通潜在構造に時間情報を取り込むことにより,これらのモデルを改善する。 我々は,fMRIデータにおける時間相関をモデル化しながら,共有潜在軌道と主観的機能的トポグラフィーを検出する新しいモデルである共有ガウス過程因子分析(S-GPFA)を導入する。 シミュレーションデータを用いて地中真理潜伏構造を明らかにする上で,本モデルの有効性を実証し,公開可能なRaiderおよびSherlockデータセット上での時間分割マッチングとオブジェクト間類似性の実験的性能を再現した。 我々は,統合失調症患者の社会的認知タスクにおいて,学習したモデルパラメータを多地点SPINSデータセットで分析することにより,モデルの有用性をさらに検証する。

Multi-subject fMRI studies are challenging due to the high variability of both brain anatomy and functional brain topographies across participants. An effective way of aggregating multi-subject fMRI data is to extract a shared representation that filters out unwanted variability among subjects. Some recent work has implemented probabilistic models to extract a shared representation in task fMRI. In the present work, we improve upon these models by incorporating temporal information in the common latent structures. We introduce a new model, Shared Gaussian Process Factor Analysis (S-GPFA), that discovers shared latent trajectories and subject-specific functional topographies, while modelling temporal correlation in fMRI data. We demonstrate the efficacy of our model in revealing ground truth latent structures using simulated data, and replicate experimental performance of time-segment matching and inter-subject similarity on the publicly available Raider and Sherlock datasets. We further test the utility of our model by analyzing its learned model parameters in the large multi-site SPINS dataset, on a social cognition task from participants with and without schizophrenia.
翻訳日:2022-11-23 05:23:05 公開日:2020-09-05
# 計算階層における意識理論の形式化Falsification

Formalizing Falsification for Theories of Consciousness Across Computational Hierarchies ( http://arxiv.org/abs/2006.07390v2 )

ライセンス: Link先を確認
Jake R. Hanson and Sara I. Walker(参考訳) 意識に関する科学的研究は、現在提案されている理論が科学的妥当性で評価できるかどうかに関する急速に発展する科学的議論の形で、批判的な変化を遂げている。 この議論の最前線は統合情報理論(Integration Information Theory, IIT)であり、これは意識の量化という意味でのスカラーな数学的尺度である$\Phi$(原理的には測定可能)によって、意識の卓越した理論として広く見なされている。 展開する議論」という形での認識論的問題は、それがどのように機能的に同一のシステムをその予測された意識に違いをもたらすかを示すことによって、iitを反論している。 その意味は、IITとシステムの因果構造に基づく他の理論は、実験的な反発がなくても、既に偽造されている可能性があるということである。 しかし、今のところ意識論の改ざん問題に関する議論は、その妥当性の範囲を容易に決定するには抽象的すぎる。 ここでは,この抽象的な議論を具体化するために,関数的に等価な機械の簡単な例を表上電子回路で実現し,フィードバックを伴わずにディジタル回路の同型化を実現する。 これにより、意識理論を評価できる抽象化のさまざまなレベルを明示的に示すことができます。 この計算階層内では、IITが有限状態オートマトン(FSA)レベルで同時にファルシファイドされ、組合せ状態オートマトン(CSA)レベルでは不可能であることを示す。 この例は、意識理論のより一般的な基準のセットを説明するために用いられる: 認識論は、計算階層において所定のレベルに固定された推論手順を残す変化に関して、不当である、あるいは既に偽装された科学理論は不変でなければならない。

The scientific study of consciousness is currently undergoing a critical transition in the form of a rapidly evolving scientific debate regarding whether or not currently proposed theories can be assessed for their scientific validity. At the forefront of this debate is Integrated Information Theory (IIT), widely regarded as the preeminent theory of consciousness because of its quantification of consciousness in terms a scalar mathematical measure called $\Phi$ that is, in principle, measurable. Epistemological issues in the form of the "unfolding argument" have provided a refutation of IIT by demonstrating how it permits functionally identical systems to have differences in their predicted consciousness. The implication is that IIT and any other proposed theory based on a system's causal structure may already be falsified even in the absence of experimental refutation. However, so far the arguments surrounding the issue of falsification of theories of consciousness are too abstract to readily determine the scope of their validity. Here, we make these abstract arguments concrete by providing a simple example of functionally equivalent machines realizable with table-top electronics that take the form of isomorphic digital circuits with and without feedback. This allows us to explicitly demonstrate the different levels of abstraction at which a theory of consciousness can be assessed. Within this computational hierarchy, we show how IIT is simultaneously falsified at the finite-state automaton (FSA) level and unfalsifiable at the combinatorial state automaton (CSA) level. We use this example to illustrate a more general set of criteria for theories of consciousness: to avoid being unfalsifiable or already falsified scientific theories of consciousness must be invariant with respect to changes that leave the inference procedure fixed at a given level in a computational hierarchy.
翻訳日:2022-11-22 04:35:27 公開日:2020-09-05
# ルーマニアにおけるcovid-19の進化予測のための自己教師付き神経分析法

A self-supervised neural-analytic method to predict the evolution of COVID-19 in Romania ( http://arxiv.org/abs/2006.12926v2 )

ライセンス: Link先を確認
Radu D. Stochi\c{t}oiu, Marian Petrica, Traian Rebedea, Ionel Popescu, Marius Leordeanu(参考訳) 新型コロナウイルス(COVID-19)パンデミックの感染と進化を分析し、理解するには、最高の社会・医療政策を設計し、その結果を予測し、その後の社会・経済効果に対処することが義務付けられている。 我々はこの重要な問題を計算と機械学習の観点から解決する。 具体的には、ルーマニアの患者に基づいて、再生数、死亡率、感染期間の長さなど、新型コロナウイルスに関連するすべてのパラメータを統計的に推定し、将来の結果を予測したいと思っています。 この取り組みは、これらの要因が世界中で異なることがよく知られており、社会的、医学的、年齢的、遺伝的要因など多くの原因に依存している。 我々は、感染症の古典的な確立されたモデルであるSEIRの改良版を使用している。 ルーマニアにおけるパンデミックの進化を支配するモデルの全てのパラメータを、死者数である唯一の信頼できる真の測定に基づいて推測したい。 モデルパラメータが見積もられたら、汚染された人や感染した人の数など、他のすべての関連する指標を予測できます。 そこで本研究では, 日々の死亡件数から, 修正SEIRモデルパラメータの正しいセットを推定するために, 深層畳み込みネットワークを訓練する自己教師型アプローチを提案する。 次に,確率的座標降下法を用いて解を洗練する。 ディープラーニングの最適化手法を従来のグリッド探索手法と比較し,計算時間と予測精度に大きな改善点を示す。 ルーマニアの死亡率が約0.3%のケースで楽観的な結果が得られ、このモデルが今後3週間にわたって毎日の死亡数を正確に予測できることも示しています。

Analysing and understanding the transmission and evolution of the COVID-19 pandemic is mandatory to be able to design the best social and medical policies, foresee their outcomes and deal with all the subsequent socio-economic effects. We address this important problem from a computational and machine learning perspective. More specifically, we want to statistically estimate all the relevant parameters for the new coronavirus COVID-19, such as the reproduction number, fatality rate or length of infectiousness period, based on Romanian patients, as well as be able to predict future outcomes. This endeavor is important, since it is well known that these factors vary across the globe, and might be dependent on many causes, including social, medical, age and genetic factors. We use a recently published improved version of SEIR, which is the classic, established model for infectious diseases. We want to infer all the parameters of the model, which govern the evolution of the pandemic in Romania, based on the only reliable, true measurement, which is the number of deaths. Once the model parameters are estimated, we are able to predict all the other relevant measures, such as the number of exposed and infectious people. To this end, we propose a self-supervised approach to train a deep convolutional network to guess the correct set of Modified-SEIR model parameters, given the observed number of daily fatalities. Then, we refine the solution with a stochastic coordinate descent approach. We compare our deep learning optimization scheme with the classic grid search approach and show great improvement in both computational time and prediction accuracy. We find an optimistic result in the case fatality rate for Romania which may be around 0.3% and we also demonstrate that our model is able to correctly predict the number of daily fatalities for up to three weeks in the future.
翻訳日:2022-11-17 23:56:39 公開日:2020-09-05
# RayS: ハードラベル対向攻撃のための線探索法

RayS: A Ray Searching Method for Hard-label Adversarial Attack ( http://arxiv.org/abs/2006.12792v2 )

ライセンス: Link先を確認
Jinghui Chen and Quanquan Gu(参考訳) ディープニューラルネットワークは敵の攻撃に弱い。 様々な攻撃設定の中で最も難しいのは、攻撃者がターゲットモデルのハードラベル出力(予測ラベル)のみにアクセスするハードラベル設定である。 以前の試みでは、攻撃の成功率や、広く使われている$L_\infty$標準脅威モデルの下でのクエリの複雑さの観点からは、十分な効果が得られなかった。 本稿では,ハードラベル攻撃の有効性と効率を大幅に向上させるレイサーチアタック(rays)について述べる。 従来の研究とは異なり、最寄りの決定境界を求める連続的な問題をゼロ次勾配推定を必要としない離散問題に再編成する。 一方、不要な検索はすべて、高速チェックステップによって排除される。 これは、ハードラベル攻撃に必要なクエリ数を大幅に削減します。 さらに興味深いことに,提案する光線攻撃は,可能な"極めてロバストな"モデルに対する健全性チェックとしても使用できることがわかった。 最近提案された、最先端のロバストな正確性を達成するための防御策のいくつかでは、現在のホワイトボックス/ブラックボックス攻撃は、セキュリティの誤った感覚を与え、最も人気のあるpgd攻撃とレイ攻撃の間のロバストな精度低下は最大28\%$であることを示している。 我々の提案するrays攻撃は、ほとんどのホワイトボックス/ブラックボックス攻撃を打ち負かす誤ったロバストなモデルを特定するのに役立つと信じています。

Deep neural networks are vulnerable to adversarial attacks. Among different attack settings, the most challenging yet the most practical one is the hard-label setting where the attacker only has access to the hard-label output (prediction label) of the target model. Previous attempts are neither effective enough in terms of attack success rate nor efficient enough in terms of query complexity under the widely used $L_\infty$ norm threat model. In this paper, we present the Ray Searching attack (RayS), which greatly improves the hard-label attack effectiveness as well as efficiency. Unlike previous works, we reformulate the continuous problem of finding the closest decision boundary into a discrete problem that does not require any zeroth-order gradient estimation. In the meantime, all unnecessary searches are eliminated via a fast check step. This significantly reduces the number of queries needed for our hard-label attack. Moreover, interestingly, we found that the proposed RayS attack can also be used as a sanity check for possible "falsely robust" models. On several recently proposed defenses that claim to achieve the state-of-the-art robust accuracy, our attack method demonstrates that the current white-box/black-box attacks could still give a false sense of security and the robust accuracy drop between the most popular PGD attack and RayS attack could be as large as $28\%$. We believe that our proposed RayS attack could help identify falsely robust models that beat most white-box/black-box attacks.
翻訳日:2022-11-17 21:34:47 公開日:2020-09-05
# 物体検出のためのIoU予測による確率的アンカーアサインメント

Probabilistic Anchor Assignment with IoU Prediction for Object Detection ( http://arxiv.org/abs/2007.08103v2 )

ライセンス: Link先を確認
Kang Kim and Hee Seok Lee(参考訳) オブジェクト検出において、どのアンカーを正または負のサンプルとして割り当てるかを決定するアンカー割り当ては、モデルの性能に大きく影響を与えるコアプロシージャとして明らかにされている。 本稿では,モデルの学習状態に応じて,基底真理バウンディングボックスに対してアンカーを正と負のサンプルに適応的に分離する新しいアンカー割当て戦略を提案する。 そこで,まずモデルに条件づけられたアンカーのスコアを計算し,そのスコアに確率分布を適合させる。 モデルは、確率に応じて正と負のサンプルに分離されたアンカーで訓練される。 さらに, 学習目標とテスト目標のギャップを調査し, 検出されたボックスの交点オーバー結合を局所的品質の尺度として予測し, ばらつきを低減することを提案する。 非最大抑制ウェルにおけるボックス選択指標としての分類と局所性の組み合わせスコアは、提案されたアンカー割り当て戦略と一致し、大幅なパフォーマンス改善をもたらす。 提案手法はRetinaNetベースラインに1つの畳み込み層のみを追加し,複数のアンカーを必要としないため,効率がよい。 提案手法の有効性を実験的に検証した。 特に本モデルでは,MS COCO test-dev データセットに種々のバックボーンを持つ単段検出器を新たに設定した。 コードはhttps://github.com/kkhoot/paaで入手できる。

In object detection, determining which anchors to assign as positive or negative samples, known as anchor assignment, has been revealed as a core procedure that can significantly affect a model's performance. In this paper we propose a novel anchor assignment strategy that adaptively separates anchors into positive and negative samples for a ground truth bounding box according to the model's learning status such that it is able to reason about the separation in a probabilistic manner. To do so we first calculate the scores of anchors conditioned on the model and fit a probability distribution to these scores. The model is then trained with anchors separated into positive and negative samples according to their probabilities. Moreover, we investigate the gap between the training and testing objectives and propose to predict the Intersection-over-Unions of detected boxes as a measure of localization quality to reduce the discrepancy. The combined score of classification and localization qualities serving as a box selection metric in non-maximum suppression well aligns with the proposed anchor assignment strategy and leads significant performance improvements. The proposed methods only add a single convolutional layer to RetinaNet baseline and does not require multiple anchors per location, so are efficient. Experimental results verify the effectiveness of the proposed methods. Especially, our models set new records for single-stage detectors on MS COCO test-dev dataset with various backbones. Code is available at https://github.com/kkhoot/PAA.
翻訳日:2022-11-09 23:16:49 公開日:2020-09-05
# CNNエンコーダとインクリメンタルラーニング : 深層強化学習の代替として

Analysis of Social Robotic Navigation approaches: CNN Encoder and Incremental Learning as an alternative to Deep Reinforcement Learning ( http://arxiv.org/abs/2008.07965v2 )

ライセンス: Link先を確認
Janderson Ferreira (1), Agostinho A. F. J\'unior (1), Let\'icia Castro (1), Yves M. Galv\~ao (1), Pablo Barros (2), Bruno J. T. Fernandes (1) ((1) Universidade de Pernambuco - Escola Polit\'ecnica de Pernambuco, (2) Cognitive Architecture for Collaborative Technologies Unit - Istituto Italiano di Tecnologia)(参考訳) ロボットシナリオにおける社会的タスクへの対処は、人間の学習ループが最先端の機械学習アルゴリズムのほとんどと互換性がないため、難しい。 これは、インクリメンタル学習モデル、特に強化学習を伴うモデルを検討する場合です。 本研究では,ソーシャルナビゲーションタスクのための適応畳み込みエンコーダに関する以前の研究を分析し,この問題と解決の可能性について論じる。

Dealing with social tasks in robotic scenarios is difficult, as having humans in the learning loop is incompatible with most of the state-of-the-art machine learning algorithms. This is the case when exploring Incremental learning models, in particular the ones involving reinforcement learning. In this work, we discuss this problem and possible solutions by analysing a previous study on adaptive convolutional encoders for a social navigation task.
翻訳日:2022-10-27 21:02:34 公開日:2020-09-05
# 新型コロナウイルス(covid-19)治療としてのヒドロキシクロロキンの有効性に関するtwitter上の分極化会話に関するスタンスデータ

A Stance Data Set on Polarized Conversations on Twitter about the Efficacy of Hydroxychloroquine as a Treatment for COVID-19 ( http://arxiv.org/abs/2009.01188v2 )

ライセンス: Link先を確認
Ece \c{C}i\u{g}dem Mutlu, Toktam A. Oghaz, Jasser Jasser, Ege T\"ut\"unc\"uler, Amirarsalan Rajabi, Aida Tayebi, Ozlem Ozmen, Ivan Garibay(参考訳) この研究の時点で、新型コロナウイルスのパンデミックを引き起こしたSARS-CoV-2ウイルスは世界中に広がった。 政策や健康リスク、財務上の困難などに関する不確実性を考えると、特にtwitterプラットフォームであるオンラインメディアは、このパンデミックに関連する活動が急増している。 熱い話題の中では、未確認の疾患の治療・予防に関する議論がオンラインメディアの利用者から大きな注目を集めている。 本研究では,Twitter上でユーザ生成コンテンツのスタンスデータセットであるCOVID-CQを,COVID-19の文脈で提示する。 我々は1万4千以上のツイートを調査し,「クロロキン」と「ヒドロキシクロロキン」を新型コロナウイルス(covid-19)の治療や予防に使用することについて,ツイート開始者の意見を手作業で注釈した。 私たちの知る限り、COVID-CQは、新型コロナウイルス(COVID-19)パンデミックにおけるTwitterユーザーのスタンスの最初のデータセットであり、あらゆるドメインにおいて、ユーザーの主張に対するスタンスに設定された最大のTwitterデータです。 このデータセットをgithub経由で研究コミュニティに公開しています。 このデータセットは、このアウトブレイクに関するスタンス検出、進化と意見のダイナミクス、政策決定やイベントといった外因性ショックに対する意見の変化など、多くの研究目的に有用であると期待しています。

At the time of this study, the SARS-CoV-2 virus that caused the COVID-19 pandemic has spread significantly across the world. Considering the uncertainty about policies, health risks, financial difficulties, etc. the online media, specially the Twitter platform, is experiencing a high volume of activity related to this pandemic. Among the hot topics, the polarized debates about unconfirmed medicines for the treatment and prevention of the disease have attracted significant attention from online media users. In this work, we present a stance data set, COVID-CQ, of user-generated content on Twitter in the context of COVID-19. We investigated more than 14 thousand tweets and manually annotated the opinions of the tweet initiators regarding the use of "chloroquine" and "hydroxychloroquine" for the treatment or prevention of COVID-19. To the best of our knowledge, COVID-CQ is the first data set of Twitter users' stances in the context of the COVID-19 pandemic, and the largest Twitter data set on users' stances towards a claim, in any domain. We have made this data set available to the research community via GitHub. We expect this data set to be useful for many research purposes, including stance detection, evolution and dynamics of opinions regarding this outbreak, and changes in opinions in response to the exogenous shocks such as policy decisions and events.
翻訳日:2022-10-27 12:18:24 公開日:2020-09-05
# 現実の人々と出会うニューラルジェネレーション--感情的に刺激的な対話に向けて

Neural Generation Meets Real People: Towards Emotionally Engaging Mixed-Initiative Conversations ( http://arxiv.org/abs/2008.12348v2 )

ライセンス: Link先を確認
Ashwin Paranjape, Abigail See, Kathleen Kenealy, Haojun Li, Amelia Hardy, Peng Qi, Kaushik Ram Sadagopan, Nguyet Minh Phu, Dilara Soylu, Christopher D. Manning(参考訳) オープンドメインの対話エージェントであるchirpy cardinalを,2019年のalexa prizeコンペティションのリサーチプラットフォームとして紹介する。 このようなシステムは、広い世界の知識、会話のスタイル、感情的なつながりといった、複数のユーザの期待に応えなければならない。 当社のソーシャルボットは、ユーザーの興味や感情、自律性を優先的に利用しています。 その結果、私たちのソーシャルボットは、反応に敏感でパーソナライズされたユーザー体験を提供し、様々なトピックについて熟知し、普通の生活について共感的に話すことができる。 ニューラルジェネレーションは、これらの目標を達成する上で重要な役割を担い、会話と感情のトーンのバックボーンを提供する。 大会終了後、キルピー枢機卿は平均3.6/5.0、平均会話時間2分16秒、90分の1時間12分で決勝に進出した。

We present Chirpy Cardinal, an open-domain dialogue agent, as a research platform for the 2019 Alexa Prize competition. Building an open-domain socialbot that talks to real people is challenging - such a system must meet multiple user expectations such as broad world knowledge, conversational style, and emotional connection. Our socialbot engages users on their terms - prioritizing their interests, feelings and autonomy. As a result, our socialbot provides a responsive, personalized user experience, capable of talking knowledgeably about a wide variety of topics, as well as chatting empathetically about ordinary life. Neural generation plays a key role in achieving these goals, providing the backbone for our conversational and emotional tone. At the end of the competition, Chirpy Cardinal progressed to the finals with an average rating of 3.6/5.0, a median conversation duration of 2 minutes 16 seconds, and a 90th percentile duration of over 12 minutes.
翻訳日:2022-10-24 07:09:43 公開日:2020-09-05
# 汎用マルコフゲームのためのPAC強化学習アルゴリズム

PAC Reinforcement Learning Algorithm for General-Sum Markov Games ( http://arxiv.org/abs/2009.02605v1 )

ライセンス: Link先を確認
Ashkan Zehfroosh and Herbert G. Tanner(参考訳) 本稿では,マルチエージェント強化学習(marl)アルゴリズムを用いたマルコフゲームのための理論的枠組みを提案する。 この論文は、一般的な平均マルコフゲームのための新しいpac marlアルゴリズムを構築するために、遅延q-learningのアイデアを用いて、nash q-learningアルゴリズムの拡張を提供する。 証明可能なPAC MARLアルゴリズムの設計の指針に加え、任意のMARLアルゴリズムがPACであるかどうかを確認することができる。 比較数値結果は性能とロバスト性を示している。

This paper presents a theoretical framework for probably approximately correct (PAC) multi-agent reinforcement learning (MARL) algorithms for Markov games. The paper offers an extension to the well-known Nash Q-learning algorithm, using the idea of delayed Q-learning, in order to build a new PAC MARL algorithm for general-sum Markov games. In addition to guiding the design of a provably PAC MARL algorithm, the framework enables checking whether an arbitrary MARL algorithm is PAC. Comparative numerical results demonstrate performance and robustness.
翻訳日:2022-10-21 21:13:55 公開日:2020-09-05
# XL-MIMOシステムにおけるエネルギー効率向上のためのアンテナ選択

Antenna Selection for Improving Energy Efficiency in XL-MIMO Systems ( http://arxiv.org/abs/2009.02542v1 )

ライセンス: Link先を確認
Jos\'e Carlos Marinello, Taufik Abr\~ao, Abolfazl Amiri, Elisabeth de Carvalho, Petar Popovski(参考訳) 最近提案されている超大規模多重入力多重出力(xl-mimo)システムについて検討し,数百台のアンテナが少数のユーザを対象にしている。 配列長はユーザとの距離と同じ順序であるため、基地局(BS)の異なるアンテナによって、所定のユーザの長期フェーディング係数が変化する。 したがって、一部のアンテナが送信する信号は、他のアンテナが送信する信号よりもはるかに多くの電力でユーザーに届く可能性がある。 グリーンの観点からは、アクティブアンテナの電波周波数(RF)チェーンが総エネルギー消費を著しく増加させるため、数百から数千のアンテナを同時に活性化することは効果的ではない。 さらに、プリコーディング行列計算や短期チャネル推定などの線形処理に必要な電力も、選択されたアンテナの数が多いほど増大する。 本稿では,全エネルギー効率(EE)の最大化を目的とした,XL-MIMOシステムに展開する4つのアンテナ選択(AS)手法を提案する。 さらに,XL-MIMOシステムにおける脳波のクローズドフォーム解析式を導出し,それを最大化できる選択アンテナの最適数を決定するための簡単な反復法を提案する。 提案手法は長期化パラメータのみに基づいており、選択したアンテナセットは比較的大きな時間/周波数間隔で有効である。 結果と比較すると、遺伝アルゴリズムに基づくAS方式は、通常、最高のEE性能を達成するが、提案した最高の正規化受信パワーAS方式は、単純で簡単な方法で非常に有望なEE性能を達成する。

We consider the recently proposed extra-large scale massive multiple-input multiple-output (XL-MIMO) systems, with some hundreds of antennas serving a smaller number of users. Since the array length is of the same order as the distance to the users, the long-term fading coefficients of a given user vary with the different antennas at the base station (BS). Thus, the signal transmitted by some antennas might reach the user with much more power than that transmitted by some others. From a green perspective, it is not effective to simultaneously activate hundreds or even thousands of antennas, since the power-hungry radio frequency (RF) chains of the active antennas increase significantly the total energy consumption. Besides, a larger number of selected antennas increases the power required by linear processing, such as precoding matrix computation, and short-term channel estimation. In this paper, we propose four antenna selection (AS) approaches to be deployed in XL-MIMO systems aiming at maximizing the total energy efficiency (EE). Besides, employing some simplifying assumptions, we derive a closed-form analytical expression for the EE of the XL-MIMO system, and propose a straightforward iterative method to determine the optimal number of selected antennas able to maximize it. The proposed AS schemes are based solely on long-term fading parameters, thus, the selected antennas set remains valid for a relatively large time/frequency intervals. Comparing the results, we find that the genetic-algorithm based AS scheme usually achieves the best EE performance, although our proposed highest normalized received power AS scheme also achieves very promising EE performance in a simple and straightforward way.
翻訳日:2022-10-21 21:13:48 公開日:2020-09-05
# マルチモーダル・パス・セグメンテーションのための最大融合U-Net

Max-Fusion U-Net for Multi-Modal Pathology Segmentation with Attention and Dynamic Resampling ( http://arxiv.org/abs/2009.02569v1 )

ライセンス: Link先を確認
Haochuan Jiang, Chengjia Wang, Agisilaos Chartsias, Sotirios A. Tsaftaris(参考訳) マルチシーケンス(マルチモーダル)心筋mr(cmr)画像の自動分割は、様々な心疾患の診断と治療において重要な役割を担っている。 しかし、関連するアルゴリズムの性能は、マルチモーダル情報の適切な融合によって大きく影響を受ける。 さらに、心筋梗塞などの特定の疾患は画像に不規則な形状を示し、ランダムな場所で小さな領域を占有する。 これらの事実はマルチモーダルcmr画像の病理分節化を困難な課題にしている。 本稿では,LGE,T2重み付き,bSSFPモダリティのマルチモーダル画像に対して,病的セグメンテーション性能を向上させるMax-Fusion U-Netを提案する。 特に、モダリティ特有の特徴は専用エンコーダによって抽出される。 そして、ピクセルワイドの最大演算子と融合する。 対応するエンコーディング機能とともに、これらの表現はu-netスキップ接続でレイヤをデコードする。 さらに、最後の復号層に空間アテンションモジュールを適用し、ネットワークニューロンによる比較的高い応答を誘発する意味的に意味のある小さな病理領域に集中するようネットワークに促す。 また,簡単なイメージパッチ抽出戦略を用いて,空間サイズやバッチサイズの異なるトレーニングサンプルを動的にサンプル化する。 限られたGPUメモリでは、この戦略はクラスの不均衡を減らし、モデルが関心のある病理を取り巻く領域に集中させる。 セグメンテーションの精度をさらに向上し、病理の誤分類を減らす。 3つのモードを含むマルチシーケンスCMRデータセットを併用したMyoPS(Myocardial pathology segmentation)を用いて,本手法の評価を行った。 大規模な実験により,提案モデルの有効性が示された。

Automatic segmentation of multi-sequence (multi-modal) cardiac MR (CMR) images plays a significant role in diagnosis and management for a variety of cardiac diseases. However, the performance of relevant algorithms is significantly affected by the proper fusion of the multi-modal information. Furthermore, particular diseases, such as myocardial infarction, display irregular shapes on images and occupy small regions at random locations. These facts make pathology segmentation of multi-modal CMR images a challenging task. In this paper, we present the Max-Fusion U-Net that achieves improved pathology segmentation performance given aligned multi-modal images of LGE, T2-weighted, and bSSFP modalities. Specifically, modality-specific features are extracted by dedicated encoders. Then they are fused with the pixel-wise maximum operator. Together with the corresponding encoding features, these representations are propagated to decoding layers with U-Net skip-connections. Furthermore, a spatial-attention module is applied in the last decoding layer to encourage the network to focus on those small semantically meaningful pathological regions that trigger relatively high responses by the network neurons. We also use a simple image patch extraction strategy to dynamically resample training examples with varying spacial and batch sizes. With limited GPU memory, this strategy reduces the imbalance of classes and forces the model to focus on regions around the interested pathology. It further improves segmentation accuracy and reduces the mis-classification of pathology. We evaluate our methods using the Myocardial pathology segmentation (MyoPS) combining the multi-sequence CMR dataset which involves three modalities. Extensive experiments demonstrate the effectiveness of the proposed model which outperforms the related baselines.
翻訳日:2022-10-21 21:11:32 公開日:2020-09-05
# 深部スパース光場再焦点化

Deep Sparse Light Field Refocusing ( http://arxiv.org/abs/2009.02582v1 )

ライセンス: Link先を確認
Shachar Ben Dayan, David Mendlovic and Raja Giryes(参考訳) 光フィールド撮影は、シーンの空間情報と共に角情報を含む4d画像を記録できる。 光電界イメージングの重要な応用の1つは、ポストキャプチャーリフォーカスである。 現在の方法は、この目的のために高密度の角度ビューが必要であり、これらはマイクロレンズシステムまたは圧縮システムで取得できる。 どちらの手法も、バルク構造や角-空間分解トレードオフなど、考慮すべき大きな欠点がある。 本稿では,ニューラルネットワークを用いた狭角情報に基づくディジタル再焦点方式を提案する。 これにより、角分解能に有利な高解像度の空間記録が可能となり、ハードウェアを改良したコンパクトでシンプルなデバイスを設計でき、圧縮システムの性能も向上した。 比較的小さな構造でメモリ消費の少ない高速な再構成が可能な新しい畳み込みニューラルネットワークを用いる。 さらに、様々なリフォーカス範囲やノイズレベルを再訓練することなくハンドリングができる。 その結果,既存の方法と比較して大きな改善が見られた。

Light field photography enables to record 4D images, containing angular information alongside spatial information of the scene. One of the important applications of light field imaging is post-capture refocusing. Current methods require for this purpose a dense field of angle views; those can be acquired with a micro-lens system or with a compressive system. Both techniques have major drawbacks to consider, including bulky structures and angular-spatial resolution trade-off. We present a novel implementation of digital refocusing based on sparse angular information using neural networks. This allows recording high spatial resolution in favor of the angular resolution, thus, enabling to design compact and simple devices with improved hardware as well as better performance of compressive systems. We use a novel convolutional neural network whose relatively small structure enables fast reconstruction with low memory consumption. Moreover, it allows handling without re-training various refocusing ranges and noise levels. Results show major improvement compared to existing methods.
翻訳日:2022-10-21 21:11:08 公開日:2020-09-05
# 不確実な診断記録を用いた自殺リスクモデリング

Suicide Risk Modeling with Uncertain Diagnostic Records ( http://arxiv.org/abs/2009.02597v1 )

ライセンス: Link先を確認
Wenjie Wang, Chongliang Luo, Robert H. Aseltine, Fei Wang, Jun Yan, Kun Chen(参考訳) 行動医療の改善を通じて自殺予防の必要性が高まる中, 自殺未遂により退院した患者に対して, その後の自殺未遂のリスクを調査するために, 医療クレームデータを用いた。 自殺リスクの高い患者のリスク行動を理解することは「ゼロ自殺」の目標に向けた重要なステップである。 医学的主張からの自殺未遂の特定には、かなりの不確実性が伴う: 「検査された」自殺未遂の約20対%は、負傷の外部原因を示す診断コードから特定される。 したがって、これらの未決定事象のうちどれが実際の自殺未遂の可能性が高く、厳しい検閲を伴う生存分析においてそれらを適切に活用するかを知ることは大きな関心事である。 このような相互関連問題に対処するため,不確実な事象と潜伏する治療率で生存回帰を行うために,正規化を伴う統合的コックス治療モデルを開発した。 コネチカット州における若年者および若年者における自殺関連入院後の自殺未遂のリスクについて,医療請求データを用いて検討した。 より興味深いことに、本手法は、後続の試みの感受性または時期を評価するのに最も有用な危険因子を区別する。 不確かな試みの予測状態がさらに調査され、自殺の事象の特定に関する新たな洞察がもたらされた。

Motivated by the pressing need for suicide prevention through improving behavioral healthcare, we use medical claims data to study the risk of subsequent suicide attempts for patients who were hospitalized due to suicide attempts and later discharged. Understanding the risk behaviors of such patients at elevated suicide risk is an important step towards the goal of "Zero Suicide". An immediate and unconventional challenge is that the identification of suicide attempts from medical claims contains substantial uncertainty: almost 20\% of "suspected" suicide attempts are identified from diagnostic codes indicating external causes of injury and poisoning with undermined intent. It is thus of great interest to learn which of these undetermined events are more likely actual suicide attempts and how to properly utilize them in survival analysis with severe censoring. To tackle these interrelated problems, we develop an integrative Cox cure model with regularization to perform survival regression with uncertain events and a latent cure fraction. We apply the proposed approach to study the risk of subsequent suicide attempt after suicide-related hospitalization for adolescent and young adult population, using medical claims data from Connecticut. The identified risk factors are highly interpretable; more intriguingly, our method distinguishes the risk factors that are most helpful in assessing either susceptibility or timing of subsequent attempt. The predicted statuses of the uncertain attempts are further investigated, leading to several new insights on suicide event identification.
翻訳日:2022-10-21 21:10:11 公開日:2020-09-05
# 天体物理学シミュレーションにおけるエントロピーに基づく異常検出の開発に向けて

Towards the Development of Entropy-Based Anomaly Detection in an Astrophysics Simulation ( http://arxiv.org/abs/2009.02430v1 )

ライセンス: Link先を確認
Drew Schmidt, Bronson Messer, M. Todd Young, Michael Matheson(参考訳) 科学応用におけるAIとMLの利用は、現在非常にエキサイティングでダイナミックな分野である。 HPCのこの興奮の多くは、分析と分類が非常に多数のフロップを生成するMLアプリケーションに焦点を当てている。 科学的シミュレーションをデータ駆動サロゲートモデルに置き換えようとするものもある。 しかし、もうひとつの重要なユースケースは、シミュレーション精度を向上させるためのMLの併用である。 そこで我々は,コア崩壊型超新星シミュレーションから生じる異常問題を提案する。 機械学習から科学的シミュレーションに異常検出技術を適用するための戦略と初期の成功、そして現在の課題と今後の可能性について論じる。

The use of AI and ML for scientific applications is currently a very exciting and dynamic field. Much of this excitement for HPC has focused on ML applications whose analysis and classification generate very large numbers of flops. Others seek to replace scientific simulations with data-driven surrogate models. But another important use case lies in the combination application of ML to improve simulation accuracy. To that end, we present an anomaly problem which arises from a core-collapse supernovae simulation. We discuss strategies and early successes in applying anomaly detection techniques from machine learning to this scientific simulation, as well as current challenges and future possibilities.
翻訳日:2022-10-21 21:09:46 公開日:2020-09-05
# 逆レンズを用いた5G以上の機械学習の検討

Examining Machine Learning for 5G and Beyond through an Adversarial Lens ( http://arxiv.org/abs/2009.02473v1 )

ライセンス: Link先を確認
Muhammad Usama, Rupendra Nath Mitra, Inaam Ilahi, Junaid Qadir, and Mahesh K. Marina(参考訳) 大量のデータに隠されたリッチな情報を活用し、モデル化や解決が難しい問題(例えばリソース割り当ての問題)に取り組むディープラーニングの最近の進歩によって、現在モバイルネットワーク領域では、5g以降のデータ駆動ai/mlベースのネットワーク自動化、制御、分析の変革可能性に関する大きな興奮が起きている。 本稿では,複数種類のML(教師/監督/監督/RL)にまたがる対角次元を強調することで,5GコンテキストにおけるAI/MLの使用に関する注意深い視点を示し,これを3つのケーススタディを通して支援する。 また、この敵対的MLリスクを軽減するためのアプローチについて議論し、MLモデルの堅牢性を評価するためのガイドラインを提供し、5GにおけるML指向研究を取り巻く問題に注意を向ける。

Spurred by the recent advances in deep learning to harness rich information hidden in large volumes of data and to tackle problems that are hard to model/solve (e.g., resource allocation problems), there is currently tremendous excitement in the mobile networks domain around the transformative potential of data-driven AI/ML based network automation, control and analytics for 5G and beyond. In this article, we present a cautionary perspective on the use of AI/ML in the 5G context by highlighting the adversarial dimension spanning multiple types of ML (supervised/unsupervised/RL) and support this through three case studies. We also discuss approaches to mitigate this adversarial ML risk, offer guidelines for evaluating the robustness of ML models, and call attention to issues surrounding ML oriented research in 5G more generally.
翻訳日:2022-10-21 21:09:37 公開日:2020-09-05
# CheckThatでのアクセント! 2020年: トランスフォーマーベースのモデルによるクレームのポストホックな事実チェック

Accenture at CheckThat! 2020: If you say so: Post-hoc fact-checking of claims using transformer-based models ( http://arxiv.org/abs/2009.02431v1 )

ライセンス: Link先を確認
Evan Williams, Paul Rodrigues, Valerie Novak(参考訳) 我々はclef2020 checkthatのためにaccentureチームが使用する戦略を紹介します! Lab, Task 1 - 英語とアラビア語。 この共有タスクは、ソーシャルメディアテキストのクレームが実際に事実チェックされるべきかどうかを評価する。 ジャーナリストにとって、事実として提示される声明は、広まる前に専門的な事実確認を必要とする。 我々はBERTとRoBERTaモデルを用いて、プロのファクトチェッカーがレビューすべきソーシャルメディアテキストのクレームを特定し、これらをファクトチェッカーの優先順位順にランク付けした。 英語の課題に対して、RoBERTaモデルを微調整し、余分な平均プーリング層とドロップアウト層を追加し、目に見えないテキストへの一般化性を高めました。 アラビア語のタスクでは、アラビア語のBERTモデルを微調整し、少数民族を増幅しデータセットのバランスをとるためにバック翻訳を使うことを実証する。 ここで提示された作品はイングランドのトラックで1位、アラビアのトラックで1位、2位、3位、4位となった。

We introduce the strategies used by the Accenture Team for the CLEF2020 CheckThat! Lab, Task 1, on English and Arabic. This shared task evaluated whether a claim in social media text should be professionally fact checked. To a journalist, a statement presented as fact, which would be of interest to a large audience, requires professional fact-checking before dissemination. We utilized BERT and RoBERTa models to identify claims in social media text a professional fact-checker should review, and rank these in priority order for the fact-checker. For the English challenge, we fine-tuned a RoBERTa model and added an extra mean pooling layer and a dropout layer to enhance generalizability to unseen text. For the Arabic task, we fine-tuned Arabic-language BERT models and demonstrate the use of back-translation to amplify the minority class and balance the dataset. The work presented here was scored 1st place in the English track, and 1st, 2nd, 3rd, and 4th place in the Arabic track.
翻訳日:2022-10-21 21:03:18 公開日:2020-09-05
# テキストベースシステムにおけるIgboテキスト文書の分析と表現

Analysis and representation of Igbo text document for a text-based system ( http://arxiv.org/abs/2009.06376v1 )

ライセンス: Link先を確認
Ifeanyi-Reuben Nkechi J., Ugwu Chidiebere, Adegbola Tunde(参考訳) 情報技術(IT)の進歩は、テキストマイニング、情報検索、自然言語処理などのテキストベースの応用において、ナイジェリアの主要3言語を育成する助けとなった。 本論文の興味はigbo言語であり、複合語を単語形成の一般的なタイプとして用い、また複合語の語彙も数多く持っている。 コロケーション、単語順序付け、複合化の問題は、Igbo言語において大きな役割を果たしている。 これらの複合語を扱うあいまいさは、単語の順序や関係を無視するBag-Of-Words(BOW)モデルの最も一般的で標準的なアプローチでは対処できないため、Igbo言語のテキスト文書の表現を非常に困難にしている。 しかし、これは問題の原因であり、この状況を捉えるために改良されたモデルを開発する必要がある。 本稿では,その複合性を考慮したIgbo言語テキストの解析を行い,その表現をWordベースのN-gramモデルで記述し,任意のテキストベースアプリケーションに対して適切に準備する。 その結果,Bigram と Trigram n-gram のテキスト表現モデルの方が意味情報を提供し,Igbo の主要な言語の特徴である複合化や単語順序付け,コロケーションの問題にも対処できることがわかった。 Igboテキストベースのシステムで使用すると、パフォーマンスが向上する可能性が高い。

The advancement in Information Technology (IT) has assisted in inculcating the three Nigeria major languages in text-based application such as text mining, information retrieval and natural language processing. The interest of this paper is the Igbo language, which uses compounding as a common type of word formation and as well has many vocabularies of compound words. The issues of collocation, word ordering and compounding play high role in Igbo language. The ambiguity in dealing with these compound words has made the representation of Igbo language text document very difficult because this cannot be addressed using the most common and standard approach of the Bag-Of-Words (BOW) model of text representation, which ignores the word order and relation. However, this cause for a concern and the need to develop an improved model to capture this situation. This paper presents the analysis of Igbo language text document, considering its compounding nature and describes its representation with the Word-based N-gram model to properly prepare it for any text-based application. The result shows that Bigram and Trigram n-gram text representation models provide more semantic information as well addresses the issues of compounding, word ordering and collocations which are the major language peculiarities in Igbo. They are likely to give better performance when used in any Igbo text-based system.
翻訳日:2022-10-21 21:02:58 公開日:2020-09-05
# 新しい進化的アルゴリズム:学習者性能に基づく行動アルゴリズム

A new evolutionary algorithm: Learner performance based behavior algorithm ( http://arxiv.org/abs/2009.11182v1 )

ライセンス: Link先を確認
Chnoor M. Rahman and Tarik A. Rashid(参考訳) 本稿では,Learner Performance Based Behavior Algorithm (LPB)と呼ばれる新しい進化的アルゴリズムを提案する。 LPBの基本的なインスピレーションは、大学の様々な部署の高校の卒業生を受け入れる過程に端を発する。 さらに、学習者が学習行動にすべき変化は、大学での学習レベルを改善することである。 最適化の最も重要な段階は、高校から大学への大学院生の受け入れプロセスと、大学における学習者の学習行動を改善し、学習のレベルを向上する手順を設計することである。 提案アルゴリズムの精度を示すため,従来のベンチマーク関数,CEC-C06 2019テスト関数,実世界のケーススタディ問題など,多数のテスト関数に対して評価を行った。 提案アルゴリズムの結果は,DA,GA,PSOと比較される。 提案アルゴリズムは,ほとんどの場合において優れた結果が得られ,他の場合には比較結果が得られた。 このアルゴリズムは,DA,GA,PSOと比較して,大規模な最適化問題に対処する能力が高いことが証明された。 その結果,LPBは人口増加と国際的最適性への収束に有効であることが判明した。 さらに,本研究の結果を統計的に検証した。

A novel evolutionary algorithm called learner performance based behavior algorithm (LPB) is proposed in this article. The basic inspiration of LPB originates from the process of accepting graduated learners from high school in different departments at university. In addition, the changes those learners should do in their studying behaviors to improve their study level at university. The most important stages of optimization; exploitation and exploration are outlined by designing the process of accepting graduated learners from high school to university and the procedure of improving the learner's studying behavior at university to improve the level of their study. To show the accuracy of the proposed algorithm, it is evaluated against a number of test functions, such as traditional benchmark functions, CEC-C06 2019 test functions, and a real-world case study problem. The results of the proposed algorithm are then compared to the DA, GA, and PSO. The proposed algorithm produced superior results in most of the cases and comparative in some others. It is proved that the algorithm has a great ability to deal with the large optimization problems comparing to the DA, GA, and PSO. The overall results proved the ability of LPB in improving the initial population and converging towards the global optima. Moreover, the results of the proposed work are proved statistically.
翻訳日:2022-10-21 21:02:37 公開日:2020-09-05
# 二重マニフォールド対向ロバスト性:Lpおよび非Lp対向攻撃に対する防御

Dual Manifold Adversarial Robustness: Defense against Lp and non-Lp Adversarial Attacks ( http://arxiv.org/abs/2009.02470v1 )

ライセンス: Link先を確認
Wei-An Lin, Chun Pong Lau, Alexander Levine, Rama Chellappa, Soheil Feizi(参考訳) 敵の訓練は、境界Lpノルムを持つ攻撃脅威モデルに対する一般的な防衛戦略である。 しかし、通常の画像ではモデル性能が低下することが多く、防御は新奇な攻撃に対してうまく一般化しない。 GAN や VAE などの深層生成モデルが基礎となる画像の多様体を特徴づけることに成功したことを踏まえ、上記の問題を基礎となる多様体情報を利用して修復できるかどうかを考察する。 この目的のために、StyleGSN が学習した多様体上に ImageNet サンプルを投影することにより、"On-Manifold ImageNet" (OM-ImageNet) データセットを構築する。 このデータセットでは、基礎となる多様体情報は正確である。 OM-ImageNetを用いて、画像の潜在空間における敵の訓練が、オンマンフォールド攻撃に対する標準精度とロバスト性の両方を改善することを示す。 しかし、外乱は実現されないため、lp攻撃によって防御を破ることができる。 さらに, 潜在空間と画像空間の両方における逆摂動がモデルのロバスト化に利用されるdmat(dual manifold adversarial training)を提案する。 我々のDMATは、通常の画像のパフォーマンスを改善し、Lp攻撃に対する標準的な敵トレーニングと同等の堅牢性を達成する。 また,dmatが防御するモデルは,グローバルカラーシフトや各種イメージフィルタリングによって画像を操作する新たな攻撃に対するロバスト性が向上した。 興味深いことに、防御されたモデルが自然画像でテストされると、同様の改善も達成される。 これらの結果は,様々な種類の新規攻撃に対して,ディープラーニングモデルの堅牢性を高めるために,多様体情報を利用することによる潜在的利点を示す。

Adversarial training is a popular defense strategy against attack threat models with bounded Lp norms. However, it often degrades the model performance on normal images and the defense does not generalize well to novel attacks. Given the success of deep generative models such as GANs and VAEs in characterizing the underlying manifold of images, we investigate whether or not the aforementioned problems can be remedied by exploiting the underlying manifold information. To this end, we construct an "On-Manifold ImageNet" (OM-ImageNet) dataset by projecting the ImageNet samples onto the manifold learned by StyleGSN. For this dataset, the underlying manifold information is exact. Using OM-ImageNet, we first show that adversarial training in the latent space of images improves both standard accuracy and robustness to on-manifold attacks. However, since no out-of-manifold perturbations are realized, the defense can be broken by Lp adversarial attacks. We further propose Dual Manifold Adversarial Training (DMAT) where adversarial perturbations in both latent and image spaces are used in robustifying the model. Our DMAT improves performance on normal images, and achieves comparable robustness to the standard adversarial training against Lp attacks. In addition, we observe that models defended by DMAT achieve improved robustness against novel attacks which manipulate images by global color shifts or various types of image filtering. Interestingly, similar improvements are also achieved when the defended models are tested on out-of-manifold natural images. These results demonstrate the potential benefits of using manifold information in enhancing robustness of deep learning models against various types of novel adversarial attacks.
翻訳日:2022-10-21 21:02:00 公開日:2020-09-05
# マルチモーダル記憶力:セマンティクスと減衰がビデオ記憶力に及ぼす影響のモデル化

Multimodal Memorability: Modeling Effects of Semantics and Decay on Video Memorability ( http://arxiv.org/abs/2009.02568v1 )

ライセンス: Link先を確認
Anelise Newman, Camilo Fosco, Vincent Casser, Allen Lee, Barry McNamara, and Aude Oliva(参考訳) インテリジェントシステムの重要な機能は、過去の経験からイベントがいつ記憶され、いつ忘れられるかを決定することである。 この目的に向けて,人間の視覚イベント記憶の予測モデルを開発し,その記憶が時間とともにどのように減衰するかを考察する。 memento10kは、異なる視聴遅延で人間のアノテーションを含む、新しい動的ビデオ記憶性データセットである。 そこで本研究では,映像が時間とともに記憶の中でどのように減衰するかを定量的に推定できるモデルを提案する。 従来の研究とは対照的に、我々のモデルは任意の遅延でビデオが記憶される確率を予測することができる。 重要なのは、視覚的な情報と意味的な情報(テキスト的なキャプションの形で)を組み合わせて、イベントの意味を完全に表現するアプローチです。 memento10kを含む2つのビデオ記憶力ベンチマークに関する実験では、私たちのモデルが最高の事前アプローチ(平均で12%)で大幅に改善されていることが分かりました。

A key capability of an intelligent system is deciding when events from past experience must be remembered and when they can be forgotten. Towards this goal, we develop a predictive model of human visual event memory and how those memories decay over time. We introduce Memento10k, a new, dynamic video memorability dataset containing human annotations at different viewing delays. Based on our findings we propose a new mathematical formulation of memorability decay, resulting in a model that is able to produce the first quantitative estimation of how a video decays in memory over time. In contrast with previous work, our model can predict the probability that a video will be remembered at an arbitrary delay. Importantly, our approach combines visual and semantic information (in the form of textual captions) to fully represent the meaning of events. Our experiments on two video memorability benchmarks, including Memento10k, show that our model significantly improves upon the best prior approach (by 12% on average).
翻訳日:2022-10-21 21:00:48 公開日:2020-09-05
# コンテキスト化された埋め込みを視覚的に分析する

Visually Analyzing Contextualized Embeddings ( http://arxiv.org/abs/2009.02554v1 )

ライセンス: Link先を確認
Matthew Berger(参考訳) 本稿では,ディープニューラルネットワークを用いた言語モデルにより生成された文脈的埋め込みを視覚的に解析する手法を提案する。 我々のアプローチは自然言語処理のための言語探索にインスパイアされており、タスクは音声の一部や名前のエンティティといった言語構造のための言語モデルを探索するために設計されている。 しかし、これらのアプローチはおおむね確実であり、ユーザが事前情報をテストすることしかできない。 本研究では,言語モデルによって学習されるものを評価するために,探索タスクを監督し,教師なしプローブと視覚探索手法を併用して提唱する。 具体的には、大規模なテキストコーパスから生成されたコンテキスト化された埋め込みをクラスタ化し、クラスタ共起、クラスタスパン、クラスタワードメンバシップといったこのクラスタリングとテキスト構造に基づく視覚化設計を導入し、個々のクラスタの機能と関連性を解明します。 ユーザからのフィードバックは、異なるタイプの言語構造の発見におけるデザインの利点を強調します。

In this paper we introduce a method for visually analyzing contextualized embeddings produced by deep neural network-based language models. Our approach is inspired by linguistic probes for natural language processing, where tasks are designed to probe language models for linguistic structure, such as parts-of-speech and named entities. These approaches are largely confirmatory, however, only enabling a user to test for information known a priori. In this work, we eschew supervised probing tasks, and advocate for unsupervised probes, coupled with visual exploration techniques, to assess what is learned by language models. Specifically, we cluster contextualized embeddings produced from a large text corpus, and introduce a visualization design based on this clustering and textual structure - cluster co-occurrences, cluster spans, and cluster-word membership - to help elicit the functionality of, and relationship between, individual clusters. User feedback highlights the benefits of our design in discovering different types of linguistic structures.
翻訳日:2022-10-21 20:59:53 公開日:2020-09-05
# ソフトウェア欠陥予測に対する機械学習アルゴリズムの完全性

The Integrity of Machine Learning Algorithms against Software Defect Prediction ( http://arxiv.org/abs/2009.02571v1 )

ライセンス: Link先を確認
Param Khakhar and, Rahul Kumar Dubey, Senior Member IEEE(参考訳) 近年のコンピュータ化の増加により、様々なソフトウェアが生産されるようになったが、生産されたソフトウェアに欠陥がないよう対策を講じる必要がある。 多くの研究者がこの分野に取り組み、ソフトウェアが欠陥があるかどうかを予測する機械学習ベースのアプローチを開発した。 この問題は、データセットが高度に不均衡であるため、従来の分類器が異なるだけでは解決できない。 そのため、この問題に対処するためには、ある種の高度な手法が必要である。 研究者によって開発された異なる手法は、Resamplingベースの方法、コスト感受性学習ベースの方法、およびEnsemble Learningに分類される。 これらの方法の1つ。 本報告では,Liangらが開発したオンラインシーケンス・エクストリーム・ラーニング・マシン(OS-ELM)の性能を解析する。 Logistic Regression、Support Vector Machine、Random Forest、Na\"ive Bayesといったいくつかの分類子に対して、データをオーバーサンプリングする。 os-elmは従来のディープニューラルネットワークよりも高速にトレーニングし、常にグローバル最適解に収束する。 元のデータセットとオーバーサンプリングされたデータセットで比較を行う。 オーバーサンプリング技術は、ノイズフィルタを用いたクラスタベースのオーバーサンプリングである。 このテクニックは、オーバーサンプリングのための最先端技術よりも優れている。 この分析は、NASAグループが実施する3つのプロジェクトKC1、PC4、PC3で実施される。 測定に用いられるメトリクスは、リコールとバランスの取れた精度である。 どちらのシナリオにおいても,OS-ELM は他の分類器よりも高い結果が得られる。

The increased computerization in recent years has resulted in the production of a variety of different software, however measures need to be taken to ensure that the produced software isn't defective. Many researchers have worked in this area and have developed different Machine Learning-based approaches that predict whether the software is defective or not. This issue can't be resolved simply by using different conventional classifiers because the dataset is highly imbalanced i.e the number of defective samples detected is extremely less as compared to the number of non-defective samples. Therefore, to address this issue, certain sophisticated methods are required. The different methods developed by the researchers can be broadly classified into Resampling based methods, Cost-sensitive learning-based methods, and Ensemble Learning. Among these methods. This report analyses the performance of the Online Sequential Extreme Learning Machine (OS-ELM) proposed by Liang et.al. against several classifiers such as Logistic Regression, Support Vector Machine, Random Forest, and Na\"ive Bayes after oversampling the data. OS-ELM trains faster than conventional deep neural networks and it always converges to the globally optimal solution. A comparison is performed on the original dataset as well as the over-sampled data set. The oversampling technique used is Cluster-based Over-Sampling with Noise Filtering. This technique is better than several state-of-the-art techniques for oversampling. The analysis is carried out on 3 projects KC1, PC4 and PC3 carried out by the NASA group. The metrics used for measurement are recall and balanced accuracy. The results are higher for OS-ELM as compared to other classifiers in both scenarios.
翻訳日:2022-10-21 20:53:28 公開日:2020-09-05
# ADMMによる分散最適化と平均化,ネットワークトポロジ

Distributed Optimization, Averaging via ADMM, and Network Topology ( http://arxiv.org/abs/2009.02604v1 )

ライセンス: Link先を確認
Guilherme Fran\c{c}a, Jos\'e Bento(参考訳) 現代の機械学習アプリケーションでは、データセットのサイズとモデルの複雑さが爆発的に増加したため、スケーラブルな最適化手法の必要性が高まっている。 スケーラブルな解法はしばしば処理ユニットのネットワークに分散する。 勾配降下のような単純なアルゴリズムでは、このネットワークのトポロジーとの収束時間の依存性がよく知られている。 しかし、Alternating Direction Methods of Multipliers (ADMM)のようなより関連するアルゴリズムについては、あまり知られていない。 多くの分散最適化アルゴリズムの中心には、ネットワーク上の局所情報を平均し、その効率性がアルゴリズム全体のパフォーマンスに不可欠であるゴシップサブルーチンが存在する。 本稿では,この領域における最近の研究を概観し,このようなコミュニケーション交換行動の分離を目的として,正規分散平均コンセンサス問題に適用した場合に異なるアルゴリズムを比較する。 また,ADMMと持ち上げマルコフ連鎖間の興味深い関係を示すとともに,ネットワークのスペクトル特性の観点から,その収束と最適パラメータチューニングを明示的に評価する。 最後に,センサローカライゼーションの現実問題において,ネットワークトポロジと異なるアルゴリズムの収束率の関係を実証的に検討する。

There has been an increasing necessity for scalable optimization methods, especially due to the explosion in the size of datasets and model complexity in modern machine learning applications. Scalable solvers often distribute the computation over a network of processing units. For simple algorithms such as gradient descent the dependency of the convergence time with the topology of this network is well-known. However, for more involved algorithms such as the Alternating Direction Methods of Multipliers (ADMM) much less is known. At the heart of many distributed optimization algorithms there exists a gossip subroutine which averages local information over the network, and whose efficiency is crucial for the overall performance of the method. In this paper we review recent research in this area and, with the goal of isolating such a communication exchange behaviour, we compare different algorithms when applied to a canonical distributed averaging consensus problem. We also show interesting connections between ADMM and lifted Markov chains besides providing an explicitly characterization of its convergence and optimal parameter tuning in terms of spectral properties of the network. Finally, we empirically study the connection between network topology and convergence rates for different algorithms on a real world problem of sensor localization.
翻訳日:2022-10-21 20:53:06 公開日:2020-09-05
# HyperFair: 公正な基準を統合するためのソフトアプローチ

HyperFair: A Soft Approach to Integrating Fairness Criteria ( http://arxiv.org/abs/2009.08952v1 )

ライセンス: Link先を確認
Charles Dickens, Rishika Singh, Lise Getoor(参考訳) レコメンダシステムは、社会的および個人的影響をもたらす可能性のある、ますます多様なドメインのセットで採用されている。 このため、公平性を考慮することは、このようなシステムの設計と評価において重要なステップである。 本稿では,ハイブリッドレコメンダシステムにおいてソフトフェアネス制約を強制する汎用フレームワークであるhyperfairを提案する。 HyperFairモデルは、ジョイント推論対象関数の正規化として、フェアネスメトリクスのバリエーションを統合する。 我々は,この手法を確率的ソフト論理を用いて実装し,表現力と構造的制約を簡潔かつ解釈可能な方法でシステムに追加できることから,このタスクに特に適していることを示す。 まず, 確率的ソフトロジック・レコメンデータ・システムテンプレートの拡張として, ブラックボックスモデルから予測の公平性を改善するための公正なレトロフィッティング手法として, 二つの手法を提案する。 複数のHyperFairハイブリッドレコメンデータを実装することで,私たちのアプローチを実証的に検証し,最先端のフェアレコメンデータと比較する。 また,ブラックボックスモデルの再適合作業における手法の有効性と,実施した公正度と予測性能とのトレードオフを示す実験を行った。

Recommender systems are being employed across an increasingly diverse set of domains that can potentially make a significant social and individual impact. For this reason, considering fairness is a critical step in the design and evaluation of such systems. In this paper, we introduce HyperFair, a general framework for enforcing soft fairness constraints in a hybrid recommender system. HyperFair models integrate variations of fairness metrics as a regularization of a joint inference objective function. We implement our approach using probabilistic soft logic and show that it is particularly well-suited for this task as it is expressive and structural constraints can be added to the system in a concise and interpretable manner. We propose two ways to employ the methods we introduce: first as an extension of a probabilistic soft logic recommender system template; second as a fair retrofitting technique that can be used to improve the fairness of predictions from a black-box model. We empirically validate our approach by implementing multiple HyperFair hybrid recommenders and compare them to a state-of-the-art fair recommender. We also run experiments showing the effectiveness of our methods for the task of retrofitting a black-box model and the trade-off between the amount of fairness enforced and the prediction performance.
翻訳日:2022-10-21 20:52:50 公開日:2020-09-05
# ソーシャルメディアアナリティクスを超えて: 漸進的機械学習による人間の行動と深い感情の理解

Beyond Social Media Analytics: Understanding Human Behaviour and Deep Emotion using Self Structuring Incremental Machine Learning ( http://arxiv.org/abs/2009.09078v1 )

ライセンス: Link先を確認
Tharindu Bandaragoda(参考訳) この論文は、社会的データを人間の社会的行動、ニーズ、認知の階層の表層を表すものとして、社会的行動とそれらの因果性を保存する表現に変換する概念的枠組みを開発する。 このフレームワークに基づいて、2つのプラットフォームが、速いペースと遅いペースのソーシャルデータから洞察を得るために構築された。 高速なペースでは、自己構造化とインクリメンタルな学習技術が開発され、時間とともに適切なトピックと対応するダイナミクスを自動的にキャプチャする。 音量や感情などの複数の指標を用いて,社会的行動の著しい変動に対して,特定された話題経路を自動的に監視するイベント検出手法を開発した。 このプラットフォームは、100万以上のツイートを持つ2つの大きなデータセットを使ってデモされている。 分離されたトピックパスは,各エンティティの主要なトピックを代表し,トピックコヒーレンス対策に対する一貫性を示した。 確認された出来事は、ニュースで報告された現代の出来事に対して検証された。 第二に、遅いペースのソーシャルデータに対して、人口統計、感情、個人イベントのタイムラインなどの個人の自己開示情報を自動的に捉えるための、新しい機械学習と自然言語処理テクニックが開発された。 このプラットフォームは、オンラインサポートグループから400万件以上の投稿を集めた大規模なテキストコーパスで試行された。 これはさらに、前立腺がんに関連するオンラインサポートグループの議論を多次元表現に変換し、時間、人口、臨床要因に対して患者(およびパートナー)の自己開示された生活の質を調査した。 この拡張プラットフォームの能力は、609,960人の前立腺がん議論と22,233人の患者からなる10の前立腺癌オンライン支援グループから収集されたテキストコーパスを用いて実証されている。

This thesis develops a conceptual framework considering social data as representing the surface layer of a hierarchy of human social behaviours, needs and cognition which is employed to transform social data into representations that preserve social behaviours and their causalities. Based on this framework two platforms were built to capture insights from fast-paced and slow-paced social data. For fast-paced, a self-structuring and incremental learning technique was developed to automatically capture salient topics and corresponding dynamics over time. An event detection technique was developed to automatically monitor those identified topic pathways for significant fluctuations in social behaviours using multiple indicators such as volume and sentiment. This platform is demonstrated using two large datasets with over 1 million tweets. The separated topic pathways were representative of the key topics of each entity and coherent against topic coherence measures. Identified events were validated against contemporary events reported in news. Secondly for the slow-paced social data, a suite of new machine learning and natural language processing techniques were developed to automatically capture self-disclosed information of the individuals such as demographics, emotions and timeline of personal events. This platform was trialled on a large text corpus of over 4 million posts collected from online support groups. This was further extended to transform prostate cancer related online support group discussions into a multidimensional representation and investigated the self-disclosed quality of life of patients (and partners) against time, demographics and clinical factors. The capabilities of this extended platform have been demonstrated using a text corpus collected from 10 prostate cancer online support groups comprising of 609,960 prostate cancer discussions and 22,233 patients.
翻訳日:2022-10-21 20:52:32 公開日:2020-09-05
# アンタングル表現を用いた半教師付き病理分類

Semi-supervised Pathology Segmentation with Disentangled Representations ( http://arxiv.org/abs/2009.02564v1 )

ライセンス: Link先を確認
Haochuan Jiang, Agisilaos Chartsias, Xinheng Zhang, Giorgos Papanastasiou, Scott Semple, Mark Dweck, David Semple, Rohan Dharmakumar, Sotirios A. Tsaftaris(参考訳) 病理自動分割は臨床における貴重な診断ツールである。 しかし、トレーニングデータの収集は困難である。 ラベル付きデータとラベルなしデータを組み合わせた半教師付きアプローチは、データの不足に対する解決策を提供する。 半教師付き学習へのアプローチは、タスクに適した共同方式で学習する再構成目的(自己監督目的)に依存する。 本稿では,解剖学・病理学・病理学の解離という,初めて共同で学習しようとする病理分類モデルである解剖学・病理学の解離ネットワーク(APD-Net)を提案する。 このモデルは半教師付きで訓練され、限られたアノテーションで病理学のセグメンテーションを改善するために、新しい再構成の損失を直接受けている。 さらに、利用可能なアノテーションを完全に活用するための共同最適化戦略が提案されている。 LGE-MRIによる2つのプライベート心梗塞セグメンテーションデータセットを用いて本手法の評価を行った。 APD-Netは、アノテーションの少ない病理的セグメンテーションを実行し、異なる量の監視で性能を維持し、関連するディープラーニング手法より優れている。

Automated pathology segmentation remains a valuable diagnostic tool in clinical practice. However, collecting training data is challenging. Semi-supervised approaches by combining labelled and unlabelled data can offer a solution to data scarcity. An approach to semi-supervised learning relies on reconstruction objectives (as self-supervision objectives) that learns in a joint fashion suitable representations for the task. Here, we propose Anatomy-Pathology Disentanglement Network (APD-Net), a pathology segmentation model that attempts to learn jointly for the first time: disentanglement of anatomy, modality, and pathology. The model is trained in a semi-supervised fashion with new reconstruction losses directly aiming to improve pathology segmentation with limited annotations. In addition, a joint optimization strategy is proposed to fully take advantage of the available annotations. We evaluate our methods with two private cardiac infarction segmentation datasets with LGE-MRI scans. APD-Net can perform pathology segmentation with few annotations, maintain performance with different amounts of supervision, and outperform related deep learning methods.
翻訳日:2022-10-21 20:52:06 公開日:2020-09-05
# FlipOut:Sign Flippingで冗長ウェイトを発見

FlipOut: Uncovering Redundant Weights via Sign Flipping ( http://arxiv.org/abs/2009.02594v1 )

ライセンス: Link先を確認
Andrei Apostol, Maarten Stol, Patrick Forr\'e(参考訳) 現代のニューラルネットワークは多くのタスクで最先端の結果を達成するが、多くのパラメータを持ち、トレーニング時間とリソース使用量を増加させる傾向にある。 この問題は刈り込みによって緩和できる。 しかし、既存の手法では、適切な精度-スパース性トレードオフを得るために、広範囲なパラメータチューニングや複数サイクルのプルーニング、コンバージェンスへの再訓練が必要となる。 これらの問題に対処するため,我々は,トレーニング中に重みが下がった約$0$(すなわち手転)の振動を利用して,その塩分を判定する新しいプルーニング法を提案する。 提案手法は,ネットワークが収束する前にプルーニングを行うことができ,ハイパーパラメータのデフォルト値がよいため,チューニングの労力が少なく,ユーザが望むスパシティのレベルを直接ターゲットできる。 各種オブジェクト分類アーキテクチャを用いて実施した本実験は,既存の手法と競合し,テスト対象のほとんどのアーキテクチャに対して99.6 %以上のスパーシリティのレベルにおいて,最先端のパフォーマンスを実現することを示す。 再現性については、https://github.com/AndreiXYZ/flipout.comで公開しています。

Modern neural networks, although achieving state-of-the-art results on many tasks, tend to have a large number of parameters, which increases training time and resource usage. This problem can be alleviated by pruning. Existing methods, however, often require extensive parameter tuning or multiple cycles of pruning and retraining to convergence in order to obtain a favorable accuracy-sparsity trade-off. To address these issues, we propose a novel pruning method which uses the oscillations around $0$ (i.e. sign flips) that a weight has undergone during training in order to determine its saliency. Our method can perform pruning before the network has converged, requires little tuning effort due to having good default values for its hyperparameters, and can directly target the level of sparsity desired by the user. Our experiments, performed on a variety of object classification architectures, show that it is competitive with existing methods and achieves state-of-the-art performance for levels of sparsity of $99.6\%$ and above for most of the architectures tested. For reproducibility, we release our code publicly at https://github.com/AndreiXYZ/flipout.
翻訳日:2022-10-21 20:44:57 公開日:2020-09-05
# ニューラルネットワークを用いたリバースエンジニアリングバーチャート

Reverse-engineering Bar Charts Using Neural Networks ( http://arxiv.org/abs/2009.02491v1 )

ライセンス: Link先を確認
Fangfang Zhou, Yong Zhao, Wenjiang Chen, Yijing Tan, Yaqi Xu, Yi Chen, Chao Liu, Ying Zhao(参考訳) リバースエンジニアリングバーチャートは、バーチャートの視覚表現からテキスト情報と数値情報を抽出し、基礎となる情報を必要とするアプリケーションシナリオをサポートする。 本稿では,バーチャートをリバースエンジニアリングするニューラルネットワークに基づく手法を提案する。 ニューラルネットワークを用いた物体検出モデルを採用し,テキスト情報の局所化と分類を同時に行う。 このアプローチはテキスト情報抽出の効率を向上する。 畳み込みと繰り返しのニューラルネットワークを統合して数値情報を抽出するエンコーダ・デコーダ・フレームワークを設計する。 さらに,フレームワークに注意機構を導入し,高い精度と堅牢性を実現する。 合成および実世界のデータセットを用いて,本手法の有効性を評価する。 私たちの知る限りでは、この研究はバーチャートをリバースエンジニアリングする完全なニューラルネットワークベースの手法を構築する上でリードしています。

Reverse-engineering bar charts extracts textual and numeric information from the visual representations of bar charts to support application scenarios that require the underlying information. In this paper, we propose a neural network-based method for reverse-engineering bar charts. We adopt a neural network-based object detection model to simultaneously localize and classify textual information. This approach improves the efficiency of textual information extraction. We design an encoder-decoder framework that integrates convolutional and recurrent neural networks to extract numeric information. We further introduce an attention mechanism into the framework to achieve high accuracy and robustness. Synthetic and real-world datasets are used to evaluate the effectiveness of the method. To the best of our knowledge, this work takes the lead in constructing a complete neural network-based method of reverse-engineering bar charts.
翻訳日:2022-10-21 20:44:13 公開日:2020-09-05
# ディープニューラルネットワークを用いた画像キャプションの効率的な手法

An Efficient Technique for Image Captioning using Deep Neural Network ( http://arxiv.org/abs/2009.02565v1 )

ライセンス: Link先を確認
Borneel Bikash Phukan, Amiya Ranjan Panda(参考訳) インターネットの大規模拡大と、毎日何兆ギガバイトものデータを生成することで、急速な変化へのシステム適応性を維持するために、さまざまなツールの開発の必要性が求められている。 これらのツールの1つはイメージキャプションとして知られている。 インターネット上のすべてのエンティティは適切に識別および管理されなければならないため、画像データの場合、識別のための自動キャプションが必要である。 同様に、欠落ラベル、画像分類、人工言語のためのコンテンツ生成は、すべて画像キャプションのプロセスを必要とする。 本稿では,個々の画像の自動キャプションを行うための効率的かつユニークな手法について論じ,その性能と機能を改善するための戦略について論じる。

With the huge expansion of internet and trillions of gigabytes of data generated every single day, the needs for the development of various tools has become mandatory in order to maintain system adaptability to rapid changes. One of these tools is known as Image Captioning. Every entity in internet must be properly identified and managed and therefore in the case of image data, automatic captioning for identification is required. Similarly, content generation for missing labels, image classification and artificial languages all requires the process of Image Captioning. This paper discusses an efficient and unique way to perform automatic image captioning on individual image and discusses strategies to improve its performances and functionalities.
翻訳日:2022-10-21 20:44:02 公開日:2020-09-05
# 「勝者は...」:マルチグループフェアネス・アウェア・レコメンデーションのための動的ロテリ

"And the Winner Is...": Dynamic Lotteries for Multi-group Fairness-Aware Recommendation ( http://arxiv.org/abs/2009.02590v1 )

ライセンス: Link先を確認
Nasim Sonboli, Robin Burke, Nicholas Mattei, Farzad Eskandanian, Tian Gao(参考訳) 推薦システムは、社会的に連続したアプリケーションの増加のために設計され、デプロイされているため、これらのシステムがどのような公正性を示すかを考えることが重要である。 推薦の公平性に関する研究が盛んである。 しかし、従来の文献は、公正な仮定の単純で一様であり、しばしば一次元的な概念に基づいており、公正を意識したアプリケーションの現実的な複雑さを認識していない。 本稿では,複数のフェアネス指標をサポートする複数の保護グループをまたいで,正確性と公平性の間のトレードオフに陥る設計決定を明示的に表現する。 フレームワークはまた、リコメンダがそのパフォーマンスを、時間軸を超えて提供されたリコメンデーションの歴史的見解に基づいて調整することを可能にする。 本枠組みでは、公平度を考慮に入れた抽選に基づくメカニズムを定式化し、その性能を2つの推奨領域で示す。

As recommender systems are being designed and deployed for an increasing number of socially-consequential applications, it has become important to consider what properties of fairness these systems exhibit. There has been considerable research on recommendation fairness. However, we argue that the previous literature has been based on simple, uniform and often uni-dimensional notions of fairness assumptions that do not recognize the real-world complexities of fairness-aware applications. In this paper, we explicitly represent the design decisions that enter into the trade-off between accuracy and fairness across multiply-defined and intersecting protected groups, supporting multiple fairness metrics. The framework also allows the recommender to adjust its performance based on the historical view of recommendations that have been delivered over a time horizon, dynamically rebalancing between fairness concerns. Within this framework, we formulate lottery-based mechanisms for choosing between fairness concerns, and demonstrate their performance in two recommendation domains.
翻訳日:2022-10-21 20:42:59 公開日:2020-09-05
# Particle SwarmがIoTとスマートシティサービスのためのフェデレーション学習を最適化

Particle Swarm Optimized Federated Learning For Industrial IoT and Smart City Services ( http://arxiv.org/abs/2009.02560v1 )

ライセンス: Link先を確認
Basheer Qolomany, Kashif Ahmad, Ala Al-Fuqaha, Junaid Qadir(参考訳) フェデレーション学習(fl)に関するほとんどの研究は、グローバル最適化、プライバシ、およびコミュニケーションの分析に重点を置いており、エッジデバイスでの効率的なローカルトレーニングと推論の重要事項の分析に限定されている。 エッジデバイス上で成功し、効率的なトレーニングと推論を行う上で大きな課題のひとつは、ローカル機械学習(ML)モデルを構築するためのパラメータの選択を慎重に行うことだ。 そこで本研究では,FL環境でのローカルMLモデルのハイパーパラメータ設定を最適化するために,PSO(Particle Swarm Optimization)に基づく手法を提案する。 2つのケーススタディを用いて提案手法の性能評価を行った。 まず,スマートシティサービスについて考察し,交通予測のための実験的な交通データセットを,この設定のプロキシとして利用する。 第二に、産業用IoT(IIoT)サービスを検討し、リアルタイムテレメトリデータセットを使用して、コンポーネントの障害によりマシンがすぐに失敗する確率を予測する。 実験の結果,PSOはグリッド探索法と比較した場合のLSTMモデルのハイパーパラメータの調整に効率的であることがわかった。 実験の結果, ほぼ最適パラメータを求めるため, 構成の風景を探索するクライアントサーバ間通信ラウンドの数は大幅に削減された(大まかに言えば, ラウンドの2%--4%しか必要としない)。 また,提案手法を用いてFLと集中学習モデルの近最適構成を求めることは,モデルの精度に悪影響を及ぼさないことを示した。

Most of the research on Federated Learning (FL) has focused on analyzing global optimization, privacy, and communication, with limited attention focusing on analyzing the critical matter of performing efficient local training and inference at the edge devices. One of the main challenges for successful and efficient training and inference on edge devices is the careful selection of parameters to build local Machine Learning (ML) models. To this aim, we propose a Particle Swarm Optimization (PSO)-based technique to optimize the hyperparameter settings for the local ML models in an FL environment. We evaluate the performance of our proposed technique using two case studies. First, we consider smart city services and use an experimental transportation dataset for traffic prediction as a proxy for this setting. Second, we consider Industrial IoT (IIoT) services and use the real-time telemetry dataset to predict the probability that a machine will fail shortly due to component failures. Our experiments indicate that PSO provides an efficient approach for tuning the hyperparameters of deep Long short-term memory (LSTM) models when compared to the grid search method. Our experiments illustrate that the number of clients-server communication rounds to explore the landscape of configurations to find the near-optimal parameters are greatly reduced (roughly by two orders of magnitude needing only 2%--4% of the rounds compared to state of the art non-PSO-based approaches). We also demonstrate that utilizing the proposed PSO-based technique to find the near-optimal configurations for FL and centralized learning models does not adversely affect the accuracy of the models.
翻訳日:2022-10-21 20:35:52 公開日:2020-09-05
# FLFE: コミュニケーション効率の良いプライバシ保護フェデレーション機能エンジニアリングフレームワーク

FLFE: A Communication-Efficient and Privacy-Preserving Federated Feature Engineering Framework ( http://arxiv.org/abs/2009.02557v1 )

ライセンス: Link先を確認
Pei Fang, Zhendong Cai, Hui Chen and QingJiang Shi(参考訳) 機能エンジニアリングは、データマイニング技術によって生データから特徴を抽出するためにドメイン知識を使用するプロセスであり、機械学習アルゴリズムのパフォーマンスを改善するための重要なステップである。 マルチパーティの機能エンジニアリング(さまざまなIoTデバイスに格納される機能)のシナリオでは、直接的および無制限な機能変換は、脅威となる情報のセキュリティを言うまでもなく、デバイスのメモリ、電力、帯域を急速に消費する。 これを踏まえ、FLFEと呼ばれるフレームワークを用いて、プライバシ保護および通信保護機能変換を行う。 このフレームワークは機能のパターンを事前に学習し、ある機能における変換の有用性を直接判断する。 このフレームワークは、機密性の前提下での通信オーバーヘッドを大幅に削減する、よく設計された機能交換機構のための暗号化ベースのアルゴリズムを禁止する。 オープンソースと実世界の両方のデータセットについて実験を行い、FLFEと評価ベースのアプローチの同等の有効性を検証した。

Feature engineering is the process of using domain knowledge to extract features from raw data via data mining techniques and is a key step to improve the performance of machine learning algorithms. In the multi-party feature engineering scenario (features are stored in many different IoT devices), direct and unlimited multivariate feature transformations will quickly exhaust memory, power, and bandwidth of devices, not to mention the security of information threatened. Given this, we present a framework called FLFE to conduct privacy-preserving and communication-preserving multi-party feature transformations. The framework pre-learns the pattern of the feature to directly judge the usefulness of the transformation on a feature. Explored the new useful feature, the framework forsakes the encryption-based algorithm for the well-designed feature exchange mechanism, which largely decreases the communication overhead under the premise of confidentiality. We made experiments on datasets of both open-sourced and real-world thus validating the comparable effectiveness of FLFE to evaluation-based approaches, along with the far more superior efficacy.
翻訳日:2022-10-21 20:35:28 公開日:2020-09-05
# ユーザインタラクションからの素早いアノテーションに対するユーザガイド型ドメイン適応:病理肝分節の検討

User-Guided Domain Adaptation for Rapid Annotation from User Interactions: A Study on Pathological Liver Segmentation ( http://arxiv.org/abs/2009.02455v1 )

ライセンス: Link先を確認
Ashwin Raju, Zhanghexuan Ji, Chi Tung Cheng, Jinzheng Cai, Junzhou Huang, Jing Xiao, Le Lu, ChienHung Liao, Adam P. Harrison(参考訳) マスクベースの医用画像のアノテーション、特に3Dデータは、信頼できる機械学習モデルを開発する上でボトルネックとなる。 アノテーションを導くためにminimum-labor user interaction(uis)を使うことは有望であるが、uiとのマスク予測を最大限に調和させることは課題である。 これを解決するために,ユーザガイド付きドメイン適応(UGDA)フレームワークを提案する。 UIはその後、マスク予測のガイドと調整にアンカーとして使用される。 重要なことは、UGDAは遅延のないデータから学ぶことができ、異なるUIの背後にある高レベルの意味をモデル化できる。 臨床的に包括的な927症例の肝アノテート法を用いてUGDAを試験した。 極端点uiのみを用いて96.1% (94.9%) の平均性能を達成し, 深部極端点 (dextr) では93.0% (87.0%) であった。 さらに、ugdaは利用可能なuiのほんの一部を見ても、最先端のパフォーマンスを維持することができ、極めて最小限の労力で、堅牢で信頼性の高いuiガイド付きセグメンテーションが可能であることも示しています。

Mask-based annotation of medical images, especially for 3D data, is a bottleneck in developing reliable machine learning models. Using minimal-labor user interactions (UIs) to guide the annotation is promising, but challenges remain on best harmonizing the mask prediction with the UIs. To address this, we propose the user-guided domain adaptation (UGDA) framework, which uses prediction-based adversarial domain adaptation (PADA) to model the combined distribution of UIs and mask predictions. The UIs are then used as anchors to guide and align the mask prediction. Importantly, UGDA can both learn from unlabelled data and also model the high-level semantic meaning behind different UIs. We test UGDA on annotating pathological livers using a clinically comprehensive dataset of 927 patient studies. Using only extreme-point UIs, we achieve a mean (worst-case) performance of 96.1%(94.9%), compared to 93.0% (87.0%) for deep extreme points (DEXTR). Furthermore, we also show UGDA can retain this state-of-the-art performance even when only seeing a fraction of available UIs, demonstrating an ability for robust and reliable UI-guided segmentation with extremely minimal labor demands.
翻訳日:2022-10-21 20:35:10 公開日:2020-09-05
# 数十億ドルの支払いカード取引から米国のレストランをプロファイリング

Profiling US Restaurants from Billions of Payment Card Transactions ( http://arxiv.org/abs/2009.02461v1 )

ライセンス: Link先を確認
Himel Dev and Hossein Hamooni(参考訳) 支払いカード(デビットカードやクレジットカード)は、商品やサービスを購入するための最も便利な支払い方法の1つである。 毎日何億ものカード取引が世界中で行われ、大量の取引データを生み出している。 データはカードホルダーとマーチャントとのインタラクションの全体像を表しており、支払い詐欺の検出やマーチャントレコメンデーションなど、さまざまなアプリケーションに役立つ洞察を含んでいる。 しかし、これらの洞察を利用するには、しばしばデータ所有者(すなわち支払い会社)の視点から欠落している商人に関する追加情報が必要である。 例えば、決済会社は商店が提供している商品の正確な種類を知らない。 商業目的のために外部ソースからマーチャント属性を収集することは高価である。 この制限により、私たちはトランザクションデータから潜在商属性を推測することを目指しています。 概念実証として、レストランに集中し、取引から料理の種類を推測する。 そこで本研究では,取引データから飲食店の種類を推測する枠組みを提案する。 提案するフレームワークは3つのステップからなる。 最初のステップでは、弱い監督によって限られた数のレストランの料理ラベルを作成します。 第2のステップでは、レストランの取引から様々な統計的特徴と神経埋め込みを抽出する。 3番目のステップでは、ディープニューラルネットワーク(DNN)を使用して、残りのレストランの料理タイプを推測します。 提案手法は、米国のレストランの分類において76.2%の精度を達成した。 私たちの知る限りでは、トランザクションデータを唯一のソースとして分析することでレストランの料理タイプを推測する最初のフレームワークです。

A payment card (such as debit or credit) is one of the most convenient payment methods for purchasing goods and services. Hundreds of millions of card transactions take place across the globe every day, generating a massive volume of transaction data. The data render a holistic view of cardholder-merchant interactions, containing insights that can benefit various applications, such as payment fraud detection and merchant recommendation. However, utilizing these insights often requires additional information about merchants missing from the data owner's (i.e., payment company's) perspective. For example, payment companies do not know the exact type of product a merchant serves. Collecting merchant attributes from external sources for commercial purposes can be expensive. Motivated by this limitation, we aim to infer latent merchant attributes from transaction data. As proof of concept, we concentrate on restaurants and infer the cuisine types of restaurants from transactions. To this end, we present a framework for inferring the cuisine types of restaurants from transaction data. Our proposed framework consists of three steps. In the first step, we generate cuisine labels for a limited number of restaurants via weak supervision. In the second step, we extract a wide variety of statistical features and neural embeddings from the restaurant transactions. In the third step, we use deep neural networks (DNNs) to infer the remaining restaurants' cuisine types. The proposed framework achieved a 76.2% accuracy in classifying the US restaurants. To the best of our knowledge, this is the first framework to infer the cuisine types of restaurants by analyzing transaction data as the only source.
翻訳日:2022-10-21 20:34:29 公開日:2020-09-05
# クラスターと非定常バンディットの統一

Unifying Clustered and Non-stationary Bandits ( http://arxiv.org/abs/2009.02463v1 )

ライセンス: Link先を確認
Chuanhao Li, Qingyun Wu and Hongning Wang(参考訳) 非定常バンディットとオンラインバンディットクラスタリングは、コンテキストバンディットの制限的な仮定を解除し、多くの重要な現実世界シナリオに対するソリューションを提供する。 これら2つの問題を解決する本質はかなり重なるが、それぞれ独立して研究されている。 本稿では,この2つのバンドイット研究を,非定常バンドイットに対する変化検出とクラスタ識別を,統合されたソリューション・フレームワークでシームレスに処理する均質性テストという概念の下で結合する。 厳密な後悔分析と広範な経験的評価は,提案するソリューション,特に様々な環境仮定を扱う際の柔軟性の価値を示している。

Non-stationary bandits and online clustering of bandits lift the restrictive assumptions in contextual bandits and provide solutions to many important real-world scenarios. Though the essence in solving these two problems overlaps considerably, they have been studied independently. In this paper, we connect these two strands of bandit research under the notion of test of homogeneity, which seamlessly addresses change detection for non-stationary bandit and cluster identification for online clustering of bandit in a unified solution framework. Rigorous regret analysis and extensive empirical evaluations demonstrate the value of our proposed solution, especially its flexibility in handling various environment assumptions.
翻訳日:2022-10-21 20:33:53 公開日:2020-09-05
# S-SGD:平板リフレッシュ用軽量ノイズ注入による対称確率勾配発振

S-SGD: Symmetrical Stochastic Gradient Descent with Weight Noise Injection for Reaching Flat Minima ( http://arxiv.org/abs/2009.02479v1 )

ライセンス: Link先を確認
Wonyong Sung, Iksoo Choi, Jinhwan Park, Seokhyun Choi, Sungho Shin(参考訳) 確率勾配降下法(sgd法)は深層ニューラルネットワーク(dnn)訓練に最も広く用いられている。 しかし、この方法は必ずしも、高一般化能力を示すことができる損失面の最小限に収束するとは限らない。 SGD法を用いて平坦な最小値を求めるため, 重量雑音注入法が広く研究されている。 本研究では,dnnの重み付けに対称なノイズを付加する新しい重み付け注入型sgd法を考案する。 対称雑音によるトレーニングは、2つの隣接点における損失面を評価し、鋭い最小値への収束を回避できる。 トレーニング不安定性を最小限に抑えるため、固定磁気対称ノイズが追加される。 画像分類のための畳み込みニューラルネットワークを用いた従来のsgd法と従来の重み雑音注入アルゴリズムとの比較を行った。 特に大規模なバッチトレーニングのパフォーマンス向上が示されている。 本手法は,バッチサイズ・学習速度スケジューリングアルゴリズムによらず,従来のSGD法やウェイトノイズ注入法と比較して優れた性能を示す。

The stochastic gradient descent (SGD) method is most widely used for deep neural network (DNN) training. However, the method does not always converge to a flat minimum of the loss surface that can demonstrate high generalization capability. Weight noise injection has been extensively studied for finding flat minima using the SGD method. We devise a new weight-noise injection-based SGD method that adds symmetrical noises to the DNN weights. The training with symmetrical noise evaluates the loss surface at two adjacent points, by which convergence to sharp minima can be avoided. Fixed-magnitude symmetric noises are added to minimize training instability. The proposed method is compared with the conventional SGD method and previous weight-noise injection algorithms using convolutional neural networks for image classification. Particularly, performance improvements in large batch training are demonstrated. This method shows superior performance compared with conventional SGD and weight-noise injection methods regardless of the batch-size and learning rate scheduling algorithms.
翻訳日:2022-10-21 20:33:40 公開日:2020-09-05
# PySAD: Pythonのストリーミング異常検出フレームワーク

PySAD: A Streaming Anomaly Detection Framework in Python ( http://arxiv.org/abs/2009.02572v1 )

ライセンス: Link先を確認
Selim F. Yilmaz and Suleyman S. Kozat(参考訳) PySADは、ストリーミングデータの異常検出のためのオープンソースのpythonフレームワークである。 PySADは、異常検出をストリーミングするための最先端の様々な方法を提供している。 このフレームワークは、プロジェクタから確率校正器まで、異常検出実験を設計するための完全なツールセットを提供する。 PySADは、PyODやScikit-learnといった人気のあるオープンソースフレームワークの上に構築されている。 PEP8ガイドラインの遵守、機能テスト、継続的インテグレーションの使用によって、ソフトウェア品質を強制します。 ソースコードはhttps://github.com/selimfirat/pysadで公開されている。

PySAD is an open-source python framework for anomaly detection on streaming data. PySAD serves various state-of-the-art methods for streaming anomaly detection. The framework provides a complete set of tools to design anomaly detection experiments ranging from projectors to probability calibrators. PySAD builds upon popular open-source frameworks such as PyOD and scikit-learn. We enforce software quality by enforcing compliance with PEP8 guidelines, functional testing and using continuous integration. The source code is publicly available on https://github.com/selimfirat/pysad.
翻訳日:2022-10-21 20:33:10 公開日:2020-09-05