このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス(CC 0, CC BY, CC BY-SA)の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。(arxivのメタデータは CC 0です。) 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。

本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。

公開日が20200904となっている論文です。

PDF登録状況(公開日: 20200904)

TitleAuthorsAbstract論文公表日・翻訳日
# ニューラルコントロールの変動

Neural Control Variates ( http://arxiv.org/abs/2006.01524v2 )

ライセンス: Link先を確認
Thomas M\"uller, Fabrice Rousselle, Jan Nov\'ak, Alexander Keller(参考訳) パラメトリックモンテカルロ積分における偏り分散低減のためのニューラルコントロール変数(ncv)を提案する。 これまでのところ、制御変数の方法を適用することの核となる課題は、統合が安価であるインテグレードのよい近似を見つけることである。 インテグレードの形状を近似する正規化フローと、積分方程式の解を推論する別のニューラルネットワークである。 また,ニューラルネットワークを用いたインテグレートと学習制御のバラエトの違いを推定する手法を提案する。 パラメトリック推定器を最適化するために, 理論的に最適で分散最小の損失関数を導出し, オンライン学習を安定に行うための代替的複合損失を提案する。 光輸送シミュレーションに適用すると、ニューラルコントロール変数は、他のバイアスのないアプローチの最先端のパフォーマンスと一致し、より高性能で実用的なソリューションを開発する手段を提供する。 具体的には, 学習された光場近似は, 高次バウンスに対して十分な品質を有しており, 誤差補正を省略し, 可視バイアスを犠牲にしてノイズを劇的に低減できることを示す。

We propose neural control variates (NCV) for unbiased variance reduction in parametric Monte Carlo integration. So far, the core challenge of applying the method of control variates has been finding a good approximation of the integrand that is cheap to integrate. We show that a set of neural networks can face that challenge: a normalizing flow that approximates the shape of the integrand and another neural network that infers the solution of the integral equation. We also propose to leverage a neural importance sampler to estimate the difference between the original integrand and the learned control variate. To optimize the resulting parametric estimator, we derive a theoretically optimal, variance-minimizing loss function, and propose an alternative, composite loss for stable online training in practice. When applied to light transport simulation, neural control variates are capable of matching the state-of-the-art performance of other unbiased approaches, while providing means to develop more performant, practical solutions. Specifically, we show that the learned light-field approximation is of sufficient quality for high-order bounces, allowing us to omit the error correction and thereby dramatically reduce the noise at the cost of negligible visible bias.
翻訳日:2022-11-26 00:04:19 公開日:2020-09-04
# ローメモリIoTデバイスのためのニューラルネットワークとロジスティックマップに基づくカーネルを用いたMNIST画像認識

Neural Network for Low-Memory IoT Devices and MNIST Image Recognition Using Kernels Based on Logistic Map ( http://arxiv.org/abs/2006.02824v2 )

ライセンス: Link先を確認
Andrei Velichko(参考訳) 本研究では,ロジスティックマッピング(lognnet)に基づくフィルタを用いたニューラルネットワークを提案する。 LogNNetはフィードフォワードネットワーク構造を持っているが、貯水池ニューラルネットワークの特性を持っている。 繰り返しロジスティック写像によって設定される入力重み行列は、入力空間を高次元の特徴空間に変換する核を形成する。 MNIST-10から手書きの数字を最も効果的に認識するのは、ロジスティックマップのカオスな振る舞いである。 分類精度とリアプノフ指数の値との相関が得られた。 IoTデバイス上でのLogNNet実装の利点は、使用するメモリの大幅な節約である。 同時にLogNNetは、現時点で利用可能な最高のリソース効率アルゴリズムに匹敵する、シンプルなアルゴリズムとパフォーマンス指標を持っている。 提案したネットワークアーキテクチャでは、メモリサイズが1から29kBの重みの配列を使用し、分類精度は80.3-96.3%である。 メモリはプロセッサによって保存され、ロジスティックマッピングの解析方程式を用いて、ネットワーク操作中に必要な重み係数を逐次計算する。 提案されたニューラルネットワークは、現在のiot環境で環境インテリジェンスを作成するための不可欠なブロックである、メモリ制限のある制約付きデバイスに基づく人工知能の実装に使用できる。 研究の観点からは、LogNNetは貯水池型ニューラルネットワークの挙動に対するカオスの影響の根本的な問題を理解するのに寄与することができる。

This study presents a neural network which uses filters based on logistic mapping (LogNNet). LogNNet has a feedforward network structure, but possesses the properties of reservoir neural networks. The input weight matrix, set by a recurrent logistic mapping, forms the kernels that transform the input space to the higher-dimensional feature space. The most effective recognition of a handwritten digit from MNIST-10 occurs under chaotic behavior of the logistic map. The correlation of classification accuracy with the value of the Lyapunov exponent was obtained. An advantage of LogNNet implementation on IoT devices is the significant savings in memory used. At the same time, LogNNet has a simple algorithm and performance indicators comparable to those of the best resource-efficient algorithms available at the moment. The presented network architecture uses an array of weights with a total memory size from 1 to 29 kB and achieves a classification accuracy of 80.3-96.3%. Memory is saved due to the processor, which sequentially calculates the required weight coefficients during the network operation using the analytical equation of the logistic mapping. The proposed neural network can be used in implementations of artificial intelligence based on constrained devices with limited memory, which are integral blocks for creating ambient intelligence in modern IoT environments. From a research perspective, LogNNet can contribute to the understanding of the fundamental issues of the influence of chaos on the behavior of reservoir-type neural networks.
翻訳日:2022-11-25 10:00:26 公開日:2020-09-04
# NITS-Hinglish-SentiMix at SemEval-2020 Task 9: Code-Mixed Social Text using a Ensemble Model (英語)

NITS-Hinglish-SentiMix at SemEval-2020 Task 9: Sentiment Analysis For Code-Mixed Social Media Text Using an Ensemble Model ( http://arxiv.org/abs/2007.12081v2 )

ライセンス: Link先を確認
Subhra Jyoti Baroi, Nivedita Singh, Ringki Das, Thoudam Doren Singh(参考訳) 感性分析は、ある文が何を表出するかを解読し、それらを正、負、中性のいずれかに分類する過程である。 近年、インドではアクティブなソーシャルメディア利用者が急増しており、構造化されていないテキストデータが大量に流出している。 インドの人口は一般的にヒンディー語と英語の両方に精通しているため、他の英語の単語と共にローマ字で書かれたヒンディー語の表現をコード混成のヒングリッシュ・ソーシャルメディアのテキストを生成することになる。 これらのテキストにおける概念を適切に理解する能力は本当に必要である。 われわれのチームはSemEval2020のタスク9に参加し、コードミキシングされたソーシャルメディアテキストの感情分析を行うシステムを設計した。 本研究は, NITS-Hinglish-SentiMixというシステムを用いて, コード混在Hinglishテキストの感情分析を活発に行うことを提案する。 提案フレームワークはテストデータに0.617のf-scoreを記録している。

Sentiment Analysis is the process of deciphering what a sentence emotes and classifying them as either positive, negative, or neutral. In recent times, India has seen a huge influx in the number of active social media users and this has led to a plethora of unstructured text data. Since the Indian population is generally fluent in both Hindi and English, they end up generating code-mixed Hinglish social media text i.e. the expressions of Hindi language, written in the Roman script alongside other English words. The ability to adequately comprehend the notions in these texts is truly necessary. Our team, rns2020 participated in Task 9 at SemEval2020 intending to design a system to carry out the sentiment analysis of code-mixed social media text. This work proposes a system named NITS-Hinglish-SentiMix to viably complete the sentiment analysis of such code-mixed Hinglish text. The proposed framework has recorded an F-Score of 0.617 on the test data.
翻訳日:2022-11-07 12:31:03 公開日:2020-09-04
# ビデオ中のディープフェイクを分離する2分岐リカレントネットワーク

Two-branch Recurrent Network for Isolating Deepfakes in Videos ( http://arxiv.org/abs/2008.03412v3 )

ライセンス: Link先を確認
Iacopo Masi, Aditya Killekar, Royston Marian Mascarenhas, Shenoy Pratik Gurudatt, Wael AbdAlmageed(参考訳) ディープフェイクを使って人工的に生成された超現実的顔のスパイクは、ビデオストリームに合わせて調整され、ビデオレベルで低い誤報率で確実に機能するメディア・フォレンジス・ソリューションを要求する。 本稿では,高レベルな顔コンテンツを抑制しつつ,デジタル操作された顔から切り離し,人工物を増幅する2分岐ネットワーク構造に基づくディープフェイク検出手法を提案する。 先行処理として空間周波数を抽出する現在の手法と異なり、1つの分岐が元の情報を伝搬し、もう1つの分岐が顔内容を抑制しながらガウス(log)のラプラシアンをボトルネック層としてマルチバンド周波数を増幅する2つの分岐構造を提案する。 操作された顔をより分離するために、通常の分類とは異なり、自然な顔のバラツキを圧縮し、特徴空間内の非現実的な顔サンプルを除去する新たなコスト関数を導出する。 当社の2つの新しいコンポーネントは、以前の作業と比較して、FaceForensics++、Celeb-DF、FacebookのDFDCプレビューベンチマークで有望な結果を示している。 次に、ネットワークアーキテクチャとコスト関数の完全な詳細なアブレーション研究を行います。 最後に、バーは依然として非常に低い誤報率で目立った数字を得るには高いが、ビデオレベルのAUCでクロステストを行う際には、優れたビデオレベルのパフォーマンスが得られることを示す。

The current spike of hyper-realistic faces artificially generated using deepfakes calls for media forensics solutions that are tailored to video streams and work reliably with a low false alarm rate at the video level. We present a method for deepfake detection based on a two-branch network structure that isolates digitally manipulated faces by learning to amplify artifacts while suppressing the high-level face content. Unlike current methods that extract spatial frequencies as a preprocessing step, we propose a two-branch structure: one branch propagates the original information, while the other branch suppresses the face content yet amplifies multi-band frequencies using a Laplacian of Gaussian (LoG) as a bottleneck layer. To better isolate manipulated faces, we derive a novel cost function that, unlike regular classification, compresses the variability of natural faces and pushes away the unrealistic facial samples in the feature space. Our two novel components show promising results on the FaceForensics++, Celeb-DF, and Facebook's DFDC preview benchmarks, when compared to prior work. We then offer a full, detailed ablation study of our network architecture and cost function. Finally, although the bar is still high to get very remarkable figures at a very low false alarm rate, our study shows that we can achieve good video-level performance when cross-testing in terms of video-level AUC.
翻訳日:2022-11-01 11:47:28 公開日:2020-09-04
# vision meets wireless positioning: recurrent context propagationによる効果的な人物再同定

Vision Meets Wireless Positioning: Effective Person Re-identification with Recurrent Context Propagation ( http://arxiv.org/abs/2008.04146v2 )

ライセンス: Link先を確認
Yiheng Liu, Wengang Zhou, Mao Xi, Sanjing Shen, Houqiang Li(参考訳) 既存の人物再識別方法は、歩行者を捕獲する視覚センサーに依存している。 視覚センサからの映像や映像データは、必然的に歩行者の姿勢の閉塞や劇的な変化に苦しめられ、再識別性能が低下し、さらに開放環境への応用が制限される。 一方、ほとんどの人にとって最も重要な持ち運びアイテムの1つは携帯電話であり、wi-fiや携帯電話ネットワークによって無線測位信号の形で感知することができる。 このような信号は歩行者の閉塞や外観の変化に頑健であるが、位置決めの誤りがある。 本研究では,視覚と無線の測位からセンシングデータを得た人物再同定にアプローチする。 そこで本研究では,視覚データと無線測位データ間の情報伝達を可能とし,マッチング精度を向上する新たなコンテキスト伝搬モジュールを提案する。 提案手法を評価するために,新しい無線測位者再識別データセット(WP-ReID)を提案する。 提案アルゴリズムの有効性を実証し,実験を行った。 コードはhttps://github.com/yolomax/WP-ReIDでリリースされる。

Existing person re-identification methods rely on the visual sensor to capture the pedestrians. The image or video data from visual sensor inevitably suffers the occlusion and dramatic variations of pedestrian postures, which degrades the re-identification performance and further limits its application to the open environment. On the other hand, for most people, one of the most important carry-on items is the mobile phone, which can be sensed by WiFi and cellular networks in the form of a wireless positioning signal. Such signal is robust to the pedestrian occlusion and visual appearance change, but suffers some positioning error. In this work, we approach person re-identification with the sensing data from both vision and wireless positioning. To take advantage of such cross-modality cues, we propose a novel recurrent context propagation module that enables information to propagate between visual data and wireless positioning data and finally improves the matching accuracy. To evaluate our approach, we contribute a new Wireless Positioning Person Re-identification (WP-ReID) dataset. Extensive experiments are conducted and demonstrate the effectiveness of the proposed algorithm. Code will be released at https://github.com/yolomax/WP-ReID.
翻訳日:2022-10-31 23:04:06 公開日:2020-09-04
# ペース予測による自己教師付き映像表現学習

Self-supervised Video Representation Learning by Pace Prediction ( http://arxiv.org/abs/2008.05861v2 )

ライセンス: Link先を確認
Jiangliu Wang, Jianbo Jiao, and Yun-Hui Liu(参考訳) 本稿では,ビデオペース予測による自己指導型映像表現学習の課題に対処する。 これは、人間の視覚システムが、映画製作で広く使われている技術であるスローモーションなど、ビデオのペースに敏感であるという観察から来ている。 具体的には、ビデオが自然なペースで再生された場合、異なるペースでトレーニングクリップをランダムにサンプリングし、ニューラルネットワークに各ビデオクリップのペースを特定するように依頼する。 ここでの前提は、ネットワークは、基礎となるビデオコンテンツを理解して、代表時空間の特徴を学習するときにのみ、そのようなペース推論タスクを成功させることである。 さらに,類似ビデオコンテンツに対する合意を最大化することにより,異なるペースの識別に向けてモデルをプッシュするコントラスト学習についても紹介する。 提案手法の有効性を検証するため,複数の代替ネットワークアーキテクチャを用いて,行動認識および映像検索タスクについて広範な実験を行った。 実験により,ネットワークアーキテクチャやベンチマークの異なる自己教師付きビデオ表現学習において,本手法が最先端の性能を実現することを示す。 コードと事前学習されたモデルは、https://github.com/laura-wang/video-paceで入手できる。

This paper addresses the problem of self-supervised video representation learning from a new perspective -- by video pace prediction. It stems from the observation that human visual system is sensitive to video pace, e.g., slow motion, a widely used technique in film making. Specifically, given a video played in natural pace, we randomly sample training clips in different paces and ask a neural network to identify the pace for each video clip. The assumption here is that the network can only succeed in such a pace reasoning task when it understands the underlying video content and learns representative spatio-temporal features. In addition, we further introduce contrastive learning to push the model towards discriminating different paces by maximizing the agreement on similar video content. To validate the effectiveness of the proposed method, we conduct extensive experiments on action recognition and video retrieval tasks with several alternative network architectures. Experimental evaluations show that our approach achieves state-of-the-art performance for self-supervised video representation learning across different network architectures and different benchmarks. The code and pre-trained models are available at https://github.com/laura-wang/video-pace.
翻訳日:2022-10-30 23:32:04 公開日:2020-09-04
# MLM: 複数の言語とモダリティを用いたマルチタスク学習のためのベンチマークデータセット

MLM: A Benchmark Dataset for Multitask Learning with Multiple Languages and Modalities ( http://arxiv.org/abs/2008.06376v3 )

ライセンス: Link先を確認
Jason Armitage, Endri Kacupaj, Golsa Tahmasebzadeh, Swati, Maria Maleshkova, Ralph Ewerth, Jens Lehmann(参考訳) 本稿では,mlm(multiple languages and modalities)データセットを紹介する。マルチタスクシステムを複数のモダリティと3つの言語でトレーニングし,評価するための新しいリソースである。 セマンティックデータの生成プロセスと包含は、マルチタスクシステムがエンティティ間の関係を学習する能力をさらにテストするリソースを提供する。 このデータセットは、Webやデジタルアーカイブで遭遇したデータ上で複数のタスクを実行するアプリケーションを構築する研究者や開発者向けに設計されている。 MLMの第2版は、EU加盟国の重み付けされたサンプルと共に、データの地理的表現サブセットを提供する。 デジタルヒューマニティにおける新しいアプリケーションの開発における資源の価値を動機づけるユースケースで実証し、モダリティの検索とデータセット内のエンティティの特定のためのタスクのベンチマークセットを指定する。 mlmのフルおよびジオ表現バージョンにおけるベースラインマルチタスクおよびシングルタスクシステムの評価は、多様なデータの一般化の課題を示している。 デジタル人文科学に加えて,マルチモーダル表現学習,位置推定,シーン理解の研究に資源が寄与することを期待している。

In this paper, we introduce the MLM (Multiple Languages and Modalities) dataset - a new resource to train and evaluate multitask systems on samples in multiple modalities and three languages. The generation process and inclusion of semantic data provide a resource that further tests the ability for multitask systems to learn relationships between entities. The dataset is designed for researchers and developers who build applications that perform multiple tasks on data encountered on the web and in digital archives. A second version of MLM provides a geo-representative subset of the data with weighted samples for countries of the European Union. We demonstrate the value of the resource in developing novel applications in the digital humanities with a motivating use case and specify a benchmark set of tasks to retrieve modalities and locate entities in the dataset. Evaluation of baseline multitask and single task systems on the full and geo-representative versions of MLM demonstrate the challenges of generalising on diverse data. In addition to the digital humanities, we expect the resource to contribute to research in multimodal representation learning, location estimation, and scene understanding.
翻訳日:2022-10-30 16:53:55 公開日:2020-09-04
# 白血球分類

White blood cell classification ( http://arxiv.org/abs/2008.07181v2 )

ライセンス: Link先を確認
Na Dong, Meng-die Zhai, Jian-fang Chang and Chun-ho Wu(参考訳) 本稿では,5種類の白血球の認識のための新しい自動分類フレームワークを提案する。 血液塗抹画像から完全な白血球を分割し、それらから有利な特徴を抽出することは、白血球の分類において困難な課題である。 そこで本研究では,カラー空間情報としきい値セグメンテーションに基づいて,非均一な色と均一な照明で血液スミア画像を扱う適応しきい値セグメンテーション法を提案する。 その後、血液スメア画像から白血球を分離した後、幾何学的、色彩的、テクスチャ的特徴を含む多数の非線形特徴を抽出する。 それにもかかわらず、冗長な特徴は分類の速度と効率に影響を与える可能性があり、その観点から分類と回帰木(CART)に基づく特徴選択アルゴリズムが設計されている。 特徴間の非線形関係を深く分析することで、無関係な特徴と冗長な特徴を初期非線形特徴から取り除くことができる。 その後、選択された特徴を粒子群最適化支援ベクターマシン(PSO-SVM)分類器に入力し、白血球の種類を認識する。 最後に、提案する白血球分類法の性能を評価するために、実験のために500個のスメア画像を含む白血球データセットを構築した。 提案手法は、手動で得られた基底真理と比較することにより、それぞれ95.98%と97.57%の分割核と細胞領域の類似性が得られる。 さらに,提案手法は99.76%の分類精度を達成し,有効性を示す。

This paper proposes a novel automatic classification framework for the recognition of five types of white blood cells. Segmenting complete white blood cells from blood smears images and extracting advantageous features from them remain challenging tasks in the classification of white blood cells. Therefore, we present an adaptive threshold segmentation method to deal with blood smears images with non-uniform color and uneven illumination, which is designed based on color space information and threshold segmentation. Subsequently, after successfully separating the white blood cell from the blood smear image, a large number of nonlinear features including geometrical, color and texture features are extracted. Nevertheless, redundant features can affect the classification speed and efficiency, and in view of that, a feature selection algorithm based on classification and regression trees (CART) is designed. Through in-depth analysis of the nonlinear relationship between features, the irrelevant and redundant features are successfully removed from the initial nonlinear features. Afterwards, the selected prominent features are fed into particle swarm optimization support vector machine (PSO-SVM) classifier to recognize the types of the white blood cells. Finally, to evaluate the performance of the proposed white blood cell classification methodology, we build a white blood cell data set containing 500 blood smear images for experiments. By comparing with the ground truth obtained manually, the proposed segmentation method achieves an average of 95.98% and 97.57% dice similarity for segmented nucleus and cell regions respectively. Furthermore, the proposed methodology achieves 99.76% classification accuracy, which well demonstrates its effectiveness.
翻訳日:2022-10-28 04:00:57 公開日:2020-09-04
# スマートウォッチを用いた舞踏舞踊運動認識

Ballroom Dance Movement Recognition Using a Smart Watch ( http://arxiv.org/abs/2008.10122v2 )

ライセンス: Link先を確認
Varun Badrinath Krishna(参考訳) 慣性計測ユニット(IMU)センサーは、人間のジェスチャーや動きを検出するためにますます使われている。 単一のIMUセンサーを使用することで、体の動きの認識は、センサによって適切に捉えられていないため、依然として難しい問題である。 本稿では,ボールルームダンスの文脈における1つのスマートウォッチを用いた全身運動検出研究について述べる。 深層学習表現は、よく定義された動きの列を分類するために使われる。 これらの表現はランダムな森と隠れマルコフ模型のアンサンブルよりも優れている。 85.95\%の分類精度が92.31\%に向上し、ダンスを図の1次マルコフ連鎖としてモデル化し、直前の図の推定を補正した。

Inertial Measurement Unit (IMU) sensors are being increasingly used to detect human gestures and movements. Using a single IMU sensor, whole body movement recognition remains a hard problem because movements may not be adequately captured by the sensor. In this paper, we present a whole body movement detection study using a single smart watch in the context of ballroom dancing. Deep learning representations are used to classify well-defined sequences of movements, called \emph{figures}. Those representations are found to outperform ensembles of random forests and hidden Markov models. The classification accuracy of 85.95\% was improved to 92.31\% by modeling a dance as a first-order Markov chain of figures and correcting estimates of the immediately preceding figure.
翻訳日:2022-10-26 03:19:58 公開日:2020-09-04
# focal: ビデオ符号化自己一貫性に基づく偽造ローカライズフレームワーク

FOCAL: A Forgery Localization Framework based on Video Coding Self-Consistency ( http://arxiv.org/abs/2008.10454v2 )

ライセンス: Link先を確認
Sebastiano Verde, Paolo Bestagini, Simone Milani, Giancarlo Calvagno and Stefano Tubaro(参考訳) 現在、動画コンテンツの偽造操作は、強力でユーザーフレンドリーな編集ソフトウェアが利用できるため、誰でも利用できる範囲内にある。 ビデオの統合性検証と認証は、ジャーナリズム(例えば偽ニュースの暴露)とデジタル証拠を扱う法的な環境(例えば、裁判所)の両方に大きな関心を示している。 近年、いくつかの戦略と異なる法医学的痕跡が提案されているが、最新の解決策は複数の検出器と特徴を組み合わせることで精度を高めることを目指している。 本稿では,独立した特徴記述子の集合から得られた情報を用いて,フレーム間およびフレーム内における符号化トレースの自己一貫性を検証する,ビデオ偽造ローカライズフレームワークを提案する。 特徴抽出ステップは説明可能な畳み込みニューラルネットワークアーキテクチャを用いて行われ、特にコーディングアーティファクトの検索と分類を目的として設計されている。 全体フレームワークは、時間的スプライシングと空間的スプライシングの2つの典型的なフォージェリーシナリオで検証された。 実験結果から,時間的スプライシングの局所化に関する最先端技術の改善と,空間的スプライシングの新たな取組における有望なパフォーマンスが,合成ビデオと実世界のビデオの両方で示された。

Forgery operations on video contents are nowadays within the reach of anyone, thanks to the availability of powerful and user-friendly editing software. Integrity verification and authentication of videos represent a major interest in both journalism (e.g., fake news debunking) and legal environments dealing with digital evidence (e.g., a court of law). While several strategies and different forensics traces have been proposed in recent years, latest solutions aim at increasing the accuracy by combining multiple detectors and features. This paper presents a video forgery localization framework that verifies the self-consistency of coding traces between and within video frames, by fusing the information derived from a set of independent feature descriptors. The feature extraction step is carried out by means of an explainable convolutional neural network architecture, specifically designed to look for and classify coding artifacts. The overall framework was validated in two typical forgery scenarios: temporal and spatial splicing. Experimental results show an improvement to the state-of-the-art on temporal splicing localization and also promising performance in the newly tackled case of spatial splicing, on both synthetic and real-world videos.
翻訳日:2022-10-25 12:26:07 公開日:2020-09-04
# 空間的プライバシ価格:地理市場におけるプライバシ、ユーティリティ、価格の相互作用

Spatial Privacy Pricing: The Interplay between Privacy, Utility and Price in Geo-Marketplaces ( http://arxiv.org/abs/2008.11817v2 )

ライセンス: Link先を確認
Kien Nguyen, John Krumm, Cyrus Shahabi(参考訳) ジオマーケットプレースでは、ユーザーは位置情報の料金を支払うことができる。 プライバシーに関心のあるユーザーは、位置情報を正確に特定するデータに対してより多くの料金を請求するかもしれない。 買い手はデータコストを最小限に抑えることを好むが、必要なレベルの正確さを得るためにもっと多くの時間を費やす必要がある。 これをプライバシ、ユーティリティ、価格と空間的プライバシ価格の相互作用と呼んでいる。 本研究では,店舗の店舗の開店の有無を位置情報で決定する購入者の事例問題を用いて数学的に定式化し,店舗の開店可否を判定する。 問題はシーケンシャルな意思決定問題として表現され、購入者が最初に購入するデータについて一連の決定を行い、レストランをオープンするかどうかを判断する。 この問題を解決するために,ベースラインよりも優れた性能を示す実験を含む2つのアルゴリズムを提案する。

A geo-marketplace allows users to be paid for their location data. Users concerned about privacy may want to charge more for data that pinpoints their location accurately, but may charge less for data that is more vague. A buyer would prefer to minimize data costs, but may have to spend more to get the necessary level of accuracy. We call this interplay between privacy, utility, and price \emph{spatial privacy pricing}. We formalize the issues mathematically with an example problem of a buyer deciding whether or not to open a restaurant by purchasing location data to determine if the potential number of customers is sufficient to open. The problem is expressed as a sequential decision making problem, where the buyer first makes a series of decisions about which data to buy and concludes with a decision about opening the restaurant or not. We present two algorithms to solve this problem, including experiments that show they perform better than baselines.
翻訳日:2022-10-25 04:17:47 公開日:2020-09-04
# 雑音ラベル画像に対するサイド情報を用いた弱教師付き学習

Weakly Supervised Learning with Side Information for Noisy Labeled Images ( http://arxiv.org/abs/2008.11586v2 )

ライセンス: Link先を確認
Lele Cheng, Xiangzeng Zhou, Liming Zhao, Dangwei Li, Hong Shang, Yun Zheng, Pan Pan, Yinghui Xu(参考訳) WebVisionのような現実世界のデータセットでは、DNNベースの分類器のパフォーマンスは、ノイズの多いラベル付きデータによって制限されることが多い。 この問題に対処するため、キャプションやタグなどの画像関連情報によっては、画像間の基盤となる関係を明らかにすることが多い。 本稿では,重度雑音ラベルを用いた大規模分類を効果的に行うことを目的とした,サイドインフォメーションネットワーク(SINet)を用いた効率的な弱教師付き学習を提案する。 提案するsinetはビジュアルプロトタイプモジュールとノイズ重みモジュールで構成されている。 視覚プロトタイプモジュールは、側情報を導入して各カテゴリのコンパクトな表現を生成するように設計されている。 ノイズ重み付けモジュールは、各ノイズ画像の正しさを推定し、トレーニング中の画像ランキングに対する信頼スコアを生成する。 プロップされたsinetはノイズの多い画像ラベルの悪影響を軽減でき、高性能cnnベースの分類器を訓練するのに有用である。 このデータセットには、25万以上のノイズの多いwebイメージがインターネットからクロールされ、50,000のきめ細かなセマンティクスクラスから生成されたクエリを使っています。 いくつかの人気のあるベンチマーク(Webvision, ImageNet, Clothing-1M)と提案したAliProductsの大規模な実験により、最先端のパフォーマンスを実現した。 SINetは、WebVision Challenge 2019の分類タスクで優勝し、他の競争相手よりも大きな差で勝っている。

In many real-world datasets, like WebVision, the performance of DNN based classifier is often limited by the noisy labeled data. To tackle this problem, some image related side information, such as captions and tags, often reveal underlying relationships across images. In this paper, we present an efficient weakly supervised learning by using a Side Information Network (SINet), which aims to effectively carry out a large scale classification with severely noisy labels. The proposed SINet consists of a visual prototype module and a noise weighting module. The visual prototype module is designed to generate a compact representation for each category by introducing the side information. The noise weighting module aims to estimate the correctness of each noisy image and produce a confidence score for image ranking during the training procedure. The propsed SINet can largely alleviate the negative impact of noisy image labels, and is beneficial to train a high performance CNN based classifier. Besides, we released a fine-grained product dataset called AliProducts, which contains more than 2.5 million noisy web images crawled from the internet by using queries generated from 50,000 fine-grained semantic classes. Extensive experiments on several popular benchmarks (i.e. Webvision, ImageNet and Clothing-1M) and our proposed AliProducts achieve state-of-the-art performance. The SINet has won the first place in the classification task on WebVision Challenge 2019, and outperformed other competitors by a large margin.
翻訳日:2022-10-25 04:09:12 公開日:2020-09-04
# アクティブローカルラーニング

Active Local Learning ( http://arxiv.org/abs/2008.13374v2 )

ライセンス: Link先を確認
Arturs Backurs, Avrim Blum, Neha Gupta(参考訳) クエリポイント $x$ とラベルなしのトレーニングセットへのアクティブアクセスを与えられた場合、$h$ を学習するのに必要となるラベルよりはるかに少ないラベルを使用して、ほぼ最適に近い$h \in h$ の予測$h(x)$ を出力する。 特にラベルクエリの数は$h$の複雑さとは無関係で、関数$h$は$x$とは独立して明確に定義されるべきである。 これはまた、距離推定のためのアルゴリズムも含んでいる: いくつかのランダムなクエリポイントでローカル学習を実行し、平均エラーを計算することによって、実際に最適化された$h \in h$を学習するために必要以上に少ないラベルから$opt(h)$を推定する。 区間 $[0,1]$ とリプシッツ定数を $l$ で有界とする関数からなる仮説クラスに対して、$o(({1 / \epsilon^6}) \log(1/\epsilon))$ のラベル付きプールからラベル付きクエリを$o(({l / \epsilon^4})\log(1/\epsilon))$ とするアルゴリズムを提案する。 クラス内の最良の仮説への距離を任意の基底分布に対して$\epsilon$の加法誤差に推定する。 我々はさらにアルゴリズムを複数の次元に一般化する。 使用するラベルの数は、$L$に依存する仮説クラスの複雑さとは無関係であることを強調する。 さらに,$l$ に依存しないラベル数を持ついくつかの問合せ点において,最適に近い関数の値を局所的に推定するアルゴリズムを提案する。 また, 線形対角変換の下でナダラヤ・ワトソン推定器によって達成される最小誤差を, 固有値が小さい範囲から得られるような最小誤差を近似する問題についても考察する。 サイズ$n$の$d$次元のポイントセットに対して、このアルゴリズムは$\epsilon$の加算近似を達成し、$\tilde{o}({d}/{\epsilon^2})$クエリを生成し、$\tilde{o}({d^2}/{\epsilon^{d+4}}+{dn}/{\epsilon^2})$ timeで実行する。

In this work we consider active local learning: given a query point $x$, and active access to an unlabeled training set $S$, output the prediction $h(x)$ of a near-optimal $h \in H$ using significantly fewer labels than would be needed to actually learn $h$ fully. In particular, the number of label queries should be independent of the complexity of $H$, and the function $h$ should be well-defined, independent of $x$. This immediately also implies an algorithm for distance estimation: estimating the value $opt(H)$ from many fewer labels than needed to actually learn a near-optimal $h \in H$, by running local learning on a few random query points and computing the average error. For the hypothesis class consisting of functions supported on the interval $[0,1]$ with Lipschitz constant bounded by $L$, we present an algorithm that makes $O(({1 / \epsilon^6}) \log(1/\epsilon))$ label queries from an unlabeled pool of $O(({L / \epsilon^4})\log(1/\epsilon))$ samples. It estimates the distance to the best hypothesis in the class to an additive error of $\epsilon$ for an arbitrary underlying distribution. We further generalize our algorithm to more than one dimensions. We emphasize that the number of labels used is independent of the complexity of the hypothesis class which depends on $L$. Furthermore, we give an algorithm to locally estimate the values of a near-optimal function at a few query points of interest with number of labels independent of $L$. We also consider the related problem of approximating the minimum error that can be achieved by the Nadaraya-Watson estimator under a linear diagonal transformation with eigenvalues coming from a small range. For a $d$-dimensional pointset of size $N$, our algorithm achieves an additive approximation of $\epsilon$, makes $\tilde{O}({d}/{\epsilon^2})$ queries and runs in $\tilde{O}({d^2}/{\epsilon^{d+4}}+{dN}/{\epsilon^2})$ time.
翻訳日:2022-10-23 06:45:16 公開日:2020-09-04
# スイッチング式ディープビームフォーマ

Switchable Deep Beamformer ( http://arxiv.org/abs/2008.13646v2 )

ライセンス: Link先を確認
Shujaat Khan, Jaeyoung Huh and Jong Chul Ye(参考訳) ディープニューラルネットワークを用いたディープビームフォーマの最近の提案は、適応型および圧縮型ビームフォーマに対する計算効率の優れた代替として注目されている。 さらに、画像後処理アルゴリズムとビームフォーミングを組み合わせることができるため、ディープビームフォーマは多用途である。 残念ながら、現在の技術では、個別のビームフォーマをトレーニングし、各アプリケーションに保存し、重要なスキャナーリソースを必要とする。 そこで本研究では,単純なスイッチによる単一ネットワークを用いて,das,スペックル除去,デコンボリューションなど様々な種類の出力を生成可能な,"em switchable"ディープビームフォーマを提案する。 特に、スイッチはアダプティブインスタンス正規化(AdaIN)層を通じて実装され、AdaINコードを変更するだけで様々な出力を生成することができる。 Bモード集束超音波を用いた実験により, 提案手法の柔軟性と有効性を確認した。

Recent proposals of deep beamformers using deep neural networks have attracted significant attention as computational efficient alternatives to adaptive and compressive beamformers. Moreover, deep beamformers are versatile in that image post-processing algorithms can be combined with the beamforming. Unfortunately, in the current technology, a separate beamformer should be trained and stored for each application, demanding significant scanner resources. To address this problem, here we propose a {\em switchable} deep beamformer that can produce various types of output such as DAS, speckle removal, deconvolution, etc., using a single network with a simple switch. In particular, the switch is implemented through Adaptive Instance Normalization (AdaIN) layers, so that various output can be generated by merely changing the AdaIN code. Experimental results using B-mode focused ultrasound confirm the flexibility and efficacy of the proposed methods for various applications.
翻訳日:2022-10-23 06:25:48 公開日:2020-09-04
# 深層学習を用いた科学論文からの意味概念と関係抽出

Extracting Semantic Concepts and Relations from Scientific Publications by Using Deep Learning ( http://arxiv.org/abs/2009.00331v2 )

ライセンス: Link先を確認
Fatima N. AL-Aswadi, Huah Yong Chan, and Keng Hoon Gan(参考訳) web上で常に増加する大量の非構造化データによって、このデータにおける知識を機械理解可能な形式で表現する動機が増大する。 オントロジーは、セマンティックWeb上でより意味のある方法で情報を表現するための主要な基盤の1つです。 現在のオントロジーレポジトリは、スコープか現在のかのどちらかで、かなり制限されている。 さらに、現在のオントロジー抽出システムには、小さなデータセットの使用、意味的関係を抽出する大量の事前定義されたパターンに依存し、非常に少数の関係を抽出するなど、多くの欠点と欠点がある。 本研究の目的は,学術出版物から意味概念と関係を自動的に抽出する提案を行うことである。 本稿では,意味関係の新たなタイプを提案するとともに,意味関係抽出に深層学習(DL)モデルを用いる点を指摘する。

With the large volume of unstructured data that increases constantly on the web, the motivation of representing the knowledge in this data in the machine-understandable form is increased. Ontology is one of the major cornerstones of representing the information in a more meaningful way on the semantic Web. The current ontology repositories are quite limited either for their scope or for currentness. In addition, the current ontology extraction systems have many shortcomings and drawbacks, such as using a small dataset, depending on a large amount predefined patterns to extract semantic relations, and extracting a very few types of relations. The aim of this paper is to introduce a proposal of automatically extracting semantic concepts and relations from scientific publications. This paper suggests new types of semantic relations and points out of using deep learning (DL) models for semantic relation extraction.
翻訳日:2022-10-23 01:00:25 公開日:2020-09-04
# モジュール型マルチコンセプト語彙閉包セマンティクスのためのフレームワーク

A framework for a modular multi-concept lexicographic closure semantics ( http://arxiv.org/abs/2009.00964v2 )

ライセンス: Link先を確認
Laura Giordano, Daniele Theseider Dupr\'e(参考訳) 典型的記述論理に対する語彙閉包セマンティクスのモジュラー多概念拡張を定義する。 その考え方は、概念の難解な性質を異なるモジュールに分散し、それらの主題に従って、語彙的閉包の意味論に基づいて各モジュールの選好の概念を定義することである。 知識ベースの優先的な意味論は、単一のモジュールの好みの組み合わせとして定義することができる。 細粒度から粗粒度モジュールまでの可能性の範囲は、代替セマンティクスのスペクトルを提供する。

We define a modular multi-concept extension of the lexicographic closure semantics for defeasible description logics with typicality. The idea is that of distributing the defeasible properties of concepts into different modules, according to their subject, and of defining a notion of preference for each module based on the lexicographic closure semantics. The preferential semantics of the knowledge base can then be defined as a combination of the preferences of the single modules. The range of possibilities, from fine grained to coarse grained modules, provides a spectrum of alternative semantics.
翻訳日:2022-10-22 19:11:25 公開日:2020-09-04
# ネットワーク圧縮のための部分正規化法

A Partial Regularization Method for Network Compression ( http://arxiv.org/abs/2009.01395v2 )

ライセンス: Link先を確認
E Zhenqian and Gao Weiguo(参考訳) ディープニューラルネットワークは、ネットワークの深さと幅を増大させるGPUと大規模データセットの開発によって、大きな成功を収めている。 しかし、高価な計算と集中メモリのため、研究者は制約のあるプラットフォームに実用的な圧縮法の設計に集中してきた。 本稿では,完全正規化と呼ばれるすべてのパラメータを高い速度でモデル圧縮を行うためにペナライズする元の形式ではなく,部分正規化のアプローチを提案する。 ニューラルネットワークの置換不変性の存在により、合理的かつ実現可能である。 実験結果から, ほぼすべての状況において, 走行時間を減らすことにより, 計算複雑性を低減できることが示唆された。 これは、部分正規化法が計算のための要素の数を少なくするという事実によるはずである。 驚くべきことに、複数のデータセットのトレーニングフェーズとテストフェーズの両方において、回帰フィッティング結果や分類精度などの重要なメトリクスを改善するのに役立ち、prunedモデルのパフォーマンスと一般化能力が向上したことを教えてくれます。 さらに、結果を分析し、最適なネットワーク構造が存在しなければならないという結論を導き、入力データに依存する。

Deep Neural Networks have achieved remarkable success relying on the developing availability of GPUs and large-scale datasets with increasing network depth and width. However, due to the expensive computation and intensive memory, researchers have concentrated on designing compression methods in order to make them practical for constrained platforms. In this paper, we propose an approach of partial regularization rather than the original form of penalizing all parameters, which is said to be full regularization, to conduct model compression at a higher speed. It is reasonable and feasible according to the existence of the permutation invariant property of neural networks. Experimental results show that as we expected, the computational complexity is reduced by observing less running time in almost all situations. It should be owing to the fact that partial regularization method invovles a lower number of elements for calculation. Surprisingly, it helps to improve some important metrics such as regression fitting results and classification accuracy in both training and test phases on multiple datasets, telling us that the pruned models have better performance and generalization ability. What's more, we analyze the results and draw a conclusion that an optimal network structure must exist and depend on the input data.
翻訳日:2022-10-22 06:59:26 公開日:2020-09-04
# エンドツーエンドディープラーニングを用いた高速超音波イメージング

Fast ultrasonic imaging using end-to-end deep learning ( http://arxiv.org/abs/2009.02194v1 )

ライセンス: Link先を確認
Georgios Pilikos, Lars Horchens, Kees Joost Batenburg, Tristan van Leeuwen, Felix Lucka(参考訳) 多くの臨床・工業用途で使用される超音波イメージングアルゴリズムは、データ前処理、画像形成、画像後処理の3段階からなる。 効率のために、画像形成はしばしば基礎となる波動物理学の近似に依存する。 顕著な例は、反射率に基づく超音波イメージングで使われる遅延アンドサム(DAS)アルゴリズムである。 近年、ディープニューラルネットワーク(DNN)はデータ前処理と画像後処理のステップを別々に使用している。 本研究では,エンドツーエンドのトレーニングを実現するために,3つのステップをすべて統合した新しいディープラーニングアーキテクチャを提案する。 本研究では,データ前処理層とセグメンテーションを行う画像後処理層を接続するネットワーク層にdas画像形成法を変換する。 この統合アプローチが,個別にトレーニングされた逐次アプローチを明らかに上回っていることを実証する。 ネットワークトレーニングと評価はシミュレーションデータのみで行われるが、非破壊的なテストシナリオによる実際のデータに対する我々のアプローチの可能性を示す。

Ultrasonic imaging algorithms used in many clinical and industrial applications consist of three steps: A data pre-processing, an image formation and an image post-processing step. For efficiency, image formation often relies on an approximation of the underlying wave physics. A prominent example is the Delay-And-Sum (DAS) algorithm used in reflectivity-based ultrasonic imaging. Recently, deep neural networks (DNNs) are being used for the data pre-processing and the image post-processing steps separately. In this work, we propose a novel deep learning architecture that integrates all three steps to enable end-to-end training. We examine turning the DAS image formation method into a network layer that connects data pre-processing layers with image post-processing layers that perform segmentation. We demonstrate that this integrated approach clearly outperforms sequential approaches that are trained separately. While network training and evaluation is performed only on simulated data, we also showcase the potential of our approach on real data from a non-destructive testing scenario.
翻訳日:2022-10-22 02:31:18 公開日:2020-09-04
# 近似超音波画像形成のための深部データ圧縮

Deep data compression for approximate ultrasonic image formation ( http://arxiv.org/abs/2009.02293v1 )

ライセンス: Link先を確認
Georgios Pilikos, Lars Horchens, Kees Joost Batenburg, Tristan van Leeuwen, Felix Lucka(参考訳) 多くの超音波イメージングシステムでは、別のコンピュータ装置でデータ取得と画像形成を行う。 データ転送はボトルネックとなっており、効率的なデータ圧縮が不可欠である。 多くの画像形成法が波動-波動相互作用の近似に依存しており、対応する部分のみを使用するという事実を考慮して圧縮率を向上させることができる。 しかし、データの有用な部分を効率的に抽出することは、必ずしも簡単なことではない。 本研究では,特定の画像形成手法の画質を維持するために最適化された深層ニューラルネットワークを用いてこの問題に取り組む。 反射率に基づく超音波イメージングに使用される遅延アンドサム(DAS)アルゴリズムについて検討した。 本稿では,ベクトル量子化を用いた新しいエンコーダ・デコーダアーキテクチャを提案し,エンドツーエンドトレーニングのためのネットワーク層として画像形成を定式化する。 実験により, 画像形成法に適したデータ圧縮が, 後続の画像に非依存な圧縮よりも有意に優れた結果が得られることが示された。 線形撮像演算子のランクから導かれた理論的損失なし圧縮速度よりも,圧縮速度が非常に高い画像品質を維持している。 これにより,特定の画像形成法に適した深部超音波データ圧縮の可能性を示す。

In many ultrasonic imaging systems, data acquisition and image formation are performed on separate computing devices. Data transmission is becoming a bottleneck, thus, efficient data compression is essential. Compression rates can be improved by considering the fact that many image formation methods rely on approximations of wave-matter interactions, and only use the corresponding part of the data. Tailored data compression could exploit this, but extracting the useful part of the data efficiently is not always trivial. In this work, we tackle this problem using deep neural networks, optimized to preserve the image quality of a particular image formation method. The Delay-And-Sum (DAS) algorithm is examined which is used in reflectivity-based ultrasonic imaging. We propose a novel encoder-decoder architecture with vector quantization and formulate image formation as a network layer for end-to-end training. Experiments demonstrate that our proposed data compression tailored for a specific image formation method obtains significantly better results as opposed to compression agnostic to subsequent imaging. We maintain high image quality at much higher compression rates than the theoretical lossless compression rate derived from the rank of the linear imaging operator. This demonstrates the great potential of deep ultrasonic data compression tailored for a specific image formation method.
翻訳日:2022-10-22 02:31:03 公開日:2020-09-04
# AnyDB: あらゆるワークロードのためのアーキテクチャレスDBMS

AnyDB: An Architecture-less DBMS for Any Workload ( http://arxiv.org/abs/2009.02258v1 )

ライセンス: Link先を確認
Tiemo Bang (Technical University Darmstadt and SAP SE), Norman May (SAP SE), Ilia Petrov (Reutlingen University), Carsten Binnig (Technical University Darmstadt)(参考訳) 本稿では,分散DBMSのスケールアウトに対する根本的アプローチを提案する。 共有ナッシングアーキテクチャのようなアーキテクチャモデルを分散DBMS設計にハードベーキングするのではなく、アーキテクチャレスDBMSと呼ばれる新しいタイプのクラスを目指しています。 アーキテクチャのないDBMSは、再設定に余分なオーバーヘッドを伴わずに、クエリごとのアーキテクチャを模倣することができる。 私たちのアーキテクチャレスDBMS AnyDBは、従来のDBMSが静的アーキテクチャを実装しているのに対して、さまざまなワークロード間で大幅なスピードアップを提供することができます。

In this paper, we propose a radical new approach for scale-out distributed DBMSs. Instead of hard-baking an architectural model, such as a shared-nothing architecture, into the distributed DBMS design, we aim for a new class of so-called architecture-less DBMSs. The main idea is that an architecture-less DBMS can mimic any architecture on a per-query basis on-the-fly without any additional overhead for reconfiguration. Our initial results show that our architecture-less DBMS AnyDB can provide significant speed-ups across varying workloads compared to a traditional DBMS implementing a static architecture.
翻訳日:2022-10-22 02:28:12 公開日:2020-09-04
# 機械学習によるspectrum-as-a-service動的共有の実現

Machine Learning Towards Enabling Spectrum-as-a-Service Dynamic Sharing ( http://arxiv.org/abs/2009.03756v1 )

ライセンス: Link先を確認
Abdallah Moubayed and Tanveer Ahmed and Anwar Haque and Abdallah Shami(参考訳) 無線ブロードバンドのユーザ、デバイス、そして新しいアプリケーションの増加は、新しい周波数スペクトルの需要を大幅に増加させた。 これは、2022年までに全世界のトラフィックが4.8ゼタバイトに達するという予想から、さらに増加すると予想されている。 さらに、インターネット利用者は480億人に達し、接続デバイスの数は285億台に迫ると予想されている。 しかし、スペクトルが主に割り当てられ、分割されているため、既存のサービスを拡張したり、新しいサービスを提供するためのスペクトルがより困難になっている。 これに対処するために、スペクトル利用効率を改善する潜在的な解決策としてスペクトル共有が提案されている。 効果的で効率的なスペクトル共有メカニズムを採用することは、それを実現するために統合できる様々なレベルとテクニックを考えると、それ自体が難しい課題である。 そこで本稿では,本論文で提案されている異なるスペクトル共有レベルと手法について概説する。 さらに、Spectrum-as-a-Serviceアーキテクチャを提供することで、動的共有メカニズムを採用する可能性についても論じている。 さらに、スペクトルの自動的で効率的な動的共有を促進し、Spectrum-as-a-Serviceを提供する上で、機械学習モデルが果たす役割についても説明している。

The growth in wireless broadband users, devices, and novel applications has led to a significant increase in the demand for new radio frequency spectrum. This is expected to grow even further given the projection that the global traffic per year will reach 4.8 zettabytes by 2022. Moreover, it is projected that the number of Internet users will reach 4.8 billion and the number of connected devices will be close 28.5 billion devices. However, due to the spectrum being mostly allocated and divided, providing more spectrum to expand existing services or offer new ones has become more challenging. To address this, spectrum sharing has been proposed as a potential solution to improve spectrum utilization efficiency. Adopting effective and efficient spectrum sharing mechanisms is in itself a challenging task given the multitude of levels and techniques that can be integrated to enable it. To that end, this paper provides an overview of the different spectrum sharing levels and techniques that have been proposed in the literature. Moreover, it discusses the potential of adopting dynamic sharing mechanisms by offering Spectrum-as-a-Service architecture. Furthermore, it describes the potential role of machine learning models in facilitating the automated and efficient dynamic sharing of the spectrum and offering Spectrum-as-a-Service.
翻訳日:2022-10-22 02:27:38 公開日:2020-09-04
# DeepSun: ソーラーフレア予測のための機械学習・アズ・ア・サービス

DeepSun: Machine-Learning-as-a-Service for Solar Flare Prediction ( http://arxiv.org/abs/2009.04238v1 )

ライセンス: Link先を確認
Yasser Abduallah, Jason T. L. Wang, Yang Nie, Chang Liu, Haimin Wang(参考訳) 太陽フレア予測は、宇宙天気の理解と予測において重要な役割を果たす。 HMI(Helioseismic and Magnetic Imager)の主な目標は、NASAのソーラー・ダイナミクス・オブザーバトリー(Solar Dynamics Observatory)の観測機器の一つで、太陽の変動の起源を研究し、太陽の磁気活動を特徴づけることである。 HMIは、信頼できる予測能力をもたらす高いケイデンスデータを持つ太陽ベクトル磁場の完全なディスクを連続的に観測するが、これらのデータを利用した太陽フレア予測の取り組みはまだ限られている。 本稿では,HMIのデータ製品に基づいてWeb上の太陽フレアを予測するための機械学習・アズ・ア・サービス(MLaaS)フレームワークであるDeepSunを提案する。 具体的には、スペースウェザーHMIアクティブリージョンパッチ(SHARP)が提供する物理パラメータを利用してトレーニングデータを構築し、米国環境情報センター(NCEI)で利用可能なX線フレアカタログに基づいて、太陽フレアを4つのクラス(B、C、M、X)に分類する。 したがって、太陽フレア予測問題は本質的にはマルチクラス(すなわち4クラス)の分類問題である。 deepsunシステムは、複数の機械学習アルゴリズムを使用して、このマルチクラス予測問題に対処し、リモートプログラミングユーザにアプリケーションプログラミングインタフェース(api)を提供する。 私たちの知る限り、DeepSunはインターネットを通じて太陽フレアを予測できる最初のMLaaSツールです。

Solar flare prediction plays an important role in understanding and forecasting space weather. The main goal of the Helioseismic and Magnetic Imager (HMI), one of the instruments on NASA's Solar Dynamics Observatory, is to study the origin of solar variability and characterize the Sun's magnetic activity. HMI provides continuous full-disk observations of the solar vector magnetic field with high cadence data that lead to reliable predictive capability; yet, solar flare prediction effort utilizing these data is still limited. In this paper, we present a machine-learning-as-a-service (MLaaS) framework, called DeepSun, for predicting solar flares on the Web based on HMI's data products. Specifically, we construct training data by utilizing the physical parameters provided by the Space-weather HMI Active Region Patches (SHARP) and categorize solar flares into four classes, namely B, C, M, X, according to the X-ray flare catalogs available at the National Centers for Environmental Information (NCEI). Thus, the solar flare prediction problem at hand is essentially a multi-class (i.e., four-class) classification problem. The DeepSun system employs several machine learning algorithms to tackle this multi-class prediction problem and provides an application programming interface (API) for remote programming users. To our knowledge, DeepSun is the first MLaaS tool capable of predicting solar flares through the Internet.
翻訳日:2022-10-22 02:27:21 公開日:2020-09-04
# テキスト・音声・話者識別の3次元文脈からの音声ジェスチャ生成

Speech Gesture Generation from the Trimodal Context of Text, Audio, and Speaker Identity ( http://arxiv.org/abs/2009.02119v1 )

ライセンス: Link先を確認
Youngwoo Yoon, Bok Cha, Joo-Haeng Lee, Minsu Jang, Jaeyeon Lee, Jaehong Kim, Geehyuk Lee(参考訳) 仮想アバターや社会ロボットを含む人間のようなエージェントにとって、話しながら適切なジェスチャーをすることは人間とエージェントの相互作用に不可欠である。 共同音声ジェスチャーは相互作用体験を高め、エージェントを生き生きさせる。 しかし,人のジェスチャーの理解が不足しているため,人間的なジェスチャーを生成することは困難である。 データ駆動型アプローチは、人間のデモからジェスチャースキルを学ぶが、ジェスチャーの曖昧さと個性は学習を妨げる。 本稿では、音声テキスト、音声、話者識別のマルチモーダルコンテキストを用いてジェスチャーを確実に生成する自動ジェスチャー生成モデルを提案する。 マルチモーダルな文脈と敵対的学習手法を取り入れることで、提案モデルは、人間らしく、音声の内容やリズムにマッチするジェスチャーを出力する。 また,ジェスチャー生成モデルのための新しい定量的評価指標を提案する。 提案するジェスチャ生成モデルは, 既存のエンド・ツー・エンド生成モデルよりも優れていることが示された。 さらに,コンテクストが制約されるシナリオにおいて,合成音声と協調できることを確認し,各話者の映像から学習したスタイル埋め込み空間において,異なる話者識別性を指定することにより,同一発話に対して異なるジェスチャースタイルを生成できることを示す。 すべてのコードとデータはhttps://github.com/ai4r/Gesture-Generation-from-Trimodal-Contextで入手できる。

For human-like agents, including virtual avatars and social robots, making proper gestures while speaking is crucial in human--agent interaction. Co-speech gestures enhance interaction experiences and make the agents look alive. However, it is difficult to generate human-like gestures due to the lack of understanding of how people gesture. Data-driven approaches attempt to learn gesticulation skills from human demonstrations, but the ambiguous and individual nature of gestures hinders learning. In this paper, we present an automatic gesture generation model that uses the multimodal context of speech text, audio, and speaker identity to reliably generate gestures. By incorporating a multimodal context and an adversarial training scheme, the proposed model outputs gestures that are human-like and that match with speech content and rhythm. We also introduce a new quantitative evaluation metric for gesture generation models. Experiments with the introduced metric and subjective human evaluation showed that the proposed gesture generation model is better than existing end-to-end generation models. We further confirm that our model is able to work with synthesized audio in a scenario where contexts are constrained, and show that different gesture styles can be generated for the same speech by specifying different speaker identities in the style embedding space that is learned from videos of various speakers. All the code and data is available at https://github.com/ai4r/Gesture-Generation-from-Trimodal-Context.
翻訳日:2022-10-22 02:26:55 公開日:2020-09-04
# ソーシャルメディアにおける災害画像からの視覚知覚分析

Visual Sentiment Analysis from Disaster Images in Social Media ( http://arxiv.org/abs/2009.03051v1 )

ライセンス: Link先を確認
Syed Zohaib Hassan, Kashif Ahmad, Steven Hicks, Paal Halvorsen, Ala Al-Fuqaha, Nicola Conci, Michael Riegler(参考訳) ソーシャルネットワークの普及と、感情、表現、意見をテキスト、ビジュアル、オーディオコンテンツで共有する傾向は、感情分析における新たな機会と課題を開きつつある。 テキストストリームの感情分析は文献で広く研究されているが、画像やビデオからの感情分析は比較的新しい。 本稿は,ソーシャルメディアにおける災害分析という社会的な重要な領域における視覚的感情分析に焦点をあてる。 そこで本研究では,データ収集,アノテーション,モデル選択,実装,評価などの視覚的感情分析のさまざまな側面を網羅した,災害関連画像の深い視覚的感情分析手法を提案する。 データアノテーションや自然災害やソーシャルメディア上の関連画像に対する人々の感情分析など,世界中の多くの参加者を対象に,クラウドソーシングによる研究が実施された。 クラウドソーシング調査の結果、4つの異なるアノテーションセットを持つ大規模ベンチマークデータセットが得られた。 提示された分析と関連するデータセットは、将来の研究のベースライン/ベンチマークを提供する。 提案システムは,ニュース放送や人道的組織,一般市民など,さまざまな利害関係者を支援することで,よりリベラルなコミュニティへの貢献が期待できる。

The increasing popularity of social networks and users' tendency towards sharing their feelings, expressions, and opinions in text, visual, and audio content, have opened new opportunities and challenges in sentiment analysis. While sentiment analysis of text streams has been widely explored in literature, sentiment analysis from images and videos is relatively new. This article focuses on visual sentiment analysis in a societal important domain, namely disaster analysis in social media. To this aim, we propose a deep visual sentiment analyzer for disaster related images, covering different aspects of visual sentiment analysis starting from data collection, annotation, model selection, implementation, and evaluations. For data annotation, and analyzing peoples' sentiments towards natural disasters and associated images in social media, a crowd-sourcing study has been conducted with a large number of participants worldwide. The crowd-sourcing study resulted in a large-scale benchmark dataset with four different sets of annotations, each aiming a separate task. The presented analysis and the associated dataset will provide a baseline/benchmark for future research in the domain. We believe the proposed system can contribute toward more livable communities by helping different stakeholders, such as news broadcasters, humanitarian organizations, as well as the general public.
翻訳日:2022-10-22 02:26:21 公開日:2020-09-04
# ConfuciuX:強化学習を用いたDNN加速器の自動ハードウェアリソース割り当て

ConfuciuX: Autonomous Hardware Resource Assignment for DNN Accelerators using Reinforcement Learning ( http://arxiv.org/abs/2009.02010v1 )

ライセンス: Link先を確認
Sheng-Chun Kao, Geonhwa Jeong, Tushar Krishna(参考訳) DNNアクセラレータは、DNN計算中にアクティベーション/重み/出力の再利用を活用して、DRAMからチップへのデータ移動を減らすことで効率を向上する。 再利用はアクセラレータのデータフローによってキャプチャされる。 様々なデータフローの探索と比較に先立って大きな作業があったが、チップ上のハードウェアリソース(すなわち、計算とメモリ)を割り当てる戦略には、DNN(s)の領域/パワーのプラットフォーム制約を満たしながら、パフォーマンス/エネルギーを最適化できるデータフローが与えられた。 計算とメモリのバランスをとるための設計空間は、この研究(例えば、o(10^(72)) の大きな \mobilenet の選択肢)で示されるように、組合せ的に爆発し、徹底的な検索によって手動でチューニングすることは不可能である。 また、異なるDNNとレイヤタイプが異なる再利用量を示すため、特定のヒューリスティックを思いつくのは難しい。 本稿では,与えられたモデルとデータフロースタイルに対して最適化されたhwリソース割り当てを求めるための,confuciuxと呼ばれる自律的戦略を提案する。 ConfuciuXは強化学習手法REINFORCEを活用して検索プロセスをガイドし、トレーニングループ内の詳細なHWパフォーマンスコストモデルを利用して報酬を推定する。 また,遺伝子アルゴリズムを用いてRLアプローチを改良し,さらなる微調整を行う。 ConfuciuXは、ベイズ最適化、遺伝的アルゴリズム、シミュレートされたアニーリング、その他のRL法などの他の手法と比較して、トレーニングのサンプル効率が最も高いことを示した。 最適化されたハードウェア構成4.7から24倍の速度で収束する。

DNN accelerators provide efficiency by leveraging reuse of activations/weights/outputs during the DNN computations to reduce data movement from DRAM to the chip. The reuse is captured by the accelerator's dataflow. While there has been significant prior work in exploring and comparing various dataflows, the strategy for assigning on-chip hardware resources (i.e., compute and memory) given a dataflow that can optimize for performance/energy while meeting platform constraints of area/power for DNN(s) of interest is still relatively unexplored. The design-space of choices for balancing compute and memory explodes combinatorially, as we show in this work (e.g., as large as O(10^(72)) choices for running \mobilenet), making it infeasible to do manual-tuning via exhaustive searches. It is also difficult to come up with a specific heuristic given that different DNNs and layer types exhibit different amounts of reuse. In this paper, we propose an autonomous strategy called ConfuciuX to find optimized HW resource assignments for a given model and dataflow style. ConfuciuX leverages a reinforcement learning method, REINFORCE, to guide the search process, leveraging a detailed HW performance cost model within the training loop to estimate rewards. We also augment the RL approach with a genetic algorithm for further fine-tuning. ConfuciuX demonstrates the highest sample-efficiency for training compared to other techniques such as Bayesian optimization, genetic algorithm, simulated annealing, and other RL methods. It converges to the optimized hardware configuration 4.7 to 24 times faster than alternate techniques.
翻訳日:2022-10-22 02:26:01 公開日:2020-09-04
# 音源分離を用いた音楽的意味説明に向けて

Towards Musically Meaningful Explanations Using Source Separation ( http://arxiv.org/abs/2009.02051v1 )

ライセンス: Link先を確認
Verena Haunschmid, Ethan Manilow, Gerhard Widmer(参考訳) ディープニューラルネットワーク(DNN)は、様々な音楽情報検索(MIR)タスクにうまく適用されている。 このようなモデルは一般に「ブラックボックス」と見なされるため、予測は解釈できない。 MIRにおける説明可能なモデルに関する以前の研究は、一般的に画像処理ツールを使用してDNN予測の説明を生成するが、必ずしも音楽的に意味のあるものではない。 本研究では,局所的な解釈可能なモデル非依存説明(lime)に基づく手法であるaudiolimeを提案する。 LIMEは、我々が説明したい例の摂動について局所線型モデルを学ぶ。 LIMEパイプラインの一部として画像セグメンテーションを用いて分光図の成分を抽出する代わりに,ソース分離を用いる手法を提案する。 摂動は、オン/オフソースを切り替えることで、説明が聞きやすくなります。 まず,本手法を用いて真の対象をスプリアス信号と混同するように故意に訓練した分類器上でaudiolimeを検証し,これを容易に検出できることを示す。 次に、利用可能な多くの説明方法が失敗する正当性チェックをパスしていることを示します。 最後に、サードパーティの音楽タガーにおける(モデルに依存しない)メソッドの一般的な適用性を示す。

Deep neural networks (DNNs) are successfully applied in a wide variety of music information retrieval (MIR) tasks. Such models are usually considered "black boxes", meaning that their predictions are not interpretable. Prior work on explainable models in MIR has generally used image processing tools to produce explanations for DNN predictions, but these are not necessarily musically meaningful, or can be listened to (which, arguably, is important in music). We propose audioLIME, a method based on Local Interpretable Model-agnostic Explanation (LIME), extended by a musical definition of locality. LIME learns locally linear models on perturbations of an example that we want to explain. Instead of extracting components of the spectrogram using image segmentation as part of the LIME pipeline, we propose using source separation. The perturbations are created by switching on/off sources which makes our explanations listenable. We first validate audioLIME on a classifier that was deliberately trained to confuse the true target with a spurious signal, and show that this can easily be detected using our method. We then show that it passes a sanity check that many available explanation methods fail. Finally, we demonstrate the general applicability of our (model-agnostic) method on a third-party music tagger.
翻訳日:2022-10-22 02:25:30 公開日:2020-09-04
# マルチモーダル機械翻訳のための動的コンテキスト誘導カプセルネットワーク

Dynamic Context-guided Capsule Network for Multimodal Machine Translation ( http://arxiv.org/abs/2009.02016v1 )

ライセンス: Link先を確認
Huan Lin and Fandong Meng and Jinsong Su and Yongjing Yin and Zhengyuan Yang and Yubin Ge and Jie Zhou and Jiebo Luo(参考訳) マルチモーダル機械翻訳(MMT)は主にテキストのみの翻訳と視覚的特徴の強化に焦点を当てており、コンピュータビジョンと自然言語処理のコミュニティから注目されている。 現在のMMTモデルは、視覚的特徴を利用するために、注意機構、グローバルコンテキストモデリング、マルチモーダル共同表現学習を利用している。 しかし、アテンションメカニズムはモダリティ間の十分な意味的相互作用を欠き、他の2つは固定された視覚的コンテキストを提供する。 本稿では,MMTのための新しい動的コンテキスト誘導カプセルネットワーク(DCCN)を提案する。 具体的には、デコーディングの各段階において、まず従来のソースターゲットアテンションを用いて、タイムステップ固有のソース側コンテキストベクトルを生成する。 次に、DCCNはこのベクトルを入力として、コンテキスト誘導動的ルーティング機構を通じて関連する視覚的特徴の反復抽出を誘導する。 特に,大域的・地域的な視覚特徴を持つ入力画像を表現し,異なる粒度の視覚特徴を持つマルチモーダルコンテキストベクトルをモデル化するための2つの並列DCCNを導入する。 最後に,目的語予測のためのデコーダに融合して組み込んだ2つのマルチモーダルコンテキストベクトルを得る。 英語とドイツ語、英語とフランス語の翻訳におけるマルチ30kデータセットの実験結果は、dccnの優位を示している。 私たちのコードはhttps://github.com/DeepLearnXMU/MM-DCCNで利用可能です。

Multimodal machine translation (MMT), which mainly focuses on enhancing text-only translation with visual features, has attracted considerable attention from both computer vision and natural language processing communities. Most current MMT models resort to attention mechanism, global context modeling or multimodal joint representation learning to utilize visual features. However, the attention mechanism lacks sufficient semantic interactions between modalities while the other two provide fixed visual context, which is unsuitable for modeling the observed variability when generating translation. To address the above issues, in this paper, we propose a novel Dynamic Context-guided Capsule Network (DCCN) for MMT. Specifically, at each timestep of decoding, we first employ the conventional source-target attention to produce a timestep-specific source-side context vector. Next, DCCN takes this vector as input and uses it to guide the iterative extraction of related visual features via a context-guided dynamic routing mechanism. Particularly, we represent the input image with global and regional visual features, we introduce two parallel DCCNs to model multimodal context vectors with visual features at different granularities. Finally, we obtain two multimodal context vectors, which are fused and incorporated into the decoder for the prediction of the target word. Experimental results on the Multi30K dataset of English-to-German and English-to-French translation demonstrate the superiority of DCCN. Our code is available on https://github.com/DeepLearnXMU/MM-DCCN.
翻訳日:2022-10-22 02:19:21 公開日:2020-09-04
# 未来がもたらしたもの - インクリメンタル神経ttにおけるlookaheadの影響調査

What the Future Brings: Investigating the Impact of Lookahead for Incremental Neural TTS ( http://arxiv.org/abs/2009.02035v1 )

ライセンス: Link先を確認
Brooke Stephenson, Laurent Besacier, Laurent Girin, Thomas Hueber(参考訳) インクリメンタルテキストから音声合成(iTTS)では、合成器は入力文全体にアクセスする前に音声出力を生成する。 本稿では, 逐次的モード, すなわちトークンnの音声出力を生成するとき, テキストシーケンスからn+kトークンにアクセスする場合の, ニューラルシーケンス・ツー・シーケンスTSシステムの動作について検討する。 まず,k の異なる値に対するトークン n のエンコーダ表現の進化に対するこの漸進的ポリシーの影響を解析する(ルックアヘッドパラメータ)。 その結果,平均するとトークンの88%が1ワードのルックアヘッドで,94%が2単語の後に表示されることがわかった。 次に,ランダムフォレスト分析を用いて,最終表現への進化に最も影響を及ぼすテキスト特徴について検討する。 その結果,最も顕著な因子はトークン長と関連していることがわかった。 MUSHRAリスニングテストを用いて,Lookahead kがデコーダレベルに与える影響を最終的に評価した。 本試験は,2ワードの頭文字で得られた音声合成品質が,全文で得られた音声よりも有意に低いことを示す。

In incremental text to speech synthesis (iTTS), the synthesizer produces an audio output before it has access to the entire input sentence. In this paper, we study the behavior of a neural sequence-to-sequence TTS system when used in an incremental mode, i.e. when generating speech output for token n, the system has access to n + k tokens from the text sequence. We first analyze the impact of this incremental policy on the evolution of the encoder representations of token n for different values of k (the lookahead parameter). The results show that, on average, tokens travel 88% of the way to their full context representation with a one-word lookahead and 94% after 2 words. We then investigate which text features are the most influential on the evolution towards the final representation using a random forest analysis. The results show that the most salient factors are related to token length. We finally evaluate the effects of lookahead k at the decoder level, using a MUSHRA listening test. This test shows results that contrast with the above high figures: speech synthesis quality obtained with 2 word-lookahead is significantly lower than the one obtained with the full sentence.
翻訳日:2022-10-22 02:18:56 公開日:2020-09-04
# マルチステークホルダ勧告における公平性のための一般的な枠組み

A General Framework for Fairness in Multistakeholder Recommendations ( http://arxiv.org/abs/2009.02423v1 )

ライセンス: Link先を確認
Harshal A. Chaudhari, Sangdi Lin, Ondrej Linda(参考訳) 現代のレコメンデーションシステムは、売り手から買い手への高ユーティリティレコメンデーションを提供するマルチサイドプラットフォーム上の仲介者として機能する。 このようなシステムは、売り手、買い手、プラットフォーム自体を含む複数の利害関係者の目標をバランスさせようとする。 プラットフォーム上での全ての販売者を同時に表現しながら、購入者の利便性を最大化するレコメンデーションを提供することの難しさは、多くの興味深い研究課題を招き、伝統的に、個々の販売者が推奨項目すべてに比例するように、包括的制約を組み込んで、すべての購入者に対するレコメンデーションを「emph{offline}」形式で計算する整数線形プログラムとして定式化されてきた。 このようなアプローチは、世界的な販売者カバレッジの制約を満たすために、一部の購入者が一貫して低いユーティリティ推奨を受けるという、予期せぬバイアスにつながる可能性がある。 そこで,本稿では,個々の購入者対象と並行して販売者対象を組み込んだ,リアルタイムパーソナライズドレコメンデーションシステムを提案する。 さらに,高度にスケーラブルなサブモジュール最適化アルゴリズムを利用して,提案可能な理論的品質境界を持つバイヤーにレコメンデーションを提供する。 さらに,オンライン不動産市場からのデータを用いて,本手法の有効性を実証的に評価した。

Contemporary recommender systems act as intermediaries on multi-sided platforms serving high utility recommendations from sellers to buyers. Such systems attempt to balance the objectives of multiple stakeholders including sellers, buyers, and the platform itself. The difficulty in providing recommendations that maximize the utility for a buyer, while simultaneously representing all the sellers on the platform has lead to many interesting research problems.Traditionally, they have been formulated as integer linear programs which compute recommendations for all the buyers together in an \emph{offline} fashion, by incorporating coverage constraints so that the individual sellers are proportionally represented across all the recommended items. Such approaches can lead to unforeseen biases wherein certain buyers consistently receive low utility recommendations in order to meet the global seller coverage constraints. To remedy this situation, we propose a general formulation that incorporates seller coverage objectives alongside individual buyer objectives in a real-time personalized recommender system. In addition, we leverage highly scalable submodular optimization algorithms to provide recommendations to each buyer with provable theoretical quality bounds. Furthermore, we empirically evaluate the efficacy of our approach using data from an online real-estate marketplace.
翻訳日:2022-10-22 02:18:37 公開日:2020-09-04
# ハイブリッドDCOP解法:局所探索アルゴリズムの性能向上

Hybrid DCOP Solvers: Boosting Performance of Local Search Algorithms ( http://arxiv.org/abs/2009.02240v1 )

ライセンス: Link先を確認
Cornelis Jan van Leeuwen and Przemyz{\l}aw Pawe{\l}czak(参考訳) 本稿では,対称および非対称分散制約最適化問題(dcop)の解法を提案する。 DCOPソルバを高速な非イテレーティブなDCOPソルバで初期化する。 これは、初期化が常にランダム値割当を使って達成される既存の方法とは逆である。 我々は,既存のDCOPソルバの開始条件を変更することで,アルゴリズム収束時間を最大50%短縮するだけでなく,通信オーバーヘッドを低減し,解の質を向上させることを実証的に示す。 この効果は、DCOPアルゴリズムのアクティベーションの拡散パターンに起因する可変代入の構造的改善によるものであることを示す。 )/Subject (Hybrid DCOPs)

We propose a novel method for expediting both symmetric and asymmetric Distributed Constraint Optimization Problem (DCOP) solvers. The core idea is based on initializing DCOP solvers with greedy fast non-iterative DCOP solvers. This is contrary to existing methods where initialization is always achieved using a random value assignment. We empirically show that changing the starting conditions of existing DCOP solvers not only reduces the algorithm convergence time by up to 50\%, but also reduces the communication overhead and leads to a better solution quality. We show that this effect is due to structural improvements in the variable assignment, which is caused by the spreading pattern of DCOP algorithm activation.) /Subject (Hybrid DCOPs)
翻訳日:2022-10-22 02:18:11 公開日:2020-09-04
# NIC上でニューラルネットワークを実行する

Running Neural Networks on the NIC ( http://arxiv.org/abs/2009.02353v1 )

ライセンス: Link先を確認
Giuseppe Siracusano, Salvator Galea, Davide Sanvito, Mohammad Malekzadeh, Hamed Haddadi, Gianni Antichi, Roberto Bifulco(参考訳) 本稿では,コモディティプログラマブル(ネットワークインタフェースカード)NICのデータプレーンが,パケット監視アプリケーションに必要なニューラルネットワーク推論タスクを,低オーバーヘッドで実行可能であることを示す。 ホストシステムへのデータ転送コストやGPUなどの専用機械学習アクセラレータは、処理タスク自体よりもコストがかかるため、これは特に重要である。 我々は2つの異なるnic上でシステム(n3ic)を設計し実装し、機械学習推論を必要とする3つの異なるネットワーク監視ユースケースを第一級プリミティブとして活用できることを示しました。 N3ICは毎秒数百万のネットワークフローを推論し、40Gb/sで転送する。 汎用cpuに実装された同等のソリューションと比較すると、n3icは処理遅延を100倍削減でき、スループットは1.5倍向上する。

In this paper we show that the data plane of commodity programmable (Network Interface Cards) NICs can run neural network inference tasks required by packet monitoring applications, with low overhead. This is particularly important as the data transfer costs to the host system and dedicated machine learning accelerators, e.g., GPUs, can be more expensive than the processing task itself. We design and implement our system -- N3IC -- on two different NICs and we show that it can greatly benefit three different network monitoring use cases that require machine learning inference as first-class-primitive. N3IC can perform inference for millions of network flows per second, while forwarding traffic at 40Gb/s. Compared to an equivalent solution implemented on a general purpose CPU, N3IC can provide 100x lower processing latency, with 1.5x increase in throughput.
翻訳日:2022-10-22 02:17:58 公開日:2020-09-04
# 共振異常検出のためのシミュレーション支援相関

Simulation-Assisted Decorrelation for Resonant Anomaly Detection ( http://arxiv.org/abs/2009.02205v1 )

ライセンス: Link先を確認
Kees Benkendorfer, Luc Le Pottier, and Benjamin Nachman(参考訳) 大型ハドロン衝突型加速器や他の場所での探索プログラムを著しく拡張するために、異常検出に対する弱い、教師なしの機械学習アプローチが増えている。 これらの方法の原型的な例の1つは共鳴新物理学の探索であり、バンプハントを不変質量スペクトルで行うことができる。 データに完全に依存する手法に対する大きな課題は、機械学習分類器の不変質量への依存から人工バンプを彫刻することの影響を受けやすいことである。 学習にシミュレーションを最小限に組み込むことで、この課題に対する2つの解決策を探求する。 特に,SALAD(Simulation Assisted Likelihood-free Anomaly Detection)のロバスト性について,分類器と不変質量との相関について検討した。 次に,ラベルなし分類法(cwola)による信号感度向上のために,非相関のシミュレーションのみを用いる新しい手法を提案する。 両手法は, LHCオリンピックのシミュレーションデータに対する全バックグラウンド適合解析を用いて比較し, 相関関係に頑健である。

A growing number of weak- and unsupervised machine learning approaches to anomaly detection are being proposed to significantly extend the search program at the Large Hadron Collider and elsewhere. One of the prototypical examples for these methods is the search for resonant new physics, where a bump hunt can be performed in an invariant mass spectrum. A significant challenge to methods that rely entirely on data is that they are susceptible to sculpting artificial bumps from the dependence of the machine learning classifier on the invariant mass. We explore two solutions to this challenge by minimally incorporating simulation into the learning. In particular, we study the robustness of Simulation Assisted Likelihood-free Anomaly Detection (SALAD) to correlations between the classifier and the invariant mass. Next, we propose a new approach that only uses the simulation for decorrelation but the Classification without Labels (CWoLa) approach for achieving signal sensitivity. Both methods are compared using a full background fit analysis on simulated data from the LHC Olympics and are robust to correlations in the data.
翻訳日:2022-10-22 02:17:44 公開日:2020-09-04
# クラウドソーシング予測プラットフォームにおけるクリックストリームトラジェクタを活用した低品質労働者の可視化

Leveraging Clickstream Trajectories to Reveal Low-Quality Workers in Crowdsourced Forecasting Platforms ( http://arxiv.org/abs/2009.01966v1 )

ライセンス: Link先を確認
Akira Matsui, Emilio Ferrara, Fred Morstatter, Andres Abeliuk, Aram Galstyan(参考訳) クラウドワークは認知的な要求や時間を要するタスクに対処する。 クラウドソーシングは、医療画像から地理空間データまで、複雑なアノテーションタスクに使用することができる。 しかし、低パフォーマンスなクラウドワーカーの存在と普及はよく認識されており、クラウドソーシングの妥当性を脅かす可能性がある。 本研究では,Clickstream trajectories を用いて作業者のクラスタを特定するための計算フレームワークを提案する。 我々はクラウドソースの地政学予測に焦点を当てている。 このフレームワークは、群衆のコンセンサスに遠く及ばない予測を持つ労働者、予測の質の低い説明を提供する人、他のユーザーから予測をコピー・ペーストする人など、さまざまなタイプのアンダーパーフォーマーを明らかにすることができる。 本研究は, クリックストリームクラスタリングと分析が, 群集の知恵を活かしたプラットフォームにおけるクラウドワーカーのパフォーマンスを診断するための基本的なツールであることを示唆する。

Crowdwork often entails tackling cognitively-demanding and time-consuming tasks. Crowdsourcing can be used for complex annotation tasks, from medical imaging to geospatial data, and such data powers sensitive applications, such as health diagnostics or autonomous driving. However, the existence and prevalence of underperforming crowdworkers is well-recognized, and can pose a threat to the validity of crowdsourcing. In this study, we propose the use of a computational framework to identify clusters of underperforming workers using clickstream trajectories. We focus on crowdsourced geopolitical forecasting. The framework can reveal different types of underperformers, such as workers with forecasts whose accuracy is far from the consensus of the crowd, those who provide low-quality explanations for their forecasts, and those who simply copy-paste their forecasts from other users. Our study suggests that clickstream clustering and analysis are fundamental tools to diagnose the performance of crowdworkers in platforms leveraging the wisdom of crowds.
翻訳日:2022-10-22 02:17:28 公開日:2020-09-04
# 深部CTRモデルの訓練のための実践的インクリメンタル手法

A Practical Incremental Method to Train Deep CTR Models ( http://arxiv.org/abs/2009.02147v1 )

ライセンス: Link先を確認
Yichao Wang, Huifeng Guo, Ruiming Tang, Zhirong Liu, Xiuqiang He(参考訳) レコメンデータシステムのディープラーニングモデルは、通常、バッチモード、すなわちトレーニングデータの固定サイズのウィンドウで反復的にトレーニングされる。 このような深層学習モデルのバッチモードトレーニングは、トレーニング効率の低下に悩まされ、モデルが時間通りに作成されない場合のパフォーマンス低下につながる可能性がある。 この問題に取り組むために,インクリメンタル学習が提案され,近年注目されている。 インクリメンタル学習はレコメンダシステムにおいて大きな可能性を秘めており、トレーニングデータの2つの連続したウィンドウがボリュームの大部分を重複している。 前回のモデル更新時にタイムスタンプから新たに入力されたサンプルのみをインクリメンタルに更新することを目的としており、バッチモードのトレーニングよりもはるかに効率的である。 しかし、ほとんどのインクリメンタル学習手法は、新しいタスクやクラスが時間とともに学習される画像認識の研究領域に焦点を当てている。 本研究では,3つの切り離されたモジュール(データ,特徴,モデルモジュール)からなる深部CTRモデルを訓練するための実用的なインクリメンタル手法を提案する。 本手法は従来のバッチモード学習と同等の性能を達成でき,訓練効率も向上する。 提案手法の有効性を実証するために,公開ベンチマークとプライベートデータセットについて広範な実験を行った。

Deep learning models in recommender systems are usually trained in the batch mode, namely iteratively trained on a fixed-size window of training data. Such batch mode training of deep learning models suffers from low training efficiency, which may lead to performance degradation when the model is not produced on time. To tackle this issue, incremental learning is proposed and has received much attention recently. Incremental learning has great potential in recommender systems, as two consecutive window of training data overlap most of the volume. It aims to update the model incrementally with only the newly incoming samples from the timestamp when the model is updated last time, which is much more efficient than the batch mode training. However, most of the incremental learning methods focus on the research area of image recognition where new tasks or classes are learned over time. In this work, we introduce a practical incremental method to train deep CTR models, which consists of three decoupled modules (namely, data, feature and model module). Our method can achieve comparable performance to the conventional batch mode training with much better training efficiency. We conduct extensive experiments on a public benchmark and a private dataset to demonstrate the effectiveness of our proposed method.
翻訳日:2022-10-22 02:16:46 公開日:2020-09-04
# 技術報告:ポリシーグラフ改善アルゴリズム

Technical Report: The Policy Graph Improvement Algorithm ( http://arxiv.org/abs/2009.02164v1 )

ライセンス: Link先を確認
Joni Pajarinen(参考訳) 部分可観測マルコフ決定プロセス(pomdp)ポリシーの最適化は困難である。 POMDPのポリシーグラフ改善(PGI)アルゴリズムは、ポリシーを固定サイズポリシーグラフとして表現し、ポリシーを単調に改善する。 固定されたポリシーサイズのため、各改善イテレーションの計算時間は事前に分かっている。 さらに、この方法は、コンパクトな理解可能なポリシーを可能にする。 本稿では,PMDPのPGI [1]とパーティクルベースPGI [2]アルゴリズムの技術的詳細について述べる。

Optimizing a partially observable Markov decision process (POMDP) policy is challenging. The policy graph improvement (PGI) algorithm for POMDPs represents the policy as a fixed size policy graph and improves the policy monotonically. Due to the fixed policy size, computation time for each improvement iteration is known in advance. Moreover, the method allows for compact understandable policies. This report describes the technical details of the PGI [1] and particle based PGI [2] algorithms for POMDPs in a more accessible way than [1] or [2] allowing practitioners and students to understand and implement the algorithms.
翻訳日:2022-10-22 02:10:14 公開日:2020-09-04
# 特権情報を用いた属性適応マージンソフトマックス損失

Attribute Adaptive Margin Softmax Loss using Privileged Information ( http://arxiv.org/abs/2009.01972v1 )

ライセンス: Link先を確認
Seyed Mehdi Iranmanesh, Ali Dabouei, Nasser M. Nasrabadi(参考訳) 学習期間中にのみ提供される認識のための特権情報を利用する新しい枠組みを提案する。 本稿では,画像がメインビューとして提供され,ソフトバイオメトリック特性(属性)が特権データとして提供される(トレーニング期間中のみ利用可能)認識タスクに着目した。 属性を利用したクラス間の適応マージンを調整するためにディープネットワークを強制することにより,より識別的な特徴空間を学習できることを実証する。 この厳密な制約は、ローカルデータ近傍に固有のクラス不均衡を効果的に低減し、よりバランスの取れたクラス境界をローカルに表現し、機能空間をより効率的に使用する。 5つの異なるデータセットで大規模な実験を行い,顔認証と人物再識別の両タスクにおける最先端モデルと比較して,本手法の優位性を示した。

We present a novel framework to exploit privileged information for recognition which is provided only during the training phase. Here, we focus on recognition task where images are provided as the main view and soft biometric traits (attributes) are provided as the privileged data (only available during training phase). We demonstrate that more discriminative feature space can be learned by enforcing a deep network to adjust adaptive margins between classes utilizing attributes. This tight constraint also effectively reduces the class imbalance inherent in the local data neighborhood, thus carving more balanced class boundaries locally and using feature space more efficiently. Extensive experiments are performed on five different datasets and the results show the superiority of our method compared to the state-of-the-art models in both tasks of face recognition and person re-identification.
翻訳日:2022-10-22 02:10:03 公開日:2020-09-04
# SSP-Net:リアルタイム3D人物回帰のためのスケーラブルなシークエンシャルピラミッドネットワーク

SSP-Net: Scalable Sequential Pyramid Networks for Real-Time 3D Human Pose Regression ( http://arxiv.org/abs/2009.01998v1 )

ライセンス: Link先を確認
Diogo Luvizon and Hedi Tabia and David Picard(参考訳) 本稿では,RGB画像からのリアルタイムな3次元ポーズ回帰のための,エンドツーエンドのトレーニングが可能な,スケーラブルな畳み込みニューラルネットワークを提案する。 本手法は,複数スケールの精密な監視を連続的に行うことから,SSP-Net(Scalable Sequential Pyramid Networks)と呼ぶ。 我々のネットワークは、単一のトレーニング手順を必要とし、テスト時に120フレーム/秒(FPS)で最高の予測を生成するか、200FPS以上で許容できる予測を生成することができる。 提案手法は特徴マップのサイズに不変であり,マルチレゾリューション中間監督を行い,超低解像度特徴マップの最先端技術に匹敵する結果が得られることを示す。 我々は,3Dポーズ推定,Human3.6M,MPI-INF-3DHPの2つの重要な公開データセットに対して,その精度と有効性を示す。 さらに、ネットワークアーキテクチャの決定に関する適切な洞察を提供し、その柔軟性を示し、最高の精度と速度の妥協を満たします。

In this paper we propose a highly scalable convolutional neural network, end-to-end trainable, for real-time 3D human pose regression from still RGB images. We call this approach the Scalable Sequential Pyramid Networks (SSP-Net) as it is trained with refined supervision at multiple scales in a sequential manner. Our network requires a single training procedure and is capable of producing its best predictions at 120 frames per second (FPS), or acceptable predictions at more than 200 FPS when cut at test time. We show that the proposed regression approach is invariant to the size of feature maps, allowing our method to perform multi-resolution intermediate supervisions and reaching results comparable to the state-of-the-art with very low resolution feature maps. We demonstrate the accuracy and the effectiveness of our method by providing extensive experiments on two of the most important publicly available datasets for 3D pose estimation, Human3.6M and MPI-INF-3DHP. Additionally, we provide relevant insights about our decisions on the network architecture and show its flexibility to meet the best precision-speed compromise.
翻訳日:2022-10-22 02:09:48 公開日:2020-09-04
# 多視点アンギオグラフィーを用いたエンド・ツー・エンド深層学習モデルによる心周期同期

End-to-End Deep Learning Model for Cardiac Cycle Synchronization from Multi-View Angiographic Sequences ( http://arxiv.org/abs/2009.02345v1 )

ライセンス: Link先を確認
Rapha\"el Royer-Rivard, Fantin Girard, Nagib Dahdah and Farida Cheriet(参考訳) 冠動脈のダイナミックリコンストラクション(3d+t)は臨床医に重要な灌流詳細を与える可能性がある。 同時に取得できない異なるビューの時間的マッチングは、冠動脈セグメントの正確なステレオマッチングの前提条件である。 本稿では,生のx線血管造影ビデオを用いて,血管像列からニューラルネットワークを訓練し,心周期中に異なる視点を同期させる方法について述べる。 まず,血管造影画像を用いたニューラルネットワークモデルを訓練し,心周期の進行を記述した特徴を抽出した。 次に、第1の視点から各フレームの特徴ベクトル間の距離を第2の視点から算出し、ストライプパターンを表示する距離マップを生成する。 パスフィンディングを用いて、両ビデオのフレーム間の最適な時間的コヒーレントな関連を抽出する。 最後に、評価セットの同期フレームとECG信号を比較し、96.04%の精度でアライメントを示す。

Dynamic reconstructions (3D+T) of coronary arteries could give important perfusion details to clinicians. Temporal matching of the different views, which may not be acquired simultaneously, is a prerequisite for an accurate stereo-matching of the coronary segments. In this paper, we show how a neural network can be trained from angiographic sequences to synchronize different views during the cardiac cycle using raw x-ray angiography videos exclusively. First, we train a neural network model with angiographic sequences to extract features describing the progression of the cardiac cycle. Then, we compute the distance between the feature vectors of every frame from the first view with those from the second view to generate distance maps that display stripe patterns. Using pathfinding, we extract the best temporally coherent associations between each frame of both videos. Finally, we compare the synchronized frames of an evaluation set with the ECG signals to show an alignment with 96.04% accuracy.
翻訳日:2022-10-22 02:08:11 公開日:2020-09-04
# クラス干渉正規化

Class Interference Regularization ( http://arxiv.org/abs/2009.02396v1 )

ライセンス: Link先を確認
Bharti Munjal, Sikandar Amin, Fabio Galasso(参考訳) 対照的な損失は、人物の再識別、顔認証、ショット学習に最先端のパフォーマンスをもたらす。 彼らは最近、ImageNetスケールの分類におけるクロスエントロピー損失を上回り、大きなマージン(SimCLR)による全ての自己超越結果を上回りました。 ラベルの平滑化や自己蒸留といった単純かつ効果的な正則化技術は、多項ラベル分布に作用し、クロスエントロピー損失に適応し、対照的な損失を特徴付けるタプル比較項には適用されないため、もはや適用されない。 本稿では, クロスエントロピー損失に適用できる新しい, 単純かつ効果的な正規化手法であるクラス干渉正規化(CIR)を提案するが, 対照的な損失に対して特に有効である。 CIRは、負のクラスの平均埋め込みに向かってランダムに移動することで出力特徴を摂動する。 我々の知る限りでは、CIRは出力機能に作用する最初の正規化技術である。 実験的評価では、cirと三重項損失を持つ平ジームネットの組み合わせは、挑戦的な階層イメージネット上で最善のマイナショット学習性能をもたらす。 CIRはまた、三重項損失に基づくMarket-1501データセットの個人識別における最先端技術と、クロスエントロピー損失に基づくCUHK-SYSUデータセットの個人検索における最先端技術を改善した。 最後に, CIFAR-10 や CIFAR-100 で示されるように, CIR の分類作業は, ラベルスムース化と同等である。

Contrastive losses yield state-of-the-art performance for person re-identification, face verification and few shot learning. They have recently outperformed the cross-entropy loss on classification at the ImageNet scale and outperformed all self-supervision prior results by a large margin (SimCLR). Simple and effective regularization techniques such as label smoothing and self-distillation do not apply anymore, because they act on multinomial label distributions, adopted in cross-entropy losses, and not on tuple comparative terms, which characterize the contrastive losses. Here we propose a novel, simple and effective regularization technique, the Class Interference Regularization (CIR), which applies to cross-entropy losses but is especially effective on contrastive losses. CIR perturbs the output features by randomly moving them towards the average embeddings of the negative classes. To the best of our knowledge, CIR is the first regularization technique to act on the output features. In experimental evaluation, the combination of CIR and a plain Siamese-net with triplet loss yields best few-shot learning performance on the challenging tieredImageNet. CIR also improves the state-of-the-art technique in person re-identification on the Market-1501 dataset, based on triplet loss, and the state-of-the-art technique in person search on the CUHK-SYSU dataset, based on a cross-entropy loss. Finally, on the task of classification CIR performs on par with the popular label smoothing, as demonstrated for CIFAR-10 and -100.
翻訳日:2022-10-22 02:07:54 公開日:2020-09-04
# 離散ラドン変換を用いた高次2次元画像モーメントの効率的な計算

Efficient Computation of Higher Order 2D Image Moments using the Discrete Radon Transform ( http://arxiv.org/abs/2009.09898v1 )

ライセンス: Link先を確認
William Diggin and Michael Diggin(参考訳) 画像アーティファクトの幾何学的モーメントとモーメント不変量は、形状分類や物体の位置や方向などのコンピュータビジョンの応用に多くの用途がある。 高次モーメントは、追加の特徴記述子を提供し、クルトーシスを測ったり、n-折りたたみ対称性を解くことに興味がある。 本稿では,離散ラドン変換に基づく効率的なアルゴリズムを拡張し,第3次より大きいモーメントを生成する手法と実用的応用を提案する。 数学的基礎が提示され、関連する実装の詳細が続く。 画像領域に基づくアルゴリズムのスケーリングと標準手法との計算比較の結果,提案手法の有効性が示された。

Geometric moments and moment invariants of image artifacts have many uses in computer vision applications, e.g. shape classification or object position and orientation. Higher order moments are of interest to provide additional feature descriptors, to measure kurtosis or to resolve n-fold symmetry. This paper provides the method and practical application to extend an efficient algorithm, based on the Discrete Radon Transform, to generate moments greater than the 3rd order. The mathematical fundamentals are presented, followed by relevant implementation details. Results of scaling the algorithm based on image area and its computational comparison with a standard method demonstrate the efficacy of the approach.
翻訳日:2022-10-22 02:07:26 公開日:2020-09-04
# LFGCN: Levy Flightsを使用したグラフ上の浮上

LFGCN: Levitating over Graphs with Levy Flights ( http://arxiv.org/abs/2009.02365v1 )

ライセンス: Link先を確認
Yuzhou Chen, Yulia R. Gel, Konstantin Avrachenkov(参考訳) ソーシャルネットワークからブロックチェーン、電力グリッドに至るまで、多くのアプリケーションで高い実用性があるため、グラフや多様体のような非ユークリッドオブジェクトのディープラーニングであるGeometric Deep Learning (GDL)は、引き続き関心を集めている。 L'evy Flights Graph Convolutional Networks (LFGCN) 法を提案し、L'evy Flights をランダムなウォークにキャストし、その結果、固有グラフトポロジを正確に考慮し、特に異種グラフの分類性能を大幅に向上させることができる。 さらに、Girvan-Newman引数に基づくP-DropEdge法を提案する。 すなわち、DropEdgeのようなエッジの均一除去とは対照的に、Girvan-Newmanアルゴリズムはエッジ間の情報を用いてネットワーク周辺構造を検出し、その間の中央性に応じてエッジを除去する。 P-DropEdgeと結合したLFGCNがトレーニングタスクを加速し、安定性を高め、学習したグラフトポロジー構造の予測精度をさらに向上することを示す。 最後に、我々はLFGCNや他のディープネットワークツールの機械を電力グリッドネットワーク(GDLの効用が未利用領域)の分析に利用した。

Due to high utility in many applications, from social networks to blockchain to power grids, deep learning on non-Euclidean objects such as graphs and manifolds, coined Geometric Deep Learning (GDL), continues to gain an ever increasing interest. We propose a new L\'evy Flights Graph Convolutional Networks (LFGCN) method for semi-supervised learning, which casts the L\'evy Flights into random walks on graphs and, as a result, allows both to accurately account for the intrinsic graph topology and to substantially improve classification performance, especially for heterogeneous graphs. Furthermore, we propose a new preferential P-DropEdge method based on the Girvan-Newman argument. That is, in contrast to uniform removing of edges as in DropEdge, following the Girvan-Newman algorithm, we detect network periphery structures using information on edge betweenness and then remove edges according to their betweenness centrality. Our experimental results on semi-supervised node classification tasks demonstrate that the LFGCN coupled with P-DropEdge accelerates the training task, increases stability and further improves predictive accuracy of learned graph topology structure. Finally, in our case studies we bring the machinery of LFGCN and other deep networks tools to analysis of power grid networks - the area where the utility of GDL remains untapped.
翻訳日:2022-10-22 02:02:03 公開日:2020-09-04
# SketchPatch: シームレスパッチレベルの合成によるスケッチスタイリング

SketchPatch: Sketch Stylization via Seamless Patch-level Synthesis ( http://arxiv.org/abs/2009.02216v1 )

ライセンス: Link先を確認
Noa Fish, Lilach Perry, Amit Bermano, Daniel Cohen-Or(参考訳) 画像から画像への変換のパラダイムは、幾何学的テクスチャの詳細の転送によるスケッチスタイリングの恩恵に活用される。 翻訳システムの標準的な訓練に必要なデータの量を欠き、いくつかのスタイリングされたスケッチが基本的な幾何学的プリミティブを特徴とするパッチに対して十分なマイニング能力を提供するパッチレベルでの運用を提唱する。 パッチレベルでの動作には、パッチの個々の翻訳がパッチ境界で目に見える縫い目やアーティファクトを生成する可能性があるため、完全なスケッチ翻訳の特別な考慮が必要である。 配列されたスタイルプリミティブとプレーンプリミティブのペアを組み合わせることで、バウンダリ周辺のスタイル要素とプレーン要素を含む入力ハイブリッドを形成し、完全にスタイル化されたパッチを再構築することが期待されるシームレス翻訳(st)ジェネレータへの入力として与えられる。 敵対的な追加は、様々なスタイルやスケッチで示されるように、様々なジオメトリの推論時の一般化と堅牢性を促進し、任意のスケッチスタイライゼーションのための単純で効果的なシステムを形成する。

The paradigm of image-to-image translation is leveraged for the benefit of sketch stylization via transfer of geometric textural details. Lacking the necessary volumes of data for standard training of translation systems, we advocate for operation at the patch level, where a handful of stylized sketches provide ample mining potential for patches featuring basic geometric primitives. Operating at the patch level necessitates special consideration of full sketch translation, as individual translation of patches with no regard to neighbors is likely to produce visible seams and artifacts at patch borders. Aligned pairs of styled and plain primitives are combined to form input hybrids containing styled elements around the border and plain elements within, and given as input to a seamless translation (ST) generator, whose output patches are expected to reconstruct the fully styled patch. An adversarial addition promotes generalization and robustness to diverse geometries at inference time, forming a simple and effective system for arbitrary sketch stylization, as demonstrated upon a variety of styles and sketches.
翻訳日:2022-10-22 02:01:24 公開日:2020-09-04
# 機械学習ツールによる眼特徴認識に基づく新しい新型コロナウイルススクリーニング法

A New Screening Method for COVID-19 based on Ocular Feature Recognition by Machine Learning Tools ( http://arxiv.org/abs/2009.03184v1 )

ライセンス: Link先を確認
Yanwei Fu, Feng Li, Wenxuan Wang, Haicheng Tang, Xuelin Qian, Mengwei Gu, Xiangyang Xue(参考訳) コロナウイルス感染症2019(COVID-19)は、数百万人が影響を受けた。 新型コロナウイルスの感染拡大に伴い、多くの研究者が新型コロナウイルススクリーニングシステムに力を注いでいる。 新型コロナウイルスの迅速なリスクスクリーニングの標準的な方法は、CTイメージングまたはRT-PCR(リアルタイムポリメラーゼ連鎖反応)である。 しかし,これらの方法では,CT画像と唾液サンプルの取得,一定の待ち時間,そしていくつかの国において禁止検査料の取得が求められる。 近年, 結膜高脂血症, 化学療法, エピフォラ, 分泌増加など, 結膜炎と一致した眼症状を呈する症例が報告されている。 4カ月以上にわたる研究の結果、確認された新型コロナウイルスの症例には一貫した眼疾患の徴候があることが判明した。また、一般的なCCDおよびCMOSカメラが捉えた眼領域画像を分析する新しいスクリーニング手法を提案することにより、新型コロナウイルスの早期スクリーニングを極めて高い精度で確実に行うことが可能となった。 このようなアルゴリズムを実装するシステムは,トリアージ管理や臨床診断を支援するべきである。 フダン大学上海公衆衛生クリニックセンターの倫理委員会により、このアルゴリズムをさらに評価し、健常者136名とともに、303例(104 COVID-19, 131 肺, 68 眼患者)の眼領域画像を解析した。 注目すべきは、検査セットの検査結果が類似した眼病のシンボルを一貫して提示し、感度と特異性の観点から非常に高い検査結果が得られたことである。 この研究が、このトピックにおけるさらなる研究を促進するのに役立つことを願っています。

The Coronavirus disease 2019 (COVID-19) has affected several million people. With the outbreak of the epidemic, many researchers are devoting themselves to the COVID-19 screening system. The standard practices for rapid risk screening of COVID-19 are the CT imaging or RT-PCR (real-time polymerase chain reaction). However, these methods demand professional efforts of the acquisition of CT images and saliva samples, a certain amount of waiting time, and most importantly prohibitive examination fee in some countries. Recently, some literatures have shown that the COVID-19 patients usually accompanied by ocular manifestations consistent with the conjunctivitis, including conjunctival hyperemia, chemosis, epiphora, or increased secretions. After more than four months study, we found that the confirmed cases of COVID-19 present the consistent ocular pathological symbols; and we propose a new screening method of analyzing the eye-region images, captured by common CCD and CMOS cameras, could reliably make a rapid risk screening of COVID-19 with very high accuracy. We believe a system implementing such an algorithm should assist the triage management or the clinical diagnosis. To further evaluate our algorithm and approved by the Ethics Committee of Shanghai public health clinic center of Fudan University, we conduct a study of analyzing the eye-region images of 303 patients (104 COVID-19, 131 pulmonary, and 68 ocular patients), as well as 136 healthy people. Remarkably, our results of COVID-19 patients in testing set consistently present similar ocular pathological symbols; and very high testing results have been achieved in terms of sensitivity and specificity. We hope this study can be inspiring and helpful for encouraging more researches in this topic.
翻訳日:2022-10-22 02:00:27 公開日:2020-09-04
# 高速適応PCAを用いたモデルベース協調フィルタリング

Efficient Model-Based Collaborative Filtering with Fast Adaptive PCA ( http://arxiv.org/abs/2009.02251v1 )

ライセンス: Link先を確認
Xiangyun Ding, Wenjian Yu, Yuyang Xie, Shenghua Liu(参考訳) 高速適応型ランダム化特異値分解(SVD)を用いたモデルベース協調フィルタリング(CF)手法を提案する。 まず,固定精度ランダム化行列分解アルゴリズム[1]と,大きなスパースデータを扱うための高速化スキルを組み合わせた高速適応型pcaフレームワークを提案する。 そこで, 適応型PCAの新しい終端機構を提案し, その後のモデルベースCFにおいて, ほぼ最適な予測精度を達成するための潜時因子を自動決定する。 その結果、CFアプローチは、高いランタイム効率を継承しながら、良好な精度を実現した。 実データを用いた実験により、提案された適応PCAは、精度を保ちながら、Matlabの元の固定精度SVDアプローチ[1]とsvdsよりも最大2.7倍、最大6.7倍高速であることが示されている。 提案するモデルに基づくcf法では,20mのレーティングで映画レンスデータを効率的に処理でき,正規化行列分解法[2]と高速特異値しきい値法[3]と比較して10倍以上の高速化が達成できる。 またパラメータフリーの利点も持っている。 ディープラーニングベースのCFアプローチと比較すると,提案手法は計算効率が向上し,限界性能が低下する。

A model-based collaborative filtering (CF) approach utilizing fast adaptive randomized singular value decomposition (SVD) is proposed for the matrix completion problem in recommender system. Firstly, a fast adaptive PCA frameworkis presented which combines the fixed-precision randomized matrix factorization algorithm [1] and accelerating skills for handling large sparse data. Then, a novel termination mechanism for the adaptive PCA is proposed to automatically determine a number of latent factors for achieving the near optimal prediction accuracy during the subsequent model-based CF. The resulted CF approach has good accuracy while inheriting high runtime efficiency. Experiments on real data show that, the proposed adaptive PCA is up to 2.7X and 6.7X faster than the original fixed-precision SVD approach [1] and svds in Matlab repsectively, while preserving accuracy. The proposed model-based CF approach is able to efficiently process the MovieLens data with 20M ratings and exhibits more than 10X speedup over the regularized matrix factorization based approach [2] and the fast singular value thresholding approach [3] with comparable or better accuracy. It also owns the advantage of parameter free. Compared with the deep-learning-based CF approach, the proposed approach is much more computationally efficient, with just marginal performance loss.
翻訳日:2022-10-22 01:59:59 公開日:2020-09-04
# シークエンスからシーケンスモデルへの言語的インスパイア形態素変換

Linguistically inspired morphological inflection with a sequence to sequence model ( http://arxiv.org/abs/2009.02073v1 )

ライセンス: Link先を確認
Eleni Metheniti, Guenter Neumann, Josef van Genabith(参考訳) 屈折はすべての人間の言語の形態において不可欠な部分であるが、近年では言語理論と計算手法を統合する努力はほとんど行われていない。 我々の研究課題は、ニューラルネットワークが、言語獲得の初期段階において、人間と同じような方法で、帰納的生成のための帰納的形態素を学習できるかどうかである。 我々は,この仮説を検証するために,インフレクションコーパス(metheniti and neumann, 2020)と単一層seq2seqモデルを用いて,インフレクションの接尾辞をブロックとして学習し予測し,単語stemを固定化を考慮した文字列としてモデル化する。 キャラクタ・ツー・キャラクタとインフレクションアフィクスをキャラクタブロックとして予測することにより,文字形態に基づくモデルでインフレクションを生成する。 我々は,単語の屈折形と入力と対象特徴のセットを3つの実験を行い,我々のアーキテクチャを,同じハイパーパラメーター,トレーニング,テストセットを持つメインストリームの文字ベースモデルと比較した。 全体として17の言語について,既知の補題(+0.68%),未知語(+3.7%),低リソースシナリオでの予測(+1.09%)において小さな改善点(+1.09%)に気付きました。

Inflection is an essential part of every human language's morphology, yet little effort has been made to unify linguistic theory and computational methods in recent years. Methods of string manipulation are used to infer inflectional changes; our research question is whether a neural network would be capable of learning inflectional morphemes for inflection production in a similar way to a human in early stages of language acquisition. We are using an inflectional corpus (Metheniti and Neumann, 2020) and a single layer seq2seq model to test this hypothesis, in which the inflectional affixes are learned and predicted as a block and the word stem is modelled as a character sequence to account for infixation. Our character-morpheme-based model creates inflection by predicting the stem character-to-character and the inflectional affixes as character blocks. We conducted three experiments on creating an inflected form of a word given the lemma and a set of input and target features, comparing our architecture to a mainstream character-based model with the same hyperparameters, training and test sets. Overall for 17 languages, we noticed small improvements on inflecting known lemmas (+0.68%) but steadily better performance of our model in predicting inflected forms of unknown words (+3.7%) and small improvements on predicting in a low-resource scenario (+1.09%)
翻訳日:2022-10-22 01:59:15 公開日:2020-09-04
# ファジィルールに代表されるポリシーに対するポリシー勾配強化学習:自動車の速度制御シミュレーションへの応用

Policy Gradient Reinforcement Learning for Policy Represented by Fuzzy Rules: Application to Simulations of Speed Control of an Automobile ( http://arxiv.org/abs/2009.02083v1 )

ライセンス: Link先を確認
Seiji Ishihara and Harukazu Igarashi(参考訳) ファジィ推論とポリシー勾配強化学習を融合させる手法が提案され、各エピソード当たりの報酬の期待値が最大になるように、重み付きファジィ規則で表されるポリシー関数のパラメータを直接学習する。 本手法を自動車の速度制御の課題に適用し, 自動車の速度を適切に制御するものもあれば, 速度の不適切な振動を発生させるものもいくつかある。 一般に、出力値に突然の時間変化や振動を引き起こすような方針は望ましいものではなく、出力値にスムーズな時間変化を与える方針が望ましい場合が多い。 本稿では, ファジィコントローラの出力値の急激な変化を抑制するために, 重み付き重み付き重み付き重み付き重み付き重み付き重み付き重み付きデファジフィケーションと, 時間変化のスムーズさを制約項として導入する目的関数を用いた融合法を提案する。 次に, 融合における学習則を示し, 報酬関数が出力値のゆらぎに与える影響について考察する。 本手法を自動車の速度制御に適用した実験結果から,提案手法は出力値の時系列における望ましくない変動を抑制する効果があることが確認された。 また,報酬関数の違いが学習結果に悪影響を及ぼす可能性が示唆された。

A method of a fusion of fuzzy inference and policy gradient reinforcement learning has been proposed that directly learns, as maximizes the expected value of the reward per episode, parameters in a policy function represented by fuzzy rules with weights. A study has applied this method to a task of speed control of an automobile and has obtained correct policies, some of which control speed of the automobile appropriately but many others generate inappropriate vibration of speed. In general, the policy is not desirable that causes sudden time change or vibration in the output value, and there would be many cases where the policy giving smooth time change in the output value is desirable. In this paper, we propose a fusion method using the objective function, that introduces defuzzification with the center of gravity model weighted stochastically and a constraint term for smoothness of time change, as an improvement measure in order to suppress sudden change of the output value of the fuzzy controller. Then we show the learning rule in the fusion, and also consider the effect by reward functions on the fluctuation of the output value. As experimental results of an application of our method on speed control of an automobile, it was confirmed that the proposed method has the effect of suppressing the undesirable fluctuation in time-series of the output value. Moreover, it was also showed that the difference between reward functions might adversely affect the results of learning.
翻訳日:2022-10-22 01:58:48 公開日:2020-09-04
# グラフの縮退、表現学習、スケーラビリティについて

About Graph Degeneracy, Representation Learning and Scalability ( http://arxiv.org/abs/2009.02085v1 )

ライセンス: Link先を確認
Simon Brandeis, Adrian Jarret, Pierre Sevestre(参考訳) グラフやネットワークは、大量のインタラクションでデータを表現するのにとても便利な方法です。 最近、グラフデータ上の機械学習は多くの注目を集めています。 特に、頂点分類とエッジ検出の欠如は、薬物発見から推奨システムまで、非常に興味深い応用である。 そのようなタスクを達成するために、ノードとエッジの有限次元ベクトル空間への埋め込みを学習する膨大な作業が達成されている。 このタスクはグラフ表現学習と呼ばれる。 しかし、グラフ表現学習技術は、しばしば禁止時間とメモリの複雑さを示し、ビジネスサイズのグラフでリアルタイムに使用するのを防いでいる。 本稿では,グラフの縮退特性(K-Core分解)を活用することでこの問題に対処する。 本稿では,この分解を利用して,ウォーク型グラフ表現学習アルゴリズムの時間とメモリ消費を削減する2つの手法を提案する。 本研究では,いくつかの学術データセットにおいて提案手法の性能と計算資源の質について評価を行った。 私たちのコードはhttps://github.com/SBrandeis/kcore-embeddingで利用可能です。

Graphs or networks are a very convenient way to represent data with lots of interaction. Recently, Machine Learning on Graph data has gained a lot of traction. In particular, vertex classification and missing edge detection have very interesting applications, ranging from drug discovery to recommender systems. To achieve such tasks, tremendous work has been accomplished to learn embedding of nodes and edges into finite-dimension vector spaces. This task is called Graph Representation Learning. However, Graph Representation Learning techniques often display prohibitive time and memory complexities, preventing their use in real-time with business size graphs. In this paper, we address this issue by leveraging a degeneracy property of Graphs - the K-Core Decomposition. We present two techniques taking advantage of this decomposition to reduce the time and memory consumption of walk-based Graph Representation Learning algorithms. We evaluate the performances, expressed in terms of quality of embedding and computational resources, of the proposed techniques on several academic datasets. Our code is available at https://github.com/SBrandeis/kcore-embedding
翻訳日:2022-10-22 01:52:59 公開日:2020-09-04
# アクター批判手法の損失景観の可視化と在庫最適化への応用

Visualizing the Loss Landscape of Actor Critic Methods with Applications in Inventory Optimization ( http://arxiv.org/abs/2009.02391v1 )

ライセンス: Link先を確認
Recep Yusuf Bekci, Mehmet G\"um\"u\c{s}(参考訳) 継続的制御は強化学習の広く適用可能な領域である。 この領域の主なプレイヤーは、ニューラル近似器のポリシー勾配を共通の実践として利用するアクター批判的手法である。 本研究の目的は,最適化の重要な部分であるアクタ損失関数の特性を明らかにすることである。 損失関数の低次元可視化を活用し,様々なアルゴリズムの損失景観の比較を行う。 さらに,本手法をサプライチェーン運用における極めて困難な問題であるマルチストア動的在庫管理に適用し,最適ポリシに関連する損失関数の形状を探索する。 最適性に有利なロスランドスケープを持ちながら,強化学習を用いて問題をモデル化し,解決した。

Continuous control is a widely applicable area of reinforcement learning. The main players of this area are actor-critic methods that utilize policy gradients of neural approximators as a common practice. The focus of our study is to show the characteristics of the actor loss function which is the essential part of the optimization. We exploit low dimensional visualizations of the loss function and provide comparisons for loss landscapes of various algorithms. Furthermore, we apply our approach to multi-store dynamic inventory control, a notoriously difficult problem in supply chain operations, and explore the shape of the loss function associated with the optimal policy. We modelled and solved the problem using reinforcement learning while having a loss landscape in favor of optimality.
翻訳日:2022-10-22 01:51:55 公開日:2020-09-04
# acdc:原子効率劣化畳み込みにおける重みの共有

ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution ( http://arxiv.org/abs/2009.02386v1 )

ライセンス: Link先を確認
Ze Wang, Xiuyuan Cheng, Guillermo Sapiro, Qiang Qiu(参考訳) 畳み込みニューラルネットワーク(CNN)は、非常に過度にパラメータ化され、解釈、訓練、適応が難しいことが知られている。 本稿では,CNNにおける畳み込みカーネル間の構造正則化を提案する。 提案手法では、各畳み込みカーネルを2次元辞書原子として係数で線形に分解する。 広範に観察されたCNNの相関関係と冗長性は、分解係数の共通低ランク構造を示唆しており、これは我々の経験的観察によってさらに裏付けられている。 次に,部分構造間で共有される分解係数を強制することによって,cnnカーネルを明示的に規則化すると同時に,各サブ構造を独自の辞書原子のみとして残し,数百のパラメータを典型的に残し,劇的なモデル削減に繋がる。 パラメータ還元と表現性の間の幅広いトレードオフをカバーするために,異なるサブ構造間での共有モデルを検討する。 提案する正規化ネットワーク構造は,深いモデルを解釈,訓練,適応するための扉を開く。 我々は,複数のデータセットと基盤となるネットワーク構造に関する画像分類実験により,本手法の柔軟性と適合性を検証するとともに,CNNがパラメータと計算を劇的に削減して性能を維持していることを示す。 少数ショット分類に関するさらなる実験により、標準畳み込みモデルと比較して高速でロバストなタスク適応が得られた。

Convolutional Neural Networks (CNNs) are known to be significantly over-parametrized, and difficult to interpret, train and adapt. In this paper, we introduce a structural regularization across convolutional kernels in a CNN. In our approach, each convolution kernel is first decomposed as 2D dictionary atoms linearly combined by coefficients. The widely observed correlation and redundancy in a CNN hint a common low-rank structure among the decomposed coefficients, which is here further supported by our empirical observations. We then explicitly regularize CNN kernels by enforcing decomposed coefficients to be shared across sub-structures, while leaving each sub-structure only its own dictionary atoms, a few hundreds of parameters typically, which leads to dramatic model reductions. We explore models with sharing across different sub-structures to cover a wide range of trade-offs between parameter reduction and expressiveness. Our proposed regularized network structures open the door to better interpreting, training and adapting deep models. We validate the flexibility and compatibility of our method by image classification experiments on multiple datasets and underlying network structures, and show that CNNs now maintain performance with dramatic reduction in parameters and computations, e.g., only 5\% parameters are used in a ResNet-18 to achieve comparable performance. Further experiments on few-shot classification show that faster and more robust task adaptation is obtained in comparison with models with standard convolutions.
翻訳日:2022-10-22 01:50:51 公開日:2020-09-04
# 最良サブセット選択による小アクション空間上のニア次元独立スパース線形帯域

Nearly Dimension-Independent Sparse Linear Bandit over Small Action Spaces via Best Subset Selection ( http://arxiv.org/abs/2009.02003v1 )

ライセンス: Link先を確認
Yining Wang, Yi Chen, Ethan X. Fang, Zhaoran Wang and Runze Li(参考訳) 我々は高次元線形モデルの下で確率的文脈帯域問題を考える。 アクション空間が有限かつランダムな場合と、各アクションがランダムに生成された文脈共変量と関連している場合に焦点を当てる。 この設定は、パーソナライズドレコメンデーション、オンライン広告、パーソナライズドメディシンといった必須のアプリケーションを見つける。 しかし、探索と搾取のバランスをとる必要があるため、非常に難しい。 そこで本研究では,実装が容易な最良部分集合選択法を用いて,2倍成長したエポックを推定する手法を提案する。 このアプローチは、$ \tilde{\mathcal{o}}(s\sqrt{t})$ regret を高い確率で達成する。 さらに、よりシャープな $\tilde{\mathcal{O}}(\sqrt{sT})$ regret を \textsc{SupLinUCB} フレームワークを用いて達成し、低次元線形確率的バンディット問題のミニマックス下界と一致する。 最後に,本アルゴリズムの適用性とロバスト性を示すために,広範な数値実験を行った。

We consider the stochastic contextual bandit problem under the high dimensional linear model. We focus on the case where the action space is finite and random, with each action associated with a randomly generated contextual covariate. This setting finds essential applications such as personalized recommendation, online advertisement, and personalized medicine. However, it is very challenging as we need to balance exploration and exploitation. We propose doubly growing epochs and estimating the parameter using the best subset selection method, which is easy to implement in practice. This approach achieves $ \tilde{\mathcal{O}}(s\sqrt{T})$ regret with high probability, which is nearly independent in the ``ambient'' regression model dimension $d$. We further attain a sharper $\tilde{\mathcal{O}}(\sqrt{sT})$ regret by using the \textsc{SupLinUCB} framework and match the minimax lower bound of low-dimensional linear stochastic bandit problems. Finally, we conduct extensive numerical experiments to demonstrate the applicability and robustness of our algorithms empirically.
翻訳日:2022-10-22 01:50:28 公開日:2020-09-04
# 非結核性肺炎からの結核菌の早期・早期診断(step-1)と最終診断(step-2)の2段階判定支援システム(tpis)の提案

Proposing a two-step Decision Support System (TPIS) based on Stacked ensemble classifier for early and low cost (step-1) and final (step-2) differential diagnosis of Mycobacterium Tuberculosis from non-tuberculosis Pneumonia ( http://arxiv.org/abs/2009.02316v1 )

ライセンス: Link先を確認
Toktam Khatibi, Ali Farahani, Hossein Sarmadian(参考訳) 背景: Mycobacterium tuberculosis (TB) は肺炎に類似した症状を示す感染症であり, TBと肺炎の鑑別は困難である。 そこで本研究の目的は,肺炎からのtbの鑑別診断を自動的に行う方法を提案することである。 方法: 本研究では, 重畳型アンサンブル分類器を用いて, 肺炎からのTBの鑑別診断にTPISという2段階決定支援システムを提案する。 提案モデルの最初のステップは、人口動態の特徴や患者症状(18特徴を含む)を含む低コストの特徴に基づく早期診断である。 TPISの第2段階は,第1段階から抽出したメタ特徴,実験室試験,胸部X線検査に基づいて最終決定を行う。 本研究は、イランのアラクにある病院に登録されたtbまたは肺炎患者に対する199件の医療記録を振り返るものである。 結果: 実験結果から, 肺結核の早期鑑別診断は, 90.26例, AUC 91.37例, AUC 92.81例, 93.89例において, TPIS は比較した機械学習手法よりも優れていた。 結論:早期診断の主な利点は、患者をできるだけ早く診断し、治療の遅れを予防する処置を開始することである。 したがって、早期診断は両疾患の遅発治療の成熟を減少させる。

Background: Mycobacterium Tuberculosis (TB) is an infectious bacterial disease presenting similar symptoms to pneumonia; therefore, differentiating between TB and pneumonia is challenging. Therefore, the main aim of this study is proposing an automatic method for differential diagnosis of TB from Pneumonia. Methods: In this study, a two-step decision support system named TPIS is proposed for differential diagnosis of TB from pneumonia based on stacked ensemble classifiers. The first step of our proposed model aims at early diagnosis based on low-cost features including demographic characteristics and patient symptoms (including 18 features). TPIS second step makes the final decision based on the meta features extracted in the first step, the laboratory tests and chest radiography reports. This retrospective study considers 199 patient medical records for patients suffering from TB or pneumonia, which has been registered in a hospital in Arak, Iran. Results: Experimental results show that TPIS outperforms the compared machine learning methods for early differential diagnosis of pulmonary tuberculosis from pneumonia with AUC of 90.26 and accuracy of 91.37 and final decision making with AUC of 92.81 and accuracy of 93.89. Conclusions: The main advantage of early diagnosis is beginning the treatment procedure for confidently diagnosed patients as soon as possible and preventing latency in treatment. Therefore, early diagnosis reduces the maturation of late treatment of both diseases.
翻訳日:2022-10-22 01:49:54 公開日:2020-09-04
# CLEANN: 組み込みニューラルネットワークのための加速トロイジャンシールド

CLEANN: Accelerated Trojan Shield for Embedded Neural Networks ( http://arxiv.org/abs/2009.02326v1 )

ライセンス: Link先を確認
Mojan Javaheripi, Mohammad Samragh, Gregory Fields, Tara Javidi, Farinaz Koushanfar(参考訳) 組込みディープニューラルネットワーク(DNN)アプリケーションに対するトロイの木馬のオンライン緩和を可能にする,最初のエンドツーエンドフレームワークであるCLEANNを提案する。 トロイの木馬攻撃は、訓練中にDNNにバックドアを注入することで動作し、推論中は特定のバックドアトリガーによってトロイの木馬が活性化される。 以前の作業との違いは、ラベル付きデータやモデルの再トレーニング、あるいはトリガや攻撃の事前仮定を必要とせずに、トロイの木馬サンプルの基底クラスをリカバリする軽量な方法論である。 辞書学習とスパース近似を利用して,良性データの統計的挙動を特徴付け,トロイの木馬のトリガーを同定する。 CLEANNはアルゴリズム/ハードウェアの共同設計に基づいて開発され、リソース制約のある組み込みプラットフォーム上で効率的なリアルタイム実行を可能にする特別なハードウェアを備えている。 ビジュアルベンチマークに対する最先端のニューラルトロイの木馬攻撃に対するCLEANNの概念評価の証明は、攻撃耐性と実行オーバーヘッドの観点から、その競争上の優位性を示している。

We propose CLEANN, the first end-to-end framework that enables online mitigation of Trojans for embedded Deep Neural Network (DNN) applications. A Trojan attack works by injecting a backdoor in the DNN while training; during inference, the Trojan can be activated by the specific backdoor trigger. What differentiates CLEANN from the prior work is its lightweight methodology which recovers the ground-truth class of Trojan samples without the need for labeled data, model retraining, or prior assumptions on the trigger or the attack. We leverage dictionary learning and sparse approximation to characterize the statistical behavior of benign data and identify Trojan triggers. CLEANN is devised based on algorithm/hardware co-design and is equipped with specialized hardware to enable efficient real-time execution on resource-constrained embedded platforms. Proof of concept evaluations on CLEANN for the state-of-the-art Neural Trojan attacks on visual benchmarks demonstrate its competitive advantage in terms of attack resiliency and execution overhead.
翻訳日:2022-10-22 01:43:12 公開日:2020-09-04
# 教師なし特徴抽出による自己組織化マップの改善

Improving Self-Organizing Maps with Unsupervised Feature Extraction ( http://arxiv.org/abs/2009.02174v1 )

ライセンス: Link先を確認
Lyes Khacef, Laurent Rodriguez, Benoit Miramond(参考訳) 自己組織化マップ(SOM)は脳にインスパイアされたニューラルモデルであり、教師なし学習、特に組み込みアプリケーションにおいて非常に有望である。 しかし、複雑なデータセットを扱う際に効率的なプロトタイプを学ぶことはできない。 本稿では,生データの代わりに抽出した特徴を用いてSOM性能を向上させることを提案する。 我々は、勾配学習を用いたスパース畳み込み自動エンコーダを用いた機械学習アプローチと、スパイクタイミング依存塑性学習を用いたスパイクニューラルネットワークによる神経科学アプローチの2つの異なるアプローチを用いて、教師なし特徴抽出によるSOM分類精度の比較研究を行った。 SOMは抽出した特徴に基づいて訓練され、それに対応するクラスでニューロンをラベル付けするためにラベル付きサンプルはごくわずかである。 特徴マップ,somサイズ,ラベル付きサブセットサイズが特徴抽出法の違いによる分類精度に及ぼす影響について検討した。 我々は、+6.09\%のSOM分類を改善し、教師なし画像分類における最先端性能を得る。

The Self-Organizing Map (SOM) is a brain-inspired neural model that is very promising for unsupervised learning, especially in embedded applications. However, it is unable to learn efficient prototypes when dealing with complex datasets. We propose in this work to improve the SOM performance by using extracted features instead of raw data. We conduct a comparative study on the SOM classification accuracy with unsupervised feature extraction using two different approaches: a machine learning approach with Sparse Convolutional Auto-Encoders using gradient-based learning, and a neuroscience approach with Spiking Neural Networks using Spike Timing Dependant Plasticity learning. The SOM is trained on the extracted features, then very few labeled samples are used to label the neurons with their corresponding class. We investigate the impact of the feature maps, the SOM size and the labeled subset size on the classification accuracy using the different feature extraction methods. We improve the SOM classification by +6.09\% and reach state-of-the-art performance on unsupervised image classification.
翻訳日:2022-10-22 01:42:53 公開日:2020-09-04
# 教師なし学習のためのgpuベースの自己組織化マップ

GPU-based Self-Organizing Maps for Post-Labeled Few-Shot Unsupervised Learning ( http://arxiv.org/abs/2009.03665v1 )

ライセンス: Link先を確認
Lyes Khacef, Vincent Gripon, Benoit Miramond(参考訳) 少数ショット分類は、非常に限られた数のラベル付き例を使って分類器をトレーニングするという機械学習の課題である。 このシナリオは、例えばデータ取得やラベル付けが高価である場合など、実生活で頻繁に発生する可能性が高い。 そこで本研究では,非教師付きで表現を学習する分類タスクである,ポストラベル付き無教師付き学習の問題点を,アノテート例を用いて後述する。 我々は、組み込みデバイスがデータを直接取得し、ラベル付けを行うのに必要な専門家が頻繁に促されない場合、この問題がエッジで発生する可能性が非常に高いと主張する。 この問題に対処するために,自己組織マップ(SOM)を用いた移動学習とクラスタリングを結合したアルゴリズムを検討する。 マルチコアCPUとGPUでプロセスを高速化するTensorFlowベースの実装を導入する。 最後に,標準オフザシェルフ数ショット分類ベンチマークを用いて,本手法の有効性を示す。

Few-shot classification is a challenge in machine learning where the goal is to train a classifier using a very limited number of labeled examples. This scenario is likely to occur frequently in real life, for example when data acquisition or labeling is expensive. In this work, we consider the problem of post-labeled few-shot unsupervised learning, a classification task where representations are learned in an unsupervised fashion, to be later labeled using very few annotated examples. We argue that this problem is very likely to occur on the edge, when the embedded device directly acquires the data, and the expert needed to perform labeling cannot be prompted often. To address this problem, we consider an algorithm consisting of the concatenation of transfer learning with clustering using Self-Organizing Maps (SOMs). We introduce a TensorFlow-based implementation to speed-up the process in multi-core CPUs and GPUs. Finally, we demonstrate the effectiveness of the method using standard off-the-shelf few-shot classification benchmarks.
翻訳日:2022-10-22 01:42:35 公開日:2020-09-04
# 文法エラー処理におけるディープラーニングモデルの利用動向

Recent Trends in the Use of Deep Learning Models for Grammar Error Handling ( http://arxiv.org/abs/2009.02358v1 )

ライセンス: Link先を確認
Mina Naghshnejad, Tarun Joshi, and Vijayan N. Nair(参考訳) 文法エラー処理(GEH)は自然言語処理(NLP)において重要なトピックである。 GEHは文法誤り検出と文法誤り訂正の両方を含んでいる。 近年の計算システムの発展により,GEHなどのNLP問題に対するディープラーニング(DL)モデルの利用が促進されている。 本調査では,ニューラルマシン翻訳モデルとエディタモデルという,GEHの2つの主要なDLアプローチに注目した。 データ準備、トレーニング、推論という、これらのモデルのパイプラインの3つの主要なステージについて説明する。 さらに、パイプラインの各ステージでこれらのモデルのパフォーマンスを改善するための様々な技術について論じる。 異なるモデルの性能を比較し,今後の方向性を考察する。

Grammar error handling (GEH) is an important topic in natural language processing (NLP). GEH includes both grammar error detection and grammar error correction. Recent advances in computation systems have promoted the use of deep learning (DL) models for NLP problems such as GEH. In this survey we focus on two main DL approaches for GEH: neural machine translation models and editor models. We describe the three main stages of the pipeline for these models: data preparation, training, and inference. Additionally, we discuss different techniques to improve the performance of these models at each stage of the pipeline. We compare the performance of different models and conclude with proposed future directions.
翻訳日:2022-10-22 01:42:18 公開日:2020-09-04
# 深層学習における情報漏洩の包括的解析

A Comprehensive Analysis of Information Leakage in Deep Transfer Learning ( http://arxiv.org/abs/2009.01989v1 )

ライセンス: Link先を確認
Cen Chen, Bingzhe Wu, Minghui Qiu, Li Wang, Jun Zhou(参考訳) 転送学習は、ラベル付きデータが不足しているソースドメインからターゲットドメインへの知識の転送に広く使用される。 近年,深層伝達学習は様々な応用において著しい進歩を遂げている。 しかし、ソースデータセットとターゲットデータセットは、多くの場合、多くの現実世界のシナリオにおいて、2つの異なる組織に属します。 本研究では,ディープトランスファー学習におけるプライバシー漏洩の可能性を徹底的に分析するために,従来の手法を3つのカテゴリに分けた。 それに基づいて、各カテゴリで意図しないプライバシー漏洩につながる特定の脅威を示す。 さらに、これらの脅威を防ぐためのソリューションも提供します。 我々の知識を最大限に活用するために,我々は,深層移動学習法における情報漏洩問題の徹底的な解析を行い,その問題の潜在的な解決策を提供する。 2つの公開データセットと業界データセットに関する大規模な実験を行い、異なる深層移動学習環境下でのプライバシー漏洩と防衛ソリューションの有効性を示す。

Transfer learning is widely used for transferring knowledge from a source domain to the target domain where the labeled data is scarce. Recently, deep transfer learning has achieved remarkable progress in various applications. However, the source and target datasets usually belong to two different organizations in many real-world scenarios, potential privacy issues in deep transfer learning are posed. In this study, to thoroughly analyze the potential privacy leakage in deep transfer learning, we first divide previous methods into three categories. Based on that, we demonstrate specific threats that lead to unintentional privacy leakage in each category. Additionally, we also provide some solutions to prevent these threats. To the best of our knowledge, our study is the first to provide a thorough analysis of the information leakage issues in deep transfer learning methods and provide potential solutions to the issue. Extensive experiments on two public datasets and an industry dataset are conducted to show the privacy leakage under different deep transfer learning settings and defense solution effectiveness.
翻訳日:2022-10-22 01:42:12 公開日:2020-09-04
# T-SNEを超える: テキスト埋め込みにおける \texttt{whatlies} の公開

Going Beyond T-SNE: Exposing \texttt{whatlies} in Text Embeddings ( http://arxiv.org/abs/2009.02113v1 )

ライセンス: Link先を確認
Vincent D. Warmerdam, Thomas Kober, Rachael Tatman(参考訳) 単語と文の埋め込みを視覚的に検査するオープンソースツールキットwhatliesを紹介する。 プロジェクトは統一的で拡張可能なapiを提供し、spacy、tfhub、hughingface transformers、gensim、fasttext、bytepair embeddedsなど、広く使われている組み込みバックエンドをサポートする。 このパッケージは、ベクトル演算のためのドメイン固有言語と、単語の埋め込みをより直感的で簡潔に探索する可視化ツールを組み合わせる。 多くの一般的な次元縮小技術と、jupyterノートブックを介して静的にエクスポートまたは共有できる多数のインタラクティブな視覚化をサポートする。 プロジェクトのドキュメントはhttps://rasahq.github.io/whatlies/から入手できる。

We introduce whatlies, an open source toolkit for visually inspecting word and sentence embeddings. The project offers a unified and extensible API with current support for a range of popular embedding backends including spaCy, tfhub, huggingface transformers, gensim, fastText and BytePair embeddings. The package combines a domain specific language for vector arithmetic with visualisation tools that make exploring word embeddings more intuitive and concise. It offers support for many popular dimensionality reduction techniques as well as many interactive visualisations that can either be statically exported or shared via Jupyter notebooks. The project documentation is available from https://rasahq.github.io/whatlies/.
翻訳日:2022-10-22 01:41:55 公開日:2020-09-04
# ナイーブな人工知能

Naive Artificial Intelligence ( http://arxiv.org/abs/2009.02185v1 )

ライセンス: Link先を確認
Tomer Barak, Yehonatan Avidan and Yonatan Loewenstein(参考訳) 認知科学では、結晶知性、過去の学習や経験を通じて得られた知識を活用できる能力、流体知性、事前の知識に頼らずに新しい問題を解決する能力とを区別することが一般的である。 この2つのインテリジェンス間の認知的区別を利用して、チェスや囲碁をプレイできる広範囲に訓練されたディープネットワークは、結晶を示すが流動的なインテリジェンスではない。 人間では、流体インテリジェンスは通常、インテリジェンステストを用いて研究され、定量化される。 これまでの研究では、ディープネットワークはある種の知性テストは解決できるが、大規模なトレーニングの後にのみ解決できることが示されている。 ここでは,事前のトレーニングなしに知能テストを行う計算モデルを提案する。 この能力は連続的帰納的推論に基づいており、深い教師なし潜在予測ネットワークによって実装されている。 我々の研究は、ディープネットワークの潜在的流動性を示す。 最後に,このアプローチの基礎となる計算原理を,認知科学における流体知能のモデル化に応用することを提案する。

In the cognitive sciences, it is common to distinguish between crystal intelligence, the ability to utilize knowledge acquired through past learning or experience and fluid intelligence, the ability to solve novel problems without relying on prior knowledge. Using this cognitive distinction between the two types of intelligence, extensively-trained deep networks that can play chess or Go exhibit crystal but not fluid intelligence. In humans, fluid intelligence is typically studied and quantified using intelligence tests. Previous studies have shown that deep networks can solve some forms of intelligence tests, but only after extensive training. Here we present a computational model that solves intelligence tests without any prior training. This ability is based on continual inductive reasoning, and is implemented by deep unsupervised latent-prediction networks. Our work demonstrates the potential fluid intelligence of deep networks. Finally, we propose that the computational principles underlying our approach can be used to model fluid intelligence in the cognitive sciences.
翻訳日:2022-10-22 01:41:44 公開日:2020-09-04
# グラフ注意ネットワークによる多変量時系列異常検出

Multivariate Time-series Anomaly Detection via Graph Attention Network ( http://arxiv.org/abs/2009.02040v1 )

ライセンス: Link先を確認
Hang Zhao, Yujing Wang, Juanyong Duan, Congrui Huang, Defu Cao, Yunhai Tong, Bixiong Xu, Jing Bai, Jie Tong, Qi Zhang(参考訳) 多変量時系列の異常検出は、データマイニング研究と産業応用の両方において非常に重要である。 最近のアプローチはこのトピックで大きな進歩を遂げているが、制限は残っている。 1つの大きな制限は、異なる時系列間の関係を明示的に捉えていないことである。 本稿では,多変量時系列異常検出のための新しい自己教師付きフレームワークを提案する。 本フレームワークは,各単変量時系列を個々の特徴とみなし,時間次元と特徴次元の両方で多変量時系列の複雑な依存関係を学習するための2つのグラフ注意層を並列に含む。 さらに,予測に基づくモデルと構築モデルとを共同で最適化し,時系列予測と時系列全体の再構成の組み合わせにより,より良い時系列表現を得る。 本モデルの有効性を広範な実験により実証する。 提案手法は,3つの実世界のデータセット上で,他の最先端モデルよりも優れている。 さらに解析した結果,本手法は良好な解釈性を有し,異常診断に有用であることが示唆された。

Anomaly detection on multivariate time-series is of great importance in both data mining research and industrial applications. Recent approaches have achieved significant progress in this topic, but there is remaining limitations. One major limitation is that they do not capture the relationships between different time-series explicitly, resulting in inevitable false alarms. In this paper, we propose a novel self-supervised framework for multivariate time-series anomaly detection to address this issue. Our framework considers each univariate time-series as an individual feature and includes two graph attention layers in parallel to learn the complex dependencies of multivariate time-series in both temporal and feature dimensions. In addition, our approach jointly optimizes a forecasting-based model and are construction-based model, obtaining better time-series representations through a combination of single-timestamp prediction and reconstruction of the entire time-series. We demonstrate the efficacy of our model through extensive experiments. The proposed method outperforms other state-of-the-art models on three real-world datasets. Further analysis shows that our method has good interpretability and is useful for anomaly diagnosis.
翻訳日:2022-10-22 01:40:47 公開日:2020-09-04
# マルチタスク学習のための現象型オントロジー駆動フレームワーク

Phenotypical Ontology Driven Framework for Multi-Task Learning ( http://arxiv.org/abs/2009.02188v1 )

ライセンス: Link先を確認
Mohamed Ghalwash, Zijun Yao, Prithwish Chakraborty, James Codella, Daby Sow(参考訳) 電子健康記録(ehrs)の患者は多いが、特定の表現型の結果をモデル化するための利用可能なデータのサブセットはしばしば不均衡であり、サイズは小さい。 これは、EHRにおける医療概念の不均一なカバレッジに起因する可能性がある。 本稿では,オントロジー駆動型マルチタスク学習フレームワークであるOMTLを提案する。 我々の研究の重要な貢献は、このオントロジーを反映した新しいディープラーニングネットワークアーキテクチャを構築するために、事前に確立された医療関係グラフ(オントロジー)からの知識の有効利用である。 このグラフを反映したディープラーニングネットワークアーキテクチャを構築することで、確立した医療関係グラフ(オントロジー)からの知識を効果的に活用することができる。 これにより、共通表現を関連する表現型間で共有することができ、学習性能を向上させることができた。 提案したOMTLは自然に異なる予測タスク上で異なる表現型のマルチタスク学習を可能にする。 これらの表現型は、外的医学的オントロジーに従って意味的距離で結合される。 公開されているMIMIC-IIIデータベースを用いて,OMTLを評価し,最先端のマルチタスク学習方式における実際の患者結果予測に有効性を示す。

Despite the large number of patients in Electronic Health Records (EHRs), the subset of usable data for modeling outcomes of specific phenotypes are often imbalanced and of modest size. This can be attributed to the uneven coverage of medical concepts in EHRs. In this paper, we propose OMTL, an Ontology-driven Multi-Task Learning framework, that is designed to overcome such data limitations. The key contribution of our work is the effective use of knowledge from a predefined well-established medical relationship graph (ontology) to construct a novel deep learning network architecture that mirrors this ontology. It can effectively leverage knowledge from a well-established medical relationship graph (ontology) by constructing a deep learning network architecture that mirrors this graph. This enables common representations to be shared across related phenotypes, and was found to improve the learning performance. The proposed OMTL naturally allows for multitask learning of different phenotypes on distinct predictive tasks. These phenotypes are tied together by their semantic distance according to the external medical ontology. Using the publicly available MIMIC-III database, we evaluate OMTL and demonstrate its efficacy on several real patient outcome predictions over state-of-the-art multi-task learning schemes.
翻訳日:2022-10-22 01:33:16 公開日:2020-09-04
# アラビア語テキスト認識のためのハイブリッドディープラーニングモデル

A Hybrid Deep Learning Model for Arabic Text Recognition ( http://arxiv.org/abs/2009.01987v1 )

ライセンス: Link先を確認
Mohammad Fasha, Bassam Hammo, Nadim Obeid, Jabir Widian(参考訳) アラビア語のテキスト認識は、アラビア語の文字体系の簡潔な性質、その共同の文字体系、多数のリガチュア、その他多くの課題により、難しい課題である。 ディープラーニングDLモデルはコンピュータビジョンやシーケンスモデリングを含む多くの領域で大きな進歩を遂げた。 本稿では,アラビア文字を模倣したフォントを含む複数のフォントタイプを用いて印刷されたアラビア文字を認識するモデルを提案する。 提案モデルでは,文字セグメンテーションを必要とせずにアラビア文字を認識可能なハイブリッドDLネットワークを採用している。 このモデルは、18種類のアラビア文字タイプで生成された200万以上の単語サンプルからなるカスタムデータセットでテストされた。 テストプロセスの目的は、様々なカーシブスタイルを表すアラビア語フォントの多様なセットを認識するモデルの能力を評価することであった。 このモデルでは文字や単語の認識に優れた結果が得られ、また見当たらないデータ上での文字認識にも有望な結果が得られた。 準備されたモデル、カスタムデータセット、同様のデータセットを生成するツールキットが公開されており、これらのツールは、他のフォントタイプを認識するためのモデルの準備や、提案されたモデルの性能をさらに拡張および強化するために使用することができる。

Arabic text recognition is a challenging task because of the cursive nature of Arabic writing system, its joint writing scheme, the large number of ligatures and many other challenges. Deep Learning DL models achieved significant progress in numerous domains including computer vision and sequence modelling. This paper presents a model that can recognize Arabic text that was printed using multiple font types including fonts that mimic Arabic handwritten scripts. The proposed model employs a hybrid DL network that can recognize Arabic printed text without the need for character segmentation. The model was tested on a custom dataset comprised of over two million word samples that were generated using 18 different Arabic font types. The objective of the testing process was to assess the model capability in recognizing a diverse set of Arabic fonts representing a varied cursive styles. The model achieved good results in recognizing characters and words and it also achieved promising results in recognizing characters when it was tested on unseen data. The prepared model, the custom datasets and the toolkit for generating similar datasets are made publicly available, these tools can be used to prepare models for recognizing other font types as well as to further extend and enhance the performance of the proposed model.
翻訳日:2022-10-22 01:32:55 公開日:2020-09-04
# 安全・スケーラブル自動走行車におけるセンサ, 安全モデル, システムレベルアプローチ

Sensors, Safety Models and A System-Level Approach to Safe and Scalable Automated Vehicles ( http://arxiv.org/abs/2009.03301v1 )

ライセンス: Link先を確認
Jack Weast(参考訳) 自動車両(AV)におけるセンサの精度を考慮すると、任意のセンサの性能を独立して評価するには不十分である。 むしろ、システム設計全体の文脈において、個々のセンサの性能を考慮する必要がある。 冗長性や異なる感度モードといった技術は、検知失敗の可能性を減少させる。 さらに、特定のセンシング障害が関連しているかどうかを理解するためには、安全モデルの使用が不可欠である。 システム設計全体を考慮に入れた場合のみ、AVにおける安全関連検知障害の意味を適切に理解することができる。 本稿では,実際にセンシング障害を構成するべきもの,潜在的な障害を軽減する上で安全モデルがどのように重要な役割を果たすか,システムレベルの安全性アプローチが安全でスケーラブルなavをどのように提供するか,許容可能なセンシング障害率がavのアーキテクチャ全体像を考慮するべきか,などについて検討する。

When considering the accuracy of sensors in an automated vehicle (AV), it is not sufficient to evaluate the performance of any given sensor in isolation. Rather, the performance of any individual sensor must be considered in the context of the overall system design. Techniques like redundancy and different sensing modalities can reduce the chances of a sensing failure. Additionally, the use of safety models is essential to understanding whether any particular sensing failure is relevant. Only when the entire system design is taken into account can one properly understand the meaning of safety-relevant sensing failures in an AV. In this paper, we will consider what should actually constitute a sensing failure, how safety models play an important role in mitigating potential failures, how a system-level approach to safety will deliver a safe and scalable AV, and what an acceptable sensing failure rate should be considering the full picture of an AV's architecture.
翻訳日:2022-10-22 01:32:36 公開日:2020-09-04
# S3NAS:高速NPU対応ニューラルネットワーク探索手法

S3NAS: Fast NPU-aware Neural Architecture Search Methodology ( http://arxiv.org/abs/2009.02009v1 )

ライセンス: Link先を確認
Jaeseong Lee, Duseok Kang and Soonhoi Ha(参考訳) 組み込みデバイスでは畳み込みニューラルネットワーク(CNN)の適用領域が拡大しているため、NPU(Neural Processing Unit)と呼ばれるハードウェアCNNアクセラレータを使用することで、CPUやGPUよりも1ワットあたりのパフォーマンスが向上する。 近年、画像分類のための手動設計アーキテクチャよりも高精度な最先端CNNアーキテクチャを見つけるために、NAS(Automatic Neural Architecture Search)がデフォルト技術として登場した。 本稿では,S3NASと呼ばれる高速なNPU対応NAS手法を提案する。 スーパーネット設計、高速アーキテクチャ探索のためのシングルパスNAS、スケーリングの3つのステップで構成されている。 ステージからなるスーパーネット構造の探索空間を広げるために、ステージごとに異なる数のブロックとブロックを持ち、異なるカーネルサイズの並列層を持つことができる。 高速ニューラルネットワーク探索のために,提案するスーパーネット構造に修正された単一パスnas手法を適用する。 このステップでは、検索空間と検索時間を削減するために必要なよりも短いレイテンシ制約を仮定する。 最後のステップは、レイテンシ制約内でネットワークを最大限にスケールアップすることです。 正確な遅延推定のために、メモリアクセスオーバーヘッドを正確に考慮したCNN全体を動作させるサイクルレベルのNPUシミュレータに基づいて、解析遅延推定器を考案した。 提案手法により,11.66ミリ秒のレイテンシでImageNet上の82.72%のトップ1の精度を示すTPUv3を用いて,ネットワークを3時間以内に見つけることができる。 コードはhttps://github.com/cap-lab/S3NASでリリースされる

As the application area of convolutional neural networks (CNN) is growing in embedded devices, it becomes popular to use a hardware CNN accelerator, called neural processing unit (NPU), to achieve higher performance per watt than CPUs or GPUs. Recently, automated neural architecture search (NAS) emerges as the default technique to find a state-of-the-art CNN architecture with higher accuracy than manually-designed architectures for image classification. In this paper, we present a fast NPU-aware NAS methodology, called S3NAS, to find a CNN architecture with higher accuracy than the existing ones under a given latency constraint. It consists of three steps: supernet design, Single-Path NAS for fast architecture exploration, and scaling. To widen the search space of the supernet structure that consists of stages, we allow stages to have a different number of blocks and blocks to have parallel layers of different kernel sizes. For a fast neural architecture search, we apply a modified Single-Path NAS technique to the proposed supernet structure. In this step, we assume a shorter latency constraint than the required to reduce the search space and the search time. The last step is to scale up the network maximally within the latency constraint. For accurate latency estimation, an analytical latency estimator is devised, based on a cycle-level NPU simulator that runs an entire CNN considering the memory access overhead accurately. With the proposed methodology, we are able to find a network in 3 hours using TPUv3, which shows 82.72% top-1 accuracy on ImageNet with 11.66 ms latency. Code are released at https://github.com/cap-lab/S3NAS
翻訳日:2022-10-22 01:31:57 公開日:2020-09-04