このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス(CC 0, CC BY, CC BY-SA)の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。(arxivのメタデータは CC 0です。) 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。

本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。

公開日が20210108となっている論文です。

PDF登録状況(公開日: 20210108)

TitleAuthorsAbstract論文公表日・翻訳日
# アノテーションはいくつ必要か? --observer間変動が自動僧帽弁別図評価の信頼性に及ぼす影響に関する研究

How Many Annotators Do We Need? -- A Study on the Influence of Inter-Observer Variability on the Reliability of Automatic Mitotic Figure Assessment ( http://arxiv.org/abs/2012.02495v2 )

ライセンス: Link先を確認
Frauke Wilm, Christof A. Bertram, Christian Marzahl, Alexander Bartel, Taryn A. Donovan, Charles-Antoine Assenmacher, Kathrin Becker, Mark Bennett, Sarah Corner, Brieuc Cossic, Daniela Denk, Martina Dettwiler, Beatriz Garcia Gonzalez, Corinne Gurtner, Annika Lehmbecker, Sophie Merz, Stephanie Plog, Anja Schmidt, Rebecca C. Smedley, Marco Tecilla, Tuddow Thaiwong, Katharina Breininger, Matti Kiupel, Andreas Maier, Robert Klopfleisch, Marc Aubreville(参考訳) 組織学的断面における分裂像の密度は、多くの腫瘍において確率的に関連した特徴である。 病理組織間多様性が高いため、深層学習に基づくアルゴリズムは腫瘍の予後を改善する有望な解決策である。 病理学者はデータベース開発における金の標準であるが、ラベルの誤りは正確なアルゴリズムの開発を阻害する可能性がある。 本研究では,アルゴリズム性能に対するマルチエキスパートコンセンサス(n = 3, 5, 7, 9, 11)の利点を評価した。 個々のデータベースでのトレーニングでは、高い可変F$_1$スコアが得られたが、3つのアノテータのコンセンサスを使用すると、パフォーマンスが顕著に向上し、一貫性が増した。 アノテータの追加は、わずかな改善しか生み出さなかった。 病理学者の少ないデータベースとラベル精度の高いデータベースは,高いアルゴリズム性能と時間的投資の妥協点として最善のものであると結論づけた。

Density of mitotic figures in histologic sections is a prognostically relevant characteristic for many tumours. Due to high inter-pathologist variability, deep learning-based algorithms are a promising solution to improve tumour prognostication. Pathologists are the gold standard for database development, however, labelling errors may hamper development of accurate algorithms. In the present work we evaluated the benefit of multi-expert consensus (n = 3, 5, 7, 9, 11) on algorithmic performance. While training with individual databases resulted in highly variable F$_1$ scores, performance was notably increased and more consistent when using the consensus of three annotators. Adding more annotators only resulted in minor improvements. We conclude that databases by few pathologists and high label accuracy may be the best compromise between high algorithmic performance and time investment.
翻訳日:2021-05-22 20:42:33 公開日:2021-01-08
# eコマース広告のためのディープgspオークションによるマルチパフォーマンス指標の最適化

Optimizing Multiple Performance Metrics with Deep GSP Auctions for E-commerce Advertising ( http://arxiv.org/abs/2012.02930v2 )

ライセンス: Link先を確認
Zhilin Zhang, Xiangyu Liu, Zhenzhe Zheng, Chenrui Zhang, Miao Xu, Junwei Pan, Chuan Yu, Fan Wu, Jian Xu and Kun Gai(参考訳) eコマース広告では、広告プラットフォームは通常、ユーザエクスペリエンス、広告主ユーティリティ、プラットフォーム収益など、さまざまなパフォーマンス指標を最適化するためのオークションメカニズムに依存している。 しかし、最先端のオークション機構のほとんどは、社会福祉または収益などの単一のパフォーマンス指標の最適化にのみ焦点をあてており、様々な、動的で見積もりが難しい、さらには競合するパフォーマンス指標を持つEコマース広告には適していない。 本稿では,深層学習を活用して,gspオークションフレームワーク内で新たなランクスコア関数を設計する,深層gspオークションと呼ばれる新しいメカニズムを提案する。 これらの新しいランクスコア関数は、モノトーン割り当てと滑らかな遷移の制約の下でディープニューラルネットワークモデルを介して実装される。 モノトーン割り当ての要件は、gspオークションの優れた理論特性を保証する一方で、スムーズな移行の要件は、競売機構が候補機構間で切り替えて異なる最適化目標を達成する場合、広告主ユーティリティが余り変動しないことを保証する。 提案手法を電子商取引広告プラットフォームに導入し,オフラインシミュレーションとオンラインa/bテストの両方を用いて総合実験を行った。 その結果,Deep GSPオークションの有効性が,最先端のオークションメカニズムと比較された。

In e-commerce advertising, the ad platform usually relies on auction mechanisms to optimize different performance metrics, such as user experience, advertiser utility, and platform revenue. However, most of the state-of-the-art auction mechanisms only focus on optimizing a single performance metric, e.g., either social welfare or revenue, and are not suitable for e-commerce advertising with various, dynamic, difficult to estimate, and even conflicting performance metrics. In this paper, we propose a new mechanism called Deep GSP auction, which leverages deep learning to design new rank score functions within the celebrated GSP auction framework. These new rank score functions are implemented via deep neural network models under the constraints of monotone allocation and smooth transition. The requirement of monotone allocation ensures Deep GSP auction nice game theoretical properties, while the requirement of smooth transition guarantees the advertiser utilities would not fluctuate too much when the auction mechanism switches among candidate mechanisms to achieve different optimization objectives. We deployed the proposed mechanisms in a leading e-commerce ad platform and conducted comprehensive experimental evaluations with both offline simulations and online A/B tests. The results demonstrated the effectiveness of the Deep GSP auction compared to the state-of-the-art auction mechanisms.
翻訳日:2021-05-22 11:58:17 公開日:2021-01-08
# (参考訳) 球面正規化流を用いた変分行列推定 [全文訳有]

Variational Determinant Estimation with Spherical Normalizing Flows ( http://arxiv.org/abs/2012.13311v3 )

ライセンス: CC BY 4.0
Simon Passenheim and Emiel Hoogeboom(参考訳) 本稿では、arXiv:2005.06553v2で発見された最近提案された行列式推定器の変分拡張である変分行列式推定器(VDE)を紹介する。 この推定器は、(類似度重み付けされた)変動推論と超球面の密度推定を可能にする正規化流れの族を組み合わせることで、サンプルサイズが小さい場合でも著しく分散を減少させる。 厳密な変動境界の理想的な場合、VDEはゼロ分散推定器となり、単一のサンプルは正確な(log)行列式推定に十分である。

This paper introduces the Variational Determinant Estimator (VDE), a variational extension of the recently proposed determinant estimator discovered by arXiv:2005.06553v2. Our estimator significantly reduces the variance even for low sample sizes by combining (importance-weighted ) variational inference and a family of normalizing flows which allow density estimation on hyperspheres. In the ideal case of a tight variational bound, the VDE becomes a zero variance estimator, and a single sample is sufficient for an exact (log) determinant estimate.
翻訳日:2021-04-25 13:29:27 公開日:2021-01-08
# 画像品質評価用変圧器

Transformer for Image Quality Assessment ( http://arxiv.org/abs/2101.01097v2 )

ライセンス: Link先を確認
Junyong You, Jari Korhonen(参考訳) トランスフォーマーは自然言語処理(NLP)における新しい標準手法となり、コンピュータビジョン領域の研究にも関心が寄せられている。 本稿では,画像品質評価における Transformer の適用について検討する。 視覚トランスフォーマー (vit) で使用されるオリジナルのトランスコーダに続いて, 畳み込みニューラルネットワーク (cnn) によって抽出された特徴地図の上に, 浅いトランスコーダを用いるアーキテクチャを提案する。 任意の解像度で画像を処理するために、Transformerエンコーダに適応的な位置埋め込みが使用される。 Transformerアーキテクチャのさまざまな設定が、公開されている画像品質データベース上で調査されている。 提案したTRIQアーキテクチャは優れた性能を実現する。 triqの実装はgithubで公開されている(https://github.com/ junyongyou/triq)。

Transformer has become the new standard method in natural language processing (NLP), and it also attracts research interests in computer vision area. In this paper we investigate the application of Transformer in Image Quality (TRIQ) assessment. Following the original Transformer encoder employed in Vision Transformer (ViT), we propose an architecture of using a shallow Transformer encoder on the top of a feature map extracted by convolution neural networks (CNN). Adaptive positional embedding is employed in the Transformer encoder to handle images with arbitrary resolutions. Different settings of Transformer architectures have been investigated on publicly available image quality databases. We have found that the proposed TRIQ architecture achieves outstanding performance. The implementation of TRIQ is published on Github (https://github.com/ junyongyou/triq).
翻訳日:2021-04-18 06:02:08 公開日:2021-01-08
# (参考訳) インターネット・オブ・エコノミーは新型コロナウイルス、新型ウイルス、今後のパンデミックの解決策を可能にした:フレームワーク、チャレンジ、研究の方向性 [全文訳有]

Internet of Everything enabled solution for COVID-19, its new variants and future pandemics: Framework, Challenges, and Research Directions ( http://arxiv.org/abs/2101.02030v3 )

ライセンス: CC BY-SA 4.0
Sunder Ali Khowaja, Parus Khuwaja, Kapal Dev(参考訳) 新型コロナウイルス(COVID-19)は、予期せぬ方法で世界に影響を与えた後、新たなバリエーションの復活とともに変異が始まっている。 政府、病院、学校、産業、そして人間は、ワクチンの潜在的な解決策を探しているが、ウイルスを根絶するためのタイムラインはまだ不明だ。 いくつかの研究者は、身体的健康モニタリング、免疫ブースティング、個人的衛生、メンタルヘルス、およびウイルスの拡散を遅らせるための接触追跡のような良いプラクティスの使用を奨励し、推奨している。 本稿では,ウェアラブル/モバイルセンサをあらゆるインターネットと統合して,優れたプラクティスのスペクトルを自動的にカバーする手法を提案する。 我々は,それぞれの優れた実践モジュールに対する仮説的フレームワークを提案し,CORFIE(Internet of Everything)を用いたCOvid-19抵抗フレームワークを提案し,各モジュールを統一アーキテクチャで結合する。 我々は、CORFIEが、現在のパンデミックと将来のパンデミックの新たな正常な人々を支援するとともに、経済損失の抑制に役立てられると想定している。 また,提案したCORFIEに従って,潜在的な課題とその可能性のある解決策を提供する。

After affecting the world in unexpected ways, COVID-19 has started mutating which is evident with the insurgence of its new variants. The governments, hospitals, schools, industries, and humans, in general, are looking for a potential solution in the vaccine which will eventually be available but its timeline for eradicating the virus is yet unknown. Several researchers have encouraged and recommended the use of good practices such as physical healthcare monitoring, immunity-boosting, personal hygiene, mental healthcare, and contact tracing for slowing down the spread of the virus. In this article, we propose the use of wearable/mobile sensors integrated with the Internet of Everything to cover the spectrum of good practices in an automated manner. We present hypothetical frameworks for each of the good practice modules and propose the COvid-19 Resistance Framework using the Internet of Everything (CORFIE) to tie all the individual modules in a unified architecture. We envision that CORFIE would be influential in assisting people with the new normal for current and future pandemics as well as instrumental in halting the economic losses, respectively. We also provide potential challenges and their probable solutions in compliance with the proposed CORFIE.
翻訳日:2021-04-13 13:22:03 公開日:2021-01-08
# 順序-回転連続関係抽出のためのカリキュラム-メタ学習

Curriculum-Meta Learning for Order-Robust Continual Relation Extraction ( http://arxiv.org/abs/2101.01926v3 )

ライセンス: Link先を確認
Tongtong Wu, Xuekai Li, Yuan-Fang Li, Reza Haffari, Guilin Qi, Yujin Zhu and Guoqiang Xu(参考訳) 連続的関係抽出は、非構造化テキストから段階的に新しい事実を抽出することに焦点を当てた重要なタスクである。 関係の連続した到着順序を考えると、このタスクは2つの深刻な課題、すなわち破滅的な忘れ方と秩序感応性につながる。 連続関係抽出における上記の2つの課題に対処する新しいカリキュラムメタ学習手法を提案する。 メタ学習とカリキュラム学習を組み合わせることで、モデルパラメータを新しいタスクに素早く適応させ、以前のタスクが現在のタスクに干渉することを減らす。 本研究では,関係の領域と範囲の分布を通して,新しい関係表現学習法を設計する。 このような表現は、カリキュラム構築におけるタスクの難しさを定量化するために用いられる。 さらに,与えられたモデルの注文感性度を定量的に測定するための新しい難易度指標を提案し,モデルのロバスト性を評価する新しい方法を提案する。 3つのベンチマークデータセットに関する包括的実験により,提案手法が最先端技術を上回ることを示した。 コードは匿名のgithubリポジトリで入手できる。 https://github.com/w utong8023/aaai_cml。

Continual relation extraction is an important task that focuses on extracting new facts incrementally from unstructured text. Given the sequential arrival order of the relations, this task is prone to two serious challenges, namely catastrophic forgetting and order-sensitivity. We propose a novel curriculum-meta learning method to tackle the above two challenges in continual relation extraction. We combine meta learning and curriculum learning to quickly adapt model parameters to a new task and to reduce interference of previously seen tasks on the current task. We design a novel relation representation learning method through the distribution of domain and range types of relations. Such representations are utilized to quantify the difficulty of tasks for the construction of curricula. Moreover, we also present novel difficulty-based metrics to quantitatively measure the extent of order-sensitivity of a given model, suggesting new ways to evaluate model robustness. Our comprehensive experiments on three benchmark datasets show that our proposed method outperforms the state-of-the-art techniques. The code is available at the anonymous GitHub repository: https://github.com/w utong8023/AAAI_CML.
翻訳日:2021-04-11 00:17:26 公開日:2021-01-08
# DeepPoison: フィーチャートランスファーベースのステルス中毒攻撃

DeepPoison: Feature Transfer Based Stealthy Poisoning Attack ( http://arxiv.org/abs/2101.02562v2 )

ライセンス: Link先を確認
Jinyin Chen, Longyuan Zhang, Haibin Zheng, Xueke Wang and Zhaoyan Ming(参考訳) ディープニューラルネットワークは、特定のトリガーで故意に汚染されたトレーニングデータによる毒殺の影響を受けやすい。 既存のエピソードは主にパッチベースのサンプルによる攻撃成功率に焦点を当てているため、防衛アルゴリズムはこれらの中毒サンプルを容易に検出することができる。 本研究では,1つの生成器と2つの識別器からなる新たな逆ネットワークであるdeeppoisonを提案する。 具体的には、ジェネレータがターゲットクラスの隠れた特徴を自動的に抽出し、良質なトレーニングサンプルに埋め込む。 1つの判別器は、中毒摂動の比率を制御する。 他の識別器は標的モデルとして働き、毒殺効果を証言する。 DeepPoisonの新規性は、生成した有毒なトレーニングサンプルが防御方法と手動の視覚検査の両方によって良質なものと区別できず、良質なテストサンプルでさえ攻撃を達成できる点にある。 大規模な実験により、DeepPoisonは91.74%の最先端の攻撃成功率を達成でき、公開データセットLFWとCASIAの7%しか有毒ではないことが示されている。 さらに、オートデコーダディフェンスやDBSCANクラスタ検出などの高性能な防御アルゴリズムの実験を行い、DeepPoisonのレジリエンスを示した。

Deep neural networks are susceptible to poisoning attacks by purposely polluted training data with specific triggers. As existing episodes mainly focused on attack success rate with patch-based samples, defense algorithms can easily detect these poisoning samples. We propose DeepPoison, a novel adversarial network of one generator and two discriminators, to address this problem. Specifically, the generator automatically extracts the target class' hidden features and embeds them into benign training samples. One discriminator controls the ratio of the poisoning perturbation. The other discriminator works as the target model to testify the poisoning effects. The novelty of DeepPoison lies in that the generated poisoned training samples are indistinguishable from the benign ones by both defensive methods and manual visual inspection, and even benign test samples can achieve the attack. Extensive experiments have shown that DeepPoison can achieve a state-of-the-art attack success rate, as high as 91.74%, with only 7% poisoned samples on publicly available datasets LFW and CASIA. Furthermore, we have experimented with high-performance defense algorithms such as autodecoder defense and DBSCAN cluster detection and showed the resilience of DeepPoison.
翻訳日:2021-04-11 00:12:13 公開日:2021-01-08
# (参考訳) eth2vec:ethereumスマートコントラクトの脆弱性検出のためのコントラクトワイドコード表現の学習 [全文訳有]

Eth2Vec: Learning Contract-Wide Code Representations for Vulnerability Detection on Ethereum Smart Contracts ( http://arxiv.org/abs/2101.02377v2 )

ライセンス: CC BY 4.0
Nami Ashizawa, Naoto Yanai, Jason Paul Cruz, Shingo Okamura(参考訳) ethereum smart contractsはethereumブロックチェーン上で動作するプログラムであり、過去10年間に多くのスマートコントラクト脆弱性が発見された。 このような脆弱性を検出するために多くのセキュリティ解析ツールが作成されているが、解析対象のコードが書き換えられると、そのパフォーマンスが大幅に低下する。 本稿では,脆弱性検出のための機械学習ベースの静的解析ツールであるEth2Vecを提案する。 脆弱性検出のための既存の機械学習ベースの静的解析ツールは、アナリストが入力として手動で作成する機能を必要とする。 対照的にEth2Vecは、言語処理のためのニューラルネットワークを通じて、暗黙の知識を持つ脆弱なEthereum仮想マシン(EVM)バイトコードの機能を自動的に学習する。 したがって、Eth2Vecは、ターゲットのEVMバイトコードと学習済みのEVMバイトコードのコード類似性を比較することで、スマートコントラクトの脆弱性を検出することができる。 我々はetherscanのような既存のオープンデータベースを用いて実験を行い、その結果、eth2vecは既知のメトリクス、すなわち精度、リコール、f1-scoreの点で、既存の作業よりも優れています。 さらに、Eth2Vecは書き換えコードでも脆弱性を検出することができる。

Ethereum smart contracts are programs that run on the Ethereum blockchain, and many smart contract vulnerabilities have been discovered in the past decade. Many security analysis tools have been created to detect such vulnerabilities, but their performance decreases drastically when codes to be analyzed are being rewritten. In this paper, we propose Eth2Vec, a machine-learning-bas ed static analysis tool for vulnerability detection, with robustness against code rewrites in smart contracts. Existing machine-learning-bas ed static analysis tools for vulnerability detection need features, which analysts create manually, as inputs. In contrast, Eth2Vec automatically learns features of vulnerable Ethereum Virtual Machine (EVM) bytecodes with tacit knowledge through a neural network for language processing. Therefore, Eth2Vec can detect vulnerabilities in smart contracts by comparing the code similarity between target EVM bytecodes and the EVM bytecodes it already learned. We conducted experiments with existing open databases, such as Etherscan, and our results show that Eth2Vec outperforms the existing work in terms of well-known metrics, i.e., precision, recall, and F1-score. Moreover, Eth2Vec can detect vulnerabilities even in rewritten codes.
翻訳日:2021-04-10 20:53:15 公開日:2021-01-08
# ディープラーニングに基づくレコメンダシステムに対するデータ中毒攻撃

Data Poisoning Attacks to Deep Learning Based Recommender Systems ( http://arxiv.org/abs/2101.02644v2 )

ライセンス: Link先を確認
Hai Huang, Jiaming Mu, Neil Zhenqiang Gong, Qi Li, Bin Liu, Mingwei Xu(参考訳) Recommenderシステムは、ユーザーが興味のある情報をAmazon、YouTube、Google Newsなどの様々なウェブサービスで見つけるのを助けるために重要な役割を果たす。 地域ベース,アソシエーションルールベース,マトリックスファクトリゼーションベースからディープラーニングベースまで,さまざまなレコメンデーションシステムが開発され,産業に展開されている。 中でもディープラーニングベースのレコメンデータシステムは,優れたパフォーマンスのために人気が高まっている。 本研究では,深層学習に基づくレコメンダシステムに対するデータ中毒攻撃に関する最初の体系的研究を行う。 攻撃者の目標は、攻撃対象のアイテムが多くのユーザに推奨されるようなレコメンデーションシステムを操作することである。 この目標を達成するために、この攻撃は、注意深い評価を施した偽ユーザーをレコメンダシステムへ注入する。 具体的には,対象アイテムが推奨される正規ユーザ数を最大化するような最適化問題として攻撃を定式化する。 しかし,非凸整数計画問題であるため,最適化問題を解くことは困難である。 この課題に対処するために,最適化問題を概ね解決するための複数の手法を考案する。 実世界の3つのデータセット(小さなデータセットと大きなデータセットを含む)の実験結果は、我々の攻撃が効果的であり、既存の攻撃よりも優れています。 さらに,正規ユーザと偽ユーザのレーティングパターンを統計的に解析し,偽ユーザの検出を試みる。 その結果,検出装置が配備された場合でも,攻撃は有効であり,既存の攻撃よりも優れることがわかった。

Recommender systems play a crucial role in helping users to find their interested information in various web services such as Amazon, YouTube, and Google News. Various recommender systems, ranging from neighborhood-based, association-rule-bas ed, matrix-factorization -based, to deep learning based, have been developed and deployed in industry. Among them, deep learning based recommender systems become increasingly popular due to their superior performance. In this work, we conduct the first systematic study on data poisoning attacks to deep learning based recommender systems. An attacker's goal is to manipulate a recommender system such that the attacker-chosen target items are recommended to many users. To achieve this goal, our attack injects fake users with carefully crafted ratings to a recommender system. Specifically, we formulate our attack as an optimization problem, such that the injected ratings would maximize the number of normal users to whom the target items are recommended. However, it is challenging to solve the optimization problem because it is a non-convex integer programming problem. To address the challenge, we develop multiple techniques to approximately solve the optimization problem. Our experimental results on three real-world datasets, including small and large datasets, show that our attack is effective and outperforms existing attacks. Moreover, we attempt to detect fake users via statistical analysis of the rating patterns of normal and fake users. Our results show that our attack is still effective and outperforms existing attacks even if such a detector is deployed.
翻訳日:2021-04-10 13:31:25 公開日:2021-01-08
# コンテキスト認識データ拡張とカスケードマスクR-CNNを用いたアセンブリ命令理解のためのオブジェクト検出

Object Detection for Understanding Assembly Instruction Using Context-aware Data Augmentation and Cascade Mask R-CNN ( http://arxiv.org/abs/2101.02509v2 )

ライセンス: Link先を確認
Joosoon Lee, Seongju Lee, Seunghyeok Back, Sungho Shin, Kyoobin Lee(参考訳) 組立指導を理解することは、ロボットのタスク計画能力を高め、高度なロボット応用を可能にする可能性がある。 2Dアセンブリ・インストラクション・イメージから鍵成分を認識するため、主に命令に関する情報を多く含む音声バブル領域のセグメンテーションに焦点を当てる。 そこで我々はCascade Mask R-CNNを応用し,組立命令のコンテキストを考慮した画像の切り取りをランダムに組み合わせた,音声バブルセグメンテーションのためのコンテキスト対応データ拡張スキームを開発した。 提案手法は, 学習可能データの多様性を高めつつ, 部品配置の分布を考慮しつつ, 既存の拡張アルゴリズムよりもセグメンテーション性能がよいことを示した。 また,深層学習は,ツールや部品など,アセンブリ命令の必須オブジェクトを検出することで,アセンブリ命令を理解するのに有用であることを示した。

Understanding assembly instruction has the potential to enhance the robot s task planning ability and enables advanced robotic applications. To recognize the key components from the 2D assembly instruction image, We mainly focus on segmenting the speech bubble area, which contains lots of information about instructions. For this, We applied Cascade Mask R-CNN and developed a context-aware data augmentation scheme for speech bubble segmentation, which randomly combines images cuts by considering the context of assembly instructions. We showed that the proposed augmentation scheme achieves a better segmentation performance compared to the existing augmentation algorithm by increasing the diversity of trainable data while considering the distribution of components locations. Also, we showed that deep learning can be useful to understand assembly instruction by detecting the essential objects in the assembly instruction, such as tools and parts.
翻訳日:2021-04-10 13:30:17 公開日:2021-01-08
# 実用用トンネルボーリング機の知的操作者に対する意思決定支援システム

Decision Support System for an Intelligent Operator of Utility Tunnel Boring Machines ( http://arxiv.org/abs/2101.02463v2 )

ライセンス: Link先を確認
Gabriel Rodriguez Garcia, Gabriel Michau, Herbert H. Einstein and Olga Fink(参考訳) トンネル建設プロジェクトでは、遅延は高いコストを引き起こす。 このように、トンネル掘削機(TBM)オペレーターは、安全上の妥協なしに高速な前進率を目指しており、不確実な地上環境では困難な任務である。 TBMセンサーの測定に基づく最適制御パラメータの発見は、大きな実践的関連性を持つオープンな研究課題である。 本稿では,3段階の知的意思決定支援システムを提案する。 第1にプロジェクトのパフォーマンスを最適性スコアで評価し、先行率と作業圧安全性を考慮に入れた。 そして、深層学習モデルは、TBM測定値と最適度スコアとのマッピングを学習する。 最後に、このモデルは、TBMの現在の設定と測定を考慮して、最適性を改善するための漸進的なレコメンデーションを提供する。 提案手法は, 実際のマイクロツンネリングプロジェクトで評価され, 将来のプロジェクトへの大きな期待を示す。

In tunnel construction projects, delays induce high costs. Thus, tunnel boring machines (TBM) operators aim for fast advance rates, without safety compromise, a difficult mission in uncertain ground environments. Finding the optimal control parameters based on the TBM sensors' measurements remains an open research question with large practical relevance. In this paper, we propose an intelligent decision support system developed in three steps. First past projects performances are evaluated with an optimality score, taking into account the advance rate and the working pressure safety. Then, a deep learning model learns the mapping between the TBM measurements and this optimality score. Last, in real application, the model provides incremental recommendations to improve the optimality, taking into account the current setting and measurements of the TBM. The proposed approach is evaluated on real micro-tunnelling project and demonstrates great promises for future projects.
翻訳日:2021-04-10 13:24:47 公開日:2021-01-08
# (参考訳) 単一画像超解像 [全文訳有]

Single Image Super-Resolution ( http://arxiv.org/abs/2101.02802v1 )

ライセンス: CC BY 4.0
Baran Ataman, Mert Seker and David Mckee(参考訳) 本研究は, 単一画像超解像問題の時系列的概要を示す。 最初に問題を徹底的に定義し、深刻な課題をいくつか挙げる。 そして、問題定式化とパフォーマンス指標を定義します。 提案手法の概要は, 再構築に基づくソリューションに依存し, 深層学習のアプローチを継続する。 3つのランドマークアーキテクチャを選択し,その結果を定量的に提示する。 提案した最新のネットワークは,従来の手法と比較して良好な出力が得られる。

This study presents a chronological overview of the single image super-resolution problem. We first define the problem thoroughly and mention some of the serious challenges. Then the problem formulation and the performance metrics are defined. We give an overview of the previous methods relying on reconstruction based solutions and then continue with the deep learning approaches. We pick 3 landmark architectures and present their results quantitatively. We see that the latest proposed network gives favorable output compared to the previous methods.
翻訳日:2021-04-10 12:28:43 公開日:2021-01-08
# (参考訳) カードゲームにおける進化プログラム合成の解析 [全文訳有]

Analysis of Evolutionary Program Synthesis for Card Games ( http://arxiv.org/abs/2101.03172v1 )

ライセンス: CC BY 4.0
Rohan Saha, Cassidy Pirlot(参考訳) 本報告では,意思決定の概念を中心に展開するカードゲームであるrack'oゲームに対する進化的アプローチの適用について検討する。 まず、数世代にわたって一連のルールを取得するための進化的手法を適用し、それを人間のプレイヤーが書いたスクリプトと比較する。 ルールの集合が合成されるdeter-minesをハイレベルなドメイン固有言語が使用される。 我々は,ルールセットとその意味を包括的に分析して結果を報告する。

In this report, we inspect the application of an evolutionary approach to the game of Rack'O, which is a card game revolving around the notion of decision making. We first apply the evolutionary technique for obtaining a set of rules over many generations and then compare them with a script written by a human player. A high-level domain-specific language is used that deter-mines which the sets of rules are synthesized. We report the results by providing a comprehensive analysis of the set of rules and their implications.
翻訳日:2021-04-10 12:22:14 公開日:2021-01-08
# (参考訳) リアルロボットチャレンジのためのデクサラスマニピュレーションのためのグラフと運動計画 [全文訳有]

Grasp and Motion Planning for Dexterous Manipulation for the Real Robot Challenge ( http://arxiv.org/abs/2101.02842v1 )

ライセンス: CC BY 4.0
Takuma Yoneda, Charles Schaff, Takahiro Maeda, Matthew Walter(参考訳) 本報告では、real robot challenge(https://re al-robot-challenge.c om/)の優勝作品について述べる。 リアル・ロボット・チャレンジ(Real Robot Challenge)は、TriFinger Platformで様々な長方形の物体を操作する3段階の巧妙な操作競技である。 我々のアプローチは、物体を操作するための動き計画といくつかの動きプリミティブを組み合わせる。 フェーズ1とフェーズ2では、コントローラの上に補正アクションを適用するシミュレーションで残留ポリシーも学習します。 私たちのアプローチは、コンテストの第2フェーズと第3フェーズで優勝しました。 競争リーダーボード(https://real-robot- challenge.com/leader -board)では、匿名で'ardentstork'として知られていた。 ビデオとわれわれのコードはhttps://github.com/r ipl-ttic/real-robot- challengeで見ることができる。

This report describes our winning submission to the Real Robot Challenge (https://real-robot- challenge.com/). The Real Robot Challenge is a three-phase dexterous manipulation competition that involves manipulating various rectangular objects with the TriFinger Platform. Our approach combines motion planning with several motion primitives to manipulate the object. For Phases 1 and 2, we additionally learn a residual policy in simulation that applies corrective actions on top of our controller. Our approach won first place in Phase 2 and Phase 3 of the competition. We were anonymously known as `ardentstork' on the competition leaderboard (https://real-robot- challenge.com/leader -board). Videos and our code can be found at https://github.com/r ipl-ttic/real-robot- challenge.
翻訳日:2021-04-10 12:01:02 公開日:2021-01-08
# (参考訳) ピクセルワイズ予測のための条件付きカーネルを用いた確率的グラフアテンションネットワーク [全文訳有]

Probabilistic Graph Attention Network with Conditional Kernels for Pixel-Wise Prediction ( http://arxiv.org/abs/2101.02843v1 )

ライセンス: CC BY 4.0
Dan Xu, Xavier Alameda-Pineda, Wanli Ouyang, Elisa Ricci, Xiaogang Wang, Nicu Sebe(参考訳) 畳み込みニューラルネットワークによって深く学習されたマルチスケール表現は、様々なピクセルレベルの予測問題において極めて重要である。 本稿では,画素レベルの予測を基本的側面,すなわち,技術の現状を推し進める新しいアプローチを提案する。 構造化されたマルチスケール特徴の学習と融合。 主cnnアーキテクチャの内部層から得られた多元的特徴マップを直接考慮し、重み付き平均化や連結化で特徴を単純に融合する従来の研究とは対照的に、多元的表現を原則的に学習・活用するための新しい注意調整条件付確率場(ag-crfs)モデルに基づく確率的グラフ注意ネットワーク構造を提案する。 本稿では,ネットワーク構造の学習能力をさらに向上させるために,深い確率的枠組み内での条件付きカーネルの活用を提案する。 利用可能な4つのデータセット(すなわち、公開データセット)で広範な実験が行われている。 BSDS500、NYUD-V2、KITTI、Pascal-Context)、および離散ラベルと連続ラベルの両方を含む3つのピクセルワイド予測問題。 単眼深度推定、物体輪郭予測、意味的セグメンテーション)。 定量的および定性的な結果から,提案した潜伏型AG-CRFモデルと,特徴条件付きカーネルを用いた全体の確率的グラフアテンションネットワークの有効性を示す。

Multi-scale representations deeply learned via convolutional neural networks have shown tremendous importance for various pixel-level prediction problems. In this paper we present a novel approach that advances the state of the art on pixel-level prediction in a fundamental aspect, i.e. structured multi-scale features learning and fusion. In contrast to previous works directly considering multi-scale feature maps obtained from the inner layers of a primary CNN architecture, and simply fusing the features with weighted averaging or concatenation, we propose a probabilistic graph attention network structure based on a novel Attention-Gated Conditional Random Fields (AG-CRFs) model for learning and fusing multi-scale representations in a principled manner. In order to further improve the learning capacity of the network structure, we propose to exploit feature dependant conditional kernels within the deep probabilistic framework. Extensive experiments are conducted on four publicly available datasets (i.e. BSDS500, NYUD-V2, KITTI, and Pascal-Context) and on three challenging pixel-wise prediction problems involving both discrete and continuous labels (i.e. monocular depth estimation, object contour prediction, and semantic segmentation). Quantitative and qualitative results demonstrate the effectiveness of the proposed latent AG-CRF model and the overall probabilistic graph attention network with feature conditional kernels for structured feature learning and pixel-wise prediction.
翻訳日:2021-04-10 11:54:59 公開日:2021-01-08
# (参考訳) 動的グラフ協調フィルタリング [全文訳有]

Dynamic Graph Collaborative Filtering ( http://arxiv.org/abs/2101.02844v1 )

ライセンス: CC BY 4.0
Xiaohan Li, Mengqi Zhang, Shu Wu, Zheng Liu, Liang Wang, Philip S. Yu(参考訳) 逐次データに基づくリアルタイム予測を提供するために,最新のレコメンデータシステムでは動的レコメンデーションが不可欠である。 現実のシナリオでは、アイテムの人気とユーザの興味は時間とともに変化する。 この仮定に基づいて、以前の多くの作業はインタラクションシーケンスに焦点を当て、ユーザとアイテムの進化的な埋め込みを学ぶ。 しかし、シーケンスベースモデルでは、ユーザとアイテム間の協調的な情報を直接キャプチャできないと論じている。 本稿では,動的グラフを活用した新しいフレームワークである動的グラフ協調フィルタリング(dgcf)を提案する。 我々は,新しいインタラクションが発生した場合のユーザやアイテムへの影響を表現するために,ゼロオーダーの'継承',一階の'伝播',二階の'集約'という3つの更新メカニズムを提案する。 これらに基づいて,インタラクションが発生すると,関連するユーザとアイテムの埋め込みを同時に更新し,最新の埋め込みを使用してレコメンデーションを行う。 3つの公開データセットで実施された大規模な実験は、DGCFが最先端のダイナミックレコメンデーション手法を最大30.5%で大幅に上回っていることを示している。 提案手法は, 動的協調情報の統合の有効性を示すため, 動作繰り返しの少ないデータセットでは高い性能を実現する。

Dynamic recommendation is essential for modern recommender systems to provide real-time predictions based on sequential data. In real-world scenarios, the popularity of items and interests of users change over time. Based on this assumption, many previous works focus on interaction sequences and learn evolutionary embeddings of users and items. However, we argue that sequence-based models are not able to capture collaborative information among users and items directly. Here we propose Dynamic Graph Collaborative Filtering (DGCF), a novel framework leveraging dynamic graphs to capture collaborative and sequential relations of both items and users at the same time. We propose three update mechanisms: zero-order 'inheritance', first-order 'propagation', and second-order 'aggregation', to represent the impact on a user or item when a new interaction occurs. Based on them, we update related user and item embeddings simultaneously when interactions occur in turn, and then use the latest embeddings to make recommendations. Extensive experiments conducted on three public datasets show that DGCF significantly outperforms the state-of-the-art dynamic recommendation methods up to 30. Our approach achieves higher performance when the dataset contains less action repetition, indicating the effectiveness of integrating dynamic collaborative information.
翻訳日:2021-04-10 11:09:18 公開日:2021-01-08
# (参考訳) adiag:アルツハイマー病の診断に基づくグラフニューラルネットワーク [全文訳有]

ADiag: Graph Neural Network Based Diagnosis of Alzheimer's Disease ( http://arxiv.org/abs/2101.02870v1 )

ライセンス: CC BY 4.0
Vishnu Ram Sampathkumar(参考訳) アルツハイマー病(ad、英: alzheimer's disease)は、世界中で5000万人以上の脳変性疾患である。 進行は止められないが、早期かつ正確な診断検査は患者の生活の質を大幅に改善することができる。 現在、定性的なテスト手段のみが、認知テストのバッテリでパフォーマンスをスコアリングする形で採用されている。 この方法の固有の欠点は、正確な診断の負担が臨床医の能力にかかっていることである。 MRIスキャンアセスメントのような定量的手法は、脳の視覚的に観察可能な変化の解明の性質によって、良くない。 既存のad診断方法の欠点に代えて,グラフサージネットワークによるad診断のための新しい定量的手法であるadiagと,大脳皮質の異なる構造領域間の厚さ差に基づく大規模グラフのddp解析を開発した。 ADiagの予備試験では、83%の堅牢な精度が示され、他の定性的および定量的診断技術よりも大幅に優れていた。

Alzheimer's Disease (AD) is the most widespread neurodegenerative disease, affecting over 50 million people across the world. While its progression cannot be stopped, early and accurate diagnostic testing can drastically improve quality of life in patients. Currently, only qualitative means of testing are employed in the form of scoring performance on a battery of cognitive tests. The inherent disadvantage of this method is that the burden of an accurate diagnosis falls on the clinician's competence. Quantitative methods like MRI scan assessment are inaccurate at best,due to the elusive nature of visually observable changes in the brain. In lieu of these disadvantages to extant methods of AD diagnosis, we have developed ADiag, a novel quantitative method to diagnose AD through GraphSAGE Network and Dense Differentiable Pooling (DDP) analysis of large graphs based on thickness difference between different structural regions of the cortex. Preliminary tests of ADiag have revealed a robust accuracy of 83%, vastly outperforming other qualitative and quantitative diagnostic techniques.
翻訳日:2021-04-10 10:51:48 公開日:2021-01-08
# (参考訳) WordNet知識グラフを用いた新しい単語センス曖昧化手法 [全文訳有]

A Novel Word Sense Disambiguation Approach Using WordNet Knowledge Graph ( http://arxiv.org/abs/2101.02875v1 )

ライセンス: CC BY 4.0
Mohannad AlMousa, Rachid Benlamri, Richard Khoury(参考訳) 計算言語学や人工知能の様々な応用は、情報検索、機械翻訳、質問応答、文書クラスタリングといった難題を解決するために、高性能な単語感覚の曖昧さのテクニックに依存している。 テキスト理解は人間にとって直感的だが、機械は人間の自然言語を処理し解釈する上で大きな困難に直面している。 本稿では,文脈類似度行列乗算(SCSMM)という,知識に基づく単語感覚曖昧化アルゴリズムを提案する。 SCSMMアルゴリズムは、意味的類似性、ヒューリスティックな知識、文書コンテキストを組み合わせて、連続した用語、用語に関する人間の知識、曖昧な用語における文書の主要なトピック間の局所的な文脈の利点をそれぞれ活用する。 他のアルゴリズムとは異なり、SCSMMアルゴリズムは文内の語順を維持しながら、最大文コンテキストのキャプチャを保証する。 提案アルゴリズムは, 金の標準データセット上で名詞を曖昧にする場合の他のアルゴリズムを上回り, それぞれのデータセットを別々に扱う場合の現在最先端の単語感覚曖昧化システムと同等の結果を示す。 さらに,提案アルゴリズムの性能に及ぼす粒度レベル,あいまいさ率,文サイズ,音声分布の影響について検討した。

Various applications in computational linguistics and artificial intelligence rely on high-performing word sense disambiguation techniques to solve challenging tasks such as information retrieval, machine translation, question answering, and document clustering. While text comprehension is intuitive for humans, machines face tremendous challenges in processing and interpreting a human's natural language. This paper presents a novel knowledge-based word sense disambiguation algorithm, namely Sequential Contextual Similarity Matrix Multiplication (SCSMM). The SCSMM algorithm combines semantic similarity, heuristic knowledge, and document context to respectively exploit the merits of local context between consecutive terms, human knowledge about terms, and a document's main topic in disambiguating terms. Unlike other algorithms, the SCSMM algorithm guarantees the capture of the maximum sentence context while maintaining the terms' order within the sentence. The proposed algorithm outperformed all other algorithms when disambiguating nouns on the combined gold standard datasets, while demonstrating comparable results to current state-of-the-art word sense disambiguation systems when dealing with each dataset separately. Furthermore, the paper discusses the impact of granularity level, ambiguity rate, sentence size, and part of speech distribution on the performance of the proposed algorithm.
翻訳日:2021-04-10 10:45:20 公開日:2021-01-08
# (参考訳) MRIデータを用いた深部畳み込みニューラルネットワークによるアルツハイマー病の分類 [全文訳有]

Deep Convolutional Neural Network based Classification of Alzheimer's Disease using MRI data ( http://arxiv.org/abs/2101.02876v1 )

ライセンス: CC BY 4.0
Ali Nawaz, Syed Muhammad Anwar, Rehan Liaqat, Javid Iqbal, Ulas Bagci, Muhammad Majid(参考訳) アルツハイマー病(英語: Alzheimer's disease、AD)は、脳の細胞を破壊し、患者の記憶を喪失する進行性で未発生の神経変性疾患である。 早期検出は、患者が脳細胞のさらなる損傷を防止し、したがって恒久的な記憶喪失を回避する。 近年,ADの診断に様々な自動診断ツールや技術が提案されている。 いくつかの方法は、患者のメンタルヘルスの損失を最小限に抑えるために、病気の迅速、正確、早期発見に焦点を当てている。 機械学習と深層学習技術は、人間のレベルに近い診断性能を提供することで、ADのための医療画像システムを大幅に改善した。 しかし、多クラス分類で直面する主な問題は、脳構造に非常に相関した特徴の存在である。 本稿では,不均衡な3次元MRIデータセットを用いた2次元深部畳み込みニューラルネットワーク(2D-DCNN)によるADの診断手法を提案する。 アルツハイマー病ニューロイメージングイニシアチブ磁気共鳴画像(MRI)データセットの実験結果から、提案した2D-DCNNモデルが精度、効率、堅牢性において優れていることが確認された。 このモデルはMRIをAD、軽度認知障害、正常制御の3つのカテゴリに分類し、99.89%の分類精度を不均衡クラスで達成した。 提案モデルでは,最先端手法と比較して精度が著しく向上した。

Alzheimer's disease (AD) is a progressive and incurable neurodegenerative disease which destroys brain cells and causes loss to patient's memory. An early detection can prevent the patient from further damage of the brain cells and hence avoid permanent memory loss. In past few years, various automatic tools and techniques have been proposed for diagnosis of AD. Several methods focus on fast, accurate and early detection of the disease to minimize the loss to patients mental health. Although machine learning and deep learning techniques have significantly improved medical imaging systems for AD by providing diagnostic performance close to human level. But the main problem faced during multi-class classification is the presence of highly correlated features in the brain structure. In this paper, we have proposed a smart and accurate way of diagnosing AD based on a two-dimensional deep convolutional neural network (2D-DCNN) using imbalanced three-dimensional MRI dataset. Experimental results on Alzheimer Disease Neuroimaging Initiative magnetic resonance imaging (MRI) dataset confirms that the proposed 2D-DCNN model is superior in terms of accuracy, efficiency, and robustness. The model classifies MRI into three categories: AD, mild cognitive impairment, and normal control: and has achieved 99.89% classification accuracy with imbalanced classes. The proposed model exhibits noticeable improvement in accuracy as compared to the state-fo-the-art methods.
翻訳日:2021-04-10 09:40:00 公開日:2021-01-08
# (参考訳) HIVE-Net: EM画像におけるミトコンドリアセグメンテーションのための中心線対応階層的ビュー・アンサンブル畳み込みネットワーク [全文訳有]

HIVE-Net: Centerline-Aware HIerarchical View-Ensemble Convolutional Network for Mitochondria Segmentation in EM Images ( http://arxiv.org/abs/2101.02877v1 )

ライセンス: CC BY 4.0
Zhimin Yuan, Xiaofen Ma, Jiajin Yi, Zhengrong Luo, Jialin Peng(参考訳) 電子顕微鏡(EM)のセマンティックセグメンテーションは、信頼性のある形態統計を効率的に得るための重要なステップである。 深層畳み込みニューラルネットワーク(cnns)を用いた大きな成功にもかかわらず、ミトコンドリアのセグメンテーションには多くの不連続と偽陽性を伴う粗いセグメンテーションが生み出されている。 本研究では,中心線をミトコンドリアの内在的な形状のキューとして利用してセグメンテーションを規則化する,中心線対応マルチタスクネットワークを提案する。 大規模な医療機器への3D CNNの適用は通常,その計算コストと記憶オーバーヘッドによって妨げられているため,より効率的な2次元畳み込みを用いて3次元空間コンテキストを学習するための3次元畳み込みの簡単な代替案である,新しい階層型ビューアンサンブル畳み込み(HVEC)を導入する。 HVECでは、マルチビュー情報の分解と共有が可能であるため、学習能力が向上する。 提案手法は, 精度と視覚的品質において, モデルサイズを大幅に削減しながら, 最先端の手法に対して良好な性能を示すことを示す。 さらに,本モデルでは,特にトレーニングデータ量が極めて少ない場合において,一般化能力が著しく向上することを示す。

Semantic segmentation of electron microscopy (EM) is an essential step to efficiently obtain reliable morphological statistics. Despite the great success achieved using deep convolutional neural networks (CNNs), they still produce coarse segmentations with lots of discontinuities and false positives for mitochondria segmentation. In this study, we introduce a centerline-aware multitask network by utilizing centerline as an intrinsic shape cue of mitochondria to regularize the segmentation. Since the application of 3D CNNs on large medical volumes is usually hindered by their substantial computational cost and storage overhead, we introduce a novel hierarchical view-ensemble convolution (HVEC), a simple alternative of 3D convolution to learn 3D spatial contexts using more efficient 2D convolutions. The HVEC enables both decomposing and sharing multi-view information, leading to increased learning capacity. Extensive validation results on two challenging benchmarks show that, the proposed method performs favorably against the state-of-the-art methods in accuracy and visual quality but with a greatly reduced model size. Moreover, the proposed model also shows significantly improved generalization ability, especially when training with quite limited amount of training data.
翻訳日:2021-04-10 09:28:43 公開日:2021-01-08
# (参考訳) 情報理論による解釈の進歩的枠組み [全文訳有]

An Information-theoreti c Progressive Framework for Interpretation ( http://arxiv.org/abs/2101.02879v1 )

ライセンス: CC BY 4.0
Zhengqi He, Taro Toyoizumi(参考訳) 脳科学と深層学習コミュニティの両方が、神経活動の解釈に問題を抱えている。 深層学習では、すべてのニューロンの活動データにアクセスできるが、深層ネットワークがどのようにタスクを解決するかの解釈は依然として困難である。 ディープネットワークの解釈に多くの努力が注がれているが、解釈が何であるかについては、まだ合意が得られていない。 本稿では,この方向への議論を推し進め,解釈を合成するための情報理論の進歩的枠組みを提案する。 まず、解釈はメタ情報である;解釈は正しいレベルにあるべきである;独立を誘導することは解釈に役立つ;解釈は自然に進行する;解釈は人間を巻き込む必要がない。 次に,情報マップ分割アイデアを用いたフレームワークを構築し,変動型情報ボトルネック手法を用いて実装する。 その後、私たちはCLEVRデータセットでフレームワークをテストします。 このフレームワークは情報マップを分割し、メタ情報形式で解釈を合成できることが示されている。

Both brain science and the deep learning communities have the problem of interpreting neural activity. For deep learning, even though we can access all neurons' activity data, interpretation of how the deep network solves the task is still challenging. Although a large amount of effort has been devoted to interpreting a deep network, there is still no consensus of what interpretation is. This paper tries to push the discussion in this direction and proposes an information-theoreti c progressive framework to synthesize interpretation. Firstly, we discuss intuitions of interpretation: interpretation is meta-information; interpretation should be at the right level; inducing independence is helpful to interpretation; interpretation is naturally progressive; interpretation doesn't have to involve a human. Then, we build the framework with an information map splitting idea and implement it with the variational information bottleneck technique. After that, we test the framework with the CLEVR dataset. The framework is shown to be able to split information maps and synthesize interpretation in the form of meta-information.
翻訳日:2021-04-10 08:58:28 公開日:2021-01-08
# (参考訳) シークエンシャルナイーブ学習

Sequential Naive Learning ( http://arxiv.org/abs/2101.02897v1 )

ライセンス: CC BY 4.0
Itai Arieli, Yakov Babichenko, Manuel Mueller-Frank(参考訳) 連立動作と連立状態を持つモデルにおける集合統計量から有理的に有理な更新を解析する。 エージェントはそれぞれ、順序づけられていない前のアクションのセットを観察した後、シーケンスで不可逆アクションを取る。 各エージェントは、まずアグリゲートの統計に基づいて先行し、次に彼女の信号をベイズ規則に基づく先行と結合し、最終的に(混合)アクションを各信念に割り当てる決定規則を適用する。 事前が離散化されたDeGroot則に従って形成される場合、決定規則が確率マッチングを満たす場合に限り、任意の情報構造において状態(確率における)に作用が収束する。 この結果は、エージェント間で情報構造が異なる不特定情報設定に一般化され、エージェントは自身の信号を生成する情報構造のみを知る。 また、主な結果は$n$ stateと$n$ actionの場合に拡張される。

We analyze boundedly rational updating from aggregate statistics in a model with binary actions and binary states. Agents each take an irreversible action in sequence after observing the unordered set of previous actions. Each agent first forms her prior based on the aggregate statistic, then incorporates her signal with the prior based on Bayes rule, and finally applies a decision rule that assigns a (mixed) action to each belief. If priors are formed according to a discretized DeGroot rule, then actions converge to the state (in probability), i.e., \emph{asymptotic learning}, in any informative information structure if and only if the decision rule satisfies probability matching. This result generalizes to unspecified information settings where information structures differ across agents and agents know only the information structure generating their own signal. Also, the main result extends to the case of $n$ states and $n$ actions.
翻訳日:2021-04-10 08:34:30 公開日:2021-01-08
# (参考訳) 単語埋め込み変数がアラビア語感情分析性能に及ぼす影響 [全文訳有]

Effect of Word Embedding Variable Parameters on Arabic Sentiment Analysis Performance ( http://arxiv.org/abs/2101.02906v1 )

ライセンス: CC BY 4.0
Anwar Alnawas and Nursal ARICI(参考訳) Twitter、Facebookなどのソーシャルメディア。 ユーザーからの意見を含むコメントが増えています 感性分析研究はこれらのコメントを扱い、肯定的あるいは否定的な意見を取り出す。 アラビア語は豊富な形態素言語であり、英語の感情分析の古典的な技法はアラビア語には使用できない。 単語埋め込み技術は、アラビア語の形態的問題を埋め合わせる方法の1つと考えることができる。 単語埋め込みに基づくアラビア語の感情分析には多くの研究がなされているが、変数パラメータに着目した研究はない。 本研究は,DBOWとDMPVアーキテクチャを用いたアラビア感情分析のための3つのパラメータ(Window size, Dimension of vector, Negative Sample)について考察する。 単語表現を学習し特徴を抽出するために生成された、前の作品の大きなコーパス。 4つのバイナリ分類器(ロジスティック回帰、決定木、サポートベクターマシン、ナイーブベイズ)は感情を検出するために使用される。 精度,リコール,F1スコアに基づく分類器の性能評価を行った。

Social media such as Twitter, Facebook, etc. has led to a generated growing number of comments that contains users opinions. Sentiment analysis research deals with these comments to extract opinions which are positive or negative. Arabic language is a rich morphological language; thus, classical techniques of English sentiment analysis cannot be used for Arabic. Word embedding technique can be considered as one of successful methods to gaping the morphological problem of Arabic. Many works have been done for Arabic sentiment analysis based on word embedding, but there is no study focused on variable parameters. This study will discuss three parameters (Window size, Dimension of vector and Negative Sample) for Arabic sentiment analysis using DBOW and DMPV architectures. A large corpus of previous works generated to learn word representations and extract features. Four binary classifiers (Logistic Regression, Decision Tree, Support Vector Machine and Naive Bayes) are used to detect sentiment. The performance of classifiers evaluated based on; Precision, Recall and F1-score.
翻訳日:2021-04-10 08:33:28 公開日:2021-01-08
# (参考訳) ベイズ法によるブロック項テンソル分解モデルの選択と計算 [全文訳有]

A Bayesian Approach to Block-Term Tensor Decomposition Model Selection and Computation ( http://arxiv.org/abs/2101.02931v1 )

ライセンス: CC BY 4.0
Paris V. Giampouras, Athanasios A. Rontogiannis, Eleftherios Kofidis(参考訳) いわゆるブロック項分解(BTD)テンソルモデル,特にそのランク(L_r,L_r,1)$バージョンでは,多種多様なアプリケーションで発生する1以上のランクの「emph{blocks}」で構成されるシステムや信号の表現能力の向上により,近年注目を集めている。 したがって、その特異性と近似は徹底的に研究されている。 それでも、BTDモデル構造、すなわちブロック項の数と個々のランクを推定する難しい問題は、最近になって大きな注目を集め始めたばかりである。 本研究では,非無視エネルギーの因子列の個数として階数を推定し,その階数-(l_r,l_r,1)$ btdモデルの選択と計算にベイズ的アプローチを適用した。 確率モデルにおける変分推論を用いることで、クローズドフォーム更新を含む反復アルゴリズムが得られる。 そのベイズの性質は、ハイパーパラメータチューニングのユビキタスな正規化ベースのメソッドタスクを完全に避けている。 合成データを用いたシミュレーション結果を報告し, ランク推定とモデルフィッティングの両面から提案手法の有効性を実証した。

The so-called block-term decomposition (BTD) tensor model, especially in its rank-$(L_r,L_r,1)$ version, has been recently receiving increasing attention due to its enhanced ability of representing systems and signals that are composed of \emph{blocks} of rank higher than one, a scenario encountered in numerous and diverse applications. Its uniqueness and approximation have thus been thoroughly studied. Nevertheless, the challenging problem of estimating the BTD model structure, namely the number of block terms and their individual ranks, has only recently started to attract significant attention. In this work, a Bayesian approach is taken to addressing the problem of rank-$(L_r,L_r,1)$ BTD model selection and computation, based on the idea of imposing column sparsity \emph{jointly} on the factors and in a \emph{hierarchical} manner and estimating the ranks as the numbers of factor columns of non-negligible energy. Using variational inference in the proposed probabilistic model results in an iterative algorithm that comprises closed-form updates. Its Bayesian nature completely avoids the ubiquitous in regularization-based methods task of hyper-parameter tuning. Simulation results with synthetic data are reported, which demonstrate the effectiveness of the proposed scheme in terms of both rank estimation and model fitting.
翻訳日:2021-04-10 08:29:18 公開日:2021-01-08
# (参考訳) ブラックボックスからホワイトボックス:異なる条件下での信頼度校正の検討 [全文訳有]

From Black-box to White-box: Examining Confidence Calibration under different Conditions ( http://arxiv.org/abs/2101.02971v1 )

ライセンス: CC BY 4.0
Franziska Schwaiger, Maximilian Henne, Fabian K\"uppers, Felippe Schmoeller Roza, Karsten Roscher, Anselm Haselhoff(参考訳) 信頼性校正は、安全クリティカルな応用にニューラルネットワークを適用する際の大きな関心事である。 この領域のほとんどの研究は過去に分類に焦点を合わせてきたため、物体検出範囲における信頼性校正が注目されているのは近年である。 過去の研究に基づいて,画像位置とボックススケールに対する物体検出モデルの誤校正について検討した。 我々の主な貢献は、キャリブレーションに対する非最大抑制のようなボックス選択方法の影響を更に考慮することである。 物体検出モデルの既定固有キャリブレーションとこれらの後処理手法の影響について検討する。 この目的のために,非最大抑制によるブラックボックス校正と生のネットワーク出力によるホワイトボックス校正を区別する。 実験の結果, ポストプロセッシングが信頼度校正に大きく影響することが明らかとなった。 非最大抑制は、当初十分に調整された予測を劣化させる可能性があり、過剰な信頼感と誤った調整モデルに繋がる。

Confidence calibration is a major concern when applying artificial neural networks in safety-critical applications. Since most research in this area has focused on classification in the past, confidence calibration in the scope of object detection has gained more attention only recently. Based on previous work, we study the miscalibration of object detection models with respect to image location and box scale. Our main contribution is to additionally consider the impact of box selection methods like non-maximum suppression to calibration. We investigate the default intrinsic calibration of object detection models and how it is affected by these post-processing techniques. For this purpose, we distinguish between black-box calibration with non-maximum suppression and white-box calibration with raw network outputs. Our experiments reveal that post-processing highly affects confidence calibration. We show that non-maximum suppression has the potential to degrade initially well-calibrated predictions, leading to overconfident and thus miscalibrated models.
翻訳日:2021-04-10 08:14:05 公開日:2021-01-08
# (参考訳) 深部ニューラルネット設計のためのターンパイクについて:詳細深さ境界 [全文訳有]

On the Turnpike to Design of Deep Neural Nets: Explicit Depth Bounds ( http://arxiv.org/abs/2101.03000v1 )

ライセンス: CC0 1.0
Timm Faulwasser and Arne-Jens Hempel and Stefan Streif(参考訳) ディープニューラルネットワーク(DNN)のトレーニングが最適制御言語で形式化できることはよく知られている。 本稿では,DNNにおいて何層を考慮すべきかという問題に対して,最適制御問題の古典的なターンパイク特性を活用して,定量解を試行する。 基礎となる前提は、層毎のニューロン数(つまりDNNの幅)が一定であるということである。 シグモダル関数の近似特性の古典的解析とは異なる経路から、漸近的到達可能性仮定とトレーニング問題における正規化項の選択によるDNNの必要深さの明示的境界を証明した。 分類のための2つのスパイラルタスクデータセットから得られた数値結果は,提案した推定値が非保守的な深さ境界を提供できることを示している。

It is well-known that the training of Deep Neural Networks (DNN) can be formalized in the language of optimal control. In this context, this paper leverages classical turnpike properties of optimal control problems to attempt a quantifiable answer to the question of how many layers should be considered in a DNN. The underlying assumption is that the number of neurons per layer -- i.e., the width of the DNN -- is kept constant. Pursuing a different route than the classical analysis of approximation properties of sigmoidal functions, we prove explicit bounds on the required depths of DNNs based on asymptotic reachability assumptions and a dissipativity-induci ng choice of the regularization terms in the training problem. Numerical results obtained for the two spiral task data set for classification indicate that the proposed estimates can provide non-conservative depth bounds.
翻訳日:2021-04-10 08:02:30 公開日:2021-01-08
# (参考訳) Hessianスコアと三角移動を用いた非ガウス的グラフィカルモデル学習

Learning non-Gaussian graphical models via Hessian scores and triangular transport ( http://arxiv.org/abs/2101.03093v1 )

ライセンス: CC BY 4.0
Ricardo Baptista, Youssef Marzouk, Rebecca E. Morrison, Olivier Zahm(参考訳) 非指向確率的グラフィカルモデルは、確率変数の集合の条件依存、すなわちマルコフ特性を表す。 このようなグラフィカルモデルの空間性を知ることは多変量分布のモデル化や推論の効率化に有用である。 データからグラフ構造を学習する問題は、あるパラメトリックな分布の族に対して広く研究されているが、既存のほとんどの手法は、非ガウス的データのグラフ構造を一貫して回復することができない。 本稿では,連続分布と非ガウス分布のマルコフ構造を学習するアルゴリズムを提案する。 条件付き独立性を特徴付けるために,ジョイントログ密度からの統合ヘッシアン情報に基づくスコアを導入し,このスコアが一般分布の条件付き相互情報の上界であることを証明した。 スコアを計算するために,三角トランスポートマップによって誘導される決定論的カップリングを用いて密度を推定し,グラフのスパース性を明らかにするために地図内のスパース構造を反復的に活用する。 ある非ガウシアンデータセットでは、密度に偏りのある近似値であっても、アルゴリズムがグラフ構造を復元することを示す。 例として,局所的な相互作用を伴うカオス力学系の状態間の依存関係をSingを用いて学習する。

Undirected probabilistic graphical models represent the conditional dependencies, or Markov properties, of a collection of random variables. Knowing the sparsity of such a graphical model is valuable for modeling multivariate distributions and for efficiently performing inference. While the problem of learning graph structure from data has been studied extensively for certain parametric families of distributions, most existing methods fail to consistently recover the graph structure for non-Gaussian data. Here we propose an algorithm for learning the Markov structure of continuous and non-Gaussian distributions. To characterize conditional independence, we introduce a score based on integrated Hessian information from the joint log-density, and we prove that this score upper bounds the conditional mutual information for a general class of distributions. To compute the score, our algorithm SING estimates the density using a deterministic coupling, induced by a triangular transport map, and iteratively exploits sparse structure in the map to reveal sparsity in the graph. For certain non-Gaussian datasets, we show that our algorithm recovers the graph structure even with a biased approximation to the density. Among other examples, we apply sing to learn the dependencies between the states of a chaotic dynamical system with local interactions.
翻訳日:2021-04-10 07:39:24 公開日:2021-01-08
# (参考訳) ハイパースペクトル画像の能動学習のための深い拡散過程 [全文訳有]

Deep Diffusion Processes for Active Learning of Hyperspectral Images ( http://arxiv.org/abs/2101.03197v1 )

ライセンス: CC BY 4.0
Abiy Tasissa, Duc Nguyen, James Murphy(参考訳) 深層学習とグラフ上の拡散過程を組み合わせたハイパースペクトル画像(HSI)の能動的学習法を提案する。 深部変分オートエンコーダは高次元HSIからスムースに識別された特徴を抽出し、グラフ拡散プロセスに基づいてラベル付けクエリを作成する。 提案手法は,ディープラーニングの頑健な表現と拡散幾何学の数学的トラクタビリティを組み合わせ,実HSI上での強い性能を実現する。

A method for active learning of hyperspectral images (HSI) is proposed, which combines deep learning with diffusion processes on graphs. A deep variational autoencoder extracts smoothed, denoised features from a high-dimensional HSI, which are then used to make labeling queries based on graph diffusion processes. The proposed method combines the robust representations of deep learning with the mathematical tractability of diffusion geometry, and leads to strong performance on real HSI.
翻訳日:2021-04-10 07:38:12 公開日:2021-01-08
# (参考訳) 微弱教師付き多目的深層学習を用いた小データセットを用いた牧草種とバイオマスの抽出 [全文訳有]

Extracting Pasture Phenotype and Biomass Percentages using Weakly Supervised Multi-target Deep Learning on a Small Dataset ( http://arxiv.org/abs/2101.03198v1 )

ライセンス: CC BY 4.0
Badri Narayanan, Mohamed Saadeldin, Paul Albert, Kevin McGuinness, and Brian Mac Namee(参考訳) 乳製品産業は牛の飼料としてクローバーと草を使う。 草とクローバーのバイオマス収量の正確な推定は、受精と播種密度の最適化において賢明な決定を可能にし、生産性と環境影響の増大をもたらす。 草とクローバーは通常一緒に植えられるが、クローバーは土壌に栄養素をもたらす窒素固定植物である。 畑でクローバーと草の適切な割合を調整することは、外受精の必要性を減らす。 畑の草塊組成を推定するための既存のアプローチは高価であり、牧草のランダムなサンプルをクリップし、その成分を物理的に分離し、各試料中の乾燥した草、クローバー、雑草の割合を計算する。 畑から収集した農業画像から異なる植物種の牧草表現型指標とバイオマス収量予測を非破壊的に抽出する新しい深層学習手法の開発が注目されている。 画像のみからこれらの指標と予測を提供することは、依然として大きな課題である。 草,クローバー,雑草の密集した混合物における重度の閉塞は,各成分を正確に推定することが困難である。 さらに、教師付きディープラーニングモデルは、大規模なデータセットでよく機能するが、異なるバイオマス収量に対して正確な基底真理を持つ、大規模で多様なフィールド画像のコレクションを取得するのは面倒である。 本稿では,データ拡張と転送学習を適用することで,小規模のトレーニングデータセットでも異なる植物種の多目的バイオマス率を予測することができることを示す。 本研究は,261画像のトレーニングセットを用いて,草,クローバー,ホワイトクローバー,レッドクローバー,雑草のバイオマス率を,それぞれ6.77%,6.92%,6.21%,6. 89%,4.80%の絶対誤差で予測した。

The dairy industry uses clover and grass as fodder for cows. Accurate estimation of grass and clover biomass yield enables smart decisions in optimizing fertilization and seeding density, resulting in increased productivity and positive environmental impact. Grass and clover are usually planted together, since clover is a nitrogen-fixing plant that brings nutrients to the soil. Adjusting the right percentages of clover and grass in a field reduces the need for external fertilization. Existing approaches for estimating the grass-clover composition of a field are expensive and time consuming - random samples of the pasture are clipped and then the components are physically separated to weigh and calculate percentages of dry grass, clover and weeds in each sample. There is growing interest in developing novel deep learning based approaches to non-destructively extract pasture phenotype indicators and biomass yield predictions of different plant species from agricultural imagery collected from the field. Providing these indicators and predictions from images alone remains a significant challenge. Heavy occlusions in the dense mixture of grass, clover and weeds make it difficult to estimate each component accurately. Moreover, although supervised deep learning models perform well with large datasets, it is tedious to acquire large and diverse collections of field images with precise ground truth for different biomass yields. In this paper, we demonstrate that applying data augmentation and transfer learning is effective in predicting multi-target biomass percentages of different plant species, even with a small training dataset. The scheme proposed in this paper used a training set of only 261 images and provided predictions of biomass percentages of grass, clover, white clover, red clover, and weeds with mean absolute error of 6.77%, 6.92%, 6.21%, 6.89%, and 4.80% respectively.
翻訳日:2021-04-10 07:31:44 公開日:2021-01-08
# (参考訳) 糖尿病バディ : 糖尿病患者の食事調整・追跡システム [全文訳有]

The Diabetic Buddy: A Diet Regulator andTracking System for Diabetics ( http://arxiv.org/abs/2101.03203v1 )

ライセンス: CC BY 4.0
Muhammad Usman, Kashif Ahmad, Amir Sohail, Marwa Qaraqe(参考訳) 中東における糖尿病(dm)の流行率は、他の地域と比較して非常に高い。 実際、中東における糖尿病の発症率は17-20%であり、世界平均の8-9%を大きく上回っている。 研究により、食物摂取は患者の血糖値と強い関係があることが示されている。 この点に関して、糖尿病患者の血糖値と食事摂取量を監視する自動ツールを構築する必要がある。 本稿では,市販センサと機械学習を用いて,糖尿病患者の血糖値と食物摂取量の自動追跡方法を提案する。 我々のシステムは糖尿病患者が毎日の食事摂取を追跡するのを助けるだけでなく、医師が食事摂取が血糖値に与える影響をリアルタイムで分析するのを助ける。 食品認識のために,我々は大規模な中東食品データセットを収集し,中東食品認識のための既存の深層モデルを取り入れた核融合フレームワークを提案した。

The prevalence of Diabetes mellitus (DM) in the Middle East is exceptionally high as compared to the rest of the world. In fact, the prevalence of diabetes in the Middle East is 17-20%, which is well above the global average of 8-9%. Research has shown that food intake has strong connections with the blood glucose levels of a patient. In this regard, there is a need to build automatic tools to monitor the blood glucose levels of diabetics and their daily food intake. This paper presents an automatic way of tracking continuous glucose and food intake of diabetics using off-the-shelf sensors and machine learning, respectively. Our system not only helps diabetics to track their daily food intake but also assists doctors to analyze the impact of the food in-take on blood glucose in real-time. For food recognition, we collected a large-scale Middle-Eastern food dataset and proposed a fusion-based framework incorporating several existing pre-trained deep models for Middle-Eastern food recognition.
翻訳日:2021-04-10 07:23:05 公開日:2021-01-08
# (参考訳) ヘイトスピーチ検出における多言語トランスフォーマーの活用 [全文訳有]

Leveraging Multilingual Transformers for Hate Speech Detection ( http://arxiv.org/abs/2101.03207v1 )

ライセンス: CC BY 4.0
Sayar Ghosh Roy, Ujwal Narayan, Tathagata Raha, Zubair Abid, Vasudeva Varma(参考訳) ソーシャルメディアテキストにおける憎悪の事例の検出と分類は,近年,自然言語処理への関心が高まっている。 我々の研究は、多言語環境でのヘイトスピーチを識別するために、アートトランスフォーマー言語モデルの状態を活用する。 投稿やコメントの意図をソーシャルメディアで捉えるには、言語スタイル、意味コンテンツ、ハッシュタグや絵文字などの追加のポインタを慎重に評価する必要がある。 本稿では、Twitterの投稿が憎悪であり、攻撃的であるか否かを判断する問題を考察する。 さらに, 検出された有害成分を, (a) Hate Speech (HATE), (b) Offensive (OFFN) および (c) Profane (PRFN) の3種類に分類した。 学習済みの多言語トランスフォーマーベースのテキストエンコーダをベースとして,複数の言語からヘイトスピーチを識別し,分類することができる。 提案したテストコーパスでは,英語,ドイツ語,ヒンディー語のマクロF1スコアが90.29,81.87,75.40,ヘイトスピーチ検出が60.70,53.28,49.74であった。 本研究では,ヘイトスピーチ分類におけるパースペクティブAPIの有効性と多言語学習手法の活用効果を示す。 特徴選択研究は、特定の特徴がアーキテクチャの分類ヘッドに与える影響を説明するために提供される。

Detecting and classifying instances of hate in social media text has been a problem of interest in Natural Language Processing in the recent years. Our work leverages state of the art Transformer language models to identify hate speech in a multilingual setting. Capturing the intent of a post or a comment on social media involves careful evaluation of the language style, semantic content and additional pointers such as hashtags and emojis. In this paper, we look at the problem of identifying whether a Twitter post is hateful and offensive or not. We further discriminate the detected toxic content into one of the following three classes: (a) Hate Speech (HATE), (b) Offensive (OFFN) and (c) Profane (PRFN). With a pre-trained multilingual Transformer-based text encoder at the base, we are able to successfully identify and classify hate speech from multiple languages. On the provided testing corpora, we achieve Macro F1 scores of 90.29, 81.87 and 75.40 for English, German and Hindi respectively while performing hate speech detection and of 60.70, 53.28 and 49.74 during fine-grained classification. In our experiments, we show the efficacy of Perspective API features for hate speech classification and the effects of exploiting a multilingual training scheme. A feature selection study is provided to illustrate impacts of specific features upon the architecture's classification head.
翻訳日:2021-04-10 07:17:38 公開日:2021-01-08
# (参考訳) DiPSeN: フェデレートラーニングにおける対向ロバスト性のための微分プライベート自己正規化ニューラルネットワーク [全文訳有]

DiPSeN: Differentially Private Self-normalizing Neural Networks For Adversarial Robustness in Federated Learning ( http://arxiv.org/abs/2101.03218v1 )

ライセンス: CC BY 4.0
Olakunle Ibitoye, M. Omair Shafiq, Ashraf Matrawy(参考訳) 堅牢でセキュアでプライベートな機械学習の必要性は、IoT(Internet of Things)の潜在能力を実現する上で重要な目標である。 フェデレーション学習は、プライバシー侵害や情報漏洩を防ぐのに役立つことが証明されている。 しかし、機械学習モデルを敵のサンプルに対して防御することがより難しくする新しいリスクベクトルを導入している。 本研究では,差分プライバシと自己正規化が,特にフェデレート学習環境における対立サンプルのリスク軽減に果たす役割について検討した。 本稿では、差分プライバシーノイズの要素と自己正規化技術を組み合わせた微分プライベート自己正規化ニューラルネットワークであるDiPSeNを紹介する。 3つの公開データセットに対する実験結果から、DiPSeNは、複数の評価指標に基づいて、深層学習環境における深層学習分類器の対角的堅牢性を改善することができた。

The need for robust, secure and private machine learning is an important goal for realizing the full potential of the Internet of Things (IoT). Federated learning has proven to help protect against privacy violations and information leakage. However, it introduces new risk vectors which make machine learning models more difficult to defend against adversarial samples. In this study, we examine the role of differential privacy and self-normalization in mitigating the risk of adversarial samples specifically in a federated learning environment. We introduce DiPSeN, a Differentially Private Self-normalizing Neural Network which combines elements of differential privacy noise with self-normalizing techniques. Our empirical results on three publicly available datasets show that DiPSeN successfully improves the adversarial robustness of a deep learning classifier in a federated learning environment based on several evaluation metrics.
翻訳日:2021-04-10 07:03:52 公開日:2021-01-08
# (参考訳) 量子マルコフ雑音分類のための機械学習手法 [全文訳有]

Machine learning approach for quantum non-Markovian noise classification ( http://arxiv.org/abs/2101.03221v1 )

ライセンス: CC BY-SA 4.0
Stefano Martina, Stefano Gherardini, Filippo Caruso(参考訳) 本稿では,確率量子力学における量子ノイズ分類のための機械学習モデルとニューラルネットワークモデルを提案する。 この目的のために、我々は、教師付きバイナリ分類問題を解決するために、サポートベクターマシン、多層パーセプトロン、リカレントニューラルネットワーク、複雑さと精度の異なるモデルを訓練し、検証する。 量子ランダムウォーク形式を活用し,量子システム進化の単一実現で収集したデータセットを用いて雑音量子力学を分類する手法の有効性を実証する。 さらに, 分類を成功させるには, 離散時間インスタントの列において, 解析された量子系が許容位置やエネルギー構成のいずれかにある確率を, 外部の駆動なしで測定するだけでよいことを示す。 したがって、量子コヒーレンスの測定や制御パルスのシーケンスは不要である。 基本的には合成データ上では機械学習モデルのトレーニングをa-prioriで行うことができるため,提案手法は多数の実験手法や,すでに利用可能な雑音中規模量子デバイスのノイズベンチマークにおいて直接適用されることが期待されている。

In this paper, machine learning and artificial neural network models are proposed for quantum noise classification in stochastic quantum dynamics. For this purpose, we train and then validate support vector machine, multi-layer perceptron and recurrent neural network, models with different complexity and accuracy, to solve supervised binary classification problems. By exploiting the quantum random walk formalism, we demonstrate the high efficacy of such tools in classifying noisy quantum dynamics using data sets collected in a single realisation of the quantum system evolution. In addition, we also show that for a successful classification one just needs to measure, in a sequence of discrete time instants, the probabilities that the analysed quantum system is in one of the allowed positions or energy configurations, without any external driving. Thus, neither measurements of quantum coherences nor sequences of control pulses are required. Since in principle the training of the machine learning models can be performed a-priori on synthetic data, our approach is expected to find direct application in a vast number of experimental schemes and also for the noise benchmarking of the already available noisy intermediate-scale quantum devices.
翻訳日:2021-04-10 06:50:11 公開日:2021-01-08
# (参考訳) attention u-netを用いた氷河カルビングフロントセグメンテーション [全文訳有]

Glacier Calving Front Segmentation Using Attention U-Net ( http://arxiv.org/abs/2101.03247v1 )

ライセンス: CC BY 4.0
Michael Holzmann, Amirabbas Davari, Thorsten Seehaus, Matthias Braun, Andreas Maier, Vincent Christlein(参考訳) 海水氷河の状態を決定するための重要な気候変数は、氷結した前線の位置と季節変動の長期的傾向からの分離である。 これまでの研究で、干潟氷河のカルビングフロントを半自動で定義する深層学習に基づく手法が提案されてきた。 彼らはu-netを使って氷と非氷の領域を区分し、処理後ステップでカルビングフロントを抽出した。 本研究では,SAR画像から氷河カルビングフロントを,意図的U-Netを用いてエンドツーエンドに分割する方法を示す。 主な目的は,本アプリケーションにおける注意機構の解明である。 最新のU-Netネットワークにアテンションモジュールを追加することで、アテンションマップを抽出して学習プロセスを分析することができる。 これらのマップを,適切なハイパーパラメータと損失関数を探索し,高い質的結果を生成するためのツールとして用いる。 提案する注意点u-netは標準のu-netと同等に動作し,ネットワークがより集中するように学習した領域に対するさらなる洞察を提供する。 最良の場合、u-netの注目度は、氷河前線の予測精度が最大237.12メートルの標準のu-netよりも1.5%向上している。

An essential climate variable to determine the tidewater glacier status is the location of the calving front position and the separation of seasonal variability from long-term trends. Previous studies have proposed deep learning-based methods to semi-automatically delineate the calving fronts of tidewater glaciers. They used U-Net to segment the ice and non-ice regions and extracted the calving fronts in a post-processing step. In this work, we show a method to segment the glacier calving fronts from SAR images in an end-to-end fashion using Attention U-Net. The main objective is to investigate the attention mechanism in this application. Adding attention modules to the state-of-the-art U-Net network lets us analyze the learning process by extracting its attention maps. We use these maps as a tool to search for proper hyperparameters and loss functions in order to generate higher qualitative results. Our proposed attention U-Net performs comparably to the standard U-Net while providing additional insight into those regions on which the network learned to focus more. In the best case, the attention U-Net achieves a 1.5% better Dice score compared to the canonical U-Net with a glacier front line prediction certainty of up to 237.12 meters.
翻訳日:2021-04-10 05:50:55 公開日:2021-01-08
# (参考訳) SAR画像における氷河セグメンテーションのためのベイズU-Net [全文訳有]

Bayesian U-Net for Segmenting Glaciers in SAR Imagery ( http://arxiv.org/abs/2101.03249v1 )

ライセンス: CC BY 4.0
Andreas Hartmann, Amirabbas Davari, Thorsten Seehaus, Matthias Braun, Andreas Maier, Vincent Christlein(参考訳) 氷河ボーリングフロントのゆらぎは、氷河系全体の氷の流れに重要な影響を与えている。 したがって、カルビングフロントの位置を正確に監視することが重要である。 しかし、SAR画像のマニュアル記述は困難で、退屈で主観的な作業である。 畳み込みニューラルネットワークは以前、SAR画像の氷河セグメンテーションの自動化において有望な結果を示しており、それらの可能性のさらなる探索が望ましい。 本研究では,不確かさを計算し,新しい2段階プロセスとして不確実性最適化システムで利用することを提案する。 U-Netアーキテクチャにおけるランダムサンプリング層としてドロップアウトを用いることで、確率ベイズニューラルネットワークを作成する。 複数のフォワードパスを用いてサンプリング分布を作成し,セグメンテーションマスク内の各画素のモデル不確かさを推定する。 追加の不確実性マップ情報は、データのマニュアルアノテーションにおける専門家のガイドラインとして機能する。 さらに、ネットワークへの不確実性マップの供給は95.24%のdice類似性をもたらし、これは最先端の決定論的u-netベースの氷河区分パイプラインと比較して、セグメンテーション性能の全体的な改善である。

Fluctuations of the glacier calving front have an important influence over the ice flow of whole glacier systems. It is therefore important to precisely monitor the position of the calving front. However, the manual delineation of SAR images is a difficult, laborious and subjective task. Convolutional neural networks have previously shown promising results in automating the glacier segmentation in SAR images, making them desirable for further exploration of their possibilities. In this work, we propose to compute uncertainty and use it in an Uncertainty Optimization regime as a novel two-stage process. By using dropout as a random sampling layer in a U-Net architecture, we create a probabilistic Bayesian Neural Network. With several forward passes, we create a sampling distribution, which can estimate the model uncertainty for each pixel in the segmentation mask. The additional uncertainty map information can serve as a guideline for the experts in the manual annotation of the data. Furthermore, feeding the uncertainty map to the network leads to 95.24% Dice similarity, which is an overall improvement in the segmentation performance compared to the state-of-the-art deterministic U-Net-based glacier segmentation pipelines.
翻訳日:2021-04-10 05:42:48 公開日:2021-01-08
# (参考訳) 産業4.0スケジューリングにおける非決定論的不確実性モデリングの改善 [全文訳有]

Improving non-deterministic uncertainty modelling in Industry 4.0 scheduling ( http://arxiv.org/abs/2101.05677v1 )

ライセンス: CC BY 4.0
Ashwin Misra, Ankit Mittal, Vihaan Misra and Deepanshu Pandey(参考訳) 最新の産業革命は、産業が非常に高い生産性と効率を達成するのに役立った。 計画とスケジューリングを最適化するために、データ集約とサイバーフィジカルシステムを導入した。 しかし,人間操作者の環境の不確実性と不正確性は,意思決定過程において必ずしも考慮されていない。 これにより、委託の遅れと予算見積りが不正確になる。 この産業モデルの広範な実践には欠陥があり、修正が必要である。 様々な論文が確率的あるいはファジィな集合モデル手法を用いてこの問題にアプローチしている。 本稿では,確率論的不確実性モデリングによる非決定論的不確かさを論理的かつ現実的に定量化する包括的手法を提案する。 この方法は、モデルが自己調整であり、エプシロン汚染を使用して限定的または不完全なデータセットに対応するため、事実上すべての産業用データセットに適用できる。 結果はベルギーのフランダースにある産業データによって数値的に検証される。 このロバストなスケジューリング手法によって得られたデータ駆動結果から,性能改善が示された。

The latest Industrial revolution has helped industries in achieving very high rates of productivity and efficiency. It has introduced data aggregation and cyber-physical systems to optimize planning and scheduling. Although, uncertainty in the environment and the imprecise nature of human operators are not accurately considered for into the decision making process. This leads to delays in consignments and imprecise budget estimations. This widespread practice in the industrial models is flawed and requires rectification. Various other articles have approached to solve this problem through stochastic or fuzzy set model methods. This paper presents a comprehensive method to logically and realistically quantify the non-deterministic uncertainty through probabilistic uncertainty modelling. This method is applicable on virtually all Industrial data sets, as the model is self adjusting and uses epsilon-contaminatio n to cater to limited or incomplete data sets. The results are numerically validated through an Industrial data set in Flanders, Belgium. The data driven results achieved through this robust scheduling method illustrate the improvement in performance.
翻訳日:2021-04-10 05:35:14 公開日:2021-01-08
# 量子地球モーバーの距離:量子データ学習のための新しいアプローチ

Quantum Earth Mover's Distance: A New Approach to Learning Quantum Data ( http://arxiv.org/abs/2101.03037v1 )

ライセンス: Link先を確認
Bobak Toussi Kiani, Giacomo De Palma, Milad Marvian, Zi-Wen Liu, Seth Lloyd(参考訳) 学習アルゴリズムの出力が目標からどのくらい離れているかを定量化することは、機械学習において不可欠なタスクである。 しかし、量子環境では、一般的に使われる距離測定値のロスランドスケープは、局所的な極小さや指数関数的に減衰する勾配といった望ましくない結果を生み出すことが多い。 新たなアプローチとして、最近の[De Palma et al., arXiv:2009.04469]で提案された量子地球移動器(EM)またはワッサーシュタイン-1距離を、古典的EM距離の量子アナログとして考える。 量子EM距離は、量子学習をより安定かつ効率的にする他の一般的な量子距離測度には見つからない独自の性質を持つことを示す。 本稿では,量子em距離を活用し,量子データ上で学習を行う効率的な手法を提供する量子wasserstein生成逆ネットワーク(qwgan)を提案する。 我々のqwganは、量子ビット数に資源多項式を必要とし、数値実験により、多様な量子データ集合を学習できることが示される。

Quantifying how far the output of a learning algorithm is from its target is an essential task in machine learning. However, in quantum settings, the loss landscapes of commonly used distance metrics often produce undesirable outcomes such as poor local minima and exponentially decaying gradients. As a new approach, we consider here the quantum earth mover's (EM) or Wasserstein-1 distance, recently proposed in [De Palma et al., arXiv:2009.04469] as a quantum analog to the classical EM distance. We show that the quantum EM distance possesses unique properties, not found in other commonly used quantum distance metrics, that make quantum learning more stable and efficient. We propose a quantum Wasserstein generative adversarial network (qWGAN) which takes advantage of the quantum EM distance and provides an efficient means of performing learning on quantum data. Our qWGAN requires resources polynomial in the number of qubits, and our numerical experiments demonstrate that it is capable of learning a diverse set of quantum data.
翻訳日:2021-04-10 05:13:29 公開日:2021-01-08
# ペアワイズとコントラストトレーニングを用いた認知症高齢者の非閉塞性痛みモニタリング

Unobtrusive Pain Monitoring in Older Adults with Dementia using Pairwise and Contrastive Training ( http://arxiv.org/abs/2101.03251v1 )

ライセンス: Link先を確認
Siavash Rezaei, Abhishek Moturu, Shun Zhao, Kenneth M. Prkachin, Thomas Hadjistavropoulos, and Babak Taati(参考訳) 高齢では痛みが頻発するが、高齢者はしばしば痛みに対して過度に扱われる。 特に中等度から重度の認知症を伴う認知障害のため、痛みを訴えることができない介護者の場合が多い。 介護スタッフは、人材不足による介護施設の痛みを効果的に認識し管理することの課題を認識し、また、定期的に検証された痛みアセスメントアプローチを使用する専門知識を身につけている。 視覚に基づく環境モニタリングは、頻繁な自動評価を可能にするので、痛みの兆候が表示されると、ケアスタッフに自動的に通知できる。 しかし、既存のコンピュータビジョン技術では、高齢者や認知症患者の顔に痛みを検出することはできず、この人口は既存の痛みの表情データセットでは表現されない。 認知症コホートで検証された最初の完全自動化視覚ベース手法を提案する。 私たちの貢献は3倍です。 まず,認知症の有無に関わらず高齢者から不明瞭に収集されたビデオデータセット上で,痛みを伴う表情を検出する深層学習型コンピュータビジョンシステムを開発した。 第2に,ペアワイズ比較推定法について紹介し,シーケンスモデルよりもトレーニングデータを効率的に使用しながら,顔の表情変化に敏感であることを示す。 第3に,クロスデータセット性能を向上させる高速コントラストトレーニング手法を提案する。 特に認知症患者の顔評価では, 痛み推定モデルが基準値を上回る傾向がみられた。 事前トレーニングされたモデルとデモコードはhttps://github.com/t aatiteam/pain_detect ion_demoで利用可能

Although pain is frequent in old age, older adults are often undertreated for pain. This is especially the case for long-term care residents with moderate to severe dementia who cannot report their pain because of cognitive impairments that accompany dementia. Nursing staff acknowledge the challenges of effectively recognizing and managing pain in long-term care facilities due to lack of human resources and, sometimes, expertise to use validated pain assessment approaches on a regular basis. Vision-based ambient monitoring will allow for frequent automated assessments so care staff could be automatically notified when signs of pain are displayed. However, existing computer vision techniques for pain detection are not validated on faces of older adults or people with dementia, and this population is not represented in existing facial expression datasets of pain. We present the first fully automated vision-based technique validated on a dementia cohort. Our contributions are threefold. First, we develop a deep learning-based computer vision system for detecting painful facial expressions on a video dataset that is collected unobtrusively from older adult participants with and without dementia. Second, we introduce a pairwise comparative inference method that calibrates to each person and is sensitive to changes in facial expression while using training data more efficiently than sequence models. Third, we introduce a fast contrastive training method that improves cross-dataset performance. Our pain estimation model outperforms baselines by a wide margin, especially when evaluated on faces of people with dementia. Pre-trained model and demo code available at https://github.com/T aatiTeam/pain_detect ion_demo
翻訳日:2021-04-10 05:13:11 公開日:2021-01-08
# Graph-of-Tweets:サブイベント識別のためのグラフマージアプローチ

Graph-of-Tweets: A Graph Merging Approach to Sub-event Identification ( http://arxiv.org/abs/2101.03208v1 )

ライセンス: Link先を確認
Xiaonan Jing, Julia Taylor Rayz(参考訳) グラフ構造は、テキスト要素間の関係をモデル化するための強力なツールである。 graph-of-words (gow) は語間の関係をエンコードするために多くの自然言語タスクで採用されている。 しかし、ドキュメント間の接続が不可欠である場合、GoWはドキュメントレベルの関係をほとんど提供しない。 Twitterのようなソーシャルメディア上のサブイベントを特定するには、単語レベルと文書レベルの両方の機能が、イベントの異なる情報を提供するのに役立つ。 ツイートをモデル化するための単語と文書レベルの構造を組み合わせたハイブリッドなグラフ・オブ・ツイート(GoT)モデルを提案する。 大量の生データを圧縮するために,FastText単語の埋め込みを利用してGoWを減らすグラフマージ手法を提案する。 さらに,GoWの低減化と相互情報(MI)尺度を用いてGoTを構築する新しい手法を提案する。 最後に,一般的なサブイベントを抽出するために,最大傾きを同定する。 本モデルでは,語彙レベルの情報を凝縮し,サブイベントのキーワードをキャプチャする有望な結果を示した。

Graph structures are powerful tools for modeling the relationships between textual elements. Graph-of-Words (GoW) has been adopted in many Natural Language tasks to encode the association between terms. However, GoW provides few document-level relationships in cases when the connections between documents are also essential. For identifying sub-events on social media like Twitter, features from both word- and document-level can be useful as they supply different information of the event. We propose a hybrid Graph-of-Tweets (GoT) model which combines the word- and document-level structures for modeling Tweets. To compress large amount of raw data, we propose a graph merging method which utilizes FastText word embeddings to reduce the GoW. Furthermore, we present a novel method to construct GoT with the reduced GoW and a Mutual Information (MI) measure. Finally, we identify maximal cliques to extract popular sub-events. Our model showed promising results on condensing lexical-level information and capturing keywords of sub-events.
翻訳日:2021-04-10 05:12:48 公開日:2021-01-08
# 関数近似を用いた対外政策平均評価

Average-Reward Off-Policy Policy Evaluation with Function Approximation ( http://arxiv.org/abs/2101.02808v1 )

ライセンス: Link先を確認
Shangtong Zhang, Yi Wan, Richard S. Sutton, Shimon Whiteson(参考訳) 我々は,平均回帰mdpにおける関数近似(fa)を用いたオフポリシー政策評価について検討し,報酬率と差分値関数の両方を推定することを目的としている。 この問題に対して、ブートストラップは必要であり、非政治的な学習とFAとともに、致命的な三位一体をもたらす(Sutton & Barto, 2018)。 致命的な3つの問題に対処するため,我々は,勾配型tdアルゴリズムの成功を再現する2つの新しいアルゴリズムを提案する。 微分値関数を推定する観点では、アルゴリズムは最初の収束オフポリシー線形関数近似アルゴリズムである。 報酬率を推定する観点では、アルゴリズムは密度比を推定する必要がない最初の収束オフポリシー線形関数近似アルゴリズムである。 提案するアルゴリズムと非線形変種を,単純なドメインとロボットシミュレーション課題に挑戦しながら,競合的密度比に基づくアプローチよりも実証的に優位に立証する。

We consider off-policy policy evaluation with function approximation (FA) in average-reward MDPs, where the goal is to estimate both the reward rate and the differential value function. For this problem, bootstrapping is necessary and, along with off-policy learning and FA, results in the deadly triad (Sutton & Barto, 2018). To address the deadly triad, we propose two novel algorithms, reproducing the celebrated success of Gradient TD algorithms in the average-reward setting. In terms of estimating the differential value function, the algorithms are the first convergent off-policy linear function approximation algorithms. In terms of estimating the reward rate, the algorithms are the first convergent off-policy linear function approximation algorithms that do not require estimating the density ratio. We demonstrate empirically the advantage of the proposed algorithms, as well as their nonlinear variants, over a competitive density-ratio-based approach, in a simple domain as well as challenging robot simulation tasks.
翻訳日:2021-04-10 05:12:34 公開日:2021-01-08
# a tale of fairness revisited: beyond adversarial learning for deep neural network fairness

A Tale of Fairness Revisited: Beyond Adversarial Learning for Deep Neural Network Fairness ( http://arxiv.org/abs/2101.02831v1 )

ライセンス: Link先を確認
Becky Mashaido and Winston Moh Tangongho(参考訳) 自動化と人工知能技術の時代における公正なアルゴリズム決定の必要性から、この技術レポートは、ディープラーニングにおける公正さに対する敵の訓練に関する理論的洞察を提供する。 我々は、敵の公正さに関する以前の研究の上に構築し、公正な予測とモデルパフォーマンスの間の永続的なトレードオフを示し、このトレードオフを相殺するためのさらなるメカニズムを探る。

Motivated by the need for fair algorithmic decision making in the age of automation and artificially-intelli gent technology, this technical report provides a theoretical insight into adversarial training for fairness in deep learning. We build upon previous work in adversarial fairness, show the persistent tradeoff between fair predictions and model performance, and explore further mechanisms that help in offsetting this tradeoff.
翻訳日:2021-04-10 05:12:18 公開日:2021-01-08
# NVAE-GANによる教師なし時系列異常検出

NVAE-GAN Based Approach for Unsupervised Time Series Anomaly Detection ( http://arxiv.org/abs/2101.02908v1 )

ライセンス: Link先を確認
Liang Xu, Liying Zheng, Weijun Li, Zhenbo Chen, Weishun Song, Yue Deng, Yongzhe Chang, Jing Xiao, Bo Yuan(参考訳) 近年の研究では,変分自動エンコーダ(VAE)を適用して時系列異常検出を行う作業が数多く行われている。 時系列異常検出は、ネットワーク監視、設備メンテナンス、情報セキュリティなどにおいて重要な役割を果たす多くの業界において、非常に一般的だが困難なタスクである。 しかし,実世界から収集したノイズデータや複雑な異常パターンにより,時系列の異常を高精度に検出することは極めて困難である。 最近の研究から,我々はNouveau VAE (NVAE) にインスパイアされ,その異常検出モデルを提案する: 時系列から画像へのVAE (T2IVAE) , 単変量系列のNVAEに基づく教師なしモデル, 入力として1次元時系列を2次元画像に変換する, 異常検出のための再構成誤差を採用する。 また、T2IVAEトレーニング戦略にもジェネレーティブ・アドバイサル・ネットワークに基づく手法を適用し、オーバーフィッティングを減らすことを目的とした。 モデル性能を3つのデータセットで評価し,F1スコアを用いて他の人気モデルと比較した。 T2IVAEは、Numenta Anomaly Benchmarkの0.639、NASAの公開データセットの0.651、実際のシナリオから収集したデータセットの0.504を達成し、他の比較モデルを上回っている。

In recent studies, Lots of work has been done to solve time series anomaly detection by applying Variational Auto-Encoders (VAEs). Time series anomaly detection is a very common but challenging task in many industries, which plays an important role in network monitoring, facility maintenance, information security, and so on. However, it is very difficult to detect anomalies in time series with high accuracy, due to noisy data collected from real world, and complicated abnormal patterns. From recent studies, we are inspired by Nouveau VAE (NVAE) and propose our anomaly detection model: Time series to Image VAE (T2IVAE), an unsupervised model based on NVAE for univariate series, transforming 1D time series to 2D image as input, and adopting the reconstruction error to detect anomalies. Besides, we also apply the Generative Adversarial Networks based techniques to T2IVAE training strategy, aiming to reduce the overfitting. We evaluate our model performance on three datasets, and compare it with other several popular models using F1 score. T2IVAE achieves 0.639 on Numenta Anomaly Benchmark, 0.651 on public dataset from NASA, and 0.504 on our dataset collected from real-world scenario, outperforms other comparison models.
翻訳日:2021-04-10 05:12:11 公開日:2021-01-08
# ニューラルネットワークの不確実性リアリズムへのアプローチ

Approaching Neural Network Uncertainty Realism ( http://arxiv.org/abs/2101.02974v1 )

ライセンス: Link先を確認
Joachim Sicking, Alexander Kister, Matthias Fahrland, Stefan Eickeler, Fabian H\"uger, Stefan R\"uping, Peter Schlicht, Tim Wirtz(参考訳) 統計モデルは本質的に不確かである。 それらの不確実性を定量化または上界化することは、自動運転車のような安全上重要なシステムにとって不可欠である。 標準ニューラルネットワークはこの情報を報告していないが、不確実性推定をそれらに統合するいくつかのアプローチが存在する。 これらの不確実性の評価は、直接的根拠のラベルがないため、単純ではない。 代わりに、暗黙の統計的評価が必要である。 回帰については,マハラノビス距離に基づく統計テストを用いて,厳格な品質基準である不確実性現実性を評価することを提案する。 経験的評価は、上行重み付き経験的誤りに適した不確実性対策の必要性を明らかにする。 同時に、可変U-Net分類アーキテクチャを標準教師付きイメージ・ツー・イメージタスクに転送する。 自動車領域に採用し、普通のエンコーダ-デコーダモデルと比較して不確実性リアリズムを大幅に改善することを示した。

Statistical models are inherently uncertain. Quantifying or at least upper-bounding their uncertainties is vital for safety-critical systems such as autonomous vehicles. While standard neural networks do not report this information, several approaches exist to integrate uncertainty estimates into them. Assessing the quality of these uncertainty estimates is not straightforward, as no direct ground truth labels are available. Instead, implicit statistical assessments are required. For regression, we propose to evaluate uncertainty realism -- a strict quality criterion -- with a Mahalanobis distance-based statistical test. An empirical evaluation reveals the need for uncertainty measures that are appropriate to upper-bound heavy-tailed empirical errors. Alongside, we transfer the variational U-Net classification architecture to standard supervised image-to-image tasks. We adopt it to the automotive domain and show that it significantly improves uncertainty realism compared to a plain encoder-decoder model.
翻訳日:2021-04-10 05:11:48 公開日:2021-01-08
# 一級分類:調査

One-Class Classification: A Survey ( http://arxiv.org/abs/2101.03064v1 )

ライセンス: Link先を確認
Pramuditha Perera, Poojan Oza, Vishal M. Patel(参考訳) 単級分類 (one-class classification, occ) は、訓練中に観測されるデータは単一の正のクラスから得られる多級分類の特別な場合である。 occの目標は、推論中に正のラベル付きクエリを認識できる表現および/または分類器を学ぶことである。 この話題は近年、コンピュータビジョン、機械学習、バイオメトリクスのコミュニティにかなりの関心を集めている。 本稿では,視覚認識のための古典的統計的および最近の深層学習に基づくOCC手法について調査する。 我々は、既存のoccアプローチのメリットと欠点を議論し、この分野の研究に有望な道筋を特定する。 さらに,occで一般的に使用されるデータセットと評価指標について考察する。

One-Class Classification (OCC) is a special case of multi-class classification, where data observed during training is from a single positive class. The goal of OCC is to learn a representation and/or a classifier that enables recognition of positively labeled queries during inference. This topic has received considerable amount of interest in the computer vision, machine learning and biometrics communities in recent years. In this article, we provide a survey of classical statistical and recent deep learning-based OCC methods for visual recognition. We discuss the merits and drawbacks of existing OCC approaches and identify promising avenues for research in this field. In addition, we present a discussion of commonly used datasets and evaluation metrics for OCC.
翻訳日:2021-04-10 05:11:33 公開日:2021-01-08
# 機械学習における量子テンソルネットワーク:微小物体分類への応用

Quantum Tensor Network in Machine Learning: An Application to Tiny Object Classification ( http://arxiv.org/abs/2101.03154v1 )

ライセンス: Link先を確認
Fanjie Kong, Xiao-yang Liu, Ricardo Henao(参考訳) 細い物体分類問題は、医療画像やリモートセンシングのような多くの機械学習アプリケーションに存在し、興味のある物体は画像全体の小さな領域を占める。 小さな関心対象に関して効率的な機械学習モデルを設計することは困難である。 現在のニューラルネットワーク構造は、大規模なオブジェクトが特徴とする画像のために開発されたため、小さなオブジェクトを効率的に扱うことができない。 しかし、量子物理学では、特定の対象のサイズ比に関する画像分類のターゲット関数の解析を導く大きな理論的基礎がある。 我々の研究では、この困難な機械学習問題を解決するためにTensor Networksを適用しています。 まず、量子スピンモデルと画像分類を結びつける以前の研究を要約し、その理論を微小物体分類のシナリオに取り入れる。 次に, 画像中の微小物体の分類にMERA (Multi-scale entanglement renormalization ansatz) を用いる。 最後に,実験結果から,テンソルネットワークモデルが微小物体分類問題に有効であり,最新技術に勝る可能性が示唆された。 私たちのコードは、https://github.com/t imqqt/mera_image_cla ssificationで利用できます。

Tiny object classification problem exists in many machine learning applications like medical imaging or remote sensing, where the object of interest usually occupies a small region of the whole image. It is challenging to design an efficient machine learning model with respect to tiny object of interest. Current neural network structures are unable to deal with tiny object efficiently because they are mainly developed for images featured by large scale objects. However, in quantum physics, there is a great theoretical foundation guiding us to analyze the target function for image classification regarding to specific objects size ratio. In our work, we apply Tensor Networks to solve this arising tough machine learning problem. First, we summarize the previous work that connects quantum spin model to image classification and bring the theory into the scenario of tiny object classification. Second, we propose using 2D multi-scale entanglement renormalization ansatz (MERA) to classify tiny objects in image. In the end, our experimental results indicate that tensor network models are effective for tiny object classification problem and potentially will beat state-of-the-art. Our codes will be available online https://github.com/t imqqt/MERA_Image_Cla ssification.
翻訳日:2021-04-10 05:11:23 公開日:2021-01-08
# 近似dnnハードウェアアクセラレータにおけるフォールトエネルギトレードオフの検討

Exploring Fault-Energy Trade-offs in Approximate DNN Hardware Accelerators ( http://arxiv.org/abs/2101.02860v1 )

ライセンス: Link先を確認
Ayesha Siddique, Kanad Basu, Khaza Anuarul Hoque(参考訳) Systolic array-based Deep Neural Network (DNN)アクセラレータは、計算コストの低いことで最近注目を集めている。 しかし、その高エネルギー消費は、エネルギーに制約のあるデバイスへの展開にボトルネックをもたらす。 この問題に対処するために、近似計算は許容できる精度の損失を犠牲にすることができる。 しかし、このような小さな精度の変化は、永久断層のような望ましくない微妙な乱れに対するDNNの感度を高める可能性がある。 正確なDNNにおける永久断層の影響は文献で徹底的に研究されている。 逆に、近似DNN加速器(AxDNN)における永久断層の影響はまだ未解明である。 このような断層の影響は、AxDNN層の故障ビット位置、アクティベーション関数、近似誤差によって異なる可能性がある。 このようなダイナマティは、AxDNNにおけるエネルギー効率と耐障害性の間のトレードオフを探究する上で大きな課題となる。 そこで我々は,最先端のEvoapprox8b符号乗算器を用いて,様々なAxDNNの階層的およびビット的フォールトレジリエンスとエネルギー解析を行う。 特に、最も広く使われているmnistデータセットとファッションmnistデータセットを用いて、stuck-at-0、stuck-at-1フォールトビット位置、アクティベーション関数が異なる。 定量的解析により,AxDNNの精度低下はDNNの精度向上に寄与することが示された。 例えば、AxDNNの恒久的な欠陥は66\%の精度の損失をもたらすが、同じ欠陥ビットは正確なDNNアクセラレーターにおいてわずか9\%の精度の損失をもたらす。 その結果,AxDNNの耐故障性はエネルギー効率に直交していることがわかった。

Systolic array-based deep neural network (DNN) accelerators have recently gained prominence for their low computational cost. However, their high energy consumption poses a bottleneck to their deployment in energy-constrained devices. To address this problem, approximate computing can be employed at the cost of some tolerable accuracy loss. However, such small accuracy variations may increase the sensitivity of DNNs towards undesired subtle disturbances, such as permanent faults. The impact of permanent faults in accurate DNNs has been thoroughly investigated in the literature. Conversely, the impact of permanent faults in approximate DNN accelerators (AxDNNs) is yet under-explored. The impact of such faults may vary with the fault bit positions, activation functions and approximation errors in AxDNN layers. Such dynamacity poses a considerable challenge to exploring the trade-off between their energy efficiency and fault resilience in AxDNNs. Towards this, we present an extensive layer-wise and bit-wise fault resilience and energy analysis of different AxDNNs, using the state-of-the-art Evoapprox8b signed multipliers. In particular, we vary the stuck-at-0, stuck-at-1 fault-bit positions, and activation functions to study their impact using the most widely used MNIST and Fashion-MNIST datasets. Our quantitative analysis shows that the permanent faults exacerbate the accuracy loss in AxDNNs when compared to the accurate DNN accelerators. For instance, a permanent fault in AxDNNs can lead up to 66\% accuracy loss, whereas the same faulty bit can lead to only 9\% accuracy loss in an accurate DNN accelerator. Our results demonstrate that the fault resilience in AxDNNs is orthogonal to the energy efficiency.
翻訳日:2021-04-10 05:10:40 公開日:2021-01-08
# 株取引ルール学習のための強化学習型エンコーダ・デコーダフレームワーク

A Reinforcement Learning Based Encoder-Decoder Framework for Learning Stock Trading Rules ( http://arxiv.org/abs/2101.03867v1 )

ライセンス: Link先を確認
Mehran Taghian, Ahmad Asadi, Reza Safabakhsh(参考訳) 収益性のある投資戦略を学ぶために、drl(deep reinforcement learning)モデルが最近提案されている。 これらのモデルによって得られたルールは、特に高周波取引環境で以前の戦略より優れている。 しかし, 長期の原価変動から抽出した特徴の質が, これらのモデルで学習した取引ルールの性能に大きく影響していることが示されている。 複雑な入力時系列から情報的特徴を抽出するためにニューラルエンコーダ・デコーダ構造を用いることは、ニューラルマシン翻訳や同様の問題に直面するビデオキャプションといった他の一般的なタスクに非常に効果的であることが証明された。 エンコーダデコーダフレームワークは、抽出した特徴に基づいて出力を生成する方法を学ぶとともに、長い価格列から高い情報的特徴を抽出する。 本稿では、DRLと組み合わせたニューラルエンコーダ・デコーダ・フレームワークに基づく新しいエンドツーエンドモデルを提案し、楽器の長期の原価から単一楽器取引戦略を学習する。 提案モデルは,入力シーケンスから情報的特徴を学習する神経構造であるエンコーダと,エンコーダが抽出した特徴に基づいて収益戦略を学習するDRLモデルであるデコーダとから構成される。 エンコーダとデコーダ構造のパラメータを共に学習することにより、デコーダDRLのタスクに適合する特徴を抽出することができる。 さらに,エンコーダの異なる構造と入力シーケンスの様々な形態が学習戦略の性能に及ぼす影響について検討した。 実験の結果, 提案モデルは, 動的環境において他の最先端モデルよりも優れていることがわかった。

A wide variety of deep reinforcement learning (DRL) models have recently been proposed to learn profitable investment strategies. The rules learned by these models outperform the previous strategies specially in high frequency trading environments. However, it is shown that the quality of the extracted features from a long-term sequence of raw prices of the instruments greatly affects the performance of the trading rules learned by these models. Employing a neural encoder-decoder structure to extract informative features from complex input time-series has proved very effective in other popular tasks like neural machine translation and video captioning in which the models face a similar problem. The encoder-decoder framework extracts highly informative features from a long sequence of prices along with learning how to generate outputs based on the extracted features. In this paper, a novel end-to-end model based on the neural encoder-decoder framework combined with DRL is proposed to learn single instrument trading strategies from a long sequence of raw prices of the instrument. The proposed model consists of an encoder which is a neural structure responsible for learning informative features from the input sequence, and a decoder which is a DRL model responsible for learning profitable strategies based on the features extracted by the encoder. The parameters of the encoder and the decoder structures are learned jointly, which enables the encoder to extract features fitted to the task of the decoder DRL. In addition, the effects of different structures for the encoder and various forms of the input sequences on the performance of the learned strategies are investigated. Experimental results showed that the proposed model outperforms other state-of-the-art models in highly dynamic environments.
翻訳日:2021-04-10 05:09:55 公開日:2021-01-08
# 因子グラフを用いた多体系のモデリングと動的シミュレーションのための汎用フレームワーク

A general framework for modeling and dynamic simulation of multibody systems using factor graphs ( http://arxiv.org/abs/2101.02874v1 )

ライセンス: Link先を確認
Jos\'e-Luis Blanco-Claraco, Antonio Leanza, Giulio Reina(参考訳) 本稿では,多体系の運動学的および動的問題を解くために,因子グラフ理論を基礎とした新しい汎用フレームワークを提案する。 多体系の運動はよく研究された問題であり、その解法として様々な方法が提案されているが、直感的な解釈を提供する統一的なアプローチはいまだに追求されている。 独立座標と依存座標の両方を用いて多体系をモデル化・シミュレートするための因子グラフの構築方法について述べる。 そこで, バッチ最適化や固定ラグ・スモーザーを応用して, 非線形最小化問題を解くことができる。 提案したフレームワークは、広範囲なシミュレーションでテストされ、商用マルチボディソフトウェアに対して検証されている。 我々はGTSAMフレームワークに基づいたオープンソースのC++ライブラリとして参照実装をリリースする。 前方および逆ダイナミクスのシミュレーションが提示され、古典的アプローチと同等の精度を示す。 提案した因子グラフベースのフレームワークは,機構から車両,ロボットマニピュレータに至るまで,複雑な機械系の動作推定やパラメータ同定に関連するアプリケーションに統合される可能性がある。

In this paper, we present a novel general framework grounded in the factor graph theory to solve kinematic and dynamic problems for multi-body systems. Although the motion of multi-body systems is considered to be a well-studied problem and various methods have been proposed for its solution, a unified approach providing an intuitive interpretation is still pursued. We describe how to build factor graphs to model and simulate multibody systems using both, independent and dependent coordinates. Then, batch optimization or a fixed-lag-smoother can be applied to solve the underlying optimization problem that results in a highly-sparse nonlinear minimization problem. The proposed framework has been tested in extensive simulations and validated against a commercial multibody software. We release a reference implementation as an open-source C++ library, based on the GTSAM framework, a well-known estimation library. Simulations of forward and inverse dynamics are presented, showing comparable accuracy with classical approaches. The proposed factor graph-based framework has the potential to be integrated into applications related with motion estimation and parameter identification of complex mechanical systems, ranging from mechanisms to vehicles, or robot manipulators.
翻訳日:2021-04-10 05:09:16 公開日:2021-01-08
# adversarial attack attribution: atributable signal in adversarial ml attack

Adversarial Attack Attribution: Discovering Attributable Signals in Adversarial ML Attacks ( http://arxiv.org/abs/2101.02899v1 )

ライセンス: Link先を確認
Marissa Dotter, Sherry Xie, Keith Manville, Josh Harguess, Colin Busho, Mikel Rodriguez(参考訳) 機械学習(ML)モデルは敵の入力に弱いことが知られており、研究者は自動運転車やML-as-a-service製品のようなプロダクションシステムでさえ受け入れがたいことを実証している。 これらのシステムは悪役の標的である。 その破壊は、実際の物理的および経済的損害を引き起こす可能性がある。 プロダクションMLシステムに対する攻撃が発生した場合、攻撃を責任ある脅威グループに属性付ける能力は、応答を定式化し、攻撃者が責任を負うための重要なステップである。 敵に摂動された入力は、攻撃を生成するために使われる特定の方法に起因できるだろうか? 言い換えれば、攻撃アルゴリズムやモデルアーキテクチャ、あるいは攻撃で使用されるハイパーパラメータを公開する、これらの攻撃で信号を見つける方法があるのだろうか? そこで本研究では,敵対攻撃における帰属可能な信号の発見可能性を検討するための,単純な教師付き学習実験フレームワークを提案する。 CIFAR-10とMNISTの両方のデータセット上で、異なる攻撃アルゴリズム、モデル、ハイパーパラメータで生成された攻撃を区別することが可能である。

Machine Learning (ML) models are known to be vulnerable to adversarial inputs and researchers have demonstrated that even production systems, such as self-driving cars and ML-as-a-service offerings, are susceptible. These systems represent a target for bad actors. Their disruption can cause real physical and economic harm. When attacks on production ML systems occur, the ability to attribute the attack to the responsible threat group is a critical step in formulating a response and holding the attackers accountable. We pose the following question: can adversarially perturbed inputs be attributed to the particular methods used to generate the attack? In other words, is there a way to find a signal in these attacks that exposes the attack algorithm, model architecture, or hyperparameters used in the attack? We introduce the concept of adversarial attack attribution and create a simple supervised learning experimental framework to examine the feasibility of discovering attributable signals in adversarial attacks. We find that it is possible to differentiate attacks generated with different attack algorithms, models, and hyperparameters on both the CIFAR-10 and MNIST datasets.
翻訳日:2021-04-10 05:08:40 公開日:2021-01-08
# 深層学習モデルでは、共同ファウンダーによるX線画像からCovid-19を分離できる

Deep Learning Models May Spuriously Classify Covid-19 from X-ray Images Based on Confounders ( http://arxiv.org/abs/2102.04300v1 )

ライセンス: Link先を確認
Kaoutar Ben Ahmed, Lawrence O. Hall, Dmitry B. Goldgof, Gregory M. Goldgof, Rahul Paul(参考訳) コビッドウイルスに感染したウイルスの特定は、感染拡大を抑える上で重要である。 x線装置は世界中で広く利用可能であり、診断に使用できる画像を迅速に提供することができる。 近年の研究では、深層学習を用いて高精度なモデルを構築し、胸部X線画像からCovid-19を検出できると主張している。 本稿では,肺野を採取した生胸部X線画像(AP/PA)からCovid-19病を診断するための畳み込みニューラルネットワークモデルの堅牢性と一般化能力について検討する。 いくつかの観察は、Covid-19陽性と負のラベルの区別において、患者の肺病理ではなく、データソースに関連する相反する特徴に依存することを学習したハイパフォーマンスモデルに関するものである。 特に、これらのモデルでは、医学的な関連情報ではなく、患者の年齢や画像処理成果物といった相反する要因に基づいて診断を行った可能性が高い。

Identifying who is infected with the Covid-19 virus is critical for controlling its spread. X-ray machines are widely available worldwide and can quickly provide images that can be used for diagnosis. A number of recent studies claim it may be possible to build highly accurate models, using deep learning, to detect Covid-19 from chest X-ray images. This paper explores the robustness and generalization ability of convolutional neural network models in diagnosing Covid-19 disease from frontal-view (AP/PA), raw chest X-ray images that were lung field cropped. Some concerning observations are made about high performing models that have learned to rely on confounding features related to the data source, rather than the patient's lung pathology, when differentiating between Covid-19 positive and negative labels. Specifically, these models likely made diagnoses based on confounding factors such as patient age or image processing artifacts, rather than medically relevant information.
翻訳日:2021-04-10 05:08:22 公開日:2021-01-08
# 深層交通流予測のための変形可能な畳み込みによる空間非定常のモデル化

Modeling Spatial Nonstationarity via Deformable Convolutions for Deep Traffic Flow Prediction ( http://arxiv.org/abs/2101.12010v1 )

ライセンス: Link先を確認
Wei Zeng, Chengqiao Lin, Kang Liu, Juncong Lin, Anthony K. H. Tung(参考訳) ディープニューラルネットワークは短期的なトラフィックフロー予測にますます使われている。 既存の畳み込みに基づくアプローチは通常、下層の領域を格子状の空間単位に分割し、標準畳み込みを用いて単位間の空間依存を学習する。 しかし、固定幾何構造を持つ標準畳み込みは局所交通流の非定常特性を完全にモデル化することはできない。 この不足を克服するために,空間的サンプリング位置を付加オフセットで拡張する変形可能な畳み込みを導入することで,空間的非定常性のモデル化能力を向上させる。 本研究では,大域空間依存性,局所空間非定常性,交通流の時間周期性を効果的にモデル化できる深部変形可能な畳み込み残差ネットワークであるDeFlow-Netを設計する。 さらに,コンボリューションに適合するため,まず関心領域に応じてトラフィックフローを集約し,次にネットワーク入力のために順次整理したラスタ画像に配置することを提案する。 実世界の交通流に関する大規模な実験により、DeFlow-Netは標準畳み込みを用いて既存のソリューションよりも優れており、先入観領域による空間分割により性能がさらに向上することが示された。 最後に,空間的自己相関の維持におけるDeFlow-Netの利点を実証し,分割形状やスケールが交通流の深部予測に与える影響を明らかにする。

Deep neural networks are being increasingly used for short-term traffic flow prediction. Existing convolution-based approaches typically partition an underlying territory into grid-like spatial units, and employ standard convolutions to learn spatial dependence among the units. However, standard convolutions with fixed geometric structures cannot fully model the nonstationary characteristics of local traffic flows. To overcome the deficiency, we introduce deformable convolution that augments the spatial sampling locations with additional offsets, to enhance the modeling capability of spatial nonstationarity. On this basis, we design a deep deformable convolutional residual network, namely DeFlow-Net, that can effectively model global spatial dependence, local spatial nonstationarity, and temporal periodicity of traffic flows. Furthermore, to fit better with convolutions, we suggest to first aggregate traffic flows according to pre-conceived regions of interest, then dispose to sequentially organized raster images for network input. Extensive experiments on real-world traffic flows demonstrate that DeFlow-Net outperforms existing solutions using standard convolutions, and spatial partition by pre-conceived regions further enhances the performance. Finally, we demonstrate the advantage of DeFlow-Net in maintaining spatial autocorrelation, and reveal the impacts of partition shapes and scales on deep traffic flow prediction.
翻訳日:2021-04-10 05:08:07 公開日:2021-01-08
# 事前学習した文脈言語モデルによるミススペル訂正

Misspelling Correction with Pre-trained Contextual Language Model ( http://arxiv.org/abs/2101.03204v1 )

ライセンス: Link先を確認
Yifei Hu, Xiaonan Jing, Youlim Ko, Julia Taylor Rayz(参考訳) 綴りミスとして知られる散文の不規則さは、数世紀にわたって見つかっている。 人間として、文中のその位置、知覚された発音、文脈に基づいて、誤解された単語のほとんどを理解できます。 人間とは異なり、コンピュータシステムは人間の脳が使える便利なオートコンプリート機能を持っていない。 多くのプログラムはスペル修正機能を提供しているが、多くのシステムは文脈を考慮していない。 さらに、人工知能システムは訓練のやり方で機能する。 文法的に正しいテキストデータに基づいて訓練された現在の自然言語処理(NLP)システムの多くは、敵対的な例に弱いが、正しく綴られたテキスト処理は学習に不可欠である。 本稿では,事前学習した言語モデルBERTを用いて,スペルエラーの文脈修正について検討する。 BERTと編集距離アルゴリズムに基づく2つの実験を行い、候補修正のランク付けと選択を行う。 実験の結果,BERTの文脈単語埋め込みと編集距離を適切に組み合わせることで,スペルエラーを効果的に修正できることがわかった。

Spelling irregularities, known now as spelling mistakes, have been found for several centuries. As humans, we are able to understand most of the misspelled words based on their location in the sentence, perceived pronunciation, and context. Unlike humans, computer systems do not possess the convenient auto complete functionality of which human brains are capable. While many programs provide spelling correction functionality, many systems do not take context into account. Moreover, Artificial Intelligence systems function in the way they are trained on. With many current Natural Language Processing (NLP) systems trained on grammatically correct text data, many are vulnerable against adversarial examples, yet correctly spelled text processing is crucial for learning. In this paper, we investigate how spelling errors can be corrected in context, with a pre-trained language model BERT. We present two experiments, based on BERT and the edit distance algorithm, for ranking and selecting candidate corrections. The results of our experiments demonstrated that when combined properly, contextual word embeddings of BERT and edit distance are capable of effectively correcting spelling errors.
翻訳日:2021-04-10 05:07:44 公開日:2021-01-08
# 人工知能によるスマートラーニング

Artificial Intelligence enabled Smart Learning ( http://arxiv.org/abs/2101.02991v1 )

ライセンス: Link先を確認
Faisal Khan and Debdeep Bose(参考訳) 人工知能(ai、artificial intelligence)は、人工知能を扱うコンピュータ科学の分野である。 個々の学生、教師、および学術スタッフから収集された膨大なデータを分析するのに役立つため、AIを学習の文脈に持ち込むことは不可欠である。 教育におけるAI導入の主な優先事項は、既存のデジタル技術の革新的利用と、従来の教育方法を大幅に改善する教育実践である。 伝統的学習の主な問題は、クラス内のすべての生徒に適合できないことである。 概念をよく理解する生徒もいれば、概念を理解するのが難しい生徒もいれば、聴覚や視覚の学習者もいる。 世界銀行教育報告書は、この問題によって生じた学習ギャップが多くの学生を退学させることを示した(world development report, 2018)。 パーソナライズドラーニングはこの墓問題を解くことができた。

Artificial Intelligence (AI) is a discipline of computer science that deals with machine intelligence. It is essential to bring AI into the context of learning because it helps in analysing the enormous amounts of data that is collected from individual students, teachers and academic staff. The major priorities of implementing AI in education are making innovative use of existing digital technologies for learning, and teaching practices that significantly improve traditional educational methods. The main problem with traditional learning is that it cannot be suited to every student in class. Some students may grasp the concepts well, while some may have difficulties in understanding them and some may be more auditory or visual learners. The World Bank report on education has indicated that the learning gap created by this problem causes many students to drop out (World Development Report, 2018). Personalised learning has been able to solve this grave problem.
翻訳日:2021-04-10 05:07:29 公開日:2021-01-08
# 患者の転倒リスクを減らすための病院の部屋レイアウトの最適化

Optimizing Hospital Room Layout to Reduce the Risk of Patient Falls ( http://arxiv.org/abs/2101.03210v1 )

ライセンス: Link先を確認
Sarvenaz Chaeibakhsh, Roya Sabbagh Novin, Tucker Hermans, Andrew Merryweather and Alan Kuntz(参考訳) 病室での転倒に関する長年の研究にもかかわらず、転倒と関連するケガは患者の安全性に深刻な懸念を抱いている。 本研究では,転倒のリスクを最小限に抑えるため,病院室内レイアウトの生成と再構成を行うため,勾配のない制約付き最適化問題を定式化する。 本研究は, 病院の転倒モデルに基づくコスト関数を定義し, 患者の周囲の物体の支持的あるいは有害な影響を考慮し, 室内の患者軌道をシミュレーションする。 アーキテクチャガイドラインに従って生成された部屋レイアウトの機能を保証する制約セットを定義する。 シミュレーションアニールの変種を用いて効率よくこの問題を解く。 本研究は,2種類の実生活型病院において,従来の病室配置と比較した場合の平均転倒リスクが18%,ランダムに発生した場合が41%,有意な改善がみられた。

Despite years of research into patient falls in hospital rooms, falls and related injuries remain a serious concern to patient safety. In this work, we formulate a gradient-free constrained optimization problem to generate and reconfigure the hospital room interior layout to minimize the risk of falls. We define a cost function built on a hospital room fall model that takes into account the supportive or hazardous effect of the patient's surrounding objects, as well as simulated patient trajectories inside the room. We define a constraint set that ensures the functionality of the generated room layouts in addition to conforming to architectural guidelines. We solve this problem efficiently using a variant of simulated annealing. We present results for two real-world hospital room types and demonstrate a significant improvement of 18% on average in patient fall risk when compared with a traditional hospital room layout and 41% when compared with randomly generated layouts.
翻訳日:2021-04-10 05:07:16 公開日:2021-01-08
# Octave Mix: 周波数分解によるデータ拡張による活動認識

Octave Mix: Data augmentation using frequency decomposition for activity recognition ( http://arxiv.org/abs/2101.02882v1 )

ライセンス: Link先を確認
Tatsuhito Hasegawa(参考訳) 活動認識研究の分野では,センサデータの大量収集は困難であるが,データ拡張(da)についてはあまり議論されていない。 本研究では,センサを用いた行動認識のための新しい合成型DA手法としてOctave Mixを提案する。 Octave Mixは、周波数分解を用いて低周波と高周波の波形を交差させることにより、2種類の波形を組み合わせた単純なDA法である。 さらに,DAアンサンブルモデルとそのトレーニングアルゴリズムを提案し,多様な特徴表現を維持しつつ,元のセンサデータに対する堅牢性を取得する。 センサベース行動認識の4つのベンチマークデータセットを用いて,提案手法の有効性を評価する実験を行った。 その結果,提案手法は最適な推定精度を得た。 さらに,2つのDA戦略:Octave Mixと回転の混合,回転の混合により,精度の高いDA戦略を実現することができた。

In the research field of activity recognition, although it is difficult to collect a large amount of measured sensor data, there has not been much discussion about data augmentation (DA). In this study, I propose Octave Mix as a new synthetic-style DA method for sensor-based activity recognition. Octave Mix is a simple DA method that combines two types of waveforms by intersecting low and high frequency waveforms using frequency decomposition. In addition, I propose a DA ensemble model and its training algorithm to acquire robustness to the original sensor data while remaining a wide variety of feature representation. I conducted experiments to evaluate the effectiveness of my proposed method using four different benchmark datasets of sensing-based activity recognition. As a result, my proposed method achieved the best estimation accuracy. Furthermore, I found that ensembling two DA strategies: Octave Mix with rotation and mixup with rotation, make it possible to achieve higher accuracy.
翻訳日:2021-04-10 05:07:02 公開日:2021-01-08
# 残差ネットワークは、その神経過渡力学に基づく入力を分類する

Residual networks classify inputs based on their neural transient dynamics ( http://arxiv.org/abs/2101.03009v1 )

ライセンス: Link先を確認
Fereshteh Lagzi(参考訳) 本研究では,残余ネットワークの入力・出力挙動を動的システムの観点から解析し,残余ダイナミクスを分類段階前に出力アクティビティから切り離すことにより解析する。 各層間の簡単なスキップ接続とロジスティック活性化関数、および層間の共有重みを持つネットワークに対して、各入力次元に対応する残差間の協調と競合ダイナミクスが存在することを解析的に示す。 これらのネットワークを非線形フィルタとして解釈すると、アトラクターネットワークの場合の残差の定常状態値は、トレーニング中にネットワークが観察した異なる入力次元間の共通特徴を示し、それらのコンポーネントに符号化されている。 残差がアトラクタ状態に収束しない場合、その内部ダイナミクスは各入力クラスで分離可能であり、ネットワークは確実に出力を近似することができる。 我々は、残差ネットワークが残差の過渡的ダイナミクスの統合に基づいて入力を分類する分析的および実証的な証拠をもたらし、入力の摂動に対してネットワークがどのように反応するかを示す。 ResNetとMulti-Layer Perceptronのネットワークダイナミクスを比較し、これらのネットワークでは内部力学とノイズの進化が根本的に異なり、ResNetはノイズの多い入力に対してより堅牢であることを示す。 これらの結果に基づき,訓練中の残留ネットワークの深さを調整できる新しい手法を開発した。 その結果、このアルゴリズムを用いてResNetの深さを解析した後、ネットワークは高い精度で入力を分類できることがわかった。

In this study, we analyze the input-output behavior of residual networks from a dynamical system point of view by disentangling the residual dynamics from the output activities before the classification stage. For a network with simple skip connections between every successive layer, and for logistic activation function, and shared weights between layers, we show analytically that there is a cooperation and competition dynamics between residuals corresponding to each input dimension. Interpreting these kind of networks as nonlinear filters, the steady state value of the residuals in the case of attractor networks are indicative of the common features between different input dimensions that the network has observed during training, and has encoded in those components. In cases where residuals do not converge to an attractor state, their internal dynamics are separable for each input class, and the network can reliably approximate the output. We bring analytical and empirical evidence that residual networks classify inputs based on the integration of the transient dynamics of the residuals, and will show how the network responds to input perturbations. We compare the network dynamics for a ResNet and a Multi-Layer Perceptron and show that the internal dynamics, and the noise evolution are fundamentally different in these networks, and ResNets are more robust to noisy inputs. Based on these findings, we also develop a new method to adjust the depth for residual networks during training. As it turns out, after pruning the depth of a ResNet using this algorithm,the network is still capable of classifying inputs with a high accuracy.
翻訳日:2021-04-10 05:06:47 公開日:2021-01-08
# テキストに基づく人物検索のための実大規模表現における文脈非局所アライメント

Contextual Non-Local Alignment over Full-Scale Representation for Text-Based Person Search ( http://arxiv.org/abs/2101.03036v1 )

ライセンス: Link先を確認
Chenyang Gao, Guanyu Cai, Xinyang Jiang, Feng Zheng, Jun Zhang, Yifei Gong, Pai Peng, Xiaowei Guo, Xing Sun(参考訳) テキストベースの人物検索は、その人物の記述文を用いて画像ギャラリーで対象者を検索することを目的としている。 モーダルギャップによって識別的特徴の抽出がより困難になるため、非常に困難である。 また,歩行者画像と記述のクラス間差異も小さい。 あらゆるスケールで視覚的およびテキスト的手がかりを調整するには、包括的な情報が必要である。 既存のほとんどの手法は、画像とテキストの局所的なアライメントを単一のスケール(例)で考えるだけである。 グローバルスケールのみまたは部分スケールのみ) は、各スケールでアライメントを個別に構築する。 この問題に対処するために,NAFS (Non-local Alignment over Full-Scale representations) と呼ばれる,すべてのスケールで画像とテキストの特徴を適応的にアライメントできる手法を提案する。 まず,本格的画像特徴を局所性良く抽出するために,新しい階段ネットワーク構造を提案する。 次に、局所性に制約のあるBERTを提案し、異なるスケールで記述の表現を得る。 そして、各スケールで個別に特徴をアライメントするのではなく、すべてのスケールにわたる潜在アライメントを同時に発見するために、新しい文脈的非局所的アライメント機構を適用する。 実験の結果,本手法はテキストベースの人物検索データセットにおいて,トップ1と5.35%で最先端の手法を5.53%上回ることがわかった。 コードはhttps://github.com/T encentYoutuResearch/ PersonReID-NAFSで公開されている。

Text-based person search aims at retrieving target person in an image gallery using a descriptive sentence of that person. It is very challenging since modal gap makes effectively extracting discriminative features more difficult. Moreover, the inter-class variance of both pedestrian images and descriptions is small. So comprehensive information is needed to align visual and textual clues across all scales. Most existing methods merely consider the local alignment between images and texts within a single scale (e.g. only global scale or only partial scale) then simply construct alignment at each scale separately. To address this problem, we propose a method that is able to adaptively align image and textual features across all scales, called NAFS (i.e.Non-local Alignment over Full-Scale representations). Firstly, a novel staircase network structure is proposed to extract full-scale image features with better locality. Secondly, a BERT with locality-constrained attention is proposed to obtain representations of descriptions at different scales. Then, instead of separately aligning features at each scale, a novel contextual non-local attention mechanism is applied to simultaneously discover latent alignments across all scales. The experimental results show that our method outperforms the state-of-the-art methods by 5.53% in terms of top-1 and 5.35% in terms of top-5 on text-based person search dataset. The code is available at https://github.com/T encentYoutuResearch/ PersonReID-NAFS
翻訳日:2021-04-10 05:06:22 公開日:2021-01-08
# InMoDeGAN:ビデオ生成のための解釈可能な動き分解生成用逆数ネットワーク

InMoDeGAN: Interpretable Motion Decomposition Generative Adversarial Network for Video Generation ( http://arxiv.org/abs/2101.03049v1 )

ライセンス: Link先を確認
Yaohui Wang, Francois Bremond, Antitza Dantcheva(参考訳) 本稿では,(a)高品質な映像を生成すること,(b)潜在空間の解釈を可能にすることを目的とした,無条件ビデオ生成モデルinmodeganを提案する。 後者では,動作の解釈と操作に重点を置いている。 そこで我々は,動作をセマンティックな部分空間に分解し,生成したサンプルの制御を可能にする。 動きを辞書で表現できると仮定し, 関連ベクトルが潜在空間に直交基底を形成するような線形運動分解法に基づいて, インモデガン生成器のアーキテクチャを設計する。 基底の各ベクトルは意味的部分空間を表す。 さらに、時間ピラミッド判別器は、異なる時間分解能でビデオを解析する。 我々のモデルは,VoxCeleb2-mini および BAIR-robot データセット w.r.t において,最先端の手法を体系的に,かつ著しく上回ることを示す。 a)に関連するビデオの品質。 b) 分割された部分空間が解釈可能であり、さらに生成された動きが制御可能であることを確認する実験結果を示す。

In this work, we introduce an unconditional video generative model, InMoDeGAN, targeted to (a) generate high quality videos, as well as to (b) allow for interpretation of the latent space. For the latter, we place emphasis on interpreting and manipulating motion. Towards this, we decompose motion into semantic sub-spaces, which allow for control of generated samples. We design the architecture of InMoDeGAN-generator in accordance to proposed Linear Motion Decomposition, which carries the assumption that motion can be represented by a dictionary, with related vectors forming an orthogonal basis in the latent space. Each vector in the basis represents a semantic sub-space. In addition, a Temporal Pyramid Discriminator analyzes videos at different temporal resolutions. Extensive quantitative and qualitative analysis shows that our model systematically and significantly outperforms state-of-the-art methods on the VoxCeleb2-mini and BAIR-robot datasets w.r.t. video quality related to (a). Towards (b) we present experimental results, confirming that decomposed sub-spaces are interpretable and moreover, generated motion is controllable.
翻訳日:2021-04-10 05:06:03 公開日:2021-01-08
# 実世界Few-Shot認識のための浅ベイズメタ学習

Shallow Bayesian Meta Learning for Real-World Few-Shot Recognition ( http://arxiv.org/abs/2101.02833v1 )

ライセンス: Link先を確認
Xueting Zhang, Debin Meng, Henry Gouk, Timothy Hospedales(参考訳) 現在最先端の数ショット学習者は、例えば単純なものを使う前に、特徴表現の効果的な訓練手順の開発に注力している。 最寄りのセントロイド 分類器 本稿では,使用する特徴に依存しない直交アプローチを採用し,実際の分類層をメタ学習することに集中する。 具体的には,古典的な二次判別分析のベイズメタラーニング一般化であるmetaqdaを紹介する。 メタ学習は高速でメモリ効率が良く、機能を微調整する必要がない。 選択された既成の機能には依存せず、機能表現の進歩の恩恵を受け続けるだろう。 経験上、クロスドメインの少数ショット学習において堅牢なパフォーマンスをもたらすと同時に、現実世界のアプリケーションでは、予測における不確実性キャリブレーションが向上する。

Current state-of-the-art few-shot learners focus on developing effective training procedures for feature representations, before using simple, e.g. nearest centroid, classifiers. In this paper we take an orthogonal approach that is agnostic to the features used, and focus exclusively on meta-learning the actual classifier layer. Specifically, we introduce MetaQDA, a Bayesian meta-learning generalisation of the classic quadratic discriminant analysis. This setup has several benefits of interest to practitioners: meta-learning is fast and memory efficient, without the need to fine-tune features. It is agnostic to the off-the-shelf features chosen, and thus will continue to benefit from advances in feature representations. Empirically, it leads to robust performance in cross-domain few-shot learning and, crucially for real-world applications, it leads to better uncertainty calibration in predictions.
翻訳日:2021-04-10 05:05:25 公開日:2021-01-08
# バッチ正規化の学習促進に向けて:多様体的視点

Towards Accelerating Training of Batch Normalization: A Manifold Perspective ( http://arxiv.org/abs/2101.02916v1 )

ライセンス: Link先を確認
Mingyang Yi, Qi Meng, Wei Chen, Zhi-Ming Ma(参考訳) バッチ正規化(bn)は、さまざまなディープニューラルネットワークにおいて重要なコンポーネントとなっている。 BN を持つネットワークは、重みの正の線形再スケーリングに不変であり、様々な重みのスケールを持つ無限の機能的に等価なネットワークが存在する。 しかし、これらの等価ネットワークを確率勾配勾配のような一階法で最適化することは、トレーニング間の異なる勾配のために異なる局所最適に収束する。 これを緩和するために、bn を持つネットワークの等価重みを全て同一の要素とみなす商多様体 \emph{psi manifold} を提案する。 また, PSI多様体上の勾配勾配勾配と確率勾配勾配も構築した。 この2つのアルゴリズムは、等価重みのすべての群(正に再スケーリングによって生じる)が等価オプティマに収束することを保証している。 さらに、提案したアルゴリズムのPSI多様体への収束率を与え、ユークリッド重み空間上のアルゴリズムと比較してトレーニングを加速することを正当化する。 実験により, アルゴリズムは様々な実験環境において, 常に優れた性能を達成できることを示す。

Batch normalization (BN) has become a crucial component across diverse deep neural networks. The network with BN is invariant to positively linear re-scaling of weights, which makes there exist infinite functionally equivalent networks with various scales of weights. However, optimizing these equivalent networks with the first-order method such as stochastic gradient descent will converge to different local optima owing to different gradients across training. To alleviate this, we propose a quotient manifold \emph{PSI manifold}, in which all the equivalent weights of the network with BN are regarded as the same one element. Then, gradient descent and stochastic gradient descent on the PSI manifold are also constructed. The two algorithms guarantee that every group of equivalent weights (caused by positively re-scaling) converge to the equivalent optima. Besides that, we give the convergence rate of the proposed algorithms on PSI manifold and justify that they accelerate training compared with the algorithms on the Euclidean weight space. Empirical studies show that our algorithms can consistently achieve better performances over various experimental settings.
翻訳日:2021-04-10 05:05:11 公開日:2021-01-08
# BN不変シャープネスはより良い一般化のためにトレーニングモデルを正規化する

BN-invariant sharpness regularizes the training model to better generalization ( http://arxiv.org/abs/2101.02944v1 )

ライセンス: Link先を確認
Mingyang Yi, Huishuai Zhang, Wei Chen, Zhi-Ming Ma, Tie-Yan Liu(参考訳) より平らなミニマはより一般化できると考えられている。 しかし、例えばバッチ正規化層を持つネットワークのようなスケール不変のニューラルネットワークに対して、最小値が$\delta$のパラメータの球の最大値か損失の積分値のどちらかを考える通常のシャープネスの定義は一貫して測定できないことが指摘されている。 本稿では,まず,bn の等価ネットワークに対して一貫した値を与える bn-sharpness 尺度を提案する。 これにより、積分径とパラメータのスケールを接続することで、スケール不変性が得られる。 次に, BN-シャープ性(BN-シャープ性)を「シャープ」方向に沿った1次元積分で計算する計算効率のよい方法を提案する。 さらに,bnシャープネスを用いて学習を規則化し,新しい正規化目標を最小化するアルゴリズムを設計する。 本アルゴリズムは,バニラSGDよりも,様々な実験環境において優れた性能を実現する。

It is arguably believed that flatter minima can generalize better. However, it has been pointed out that the usual definitions of sharpness, which consider either the maxima or the integral of loss over a $\delta$ ball of parameters around minima, cannot give consistent measurement for scale invariant neural networks, e.g., networks with batch normalization layer. In this paper, we first propose a measure of sharpness, BN-Sharpness, which gives consistent value for equivalent networks under BN. It achieves the property of scale invariance by connecting the integral diameter with the scale of parameter. Then we present a computation-efficien t way to calculate the BN-sharpness approximately i.e., one dimensional integral along the "sharpest" direction. Furthermore, we use the BN-sharpness to regularize the training and design an algorithm to minimize the new regularized objective. Our algorithm achieves considerably better performance than vanilla SGD over various experiment settings.
翻訳日:2021-04-10 05:04:52 公開日:2021-01-08
# ベンチマーク機械学習:アルゴリズムの速度はどれくらいか?

Benchmarking Machine Learning: How Fast Can Your Algorithms Go? ( http://arxiv.org/abs/2101.03219v1 )

ライセンス: Link先を確認
Zeyu Ning, Hugues Nelson Iradukunda, Qingquan Zhang, Ting Zhu(参考訳) 本稿では,ベクトルキャッシュや並列実行など,機械学習の高速化における様々な手法の効果を評価することに焦点を当てる。 以下の内容は、以前のアプローチと我々の実験結果に関するいくつかのレビューを含む。

This paper is focused on evaluating the effect of some different techniques in machine learning speed-up, including vector caches, parallel execution, and so on. The following content will include some review of the previous approaches and our own experimental results.
翻訳日:2021-04-10 05:04:35 公開日:2021-01-08
# 条件付き生成モデルに基づくグループByクエリの近似クエリ処理

Approximate Query Processing for Group-By Queries based on Conditional Generative Models ( http://arxiv.org/abs/2101.02914v1 )

ライセンス: Link先を確認
Meifan Zhang and Hongzhi Wang(参考訳) Group-Byクエリは重要なクエリであり、データウェアハウス、データ分析、データ視覚化で広く使われている。 近似クエリ処理は、ビッグデータのクエリ効率を向上させる効果的な方法である。 グループバイクエリに対する回答は複数の値を含むため、すべてのグループに対して十分な正確な推定を行うのは難しい。 階層化サンプリングは、一様サンプリングに比べて精度が向上するが、特定のクエリで選択されたサンプルは他のクエリでは動作しない。 オンラインサンプリングはクエリ時に所定のクエリのサンプルを選択するが、長いレイテンシを必要とする。 したがって、正確性と効率性の両方を同時に達成することは困難である。 このような課題に直面した本研究では,条件付き生成モデルに基づくサンプル生成フレームワークを提案する。 サンプル生成フレームワークは、データにアクセスせずに、与えられたクエリのサンプルを何個も生成できる。 軽量モデルに基づく提案フレームワークは,階層化サンプリングやオンラインアグリゲーションと組み合わせることで,グループ別クエリの推定精度を向上させることができる。 実験の結果,提案手法は効率的かつ正確であることがわかった。

The Group-By query is an important kind of query, which is common and widely used in data warehouses, data analytics, and data visualization. Approximate query processing is an effective way to increase the querying efficiency on big data. The answer to a group-by query involves multiple values, which makes it difficult to provide sufficiently accurate estimations for all the groups. Stratified sampling improves the accuracy compared with the uniform sampling, but the samples chosen for some special queries cannot work for other queries. Online sampling chooses samples for the given query at query time, but it requires a long latency. Thus, it is a challenge to achieve both accuracy and efficiency at the same time. Facing such challenge, in this work, we propose a sample generation framework based on a conditional generative model. The sample generation framework can generate any number of samples for the given query without accessing the data. The proposed framework based on the lightweight model can be combined with stratified sampling and online aggregation to improve the estimation accuracy for group-by queries. The experimental results show that our proposed methods are both efficient and accurate.
翻訳日:2021-04-10 05:04:31 公開日:2021-01-08
# 作業メモリを効率的かつロバストに符号化するリカレントネットワークにおけるスロー多様体

Slow manifolds in recurrent networks encode working memory efficiently and robustly ( http://arxiv.org/abs/2101.03163v1 )

ライセンス: Link先を確認
Elham Ghazizadeh, ShiNung Ching(参考訳) ワーキングメモリ(working memory)は、潜在情報の保存と操作を短時間で行う認知機能であり、コンテキスト依存の計算には不可欠である。 本稿では,トップダウン・モデリング・アプローチを用いて,作業記憶のネットワークレベルのメカニズム,謎めいた問題,神経科学と機械知能の研究の中心的課題について検討する。 動作中のメモリタスクで何千ものリカレントニューラルネットワークをトレーニングし、次に続く最適化されたネットワーク上で動的システム解析を行い、そこで4つの異なる動的メカニズムが出現することを発見した。 特に,ネットワーク状態空間内の遅い安定多様体に沿って記憶がエンコードされる機構が出現し,記憶期間中に相性ニューロン活性化プロファイルが誘導されることを示す。 記憶が安定したアトラクションで直接符号化されるメカニズムとは対照的に、これらのネットワークは時間とともに刺激を忘れてしまう。 機能的に不利なように見えるが、アトラクタの景観をどのように活用するかという点では効率が良く、またパラドックス的にもノイズに対してかなり頑丈である。 この結果から,動作記憶関数が自然と人工のニューラルネットワークの両方でどのように符号化されているか,新たな動的仮説が得られた。

Working memory is a cognitive function involving the storage and manipulation of latent information over brief intervals of time, thus making it crucial for context-dependent computation. Here, we use a top-down modeling approach to examine network-level mechanisms of working memory, an enigmatic issue and central topic of study in neuroscience and machine intelligence. We train thousands of recurrent neural networks on a working memory task and then perform dynamical systems analysis on the ensuing optimized networks, wherein we find that four distinct dynamical mechanisms can emerge. In particular, we show the prevalence of a mechanism in which memories are encoded along slow stable manifolds in the network state space, leading to a phasic neuronal activation profile during memory periods. In contrast to mechanisms in which memories are directly encoded at stable attractors, these networks naturally forget stimuli over time. Despite this seeming functional disadvantage, they are more efficient in terms of how they leverage their attractor landscape and paradoxically, are considerably more robust to noise. Our results provide new dynamical hypotheses regarding how working memory function is encoded in both natural and artificial neural networks.
翻訳日:2021-04-10 05:04:15 公開日:2021-01-08
# Heteroscedasticity-a ware residuals-based contextual stochastic optimization

Heteroscedasticity-a ware residuals-based contextual stochastic optimization ( http://arxiv.org/abs/2101.03139v1 )

ライセンス: Link先を確認
Rohit Kannan and G\"uzin Bayraksan and James Luedtke(参考訳) データ駆動型文脈確率最適化のための統合学習および最適化フレームワークの一般化について検討する。 本研究では,2段階の確率混合整数プログラムを含む一連の確率プログラムに対して,この一般化が漸近的かつ有限なサンプル保証を有する確率プログラム,データ生成プロセス,および予測設定の条件を同定する。 我々は、一般的なパラメトリックおよび非パラメトリック回帰法に対する仮定が有効であることを検証する。

We explore generalizations of some integrated learning and optimization frameworks for data-driven contextual stochastic optimization that can adapt to heteroscedasticity. We identify conditions on the stochastic program, data generation process, and the prediction setup under which these generalizations possess asymptotic and finite sample guarantees for a class of stochastic programs, including two-stage stochastic mixed-integer programs with continuous recourse. We verify that our assumptions hold for popular parametric and nonparametric regression methods.
翻訳日:2021-04-10 05:03:54 公開日:2021-01-08
# 広ダイナミックレンジ画像を用いたトーンマッピングオペレータの検討

A review for Tone-mapping Operators on Wide Dynamic Range Image ( http://arxiv.org/abs/2101.03003v1 )

ライセンス: Link先を確認
Ziyi Liu(参考訳) 平均寿命のダイナミックレンジは120dbを超えるが、スマートフォンカメラと従来のデジタルカメラは90dbのダイナミックレンジしかキャプチャできないため、記録された画像の詳細が失われることもある。 現在、一部のプロのハードウェアアプリケーションと画像融合アルゴリズムはワイドダイナミックレンジ (WDR) に設計されているが、残念ながら既存のデバイスではWDR画像は表示できない。 トーンマッピング(TM)は,WDR画像を低ダイナミックレンジ(LDR)画像に変換する,通常のスクリーン上にWDR画像を表示するための重要なステップとなる。 この話題に注目する研究者はますます増えており、人間の目が受けることができる知覚と同様の詳細な画像を示す優れたトーンマッピング演算子(TMO)を設計する取り組みを行っている。 したがって,実践可能なTMOを提案する前に,TMの歴史,展開,動向を知ることが重要である。 本稿では,tmosを従来型および機械学習に基づくカテゴリに分類した,最もよく知られているtmosの包括的研究を行う。

The dynamic range of our normal life can exceeds 120 dB, however, the smart-phone cameras and the conventional digital cameras can only capture a dynamic range of 90 dB, which sometimes leads to loss of details for the recorded image. Now, some professional hardware applications and image fusion algorithms have been devised to take wide dynamic range (WDR), but unfortunately existing devices cannot display WDR image. Tone mapping (TM) thus becomes an essential step for exhibiting WDR image on our ordinary screens, which convert the WDR image into low dynamic range (LDR) image. More and more researchers are focusing on this topic, and give their efforts to design an excellent tone mapping operator (TMO), showing detailed images as the same as the perception that human eyes could receive. Therefore, it is important for us to know the history, development, and trend of TM before proposing a practicable TMO. In this paper, we present a comprehensive study of the most well-known TMOs, which divides TMOs into traditional and machine learning-based category.
翻訳日:2021-04-10 05:03:18 公開日:2021-01-08
# 知識AI:医療画像診断のための新しい医療AIソリューション

Knowledge AI: New Medical AI Solution for Medical image Diagnosis ( http://arxiv.org/abs/2101.03063v1 )

ライセンス: Link先を確認
Yingni Wang, Shuge Lei, Jian Dai and Kehong Yuan(参考訳) 医療用AIの実装は常に問題だった。 医療画像処理における従来の知覚AIアルゴリズムの効果を改善する必要がある。 本稿では、知覚AIと臨床知識と経験を組み合わせた知識AIの手法を提案する。 医用画像の幾何学的情報マイニングは,その経験と情報を表現し,医用画像の品質を評価することができる。

The implementation of medical AI has always been a problem. The effect of traditional perceptual AI algorithm in medical image processing needs to be improved. Here we propose a method of knowledge AI, which is a combination of perceptual AI and clinical knowledge and experience. Based on this method, the geometric information mining of medical images can represent the experience and information and evaluate the quality of medical images.
翻訳日:2021-04-10 05:02:58 公開日:2021-01-08
# ナノフォトニック構造の効率的な設計のための拡張性と微分情報を用いたベイズ最適化

Bayesian optimization with improved scalability and derivative information for efficient design of nanophotonic structures ( http://arxiv.org/abs/2101.02972v1 )

ライセンス: Link先を確認
Xavier Garcia-Santiago, Sven Burger, Carsten Rockstuhl, Philipp-Immanuel Schneider(参考訳) 我々は, ナノフォトニックデバイスの最適設計を求めるために, 前方形状微分とベイズ最適化のための反復反転スキームの組み合わせを提案する。 このアプローチは、ベイズ最適化の適用範囲を、より多くのイテレーションが必要であり、デリバティブ情報が利用可能である状況にまで広げる。 これは、パラメータ空間における次の評価点を特定するために必要な計算努力が、目的関数の実際の評価よりもはるかに大きいため、以前は現実的ではなかった。 導波路エッジカプラの最適化による手法の実装を示す。

We propose the combination of forward shape derivatives and the use of an iterative inversion scheme for Bayesian optimization to find optimal designs of nanophotonic devices. This approach widens the range of applicability of Bayesian optmization to situations where a larger number of iterations is required and where derivative information is available. This was previously impractical because the computational efforts required to identify the next evaluation point in the parameter space became much larger than the actual evaluation of the objective function. We demonstrate an implementation of the method by optimizing a waveguide edge coupler.
翻訳日:2021-04-10 05:01:59 公開日:2021-01-08
# ガウス過程多フォールドクロスバリデーション残差の高速計算とその共分散

Fast calculation of Gaussian Process multiple-fold cross-validation residuals and their covariances ( http://arxiv.org/abs/2101.03108v1 )

ライセンス: Link先を確認
David Ginsbourger and Cedric Sch\"arer(参考訳) 高速ガウス過程の残差式を複数倍のクロスバリデーションに一般化し, クロスバリデーション残差の共分散構造を広義に強調する。 Schur補数によるブロック行列の逆変換に依存するアプローチは、SimpleフレームワークとUniversal Krigingフレームワークの両方に適用される。 結果の共分散がモデル診断にどのように影響し、そもそも残差を適切に変換するかを説明する。 さらに,これらの残差間の依存性の計算がスケールパラメータのクロスバリデーションに基づく推定にどのように影響するかを検討する。 これは、スケール推定と擬似類似度によるより広い共分散パラメータ推定の2つのケースで見出され、クロスバリデーション残差間の共分散の補正は、最大推定またはその元の変動に遡る。 提案したGaussian Processの高速計算は、R言語で実装された単純な実装に対して実装され、ベンチマークされる。 数値実験は、我々のアプローチの正確さと、それを可能にする実質的なスピードアップを強調する。 しかし、計算コストの主な原動力に関する議論や専用の数値ベンチマークによって支持されるように、折りたたみ数(例えば、同じ大きさを共有するもの)が減少するにつれて、スピードアップは急激に減少する。 以上の結果から,高速な多次元交叉バリデーションを実現し,GPモデル診断の直接的な影響を生かし,将来のハイパーパラメータフィッティングや,目標指向の折り畳み設計の将来的な分野への道を開いた。

We generalize fast Gaussian process leave-one-out formulae to multiple-fold cross-validation, highlighting in turn in broad settings the covariance structure of cross-validation residuals. The employed approach, that relies on block matrix inversion via Schur complements, is applied to both Simple and Universal Kriging frameworks. We illustrate how resulting covariances affect model diagnostics and how to properly transform residuals in the first place. Beyond that, we examine how accounting for dependency between such residuals affect cross-validation-bas ed estimation of the scale parameter. It is found in two distinct cases, namely in scale estimation and in broader covariance parameter estimation via pseudo-likelihood, that correcting for covariances between cross-validation residuals leads back to maximum likelihood estimation or to an original variation thereof. The proposed fast calculation of Gaussian Process multiple-fold cross-validation residuals is implemented and benchmarked against a naive implementation, all in R language. Numerical experiments highlight the accuracy of our approach as well as the substantial speed-ups that it enables. It is noticeable however, as supported by a discussion on the main drivers of computational costs and by a dedicated numerical benchmark, that speed-ups steeply decline as the number of folds (say, all sharing the same size) decreases. Overall, our results enable fast multiple-fold cross-validation, have direct consequences in GP model diagnostics, and pave the way to future work on hyperparameter fitting as well as on the promising field of goal-oriented fold design.
翻訳日:2021-04-10 05:01:50 公開日:2021-01-08
# ポリシー勾配アルゴリズムによる低相関GPS拡散符号の学習

Learning Low-Correlation GPS Spreading Codes with a Policy Gradient Algorithm ( http://arxiv.org/abs/2101.02850v1 )

ライセンス: Link先を確認
Tara Yasmin Mina and Grace Xingxin Gao(参考訳) 次世代GPS IIIコンステレーションの誕生と、GPSの将来技術を探究する航法技術衛星3(NTS-3)の打ち上げにより、我々は衛星ナビゲーションの新しい時代に入った。 それに対応して、GPS拡散コードファミリーの設計方法を見直しる時が来た。 本研究では,コード系列を拡散する高品質なファミリを構成するガウス政策勾配に基づく強化学習アルゴリズムを開発した。 我々は,同じ長さのゴールドコードやヴェイユ符号のよく知られたファミリーよりも,平均2乗のオート・アンド・クロス・コリレーションを実現するアルゴリズムの能力を実証する。 さらに,同符号評価基準を割り当てた類似の遺伝的アルゴリズムの実装との比較を行った。 著者の知識を最大限に活用するため、これは機械学習/強化学習アプローチを使用してナビゲーション拡散コードを設計する最初の仕事である。

With the birth of the next-generation GPS III constellation and the upcoming launch of the Navigation Technology Satellite-3 (NTS-3) testing platform to explore future technologies for GPS, we are indeed entering a new era of satellite navigation. Correspondingly, it is time to revisit the design methods of the GPS spreading code families. In this work, we develop a Gaussian policy gradient-based reinforcement learning algorithm which constructs high-quality families of spreading code sequences. We demonstrate the ability of our algorithm to achieve better mean-squared auto- and cross-correlation than well-chosen families of equal-length Gold codes and Weil codes. Furthermore, we compare our algorithm with an analogous genetic algorithm implementation assigned the same code evaluation metric. To the best of the authors' knowledge, this is the first work to explore using a machine learning / reinforcement learning approach to design navigation spreading codes.
翻訳日:2021-04-10 05:01:23 公開日:2021-01-08
# ロバストで信頼できる機械学習システムの開発に向けて

Towards a Robust and Trustworthy Machine Learning System Development ( http://arxiv.org/abs/2101.03042v1 )

ライセンス: Link先を確認
Pulei Xiong, Scott Buffett, Shahrear Iqbal, Philippe Lamontagne, Mohammad Mamun, and Heather Molyneaux(参考訳) 機械学習(ML)技術は、サイバーセキュリティ、自動運転車の制御、ヘルスケアなど、多くのミッションクリティカルな分野に広く採用されている。 知的意思決定を支援する。 mlは、これらのアプリケーションにおける従来の方法よりも優れた性能を示しているが、ml固有のセキュリティ攻撃やプライバシ侵害に対するシステムのレジリエンスや、ユーザがこれらのシステムで持っている信頼に関する懸念が生じた。 本稿では、脅威モデリング、一般的な攻撃および防御技術、プライバシ保存機械学習、マシンラーニングのコンテキストにおけるユーザ信頼、MLモデルの堅牢性に関する経験的評価を含む、セキュアなMLシステム開発の全側面を網羅する、セキュリティエンジニアリングの観点から、最先端のML堅牢性と信頼性技術に関する最近の体系的かつ包括的な調査を紹介する。 次に、私たちは、ML実践者のための標準的で視覚化された方法で知識の体系を表すメタモデルを記述することで、調査を上向きに進めます。 さらに,古典的プロセスを拡張・スケールアップする汎用mlシステム開発の文脈において,組織的脅威分析とセキュリティ設計プロセスを導くためにメタモデルを活用する方法について説明する。 第3に,より堅牢で信頼性の高いMLシステムの開発を進めるための今後の研究方向性を提案する。 私たちの研究は、この分野の既存の調査と異なり、私たちの知る限り、(i)堅牢で信頼性の高いMLシステム開発をサポートするための基本的な原則とベストプラクティスを探求する、そして(ii)堅牢性とユーザ信頼の相互関係を、MLシステムのコンテキストで研究する、そのタイプのエンジニアリング活動の最初のものです。

Machine Learning (ML) technologies have been widely adopted in many mission critical fields, such as cyber security, autonomous vehicle control, healthcare, etc. to support intelligent decision-making. While ML has demonstrated impressive performance over conventional methods in these applications, concerns arose with respect to system resilience against ML-specific security attacks and privacy breaches as well as the trust that users have in these systems. In this article, firstly we present our recent systematic and comprehensive survey on the state-of-the-art ML robustness and trustworthiness technologies from a security engineering perspective, which covers all aspects of secure ML system development including threat modeling, common offensive and defensive technologies, privacy-preserving machine learning, user trust in the context of machine learning, and empirical evaluation for ML model robustness. Secondly, we then push our studies forward above and beyond a survey by describing a metamodel we created that represents the body of knowledge in a standard and visualized way for ML practitioners. We further illustrate how to leverage the metamodel to guide a systematic threat analysis and security design process in a context of generic ML system development, which extends and scales up the classic process. Thirdly, we propose future research directions motivated by our findings to advance the development of robust and trustworthy ML systems. Our work differs from existing surveys in this area in that, to the best of our knowledge, it is the first of its kind of engineering effort to (i) explore the fundamental principles and best practices to support robust and trustworthy ML system development; and (ii) study the interplay of robustness and user trust in the context of ML systems.
翻訳日:2021-04-10 05:01:08 公開日:2021-01-08
# Q-Learning Reinforcement Learning Agentを用いたSQL注入脆弱性の爆発シミュレーション

Simulating SQL Injection Vulnerability Exploitation Using Q-Learning Reinforcement Learning Agents ( http://arxiv.org/abs/2101.03118v1 )

ライセンス: Link先を確認
Laszlo Erdodi, {\AA}vald {\AA}slaugson Sommervoll, Fabio Massimo Zennaro(参考訳) 本稿では,SQLインジェクションの脆弱性を悪用するプロセスの最初の形式化を提案する。 我々は、この問題をセキュリティキャプチャー・ザ・フラッグの課題として捉え、SQLインジェクション攻撃のダイナミクスを単純化することを検討する。 我々はそれをマルコフ決定プロセスとしてモデル化し,強化学習問題として実装する。 我々は、エージェントが個々の課題を解決するための特定の戦略だけでなく、問題発生器によってランダムにインスタンス化されたシステムに対してsqlインジェクション攻撃を実行するために適用されるより汎用的なポリシーを学習するように、トレーニングを設計します。 課題の複雑さと学習エージェントの複雑さの関数として,学習方針の品質と収束時間の観点から結果を分析する。 私たちの研究は、自律的侵入テストとホワイトハットハッキングのためのインテリジェントエージェントの開発に関する広範な研究に当てはまり、セキュリティ環境での強化学習の可能性と限界を理解することを目的としています。

In this paper, we propose a first formalization of the process of exploitation of SQL injection vulnerabilities. We consider a simplification of the dynamics of SQL injection attacks by casting this problem as a security capture-the-flag challenge. We model it as a Markov decision process, and we implement it as a reinforcement learning problem. We then deploy different reinforcement learning agents tasked with learning an effective policy to perform SQL injection; we design our training in such a way that the agent learns not just a specific strategy to solve an individual challenge but a more generic policy that may be applied to perform SQL injection attacks against any system instantiated randomly by our problem generator. We analyze the results in terms of the quality of the learned policy and in terms of convergence time as a function of the complexity of the challenge and the learning agent's complexity. Our work fits in the wider research on the development of intelligent agents for autonomous penetration testing and white-hat hacking, and our results aim to contribute to understanding the potential and the limits of reinforcement learning in a security environment.
翻訳日:2021-04-10 05:00:22 公開日:2021-01-08
# 分子動力学力場構築のための対称性適応グラフニューラルネットワーク

Symmetry-adapted graph neural networks for constructing molecular dynamics force fields ( http://arxiv.org/abs/2101.02930v1 )

ライセンス: Link先を確認
Zun Wang, Chong Wang, Sibo Zhao, Shiqiao Du, Yong Xu, Bing-Lin Gu, Wenhui Duan(参考訳) 分子動力学は材料特性を探索する強力なシミュレーションツールである。 ほとんどの現実的な物質系は、第一原理分子動力学でシミュレートするには大きすぎる。 古典的分子動力学は計算コストは低いが、化学精度を達成するためには正確な力場を必要とする。 本研究では,分子と結晶の分子動力学シミュレーションのための力場を自動構築するために,分子動力学グラフニューラルネットワーク(MDGNN)と呼ばれる対称性適応グラフニューラルネットワークフレームワークを開発した。 このアーキテクチャは、シミュレーションにおける変換、回転、置換不変性を一貫して保持する。 高次寄与を含む新しい機能工学法を提案し,mdgnnが古典的および第一原理的分子動力学の結果を正確に再現することを示す。 また,モデルによって構築された力場は移動性が良好であることを実証する。 そのため、MDGNNは大規模システムの分子動力学シミュレーションを高精度に行うための効率的かつ有望な選択肢を提供する。

Molecular dynamics is a powerful simulation tool to explore material properties. Most of the realistic material systems are too large to be simulated with first-principles molecular dynamics. Classical molecular dynamics has lower computational cost but requires accurate force fields to achieve chemical accuracy. In this work, we develop a symmetry-adapted graph neural networks framework, named molecular dynamics graph neural networks (MDGNN), to construct force fields automatically for molecular dynamics simulations for both molecules and crystals. This architecture consistently preserves the translation, rotation and permutation invariance in the simulations. We propose a new feature engineering method including higher order contributions and show that MDGNN accurately reproduces the results of both classical and first-principles molecular dynamics. We also demonstrate that force fields constructed by the model has good transferability. Therefore, MDGNN provides an efficient and promising option for molecular dynamics simulations of large scale systems with high accuracy.
翻訳日:2021-04-10 04:59:26 公開日:2021-01-08
# ヒントによる空間的物体推薦:空間的粒度が問題となる場合

Spatial Object Recommendation with Hints: When Spatial Granularity Matters ( http://arxiv.org/abs/2101.02969v1 )

ライセンス: Link先を確認
Hui Luo, Jingbo Zhou, Zhifeng Bao, Shuangli Li, J. Shane Culpepper, Haochao Ying, Hao Liu, Hui Xiong(参考訳) 既存の空間オブジェクトリコメンデーションアルゴリズムは一般に、オブジェクトをランク付けする際に同一に扱う。 しかし、空間オブジェクトはしばしば異なる空間的粒度のレベルをカバーし、したがって不均一である。 例えば、あるユーザーは地域(マンハッタンなど)を推奨するが、別のユーザーは会場(レストランなど)を推奨する。 同じユーザーであっても、好みはデータ探索の異なる段階で変わる可能性がある。 本稿では,都市や郊外,建物など,空間的な粒度の異なる空間的物体を関心点(poi)として活用し,空間的粒度レベルでのtop-k空間的物体推薦を支援する方法について検討する。 この問題を解決するために,POI間の空間的包摂関係をキャプチャするPOI木を提案する。 我々はMPR(Multi-level POI Recommendation)と呼ばれる新しいマルチタスク学習モデルを設計し、各タスクは特定の空間的粒度レベルでトップk POIを返すことを目的としている。 各タスクは2つのサブタスクから構成される: (i)属性ベース表現学習; (ii)インタラクションベース表現学習。 最初のサブタスクはユーザとPOIの両方の機能表現を学び、プロファイルから直接属性をキャプチャする。 第2のサブタスクは、ユーザ-POIインタラクションをモデルに組み込む。 さらに、mprは、ユーザ-aspect、poi-aspect、interaction-aspectという3種類のヒントに基づいて、ユーザに推奨される理由に関する洞察を提供することができる。 我々は,2つの実時間データセットを用いたアプローチを実証的に検証し,いくつかの最先端手法に対して有望な性能改善を示す。

Existing spatial object recommendation algorithms generally treat objects identically when ranking them. However, spatial objects often cover different levels of spatial granularity and thereby are heterogeneous. For example, one user may prefer to be recommended a region (say Manhattan), while another user might prefer a venue (say a restaurant). Even for the same user, preferences can change at different stages of data exploration. In this paper, we study how to support top-k spatial object recommendations at varying levels of spatial granularity, enabling spatial objects at varying granularity, such as a city, suburb, or building, as a Point of Interest (POI). To solve this problem, we propose the use of a POI tree, which captures spatial containment relationships between POIs. We design a novel multi-task learning model called MPR (short for Multi-level POI Recommendation), where each task aims to return the top-k POIs at a certain spatial granularity level. Each task consists of two subtasks: (i) attribute-based representation learning; (ii) interaction-based representation learning. The first subtask learns the feature representations for both users and POIs, capturing attributes directly from their profiles. The second subtask incorporates user-POI interactions into the model. Additionally, MPR can provide insights into why certain recommendations are being made to a user based on three types of hints: user-aspect, POI-aspect, and interaction-aspect. We empirically validate our approach using two real-life datasets, and show promising performance improvements over several state-of-the-art methods.
翻訳日:2021-04-10 04:59:14 公開日:2021-01-08
# SE(3)-Equivariant Graph Neural Networks for Data-Efficient and Accurate Interatomic potentials

SE(3)-Equivariant Graph Neural Networks for Data-Efficient and Accurate Interatomic Potentials ( http://arxiv.org/abs/2101.03164v1 )

ライセンス: Link先を確認
Simon Batzner, Tess E. Smidt, Lixin Sun, Jonathan P. Mailoa, Mordechai Kornbluth, Nicola Molinari, and Boris Kozinsky(参考訳) この研究は、分子動力学シミュレーションのためのab-initio計算から原子間ポテンシャルを学習するためのSE(3)-equivariant Neural Network approachであるNequIP(NequIP)を提示する。 現代の対称性認識モデルのほとんどは不変畳み込みを使い、スカラーにのみ作用するが、nequipは幾何学的テンソルの相互作用にse(3)同変畳み込みを用いる。 この方法は、顕著なデータ効率を示しながら、様々な分子や材料の挑戦的な集合に対して最先端の精度を達成する。 NequIPは既存のモデルを最大3桁のトレーニングデータで上回り、ディープニューラルネットワークが大量のトレーニングセットを必要とするという広く信じられている信念に挑戦する。 この手法の高データ効率は、高次量子化学レベルの理論を基準として精度の高いポテンシャルの構築を可能にし、長期にわたって高忠実度分子動力学シミュレーションを可能にする。

This work presents Neural Equivariant Interatomic Potentials (NequIP), a SE(3)-equivariant neural network approach for learning interatomic potentials from ab-initio calculations for molecular dynamics simulations. While most contemporary symmetry-aware models use invariant convolutions and only act on scalars, NequIP employs SE(3)-equivariant convolutions for interactions of geometric tensors, resulting in a more information-rich and faithful representation of atomic environments. The method achieves state-of-the-art accuracy on a challenging set of diverse molecules and materials while exhibiting remarkable data efficiency. NequIP outperforms existing models with up to three orders of magnitude fewer training data, challenging the widely held belief that deep neural networks require massive training sets. The high data efficiency of the method allows for the construction of accurate potentials using high-order quantum chemical level of theory as reference and enables high-fidelity molecular dynamics simulations over long time scales.
翻訳日:2021-04-10 04:58:49 公開日:2021-01-08
# マージツリーのスケッチ

Sketching Merge Trees ( http://arxiv.org/abs/2101.03196v1 )

ライセンス: Link先を確認
Mingzhe Li, Sourabh Palande, Bei Wang(参考訳) マージツリーは、スカラーフィールドの下位レベルセット間の接続を記録するトポロジカルディスクリプタの一種である。 本稿では,マージ木の集合をスケッチすることに興味を持つ。 すなわち、マージツリーの集合 t が与えられたとき、t 内の各木を s 内のマージツリーの線形結合から概ね再構成できる基底集合 s を見出すことができる。 しかし、これまでマージツリーのような位相ディスクリプタはスケッチ可能であることが分かっていない。 我々は chowdhury と needham の gromov-wasserstein のフレームワークと行列のスケッチ技術を組み合わせたマージツリーのセットをスケッチするフレームワークを開発した。 我々は,科学的シミュレーションにおけるデータアンサンブルから生じるマージツリーのスケッチに,我々のフレームワークの応用を実証する。

Merge trees are a type of topological descriptors that record the connectivity among the sublevel sets of scalar fields. In this paper, we are interested in sketching a set of merge trees. That is, given a set T of merge trees, we would like to find a basis set S such that each tree in T can be approximately reconstructed from a linear combination of merge trees in S. A set of high-dimensional vectors can be sketched via matrix sketching techniques such as principal component analysis and column subset selection. However, up until now, topological descriptors such as merge trees have not been known to be sketchable. We develop a framework for sketching a set of merge trees that combines the Gromov-Wasserstein framework of Chowdhury and Needham with techniques from matrix sketching. We demonstrate the applications of our framework in sketching merge trees that arise from data ensembles in scientific simulations.
翻訳日:2021-04-10 04:58:30 公開日:2021-01-08
# 無限次元畳み込み時間ディープニューラルネットワーク

Infinite-dimensional Folded-in-time Deep Neural Networks ( http://arxiv.org/abs/2101.02966v1 )

ライセンス: Link先を確認
Florian Stelzer (1 and 2), Serhiy Yanchuk (1) ((1) Institute of Mathematics, Technische Universit\"at Berlin, Germany, (2) Department of Mathematics, Humboldt-Universit\& quot;at zu Berlin, Germany)(参考訳) arXiv:2011.10115で最近導入されたこの手法は、単一の非線形要素と遅延フィードバックを持つディープニューラルネットワークを実現する。 物理的に実装されたニューラルネットワークの記述に適用できる。 本研究では、より厳密な数学的解析と重み関数の選択における高い柔軟性を実現する無限次元の一般化を提案する。 正確には、重みはステップ関数の代わりにルベーグ可積分函数によって記述される。 また,重みの勾配降下トレーニングを可能にする機能的バックプロパゲーションアルゴリズムを提供する。 さらに,若干の修正を加えることで,再帰的なニューラルネットワークを実現する。

The method recently introduced in arXiv:2011.10115 realizes a deep neural network with just a single nonlinear element and delayed feedback. It is applicable for the description of physically implemented neural networks. In this work, we present an infinite-dimensional generalization, which allows for a more rigorous mathematical analysis and a higher flexibility in choosing the weight functions. Precisely speaking, the weights are described by Lebesgue integrable functions instead of step functions. We also provide a functional backpropagation algorithm, which enables gradient descent training of the weights. In addition, with a slight modification, our concept realizes recurrent neural networks.
翻訳日:2021-04-10 04:58:17 公開日:2021-01-08