このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス(CC 0, CC BY, CC BY-SA)の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。(arxivのメタデータは CC 0です。) 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。



PDF登録状況(公開日: 20200924)

# 神経科学者のためのニューラルネットワーク : プライマー

Artificial neural networks for neuroscientists: A primer ( http://arxiv.org/abs/2006.01001v2 )

ライセンス: Link先を確認
Guangyu Robert Yang, Xiao-Jing Wang(参考訳) ニューラルネットワーク(anns)は、神経科学の注目を集めている機械学習の重要なツールである。 データ分析のための強力な技術を提供するだけでなく、ANNは神経科学者が複雑な振る舞い、異種神経活動、回路接続のためのモデルを構築するための新しいアプローチを提供し、従来のモデルが設計されていない方法で、ニューラルネットワークの最適化を探求する。 この教育的プライマーでは、ANNを導入し、神経科学的な問題の研究にどのように役立ってきたかを実証する。 まず、ANNの基本概念と方法について議論する。 そして、この数学的枠組みを神経生物学に近づけることに焦点をあてて、脳研究における幅広い課題に対処するために、ANNの分析、構造、学習をいかにカスタマイズするかを詳述する。 読者のハンズオン体験を支援するため、このPrimerにはPyTorchとJupyter Notebookのチュートリアルスタイルのコードが付属しており、主要なトピックをカバーしている。

Artificial neural networks (ANNs) are essential tools in machine learning that have drawn increasing attention in neuroscience. Besides offering powerful techniques for data analysis, ANNs provide a new approach for neuroscientists to build models for complex behaviors, heterogeneous neural activity and circuit connectivity, as well as to explore optimization in neural systems, in ways that traditional models are not designed for. In this pedagogical Primer, we introduce ANNs and demonstrate how they have been fruitfully deployed to study neuroscientific questions. We first discuss basic concepts and methods of ANNs. Then, with a focus on bringing this mathematical framework closer to neurobiology, we detail how to customize the analysis, structure, and learning of ANNs to better address a wide range of challenges in brain research. To help the readers garner hands-on experience, this Primer is accompanied with tutorial-style code in PyTorch and Jupyter Notebook, covering major topics.
翻訳日:2022-11-26 07:41:35 公開日:2020-09-24
# dcardnet : 構造的および血管造影的コヒーレンス断層撮影による糖尿病網膜症の多段階分類

DcardNet: Diabetic Retinopathy Classification at Multiple Levels Based on Structural and Angiographic Optical Coherence Tomography ( http://arxiv.org/abs/2006.05480v2 )

ライセンス: Link先を確認
Pengxiao Zang, Liqin Gao, Tristan T. Hormel, Jie Wang, Qisheng You, Thomas S. Hwang and Yali Jia(参考訳) 目的:光学コヒーレンス断層撮影(OCT)とその血管造影(OCTA)は糖尿病網膜症(DR)の早期発見と診断にいくつかの利点がある。 しかし,OCTデータとOCTAデータに基づく自動完全DR分類フレームワークは提案されていない。 本研究では, 畳み込みニューラルネットワーク(CNN)を用いた, en face OCT と OCTA を用いた DR 分類フレームワークを実現する手法を提案する。 方法:適応レートドロップアウト(DcardNet)を備えた密結合型ニューラルネットワークはDR分類のために設計されている。 さらに,適応ラベル平滑化を提案し,過剰フィッティング抑制に用いた。 国際臨床糖尿病網膜症尺度に基づいて各症例に3つの分類レベルが生成される。 第2レベルは、眼を非dr、非増殖性dr(npdr)、増殖性dr(pdr)と分類する。 最後のレベルは、DRなし、軽度、中等度NPDR、重度NPDR、PDRと分類される。 結果: ネットワークの性能評価には10倍のクロスバリデーションと10%のデータを用いた。 総合的な分類は95.7%、85.0%、71.0%であった。 結語/意義:眼科医への紹介のための信頼性があり、センシティブで特異的な自動分類フレームワークは、DRに関連する視覚損失を減らすための重要な技術である。

Objective: Optical coherence tomography (OCT) and its angiography (OCTA) have several advantages for the early detection and diagnosis of diabetic retinopathy (DR). However, automated, complete DR classification frameworks based on both OCT and OCTA data have not been proposed. In this study, a convolutional neural network (CNN) based method is proposed to fulfill a DR classification framework using en face OCT and OCTA. Methods: A densely and continuously connected neural network with adaptive rate dropout (DcardNet) is designed for the DR classification. In addition, adaptive label smoothing was proposed and used to suppress overfitting. Three separate classification levels are generated for each case based on the International Clinical Diabetic Retinopathy scale. At the highest level the network classifies scans as referable or non-referable for DR. The second level classifies the eye as non-DR, non-proliferative DR (NPDR), or proliferative DR (PDR). The last level classifies the case as no DR, mild and moderate NPDR, severe NPDR, and PDR. Results: We used 10-fold cross-validation with 10% of the data to assess the networks performance. The overall classification accuracies of the three levels were 95.7%, 85.0%, and 71.0% respectively. Conclusion/Significance: A reliable, sensitive and specific automated classification framework for referral to an ophthalmologist can be a key technology for reducing vision loss related to DR.
翻訳日:2022-11-23 14:45:33 公開日:2020-09-24
# 因果関係と統計

Reconciling Causality and Statistics ( http://arxiv.org/abs/2007.03940v2 )

ライセンス: Link先を確認
Pirmin Lemberger and Denis Oblin(参考訳) 統計学者は、この2つの観測の間の実験的な相関は、因果関係の存在を意味するものではないと警告している。 このような因果関係の存在を我々に知らせてくれる観察データには何の手がかりがあるのかという疑問はさらに正当である。 科学的な努力の根底にあるのです しかし、何十年もの間、統計学者の間で因果関係を解明する唯一の方法は、いわゆるランダム化制御裁判(Randomized Controlled Trial)であった。 この悪名高い例外因果関係の質問は、多くの人にとってタブーのままだった。 この状況の1つの理由は、そのような疑問を曖昧な方法で定式化するための適切な数学的枠組みが欠けていることである。 幸いなことに、judea pearl氏と同僚たちが始めたいわゆる因果革命の出現によって、この数年間は変化していると考えている。 本論文の目的は,具体的ビジネス事例をイラストとして,コンパクトかつ自己完結型にアイデアと手法を提示することである。

Statisticians have warned us since the early days of their discipline that experimental correlation between two observations by no means implies the existence of a causal relation. The question about what clues exist in observational data that could informs us about the existence of such causal relations is nevertheless more that legitimate. It lies actually at the root of any scientific endeavor. For decades however the only accepted method among statisticians to elucidate causal relationships was the so called Randomized Controlled Trial. Besides this notorious exception causality questions remained largely taboo for many. One reason for this state of affairs was the lack of an appropriate mathematical framework to formulate such questions in an unambiguous way. Fortunately thinks have changed these last years with the advent of the so called Causality Revolution initiated by Judea Pearl and coworkers. The aim of this pedagogical paper is to present their ideas and methods in a compact and self-contained fashion with concrete business examples as illustrations.
翻訳日:2022-11-12 13:41:40 公開日:2020-09-24
# vlsi実装のための双曲接関数の多項式と有理近似の比較解析

Comparative Analysis of Polynomial and Rational Approximations of Hyperbolic Tangent Function for VLSI Implementation ( http://arxiv.org/abs/2007.11976v2 )

ライセンス: Link先を確認
Mahesh Chandra(参考訳) ディープニューラルネットワークは、オブジェクト検出や音声認識など、多くのコンピュータビジョンやヒューマンマシンインタフェースアプリケーションにおいて最先端の結果をもたらす。 これらのネットワークは計算コストがかかるため、低コストで必要な性能を達成するためにカスタマイズされたアクセラレータが設計されている。 これらのニューラルネットワークの重要な構成要素の1つは、シグモノイド、双曲タンジェント(tanh)、ReLUのような非線形活性化関数である。 ニューラルネットワークアクセラレータの性能と領域目標を満たすためには,アクティベーション関数のハードウェア実装が低複雑性である必要がある。 tanh活性化関数の様々な方法や実装が公表されているが、比較研究は欠落している。 本稿では多項式法と有理法の比較解析とハードウェア実装について述べる。

Deep neural networks yield the state-of-the-art results in many computer vision and human machine interface applications such as object detection, speech recognition etc. Since, these networks are computationally expensive, customized accelerators are designed for achieving the required performance at lower cost and power. One of the key building blocks of these neural networks is non-linear activation function such as sigmoid, hyperbolic tangent (tanh), and ReLU. A low complexity accurate hardware implementation of the activation function is required to meet the performance and area targets of the neural network accelerators. Even though, various methods and implementations of tanh activation function have been published, a comparative study is missing. This paper presents comparative analysis of polynomial and rational methods and their hardware implementation.
翻訳日:2022-11-11 00:44:24 公開日:2020-09-24
# マルチタスク学習のための知識蒸留

Knowledge Distillation for Multi-task Learning ( http://arxiv.org/abs/2007.06889v2 )

ライセンス: Link先を確認
Wei-Hong Li and Hakan Bilen(参考訳) マルチタスク学習(MTL)は、全てのタスクで優れたパフォーマンスを達成し、計算コストを下げるための複数のタスクを実行する単一のモデルを学習することである。 このようなモデルを学ぶには、難易度、大きさ、特徴(例えば、クロスエントロピー、ユークリッド損失)の異なる一連のタスクの損失を共同で最適化する必要がある。 この不均衡問題に対処するため,本研究では知識蒸留に基づく手法を提案する。 まず、タスクごとにタスク固有のモデルを学ぶ。 次に,タスク固有の損失を最小限に抑えるマルチタスクモデルを学習し,タスク固有のモデルで同じ機能を生成する。 タスク固有のネットワークが異なる機能をエンコードするので、タスク固有の機能にマルチタスク機能を投影する小さなタスク固有のアダプタを導入します。 このように、アダプタはタスク固有の機能と、タスク間でバランスの取れたパラメータ共有を可能にするマルチタスク機能を調整する。 実験結果から,よりバランスの取れた方法でマルチタスク学習モデルを最適化し,全体的な性能を向上できることが示された。

Multi-task learning (MTL) is to learn one single model that performs multiple tasks for achieving good performance on all tasks and lower cost on computation. Learning such a model requires to jointly optimize losses of a set of tasks with different difficulty levels, magnitudes, and characteristics (e.g. cross-entropy, Euclidean loss), leading to the imbalance problem in multi-task learning. To address the imbalance problem, we propose a knowledge distillation based method in this work. We first learn a task-specific model for each task. We then learn the multi-task model for minimizing task-specific loss and for producing the same feature with task-specific models. As the task-specific network encodes different features, we introduce small task-specific adaptors to project multi-task features to the task-specific features. In this way, the adaptors align the task-specific feature and the multi-task feature, which enables a balanced parameter sharing across tasks. Extensive experimental results demonstrate that our method can optimize a multi-task learning model in a more balanced way and achieve better overall performance.
翻訳日:2022-11-10 14:53:00 公開日:2020-09-24
# MRIとPET/CTの併用による軟部組織サルコマの分離

Soft Tissue Sarcoma Co-Segmentation in Combined MRI and PET/CT Data ( http://arxiv.org/abs/2008.12544v2 )

ライセンス: Link先を確認
Theresa Neubauer, Maria Wimmer, Astrid Berg, David Major, Dimitrios Lenis, Thomas Beyer, Jelena Saponjski, Katja B\"uhler(参考訳) マルチモーダル医用画像における腫瘍のセグメンテーションは, 深層学習の手法に傾きつつある。 通常、この話題を扱う研究は、マルチモーダル画像データを融合して、単一の画像モダリティのための腫瘍セグメンテーションの輪郭を改善する。 しかし、腫瘍の特徴が腫瘍の脱線に影響を及ぼす様相によって異なることが強調されることを考慮に入れていない。 したがって、腫瘍のセグメンテーションはモダリティとタスクに依存します。 これは特に軟部組織肉腫の症例であり、壊死性腫瘍組織によってセグメント化が大きく異なる。 このギャップを閉じて,マルチモーダル画像データを用いて各モダリティの腫瘍郭清を改善する様相特異的肉腫分節モデルを開発した。 本稿では,モーダリティ特化エンコーダとデコーダブランチによるマルチモーダル特徴学習と,資源効率の高い密結合畳み込み層の利用が可能な同時分離手法を提案する。 さらに、入力モードとエンコーダ-デコーダ融合戦略の違いがセグメント化結果に与える影響を分析する実験を行う。 MRI(T1およびT2配列)とPET/CTスキャンを併用した公衆軟部肉腫データに対するアプローチの有効性を示した。 その結果,petまたはmri(t1およびt2)スキャンのみを入力として用いるモデルよりも,マルチモーダル・コセグメンテーションモデルの方が腫瘍の分節性が良好であった。

Tumor segmentation in multimodal medical images has seen a growing trend towards deep learning based methods. Typically, studies dealing with this topic fuse multimodal image data to improve the tumor segmentation contour for a single imaging modality. However, they do not take into account that tumor characteristics are emphasized differently by each modality, which affects the tumor delineation. Thus, the tumor segmentation is modality- and task-dependent. This is especially the case for soft tissue sarcomas, where, due to necrotic tumor tissue, the segmentation differs vastly. Closing this gap, we develop a modalityspecific sarcoma segmentation model that utilizes multimodal image data to improve the tumor delineation on each individual modality. We propose a simultaneous co-segmentation method, which enables multimodal feature learning through modality-specific encoder and decoder branches, and the use of resource-effcient densely connected convolutional layers. We further conduct experiments to analyze how different input modalities and encoder-decoder fusion strategies affect the segmentation result. We demonstrate the effectiveness of our approach on public soft tissue sarcoma data, which comprises MRI (T1 and T2 sequence) and PET/CT scans. The results show that our multimodal co-segmentation model provides better modality-specific tumor segmentation than models using only the PET or MRI (T1 and T2) scan as input.
翻訳日:2022-10-24 01:55:48 公開日:2020-09-24
# SLGAN:所望のメイクアップ転送と削除のためのスタイルおよび遅延誘導型ジェネレーション・アドバイザリー・ネットワーク

SLGAN: Style- and Latent-guided Generative Adversarial Network for Desirable Makeup Transfer and Removal ( http://arxiv.org/abs/2009.07557v3 )

ライセンス: Link先を確認
Daichi Horita and Kiyoharu Aizawa(参考訳) 生成的な敵ネットワークを使って人間の顔の写真にメイクを施す際に考慮すべき5つの特徴がある。 これらの特徴は、(1)顔成分、(2)インタラクティブな色調整、(3)化粧のバリエーション、(4)ポーズや表情に対する堅牢性、(5)複数の参照画像の使用である。 主にgan(generative adversarial network)を用いて、関連するいくつかの研究が提案されている。 残念なことに、いずれも5つの機能すべてを同時に対応していない。 本稿では,革新的なスタイルと潜在誘導型GAN(SLGAN)でギャップを埋める。 ヒストグラムマッチングに基づいてメイクスタイルを転送し、アイデンティティシフト問題を回避することができる、新しい知覚的メイクアップロスおよびスタイル不変デコーダを提供する。 実験の結果,SLGANは最先端手法より優れているか,あるいは同等であることがわかった。 さらに,提案手法は顔の化粧画像を補間して特徴を判断し,既存手法と比較し,ユーザが望ましい化粧構成を見つけるのに役立つことを示す。

There are five features to consider when using generative adversarial networks to apply makeup to photos of the human face. These features include (1) facial components, (2) interactive color adjustments, (3) makeup variations, (4) robustness to poses and expressions, and the (5) use of multiple reference images. Several related works have been proposed, mainly using generative adversarial networks (GAN). Unfortunately, none of them have addressed all five features simultaneously. This paper closes the gap with an innovative style- and latent-guided GAN (SLGAN). We provide a novel, perceptual makeup loss and a style-invariant decoder that can transfer makeup styles based on histogram matching to avoid the identity-shift problem. In our experiments, we show that our SLGAN is better than or comparable to state-of-the-art methods. Furthermore, we show that our proposal can interpolate facial makeup images to determine the unique features, compare existing methods, and help users find desirable makeup configurations.
翻訳日:2022-10-18 00:49:37 公開日:2020-09-24
# DLBCL-Morph: 注釈付きデジタルDLBCL画像集合に対するディープラーニングを用いた形態特徴計算

DLBCL-Morph: Morphological features computed using deep learning for an annotated digital DLBCL image set ( http://arxiv.org/abs/2009.08123v3 )

ライセンス: Link先を確認
Damir Vrabac, Akshay Smit, Rebecca Rojansky, Yasodha Natkunam, Ranjana H. Advani, Andrew Y. Ng, Sebastian Fernandez-Pol, Pranav Rajpurkar(参考訳) Diffuse Large B-Cell Lymphoma (DLBCL) が最も一般的な非ホジキンリンパ腫である。 組織学的にはDLBCLは様々な形態を示すが,予後と相関する形態学的特徴は一貫して示されていない。 DLBCL209例の病理組織学的検討を行い,臨床および細胞遺伝学的検討を行った。 CD10, BCL6, MUM1, BCL2, MYCにH&E, 免疫組織化学的染色を施し, 組織中核部を組織マイクロアレイ(TMA)に配置した。 TMAには、DLBCLに代表される組織領域を識別する関心領域(ROI)が伴っている。 深層学習モデルを用いてすべての腫瘍核をROIに分割し,各セグメント核の幾何的特徴を計算した。 cox比例ハザードモデルに適合して,これらの幾何学的特徴の生存率予測における有用性を示し,0.635 (0.574,0.691) のc-index (95% ci) を達成した。 腫瘍核から計算した幾何学的特徴は予後上重要であることが示唆され,今後の研究で検証されるべきである。

Diffuse Large B-Cell Lymphoma (DLBCL) is the most common non-Hodgkin lymphoma. Though histologically DLBCL shows varying morphologies, no morphologic features have been consistently demonstrated to correlate with prognosis. We present a morphologic analysis of histology sections from 209 DLBCL cases with associated clinical and cytogenetic data. Duplicate tissue core sections were arranged in tissue microarrays (TMAs), and replicate sections were stained with H&E and immunohistochemical stains for CD10, BCL6, MUM1, BCL2, and MYC. The TMAs are accompanied by pathologist-annotated regions-of-interest (ROIs) that identify areas of tissue representative of DLBCL. We used a deep learning model to segment all tumor nuclei in the ROIs, and computed several geometric features for each segmented nucleus. We fit a Cox proportional hazards model to demonstrate the utility of these geometric features in predicting survival outcome, and found that it achieved a C-index (95% CI) of 0.635 (0.574,0.691). Our finding suggests that geometric features computed from tumor nuclei are of prognostic importance, and should be validated in prospective studies.
翻訳日:2022-10-17 08:08:28 公開日:2020-09-24
# AAA:理論性能保証を伴う任意オンライントラッカーの適応的集約

AAA: Adaptive Aggregation of Arbitrary Online Trackers with Theoretical Performance Guarantee ( http://arxiv.org/abs/2009.09237v2 )

ライセンス: Link先を確認
Heon Song, Daiki Suehiro and Seiichi Uchida(参考訳) 視覚的なオブジェクト追跡では,画像シーケンスによってターゲットの外観が大きく変化するため,全能なオンライントラッカを実現することは困難である。 本稿では,任意のオンライントラッカを適応的に集約するオンライントラッキング手法を提案する。 提案手法の性能は理論的には任意の画像列において最高のトラッカーに匹敵することが保証されているが、追跡中は最も優れた専門家が不明である。 ベンチマークデータセットと集約トラッカーの多種多様性に関する実験的研究により,提案手法が最先端性能を実現することを示す。 コードはhttps://github.com/songheony/aaa-journalで入手できる。

For visual object tracking, it is difficult to realize an almighty online tracker due to the huge variations of target appearance depending on an image sequence. This paper proposes an online tracking method that adaptively aggregates arbitrary multiple online trackers. The performance of the proposed method is theoretically guaranteed to be comparable to that of the best tracker for any image sequence, although the best expert is unknown during tracking. The experimental study on the large variations of benchmark datasets and aggregated trackers demonstrates that the proposed method can achieve state-of-the-art performance. The code is available at https://github.com/songheony/AAA-journal.
翻訳日:2022-10-16 21:28:00 公開日:2020-09-24
# センサネットワークにおけるデータ駆動分散状態推定と振舞いモデリング

Data-Driven Distributed State Estimation and Behavior Modeling in Sensor Networks ( http://arxiv.org/abs/2009.10827v2 )

ライセンス: Link先を確認
Rui Yu, Zhenyuan Yuan, Minghui Zhu, Zihan Zhou(参考訳) 近年,センサネットワークの普及により,自律運転から環境モニタリング,都市計画に至るまで,幅広い用途の動的物体の状態の追跡が可能になった。 第一に、個々のセンサーの制限のため、状態推定は協調的で分散的な方法で解決する必要がある。 第2に,物体の運動挙動は未知であり,センサによる観察から学ぶ必要がある。 本研究では,センサネットワークにおける同時状態推定と行動学習の問題を初めて形式的に定式化する。 そこで我々は,ガウス過程に基づくベイズフィルタ(gp-ベイズフィルタ)をオンライン分散設定に拡張して,この問題に対する単純かつ効果的な解法を提案する。 提案手法の有効性は,マルチロボットプラットフォームから収集した合成データとデータの両方を用いて,未知の動作行動を持つ物体の追跡に評価される。

Nowadays, the prevalence of sensor networks has enabled tracking of the states of dynamic objects for a wide spectrum of applications from autonomous driving to environmental monitoring and urban planning. However, tracking real-world objects often faces two key challenges: First, due to the limitation of individual sensors, state estimation needs to be solved in a collaborative and distributed manner. Second, the objects' movement behavior is unknown, and needs to be learned using sensor observations. In this work, for the first time, we formally formulate the problem of simultaneous state estimation and behavior learning in a sensor network. We then propose a simple yet effective solution to this new problem by extending the Gaussian process-based Bayes filters (GP-BayesFilters) to an online, distributed setting. The effectiveness of the proposed method is evaluated on tracking objects with unknown movement behaviors using both synthetic data and data collected from a multi-robot platform.
翻訳日:2022-10-15 23:28:13 公開日:2020-09-24
# 臨場感の維持: 説得指向討論における顔行為の計算モデリング

Keeping Up Appearances: Computational Modeling of Face Acts in Persuasion Oriented Discussions ( http://arxiv.org/abs/2009.10815v2 )

ライセンス: Link先を確認
Ritam Dutt, Rishabh Joshi, Carolyn Penstein Rose(参考訳) 顔の概念は、個人自身の行動と他者との相互作用の両方から現れる個人の公的な自己イメージを指す。 会話を通してその状態の変化をモデル化し理解することは、対話における基本的な人間の要求の維持の研究に不可欠である。 Brown and Levinson (1978) の丁寧な理論に基づいて, 説得的会話における顔の振る舞いをモデル化するための一般化された枠組みを提案し, 信頼性の高いコーディングマニュアル, 注釈付きコーパス, 計算モデルを提案する。 このフレームワークは、説得会話における非対称的役割間の顔行動利用の差異に関する洞察を明らかにする。 計算モデルを用いて、顔の振る舞いをうまく識別し、重要な会話結果(例えば寄付成功)を予測することができる。 最後に,会話状態の潜在表現をモデル化し,予測された顔行動がポジティブな会話結果に与える影響を分析し,過去の知見を裏付けるいくつかの相関を観察する。

The notion of face refers to the public self-image of an individual that emerges both from the individual's own actions as well as from the interaction with others. Modeling face and understanding its state changes throughout a conversation is critical to the study of maintenance of basic human needs in and through interaction. Grounded in the politeness theory of Brown and Levinson (1978), we propose a generalized framework for modeling face acts in persuasion conversations, resulting in a reliable coding manual, an annotated corpus, and computational models. The framework reveals insights about differences in face act utilization between asymmetric roles in persuasion conversations. Using computational models, we are able to successfully identify face acts as well as predict a key conversational outcome (e.g. donation success). Finally, we model a latent representation of the conversational state to analyze the impact of predicted face acts on the probability of a positive conversational outcome and observe several correlations that corroborate previous findings.
翻訳日:2022-10-15 22:35:03 公開日:2020-09-24
# ピラミッド・サリエント・アウェア・ネットワークによる因果検出に向けて

Towards Causal Explanation Detection with Pyramid Salient-Aware Network ( http://arxiv.org/abs/2009.10288v2 )

ライセンス: Link先を確認
Xinyu Zuo, Yubo Chen, Kang Liu and Jun Zhao(参考訳) 因果説明分析(CEA)は、メッセージの一貫性を理解するのに非常に役立ち、日々の出来事の背後にある理由を理解するのに役立ちます。 本稿では,因果的説明が1つのメッセージに存在するかどうかを判断する因果的説明分析の重要なサブタスクである因果的説明検出に焦点を当てる。 メッセージの因果的説明を検出するために,ピラミッドサルエントアウェアネットワーク(psan)を設計した。 PSANは,下層グラフに基づく単語レベルの有意ネットワークを用いて,キーワードに含まれる話題の有意な意味を捉えることによって因果的説明の検出を支援する。 さらに、PSANは、メッセージの説明的意味論を強化するために、トップアテンションベースの談話レベルサリアンネットワークを通じて、談話の優位性を変更することができる。 CEAの一般的なデータセットの実験は、PSANがCausal Explanation Detectionタスクの1.8%のF1値で最先端の手法より優れていることを示している。

Causal explanation analysis (CEA) can assist us to understand the reasons behind daily events, which has been found very helpful for understanding the coherence of messages. In this paper, we focus on Causal Explanation Detection, an important subtask of causal explanation analysis, which determines whether a causal explanation exists in one message. We design a Pyramid Salient-Aware Network (PSAN) to detect causal explanations on messages. PSAN can assist in causal explanation detection via capturing the salient semantics of discourses contained in their keywords with a bottom graph-based word-level salient network. Furthermore, PSAN can modify the dominance of discourses via a top attention-based discourse-level salient network to enhance explanatory semantics of messages. The experiments on the commonly used dataset of CEA shows that the PSAN outperforms the state-of-the-art method by 1.8% F1 value on the Causal Explanation Detection task.
翻訳日:2022-10-15 22:15:08 公開日:2020-09-24
# CLASS: 有能なオブジェクト検出のためのクロスレベルアテンションとスーパービジョン

CLASS: Cross-Level Attention and Supervision for Salient Objects Detection ( http://arxiv.org/abs/2009.10916v2 )

ライセンス: Link先を確認
Lv Tang and Bo Li(参考訳) 健全物体検出(SOD)はコンピュータビジョンの基本課題である。 近年、深層ニューラルネットワークの復活に伴い、SODは大きな進歩を遂げている。 しかし、既存の方法では解決できない2つの厄介な問題、識別不能な領域と複雑な構造が存在する。 本稿では,これら2つの問題に対処するため,CLASSという精度の高いSODのための新しいディープネットワークを提案する。 まず,低レベルの特徴と高レベルの特徴の異なる利点を生かすために,広域機能依存性を捉えることのできる新しい非局所的クロスレベル・アテンション(cla)を提案する。 第二に、新しいクロスレベル監視(CLS)は、ピクセルレベル、領域レベル、オブジェクトレベルを通じて複雑な構造の補完的なコンテキストを学ぶように設計されている。 そして、サリエントオブジェクトの微細な構造と境界を適切に復元することができる。 実験では、claとclsというクラスネットを提案しました。 5つのデータセットで13の最先端メソッドを一貫して上回る。

Salient object detection (SOD) is a fundamental computer vision task. Recently, with the revival of deep neural networks, SOD has made great progresses. However, there still exist two thorny issues that cannot be well addressed by existing methods, indistinguishable regions and complex structures. To address these two issues, in this paper we propose a novel deep network for accurate SOD, named CLASS. First, in order to leverage the different advantages of low-level and high-level features, we propose a novel non-local cross-level attention (CLA), which can capture the long-range feature dependencies to enhance the distinction of complete salient object. Second, a novel cross-level supervision (CLS) is designed to learn complementary context for complex structures through pixel-level, region-level and object-level. Then the fine structures and boundaries of salient objects can be well restored. In experiments, with the proposed CLA and CLS, our CLASS net. consistently outperforms 13 state-of-the-art methods on five datasets.
翻訳日:2022-10-15 16:09:44 公開日:2020-09-24
# 多様体上の運動計画のための品質制約の学習

Learning Equality Constraints for Motion Planning on Manifolds ( http://arxiv.org/abs/2009.11852v1 )

ライセンス: Link先を確認
Giovanni Sutanto, Isabel M. Rayas Fern\'andez, Peter Englert, Ragesh K. Ramachandran, Gaurav S. Sukhatme(参考訳) 制約付きロボットモーションプランニングは、複雑なロボットタスクを解決するために広く使われているテクニックである。 本稿では,制約表現の学習問題をディープニューラルネットワークを用いた実験から検討し,等価制約多様体ニューラルネットワーク (ecomann) と呼ぶ。 鍵となる考え方は、制約付きサンプリングベースのモーションプランナに統合に適した制約のレベルセット関数を学ぶことである。 学習は、ネットワーク内のサブスペースとデータのサブスペースを整列することで進む。 学習した制約と分析的に記述された制約の両方をプランナーに組み合わせ、射影ベースの戦略を用いて有効な点を見つける。 我々は、制約多様体の表現能力、個々の損失項の影響、およびプランナーに組み込んだときに生じる動きについて、エコマンの評価を行う。

Constrained robot motion planning is a widely used technique to solve complex robot tasks. We consider the problem of learning representations of constraints from demonstrations with a deep neural network, which we call Equality Constraint Manifold Neural Network (ECoMaNN). The key idea is to learn a level-set function of the constraint suitable for integration into a constrained sampling-based motion planner. Learning proceeds by aligning subspaces in the network with subspaces of the data. We combine both learned constraints and analytically described constraints into the planner and use a projection-based strategy to find valid points. We evaluate ECoMaNN on its representation capabilities of constraint manifolds, the impact of its individual loss terms, and the motions produced when incorporated into a planner.
翻訳日:2022-10-15 05:28:42 公開日:2020-09-24
# 保証された人工知能と機械学習能力の研究と発展の促進

Advancing the Research and Development of Assured Artificial Intelligence and Machine Learning Capabilities ( http://arxiv.org/abs/2009.13250v1 )

ライセンス: Link先を確認
Tyler J. Shipp, Daniel J. Clouse, Michael J. De Lucia, Metin B. Ahiskali, Kai Steverson, Jonathan M. Mullin, Nathaniel D. Bastian(参考訳) 人工知能(AI)と機械学習(ML)は、あらゆる領域にわたる新しい防衛能力と知能の開発においてますます重要になっている。 敵AI(A2I)と敵ML(AML)攻撃は、AI/MLモデルを欺いて操作しようとする。 AI/MLモデルはこれらの攻撃に対して防御できることが必須である。 A2I/AMLディフェンスは、AI/MLモデルを使用するこれらの高度な機能に必要な保証を提供する。 A2I Working Group (A2IWG) は、アメリカ国防総省と米国諜報コミュニティの協力的な環境を育み、新しいA2I/AML防衛を通じて保証されたAI/ML能力の研究と開発を進めようとしている。 A2IWGは、AI Trusted Robustness、AI System Security、AI/ML Architecture Vulnerabilitiesという3つのトピックに最初に焦点をあてて、解決またはより直接的に対処できる特定の課題を特定することを目的としている。

Artificial intelligence (AI) and machine learning (ML) have become increasingly vital in the development of novel defense and intelligence capabilities across all domains of warfare. An adversarial AI (A2I) and adversarial ML (AML) attack seeks to deceive and manipulate AI/ML models. It is imperative that AI/ML models can defend against these attacks. A2I/AML defenses will help provide the necessary assurance of these advanced capabilities that use AI/ML models. The A2I Working Group (A2IWG) seeks to advance the research and development of assured AI/ML capabilities via new A2I/AML defenses by fostering a collaborative environment across the U.S. Department of Defense and U.S. Intelligence Community. The A2IWG aims to identify specific challenges that it can help solve or address more directly, with initial focus on three topics: AI Trusted Robustness, AI System Security, and AI/ML Architecture Vulnerabilities.
翻訳日:2022-10-15 05:28:32 公開日:2020-09-24
# テレビストークスモデルを用いた画像の反復正規化アルゴリズム

Iterative regularization algorithms for image denoising with the TV-Stokes model ( http://arxiv.org/abs/2009.11976v1 )

ライセンス: Link先を確認
Bin Wu, Leszek Marcinkowski, Xue-Cheng Tai, and Talal Rahman(参考訳) ガウス雑音を伴う雑音画像から画像を復元するテレビストークスモデルのための反復正規化アルゴリズムを提案する。 これらは、画像再構成のための古典的なrudin-osher-fatemi(rof)モデル、スカラーフィールド平滑化を伴う単一ステップモデル、画像再構成のためのtv-stokesモデル、第1のベクトルフィールド平滑化と第2のスカラーフィールド平滑化を含む2つのステップモデルのために提案された反復正規化アルゴリズムの拡張である。 ここで提案されている反復正規化アルゴリズムはリチャードソンの反復である。 復元画像の品質において,元の手法よりも改善した実験結果を得た。 収束解析と数値実験について述べる。

We propose a set of iterative regularization algorithms for the TV-Stokes model to restore images from noisy images with Gaussian noise. These are some extensions of the iterative regularization algorithm proposed for the classical Rudin-Osher-Fatemi (ROF) model for image reconstruction, a single step model involving a scalar field smoothing, to the TV-Stokes model for image reconstruction, a two steps model involving a vector field smoothing in the first and a scalar field smoothing in the second. The iterative regularization algorithms proposed here are Richardson's iteration like. We have experimental results that show improvement over the original method in the quality of the restored image. Convergence analysis and numerical experiments are presented.
翻訳日:2022-10-15 05:25:51 公開日:2020-09-24
# 複雑ネットワークと画像処理を用いたCovid-19データセットの特性評価

Characterization of Covid-19 Dataset using Complex Networks and Image Processing ( http://arxiv.org/abs/2009.13302v1 )

ライセンス: Link先を確認
Josimar Chire, Esteban Wilfredo Vilca Zuniga(参考訳) 本稿では,covid-19データセットの背後にあるパターンの構造について検討する。 データセットには、陽性および負のケースを持つ医療画像が含まれている。 100のサンプルが選択され、各クラス毎に50である。 統計量を用いてヒストグラム周波数を算出し,Grey Level Co-Occurrence Matrix (GLCM) を用いた特徴抽出を行った。 どちらの機能も、それぞれ複雑なネットワークを構築して、隣接行列を分析し、パターンの存在をチェックする。 最初の実験では、複雑なネットワーク表現を使って見える各クラスのデータセットに隠れたパターンの証拠が導入されている。

This paper aims to explore the structure of pattern behind covid-19 dataset. The dataset includes medical images with positive and negative cases. A sample of 100 sample is chosen, 50 per each class. An histogram frequency is calculated to get features using statistical measurements, besides a feature extraction using Grey Level Co-Occurrence Matrix (GLCM). Using both features are build Complex Networks respectively to analyze the adjacency matrices and check the presence of patterns. Initial experiments introduces the evidence of hidden patterns in the dataset for each class, which are visible using Complex Networks representation.
翻訳日:2022-10-15 05:25:35 公開日:2020-09-24
# アフィリエイトマッチング問題--先進的労働者の配置に企業も関心を持つ労働市場について

The Affiliate Matching Problem: On Labor Markets where Firms are Also Interested in the Placement of Previous Workers ( http://arxiv.org/abs/2009.11867v1 )

ライセンス: Link先を確認
Samuel Dooley, John P. Dickerson(参考訳) 多くの労働市場では、労働者と企業は提携関係を通じて繋がっている。 経営コンサルティング会社は、ベストな新規労働者を受け入れると同時に、現在の関連労働者を強固な企業に置くことを望んでいる。 同様に、研究大学は、強い人材市場候補を雇いつつ、強いピア大学に独自の候補を置くことを望んでいる。 我々は、このアフィリエイトマッチング問題を、マッチする労働者だけでなく、所属する労働者とマッチする企業の選好を企業に与えることにより、古典的な安定した結婚設定の一般化にモデル化する。 人的調査の結果から,(企業として活動する)参加者は,従来の安定結婚問題に対するいくつかの仮定に違反する驚くべき方法で,自身のアフィリエイト労働者を優先することがわかった。 これは、アフィリエイトマッチング問題において安定性をどのように定義できるかという、微妙な議論を動機付けている。我々は、安定性の1つの自然な定義の下で安定した一致を認め、異なる、しかしながら自然な定義の下で同じマーケットプレースに対してではないマーケットプレースを例示する。 総合的な設定において, 集中的クリアリング機構の確立に向けて研究課題を設定し, 結論づける。

In many labor markets, workers and firms are connected via affiliative relationships. A management consulting firm wishes to both accept the best new workers but also place its current affiliated workers at strong firms. Similarly, a research university wishes to hire strong job market candidates while also placing its own candidates at strong peer universities. We model this affiliate matching problem in a generalization of the classic stable marriage setting by permitting firms to state preferences over not just which workers to whom they are matched, but also to which firms their affiliated workers are matched. Based on results from a human survey, we find that participants (acting as firms) give preference to their own affiliate workers in surprising ways that violate some assumptions of the classical stable marriage problem. This motivates a nuanced discussion of how stability could be defined in affiliate matching problems; we give an example of a marketplace which admits a stable match under one natural definition of stability, and does not for that same marketplace under a different, but still natural, definition. We conclude by setting a research agenda toward the creation of a centralized clearing mechanism in this general setting.
翻訳日:2022-10-15 05:24:57 公開日:2020-09-24
# SoRC -- 質量分析画像における計算分子コローカライズ解析の評価

SoRC -- Evaluation of Computational Molecular Co-Localization Analysis in Mass Spectrometry Images ( http://arxiv.org/abs/2009.14677v1 )

ライセンス: Link先を確認
Karsten W\"ullems, Tim W. Nattkemper(参考訳) 質量分析イメージング(msi)データの計算解析は、興味深い質量共局在の同定と、サンプル(通常、組織断面積)におけるその横分布の可視化を目的としている。 しかし、組織の形態構造や質量共局在の異なる種類は自然に大きな多様性を示しており、計算方法の選択と調整は時間を要する作業である。 本研究では,マスチャネル画像の側面分布パターンの類似性に応じて計算的にグループ化する特別問題に対処する。 このような分析は、同様の分布パターンを持つ分子群が機能的関係を持つという考えによって行われる。 しかし、類似度関数と他のパラメータの選択は、しばしば時間がかかり、不十分な試行錯誤によって行われる。 我々は、このチューニングステップを自動化し、より効率的にするためのSoRC(ランキングクラスタインデックスの仮定)と呼ばれる新しい柔軟なワークフロースキームを提案する。 実験室から取得した3種類のサンプル(大麦種,マウス膀胱組織,ヒトPXE皮膚)を用いてSoRCを試験した。 そこで本研究では,SORCを用いて短時間で得られた結果のスコアと視覚化を行うことができることを示す。 アプリケーションの例では、3つのデータセットのSORC結果から分かる。 a) 良く知られた類似関数は、3つのデータセットすべてに対して良い結果を得るために適合し、 b) 非標準類似度関数を適用することにより、高次不規則性改善結果を有するMSIデータに対して達成できる。 提案手法により算出されたsorcスコアは,マスチャネル画像グループ化のための異なる手法の自動テストとスコア付けにより,最終的に最高スコアの手法を選択することにより,研究の最終結果が向上することを示す。

The computational analysis of Mass Spectrometry Imaging (MSI) data aims at the identification of interesting mass co-localizations and the visualization of their lateral distribution in the sample, usually a tissue cross section. But as the morphological structure of tissues and the different kinds of mass co-localization naturally show a huge diversity, the selection and tuning of the computational method is a time-consuming effort. In this work we address the special problem of computationally grouping mass channel images according to their similarities in their lateral distribution patterns. Such an analysis is driven by the idea, that groups of molecules that feature a similar distribution pattern may have a functional relation. But the selection of the similarity function and other parameters is often done by a time-consuming and unsatsifactory trial and error. We propose a new flexible workflow scheme called SoRC (sum of ranked cluster indices) for automating this tuning step and making it much more efficient. We test SoRC using three different data sets acquired from the lab for three different kinds of samples (barley seed, mouse bladder tissue, human PXE skin). We show, that SORC can be applied to score and visualize the results obtained with the applied methods in short time without too much effort. In our application example, the SoRC results for the three data sets reveal that a) some well-known similarity functions are suited to achieve good results for all three data sets and b) for the MSI data featuring a higher degree of irregularity improved results can be achieved by applying non-standard similarity functions. The SoRC scores computed with our approach indicate that an automated testing and scoring of different methods for mass channel image grouping can improve the final outcome of a study by finally selecting the methods of the highest scores.
翻訳日:2022-10-15 05:24:34 公開日:2020-09-24
# 安全制約を考慮した信号時間論理仕様の繰り返しニューラルネットワーク制御

Recurrent Neural Network Controllers for Signal Temporal Logic Specifications Subject to Safety Constraints ( http://arxiv.org/abs/2009.11468v1 )

ライセンス: Link先を確認
Wenliang Liu, Noushin Mehdipour, Calin Belta(参考訳) 本稿では,STL(Signal Temporal Logic)の仕様を満たすために必要な離散時間システムの最適制御戦略を決定するために,リカレントニューラルネットワーク(RNN)に基づくフレームワークを提案する。 RNNは時間とともにシステムの情報を格納できるので、STL式で指定された動的時間的要求の満足度を決定することができる。 stl公式、システム実行と対応する制御ポリシーを満たすデータセットが与えられると、rnnを使用して、システムの現状と前の状態に基づいて、各時点の制御ポリシーを予測することができる。 制御障壁関数 (cbfs) を用いて, 予測制御ポリシーの安全性を保証する。 シミュレーションにより, 一部未知の安全性制約を受ける最適制御問題において, 理論定式化の有効性を検証し, その性能を示す。

We propose a framework based on Recurrent Neural Networks (RNNs) to determine an optimal control strategy for a discrete-time system that is required to satisfy specifications given as Signal Temporal Logic (STL) formulae. RNNs can store information of a system over time, thus, enable us to determine satisfaction of the dynamic temporal requirements specified in STL formulae. Given a STL formula, a dataset of satisfying system executions and corresponding control policies, we can use RNNs to predict a control policy at each time based on the current and previous states of system. We use Control Barrier Functions (CBFs) to guarantee the safety of the predicted control policy. We validate our theoretical formulation and demonstrate its performance in an optimal control problem subject to partially unknown safety constraints through simulations.
翻訳日:2022-10-15 05:24:07 公開日:2020-09-24
# 再帰的深層ニューラルネットワークを用いた制御方程式の発見

Discovery of Governing Equations with Recursive Deep Neural Networks ( http://arxiv.org/abs/2009.11500v1 )

ライセンス: Link先を確認
Jia Zhao and Jarrod Mau(参考訳) 既存のデータに基づくモデル発見は、何十年にもわたって数学モデリングの主要な焦点の1つとなっている。 適切なデータからのモデル識別の膨大な成果にもかかわらず、限られたデータからモデルを解き放つ方法は解決されない。 本稿では,データを時間内に効率的にサンプリングしない場合のモデル発見問題に焦点をあてる。 これは実験的アクセシビリティと労働/資源の制約が限られているため一般的である。 具体的には、データ駆動モデル発見のための再帰的ディープニューラルネットワーク(RDNN)を導入する。 この再帰的アプローチは、単純かつ効率的な方法で支配方程式を検索することができ、再帰的段階を増やすことにより近似精度を著しく向上させることができる。 特に,提案手法では,既存のデータに時間ラグを伴ってサンプリングした場合,従来の手法ではモデルの回復が困難であった場合,優れた性能を示す。 この新しく提案された再帰的アプローチをベンチマークするために、動的システムのいくつかの広く使われている例が使用されている。 数値的な比較により、モデル発見におけるこの再帰的ニューラルネットワークの有効性が確かめられる。

Model discovery based on existing data has been one of the major focuses of mathematical modelers for decades. Despite tremendous achievements of model identification from adequate data, how to unravel the models from limited data is less resolved. In this paper, we focus on the model discovery problem when the data is not efficiently sampled in time. This is common due to limited experimental accessibility and labor/resource constraints. Specifically, we introduce a recursive deep neural network (RDNN) for data-driven model discovery. This recursive approach can retrieve the governing equation in a simple and efficient manner, and it can significantly improve the approximation accuracy by increasing the recursive stages. In particular, our proposed approach shows superior power when the existing data are sampled with a large time lag, from which the traditional approach might not be able to recover the model well. Several widely used examples of dynamical systems are used to benchmark this newly proposed recursive approach. Numerical comparisons confirm the effectiveness of this recursive neural network for model discovery.
翻訳日:2022-10-15 05:23:54 公開日:2020-09-24
# 定量的位相イメージングに先立つ深部画像によるロバスト位相アンラッピング

Robust Phase Unwrapping via Deep Image Prior for Quantitative Phase Imaging ( http://arxiv.org/abs/2009.11554v1 )

ライセンス: Link先を確認
Fangshu Yang, Thanh-an Pham, Nathalie Brandenberg, Matthias P. Lutolf, Jianwei Ma and Michael Unser(参考訳) 定量的位相イメージング(QPI)は、コントラストエージェントを使わずに形態的および動的情報を含む画像を生成する新しいラベルフリー技術である。 残念ながら、このフェーズはほとんどのイメージングシステムでラップされている。 位相アンラッピングは、より情報的なイメージを復元する計算過程である。 特に有機体のような厚く複雑な試料では困難である。 近年、教師付きトレーニングに依存する研究は、ディープラーニングが位相を解き放つ強力な方法であることを示しているが、教師付きアプローチでは、複雑な生物学的サンプルを得るのが難しい大規模かつ代表的なデータセットが必要となる。 深部画像優先の概念に触発されて,トレーニングセットを必要としない深部学習に基づく手法を提案する。 我々のフレームワークは、トレーニングされていない畳み込みニューラルネットワークを使って、測定の一貫性を確保しながら、正確に位相を解き放つ。 提案手法は実データとシミュレーションデータの両方の複雑なサンプルの位相を忠実に復元することを示した。 我々の研究は、QPIを用いた厚みと複雑な試料の信頼性の高い位相イメージングへの道を開いた。

Quantitative phase imaging (QPI) is an emerging label-free technique that produces images containing morphological and dynamical information without contrast agents. Unfortunately, the phase is wrapped in most imaging system. Phase unwrapping is the computational process that recovers a more informative image. It is particularly challenging with thick and complex samples such as organoids. Recent works that rely on supervised training show that deep learning is a powerful method to unwrap the phase; however, supervised approaches require large and representative datasets which are difficult to obtain for complex biological samples. Inspired by the concept of deep image priors, we propose a deep-learning-based method that does not need any training set. Our framework relies on an untrained convolutional neural network to accurately unwrap the phase while ensuring the consistency of the measurements. We experimentally demonstrate that the proposed method faithfully recovers the phase of complex samples on both real and simulated data. Our work paves the way to reliable phase imaging of thick and complex samples with QPI.
翻訳日:2022-10-15 05:23:31 公開日:2020-09-24
# Pandora: 自律型サイバー攻撃ツールの安全なテストとデプロイのためのサイバーレンジ環境

Pandora: A Cyber Range Environment for the Safe Testing and Deployment of Autonomous Cyber Attack Tools ( http://arxiv.org/abs/2009.11484v1 )

ライセンス: Link先を確認
Hetong Jiang, Taejun Choi, Ryan K. L. Ko(参考訳) サイバーセキュリティツールは、攻撃の指数的な規模に合わせて人工知能(AI)機能によって自動化され、新しいサイバーセキュリティ人材の訓練の比較的遅い速度を補い、ツールとユーザの両方の正確性とパフォーマンスを改善している。 しかし、自律的サイバー攻撃ツール(特にこれらのツールの開発段階で)の安全かつ適切な使用は、いまだに未対応のギャップである。 現在の文献やツールの調査では、既存のサイバーレンジの設計のほとんどは手動ツールを使用しており、自動化ツールの強化やツールによる潜在的なセキュリティ問題を考慮していない。 言い換えれば、セキュリティ研究者が安全に自律的なツールをデプロイし、必要に応じて自動ツールテストを実行するための、新しいサイバーレンジ設計の余地はまだある。 本稿では,セキュリティ研究者やサイバーレンジのユーザが,利用可能性が高く,リスクの可能性も高い自動サイバー攻撃ツールの実験を行うことができる,安全なテスト環境であるpandoraを紹介する。 企業コンピュータシステムとの直接的な互換性と企業ネットワーク間のリスク伝搬の可能性を持つ既存のテストベッドやサイバーレンジとは異なり、我々のテストシステムは、実際のインフラへの攻撃伝搬のリスクを低減するために、企業現実のコンピューティングシステムと互換性のないように設計されている。 当社の設計では,開発中の自動サイバー攻撃ツールを実行可能なテストバイナリに変換するツールも提供しています。 実験では,提案システム上で自動攻撃ツールをテストし,提案環境のユーザビリティを検証した。 我々の実験は、単純な悪意のあるコードを用いた互換性テストによって環境の安全性も証明した。

Cybersecurity tools are increasingly automated with artificial intelligent (AI) capabilities to match the exponential scale of attacks, compensate for the relatively slower rate of training new cybersecurity talents, and improve of the accuracy and performance of both tools and users. However, the safe and appropriate usage of autonomous cyber attack tools - especially at the development stages for these tools - is still largely an unaddressed gap. Our survey of current literature and tools showed that most of the existing cyber range designs are mostly using manual tools and have not considered augmenting automated tools or the potential security issues caused by the tools. In other words, there is still room for a novel cyber range design which allow security researchers to safely deploy autonomous tools and perform automated tool testing if needed. In this paper, we introduce Pandora, a safe testing environment which allows security researchers and cyber range users to perform experiments on automated cyber attack tools that may have strong potential of usage and at the same time, a strong potential for risks. Unlike existing testbeds and cyber ranges which have direct compatibility with enterprise computer systems and the potential for risk propagation across the enterprise network, our test system is intentionally designed to be incompatible with enterprise real-world computing systems to reduce the risk of attack propagation into actual infrastructure. Our design also provides a tool to convert in-development automated cyber attack tools into to executable test binaries for validation and usage realistic enterprise system environments if required. Our experiments tested automated attack tools on our proposed system to validate the usability of our proposed environment. Our experiments also proved the safety of our environment by compatibility testing using simple malicious code.
翻訳日:2022-10-15 05:17:30 公開日:2020-09-24
# 類似特徴抽出法:一般化スキューtによるロバスト確率射影の拡張

Parsimonious Feature Extraction Methods: Extending Robust Probabilistic Projections with Generalized Skew-t ( http://arxiv.org/abs/2009.11499v1 )

ライセンス: Link先を確認
Dorota Toczydlowska, Gareth W. Peters, Pavel V. Shevchenko(参考訳) 本研究では,(1)観察データの非対称分布を考慮に入れ,(2)観察データにおける辺縁依存性の群をモデル化するための,より柔軟なアプローチを提供する多自由度構造をグループ化し,(3)誤差項と要因の尾効果を分離する,学生t確率的主成分方法論の新たな一般化を提案する。 新たな特徴抽出手法は不完全なデータセットから導出され、観測ベクトルにおける欠落値の存在を効率的に処理する。 本稿では,データ生成過程における単純な仮定の結果として,アルゴリズムの様々な特殊事例について考察する。 新しいフレームワークの適用性は、最も高い市場資本を持つ暗号通貨からなるデータセットに説明されている。

We propose a novel generalisation to the Student-t Probabilistic Principal Component methodology which: (1) accounts for an asymmetric distribution of the observation data; (2) is a framework for grouped and generalised multiple-degree-of-freedom structures, which provides a more flexible approach to modelling groups of marginal tail dependence in the observation data; and (3) separates the tail effect of the error terms and factors. The new feature extraction methods are derived in an incomplete data setting to efficiently handle the presence of missing values in the observation vector. We discuss various special cases of the algorithm being a result of simplified assumptions on the process generating the data. The applicability of the new framework is illustrated on a data set that consists of crypto currencies with the highest market capitalisation.
翻訳日:2022-10-15 05:16:46 公開日:2020-09-24
# トポロジカルデータ解析によるジカ熱時空間のアンサンブル予測

Ensemble Forecasting of the Zika Space-TimeSpread with Topological Data Analysis ( http://arxiv.org/abs/2009.13423v1 )

ライセンス: Link先を確認
Marwah Soliman, Vyacheslav Lyubchich, Yulia R. Gel(参考訳) 世界保健機関の記録によれば、ジカウイルスの発生は2015年5月にブラジルで初めて報告された。 この病気はその後、アメリカや東アジアの他の国にも急速に広がり、人口は10万人以上に及んだ。 ジカウイルスは、主にaedesの感染した蚊(aedes aegyptiとaedes albopictus)を噛んで感染する。 蚊の大量発生とその結果、ジカウイルス感染は、降水、高温、人口密度が高い地域では一般的であり、これらのデータの非線形時空間依存性や過去の公衆衛生記録の欠如は、ウイルスの拡散の予測を特に困難にしている。 本稿では, トポロジカルデータ解析の概念, 特に大気変数の持続的ホモロジーをウイルス拡散モデルに導入することにより, ジカウイルスの予測を強化する。 トポロジカルサマリーは、ユークリッド距離で評価された地理的近接度に基づいて、従来の時空間モデリングアプローチでは評価できない大気変数間の高次依存性を捉えることができる。 累積ベッチ数という新しい概念を導入し、累積ベッチ数を位相ディスクリプタとして、ランダムフォレスト、一般化ブースト回帰、ディープニューラルネットワークの3つの予測機械学習モデルに統合する。 さらに, 様々な不確実性源の定量化を図るため, 得られた個々のモデル予測をベイズ平均化を用いたジカ熱拡散予測のアンサンブルに結合する。 提案手法は,2018年のブラジルにおけるジカ熱の時空拡散予測に適用可能である。

As per the records of theWorld Health Organization, the first formally reported incidence of Zika virus occurred in Brazil in May 2015. The disease then rapidly spread to other countries in Americas and East Asia, affecting more than 1,000,000 people. Zika virus is primarily transmitted through bites of infected mosquitoes of the species Aedes (Aedes aegypti and Aedes albopictus). The abundance of mosquitoes and, as a result, the prevalence of Zika virus infections are common in areas which have high precipitation, high temperature, and high population density.Nonlinear spatio-temporal dependency of such data and lack of historical public health records make prediction of the virus spread particularly challenging. In this article, we enhance Zika forecasting by introducing the concepts of topological data analysis and, specifically, persistent homology of atmospheric variables, into the virus spread modeling. The topological summaries allow for capturing higher order dependencies among atmospheric variables that otherwise might be unassessable via conventional spatio-temporal modeling approaches based on geographical proximity assessed via Euclidean distance. We introduce a new concept of cumulative Betti numbers and then integrate the cumulative Betti numbers as topological descriptors into three predictive machine learning models: random forest, generalized boosted regression, and deep neural network. Furthermore, to better quantify for various sources of uncertainties, we combine the resulting individual model forecasts into an ensemble of the Zika spread predictions using Bayesian model averaging. The proposed methodology is illustrated in application to forecasting of the Zika space-time spread in Brazil in the year 2018.
翻訳日:2022-10-15 05:16:27 公開日:2020-09-24
# ThreatZoom:階層型ニューラルネットワークを用いたCVE2CWE

ThreatZoom: CVE2CWE using Hierarchical Neural Network ( http://arxiv.org/abs/2009.11501v1 )

ライセンス: Link先を確認
Ehsan Aghaei, Waseem Shadid, Ehab Al-Shaer(参考訳) Common Vulnerabilities and Exposures (CVE)は、既知の情報セキュリティ脆弱性を共有する標準的な手段である。 1つ以上のCVEは、ソフトウェアや構成上の欠陥や、これらの脆弱性によって可能になった潜在的な影響を理解し、エクスプロイトを検知または防止する手段を特定するために、Common Weakness Enumeration (CWE)クラスにグループ化される。 CVE-to-CWE分類は、主にドメインの専門家が手動で行うため、何千もの重要なCVEと新しいCVEは未分類のままである。 これはCVEの有用性を著しく制限し、積極的な脅威緩和を遅らせる。 本稿では,CVEをCWEに分類する最初の自動ツールを提案する。 ThreatZoomは、テキスト分析スコアと分類エラーに基づいて重みを調整する適応階層型ニューラルネットワークを使用する、新しい学習アルゴリズムを使用している。 CVEの記述から抽出された統計的特徴と意味的特徴の両方を用いて、CVEインスタンスに対応するCWEクラスを自動的に推定する。 このツールは、MITREとNational Vulnerability Database(NVD)が提供するさまざまなデータセットによって厳格にテストされている。 CVEインスタンスを正しいCWEクラスに分類する精度は、NVDデータセットでは92%(微粒)と94%(粗粒)、MITREデータセットでは75%(微粒)と90%(粗粒)である。

The Common Vulnerabilities and Exposures (CVE) represent standard means for sharing publicly known information security vulnerabilities. One or more CVEs are grouped into the Common Weakness Enumeration (CWE) classes for the purpose of understanding the software or configuration flaws and potential impacts enabled by these vulnerabilities and identifying means to detect or prevent exploitation. As the CVE-to-CWE classification is mostly performed manually by domain experts, thousands of critical and new CVEs remain unclassified, yet they are unpatchable. This significantly limits the utility of CVEs and slows down proactive threat mitigation. This paper presents the first automatic tool to classify CVEs to CWEs. ThreatZoom uses a novel learning algorithm that employs an adaptive hierarchical neural network which adjusts its weights based on text analytic scores and classification errors. It automatically estimates the CWE classes corresponding to a CVE instance using both statistical and semantic features extracted from the description of a CVE. This tool is rigorously tested by various datasets provided by MITRE and the National Vulnerability Database (NVD). The accuracy of classifying CVE instances to their correct CWE classes are 92% (fine-grain) and 94% (coarse-grain) for NVD dataset, and 75% (fine-grain) and 90% (coarse-grain) for MITRE dataset, despite the small corpus.
翻訳日:2022-10-15 05:15:59 公開日:2020-09-24
# 癌検出のための肺結節の同定と分類のためのカスケードネットワークによる転送学習

Transfer Learning by Cascaded Network to identify and classify lung nodules for cancer detection ( http://arxiv.org/abs/2009.11587v1 )

ライセンス: Link先を確認
Shah B. Shrey, Lukman Hakim, Muthusubash Kavitha, Hae Won Kim, Takio Kurita(参考訳) 肺がんは世界で最も致命的な病気の1つである。 このような腫瘍を早期に検出するのは面倒な作業である。 既存の肺結節同定のためのディープラーニングアーキテクチャは、多数のパラメータを持つ複雑なアーキテクチャを用いていた。 本研究はCT画像に基づいて良性または悪性の肺結節を正確に分類・分類できるカスケードアーキテクチャを開発した。 この研究の主な貢献は、公開データセットでトレーニングされた第1段階が、転送学習による任意のデータセットから結節を含む画像を認識するのに役立つセグメンテーションネットワークを導入することである。 そして、結節の分節は第2段階を改良し、結節を良性および悪性に分類する。 提案手法は曲線値95.67\%の範囲で従来の手法を上回った。 以上の結果から,提案アーキテクチャの97.96 %の分類精度は,肺癌検出のための肺結節の分類において,他の単純かつ複雑な構造よりも優れていた。

Lung cancer is one of the most deadly diseases in the world. Detecting such tumors at an early stage can be a tedious task. Existing deep learning architecture for lung nodule identification used complex architecture with large number of parameters. This study developed a cascaded architecture which can accurately segment and classify the benign or malignant lung nodules on computed tomography (CT) images. The main contribution of this study is to introduce a segmentation network where the first stage trained on a public data set can help to recognize the images which included a nodule from any data set by means of transfer learning. And the segmentation of a nodule improves the second stage to classify the nodules into benign and malignant. The proposed architecture outperformed the conventional methods with an area under curve value of 95.67\%. The experimental results showed that the classification accuracy of 97.96\% of our proposed architecture outperformed other simple and complex architectures in classifying lung nodules for lung cancer detection.
翻訳日:2022-10-15 05:15:34 公開日:2020-09-24
# 静止障害物のある仮想空間における無人航空機の強化学習による運動計画

Motion Planning by Reinforcement Learning for an Unmanned Aerial Vehicle in Virtual Open Space with Static Obstacles ( http://arxiv.org/abs/2009.11799v1 )

ライセンス: Link先を確認
Sanghyun Kim, Jongmin Park, Jae-Kwan Yun, and Jiwon Seo(参考訳) 本研究では,無人航空機(UAV)の静止障害物のあるオープンスペースでの動作計画を行うために,近似ポリシ最適化アルゴリズムに基づく強化学習を適用した。 実UAVによる強化学習の適用には,時間やコストなどいくつかの制限があるため,仮想環境における仮想4乗子UAVのトレーニングにはGazeboシミュレータを用いた。 強化学習が進むにつれて,モデルの平均報酬と目標率が向上した。 さらに,本研究で提案した単純な報酬関数を用いて,UAVが81%の目標率で目標に達することを示す。

In this study, we applied reinforcement learning based on the proximal policy optimization algorithm to perform motion planning for an unmanned aerial vehicle (UAV) in an open space with static obstacles. The application of reinforcement learning through a real UAV has several limitations such as time and cost; thus, we used the Gazebo simulator to train a virtual quadrotor UAV in a virtual environment. As the reinforcement learning progressed, the mean reward and goal rate of the model were increased. Furthermore, the test of the trained model shows that the UAV reaches the goal with an 81% goal rate using the simple reward function suggested in this work.
翻訳日:2022-10-15 05:15:20 公開日:2020-09-24
# 不確実性下における環境保全型サプライチェーンネットワーク設計:最適化の適用

An Environmentally Sustainable Closed-Loop Supply Chain Network Design under Uncertainty: Application of Optimization ( http://arxiv.org/abs/2009.11979v1 )

ライセンス: Link先を確認
Md. Mohsin Ahmed and S. M. Salauddin Iqbal and Tazrin Jahan Priyanka and Mohammad Arani and Mohsen Momenitabar and Md Mashum Billal(参考訳) 新たに, 産業用プロダクションの促進に向けたエネルギー・物質消費の割合は著しく高く, 開発・開発の主要課題として, 環境保全型産業用デベロップメントが出現している。 新たなサプライチェーン管理手法が提案され、サプライチェーンネットワークの設計に対する環境に配慮した懸念とともに経済成長を維持する。 本稿では,環境への急速な産業発展の悪影響を緩和するために必要な環境要因を考慮に入れた,新たなグリーンサプライチェーン設計手法を提案する。 このアプローチは、環境に持続可能な閉ループサプライチェーンを構築するための総コストとco2排出量を最小化する多目的数学モデルを提案する。 Epsilon Constraint Method と Genetic Al-gorithm Optimization Method という2つのオプティマイゼーション手法が用いられている。 上記の2つの方法の結果を比較し,その効果を示した。 分析の結果を承認し、金融と環境問題を同時に扱うため、提案モデルの正確性を検証する。

Newly, the rates of energy and material consumption to augment industrial pro-duction are substantially high, thus the environmentally sustainable industrial de-velopment has emerged as the main issue of either developed or developing coun-tries. A novel approach to supply chain management is proposed to maintain economic growth along with environmentally friendly concerns for the design of the supply chain network. In this paper, a new green supply chain design approach has been suggested to maintain the financial virtue accompanying the environ-mental factors that required to be mitigated the negative effect of rapid industrial development on the environment. This approach has been suggested a multi-objective mathematical model minimizing the total costs and CO2 emissions for establishing an environmentally sustainable closed-loop supply chain. Two opti-mization methods are used namely Epsilon Constraint Method, and Genetic Al-gorithm Optimization Method. The results of the two mentioned methods have been compared and illustrated their effectiveness. The outcome of the analysis is approved to verify the accuracy of the proposed model to deal with financial and environmental issues concurrently.
翻訳日:2022-10-15 05:08:26 公開日:2020-09-24
# 一般領域に対する一般化スコアマッチング

Generalized Score Matching for General Domains ( http://arxiv.org/abs/2009.11428v1 )

ライセンス: Link先を確認
Shiqing Yu, Mathias Drton, Ali Shojaie(参考訳) 一般領域で支持される密度関数の推定は、データが自然に実空間の固有部分集合に制限されたときに生じる。 この問題は典型的には難解な正規化定数によって複雑である。 スコアマッチングは、そのような難解な正規化定数で密度を推定する強力なツールを提供するが、もともと提案されていたように、$\mathbb{R}^m$ と $\mathbb{R}_+^m$ の密度に限られる。 本稿では,非常に一般的な領域で支持される密度に対応するスコアマッチングの自然な一般化を提案する。 このフレームワークをグラフィカルおよびペアワイズ相互作用モデルに応用し、その結果の推定値に対する理論的保証を提供する。 また,最近提案された手法を有界領域から非有界領域に一般化し,提案手法の利点を実証的に示す。

Estimation of density functions supported on general domains arises when the data is naturally restricted to a proper subset of the real space. This problem is complicated by typically intractable normalizing constants. Score matching provides a powerful tool for estimating densities with such intractable normalizing constants, but as originally proposed is limited to densities on $\mathbb{R}^m$ and $\mathbb{R}_+^m$. In this paper, we offer a natural generalization of score matching that accommodates densities supported on a very general class of domains. We apply the framework to truncated graphical and pairwise interaction models, and provide theoretical guarantees for the resulting estimators. We also generalize a recently proposed method from bounded to unbounded domains, and empirically demonstrate the advantages of our method.
翻訳日:2022-10-15 05:08:09 公開日:2020-09-24
# 高次接続性特化脳マッピングのための単一ネットワークからの逆脳多重予測

Adversarial Brain Multiplex Prediction From a Single Network for High-Order Connectional Gender-Specific Brain Mapping ( http://arxiv.org/abs/2009.11524v1 )

ライセンス: Link先を確認
Ahmed Nebli and Islem Rekik(参考訳) 磁気共鳴画像(MRI)から導かれる脳接続ネットワークは、興味のある2つの脳領域(ROI)間の機能、構造、形態の関係を非侵襲的に定量化し、性別に関連する関連性の違いについての洞察を与える。 しかし、私たちの知る限りでは、脳の接続性における性差の研究は、ネットワークとしての脳の複雑な高次相互接続性を見越して、ペア(低次)関係ROIの調査に限られていた。 この制限に対処するために、少なくとも2つの異なる脳ネットワーク間の関係をモデル化するために、脳多重が導入された。 しかし、これは機能的ネットワークのような単一の脳ネットワークを持つデータセットへの彼らの応用を阻害する。 このギャップを埋めるために、ソースネットワークから脳の多重化を予測するための最初の研究を提案し、性別差を調査する。 近年,gans(generative adversarial networks)が医療データ合成の分野を沈めている。 しかし、従来のGANは画像上ではうまく機能するが、非ユークリッド位相構造のため、脳ネットワークは扱えない。 そこで,本論文では,gemetry-gans (g-gan) の新たな分野を用いて,深層多重予測アーキテクチャを設計する。 (i)スキップ接続によるu-netアーキテクチャを模倣したネットワークトランスレータを対象とする幾何学的情報源 (ii)マルチプレックス源層をコンディショニングすることにより予測対象層内を分類する条件付き判別器。 このようなアーキテクチャは、潜在元ネットワーク表現と、ソースからターゲットの多重層への深い非線形マッピングを同時に学習する。 大規模なデータセットを用いた実験により、予測多重化はソースネットワークと比較して性別分類精度を著しく向上させ、低次と高次の両方の性別特化多重化接続を同定した。

Brain connectivity networks, derived from magnetic resonance imaging (MRI), non-invasively quantify the relationship in function, structure, and morphology between two brain regions of interest (ROIs) and give insights into gender-related connectional differences. However, to the best of our knowledge, studies on gender differences in brain connectivity were limited to investigating pairwise (i.e., low-order) relationship ROIs, overlooking the complex high-order interconnectedness of the brain as a network. To address this limitation, brain multiplexes have been introduced to model the relationship between at least two different brain networks. However, this inhibits their application to datasets with single brain networks such as functional networks. To fill this gap, we propose the first work on predicting brain multiplexes from a source network to investigate gender differences. Recently, generative adversarial networks (GANs) submerged the field of medical data synthesis. However, although conventional GANs work well on images, they cannot handle brain networks due to their non-Euclidean topological structure. Differently, in this paper, we tap into the nascent field of geometric-GANs (G-GAN) to design a deep multiplex prediction architecture comprising (i) a geometric source to target network translator mimicking a U-Net architecture with skip connections and (ii) a conditional discriminator which classifies predicted target intra-layers by conditioning on the multiplex source intra-layers. Such architecture simultaneously learns the latent source network representation and the deep non-linear mapping from the source to target multiplex intra-layers. Our experiments on a large dataset demonstrated that predicted multiplexes significantly boost gender classification accuracy compared with source networks and identifies both low and high-order gender-specific multiplex connections.
翻訳日:2022-10-15 05:06:56 公開日:2020-09-24
# 軽量画像超解像のための残像蒸留ネットワーク

Residual Feature Distillation Network for Lightweight Image Super-Resolution ( http://arxiv.org/abs/2009.11551v1 )

ライセンス: Link先を確認
Jie Liu, Jie Tang, Gangshan Wu(参考訳) 近年のsingle image super- resolution(sisr)の進歩により、畳み込みニューラルネットワーク(cnn)の性能が向上した。 CNNベースの手法の大きな成功にもかかわらず、重い計算を必要とするため、これらの手法をエッジデバイスに適用することは容易ではない。 この問題を解決するために、様々な高速軽量CNNモデルが提案されている。 情報蒸留ネットワークは, 蒸留特性を抽出するためにチャネル分割操作を応用した最先端手法の一つである。 しかし、この操作が効率的なSISRモデルの設計にどのように役立つかは明らかではない。 本稿では,より軽量でフレキシブルなチャネル分割操作と機能的に等価な特徴蒸留接続(FDC)を提案する。 FDCにより、情報多蒸留ネットワーク(IMDN)を再考し、残像蒸留ネットワーク(RFDN)と呼ばれる軽量かつ高精度なSISRモデルを提案する。 RFDNは複数の特徴蒸留接続を用いてより識別的な特徴表現を学習する。 また、RFDNの主ビルディングブロックとして浅層残留ブロック(SRB)を提案する。 大規模実験結果から,提案したRFDNは,性能およびモデル複雑さの観点から,最先端の手法とのトレードオフを良好に達成できることが示された。 また,改良されたRFDN (E-RFDN) を提案し,AIM 2020 の高効率超解像チャレンジで優勝した。 コードはhttps://github.com/njulj/rfdnで入手できる。

Recent advances in single image super-resolution (SISR) explored the power of convolutional neural network (CNN) to achieve a better performance. Despite the great success of CNN-based methods, it is not easy to apply these methods to edge devices due to the requirement of heavy computation. To solve this problem, various fast and lightweight CNN models have been proposed. The information distillation network is one of the state-of-the-art methods, which adopts the channel splitting operation to extract distilled features. However, it is not clear enough how this operation helps in the design of efficient SISR models. In this paper, we propose the feature distillation connection (FDC) that is functionally equivalent to the channel splitting operation while being more lightweight and flexible. Thanks to FDC, we can rethink the information multi-distillation network (IMDN) and propose a lightweight and accurate SISR model called residual feature distillation network (RFDN). RFDN uses multiple feature distillation connections to learn more discriminative feature representations. We also propose a shallow residual block (SRB) as the main building block of RFDN so that the network can benefit most from residual learning while still being lightweight enough. Extensive experimental results show that the proposed RFDN achieve a better trade-off against the state-of-the-art methods in terms of performance and model complexity. Moreover, we propose an enhanced RFDN (E-RFDN) and won the first place in the AIM 2020 efficient super-resolution challenge. Code will be available at https://github.com/njulj/RFDN.
翻訳日:2022-10-15 05:06:28 公開日:2020-09-24
# CoFF:自律走行車における3次元物体検出のための協調的空間特徴融合

CoFF: Cooperative Spatial Feature Fusion for 3D Object Detection on Autonomous Vehicles ( http://arxiv.org/abs/2009.11975v1 )

ライセンス: Link先を確認
Jingda Guo, Dominic Carrillo, Sihai Tang, Qi Chen, Qing Yang, Song Fu, Xi Wang, Nannan Wang, Paparao Palacharla(参考訳) 送信データ量を削減するため, 自律走行車による協調3次元物体検出のための実用的ソリューションとして, 特徴マップベースの融合が提案されている。 しかし、オブジェクト検出の精度は、特に遠くにある、あるいは隠されているオブジェクトに対して、大幅に改善する必要があるかもしれない。 そこで本研究では,自律走行車と人間との協調的空間的特徴融合法(coff)を提案し,より高い3次元物体検出性能を実現するために,特徴マップを効果的に融合する。 特に、CoFFは、受信した特徴マップがどれだけ新しい意味情報を提供するかに基づいて、より誘導された融合のために特徴マップ間で重みを区別する。 また、遠近の物体に対応する不明瞭な特徴を強化し、検出精度を向上する。 実験結果から,CoFFは従来の機能融合ソリューションと比較して,自動走行車の検出精度と有効検出範囲の両方において有意な改善が得られた。

To reduce the amount of transmitted data, feature map based fusion is recently proposed as a practical solution to cooperative 3D object detection by autonomous vehicles. The precision of object detection, however, may require significant improvement, especially for objects that are far away or occluded. To address this critical issue for the safety of autonomous vehicles and human beings, we propose a cooperative spatial feature fusion (CoFF) method for autonomous vehicles to effectively fuse feature maps for achieving a higher 3D object detection performance. Specially, CoFF differentiates weights among feature maps for a more guided fusion, based on how much new semantic information is provided by the received feature maps. It also enhances the inconspicuous features corresponding to far/occluded objects to improve their detection precision. Experimental results show that CoFF achieves a significant improvement in terms of both detection precision and effective detection range for autonomous vehicles, compared to previous feature fusion solutions.
翻訳日:2022-10-15 05:05:46 公開日:2020-09-24
# 個々の美学の深層学習

Deep Learning of Individual Aesthetics ( http://arxiv.org/abs/2009.12216v1 )

ライセンス: Link先を確認
Jon McCormack and Andy Lomas(参考訳) 人間の美的嗜好の正確な評価は、創造的進化と生成システム研究の大きな課題である。 以前の作業は、対称性、複雑さ、一貫性など、アーティファクトの特徴尺度に焦点を当てる傾向があった。 しかし、心理学による研究モデルは、人間の美的経験がアーティファクトを超えて要素をカプセル化し、正確な計算モデルを設計するのが非常に困難であることを示唆している。 対話型遺伝的アルゴリズム (IGA) は, ユーザの疲労や人口規模が小さかったため, 美学を主観的に評価し, その問題を回避している。 本稿では,近年の深層学習の進歩が,個人的審美判断の自動化にどのように役立つかを検討する。 先行アーティストのコンピュータアートデータセットを用いて,複雑度などの画像計測と人体美的評価の関係について検討した。 我々は、ジェノタイプ空間と表現型空間の両方を可視化するために次元還元法を用いて、生成系における新しい領域の探索を支援する。 アーティストの以前の美的評価に基づいて訓練された畳み込みニューラルネットワークは、既知の高品質な遺伝子型-フェノタイプマッピング間の新しい可能性を提案するために使用される。 我々はこの分類と発見システムを複雑な生成技術と設計を進化させるソフトウェアツールに統合する。

Accurate evaluation of human aesthetic preferences represents a major challenge for creative evolutionary and generative systems research. Prior work has tended to focus on feature measures of the artefact, such as symmetry, complexity and coherence. However, research models from Psychology suggest that human aesthetic experiences encapsulate factors beyond the artefact, making accurate computational models very difficult to design. The interactive genetic algorithm (IGA) circumvents the problem through human-in-the-loop, subjective evaluation of aesthetics, but is limited due to user fatigue and small population sizes. In this paper we look at how recent advances in deep learning can assist in automating personal aesthetic judgement. Using a leading artist's computer art dataset, we investigate the relationship between image measures, such as complexity, and human aesthetic evaluation. We use dimension reduction methods to visualise both genotype and phenotype space in order to support the exploration of new territory in a generative system. Convolutional Neural Networks trained on the artist's prior aesthetic evaluations are used to suggest new possibilities similar or between known high quality genotype-phenotype mappings. We integrate this classification and discovery system into a software tool for evolving complex generative art and design.
翻訳日:2022-10-15 05:00:28 公開日:2020-09-24
# 信念ベース改訂における証拠理論の利用について

On the use of evidence theory in belief base revision ( http://arxiv.org/abs/2009.11640v1 )

ライセンス: Link先を確認
Ra\"ida Ktari and Mohamed Ayman Boujelben(参考訳) 本稿では,新たな事実を有限個の命題式で表されるエージェントの信念に組み込むことによる信念変化の一形態である信念ベースリビジョンについて述べる。 そこで本論文では,実応用の信頼性と合理性を高めるために,根拠理論から得られる適切なツールを用いて2つの新たな公式に基づく修正演算子を定義するための信頼度ベース修正案を提案する。 これらの作用素は[9]で同じ精神で一様に示され、集合の包含や濃度よりも信頼性に関して一貫した部分基底から導かれる。 さらに、これらの2つの極端作用素の間には、エビデンス理論は、最初の信念を可能な限り失われないようにする妥協作用素に光を当てる。 そのアイデアは、最大一貫部分基底のすべての可能な交叉から生じる最大一貫集合をキャプチャする。 これらすべての演算子の例と他の演算子との比較は、例によって逆転する。

This paper deals with belief base revision that is a form of belief change consisting of the incorporation of new facts into an agent's beliefs represented by a finite set of propositional formulas. In the aim to guarantee more reliability and rationality for real applications while performing revision, we propose the idea of credible belief base revision yielding to define two new formula-based revision operators using the suitable tools offered by evidence theory. These operators, uniformly presented in the same spirit of others in [9], stem from consistent subbases maximal with respect to credibility instead of set inclusion and cardinality. Moreover, in between these two extremes operators, evidence theory let us shed some light on a compromise operator avoiding losing initial beliefs to the maximum extent possible. Its idea captures maximal consistent sets stemming from all possible intersections of maximal consistent subbases. An illustration of all these operators and a comparison with others are inverstigated by examples.
翻訳日:2022-10-15 05:00:06 公開日:2020-09-24
# FTN:フォアグラウンドガイドによるテクスチャを意識した人物の再同定

FTN: Foreground-Guided Texture-Focused Person Re-Identification ( http://arxiv.org/abs/2009.11425v1 )

ライセンス: Link先を確認
Donghaisheng Liu, Shoudong Han, Yang Chen, Chenfei Xia, Jun Zhao(参考訳) 人物再識別(re-id)は、しばしば異なる背景にいるため、困難なタスクである。 最近のre-id法は、前景と背景情報を個人識別学習に等しく扱うが、異なる人物が同じ背景にいる場合や同じ人物が異なる背景にいる場合、誤報の可能性がある。 本稿では,無関係な背景の表現を弱め,個人関係の属性をエンドツーエンドで強調する,re-idのためのフォアグラウンドガイド型テクスチャ指向ネットワーク(ftn)を提案する。 FTNは、セマンティックエンコーダ(S-Enc)とRe-IDタスクのためのコンパクトフォアグラウンドアテンションモジュール(CFA)と、再構成タスクのためのテクスチャ指向デコーダ(TF-Dec)で構成される。 特に,提案手法は,ガウスマスクによるFTNの入力と,CFAによるアテンションマスクの入力のみであるので,TF-Decのための前景誘導型半教師付き学習戦略を構築する。 さらに,入力と再構成出力間のテクスチャ一貫性をマイニングするために,新たな勾配損失が導入された。 我々のFTNは,3つの一般的なデータセットであるMarket1501,CUHK03,MSMT17の計算効率と広範囲な実験により,提案手法が最先端の手法に対して良好に動作することを示す。

Person re-identification (Re-ID) is a challenging task as persons are often in different backgrounds. Most recent Re-ID methods treat the foreground and background information equally for person discriminative learning, but can easily lead to potential false alarm problems when different persons are in similar backgrounds or the same person is in different backgrounds. In this paper, we propose a Foreground-Guided Texture-Focused Network (FTN) for Re-ID, which can weaken the representation of unrelated background and highlight the attributes person-related in an end-to-end manner. FTN consists of a semantic encoder (S-Enc) and a compact foreground attention module (CFA) for Re-ID task, and a texture-focused decoder (TF-Dec) for reconstruction task. Particularly, we build a foreground-guided semi-supervised learning strategy for TF-Dec because the reconstructed ground-truths are only the inputs of FTN weighted by the Gaussian mask and the attention mask generated by CFA. Moreover, a new gradient loss is introduced to encourage the network to mine the texture consistency between the inputs and the reconstructed outputs. Our FTN is computationally efficient and extensive experiments on three commonly used datasets Market1501, CUHK03 and MSMT17 demonstrate that the proposed method performs favorably against the state-of-the-art methods.
翻訳日:2022-10-15 04:59:51 公開日:2020-09-24
# BWCFace:ボディウーンカメラを用いたオープンセット顔認識

BWCFace: Open-set Face Recognition using Body-worn Camera ( http://arxiv.org/abs/2009.11458v1 )

ライセンス: Link先を確認
Ali Almadan, Anoop Krishnan, Ajita Rattani(参考訳) 過去10年でコンピュータビジョンは屈曲点に達し、顔認識技術は警察、情報収集、消費者アプリケーションで広く使われている。 近年、ボディウーンのカメラに顔認識技術を導入し、警官の安全を確保し、状況認識を可能にし、裁判の証拠を提供した。 しかし、サンプルサイズが小さいデータセットの伝統的な手法を用いて、この話題に関する学術研究は限られている。 本稿では,ボディウーンカメラ(BWC)を用いた最先端の顔認識におけるギャップを埋めることを目的とする。 本研究の目的は,(1)ボディウーンカメラを用いて撮影した132人の被験者の顔画像の合計178万枚からなるBWCFaceと呼ばれるデータセットの収集と,(2)最新のディープラーニングベースの畳み込みニューラルネットワーク(CNN)アーキテクチャのオープンセット評価と,収集されたデータセットの5つの異なる損失関数を組み合わせることにある。 BWCFaceデータセットの実験結果から,大規模なVGGFace2顔画像データセットでトレーニングしたSENet-50を用いて顔の特徴を抽出した場合,最大33.89%のランク-1精度が得られた。 しかし、BWCFaceデータセットのサブセットに基づいて事前訓練されたCNNモデルが微調整された場合、パフォーマンスは99.00%まで向上した。 既存の顔データセットで使用されるボディウォーンカメラセンサモデルで同等の性能が得られた。 収集されたBWCFaceデータセットと事前訓練/微調整されたアルゴリズムは、この分野のさらなる研究と開発を促進するために公開されている。 このデータセットとアルゴリズムのダウンロード可能なリンクは、著者にコンタクトすることで利用できる。

With computer vision reaching an inflection point in the past decade, face recognition technology has become pervasive in policing, intelligence gathering, and consumer applications. Recently, face recognition technology has been deployed on bodyworn cameras to keep officers safe, enabling situational awareness and providing evidence for trial. However, limited academic research has been conducted on this topic using traditional techniques on datasets with small sample size. This paper aims to bridge the gap in the state-of-the-art face recognition using bodyworn cameras (BWC). To this aim, the contribution of this work is two-fold: (1) collection of a dataset called BWCFace consisting of a total of 178K facial images of 132 subjects captured using the body-worn camera in in-door and daylight conditions, and (2) open-set evaluation of the latest deep-learning-based Convolutional Neural Network (CNN) architectures combined with five different loss functions for face identification, on the collected dataset. Experimental results on our BWCFace dataset suggest a maximum of 33.89% Rank-1 accuracy obtained when facial features are extracted using SENet-50 trained on a large scale VGGFace2 facial image dataset. However, performance improved up to a maximum of 99.00% Rank-1 accuracy when pretrained CNN models are fine-tuned on a subset of identities in our BWCFace dataset. Equivalent performances were obtained across body-worn camera sensor models used in existing face datasets. The collected BWCFace dataset and the pretrained/ fine-tuned algorithms are publicly available to promote further research and development in this area. A downloadable link of this dataset and the algorithms is available by contacting the authors.
翻訳日:2022-10-15 04:59:22 公開日:2020-09-24
# mimicdet: 1段階と2段階のオブジェクト検出のギャップを埋める

MimicDet: Bridging the Gap Between One-Stage and Two-Stage Object Detection ( http://arxiv.org/abs/2009.11528v1 )

ライセンス: Link先を確認
Xin Lu, Quanquan Li, Buyu Li, Junjie Yan(参考訳) 現代の物体検出法は1段階のアプローチと2段階のアプローチに分けることができる。 単段検出器は、単純な構造のため効率が良いが、2段検出器は精度が良い。 最近の研究は、2段の構造設計を模倣して1段検出器の改良を試みているが、精度の差は依然として大きい。 本稿では,一段検出器と二段検出器の精度ギャップを埋めることを目的として,二段特徴を直接模倣して一段検出器を訓練する新しい,効率的なフレームワークであるMimicDetを提案する。 従来の模倣方法とは異なり、MimicDetは1段と2段の検出器で共有されたバックボーンを持ち、それから2つのヘッドに分岐する。 したがって、ミメデットは教師ネットワークの事前訓練なしにエンドツーエンドで訓練することができる。 コストもそれほど高くないため,大規模なネットワークをバックボーンとして採用することは現実的だ。 また, 模倣処理を容易にするために, デュアルパス模倣, スタッガー特徴ピラミッドなどの特殊設計もいくつか用意した。 挑戦的coco検出ベンチマーク実験はミソデットの有効性を示す。 COCO test-dev セットの ResNeXt-101 バックボーンで46.1 mAP を実現し、現在の最先端手法を大きく上回っている。

Modern object detection methods can be divided into one-stage approaches and two-stage ones. One-stage detectors are more efficient owing to straightforward architectures, but the two-stage detectors still take the lead in accuracy. Although recent work try to improve the one-stage detectors by imitating the structural design of the two-stage ones, the accuracy gap is still significant. In this paper, we propose MimicDet, a novel and efficient framework to train a one-stage detector by directly mimic the two-stage features, aiming to bridge the accuracy gap between one-stage and two-stage detectors. Unlike conventional mimic methods, MimicDet has a shared backbone for one-stage and two-stage detectors, then it branches into two heads which are well designed to have compatible features for mimicking. Thus MimicDet can be end-to-end trained without the pre-train of the teacher network. And the cost does not increase much, which makes it practical to adopt large networks as backbones. We also make several specialized designs such as dual-path mimicking and staggered feature pyramid to facilitate the mimicking process. Experiments on the challenging COCO detection benchmark demonstrate the effectiveness of MimicDet. It achieves 46.1 mAP with ResNeXt-101 backbone on the COCO test-dev set, which significantly surpasses current state-of-the-art methods.
翻訳日:2022-10-15 04:58:51 公開日:2020-09-24
# Eigen-based Cross-Diffusion and Heat Tracing for Brain State Profiling による脳マルチグラフのマルチスケールプロファイリング

Multi-Scale Profiling of Brain Multigraphs by Eigen-based Cross-Diffusion and Heat Tracing for Brain State Profiling ( http://arxiv.org/abs/2009.11534v1 )

ライセンス: Link先を確認
Mustafa Saglam and Islem Rekik(参考訳) 個々の脳は高度に複雑な多重グラフ(つまりコネクトームと呼ばれるグラフの集合)と見なすことができ、各グラフは機能や形態のような一対の脳領域(node)関係のユニークな接続ビューを表す。 脳障害が脳グラフの単一のビューだけでなく、個人や人口規模でのマルチグラフ表現をどのように変化させるかを理解することは、脳との接続をプロファイリングする上で最も困難な障害の1つであり、最終的には脳の幅広い状態(例えば、健康状態と障害状態)を遠ざけてしまう。 本研究では,スペクトルグラフ理論と拡散モデルの分野をクロスポーリングしながら,マルチグラフ脳積分,比較,プロファイリングのための固有拡散戦略を前例なく提案する。 具体的には, 固有ベクトル中心性に導かれた脳のマルチグラフ融合モデルを, クロスディフフュージョン過程のほとんどの中心ノードに依存するように考案した。 次に、グラフスペクトルはその形状(あるいは幾何学)をグラフの形状を聴くことができるように符号化するので、初めて融合した多重グラフを複数の拡散時間スケールでプロファイルし、対応するラプラシア行列のコンパクトな熱トレースシグネチャを抽出する。 本稿では,t1-w磁気共鳴画像(mri)から得られた形態的脳マルチグラフの自閉症および健康的プロファイルを初めて明らかにし,未発見標本の分類を最先端の手法と比較し,その識別性を示す。 本研究は,複合神経疾患のプロファイリングや解像に応用できる脳のマルチグラフの形状を聴くための第一歩として,精密な医学の進歩について述べる。

The individual brain can be viewed as a highly-complex multigraph (i.e. a set of graphs also called connectomes), where each graph represents a unique connectional view of pairwise brain region (node) relationships such as function or morphology. Due to its multifold complexity, understanding how brain disorders alter not only a single view of the brain graph, but its multigraph representation at the individual and population scales, remains one of the most challenging obstacles to profiling brain connectivity for ultimately disentangling a wide spectrum of brain states (e.g., healthy vs. disordered). In this work, while cross-pollinating the fields of spectral graph theory and diffusion models, we unprecedentedly propose an eigen-based cross-diffusion strategy for multigraph brain integration, comparison, and profiling. Specifically, we first devise a brain multigraph fusion model guided by eigenvector centrality to rely on most central nodes in the cross-diffusion process. Next, since the graph spectrum encodes its shape (or geometry) as if one can hear the shape of the graph, for the first time, we profile the fused multigraphs at several diffusion timescales by extracting the compact heat-trace signatures of their corresponding Laplacian matrices. Here, we reveal for the first time autistic and healthy profiles of morphological brain multigraphs, derived from T1-w magnetic resonance imaging (MRI), and demonstrate their discriminability in boosting the classification of unseen samples in comparison with state-of-the-art methods. This study presents the first step towards hearing the shape of the brain multigraph that can be leveraged for profiling and disentangling comorbid neurological disorders, thereby advancing precision medicine.
翻訳日:2022-10-15 04:58:28 公開日:2020-09-24
# 脳状態分類のためのマルチビュー脳ハイパーコネクトームオートエンコーダ

Multi-View Brain HyperConnectome AutoEncoder For Brain State Classification ( http://arxiv.org/abs/2009.11553v1 )

ライセンス: Link先を確認
Alin Banka, Inis Buzi and Islem Rekik(参考訳) グラフ埋め込みは、脳の接続マッピング、予測、分類のための低次元空間におけるグラフ神経学的データ(例えば脳コネクトーム)を表現する強力な方法である。 しかし、既存の埋め込みアルゴリズムには2つの大きな制限がある。 まず、ノード間の1対1のトポロジ的関係(例えば、コネクトーム内の関心領域(ROI))を保存することに重点を置いているが、それらは主に、ハイパーコネクトーム構造を用いてキャプチャできる多対多の関係(セット)を無視している。 第二に、既存のグラフ埋め込み技術は、異種分布を持つマルチビューグラフデータに容易に適用できない。 本稿では,超グラフ理論による対向深層学習を相互に補間しながら,主観0種別多視点脳グラフの深部潜伏埋め込みを共同で学習し,最終的に異なる脳状態が乱れるようにする。 まず,一対のrois間の接続性を保存するために,近接近傍アルゴリズムに基づく脳ビュー毎にハイパーコネクトームを構築するための新しい簡便な戦略を提案する。 第2に,ハイパーグラフ畳み込み層に基づくマルチビューハイパーコネクトーム上で直接動作するハイパーコネクトームオートエンコーダ(hcae)フレームワークを設計し,脳領域(すなわちノード)間の多対多の関係をよりよく把握する。 各被験者に対して,逆正則化によるハイパーグラフの自動符号化をさらに規則化し,学習したハイパーコネクトーム埋め込みの分布と入力されたハイパーコネクトームの分布を一致させる。 ハイパーコネクトームの埋め込みを幾何学的ディープラーニングフレームワーク内に形式化し,対象を最適化することで,個々の学習フレームワークを設計する。 実験の結果,HCAEによる学習した埋め込みは,他の深層グラフ埋め込み法と比較して,脳状態分類の精度が高いことがわかった。

Graph embedding is a powerful method to represent graph neurological data (e.g., brain connectomes) in a low dimensional space for brain connectivity mapping, prediction and classification. However, existing embedding algorithms have two major limitations. First, they primarily focus on preserving one-to-one topological relationships between nodes (i.e., regions of interest (ROIs) in a connectome), but they have mostly ignored many-to-many relationships (i.e., set to set), which can be captured using a hyperconnectome structure. Second, existing graph embedding techniques cannot be easily adapted to multi-view graph data with heterogeneous distributions. In this paper, while cross-pollinating adversarial deep learning with hypergraph theory, we aim to jointly learn deep latent embeddings of subject0specific multi-view brain graphs to eventually disentangle different brain states. First, we propose a new simple strategy to build a hyperconnectome for each brain view based on nearest neighbour algorithm to preserve the connectivities across pairs of ROIs. Second, we design a hyperconnectome autoencoder (HCAE) framework which operates directly on the multi-view hyperconnectomes based on hypergraph convolutional layers to better capture the many-to-many relationships between brain regions (i.e., nodes). For each subject, we further regularize the hypergraph autoencoding by adversarial regularization to align the distribution of the learned hyperconnectome embeddings with that of the input hyperconnectomes. We formalize our hyperconnectome embedding within a geometric deep learning framework to optimize for a given subject, thereby designing an individual-based learning framework. Our experiments showed that the learned embeddings by HCAE yield to better results for brain state classification compared with other deep graph embedding methods methods.
翻訳日:2022-10-15 04:57:53 公開日:2020-09-24
# salient object segmentationにおける局所的文脈の注意

Local Context Attention for Salient Object Segmentation ( http://arxiv.org/abs/2009.11562v1 )

ライセンス: Link先を確認
Jing Tan, Pengfei Xiong, Yuwen He, Kuntao Xiao, Zhengyi Lv(参考訳) salient object segmentationは、さまざまなsalient objectsを背景から区別することを目的としている。 セマンティックな一貫性が欠如しているにもかかわらず、健全な物体はしばしば局所的に明らかなテクスチャと位置特性を持つ。 この優先順位に基づいて,一様表現型アーキテクチャで局所強化特徴写像を生成する新しいローカルコンテキスト注意ネットワーク(LCANet)を提案する。 提案するネットワークは,粗い予測と大域的文脈との相関特徴マップを算出し,局所的注意を明示的に生成する注意相関フィルタ(acf)モジュールを導入する。 その後、ローカルコンテキストブロック(LCB)に拡張される。 さらに、ローカルコンテキスト記述能力を適応的に向上させるため、LCBに基づいてワンステージ粗大構造を実現する。 いくつかの有能なオブジェクトセグメンテーションデータセットに対して総合的な実験を行い、提案したLCANetの最先端手法、特にDUTS-TEデータセットの0.883max Fスコアと0.034 MAEに対して優れた性能を示す。

Salient object segmentation aims at distinguishing various salient objects from backgrounds. Despite the lack of semantic consistency, salient objects often have obvious texture and location characteristics in local area. Based on this priori, we propose a novel Local Context Attention Network (LCANet) to generate locally reinforcement feature maps in a uniform representational architecture. The proposed network introduces an Attentional Correlation Filter (ACF) module to generate explicit local attention by calculating the correlation feature map between coarse prediction and global context. Then it is expanded to a Local Context Block(LCB). Furthermore, an one-stage coarse-to-fine structure is implemented based on LCB to adaptively enhance the local context description ability. Comprehensive experiments are conducted on several salient object segmentation datasets, demonstrating the superior performance of the proposed LCANet against the state-of-the-art methods, especially with 0.883 max F-score and 0.034 MAE on DUTS-TE dataset.
翻訳日:2022-10-15 04:57:14 公開日:2020-09-24
# Commonsense Knowledge Graphを用いたマルチホップ推論による言語生成

Language Generation with Multi-Hop Reasoning on Commonsense Knowledge Graph ( http://arxiv.org/abs/2009.11692v1 )

ライセンス: Link先を確認
Haozhe Ji, Pei Ke, Shaohan Huang, Furu Wei, Xiaoyan Zhu, Minlie Huang(参考訳) 一連のテキスト生成タスクにおける生成事前学習言語モデルの成功にもかかわらず、これらは生成中に基礎となるコモンセンス知識の推論が必要な場合にも悩まされる。 コモンセンス知識を生成事前学習言語モデルに統合する既存のアプローチは、知識グラフ内のリッチな関係を無視しながら、個々の知識トリプルをトレーニングした後でリレーショナル知識を伝達する。 知識グラフの構造的情報と意味的情報の両方を活用することで、常識的テキスト生成が促進されると主張している。 本稿では,外部コモンセンス知識グラフから抽出したマルチリレーショナルパスに基づいて,動的マルチホップ推論を用いた事前学習モデルを実現するための,マルチホップ推論フロー生成(GRF)を提案する。 我々は,本モデルが,コモンセンス知識の推論を必要とする3つのテキスト生成タスクにおいて,既存のベースラインよりも優れていることを実証的に示す。 また,生成の理論的根拠を提供するモデルによって推論パスが推定される動的マルチホップ推論モジュールの有効性を実証する。

Despite the success of generative pre-trained language models on a series of text generation tasks, they still suffer in cases where reasoning over underlying commonsense knowledge is required during generation. Existing approaches that integrate commonsense knowledge into generative pre-trained language models simply transfer relational knowledge by post-training on individual knowledge triples while ignoring rich connections within the knowledge graph. We argue that exploiting both the structural and semantic information of the knowledge graph facilitates commonsense-aware text generation. In this paper, we propose Generation with Multi-Hop Reasoning Flow (GRF) that enables pre-trained models with dynamic multi-hop reasoning on multi-relational paths extracted from the external commonsense knowledge graph. We empirically show that our model outperforms existing baselines on three text generation tasks that require reasoning over commonsense knowledge. We also demonstrate the effectiveness of the dynamic multi-hop reasoning module with reasoning paths inferred by the model that provide rationale to the generation.
翻訳日:2022-10-15 04:48:39 公開日:2020-09-24
# 推論経路からの橋梁概念抽出による常識的説明の生成

Generating Commonsense Explanation by Extracting Bridge Concepts from Reasoning Paths ( http://arxiv.org/abs/2009.11753v1 )

ライセンス: Link先を確認
Haozhe Ji, Pei Ke, Shaohan Huang, Furu Wei, Minlie Huang(参考訳) Commonsense説明生成は、Commonsenseに対するステートメントに対するもっともらしい説明を生成することによって、マシンのセンス作成能力を高めることを目的としている。 このタスクは人間にとって簡単ですが、マシンは理にかなった情報的な説明を生み出すのに苦労しています。 そこで本研究では,まず推論チェインで \textit{bridges} として機能する基礎概念を抽出し,これらの概念を統合して最終説明を生成する手法を提案する。 推論プロセスを容易にするために,複数のホップ経路を抽出してサブグラフを作成することにより,外部コモンセンス知識を用いて文とブリッジ概念の接続を構築する。 橋梁の概念抽出モデルを設計し,まず三重グラフの経路を導出し,さらに三重レベルと概念レベルの両方で弱い監督で橋梁の概念を選択する。 我々は,コモンセンス説明生成タスクの実験を行い,本モデルは自動評価と人間評価の両方において最先端のベースラインを上回っている。

Commonsense explanation generation aims to empower the machine's sense-making capability by generating plausible explanations to statements against commonsense. While this task is easy to human, the machine still struggles to generate reasonable and informative explanations. In this work, we propose a method that first extracts the underlying concepts which are served as \textit{bridges} in the reasoning chain and then integrates these concepts to generate the final explanation. To facilitate the reasoning process, we utilize external commonsense knowledge to build the connection between a statement and the bridge concepts by extracting and pruning multi-hop paths to build a subgraph. We design a bridge concept extraction model that first scores the triples, routes the paths in the subgraph, and further selects bridge concepts with weak supervision at both the triple level and the concept level. We conduct experiments on the commonsense explanation generation task and our model outperforms the state-of-the-art baselines in both automatic and human evaluation.
翻訳日:2022-10-15 04:48:23 公開日:2020-09-24
# 新しいキーワード抽出と言語検出手法

Novel Keyword Extraction and Language Detection Approaches ( http://arxiv.org/abs/2009.11832v1 )

ライセンス: Link先を確認
Malgorzata Pikies, Andronicus Riyono, Junade Ali(参考訳) ファジィ文字列マッチングと言語分類は,自然言語処理パイプラインにおいて重要なツールである。 ファジィ言語マッチングのための高速な文字列トークン化手法を提案し, 精度2.6%のコストで3.1%のリコール率を推定し, 処理時間の83.6%削減を実験的に実証した。 このアプローチは、キーワードが複数の単語に分割された場合でも、文字対文字をスキャンする必要がない。 これまでのところ、メタデータを使って言語分類アルゴリズムを強化する作業はほとんど行われていない。 観察データを提供し,ipアドレスよりもaccept-languageヘッダの方が14%高い確率で分類できることを確認した。

Fuzzy string matching and language classification are important tools in Natural Language Processing pipelines, this paper provides advances in both areas. We propose a fast novel approach to string tokenisation for fuzzy language matching and experimentally demonstrate an 83.6% decrease in processing time with an estimated improvement in recall of 3.1% at the cost of a 2.6% decrease in precision. This approach is able to work even where keywords are subdivided into multiple words, without needing to scan character-to-character. So far there has been little work considering using metadata to enhance language classification algorithms. We provide observational data and find the Accept-Language header is 14% more likely to match the classification than the IP Address.
翻訳日:2022-10-15 04:48:03 公開日:2020-09-24
# PK-GCN:グラフ畳み込みネットワークを用いた事前知識支援画像分類

PK-GCN: Prior Knowledge Assisted Image Classification using Graph Convolution Networks ( http://arxiv.org/abs/2009.11892v1 )

ライセンス: Link先を確認
Xueli Xiao, Chunyan Ji, Thosini Bamunu Mudiyanselage, Yi Pan(参考訳) ディープラーニングは様々な分類タスクで大きな成功を収めた。 通常、ディープラーニングモデルはデータから直接基礎的な特徴を学習し、クラス間の基礎的な関係は含まれない。 クラス間の類似性は分類のパフォーマンスに影響を与える可能性がある。 本稿では,クラス類似性の知識をグラフ畳み込み層を用いた畳み込みニューラルネットワークモデルに組み込む手法を提案する。 本手法は,mnistとcifar10の2つのベンチマーク画像データセットで評価し,異なるデータとモデルサイズで結果を分析する。 実験結果から, 利用可能なデータの量が少ない場合には, 分類精度が向上することが示唆された。

Deep learning has gained great success in various classification tasks. Typically, deep learning models learn underlying features directly from data, and no underlying relationship between classes are included. Similarity between classes can influence the performance of classification. In this article, we propose a method that incorporates class similarity knowledge into convolutional neural networks models using a graph convolution layer. We evaluate our method on two benchmark image datasets: MNIST and CIFAR10, and analyze the results on different data and model sizes. Experimental results show that our model can improve classification accuracy, especially when the amount of available data is small.
翻訳日:2022-10-15 04:42:06 公開日:2020-09-24
# コンバットライム病に対するコンピュータビジョンアプローチ

A Computer Vision Approach to Combat Lyme Disease ( http://arxiv.org/abs/2009.11931v1 )

ライセンス: Link先を確認
Sina Akbarian, Tania Cawston, Laurent Moreno, Samir Patel, Vanessa Allen, and Elham Dolatabadi(参考訳) ライム病(英: Lyme disease)は、感染したIxodes属の種(黒いくちばし)から噛まれてヒトに伝染する感染症である。 北アメリカで最も急速に成長しているベクター病の1つであり、地理的な足跡を拡大している。 ライム病の治療は時間に敏感であり、Ixodes種に噛まれた72時間以内に抗生物質(予防薬)を患者に投与することで治療することができる。 しかし、細菌を運搬するダニの実験室ベースの識別は、時間的かつ労働集約的であり、効果的な治療のために最大72時間のターンアラウンドタイムを満たせない。 コンピュータビジョン技術を用いたブラックレッグの早期同定は、重要なウィンドウ期間内で、早期にダニを同定し予防を施す潜在的な解決策である。 本研究では,高度な深層学習とコンピュータビジョンアプローチを用いて,クロレギングと他のキツネギ種を区別する自動検出ツールを構築した。 我々は,CNNモデルを用いて,ニキビの分類を実証し,ニキビのイメージから直接,エンドツーエンドで訓練した。 教師-学生の学習フレームワークにおける高度な知識伝達技術が採用され、ダニの分類性能が向上した。 我々の最高のCNNモデルは、テストセットで92%の精度を達成する。 このツールは、ライム病感染のリスクと予防治療の必要性を判定するために、曝露の地理と統合することができる。

Lyme disease is an infectious disease transmitted to humans by a bite from an infected Ixodes species (blacklegged ticks). It is one of the fastest growing vector-borne illness in North America and is expanding its geographic footprint. Lyme disease treatment is time-sensitive, and can be cured by administering an antibiotic (prophylaxis) to the patient within 72 hours after a tick bite by the Ixodes species. However, the laboratory-based identification of each tick that might carry the bacteria is time-consuming and labour intensive and cannot meet the maximum turn-around-time of 72 hours for an effective treatment. Early identification of blacklegged ticks using computer vision technologies is a potential solution in promptly identifying a tick and administering prophylaxis within a crucial window period. In this work, we build an automated detection tool that can differentiate blacklegged ticks from other ticks species using advanced deep learning and computer vision approaches. We demonstrate the classification of tick species using Convolution Neural Network (CNN) models, trained end-to-end from tick images directly. Advanced knowledge transfer techniques within teacher-student learning frameworks are adopted to improve the performance of classification of tick species. Our best CNN model achieves 92% accuracy on test set. The tool can be integrated with the geography of exposure to determine the risk of Lyme disease infection and need for prophylaxis treatment.
翻訳日:2022-10-15 04:41:55 公開日:2020-09-24
# daVinciNet:ロボット支援手術における運動と手術状態の同時予測

daVinciNet: Joint Prediction of Motion and Surgical State in Robot-Assisted Surgery ( http://arxiv.org/abs/2009.11937v1 )

ライセンス: Link先を確認
Yidan Qin, Seyedshams Feyzabadi, Max Allan, Joel W. Burdick, Mahdi Azizian(参考訳) 本稿では,複数入力源を用いたロボット補助手術(RAS)における手術器具の今後の軌跡と手術用サブタスクの将来状況を同時かつ共同で予測する手法を提案する。 このような予測は、手術用サブタスクの共有制御と教師付き自律化に向けた第一歩である。 縫合や超音波スキャンなどの微小な手術用サブタスクは、しばしば区別可能なツールキネマティクスと視覚的特徴を持ち、遷移スキーマを伴う一連の細かい状態として記述できる。 本稿では,ロボット動作と手術状態予測のためのエンドツーエンドのデュアルタスクモデルdaVinciNetを提案する。 daVinciNetは、ロボットキネマティクス、内視鏡視、システムイベントなど、複数のデータストリームから抽出された特徴を使用して、同時的なエンドエフェクタ軌道と手術状態予測を実行する。 ダ・ヴィンチ手術システムとJHU-ISI Gesture and Skill Assessment Working Set(JIGSAWS)で収集した拡張型ロボット内超音波(RIOUS+)画像データセットについて検討を行った。 このモデルは、最大93.85%の短期(0.5s)と82.11%の長期(2s)状態予測精度、1.07mmの短期および5.62mmの長期軌道予測誤差を達成している。

This paper presents a technique to concurrently and jointly predict the future trajectories of surgical instruments and the future state(s) of surgical subtasks in robot-assisted surgeries (RAS) using multiple input sources. Such predictions are a necessary first step towards shared control and supervised autonomy of surgical subtasks. Minute-long surgical subtasks, such as suturing or ultrasound scanning, often have distinguishable tool kinematics and visual features, and can be described as a series of fine-grained states with transition schematics. We propose daVinciNet - an end-to-end dual-task model for robot motion and surgical state predictions. daVinciNet performs concurrent end-effector trajectory and surgical state predictions using features extracted from multiple data streams, including robot kinematics, endoscopic vision, and system events. We evaluate our proposed model on an extended Robotic Intra-Operative Ultrasound (RIOUS+) imaging dataset collected on a da Vinci Xi surgical system and the JHU-ISI Gesture and Skill Assessment Working Set (JIGSAWS). Our model achieves up to 93.85% short-term (0.5s) and 82.11% long-term (2s) state prediction accuracy, as well as 1.07mm short-term and 5.62mm long-term trajectory prediction error.
翻訳日:2022-10-15 04:41:33 公開日:2020-09-24
# global wheat head detection(gwhd)データセット内深層・半教師付き・アンサンブル学習を用いたコムギ頭部検出のためのオリジナルフレームワーク

An original framework for Wheat Head Detection using Deep, Semi-supervised and Ensemble Learning within Global Wheat Head Detection (GWHD) Dataset ( http://arxiv.org/abs/2009.11977v1 )

ライセンス: Link先を確認
Fares Fourati, Wided Souidene, Rabah Attia(参考訳) 本稿では,GWHD(Global Wheat Head Detection)データセットに適用したオブジェクト検出手法を提案する。 我々はFasterRCNNとEfficientDetの2つの主要なオブジェクト検出アーキテクチャを通して、新規で堅牢な小麦の頭部検出モデルを設計してきた。 提案する最終アーキテクチャのパフォーマンスの最適化に重点を置いています。 さらに、我々は広範な探索データ分析を行い、我々の状況に最適なデータ拡張技術を適用した。 半教師付き学習を用いて、従来の教師付き物体検出モデルを強化する。 さらに,高いパフォーマンスを実現するために,アンサンブルに多大な努力を払った。 最後に、小麦の頭部検出結果を最適化するために、特定の後処理技術を使用する。 7か国9か国の研究所が主導するGWHDデータセット上で開始された研究課題を解決するため,本研究を提出した。 提案手法は上記の課題の上位6%にランクインした。

In this paper, we propose an original object detection methodology applied to Global Wheat Head Detection (GWHD) Dataset. We have been through two major architectures of object detection which are FasterRCNN and EfficientDet, in order to design a novel and robust wheat head detection model. We emphasize on optimizing the performance of our proposed final architectures. Furthermore, we have been through an extensive exploratory data analysis and adapted best data augmentation techniques to our context. We use semi supervised learning to boost previous supervised models of object detection. Moreover, we put much effort on ensemble to achieve higher performance. Finally we use specific post-processing techniques to optimize our wheat head detection results. Our results have been submitted to solve a research challenge launched on the GWHD Dataset which is led by nine research institutes from seven countries. Our proposed method was ranked within the top 6% in the above mentioned challenge.
翻訳日:2022-10-15 04:40:51 公開日:2020-09-24
# 不確実性を考慮した3D-CNNを用いた脳腫瘍切除

Brain Tumor Segmentation using 3D-CNNs with Uncertainty Estimation ( http://arxiv.org/abs/2009.12188v1 )

ライセンス: Link先を確認
Laura Mora Ballestar and Veronica Vilaplana(参考訳) 3次元磁気共鳴画像(MRI)における脳腫瘍の自動化は、疾患の診断と治療を評価する鍵となる。 近年では、畳み込みニューラルネットワーク(CNN)がタスクの結果を改善している。 しかし、3D-CNNでは高いメモリ消費が問題となっている。 また, 診断に特に重要な不確実性情報を含まない方法が多い。 本稿では,V-Net \cite{vnet}をベースとした3次元エンコーダデコーダアーキテクチャを提案する。 また,テストタイムのドロップアウトとデータ拡張を併用して,てんかんとてんかんの両面でのボキセル的不確実性も導入した。 不確実性マップは専門家の神経学者に余分な情報を提供し、モデルが与えられたセグメンテーションに自信がないことを検知するのに有用である。

Automation of brain tumors in 3D magnetic resonance images (MRIs) is key to assess the diagnostic and treatment of the disease. In recent years, convolutional neural networks (CNNs) have shown improved results in the task. However, high memory consumption is still a problem in 3D-CNNs. Moreover, most methods do not include uncertainty information, which is specially critical in medical diagnosis. This work proposes a 3D encoder-decoder architecture, based on V-Net \cite{vnet} which is trained with patching techniques to reduce memory consumption and decrease the effect of unbalanced data. We also introduce voxel-wise uncertainty, both epistemic and aleatoric using test-time dropout and data-augmentation respectively. Uncertainty maps can provide extra information to expert neurologists, useful for detecting when the model is not confident on the provided segmentation.
翻訳日:2022-10-15 04:40:37 公開日:2020-09-24
# テスト時間拡張によるスタイル不変心画像分割

Style-invariant Cardiac Image Segmentation with Test-time Augmentation ( http://arxiv.org/abs/2009.12193v1 )

ライセンス: Link先を確認
Xiaoqiong Huang, Zejian Chen, Xin Yang, Zhendong Liu, Yuxin Zou, Mingyuan Luo, Wufeng Xue, Dong Ni(参考訳) 深層モデルはしばしば、実際の臨床環境における外観の変化によって深刻なパフォーマンス低下に苦しむ。 既存の学習ベースの手法のほとんどは、複数のサイト/ベンダ、あるいは対応するラベルからのイメージに依存している。 しかし, 画像要素による複雑な外観変化が日常的に起こるため, セグメンテーションを頑健にモデル化するための十分な未知データを収集することは不可能である。 本稿では,心臓画像分割のための新しいスタイル不変手法を提案する。 多様な解剖学を探索するために, ゼロショット方式で外観シフトを除去し, テスト時間拡張を施すことにより, 提案手法は外観シフトに効果的である。 私たちの貢献は3倍です。 まず、ユニバーサルなスタイル転送の精神に触発されて、コンテンツ画像のゼロショットスタイリングを開発し、スタイル画像に類似した外観のスタイリング画像を生成する。 第2に、U-Net構造に基づく堅牢な心臓セグメンテーションモデルを構築する。 本フレームワークは,外見シフトを除去するSTネットワークとセグメンテーションネットワークの2つのネットワークで構成されている。 第3に,スタイライズされた画像の変換されたバージョンを探索し,その結果をマージするためのテスト時間拡張の検討を行う。 特に,提案するフレームワークはテスト時適応である。 実験の結果,本手法は深いセグメントモデルの一般化に有望で汎用的であることが判明した。

Deep models often suffer from severe performance drop due to the appearance shift in the real clinical setting. Most of the existing learning-based methods rely on images from multiple sites/vendors or even corresponding labels. However, collecting enough unknown data to robustly model segmentation cannot always hold since the complex appearance shift caused by imaging factors in daily application. In this paper, we propose a novel style-invariant method for cardiac image segmentation. Based on the zero-shot style transfer to remove appearance shift and test-time augmentation to explore diverse underlying anatomy, our proposed method is effective in combating the appearance shift. Our contribution is three-fold. First, inspired by the spirit of universal style transfer, we develop a zero-shot stylization for content images to generate stylized images that appearance similarity to the style images. Second, we build up a robust cardiac segmentation model based on the U-Net structure. Our framework mainly consists of two networks during testing: the ST network for removing appearance shift and the segmentation network. Third, we investigate test-time augmentation to explore transformed versions of the stylized image for prediction and the results are merged. Notably, our proposed framework is fully test-time adaptation. Experiment results demonstrate that our methods are promising and generic for generalizing deep segmentation models.
翻訳日:2022-10-15 04:40:23 公開日:2020-09-24
# 変分エントロピー正規化器を持つGAN:モード崩壊問題の緩和への応用

GANs with Variational Entropy Regularizers: Applications in Mitigating the Mode-Collapse Issue ( http://arxiv.org/abs/2009.11921v1 )

ライセンス: Link先を確認
Pirazh Khorramshahi, Hossein Souri, Rama Chellappa, and Soheil Feizi(参考訳) ディープラーニングの成功に基づいてGAN(Generative Adversarial Networks)は、観測されたサンプルから確率分布を学習するための現代的なアプローチを提供する。 GANはしばしば、ジェネレータと判別器という2つの関数のセットの間のゼロサムゲームとして定式化される。 GANは画像などの複雑な分布を学習する大きな可能性を示しているが、しばしば、ジェネレータが入力分布のすべてのモードをキャプチャできないモード崩壊問題に悩まされる。 その結果, 生成標本の多様性は観測試料の多様性よりも低いことがわかった。 この問題に対処するため,我々は情報理論のアプローチを採り、生成したサンプルのエントロピーの変動的下限を最大化し,多様性を高める。 我々はこのアプローチを変分エントロピー正規化器 (GAN+VER) を用いた GAN と呼ぶ。 GANのモード崩壊問題に対する既存の対策は、我々の提案した変分エントロピー正規化と容易に結合できる。 標準ベンチマークデータセットの広範な実験を通じて、実データと生成されたサンプルの差がGAN+VERで大幅に改善されていることを示す既存の評価指標をすべて示す。

Building on the success of deep learning, Generative Adversarial Networks (GANs) provide a modern approach to learn a probability distribution from observed samples. GANs are often formulated as a zero-sum game between two sets of functions; the generator and the discriminator. Although GANs have shown great potentials in learning complex distributions such as images, they often suffer from the mode collapse issue where the generator fails to capture all existing modes of the input distribution. As a consequence, the diversity of generated samples is lower than that of the observed ones. To tackle this issue, we take an information-theoretic approach and maximize a variational lower bound on the entropy of the generated samples to increase their diversity. We call this approach GANs with Variational Entropy Regularizers (GAN+VER). Existing remedies for the mode collapse issue in GANs can be easily coupled with our proposed variational entropy regularization. Through extensive experimentation on standard benchmark datasets, we show all the existing evaluation metrics highlighting difference of real and generated samples are significantly improved with GAN+VER.
翻訳日:2022-10-15 04:40:01 公開日:2020-09-24
# 年齢別テキスト分類における特徴型の比較検討

A Comparative Study of Feature Types for Age-Based Text Classification ( http://arxiv.org/abs/2009.11898v1 )

ライセンス: Link先を確認
Anna Glazkova, Yury Egorov, Maksim Glazkov(参考訳) 小説の年齢のオーディエンスを自動的に決定する能力は、情報検索ツールの開発に多くの機会をもたらす。 まず、書籍レコメンデーションシステムと電子ライブラリーの開発者は、最も可能性の高い読者の年齢までにテキストをフィルタリングすることに興味があるかもしれない。 また、親は子ども向けの文学を選択できる。 最後に、著者や出版社が、テキストが子供に適しているかどうかにどの特徴が影響するかを決定するのに役立つだろう。 本稿では, 年齢によるフィクションテキストの分類作業における, 様々な言語的特徴の実証的有効性を比較する。 そこで我々は,子どもと大人の2つのカテゴリーの1つをラベル付けした本プレビューのテキストコーパスを収集した。 我々は,可読性指標,感情,語彙的,文法的,一般的特徴,属性のパブリッシングといった特徴を評価した。 その結果,文書レベルでテキストを記述する特徴は,機械学習モデルの品質を著しく向上させることができることがわかった。

The ability to automatically determine the age audience of a novel provides many opportunities for the development of information retrieval tools. Firstly, developers of book recommendation systems and electronic libraries may be interested in filtering texts by the age of the most likely readers. Further, parents may want to select literature for children. Finally, it will be useful for writers and publishers to determine which features influence whether the texts are suitable for children. In this article, we compare the empirical effectiveness of various types of linguistic features for the task of age-based classification of fiction texts. For this purpose, we collected a text corpus of book previews labeled with one of two categories -- children's or adult. We evaluated the following types of features: readability indices, sentiment, lexical, grammatical and general features, and publishing attributes. The results obtained show that the features describing the text at the document level can significantly increase the quality of machine learning models.
翻訳日:2022-10-15 04:32:34 公開日:2020-09-24
# 大規模レコメンデーションシステムのためのWord2vecのチューニング

Tuning Word2vec for Large Scale Recommendation Systems ( http://arxiv.org/abs/2009.12192v1 )

ライセンス: Link先を確認
Benjamin P. Chamberlain, Emanuele Rossi, Dan Shiebler, Suvash Sedhain, Michael M. Bronstein(参考訳) Word2vecはNatural Lan-guage Processing(NLP)から生まれた強力な機械学習ツールで、現在はrecom-menderシステム、予測、ネットワーク分析など、複数のドメインに適用されている。 Word2vecは棚外でよく使われるので、デフォルトのハイパーパラメータがレコメンダシステムに適しているかどうかという問題に対処する。 答えは強調するとノーだ。 本稿では,まずハイパーパラメータ最適化の重要性を解明し,非制約最適化がデフォルトパラメータよりも平均221%向上することを示す。 しかし、制約のない最適化は、非常に高価で大規模なレコメンデーションタスクでは実現不可能なハイパーパラメータセットをもたらす。 この結果から,予算制約付きハイパーパラメータ最適化によるヒット率平均138%の改善が示された。 さらに,対象データセットが大きすぎる大規模レコメンデーション問題に対してハイパーパラメータ最適化を適用するために,サンプルからのハイパーパラメータ設定の一般化を検討した。 データの10%のサンプルのみを用いた制約付きハイパーパラメタ最適化は、フルデータセットに適用した場合のデフォルトパラメータに対する平均ヒット率を91%向上させる。 最後に,提案手法を用いて学習したハイパーパラメータをサンプルに適用し,twitterの推奨サービスに従う方法を示し,フォロー率を15%向上させることができた。

Word2vec is a powerful machine learning tool that emerged from Natural Lan-guage Processing (NLP) and is now applied in multiple domains, including recom-mender systems, forecasting, and network analysis. As Word2vec is often used offthe shelf, we address the question of whether the default hyperparameters are suit-able for recommender systems. The answer is emphatically no. In this paper, wefirst elucidate the importance of hyperparameter optimization and show that un-constrained optimization yields an average 221% improvement in hit rate over thedefault parameters. However, unconstrained optimization leads to hyperparametersettings that are very expensive and not feasible for large scale recommendationtasks. To this end, we demonstrate 138% average improvement in hit rate with aruntime budget-constrained hyperparameter optimization. Furthermore, to makehyperparameter optimization applicable for large scale recommendation problemswhere the target dataset is too large to search over, we investigate generalizinghyperparameters settings from samples. We show that applying constrained hy-perparameter optimization using only a 10% sample of the data still yields a 91%average improvement in hit rate over the default parameters when applied to thefull datasets. Finally, we apply hyperparameters learned using our method of con-strained optimization on a sample to the Who To Follow recommendation serviceat Twitter and are able to increase follow rates by 15%.
翻訳日:2022-10-15 04:32:20 公開日:2020-09-24
# レーン切替えにおける戦術的意思決定のための新しいアプローチ:安全フィードバックリワードを用いた高能率深部Q学習

A New Approach for Tactical Decision Making in Lane Changing: Sample Efficient Deep Q Learning with a Safety Feedback Reward ( http://arxiv.org/abs/2009.11905v1 )

ライセンス: Link先を確認
M. Ugur Yavas, N. Kemal Ure, Tufan Kumbasar(参考訳) 自動車線変更は、安全クリティカルで不確実でマルチエージェントな性質のため、高度に自動化された車両の解決が最も難しい課題の1つである。 本稿では,動的かつ不確実なシミュレーション環境における課題に対処するために,新しい安全駆動報酬方式を用いた最先端Qラーニング手法であるRainbow DQNの新規展開について述べる。 安全層から報奨フィードバックを受けるという新しいアプローチは,エージェントの性能とサンプル効率の両方を劇的に向上させることを示した。 さらに, レインボーDQNの新規展開により, エージェントのQ値の分布を調べることにより, エージェントの行動に関する直感がより多く抽出されることが示されている。 提案アルゴリズムは,20000のトレーニングステップ(55時間運転に相当する)しか持たない難題において,ベースラインアルゴリズムよりも優れた性能を示す。

Automated lane change is one of the most challenging task to be solved of highly automated vehicles due to its safety-critical, uncertain and multi-agent nature. This paper presents the novel deployment of the state of art Q learning method, namely Rainbow DQN, that uses a new safety driven rewarding scheme to tackle the issues in an dynamic and uncertain simulation environment. We present various comparative results to show that our novel approach of having reward feedback from the safety layer dramatically increases both the agent's performance and sample efficiency. Furthermore, through the novel deployment of Rainbow DQN, it is shown that more intuition about the agent's actions is extracted by examining the distributions of generated Q values of the agents. The proposed algorithm shows superior performance to the baseline algorithm in the challenging scenarios with only 200000 training steps (i.e. equivalent to 55 hours driving).
翻訳日:2022-10-15 04:31:58 公開日:2020-09-24
# 法的根拠のある公正目標

Legally grounded fairness objectives ( http://arxiv.org/abs/2009.11677v1 )

ライセンス: Link先を確認
Dylan Holden-Sim and Gavin Leech and Laurence Aitchison(参考訳) 近年の研究では、機械学習(ml)システムの不公平性に関する、形式的非互換な運用措置が多数特定されている。 これらの測度はすべて、公正なシステムの直感的に望ましい側面を捉えるため、"1つの真"測度を選択することは不可能であり、代わりに適切なアプローチは、重み付けされた測度の組み合わせを最小限にすることである。 しかし、これは単に重みをどうやって選ぶかという問題を引き起こす。 ここでは、法体系からの信号を用いて特定の不公平度の社会的コストを任意に測定する法定公正目的法(LGFO)を定式化する。 LGFOは、不正に分類された者に対して、裁判所の望ましい措置の下でなされるであろうものと異なる判断を下すという意味で、強制訴訟による損害が予想されるものである。 特に、lgfoの計算に必要な2つの量、公正な措置に対する裁判所の選好、および予想される損害は、不明であるが明確に定義されており、法的助言によって推定することができる。 さらに、法制度が与える損害は、個人に対する不公平な分類による損害を計測し補償するように設計されているため、lgfoは社会の社会費用の推定と密接に一致している。

Recent work has identified a number of formally incompatible operational measures for the unfairness of a machine learning (ML) system. As these measures all capture intuitively desirable aspects of a fair system, choosing "the one true" measure is not possible, and instead a reasonable approach is to minimize a weighted combination of measures. However, this simply raises the question of how to choose the weights. Here, we formulate Legally Grounded Fairness Objectives (LGFO), which uses signals from the legal system to non-arbitrarily measure the social cost of a specific degree of unfairness. The LGFO is the expected damages under a putative lawsuit that might be awarded to those who were wrongly classified, in the sense that the ML system made a decision different to that which would have be made under the court's preferred measure. Notably, the two quantities necessary to compute the LGFO, the court's preferences about fairness measures, and the expected damages, are unknown but well-defined, and can be estimated by legal advice. Further, as the damages awarded by the legal system are designed to measure and compensate for the harm caused to an individual by an unfair classification, the LGFO aligns closely with society's estimate of the social cost.
翻訳日:2022-10-15 04:31:38 公開日:2020-09-24
# BreachRadar: 競合点の自動検出

BreachRadar: Automatic Detection of Points-of-Compromise ( http://arxiv.org/abs/2009.11751v1 )

ライセンス: Link先を確認
Miguel Araujo, Miguel Almeida, Jaime Ferreira, Luis Silva, Pedro Bizarro(参考訳) 銀行取引詐欺は、世界中の銀行、商店、カード保有者に年間130億ドルの損失をもたらす。 この詐欺の多くは、クレジットカードやデビットカードのデジタル情報が盗まれたり、再売されたり、詐欺行為に使用される、妥協点(データ漏洩またはスキミング操作)から始まる。 本稿ではこの問題を紹介し,POC(Points-of-Compromise)自動検出手法を提案する。 BreachRadarは分散交互化アルゴリズムで、異なる可能性のある場所に侵入される確率を割り当てる。 この手法をApache Sparkを用いて実装し,マシン数とトランザクション数の線形スケーラビリティを示す。 BreachRadarは、数十億の実際のトランザクションレコードと不正ラベルを持つ2つのデータセットに適用されます。 さらに,これらのデータセットの1つに衝突点を注入し,90%以上の精度を達成し,不正の被害を受けたカードの10%がリコールされた場合に,本手法の有効性を示す。

Bank transaction fraud results in over $13B annual losses for banks, merchants, and card holders worldwide. Much of this fraud starts with a Point-of-Compromise (a data breach or a skimming operation) where credit and debit card digital information is stolen, resold, and later used to perform fraud. We introduce this problem and present an automatic Points-of-Compromise (POC) detection procedure. BreachRadar is a distributed alternating algorithm that assigns a probability of being compromised to the different possible locations. We implement this method using Apache Spark and show its linear scalability in the number of machines and transactions. BreachRadar is applied to two datasets with billions of real transaction records and fraud labels where we provide multiple examples of real Points-of-Compromise we are able to detect. We further show the effectiveness of our method when injecting Points-of-Compromise in one of these datasets, simultaneously achieving over 90% precision and recall when only 10% of the cards have been victims of fraud.
翻訳日:2022-10-15 04:31:16 公開日:2020-09-24
# フローモデルによるセキュアなデータ共有

Secure Data Sharing With Flow Model ( http://arxiv.org/abs/2009.11762v1 )

ライセンス: Link先を確認
Chenwei Wu, Chenzhuang Du, Yang Yuan(参考訳) 古典的なマルチパーティ計算設定では、複数のパーティが互いに入力データを明かさずに関数を共同計算する。 我々は、機械学習のトレーニング目的のために入力データを共有できるが、そのデータは、他の当事者が復元できないように暗号化される、この問題の変種を考える。 本稿では,フローモデルを用いた回転法を提案し,その安全性を理論的に正当化する。 本手法の有効性を,教師付きセキュアモデルトレーニングや教師なし生成モデルトレーニングなど,さまざまなシナリオで実証する。 私たちのコードはhttps://github.com/ duchenzhuang/flowencryptで利用可能です。

In the classical multi-party computation setting, multiple parties jointly compute a function without revealing their own input data. We consider a variant of this problem, where the input data can be shared for machine learning training purposes, but the data are also encrypted so that they cannot be recovered by other parties. We present a rotation based method using flow model, and theoretically justified its security. We demonstrate the effectiveness of our method in different scenarios, including supervised secure model training, and unsupervised generative model training. Our code is available at https://github.com/ duchenzhuang/flowencrypt.
翻訳日:2022-10-15 04:30:59 公開日:2020-09-24
# 進化するネットワークにおけるスケッチに基づくコミュニティ検出

Sketch-based community detection in evolving networks ( http://arxiv.org/abs/2009.11835v1 )

ライセンス: Link先を確認
Andre Beckus and George K. Atia(参考訳) 時間変化ネットワークにおけるコミュニティ検出のアプローチを検討する。 このアプローチの核となるのは、全ネットワークのスナップショットにある重要なコミュニティ構造を捉えるために、小さなスケッチグラフを維持することだ。 ネットワーク進化中に典型的に発生する6つの重要なコミュニティイベント – 成長、縮小、マージ、分割、誕生、死 — を明示的に識別するために、このスケッチをいかに利用できるかを示します。 これらの検出手法に基づいて,すべての処理を同時に処理できるコミュニティ検出アルゴリズムを定式化する。 スケッチベースのアルゴリズムで得られる利点の1つは、大きなネットワークの効率的なハンドリングである。 フルグラフにおけるイベントの検出は計算に高価である可能性があるが、スケッチの小さなサイズは変更を迅速に評価することができる。 第二の利点は、不均等サイズのクラスタを含むネットワークで発生する。 スケッチは、各クラスタに等しい表現が存在するように構成され、その結果、見積もりで小さなクラスタが失われる可能性が減少する。 本稿では,ノードの追加と削除,およびコミュニティの誕生と死をモデル化した確率ブロックモデルに基づく新しい標準ベンチマークを提案する。 既存のベンチマークと組み合わせることで、この新しいベンチマークは6つのコミュニティイベントすべてを含む包括的なテストスイートを提供する。 我々は、実行時と小さなクラスタの処理において、我々のアプローチの利点を示す数値的な結果のセットを提供する。

We consider an approach for community detection in time-varying networks. At its core, this approach maintains a small sketch graph to capture the essential community structure found in each snapshot of the full network. We demonstrate how the sketch can be used to explicitly identify six key community events which typically occur during network evolution: growth, shrinkage, merging, splitting, birth and death. Based on these detection techniques, we formulate a community detection algorithm which can process a network concurrently exhibiting all processes. One advantage afforded by the sketch-based algorithm is the efficient handling of large networks. Whereas detecting events in the full graph may be computationally expensive, the small size of the sketch allows changes to be quickly assessed. A second advantage occurs in networks containing clusters of disproportionate size. The sketch is constructed such that there is equal representation of each cluster, thus reducing the possibility that the small clusters are lost in the estimate. We present a new standardized benchmark based on the stochastic block model which models the addition and deletion of nodes, as well as the birth and death of communities. When coupled with existing benchmarks, this new benchmark provides a comprehensive suite of tests encompassing all six community events. We provide a set of numerical results demonstrating the advantages of our approach both in run time and in the handling of small clusters.
翻訳日:2022-10-15 04:30:51 公開日:2020-09-24
# 生物ネットワークの構造分類のためのベイズ位相学習

Bayesian Topological Learning for Classifying the Structure of Biological Networks ( http://arxiv.org/abs/2009.11974v1 )

ライセンス: Link先を確認
Vasileios Maroulas, Cassie Putman Micucci, and Farzana Nasrin(参考訳) アクチン細胞骨格ネットワークは、ネットワークの穴の数、サイズ、形状が自然に変化するため、局所的なトポロジカルシグネチャを生成する。 永続ホモロジー(Persistent homology)は、データのトポロジ的性質を探索し、永続化ダイアグラムとして要約する手法である。 本研究では,これらのフィラメントネットワークを,持続性図の空間上のベイズフレームワークによって定量化される持続性図に変換し,解析・分類する。 提案された一般化ベイズフレームワークは、永続化図の独立かつ同一のクラスタポイントプロセス特性を採用し、置換確率論に依存する。 このフレームワークは、永続化ダイアグラム内の点の後方濃度分布と後方空間分布を同時に推定する柔軟性を提供する。 ガウス混合の仮定のもとに後肢を閉じた形態を示し, それぞれ前強度と濃度の2項を仮定した。 この後続計算を用いて、アクチンフィラメントネットワークを分類し、いくつかの最先端分類法と比較するベイズ係数アルゴリズムを実装した。

Actin cytoskeleton networks generate local topological signatures due to the natural variations in the number, size, and shape of holes of the networks. Persistent homology is a method that explores these topological properties of data and summarizes them as persistence diagrams. In this work, we analyze and classify these filament networks by transforming them into persistence diagrams whose variability is quantified via a Bayesian framework on the space of persistence diagrams. The proposed generalized Bayesian framework adopts an independent and identically distributed cluster point process characterization of persistence diagrams and relies on a substitution likelihood argument. This framework provides the flexibility to estimate the posterior cardinality distribution of points in a persistence diagram and the posterior spatial distribution simultaneously. We present a closed form of the posteriors under the assumption of Gaussian mixtures and binomials for prior intensity and cardinality respectively. Using this posterior calculation, we implement a Bayes factor algorithm to classify the actin filament networks and benchmark it against several state-of-the-art classification methods.
翻訳日:2022-10-15 04:30:33 公開日:2020-09-24
# 非定常環境における適応的リバランシングによるオンライン学習

Online Learning With Adaptive Rebalancing in Nonstationary Environments ( http://arxiv.org/abs/2009.11942v1 )

ライセンス: Link先を確認
Kleanthis Malialis and Christos G. Panayiotou and Marios M. Polycarpou(参考訳) 膨大な量のデータが、今や様々な現実世界のアプリケーションでシーケンシャルに利用できるようになった。 非定常環境での学習は大きな課題であり、この問題はクラス不均衡の存在下では桁違いに複雑になる。 オンライン学習における非定常データと不均衡データからの学習に関する新たな洞察を提供する。 本稿では,AREBA(Adaptive REBAlancing)アルゴリズムを提案する。AREBA(Adaptive REBAlancing)アルゴリズムは,これまでに出現した多数例と少数例のサブセットを選択的に含んでおり,その中心には,選択した例間のクラスバランスを継続的に維持する適応機構がある。 AREBAを強力なベースラインや他の最先端アルゴリズムと比較し、様々なクラス不均衡率と実世界のデータに異なる概念ドリフトタイプを持つシナリオで広範な実験を行う。 AREBAは学習速度と学習品質の両方において、残りの部分よりも大幅に優れています。 私たちのコードは科学コミュニティに公開されています。

An enormous and ever-growing volume of data is nowadays becoming available in a sequential fashion in various real-world applications. Learning in nonstationary environments constitutes a major challenge, and this problem becomes orders of magnitude more complex in the presence of class imbalance. We provide new insights into learning from nonstationary and imbalanced data in online learning, a largely unexplored area. We propose the novel Adaptive REBAlancing (AREBA) algorithm that selectively includes in the training set a subset of the majority and minority examples that appeared so far, while at its heart lies an adaptive mechanism to continually maintain the class balance between the selected examples. We compare AREBA with strong baselines and other state-of-the-art algorithms and perform extensive experimental work in scenarios with various class imbalance rates and different concept drift types on both synthetic and real-world data. AREBA significantly outperforms the rest with respect to both learning speed and learning quality. Our code is made publicly available to the scientific community.
翻訳日:2022-10-15 04:24:10 公開日:2020-09-24
# 分散カーネルの分離:ポイント&グループ異常検出のための新しいツール

Isolation Distributional Kernel: A New Tool for Point & Group Anomaly Detection ( http://arxiv.org/abs/2009.12196v1 )

ライセンス: Link先を確認
Kai Ming Ting, Bi-Cun Xu, Takashi Washio and Zhi-Hua Zhou(参考訳) 我々は,2つの分布の類似性を測定する新しい方法として,分離分布核を導入する。 既存のカーネル平均埋め込みに基づくアプローチは、ポイントカーネルを分散カーネルに変換するもので、2つの重要な問題がある: ポイントカーネルが採用するポイントカーネルは、難解な次元を持つ特徴写像を持ち、それは、データ独立である。 本稿では,データ依存点カーネルをベースとしたアイソレーション分散カーネル(IDK)が,両重要な問題に対処していることを示す。 点異常と群異常の両方に対するカーネルに基づく異常検出のための新しいツールとして,idkの有効性と効率を示す。 明示的な学習がなければ、IDKだけで既存のカーネルベースのポイント異常検出器OCSVMや、ガウスカーネルに依存する他のカーネルの埋め込みメソッドよりも優れている。 グループ異常検出には、IDK$^2$と呼ばれるIDKベースの検出器を導入する。 入力空間における群異常検出の問題を、学習を必要とせずにヒルベルト空間における点異常検出の問題を再構成する。 IDK$^2$は、グループ異常検出器OCSMMよりも桁違いに高速に動作し、カーネル平均埋め込みに基づく実効カーネルベースの異常検出器は、データに依存する特性カーネルを使用しなければならないことを初めて明らかにする。

We introduce Isolation Distributional Kernel as a new way to measure the similarity between two distributions. Existing approaches based on kernel mean embedding, which convert a point kernel to a distributional kernel, have two key issues: the point kernel employed has a feature map with intractable dimensionality; and it is {\em data independent}. This paper shows that Isolation Distributional Kernel (IDK), which is based on a {\em data dependent} point kernel, addresses both key issues. We demonstrate IDK's efficacy and efficiency as a new tool for kernel based anomaly detection for both point and group anomalies. Without explicit learning, using IDK alone outperforms existing kernel based point anomaly detector OCSVM and other kernel mean embedding methods that rely on Gaussian kernel. For group anomaly detection,we introduce an IDK based detector called IDK$^2$. It reformulates the problem of group anomaly detection in input space into the problem of point anomaly detection in Hilbert space, without the need for learning. IDK$^2$ runs orders of magnitude faster than group anomaly detector OCSMM.We reveal for the first time that an effective kernel based anomaly detector based on kernel mean embedding must employ a characteristic kernel which is data dependent.
翻訳日:2022-10-15 04:23:52 公開日:2020-09-24
# エッジクラスを用いた多クラス分類のための自己重み付きロバストLDA

Self-Weighted Robust LDA for Multiclass Classification with Edge Classes ( http://arxiv.org/abs/2009.12362v1 )

ライセンス: Link先を確認
Caixia Yan, Xiaojun Chang, Minnan Luo, Qinghua Zheng, Xiaoqin Zhang, Zhihui Li and Feiping Nie(参考訳) 線形判別分析(lda)は、多クラス分類の最も識別的な特徴を学ぶ一般的な手法である。 既存のLDAアルゴリズムの大部分は、他のクラス、すなわちエッジクラスと非常に大きな差があるクラスによって支配される傾向にあり、これは多クラス分類で頻繁に発生する。 第一に、エッジクラスの存在はしばしばクラス間散乱行列の計算においてバイアスとなる。 第二に、クラス間距離基準に基づくl2-normの活用は、エッジクラスに対応する非常に大きな距離を拡大する。 この点において、l21ノルムに基づく、swrldaと呼ばれる、新しい自己重み付きロバストなldaが、特にエッジクラスにおいて多クラス分類のために提案されている。 SWRLDAは、最適な平均計算を自動的に回避し、追加パラメータを設定することなく、各クラスペアの適応重みを同時に学習することができる。 効率の良い再重み付けアルゴリズムを用いて、挑戦的l21ノルム最大化問題の大域的最適性を導出する。 提案するSWRLDAは実装が容易で,実際に高速に収束する。 大規模な実験により、SWRLDAは合成と実世界の両方のデータセットで比較した手法に対して好適に機能し、他の手法と比較して計算効率が優れていることが示された。

Linear discriminant analysis (LDA) is a popular technique to learn the most discriminative features for multi-class classification. A vast majority of existing LDA algorithms are prone to be dominated by the class with very large deviation from the others, i.e., edge class, which occurs frequently in multi-class classification. First, the existence of edge classes often makes the total mean biased in the calculation of between-class scatter matrix. Second, the exploitation of l2-norm based between-class distance criterion magnifies the extremely large distance corresponding to edge class. In this regard, a novel self-weighted robust LDA with l21-norm based pairwise between-class distance criterion, called SWRLDA, is proposed for multi-class classification especially with edge classes. SWRLDA can automatically avoid the optimal mean calculation and simultaneously learn adaptive weights for each class pair without setting any additional parameter. An efficient re-weighted algorithm is exploited to derive the global optimum of the challenging l21-norm maximization problem. The proposed SWRLDA is easy to implement, and converges fast in practice. Extensive experiments demonstrate that SWRLDA performs favorably against other compared methods on both synthetic and real-world datasets, while presenting superior computational efficiency in comparison with other techniques.
翻訳日:2022-10-15 04:23:32 公開日:2020-09-24
# きめ細かい視覚種分類のための統一データ

Unifying data for fine-grained visual species classification ( http://arxiv.org/abs/2009.11433v1 )

ライセンス: Link先を確認
Sayali Kulkarni, Tomer Gadot, Chen Luo, Tanya Birch, Eric Fegraus(参考訳) 野生生物のモニタリングは自然保護に不可欠であり、フィールドに配備されたモーショントリガーカメラトラップから手動で観察された。 このようなセンサーの普及により、過去10年間に前例のないデータ量が収集されてきた。 これらの画像に含まれるものを効率的に処理し、確実に識別するための大きな課題がある。 コンピュータービジョンの進歩は、興味のある画像を自動的に識別し、それらの種をラベル付けするために構築されたカスタムAIモデルによる効果的なソリューションを提供することを目指している。 本稿では,様々な保全パートナーによる野生生物インサイトプラットフォームにおけるデータ統一の取り組みと課題について概説する。 次に、465種にわたる2.9M画像に基づいてトレーニングされた初期の深部畳み込みニューラルネットワークモデルを提案する。 長期的な目標は、種の存在量と個体数をほぼリアルタイムで分析し、科学者が自然保護を推奨できるようにすることである。

Wildlife monitoring is crucial to nature conservation and has been done by manual observations from motion-triggered camera traps deployed in the field. Widespread adoption of such in-situ sensors has resulted in unprecedented data volumes being collected over the last decade. A significant challenge exists to process and reliably identify what is in these images efficiently. Advances in computer vision are poised to provide effective solutions with custom AI models built to automatically identify images of interest and label the species in them. Here we outline the data unification effort for the Wildlife Insights platform from various conservation partners, and the challenges involved. Then we present an initial deep convolutional neural network model, trained on 2.9M images across 465 fine-grained species, with a goal to reduce the load on human experts to classify species in images manually. The long-term goal is to enable scientists to make conservation recommendations from near real-time analysis of species abundance and population health.
翻訳日:2022-10-15 04:22:57 公開日:2020-09-24
# グラフニューラルネットワークのための学習グラフ正規化

Learning Graph Normalization for Graph Neural Networks ( http://arxiv.org/abs/2009.11746v1 )

ライセンス: Link先を確認
Yihao Chen, Xin Tang, Xianbiao Qi, Chun-Guang Li, Rong Xiao(参考訳) グラフニューラルネットワーク(gnns)は、グラフ構造化データを処理するための新しい有望なパラダイムとして注目されている。 GNNは通常、複数のレイヤに積み重ねられ、各レイヤのノード表現は、グラフに関する隣り合うノードの特徴の伝播と集約によって計算される。 複数のレイヤにスタックすることで、GNNはグラフ上のデータ間の長距離依存関係をキャプチャし、パフォーマンスを改善することができる。 GNNを複数の層で効果的に訓練するには、いくつかの正規化技術(ノードワイド正規化、バッチワイド正規化など)が必要である。 しかし、GNNの正規化技術は非常にタスク関連であり、異なるアプリケーションタスクは、事前に知るのが難しい異なる正規化技術を好む。 そこで本論文では,正規化手法の重み付け結合をノード単位の正規化,隣接点の正規化,グラフ単位の正規化,バッチ単位の正規化という4つの異なるレベルで最適化し,グラフの局所構造と大域構造をそれぞれ考慮し,グラフの正規化とグラフ単位の正規化を新たに提案する。 最適な重みを学習することで、特定のタスクに対する複数の正規化のベストまたはベストの組み合わせを自動的に選択できます。 ノード分類,リンク予測,グラフ分類,グラフ回帰など,さまざまなタスクのためのベンチマークデータセットに関する広範な実験を行い,学習グラフの正規化が競合結果につながり,学習重みが特定のタスクに適した正規化手法を示唆することを確認した。 ソースコードはhttps://github.com/cyh1112/graphnormalization。

Graph Neural Networks (GNNs) have attracted considerable attention and have emerged as a new promising paradigm to process graph-structured data. GNNs are usually stacked to multiple layers and the node representations in each layer are computed through propagating and aggregating the neighboring node features with respect to the graph. By stacking to multiple layers, GNNs are able to capture the long-range dependencies among the data on the graph and thus bring performance improvements. To train a GNN with multiple layers effectively, some normalization techniques (e.g., node-wise normalization, batch-wise normalization) are necessary. However, the normalization techniques for GNNs are highly task-relevant and different application tasks prefer to different normalization techniques, which is hard to know in advance. To tackle this deficiency, in this paper, we propose to learn graph normalization by optimizing a weighted combination of normalization techniques at four different levels, including node-wise normalization, adjacency-wise normalization, graph-wise normalization, and batch-wise normalization, in which the adjacency-wise normalization and the graph-wise normalization are newly proposed in this paper to take into account the local structure and the global structure on the graph, respectively. By learning the optimal weights, we are able to automatically select a single best or a best combination of multiple normalizations for a specific task. We conduct extensive experiments on benchmark datasets for different tasks, including node classification, link prediction, graph classification and graph regression, and confirm that the learned graph normalization leads to competitive results and that the learned weights suggest the appropriate normalization techniques for the specific task. Source code is released here https://github.com/cyh1112/GraphNormalization.
翻訳日:2022-10-15 04:22:41 公開日:2020-09-24
# グラフゼロショット学習のための属性伝搬ネットワーク

Attribute Propagation Network for Graph Zero-shot Learning ( http://arxiv.org/abs/2009.11816v1 )

ライセンス: Link先を確認
Lu Liu, Tianyi Zhou, Guodong Long, Jing Jiang, Chengqi Zhang(参考訳) zero-shot learning(zsl)の目的は、トレーニング中に見られなかったクラスのサンプルを分類するモデルをトレーニングすることだ。 この課題に対処するために、ほとんどのZSLメソッドは、同じセマンティック空間内のすべてのクラスを記述することができる属性のセットを通じて、未確認のテストクラスをルック(トレーニング)クラスに関連付けるため、トレーニングクラスで学んだ知識は、未確認クラスに適応できる。 本稿では,クラスグラフ上の各クラスとその関連クラスに基づいて,各クラスのセマンティック属性を洗練するための伝搬機構を訓練することにより,ZSLの属性空間を最適化することを目的とする。 提案する属性は,zsl設定によって性能が大幅に向上したゼロショットクラスの分類器を生成できることを示す。 クラスグラフは通常、wordnetクラスやimagenetクラスなどの取得に無料または非常に安価である。 グラフが提供されない場合、クラスに事前に定義されたセマンティック埋め込みが与えられると、伝播機構とともにエンドツーエンドでグラフを生成するメカニズムを学ぶことができる。 しかし、このグラフ支援技術は文献ではあまり研究されていない。 本稿では,属性伝達ネットワーク(apnet)について述べる。 1)各クラスに属性ベクトルを生成するグラフ伝搬モデルと 2)パラメータ化された最寄り隣人(NN)分類器は、画像の埋め込みに最も近い属性ベクトルを持つクラスに画像を分類する。 従来の手法と異なり、未確認クラスに対するより良い一般化のために、複数のサブグラフ上でNN分類器の伝搬機構と類似度を訓練するためのメタラーニング戦略を採用し、それぞれが訓練クラスのサブセット上の分類タスクに関連付けられている。 2つのゼロショット学習設定と5つのベンチマークデータセットを用いた実験で、apnetは説得力のあるパフォーマンスか、新しい最先端の結果を得る。

The goal of zero-shot learning (ZSL) is to train a model to classify samples of classes that were not seen during training. To address this challenging task, most ZSL methods relate unseen test classes to seen(training) classes via a pre-defined set of attributes that can describe all classes in the same semantic space, so the knowledge learned on the training classes can be adapted to unseen classes. In this paper, we aim to optimize the attribute space for ZSL by training a propagation mechanism to refine the semantic attributes of each class based on its neighbors and related classes on a graph of classes. We show that the propagated attributes can produce classifiers for zero-shot classes with significantly improved performance in different ZSL settings. The graph of classes is usually free or very cheap to acquire such as WordNet or ImageNet classes. When the graph is not provided, given pre-defined semantic embeddings of the classes, we can learn a mechanism to generate the graph in an end-to-end manner along with the propagation mechanism. However, this graph-aided technique has not been well-explored in the literature. In this paper, we introduce the attribute propagation network (APNet), which is composed of 1) a graph propagation model generating attribute vector for each class and 2) a parameterized nearest neighbor (NN) classifier categorizing an image to the class with the nearest attribute vector to the image's embedding. For better generalization over unseen classes, different from previous methods, we adopt a meta-learning strategy to train the propagation mechanism and the similarity metric for the NN classifier on multiple sub-graphs, each associated with a classification task over a subset of training classes. In experiments with two zero-shot learning settings and five benchmark datasets, APNet achieves either compelling performance or new state-of-the-art results.
翻訳日:2022-10-15 04:22:11 公開日:2020-09-24
# マルチフレームからシングルフレーム:3次元物体検出のための知識蒸留

Multi-Frame to Single-Frame: Knowledge Distillation for 3D Object Detection ( http://arxiv.org/abs/2009.11859v1 )

ライセンス: Link先を確認
Yue Wang and Alireza Fathi and Jiajun Wu and Thomas Funkhouser and Justin Solomon(参考訳) 自動運転のための3dオブジェクト検出の一般的なジレンマは、高品質で高密度な点雲はトレーニング中にのみ利用できるが、テストはできないことである。 学習時間における高品質入力を訓練したモデルと,推定時間に低品質入力をテストしたモデルとのギャップを埋めるために,知識蒸留を用いる。 特に、ポイントクラウドオブジェクト検出のための2段階のトレーニングパイプラインを設計します。 まず、トレーニング時にのみ利用可能な追加情報を用いて、複数のフレームから生成される集中点雲上の物体検出モデルを訓練する。 そして、両方のモデルの特徴に対して一貫性のある規則化を施し、スパース単一フレームの点群で同じモデルを訓練する。 本手法は,テスト中の低品質データの性能を,追加のオーバーヘッドを伴わずに向上させることを示す。

A common dilemma in 3D object detection for autonomous driving is that high-quality, dense point clouds are only available during training, but not testing. We use knowledge distillation to bridge the gap between a model trained on high-quality inputs at training time and another tested on low-quality inputs at inference time. In particular, we design a two-stage training pipeline for point cloud object detection. First, we train an object detection model on dense point clouds, which are generated from multiple frames using extra information only available at training time. Then, we train the model's identical counterpart on sparse single-frame point clouds with consistency regularization on features from both models. We show that this procedure improves performance on low-quality data during testing, without additional overhead.
翻訳日:2022-10-15 04:21:46 公開日:2020-09-24
# 音声キャプションにおける単語頻度に基づく前処理と後処理の効果

Effects of Word-frequency based Pre- and Post- Processings for Audio Captioning ( http://arxiv.org/abs/2009.11436v1 )

ライセンス: Link先を確認
Daiki Takeuchi, Yuma Koizumi, Yasunori Ohishi, Noboru Harada, Kunio Kashino(参考訳) 音響シーン・イベントの検出・分類のタスク6(自動音声キャプション)に使用したシステム(DCASE)2020 Challengeは,音声キャプションのためのデータ拡張,マルチタスク学習,後処理の3つの要素を組み合わせた。 このシステムは評価スコアが最も高いが、個々の要素のどれがパーフォーマンスに最も貢献したかはまだ明らかになっていない。 そこで我々はまず,各要素がどの程度有効であるかを推定するシステムについて,要素単位のアブレーション研究を行った。 そこで我々は,より詳細なモジュールワイドアブレーション研究を行い,その精度向上のためのthekey処理モジュールをさらに明らかにした。 その結果,データの増大と後処理により,システムのスコアが大幅に向上した。 特に、後処理におけるミックスアップデータ拡張とビーム探索は、それぞれ0.8ポイントと1.6ポイント向上する。

The system we used for Task 6 (Automated Audio Captioning)of the Detection and Classification of Acoustic Scenes and Events(DCASE) 2020 Challenge combines three elements, namely, dataaugmentation, multi-task learning, and post-processing, for audiocaptioning. The system received the highest evaluation scores, butwhich of the individual elements most fully contributed to its perfor-mance has not yet been clarified. Here, to asses their contributions,we first conducted an element-wise ablation study on our systemto estimate to what extent each element is effective. We then con-ducted a detailed module-wise ablation study to further clarify thekey processing modules for improving accuracy. The results showthat data augmentation and post-processing significantly improvethe score in our system. In particular, mix-up data augmentationand beam search in post-processing improve SPIDEr by 0.8 and 1.6points, respectively.
翻訳日:2022-10-15 04:21:09 公開日:2020-09-24
# 密度トポロジーのグラフに基づくクラスタリング

Clustering Based on Graph of Density Topology ( http://arxiv.org/abs/2009.11612v1 )

ライセンス: Link先を確認
Zhangyang Gao, Haitao Lin, Stan. Z Li(参考訳) 高レベルノイズにおける不均一分布によるデータクラスタリングは困難である。 現在、HDBSCANはこの問題のSOTAアルゴリズムとされている。 本稿では,密度トポロジーグラフ(gdt)と呼ばれるものに基づくクラスタリングアルゴリズムを提案する。 gdtは、データサンプルの局所的および大域的な構造について、まずは、適切なノイズ処理とクラスタ境界検出の戦略を伴う密度成長プロセスに基づいてローカルクラスタを形成、次に、接続測度の観点からローカルクラスタ間の関係からgdtを推定し、グローバルトポロジカルグラフを与える。 近接するローカルクラスタ間の類似性を測定するコネクティビティは、個々のポイントではなくローカルクラスタに基づいており、非常に大きなノイズに対して堅牢性を確保している。 玩具と実世界の両方のデータセットにおける評価結果は、GDTが一般的なデータセットのほとんど全てでSOTAのパフォーマンスをはるかに達成し、O(nlogn)の低時間複雑さを持つことを示している。 コードはhttps://github.com/gaozhangyang/dgc.gitで入手できる。

Data clustering with uneven distribution in high level noise is challenging. Currently, HDBSCAN is considered as the SOTA algorithm for this problem. In this paper, we propose a novel clustering algorithm based on what we call graph of density topology (GDT). GDT jointly considers the local and global structures of data samples: firstly forming local clusters based on a density growing process with a strategy for properly noise handling as well as cluster boundary detection; and then estimating a GDT from relationship between local clusters in terms of a connectivity measure, givingglobal topological graph. The connectivity, measuring similarity between neighboring local clusters, is based on local clusters rather than individual points, ensuring its robustness to even very large noise. Evaluation results on both toy and real-world datasets show that GDT achieves the SOTA performance by far on almost all the popular datasets, and has a low time complexity of O(nlogn). The code is available at https://github.com/gaozhangyang/DGC.git.
翻訳日:2022-10-15 04:14:56 公開日:2020-09-24
# 自己組織化マップとガウス混合モデルとの厳密なリンク

A Rigorous Link Between Self-Organizing Maps and Gaussian Mixture Models ( http://arxiv.org/abs/2009.11710v1 )

ライセンス: Link先を確認
Alexander Gepperth, Benedikt Pf\"ulb(参考訳) 本研究では、自己組織化マップ(SOM)とガウス混合モデル(GMM)の関係を数学的に扱う。 エネルギーベースSOMモデルは、特に高次元に有効であるGMMログの近似を最小化することにより、勾配降下を行うことができることを示す。 近辺半径のSOM様の減少は、勾配降下が望ましくない局所最小値に収まらないようにするアニール法として理解することができる。 このリンクはSOMsを生成確率モデルとして扱うことができ、SOMs(例えば、外れ値の検出やサンプリングのための公式な正当化を与える。

This work presents a mathematical treatment of the relation between Self-Organizing Maps (SOMs) and Gaussian Mixture Models (GMMs). We show that energy-based SOM models can be interpreted as performing gradient descent, minimizing an approximation to the GMM log-likelihood that is particularly valid for high data dimensionalities. The SOM-like decrease of the neighborhood radius can be understood as an annealing procedure ensuring that gradient descent does not get stuck in undesirable local minima. This link allows to treat SOMs as generative probabilistic models, giving a formal justification for using SOMs, e.g., to detect outliers, or for sampling.
翻訳日:2022-10-15 04:14:23 公開日:2020-09-24
# 時空間予測ネットワークのための教師なし転送学習

Unsupervised Transfer Learning for Spatiotemporal Predictive Networks ( http://arxiv.org/abs/2009.11763v1 )

ライセンス: Link先を確認
Zhiyu Yao, Yunbo Wang, Mingsheng Long, Jianmin Wang(参考訳) 本稿では,複数の時空間予測タスクにまたがる教師なし転送学習の新たな研究課題について検討する。 教師付きタスク間の不一致を修正することに焦点を当てた,既存のトランスファー学習手法と異なり,教師なし学習モデルの動物園から別の予測ネットワークへ知識を移す方法について検討する。 我々のモチベーションは、異なるソースからのモデルが異なる視点から複雑な時空間力学を理解し、タスクが十分なトレーニングサンプルを持っている場合でも、そのタスクを効果的に補うことである。 技術的には、転送可能なメモリという識別可能なフレームワークを提案する。 複数の事前訓練されたRNNの記憶状態のバンクから知識を適応的に蒸留し、Transferable Memory Unit (TMU)と呼ばれる新しい再帰構造を介してターゲットネットワークに適用する。 微調整と比較すると,提案手法は時空間予測のための3つのベンチマークにおいて有意な改善をもたらす。

This paper explores a new research problem of unsupervised transfer learning across multiple spatiotemporal prediction tasks. Unlike most existing transfer learning methods that focus on fixing the discrepancy between supervised tasks, we study how to transfer knowledge from a zoo of unsupervisedly learned models towards another predictive network. Our motivation is that models from different sources are expected to understand the complex spatiotemporal dynamics from different perspectives, thereby effectively supplementing the new task, even if the task has sufficient training samples. Technically, we propose a differentiable framework named transferable memory. It adaptively distills knowledge from a bank of memory states of multiple pretrained RNNs, and applies it to the target network via a novel recurrent structure called the Transferable Memory Unit (TMU). Compared with finetuning, our approach yields significant improvements on three benchmarks for spatiotemporal prediction, and benefits the target task even from less relevant pretext ones.
翻訳日:2022-10-15 04:13:57 公開日:2020-09-24
# 半教師付き除去フィルタを用いた雑音ラベルの同定

Identifying noisy labels with a transductive semi-supervised leave-one-out filter ( http://arxiv.org/abs/2009.11811v1 )

ライセンス: Link先を確認
Bruno Klaus de Aquino Afonso, Lilian Berton(参考訳) 意味のあるラベルでデータを取得することは、しばしばコストが高く、エラーを起こします。 この状況では、ラベルのないデータに関する仮定を利用してラベルの限られた量を補う、半教師付き学習(SSL)アプローチが興味深い。 しかし,実世界の状況では,ラベル付けプロセスが誤りであると仮定することはできず,多くのSSL分類器の精度はラベルノイズの存在下で著しく低下する。 そこで本研究では,LGC_LVOF(Local and Global Consistency (LGC) アルゴリズムに基づく一括フィルタリング手法)を導入する。 本手法は,誤ったラベルの検出と削除を目標とし,ssl分類器のプリプロセッシングステップとして使用できる。 伝搬行列が与えられると、雑音のラベルを検出するのに1ステップあたりo(cl)を要し、cはクラス数、lはラベル数である。 さらに、伝播行列全体を計算する必要はないが、ラベル付きインスタンス間の相互作用に対応する$l$ by $l$サブ行列のみである。 結果として、我々のアプローチはラベルのない大量のデータセットに最も適していますが、ラベルは多くありません。 MNISTやISOLETなど、いくつかのデータセットで結果が提供されている。 LGCLVOFは、適応した勾配ベースのフィルタと同等かそれ以上の精度である。 本稿では,LGCLVOFをLGCに埋め込む際の最良ケース精度が,騒音のラベル付けに頑健な$\ell_1$ベースの分類器のベストケースに匹敵する性能を示す。 削除されたインスタンスの数を選択するヒューリスティックを提供する。

Obtaining data with meaningful labels is often costly and error-prone. In this situation, semi-supervised learning (SSL) approaches are interesting, as they leverage assumptions about the unlabeled data to make up for the limited amount of labels. However, in real-world situations, we cannot assume that the labeling process is infallible, and the accuracy of many SSL classifiers decreases significantly in the presence of label noise. In this work, we introduce the LGC_LVOF, a leave-one-out filtering approach based on the Local and Global Consistency (LGC) algorithm. Our method aims to detect and remove wrong labels, and thus can be used as a preprocessing step to any SSL classifier. Given the propagation matrix, detecting noisy labels takes O(cl) per step, with c the number of classes and l the number of labels. Moreover, one does not need to compute the whole propagation matrix, but only an $l$ by $l$ submatrix corresponding to interactions between labeled instances. As a result, our approach is best suited to datasets with a large amount of unlabeled data but not many labels. Results are provided for a number of datasets, including MNIST and ISOLET. LGCLVOF appears to be equally or more precise than the adapted gradient-based filter. We show that the best-case accuracy of the embedding of LGCLVOF into LGC yields performance comparable to the best-case of $\ell_1$-based classifiers designed to be robust to label noise. We provide a heuristic to choose the number of removed instances.
翻訳日:2022-10-15 04:13:41 公開日:2020-09-24
# SGDの最小値に影響を与える因子はいくつあるか?

How Many Factors Influence Minima in SGD? ( http://arxiv.org/abs/2009.11858v1 )

ライセンス: Link先を確認
Victor Luo and Yazhen Wang(参考訳) 確率勾配降下(SGD)は、ディープニューラルネットワーク(DNN)の訓練にしばしば適用され、SGDが発見したSGDとミニマの収束力学の研究に研究努力が注がれている。 本論文で同定された要因は, 学習速度, バッチサイズ, ヘシアン, 勾配共分散などであり, 確率微分方程式を用いてSGDをモデル化し, それらの因子間の関係を確立することにより, SGDのミニマを特徴づける。 バッチサイズと学習率の比率は、基礎となるSGDのダイナミクスを強調する主要な要因であるが、ヘッセンや勾配の共分散のような他の重要な要因の影響は、完全には一致していない。 本稿では,最近の文献における要因と関係について述べるとともに,その関係に関する数値的考察を紹介する。 特に、Wang (2019) で得られた4要素および一般の関係結果を確認する一方で、Jastrz\c{e}bski et al. (2018) に見られる3要素および関連関係の結果は、考慮された特別な場合を超えては成立しない可能性がある。

Stochastic gradient descent (SGD) is often applied to train Deep Neural Networks (DNNs), and research efforts have been devoted to investigate the convergent dynamics of SGD and minima found by SGD. The influencing factors identified in the literature include learning rate, batch size, Hessian, and gradient covariance, and stochastic differential equations are used to model SGD and establish the relationships among these factors for characterizing minima found by SGD. It has been found that the ratio of batch size to learning rate is a main factor in highlighting the underlying SGD dynamics; however, the influence of other important factors such as the Hessian and gradient covariance is not entirely agreed upon. This paper describes the factors and relationships in the recent literature and presents numerical findings on the relationships. In particular, it confirms the four-factor and general relationship results obtained in Wang (2019), while the three-factor and associated relationship results found in Jastrz\c{e}bski et al. (2018) may not hold beyond the considered special case.
翻訳日:2022-10-15 04:13:00 公開日:2020-09-24
# 多変量時系列回帰のためのディープラーニングの逆例

Adversarial Examples in Deep Learning for Multivariate Time Series Regression ( http://arxiv.org/abs/2009.11911v1 )

ライセンス: Link先を確認
Gautam Raj Mode, Khaza Anuarul Hoque(参考訳) 多変量時系列(MTS)回帰タスクは、金融、サイバーセキュリティ、エネルギー、医療、予後学など、多くの実世界のデータマイニングアプリケーションで一般的である。 画像認識やコンピュータビジョンなど,さまざまな領域におけるディープラーニング(DL)アルゴリズムの成功により,MSSデータマイニング問題の解決にこれらの技術が採用されるようになった。 残念なことに、DLアルゴリズムは敵の例に感受性があることで知られており、MTS予測のためのDL回帰モデルもこれらの攻撃に対して脆弱である。 我々の知る限り、DL MTS回帰モデルの脆弱性を敵の時系列例に適用する以前の研究は行われていないが、これは特に、そのようなモデルからの予測が安全クリティカルでコストクリティカルなアプリケーションで使用される場合に重要なステップである。 本研究では,画像分類領域からの既存攻撃生成手法と,最先端ディープラーニング回帰モデル,特に畳み込みニューラルネットワーク(cnn),long short-term memory(lstm),gated recurrent unit(gru)の3つのモデルに対して,敵の多変量時系列モデルを用いた。 Google株と家庭用電力消費データを用いて本研究を評価した。 その結果, 評価されたDL回帰モデルはすべて, 敵攻撃に対して脆弱であり, 移動可能であり, エネルギーやファイナンスといった安全クリティカルかつコストクリティカルな領域において破滅的な結果をもたらす可能性が示唆された。

Multivariate time series (MTS) regression tasks are common in many real-world data mining applications including finance, cybersecurity, energy, healthcare, prognostics, and many others. Due to the tremendous success of deep learning (DL) algorithms in various domains including image recognition and computer vision, researchers started adopting these techniques for solving MTS data mining problems, many of which are targeted for safety-critical and cost-critical applications. Unfortunately, DL algorithms are known for their susceptibility to adversarial examples which also makes the DL regression models for MTS forecasting also vulnerable to those attacks. To the best of our knowledge, no previous work has explored the vulnerability of DL MTS regression models to adversarial time series examples, which is an important step, specifically when the forecasting from such models is used in safety-critical and cost-critical applications. In this work, we leverage existing adversarial attack generation techniques from the image classification domain and craft adversarial multivariate time series examples for three state-of-the-art deep learning regression models, specifically Convolutional Neural Network (CNN), Long Short-Term Memory (LSTM), and Gated Recurrent Unit (GRU). We evaluate our study using Google stock and household power consumption dataset. The obtained results show that all the evaluated DL regression models are vulnerable to adversarial attacks, transferable, and thus can lead to catastrophic consequences in safety-critical and cost-critical domains, such as energy and finance.
翻訳日:2022-10-15 04:12:35 公開日:2020-09-24
# neurocoder: 記憶型ニューラルネットワークを用いた汎用計算の学習

Neurocoder: Learning General-Purpose Computation Using Stored Neural Programs ( http://arxiv.org/abs/2009.11443v1 )

ライセンス: Link先を確認
Hung Le and Svetha Venkatesh(参考訳) 人工ニューラルネットワークは、人工ニューロンのネットワークを通じてデータを処理することで、機械学習に独特である。 ニューロン間の接続重みは、データの計算方法をネットワークに指示する学習されたニューラルプログラムを表す。 しかし、ニューラルプログラムを格納する外部メモリがなければ、1つに制限され、新しいデータでトレーニングされた時に学習プログラムを上書きする。 これは特殊目的のコンピュータと機能的に等価である。 ここでは、ニューラルネットワークがデータ応答性のある方法で、共有可能なモジュールプログラムの集合から関連するプログラムを構成する、全く新しい汎用的条件計算マシンであるNeurocoderを設計する。 これは、単純なレゴブロックからレゴ構造を構築するのに似ています。 特に、私たちのレンガは学習によって形を変えます。 外部メモリはモジュールプログラムの作成、保存、検索に使用される。 現在のコンピュータと同様に、neurocoderは様々なプログラムにアクセスして異なるデータを処理することができる。 手動のコンピュータプログラムとは異なり、neurocoderはトレーニングを通じてプログラムを作成する。 ニューロコーダを現在のニューラル・アーキテクチャに統合することで,モジュール型プログラムを学習し,厳格なパターンシフトを処理し,新しいプログラムが学習されるにつれて古いプログラムを記憶し,オブジェクト認識の解決やビデオゲームのプレイ,継続的な学習タスクにおいて実質的なパフォーマンス向上を示す。 このようなNeurocoderとの統合は、現在のニューラルネットワークの計算能力を高め、複雑なプログラムを構築するための単純なプログラムを再利用する全く新しい能力を提供する。 初めて、ニューラルプログラムは、モジュール型、再帰型、手続き型ニューラルプログラミングの方法を舗装して、メモリ上のデータムとして扱われる。

Artificial Neural Networks are uniquely adroit at machine learning by processing data through a network of artificial neurons. The inter-neuronal connection weights represent the learnt Neural Program that instructs the network on how to compute the data. However, without an external memory to store Neural Programs, they are restricted to only one, overwriting learnt programs when trained on new data. This is functionally equivalent to a special-purpose computer. Here we design Neurocoder, an entirely new class of general-purpose conditional computational machines in which the neural network "codes" itself in a data-responsive way by composing relevant programs from a set of shareable, modular programs. This can be considered analogous to building Lego structures from simple Lego bricks. Notably, our bricks change their shape through learning. External memory is used to create, store and retrieve modular programs. Like today's stored-program computers, Neurocoder can now access diverse programs to process different data. Unlike manually crafted computer programs, Neurocoder creates programs through training. Integrating Neurocoder into current neural architectures, we demonstrate new capacity to learn modular programs, handle severe pattern shifts and remember old programs as new ones are learnt, and show substantial performance improvement in solving object recognition, playing video games and continual learning tasks. Such integration with Neurocoder increases the computation capability of any current neural network and endows it with entirely new capacity to reuse simple programs to build complex ones. For the first time a Neural Program is treated as a datum in memory, paving the ways for modular, recursive and procedural neural programming.
翻訳日:2022-10-15 04:05:25 公開日:2020-09-24
# AliMe KG: ドメイン知識グラフの構築とEコマースへの応用

AliMe KG: Domain Knowledge Graph Construction and Application in E-commerce ( http://arxiv.org/abs/2009.11684v1 )

ライセンス: Link先を確認
Feng-Lin Li, Hehong Chen, Guohai Xu, Tian Qiu, Feng Ji, Ji Zhang, Haiqing Chen(参考訳) 事前販売のカスタマーサービスは、顧客の購入プロセスの最適化に寄与するため、Eコマースプラットフォームにとって重要である。 利用者によりよいサービスを提供するために、eコマースにおけるドメイン知識グラフであるalime kgを提案する。 ユーザのニーズを理解し、事前の質問に答え、説明テキストを生成するのに役立ちます。 alime kg をショッピングガイド,属性に対する質問応答,レコメンデーション理由生成などのオンラインビジネスシナリオに適用し,肯定的な結果を得た。 本稿では,自由テキストからドメイン知識グラフを構築する方法を体系的に紹介し,そのビジネス価値をいくつかのアプリケーションで示す。 我々の経験から、垂直領域における自由テキストからの構造化知識のマイニングは実践可能であり、産業環境ではかなりの価値があることが分かる。

Pre-sales customer service is of importance to E-commerce platforms as it contributes to optimizing customers' buying process. To better serve users, we propose AliMe KG, a domain knowledge graph in E-commerce that captures user problems, points of interests (POI), item information and relations thereof. It helps to understand user needs, answer pre-sales questions and generate explanation texts. We applied AliMe KG to several online business scenarios such as shopping guide, question answering over properties and recommendation reason generation, and gained positive results. In the paper, we systematically introduce how we construct domain knowledge graph from free text, and demonstrate its business value with several applications. Our experience shows that mining structured knowledge from free text in vertical domain is practicable, and can be of substantial value in industrial settings.
翻訳日:2022-10-15 04:04:36 公開日:2020-09-24
# 意味の熱力学に向けて

Toward a Thermodynamics of Meaning ( http://arxiv.org/abs/2009.11963v1 )

ライセンス: Link先を確認
Jonathan Scott Enderle(参考訳) gpt-3のような言語モデルが現実的なテキストの生成に成功すればするほど、純粋なテキストベースのモデリングが世界について学べるものについて疑問が高まる。 テキストは純粋に統語的であるか。 それとも、十分に洗練された言語モデルが、追加の入力なしで世界について学ぶのに使える意味情報を含んでいるのだろうか? 本稿は,これらの質問に対する適度な回答を示す新しいモデルについて述べる。 熱力学系とはるかに大きな貯水池の平衡関係として記述されるテキストと世界との関係を理論化することにより、非常に単純な言語モデルでさえ世界の構造的事実を学習すると同時に、それらの事実の性質と範囲に比較的厳密な制限を提起する。 この視点は、言語モデルが実際に何を学ぶかについての質問に答えるだけでなく、AIにおける意味決定戦略としての共起予測の一貫性と驚くべき成功を説明することを約束する。

As language models such as GPT-3 become increasingly successful at generating realistic text, questions about what purely text-based modeling can learn about the world have become more urgent. Is text purely syntactic, as skeptics argue? Or does it in fact contain some semantic information that a sufficiently sophisticated language model could use to learn about the world without any additional inputs? This paper describes a new model that suggests some qualified answers to those questions. By theorizing the relationship between text and the world it describes as an equilibrium relationship between a thermodynamic system and a much larger reservoir, this paper argues that even very simple language models do learn structural facts about the world, while also proposing relatively precise limits on the nature and extent of those facts. This perspective promises not only to answer questions about what language models actually learn, but also to explain the consistent and surprising success of cooccurrence prediction as a meaning-making strategy in AI.
翻訳日:2022-10-15 04:04:23 公開日:2020-09-24
# 深層ニューラルネットワークの利点に関する理論的解析

Theoretical Analysis of the Advantage of Deepening Neural Networks ( http://arxiv.org/abs/2009.11479v1 )

ライセンス: Link先を確認
Yasushi Esaki and Yuta Nakahara and Toshiyasu Matsushima(参考訳) ニューラルネットワークの深化の利点を理解するための2つの新しい基準を提案する。 ニューラルネットワークの深層化の利点を理解するためには,深層ニューラルネットワークで計算可能な関数の表現性を知ることが重要である。 ディープニューラルネットワークが十分な表現力を持っていなければ、学習が成功しても優れたパフォーマンスは得られない。 このような状況下では,学習効率とは独立に表現率を評価できるため,ニューラルネットワークの深層化の利点を理解するための基準が提案されている。 第1の基準は、ターゲット関数に対するディープニューラルネットワークの近似精度を示す。 この基準には、ディープラーニングの目標は、ディープニューラルネットワークによるターゲット関数の近似である、という背景がある。 第2の基準は、ディープニューラルネットワークで計算可能な関数の線形領域の性質を示している。 この基準は、活性化関数が分割線形であるディープニューラルネットワークも分割線形であるという背景を持つ。 さらに,2つの基準により,深層ニューラルネットワークの表現性を向上させる上で,各層におけるユニットの増加よりも,レイヤの増加の方が効果的であることを示す。

We propose two new criteria to understand the advantage of deepening neural networks. It is important to know the expressivity of functions computable by deep neural networks in order to understand the advantage of deepening neural networks. Unless deep neural networks have enough expressivity, they cannot have good performance even though learning is successful. In this situation, the proposed criteria contribute to understanding the advantage of deepening neural networks since they can evaluate the expressivity independently from the efficiency of learning. The first criterion shows the approximation accuracy of deep neural networks to the target function. This criterion has the background that the goal of deep learning is approximating the target function by deep neural networks. The second criterion shows the property of linear regions of functions computable by deep neural networks. This criterion has the background that deep neural networks whose activation functions are piecewise linear are also piecewise linear. Furthermore, by the two criteria, we show that to increase layers is more effective than to increase units at each layer on improving the expressivity of deep neural networks.
翻訳日:2022-10-15 03:56:39 公開日:2020-09-24
# 遠絡型ニューラルアーキテクチャサーチ

Disentangled Neural Architecture Search ( http://arxiv.org/abs/2009.13266v1 )

ライセンス: Link先を確認
Xinyue Zheng, Peng Wang, Qigang Wang, Zhongchao Shi(参考訳) ニューラルアーキテクチャ検索は、近年、さまざまな領域で大きな可能性を秘めている。 しかし、既存の手法はアーキテクチャを検索するためにブラックボックスコントローラに大きく依存しており、解釈可能性の欠如という深刻な問題に苦しんでいる。 本稿では,制御器の隠蔽表現を意味論的に意味のある概念に分解し,ニューラルネットワーク探索プロセスの解釈を可能にする,アンタングル型ニューラルネットワーク探索(DNAS)を提案する。 ネットワークアーキテクチャとその性能の相関関係を体系的な研究から発見し,高い性能を持つアーキテクチャを生成する有望な領域をターゲットとした探索を行うための密集したサンプル戦略を提案する。 ご覧の通りです 1)DNASは,操作の選択,接続のスキップ,レイヤ数など,アーキテクチャ表現のアンタングル化に成功している。 2) 解釈性に相応しいDNAは, FLOPSの異なる制約下で柔軟に優れたアーキテクチャを見出すことができる。 3)Dense-samplingは,より効率が高く,性能も向上したニューラルアーキテクチャ検索につながる。 nasbench-101データセットでは、dnaはベースラインメソッドの計算コストが1/13未満で94.21%の最先端性能を達成している。 imagenetデータセットでは、dnasは22.7%のテストエラーを達成する競合アーキテクチャを発見する。 我々の手法は ニューラル・アーキテクチャー・サーチを理解する 新たな視点を提供する

Neural architecture search has shown its great potential in various areas recently. However, existing methods rely heavily on a black-box controller to search architectures, which suffers from the serious problem of lacking interpretability. In this paper, we propose disentangled neural architecture search (DNAS) which disentangles the hidden representation of the controller into semantically meaningful concepts, making the neural architecture search process interpretable. Based on systematical study, we discover the correlation between network architecture and its performance, and propose a dense-sampling strategy to conduct a targeted search in promising regions that may generate well-performing architectures. We show that: 1) DNAS successfully disentangles the architecture representations, including operation selection, skip connections, and number of layers. 2) Benefiting from interpretability, DNAS can find excellent architectures under different FLOPS restrictions flexibly. 3) Dense-sampling leads to neural architecture search with higher efficiency and better performance. On the NASBench-101 dataset, DNAS achieves state-of-the-art performance of 94.21% using less than 1/13 computational cost of baseline methods. On ImageNet dataset, DNAS discovers the competitive architectures that achieves 22.7% test error. our method provides a new perspective of understanding neural architecture search.
翻訳日:2022-10-15 03:56:24 公開日:2020-09-24
# EPNE:進化的パターン保存ネットワーク埋め込み

EPNE: Evolutionary Pattern Preserving Network Embedding ( http://arxiv.org/abs/2009.11510v1 )

ライセンス: Link先を確認
Junshan Wang, Yilun Jin, Guojie Song, Xiaojun Ma(参考訳) 情報ネットワークはユビキタスであり、関係データのモデリングに最適である。 ネットワークはばらばらで不規則で、ネットワーク埋め込みアルゴリズムは多くの研究者の注目を集め、静的ネットワークに多数の埋め込みアルゴリズムを考案した。 しかし実生活では、ネットワークは常に時間とともに進化します。 したがって、進化的パターン、すなわちノードが時間とともにどのように発展していくかは、組み込みネットワークにおける静的構造に対する強力な補完となる。 本稿では,ノードの局所構造の進化パターンを保存する時空間ネットワーク埋め込みモデルEPNEを提案する。 特に,因果畳み込みに基づいて,周期性の有無に関わらず進化パターンを分析し,そのパターンを時間周波数領域でモデル化する設計戦略を検討する。 また,時間的情報と構造的情報の両方を保存できるように,近接関数と同時に最適化した時間的目的関数を提案する。 時間的情報の適切なモデル化により,様々な予測タスクにおいて,他の競合手法を上回ることができる。

Information networks are ubiquitous and are ideal for modeling relational data. Networks being sparse and irregular, network embedding algorithms have caught the attention of many researchers, who came up with numerous embeddings algorithms in static networks. Yet in real life, networks constantly evolve over time. Hence, evolutionary patterns, namely how nodes develop itself over time, would serve as a powerful complement to static structures in embedding networks, on which relatively few works focus. In this paper, we propose EPNE, a temporal network embedding model preserving evolutionary patterns of the local structure of nodes. In particular, we analyze evolutionary patterns with and without periodicity and design strategies correspondingly to model such patterns in time-frequency domains based on causal convolutions. In addition, we propose a temporal objective function which is optimized simultaneously with proximity ones such that both temporal and structural information are preserved. With the adequate modeling of temporal information, our model is able to outperform other competitive methods in various prediction tasks.
翻訳日:2022-10-15 03:56:04 公開日:2020-09-24
# BiteNet:医療成果を予測する双方向テンポラルエンコーダネットワーク

BiteNet: Bidirectional Temporal Encoder Network to Predict Medical Outcomes ( http://arxiv.org/abs/2009.13252v1 )

ライセンス: Link先を確認
Xueping Peng, Guodong Long, Tao Shen, Sen Wang, Jing Jiang, Chengqi Zhang(参考訳) EHR(Electronic Health Record)は、患者の医療システムとの相互作用の経時的記録である。 患者のEHRデータは、トップからボトムまでの3段階の階層として構成されている: 患者旅行 - ある期間にわたる診断と治療の経験、個人訪問 - 特定の訪問の医療コード、医療コード - 医療コード - 医療コード - の形での特定の記録。 EHRが何百万もの人的資源を蓄積し始めるにつれ、医療研究や医療結果の予測のためにこれらのデータが持つ潜在的な利益は、例えば病院への将来の入院の予測、病気の診断、医療効果の判断など、停滞している。 これらの分析タスクはそれぞれ、階層的な患者の旅路をベクトル表現に変換するためのドメイン知識抽出法を必要とする。 これらの表現は、ダウンストリームの予測タスクに不可欠な特定のタイムスタンプで、一連の訪問と一連の医療コードを埋め込む必要がある。 したがって、表現力に富んだ表現は、学習性能を高めるために魅力的である。 そこで本研究では,患者の医療旅行におけるコンテキスト依存性と時間的関係を捉える自己注意機構を提案する。 エンドツーエンドの双方向時間エンコーダネットワーク(bitenet)は、提案する注意機構のみに基づいて、患者の旅の表現を学習する。 実世界のEHRデータセットを用いた2つの教師付き予測と2つの教師なしクラスタリングタスクにおける手法の有効性を評価した。 その結果,提案手法は最先端のベースライン法よりも高品質な表現を生成することがわかった。

Electronic health records (EHRs) are longitudinal records of a patient's interactions with healthcare systems. A patient's EHR data is organized as a three-level hierarchy from top to bottom: patient journey - all the experiences of diagnoses and treatments over a period of time; individual visit - a set of medical codes in a particular visit; and medical code - a specific record in the form of medical codes. As EHRs begin to amass in millions, the potential benefits, which these data might hold for medical research and medical outcome prediction, are staggering - including, for example, predicting future admissions to hospitals, diagnosing illnesses or determining the efficacy of medical treatments. Each of these analytics tasks requires a domain knowledge extraction method to transform the hierarchical patient journey into a vector representation for further prediction procedure. The representations should embed a sequence of visits and a set of medical codes with a specific timestamp, which are crucial to any downstream prediction tasks. Hence, expressively powerful representations are appealing to boost learning performance. To this end, we propose a novel self-attention mechanism that captures the contextual dependency and temporal relationships within a patient's healthcare journey. An end-to-end bidirectional temporal encoder network (BiteNet) then learns representations of the patient's journeys, based solely on the proposed attention mechanism. We have evaluated the effectiveness of our methods on two supervised prediction and two unsupervised clustering tasks with a real-world EHR dataset. The empirical results demonstrate the proposed BiteNet model produces higher-quality representations than state-of-the-art baseline methods.
翻訳日:2022-10-15 03:55:48 公開日:2020-09-24
# テキストベースゲームにおけるコンテキスト関連観察処理を用いたブートストラップ型Q-ラーニング

Bootstrapped Q-learning with Context Relevant Observation Pruning to Generalize in Text-based Games ( http://arxiv.org/abs/2009.11896v1 )

ライセンス: Link先を確認
Subhajit Chaudhury, Daiki Kimura, Kartik Talamadupula, Michiaki Tatsubori, Asim Munawar and Ryuki Tachibana(参考訳) テキストベースゲーム(TBG)を解くための強化学習(Reinforcement Learning, RL)手法は、特に小さなデータ構造において、目に見えないゲームに一般化できないことが多い。 この問題に対処するために,監視文におけるトークンの無関係除去のための文脈関連エピソディック状態切断 (crest) を提案する。 本手法は,まずq-learningを用いてベースモデルをトレーニングする。 ベースモデルのアクショントークン分布は、無関係なトークンを除去する観察プルーニングを実行するために使用される。 次に、第2のブートストラップモデルが、刈り取られた観察テキストで再訓練される。 ブートストラップエージェントは,未発見のテキストワールドゲームに対する一般化が改善され,前回より10倍から20倍少ないトレーニングゲームが得られた。

We show that Reinforcement Learning (RL) methods for solving Text-Based Games (TBGs) often fail to generalize on unseen games, especially in small data regimes. To address this issue, we propose Context Relevant Episodic State Truncation (CREST) for irrelevant token removal in observation text for improved generalization. Our method first trains a base model using Q-learning, which typically overfits the training games. The base model's action token distribution is used to perform observation pruning that removes irrelevant tokens. A second bootstrapped model is then retrained on the pruned observation text. Our bootstrapped agent shows improved generalization in solving unseen TextWorld games, using 10x-20x fewer training games compared to previous state-of-the-art methods despite requiring less number of training episodes.
翻訳日:2022-10-15 03:55:20 公開日:2020-09-24
# ジェンダー・レイス集団におけるジェンダー分類アルゴリズムの妥当性の理解

Understanding Fairness of Gender Classification Algorithms Across Gender-Race Groups ( http://arxiv.org/abs/2009.11491v1 )

ライセンス: Link先を確認
Anoop Krishnan, Ali Almadan, Ajita Rattani(参考訳) 自動性別分類は、人口統計調査、法執行、オンライン広告、人間とコンピュータの相互作用など、多くの分野において重要な応用がある。 最近の研究では、性別や人種によってこの技術の公平性に疑問が呈されている。 特に、研究の大多数は、アフリカ系アメリカ人や女性のような浅黒い肌の人々の顔に基づく性別分類システムのエラー率が高いという懸念を提起した。 しかし、現存する研究の大半はアフリカ系アメリカ人と白人のみに限られていた。 本研究の目的は,性別・人種間の性別分類アルゴリズムの差分性能を検討することである。 この目的のために、我々は影響を調査する。 (a)ディープラーニングアルゴリズムのアーキテクチャ的差異と b) トレーニングは、性別と人種間で異なるパフォーマンスを引き起こすバイアスの潜在的源として、不均衡を設定した。 大規模な公開可能な2つの顔属性データセット、すなわちUTKFaceとFairFaceに関する実験的調査が行われている。 実験結果から, 構造的差異のあるアルゴリズムは, 特定の性別分類群に対する一貫性とともに, 性能に差があることが示唆された。 例えば、すべてのアルゴリズムにおいて、黒人女性(一般に黒人人種)は、常に最も精度の低い割合を得た。 中東の男性とラテン系の女性は、ほとんどの場合より高い精度で取得した。 トレーニングセットの不均衡は、すべての性別と人種間の不平等な精度のギャップをさらに広げます。 顔のランドマークを用いたさらなる研究は、遺伝的および環境的要因の影響による顔面形態の違いが、一般的に黒人女性と黒人の成績の低下の原因であることが示唆された。

Automated gender classification has important applications in many domains, such as demographic research, law enforcement, online advertising, as well as human-computer interaction. Recent research has questioned the fairness of this technology across gender and race. Specifically, the majority of the studies raised the concern of higher error rates of the face-based gender classification system for darker-skinned people like African-American and for women. However, to date, the majority of existing studies were limited to African-American and Caucasian only. The aim of this paper is to investigate the differential performance of the gender classification algorithms across gender-race groups. To this aim, we investigate the impact of (a) architectural differences in the deep learning algorithms and (b) training set imbalance, as a potential source of bias causing differential performance across gender and race. Experimental investigations are conducted on two latest large-scale publicly available facial attribute datasets, namely, UTKFace and FairFace. The experimental results suggested that the algorithms with architectural differences varied in performance with consistency towards specific gender-race groups. For instance, for all the algorithms used, Black females (Black race in general) always obtained the least accuracy rates. Middle Eastern males and Latino females obtained higher accuracy rates most of the time. Training set imbalance further widens the gap in the unequal accuracy rates across all gender-race groups. Further investigations using facial landmarks suggested that facial morphological differences due to the bone structure influenced by genetic and environmental factors could be the cause of the least performance of Black females and Black race, in general.
翻訳日:2022-10-15 03:54:31 公開日:2020-09-24