このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス(CC 0, CC BY, CC BY-SA)の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。(arxivのメタデータは CC 0です。) 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。

本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。

公開日が20211225となっている論文です。

PDF登録状況(公開日: 20211225)

TitleAuthorsAbstract論文公表日・翻訳日
# (参考訳) 説明可能なシグネチャに基づく機械学習による太陽光発電システムにおける故障の同定 [全文訳有]

Explainable Signature-based Machine Learning Approach for Identification of Faults in Grid-Connected Photovoltaic Systems ( http://arxiv.org/abs/2112.14842v1 )

ライセンス: CC BY 4.0
Syed Wali and Irfan Khan(参考訳) 再生可能エネルギー資源,特に電力網に接続された太陽光発電(PV)システムの大量浸透レベルを持つスマートグリッドへの従来の電力網の転換により,効率的な故障同定システムの必要性が高まっている。 グリッド接続型PVシステムの単一コンポーネントの故障は、グリッド不安定やその他の深刻な結果を引き起こす可能性があり、信頼性の高い障害識別システムが、運用上の整合性を確保するための最大の要件であることを示している。 そこで本稿では,PV運転状態の統計的シグネチャに基づく新しい故障同定手法を提案する。 これらのシグネチャは、それぞれの断層が電気システムに異なる性質と独特な影響を持っているため、ユニークなものである。 その結果, 抽出されたシグネチャに基づいて学習したランダム森林分類器は, あらゆる種類の断層を100%精度良く同定できた。 さらに、提案フレームワークと他の機械学習分類器のパフォーマンス比較では、その信頼性が示されている。 さらに、予測結果に対するユーザの信頼を高めるために、トレーニング段階でshap(shapley additive description)を利用して、完全なモデル応答(グローバル説明)を抽出した。 この抽出されたグローバルな説明は,特徴量の観点から各予測を復号することで,予測結果の信頼性を評価するのに役立つ。 したがって、提案された説明可能なシグネチャベースのフォールト識別技術は信頼性が高く、スマートグリッドの要件をすべて満たしている。

The transformation of conventional power networks into smart grids with the heavy penetration level of renewable energy resources, particularly grid-connected Photovoltaic (PV) systems, has increased the need for efficient fault identification systems. Malfunctioning any single component in grid-connected PV systems may lead to grid instability and other serious consequences, showing that a reliable fault identification system is the utmost requirement for ensuring operational integrity. Therefore, this paper presents a novel fault identification approach based on statistical signatures of PV operational states. These signatures are unique because each fault has a different nature and distinctive impact on the electrical system. Thus, the Random Forest Classifier trained on these extracted signatures showed 100% accuracy in identifying all types of faults. Furthermore, the performance comparison of the proposed framework with other Machine Learning classifiers depicts its credibility. Moreover, to elevate user trust in the predicted outcomes, SHAP (Shapley Additive Explanation) was utilized during the training phase to extract a complete model response (global explanation). This extracted global explanation can help in the assessment of predicted outcomes credibility by decoding each prediction in terms of features contribution. Hence, the proposed explainable signature-based fault identification technique is highly credible and fulfills all the requirements of smart grids.
翻訳日:2022-01-09 15:20:45 公開日:2021-12-25
# (参考訳) 多次元アラビア音声認識 [全文訳有]

Multi-Dialect Arabic Speech Recognition ( http://arxiv.org/abs/2112.14678v1 )

ライセンス: CC BY 4.0
Abbas Raza Ali(参考訳) 本稿では,アラビア語用マルチダイアレクト自動音声認識の設計と開発について述べる。 ディープニューラルネットワークは、特にシステムのエンドツーエンドのトレーニングを採用することで、シーケンシャルなデータ問題を解決する効果的なツールになりつつある。 アラビア語の音声認識は、複数の方言が存在すること、大きなコーパスが利用できないこと、発声が欠けていることなど、複雑なタスクである。 したがって、この研究の最初の貢献は、完全なまたは少なくとも部分的に発声された転写を持つ大きな多方言コーパスの開発である。 さらに、オープンソースコーパスは、共通文字セットを定義することによって正規化される非標準アラビア語のアルファベットを転写にもたらす複数のソースから集められている。 第2の貢献は、最先端のパフォーマンスを実現する音響モデルをトレーニングするためのフレームワークの開発である。 ネットワークアーキテクチャは畳み込み層と再帰層の組み合わせで構成されている。 音声データのスペクトログラム特徴を周波数対時間領域で抽出し、ネットワークに供給する。 繰り返しモデルによって生成された出力フレームはさらに訓練され、オーディオ特徴と対応する転写シーケンスを整列する。 このシーケンスアライメントは、テトラグラム言語モデルを持つビームサーチデコーダを用いて行われる。 提案方式は14%の誤差率を達成し,従来のシステムより優れていた。

This paper presents the design and development of multi-dialect automatic speech recognition for Arabic. Deep neural networks are becoming an effective tool to solve sequential data problems, particularly, adopting an end-to-end training of the system. Arabic speech recognition is a complex task because of the existence of multiple dialects, non-availability of large corpora, and missing vocalization. Thus, the first contribution of this work is the development of a large multi-dialectal corpus with either full or at least partially vocalized transcription. Additionally, the open-source corpus has been gathered from multiple sources that bring non-standard Arabic alphabets in transcription which are normalized by defining a common character-set. The second contribution is the development of a framework to train an acoustic model achieving state-of-the-art performance. The network architecture comprises of a combination of convolutional and recurrent layers. The spectrogram features of the audio data are extracted in the frequency vs time domain and fed in the network. The output frames, produced by the recurrent model, are further trained to align the audio features with its corresponding transcription sequences. The sequence alignment is performed using a beam search decoder with a tetra-gram language model. The proposed system achieved a 14% error rate which outperforms previous systems.
翻訳日:2021-12-31 09:14:29 公開日:2021-12-25
# (参考訳) セマンティッククラスタリングに基づく画像認識と分類のための推論学習 [全文訳有]

Semantic Clustering based Deduction Learning for Image Recognition and Classification ( http://arxiv.org/abs/2112.13165v1 )

ライセンス: CC BY 4.0
Wenchi Ma, Xuemin Tu, Bo Luo, Guanghui Wang(参考訳) 本稿では,人間の脳の学習・思考過程を模倣した意味クラスタリングに基づく推論学習を提案する。 人間は経験と認知に基づいて判断を行うことができ、その結果、未知の動物を車として認識することはできない。 本研究は,動物に属する猫や自動車に関連する車などの分類属性から意味的推論と要約の能力を用いて,モデルの学習を指導する,クラスタリングを用いたディープラーニングモデルを訓練することを提案する。 特に、画像が猫としてラベル付けされた場合、モデルは「この画像は動物の異常値である無作為なクラスではない」ことを学ぶように訓練される。 提案手法はセマンティック空間における高レベルクラスタリングを実現し,学習過程における様々なクラス間の関係をモデル化する。 さらに,クラスタリングのスムーズな分布と分類器のロバスト性を保証するために,逆ラベルに対する意味的先行的ランダム探索を導入する。 提案手法は広範な実験を通じて理論的,実証的に支持される。 一般的なベンチマークでは,最先端の分類器間での性能を比較し,データセットにノイズラベリングを加えることで一般化能力を検証する。 実験の結果,提案手法の優位性を示した。

The paper proposes a semantic clustering based deduction learning by mimicking the learning and thinking process of human brains. Human beings can make judgments based on experience and cognition, and as a result, no one would recognize an unknown animal as a car. Inspired by this observation, we propose to train deep learning models using the clustering prior that can guide the models to learn with the ability of semantic deducing and summarizing from classification attributes, such as a cat belonging to animals while a car pertaining to vehicles. %Specifically, if an image is labeled as a cat, then the model is trained to learn that "this image is totally not any random class that is the outlier of animal". The proposed approach realizes the high-level clustering in the semantic space, enabling the model to deduce the relations among various classes during the learning process. In addition, the paper introduces a semantic prior based random search for the opposite labels to ensure the smooth distribution of the clustering and the robustness of the classifiers. The proposed approach is supported theoretically and empirically through extensive experiments. We compare the performance across state-of-the-art classifiers on popular benchmarks, and the generalization ability is verified by adding noisy labeling to the datasets. Experimental results demonstrate the superiority of the proposed approach.
翻訳日:2021-12-29 09:53:51 公開日:2021-12-25
# (参考訳) チェビシェフグラフ畳み込みネットワークを用いた大規模スマートグリッドのサイバー攻撃検出 [全文訳有]

Cyberattack Detection in Large-Scale Smart Grids using Chebyshev Graph Convolutional Networks ( http://arxiv.org/abs/2112.13166v1 )

ライセンス: CC BY 4.0
Osman Boyaci, Mohammad Rasoul Narimani, Katherine Davis, and Erchin Serpedin(参考訳) 高度に複雑で統合されたサイバー物理システムとして、現代の電力網はサイバー攻撃にさらされている。 偽データインジェクション攻撃(False Data Injection attack, FDIA)は、測定データの整合性をターゲットとして、スマートグリッドに対するサイバー脅威の主要なクラスである。 これらのサイバー攻撃を検出するために様々な解決策が提案されているが、ほとんどの作業は電力グリッド測定の固有のグラフ構造を無視し、数百台未満の小さなテストシステムでのみ検出器を検証する。 本稿では,スマートグリッド計測の空間相関をよりよく活用するために,チェビシェフグラフ畳み込みネットワーク(cgcn)を用いた大規模交流電力グリッドにおけるサイバー攻撃検出のための深層学習モデルを提案する。 スペクトルグラフフィルタの複雑さを低減し、局所化させることで、CGCNはグラフ構造的スマートグリッドデータをモデル化するための高速で効率的な畳み込み演算を提供する。 提案手法は,2848系統の大規模送電網において,検出率7.86,誤警報率9.67で最先端モデルを上回ることを数値的に検証した。 提案手法は,2848バスシステムにおいて4ミリ秒未満のサイバー攻撃を検出することで,大規模システムにおけるサイバー攻撃のリアルタイム検出に適した候補となる。

As a highly complex and integrated cyber-physical system, modern power grids are exposed to cyberattacks. False data injection attacks (FDIAs), specifically, represent a major class of cyber threats to smart grids by targeting the measurement data's integrity. Although various solutions have been proposed to detect those cyberattacks, the vast majority of the works have ignored the inherent graph structure of the power grid measurements and validated their detectors only for small test systems with less than a few hundred buses. To better exploit the spatial correlations of smart grid measurements, this paper proposes a deep learning model for cyberattack detection in large-scale AC power grids using Chebyshev Graph Convolutional Networks (CGCN). By reducing the complexity of spectral graph filters and making them localized, CGCN provides a fast and efficient convolution operation to model the graph structural smart grid data. We numerically verify that the proposed CGCN based detector surpasses the state-of-the-art model by 7.86 in detection rate and 9.67 in false alarm rate for a large-scale power grid with 2848 buses. It is notable that the proposed approach detects cyberattacks under 4 milliseconds for a 2848-bus system, which makes it a good candidate for real-time detection of cyberattacks in large systems.
翻訳日:2021-12-29 09:42:26 公開日:2021-12-25
# (参考訳) 勾配漏洩攻撃弾力性深層学習 [全文訳有]

Gradient Leakage Attack Resilient Deep Learning ( http://arxiv.org/abs/2112.13178v1 )

ライセンス: CC BY 4.0
Wenqi Wei and Ling Liu(参考訳) グラディエント・リーク攻撃は、モデルトレーニングの質を損なうことなく反復的なトレーニング中に秘密裏に勾配の更新をスパイし、高い攻撃成功率のリーク勾配を用いて機密性の高いトレーニングデータを秘密裏に再構築するため、ディープラーニングにおける最も悪質なプライバシー脅威の1つと考えられている。 差分プライバシーを持つディープラーニングは、差分プライバシー保証を持つディープラーニングモデルを公開するためのデファクトスタンダードであるが、固定プライバシーパラメータを持つ差分プライベートアルゴリズムは、勾配リーク攻撃に対して脆弱であることを示す。 本稿では,ディファレンシャルプライバシ(dp)を用いた勾配漏洩弾性深層学習の代替手法について検討する。 まず,固定ノイズ分散を用いて,固定プライバシパラメータを用いて,すべてのレイヤの勾配に一定のノイズを注入する差分プライバシを用いた,既存のディープラーニングの実装を分析する。 DP保証が提供されたにもかかわらず、この手法は低い精度に悩まされ、勾配リーク攻撃に弱い。 第2に、動的プライバシーパラメータを用いて、差分プライバシー保証を伴う勾配リーク耐性深層学習手法を提案する。 一定のノイズ分散をもたらす固定パラメータ戦略とは異なり、異なる動的パラメータ戦略は、微分プライベートモデルトレーニング中に勾配更新の傾向に密接に一致する適応ノイズ分散と適応ノイズ注入を導入する代替手法を提案する。 最後に,代替手法を評価するための4つの補完的指標について述べる。

Gradient leakage attacks are considered one of the wickedest privacy threats in deep learning as attackers covertly spy gradient updates during iterative training without compromising model training quality, and yet secretly reconstruct sensitive training data using leaked gradients with high attack success rate. Although deep learning with differential privacy is a defacto standard for publishing deep learning models with differential privacy guarantee, we show that differentially private algorithms with fixed privacy parameters are vulnerable against gradient leakage attacks. This paper investigates alternative approaches to gradient leakage resilient deep learning with differential privacy (DP). First, we analyze existing implementation of deep learning with differential privacy, which use fixed noise variance to injects constant noise to the gradients in all layers using fixed privacy parameters. Despite the DP guarantee provided, the method suffers from low accuracy and is vulnerable to gradient leakage attacks. Second, we present a gradient leakage resilient deep learning approach with differential privacy guarantee by using dynamic privacy parameters. Unlike fixed-parameter strategies that result in constant noise variance, different dynamic parameter strategies present alternative techniques to introduce adaptive noise variance and adaptive noise injection which are closely aligned to the trend of gradient updates during differentially private model training. Finally, we describe four complementary metrics to evaluate and compare alternative approaches.
翻訳日:2021-12-29 09:30:21 公開日:2021-12-25
# (参考訳) ニューラルセマンティックパーシングにおける依存性ツリーの爆発的改善 [全文訳有]

Combining Improvements for Exploiting Dependency Trees in Neural Semantic Parsing ( http://arxiv.org/abs/2112.13179v1 )

ライセンス: CC BY 4.0
Defeng Xie and Jianmin Ji and Jiafei Xu and Ran Ji(参考訳) 自然言語文の依存木は意味論と単語の相互作用を捉えることができる。 しかし,このような依存情報を利用して意味解析を行う手法が組み合わさって,それらの手法のさらなる改良と関係性を実現することができるかどうかは不明である。 本稿では,トランスフォーマーに基づくセマンティックパーサにそのような依存情報を組み込む3つの手法について検討し,それらの組み合わせを実証的に研究する。 まず,エンコーダの標準自己注意ヘッドを,各トークンの依存性親への参加が可能な親スケール自己注意ヘッド(PASCAL)に置き換える。 次に、構文認識型単語表現(SAWR)、すなわち、ニューラル依存パーサの中間的隠蔽表現を通常の単語埋め込みと結合してエンコーダを強化する。 その後、エンコーダに構成的注意 (CA) モジュールを挿入し、入力文の固有の依存構造をよりよく把握できる追加的な制約をアテンションヘッドに追加する。 モデル集約にはトランスダクティブアンサンブル学習(tel)を用い,各手法の寄与を示すためにアブレーション研究を行った。 実験の結果,CAはPASCALやSAWRと相補的であり,PASCAL+CAはATIS,GEO,JOBSに対する神経アプローチの最先端性能を提供することがわかった。

The dependency tree of a natural language sentence can capture the interactions between semantics and words. However, it is unclear whether those methods which exploit such dependency information for semantic parsing can be combined to achieve further improvement and the relationship of those methods when they combine. In this paper, we examine three methods to incorporate such dependency information in a Transformer based semantic parser and empirically study their combinations. We first replace standard self-attention heads in the encoder with parent-scaled self-attention (PASCAL) heads, i.e., the ones that can attend to the dependency parent of each token. Then we concatenate syntax-aware word representations (SAWRs), i.e., the intermediate hidden representations of a neural dependency parser, with ordinary word embedding to enhance the encoder. Later, we insert the constituent attention (CA) module to the encoder, which adds an extra constraint to attention heads that can better capture the inherent dependency structure of input sentences. Transductive ensemble learning (TEL) is used for model aggregation, and an ablation study is conducted to show the contribution of each method. Our experiments show that CA is complementary to PASCAL or SAWRs, and PASCAL + CA provides state-of-the-art performance among neural approaches on ATIS, GEO, and JOBS.
翻訳日:2021-12-29 08:59:10 公開日:2021-12-25
# (参考訳) クレジットスコアリングのための異常検出法と平衡サンプリング法を組み合わせた機械学習モデルの比較研究 [全文訳有]

A comparative study on machine learning models combining with outlier detection and balanced sampling methods for credit scoring ( http://arxiv.org/abs/2112.13196v1 )

ライセンス: CC BY 4.0
Hongyi Qian, Shen Zhang, Baohui Wang, Lei Peng, Songfeng Gao, You Song(参考訳) ピアツーピア(P2P)貸付プラットフォームは,ネットワークインフラの改善と個人貸付需要の増加に伴い,過去10年間で急速に成長している。 このようなプラットフォームにより、ユーザーは従来の金融機関の助けなしにピアツーピアの融資関係を作成できる。 借り手のクレジットを評価することは、デフォルトレートを下げ、p2pプラットフォームの良質な開発に不可欠である。 個人クレジットスコアリング機械学習モデルの構築は、ユーザがP2Pプラットフォームでローンを返済するかどうかを効果的に予測することができる。 そして、データ異常値の処理とサンプル不均衡問題は、機械学習モデルの最終効果に影響を与える可能性がある。 バランスドサンプリング法に関する研究がいくつかあるが、異常検出法とバランスドサンプリング法の組み合わせが機械学習モデルの有効性に与える影響は十分に研究されていない。 本稿では,汎用機械学習モデルにおける異常検出法と平衡サンプリング法の違いが与える影響について検討した。 44,487のLending Clubサンプルを用いた実験では、適切なアウトラヤ検出が機械学習モデルの有効性を向上させることが示され、バランスの取れたサンプリング手法はMLPのような機械学習モデルにのみ良い効果がある。

Peer-to-peer (P2P) lending platforms have grown rapidly over the past decade as the network infrastructure has improved and the demand for personal lending has grown. Such platforms allow users to create peer-to-peer lending relationships without the help of traditional financial institutions. Assessing the borrowers' credit is crucial to reduce the default rate and benign development of P2P platforms. Building a personal credit scoring machine learning model can effectively predict whether users will repay loans on the P2P platform. And the handling of data outliers and sample imbalance problems can affect the final effect of machine learning models. There have been some studies on balanced sampling methods, but the effect of outlier detection methods and their combination with balanced sampling methods on the effectiveness of machine learning models has not been fully studied. In this paper, the influence of using different outlier detection methods and balanced sampling methods on commonly used machine learning models is investigated. Experiments on 44,487 Lending Club samples show that proper outlier detection can improve the effectiveness of the machine learning model, and the balanced sampling method only has a good effect on a few machine learning models, such as MLP.
翻訳日:2021-12-29 08:46:59 公開日:2021-12-25
# (参考訳) 共同コミュニティ検出と直交群同期のためのスペクトル法

A Spectral Method for Joint Community Detection and Orthogonal Group Synchronization ( http://arxiv.org/abs/2112.13199v1 )

ライセンス: CC BY 4.0
Yifeng Fan, Yuehaw Khoo, and Zhizhen Zhao(参考訳) コミュニティ検出と直交群同期はどちらも科学と工学における様々な重要な応用の基本的な問題である。 本研究では,コミュニティを回復し,同時に同期することを目的とした,コミュニティ検出と直交グループ同期の連立問題を考察する。 この目的のために、スペクトル分解ステップとブロックワイドカラムピボットQR因子分解(CPQR)からなる単純なアルゴリズムを提案する。 提案アルゴリズムは効率的で,データ点数に応じて線形にスケールする。 また,最近開発された「リーブ・ワン・アウト」手法を利用して,クラスターメンバシップの完全回復と直交変換の安定回復の至近保証を確立する。 数値実験により,本アルゴリズムの効率と有効性を示し,その理論的特徴を検証した。

Community detection and orthogonal group synchronization are both fundamental problems with a variety of important applications in science and engineering. In this work, we consider the joint problem of community detection and orthogonal group synchronization which aims to recover the communities and perform synchronization simultaneously. To this end, we propose a simple algorithm that consists of a spectral decomposition step followed by a blockwise column pivoted QR factorization (CPQR). The proposed algorithm is efficient and scales linearly with the number of data points. We also leverage the recently developed `leave-one-out' technique to establish a near-optimal guarantee for exact recovery of the cluster memberships and stable recovery of the orthogonal transforms. Numerical experiments demonstrate the efficiency and efficacy of our algorithm and confirm our theoretical characterization of it.
翻訳日:2021-12-29 08:29:00 公開日:2021-12-25
# (参考訳) 財務会計データの継続的監査における教師なし異常検出の継続学習 [全文訳有]

Continual Learning for Unsupervised Anomaly Detection in Continuous Auditing of Financial Accounting Data ( http://arxiv.org/abs/2112.13215v1 )

ライセンス: CC BY 4.0
Hamed Hemati, Marco Schreyer, Damian Borth(参考訳) 国際監査基準では、財務諸表の基礎となる会計雑誌の項目を直接評価する必要がある。 人工知能の進歩によって、大量のジャーナルエントリデータを調べるためにディープラーニングにインスパイアされた監査技術が出現した。 しかし、定期的な監査では、提案手法のほとんどが、例えば財務四半期や年度の定期刊行物から学ぶために適用される。 トレーニングデータに監査関連ディストリビューションの変更が明らかでない、あるいは時間とともに段階的に利用可能になる状況の無視。 対照的に、継続的監査では、ディープラーニングモデルは、例えば前時間の記録されたジャーナルエントリのストリームで継続的に訓練される。 以前の知識が新しい情報に干渉し、完全に上書きされる状況における結果。 本研究は、両課題を克服し、ジャーナルエントリデータエクスペリエンスのストリームから学ぶように設計された連続的異常検出フレームワークを提案する。 このフレームワークは、意図的に設計された監査シナリオと2つの実世界のデータセットに基づいて評価される。 実験結果から,このような学習手法が偽陽性の警告と偽陰性判定を低減できることを示す。

International audit standards require the direct assessment of a financial statement's underlying accounting journal entries. Driven by advances in artificial intelligence, deep-learning inspired audit techniques emerged to examine vast quantities of journal entry data. However, in regular audits, most of the proposed methods are applied to learn from a comparably stationary journal entry population, e.g., of a financial quarter or year. Ignoring situations where audit relevant distribution changes are not evident in the training data or become incrementally available over time. In contrast, in continuous auditing, deep-learning models are continually trained on a stream of recorded journal entries, e.g., of the last hour. Resulting in situations where previous knowledge interferes with new information and will be entirely overwritten. This work proposes a continual anomaly detection framework to overcome both challenges and designed to learn from a stream of journal entry data experiences. The framework is evaluated based on deliberately designed audit scenarios and two real-world datasets. Our experimental results provide initial evidence that such a learning scheme offers the ability to reduce false-positive alerts and false-negative decisions.
翻訳日:2021-12-29 08:28:01 公開日:2021-12-25
# (参考訳) 不均衡マルチクラスマルウェア分類のための事前学習トランスフォーマーモデルのアンサンブル

An Ensemble of Pre-trained Transformer Models For Imbalanced Multiclass Malware Classification ( http://arxiv.org/abs/2112.13236v1 )

ライセンス: CC BY 4.0
Ferhat Demirk{\i}ran, Aykut \c{C}ay{\i}r, U\u{g}ur \"Unal, Hasan Da\u{g}(参考訳) マルウェアファミリーの分類は、デバイス、コンピュータ、システムにどのように感染するかを包括的に理解するために重要である。 これにより、セキュリティ研究者やインシデント対応者がマルウェアを予防し、緩和を加速することができる。 マルウェアによるAPI呼び出しシーケンスは、マルウェアの振る舞いを表すため、マルウェア分類のための機械学習モデルやディープラーニングモデルによって広く利用されている。 しかし、従来の機械学習とディープラーニングモデルは、api呼び出し間のシーケンス関係をキャプチャできないままである。 一方,変換器をベースとしたモデルではシーケンス全体を処理し,マルチヘッドアテンション機構と位置埋め込みによるAPI呼び出し間の関係を学習する。 実験により, 1つのトランスブロック層を有するトランスモデルが, 広く使用されているベースアーキテクチャLSTMを超越したことを示す。 さらに、評価指標、f1-score、aucスコアによって高度に不均衡なマルウェアファミリーの分類において、bertまたはcanineが事前学習したトランスフォーマーモデルよりも優れている。 さらに, bert または canine のアンサンブルであるbagging-based random transformer forest (rtf) は, 4つのデータセットのうち3つ, 特に, ベンチマークデータセットの1つで 0.6149 の最先端評価点に達した。

Classification of malware families is crucial for a comprehensive understanding of how they can infect devices, computers, or systems. Thus, malware identification enables security researchers and incident responders to take precautions against malware and accelerate mitigation. API call sequences made by malware are widely utilized features by machine and deep learning models for malware classification as these sequences represent the behavior of malware. However, traditional machine and deep learning models remain incapable of capturing sequence relationships between API calls. On the other hand, the transformer-based models process sequences as a whole and learn relationships between API calls due to multi-head attention mechanisms and positional embeddings. Our experiments demonstrate that the transformer model with one transformer block layer surpassed the widely used base architecture, LSTM. Moreover, BERT or CANINE, pre-trained transformer models, outperformed in classifying highly imbalanced malware families according to evaluation metrics, F1-score, and AUC score. Furthermore, the proposed bagging-based random transformer forest (RTF), an ensemble of BERT or CANINE, has reached the state-of-the-art evaluation scores on three out of four datasets, particularly state-of-the-art F1-score of 0.6149 on one of the commonly used benchmark dataset.
翻訳日:2021-12-29 08:12:14 公開日:2021-12-25
# (参考訳) cabace: acronym と long-form 抽出のための文字配列情報とドメイン知識の注入 [全文訳有]

CABACE: Injecting Character Sequence Information and Domain Knowledge for Enhanced Acronym and Long-Form Extraction ( http://arxiv.org/abs/2112.13237v1 )

ライセンス: CC BY 4.0
Nithish Kannen, Divyanshu Sheth, Abhranil Chandra, Shubhraneel Pal(参考訳) 頭字語や長い形は研究文書によく見られるが、科学的・法的領域の文書にも見られる。 このような文書で使われる多くの頭字語はドメイン固有であり、通常のテキストコーパスにはほとんど見つからない。 このため、トランスフォーマーベースのNLPモデルは、特に非英語言語において、頭字語トークンのOOV(Out of Vocabulary)をしばしば検出し、そのパフォーマンスは抽出中に頭字語を長い形にリンクする。 さらに、bertのような事前訓練されたトランスフォーマーモデルは、科学的および法的文書を扱う専門的ではない。 本研究の背景にあるモチベーションは,テキスト中の文字配列を考慮に入れ,マスク付き言語モデリングにより科学的・法的領域に適応する新しいフレームワーク CABACE: Character-Aware BERT for ACronym extract を提案する。 さらに, CABACEのトレーニングにおいて, 最大損失とマスク損失項を標準的なクロスエントロピー損失に追加し, 目標を拡張損失関数で用いる。 さらに,擬似ラベリングと逆データ生成を利用して,フレームワークの汎用性を向上させる。 実験結果から,提案フレームワークの各種ベースラインに対する優位性が確認された。 さらに,提案手法は,非英語言語へのゼロショット一般化のためのベースラインモデルよりも適していることを示す。 当社のチームであるBacKGPropは、フランス語データセットの最高スコア、デンマーク語とベトナム語で2位、そしてSDU AAAI-22で共有された頭字語抽出(AE)タスクのグローバルリーダーボードで3位だった。

Acronyms and long-forms are commonly found in research documents, more so in documents from scientific and legal domains. Many acronyms used in such documents are domain-specific and are very rarely found in normal text corpora. Owing to this, transformer-based NLP models often detect OOV (Out of Vocabulary) for acronym tokens, especially for non-English languages, and their performance suffers while linking acronyms to their long forms during extraction. Moreover, pretrained transformer models like BERT are not specialized to handle scientific and legal documents. With these points being the overarching motivation behind this work, we propose a novel framework CABACE: Character-Aware BERT for ACronym Extraction, which takes into account character sequences in text and is adapted to scientific and legal domains by masked language modelling. We further use an objective with an augmented loss function, adding the max loss and mask loss terms to the standard cross-entropy loss for training CABACE. We further leverage pseudo labelling and adversarial data generation to improve the generalizability of the framework. Experimental results prove the superiority of the proposed framework in comparison to various baselines. Additionally, we show that the proposed framework is better suited than baseline models for zero-shot generalization to non-English languages, thus reinforcing the effectiveness of our approach. Our team BacKGProp secured the highest scores on the French dataset, second-highest on Danish and Vietnamese, and third-highest in the English-Legal dataset on the global leaderboard for the acronym extraction (AE) shared task at SDU AAAI-22.
翻訳日:2021-12-29 08:11:10 公開日:2021-12-25
# (参考訳) ニューロン表現・意味論・浅層解析に基づく文学的韻律生成に関する予備的研究 [全文訳有]

A Preliminary Study for Literary Rhyme Generation based on Neuronal Representation, Semantics and Shallow Parsing ( http://arxiv.org/abs/2112.13241v1 )

ライセンス: CC BY 4.0
Luis-Gil Moreno-Jim\'enez, Juan-Manuel Torres-Moreno, Roseli S. Wedemann(参考訳) 近年,コンピュータ・クリエイティビティ(Computational Creativity)分野の研究者が,形式的な手順で再現するための異なるアプローチを提案する人間の創造過程を研究している。 本稿では,言語モデルとニューラルネットワークモデルの構造%(\textit{word2vec})を組み合わせた,スペイン語における文学的韻律生成モデルを提案する。 %となり, 意味的同化構造が得られた。 提案アルゴリズムが生成したテキストを手動で評価し,その有効性を推し進める。

In recent years, researchers in the area of Computational Creativity have studied the human creative process proposing different approaches to reproduce it with a formal procedure. In this paper, we introduce a model for the generation of literary rhymes in Spanish, combining structures of language and neural network models %(\textit{Word2vec}).%, into a structure for semantic assimilation. The results obtained with a manual evaluation of the texts generated by our algorithm are encouraging.
翻訳日:2021-12-29 07:59:11 公開日:2021-12-25
# (参考訳) 視覚運動錯覚の進化的生成 [全文訳有]

Evolutionary Generation of Visual Motion Illusions ( http://arxiv.org/abs/2112.13243v1 )

ライセンス: CC BY 4.0
Lana Sinapayen and Eiji Watanabe(参考訳) なぜ静止画像が動いているかのように知覚するのでしょうか? 視覚運動錯覚は、持続的な人気を享受するが、なぜ働くのかという疑問に対する明確な答えはない。 我々は,新しい視覚運動錯覚を生成する生成モデルである進化的錯覚生成器(eigen)を提案する。 固有運動の構造は、目からの生の視覚入力を知覚するのではなく、脳の予測を知覚した結果かもしれないという仮説を支持している。 本論文の科学的動機は、視覚運動の知覚が脳の予測能力の副作用であることを示すことである。 この論文の哲学的動機は、人工知能と人工生命の研究にふさわしいアウトレットとして、生物システムが失敗すると人工システムが失敗する「モチベーションされた失敗」の未解決の可能性に注意を向けることである。

Why do we sometimes perceive static images as if they were moving? Visual motion illusions enjoy a sustained popularity, yet there is no definitive answer to the question of why they work. We present a generative model, the Evolutionary Illusion GENerator (EIGen), that creates new visual motion illusions. The structure of EIGen supports the hypothesis that illusory motion might be the result of perceiving the brain's own predictions rather than perceiving raw visual input from the eyes. The scientific motivation of this paper is to demonstrate that the perception of illusory motion could be a side effect of the predictive abilities of the brain. The philosophical motivation of this paper is to call attention to the untapped potential of "motivated failures", ways for artificial systems to fail as biological systems fail, as a worthy outlet for Artificial Intelligence and Artificial Life research.
翻訳日:2021-12-29 07:50:27 公開日:2021-12-25
# (参考訳) 時間進化的不均一データに関するフェデレーション学習に向けて

Towards Federated Learning on Time-Evolving Heterogeneous Data ( http://arxiv.org/abs/2112.13246v1 )

ライセンス: CC BY 4.0
Yongxin Guo, Tao Lin, Xiaoying Tang(参考訳) Federated Learning(FL)は、エッジデバイス上でクライアントデータのローカリティを保証することによって、プライバシを保護する、新たな学習パラダイムである。 flの最適化は、学習システムの多様性と多様性のため、実際に困難である。 ヘテロジニアスデータの最適化に関する最近の研究にもかかわらず、トレーニング中のクライアントデータの変更や断続的なクライアントの参加や離脱といった現実世界のシナリオにおいて、時間発展する異種データの影響はよく研究されていない。 本研究では,FLの時間的不均一性を捉えるために,フレキシブルなフレームワークであるContinual Federated Learning (CFL)を提案する。 cflは、過去のローカルデータセットの情報を抽出し、ローカル目的関数を近似することで、以前のfl定式化で評価するのが難しい、複雑で現実的なシナリオをカバーしている。 理論的には、CFL法は時間発展シナリオにおいて \fedavg よりも早く収束率を達成でき、その利点は近似品質に依存する。 一連の実験では,数値的な解析結果が収束解析と一致し,CFL法は他のSOTA FL法よりも有意に優れていた。

Federated Learning (FL) is an emerging learning paradigm that preserves privacy by ensuring client data locality on edge devices. The optimization of FL is challenging in practice due to the diversity and heterogeneity of the learning system. Despite recent research efforts on improving the optimization of heterogeneous data, the impact of time-evolving heterogeneous data in real-world scenarios, such as changing client data or intermittent clients joining or leaving during training, has not been well studied. In this work, we propose Continual Federated Learning (CFL), a flexible framework, to capture the time-evolving heterogeneity of FL. CFL covers complex and realistic scenarios -- which are challenging to evaluate in previous FL formulations -- by extracting the information of past local datasets and approximating the local objective functions. Theoretically, we demonstrate that CFL methods achieve a faster convergence rate than \fedavg in time-evolving scenarios, with the benefit being dependent on approximation quality. In a series of experiments, we show that the numerical findings match the convergence analysis, and CFL methods significantly outperform the other SOTA FL baselines.
翻訳日:2021-12-29 07:41:29 公開日:2021-12-25
# (参考訳) 関係抽出を用いた臨床文書理解の深化 [全文訳有]

Deeper Clinical Document Understanding Using Relation Extraction ( http://arxiv.org/abs/2112.13259v1 )

ライセンス: CC BY 4.0
Hasham Ul Haq, Veysel Kocaman, David Talby(参考訳) バイオメディカル文献とデジタル臨床記録の急増はテキストマイニング技術の必要性を高めており、非構造化データの実体を識別するだけでなく意味的に関連付けることもできる。 本稿では,先行研究を3つの方法で拡張した名前付きエンティティ認識(ner)と関係抽出(re)モデルからなるテキストマイニングフレームワークを提案する。 まず,BioBERTに基づく精度最適化アーキテクチャと,FCNN(Fully Connected Neural Network)上のクラフト機能を活用した速度最適化アーキテクチャの2つを紹介する。 第2に,2012年i2b2臨床時間関係チャレンジ(f1:73.6, +1.2%, 2010年i2b2臨床関係チャレンジ(f1: 69.1, +1.2%), 2019年表現型遺伝子関係データセット(f1: 87.9, +8.5%), 2012年有害薬物事象薬物反応データセット(f1: 90.0, +6.3%), 2018年n2c2ポソロジー関連データセット(96.7, +0.6%)の2つのモデルを評価した。 第3に,生物医学的知識グラフの構築と臨床コードへのエンティティマッピングの精度向上という,このフレームワークの2つの実践的応用例を示す。 システムはSpark NLPライブラリを使用して構築されており、プロダクショングレード、ネイティブにスケーラブル、ハードウェア最適化、トレーニング可能、チューニング可能なNLPフレームワークを提供する。

The surging amount of biomedical literature & digital clinical records presents a growing need for text mining techniques that can not only identify but also semantically relate entities in unstructured data. In this paper we propose a text mining framework comprising of Named Entity Recognition (NER) and Relation Extraction (RE) models, which expands on previous work in three main ways. First, we introduce two new RE model architectures -- an accuracy-optimized one based on BioBERT and a speed-optimized one utilizing crafted features over a Fully Connected Neural Network (FCNN). Second, we evaluate both models on public benchmark datasets and obtain new state-of-the-art F1 scores on the 2012 i2b2 Clinical Temporal Relations challenge (F1 of 73.6, +1.2% over the previous SOTA), the 2010 i2b2 Clinical Relations challenge (F1 of 69.1, +1.2%), the 2019 Phenotype-Gene Relations dataset (F1 of 87.9, +8.5%), the 2012 Adverse Drug Events Drug-Reaction dataset (F1 of 90.0, +6.3%), and the 2018 n2c2 Posology Relations dataset (F1 of 96.7, +0.6%). Third, we show two practical applications of this framework -- for building a biomedical knowledge graph and for improving the accuracy of mapping entities to clinical codes. The system is built using the Spark NLP library which provides a production-grade, natively scalable, hardware-optimized, trainable & tunable NLP framework.
翻訳日:2021-12-29 07:40:09 公開日:2021-12-25
# (参考訳) cycle consistent adversarial neural network を用いた眼底画像のアーチファクト削減 [全文訳有]

Artifact Reduction in Fundus Imaging using Cycle Consistent Adversarial Neural Networks ( http://arxiv.org/abs/2112.13264v1 )

ライセンス: CC0 1.0
Sai Koushik S S, and K.G. Srinivasa(参考訳) 眼底画像は様々な眼疾患の同定に非常に有用である。 しかし、人工物の存在により、網膜の視認性は深刻な影響を受ける。 これは疾患の誤診を引き起こし、より複雑な問題を引き起こす可能性がある。 ディープラーニングは、人間の介入を伴わないデータからパターンを抽出する強力なツールであるため、画像から画像への変換問題にも適用できる。 本論文では, 底面画像に存在する人工物を自動的に修正する試みを行っている。 我々は、画像のアーティファクトを減らすために、残差ブロックからなるcycleganベースのモデルを使用する。 既存の技術と比べて大きな改善が見られる。

Fundus images are very useful in identifying various ophthalmic disorders. However, due to the presence of artifacts, the visibility of the retina is severely affected. This may result in misdiagnosis of the disorder which may lead to more complicated problems. Since deep learning is a powerful tool to extract patterns from data without much human intervention, they can be applied to image-to-image translation problems. An attempt has been made in this paper to automatically rectify such artifacts present in the images of the fundus. We use a CycleGAN based model which consists of residual blocks to reduce the artifacts in the images. Significant improvements are seen when compared to the existing techniques.
翻訳日:2021-12-29 07:31:48 公開日:2021-12-25
# (参考訳) グラフニューラルネットワークにおけるタスクとモデル非依存の逆攻撃 [全文訳有]

Task and Model Agnostic Adversarial Attack on Graph Neural Networks ( http://arxiv.org/abs/2112.13267v1 )

ライセンス: CC BY 4.0
Kartik Sharma, Samidha Verma, Sourav Medya, Sayan Ranu, Arnab Bhattacharya(参考訳) グラフニューラルネットワーク(GNN)は、様々な予測タスクにおける印象的なパフォーマンスのため、業界内で大きな採用が見られた。 しかし、パフォーマンスだけでは不十分だ。 広くデプロイされた機械学習アルゴリズムは、敵攻撃に対して堅牢でなければならない。 本研究では、GNNのこの側面を調査し、脆弱性を特定し、よりセキュアで堅牢なGNNの開発につながる可能性のあるグラフプロパティにリンクする。 具体的には、未知の下流タスクの性能に影響を与えるために、敵がテストグラフを変更するタスクおよびモデル非依存回避攻撃の問題を定式化する。 提案アルゴリズムであるGRAND(Gr$aph $A$ttack via $N$eighborhood $D$istortion)は,ノード近傍の歪みが予測性能を大幅に向上させる効果を示す。 近傍歪みはNPハード問題であるが、GRANDはグラフ同型ネットワークと深い$Q$ラーニングの組み合わせによって効果的なヒューリスティックを設計する。 実際のデータセットに関する広範囲な実験によって、grandは平均して、最先端の技術よりも50〜%効果的でありながら、100ドル以上高速であることが示された。

Graph neural networks (GNNs) have witnessed significant adoption in the industry owing to impressive performance on various predictive tasks. Performance alone, however, is not enough. Any widely deployed machine learning algorithm must be robust to adversarial attacks. In this work, we investigate this aspect for GNNs, identify vulnerabilities, and link them to graph properties that may potentially lead to the development of more secure and robust GNNs. Specifically, we formulate the problem of task and model agnostic evasion attacks where adversaries modify the test graph to affect the performance of any unknown downstream task. The proposed algorithm, GRAND ($Gr$aph $A$ttack via $N$eighborhood $D$istortion) shows that distortion of node neighborhoods is effective in drastically compromising prediction performance. Although neighborhood distortion is an NP-hard problem, GRAND designs an effective heuristic through a novel combination of Graph Isomorphism Network with deep $Q$-learning. Extensive experiments on real datasets show that, on average, GRAND is up to $50\%$ more effective than state of the art techniques, while being more than $100$ times faster.
翻訳日:2021-12-29 07:17:49 公開日:2021-12-25
# (参考訳) スプリアス定常点の存在下での過パラメータ行列分解 [全文訳有]

Over-Parametrized Matrix Factorization in the Presence of Spurious Stationary Points ( http://arxiv.org/abs/2112.13269v1 )

ライセンス: CC BY 4.0
Armin Eftekhari(参考訳) 信号処理や機械学習における補間機械の役割の台頭により、過度にパラメータ化された行列分解の計算的側面を考える。 この文脈では、最適化のランドスケープは、フルランク行列であることが証明された突発的な定常点(SSP)を含むかもしれない。 これらの SSP の存在は、過度にパラメータ化された行列分解における大域的な保証を期待することは不可能であることを意味する。 例えば、SSPで初期化されると、勾配流は永遠にそこに閉じ込められる。 にもかかわらず、これらのsspsにもかかわらず、この研究では、対応するメリット関数の勾配フローが大域的最小化に収束することを確立し、その初期化がランク不足であり、最適化問題の実現可能な集合に十分近いことを仮定する。 原始双対アルゴリズムにインスパイアされた勾配流のヒューリスティックな離散化がランダムに初期化されると成功することを数値的に観察する。 その結果,最適化問題の最適集合に近い初期化を必要とする局所的改良法とは対照的である。 より具体的には、SSPが設定したトラップは、勾配流が常にランク不足であり、近くにSSPがないためではないため、うまく回避できる。 後者は局所的改良法の場合である。 さらに、広く使われている制限等尺性は、本研究の主な成果には何の役割も果たさない。

Motivated by the emerging role of interpolating machines in signal processing and machine learning, this work considers the computational aspects of over-parametrized matrix factorization. In this context, the optimization landscape may contain spurious stationary points (SSPs), which are proved to be full-rank matrices. The presence of these SSPs means that it is impossible to hope for any global guarantees in over-parametrized matrix factorization. For example, when initialized at an SSP, the gradient flow will be trapped there forever. Nevertheless, despite these SSPs, we establish in this work that the gradient flow of the corresponding merit function converges to a global minimizer, provided that its initialization is rank-deficient and sufficiently close to the feasible set of the optimization problem. We numerically observe that a heuristic discretization of the proposed gradient flow, inspired by primal-dual algorithms, is successful when initialized randomly. Our result is in sharp contrast with the local refinement methods which require an initialization close to the optimal set of the optimization problem. More specifically, we successfully avoid the traps set by the SSPs because the gradient flow remains rank-deficient at all times, and not because there are no SSPs nearby. The latter is the case for the local refinement methods. Moreover, the widely-used restricted isometry property plays no role in our main result.
翻訳日:2021-12-29 06:51:35 公開日:2021-12-25
# (参考訳) 解釈モデル学習のための教育則抽出 [全文訳有]

Pedagogical Rule Extraction for Learning Interpretable Models ( http://arxiv.org/abs/2112.13285v1 )

ライセンス: CC BY-SA 4.0
Vadim Arzamasov, Benjamin Jochum, Klemens B\"ohm(参考訳) 機械学習モデルはユビキタスです。 いくつかの領域、例えば医学では、モデルの予測は解釈されなければならない。 決定木、分類規則、サブグループ発見は、解釈可能なルールの形で知識を示す教師付き機械学習モデルの3つの幅広いカテゴリである。 小さなデータセットから学んだこれらのモデルの精度は通常低い。 大きなデータセットを得ることは、しばしば不可能ではない。 我々は,小データからよりよいルールを学ぶためのprelimというフレームワークを提案する。 統計モデルを使用してデータを拡張し、ルールベースのモデルを学ぶ。 実験の結果,PreLIMの構成は最先端よりも優れていた。

Machine-learning models are ubiquitous. In some domains, for instance, in medicine, the models' predictions must be interpretable. Decision trees, classification rules, and subgroup discovery are three broad categories of supervised machine-learning models presenting knowledge in the form of interpretable rules. The accuracy of these models learned from small datasets is usually low. Obtaining larger datasets is often hard to impossible. We propose a framework dubbed PRELIM to learn better rules from small data. It augments data using statistical models and employs it to learn a rulebased model. In our extensive experiments, we identified PRELIM configurations that outperform state-of-the-art.
翻訳日:2021-12-29 06:12:33 公開日:2021-12-25
# (参考訳) バイナリ分類システムの精度における有病率閾値と限界 [全文訳有]

Prevalence Threshold and bounds in the Accuracy of Binary Classification Systems ( http://arxiv.org/abs/2112.13289v1 )

ライセンス: CC BY 4.0
Jacques Balayla(参考訳) 二分分類システムの精度は、分類モデルまたは計算アルゴリズムによって作られた正と負の両方の正しい予測の比率として定義される。 0(精度なし)と1(完全精度)の間の値、分類モデルの精度は、特に、分類規則やアルゴリズム、分類に用いるツールの固有特性、分類される要素の相対周波数など、いくつかの要因に依存する。 いくつかの精度指標が存在し、それぞれが異なる分類シナリオにおいて独自の利点がある。 本書では,精度曲線における最大曲率臨界点である正の精度閾値(\phi_e$)に対して,F{_{\beta}}$スコアが 1 と 1.8/1.5/1.2 for $\beta$値が 0.5/1.0/2.0,F_1$スコアが 1 と 1.5,Fowlkes-Mallows Index (FM) が 1 と $\sqrt{2} \approx 1.414$,それぞれ有界であることを示す。 同様に、$\phi_n$$>$$\phi_e$のように、負の予測値-値曲線の最も鋭い曲率のレベルである、新しい$ negative$prevalence threshold(\phi_n$)を記述します。 これらの閾値の間の領域は、$\sqrt{2}/2$と$\sqrt{2}$の間のマシューズ相関係数(MCC)の境界である。 逆に、有病率閾値以下の任意の点($\phi_e$)に対する最大可能な精度の比率は、有病率を下げて無限大になる。 応用は多いが、ここで議論されている考え方は、計算複雑性理論、人工知能、医療スクリーニングなどで用いられる。 計算時間が制限資源である場合、二項分類システムにおける有病率しきい値を達成することは、最大有病率で同等の精度を得るのに十分である。

The accuracy of binary classification systems is defined as the proportion of correct predictions - both positive and negative - made by a classification model or computational algorithm. A value between 0 (no accuracy) and 1 (perfect accuracy), the accuracy of a classification model is dependent on several factors, notably: the classification rule or algorithm used, the intrinsic characteristics of the tool used to do the classification, and the relative frequency of the elements being classified. Several accuracy metrics exist, each with its own advantages in different classification scenarios. In this manuscript, we show that relative to a perfect accuracy of 1, the positive prevalence threshold ($\phi_e$), a critical point of maximum curvature in the precision-prevalence curve, bounds the $F{_{\beta}}$ score between 1 and 1.8/1.5/1.2 for $\beta$ values of 0.5/1.0/2.0, respectively; the $F_1$ score between 1 and 1.5, and the Fowlkes-Mallows Index (FM) between 1 and $\sqrt{2} \approx 1.414$. We likewise describe a novel $negative$ prevalence threshold ($\phi_n$), the level of sharpest curvature for the negative predictive value-prevalence curve, such that $\phi_n$ $>$ $\phi_e$. The area between both these thresholds bounds the Matthews Correlation Coefficient (MCC) between $\sqrt{2}/2$ and $\sqrt{2}$. Conversely, the ratio of the maximum possible accuracy to that at any point below the prevalence threshold, $\phi_e$, goes to infinity with decreasing prevalence. Though applications are numerous, the ideas herein discussed may be used in computational complexity theory, artificial intelligence, and medical screening, amongst others. Where computational time is a limiting resource, attaining the prevalence threshold in binary classification systems may be sufficient to yield levels of accuracy comparable to that under maximum prevalence.
翻訳日:2021-12-29 05:54:41 公開日:2021-12-25
# DSRGAN: 生成的対向ネットワークによる知覚的単一画像超解像

DSRGAN: Detail Prior-Assisted Perceptual Single Image Super-Resolution via Generative Adversarial Networks ( http://arxiv.org/abs/2112.13191v1 )

ライセンス: Link先を確認
Ziyang Liu, Zhengguo Li, Xingming Wu, Zhong Liu, and Weihai Chen(参考訳) GAN(Generative Adversarial Network)は、知覚単一画像超解像(SISR)の研究に成功している。 しかし、GANはしばしば、実際のものと矛盾しない高周波の詳細の画像を生成する傾向にある。 従来の詳細強化アルゴリズムにヒントを得て,この問題を緩和し,より現実的な詳細を復元する上で,GANを支援する新しい事前知識,詳細を提示する。 提案手法はDSRGANと呼ばれ,画像から最も重要な高周波情報を抽出する詳細抽出アルゴリズムを含む。 次に、画像領域および細部領域復元の監督に2つの判別器を利用する。 DSRGANは、復元された詳細を詳細拡張方法で最終的な出力にマージする。 DSRGANの特殊設計は、モデルに基づく従来のアルゴリズムとデータ駆動ディープラーニングネットワークの両方の利点を生かしている。 実験の結果,DSRGANは知覚的指標において最先端のSISR法よりも優れており,忠実度指標の点で同等の結果が得られた。 dsrganに続いて、他の従来の画像処理アルゴリズムをディープラーニングネットワークに組み込むことで、モデルベースのdeep sisrを形成することができる。

The generative adversarial network (GAN) is successfully applied to study the perceptual single image superresolution (SISR). However, the GAN often tends to generate images with high frequency details being inconsistent with the real ones. Inspired by conventional detail enhancement algorithms, we propose a novel prior knowledge, the detail prior, to assist the GAN in alleviating this problem and restoring more realistic details. The proposed method, named DSRGAN, includes a well designed detail extraction algorithm to capture the most important high frequency information from images. Then, two discriminators are utilized for supervision on image-domain and detail-domain restorations, respectively. The DSRGAN merges the restored detail into the final output via a detail enhancement manner. The special design of DSRGAN takes advantages from both the model-based conventional algorithm and the data-driven deep learning network. Experimental results demonstrate that the DSRGAN outperforms the state-of-the-art SISR methods on perceptual metrics and achieves comparable results in terms of fidelity metrics simultaneously. Following the DSRGAN, it is feasible to incorporate other conventional image processing algorithms into a deep learning network to form a model-based deep SISR.
翻訳日:2021-12-28 17:42:22 公開日:2021-12-25
# 学習した全方位画像圧縮のための擬似円錐形コンボリューション

Pseudocylindrical Convolutions for Learned Omnidirectional Image Compression ( http://arxiv.org/abs/2112.13227v1 )

ライセンス: Link先を確認
Mu Li, Kede Ma, Jinxing Li, and David Zhang(参考訳) 等角射影(ERP)は全方位画像(360度画像とも呼ばれる)を保存するのに便利な形式であるが、等距離でも等角でもないため、その後の視覚通信には適さない。 画像圧縮の文脈では、ERPは極付近のものをオーバーサンプリングし変形させ、知覚的に最適なビット割り当てを困難にする。 従来の360度画像圧縮では,領域パッキングやタイル表現などの技術を導入して過剰サンプリング問題を軽減し,限定的な成功を収めている。 本稿では,全方位画像圧縮のための深層ニューラルネットワークを学習する最初の試みの一つである。 まずパラメトリック擬似円筒表現を共通擬似円筒写像投影の一般化として記述する。 計算的に抽出可能なグリード法を提示し、その擬似円筒表現の(サブ)最適構成を、レート歪み性能の新たなプロキシ目的の観点から決定する。 次に,360度画像圧縮のための擬似円筒畳み込みを提案する。 パラメトリック表現の合理的な制約の下では、擬似円筒の畳み込みは、いわゆる擬似円筒パディングとの標準畳み込みによって効率的に実装することができる。 提案手法の実現可能性を示すため,学習した擬似円筒表現,解析変換,非一様量子化器,合成変換,エントロピーモデルからなるエンドツーエンドの360度画像圧縮システムを実装した。 全方位画像19,790ドルの実験結果から,本手法は,本手法よりも高いレートゆがみ性能が得られることがわかった。 さらに,全ビットレートの映像に対して,提案手法による視覚品質が大幅に向上した。

Although equirectangular projection (ERP) is a convenient form to store omnidirectional images (also known as 360-degree images), it is neither equal-area nor conformal, thus not friendly to subsequent visual communication. In the context of image compression, ERP will over-sample and deform things and stuff near the poles, making it difficult for perceptually optimal bit allocation. In conventional 360-degree image compression, techniques such as region-wise packing and tiled representation are introduced to alleviate the over-sampling problem, achieving limited success. In this paper, we make one of the first attempts to learn deep neural networks for omnidirectional image compression. We first describe parametric pseudocylindrical representation as a generalization of common pseudocylindrical map projections. A computationally tractable greedy method is presented to determine the (sub)-optimal configuration of the pseudocylindrical representation in terms of a novel proxy objective for rate-distortion performance. We then propose pseudocylindrical convolutions for 360-degree image compression. Under reasonable constraints on the parametric representation, the pseudocylindrical convolution can be efficiently implemented by standard convolution with the so-called pseudocylindrical padding. To demonstrate the feasibility of our idea, we implement an end-to-end 360-degree image compression system, consisting of the learned pseudocylindrical representation, an analysis transform, a non-uniform quantizer, a synthesis transform, and an entropy model. Experimental results on $19,790$ omnidirectional images show that our method achieves consistently better rate-distortion performance than the competing methods. Moreover, the visual quality by our method is significantly improved for all images at all bitrates.
翻訳日:2021-12-28 17:42:00 公開日:2021-12-25
# アクティブディレクトリスタイルアタックグラフの実用的固定パラメータアルゴリズム

Practical Fixed-Parameter Algorithms for Defending Active Directory Style Attack Graphs ( http://arxiv.org/abs/2112.13175v1 )

ライセンス: Link先を確認
Mingyu Guo, Jialiang Li, Aneta Neumann, Frank Neumann, Hung Nguyen(参考訳) Active DirectoryはWindowsドメインネットワークのデフォルトのセキュリティ管理システムである。 アクティブディレクトリスタイルの攻撃グラフを防御するための最短経路エッジ断続問題について検討する。 この問題は、1人のディフェンダーと1人のアタッカーの間のスタックルバーグゲームとして定式化されている。 攻撃グラフは、1つの宛先ノードと複数のエントリノードを含む。 攻撃者の入力ノードは自然に選択される。 ディフェンダーは、予算によって制限された一連のエッジをブロックすることを選ぶ。 攻撃者は最短の非ブロック攻撃経路を選択する。 ディフェンダーは攻撃者にとって期待される最短経路長を最大化することを目指している。 実用的なアクティブディレクトリアタックグラフは攻撃経路の長さが最大で、構造的には木に近い。 まず,最大攻撃経路長が一定であっても,ディフェンダーの予算に関して,問題は依然として$w[1]$-hardであることを示す。 攻撃経路の最大長と予算が小さいため、固定パラメータアルゴリズムを設計するには不十分である。 さらに、エントリノードの数が小さいと仮定すると、固定パラメータ抽出可能なアルゴリズムが導出される。 次に、木のような特徴を活用し、他の2つの固定パラメータアルゴリズムを提案する。 1つは木の分解に基づいており、木幅が小さい。 もう一方は、少数の分割ノード(複数の外部エッジを持つノード)を仮定する。 最後に、最後のアルゴリズムは、より分割されたノードを持つ大きなグラフにスケールする、グラフ畳み込みニューラルネットワークに基づくヒューリスティックに変換される。

Active Directory is the default security management system for Windows domain networks. We study the shortest path edge interdiction problem for defending Active Directory style attack graphs. The problem is formulated as a Stackelberg game between one defender and one attacker. The attack graph contains one destination node and multiple entry nodes. The attacker's entry node is chosen by nature. The defender chooses to block a set of edges limited by his budget. The attacker then picks the shortest unblocked attack path. The defender aims to maximize the expected shortest path length for the attacker, where the expectation is taken over entry nodes. We observe that practical Active Directory attack graphs have small maximum attack path lengths and are structurally close to trees. We first show that even if the maximum attack path length is a constant, the problem is still $W[1]$-hard with respect to the defender's budget. Having a small maximum attack path length and a small budget is not enough to design fixed-parameter algorithms. If we further assume that the number of entry nodes is small, then we derive a fixed-parameter tractable algorithm. We then propose two other fixed-parameter algorithms by exploiting the tree-like features. One is based on tree decomposition and requires a small tree width. The other assumes a small number of splitting nodes (nodes with multiple out-going edges). Finally, the last algorithm is converted into a graph convolutional neural network based heuristic, which scales to larger graphs with more splitting nodes.
翻訳日:2021-12-28 17:38:18 公開日:2021-12-25
# Edge Robotics:エッジコンピューティングによるマルチロボットの同時ローカライゼーションとマッピング

Edge Robotics: Edge-Computing-Accel erated Multi-Robot Simultaneous Localization and Mapping ( http://arxiv.org/abs/2112.13222v1 )

ライセンス: Link先を確認
Peng Huang and Liekang Zeng and Xu Chen and Ke Luo and Zhi Zhou and Shuai Yu(参考訳) 多岐にわたる分野におけるスマートロボットの普及に伴い、ロボティクスにおける同時ローカライゼーション・マッピング(slam)技術がコミュニティの注目を集めている。 しかし、SLAMの集約的なグラフィックス計算とロボットの限られた計算能力との間にパフォーマンス上の矛盾があるため、複数のロボット上でSLAMを共同作業することは依然として困難である。 従来のソリューションは、外部の計算プロバイダとして機能する強力なクラウドサーバを頼りにしていますが、実際の測定では、データオフロードにおける通信オーバーヘッドが実際のデプロイメントの実践性を妨げることが示されています。 これらの課題に対処するため,本論文では,新興エッジコンピューティングパラダイムをマルチロボットSLAMに拡張し,ロボットエッジクラウドアーキテクチャ下でのマップ構築プロセスの高速化に焦点を当てたマルチロボットレーザSLAMシステムであるRecSLAMを提案する。 従来のマルチロボットslamとは対照的に、reslamは、ロボットの生データをエッジサーバにリアルタイム融合のために誘導し、次にグローバルマージのためにクラウドに送信する階層的地図融合技術を開発した。 パイプライン全体を最適化するために、効率的なマルチロボットSLAM協調処理フレームワークを導入し、異種エッジリソース条件に適したロボット間オフロードを適応的に最適化し、エッジサーバ間のワークロードバランスを確保する。 大規模な評価では、RecSLAMは最先端よりも39%の処理遅延を削減できる。 さらに、概念実証プロトタイプが開発され、実際のシーンにデプロイされ、その効果を示す。

With the wide penetration of smart robots in multifarious fields, Simultaneous Localization and Mapping (SLAM) technique in robotics has attracted growing attention in the community. Yet collaborating SLAM over multiple robots still remains challenging due to performance contradiction between the intensive graphics computation of SLAM and the limited computing capability of robots. While traditional solutions resort to the powerful cloud servers acting as an external computation provider, we show by real-world measurements that the significant communication overhead in data offloading prevents its practicability to real deployment. To tackle these challenges, this paper promotes the emerging edge computing paradigm into multi-robot SLAM and proposes RecSLAM, a multi-robot laser SLAM system that focuses on accelerating map construction process under the robot-edge-cloud architecture. In contrast to conventional multi-robot SLAM that generates graphic maps on robots and completely merges them on the cloud, RecSLAM develops a hierarchical map fusion technique that directs robots' raw data to edge servers for real-time fusion and then sends to the cloud for global merging. To optimize the overall pipeline, an efficient multi-robot SLAM collaborative processing framework is introduced to adaptively optimize robot-to-edge offloading tailored to heterogeneous edge resource conditions, meanwhile ensuring the workload balancing among the edge servers. Extensive evaluations show RecSLAM can achieve up to 39% processing latency reduction over the state-of-the-art. Besides, a proof-of-concept prototype is developed and deployed in real scenes to demonstrate its effectiveness.
翻訳日:2021-12-28 17:37:59 公開日:2021-12-25
# AI-Bind:新しいタンパク質ターゲットとリガンドの結合予測を改善する

AI-Bind: Improving Binding Predictions for Novel Protein Targets and Ligands ( http://arxiv.org/abs/2112.13168v1 )

ライセンス: Link先を確認
Ayan Chatterjee, Omair Shafi Ahmed, Robin Walters, Zohair Shafi, Deisy Gysi, Rose Yu, Tina Eliassi-Rad, Albert-L\'aszl\'o Barab\'asi and Giulia Menichetti(参考訳) 新規な薬物標的相互作用(DTI)の同定は、薬物発見における臨界かつ速度制限のステップである。 同定過程を加速する深層学習モデルが提案されているが、最先端のモデルでは新しい構造(つまり、それまで見たことのない構造)に一般化できないことを示す。 この欠点の原因となるメカニズムを最初に明らかにし、ノードの特徴を学習するのではなく、タンパク質リガンド二部体ネットワークのトポロジを利用するショートカットにモデルがどのように依存しているかを示した。 次に,ネットワークベースのサンプリング戦略と教師なし事前学習を組み合わせたパイプラインであるai-bindを導入し,アノテーションの不均衡を制限し,新規タンパク質とリガンドの結合予測を改善する。 我々は,SARS-CoV-2ウイルスタンパク質と関連するヒトタンパク質に結合した薬剤や天然化合物を予測し,AI-Bindの価値を説明する。 また,これらの予測を自動ドッキングシミュレーションを用いて検証し,最近の実験結果と比較した。 AI-Bindは、ドラッグとターゲットの組み合わせを識別するための強力なハイスループットのアプローチを提供する。

Identifying novel drug-target interactions (DTI) is a critical and rate limiting step in drug discovery. While deep learning models have been proposed to accelerate the identification process, we show that state-of-the-art models fail to generalize to novel (i.e., never-before-seen) structures. We first unveil the mechanisms responsible for this shortcoming, demonstrating how models rely on shortcuts that leverage the topology of the protein-ligand bipartite network, rather than learning the node features. Then, we introduce AI-Bind, a pipeline that combines network-based sampling strategies with unsupervised pre-training, allowing us to limit the annotation imbalance and improve binding predictions for novel proteins and ligands. We illustrate the value of AI-Bind by predicting drugs and natural compounds with binding affinity to SARS-CoV-2 viral proteins and the associated human proteins. We also validate these predictions via auto-docking simulations and comparison with recent experimental evidence. Overall, AI-Bind offers a powerful high-throughput approach to identify drug-target combinations, with the potential of becoming a powerful tool in drug discovery.
翻訳日:2021-12-28 17:34:02 公開日:2021-12-25
# N-Omniglot:時空間スパースファウショット学習のための大規模データセット

N-Omniglot: a Large-scale Dataset for Spatio-Temporal Sparse Few-shot Learning ( http://arxiv.org/abs/2112.13230v1 )

ライセンス: Link先を確認
Yang Li, Yiting Dong, Dongcheng Zhao, Yi Zeng(参考訳) ごくわずかの学習(サンプルの学習)は人間の脳の最も重要な能力の1つである。 しかし、現在の人工知能システムは、生物学的に妥当なスパイクニューラルネットワーク(SNN)のように、この能力を達成するのに難しい。 伝統的な数ショットの学習領域のデータセットは、時間的情報が少ない。 そして、ニューロモルフィックデータセットがないことは、SNNのための数発の学習を妨げている。 ここでは、dynamic vision sensor (dvs) を用いた最初のニューロモルフィックデータセット n-omniglot を提供する。 手書き文字のカテゴリは1623種類あり、クラスごとにサンプルは20種類しかない。 N-Omniglotは、高い予備性と極めて時間的コヒーレンスを持つSNNのためのニューロモルフィックデータセットの必要性を排除する。 さらに、このデータセットは、ストロークの時系列情報のために、数ショットの学習領域でSNNアルゴリズムを開発するための強力なチャレンジと適切なベンチマークを提供する。 またspykingバージョンでは,改良された近距離,畳み込みネットワーク,siamesenet,メタラーニングアルゴリズムも提供する。

Few-shot learning (learning with a few samples) is one of the most important capacities of the human brain. However, the current artificial intelligence systems meet difficulties in achieving this ability, so as the biologically plausible spiking neural networks (SNNs). Datasets for traditional few-shot learning domains provide few amounts of temporal information. And the absence of the neuromorphic datasets has hindered the development of few-shot learning for SNNs. Here, we provide the first neuromorphic dataset: N-Omniglot, using the Dynamic Vision Sensor (DVS). It contains 1623 categories of handwritten characters, with only 20 samples per class. N-Omniglot eliminates the need for a neuromorphic dataset for SNNs with high spareness and tremendous temporal coherence. Additionally, the dataset provides a powerful challenge and a suitable benchmark for developing SNNs algorithm in the few-shot learning domain due to the chronological information of strokes. We also provide the improved nearest neighbor, convolutional network, SiameseNet, and meta-learning algorithm in spiking version for verification.
翻訳日:2021-12-28 17:33:43 公開日:2021-12-25
# network-aware 5g edge computing for object detection: ウェアラブルを"より多く、より遠く、より速く"見るように拡張する

Network-Aware 5G Edge Computing for Object Detection: Augmenting Wearables to "See'' More, Farther and Faster ( http://arxiv.org/abs/2112.13194v1 )

ライセンス: Link先を確認
Zhongzheng Yuan, Tommy Azzino, Yu Hao, Yixuan Lyu, Haoyang Pei, Alain Boldini, Marco Mezzavilla, Mahya Beheshti, Maurizio Porfiri, Todd Hudson, William Seiple, Yi Fang, Sundeep Rangan, Yao Wang, J.R. Rizzo(参考訳) 高度なウェアラブルデバイスは、高解像度のマルチカメラシステムを取り込んでいる。 画像データを処理するための最先端のニューラルネットワークが計算上要求されているため、この処理をクラウドにオフロードするために第5世代(5g)ワイヤレス接続とモバイルエッジコンピューティングを活用することへの関心が高まっている。 そこで本稿では,視覚障害者(bvi)のための,パワフルで新しいスマートウェアラブルであるvis4ionを用いて,物体検出のための5g無線オフロードの詳細なシミュレーションと評価を行う。 現行のVIS4IONシステムは、高解像度カメラ、視覚処理、触覚とオーディオのフィードバックを備えた電子ブックバッグである。 本稿では,カメラデータをモバイルエッジクラウドにアップロードして,リアルタイムなオブジェクト検出と検出結果をウェアラブルに送信することを検討する。 ビデオの要件を決定するために,ビデオビットレートと解像度が物体検出精度と範囲に与える影響を評価する。 BVIナビゲーションに関連するラベル付きオブジェクトを持つ新たなストリートシーンデータセットを解析に活用する。 このビジョン評価は、詳細なフルスタック無線ネットワークシミュレーションと組み合わせて、都市環境における新しい高解像度3dモデルからの実際のナビゲーションパスとレイトレーシングによるスループットと遅延の分布を決定する。 比較のために、無線シミュレーションは標準の4G-Long Term Evolution(LTE)キャリアと高レートの5Gミリ波キャリア(mmWave)キャリアの両方を考慮する。 この作業は、高い帯域幅と低レイテンシの要件を持つアプリケーションにおいて、mmWave接続によるエッジコンピューティングの徹底的で現実的な評価を提供する。

Advanced wearable devices are increasingly incorporating high-resolution multi-camera systems. As state-of-the-art neural networks for processing the resulting image data are computationally demanding, there has been growing interest in leveraging fifth generation (5G) wireless connectivity and mobile edge computing for offloading this processing to the cloud. To assess this possibility, this paper presents a detailed simulation and evaluation of 5G wireless offloading for object detection within a powerful, new smart wearable called VIS4ION, for the Blind-and-Visually Impaired (BVI). The current VIS4ION system is an instrumented book-bag with high-resolution cameras, vision processing and haptic and audio feedback. The paper considers uploading the camera data to a mobile edge cloud to perform real-time object detection and transmitting the detection results back to the wearable. To determine the video requirements, the paper evaluates the impact of video bit rate and resolution on object detection accuracy and range. A new street scene dataset with labeled objects relevant to BVI navigation is leveraged for analysis. The vision evaluation is combined with a detailed full-stack wireless network simulation to determine the distribution of throughputs and delays with real navigation paths and ray-tracing from new high-resolution 3D models in an urban environment. For comparison, the wireless simulation considers both a standard 4G-Long Term Evolution (LTE) carrier and high-rate 5G millimeter-wave (mmWave) carrier. The work thus provides a thorough and realistic assessment of edge computing with mmWave connectivity in an application with both high bandwidth and low latency requirements.
翻訳日:2021-12-28 17:30:03 公開日:2021-12-25
# 線形補体系の学習

Learning Linear Complementarity Systems ( http://arxiv.org/abs/2112.13284v1 )

ライセンス: Link先を確認
Wanxin Jin, Alp Aydinoglu, Mathew Halm, Michael Posa(参考訳) 本稿では,線形相補性システム (LCS) と呼ばれる,一括結合型力学系の学習,あるいはシステム同定について検討する。 本稿では,グラデーションに基づく手法を用いて,ハイブリッドモード境界の事前知識を必要とせずに,lcsパラメータ化の効率的な学習を可能にする違反ベース損失を提案する。 提案する違反に基づく損失は、ダイナミクス予測損失と新しい相補性違反損失の両方を組み込んでいる。 この損失定式化によって達成されたいくつかの性質は、その微分可能性、一階および二階導関数の効率的な計算、そして相補性を厳密に強制する従来の予測損失との関係などである。 我々は、この違反に基づく損失定式化を適用し、何万もの(潜在的に硬い)ハイブリッドモードでLCSを学習する。 この結果から,非滑らかな線形相補性問題から差別化を図り,より優れた評価方法が得られた。

This paper investigates the learning, or system identification, of a class of piecewise-affine dynamical systems known as linear complementarity systems (LCSs). We propose a violation-based loss which enables efficient learning of the LCS parameterization, without prior knowledge of the hybrid mode boundaries, using gradient-based methods. The proposed violation-based loss incorporates both dynamics prediction loss and a novel complementarity - violation loss. We show several properties attained by this loss formulation, including its differentiability, the efficient computation of first- and second-order derivatives, and its relationship to the traditional prediction loss, which strictly enforces complementarity. We apply this violation-based loss formulation to learn LCSs with tens of thousands of (potentially stiff) hybrid modes. The results demonstrate a state-of-the-art ability to identify piecewise-affine dynamics, outperforming methods which must differentiate through non-smooth linear complementarity problems.
翻訳日:2021-12-28 17:26:10 公開日:2021-12-25
# DBC-Forest: 双発信頼性スクリーニングによる深い森

DBC-Forest: Deep forest with binning confidence screening ( http://arxiv.org/abs/2112.13182v1 )

ライセンス: Link先を確認
Pengfei Ma, Youxi Wu, Yan Li, Lei Guo, Zhao Li(参考訳) 深層学習モデルとして、深い信頼度スクリーニング林(gcForestcs)は様々なアプリケーションで大きな成功を収めている。 従来のディープフォレストアプローチと比較して、gcforestcsは、高信頼領域のインスタンスを最終段階に直接渡すことで、高コストを効果的に削減する。 しかし,高信頼領域では,誤分割インスタンスと呼ばれる,精度の低いインスタンス群が存在する。 そこで本論文では,すべてのインスタンスを信頼度に基づいてビンにまとめる,DBC-Forest(Deep binning confidence screening forest)モデルを提案する。 このようにして、より正確なインスタンスを最終ステージに渡すことができ、パフォーマンスが向上する。 実験の結果,DBC-Forestは同一のハイパーパラメータの高精度な予測が可能であり,他の類似モデルよりも高速であることがわかった。

As a deep learning model, deep confidence screening forest (gcForestcs) has achieved great success in various applications. Compared with the traditional deep forest approach, gcForestcs effectively reduces the high time cost by passing some instances in the high-confidence region directly to the final stage. However, there is a group of instances with low accuracy in the high-confidence region, which are called mis-partitioned instances. To find these mis-partitioned instances, this paper proposes a deep binning confidence screening forest (DBC-Forest) model, which packs all instances into bins based on their confidences. In this way, more accurate instances can be passed to the final stage, and the performance is improved. Experimental results show that DBC-Forest achieves highly accurate predictions for the same hyperparameters and is faster than other similar models to achieve the same accuracy.
翻訳日:2021-12-28 16:29:24 公開日:2021-12-25
# ニューラルネットワークモジュールの分解と再分解

Neural Network Module Decomposition and Recomposition ( http://arxiv.org/abs/2112.13208v1 )

ライセンス: Link先を確認
Hiroaki Kingetsu, Kenichi Kobayashi, Taiji Suzuki(参考訳) 本稿では,DNN(Deep Neural Network)を機能の観点から小さなモジュールに分解し,他のタスクのために新しいモデルに再構成するモジュール化手法を提案する。 分解されたモジュールは、小さなサイズのため、解釈可能性と検証可能性の利点が期待できる。 移動学習モデルのような再学習を伴う再利用モデルに基づく既存研究とは対照的に,提案手法は再訓練を必要としないため,既存の機能モジュールと容易に組み合わせることができる。 提案手法は重みマスクを用いてモジュールを抽出し,任意のDNNに適用できる。 既存の研究とは異なり、ネットワークアーキテクチャに関する仮定は必要ない。 モジュールを抽出するために,モジュール間の共有重みを最大化する学習法と損失関数を設計した。 その結果,抽出したモジュールはサイズが大きく増大することなく再分解できることがわかった。 提案手法は,高い圧縮率と高い精度でdnnを分解・再構成でき,モジュール間の重みの共有により既存の手法よりも優れていることを示す。

We propose a modularization method that decomposes a deep neural network (DNN) into small modules from a functionality perspective and recomposes them into a new model for some other task. Decomposed modules are expected to have the advantages of interpretability and verifiability due to their small size. In contrast to existing studies based on reusing models that involve retraining, such as a transfer learning model, the proposed method does not require retraining and has wide applicability as it can be easily combined with existing functional modules. The proposed method extracts modules using weight masks and can be applied to arbitrary DNNs. Unlike existing studies, it requires no assumption about the network architecture. To extract modules, we designed a learning method and a loss function to maximize shared weights among modules. As a result, the extracted modules can be recomposed without a large increase in the size. We demonstrate that the proposed method can decompose and recompose DNNs with high compression ratio and high accuracy and is superior to the existing method through sharing weights between modules.
翻訳日:2021-12-28 16:29:07 公開日:2021-12-25
# PerCQA: ペルシャのコミュニティ質問がデータセットに回答

PerCQA: Persian Community Question Answering Dataset ( http://arxiv.org/abs/2112.13238v1 )

ライセンス: Link先を確認
Naghme Jamali, Yadollah Yaghoobzadeh, Hesham Faili(参考訳) コミュニティ質問回答 (Community Question Answering, CQA) は、現実の質問に対する回答を提供するフォーラムである。 大規模なため、これらのフォーラムは機械学習研究者の間で非常に人気がある。 自動回答選択、回答ランキング、質問検索、エキスパート検索、ファクトチェックは、CQAデータを用いて実行されるサンプル学習タスクである。 本稿では,CQAの最初のペルシア語データセットであるPerCQAを紹介する。 このデータセットには、最も有名なペルシアのフォーラムからクロールされた質問と回答が含まれている。 データ取得後、厳密なガイドラインを反復的なプロセスで提供し、SemEvalCQA形式の質問応答ペアのアノテーションを提供する。 PerCQAには989の質問と21,915の注釈付き回答が含まれている。 ペルシアのCQAの研究を促進するために、PerCQAを公開しています。 また,単言語および多言語事前学習言語モデルを用いて,PerCQAにおける回答選択作業のための強力なベンチマークを構築した。

Community Question Answering (CQA) forums provide answers for many real-life questions. Thanks to the large size, these forums are very popular among machine learning researchers. Automatic answer selection, answer ranking, question retrieval, expert finding, and fact-checking are example learning tasks performed using CQA data. In this paper, we present PerCQA, the first Persian dataset for CQA. This dataset contains the questions and answers crawled from the most well-known Persian forum. After data acquisition, we provide rigorous annotation guidelines in an iterative process, and then the annotation of question-answer pairs in SemEvalCQA format. PerCQA contains 989 questions and 21,915 annotated answers. We make PerCQA publicly available to encourage more research in Persian CQA. We also build strong benchmarks for the task of answer selection in PerCQA by using mono- and multi-lingual pre-trained language models
翻訳日:2021-12-28 16:10:43 公開日:2021-12-25
# スタンス定量化:問題の定義

Stance Quantification: Definition of the Problem ( http://arxiv.org/abs/2112.13288v1 )

ライセンス: Link先を確認
Dilek K\"u\c{c}\"uk(参考訳) スタンス検出は、テキスト生成者の位置を目標に向けて自動決定するプロセスとして一般的に定義される。 本稿では,スタンス検出,すなわちスタンス定量化に関連する研究問題を初めて定義する。 本研究では,(1)自然言語テキスト項目の集合と(2)ターゲットを含むペアのスタンス定量化を定義する。 姿勢定量化工程の終了時に、入力対の目標に対してそれぞれ好ましくないものとして分類されたテキスト項目数の割合からなるトリプルを得る。 また, 本論文では, 姿勢定量化問題, すなわち多目的姿勢定量化の重要部分問題として定義されている。 我々は,多くのアプリケーション設定において,集団レベルでのスタンス定量化は実りある結果をもたらすと信じており,また,プライバシに関する懸念が研究者が汎用的なスタンス検出を適用するのを妨げている環境では,スタンス定量化が唯一のスタンス関連分析方法であると考えている。

Stance detection is commonly defined as the automatic process of determining the positions of text producers, towards a target. In this paper, we define a research problem closely related to stance detection, namely, stance quantification, for the first time. We define stance quantification on a pair including (1) a set of natural language text items and (2) a target. At the end of the stance quantification process, a triple is obtained which consists of the percentages of the number of text items classified as Favor, Against, Neither, respectively, towards the target in the input pair. Also defined in the current paper is a significant subproblem of the stance quantification problem, namely, multi-target stance quantification. We believe that stance quantification at the aggregate level can lead to fruitful results in many application settings, and furthermore, stance quantification might be the sole stance related analysis alternative in settings where privacy concerns prevent researchers from applying generic stance detection.
翻訳日:2021-12-28 16:08:45 公開日:2021-12-25
# 薬理ビジランスのための説明可能な人工知能:副次的なアウトカムを予測する上で重要な特徴は何か?

Explainable Artificial Intelligence for Pharmacovigilance: What Features Are Important When Predicting Adverse Outcomes? ( http://arxiv.org/abs/2112.13210v1 )

ライセンス: Link先を確認
Isaac Ronald Ward, Ling Wang, Juan lu, Mohammed Bennamoun, Girish Dwivedi, Frank M Sanfilippo(参考訳) 説明可能な人工知能(xai)は、機械学習(ml)モデルを用いた予測を行う際に特徴の重要性を決定するための有効な方法として認識されている。 本研究では、個人の健康情報(例えば、その薬物の歴史や共生性)を入力として取り込んだモデルを作成し、急性冠症候群(ACS)の予後を予測した。 XAIを用いて、特定の薬物がこれらのACS予測に与えた貢献を定量化し、ACSが検出する有害な結果の例として、薬物移動監視のためのXAIベースのテクニックを作成した。 1993年から2009年の間、65歳以上の患者がM群(解剖学的治療薬M群)または心血管系(ATCクラスC群)の薬物を投与し、その薬歴、共同性、その他の重要な特徴をオーストラリア西部のデータセットから抽出した。 複数のMLモデルは、これらの個人がACSに関連する副作用(すなわち、ALSの退院診断を伴う死亡または入院)を予測するために訓練され、MLとXAIの様々な手法が、これらの予測にどの特徴(具体的にどの薬物が原因であるか)を計算するために使用された。 その結果、ロフェコキシブとセロコキシブの薬物放出特性は、ACS関連副作用予測(平均)に0以上の寄与があることが判明し、ACS関連副作用予測は72%の精度で予測できることが判明した。 さらに,XAI ライブラリ LIME と SHAP は重要な特徴と重要でない特徴の両方を同定し,SHAP は LIME をわずかに上回った。 XAIアルゴリズムと連動した管理健康データセットに基づいてトレーニングされたMLモデルは、機能の重要性の定量化に成功し、さらなる発展に伴い、薬物移動監視技術として使われる可能性がある。

Explainable Artificial Intelligence (XAI) has been identified as a viable method for determining the importance of features when making predictions using Machine Learning (ML) models. In this study, we created models that take an individual's health information (e.g. their drug history and comorbidities) as inputs, and predict the probability that the individual will have an Acute Coronary Syndrome (ACS) adverse outcome. Using XAI, we quantified the contribution that specific drugs had on these ACS predictions, thus creating an XAI-based technique for pharmacovigilance monitoring, using ACS as an example of the adverse outcome to detect. Individuals aged over 65 who were supplied Musculo-skeletal system (anatomical therapeutic chemical (ATC) class M) or Cardiovascular system (ATC class C) drugs between 1993 and 2009 were identified, and their drug histories, comorbidities, and other key features were extracted from linked Western Australian datasets. Multiple ML models were trained to predict if these individuals would have an ACS related adverse outcome (i.e., death or hospitalisation with a discharge diagnosis of ACS), and a variety of ML and XAI techniques were used to calculate which features -- specifically which drugs -- led to these predictions. The drug dispensing features for rofecoxib and celecoxib were found to have a greater than zero contribution to ACS related adverse outcome predictions (on average), and it was found that ACS related adverse outcomes can be predicted with 72% accuracy. Furthermore, the XAI libraries LIME and SHAP were found to successfully identify both important and unimportant features, with SHAP slightly outperforming LIME. ML models trained on linked administrative health datasets in tandem with XAI algorithms can successfully quantify feature importance, and with further development, could potentially be used as pharmacovigilance monitoring techniques.
翻訳日:2021-12-28 15:12:34 公開日:2021-12-25
# ニューロフェア:バイアスドニューロン同定によるホワイトボックスフェアネステスト

NeuronFair: Interpretable White-Box Fairness Testing through Biased Neuron Identification ( http://arxiv.org/abs/2112.13214v1 )

ライセンス: Link先を確認
Haibin Zheng, Zhiqing Chen, Tianyu Du, Xuhong Zhang, Yao Cheng, Shouling Ji, Jingyi Wang, Yue Yu, and Jinyin Chen(参考訳) ディープニューラルネットワーク(DNN)は、様々な領域でその性能を実証している。 しかし、特に教育、融資、雇用などの貴重な資源配分を含むセンシティブなドメインに適用された場合、DNNが信頼性と公正な決定を下せるかどうかという社会的懸念が高まる。 DNNがそのようなセンシティブなドメインに確実にデプロイされる前に、フェアネステストを実施することが重要である。 しかし、既存のテストメソッドは、解釈可能性、パフォーマンス、一般化性という3つの側面から制限されている。 この課題を克服するために,我々は,(1)解釈可能 - バイアス決定に対するDNNの公正性違反を定量的に解釈する; (2)有効 - 解釈結果を用いて,より多様なインスタンスの生成を少ない時間でガイドする;(3)汎用 - 構造化データと非構造化データの両方を扱うことができる,といういくつかの重要な側面において,従来のDNNの公正性テストフレームワークであるNeuronFairを提案する。 7つのデータセットと対応するdnnの広範な評価は、neuronfairの優れたパフォーマンスを示している。 例えば、構造化データセットでは、より多くのインスタンス(~x5.84)を生成し、最先端の手法と比較して、より多くの時間(平均速度534.56%)を節約する。 さらに、NeuronFairのインスタンスを利用してバイアスのあるDNNの公平性を向上させることで、より公平で信頼性の高いディープラーニングシステムを構築することができる。

Deep neural networks (DNNs) have demonstrated their outperformance in various domains. However, it raises a social concern whether DNNs can produce reliable and fair decisions especially when they are applied to sensitive domains involving valuable resource allocation, such as education, loan, and employment. It is crucial to conduct fairness testing before DNNs are reliably deployed to such sensitive domains, i.e., generating as many instances as possible to uncover fairness violations. However, the existing testing methods are still limited from three aspects: interpretability, performance, and generalizability. To overcome the challenges, we propose NeuronFair, a new DNN fairness testing framework that differs from previous work in several key aspects: (1) interpretable - it quantitatively interprets DNNs' fairness violations for the biased decision; (2) effective - it uses the interpretation results to guide the generation of more diverse instances in less time; (3) generic - it can handle both structured and unstructured data. Extensive evaluations across 7 datasets and the corresponding DNNs demonstrate NeuronFair's superior performance. For instance, on structured datasets, it generates much more instances (~x5.84) and saves more time (with an average speedup of 534.56%) compared with the state-of-the-art methods. Besides, the instances of NeuronFair can also be leveraged to improve the fairness of the biased DNNs, which helps build more fair and trustworthy deep learning systems.
翻訳日:2021-12-28 14:42:22 公開日:2021-12-25
# スケーラブルベイズ推論のためのリアクティブメッセージパッシング

Reactive Message Passing for Scalable Bayesian Inference ( http://arxiv.org/abs/2112.13251v1 )

ライセンス: Link先を確認
Dmitry Bagaev and Bert de Vries(参考訳) 確率モデルの因子グラフ表現において、スケジュールのない、堅牢でスケーラブルなメッセージパッシングベースの推論を実行するためのフレームワークとして、リアクティブメッセージパッシング(RMP)を導入する。 RMPは、ファクタグラフのノードが接続ノードの変化にどのように反応するかを記述したリアクティブプログラミングスタイルに基づいている。 固定メッセージパッシングスケジュールがないと、推論手順の堅牢性、スケーラビリティ、実行時間が向上する。 また、制約されたBethe自由エネルギーの最小化によりRMPを実現するためのJuliaパッケージであるReactiveMP.jlを提案する。 局所形式のユーザ定義と変分後分布の因子化制約により、reactivemp.jlは信念伝播、変分メッセージ通過、期待伝播、期待最大化更新ルールを含むハイブリッドメッセージパッシングアルゴリズムを実行する。 ベイズ推定のための他のJuliaパッケージと比較して,ReactiveMPベースのRMPの性能が改善したことを示す実験結果が得られた。 特に、RMPフレームワークは、標準ラップトップコンピュータ上で数十万のランダム変数を持つ大規模確率的状態空間モデルに対してベイズ推定を実行可能であることを示す。

We introduce Reactive Message Passing (RMP) as a framework for executing schedule-free, robust and scalable message passing-based inference in a factor graph representation of a probabilistic model. RMP is based on the reactive programming style that only describes how nodes in a factor graph react to changes in connected nodes. The absence of a fixed message passing schedule improves robustness, scalability and execution time of the inference procedure. We also present ReactiveMP.jl, which is a Julia package for realizing RMP through minimization of a constrained Bethe free energy. By user-defined specification of local form and factorization constraints on the variational posterior distribution, ReactiveMP.jl executes hybrid message passing algorithms including belief propagation, variational message passing, expectation propagation, and expectation maximisation update rules. Experimental results demonstrate the improved performance of ReactiveMP-based RMP in comparison to other Julia packages for Bayesian inference across a range of probabilistic models. In particular, we show that the RMP framework is able to run Bayesian inference for large-scale probabilistic state space models with hundreds of thousands of random variables on a standard laptop computer.
翻訳日:2021-12-28 14:41:55 公開日:2021-12-25
# 共変量による動的価格設定について

On Dynamic Pricing with Covariates ( http://arxiv.org/abs/2112.13254v1 )

ライセンス: Link先を確認
Hanzhao Wang, Kalyan Talluri, Xiaocheng Li(参考訳) 一般線形需要モデルの下で共変量を用いた動的価格問題を考える: 売り手は商品の価格を時間的水平線上で動的に調整することができ、各時点の$t$は、その価格と観測可能な共変量ベクトル$x_t\in\mathbb{R}^d$によって、未知の一般化線形モデルにより、製品の需要を共同で決定する。 既存の文献の多くは、共変ベクトル $x_t$'s は独立かつ同一に分布していると仮定している(つまり、この仮定を緩和する数少ない論文は、モデル一般性を犠牲にするか、準最適後悔境界を与えるかのいずれかである)。 本稿では,covariates $x_t$(任意に選択することもできる)の統計構造を仮定することなく,簡単な価格設定アルゴリズムが$o(d\sqrt{t}\log t)$ regret upperboundを持つことを示す。 後悔の上限は(i.i.d.仮定の下でも)対数的要因による下限に一致する。 私たちの論文は (i)低い後悔を得るためには、i.d.仮定は不要であり、 (ii) 後悔境界は、前の境界に存在する$x_t$'sの共分散行列の(逆)最小固有値とは独立である。 さらに,よりよい後悔が達成できる条件と,トンプソンサンプリングアルゴリズムを適用して,効率的な価格計算を行う方法について検討する。

We consider the dynamic pricing problem with covariates under a generalized linear demand model: a seller can dynamically adjust the price of a product over a horizon of $T$ time periods, and at each time period $t$, the demand of the product is jointly determined by the price and an observable covariate vector $x_t\in\mathbb{R}^d$ through an unknown generalized linear model. Most of the existing literature assumes the covariate vectors $x_t$'s are independently and identically distributed (i.i.d.); the few papers that relax this assumption either sacrifice model generality or yield sub-optimal regret bounds. In this paper we show that a simple pricing algorithm has an $O(d\sqrt{T}\log T)$ regret upper bound without assuming any statistical structure on the covariates $x_t$ (which can even be arbitrarily chosen). The upper bound on the regret matches the lower bound (even under the i.i.d. assumption) up to logarithmic factors. Our paper thus shows that (i) the i.i.d. assumption is not necessary for obtaining low regret, and (ii) the regret bound can be independent of the (inverse) minimum eigenvalue of the covariance matrix of the $x_t$'s, a quantity present in previous bounds. Furthermore, we discuss a condition under which a better regret is achievable and how a Thompson sampling algorithm can be applied to give an efficient computation of the prices.
翻訳日:2021-12-28 14:38:58 公開日:2021-12-25
# 燃焼パンデミックにおける説明可能な人工知能手法:システムレビュー

Explainable Artificial Intelligence Methods in Combating Pandemics: A Systematic Review ( http://arxiv.org/abs/2112.12705v2 )

ライセンス: Link先を確認
Felipe Giuste, Wenqi Shi, Yuanda Zhu, Tarun Naren, Monica Isgut, Ying Sha, Li Tong, Mitali Gupte, and May D. Wang(参考訳) 新型コロナウイルス感染症(covid-19)に対する新しいai(人工知能)ベースのソリューションを実証する無数の査読論文があるが、臨床的な影響はほとんどない。 新型コロナウイルスのパンデミックにおける人工知能の影響は、モデルの透明性の欠如によって大幅に制限された。 この系統的なレビューでは、パンデミックにおける説明可能な人工知能(XAI)の使用と、実際の成功への障壁を克服する方法について検討する。 XAIを成功させることで、モデルの性能を改善し、エンドユーザに信頼を与え、ユーザの意思決定に影響を与えるのに必要な価値を提供する。 我々は,一般的なXAI技術,その実用性,アプリケーションの具体的な例について紹介する。 また,AIに基づく臨床意思決定支援システムの価値を最大化するための重要なステップとして,XAI結果の評価も議論されている。 我々は,新しいXAI技術の進化を解明するために,XAIの古典的,近代的,将来的な動向を説明する。 最後に、最近の出版物がサポートする実験的な設計プロセス中に提案のチェックリストを提供する。 aiソリューションの実装における一般的な課題は、潜在的なソリューションの具体例で対処される。 このレビューが、将来のAIベースのソリューションの臨床的影響を改善するためのガイドになることを期待している。

Despite the myriad peer-reviewed papers demonstrating novel Artificial Intelligence (AI)-based solutions to COVID-19 challenges during the pandemic, few have made significant clinical impact. The impact of artificial intelligence during the COVID-19 pandemic was greatly limited by lack of model transparency. This systematic review examines the use of Explainable Artificial Intelligence (XAI) during the pandemic and how its use could overcome barriers to real-world success. We find that successful use of XAI can improve model performance, instill trust in the end-user, and provide the value needed to affect user decision-making. We introduce the reader to common XAI techniques, their utility, and specific examples of their application. Evaluation of XAI results is also discussed as an important step to maximize the value of AI-based clinical decision support systems. We illustrate the classical, modern, and potential future trends of XAI to elucidate the evolution of novel XAI techniques. Finally, we provide a checklist of suggestions during the experimental design process supported by recent publications. Common challenges during the implementation of AI solutions are also addressed with specific examples of potential solutions. We hope this review may serve as a guide to improve the clinical impact of future AI-based solutions.
翻訳日:2021-12-28 12:16:59 公開日:2021-12-25