このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス(CC 0, CC BY, CC BY-SA)の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。(arxivのメタデータは CC 0です。) 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。

本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。

公開日が20201227となっている論文です。

PDF登録状況(公開日: 20201227)

TitleAuthorsAbstract論文公表日・翻訳日
# ネスト付き名前付きエンティティ認識のための境界回帰モデル

A Boundary Regression Model for Nested Named Entity Recognition ( http://arxiv.org/abs/2011.14330v2 )

ライセンス: Link先を確認
Yanping Chen, Lefei Wu, Liyuan Deng, Yongbin Qing, Ruizhang Huang, Qinghua Zheng, Ping Chen(参考訳) 名前付きエンティティ(NE)の認識は、文中のNE候補のクラスタグを予測する分類問題として一般的に行われる。 浅い構造では、分類された特徴は予測をサポートするために重み付けされる。 ニューラルネットワークの最近の進歩は、特徴を連続表現に分類する深い構造を採用している。 このアプローチは、高階抽象的セマンティック情報で飽和した高密度空間を広げ、予測は分散特徴表現に基づいて行われる。 本稿では,文中のNEを見つけるために回帰演算を導入する。 このアプローチでは、ディープネットワークはまず入力文を再帰的特徴マップに変換するように設計されている。 境界ボックスは機能マップから生成され、ボックスはne候補の抽象表現である。 クラスタグに加えて、各バウンディングボックスには、スタート位置とne候補の長さを示す2つのパラメータがある。 トレーニングプロセスでは、境界ボックスと真のNEとの間の位置オフセットを学習し、位置損失を最小限に抑える。 このモチベーションに基づいて、多目的学習フレームワークは、エンティティを同時に特定し、クラス確率を予測するように設計されている。 同定と予測のためのパラメータを共有することで、フレームワークは注釈付きデータを最大限に活用し、より強力な非線形関数近似子によりモデルの識別性を高めることができる。 実験はネストされた名前付きエンティティの最先端のパフォーマンスを示す。\footnote{our codes will be available at \url{https://github.com/w uyuefei3/br}}。

Recognizing named entities (NEs) is commonly conducted as a classification problem that predicts a class tag for an NE candidate in a sentence. In shallow structures, categorized features are weighted to support the prediction. Recent developments in neural networks have adopted deep structures that map categorized features into continuous representations. This approach unfolds a dense space saturated with high-order abstract semantic information, where the prediction is based on distributed feature representations. In this paper, the regression operation is introduced to locate NEs in a sentence. In this approach, a deep network is first designed to transform an input sentence into recurrent feature maps. Bounding boxes are generated from the feature maps, where a box is an abstract representation of an NE candidate. In addition to the class tag, each bounding box has two parameters denoting the start position and the length of an NE candidate. In the training process, the location offset between a bounding box and a true NE are learned to minimize the location loss. Based on this motivation, a multiobjective learning framework is designed to simultaneously locate entities and predict the class probability. By sharing parameters for locating and predicting, the framework can take full advantage of annotated data and enable more potent nonlinear function approximators to enhance model discriminability. Experiments demonstrate state-of-the-art performance for nested named entities\footnote{Our codes will be available at: \url{https://github.com/w uyuefei3/BR}}.
翻訳日:2021-06-07 09:08:37 公開日:2020-12-27
# (参考訳) 注意強制ネットワークによるデジタル病理画像の高精度セルセグメンテーション [全文訳有]

Accurate Cell Segmentation in Digital Pathology Images via Attention Enforced Networks ( http://arxiv.org/abs/2012.07237v2 )

ライセンス: CC BY 4.0
Muyi Sun, Zeyi Yao, Guanhong Zhang(参考訳) 自動細胞セグメンテーションは、乳がんの検出やグレーディングなどのコンピュータ支援診断(CAD)のパイプラインにおいて重要なステップである。 正確な細胞分割は、病理学者がより正確な診断を行うのを助けるだけでなく、多くの時間と労力を節約できる。 しかし、このタスクは、染色の変化、細胞不均一な強度、背景の散乱、異なる組織からの細胞に悩まされる。 これらの問題に対処するため,空間的注意モジュールとチャネル注意モジュールをベースとして,グローバルな依存関係と重み付きチャネルを適応的に統合するアテンション強化ネットワーク(AENet)を提案する。 さらに,高レベル・低レベルの特徴を橋渡しする機能融合分岐を導入する。 最後に, 予測セグメンテーションマップを後処理し, フラグメント領域を減らすために, マーカー制御型流域アルゴリズムを適用した。 実験段階では, 染色変化問題に対処するために, 個々の色正規化法を提案する。 このモデルをMoNuSegデータセット上で評価する。 いくつかの先行手法に対する定量的比較は、我々のアプローチの優位性を示している。

Automatic cell segmentation is an essential step in the pipeline of computer-aided diagnosis (CAD), such as the detection and grading of breast cancer. Accurate segmentation of cells can not only assist the pathologists to make a more precise diagnosis, but also save much time and labor. However, this task suffers from stain variation, cell inhomogeneous intensities, background clutters and cells from different tissues. To address these issues, we propose an Attention Enforced Network (AENet), which is built on spatial attention module and channel attention module, to integrate local features with global dependencies and weight effective channels adaptively. Besides, we introduce a feature fusion branch to bridge high-level and low-level features. Finally, the marker controlled watershed algorithm is applied to post-process the predicted segmentation maps for reducing the fragmented regions. In the test stage, we present an individual color normalization method to deal with the stain variation problem. We evaluate this model on the MoNuSeg dataset. The quantitative comparisons against several prior methods demonstrate the superiority of our approach.
翻訳日:2021-05-09 09:36:03 公開日:2020-12-27
# (参考訳) ccml : ノイズマルチラベルを用いた遠隔センシング画像分類のための新しい協調学習モデル [全文訳有]

CCML: A Novel Collaborative Learning Model for Classification of Remote Sensing Images with Noisy Multi-Labels ( http://arxiv.org/abs/2012.10715v2 )

ライセンス: CC BY 4.0
Ahmet Kerem Aksoy, Mahdyar Ravanbakhsh, Tristan Kreuziger, Begum Demir(参考訳) リモートセンシング(rs)画像の高精度マルチラベル分類法(mlc)の開発は、rsにおける最も重要な研究課題の一つである。 深層畳み込みニューラルネットワーク(Deep Convolutional Neural Networks, CNN)に基づく手法は、RS MLC問題において大幅な性能向上を引き起こし、複数のランドカバークラスラベルに注釈付けされた多数の信頼性のあるトレーニング画像を必要とする。 このようなデータの収集には時間と費用がかかります。 この問題に対処するために、騒がしいラベルを含む公開のテーマ製品は、ゼロラベルコストでrsイメージに注釈を付けるのに使うことができる。 しかし、マルチラベルノイズ(誤りやラベルアノテーションの欠如)は、MLCアルゴリズムの学習過程を歪め、不正確な予測をもたらす。 ラベルノイズの検出と補正は、特に複数のラベルのシナリオにおいて難しい課題であり、各画像は複数のラベルに関連付けられる。 そこで本研究では,cnnモデルの学習段階でのマルチラベル雑音の悪影響を軽減するための,コンセンサス協調型マルチラベル学習(ccml)手法を提案する。 CCMLは、1) group lasso module; 2)disrepancy module; 3) flipping module; and 4) swap moduleという4つの主要なモジュールに基づいて、RSイメージ内のノイズの多いマルチラベルを識別、ランク付け、修正する。 グループラッソモジュールのタスクは、多ラベルのトレーニング画像に割り当てられた潜在的ノイズラベルを検出することであり、この不一致モジュールは、同一の予測を得ながら、2つの協調ネットワークが多様な特徴を学習することを保証する。 スワップモジュールタスクは2つのネットワーク間のランキング情報を交換することを目的としているが、フリップモジュールは特定されたノイズのマルチラベルを修正するように設計されている。 私たちのコードはオンラインで公開されている。

The development of accurate methods for multi-label classification (MLC) of remote sensing (RS) images is one of the most important research topics in RS. Deep Convolutional Neural Networks (CNNs) based methods have triggered substantial performance gains in RS MLC problems, requiring a large number of reliable training images annotated by multiple land-cover class labels. Collecting such data is time-consuming and costly. To address this problem, the publicly available thematic products, which can include noisy labels, can be used for annotating RS images with zero-labeling cost. However, multi-label noise (which can be associated with wrong as well as missing label annotations) can distort the learning process of the MLC algorithm, resulting in inaccurate predictions. The detection and correction of label noise are challenging tasks, especially in a multi-label scenario, where each image can be associated with more than one label. To address this problem, we propose a novel Consensual Collaborative Multi-Label Learning (CCML) method to alleviate the adverse effects of multi-label noise during the training phase of the CNN model. CCML identifies, ranks, and corrects noisy multi-labels in RS images based on four main modules: 1) group lasso module; 2) discrepancy module; 3) flipping module; and 4) swap module. The task of the group lasso module is to detect the potentially noisy labels assigned to the multi-labeled training images, and the discrepancy module ensures that the two collaborative networks learn diverse features, while obtaining the same predictions. The flipping module is designed to correct the identified noisy multi-labels, while the swap module task is devoted to exchanging the ranking information between two networks. Our code is publicly available online: http://www.noisy-lab els-in-rs.org
翻訳日:2021-05-01 14:06:44 公開日:2020-12-27
# 抽象的議論の次数的意味論:拡張型の場合

On graded semantics of abstract argumentation: Extension-based case ( http://arxiv.org/abs/2012.10592v2 )

ライセンス: Link先を確認
Lixing Tan, Zhaohui Zhu, Jinjin Zhang(参考訳) 本稿では,Grossi と Modgil の最近の研究 [1] に基づき,抽象的議論フレームワーク (AAF,略してAAF) の拡張的意味論について考察する。 まず、[1]で得られる対応する結果を一般化する別の基本補題が与えられる。 この補題は防衛関数の反復の観点からいくつかの特別な拡張を構築する上で中心的な役割を果たす。 この補題を適用すると[1]のいくつかの欠陥が修正され、様々な拡張ベースの意味論の構造的性質が与えられる。 第二に、いわゆるregred meet modulo a ultrafilterという演算子が提示される。 コンフリクトフリー、許容可能、完全、安定のセマンティクスを含む、AFの基本セマンティクスは、この演算子の下で閉じられている。 この事実に基づいて、範囲関連セマンティクスのファミリーの普遍的定義可能性を確立するための簡潔で均一な証明方法を提案する。 第3に、モデル理論のツールを用いて、縮小されたミートモジュロ任意の超フィルタの下で閉じた拡張ベースの意味論のクラスを特徴付け、範囲関連意味論の普遍的定義可能性に関するメタセオラムをもたらす。 最後に、範囲関連意味論の他に、従来のaafの意味論の段階的変種(例えば、理想意味論、意欲的意味論など)についても考察する。

Based on Grossi and Modgil's recent work [1], this paper considers some issues on extension-based semantics for abstract argumentation framework (AAF, for short). First, an alternative fundamental lemma is given, which generalizes the corresponding result obtained in [1]. This lemma plays a central role in constructing some special extensions in terms of iterations of the defense function. Applying this lemma, some flaws in [1] are corrected and a number of structural properties of various extension-based semantics are given. Second, the operator so-called reduced meet modulo an ultrafilter is presented. A number of fundamental semantics for AAF, including conflict-free, admissible, complete and stable semantics, are shown to be closed under this operator. Based on this fact, we provide a concise and uniform proof method to establish the universal definability of a family of range related semantics. Thirdly, using model-theoretical tools, we characterize the class of extension-based semantics that is closed under reduced meet modulo any ultrafilter, which brings us a metatheorem concerning the universal definability of range related semantics. Finally, in addition to range related semantics, some graded variants of traditional semantics of AAF are also considered in this paper, e.g., ideal semantics, eager semantics, etc.
翻訳日:2021-05-01 11:13:04 公開日:2020-12-27
# (参考訳) パーソナライズド価格の公平性, 福祉性, 公平性 [全文訳有]

Fairness, Welfare, and Equity in Personalized Pricing ( http://arxiv.org/abs/2012.11066v2 )

ライセンス: CC BY 4.0
Nathan Kallus, Angela Zhou(参考訳) 顧客特性に基づくパーソナライズ価格における公平性、福祉、株式の配慮の相互作用について検討する。 販売業者は、共変量に基づく需要条件の予測モデルに基づく価格パーソナライズを、カスタマイズされた利率の設定、消費者商品のターゲット割引、ワクチンやベッドネットのようなポジティブな外部性のある不足資源のパーソナライズされた助成金などに基づいて行うことができるようになっている。 これらの異なる応用分野は、消費者に対する価格負担、価格帯、企業収益、良質で平等なアクセスへのアクセス、そして利益が利害の下流の結果にさらに影響を及ぼす場合の分配的結果など、様々な目的に対する公正性、福祉、株式に関する様々な懸念を引き起こす可能性がある。 我々は、これらの異なる規範的考察を解き放つために包括的な文献レビューを行い、数学的定義を持つ異なる目的の分類法を提案する。 我々は,二元フィードバックによって無視されるか,明らかな選好の解釈に関する行動上の懸念を過小評価するため不明確な評価分布へのアクセスを想定しない観察的指標に注目した。 商品供給のパーソナライズ価格設定において、「三つのボトムライン」を達成することで、価格最適化が不明確な利益をもたらす可能性について論じる: パーソナライズ価格によりアクセスが拡大し、不均一な効用による福祉が向上し、収益や予算利用が向上する可能性がある。 我々は、選択ワクチンの価格補助金と、マイクロクレジットの下流結果に対するパーソナライズされた利率の影響の2つの設定において、パーソナライズされた価格の潜在的利点を実証的に示す。

We study the interplay of fairness, welfare, and equity considerations in personalized pricing based on customer features. Sellers are increasingly able to conduct price personalization based on predictive modeling of demand conditional on covariates: setting customized interest rates, targeted discounts of consumer goods, and personalized subsidies of scarce resources with positive externalities like vaccines and bed nets. These different application areas may lead to different concerns around fairness, welfare, and equity on different objectives: price burdens on consumers, price envy, firm revenue, access to a good, equal access, and distributional consequences when the good in question further impacts downstream outcomes of interest. We conduct a comprehensive literature review in order to disentangle these different normative considerations and propose a taxonomy of different objectives with mathematical definitions. We focus on observational metrics that do not assume access to an underlying valuation distribution which is either unobserved due to binary feedback or ill-defined due to overriding behavioral concerns regarding interpreting revealed preferences. In the setting of personalized pricing for the provision of goods with positive benefits, we discuss how price optimization may provide unambiguous benefit by achieving a "triple bottom line": personalized pricing enables expanding access, which in turn may lead to gains in welfare due to heterogeneous utility, and improve revenue or budget utilization. We empirically demonstrate the potential benefits of personalized pricing in two settings: pricing subsidies for an elective vaccine, and the effects of personalized interest rates on downstream outcomes in microcredit.
翻訳日:2021-04-29 12:22:41 公開日:2020-12-27
# (参考訳) モチーフによるホモフィリー・ヘテロフィリーネットワーク変換の統一化 [全文訳有]

Unifying Homophily and Heterophily Network Transformation via Motifs ( http://arxiv.org/abs/2012.11400v2 )

ライセンス: CC BY 4.0
Yan Ge, Jun Ma, Li Zhang, Haiping Lu(参考訳) 高次近接(HOP)は、ノード埋め込みの品質と下流ネットワーク解析タスクの性能に大きな影響を与えるため、ほとんどのネットワーク埋め込み手法において基礎となる。 既存の HOP の定義の多くは、密接かつ高連結なノードを埋め込み空間に密に配置するホモフィリー(英語版)、あるいは、埋め込み後の遠いが構造的に類似したノードを一緒に配置するヘテロフィリー(英語版)に基づいている。 実世界のネットワークでは、どちらも共存可能であり、予測性能と解釈可能性を制限することができるのは一人だけである。 しかし、双方を考慮に入れた一般および普遍的な解は存在しない。 本稿では,ホモフィリおよびヘテロフィリ保存ネットワークトランスフォーメーション(H2NT)と呼ばれる,ホモフィリおよびヘテロフィリを柔軟に統一したHOPを捕捉するシンプルなフレームワークを提案する。 具体的には、h2ntはモチーフ表現を使用して、マイクロレベルとマクロレベルのウォークパスを介してハイブリッドな仮定でネットワークを新しいネットワークに変換する。 h2ntは、既存のネットワーク埋め込みメソッドと統合するためのエンハンサーとして、後者のメソッドを変更することなく使用できる。 H2NTはネットワークをモチーフ構造で分散化することができるため、統合時に既存のネットワーク埋め込み手法の計算効率を向上させることもできる。 ノード分類,構造的役割分類,モチーフ予測について実験を行い,最先端手法よりも優れた予測性能と計算効率を示す。 特に、DeepWalkベースのH2 NTでは、モチーフ予測の精度が24%向上し、オリジナルのDeepWalkに比べて計算時間が46%削減された。

Higher-order proximity (HOP) is fundamental for most network embedding methods due to its significant effects on the quality of node embedding and performance on downstream network analysis tasks. Most existing HOP definitions are based on either homophily to place close and highly interconnected nodes tightly in embedding space or heterophily to place distant but structurally similar nodes together after embedding. In real-world networks, both can co-exist, and thus considering only one could limit the prediction performance and interpretability. However, there is no general and universal solution that takes both into consideration. In this paper, we propose such a simple yet powerful framework called homophily and heterophliy preserving network transformation (H2NT) to capture HOP that flexibly unifies homophily and heterophily. Specifically, H2NT utilises motif representations to transform a network into a new network with a hybrid assumption via micro-level and macro-level walk paths. H2NT can be used as an enhancer to be integrated with any existing network embedding methods without requiring any changes to latter methods. Because H2NT can sparsify networks with motif structures, it can also improve the computational efficiency of existing network embedding methods when integrated. We conduct experiments on node classification, structural role classification and motif prediction to show the superior prediction performance and computational efficiency over state-of-the-art methods. In particular, DeepWalk-based H2 NT achieves 24% improvement in terms of precision on motif prediction, while reducing 46% computational time compared to the original DeepWalk.
翻訳日:2021-04-27 12:40:52 公開日:2020-12-27
# (参考訳) TicketTalk: エンドツーエンドのトランザクションベースのダイアログシステムによる人間レベルのパフォーマンスを目指して [全文訳有]

TicketTalk: Toward human-level performance with end-to-end, transaction-based dialog systems ( http://arxiv.org/abs/2012.12458v2 )

ライセンス: CC BY-SA 4.0
Bill Byrne, Karthik Krishnamoorthi, Saravanan Ganesh, Mihir Sanjay Kale(参考訳) 本稿では,トランザクションベースの対話システムに対して,音声応答品質と実測精度の観点から,ほぼ人間に近いレベルで動作する,データ駆動のエンドツーエンドアプローチを提案する。 システムの本質的な2つの構成要素は、十分に大きく多様なドメイン内ラベル付きデータセットと、言語応答とAPI呼び出し予測の両方を生成するニューラルネットワークベースの事前学習モデルである。 データに関しては、23,789の注釈付き会話を伴う映画チケット販売ダイアログデータセットであるTicketTalkを紹介する。 映画のチケットの会話は、知識ベース、談話の特徴、ターン数という観点から、完全にオープンで制限されていないものから、より構造化されたものまで様々である。 質的人間評価では、たった1万のチケットトークダイアログでトレーニングされたモデル生成応答は、86.5パーセントの確率で「意味を成す」ように評価され、同じ文脈で人間の反応とほとんど同じであった。 私たちのシンプルなAPI中心のアノテーションスキーマは、より高速でコスト効率の良いラベリングタスクをもたらします。 また、API呼び出しを正確に予測するための重要なコンポーネントでもある。 トレーニングデータにapiコールを組み込むことで、事実の接地を処理し、モデルがどのアクションを取るべきかを学習できるようにします。 同じ1万のダイアログセットでトレーニングされたこのモデルのAPIコール予測は、評価において93.9%の精度で正し、対応する人間のラベルのレーティングを上回った。 データセットサイズが5000から21,000に増加するにつれて,API予測と応答生成のスコアが向上することを示す。 我々の分析は、事前学習の利点も明らかに示している。 この論文では、トランザクションベースのダイアログの今後の作業を容易にするため、TicketTalkデータセットを公開しています。

We present a data-driven, end-to-end approach to transaction-based dialog systems that performs at near-human levels in terms of verbal response quality and factual grounding accuracy. We show that two essential components of the system produce these results: a sufficiently large and diverse, in-domain labeled dataset, and a neural network-based, pre-trained model that generates both verbal responses and API call predictions. In terms of data, we introduce TicketTalk, a movie ticketing dialog dataset with 23,789 annotated conversations. The movie ticketing conversations range from completely open-ended and unrestricted to more structured, both in terms of their knowledge base, discourse features, and number of turns. In qualitative human evaluations, model-generated responses trained on just 10,000 TicketTalk dialogs were rated to "make sense" 86.5 percent of the time, almost the same as human responses in the same contexts. Our simple, API-focused annotation schema results in a much easier labeling task making it faster and more cost effective. It is also the key component for being able to predict API calls accurately. We handle factual grounding by incorporating API calls in the training data, allowing our model to learn which actions to take and when. Trained on the same 10,000-dialog set, the model's API call predictions were rated to be correct 93.9 percent of the time in our evaluations, surpassing the ratings for the corresponding human labels. We show how API prediction and response generation scores improve as the dataset size incrementally increases from 5000 to 21,000 dialogs. Our analysis also clearly illustrates the benefits of pre-training. We are publicly releasing the TicketTalk dataset with this paper to facilitate future work on transaction-based dialogs.
翻訳日:2021-04-26 05:47:17 公開日:2020-12-27
# (参考訳) 情報システムの分類におけるグラフ理論 [全文訳有]

Graph Theory in the Classification of Information Systems ( http://arxiv.org/abs/2012.13182v2 )

ライセンス: CC0 1.0
Daniel Zentai(参考訳) リスク分類は多くの規制や基準において重要な役割を果たす。 しかし、最適分類を提供する一般的な方法はまだ提案されていない。 また、この規則では最適性の基準は定義されていない。 本稿では,この問題を説明するのに十分な数学的モデルを提案するとともに,多項式時間におけるリスク値に基づいて,グラフ頂点を分類するアルゴリズムを提案する。

Risk classification plays an important role in many regulations and standards. However, a general method that provides an optimal classification has not been proposed yet. Also, the criteria of optimality are not defined in these regulations. In this work, we will propose a mathematical model that is sufficient to describe this problem, and we also propose an algorithm that classifies graph vertices based on their risk value in polynomial time.
翻訳日:2021-04-25 15:43:23 公開日:2020-12-27
# (参考訳) 双方向LSTMを用いたfNIRSに基づく痛み評価 [全文訳有]

Pain Assessment based on fNIRS using Bidirectional LSTMs ( http://arxiv.org/abs/2012.13231v2 )

ライセンス: CC BY 4.0
Raul Fernandez Rojas, Julio Romero, Jehu Lopez-Aparicio, Keng-Liang Ou(参考訳) 話すことができない患者(非言語患者とも呼ばれる)の痛みの評価は非常に複雑であり、しばしば臨床判断によって行われる。 しかし、この方法が信頼性に乏しいのは、患者のバイタルサインが他の根底にある医療条件のために大きく変動するためである。 痛みの診断を支援する客観的診断テストは、これまで存在していない。 本研究では,機能的近赤外分光法(fNIRS)と深層学習を用いたヒトの痛み評価法を提案する。 本研究の目的は、深層学習を用いてfNIRS生データから特徴を自動的に学習し、手作り特徴の設計に必要な主観性とドメイン知識のレベルを下げることである。 4つのディープラーニングモデル、多層パーセプトロン(MLP)、前後長短期記憶ネットワーク(LSTM)、双方向LSTMを評価した。 その結果、Bi-LSTMモデルは他の3モデルよりも高い精度(90.6%)で高速であった。 これらの結果は, 神経画像を用いた痛み評価の知識を発達させ, 自己報告できない患者に利益をもたらすヒトの痛みの生理的診断に一歩近づいた。

Assessing pain in patients unable to speak (also called non-verbal patients) is extremely complicated and often is done by clinical judgement. However, this method is not reliable since patients vital signs can fluctuate significantly due to other underlying medical conditions. No objective diagnosis test exists to date that can assist medical practitioners in the diagnosis of pain. In this study we propose the use of functional near-infrared spectroscopy (fNIRS) and deep learning for the assessment of human pain. The aim of this study is to explore the use deep learning to automatically learn features from fNIRS raw data to reduce the level of subjectivity and domain knowledge required in the design of hand-crafted features. Four deep learning models were evaluated, multilayer perceptron (MLP), forward and backward long short-term memory net-works (LSTM), and bidirectional LSTM. The results showed that the Bi-LSTM model achieved the highest accuracy (90.6%)and faster than the other three models. These results advance knowledge in pain assessment using neuroimaging as a method of diagnosis and represent a step closer to developing a physiologically based diagnosis of human pain that will benefit vulnerable populations who cannot self-report pain.
翻訳日:2021-04-25 14:34:29 公開日:2020-12-27
# 文ベースモデル非依存NLP解釈可能性

Sentence-Based Model Agnostic NLP Interpretability ( http://arxiv.org/abs/2012.13189v2 )

ライセンス: Link先を確認
Yves Rychener, Xavier Renard, Djam\'e Seddah, Pascal Frossard, Marcin Detyniecki(参考訳) 今日、LIMEやSHAPのようなサロゲートに基づくブラックボックス自然言語処理(NLP)モデルの解釈可能性では、単語ベースのサンプリングを使用して説明を構築している。 本稿では,NLPの解釈可能性に対する文の利用について検討する。 この選択はまっすぐに思えるかもしれないが、bertのような複雑な分類器を使用すると、単語ベースのアプローチは計算の複雑さだけでなく、分散サンプリングの欠如も問題を引き起こし、最終的に確立されていない説明につながる。 文を用いることで、修正されたテキストは分散のままであり、同じ計算複雑性でブラックボックスへの忠実性を高めるために問題の次元が減少する。

Today, interpretability of Black-Box Natural Language Processing (NLP) models based on surrogates, like LIME or SHAP, uses word-based sampling to build the explanations. In this paper we explore the use of sentences to tackle NLP interpretability. While this choice may seem straight forward, we show that, when using complex classifiers like BERT, the word-based approach raises issues not only of computational complexity, but also of an out of distribution sampling, eventually leading to non founded explanations. By using sentences, the altered text remains in-distribution and the dimensionality of the problem is reduced for better fidelity to the black-box at comparable computational complexity.
翻訳日:2021-04-25 08:26:08 公開日:2020-12-27
# QUICKIE: 地上の真実を解説したNLP分類タスク

QUACKIE: A NLP Classification Task With Ground Truth Explanations ( http://arxiv.org/abs/2012.13190v2 )

ライセンス: Link先を確認
Yves Rychener, Xavier Renard, Djam\'e Seddah, Pascal Frossard, Marcin Detyniecki(参考訳) NLP解釈可能性は、モデル予測における信頼を高めることを目的としている。 これにより、解釈可能性の評価がプレッシャー問題になる。 nlpの解釈性を評価するデータセットは複数存在するが、人間に提供された根拠の真理への依存は、その不偏性に関する疑問を提起する。 本研究では,質問応答データセットを分散させることにより,異なるアプローチで特定の分類タスクを定式化する。 このカスタム分類タスクでは、解釈可能性の基盤は分類問題の定義から直接生じる。 我々は,この手法を用いて,NLPの解釈可能性に関する今後の研究の基盤となるベンチマークを提案し,技術手法の幅広い現状を評価する。

NLP Interpretability aims to increase trust in model predictions. This makes evaluating interpretability approaches a pressing issue. There are multiple datasets for evaluating NLP Interpretability, but their dependence on human provided ground truths raises questions about their unbiasedness. In this work, we take a different approach and formulate a specific classification task by diverting question-answering datasets. For this custom classification task, the interpretability ground-truth arises directly from the definition of the classification problem. We use this method to propose a benchmark and lay the groundwork for future research in NLP interpretability by evaluating a wide range of current state of the art methods.
翻訳日:2021-04-25 08:25:55 公開日:2020-12-27
# (参考訳) 変圧器の属性に対する挿入情報 [全文訳有]

Inserting Information Bottlenecks for Attribution in Transformers ( http://arxiv.org/abs/2012.13838v1 )

ライセンス: CC BY 4.0
Zhiying Jiang, Raphael Tang, Ji Xin, Jimmy Lin(参考訳) 事前訓練されたトランスフォーマーは自然言語処理のタスクにまたがる芸術の状態を達成し、研究者が内部のメカニズムを調査する動機となる。 一般的な方向性の1つは、予測に重要な機能を理解することである。 本稿では,ブラックボックスモデル上での予測のために,各特徴の帰属分析に情報ボトルネックを適用する。 BERTを例として用いて,定量的かつ定性的にアプローチを評価する。 本手法の有効性を帰属性の観点から示し,情報がどのように層を流れるのかを考察する。 本手法は, 4つのデータセットの劣化試験において, 2つの競合手法より優れていることを示す。 コードはhttps://github.com/b azingagin/IBA.comで入手できる。

Pretrained transformers achieve the state of the art across tasks in natural language processing, motivating researchers to investigate their inner mechanisms. One common direction is to understand what features are important for prediction. In this paper, we apply information bottlenecks to analyze the attribution of each feature for prediction on a black-box model. We use BERT as the example and evaluate our approach both quantitatively and qualitatively. We show the effectiveness of our method in terms of attribution and the ability to provide insight into how information flows through layers. We demonstrate that our technique outperforms two competitive methods in degradation tests on four datasets. Code is available at https://github.com/b azingagin/IBA.
翻訳日:2021-04-25 00:48:33 公開日:2020-12-27
# (参考訳) SparsePipe: 3Dポイントクラウドのための並列ディープラーニング [全文訳有]

SparsePipe: Parallel Deep Learning for 3D Point Clouds ( http://arxiv.org/abs/2012.13846v1 )

ライセンス: CC BY 4.0
Keke Zhai, Pan He, Tania Banerjee, Anand Rangarajan, and Sanjay Ranka(参考訳) SparsePipeは,マルチGPUトレーニングによる3Dポイントクラウド処理のための,効率的かつ非同期な並列処理手法である。 SparsePipeは、ポイントクラウドなどの3Dスパースデータをサポートするために構築されている。 これは、表現力のある高次元畳み込みニューラルネットワークを構築するために、スパーステンソル表現の一般化畳み込みを採用することで実現される。 密度の高いソリューションと比較して、新しいモデルは不規則な点雲を、空間全体を密にすべることなく効率的に処理することができ、メモリ要件を大幅に削減し、基礎となる3dボリュームの解像度を高め、パフォーマンスを向上させることができる。 sparsepipeは、入力データを複数のプロセッサに分割するバッチ内並列処理を利用して、バッチ間パイプラインによるトレーニングスループットを改善し、通信とコンピューティングを重複させる。 さらに、gpuが異種である場合のモデルを適切に分割するので、計算の負荷バランスと通信オーバーヘッドの低減が図れる。 8GPUプラットフォーム上での実験結果から,SparsePipeは高密度ソリューションと比較して,トレーニングと推論の両方において,現在のポイントクラウドベンチマークで効率よく並列化し,パフォーマンスを向上させることができることを示す。

We propose SparsePipe, an efficient and asynchronous parallelism approach for handling 3D point clouds with multi-GPU training. SparsePipe is built to support 3D sparse data such as point clouds. It achieves this by adopting generalized convolutions with sparse tensor representation to build expressive high-dimensional convolutional neural networks. Compared to dense solutions, the new models can efficiently process irregular point clouds without densely sliding over the entire space, significantly reducing the memory requirements and allowing higher resolutions of the underlying 3D volumes for better performance. SparsePipe exploits intra-batch parallelism that partitions input data into multiple processors and further improves the training throughput with inter-batch pipelining to overlap communication and computing. Besides, it suitably partitions the model when the GPUs are heterogeneous such that the computing is load-balanced with reduced communication overhead. Using experimental results on an eight-GPU platform, we show that SparsePipe can parallelize effectively and obtain better performance on current point cloud benchmarks for both training and inference, compared to its dense solutions.
翻訳日:2021-04-25 00:36:10 公開日:2020-12-27
# (参考訳) 力学系におけるニューラルクロージャモデル

Neural Closure Models for Dynamical Systems ( http://arxiv.org/abs/2012.13869v1 )

ライセンス: CC BY 4.0
Abhinav Gupta and Pierre F.J. Lermusiaux(参考訳) 複雑な力学系は多くの応用において予測に使用される。 計算コストのため、モデルはしばしば切り詰められ、粗くなり、集約される。 無視され未解決な条件と解決された条件との相互作用が重要になるにつれて、モデル予測の有用性が低下する。 低忠実度モデルの非マルコフ閉包パラメータ化を高忠実度シミュレーションのデータを用いて学習するための新しい汎用的・厳密な手法を開発した。 ニューラルクロージャモデル」は、モリ・ズワンジグの定式化と自然力学系の固有遅延によって動機付けられた、神経遅延微分方程式(nDDE)を用いた低忠実度モデルを強化する。 ニューラルクロージャが低次モデルにおける停止モードを効率的に考慮し、粗いモデルにおけるサブグリッドスケールプロセスの効果を捉え、複雑な生化学モデルの単純化を促進することを実証する。 マルコフ閉包に非マルコフ閉包を用いることで、長期的精度が向上し、ネットワークが小さくなることを示す。 新しい離散分散nddesを効率的に実装するために必要となる随伴方程式導出とネットワークアーキテクチャを提供する。 閉包モデルにおける離散的分散遅延の性能を情報理論を用いて説明し、特定のアーキテクチャにおいて最適な過去の情報量を観察した。 最後に,計算複雑性を分析し,ニューラルクロージャモデルによる追加コストの制限を説明する。

Complex dynamical systems are used for predictions in many applications. Because of computational costs, models are however often truncated, coarsened, or aggregated. As the neglected and unresolved terms along with their interactions with the resolved ones become important, the usefulness of model predictions diminishes. We develop a novel, versatile, and rigorous methodology to learn non-Markovian closure parameterizations for low-fidelity models using data from high-fidelity simulations. The new "neural closure models" augment low-fidelity models with neural delay differential equations (nDDEs), motivated by the Mori-Zwanzig formulation and the inherent delays in natural dynamical systems. We demonstrate that neural closures efficiently account for truncated modes in reduced-order-models , capture the effects of subgrid-scale processes in coarse models, and augment the simplification of complex biochemical models. We show that using non-Markovian over Markovian closures improves long-term accuracy and requires smaller networks. We provide adjoint equation derivations and network architectures needed to efficiently implement the new discrete and distributed nDDEs. The performance of discrete over distributed delays in closure models is explained using information theory, and we observe an optimal amount of past information for a specified architecture. Finally, we analyze computational complexity and explain the limited additional cost due to neural closure models.
翻訳日:2021-04-25 00:14:12 公開日:2020-12-27
# (参考訳) オンライン広告におけるユーザモデリングのためのマルチチャネルシーケンシャル行動ネットワーク [全文訳有]

Multi-Channel Sequential Behavior Networks for User Modeling in Online Advertising ( http://arxiv.org/abs/2012.15728v1 )

ライセンス: CC BY 4.0
Iyad Batal and Akshay Soni(参考訳) 複数のコンテンツプロバイダは、ページのオーガニックコンテンツに広告を配置することで、収益のためにネイティブ広告に頼っている。 この設定を `queryless' と呼び、ユーザーが検索クエリを提出して関連する広告を取得する検索広告と区別する。 関連する広告はユーザー体験を改善し、広告主に価値あるクリックを届ける可能性を高めるので、ユーザーの意図を理解することは重要です。 本稿では,ユーザと広告を関連性を評価可能な意味空間に埋め込むための深層学習手法であるマルチチャネルシーケンシャル行動ネットワーク(mc-sbn)を提案する。 提案するユーザエンコーダアーキテクチャでは,過去の検索クエリや訪問ページ,クリックした広告など,複数の入力チャネルからのユーザアクティビティをユーザベクトルにまとめる。 複数のRNNを使用して、異なるチャネルからイベントセッションのシーケンスをエンコードし、ユーザ表現を作成するためにアテンションメカニズムを適用する。 当社のアプローチの重要な特性は,ユーザベクトルのメンテナンスと更新が段階的に可能であることです。 実世界のデータセットに関する広範な実験を行う。 その結果,mc-sbnは関連する広告のランク付けを改善し,クエリレスネイティブ広告におけるクリック予測とコンバージョン予測の両方のパフォーマンスを向上させることができた。

Multiple content providers rely on native advertisement for revenue by placing ads within the organic content of their pages. We refer to this setting as ``queryless'' to differentiate from search advertisement where a user submits a search query and gets back related ads. Understanding user intent is critical because relevant ads improve user experience and increase the likelihood of delivering clicks that have value to our advertisers. This paper presents Multi-Channel Sequential Behavior Network (MC-SBN), a deep learning approach for embedding users and ads in a semantic space in which relevance can be evaluated. Our proposed user encoder architecture summarizes user activities from multiple input channels--such as previous search queries, visited pages, or clicked ads--into a user vector. It uses multiple RNNs to encode sequences of event sessions from the different channels and then applies an attention mechanism to create the user representation. A key property of our approach is that user vectors can be maintained and updated incrementally, which makes it feasible to be deployed for large-scale serving. We conduct extensive experiments on real-world datasets. The results demonstrate that MC-SBN can improve the ranking of relevant ads and boost the performance of both click prediction and conversion prediction in the queryless native advertising setting.
翻訳日:2021-04-25 00:13:08 公開日:2020-12-27
# (参考訳) ARBERT & MARBERT:アラビア語用双方向変換器 [全文訳有]

ARBERT & MARBERT: Deep Bidirectional Transformers for Arabic ( http://arxiv.org/abs/2101.01785v1 )

ライセンス: CC BY 4.0
Muhammad Abdul-Mageed, AbdelRahim Elmadany, El Moatez Billah Nagoudi(参考訳) マスケッド言語モデル(MLM)は多くの自然言語処理システムにおいて不可欠な部分となっている。 多言語MLMは、多くの言語を提供するために導入されたが、これらには、事前訓練されている英語以外のデータのサイズと多様性に関する制限がある。 本研究では、アラビア語におけるこれらの問題を、既存のモデルよりも優れた性能を持つ2つの強力な双方向トランスフォーマーモデル、ARBERTとMARBERTを導入することで改善する。 本モデルを評価するために,多言語アラビア語理解のための新しいベンチマークArBenchを提案する。 ArBenchは5つのタスク/タスククラスタを対象とした41のデータセットを使用して構築されています。 ArBenchで微調整された場合、ArBERTとMARBERTは、41データセット(%82.22)の45の分類タスクのうち37の領域で、mBERT、XLM-R(Base and Large)、AraBERTといった既存のモデルと比較して大きなマージンを持つ新しいSOTAを達成する。 私たちのモデルは研究用に公開されています。

Masked language models (MLM) have become an integral part of many natural language processing systems. Although multilingual MLMs have been introduced to serve many languages, these have limitations as to their capacity and the size and diversity of non-English data they are pre-trained on. In this work, we remedy these issues for Arabic by introducing two powerful deep bidirectional transformer-based models, ARBERT and MARBERT, that have superior performance to all existing models. To evaluate our models, we propose ArBench, a new benchmark for multi-dialectal Arabic language understanding. ArBench is built using 41 datasets targeting 5 different tasks/task clusters, allowing us to offer a series of standardized experiments under rich conditions. When fine-tuned on ArBench, ARBERT and MARBERT collectively achieve new SOTA with sizeable margins compared to all existing models such as mBERT, XLM-R (Base and Large), and AraBERT on 37 out of 45 classification tasks on the 41 datasets (%82.22). Our models are publicly available for research.
翻訳日:2021-04-24 23:58:49 公開日:2020-12-27
# (参考訳) 感染拡大予測のための空間-時間畳み込みネットワーク [全文訳有]

Spatial-Temporal Convolutional Network for Spread Prediction of COVID-19 ( http://arxiv.org/abs/2101.05304v1 )

ライセンス: CC BY 4.0
Ravid Shwartz-Ziv, Itamar Ben Ari and Amitai Armon(参考訳) 本研究では,過去報告された症状を考慮に入れた地域別covid-19関連症状予測のための空間-時間的畳み込みニューラルネットワークを提案する。 これにより、各地域における将来のCovid-19患者の数を近似することができ、例えば、地元の病院を準備したり、必要に応じて局所的なロックダウンを宣言したりといったより迅速な対応が可能になる。 本モデルは,イスラエルに分布する全国的症状調査に基づいて,毎日各地域で症状の重症度を予測する。 モデルには,(1)学習領域ベースアンケート応答者プロファイルと(2)症状進行予測のための空間-時間的3次元畳み込みニューラルネットワークの2つの主成分が含まれている。

In this work we present a spatial-temporal convolutional neural network for predicting future COVID-19 related symptoms severity among a population, per region, given its past reported symptoms. This can help approximate the number of future Covid-19 patients in each region, thus enabling a faster response, e.g., preparing the local hospital or declaring a local lockdown where necessary. Our model is based on a national symptom survey distributed in Israel and can predict symptoms severity for different regions daily. The model includes two main parts - (1) learned region-based survey responders profiles used for aggregating questionnaires data into features (2) Spatial-Temporal 3D convolutional neural network which uses the above features to predict symptoms progression.
翻訳日:2021-04-24 23:18:04 公開日:2020-12-27
# (参考訳) CostVolume Networkを用いたライダーとカメラの自己校正 [全文訳有]

Lidar and Camera Self-Calibration using CostVolume Network ( http://arxiv.org/abs/2012.13901v1 )

ライセンス: CC BY 4.0
Xudong Lv, Boya Wang, Dong Ye, Shuo Wang(参考訳) 本稿では,光検出・照準(LiDAR)とカメラセンサのためのオンライン自己校正手法を提案する。 RGB画像の特徴マップとdecalibated depth画像とを結合した従来のCNNベースの手法と比較して,PWC-Netに触発されたコストを特徴マッチングに用いる。 予測外因性キャリブレーションパラメータの滑らかなL1-Lossに加えて、追加の点雲損失が適用される。 我々は,LiDARとカメラ間の外部パラメータを直接回帰する代わりに,初期校正から地平への偏差を予測した。 推定中,反復的改良法と時間的フィルタリング法を用いることで,キャリブレーション誤差はさらに減少する。 KITTIデータセットによる評価結果は, 平均絶対校正誤差が0.297cm, 0.017{\degが最大1.5m, 20{\degの精度でCNN法よりも優れていることを示す。

In this paper, we propose a novel online self-calibration approach for Light Detection and Ranging (LiDAR) and camera sensors. Compared to the previous CNN-based methods that concatenate the feature maps of the RGB image and decalibrated depth image, we exploit the cost volume inspired by the PWC-Net for feature matching. Besides the smooth L1-Loss of the predicted extrinsic calibration parameters, an additional point cloud loss is applied. Instead of regress the extrinsic parameters between LiDAR and camera directly, we predict the decalibrated deviation from initial calibration to the ground truth. During inference, the calibration error decreases further with the usage of iterative refinement and the temporal filtering approach. The evaluation results on the KITTI dataset illustrate that our approach outperforms CNN-based state-of-the-art methods in terms of a mean absolute calibration error of 0.297cm in translation and 0.017{\deg} in rotation with miscalibration magnitudes of up to 1.5m and 20{\deg}.
翻訳日:2021-04-24 22:46:02 公開日:2020-12-27
# (参考訳) 累積相対周波数分布による意見スパム検出の改善 [全文訳有]

Improving Opinion Spam Detection by Cumulative Relative Frequency Distribution ( http://arxiv.org/abs/2012.13905v1 )

ライセンス: CC BY 4.0
Michela Fazzolari and Francesco Buccafurri and Gianluca Lax and Marinella Petrocchi(参考訳) 近年,消費者の購買判断や企業評価に影響を及ぼすため,オンラインレビューの重要性が高まっており,偽レビューを書くことは顧客やサービス提供者に深刻な影響を与える可能性がある。 オンラインレビューにおける意見スパムの検出には,特に教師付き分類器に基づく様々なアプローチが提案されている。 本稿では,意見スパムの分類に有効な特徴の集合から始め,各特徴の累積相対周波数分布を考慮し,それらを再設計する。 Yelp.comによる実データを用いた実験により,分布特性の利用により分類器の性能が向上することを示した。

Over the last years, online reviews became very important since they can influence the purchase decision of consumers and the reputation of businesses, therefore, the practice of writing fake reviews can have severe consequences on customers and service providers. Various approaches have been proposed for detecting opinion spam in online reviews, especially based on supervised classifiers. In this contribution, we start from a set of effective features used for classifying opinion spam and we re-engineered them, by considering the Cumulative Relative Frequency Distribution of each feature. By an experimental evaluation carried out on real data from Yelp.com, we show that the use of the distributional features is able to improve the performances of classifiers.
翻訳日:2021-04-24 22:31:56 公開日:2020-12-27
# (参考訳) 音声映像感情認識のための感情特徴と融合戦略の探索 [全文訳有]

Exploring Emotion Features and Fusion Strategies for Audio-Video Emotion Recognition ( http://arxiv.org/abs/2012.13912v1 )

ライセンス: CC BY 4.0
Hengshun Zhou, Debin Meng, Yuanyuan Zhang, Xiaojiang Peng, Jun Du, Kai Wang, Yu Qiao(参考訳) オーディオビデオに基づく感情認識は、ある動画を基本的な感情に分類することを目的としている。 本稿では,音声と視覚モダリティのための感情特徴と特徴融合戦略を主に研究するemotiw 2019のアプローチについて述べる。 感情特徴について,音声特徴を音声スペクトログラムとLog Mel-spectrogramで検討し,様々なCNNモデルと異なる感情事前学習戦略を用いて複数の顔特徴を評価する。 融合戦略については,重要な感情特徴を強調する注意機構の設計,特徴連結と因子化双線型プール(fbp)の探索など,モーダル内・クロスモーダル融合法を検討する。 慎重に評価すると、AFEW検証セットで65.5%、テストセットで62.48%、チャレンジで3位となる。

The audio-video based emotion recognition aims to classify a given video into basic emotions. In this paper, we describe our approaches in EmotiW 2019, which mainly explores emotion features and feature fusion strategies for audio and visual modality. For emotion features, we explore audio feature with both speech-spectrogram and Log Mel-spectrogram and evaluate several facial features with different CNN models and different emotion pretrained strategies. For fusion strategies, we explore intra-modal and cross-modal fusion methods, such as designing attention mechanisms to highlights important emotion feature, exploring feature concatenation and factorized bilinear pooling (FBP) for cross-modal feature fusion. With careful evaluation, we obtain 65.5% on the AFEW validation set and 62.48% on the test set and rank third in the challenge.
翻訳日:2021-04-24 22:14:37 公開日:2020-12-27
# (参考訳) 非参照ビデオ品質評価のための一般化空間時間深部特徴表現の学習 [全文訳有]

Learning Generalized Spatial-Temporal Deep Feature Representation for No-Reference Video Quality Assessment ( http://arxiv.org/abs/2012.13936v1 )

ライセンス: CC BY 4.0
Baoliang Chen, Lingyu Zhu, Guo Li, Hongfei Fan, and Shiqi Wang(参考訳) 本研究では,非参照ビデオ品質評価手法を提案し,クロスコンテンツ,解像度,フレームレートの予測において高次化を実現することを目的とする。 特に,空間-時間領域における効果的な特徴表現を学習することにより,映像の質を評価する。 空間領域では,解像度とコンテンツのばらつきに取り組むために,品質特性にガウス分布制約を課す。 統一分布は、異なるビデオサンプル間の領域ギャップを大幅に減らし、より一般化された品質特徴表現をもたらす。 視覚知覚のメカニズムに触発された時間次元に沿って,フレームレベルの品質を集約するために短期記憶と長期記憶を含むピラミッド時間集約モジュールを提案する。 実験により,提案手法は, クロスデータセット設定における最先端の手法よりも優れ, データベース内構成において同等の性能を示し, 提案手法の高一般化能力を示す。

In this work, we propose a no-reference video quality assessment method, aiming to achieve high-generalization capability in cross-content, -resolution and -frame rate quality prediction. In particular, we evaluate the quality of a video by learning effective feature representations in spatial-temporal domain. In the spatial domain, to tackle the resolution and content variations, we impose the Gaussian distribution constraints on the quality features. The unified distribution can significantly reduce the domain gap between different video samples, resulting in a more generalized quality feature representation. Along the temporal dimension, inspired by the mechanism of visual perception, we propose a pyramid temporal aggregation module by involving the short-term and long-term memory to aggregate the frame-level quality. Experiments show that our method outperforms the state-of-the-art methods on cross-dataset settings, and achieves comparable performance on intra-dataset configurations, demonstrating the high-generalization capability of the proposed method.
翻訳日:2021-04-24 22:06:53 公開日:2020-12-27
# (参考訳) 意味的役割ラベリングのための適応畳み込み [全文訳有]

Adaptive Convolution for Semantic Role Labeling ( http://arxiv.org/abs/2012.13939v1 )

ライセンス: CC0 1.0
Kashif Munir, Hai Zhao, Zuchao Li(参考訳) 意味的役割ラベリング(SRL)は、述語句構造を形成することによって文の意味を解明することを目的としている。 近年の研究では、構文の効果的な利用はSRLの性能を向上させることが示されている。 しかし、構文は複雑な言語的手がかりであり、SRLのような下流タスクに効果的に適用することは困難である。 本研究は既存の畳み込みネットワークに強い柔軟性をもたらす適応畳み込みを用いた構文を効果的にエンコードする。 既存のCNNはSRLの構文のような複雑な構造を符号化するのに役立ちますが、まだ欠点があります。 異なる入力に同じフィルタを使用する従来の畳み込みネットワークとは対照的に、適応畳み込みは、構文的に入力に条件付けられた適応的に生成されたフィルタを使用する。 我々は,入力特定フィルタを生成するフィルタ生成ネットワークの統合により,これを実現する。 これにより、モデルが入力内に存在する重要な構文的特徴に集中し、構文認識と構文認識のSRLシステム間のギャップを拡大する。 さらに、トレーニング可能なパラメータの観点から、SRLのフィルタ生成ネットワークのサイズを圧縮するハッシュ手法について検討する。 CoNLL-2009データセットの実験により、提案されたモデルは、英語と中国語の両方の以前のSRLシステムよりも大幅に優れていることを確認した。

Semantic role labeling (SRL) aims at elaborating the meaning of a sentence by forming a predicate-argument structure. Recent researches depicted that the effective use of syntax can improve SRL performance. However, syntax is a complicated linguistic clue and is hard to be effectively applied in a downstream task like SRL. This work effectively encodes syntax using adaptive convolution which endows strong flexibility to existing convolutional networks. The existing CNNs may help in encoding a complicated structure like syntax for SRL, but it still has shortcomings. Contrary to traditional convolutional networks that use same filters for different inputs, adaptive convolution uses adaptively generated filters conditioned on syntactically informed inputs. We achieve this with the integration of a filter generation network which generates the input specific filters. This helps the model to focus on important syntactic features present inside the input, thus enlarging the gap between syntax-aware and syntax-agnostic SRL systems. We further study a hashing technique to compress the size of the filter generation network for SRL in terms of trainable parameters. Experiments on CoNLL-2009 dataset confirm that the proposed model substantially outperforms most previous SRL systems for both English and Chinese languages
翻訳日:2021-04-24 21:46:35 公開日:2020-12-27
# (参考訳) 教師なし学習を用いたデジタル病理の全画像スライドの一般化分類

Generalized Categorisation of Digital Pathology Whole Image Slides using Unsupervised Learning ( http://arxiv.org/abs/2012.13955v1 )

ライセンス: CC BY 4.0
Mostafa Ibrahim, Kevin Bryson(参考訳) 本研究の目的は,大きな病理像を小さなタイルに分割し,そのタイルを真のラベルを知らずに別々のグループに分類することであり,腫瘍細胞と非腫瘍細胞をクラスタリングすることの難しさを示すとともに,異なる教師なしアプローチの結果を比較することは自明な作業ではないことを示すことである。 このプロジェクトはまた、デジタル病理コミュニティが使用するソフトウェアパッケージを提供しており、教師なしタイル分類を実行するために開発されたいくつかのアプローチを使用して、手動でラベル付けすることが容易である。 このプロジェクトでは、K-MeansやGaussian Mixture Modelsといった古典的なクラスタリングアルゴリズムから、Deep AutoencodersやMulti-loss Learningといったより複雑な特徴抽出技術まで、さまざまなテクニックが使用されている。 プロジェクト全体を通して,完全性スコアやクラスタプロットといったいくつかの尺度を用いて評価基準の設定を試みる。 その結果,畳み込み型オートエンコーダは,その強力な内部表現学習能力により,他の手法をわずかに上回っていることがわかった。 さらに, ガウス混合モデルでは, クラスターのキャプチャが柔軟であるため, 平均k平均よりも優れた結果が得られることを示した。 また,異なる種類の病理組織を分類することの難しさにも大きな違いがある。

This project aims to break down large pathology images into small tiles and then cluster those tiles into distinct groups without the knowledge of true labels, our analysis shows how difficult certain aspects of clustering tumorous and non-tumorous cells can be and also shows that comparing the results of different unsupervised approaches is not a trivial task. The project also provides a software package to be used by the digital pathology community, that uses some of the approaches developed to perform unsupervised unsupervised tile classification, which could then be easily manually labelled. The project uses a mixture of techniques ranging from classical clustering algorithms such as K-Means and Gaussian Mixture Models to more complicated feature extraction techniques such as deep Autoencoders and Multi-loss learning. Throughout the project, we attempt to set a benchmark for evaluation using a few measures such as completeness scores and cluster plots. Throughout our results we show that Convolutional Autoencoders manages to slightly outperform the rest of the approaches due to its powerful internal representation learning abilities. Moreover, we show that Gaussian Mixture models produce better results than K-Means on average due to its flexibility in capturing different clusters. We also show the huge difference in the difficulties of classifying different types of pathology textures.
翻訳日:2021-04-24 21:17:02 公開日:2020-12-27
# (参考訳) 極度勾配ブースティングを用いたメールスパム検出システム [全文訳有]

Effective Email Spam Detection System using Extreme Gradient Boosting ( http://arxiv.org/abs/2012.14430v1 )

ライセンス: CC BY 4.0
Ismail B. Mustapha, Shafaatunnur Hasan, Sunday O. Olatunji, Siti Mariyam Shamsuddin, Afolabi Kazeem(参考訳) 電子メールが電子デバイスユーザーに提供している人気、費用効果、情報交換の容易さは、迷惑メールやスパムメールの増加に苦しめられている。 スパムメールのフィルタリング/検出システムの研究は、この10年でますます活発になっている。 しかし、スパムメールの適応性はしばしばこれらのシステムの大半を非効率にしている。 いくつかのスパム検出モデルが文献で報告されているが、サンプルデータのアウトオブサンプルのパフォーマンスは、さらなる改善の余地を示している。 本研究で提示されたスパム検出モデルでは,スパム検出問題にほとんど注意を払わなかったxgboost(extremegradi ent boosting)に基づいたスパム検出モデルが改善されている。 実験結果から,提案手法は様々な評価指標において,従来の手法よりも優れていることがわかった。 また,従来の研究結果と比較し,モデル結果の徹底的な分析を行った。

The popularity, cost-effectiveness and ease of information exchange that electronic mails offer to electronic device users has been plagued with the rising number of unsolicited or spam emails. Driven by the need to protect email users from this growing menace, research in spam email filtering/detection systems has being increasingly active in the last decade. However, the adaptive nature of spam emails has often rendered most of these systems ineffective. While several spam detection models have been reported in literature, the reported performance on an out of sample test data shows the room for more improvement. Presented in this research is an improved spam detection model based on Extreme Gradient Boosting (XGBoost) which to the best of our knowledge has received little attention spam email detection problems. Experimental results show that the proposed model outperforms earlier approaches across a wide range of evaluation metrics. A thorough analysis of the model results in comparison to the results of earlier works is also presented.
翻訳日:2021-04-24 21:15:46 公開日:2020-12-27
# (参考訳) ドメイン拡張型教師付きコントラスト学習によるドメイン一般化(学生要約) [全文訳有]

Domain Generalisation with Domain Augmented Supervised Contrastive Learning (Student Abstract) ( http://arxiv.org/abs/2012.13973v1 )

ライセンス: CC BY 4.0
Hoang Son Le, Rini Akmeliawati, Gustavo Carneiro(参考訳) ドメイン一般化(DG)法は、トレーニングとターゲットドメインの分布にミスマッチがある場合に、ドメインシフトの問題に対処する。 データ拡張アプローチがDGの有望な代替手段として登場した。 しかし、データの増大だけでは、より低い一般化誤差を達成するには不十分である。 本研究では,データ拡張に関する問題に対処するために,データ拡張とドメイン距離最小化を組み合わせた新しい手法を提案する。 実験により,本手法はDGベンチマークのベースライン結果を上回った。

Domain generalisation (DG) methods address the problem of domain shift, when there is a mismatch between the distributions of training and target domains. Data augmentation approaches have emerged as a promising alternative for DG. However, data augmentation alone is not sufficient to achieve lower generalisation errors. This project proposes a new method that combines data augmentation and domain distance minimisation to address the problems associated with data augmentation and provide a guarantee on the learning performance, under an existing framework. Empirically, our method outperforms baseline results on DG benchmarks.
翻訳日:2021-04-24 21:06:42 公開日:2020-12-27
# (参考訳) MeDAL: 自然言語理解のための医学的省略曖昧化データセット [全文訳有]

MeDAL: Medical Abbreviation Disambiguation Dataset for Natural Language Understanding Pretraining ( http://arxiv.org/abs/2012.13978v1 )

ライセンス: CC BY 4.0
Zhi Wen, Xing Han Lu, Siva Reddy(参考訳) 臨床環境での多くのNLPメソッドの使用を禁止する最大の課題の1つは、パブリックデータセットの可用性である。 本稿では,医学領域における事前学習の自然言語理解を目的とした,略語曖昧化のための大規模医療用テキストデータセットMeDALを提案する。 このデータセット上で共通アーキテクチャのモデルをいくつか事前トレーニングし,その事前トレーニングが下流医療タスクの微調整時のパフォーマンス向上と収束速度の向上につながることを実証的に示した。

One of the biggest challenges that prohibit the use of many current NLP methods in clinical settings is the availability of public datasets. In this work, we present MeDAL, a large medical text dataset curated for abbreviation disambiguation, designed for natural language understanding pre-training in the medical domain. We pre-trained several models of common architectures on this dataset and empirically showed that such pre-training leads to improved performance and convergence speed when fine-tuning on downstream medical tasks.
翻訳日:2021-04-24 21:02:40 公開日:2020-12-27
# (参考訳) 最小コントラスト編集(MiCE)によるNLPモデルの記述 [全文訳有]

Explaining NLP Models via Minimal Contrastive Editing (MiCE) ( http://arxiv.org/abs/2012.13985v1 )

ライセンス: CC BY 4.0
Alexis Ross, Ana Marasovi\'c, Matthew E. Peters(参考訳) 人間は、観察された出来事が、他のカウンターファクトイベント(コントラストケース)よりもむしろ起こった理由を説明する対照的な説明をする。 コントラシティーは人々が説明を生成・評価する上で重要な役割を担っているが、この性質はNLPモデルを説明するための現在の手法にはほとんど欠落している。 本研究では,モデルをコントラストケースに出力する入力に対して,モデル予測のコントラスト的説明を編集形式で生成する手法であるminimum contrastive editing (mice)を提案する。 バイナリ感情分類、トピック分類、複数選択質問応答という3つのタスクにわたる実験は、MiCEがコントラストのあるだけでなく、最小限の、人間のコントラストのある編集と整合した編集を生成することができることを示している。 NLPシステム開発における2つのユースケース -- データセットのアーティファクトの発見と誤ったモデル予測のデバッグ -- にMiCE編集をどのように使用できるかを示し、対照的な説明を生成することがモデル解釈可能性のための有望な研究方向であることを示す。

Humans give contrastive explanations that explain why an observed event happened rather than some other counterfactual event (the contrast case). Despite the important role that contrastivity plays in how people generate and evaluate explanations, this property is largely missing from current methods for explaining NLP models. We present Minimal Contrastive Editing (MiCE), a method for generating contrastive explanations of model predictions in the form of edits to inputs that change model outputs to the contrast case. Our experiments across three tasks -- binary sentiment classification, topic classification, and multiple-choice question answering -- show that MiCE is able to produce edits that are not only contrastive, but also minimal and fluent, consistent with human contrastive edits. We demonstrate how MiCE edits can be used for two use cases in NLP system development -- uncovering dataset artifacts and debugging incorrect model predictions -- and thereby illustrate that generating contrastive explanations is a promising research direction for model interpretability.
翻訳日:2021-04-24 20:53:43 公開日:2020-12-27
# (参考訳) アドホック情報検索のためのニューラル文書拡張 [全文訳有]

Neural document expansion for ad-hoc information retrieval ( http://arxiv.org/abs/2012.14005v1 )

ライセンス: CC BY 4.0
Cheng Tang, Andrew Arnold(参考訳) 最近nogueiraとal。 [2019] は,ニューラルSeq2Seqモデルに基づく文書拡張のための新しい手法を提案し,短いテキスト検索タスクに大きな改善を加えた。 しかし、このアプローチには大量のドメイン内のトレーニングデータが必要です。 本稿では,このニューラル文書拡張手法が,ラベルが乏しく,多くの長い文書が存在する標準IRタスクに効果的に適用可能であることを示す。

Recently, Nogueira et al. [2019] proposed a new approach to document expansion based on a neural Seq2Seq model, showing significant improvement on short text retrieval task. However, this approach needs a large amount of in-domain training data. In this paper, we show that this neural document expansion approach can be effectively adapted to standard IR tasks, where labels are scarce and many long documents are present.
翻訳日:2021-04-24 20:28:24 公開日:2020-12-27
# 過パラメータニューラルネットワークの数学的モデル

Mathematical Models of Overparameterized Neural Networks ( http://arxiv.org/abs/2012.13982v1 )

ライセンス: Link先を確認
Cong Fang and Hanze Dong and Tong Zhang(参考訳) 近年、深層学習は実証的な成功を収めている。 しかし、多くのアドホックなトリックが実践者によって発見されている一方で、近年まで深層学習文学で考案されたトリックの理論的な理解が欠如している。 過パラメータニューラルネットワークは学習しやすいという実践者によって知られているが、過去数年間、過パラメータニューラルネットワークの分析において重要な理論的発展があった。 特に,2層nnなどの様々な制約条件下では,そのようなシステムは凸系のように振る舞うことが示され,学習が特殊な初期化に関するいわゆる神経接核空間において局所的に制限されている。 本稿では,ニューラルネットワークの理解を深める上での最近の進歩について論じる。 我々は,2層ニューラルネットワークの解析に注目し,そのアルゴリズム的意味から,重要な数学的モデルを説明する。 次に、ディープニューラルネットワークと現在の研究方向を理解するための課題について論じる。

Deep learning has received considerable empirical successes in recent years. However, while many ad hoc tricks have been discovered by practitioners, until recently, there has been a lack of theoretical understanding for tricks invented in the deep learning literature. Known by practitioners that overparameterized neural networks are easy to learn, in the past few years there have been important theoretical developments in the analysis of overparameterized neural networks. In particular, it was shown that such systems behave like convex systems under various restricted settings, such as for two-layer NNs, and when learning is restricted locally in the so-called neural tangent kernel space around specialized initializations. This paper discusses some of these recent progresses leading to significant better understanding of neural networks. We will focus on the analysis of two-layer neural networks, and explain the key mathematical models, with their algorithmic implications. We will then discuss challenges in understanding deep neural networks and some current research directions.
翻訳日:2021-04-24 20:16:22 公開日:2020-12-27
# SMART:分散文法を用いた代数的ストーリー問題の状況モデル

SMART: A Situation Model for Algebra Story Problems via Attributed Grammar ( http://arxiv.org/abs/2012.14011v1 )

ライセンス: Link先を確認
Yining Hong, Qing Li, Ran Gong, Daniel Ciao, Siyuan Huang, Song-Chun Zhu(参考訳) 代数的ストーリー問題の解決は、現実の状況の詳細な理解と強力な数学的推論能力を必要とする人工知能において依然として難しい課題である。 数学の単語問題の以前の神経解法は、問題テキストを直接方程式に変換し、状況の明確な解釈を欠き、しばしばより洗練された状況に対処できない。 このようなニューラルソルバの限界に対処するために,問題解決における人間の精神状態を表現する心理学的研究から生まれた \emph{situation model} の概念を導入し,代数的ストーリー問題の状況モデルの表現として帰属文法を採用する \emph{smart} を提案する。 具体的には、まず、問題テキストからノード、属性、関係を抽出するための情報抽出モジュールを訓練し、事前定義された帰属文法に基づいてパースグラフを生成する。 また,SMARTの性能向上のための反復学習戦略も提案されている。 このタスクを厳密に研究するために、新しいデータセットである \emph{ASP6.6k} を慎重にキュレートする。 asp6.6kの実験結果は、提案モデルが、より優れた解釈性を維持しつつ、従来の全ての神経ソルバを大きなマージンで上回っていることを示している。 これらのモデルの一般化能力をテストするために、我々は、トレーニングセットよりも問題を複雑にするout-of-distribution (ood) 評価も設計する。 本モデルでは,OOD評価における最先端モデルよりも17倍の精度で,より優れた一般化能力を示す。

Solving algebra story problems remains a challenging task in artificial intelligence, which requires a detailed understanding of real-world situations and a strong mathematical reasoning capability. Previous neural solvers of math word problems directly translate problem texts into equations, lacking an explicit interpretation of the situations, and often fail to handle more sophisticated situations. To address such limits of neural solvers, we introduce the concept of a \emph{situation model}, which originates from psychology studies to represent the mental states of humans in problem-solving, and propose \emph{SMART}, which adopts attributed grammar as the representation of situation models for algebra story problems. Specifically, we first train an information extraction module to extract nodes, attributes, and relations from problem texts and then generate a parse graph based on a pre-defined attributed grammar. An iterative learning strategy is also proposed to improve the performance of SMART further. To rigorously study this task, we carefully curate a new dataset named \emph{ASP6.6k}. Experimental results on ASP6.6k show that the proposed model outperforms all previous neural solvers by a large margin while preserving much better interpretability. To test these models' generalization capability, we also design an out-of-distribution (OOD) evaluation, in which problems are more complex than those in the training set. Our model exceeds state-of-the-art models by 17\% in the OOD evaluation, demonstrating its superior generalization ability.
翻訳日:2021-04-24 20:16:06 公開日:2020-12-27
# 私の先生は世界は平らだと思っている! 自動エッセイスコアリング機構の解釈

My Teacher Thinks The World Is Flat! Interpreting Automatic Essay Scoring Mechanism ( http://arxiv.org/abs/2012.13872v1 )

ライセンス: Link先を確認
Swapnil Parekh, Yaman Kumar Singla, Changyou Chen, Junyi Jessy Li, Rajiv Ratn Shah(参考訳) 過去20年間で、ディープラーニングに基づく自動評価(AES)システムにおいて重要な進展が見られた。 しかし、これらの深層学習に基づくスコアリングモデルのブラックボックスの性質を理解し、解釈する研究はほとんど行われていない。 最近の研究により、自動採点システムは、常識的な逆さまのサンプルでさえも起こりやすいことが示されている。 自然言語理解能力の欠如は、数百万の候補が人生を変える決定のために積極的に使用しているモデルに関する疑問を引き起こす。 スコアリングは高度にマルチモーダルなタスクであるため、これらのモダリティをすべて検証しテストする上では、スコアリングモデルが必須となる。 近年の解釈能力の進歩を活かし,コヒーレンスやコンテント,関連性といった特徴が,自動スコアリング機構において重要か,また,なぜ逆行的なサンプルに影響を受けやすいかを見出す。 テストされたシステムでは、エッセイは自然言語の流れや文法構造の特徴を持つ散文としてではなく、数単語が他の単語よりも重要となる「単語ソップ」として見なされている。 これらの重要な単語を取り巻く文脈を除去すると、散文は音声と文法の流れを失うが、予測されたスコアにはほとんど影響を与えない。 また,「世界は平らである」といった虚偽の事実を付加することで,意味論的に世界知識や常識に根ざしたものではないことが判明した。

Significant progress has been made in deep-learning based Automatic Essay Scoring (AES) systems in the past two decades. However, little research has been put to understand and interpret the black-box nature of these deep-learning based scoring models. Recent work shows that automated scoring systems are prone to even common-sense adversarial samples. Their lack of natural language understanding capability raises questions on the models being actively used by millions of candidates for life-changing decisions. With scoring being a highly multi-modal task, it becomes imperative for scoring models to be validated and tested on all these modalities. We utilize recent advances in interpretability to find the extent to which features such as coherence, content and relevance are important for automated scoring mechanisms and why they are susceptible to adversarial samples. We find that the systems tested consider essays not as a piece of prose having the characteristics of natural flow of speech and grammatical structure, but as `word-soups' where a few words are much more important than the other words. Removing the context surrounding those few important words causes the prose to lose the flow of speech and grammar, however has little impact on the predicted score. We also find that since the models are not semantically grounded with world-knowledge and common sense, adding false facts such as ``the world is flat'' actually increases the score instead of decreasing it.
翻訳日:2021-04-24 20:15:36 公開日:2020-12-27
# 疎結合と早期体重減少の理解

Understanding Decoupled and Early Weight Decay ( http://arxiv.org/abs/2012.13841v1 )

ライセンス: Link先を確認
Johan Bjorck, Kilian Weinberger and Carla Gomes(参考訳) 重みの減衰(wd)は、ディープラーニングにおける伝統的な正規化技術であるが、その普遍性にもかかわらず、その振る舞いは依然として活発な研究の領域である。 Golatkarなど。 最近では、WDはコンピュータビジョンのトレーニングの開始時にのみ重要であり、従来の知恵を上回ります。 loshchilov et al所属。 適応オプティマイザの場合、手動で減衰する重みは損失に$l_2$ペナルティを加えるのに優れます。 この技術はますます普及し、疎結合WDと呼ばれている。 本研究の目的は,この2つの最近の経験的観察を調査することである。 我々は、WDを最初からのみ適用することで、トレーニングを通してネットワーク規範が小さく保たれることを示した。 効果的な勾配更新が大きくなるにつれて、これは正規化効果を持つ。 しかし、伝統的な一般化のメトリクスは、wdの効果を捉えられず、単純なスケール不変計量がどのようにできるかを示す。 また,ネットワーク重みの増大はデータセットとその一般化特性に大きく影響していることを示す。 分離WDでは、適応最適化が標準となるNLPとRLで実験を行う。 WD を疎結合にする主な問題は、目的関数からの勾配と、Adam のバッファ内の $l_2$ ペナルティ(第一次モーメントの推定値を保存する)を混合することである。 適応性自体は問題ではなく、分離されたWDは、$l_2$項からの勾配が真の目的を「引き起こせない」ことを保証する。

Weight decay (WD) is a traditional regularization technique in deep learning, but despite its ubiquity, its behavior is still an area of active research. Golatkar et al. have recently shown that WD only matters at the start of the training in computer vision, upending traditional wisdom. Loshchilov et al. show that for adaptive optimizers, manually decaying weights can outperform adding an $l_2$ penalty to the loss. This technique has become increasingly popular and is referred to as decoupled WD. The goal of this paper is to investigate these two recent empirical observations. We demonstrate that by applying WD only at the start, the network norm stays small throughout training. This has a regularizing effect as the effective gradient updates become larger. However, traditional generalizations metrics fail to capture this effect of WD, and we show how a simple scale-invariant metric can. We also show how the growth of network weights is heavily influenced by the dataset and its generalization properties. For decoupled WD, we perform experiments in NLP and RL where adaptive optimizers are the norm. We demonstrate that the primary issue that decoupled WD alleviates is the mixing of gradients from the objective function and the $l_2$ penalty in the buffers of Adam (which stores the estimates of the first-order moment). Adaptivity itself is not problematic and decoupled WD ensures that the gradients from the $l_2$ term cannot "drown out" the true objective, facilitating easier hyperparameter tuning.
翻訳日:2021-04-24 20:14:48 公開日:2020-12-27
# 群CNNによる等変写像の普遍近似理論

Universal Approximation Theorem for Equivariant Maps by Group CNNs ( http://arxiv.org/abs/2012.13882v1 )

ライセンス: Link先を確認
Wataru Kumagai, Akiyoshi Sannai(参考訳) 群対称性は、様々なデータ分布に固有のものである。 対称性を保存するデータ処理は同変写像として記述され、しばしば高い性能を達成するのに有効である。 畳み込みニューラルネットワーク(CNN)は同値なモデルとして知られ、ある特定の群に対する近似同変写像を示す。 しかし、cnnの普遍近似定理は、各群と設定に応じて個別の手法で別々に導出されている。 本稿では,CNNによる等変写像の普遍近似定理を様々な設定で得られる統一手法を提案する。 その大きな利点として、非コンパクト群に対する無限次元空間間の非線形同変写像を扱うことができる。

Group symmetry is inherent in a wide variety of data distributions. Data processing that preserves symmetry is described as an equivariant map and often effective in achieving high performance. Convolutional neural networks (CNNs) have been known as models with equivariance and shown to approximate equivariant maps for some specific groups. However, universal approximation theorems for CNNs have been separately derived with individual techniques according to each group and setting. This paper provides a unified method to obtain universal approximation theorems for equivariant maps by CNNs in various settings. As its significant advantage, we can handle non-linear equivariant maps between infinite-dimensional spaces for non-compact groups.
翻訳日:2021-04-24 20:14:25 公開日:2020-12-27
# 教師なし特徴選択のための適応グラフに基づく一般化回帰モデル

Adaptive Graph-based Generalized Regression Model for Unsupervised Feature Selection ( http://arxiv.org/abs/2012.13892v1 )

ライセンス: Link先を確認
Yanyong Huang, Zongxin Shen, Fuxu Cai, Tianrui Li, Fengmao Lv(参考訳) 教師なしの特徴選択はラベルのない高次元データの次元を減少させる重要な手法であり、これは‘次元の帰結’を避け、クラスタリングや検索のようなその後の機械学習タスクの性能を改善するのに役立つ。 非相関的かつ識別的特徴の選択は、教師なしの機能選択の重要な問題である。 多くの提案手法は、強い識別性と高い冗長性を持つ特徴を選択する。 しかし、これら2つの基準のうち1つしか満たしていない。 他の既存の手法では、元の特徴空間上にグラフ行列を構築することにより、冗長性の低い識別的特徴を選択する。 オリジナルの特徴空間は、通常冗長性とノイズを含むため、特徴選択の性能は低下する。 これらの問題に対処するために、まず非相関制約と$\ell_{2,1}$-norm正規化によって課される新しい一般化回帰モデルを示す。 相関的でない特徴と識別的特徴を同時に選択し、同じ近傍に属するデータポイントの分散を低減し、クラスタリングタスクの助けとなる。 さらに、類似性誘発グラフを適応的に学習することにより、縮小次元空間上にデータの局所固有構造を構築する。 次に、スペクトル解析に基づくグラフ構造と指標行列の学習を一般化回帰モデルに統合する。 最後に,目的関数を解くための新しい反復最適化アルゴリズムを開発した。 9つの実世界のデータセットで一連の実験を行い、他の競合手法と比較して提案手法の有効性を実証した。

Unsupervised feature selection is an important method to reduce dimensions of high dimensional data without labels, which is benefit to avoid ``curse of dimensionality'' and improve the performance of subsequent machine learning tasks, like clustering and retrieval. How to select the uncorrelated and discriminative features is the key problem of unsupervised feature selection. Many proposed methods select features with strong discriminant and high redundancy, or vice versa. However, they only satisfy one of these two criteria. Other existing methods choose the discriminative features with low redundancy by constructing the graph matrix on the original feature space. Since the original feature space usually contains redundancy and noise, it will degrade the performance of feature selection. In order to address these issues, we first present a novel generalized regression model imposed by an uncorrelated constraint and the $\ell_{2,1}$-norm regularization. It can simultaneously select the uncorrelated and discriminative features as well as reduce the variance of these data points belonging to the same neighborhood, which is help for the clustering task. Furthermore, the local intrinsic structure of data is constructed on the reduced dimensional space by learning the similarity-induced graph adaptively. Then the learnings of the graph structure and the indicator matrix based on the spectral analysis are integrated into the generalized regression model. Finally, we develop an alternative iterative optimization algorithm to solve the objective function. A series of experiments are carried out on nine real-world data sets to demonstrate the effectiveness of the proposed method in comparison with other competing approaches.
翻訳日:2021-04-24 20:14:15 公開日:2020-12-27
# 2次元相対アテンショナルゲート変換器を用いたポートフォリオ最適化

Portfolio Optimization with 2D Relative-Attentional Gated Transformer ( http://arxiv.org/abs/2101.03138v1 )

ライセンス: Link先を確認
Tae Wan Kim, Matloob Khushi(参考訳) ポートフォリオ最適化は、機械学習アプローチで研究されている最も注意深い分野の1つです。 多くの研究者は、金融市場の資産を効率的に扱えるために、深い強化学習を用いてこの問題を解決しようとした。 しかし、取引コストの現実的な制約を無視したり、極端に単純化したりするため、現実の取引には適用できないものが多い。 これらの制約はポートフォリオの収益性に著しく悪影響を及ぼす。 本研究は,現実的な実験として,トランザクション手数料と滑り込みの保守的なレベルを考慮したものである。 これらの制約下での性能を向上させるために,2次元相対アテンショナルゲートトランス(DPGRGT)モデルを用いた新しい決定論的ポリシーグラディエントを提案する。 学習可能な相対的な位置埋め込みを時間と資産の軸に適用し、ポートフォリオ最適化領域における財務データの特異な構造をよりよく理解する。 また、強化学習において、変圧器の安定収束にゲーティング層と層再配置を用いる。 20年間の米国株式市場データを用いた実験では,モデルがベースラインモデルを上回り,その効果を実証した。

Portfolio optimization is one of the most attentive fields that have been researched with machine learning approaches. Many researchers attempted to solve this problem using deep reinforcement learning due to its efficient inherence that can handle the property of financial markets. However, most of them can hardly be applicable to real-world trading since they ignore or extremely simplify the realistic constraints of transaction costs. These constraints have a significantly negative impact on portfolio profitability. In our research, a conservative level of transaction fees and slippage are considered for the realistic experiment. To enhance the performance under those constraints, we propose a novel Deterministic Policy Gradient with 2D Relative-attentional Gated Transformer (DPGRGT) model. Applying learnable relative positional embeddings for the time and assets axes, the model better understands the peculiar structure of the financial data in the portfolio optimization domain. Also, gating layers and layer reordering are employed for stable convergence of Transformers in reinforcement learning. In our experiment using U.S. stock market data of 20 years, our model outperformed baseline models and demonstrated its effectiveness.
翻訳日:2021-04-24 20:13:07 公開日:2020-12-27
# 因果グラフの近似学習のための干渉効率の良いアルゴリズム

Intervention Efficient Algorithms for Approximate Learning of Causal Graphs ( http://arxiv.org/abs/2012.13976v1 )

ライセンス: Link先を確認
Raghavendra Addanki, Andrew McGregor, Cameron Musco(参考訳) 本研究では,観測変数に対する介入のコストを最小化しつつ,潜伏者の存在下で観測変数の集合間の因果関係を学習する問題を考察する。 エッジがすべての直接的な因果関係を表すか、あるいはより制限の少ない因果関係のスーパーセット(条件付き独立テストやドメインエキスパートなどによって識別される)である観測変数に対して、無向グラフへのアクセスが$g$と仮定する。 我々の目標は、介入の最小限の費用で、すべての因果関係や祖先関係の方向性を$G$で回収することです。 任意のグラフ$G$に対して、正確な最小コストの介入セットを構築することはNPハードであることが知られている。 さらに、近似グラフ色付けの難しさを条件として、多項式時間アルゴリズムは$\theta(\log n)$よりもよい近似係数を達成できないと論じている。 この制限を克服するために、指定されたエラーパラメータの$\epsilon > 0$に対して$G$で$\epsilon n^2$ edges以外のすべての方向を復元する双基準近似の目標を導入する。 この緩和された目標の下で、最適の小さな定数係数内で介入コストを達成する多項式時間アルゴリズムを与える。 提案アルゴリズムは,効率的な介入設計と低コスト分離システムの設計と,グラフ特性試験に関する文献からのアイデアを組み合わせたものである。

We study the problem of learning the causal relationships between a set of observed variables in the presence of latents, while minimizing the cost of interventions on the observed variables. We assume access to an undirected graph $G$ on the observed variables whose edges represent either all direct causal relationships or, less restrictively, a superset of causal relationships (identified, e.g., via conditional independence tests or a domain expert). Our goal is to recover the directions of all causal or ancestral relations in $G$, via a minimum cost set of interventions. It is known that constructing an exact minimum cost intervention set for an arbitrary graph $G$ is NP-hard. We further argue that, conditioned on the hardness of approximate graph coloring, no polynomial time algorithm can achieve an approximation factor better than $\Theta(\log n)$, where $n$ is the number of observed variables in $G$. To overcome this limitation, we introduce a bi-criteria approximation goal that lets us recover the directions of all but $\epsilon n^2$ edges in $G$, for some specified error parameter $\epsilon > 0$. Under this relaxed goal, we give polynomial time algorithms that achieve intervention cost within a small constant factor of the optimal. Our algorithms combine work on efficient intervention design and the design of low-cost separating set systems, with ideas from the literature on graph property testing.
翻訳日:2021-04-24 20:12:51 公開日:2020-12-27
# 深層変圧器から軽量翻訳モデルを学ぶ

Learning Light-Weight Translation Models from Deep Transformer ( http://arxiv.org/abs/2012.13866v1 )

ライセンス: Link先を確認
Bei Li, Ziyang Wang, Hui Liu, Quan Du, Tong Xiao, Chunliang Zhang and Jingbo Zhu(参考訳) 近年,深層モデルでは,ニューラルネットワーク翻訳(nmt)が大幅に改善されている。 しかし、この種のシステムは計算コストが高く、メモリ集約的である。 本稿では,強力だが軽量なNMTシステムを学ぶための自然な一歩を踏み出す。 我々は,深部変圧器モデルを浅部モデルに圧縮するためのグループ置換に基づく知識蒸留手法を提案する。 いくつかのベンチマーク実験の結果から,本手法の有効性が検証された。 我々の圧縮モデルは深部モデルより8倍浅く、BLEUの損失はほとんどない。 教師モデルをさらに強化するため,英語-ドイツ語 newstest2014 において 30.63 の bleu スコアを達成するために,不規則にサブレイヤを省略してトレーニングに摂動を導入するためのスキップサブレイヤー法を提案する。 コードはhttps://github.com/l ibeineu/GPKDで公開されている。

Recently, deep models have shown tremendous improvements in neural machine translation (NMT). However, systems of this kind are computationally expensive and memory intensive. In this paper, we take a natural step towards learning strong but light-weight NMT systems. We proposed a novel group-permutation based knowledge distillation approach to compressing the deep Transformer model into a shallow model. The experimental results on several benchmarks validate the effectiveness of our method. Our compressed model is 8X shallower than the deep model, with almost no loss in BLEU. To further enhance the teacher model, we present a Skipping Sub-Layer method to randomly omit sub-layers to introduce perturbation into training, which achieves a BLEU score of 30.63 on English-German newstest2014. The code is publicly available at https://github.com/l ibeineu/GPKD.
翻訳日:2021-04-24 20:12:23 公開日:2020-12-27
# 対話関係抽出のための恥ずかしいほど単純なモデル

An Embarrassingly Simple Model for Dialogue Relation Extraction ( http://arxiv.org/abs/2012.13873v1 )

ライセンス: Link先を確認
Fuzhao Xue, Aixin Sun, Hao Zhang, Eng Siong Chng(参考訳) 対話関係抽出(RE)とは、対話で言及される2つのエンティティの関係型を予測することである。 本稿では,多ラベル分類タスクとしてダイアログREをモデル化し,シンプルだが効果的なSimpleREモデルを提案する。 simplere は対話における複数の関係間の相互関係を新しい入力形式 bert relation token sequence (brs) を通じてキャプチャする。 BRSでは、複数の[CLS]トークンを使用して、異なるエンティティのペア間の異なる関係をキャプチャします。 リレーショナルリファインメントゲート(RRG)は、関係固有の意味表現を適応的に抽出するように設計されている。 dialogreの実験では、simplereはトレーニング時間の短縮で最高のパフォーマンスを達成している。 SimpleREは、外部リソースを使わずに、文レベルのREで全ての直接ベースラインを上回ります。

Dialogue relation extraction (RE) is to predict the relation type of two entities mentioned in a dialogue. In this paper, we model Dialogue RE as a multi-label classification task and propose a simple yet effective model named SimpleRE. SimpleRE captures the interrelations among multiple relations in a dialogue through a novel input format, BERT Relation Token Sequence (BRS). In BRS, multiple [CLS] tokens are used to capture different relations between different pairs of entities. A Relation Refinement Gate (RRG) is designed to extract relation-specific semantic representation adaptively. Experiments on DialogRE show that SimpleRE achieves the best performance with much shorter training time. SimpleRE outperforms all direct baselines on sentence-level RE without using external resources.
翻訳日:2021-04-24 20:12:10 公開日:2020-12-27
# ALP-KD:知識蒸留のための注意層投影

ALP-KD: Attention-Based Layer Projection for Knowledge Distillation ( http://arxiv.org/abs/2012.14022v1 )

ライセンス: Link先を確認
Peyman Passban, Yimeng Wu, Mehdi Rezagholizadeh, Qun Liu(参考訳) 知識蒸留は、教師と生徒の2つのニューラルネットワークが訓練中に結合されるトレーニングと圧縮戦略であると考えられている。 教師ネットワークは信頼できる予測者であり、学生はその予測を模倣しようとする。 通常、より軽量なアーキテクチャを持つ学生が選択され、圧縮が可能で、高品質な結果が得られる。 このような状況下では、蒸留は最終予測でのみ行われるが、生徒は教師が内部成分を監督する利益も得る。 そこで本研究では,中間層における蒸留問題について検討した。 学生層と教師層の間には一対一のアライメントがないため、既存のテクニックは教師層をスキップし、それらのサブセットからのみ蒸留する。 この欠点は直接品質に影響するため、注意に依存する組合せ手法を提案する。 本モデルでは,教師側情報を融合し,各レイヤの意義を考慮し,教師層と学生層との蒸留を行う。 本手法を用いて12層BERT (Devlin et al) を蒸留した。 2019) を6層,4層,2層に分け,グルータスク(wangなど)で評価した。 2018). 実験の結果,我々の組み合わせアプローチは既存の手法よりも優れていることがわかった。

Knowledge distillation is considered as a training and compression strategy in which two neural networks, namely a teacher and a student, are coupled together during training. The teacher network is supposed to be a trustworthy predictor and the student tries to mimic its predictions. Usually, a student with a lighter architecture is selected so we can achieve compression and yet deliver high-quality results. In such a setting, distillation only happens for final predictions whereas the student could also benefit from teacher's supervision for internal components. Motivated by this, we studied the problem of distillation for intermediate layers. Since there might not be a one-to-one alignment between student and teacher layers, existing techniques skip some teacher layers and only distill from a subset of them. This shortcoming directly impacts quality, so we instead propose a combinatorial technique which relies on attention. Our model fuses teacher-side information and takes each layer's significance into consideration, then performs distillation between combined teacher layers and those of the student. Using our technique, we distilled a 12-layer BERT (Devlin et al. 2019) into 6-, 4-, and 2-layer counterparts and evaluated them on GLUE tasks (Wang et al. 2018). Experimental results show that our combinatorial approach is able to outperform other existing techniques.
翻訳日:2021-04-24 20:11:57 公開日:2020-12-27
# 心理計測型人工知能の事例

The case for psychometric artificial general intelligence ( http://arxiv.org/abs/2101.02179v1 )

ライセンス: Link先を確認
Mark McPherson(参考訳) 人工知能の計測と検出に関する文献を概観した。 提案する人工知能のベンチマークとテストは、複数の基準に対して批判的に評価される。 この結果から,最も有望なアプローチが特定され,今後の研究に有用な方向性が提案されている。

A short review of the literature on measurement and detection of artificial general intelligence is made. Proposed benchmarks and tests for artificial general intelligence are critically evaluated against multiple criteria. Based on the findings, the most promising approaches are identified and some useful directions for future work are proposed.
翻訳日:2021-04-24 20:11:38 公開日:2020-12-27
# ANL: クロスドメインな人物再識別のためのアンチノイズ学習

ANL: Anti-Noise Learning for Cross-Domain Person Re-Identification ( http://arxiv.org/abs/2012.13853v1 )

ライセンス: Link先を確認
Hongliang Zhang, Shoudong Han, Xiaofeng Pan, Jun Zhao(参考訳) ラベルの欠如とドメインの多様性のため、クロスドメイン設定における人物の再識別を研究することは困難である。 望ましい方法は、クラスタリングを通じてラベルなしサンプルの擬似ラベルを割り当てることで、ターゲットモデルを最適化することである。 通常、事前訓練されたソースドメインモデルは、適切なターゲットドメインの特徴を抽出することができず、クラスタリング性能と擬似ラベルの精度に劇的に影響を与える。 強烈なラベルノイズは、間違いなく準最適解につながる。 これらの問題を解決するために,2つのモジュールを含む反雑音学習(ANL)手法を提案する。 特徴分散アライメント(fda)モジュールは、カメラによるコントラスト学習と逆適応を通じて、id関連サンプルを収集し、id非関連サンプルを分散するように設計されている。 クラスタ化のためのフレンドリーなクロスフィーチャー基盤を作るには、クラスタ化ノイズを減らす必要がある。 また、信頼できるサンプル選択(rss)モジュールは、ノイズラベルを補正し、メインモデルの信頼できるサンプルを選択するために補助モデルを利用する。 クラスタリングアルゴリズムとrssモジュールによって生成された異常情報を有効に活用するために,これらのサンプルをインスタンスレベルでトレーニングする。 実験により,提案したANLフレームワークは,ドメインの競合を効果的に低減し,ノイズサンプルの影響を軽減するとともに,最先端の手法と比較して優れた性能を示す。

Due to the lack of labels and the domain diversities, it is a challenge to study person re-identification in the cross-domain setting. An admirable method is to optimize the target model by assigning pseudo-labels for unlabeled samples through clustering. Usually, attributed to the domain gaps, the pre-trained source domain model cannot extract appropriate target domain features, which will dramatically affect the clustering performance and the accuracy of pseudo-labels. Extensive label noise will lead to sub-optimal solutions doubtlessly. To solve these problems, we propose an Anti-Noise Learning (ANL) approach, which contains two modules. The Feature Distribution Alignment (FDA) module is designed to gather the id-related samples and disperse id-unrelated samples, through the camera-wise contrastive learning and adversarial adaptation. Creating a friendly cross-feature foundation for clustering that is to reduce clustering noise. Besides, the Reliable Sample Selection (RSS) module utilizes an Auxiliary Model to correct noisy labels and select reliable samples for the Main Model. In order to effectively utilize the outlier information generated by the clustering algorithm and RSS module, we train these samples at the instance-level. The experiments demonstrate that our proposed ANL framework can effectively reduce the domain conflicts and alleviate the influence of noisy samples, as well as superior performance compared with the state-of-the-art methods.
翻訳日:2021-04-24 20:11:34 公開日:2020-12-27
# 細粒画像, 少数ショット画像, グラフ分類におけるパワー正規化

Power Normalizations in Fine-grained Image, Few-shot Image and Graph Classification ( http://arxiv.org/abs/2012.13975v1 )

ライセンス: Link先を確認
Piotr Koniusz and Hongguang Zhang(参考訳) 電力正規化(PN)は、分類問題における特徴不均衡に対処する有用な非線形演算子である。 我々は,新しいPN層プール機能マップを用いて,深層学習環境におけるPNについて検討した。 我々は,CNNの最終畳み込み層が生成する特徴写像における特徴ベクトルとその空間的位置を,PN演算子を適用した2次統計量と正定行列に結合し,いわゆる2次プール(SOP)を形成する。 本稿では,電力正規化の研究を主目的とし,人気のpn機能であるmaxexpとgammaの役割と意義について検討する。 この目的のために、そのような要素ワイズ作用素の確率論的解釈を提供し、エンド・ツー・エンド・トレーニングのためによく定義された微分を持つ代用変数を発見する。 さらに、スペクトルパワー正規化(spn)の研究により、maxexpとgammaのスペクトル適用可能性を検討する。 自己相関/共分散行列上のSPNとグラフラプラシア行列上の熱拡散過程(HDP)が密接に関連していることを示し、それらの性質を共有する。 このような発見は、共分散/自己相関行列に対するHDPの変種である高速スペクトルMaxExpという、我々の研究の頂点に繋がる。 我々は, 微粒化認識, シーン認識, 材料分類, および少数ショット学習およびグラフ分類における考え方を評価する。

Power Normalizations (PN) are useful non-linear operators which tackle feature imbalances in classification problems. We study PNs in the deep learning setup via a novel PN layer pooling feature maps. Our layer combines the feature vectors and their respective spatial locations in the feature maps produced by the last convolutional layer of CNN into a positive definite matrix with second-order statistics to which PN operators are applied, forming so-called Second-order Pooling (SOP). As the main goal of this paper is to study Power Normalizations, we investigate the role and meaning of MaxExp and Gamma, two popular PN functions. To this end, we provide probabilistic interpretations of such element-wise operators and discover surrogates with well-behaved derivatives for end-to-end training. Furthermore, we look at the spectral applicability of MaxExp and Gamma by studying Spectral Power Normalizations (SPN). We show that SPN on the autocorrelation/cova riance matrix and the Heat Diffusion Process (HDP) on a graph Laplacian matrix are closely related, thus sharing their properties. Such a finding leads us to the culmination of our work, a fast spectral MaxExp which is a variant of HDP for covariances/autocorr elation matrices. We evaluate our ideas on fine-grained recognition, scene recognition, and material classification, as well as in few-shot learning and graph classification.
翻訳日:2021-04-24 20:11:10 公開日:2020-12-27
# Recomposition vs. 予測:オートエンコーダに基づく離散事象の新しい異常検出

Recomposition vs. Prediction: A Novel Anomaly Detection for Discrete Events Based On Autoencoder ( http://arxiv.org/abs/2012.13972v1 )

ライセンス: Link先を確認
Lun-Pin Yuan, Peng Liu, Sencun Zhu(参考訳) 侵入検知の分野で最も難しい問題の1つは、離散イベントログの異常検出である。 初期の作業は、エンジニアリングされた機能に教師なしの学習を適用することに集中していたが、最近の作業は、個別のイベントエントリの抽象化にディープラーニングの方法論を適用することで、この課題を解決し始めた。 自然言語処理にインスパイアされたLSTMに基づく異常検出モデルが提案された。 彼らは今後のイベントを予測し、予測が一定の基準を満たせなかった場合に異常警報を発生させようとする。 しかし、このような予測-次の事象の方法論には根本的な制限がある。 この制限は、高い偽陽性(FPs)と高い偽陰性(FNs)をもたらす。 また、個々の事象のシーケンスの構造と双方向因果関係を調べることも重要である。 そこで本研究では,イベント列を異常検出として再構成する手法を提案する。 離散イベントログのためのディープオートエンコーダに基づく異常検出手法であるDabLogを提案する。 基本的な違いは、今後のイベントを予測するのではなく、シーケンスを解析(エンコーディング)し、与えられたシーケンスを再構築(デコード)することで、シーケンスが正常か異常かを判断することです。 評価の結果,本手法はFPとFNの数を著しく削減し,F_1$スコアを高くすることができることがわかった。

One of the most challenging problems in the field of intrusion detection is anomaly detection for discrete event logs. While most earlier work focused on applying unsupervised learning upon engineered features, most recent work has started to resolve this challenge by applying deep learning methodology to abstraction of discrete event entries. Inspired by natural language processing, LSTM-based anomaly detection models were proposed. They try to predict upcoming events, and raise an anomaly alert when a prediction fails to meet a certain criterion. However, such a predict-next-event methodology has a fundamental limitation: event predictions may not be able to fully exploit the distinctive characteristics of sequences. This limitation leads to high false positives (FPs) and high false negatives (FNs). It is also critical to examine the structure of sequences and the bi-directional causality among individual events. To this end, we propose a new methodology: Recomposing event sequences as anomaly detection. We propose DabLog, a Deep Autoencoder-Based anomaly detection method for discrete event Logs. The fundamental difference is that, rather than predicting upcoming events, our approach determines whether a sequence is normal or abnormal by analyzing (encoding) and reconstructing (decoding) the given sequence. Our evaluation results show that our new methodology can significantly reduce the numbers of FPs and FNs, hence achieving a higher $F_1$ score.
翻訳日:2021-04-24 20:10:46 公開日:2020-12-27
# 大学のインパクトを計測するwikipediaアプローチ

Measuring University Impact: Wikipedia approach ( http://arxiv.org/abs/2012.13980v1 )

ライセンス: Link先を確認
Tatiana Kozitsina (Babkina), Viacheslav Goiko, Roman Palkin, Valentin Khomutenko, Yulia Mundrievskaya, Maria Sukhareva, Isak Froumin, and Mikhail Myagkov(参考訳) 大学が社会、経済、政治の景観に与える影響は、現代の教育評価において重要な方向の一つである。 本稿では,ウィキペディア上の同窓生のページの人気度(ページビュー数)に基づいて大学が与える影響を評価する手法について述べる。 卒業生の人気動態を明らかにし、その状態を追跡することができる。 予備分析の結果,このアプローチの視点を証明する現代人の方がページビュー数が高いことがわかった。 その後、大学は方法論に基づいてランク付けされ、卒業生の規模のみに基づく国際大学ランキングARWUとQSに比較して、上位10の大学には2つの大学(コロンビア大学、スタンフォード大学)の交差点がある。 本論文では、異なる大学ランキング間の相関係数について述べる。 最後に、同窓生の人気に基づくランキングは、ウィキペディアのウェブページの人気に基づいて大学のランキングと比較された。

The impact of Universities on the social, economic and political landscape is one of the key directions in contemporary educational evaluation. In this paper, we discuss the new methodological technique that evaluates the impact of university based on popularity (number of page-views) of their alumni's pages on Wikipedia. It allows revealing the alumni popularity dynamics and tracking its state. Preliminary analysis shows that the number of page-views is higher for the contemporary persons that prove the perspectives of this approach. Then, universities were ranked based on the methodology and compared to the famous international university rankings ARWU and QS based only on alumni scales: for the top 10 universities, there is an intersection of two universities (Columbia University, Stanford University). The correlation coefficients between different university rankings are provided in the paper. Finally, the ranking based on the alumni popularity was compared with the ranking of universities based on the popularity of their webpages on Wikipedia: there is a strong connection between these indicators.
翻訳日:2021-04-24 20:10:27 公開日:2020-12-27
# fltrust: 信頼ブートストラップによるビザンチンロバスト連合学習

FLTrust: Byzantine-robust Federated Learning via Trust Bootstrapping ( http://arxiv.org/abs/2012.13995v1 )

ライセンス: Link先を確認
Xiaoyu Cao, Minghong Fang, Jia Liu, Neil Zhenqiang Gong(参考訳) Byzantine-Robustのフェデレーション学習は、サービスプロバイダが、バウンド数のクライアントが悪意のある場合に、正確なグローバルモデルを学習できるようにすることを目的としている。 既存のByzantine-robustフェデレーション学習手法のキーとなる考え方は、クライアントのローカルモデル更新の統計分析を行い、疑わしいものを取り除き、グローバルモデル更新のために集約する、というものである。 しかし、悪意のあるクライアントは、サービスプロバイダに慎重に構築されたローカルモデル更新を送信することで、これらのメソッドのグローバルモデルを破壊することができる。 根本的な理由は、既存のフェデレーション学習手法に信頼の根がないことである。 本研究では,サービスプロバイダ自体が信頼をブートストラップする新たなフェデレーション学習手法であるFLTrustを提案し,そのギャップを埋める。 特に、サービスプロバイダは学習タスクのためにクリーンな小さなトレーニングデータセット(ルートデータセットと呼ばれる)を収集し、サービスプロバイダは信頼をブートストラップするためにそれに基づいてモデル(サーバモデルと呼ばれる)を保持します。 各イテレーションにおいて、サービス提供者は、まず、クライアントから各ローカルモデル更新に対して信頼スコアを割り当てる。 そして、サービスプロバイダは、ローカルモデルの更新の規模を正規化し、それらがベクトル空間におけるサーバモデルの更新と同じハイパースフィアに置かれるようにします。 私たちの正規化は、悪意のあるローカルモデル更新の影響を大きな規模で制限します。 最後に、サービスプロバイダは、信頼スコアによって重み付けられた正規化されたローカルモデル更新の平均をグローバルモデル更新として計算し、グローバルモデル更新に使用する。 異なるドメインからの6つのデータセットに対する広範な評価は、FLTrustが既存の攻撃と強力な適応攻撃の両方に対して安全であることを示している。

Byzantine-robust federated learning aims to enable a service provider to learn an accurate global model when a bounded number of clients are malicious. The key idea of existing Byzantine-robust federated learning methods is that the service provider performs statistical analysis among the clients' local model updates and removes suspicious ones, before aggregating them to update the global model. However, malicious clients can still corrupt the global models in these methods via sending carefully crafted local model updates to the service provider. The fundamental reason is that there is no root of trust in existing federated learning methods. In this work, we bridge the gap via proposing FLTrust, a new federated learning method in which the service provider itself bootstraps trust. In particular, the service provider itself collects a clean small training dataset (called root dataset) for the learning task and the service provider maintains a model (called server model) based on it to bootstrap trust. In each iteration, the service provider first assigns a trust score to each local model update from the clients, where a local model update has a lower trust score if its direction deviates more from the direction of the server model update. Then, the service provider normalizes the magnitudes of the local model updates such that they lie in the same hyper-sphere as the server model update in the vector space. Our normalization limits the impact of malicious local model updates with large magnitudes. Finally, the service provider computes the average of the normalized local model updates weighted by their trust scores as a global model update, which is used to update the global model. Our extensive evaluations on six datasets from different domains show that our FLTrust is secure against both existing attacks and strong adaptive attacks.
翻訳日:2021-04-24 20:10:14 公開日:2020-12-27
# 太陽硬X線イメージングにおける可視性補間:RHESSIとSTIXへの応用

Visibility Interpolation in Solar Hard X-ray Imaging: Application to RHESSI and STIX ( http://arxiv.org/abs/2012.14007v1 )

ライセンス: Link先を確認
Emma Perracchione, Paolo Massa, Anna Maria Massone, Michele Piana(参考訳) 太陽硬x線イメージングのための宇宙望遠鏡は、入射した光子フラックスのサンプルされたフーリエ成分による観測を提供する。 本研究の目的は,フーリエ領域の視認性向上に基づく画像再構成手法を設計することである。 %方向(強制) この補間法は、太陽軌道上のX線イメージング用分光計(STIX)ミッションの枠組み内に実装されたシミュレーションソフトウェアを用いて生成された合成振動度に適用される。 また、Reuven Ramaty High Energy Solar Spectroscopic Imager(RHESSI)による実験的な可視性についても検討した。 これらの可視性データを補間するために、我々は、画像再構成のために最初に使用されるフレアソースの事前情報を利用して特徴増強を実現することができるVSK(Variably Scaled Kernels)に基づくアプローチを利用した。 % 結果(強制) RHESSI で導入された補間ベースの再構成アルゴリズムと比較して,VSK は,特に STIX 画像の場合,顕著なフーリエ領域のスパースサンプリングが特徴である。 RHESSIデータの場合、この新しい手法は、フレア源が細いリボン状の形状または高分解能検出器によって特徴付けられる場合、特に信頼性が高い。 %方向(オプション)、必要ならば空にしておく 硬いX線振動を補間するためのVSKの使用により、フレア源に関する情報が小さな散乱フーリエデータによって符号化され、周波数領域における大きな振動によって可視面が影響を受ける場合、顕著な画像再構成精度が得られる。

Space telescopes for solar hard X-ray imaging provide observations made of sampled Fourier components of the incoming photon flux. The aim of this study is to design an image reconstruction method relying on enhanced visibility interpolation in the Fourier domain. % methods heading (mandatory) The interpolation-based method is applied on synthetic visibilities generated by means of the simulation software implemented within the framework of the Spectrometer/Telesco pe for Imaging X-rays (STIX) mission on board Solar Orbiter. An application to experimental visibilities observed by the Reuven Ramaty High Energy Solar Spectroscopic Imager (RHESSI) is also considered. In order to interpolate these visibility data we have utilized an approach based on Variably Scaled Kernels (VSKs), which are able to realize feature augmentation by exploiting prior information on the flaring source and which are used here, for the first time, for image reconstruction purposes.} % results heading (mandatory) When compared to an interpolation-based reconstruction algorithm previously introduced for RHESSI, VSKs offer significantly better performances, particularly in the case of STIX imaging, which is characterized by a notably sparse sampling of the Fourier domain. In the case of RHESSI data, this novel approach is particularly reliable when either the flaring sources are characterized by narrow, ribbon-like shapes or high-resolution detectors are utilized for observations. % conclusions heading (optional), leave it empty if necessary The use of VSKs for interpolating hard X-ray visibilities allows a notable image reconstruction accuracy when the information on the flaring source is encoded by a small set of scattered Fourier data and when the visibility surface is affected by significant oscillations in the frequency domain.
翻訳日:2021-04-24 20:09:41 公開日:2020-12-27
# 領域適応のためのヒストグラムマッチング拡張法 : マルチセンタ、マルチベンダ、マルチダイザス心筋画像セグメンテーションへの応用

Histogram Matching Augmentation for Domain Adaptation with Application to Multi-Centre, Multi-Vendor and Multi-Disease Cardiac Image Segmentation ( http://arxiv.org/abs/2012.13871v1 )

ライセンス: Link先を確認
Jun Ma(参考訳) convolutional neural networks (cnns) は、トレーニングケースとテストケースが同一分布である場合、心臓構造の分節において高い精度を達成している。 しかし、テストケースが別のドメイン(例えば、新しいMRIスキャナー、臨床センター)から来た場合、パフォーマンスは劣化する。 本稿では,領域間隙を解消するためのヒストグラムマッチング(hm)データ拡張手法を提案する。 具体的には,テストケースの強度分布を既存のトレーニングケースに転送するためにHMを用いて新たなトレーニングケースを生成する。 提案手法は非常に単純で,多くのセグメンテーションタスクにおいてプラグアンドプレイ方式で使用できる。 この方法はMICCAI 2020 M\&Msチャレンジで評価され、左室、心筋、右心室それぞれの平均Diceスコアは0.9051、0.8405、0.8749、ハウスドルフ距離は9.996、12.49、12.68である。 結果はmiccai 2020 m\&msチャレンジで3位にランクインした。 コードとトレーニングされたモデルは、 \url{https://github.com/J unMa11/HM_DataAug}で公開されている。

Convolutional Neural Networks (CNNs) have achieved high accuracy for cardiac structure segmentation if training cases and testing cases are from the same distribution. However, the performance would be degraded if the testing cases are from a distinct domain (e.g., new MRI scanners, clinical centers). In this paper, we propose a histogram matching (HM) data augmentation method to eliminate the domain gap. Specifically, our method generates new training cases by using HM to transfer the intensity distribution of testing cases to existing training cases. The proposed method is quite simple and can be used in a plug-and-play way in many segmentation tasks. The method is evaluated on MICCAI 2020 M\&Ms challenge, and achieves average Dice scores of 0.9051, 0.8405, and 0.8749, and Hausdorff Distances of 9.996, 12.49, and 12.68 for the left ventricular, myocardium, and right ventricular, respectively. Our results rank the third place in MICCAI 2020 M\&Ms challenge. The code and trained models are publicly available at \url{https://github.com/J unMa11/HM_DataAug}.
翻訳日:2021-04-24 20:09:12 公開日:2020-12-27
# 高精度な多視点3次元物体推定のための不確かさ予測による楕円回帰

Ellipse Regression with Predicted Uncertainties for Accurate Multi-View 3D Object Estimation ( http://arxiv.org/abs/2101.05212v1 )

ライセンス: Link先を確認
Wenbo Dong, Volkan Isler(参考訳) Mask R-CNNのような畳み込みニューラルネットワーク(CNN)ベースのアーキテクチャは、オブジェクトの検出とセグメンテーションにおける技術の状態を構成する。 近年、ネットワークが幾何モデルのパラメータ(例えば、)を出力するモデルベースセグメンテーションのためにこれらの手法が拡張されている。 ellipse (複数形 ellipses) この研究は、3次元モデルが楕円体として表現できる対象を考える。 本稿では,各オブジェクトをセグメント化して楕円形オブジェクトのパラメータを推定し,投影楕円のパラメータを正確に回帰するMask R-CNNの変種について述べる。 モデル回帰は下層の咬合シナリオに敏感であり,正確な3次元物体推定には各物体の予測品質を個別に特徴付ける必要がある。 本稿では,不確かさでオフセットパラメータを学習し,各楕円の幾何学的品質を定量化できる新しい楕円回帰損失を提案する。 これらの値によって,マルチビュー検出を融合して3次元楕円型パラメータを原理的に得ることができる。 人工データと実データの両方を用いた実験により, 従来手法と比較して, 重咬合下の3次元物体推定における提案手法の精度を定量的に検証した。

Convolutional neural network (CNN) based architectures, such as Mask R-CNN, constitute the state of the art in object detection and segmentation. Recently, these methods have been extended for model-based segmentation where the network outputs the parameters of a geometric model (e.g. an ellipse) directly. This work considers objects whose three-dimensional models can be represented as ellipsoids. We present a variant of Mask R-CNN for estimating the parameters of ellipsoidal objects by segmenting each object and accurately regressing the parameters of projection ellipses. We show that model regression is sensitive to the underlying occlusion scenario and that prediction quality for each object needs to be characterized individually for accurate 3D object estimation. We present a novel ellipse regression loss which can learn the offset parameters with their uncertainties and quantify the overall geometric quality of detection for each ellipse. These values, in turn, allow us to fuse multi-view detections to obtain 3D ellipsoid parameters in a principled fashion. The experiments on both synthetic and real datasets quantitatively demonstrate the high accuracy of our proposed method in estimating 3D objects under heavy occlusions compared to previous state-of-the-art methods.
翻訳日:2021-04-24 20:08:33 公開日:2020-12-27
# Time-Window Group-Correlation Support vs. 個人的特徴:異常な利用者の検出

Time-Window Group-Correlation Support vs. Individual Features: A Detection of Abnormal Users ( http://arxiv.org/abs/2012.13971v1 )

ライセンス: Link先を確認
Lun-Pin Yuan, Euijin Choo, Ting Yu, Issa Khalil, Sencun Zhu(参考訳) オートエンコーダに基づく異常検出手法は,大規模企業ログから異常ユーザを識別するために,過去の習慣パターンに従わないことを前提として用いられてきた。 既存のアプローチのほとんどは、通常、シングルデイと個人ユーザーの振る舞いを再構築してモデルを構築します。 しかし、長期的な信号やグループ相関信号を捉えることなく、モデルは低信号で持続する脅威を識別できず、多くの正常なユーザーが忙しい日に異常であると誤って報告し、その結果、偽陽性率が高くなる。 本稿では,長期パターンと集団行動を考慮したCOmpound BEhaviorに基づく異常検出手法であるACOBEを提案する。 ACOBEは、新しい行動表現とディープ・オートエンコーダのアンサンブルを活用し、順序付けられた調査リストを生成する。 評価の結果,acobeは精度とリコールの面では先行研究よりも大きなマージンを示しており,本事例ではacobeがサイバー攻撃検出に応用可能であることを実証した。

Autoencoder-based anomaly detection methods have been used in identifying anomalous users from large-scale enterprise logs with the assumption that adversarial activities do not follow past habitual patterns. Most existing approaches typically build models by reconstructing single-day and individual-user behaviors. However, without capturing long-term signals and group-correlation signals, the models cannot identify low-signal yet long-lasting threats, and will wrongly report many normal users as anomalies on busy days, which, in turn, lead to high false positive rate. In this paper, we propose ACOBE, an Anomaly detection method based on COmpound BEhavior, which takes into consideration long-term patterns and group behaviors. ACOBE leverages a novel behavior representation and an ensemble of deep autoencoders and produces an ordered investigation list. Our evaluation shows that ACOBE outperforms prior work by a large margin in terms of precision and recall, and our case study demonstrates that ACOBE is applicable in practice for cyberattack detection.
翻訳日:2021-04-24 20:07:52 公開日:2020-12-27