このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス(CC 0, CC BY, CC BY-SA)の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。(arxivのメタデータは CC 0です。) 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。

本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。

公開日が20200606となっている論文です。

PDF登録状況(公開日: 20200606)

TitleAuthorsAbstract論文公表日・翻訳日
# 不規則時系列のシグネチャモデルに対するパスインプテーション戦略

Path Imputation Strategies for Signature Models of Irregular Time Series ( http://arxiv.org/abs/2005.12359v2 )

ライセンス: Link先を確認
Michael Moor, Max Horn, Christian Bock, Karsten Borgwardt, Bastian Rieck(参考訳) シグネチャ変換は連続ベクトル値経路の空間上の「普遍非線形性」であり、時系列の機械学習での使用に注目されている。 しかし、現実の時間データは一般に離散的に観測され、まず署名技術を適用する前に連続的な経路に変換する必要がある。 このステップをインプテーション問題として明示し、不規則時系列データにシグネチャベースのニューラルネットを適用する際の様々なインプテーション戦略の影響を実証的に評価する。 これらの戦略の一つ,ガウス過程 (GP) アダプタに対して,モンテカルロ (MC) サンプリングのコストを抑えながら,後続の分類器に直接不確実性情報を提供する拡張~ (GP-PoM) を提案する。 実験では,命令の選択が浅いシグネチャモデルに大きく影響を与えるのに対して,より深いアーキテクチャはより堅牢であることがわかった。 次に,GP-PoMやインジケータ計算に基づく不確実性認識予測は,従来のGPアダプタの不確実性認識訓練と比較しても,予測性能に有益であることを示す。 結論として,シグネチャモデルにおいて経路構成が本当に重要であること,提案手法がシグネチャモデルのロバスト性を改善しつつ,一般に競争性能の向上につながることを実証した。

The signature transform is a 'universal nonlinearity' on the space of continuous vector-valued paths, and has received attention for use in machine learning on time series. However, real-world temporal data is typically observed at discrete points in time, and must first be transformed into a continuous path before signature techniques can be applied. We make this step explicit by characterising it as an imputation problem, and empirically assess the impact of various imputation strategies when applying signature-based neural nets to irregular time series data. For one of these strategies, Gaussian process (GP) adapters, we propose an extension~(GP-PoM) that makes uncertainty information directly available to the subsequent classifier while at the same time preventing costly Monte-Carlo (MC) sampling. In our experiments, we find that the choice of imputation drastically affects shallow signature models, whereas deeper architectures are more robust. Next, we observe that uncertainty-aware predictions (based on GP-PoM or indicator imputations) are beneficial for predictive performance, even compared to the uncertainty-aware training of conventional GP adapters. In conclusion, we have demonstrated that the path construction is indeed crucial for signature models and that our proposed strategy leads to competitive performance in general, while improving robustness of signature models in particular.
翻訳日:2022-11-29 05:30:42 公開日:2020-06-06
# 脳のような異種ネットワークBHN

BHN: A Brain-like Heterogeneous Network ( http://arxiv.org/abs/2005.12826v2 )

ライセンス: Link先を確認
Tao Liu(参考訳) 人間の脳は教師なしの方法で機能し、複数の脳領域が知性を照らすのに不可欠です。 そこで我々は,多くの分散表現と1つのグローバルアテンション表現を協調的に学習できる脳様異種ネットワーク(BHN)を提案する。 分散,自己教師付き,勾配分離された目的関数をminimax方式で最適化することで,実験において画像や映像のフレームのパッチから生成される表現を改善する。

The human brain works in an unsupervised way, and more than one brain region is essential for lighting up intelligence. Inspired by this, we propose a brain-like heterogeneous network (BHN), which can cooperatively learn a lot of distributed representations and one global attention representation. By optimizing distributed, self-supervised, and gradient-isolated objective functions in a minimax fashion, our model improves its representations, which are generated from patches of pictures or frames of videos in experiments.
翻訳日:2022-11-28 23:20:54 公開日:2020-06-06
# Tukey-Lambda確率分布に基づく新しい進化的アルゴリズムを用いたアンテナ最適化

Antenna Optimization Using a New Evolutionary Algorithm Based on Tukey-Lambda Probability Distribution ( http://arxiv.org/abs/2005.13594v2 )

ライセンス: Link先を確認
Vahraz Jamnejad and Ahmad Hoorfar(参考訳) 本稿では,Tukeyの対称ラムダ分布に基づく新しい進化的最適化アルゴリズムを提案する。 タキー分布は3つのパラメータ、形状パラメータ、スケールパラメータ、位置パラメータまたは平均値によって定義される。 形状パラメータを変更することで、他の様々な分布を近似することができ、その結果、多くの確率分布を含むことができる。 さらに、これらの属性により、チューキー突然変異演算子を用いた進化的プログラミング(EP)アルゴリズムは、多くの最適化問題でうまく機能する可能性がある。 チューキー分布を用いたEPの実装における様々なスキームについて論じ, 選択した試験関数とアンテナ設計問題に適用した。

In this paper, we introduce a new evolutionary optimization algorithm based on Tukey's symmetric lambda distribution. Tukey distribution is defined by 3 parameters, the shape parameter, the scale parameter, and the location parameter or average value. Various other distributions can be approximated by changing the shape parameter, and as a result can encompass a large class of probability distributions. In addition, Because of these attributes, an Evolutionary Programming (EP) algorithm with Tukey mutation operator may perform well in a large class of optimization problems. Various schemes in implementation of EP with Tukey distribution are discussed, and the resulting algorithms are applied to selected test functions and antenna design problems.
翻訳日:2022-11-28 09:17:24 公開日:2020-06-06
# 人物再識別のためのグラフトネットワーク

Grafted network for person re-identification ( http://arxiv.org/abs/2006.01967v2 )

ライセンス: Link先を確認
Jiabao Wang, Yang Li, Shanshan Jiao, Zhuang Miao, Rui Zhang(参考訳) 畳み込みニューラルネットワークは、人物の再識別(re-ID)において顕著な効果を示した。 しかし、モデルは常に多くのパラメータを持ち、モバイルアプリケーションのための計算量が多い。 そこで本研究では,高精度根材と軽量シイオンをグラフトした新しいグラフトネットワーク(graftednet)を提案する。 ルートストックはResNet-50の以前の部分に基づいて強力なベースラインを提供し、一方cionはSqueezeNetの後半部分で構成され、パラメータを圧縮する新しい設計モジュールである。 より識別的な特徴表現を抽出するために、多レベルおよび部分に基づくジョイント特徴を提案する。 さらに,グラフトednetを効率的にトレーニングするために,モデルのトレーニングに付随するブランチを追加し,パラメータや計算を省くためのテストにおいてそれを削除することにより,学習方法を提案する。 3つの公開人物re-idベンチマーク(market1501, dukemtmc-reid, cuhk03)において, graftednetの有効性を評価し,その構成成分を解析した。 実験の結果、GraftedNetはランキング1で93.02%、85.3%、76.2%、mAPで81.6%、74.7%、71.6%を達成した。

Convolutional neural networks have shown outstanding effectiveness in person re-identification (re-ID). However, the models always have large number of parameters and much computation for mobile application. In order to relieve this problem, we propose a novel grafted network (GraftedNet), which is designed by grafting a high-accuracy rootstock and a light-weighted scion. The rootstock is based on the former parts of ResNet-50 to provide a strong baseline, while the scion is a new designed module, composed of the latter parts of SqueezeNet, to compress the parameters. To extract more discriminative feature representation, a joint multi-level and part-based feature is proposed. In addition, to train GraftedNet efficiently, we propose an accompanying learning method, by adding an accompanying branch to train the model in training and removing it in testing for saving parameters and computation. On three public person re-ID benchmarks (Market1501, DukeMTMC-reID and CUHK03), the effectiveness of GraftedNet are evaluated and its components are analyzed. Experimental results show that the proposed GraftedNet achieves 93.02%, 85.3% and 76.2% in Rank-1 and 81.6%, 74.7% and 71.6% in mAP, with only 4.6M parameters.
翻訳日:2022-11-26 00:48:30 公開日:2020-06-06
# 視覚的アピールに基づくランク付け画像のアンサンブルネットワーク

Ensemble Network for Ranking Images Based on Visual Appeal ( http://arxiv.org/abs/2006.03898v1 )

ライセンス: Link先を確認
Sachin Singh, Victor Sanchez and Tanaya Guha(参考訳) 短時間で同じイベントで撮影された画像(特にグループ写真)のランク付けを行うための計算フレームワークを提案する。 ランキングは、画像の全体的な魅力に対する人間の認識に対応することが期待されている。 主観的分析によって、人間に訴える要因は感情的内容、美学、画質である、と仮定し、提示する。 本稿では、3つの情報チャンネルのアンサンブルであるネットワークを提案し、それぞれが3つの視覚的魅力要因のうちの1つに対応するスコアを予測する。 グループ感情推定のために、画像からグループ感情を予測するための畳み込みニューラルネットワーク(CNN)アーキテクチャを提案する。 この新しいアーキテクチャは、画像の重要な領域に重点を置くネットワークを強制し、最先端技術に匹敵する結果を得る。 次に、グループ感情、美学、画像品質スコアを組み合わせた画像ランキングタスクのためのネットワークを開発する。 適切なデータベースが利用できないため、様々なソーシャルイベント中に手動でアノテートされたグループ写真の新しいデータベースを作成しました。 我々は、このデータベースおよび他のベンチマークデータベースに対して、いつでも利用可能な実験結果を示す。 実験の結果,提案フレームワークは画像の全体的な魅力を人間のランクと密接に一致して確実に予測できることがわかった。

We propose a computational framework for ranking images (group photos in particular) taken at the same event within a short time span. The ranking is expected to correspond with human perception of overall appeal of the images. We hypothesize and provide evidence through subjective analysis that the factors that appeal to humans are its emotional content, aesthetics and image quality. We propose a network which is an ensemble of three information channels, each predicting a score corresponding to one of the three visual appeal factors. For group emotion estimation, we propose a convolutional neural network (CNN) based architecture for predicting group emotion from images. This new architecture enforces the network to put emphasis on the important regions in the images, and achieves comparable results to the state-of-the-art. Next, we develop a network for the image ranking task that combines group emotion, aesthetics and image quality scores. Owing to the unavailability of suitable databases, we created a new database of manually annotated group photos taken during various social events. We present experimental results on this database and other benchmark databases whenever available. Overall, our experiments show that the proposed framework can reliably predict the overall appeal of images with results closely corresponding to human ranking.
翻訳日:2022-11-24 22:06:12 公開日:2020-06-06
# 二重検出器識別器を用いたロバスト透かし

Robust watermarking with double detector-discriminator approach ( http://arxiv.org/abs/2006.03921v1 )

ライセンス: Link先を確認
Marcin Plata, Piotr Syga(参考訳) 本稿では,透明なメッセージを画像に埋め込む手法である透かしのための新しい深層フレームワークを提案する。 この手法では,デジタル処理処理を施した後でも画像から情報を抽出することが不可欠である。 当社のフレームワークは,最近の攻撃スペクトル(回転,再サイズ,ガウス平滑化など)に対するロバスト性という文脈で,圧縮,特にjpegに対するロバスト性よりも優れています。 この方法のビット精度は、あらゆる種類の歪みに対して少なくとも 0.86 である。 また、JPEGでは0.90ビットの精度を実現しました。 私たちの方法は透明性とキャパシティも保ちます。 さらに,画像に埋め込みメッセージが含まれているかどうかを検知し判別する手法であるdouble detector-discriminatorアプローチを提案する。 これにより、拡張アプローチを検証するためのテスト公式を設計し、一般的な手順と比較します。 また,このフレームワークに容易に適用可能な,画像品質と攻撃に対する堅牢性のバランスをとる方法を提案する。

In this paper we present a novel deep framework for a watermarking - a technique of embedding a transparent message into an image in a way that allows retrieving the message from a (perturbed) copy, so that copyright infringement can be tracked. For this technique, it is essential to extract the information from the image even after imposing some digital processing operations on it. Our framework outperforms recent methods in the context of robustness against not only spectrum of attacks (e.g. rotation, resizing, Gaussian smoothing) but also against compression, especially JPEG. The bit accuracy of our method is at least 0.86 for all types of distortions. We also achieved 0.90 bit accuracy for JPEG while recent methods provided at most 0.83. Our method retains high transparency and capacity as well. Moreover, we present our double detector-discriminator approach - a scheme to detect and discriminate if the image contains the embedded message or not, which is crucial for real-life watermarking systems and up to now was not investigated using neural networks. With this, we design a testing formula to validate our extended approach and compared it with a common procedure. We also present an alternative method of balancing between image quality and robustness on attacks which is easily applicable to the framework.
翻訳日:2022-11-24 22:05:38 公開日:2020-06-06
# ニューラルネットワークによる逆問題の正則化

Regularization of Inverse Problems by Neural Networks ( http://arxiv.org/abs/2006.03972v1 )

ライセンス: Link先を確認
Markus Haltmeier and Linh V. Nguyen(参考訳) 逆問題は、計算トモグラフィー、非破壊検査、リモートセンシングを含む様々な画像アプリケーションで発生する。 逆問題の特徴は、解の非特異性と不安定性である。 したがって、任意の合理的解法は、特定の解を選択し、同時に反転過程を安定化する正規化ツールを使用する必要がある。 近年,ディープラーニング技術とニューラルネットワークを用いたデータ駆動手法は,逆問題に対する古典解法よりも優れていた。 本章では,逆問題の概要を述べるとともに,その解に対する正規化概念の必要性を示す。 ニューラルネットワークは逆問題に対するデータ駆動型ソリューションとして利用でき、逆問題に対する既存のディープラーニング手法をレビューすることができる。 特に,これらのディープラーニング手法を,逆問題に対する安定解法の数学的基礎である正規化理論の観点から考察する。 この章は、提示された理論的な結果の多くが既存のものを拡張するため、単なるレビュー以上のものである。

Inverse problems arise in a variety of imaging applications including computed tomography, non-destructive testing, and remote sensing. The characteristic features of inverse problems are the non-uniqueness and instability of their solutions. Therefore, any reasonable solution method requires the use of regularization tools that select specific solutions and at the same time stabilize the inversion process. Recently, data-driven methods using deep learning techniques and neural networks demonstrated to significantly outperform classical solution methods for inverse problems. In this chapter, we give an overview of inverse problems and demonstrate the necessity of regularization concepts for their solution. We show that neural networks can be used for the data-driven solution of inverse problems and review existing deep learning methods for inverse problems. In particular, we view these deep learning methods from the perspective of regularization theory, the mathematical foundation of stable solution methods for inverse problems. This chapter is more than just a review as many of the presented theoretical results extend existing ones.
翻訳日:2022-11-24 22:05:17 公開日:2020-06-06
# 構造系の損傷同定のためのスパース表現

Sparse representation for damage identification of structural systems ( http://arxiv.org/abs/2006.03929v1 )

ライセンス: Link先を確認
Zhao Chen and Hao Sun(参考訳) 構造系の損傷の同定は、通常、測定ノイズとモデリングエラーによって引き起こされる刺激的・認識的不確実性のために不調な逆問題として特徴づけられる。 スパース表現はスパース損傷の場合の逆解析に使うことができる。 本稿では,モデル更新とスパース損傷識別のための2段階感度解析に基づく新しいフレームワークを提案する。 具体的には,無傷モデルと不確実性定量化の更新のために,まず$\ell_2$ベイズ学習法を開発し,損傷検出のベースラインを設定する。 準$\ell_0$法に基づいて構築されたスパース表現パイプライン、例えば、逐次しきい値最小二乗(stls)回帰は、損傷の局在と定量化のために提示される。 さらに、データからヒューリスティックにハイパーパラメータを学習するために、クロス検証と共にベイズ最適化が開発され、ハイパーパラメータチューニングの計算コストを節約し、より信頼性の高い識別結果を生成する。 提案手法は, 10階建てのせん断型建物, 複雑なトラス構造, 8階建ての鋼製フレームの揺動テーブル試験の3例で検証された。 提案手法は, 構造損傷の局所化と定量化の両方を高精度に行うことができることを示す。

Identifying damage of structural systems is typically characterized as an inverse problem which might be ill-conditioned due to aleatory and epistemic uncertainties induced by measurement noise and modeling error. Sparse representation can be used to perform inverse analysis for the case of sparse damage. In this paper, we propose a novel two-stage sensitivity analysis-based framework for both model updating and sparse damage identification. Specifically, an $\ell_2$ Bayesian learning method is firstly developed for updating the intact model and uncertainty quantification so as to set forward a baseline for damage detection. A sparse representation pipeline built on a quasi-$\ell_0$ method, e.g., Sequential Threshold Least Squares (STLS) regression, is then presented for damage localization and quantification. Additionally, Bayesian optimization together with cross validation is developed to heuristically learn hyperparameters from data, which saves the computational cost of hyperparameter tuning and produces more reliable identification result. The proposed framework is verified by three examples, including a 10-story shear-type building, a complex truss structure, and a shake table test of an eight-story steel frame. Results show that the proposed approach is capable of both localizing and quantifying structural damage with high accuracy.
翻訳日:2022-11-24 22:05:02 公開日:2020-06-06
# 新しいフュージョンアルゴリズムはロボットパス計画の代替手法を提供する

New Fusion Algorithm provides an alternative approach to Robotic Path planning ( http://arxiv.org/abs/2006.05241v1 )

ライセンス: Link先を確認
Ashutosh Kumar Tiwari, Sandeep Varma Nadimpalli(参考訳) 技術と自動化の急速な成長のために、ロボットはスピードと精度の両方で、人間のタスクがロボットに取って代わられている。 これらのロボットが広く普及している主な用途の1つは、作業エリア内や周辺に大量の荷物を運ぶために雇用される産業用ロボットである。 これらの作業環境は完全にローカライズされず、動的に変化する可能性があるため、新しいアプローチは、クラッシュのない業務遂行の方法を保証するために評価されなければならない。 本稿では,カスタム2次元環境における経路計画問題を解くための新しい効率的な融合アルゴリズムを提案する。 この融合アルゴリズムは、改良された最適化されたA*アルゴリズムと人工ポテンシャル場法を統合する。 まず、A*アルゴリズムを採用することにより、環境モデルにおいて初期経路または予備経路を計画する。 このA*アルゴリズムのヒューリスティック関数は,環境モデルに従って最適化・改善される。 この後、最初のパスでキーノードを選択して保存する。 最後に、これらの保存キーノードに基づいて、人工電位場法による経路平滑化を行う。 Python viz.ライブラリを用いて行ったシミュレーション結果から,新しい融合アルゴリズムはスムーズ性に優れ,経路計画の従来のA*戦略に代わる時間効率と安価な代替手段として満足できることがわかった。

For rapid growth in technology and automation, human tasks are being taken over by robots as robots have proven to be better with both speed and precision. One of the major and widespread usages of these robots is in the industrial businesses, where they are employed to carry massive loads in and around work areas. As these working environments might not be completely localized and could be dynamically changing, new approaches must be evaluated to guarantee a crash-free way of performing duties. This paper presents a new and efficient fusion algorithm for solving the path planning problem in a custom 2D environment. This fusion algorithm integrates an improved and optimized version of both, A* algorithm and the Artificial potential field method. Firstly, an initial or preliminary path is planned in the environmental model by adopting the A* algorithm. The heuristic function of this A* algorithm is optimized and improved according to the environmental model. This is followed by selecting and saving the key nodes in the initial path. Lastly, on the basis of these saved key nodes, path smoothing is done by artificial potential field method. Our simulation results carried out using Python viz. libraries indicate that the new fusion algorithm is feasible and superior in smoothness performance and can satisfy as a time-efficient and cheaper alternative to conventional A* strategies of path planning.
翻訳日:2022-11-24 22:01:00 公開日:2020-06-06
# 異なる次元領域上の多変量関数特異スペクトル解析

Multivariate Functional Singular Spectrum Analysis Over Different Dimensional Domains ( http://arxiv.org/abs/2006.03933v1 )

ライセンス: Link先を確認
Jordan Trinka, Hossein Haghbin, and Mehdi Maadooliat(参考訳) 本研究では,多変量特異スペクトル解析(mssa)の機能拡張である異なる次元領域上の多変量汎関数特異スペクトル解析(mfssa)を開発する。 以下の例では、アルゴリズムに必要なレシピを含む実装戦略だけでなく、作業をサポートするために必要な理論上の詳細を全て提示する。 本研究は,MFSSAを用いた多変量関数時系列(MFTS)信号の再構成精度を他の手法と比較して向上させるシミュレーション研究であり,MFSSAが日内温度曲線と植生のリモートセンシング画像を用いて解析をどのように強化するかを示す実データ研究である。 MFSSAはRfssa Rパッケージを通じて利用可能である。

In this work, we develop multivariate functional singular spectrum analysis (MFSSA) over different dimensional domains which is the functional extension of multivariate singular spectrum analysis (MSSA). In the following, we provide all of the necessary theoretical details supporting the work as well as the implementation strategy that contains the recipes needed for the algorithm. We provide a simulation study showcasing the better performance in reconstruction accuracy of a multivariate functional time series (MFTS) signal found using MFSSA as compared to other approaches and we give a real data study showing how MFSSA enriches analysis using intraday temperature curves and remote sensing images of vegetation. MFSSA is available for use through the Rfssa R package.
翻訳日:2022-11-24 22:00:41 公開日:2020-06-06
# SONIA: 対称的ブロックワイド整合最適化アルゴリズム

SONIA: A Symmetric Blockwise Truncated Optimization Algorithm ( http://arxiv.org/abs/2006.03949v1 )

ライセンス: Link先を確認
Majid Jahani, Mohammadreza Nazari, Rachael Tappenden, Albert S. Berahas, Martin Tak\'a\v{c}(参考訳) 本研究は,経験的リスク最小化のための新しいアルゴリズムを提案する。 このアルゴリズムは、一部分空間において二階型更新を用いる探索方向を計算し、直交補数において最も急降下ステップを拡大することにより、一階法と二階法のギャップを埋める。 この目的のために、部分曲率情報を悪条件にするために組み込むと同時に、機械学習アプリケーションでしばしば発生する大きな問題次元にアルゴリズムをスケールできるようにする。 理論的な結果は、強い凸と非凸の両方の場合において、アルゴリズムが定常点に収束することを確認するために提示される。 アルゴリズムの確率的変種も、対応する理論的保証とともに提示される。 数値計算により,従来の機械学習問題に対する新しいアプローチの強みが確かめられる。

This work presents a new algorithm for empirical risk minimization. The algorithm bridges the gap between first- and second-order methods by computing a search direction that uses a second-order-type update in one subspace, coupled with a scaled steepest descent step in the orthogonal complement. To this end, partial curvature information is incorporated to help with ill-conditioning, while simultaneously allowing the algorithm to scale to the large problem dimensions often encountered in machine learning applications. Theoretical results are presented to confirm that the algorithm converges to a stationary point in both the strongly convex and nonconvex cases. A stochastic variant of the algorithm is also presented, along with corresponding theoretical guarantees. Numerical results confirm the strengths of the new approach on standard machine learning problems.
翻訳日:2022-11-24 22:00:27 公開日:2020-06-06
# 消費者製品画像のための簡易一次色編集

Simple Primary Colour Editing for Consumer Product Images ( http://arxiv.org/abs/2006.03743v1 )

ライセンス: Link先を確認
Han Gong, Luwen Yu, Stephen Westland(参考訳) 消費者製品画像に対する簡易な一次色編集手法を提案する。 色補正と色ブレンドを用いることで,色編集作業の自動化と,消費者色選好研究者の時間を節約できることを示す。 一次色とその相補色間の色調和を改善するため、このアルゴリズムは画像内の他の色も調整する。 予備実験は、最先端の手法と人間の編集と比較して有望な結果を示している。

We present a simple primary colour editing method for consumer product images. We show that by using colour correction and colour blending, we can automate the pain-staking colour editing task and save time for consumer colour preference researchers. To improve the colour harmony between the primary colour and its complementary colours, our algorithm also tunes the other colours in the image. Preliminary experiment has shown some promising results compared with a state-of-the-art method and human editing.
翻訳日:2022-11-24 22:00:14 公開日:2020-06-06
# 3次元形状とシーンコンプリートのための出力誘導型スキップ接続を用いた深部オクターベースCNN

Deep Octree-based CNNs with Output-Guided Skip Connections for 3D Shape and Scene Completion ( http://arxiv.org/abs/2006.03762v1 )

ライセンス: Link先を確認
Peng-Shuai Wang and Yang Liu and Xin Tong(参考訳) 形状とシーンデータの完全かつクリーンな取得は、幾何学的閉塞と3D撮影時の視界不足により困難である。 入力ノイズや不完全な形状やシーンを完了するための,単純かつ効果的な深層学習手法を提案する。 我々のネットワークはO-CNN(O-CNN)とU-Netのような構造で構築されており、高い計算効率とメモリ効率を享受し、3次元CNNのための非常に深いネットワーク構造の構築を支援する。 データから入力幾何と学習幾何を効果的に保存するために、新しい出力誘導スキップ接続をネットワーク構造に導入する。 これらの単純な適応 -- 出力誘導型スキップ接続とO-CNN(70層まで)により、我々のネットワークは3次元形状の完成とセマンティックシーンの計算において最先端の結果を達成する。

Acquiring complete and clean 3D shape and scene data is challenging due to geometric occlusion and insufficient views during 3D capturing. We present a simple yet effective deep learning approach for completing the input noisy and incomplete shapes or scenes. Our network is built upon the octree-based CNNs (O-CNN) with U-Net like structures, which enjoys high computational and memory efficiency and supports to construct a very deep network structure for 3D CNNs. A novel output-guided skip-connection is introduced to the network structure for better preserving the input geometry and learning geometry prior from data effectively. We show that with these simple adaptions -- output-guided skip-connection and deeper O-CNN (up to 70 layers), our network achieves state-of-the-art results in 3D shape completion and semantic scene computation.
翻訳日:2022-11-24 22:00:08 公開日:2020-06-06
# 特徴融合とマルチタスク学習による非参照画像品質評価

No-Reference Image Quality Assessment via Feature Fusion and Multi-Task Learning ( http://arxiv.org/abs/2006.03783v1 )

ライセンス: Link先を確認
S. Alireza Golestaneh, Kris Kitani(参考訳) ブラインドまたは非参照画像品質評価(NR-IQA)は、参照画像が利用できないため、基本的で未解決でありながら難しい問題である。 毎日何十億もの視聴者に影響を与えるストリーミングやソーシャルメディア産業にとって不可欠だ。 NR-IQA法は様々な特徴抽出手法を応用したが、性能ボトルネックは依然として残っている。 本稿では,マルチタスク学習に基づく簡易かつ効果的な汎用no-reference(nr)画像品質評価(iqa)フレームワークを提案する。 本モデルでは歪み型と主観的人間のスコアを用いて画質を推定する。 歪み情報を利用して品質スコア推定タスクを改善する特徴融合法を提案する。 本実験では,マルチタスク学習と特徴融合法を用いて,NR-IQAタスクの性能向上を実証した。 提案手法の有効性を示すために,7つの標準データセット上でのアプローチをテストし,様々なデータセットで最新の結果が得られることを示す。

Blind or no-reference image quality assessment (NR-IQA) is a fundamental, unsolved, and yet challenging problem due to the unavailability of a reference image. It is vital to the streaming and social media industries that impact billions of viewers daily. Although previous NR-IQA methods leveraged different feature extraction approaches, the performance bottleneck still exists. In this paper, we propose a simple and yet effective general-purpose no-reference (NR) image quality assessment (IQA) framework based on multi-task learning. Our model employs distortion types as well as subjective human scores to predict image quality. We propose a feature fusion method to utilize distortion information to improve the quality score estimation task. In our experiments, we demonstrate that by utilizing multi-task learning and our proposed feature fusion method, our model yields better performance for the NR-IQA task. To demonstrate the effectiveness of our approach, we test our approach on seven standard datasets and show that we achieve state-of-the-art results on various datasets.
翻訳日:2022-11-24 21:59:50 公開日:2020-06-06
# キーポイントを用いた建物の事例セグメンテーション

Instance segmentation of buildings using keypoints ( http://arxiv.org/abs/2006.03858v1 )

ライセンス: Link先を確認
Qingyu Li, Lichao Mou, Yuansheng Hua, Yao Sun, Pu Jin, Yilei Shi, Xiao Xiang Zhu(参考訳) 建築セグメンテーションはリモートセンシング画像解釈のタスクにおいて非常に重要である。 しかし、既存のセマンティックセグメンテーションとインスタンスセグメンテーションメソッドは、しばしばぼやけた境界を持つセグメンテーションマスクにつながる。 本稿では,高分解能リモートセンシング画像におけるセグメンテーションを構築するための新しいインスタンスセグメンテーションネットワークを提案する。 より具体的には、個々の建物を分割していくつかのキーポイントを検出することを検討する。 検出されたキーポイントはその後、建物のセマンティック境界である閉ポリゴンとして再構成される。 そうすることで、建物の鋭い境界が保たれる。 屋上セグメンテーション(airs)データセットを選定した空中画像を用いて実験を行い, 数値的, 質的ともに, 最新の手法と比較して良好な性能を得る。 我々のネットワークは、幾何学的詳細をよく保存できるボトムアップのインスタンスセグメンテーション手法である。

Building segmentation is of great importance in the task of remote sensing imagery interpretation. However, the existing semantic segmentation and instance segmentation methods often lead to segmentation masks with blurred boundaries. In this paper, we propose a novel instance segmentation network for building segmentation in high-resolution remote sensing images. More specifically, we consider segmenting an individual building as detecting several keypoints. The detected keypoints are subsequently reformulated as a closed polygon, which is the semantic boundary of the building. By doing so, the sharp boundary of the building could be preserved. Experiments are conducted on selected Aerial Imagery for Roof Segmentation (AIRS) dataset, and our method achieves better performance in both quantitative and qualitative results with comparison to the state-of-the-art methods. Our network is a bottom-up instance segmentation method that could well preserve geometric details.
翻訳日:2022-11-24 21:51:57 公開日:2020-06-06
# 共変量シフトロバストネスのための自己監督動的ネットワーク

Self-Supervised Dynamic Networks for Covariate Shift Robustness ( http://arxiv.org/abs/2006.03952v1 )

ライセンス: Link先を確認
Tomer Cohen, Noy Shulman, Hai Morgenstern, Roey Mechrez, and Erez Farhan(参考訳) 教師付き学習が依然としてほとんどのAIアプリケーションを支配しているため、テスト時のパフォーマンスはしばしば予期しない。 特に、背景雑音、照明変動、転写エラーなどの典型的な迷惑によって引き起こされる入力共変量の変化は、予測精度を著しく低下させる可能性がある。 近年,自己スーパービジョンを取り入れることで,共変量シフトのロバスト性が著しく向上することが示された。 本研究では、動的ネットワークにインスパイアされた入力依存機構であるセルフスーパービジョン動的ネットワーク(SSDN)を提案し、本ネットワークの重みを自己教師ネットワークが予測し、テスト時に共変量シフトを直接処理できるようにする。 本稿では,共変量シフトの異なる画像分類問題に対する提案手法の概念的・実証的利点を示し,比較法を有意に上回っていることを示す。

As supervised learning still dominates most AI applications, test-time performance is often unexpected. Specifically, a shift of the input covariates, caused by typical nuisances like background-noise, illumination variations or transcription errors, can lead to a significant decrease in prediction accuracy. Recently, it was shown that incorporating self-supervision can significantly improve covariate shift robustness. In this work, we propose Self-Supervised Dynamic Networks (SSDN): an input-dependent mechanism, inspired by dynamic networks, that allows a self-supervised network to predict the weights of the main network, and thus directly handle covariate shifts at test-time. We present the conceptual and empirical advantages of the proposed method on the problem of image classification under different covariate shifts, and show that it significantly outperforms comparable methods.
翻訳日:2022-11-24 21:50:43 公開日:2020-06-06
# スタイルベースフェイスエイジングによる顔データの多様性向上

Enhancing Facial Data Diversity with Style-based Face Aging ( http://arxiv.org/abs/2006.03985v1 )

ライセンス: Link先を確認
Markos Georgopoulos, James Oldfield, Mihalis A. Nicolaou, Yannis Panagakis, Maja Pantic(参考訳) 公正分類器の訓練における重要な制限要因は、データセットバイアスの存在に関連している。 特に、顔データセットは、通常、性別、年齢、人種などの属性の観点からバイアスされる。 緩和されない場合、偏見はそのようなグループに対して不公平な振る舞いを示すアルゴリズムにつながる。 本研究では,年齢に関して顔データセットの多様性を増大させる問題に対処する。 具体的には,多分解能年齢判別表現の条件づけにより,細粒度の老化パターンを捉えたデータ拡張のための新しい生成型アーキテクチャを提案する。 本手法は, 単層およびクロスデータベース実験において, 年齢別データ集合の評価を行うことにより, ラベル分布の尾部に位置する年齢群において, 年齢移動に関する最先端アルゴリズムよりも優れることを示す。 さらに,拡張データセットの多様性が著しく向上し,既存のメトリクスによる比較手法を上回っています。

A significant limiting factor in training fair classifiers relates to the presence of dataset bias. In particular, face datasets are typically biased in terms of attributes such as gender, age, and race. If not mitigated, bias leads to algorithms that exhibit unfair behaviour towards such groups. In this work, we address the problem of increasing the diversity of face datasets with respect to age. Concretely, we propose a novel, generative style-based architecture for data augmentation that captures fine-grained aging patterns by conditioning on multi-resolution age-discriminative representations. By evaluating on several age-annotated datasets in both single- and cross-database experiments, we show that the proposed method outperforms state-of-the-art algorithms for age transfer, especially in the case of age groups that lie in the tails of the label distribution. We further show significantly increased diversity in the augmented datasets, outperforming all compared methods according to established metrics.
翻訳日:2022-11-24 21:50:30 公開日:2020-06-06
# StackOverflow vs. Kaggle: データサイエンスに関する開発者の議論

StackOverflow vs Kaggle: A Study of Developer Discussions About Data Science ( http://arxiv.org/abs/2006.08334v1 )

ライセンス: Link先を確認
David Hin(参考訳) ソフトウェア開発者は、基本データサイエンス(DS)の概念を理解する必要がある。 近年、機械学習(ML)とディープラーニング(DL)の存在は、フレームワークを通じて活用されるか、ゼロから実装されるかにかかわらず、ユーザアプリケーションの開発において劇的に増加している。 これらの話題はオンラインプラットフォーム上で多くの議論を巻き起こしている。 本稿では,stackoverflow と kaggle の 197836 ポストの特性を調べるために,大規模定性的かつ定量的な実験を行う。 遅延ディリクレ割当トピックモデリングは、24のDSトピックを抽出するために使用される。 主な発見は、TensorFlow関連のトピックがStackOverflowでもっとも多いのに対して、メタディスカッショントピックがKaggleでもっとも多かったことだ。 StackOverflowは低いレベルのトラブルシューティングを含む傾向があり、Kaggleは実用性とリーダボードのパフォーマンスの最適化に重点を置いている。 加えて、両方のコミュニティでdsの議論が劇的なペースで増加している。 StackOverflowに関するTensorFlowの議論は遅くなっているが、Kerasへの関心は高まっている。 最後に、アンサンブルアルゴリズムはKaggleで最も言及されているML/DLアルゴリズムであるが、StackOverflowではほとんど議論されない。 これらの発見は、教育者や研究者がdsの概念を異なる開発者コミュニティに調査し、伝達する努力をより効果的に調整し優先順位付けるのに役立つ。

Software developers are increasingly required to understand fundamental Data science (DS) concepts. Recently, the presence of machine learning (ML) and deep learning (DL) has dramatically increased in the development of user applications, whether they are leveraged through frameworks or implemented from scratch. These topics attract much discussion on online platforms. This paper conducts large-scale qualitative and quantitative experiments to study the characteristics of 197836 posts from StackOverflow and Kaggle. Latent Dirichlet Allocation topic modelling is used to extract twenty-four DS discussion topics. The main findings include that TensorFlow-related topics were most prevalent in StackOverflow, while meta discussion topics were the prevalent ones on Kaggle. StackOverflow tends to include lower-level troubleshooting, while Kaggle focuses on practicality and optimising leaderboard performance. In addition, across both communities, DS discussion is increasing at a dramatic rate. While TensorFlow discussion on StackOverflow is slowing, interest in Keras is rising. Finally, ensemble algorithms are the most mentioned ML/DL algorithms in Kaggle but are rarely discussed on StackOverflow. These findings can help educators and researchers to more effectively tailor and prioritise efforts in researching and communicating DS concepts towards different developer communities.
翻訳日:2022-11-24 21:49:56 公開日:2020-06-06
# EPARS:オンライン・オフライン学習行動におけるリスクの高い学生の早期予測

EPARS: Early Prediction of At-risk Students with Online and Offline Learning Behaviors ( http://arxiv.org/abs/2006.03857v1 )

ライセンス: Link先を確認
Yu Yang, Zhiyuan Wen, Jiannong Cao, Jiaxing Shen, Hongzhi Yin and Xiaofang Zhou(参考訳) リスク・アット・リスク(STAR)の早期予測は、ドロップアウトや自殺にタイムリーに介入するための有効かつ重要な手段である。 既存の作業は主に、学習プロセス全体を捉えるのに十分な包括的ではないオンラインあるいはオフラインの学習行動に依存しており、満足できない予測パフォーマンスにつながる。 オンラインおよびオフライン学習行動のモデル化により,STARを1学期で早期に予測できる新しいアルゴリズム(EPARS)を提案する。 オンラインの行動は、学生がオンライン学習管理システムを使用する際のアクティビティのログから生まれる。 オフライン動作は、ライブラリのチェックインレコードに由来する。 私たちの主な観察は2つの折りたたみです。 STARは、良い学生と大きく異なるが、規則的で明確な研究ルーチンはほとんどない。 スパースデータに頑健な学習行動の正則性を抽出する多段階正規化手法を考案した。 第二に、STARの友人は危険にさらされやすい。 我々は,基盤となるソーシャルネットワークを近似するために共起ネットワークを構築し,ネットワーク埋め込みによる特徴としてソーシャルホモフィリをエンコードした。 提案アルゴリズムを検証するために, アジア系大学生15,503名を対象に, 広範囲にわたる実験を行った。 EPARSはベースラインを14.62%、STARは38.22%上回った。

Early prediction of students at risk (STAR) is an effective and significant means to provide timely intervention for dropout and suicide. Existing works mostly rely on either online or offline learning behaviors which are not comprehensive enough to capture the whole learning processes and lead to unsatisfying prediction performance. We propose a novel algorithm (EPARS) that could early predict STAR in a semester by modeling online and offline learning behaviors. The online behaviors come from the log of activities when students use the online learning management system. The offline behaviors derive from the check-in records of the library. Our main observations are two folds. Significantly different from good students, STAR barely have regular and clear study routines. We devised a multi-scale bag-of-regularity method to extract the regularity of learning behaviors that is robust to sparse data. Second, friends of STAR are more likely to be at risk. We constructed a co-occurrence network to approximate the underlying social network and encode the social homophily as features through network embedding. To validate the proposed algorithm, extensive experiments have been conducted among an Asian university with 15,503 undergraduate students. The results indicate EPARS outperforms baselines by 14.62% ~ 38.22% in predicting STAR.
翻訳日:2022-11-24 21:49:36 公開日:2020-06-06
# UMLS-ChestNet: 胸部X線におけるCOVID-19の放射線学的所見, 鑑別診断, 局在の深部畳み込みニューラルネットワーク

UMLS-ChestNet: A deep convolutional neural network for radiological findings, differential diagnoses and localizations of COVID-19 in chest x-rays ( http://arxiv.org/abs/2006.05274v1 )

ライセンス: Link先を確認
Germ\'an Gonz\'alez, Aurelia Bustos, Jos\'e Mar\'ia Salinas, Mar\'ia de la Iglesia-Vaya, Joaqu\'in Galant, Carlos Cano-Espinosa, Xavier Barber, Domingo Orozco-Beltr\'an, Miguel Cazorla and Antonio Pertusa(参考訳) そこで本研究では,胸部x線からx線所見,位置,鑑別診断を行う方法を提案する。 本研究は、いくつかの病理組織を検出することに焦点を当てた以前の研究とは異なり、Unified Medical Language System (UMLS) の用語にマッピングされた階層的分類を用いて、189の放射線学的所見、22の鑑別診断および122の解剖学的位置を同定する。 我々は,このシステムを92,594個の胸部x線(ap, pa, standing, supine, decubitus)の巨大なデータベースと,少なくとも1つの陽性pcr検査で同定された新型コロナウイルス患者の2,065枚の正面画像で訓練した。 基準ラベルは、放射線報告書の自然言語処理により得られる。 23,159枚のテスト画像で、提案されたニューラルネットワークは、COVID-19の診断のためのAUC0.94を取得する。 我々の知る限り、本研究は新型コロナウイルス陽性症例の胸部X線データセットとして過去最大であり、階層的ラベル付けスキーマを初めて使用し、ネットワークアテンション法だけでなく、診断に繋がった放射線学的所見を示すことによって結果の解釈性を提供する。

In this work we present a method for the detection of radiological findings, their location and differential diagnoses from chest x-rays. Unlike prior works that focus on the detection of few pathologies, we use a hierarchical taxonomy mapped to the Unified Medical Language System (UMLS) terminology to identify 189 radiological findings, 22 differential diagnosis and 122 anatomic locations, including ground glass opacities, infiltrates, consolidations and other radiological findings compatible with COVID-19. We train the system on one large database of 92,594 frontal chest x-rays (AP or PA, standing, supine or decubitus) and a second database of 2,065 frontal images of COVID-19 patients identified by at least one positive Polymerase Chain Reaction (PCR) test. The reference labels are obtained through natural language processing of the radiological reports. On 23,159 test images, the proposed neural network obtains an AUC of 0.94 for the diagnosis of COVID-19. To our knowledge, this work uses the largest chest x-ray dataset of COVID-19 positive cases to date and is the first one to use a hierarchical labeling schema and to provide interpretability of the results, not only by using network attention methods, but also by indicating the radiological findings that have led to the diagnosis.
翻訳日:2022-11-24 21:44:10 公開日:2020-06-06
# 単一の放射線画像からcovid-19の診断を学ぶ

Learning Diagnosis of COVID-19 from a Single Radiological Image ( http://arxiv.org/abs/2006.12220v1 )

ライセンス: Link先を確認
Pengyi Zhang, Yunxin Zhong, Xiaoying Tang, Yunlin Deng, Xiaoqiong Li(参考訳) 放射線画像は現在、臨床におけるcovid-19診断の視覚的な証拠として採用されている。 深部モデルを用いた感染自動測定と新型コロナウイルス診断は,放射線画像による早期検査に重要である。 残念ながら、大規模なトレーニングデータを早期に体系的に収集することは困難である。 この問題に対処するため,我々は多種多様な放射線画像の合成を頼りに,単一の放射線画像から新型コロナウイルス診断の深層モデルを学ぶ可能性を検討する。 具体的には,cosinganと呼ばれる新しい条件生成モデルを提案する。cosinganは特定の条件を持つ1つの放射線画像,すなわち肺の注釈や新型コロナウイルスの感染から学べる。 当社のCoSinGANは、新型コロナウイルス感染症の視覚所見の条件分布を捉えることができ、さらに入力条件に正確に一致する多彩で高解像度の放射線画像も合成できる。 CoSinGANから合成されたサンプルに基づいて訓練された深層分類とセグメンテーションネットワークは、新型コロナウイルス感染の顕著な検出精度を達成する。 このような結果は、強いデータ拡張を用いることで、同じ極端に少数の実検体(1、2実検体)で訓練された実検体よりも著しく良く、大規模データセット(2846実検体)で訓練された実検体に近似する。 極めて小さなデータセットと大規模データセットでトレーニングされた深層モデルのパフォーマンスギャップを著しく低減し、新型コロナウイルスのパンデミックの初期段階において、少数の放射線画像から新型コロナウイルスの診断を学べる可能性を秘めている。 私たちのコードはhttps://github.com/pengyizhang/cosinganで公開されています。

Radiological image is currently adopted as the visual evidence for COVID-19 diagnosis in clinical. Using deep models to realize automated infection measurement and COVID-19 diagnosis is important for faster examination based on radiological imaging. Unfortunately, collecting large training data systematically in the early stage is difficult. To address this problem, we explore the feasibility of learning deep models for COVID-19 diagnosis from a single radiological image by resorting to synthesizing diverse radiological images. Specifically, we propose a novel conditional generative model, called CoSinGAN, which can be learned from a single radiological image with a given condition, i.e., the annotations of the lung and COVID-19 infection. Our CoSinGAN is able to capture the conditional distribution of visual finds of COVID-19 infection, and further synthesize diverse and high-resolution radiological images that match the input conditions precisely. Both deep classification and segmentation networks trained on synthesized samples from CoSinGAN achieve notable detection accuracy of COVID-19 infection. Such results are significantly better than the counterparts trained on the same extremely small number of real samples (1 or 2 real samples) by using strong data augmentation, and approximate to the counterparts trained on large dataset (2846 real images). It confirms our method can significantly reduce the performance gap between deep models trained on extremely small dataset and on large dataset, and thus has the potential to realize learning COVID-19 diagnosis from few radiological images in the early stage of COVID-19 pandemic. Our codes are made publicly available at https://github.com/PengyiZhang/CoSinGAN.
翻訳日:2022-11-24 21:43:34 公開日:2020-06-06
# テキストスパン表現のクロスタスク解析

A Cross-Task Analysis of Text Span Representations ( http://arxiv.org/abs/2006.03866v1 )

ライセンス: Link先を確認
Shubham Toshniwal, Haoyue Shi, Bowen Shi, Lingyu Gao, Karen Livescu, Kevin Gimpel(参考訳) 多くの自然言語処理(NLP)タスクは、質問応答、エンティティ認識、コア参照解決を含むテキストスパンによる推論を含む。 広範囲にわたる研究は、単語や文を表現する機能的アーキテクチャに焦点を合わせてきたが、文内の任意のテキストスパンを表現する作業は少ない。 本稿では,6つのタスクにまたがる8つの事前学習した言語表現モデルを用いて,6つのスパン表現法を包括的に実験的に評価する。 いくつかの単純なスパン表現はタスク間でかなり信頼できるが、一般的に最適なスパン表現はタスクによって異なり、個々のタスクの異なる側面内でも変化する。 また,スパン表現の選択は,微調整エンコーダよりも固定事前学習エンコーダに大きな影響を与えることがわかった。

Many natural language processing (NLP) tasks involve reasoning with textual spans, including question answering, entity recognition, and coreference resolution. While extensive research has focused on functional architectures for representing words and sentences, there is less work on representing arbitrary spans of text within sentences. In this paper, we conduct a comprehensive empirical evaluation of six span representation methods using eight pretrained language representation models across six tasks, including two tasks that we introduce. We find that, although some simple span representations are fairly reliable across tasks, in general the optimal span representation varies by task, and can also vary within different facets of individual tasks. We also find that the choice of span representation has a bigger impact with a fixed pretrained encoder than with a fine-tuned encoder.
翻訳日:2022-11-24 21:42:21 公開日:2020-06-06
# 時間整合ネットワークにおけるリンク予測

Link Prediction for Temporally Consistent Networks ( http://arxiv.org/abs/2006.03804v1 )

ライセンス: Link先を確認
Mohamoud Ali, Yugyung Lee and Praveen Rao(参考訳) 動的ネットワークには固有の構造的、計算的、多分野的な利点がある。 リンク予測は動的ネットワークにおける次の関係を推定する。 しかし、現在のリンク予測手法では、二部類、非二部類、均質ネットワークのみが考慮されている。 動的に進化するネットワークを表現するための隣接行列の使用は、異種、スパース、またはネットワーク形成から解析的に学習する能力を制限する。 不均一ネットワークの場合、バイナリ値行列を用いた全てのネットワーク状態のモデル化は困難である。 一方、スパースまたは現在形成中のネットワークは、ゼロとして表される多くのエッジを欠いているため、クラス不均衡やノイズが発生する。 本稿では,時間パラメータ行列(tp行列)を提案し,その効果を実験的に実証する。 さらに,n度近傍の時間空間上の後方および前方の最大化を用いて,ノードの増減の予測的影響の指標として予測的影響指数を提案する。 さらに、時間的パラメータ化ネットワークモデル(TPNM)として、異種時間進化活動を表現する新しい手法を提案する。 この新しい手法により、アクティビティをネットワークの一形態として表現することが可能になり、インテリジェントなビジネスプロセス管理システムやコンテキスト対応ワークフローエンジンを含む、新たなリンク予測アプリケーションに刺激を与える可能性がある。 異なるネットワークシステムの4つのデータセットでモデルを評価した。 本稿では,動的に進化するネットワークにおいて,時間的関係の捕捉と保持に有効なモデルを示す。 また, 時間的進化に敏感なネットワークに対して, 最新のリンク予測ベンチマークよりも優れた性能を示した。

Dynamic networks have intrinsic structural, computational, and multidisciplinary advantages. Link prediction estimates the next relationship in dynamic networks. However, in the current link prediction approaches, only bipartite or non-bipartite but homogeneous networks are considered. The use of adjacency matrix to represent dynamically evolving networks limits the ability to analytically learn from heterogeneous, sparse, or forming networks. In the case of a heterogeneous network, modeling all network states using a binary-valued matrix can be difficult. On the other hand, sparse or currently forming networks have many missing edges, which are represented as zeros, thus introducing class imbalance or noise. We propose a time-parameterized matrix (TP-matrix) and empirically demonstrate its effectiveness in non-bipartite, heterogeneous networks. In addition, we propose a predictive influence index as a measure of a node's boosting or diminishing predictive influence using backward and forward-looking maximization over the temporal space of the n-degree neighborhood. We further propose a new method of canonically representing heterogeneous time-evolving activities as a temporally parameterized network model (TPNM). The new method robustly enables activities to be represented as a form of a network, thus potentially inspiring new link prediction applications, including intelligent business process management systems and context-aware workflow engines. We evaluated our model on four datasets of different network systems. We present results that show the proposed model is more effective in capturing and retaining temporal relationships in dynamically evolving networks. We also show that our model performed better than state-of-the-art link prediction benchmark results for networks that are sensitive to temporal evolution.
翻訳日:2022-11-24 21:41:57 公開日:2020-06-06
# Convergence Indicator: Particle Swarm Optimizationの実際の収束のための改良および完全に特徴づけられたパラメータ境界

The Convergence Indicator: Improved and completely characterized parameter bounds for actual convergence of Particle Swarm Optimization ( http://arxiv.org/abs/2006.03944v1 )

ライセンス: Link先を確認
Bernd Bassimir, Alexander Ra{\ss}, Rolf Wanka(参考訳) particle swarm optimization (pso) は連続ブラックボックス最適化問題に対するメタヒューリスティックである。 本稿では,粒子群,すなわちアルゴリズムの活用段階の収束に着目する。 我々は、粒子が最終的に単一点に収束するか、分岐するかを計算するのに使用できる新しい収束指標を導入する。 この収束指標を用いて、収束群につながるパラメータ領域を完全に特徴づける実際の境界を提供する。 我々の境界は、収束が保証されるパラメータ領域を、通常文献で用いられる収束分散によって引き起こされる境界と比較して拡張する。 本稿では,立方体スプライン補間による数値近似について述べる。 最後に、我々の概念、公式および結果の収束境界がPSOの実際の挙動を表すことを示す実験を提供する。

Particle Swarm Optimization (PSO) is a meta-heuristic for continuous black-box optimization problems. In this paper we focus on the convergence of the particle swarm, i.e., the exploitation phase of the algorithm. We introduce a new convergence indicator that can be used to calculate whether the particles will finally converge to a single point or diverge. Using this convergence indicator we provide the actual bounds completely characterizing parameter regions that lead to a converging swarm. Our bounds extend the parameter regions where convergence is guaranteed compared to bounds induced by converging variance which are usually used in the literature. To evaluate our criterion we describe a numerical approximation using cubic spline interpolation. Finally we provide experiments showing that our concept, formulas and the resulting convergence bounds represent the actual behavior of PSO.
翻訳日:2022-11-24 21:41:33 公開日:2020-06-06
# 胸部X線検査における深部鉱毒異常データ

Deep Mining External Imperfect Data for Chest X-ray Disease Screening ( http://arxiv.org/abs/2006.03796v1 )

ライセンス: Link先を確認
Luyang Luo, Lequan Yu, Hao Chen, Quande Liu, Xi Wang, Jiaqi Xu, and Pheng-Ann Heng(参考訳) ディープラーニングのアプローチは、胸部x線自動分析において著しく進歩している。 深層モデルのデータ駆動機能は、大規模な分布をカバーするためにトレーニングデータを必要とする。 したがって、複数のデータセット、特に医療画像からの知識を統合することは極めて重要である。 しかし、胸部x線(cxr)データを用いた疾患分類モデルの学習はまだ困難である。 近年の研究では、異なるCXRデータセットのジョイントトレーニングにパフォーマンスボトルネックが存在することが示されており、障害に対処する努力は少ない。 本稿では,外部のCXRデータセットを組み込むことで,不完全なトレーニングデータが得られることを議論する。 具体的には、画像の外観がデータセットによって異なるため、ドメインの差分と、異なるデータセットが部分的にラベル付けされているため、ラベルの差分である。 そこで我々は,多ラベル胸部疾患分類問題を重み付き独立二分課題として分類した。 ドメイン間で共有される共通カテゴリでは、機能の違いを軽減するためにタスク固有の敵トレーニングを採用します。 単一のデータセットに存在するカテゴリに対して,モデル予測の不確実性を考慮した時間的センシングを行い,不足ラベルからの情報をさらに抽出する。 このように、我々のフレームワークはドメインとラベルの相違を同時にモデル化し、対処し、優れた知識マイニング能力を実現する。 30万以上の胸部x線画像を含む3つのデータセットについて広範な実験を行った。 本手法は他の競合モデルよりも優れており、0.8349 aucの公式nihテストセットで最新性能を設定でき、外部データセットを利用して内部分類を改善する効果を実証する。

Deep learning approaches have demonstrated remarkable progress in automatic Chest X-ray analysis. The data-driven feature of deep models requires training data to cover a large distribution. Therefore, it is substantial to integrate knowledge from multiple datasets, especially for medical images. However, learning a disease classification model with extra Chest X-ray (CXR) data is yet challenging. Recent researches have demonstrated that performance bottleneck exists in joint training on different CXR datasets, and few made efforts to address the obstacle. In this paper, we argue that incorporating an external CXR dataset leads to imperfect training data, which raises the challenges. Specifically, the imperfect data is in two folds: domain discrepancy, as the image appearances vary across datasets; and label discrepancy, as different datasets are partially labeled. To this end, we formulate the multi-label thoracic disease classification problem as weighted independent binary tasks according to the categories. For common categories shared across domains, we adopt task-specific adversarial training to alleviate the feature differences. For categories existing in a single dataset, we present uncertainty-aware temporal ensembling of model predictions to mine the information from the missing labels further. In this way, our framework simultaneously models and tackles the domain and label discrepancies, enabling superior knowledge mining ability. We conduct extensive experiments on three datasets with more than 360,000 Chest X-ray images. Our method outperforms other competing models and sets state-of-the-art performance on the official NIH test set with 0.8349 AUC, demonstrating its effectiveness of utilizing the external dataset to improve the internal classification.
翻訳日:2022-11-24 21:41:19 公開日:2020-06-06
# 深層学習によるヒトタンパク質の細胞位置の抽出

Extracting Cellular Location of Human Proteins Using Deep Learning ( http://arxiv.org/abs/2006.03800v1 )

ライセンス: Link先を確認
Hanke Chen(参考訳) 顕微鏡画像のパターンの理解と抽出は,生物医学の分野で大きな課題となっている。 訓練された科学者はヒトの細胞の中で興味を持つタンパク質を見つけることができるが、この手法は大量のデータを処理できるほど効率的で正確ではない。 この問題を解決するために,機械学習を用いて,人間よりも高速で精度の高いヒトタンパク質を探索する自動画像分類器の開発を試みた。 我々はResidueおよびSqueeze-Excitation層を用いた畳み込みニューラルネットワークを実装し,細胞内構造中の任意のタイプのタンパク質を同定した。 一連のテクニックを使ってモデルをトレーニングした後、27種類のヒト細胞タイプに何千ものタンパク質を28のサブセルに配置する。 このモデルでは、毎分4500枚の画像を63.07%の精度で分類することができ、人間のパフォーマンス(35%)とスピードを上回ります。 我々のシステムは異なる細胞タイプで実装できるため、バイオメディカル分野における理解の新たなビジョンが開ける。 ヒトのタンパク質の位置情報から、医師はウイルス感染、病原体侵入、悪性腫瘍の発生を含む細胞の異常な挙動を容易に検出することができる。 実験によって一般化されたデータの量は、人間が分析できるデータよりも大きいので、分析に必要な人的資源と時間を削減できる。 さらに、この位置情報は、細胞内工学、医療、エチオロジー検査といった様々なシナリオで利用することができる。

Understanding and extracting the patterns of microscopy images has been a major challenge in the biomedical field. Although trained scientists can locate the proteins of interest within a human cell, this procedure is not efficient and accurate enough to process a large amount of data and it often leads to bias. To resolve this problem, we attempted to create an automatic image classifier using Machine Learning to locate human proteins with higher speed and accuracy than human beings. We implemented a Convolution Neural Network with Residue and Squeeze-Excitation layers classifier to locate given proteins of any type in a subcellular structure. After training the model using a series of techniques, it can locate thousands of proteins in 27 different human cell types into 28 subcellular locations, way significant than historical approaches. The model can classify 4,500 images per minute with an accuracy of 63.07%, surpassing human performance in accuracy (by 35%) and speed. Because our system can be implemented on different cell types, it opens a new vision of understanding in the biomedical field. From the locational information of the human proteins, doctors can easily detect cell's abnormal behaviors including viral infection, pathogen invasion, and malignant tumor development. Given the amount of data generalized by experiments are greater than that human can analyze, the model cut down the human resources and time needed to analyze data. Moreover, this locational information can be used in different scenarios like subcellular engineering, medical care, and etiology inspection.
翻訳日:2022-11-24 21:40:52 公開日:2020-06-06
# ループ内の操作者によるIoTのための多段階・弾力性予測Q-ラーニングアルゴリズム:給水ネットワークを事例として

A Multi-step and Resilient Predictive Q-learning Algorithm for IoT with Human Operators in the Loop: A Case Study in Water Supply Networks ( http://arxiv.org/abs/2006.03899v1 )

ライセンス: Link先を確認
Maria Grammatopoulou, Aris Kanellopoulos, Kyriakos G.~Vamvoudakis, Nathan Lau(参考訳) エージェントが封じ込めるために見ている環境の情報を操作する人間のオペレータの存在を考慮して,iotネットワークの故障コンポーネントの存在下でのレジリエントで予測的な動作を推奨する問題を考える。 IoTネットワークは、ソースと宛先ノードの間の一定かつレジリエントなフローを維持することを目的とした、既知のトポロジを持つ有向グラフとして定式化されている。 このネットワークを経由する最適な経路は、障害による不規則な操作に関する履歴データと、攻撃の対象となる可能性のある場所に関するネットワークの状態に関する追加情報を有すると考えられる人間オペレータからのフィードバックを考慮した予測と回復性を備えたq-learningアルゴリズムによって評価される。 本手法を紹介するために, バージニア州アーリントン郡の匿名データを用いて, スマート給水システムのための予測および回復性のあるスケジューリングポリシーを計算し, 回避する。 (i)人手による攻撃が示唆されるすべての場所 (二)漏洩その他の故障が検出された地区の数は可能な限り多い。 この方法は、人間の適応性と機械の計算能力の両方を組み込んで、水分布における最適な実装封じ込めと回収動作を実現する。

We consider the problem of recommending resilient and predictive actions for an IoT network in the presence of faulty components, considering the presence of human operators manipulating the information of the environment the agent sees for containment purposes. The IoT network is formulated as a directed graph with a known topology whose objective is to maintain a constant and resilient flow between a source and a destination node. The optimal route through this network is evaluated via a predictive and resilient Q-learning algorithm which takes into account historical data about irregular operation, due to faults, as well as the feedback from the human operators that are considered to have extra information about the status of the network concerning locations likely to be targeted by attacks. To showcase our method, we utilize anonymized data from Arlington County, Virginia, to compute predictive and resilient scheduling policies for a smart water supply system, while avoiding (i) all the locations indicated to be attacked according to human operators (ii) as many as possible neighborhoods detected to have leaks or other faults. This method incorporates both the adaptability of the human and the computation capability of the machine to achieve optimal implementation containment and recovery actions in water distribution.
翻訳日:2022-11-24 21:34:34 公開日:2020-06-06
# 決定論的政策の二重ロバストオフポリティ値とグラディエント推定

Doubly Robust Off-Policy Value and Gradient Estimation for Deterministic Policies ( http://arxiv.org/abs/2006.03900v1 )

ライセンス: Link先を確認
Nathan Kallus, Masatoshi Uehara(参考訳) オフライン強化学習は、医療などの実験に限られるアプリケーションにおいて、一定の行動方針によって記録された外部の政治データを用いて、新しい政策を評価し、学習する。 本研究では,行動継続時の非政治データから決定論的政策の政策値と勾配を推定する。 行動が国家の決定論的機能である決定論的政策を目標とするのは、最適政策が常に決定論的であるからである。 この設定では、密度比が存在しないため、政策価値と勾配に対する標準的重要度サンプリングと二重ロバストな推定は失敗する。 この問題を回避するため,異なるカーネル化アプローチに基づく2重ロバストな推定器を複数提案する。 ニュアサンス推定器の温和なレート条件下で,これら各指標の漸近平均二乗誤差を解析した。 具体的には,地平線の長さに依存しない速度を得る方法を示す。

Offline reinforcement learning, wherein one uses off-policy data logged by a fixed behavior policy to evaluate and learn new policies, is crucial in applications where experimentation is limited such as medicine. We study the estimation of policy value and gradient of a deterministic policy from off-policy data when actions are continuous. Targeting deterministic policies, for which action is a deterministic function of state, is crucial since optimal policies are always deterministic (up to ties). In this setting, standard importance sampling and doubly robust estimators for policy value and gradient fail because the density ratio does not exist. To circumvent this issue, we propose several new doubly robust estimators based on different kernelization approaches. We analyze the asymptotic mean-squared error of each of these under mild rate conditions for nuisance estimators. Specifically, we demonstrate how to obtain a rate that is independent of the horizon length.
翻訳日:2022-11-24 21:34:10 公開日:2020-06-06
# 対人学習をモデル化する学習

Learning to Model Opponent Learning ( http://arxiv.org/abs/2006.03923v1 )

ライセンス: Link先を確認
Ian Davies, Zheng Tian and Jun Wang(参考訳) マルチエージェント強化学習(MARL: Multi-Agent Reinforcement Learning)は、一組の共存エージェントが相互とその環境と相互作用する設定を考える。 他のエージェントの適応と学習は、環境力学において非定常性を誘導する。 これは、通常は定常環境の仮定に依存する値関数ベースのアルゴリズムにとって大きな課題となる。 ポリシーサーチアルゴリズムは、相手の行動が知られていないことから生じる部分的な可観測性がポリシートレーニングに高いばらつきをもたらすため、マルチエージェント設定にも苦労する。 エージェントの対戦相手のモデル化は、しばしば、学習相手の共存から生じる問題を解決する手段として追求される。 相手モデルは、エージェントに他のエージェントを推論して自身の意思決定を支援する能力を提供する。 ほとんどの先行研究は、相手が静止ポリシーを採用するか、静止ポリシーのセットを切り替えていると仮定して、相手モデルを学ぶ。 このようなアプローチは、ポリシー探索アルゴリズムのトレーニング信号のばらつきを低減できる。 しかし、マルチエージェント設定では、エージェントは継続的に適応し学習するインセンティブを持つ。 これは、反対の定常性に関する仮定は非現実的であることを意味する。 本研究では,学習をモデルポンポントラーニング(LeMOL)と呼ぶ,対戦者の学習力学をモデル化するための新しいアプローチを開発する。 構造的相手モデルの方が, 行動クローンベースラインよりも正確で安定であることを示す。 さらに,マルチエージェント設定におけるアルゴリズムエージェントの性能を,対戦モデルが向上することを示す。

Multi-Agent Reinforcement Learning (MARL) considers settings in which a set of coexisting agents interact with one another and their environment. The adaptation and learning of other agents induces non-stationarity in the environment dynamics. This poses a great challenge for value function-based algorithms whose convergence usually relies on the assumption of a stationary environment. Policy search algorithms also struggle in multi-agent settings as the partial observability resulting from an opponent's actions not being known introduces high variance to policy training. Modelling an agent's opponent(s) is often pursued as a means of resolving the issues arising from the coexistence of learning opponents. An opponent model provides an agent with some ability to reason about other agents to aid its own decision making. Most prior works learn an opponent model by assuming the opponent is employing a stationary policy or switching between a set of stationary policies. Such an approach can reduce the variance of training signals for policy search algorithms. However, in the multi-agent setting, agents have an incentive to continually adapt and learn. This means that the assumptions concerning opponent stationarity are unrealistic. In this work, we develop a novel approach to modelling an opponent's learning dynamics which we term Learning to Model Opponent Learning (LeMOL). We show our structured opponent model is more accurate and stable than naive behaviour cloning baselines. We further show that opponent modelling can improve the performance of algorithmic agents in multi-agent settings.
翻訳日:2022-11-24 21:33:13 公開日:2020-06-06
# 火星科学研究所地上データシステムにおけるデータアカウンタビリティ問題に対する変分オートエンコーダのチューニング

Tuning a variational autoencoder for data accountability problem in the Mars Science Laboratory ground data system ( http://arxiv.org/abs/2006.03962v1 )

ライセンス: Link先を確認
Dounia Lakhmiri, Ryan Alimo and Sebastien Le Digabel(参考訳) 火星探査機キュリオシティ(Mars Curiosity)は、ミッション運用センターで最終目的地に到達する前に、システムのパイプラインを通過するエンジニアリングと科学データを頻繁に送信している。 地上データシステム分析(GDSA)チームは、必要に応じて再送信を要求するために、この情報の流れの監視と、そのデータ内の異常の検出に責任を負う。 この研究は、GDSAチームのミッションを支援するために、不足パッチでデータを検出するために訓練された変分オートエンコーダのアーキテクチャとハイパーパラメータをチューニングするために、デリバティブフリーの最適化手法である$\Delta$-MADSを提示する。

The Mars Curiosity rover is frequently sending back engineering and science data that goes through a pipeline of systems before reaching its final destination at the mission operations center making it prone to volume loss and data corruption. A ground data system analysis (GDSA) team is charged with the monitoring of this flow of information and the detection of anomalies in that data in order to request a re-transmission when necessary. This work presents $\Delta$-MADS, a derivative-free optimization method applied for tuning the architecture and hyperparameters of a variational autoencoder trained to detect the data with missing patches in order to assist the GDSA team in their mission.
翻訳日:2022-11-24 21:32:34 公開日:2020-06-06
# 弾性ネットのための高効率セミスムースニュートン拡張ラグランジアン法

An Efficient Semi-smooth Newton Augmented Lagrangian Method for Elastic Net ( http://arxiv.org/abs/2006.03970v1 )

ライセンス: Link先を確認
Tobia Boschi, Matthew Reimherr, Francesca Chiaromonte(参考訳) 特徴選択は統計学と機械学習において重要かつ活発な研究領域である。 Elastic Netは、非無視のコリニアリティや実践者が追加の既知の構造を取り入れたい場合、選択のためにしばしば使用される。 本稿では,超高次元環境下での弾性ネットを効率的に解くための半平滑ニュートン拡張ラグランジアン法を提案する。 我々の新しいアルゴリズムは、弾性ネットペナルティによって引き起こされる空間と、拡張ラグランジアンの第2次情報による空間の両方を利用する。 これにより、問題の計算コストが大幅に削減される。 合成データセットと実データセットの両方のシミュレーションを用いて、我々のアプローチがCPU時間で少なくとも1桁の精度で最高の競争相手を上回ることを実証した。 また,このアプローチを小児肥満に関するゲノムワイドアソシエーション研究に適用する。

Feature selection is an important and active research area in statistics and machine learning. The Elastic Net is often used to perform selection when the features present non-negligible collinearity or practitioners wish to incorporate additional known structure. In this article, we propose a new Semi-smooth Newton Augmented Lagrangian Method to efficiently solve the Elastic Net in ultra-high dimensional settings. Our new algorithm exploits both the sparsity induced by the Elastic Net penalty and the sparsity due to the second order information of the augmented Lagrangian. This greatly reduces the computational cost of the problem. Using simulations on both synthetic and real datasets, we demonstrate that our approach outperforms its best competitors by at least an order of magnitude in terms of CPU time. We also apply our approach to a Genome Wide Association Study on childhood obesity.
翻訳日:2022-11-24 21:32:19 公開日:2020-06-06
# 生成的adversarial phonology:ニューラルネットワークを用いた教師なし音韻・音韻学学習のモデル化

Generative Adversarial Phonology: Modeling unsupervised phonetic and phonological learning with neural networks ( http://arxiv.org/abs/2006.03965v1 )

ライセンス: Link先を確認
Ga\v{s}per Begu\v{s}(参考訳) 音声データにおけるよく理解された依存関係に基づくディープニューラルネットワークのトレーニングは、内部表現の学習方法に関する新たな洞察を提供する。 本稿では,音声の獲得を,生成型adversarial networkアーキテクチャにおけるランダム空間と生成音声データの依存性としてモデル化し,音声的・音韻的特性に対応するネットワークの内部表現を明らかにする手法を提案する。 なぜならネットワークは無注の生の音響データに基づいて訓練され、言語固有の仮定や事前に想定された抽象レベルなしで学習は教師なしであるからである。 生成的な敵ネットワークは英語のアロフォニック分布で訓練された。 ネットワークはアロフォニックな交替をうまく学習し、ネットワークが生成した音声信号は吸引継続時間の条件付き分布を含む。 本稿では,ネットワークの内部表現を確立する手法を提案し,例えば[s]の存在とそのスペクトル特性に対応する潜伏変数を同定する。 これらの変数を操作することで、生成された出力における[s]の存在とその摩擦振幅を積極的に制御する。 このことは、潜在変数を音韻および音韻表現の近似として用いることを学ぶことを示唆している。 重要なことに、トレーニングで学んだ依存関係はトレーニング間隔を超えて拡張され、学習表現のさらなる探索が可能になる。 また, 言語習得, 言語障害, 音声誤りにおける言語行動とネットワークのアーキテクチャと革新的アウトプットがどのように似ており, 音声データへの依存性が, ニューラルネットワークがどのように表現を学習するかを理解するのにどのように役立つかを論じる。

Training deep neural networks on well-understood dependencies in speech data can provide new insights into how they learn internal representations. This paper argues that acquisition of speech can be modeled as a dependency between random space and generated speech data in the Generative Adversarial Network architecture and proposes a methodology to uncover the network's internal representations that correspond to phonetic and phonological properties. The Generative Adversarial architecture is uniquely appropriate for modeling phonetic and phonological learning because the network is trained on unannotated raw acoustic data and learning is unsupervised without any language-specific assumptions or pre-assumed levels of abstraction. A Generative Adversarial Network was trained on an allophonic distribution in English. The network successfully learns the allophonic alternation: the network's generated speech signal contains the conditional distribution of aspiration duration. The paper proposes a technique for establishing the network's internal representations that identifies latent variables that correspond to, for example, presence of [s] and its spectral properties. By manipulating these variables, we actively control the presence of [s] and its frication amplitude in the generated outputs. This suggests that the network learns to use latent variables as an approximation of phonetic and phonological representations. Crucially, we observe that the dependencies learned in training extend beyond the training interval, which allows for additional exploration of learning representations. The paper also discusses how the network's architecture and innovative outputs resemble and differ from linguistic behavior in language acquisition, speech disorders, and speech errors, and how well-understood dependencies in speech data can help us interpret how neural networks learn their representations.
翻訳日:2022-11-24 21:26:21 公開日:2020-06-06
# 勾配推定バイアスを劇的に低減したディープコンブネットへの平衡伝播

Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias ( http://arxiv.org/abs/2006.03824v1 )

ライセンス: Link先を確認
Axel Laborieux, Maxence Ernoult, Benjamin Scellier, Yoshua Bengio, Julie Grollier and Damien Querlioz(参考訳) Equilibrium Propagation (EP) は、強力な理論的保証を持つ局所学習規則を持つ収束RNNに対する生物学的に着想を得たアルゴリズムである。 与信代入フェーズにおけるニューラルネットワークのパラメータ更新を数学的に示し、ネットワークが標的に向かって無限に振る舞うときのバックプロパゲーション・スルー・タイム(BPTT)が提供する勾配にアプローチする。 しかし、実際には、EPによって提供される勾配推定によるネットワークのトレーニングは、MNISTよりも難しい視覚タスクにスケールしない。 本研究では, 有限ヌード法に固有のEPの勾配推定の偏りが, この現象の原因であり, EPによる深部ConvNetsのトレーニングを可能にすることを示す。 このバイアスは、対称なナジング(正のナジングと負のナジング)を用いることで大幅に低減できることを示す。 また,(正方形誤差に対して)クロスエントロピー損失の場合に対して,以前のep方程式を一般化する。 これらの進歩の結果, BPTT が達成した手法に近づいた CIFAR-10 で 11.7% の試験誤差を EP で達成し, 86% のテスト誤差を与える同符号ヌードを用いた標準 EP アプローチに対して, 大幅な改善を実現した。 また、これらの手法を非対称な前方および後方接続を持つアーキテクチャのトレーニングに適用し、13.2%のテストエラーを発生させる。 これらの結果はepを、深層ニューラルネットワークにおけるエラー勾配を計算するための、生物学的に賞賛に値するアプローチとして強調する。

Equilibrium Propagation (EP) is a biologically-inspired algorithm for convergent RNNs with a local learning rule that comes with strong theoretical guarantees. The parameter updates of the neural network during the credit assignment phase have been shown mathematically to approach the gradients provided by Backpropagation Through Time (BPTT) when the network is infinitesimally nudged toward its target. In practice, however, training a network with the gradient estimates provided by EP does not scale to visual tasks harder than MNIST. In this work, we show that a bias in the gradient estimate of EP, inherent in the use of finite nudging, is responsible for this phenomenon and that cancelling it allows training deep ConvNets by EP. We show that this bias can be greatly reduced by using symmetric nudging (a positive nudging and a negative one). We also generalize previous EP equations to the case of cross-entropy loss (by opposition to squared error). As a result of these advances, we are able to achieve a test error of 11.7% on CIFAR-10 by EP, which approaches the one achieved by BPTT and provides a major improvement with respect to the standard EP approach with same-sign nudging that gives 86% test error. We also apply these techniques to train an architecture with asymmetric forward and backward connections, yielding a 13.2% test error. These results highlight EP as a compelling biologically-plausible approach to compute error gradients in deep neural networks.
翻訳日:2022-11-24 21:25:49 公開日:2020-06-06
# 人工物体相互作用の事前の視覚的予測

Visual Prediction of Priors for Articulated Object Interaction ( http://arxiv.org/abs/2006.03979v1 )

ライセンス: Link先を確認
Caris Moses, Michael Noseworthy, Leslie Pack Kaelbling, Tom\'as Lozano-P\'erez, and Nicholas Roy(参考訳) 同様のドメインでの事前の経験なしでは、新しい設定での探索は難しい。 しかし、人間は先行体験を迅速かつ効率的に構築することができる。 子供たちはおもちゃで遊ぶときにこの振る舞いを示します。 例えば、黄色と青のドアを持つおもちゃがあれば、子供は明確な目的を持って探検しますが、一度黄色いドアの開け方を発見したら、青いドアをずっと早く開くことができます。 大人は台所などの新しい空間に入る際にもこの行動を示す。 そこで我々は,類似する領域の相互作用間の知識を視覚を通して伝達する手法である文脈先行予測法を開発した。 我々は,環境間で共有される視覚特徴と行動との関連を学習することにより,効率を高めつつ探索行動を示すエージェントを開発した。 この問題は、コンテキストがイメージであり、ロボットがパラメータ化されたアクションスペースにアクセスできるコンテキスト多腕バンディットとして定式化されている。 新たな対象が与えられた場合、その目的はわずかな相互作用で報酬を最大化することである。 視覚特徴と運動の相関関係を強く示す領域は、運動論的に制約されたメカニズムである。 人工関節とリボリュート関節のシミュレーション法について検討した。

Exploration in novel settings can be challenging without prior experience in similar domains. However, humans are able to build on prior experience quickly and efficiently. Children exhibit this behavior when playing with toys. For example, given a toy with a yellow and blue door, a child will explore with no clear objective, but once they have discovered how to open the yellow door, they will most likely be able to open the blue door much faster. Adults also exhibit this behavior when entering new spaces such as kitchens. We develop a method, Contextual Prior Prediction, which provides a means of transferring knowledge between interactions in similar domains through vision. We develop agents that exhibit exploratory behavior with increasing efficiency, by learning visual features that are shared across environments, and how they correlate to actions. Our problem is formulated as a Contextual Multi-Armed Bandit where the contexts are images, and the robot has access to a parameterized action space. Given a novel object, the objective is to maximize reward with few interactions. A domain which strongly exhibits correlations between visual features and motion is kinemetically constrained mechanisms. We evaluate our method on simulated prismatic and revolute joints.
翻訳日:2022-11-24 21:25:04 公開日:2020-06-06
# ガウスデータに基づく逆学習線形分類器の特異性

Unique properties of adversarially trained linear classifiers on Gaussian data ( http://arxiv.org/abs/2006.03873v1 )

ライセンス: Link先を確認
Jamie Hayes(参考訳) 機械学習モデルは敵の摂動に弱いため、入力に追加されると高い信頼性の誤分類を引き起こす可能性がある。 敵対的学習研究コミュニティは、敵対的摂動の根本原因の理解において顕著な進歩を遂げている。 しかしながら、安全クリティカルなタスクに機械学習を展開するために解決することが重要であると考えるほとんどの問題は、特徴付けや研究が難しい高次元複素多様体を含む。 単純な問題に対して逆向きに頑健な学習理論を開発することは一般的であり、洞察が「現実世界のデータセット」に移行することを期待する。 本稿では,このアプローチが失敗する状況について論じる。 特に線形分類器を用いて学習中に任意のレベルの逆汚職の下でガウスデータのバイナリ分類問題を解くことができ、この性質はCIFAR-10データセット上の非線形分類器では観測されない。

Machine learning models are vulnerable to adversarial perturbations, that when added to an input, can cause high confidence misclassifications. The adversarial learning research community has made remarkable progress in the understanding of the root causes of adversarial perturbations. However, most problems that one may consider important to solve for the deployment of machine learning in safety critical tasks involve high dimensional complex manifolds that are difficult to characterize and study. It is common to develop adversarially robust learning theory on simple problems, in the hope that insights will transfer to `real world datasets'. In this work, we discuss a setting where this approach fails. In particular, we show with a linear classifier, it is always possible to solve a binary classification problem on Gaussian data under arbitrary levels of adversarial corruption during training, and that this property is not observed with non-linear classifiers on the CIFAR-10 dataset.
翻訳日:2022-11-24 21:23:07 公開日:2020-06-06
# ディープネットワークのためのフランク・ウルフ最適化

Frank-Wolfe optimization for deep networks ( http://arxiv.org/abs/2006.03960v1 )

ライセンス: Link先を確認
Jakob Stigenberg(参考訳) 現在、ディープニューラルネットワークは分類、回帰、関数近似において最も一般的な選択肢の1つである。 しかし、このような深層ネットワークのトレーニングは、調整すべきパラメータが何百万もあるため、決して簡単ではない。 典型的には、ある最小限に収束する最適化法を用いる。 最も人気があり成功した方法は勾配降下に基づいている。 本稿では,frank-wolfe最適化という別の最適化手法を,小さな深層ネットワークに適用し,勾配降下と比較する。 最適化は収束するが、緩やかに、勾配降下の速度に近づかない。 さらに、確率的な設定では、最適化は非常に不安定になり、直線探索アプローチを使わなければ収束しないように見える。

Deep neural networks is today one of the most popular choices in classification, regression and function approximation. However, the training of such deep networks is far from trivial as there are often millions of parameters to tune. Typically, one use some optimization method that hopefully converges towards some minimum. The most popular and successful methods are based on gradient descent. In this paper, another optimization method, Frank-Wolfe optimization, is applied to a small deep network and compared to gradient descent. Although the optimization does converge, it does so slowly and not close to the speed of gradient descent. Further, in a stochastic setting, the optimization becomes very unstable and does not seem to converge unless one uses a line search approach.
翻訳日:2022-11-24 21:15:58 公開日:2020-06-06
# 条件付きニューラルアーキテクチャ探索

Conditional Neural Architecture Search ( http://arxiv.org/abs/2006.03969v1 )

ライセンス: Link先を確認
Sheng-Chun Kao, Arun Ramamurthy, Reed Williams, Tushar Krishna(参考訳) リソース効率のよいDeep Neural Networks(DNN)の設計は、さまざまなパフォーマンス、パワー、メモリ予算のために、エッジプラットフォームにディープラーニングソリューションをデプロイすることが重要である。 残念なことに、よく訓練されたmlモデルがエッジプラットフォームデプロイの制約に適合しない場合が多いため、モデル削減と再トレーニングの長いイテレーションが発生する。 さらに、プラットフォームA向けに最適化されたMLモデルは、別のプラットフォームBにデプロイするときに適さないことが多く、モデル再トレーニングの別のイテレーションを引き起こします。 本稿では,異なるプラットフォームで実現可能なMLモデルを生成するGANを用いた条件付きニューラルネットワーク探索手法を提案する。 制約最適化DNNモデルを生成する新しいワークフローを提案する。 これは、ニューラルネットワーク検索ドメインに条件付きおよび逆テクニックを導入する最初の作業である。 CIFAR-10の回帰問題と分類による手法を検証する。 提案するワークフローは、リソース最適化MLPまたはCNNベースのネットワークをうまく生成できる。

Designing resource-efficient Deep Neural Networks (DNNs) is critical to deploy deep learning solutions over edge platforms due to diverse performance, power, and memory budgets. Unfortunately, it is often the case a well-trained ML model does not fit to the constraint of deploying edge platforms, causing a long iteration of model reduction and retraining process. Moreover, a ML model optimized for platform-A often may not be suitable when we deploy it on another platform-B, causing another iteration of model retraining. We propose a conditional neural architecture search method using GAN, which produces feasible ML models for different platforms. We present a new workflow to generate constraint-optimized DNN models. This is the first work of bringing in condition and adversarial technique into Neural Architecture Search domain. We verify the method with regression problems and classification on CIFAR-10. The proposed workflow can successfully generate resource-optimized MLP or CNN-based networks.
翻訳日:2022-11-24 21:15:12 公開日:2020-06-06
# 次数次時間差学習 : 多項式複素数を用いた安定強化学習

Proximal Gradient Temporal Difference Learning: Stable Reinforcement Learning with Polynomial Sample Complexity ( http://arxiv.org/abs/2006.03976v1 )

ライセンス: Link先を確認
Bo Liu, Ian Gemp, Mohammad Ghavamzadeh, Ji Liu, Sridhar Mahadevan, Marek Petrik(参考訳) 本稿では,真の確率的勾配時間差学習アルゴリズムを設計・解析するための原理的手法として,近位勾配時間差学習を提案する。 本稿では, 従来の目的関数から始めるのではなく, 主目的関数から始めることによって, 勾配TD(GTD)強化学習法を公式に導出する方法を示す。 また,サドルポイント誤差解析を行い,その性能について有限サンプル境界を求める。 このクラスのアルゴリズムの以前の分析では、漸近収束を証明するために確率近似技術を使用しており、有限サンプル解析は提供していない。 GTD2-MPと呼ばれる高速化されたアルゴリズムも提案する。 理論解析の結果,GTDのアルゴリズム群は,線形複雑性のため,既存の最小2乗のTD法よりも好まれる可能性が示唆された。 高速化された勾配TD法の性能向上を示す実験結果を得た。

In this paper, we introduce proximal gradient temporal difference learning, which provides a principled way of designing and analyzing true stochastic gradient temporal difference learning algorithms. We show how gradient TD (GTD) reinforcement learning methods can be formally derived, not by starting from their original objective functions, as previously attempted, but rather from a primal-dual saddle-point objective function. We also conduct a saddle-point error analysis to obtain finite-sample bounds on their performance. Previous analyses of this class of algorithms use stochastic approximation techniques to prove asymptotic convergence, and do not provide any finite-sample analysis. We also propose an accelerated algorithm, called GTD2-MP, that uses proximal ``mirror maps'' to yield an improved convergence rate. The results of our theoretical analysis imply that the GTD family of algorithms are comparable and may indeed be preferred over existing least squares TD methods for off-policy learning, due to their linear complexity. We provide experimental results showing the improved performance of our accelerated gradient TD methods.
翻訳日:2022-11-24 21:14:57 公開日:2020-06-06
# 正規化オフポリィTDラーニング

Regularized Off-Policy TD-Learning ( http://arxiv.org/abs/2006.05314v1 )

ライセンス: Link先を確認
Bo Liu, Sridhar Mahadevan, Ji Liu(参考訳) 本稿では,計算複雑性の低い値関数のスパース表現を学習可能な,新規な非政治収束型TD学習法(RO-TD)を提案する。 RO-TDの基盤となるアルゴリズムフレームワークは、TDCのような非政治収束勾配TD法と、非滑らかな凸最適化の凸凹サドル点定式化という2つの主要なアイデアを統合している。 RO-TDの詳細な理論的および実験的解析を行った。 ro-tdアルゴリズムのオフ・ポリシー収束,スパース特徴選択能力,計算コストの低さを示すため,様々な実験を行った。

We present a novel $l_1$ regularized off-policy convergent TD-learning method (termed RO-TD), which is able to learn sparse representations of value functions with low computational complexity. The algorithmic framework underlying RO-TD integrates two key ideas: off-policy convergent gradient TD methods, such as TDC, and a convex-concave saddle-point formulation of non-smooth convex optimization, which enables first-order solvers and feature selection using online convex regularization. A detailed theoretical and experimental analysis of RO-TD is presented. A variety of experiments are presented to illustrate the off-policy convergence, sparse feature selection capability and low computational cost of the RO-TD algorithm.
翻訳日:2022-11-24 21:14:30 公開日:2020-06-06
# 医療報告生成のための補助信号誘導知識エンコーダデコーダ

Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report Generation ( http://arxiv.org/abs/2006.03744v1 )

ライセンス: Link先を確認
Mingjie Li, Fuyu Wang, Xiaojun Chang and Xiaodan Liang(参考訳) 自然な画像キャプションで直面する共通の困難に加えて、医用レポート生成には、医用コモンセンスと論理の両方を満たすように細粒度でセマンティックなコヒーレンスな段落を持つ医療画像を記述する必要がある。 従来の作品では、概してグローバル画像の特徴を抽出し、参照されたレポートに類似した段落の生成を試みるが、このアプローチには2つの制限がある。 第一に、放射線科医が関心を持つ領域は、通常、地球規模の画像の小さな領域に位置しており、画像の残りの部分は、訓練手順において無関係なノイズとみなすことができる。 第二に、画像の正常な領域を記述するために医療報告書で使われる類似の文が多数あり、深刻なデータバイアスを引き起こす。 この偏差は、モデルにこれらのセンシティブな文を定期的に生成するように教える可能性が高い。 これらの問題に対処するために,放射線学者の動作パターンを模倣する補助信号誘導知識エンコーダ(ASGK)を提案する。 より詳しくは、ASGKは内的視覚的特徴融合と外的医学的言語情報を統合し、医学的知識伝達と学習を導く。 ASGKの中核構造は、医学グラフエンコーダと、先進的な生成前訓練(GPT)にインスパイアされた自然言語デコーダである。 CX-CHRデータセットと私たちのCOVID-19 CT Reportデータセットの実験により、提案したASGKは堅牢で正確なレポートを生成することができ、さらに、医学用語分類と段落生成指標の両方において最先端の手法より優れています。

Beyond the common difficulties faced in the natural image captioning, medical report generation specifically requires the model to describe a medical image with a fine-grained and semantic-coherence paragraph that should satisfy both medical commonsense and logic. Previous works generally extract the global image features and attempt to generate a paragraph that is similar to referenced reports; however, this approach has two limitations. Firstly, the regions of primary interest to radiologists are usually located in a small area of the global image, meaning that the remainder parts of the image could be considered as irrelevant noise in the training procedure. Secondly, there are many similar sentences used in each medical report to describe the normal regions of the image, which causes serious data bias. This deviation is likely to teach models to generate these inessential sentences on a regular basis. To address these problems, we propose an Auxiliary Signal-Guided Knowledge Encoder-Decoder (ASGK) to mimic radiologists' working patterns. In more detail, ASGK integrates internal visual feature fusion and external medical linguistic information to guide medical knowledge transfer and learning. The core structure of ASGK consists of a medical graph encoder and a natural language decoder, inspired by advanced Generative Pre-Training (GPT). Experiments on the CX-CHR dataset and our COVID-19 CT Report dataset demonstrate that our proposed ASGK is able to generate a robust and accurate report, and moreover outperforms state-of-the-art methods on both medical terminology classification and paragraph generation metrics.
翻訳日:2022-11-24 21:13:57 公開日:2020-06-06
# 特徴生成による知識ベース学習

Knowledge-Based Learning through Feature Generation ( http://arxiv.org/abs/2006.03874v1 )

ライセンス: Link先を確認
Michal Badian and Shaul Markovitch(参考訳) 機械学習アルゴリズムは、少数の例を一般化するのが困難である。 人間は自分の持つ膨大なバックグラウンド知識を活用し、そのようなタスクを遂行することができる。 外部知識で学習アルゴリズムを強化する方法のひとつに特徴生成がある。 本稿では,補助データセットの収集に基づく特徴量生成のための新しいアルゴリズムを提案する。 トレーニングセットに加えて、追加のデータセットにアクセスできると仮定しています。 転送学習のセットアップとは異なり、補助データセットが元のものと類似した学習タスクを表現しているとは考えていない。 アルゴリズムは、トレーニングセットと補助データセットに共通する特徴を見つける。 これらの特徴と補助データセットからの例に基づいて、補助データセットから新機能の予測子を誘導する。 誘導予測器は生成された機能として元のトレーニングセットに追加される。 提案手法は,テキスト分類や医学的予測を含む様々な学習タスクでテストされ,与えられた機能のみを用いた場合よりも大幅に改善した。

Machine learning algorithms have difficulties to generalize over a small set of examples. Humans can perform such a task by exploiting vast amount of background knowledge they possess. One method for enhancing learning algorithms with external knowledge is through feature generation. In this paper, we introduce a new algorithm for generating features based on a collection of auxiliary datasets. We assume that, in addition to the training set, we have access to additional datasets. Unlike the transfer learning setup, we do not assume that the auxiliary datasets represent learning tasks that are similar to our original one. The algorithm finds features that are common to the training set and the auxiliary datasets. Based on these features and examples from the auxiliary datasets, it induces predictors for new features from the auxiliary datasets. The induced predictors are then added to the original training set as generated features. Our method was tested on a variety of learning tasks, including text classification and medical prediction, and showed a significant improvement over using just the given features.
翻訳日:2022-11-24 21:06:18 公開日:2020-06-06
# ニューラルネットワークにおけるブラックボックス組合せソルバの学習と最適化

Learning and Optimization of Blackbox Combinatorial Solvers in Neural Networks ( http://arxiv.org/abs/2006.03941v1 )

ライセンス: Link先を確認
T.J. Wilder(参考訳) ニューラルネットワーク内でのブラックボックスソルバの使用は、複雑な問題に対する証明された効率的な解決器を含めることで、ニューラルネットワークのパフォーマンスを改善することを目的とした比較的新しい領域である。 既存の研究は、ネットワークをブラックボックスとして扱いながら、これらのソルバをコンポーネントとして学習する方法を作成している。 本研究は, 一次損失関数だけでなく, 時間コスト正規化を用いて解法自体の性能を最適化することにより, 既存の技術の改善を試みる。 さらに,ブラックボックスソルバが使用するブラックボックスパラメータや,特定のソルバに対するヒューリスティック関数などのブラックボックスパラメータを学習する手法を提案する。 1つ以上の内部ブラックボックスを囲むブラックボックスであるハイパーブラックボックスの概念を導入することでこれを実現しています。

The use of blackbox solvers inside neural networks is a relatively new area which aims to improve neural network performance by including proven, efficient solvers for complex problems. Existing work has created methods for learning networks with these solvers as components while treating them as a blackbox. This work attempts to improve upon existing techniques by optimizing not only over the primary loss function, but also over the performance of the solver itself by using Time-cost Regularization. Additionally, we propose a method to learn blackbox parameters such as which blackbox solver to use or the heuristic function for a particular solver. We do this by introducing the idea of a hyper-blackbox which is a blackbox around one or more internal blackboxes.
翻訳日:2022-11-24 21:05:09 公開日:2020-06-06
# MAGNet: フレーズレベルでの自然言語クエリのマルチリージョンアテンション支援グラウンドディング

MAGNet: Multi-Region Attention-Assisted Grounding of Natural Language Queries at Phrase Level ( http://arxiv.org/abs/2006.03776v1 )

ライセンス: Link先を確認
Amar Shrestha, Krittaphat Pugdeethosapol, Haowen Fang, Qinru Qiu(参考訳) 自由形式のテキストクエリをグラウンディングするには、これらのテキストフレーズとその視覚的手がかりとの関係を理解する必要がある。 空間的注意ネットワークは、この関係を学習し、画像内の突出した物体を注視することが知られている。 そこで本稿では,空間的注意ネットワークを用いて局所的(単語)と大域的(フレーズ)情報を保存し,ネットワーク内領域提案ネットワーク(rpn)を用いて地域提案を洗練し,フレーズクエリの単一または複数領域を検出することを提案する。 私たちは、追加属性やコンテキストなど、データセットの制約に依存しないモデルのための、フレーズクエリー、基底真理ペア(参照式)にのみ焦点を合わせます。 このような参照表現データセット参照ゲームでは,マルチリージョンアテンション支援グラウンドネットワーク(magnet)が最先端よりも12%以上向上している。 Flickr30k Entitiesの画像キャプションや属性情報からのコンテキストがなければ、最先端技術と比較しても競争力のある結果が得られる。

Grounding free-form textual queries necessitates an understanding of these textual phrases and its relation to the visual cues to reliably reason about the described locations. Spatial attention networks are known to learn this relationship and focus its gaze on salient objects in the image. Thus, we propose to utilize spatial attention networks for image-level visual-textual fusion preserving local (word) and global (phrase) information to refine region proposals with an in-network Region Proposal Network (RPN) and detect single or multiple regions for a phrase query. We focus only on the phrase query - ground truth pair (referring expression) for a model independent of the constraints of the datasets i.e. additional attributes, context etc. For such referring expression dataset ReferIt game, our Multi-region Attention-assisted Grounding network (MAGNet) achieves over 12\% improvement over the state-of-the-art. Without the context from image captions and attribute information in Flickr30k Entities, we still achieve competitive results compared to the state-of-the-art.
翻訳日:2022-11-24 20:58:02 公開日:2020-06-06
# 法的議論の挑戦とスリル

Challenges and Thrills of Legal Arguments ( http://arxiv.org/abs/2006.03773v1 )

ライセンス: Link先を確認
Anurag Pallaprolu, Radha Vaidya, Aditya Swaroop Attawar(参考訳) 最先端の注目に基づくモデルは、主にトランスフォーマーアーキテクチャを中心に、いわゆるスケールドドット製品アテンションを用いたシーケンス・ツー・シーケンス変換の問題を解決する。 この手法は,話題間注目度を推定するのに非常に有効であるが,会話のようなシナリオを扱う場合の系列間注目度の問題には答えない。 そこで我々は,局所的に学習したトランスフォーマーを用いて連続的な文脈引数生成を行う拡張であるhumbertを提案する。

State-of-the-art attention based models, mostly centered around the transformer architecture, solve the problem of sequence-to-sequence translation using the so-called scaled dot-product attention. While this technique is highly effective for estimating inter-token attention, it does not answer the question of inter-sequence attention when we deal with conversation-like scenarios. We propose an extension, HumBERT, that attempts to perform continuous contextual argument generation using locally trained transformers.
翻訳日:2022-11-24 20:57:28 公開日:2020-06-06
# スパースデータセットのクロマティック学習

Chromatic Learning for Sparse Datasets ( http://arxiv.org/abs/2006.03779v1 )

ライセンス: Link先を確認
Vladimir Feinberg and Peter Bailis(参考訳) スパースで高次元のデータを学習するには、しばしばハッシュトリックのような特殊な方法を使う必要がある。 本研究では,多くの実践的な環境において,機能共起の程度を低くする,スケーラブルな代替手法を設計する。 この手法はクロマティックラーニング(CL)と呼ばれ、GBDTトレーニングの実行時性能最適化として以前用いられていた手法である特徴の共起グラフ上でグラフカラー化を行うことにより、低次元の高密度特徴表現を得る。 この色に基づく濃密表現は、さらに次元性を減らすために、例えば亜モジュラー特徴圧縮のような、より密なカテゴリエンコーディングアプローチと組み合わせることができる。 CLは線形並列性を示し、共起グラフのサイズでメモリを線形に消費する。 共起グラフの構造的特性を活用することで、clは、線形モデルの同じテストエラーを維持しながら、周波数ベースのトランザクションやハッシュトリックよりも桁違いに少ない特徴を用いて、50m以上の機能を1024まで含むkdd cup 2012のようなスパースデータセットを圧縮することができる。 この圧縮により、この幅の広いスパース設定でのディープネットワークの利用も可能となり、CLは予算化された入力次元の既存のベースラインと同等の性能を持つ。

Learning over sparse, high-dimensional data frequently necessitates the use of specialized methods such as the hashing trick. In this work, we design a highly scalable alternative approach that leverages the low degree of feature co-occurrences present in many practical settings. This approach, which we call Chromatic Learning (CL), obtains a low-dimensional dense feature representation by performing graph coloring over the co-occurrence graph of features---an approach previously used as a runtime performance optimization for GBDT training. This color-based dense representation can be combined with additional dense categorical encoding approaches, e.g., submodular feature compression, to further reduce dimensionality. CL exhibits linear parallelizability and consumes memory linear in the size of the co-occurrence graph. By leveraging the structural properties of the co-occurrence graph, CL can compress sparse datasets, such as KDD Cup 2012, that contain over 50M features down to 1024, using an order of magnitude fewer features than frequency-based truncation and the hashing trick while maintaining the same test error for linear models. This compression further enables the use of deep networks in this wide, sparse setting, where CL similarly has favorable performance compared to existing baselines for budgeted input dimension.
翻訳日:2022-11-24 20:55:57 公開日:2020-06-06