このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス(CC 0, CC BY, CC BY-SA)の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。(arxivのメタデータは CC 0です。) 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。

本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。

公開日が20200607となっている論文です。

PDF登録状況(公開日: 20200607)

TitleAuthorsAbstract論文公表日・翻訳日
# メタラーニングを用いた数発オープンセット認識

Few-Shot Open-Set Recognition using Meta-Learning ( http://arxiv.org/abs/2005.13713v2 )

ライセンス: Link先を確認
Bo Liu, Hao Kang, Haoxiang Li, Gang Hua, Nuno Vasconcelos(参考訳) オープンセット認識の問題点を考察する。 従来のアプローチでは,大規模分類訓練の文脈でのみこの問題を考えるが,本手法と低ショット分類設定の統一解を求める。 古典的なsoftmax分類器は、トレーニングクラスに過剰に適合する傾向があるため、オープンセット認識の貧弱なソリューションであると主張する。 ランダム化はこの問題の解法として提案される。 これは、オープンセット認識のソリューションとして、少ないショット分類に一般的に使用されるメタラーニング技術の使用を示唆している。 次に、新しいoPen sEt mEta LEaRning (PEELER)アルゴリズムを導入する。 これは、エピソードごとに一連の新しいクラスをランダムに選択することと、それらのクラスの例の後方エントロピーを最大化する損失と、マハラノビス距離に基づく新しいメトリック学習定式化を組み合わせる。 実験の結果,PEELERは,少数ショットと大規模認識の両方において,オープンセット認識性能の達成を図っている。 CIFARとminiImageNetでは、所定のクラス分類精度に対して、見かけ/見えないクラス検出のAUROCでかなりの向上を達成する。

The problem of open-set recognition is considered. While previous approaches only consider this problem in the context of large-scale classifier training, we seek a unified solution for this and the low-shot classification setting. It is argued that the classic softmax classifier is a poor solution for open-set recognition, since it tends to overfit on the training classes. Randomization is then proposed as a solution to this problem. This suggests the use of meta-learning techniques, commonly used for few-shot classification, for the solution of open-set recognition. A new oPen sEt mEta LEaRning (PEELER) algorithm is then introduced. This combines the random selection of a set of novel classes per episode, a loss that maximizes the posterior entropy for examples of those classes, and a new metric learning formulation based on the Mahalanobis distance. Experimental results show that PEELER achieves state of the art open set recognition performance for both few-shot and large-scale recognition. On CIFAR and miniImageNet, it achieves substantial gains in seen/unseen class detection AUROC for a given seen-class classification accuracy.
翻訳日:2022-11-28 09:24:09 公開日:2020-06-07
# ディープフュージョン・シームズ・ネットワークによる自動親和性検証

Deep Fusion Siamese Network for Automatic Kinship Verification ( http://arxiv.org/abs/2006.00143v2 )

ライセンス: Link先を確認
Jun Yu, Mengyan Li, Xinlong Hao and Guochen Xie(参考訳) 自動親族検証は、ある個人が同じ家族に属しているかどうかを判定することを目的としている。 行方不明者が家族と再会するのを助けることは、非常に重要な研究である。 本研究では,課題は2つの点で徐々に解決される。 まず,2個体間の相対的類似性を定量化するディープサイムズネットワークを提案する。 2つの入力顔画像が与えられると、ディープサイムズネットワークはそれらから特徴を抽出し、それらの特徴を結合して融合する。 そして、融合した特徴を完全接続ネットワークに入力し、2つの顔間の類似度スコアを取得し、親族性を検証する。 性能向上のため、マルチモデル融合にも陪審制度が用いられている。 第2に,親子間の親子関係を判断するために,親子間の親子関係の検証を行うディープトリプレットネットワークに,2つのディープシャムネットワークが統合されている。 具体的には、親子と親子の類似度スコアを重み付けて親子類似度スコアを生成し、親子照合を行う。 野生の家族(rfiw)を認識することは、野生の家族(fiw)をベースとし、自動親族認識のための大規模で包括的な画像データベースである複数のトラックを持つ親族認識タスクである。 Kinship Verification(トラックI)とTri-Subject Verification(トラックII)は、現在進行中のRFIW2020 Challengeでサポートされている。 私たちのチーム(ustc-nelslip)は、トラックIIで1位、トラックIで3位だった。 コードはhttps://github.com/gniknoil/FG2020-kinshipで入手できる。

Automatic kinship verification aims to determine whether some individuals belong to the same family. It is of great research significance to help missing persons reunite with their families. In this work, the challenging problem is progressively addressed in two respects. First, we propose a deep siamese network to quantify the relative similarity between two individuals. When given two input face images, the deep siamese network extracts the features from them and fuses these features by combining and concatenating. Then, the fused features are fed into a fully-connected network to obtain the similarity score between two faces, which is used to verify the kinship. To improve the performance, a jury system is also employed for multi-model fusion. Second, two deep siamese networks are integrated into a deep triplet network for tri-subject (i.e., father, mother and child) kinship verification, which is intended to decide whether a child is related to a pair of parents or not. Specifically, the obtained similarity scores of father-child and mother-child are weighted to generate the parent-child similarity score for kinship verification. Recognizing Families In the Wild (RFIW) is a challenging kinship recognition task with multiple tracks, which is based on Families in the Wild (FIW), a large-scale and comprehensive image database for automatic kinship recognition. The Kinship Verification (track I) and Tri-Subject Verification (track II) are supported during the ongoing RFIW2020 Challenge. Our team (ustc-nelslip) ranked 1st in track II, and 3rd in track I. The code is available at https://github.com/gniknoil/FG2020-kinship.
翻訳日:2022-11-26 18:08:42 公開日:2020-06-07
# 多頭部注意機構を用いた行動ロボットナビゲーションのための自然言語命令の翻訳

Translating Natural Language Instructions for Behavioral Robot Navigation with a Multi-Head Attention Mechanism ( http://arxiv.org/abs/2006.00697v3 )

ライセンス: Link先を確認
Patricio Cerda-Mardini, Vladimir Araujo, Alvaro Soto(参考訳) 本稿では,自然言語を屋内ロボットナビゲーションのための高レベル行動言語に変換するニューラルネットワークモデルにおけるブレンディング層としてのマルチヘッドアテンション機構を提案する。 我々は,ナビゲーショングラフをタスクの知識基盤として用いることを提案する(Zang et al., 2018a)。 その結果,既定環境における命令の翻訳性能が大幅に向上し,モデルの一般化能力が向上した。

We propose a multi-head attention mechanism as a blending layer in a neural network model that translates natural language to a high level behavioral language for indoor robot navigation. We follow the framework established by (Zang et al., 2018a) that proposes the use of a navigation graph as a knowledge base for the task. Our results show significant performance gains when translating instructions on previously unseen environments, therefore, improving the generalization capabilities of the model.
翻訳日:2022-11-26 05:46:24 公開日:2020-06-07
# 近接ベースのネットワーク: particle swarm optimization で最適化された small world overlays

Proximity-based Networking: Small world overlays optimized with particle swarm optimization ( http://arxiv.org/abs/2006.02006v2 )

ライセンス: Link先を確認
Chase Smith, Alex Rusnak(参考訳) 情報伝達は、大規模でダイナミックな分散システムにおいて、基本かつ頻繁に発生する問題である。 これを解決するため、分散ピアツーピアネットワークを維持できる効率的なオーバーレイネットワーク構築への関心が高まっている。 これらのオーバーレイネットワーク内のノードは、近接性に基づいて接続される小さな世界ネットワークのパターンを取り込む。 これらの小世界のシステムは、インターネットネットワーク内の情報の拡散とルックアップに極めて有用である。 データは転送され、転送エラー訂正(FEC)とユーザデータグラムプロトコル(UDP)を通じて、最小限の情報損失でルーティングされる。 本稿では,各ノードの分割鍵空間内のピアの配置に,コード内の地理的位置を組み込んだネットワーク方式を提案する。 これを近接系近傍集合 { based on the small world structure} と組み合わせると、従来の小世界の問題を解決するために設計された解の効率を模倣し、レジリエンスとフォールトトレランスの利点を付加することができる。 さらに、近隣要求に基づいてルーティングとアドレス帳を更新することができる。 提案手法の柔軟性により,様々なSwarmモデルとエージェントが利用可能となる。 これにより、ネットワークのファイル共有、ストリーミング、同期に適用可能な基盤となるネットワークモデルとしてネットワークが実現されます。

Information dissemination is a fundamental and frequently occurring problem in large, dynamic, distributed systems. In order to solve this, there has been an increased interest in creating efficient overlay networks that can maintain decentralized peer-to-peer networks. Within these overlay networks nodes take the patterns of small world networks, whose connections are based on proximity. These small-world systems can be incredibly useful in the dissemination and lookup of information within an internet network. The data can be efficiently transferred and routing with minimal information loss through forward error correct (FEC) and the User Datagram Protocol (UDP). We propose a networking scheme that incorporates geographic location in chord for the organization of peers within each node's partitioned key space. When we combine this with a proximity-based neighborhood set {based on the small world structure} we can mimic the efficient of solutions designed to solve traditional small-world problems, with the additional benefit of resilience and fault-tolerance. Furthermore, the routing and address book can be updated based on the neighborhood requirements. The flexibility of our proposed schemes enables a variety of swarm models, and agents. This enables our network to as an underlying networking model that can be applied to file-sharing, streaming, and synchronization of networks.
翻訳日:2022-11-25 18:02:54 公開日:2020-06-07
# 神経渦法:有限ラグランジュ粒子から無限次元オイラー力学へ

Neural Vortex Method: from Finite Lagrangian Particles to Infinite Dimensional Eulerian Dynamics ( http://arxiv.org/abs/2006.04178v1 )

ライセンス: Link先を確認
Shiying Xiong, Xingzhe He, Yunjin Tong, and Bo Zhu(参考訳) 流体数値解析の分野では、連続流場から離散渦粒子への厳密な数学的ツールの欠如、ラグランジアン粒子の大規模オイラー解法の高分解能継承の回避、といった長年の問題があった。 この課題に対処するために,ラグランジアン渦構造とその相互作用ダイナミクスをニューラルネットワークで記述し,高分解能ユーレリア流れ場を物理的に再現する,新しい学習ベースフレームワークであるNeural Vortex Method (NVM)を提案する。 格子型速度場からラグランジアン渦を識別する渦表現ネットワークと,これらの有限構造の基盤となる支配力学を学習する渦相互作用ネットワークの2つのネットワークから構成される。 これら2つのネットワークを渦対速度ポアソン解法で埋め込んで,高分解能直接数値シミュレーションから得られた高忠実度データを用いてパラメータを訓練することにより,従来の全ての渦解法(CVM)では不可能な精度レベルで正確な流体力学を予測できる。 我々の知る限りでは、この手法は有限粒子の運動を利用して無限次元力学系を学習する最初の方法である。 本研究では, 渦輪系, 乱流系, 外部力の異なるオイラー方程式が支配する系において, 計算コストの低い高精度な予測結果を生成する方法の有効性を実証する。

In the field of fluid numerical analysis, there has been a long-standing problem: lacking of a rigorous mathematical tool to map from a continuous flow field to discrete vortex particles, hurdling the Lagrangian particles from inheriting the high resolution of a large-scale Eulerian solver. To tackle this challenge, we propose a novel learning-based framework, the Neural Vortex Method (NVM), which builds a neural-network description of the Lagrangian vortex structures and their interaction dynamics to reconstruct the high-resolution Eulerian flow field in a physically-precise manner. The key components of our infrastructure consist of two networks: a vortex representation network to identify the Lagrangian vortices from a grid-based velocity field and a vortex interaction network to learn the underlying governing dynamics of these finite structures. By embedding these two networks with a vorticity-to-velocity Poisson solver and training its parameters using the high-fidelity data obtained from high-resolution direct numerical simulation, we can predict the accurate fluid dynamics on a precision level that was infeasible for all the previous conventional vortex methods (CVMs). To the best of our knowledge, our method is the first approach that can utilize motions of finite particles to learn infinite dimensional dynamic systems. We demonstrate the efficacy of our method in generating highly accurate prediction results, with low computational cost, of the leapfrogging vortex rings system, the turbulence system, and the systems governed by Euler equations with different external forces.
翻訳日:2022-11-24 08:41:30 公開日:2020-06-07
# RoeNets: 連続データから双曲型システムの不連続を予測する

RoeNets: Predicting Discontinuity of Hyperbolic Systems from Continuous Data ( http://arxiv.org/abs/2006.04180v1 )

ライセンス: Link先を確認
Shiying Xiong, Xingzhe He, Yunjin Tong, Runze Liu, and Bo Zhu(参考訳) 本稿では,短期的不連続かつ連続的なトレーニングデータに基づいて,双曲保存法則(HCL)の不連続性を予測できるRoe Neural Networks(RoeNets)を紹介する。 我々の手法は、最も基本的なHCL数値解法の一つであるリーマン近似解法(P. L. Roe, J. Comput. Phys., vol. 43, 1981, pp. 357--372)に着想を得たものである。 hclsを正確に解くために、roeは、真の固有値を持つ対角化可能で、正確なヤコビアンと一致し、保存された量の保存を含む「プロパティu」を満たすroe行列を構築する必要があると主張する。 しかし、そのような行列の構成は一般的な数値法では達成できない。 本モデルは,roeソルバをニューラルネットワークの観点で適用することで,hclの解法を画期的に改善した。 モデルの表現力を高めるために、擬似逆を新しい文脈に組み込んで隠れた次元を可能にし、パラメータの数に柔軟に対応できるようにします。 継続的トレーニングデータの短いウィンドウから長期的不連続を予測できるモデルの能力は、従来の機械学習アプローチでは不可能であると考えられる。 本モデルは,滑らかなトレーニングデータから,双曲系の散逸や不連続性を伴わずに,対流の進化を高精度に予測できることを実証する。

We introduce Roe Neural Networks (RoeNets) that can predict the discontinuity of the hyperbolic conservation laws (HCLs) based on short-term discontinuous and even continuous training data. Our methodology is inspired by Roe approximate Riemann solver (P. L. Roe, J. Comput. Phys., vol. 43, 1981, pp. 357--372), which is one of the most fundamental HCLs numerical solvers. In order to accurately solve the HCLs, Roe argues the need to construct a Roe matrix that fulfills "Property U", including diagonalizable with real eigenvalues, consistent with the exact Jacobian, and preserving conserved quantities. However, the construction of such matrix cannot be achieved by any general numerical method. Our model made a breakthrough improvement in solving the HCLs by applying Roe solver under a neural network perspective. To enhance the expressiveness of our model, we incorporate pseudoinverses into a novel context to enable a hidden dimension so that we are flexible with the number of parameters. The ability of our model to predict long-term discontinuity from a short window of continuous training data is in general considered impossible using traditional machine learning approaches. We demonstrate that our model can generate highly accurate predictions of evolution of convection without dissipation and the discontinuity of hyperbolic systems from smooth training data.
翻訳日:2022-11-24 08:41:03 公開日:2020-06-07
# 統計的・構造モデルを用いたアンサンブル学習

Ensemble Learning with Statistical and Structural Models ( http://arxiv.org/abs/2006.05308v1 )

ライセンス: Link先を確認
Jiaming Mao, Jingzhi Xu(参考訳) 統計モデルと構造モデリングはデータ分析の2つの異なるアプローチを表している。 本稿では,予測と因果推論を改善するために,統計モデルと構造モデルを組み合わせた新しい手法を提案する。 最初に提案した推定器は、統計モデルまたは構造モデルの正しい仕様のみを必要とするという二重ロバスト性を持つ。 提案する2番目の推定器は重み付けアンサンブルであり、どちらも不特定時に両方のモデルを上回る性能を持つ。 実験では, フィストプライスオークション, 入出力の動的モデル, 機器変数による需要推定など, 各種設定における推定装置の可能性を示す。

Statistical and structural modeling represent two distinct approaches to data analysis. In this paper, we propose a set of novel methods for combining statistical and structural models for improved prediction and causal inference. Our first proposed estimator has the doubly robustness property in that it only requires the correct specification of either the statistical or the structural model. Our second proposed estimator is a weighted ensemble that has the ability to outperform both models when they are both misspecified. Experiments demonstrate the potential of our estimators in various settings, including fist-price auctions, dynamic models of entry and exit, and demand estimation with instrumental variables.
翻訳日:2022-11-24 08:40:20 公開日:2020-06-07
# スペクトルクラスタリングにおける平均感度

Average Sensitivity of Spectral Clustering ( http://arxiv.org/abs/2006.04094v1 )

ライセンス: Link先を確認
Pan Peng, Yuichi Yoshida(参考訳) スペクトルクラスタリングは、グラフ内のクラスタを見つけるための最も一般的なクラスタリング方法の1つであり、データマイニングに多くの応用がある。 しかし、これらのアプリケーションにおける入力グラフは、測定の誤り、プライバシの理由の保持、データ変換の任意性などにより、多くのエッジが不足している可能性がある。 スペクトルクラスタリングに基づく信頼性と効率的な決定を行うために,エッジのランダム除去前後の出力クラスタの対称差の予測サイズである平均感度の概念を用いて,入力グラフのエッジ摂動に対するスペクトルクラスタリングの安定性を評価する。 まず、スペクトルクラスタリングの平均感度が$\lambda_2/\lambda_3^2$に比例することを証明し、$\lambda_i$は(正規化)ラプラシアンの最小固有値である。 私たちはまた、グラフを$k$クラスタに分割する$k$-wayスペクトルクラスタリングに対する類似のバウンドを証明します。 次に, 合成および実ネットワーク実験を行い, 理論境界を実証的に確認する。 その結果,入力グラフにクラスタ構造がある場合,スペクトルクラスタリングはエッジ摂動に対して安定であることが示唆された。

Spectral clustering is one of the most popular clustering methods for finding clusters in a graph, which has found many applications in data mining. However, the input graph in those applications may have many missing edges due to error in measurement, withholding for a privacy reason, or arbitrariness in data conversion. To make reliable and efficient decisions based on spectral clustering, we assess the stability of spectral clustering against edge perturbations in the input graph using the notion of average sensitivity, which is the expected size of the symmetric difference of the output clusters before and after we randomly remove edges. We first prove that the average sensitivity of spectral clustering is proportional to $\lambda_2/\lambda_3^2$, where $\lambda_i$ is the $i$-th smallest eigenvalue of the (normalized) Laplacian. We also prove an analogous bound for $k$-way spectral clustering, which partitions the graph into $k$ clusters. Then, we empirically confirm our theoretical bounds by conducting experiments on synthetic and real networks. Our results suggest that spectral clustering is stable against edge perturbations when there is a cluster structure in the input graph.
翻訳日:2022-11-24 08:40:09 公開日:2020-06-07
# VQVC+:ベクトル量子化とU-Netアーキテクチャによるワンショット音声変換

VQVC+: One-Shot Voice Conversion by Vector Quantization and U-Net architecture ( http://arxiv.org/abs/2006.04154v1 )

ライセンス: Link先を確認
Da-Yi Wu, Yen-Hao Chen, Hung-Yi Lee(参考訳) 音声変換(Voice conversion, VC)とは、音源話者の音色、アクセント、音色を、言語的内容を保持しながら他の音に変換するタスクである。 特にワンショットの環境では、まだ難しい作業だ。 自動エンコーダベースのVC手法は、話者のアイデンティティを付与せずに、入力音声中の話者とコンテンツをアンタングルするので、これらの手法は見当たらない話者にさらに一般化することができる。 逆角化能力は、ベクトル量子化(VQ)、敵対的トレーニング、インスタンス正規化(IN)によって達成される。 しかし、不完全な乱れは出力音声の品質を損なう可能性がある。 本研究では,音声品質の向上を目的として,自動エンコーダベースVCシステム内でU-Netアーキテクチャを利用する。 U-Netアーキテクチャを活用するためには,強力な情報ボトルネックが必要である。 潜在ベクトルを量子化するVQベースの手法は、その目的を果たすことができる。 目的と主観評価は,提案手法が音声の自然性と話者の類似性の両方で良好に動作することを示す。

Voice conversion (VC) is a task that transforms the source speaker's timbre, accent, and tones in audio into another one's while preserving the linguistic content. It is still a challenging work, especially in a one-shot setting. Auto-encoder-based VC methods disentangle the speaker and the content in input speech without given the speaker's identity, so these methods can further generalize to unseen speakers. The disentangle capability is achieved by vector quantization (VQ), adversarial training, or instance normalization (IN). However, the imperfect disentanglement may harm the quality of output speech. In this work, to further improve audio quality, we use the U-Net architecture within an auto-encoder-based VC system. We find that to leverage the U-Net architecture, a strong information bottleneck is necessary. The VQ-based method, which quantizes the latent vectors, can serve the purpose. The objective and the subjective evaluations show that the proposed method performs well in both audio naturalness and speaker similarity.
翻訳日:2022-11-24 08:39:48 公開日:2020-06-07
# 相関電子磁石における相分離の機械学習ダイナミクス

Machine learning dynamics of phase separation in correlated electron magnets ( http://arxiv.org/abs/2006.04205v1 )

ライセンス: Link先を確認
Puhan Zhang, Preetha Saha, Gia-Wei Chern(参考訳) 両交換系における電子位相分離の大規模動的シミュレーションを機械学習により実現した。 このモデルは強磁性コンド格子モデルとしても知られ、余剰磁気抵抗現象に関係していると考えられている。 電子ハミルトニアンから計算された交換力を持つそのような不均質状態の実空間シミュレーションは、大規模システムでは違法に高価である。 ここでは、小さな格子上の正確な計算からデータセットによって訓練されたニューラルネットワークを用いて、線形スケーリング交換場計算が可能であることを示す。 機械学習ポテンシャルに基づくランダウ・リフシッツ力学シミュレーションは、非平衡緩和過程だけでなく、正確なシミュレーションと定量的に一致する相関関数も良好に再現する。 本研究では,機械学習モデルを用いて相関電子系の大規模動的シミュレーションを行う。

We demonstrate machine-learning enabled large-scale dynamical simulations of electronic phase separation in double-exchange system. This model, also known as the ferromagnetic Kondo lattice model, is believed to be relevant for the colossal magnetoresistance phenomenon. Real-space simulations of such inhomogeneous states with exchange forces computed from the electron Hamiltonian can be prohibitively expensive for large systems. Here we show that linear-scaling exchange field computation can be achieved using neural networks trained by datasets from exact calculation on small lattices. Our Landau-Lifshitz dynamics simulations based on machine-learning potentials nicely reproduce not only the nonequilibrium relaxation process, but also correlation functions that agree quantitatively with exact simulations. Our work paves the way for large-scale dynamical simulations of correlated electron systems using machine-learning models.
翻訳日:2022-11-24 08:39:30 公開日:2020-06-07
# 不動産市場秩序ストリームの生成

Generating Realistic Stock Market Order Streams ( http://arxiv.org/abs/2006.04212v1 )

ライセンス: Link先を確認
Junyi Li, Xitong Wang, Yaoyang Lin, Arunesh Sinha, Micheal P. Wellman(参考訳) 本稿では,gans(generative adversarial network)に基づく現実的で忠実な株式市場データを生成する手法を提案する。 当社のストックganモデルは条件付きwasserstein ganを使用して注文の履歴依存性をキャプチャする。 ジェネレータの設計には、市場のオークション機構を近似するコンポーネントを含む特別に製作された側面が含まれており、注文帳構造による注文履歴を増強して生成タスクを改善する。 本研究は,ネットワーク構造の有用性を検証するためのアブレーション研究である。 生成器が学習した分布の数学的特徴付けを行う。 また,生成順序の質を測定する統計も提案する。 我々は、合成および実際の市場データを用いてアプローチを検証し、多くのベースライン生成モデルと比較し、生成したデータを実データに近いものにする。

We propose an approach to generate realistic and high-fidelity stock market data based on generative adversarial networks (GANs). Our Stock-GAN model employs a conditional Wasserstein GAN to capture history dependence of orders. The generator design includes specially crafted aspects including components that approximate the market's auction mechanism, augmenting the order history with order-book constructions to improve the generation task. We perform an ablation study to verify the usefulness of aspects of our network structure. We provide a mathematical characterization of distribution learned by the generator. We also propose statistics to measure the quality of generated orders. We test our approach with synthetic and actual market data, compare to many baseline generative models, and find the generated data to be close to real data.
翻訳日:2022-11-24 08:39:18 公開日:2020-06-07
# 極小正方形の準最適性と凸体推定への応用

On Suboptimality of Least Squares with Application to Estimation of Convex Bodies ( http://arxiv.org/abs/2006.04046v1 )

ライセンス: Link先を確認
Gil Kur, Alexander Rakhlin and Adityanand Guntuboyina(参考訳) 大規模関数のクラスに対する最小二乗(または経験的リスク最小化)のサンプル複雑性の下位境界を確立する手法を開発した。 応用として、次元$d\geq 6$の雑音支援関数の測定値から凸集合を推定する際、最小広場の最適性に関するオープンな問題を解決する。 具体的には、Least Squaresはmimimax sub-optimalであり、$\tilde{\Theta}_d(n^{-2/(d-1)})$であるのに対して、minimax rateは$\Theta_d(n^{-4/(d+3)})$である。

We develop a technique for establishing lower bounds on the sample complexity of Least Squares (or, Empirical Risk Minimization) for large classes of functions. As an application, we settle an open problem regarding optimality of Least Squares in estimating a convex set from noisy support function measurements in dimension $d\geq 6$. Specifically, we establish that Least Squares is mimimax sub-optimal, and achieves a rate of $\tilde{\Theta}_d(n^{-2/(d-1)})$ whereas the minimax rate is $\Theta_d(n^{-4/(d+3)})$.
翻訳日:2022-11-24 08:39:06 公開日:2020-06-07
# 高度な推論

Sophisticated Inference ( http://arxiv.org/abs/2006.04120v1 )

ライセンス: Link先を確認
Karl Friston, Lancelot Da Costa, Danijar Hafner, Casper Hesp, Thomas Parr(参考訳) 能動推論は、感性行動の第一原理的な説明であり、強化学習、能動学習、ベイズ最適推論、ベイズ最適設計など、特殊かつ重要な事例を導出することができる。 アクティブ推論は、情報ゲインを報酬や価値と同じ足場に配置することで、事前の嗜好に関連する搾取探索ジレンマを解決する。 簡単に言えば、活性推論は期待(変分)自由エネルギーの形で、値関数を(ベイズ的)信念の関数に置き換える。 本稿では, 期待自由エネルギーの帰納形式を用いて, 洗練された能動推論を考える。 ソフィケーション(Sophistication)とは、エージェントが信念を信じる程度を指す。 我々は,行動の反事実的結果に対する信念を持つエージェントと,それらの潜在状態に関する信念を考察する。 言い換えれば、単に「もしそうすれば何が起こるか」という信念から「もしそうしたら何が起こるか」へと移行したのである。 自由エネルギー関数の帰納形式は、将来的な行動や結果に対する深い木探索を効果的に実施する。 重要な点として、この探索は信念の状態の列の上にあり、それとは対照的である。 本稿では, 深部決定問題の数値シミュレーションを用いて, このスキームの能力について述べる。

Active inference offers a first principle account of sentient behaviour, from which special and important cases can be derived, e.g., reinforcement learning, active learning, Bayes optimal inference, Bayes optimal design, etc. Active inference resolves the exploitation-exploration dilemma in relation to prior preferences, by placing information gain on the same footing as reward or value. In brief, active inference replaces value functions with functionals of (Bayesian) beliefs, in the form of an expected (variational) free energy. In this paper, we consider a sophisticated kind of active inference, using a recursive form of expected free energy. Sophistication describes the degree to which an agent has beliefs about beliefs. We consider agents with beliefs about the counterfactual consequences of action for states of affairs and beliefs about those latent states. In other words, we move from simply considering beliefs about 'what would happen if I did that' to 'what would I believe about what would happen if I did that'. The recursive form of the free energy functional effectively implements a deep tree search over actions and outcomes in the future. Crucially, this search is over sequences of belief states, as opposed to states per se. We illustrate the competence of this scheme, using numerical simulations of deep decision problems.
翻訳日:2022-11-24 08:32:45 公開日:2020-06-07
# 音声のスパース線形予測のための最大位相モデル

Maximum Phase Modeling for Sparse Linear Prediction of Speech ( http://arxiv.org/abs/2006.04138v1 )

ライセンス: Link先を確認
Thomas Drugman(参考訳) 線形予測 (LP) は音声処理におけるユビキタス解析手法である。 LPフレームワークにスパース制約を導入することで、スパースLPアルゴリズムに様々な研究が焦点を当てている。 スパースLPは、音声モデリングやコーディングに関連するいくつかの問題に有効であることが示されている。 しかし、既存の全てのアプローチは音声信号が最小位相であると仮定している。 音声は混合位相であることが知られているため、残差信号は持続的な最大位相成分を含む。 本研究の目的は,音声の最大位相寄与のモデル化を取り入れ,任意のフィルタ表現に適用可能な新しい手法を提案することである。 提案手法は,lp残差信号のスパース性を大幅に向上させ,音声の極性検出と励磁モデリングの2つの応用に有効であることを示した。

Linear prediction (LP) is an ubiquitous analysis method in speech processing. Various studies have focused on sparse LP algorithms by introducing sparsity constraints into the LP framework. Sparse LP has been shown to be effective in several issues related to speech modeling and coding. However, all existing approaches assume the speech signal to be minimum-phase. Because speech is known to be mixed-phase, the resulting residual signal contains a persistent maximum-phase component. The aim of this paper is to propose a novel technique which incorporates a modeling of the maximum-phase contribution of speech, and can be applied to any filter representation. The proposed method is shown to significantly increase the sparsity of the LP residual signal and to be effective in two illustrative applications: speech polarity detection and excitation modeling.
翻訳日:2022-11-24 08:32:27 公開日:2020-06-07
# 歌声合成のためのパラメトリック表現:比較評価

Parametric Representation for Singing Voice Synthesis: a Comparative Evaluation ( http://arxiv.org/abs/2006.04142v1 )

ライセンス: Link先を確認
Onur Babacan, Thomas Drugman, Tuomo Raitio, Daniel Erro, Thierry Dutoit(参考訳) 音声信号のモデル化に様々なパラメトリック表現が提案されている。 このようなボコーダのパフォーマンスは音声処理の文脈でよく知られているが、歌声合成への外挿は単純ではないかもしれない。 この論文の目標は二つある。 まず,従来のパルスボコーダ,決定論的+確率的モデル,高調波+雑音モデル,GlottHMMという,統計的パラメトリック合成に適した4つの手法の比較主観評価を行った。 シンガータイプ(バリトン,カウンターテナー,ソプラノ)の機能としてのこれらの手法の挙動について検討した。 第二に, ハイピッチ音声で発生するアーチファクトについて考察し, 克服するためのアプローチを提案する。

Various parametric representations have been proposed to model the speech signal. While the performance of such vocoders is well-known in the context of speech processing, their extrapolation to singing voice synthesis might not be straightforward. The goal of this paper is twofold. First, a comparative subjective evaluation is performed across four existing techniques suitable for statistical parametric synthesis: traditional pulse vocoder, Deterministic plus Stochastic Model, Harmonic plus Noise Model and GlottHMM. The behavior of these techniques as a function of the singer type (baritone, counter-tenor and soprano) is studied. Secondly, the artifacts occurring in high-pitched voices are discussed and possible approaches to overcome them are suggested.
翻訳日:2022-11-24 08:32:15 公開日:2020-06-07
# 2次元点雲に基づく地下接合認識のための教師なし学習

Unsupervised Learning for Subterranean Junction Recognition Based on 2D Point Cloud ( http://arxiv.org/abs/2006.04225v1 )

ライセンス: Link先を確認
Sina Sharif Mansouri, Farhad Pourkamali-Anaraki, Miguel Castano Arranz, Ali-akbar Agha-mohammadi, Joel Burdick, and George Nikolakopoulos(参考訳) 本稿では,獲得した2次元点雲に基づく地下環境におけるトンネル接合数を検出するための教師なし学習フレームワークを提案する。 このフレームワークの実装は、未知の領域の飛行プラットフォームやロボットホーミングミッションをナビゲートするために、高レベルのミッションプランナーに貴重な情報を提供する。 このフレームワークはスペクトルクラスタリングを利用して、非線型多様体上の連結データポイントから隠れた構造を発見できる。 スペクトルクラスタリングアルゴリズムは、これらの点の対の類似性から導かれる行列の固有分解を利用して、元の2次元点雲のスペクトル埋め込みを計算する。 提案手法の性能とメリットを実証し,複数の現実的なシミュレーションから収集した複数のデータセットと,地下環境における実飛行から収集したフレームワークを検証した。

This article proposes a novel unsupervised learning framework for detecting the number of tunnel junctions in subterranean environments based on acquired 2D point clouds. The implementation of the framework provides valuable information for high level mission planners to navigate an aerial platform in unknown areas or robot homing missions. The framework utilizes spectral clustering, which is capable of uncovering hidden structures from connected data points lying on non-linear manifolds. The spectral clustering algorithm computes a spectral embedding of the original 2D point cloud by utilizing the eigen decomposition of a matrix that is derived from the pairwise similarities of these points. We validate the developed framework using multiple data-sets, collected from multiple realistic simulations, as well as from real flights in underground environments, demonstrating the performance and merits of the proposed methodology.
翻訳日:2022-11-24 08:30:52 公開日:2020-06-07
# 多エージェント強化学習におけるコーディネーションのスキル発見

Skill Discovery of Coordination in Multi-agent Reinforcement Learning ( http://arxiv.org/abs/2006.04021v1 )

ライセンス: Link先を確認
Shuncheng He, Jianzhun Shao, Xiangyang Ji(参考訳) 教師なしスキル発見は、知的エージェントをタスク固有の報酬信号なしで未知の環境を探索させ、エージェントは新しいタスクに適応する際に有用な様々なスキルを取得する。 本稿では,複数のエージェントの協調パターンに対するスキルの発見手法である"multi-agent skill discovery"(masd)を提案する。 提案手法は,スキルを表す潜在コードZと,エージェントの状態の組合せの相互情報を最大化することを目的としている。 一方、敵の訓練によって任意のエージェントの状態におけるzのエンパワーメントを抑制する。 言い換えれば、エンパワーメントの縮退を避けるために情報のボトルネックを設定します。 まず,一般粒子マルチエージェント環境における協調のレベルにおける様々なスキルの出現を示す。 第2に,「ボトルネック」は,一つのエージェントへのスキルの崩壊を防止し,学習スキルの多様性を高める。 最後に、事前訓練されたポリシーは、教師付きRLタスクにおいてより良い性能を示す。

Unsupervised skill discovery drives intelligent agents to explore the unknown environment without task-specific reward signal, and the agents acquire various skills which may be useful when the agents adapt to new tasks. In this paper, we propose "Multi-agent Skill Discovery"(MASD), a method for discovering skills for coordination patterns of multiple agents. The proposed method aims to maximize the mutual information between a latent code Z representing skills and the combination of the states of all agents. Meanwhile it suppresses the empowerment of Z on the state of any single agent by adversarial training. In another word, it sets an information bottleneck to avoid empowerment degeneracy. First we show the emergence of various skills on the level of coordination in a general particle multi-agent environment. Second, we reveal that the "bottleneck" prevents skills from collapsing to a single agent and enhances the diversity of learned skills. Finally, we show the pretrained policies have better performance on supervised RL tasks.
翻訳日:2022-11-24 08:29:58 公開日:2020-06-07
# 非一様スタイルコンディショニングによる現実的なテキスト置換

Realistic text replacement with non-uniform style conditioning ( http://arxiv.org/abs/2006.04170v1 )

ライセンス: Link先を確認
Arseny Nerinovsky, Igor Buzhinsky, Andey Filchencov(参考訳) 本研究では,画像中のテキストをユーザが提供するテキストに置き換えることを目的として,現実的なテキスト置換の可能性を検討する。 置換は、結果のイメージと元のイメージの区別を許さない方法で実行されるべきである。 我々は、新しい非一様スタイルコンディショニング層を開発し、エンコーダ-デコーダresnetベースのアーキテクチャに適用することにより、この目標を達成する。 得られたモデルは単一ステージモデルであり、後処理は行わない。 提案モデルは現実的なテキスト置換を実現し,既存のicdar mltのアプローチを上回っている。

In this work, we study the possibility of realistic text replacement, the goal of which is to replace text present in the image with user-supplied text. The replacement should be performed in a way that will not allow distinguishing the resulting image from the original one. We achieve this goal by developing a novel non-uniform style conditioning layer and apply it to an encoder-decoder ResNet based architecture. The resulting model is a single-stage model, with no post-processing. The proposed model achieves realistic text replacement and outperforms existing approaches on ICDAR MLT.
翻訳日:2022-11-24 08:23:32 公開日:2020-06-07
# 指のテクスチャ生体計測特性:調査

Finger Texture Biometric Characteristic: a Survey ( http://arxiv.org/abs/2006.04193v1 )

ライセンス: Link先を確認
Raid R. O. Al-Nima, Tingting Han, Taolue Chen, Satnam Dlay and Jonathon Chambers(参考訳) \begin{abstract} 近年, フィンガーテクスチャ (FT) が生体特性として注目されている。 全ての指の内面に沿って分布する見かけの線、しわ、尾根の人間特有の特徴が異なるため、効率的な人間の認識性能を提供することができる。 また、そのようなパターン構造は信頼性があり、ユニークであり、人間の生涯を通して安定している。 FTのみに基づいて効率的な生体認証システムを構築することができる。 本稿では,関連するft研究の包括的調査を行った。 また、生体特性としてFTを用いる際の主な欠点と障害を要約し、FTの研究をさらに改善するための有用な提案を行う。 \end{abstract}

\begin{abstract} In recent years, the Finger Texture (FT) has attracted considerable attention as a biometric characteristic. It can provide efficient human recognition performance, because it has different human-specific features of apparent lines, wrinkles and ridges distributed along the inner surface of all fingers. Also, such pattern structures are reliable, unique and remain stable throughout a human's life. Efficient biometric systems can be established based only on FTs. In this paper, a comprehensive survey of the relevant FT studies is presented. We also summarise the main drawbacks and obstacles of employing the FT as a biometric characteristic, and provide useful suggestions to further improve the work on FT. \end{abstract}
翻訳日:2022-11-24 08:23:23 公開日:2020-06-07
# AdaLAM:手作りの異常検知を再開

AdaLAM: Revisiting Handcrafted Outlier Detection ( http://arxiv.org/abs/2006.04250v1 )

ライセンス: Link先を確認
Luca Cavalli, Viktor Larsson, Martin Ralf Oswald, Torsten Sattler, Marc Pollefeys(参考訳) ローカル機能マッチングは、Structure-from-Motion、SLAM、Visual Localizationなど、多くのコンピュータビジョンパイプラインの重要なコンポーネントである。 しかし、ディスクリプタの制限のため、生のマッチはしばしば多くの異常者によって汚染される。 その結果、コンピュータビジョンにおける異常検出は根本的な問題であり、過去数十年にわたって幅広いアプローチが提案されてきた。 本稿では,外乱フィルタに対する手作り手法を再検討する。 ベストプラクティスに基づいて, 効果的な外乱検出のための階層パイプラインを提案し, 総じて外乱検出のための効率的かつ競争的なアプローチである AdaLAM につながる新しいアイデアを統合する。 AdaLAMは、現代の並列ハードウェアを効果的に活用するために設計されており、非常に高速で、しかも非常に正確で、外れやすいフィルタとなる。 我々は,大規模かつ多様なデータセット上で adalam を検証し,画像マッチングチャレンジ (cvpr2020) に参加し,単純なベースライン記述子で競合結果を得る。 AdaLAMは, 効率と有効性の両方の観点から, 現在の最先端技術と競合していることを示す。

Local feature matching is a critical component of many computer vision pipelines, including among others Structure-from-Motion, SLAM, and Visual Localization. However, due to limitations in the descriptors, raw matches are often contaminated by a majority of outliers. As a result, outlier detection is a fundamental problem in computer vision, and a wide range of approaches have been proposed over the last decades. In this paper we revisit handcrafted approaches to outlier filtering. Based on best practices, we propose a hierarchical pipeline for effective outlier detection as well as integrate novel ideas which in sum lead to AdaLAM, an efficient and competitive approach to outlier rejection. AdaLAM is designed to effectively exploit modern parallel hardware, resulting in a very fast, yet very accurate, outlier filter. We validate AdaLAM on multiple large and diverse datasets, and we submit to the Image Matching Challenge (CVPR2020), obtaining competitive results with simple baseline descriptors. We show that AdaLAM is more than competitive to current state of the art, both in terms of efficiency and effectiveness.
翻訳日:2022-11-24 08:22:42 公開日:2020-06-07
# 低調音・高調音音声の分析と合成

Analysis and Synthesis of Hypo and Hyperarticulated Speech ( http://arxiv.org/abs/2006.04136v1 )

ライセンス: Link先を確認
Benjamin Picart, Thomas Drugman, Thierry Dutoit(参考訳) 本稿では,HMMに基づく音声合成の枠組みにおいて,仮説および高調波音声の分析と合成に焦点をあてる。 まず、私たちのニーズに合致した新しいフランスのデータベースが作成され、同じセットが3つあり、3つの異なる明瞭度(中性、低調、ハイパーラル)で発音されます。 その上で,音響解析と音声解析を行った。 調音度は声道特性と声門特性の両方に有意な影響を与え,一方,発話速度,電話継続時間,電話の変動,声門停止の有無に有意な影響を与えていることが示された。 最後に、HMMに基づく音声合成を用いて、中性音声、偽音声、高調波音声を合成し、生成した音声品質の評価を目的とした主観的および主観的テストを行う。 これらの結果から, 合成された低調波音声は中性および高調波音声よりも自然に表現されないことが明らかとなった。

This paper focuses on the analysis and synthesis of hypo and hyperarticulated speech in the framework of HMM-based speech synthesis. First of all, a new French database matching our needs was created, which contains three identical sets, pronounced with three different degrees of articulation: neutral, hypo and hyperarticulated speech. On that basis, acoustic and phonetic analyses were performed. It is shown that the degrees of articulation significantly influence, on one hand, both vocal tract and glottal characteristics, and on the other hand, speech rate, phone durations, phone variations and the presence of glottal stops. Finally, neutral, hypo and hyperarticulated speech are synthesized using HMM-based speech synthesis and both objective and subjective tests aiming at assessing the generated speech quality are performed. These tests show that synthesized hypoarticulated speech seems to be less naturally rendered than neutral and hyperarticulated speech.
翻訳日:2022-11-24 08:21:56 公開日:2020-06-07
# 生物医学コーパスにおける対話的抽出探索

Interactive Extractive Search over Biomedical Corpora ( http://arxiv.org/abs/2006.04148v1 )

ライセンス: Link先を確認
Hillel Taub-Tabib, Micah Shlain, Shoval Sadde, Dan Lahav, Matan Eyal, Yaara Cohen, Yoav Goldberg(参考訳) 本稿では, 生命科学研究者が, 依存グラフ上のパターンやトークン配列上のパターンを用いて, 言語的に注釈付けされた学術テキストのコーパスを検索できるシステムを提案する。 従来の係り受けベースの検索とは対照的に,ユーザが基礎となる言語表現の詳細を知る必要がなく,単純なマークアップと結合した例文を提供することでコーパスを問合せする軽量なクエリ言語を導入する。 効率的な言語グラフインデクシングと検索エンジンにより,対話的な速度で検索を行う。 これにより、ユーザクエリの迅速な探索、開発、洗練が可能になる。 14,446,243のPubMed抽象化を含むPubMedコーパスと,新型コロナウイルス研究に焦点を当てた45,000以上の研究論文集であるCORD-19データセットである。 システムはhttps://allenai.github.io/spikeで公開されている。

We present a system that allows life-science researchers to search a linguistically annotated corpus of scientific texts using patterns over dependency graphs, as well as using patterns over token sequences and a powerful variant of boolean keyword queries. In contrast to previous attempts to dependency-based search, we introduce a light-weight query language that does not require the user to know the details of the underlying linguistic representations, and instead to query the corpus by providing an example sentence coupled with simple markup. Search is performed at an interactive speed due to efficient linguistic graph-indexing and retrieval engine. This allows for rapid exploration, development and refinement of user queries. We demonstrate the system using example workflows over two corpora: the PubMed corpus including 14,446,243 PubMed abstracts and the CORD-19 dataset, a collection of over 45,000 research papers focused on COVID-19 research. The system is publicly available at https://allenai.github.io/spike
翻訳日:2022-11-24 08:21:40 公開日:2020-06-07
# 潜在変数重み付き論理プログラムのセミリング上のテンソル

Tensors over Semirings for Latent-Variable Weighted Logic Programs ( http://arxiv.org/abs/2006.04232v1 )

ライセンス: Link先を確認
Esma Balkir, Daniel Gildea and Shay Cohen(参考訳) semiring parseは半環重み付き論理プログラムを用いてパーサーを記述するためのエレガントなフレームワークである。 本稿では,この概念の一般化について述べる。 我々のフレームワークでは、任意の半環重み付き論理プログラムは、半環のスカラー値から半環のランクn配列、あるいはテンソルへの重み付けを変換し、半環解析フレームワーク内の潜在変数のモデリングを可能にする。 半環はテンソルを扱うときに強すぎる概念であり、より弱い構造、すなわち部分半環に頼る必要がある。 我々は、この一般化が元の半環フレームワークの所望のすべての性質を厳密に表現性を高めながら保ち続けることを証明している。

Semiring parsing is an elegant framework for describing parsers by using semiring weighted logic programs. In this paper we present a generalization of this concept: latent-variable semiring parsing. With our framework, any semiring weighted logic program can be latentified by transforming weights from scalar values of a semiring to rank-n arrays, or tensors, of semiring values, allowing the modelling of latent variables within the semiring parsing framework. Semiring is too strong a notion when dealing with tensors, and we have to resort to a weaker structure: a partial semiring. We prove that this generalization preserves all the desired properties of the original semiring framework while strictly increasing its expressiveness.
翻訳日:2022-11-24 08:21:16 公開日:2020-06-07
# EnK: 畳み込みにおける時間情報のエンコード

EnK: Encoding time-information in convolution ( http://arxiv.org/abs/2006.04198v1 )

ライセンス: Link先を確認
Avinash Kumar Singh and Chin-Teng Lin(参考訳) 近年の深層学習技術の発展は脳波信号の復号化や分類に注目されている。 脳波信号の異なる特徴を利用するいくつかの取り組みにもかかわらず、重要な研究課題は、局所的およびグローバル的特徴と組み合わせて時間依存的特徴を使用することである。 深層学習畳み込みニューラルネットワーク(CNN)を再構築し、手作りの特徴を取り入れ、入力データをより小さな時間ウィンドウにスライスし、繰り返し畳み込みを繰り返すことで、時間依存情報をキャプチャする試みがあった。 しかし、これらのアプローチは部分的に問題を解決しているが、同時にデータに存在する可能性のある未知の情報から学習するcnnの能力を妨げる。 そこで本研究では,cnnにおける畳み込み動作中に増大する時間情報を導入する新しい時間符号化カーネル(enk)手法を提案する。 EnKによるエンコードされた情報により、CNNはローカルおよびグローバル機能への付加的な時間依存機能を学ぶことができる。 認知コンフリクト(CC)、物理的人間ロボット協調(pHRC)、P300視覚誘発電位、運動関連大脳皮質電位(MRCP)といった脳波データセットについて広範な実験を行った。 EnKは、最先端を12\%(F1スコア)上回る。 さらに、EnKアプローチは学習するパラメータを1つだけ必要としており、最小限の努力で事実上すべてのCNNアーキテクチャに適用できる。 これらの結果は我々の方法論をサポートし、時系列データ全般におけるCNNの性能向上の可能性を示す。

Recent development in deep learning techniques has attracted attention in decoding and classification in EEG signals. Despite several efforts utilizing different features of EEG signals, a significant research challenge is to use time-dependent features in combination with local and global features. There have been several efforts to remodel the deep learning convolution neural networks (CNNs) to capture time-dependency information by incorporating hand-crafted features, slicing the input data in a smaller time-windows, and recurrent convolution. However, these approaches partially solve the problem, but simultaneously hinder the CNN's capability to learn from unknown information that might be present in the data. To solve this, we have proposed a novel time encoding kernel (EnK) approach, which introduces the increasing time information during convolution operation in CNN. The encoded information by EnK lets CNN learn time-dependent features in-addition to local and global features. We performed extensive experiments on several EEG datasets: cognitive conflict (CC), physical-human robot collaboration (pHRC), P300 visual-evoked potentials, movement-related cortical potentials (MRCP). EnK outperforms the state-of-art by 12\% (F1 score). Moreover, the EnK approach required only one additional parameter to learn and can be applied to a virtually any CNN architectures with minimal efforts. These results support our methodology and show high potential to improve CNN performance in the context of time-series data in general.
翻訳日:2022-11-24 08:21:03 公開日:2020-06-07
# Web上の生命科学(リンク?)オープンデータに関する実証メタ分析

An Empirical Meta-analysis of the Life Sciences (Linked?) Open Data on the Web ( http://arxiv.org/abs/2006.04161v1 )

ライセンス: Link先を確認
Maulik R. Kamdar and Mark A. Musen(参考訳) バイオメディカルコミュニティは過去10年間にいくつかの「オープンデータ」ソースを公開してきたが、ほとんどの研究者は依然として、複数のソースからの異種データと知識を発見し、クエリし、統合するための厳しい技術的課題を抱えている。 これらの課題に取り組むため、コミュニティはSemantic Webとリンクデータ技術を使って、Life Sciences Linked Open Data (LSLOD)クラウドを作成しました。 本稿では, LSLODスキーマグラフに公開されている80以上のバイオメディカルリンクデータグラフからスキーマを抽出し, LSLODクラウド全体にわたる意味的不均一性の程度を評価するために, 経験的メタ分析を行う。 いくつかのLCLODソースは、他のソースと相互にリンクしないスタンドアロンのデータソースとして存在し、最小限の再利用やマッピングを伴う未公開スキーマを使用し、バイオメディカルの観点からのデータ統合に役立たない要素を持つ。 LSLODスキーマグラフと本研究の成果は,Web上で複数のバイオメディカルソースからのデータと知識を同時にクエリし,統合したい研究者を支援することを期待する。

While the biomedical community has published several "open data" sources in the last decade, most researchers still endure severe logistical and technical challenges to discover, query, and integrate heterogeneous data and knowledge from multiple sources. To tackle these challenges, the community has experimented with Semantic Web and linked data technologies to create the Life Sciences Linked Open Data (LSLOD) cloud. In this paper, we extract schemas from more than 80 publicly available biomedical linked data graphs into an LSLOD schema graph and conduct an empirical meta-analysis to evaluate the extent of semantic heterogeneity across the LSLOD cloud. We observe that several LSLOD sources exist as stand-alone data sources that are not inter-linked with other sources, use unpublished schemas with minimal reuse or mappings, and have elements that are not useful for data integration from a biomedical perspective. We envision that the LSLOD schema graph and the findings from this research will aid researchers who wish to query and integrate data and knowledge from multiple biomedical sources simultaneously on the Web.
翻訳日:2022-11-24 08:15:32 公開日:2020-06-07
# sharingan: 合成データと実データを組み合わせた教師なし幾何推定

SharinGAN: Combining Synthetic and Real Data for Unsupervised Geometry Estimation ( http://arxiv.org/abs/2006.04026v1 )

ライセンス: Link先を確認
Koutilya PNVR, Hao Zhou, David Jacobs(参考訳) 本稿では,1つの画像から幾何情報を決定するためのトレーニングネットワークにおいて,合成画像と実画像を組み合わせる新しい手法を提案する。 両画像の型を1つの共有ドメインにマッピングする方法を提案する。 これはエンドツーエンドトレーニングのためのプライマリネットワークに接続されている。 理想的には、2つのドメインのイメージがプライマリネットワークに共有情報を提供する。 実験では,人間の顔表面の正常推定と屋外シーンの単眼深度推定という2つの重要な領域において,教師なし環境での最先端技術に対して有意な改善が示された。

We propose a novel method for combining synthetic and real images when training networks to determine geometric information from a single image. We suggest a method for mapping both image types into a single, shared domain. This is connected to a primary network for end-to-end training. Ideally, this results in images from two domains that present shared information to the primary network. Our experiments demonstrate significant improvements over the state-of-the-art in two important domains, surface normal estimation of human faces and monocular depth estimation for outdoor scenes, both in an unsupervised setting.
翻訳日:2022-11-24 08:14:29 公開日:2020-06-07
# ディープラーニングを用いた表情認識

Facial Expression Recognition using Deep Learning ( http://arxiv.org/abs/2006.04057v1 )

ライセンス: Link先を確認
Raghu Vamshi.N, Bharathi Raja S(参考訳) 様々な時代を通じて、表情は非言語コミュニケーションの普遍的な方法の1つになっている。 表情を認識する能力は、多くの新しい応用の道を開くだろう。 コントロールされた環境での従来のアプローチの成功にもかかわらず、これらのアプローチは部分的な顔からなる挑戦的なデータセットで失敗する。 本稿では,このようなデータセット fer-2013 を取り上げ,従来使用されていたアプローチや深層学習モデルよりも大幅に改善可能な深層学習モデルの実装を行う。

Throughout the various ages, facial expressions have become one of the universal ways of non-verbal communication. The ability to recognize facial expressions would pave the path for many novel applications. Despite the success of traditional approaches in a controlled environment, these approaches fail on challenging datasets consisting of partial faces. In this paper, I take one such dataset FER-2013 and will implement deep learning models that are able to achieve significant improvement over the previously used traditional approaches and even some of the deep learning models.
翻訳日:2022-11-24 08:13:58 公開日:2020-06-07
# 視覚的物体追跡のためのシームズキーポイント予測ネットワーク

Siamese Keypoint Prediction Network for Visual Object Tracking ( http://arxiv.org/abs/2006.04078v1 )

ライセンス: Link先を確認
Qiang Li, Zekui Qin, Wenbo Zhang, and Wen Zheng(参考訳) ビジュアルオブジェクト追跡は、初期バウンディングボックスからビデオシーケンス内の任意のターゲットの位置を推定することを目的としている。 オフラインの機能学習を活用することで、サイムズパラダイムは近年、ハイパフォーマンストラッキングの主要なフレームワークとなっている。 しかし、現在のsiameseトラッカーは複雑なアンカーベースの検出ネットワークに大きく依存するか、あるいは邪魔者に抵抗する能力がない。 本稿では,これらの課題に対処するキーポイント予測ネットワーク(SiamKPN)を提案する。 siamese backbone for features embedded では、siamkpn は粒度から粒度への予測モデリングのためのカスケードヒートマップ戦略の利点がある。 特に、ラベルのヒートマップのカバレッジをカスケードに沿って順次縮小し、緩やかに制限された中間監督を適用することにより、戦略が実現される。 推定では,連続ステージの予測熱マップは徐々に目標に集中し,散逸器に還元される。 SiamKPNは、リアルタイムに実行しながら、TB-100、VOT2018、LaSOT、GOT-10kを含む4つのベンチマークデータセット上で、ビジュアルオブジェクトトラッキングのための最先端のトラッカーに対してうまく機能する。

Visual object tracking aims to estimate the location of an arbitrary target in a video sequence given its initial bounding box. By utilizing offline feature learning, the siamese paradigm has recently been the leading framework for high performance tracking. However, current existing siamese trackers either heavily rely on complicated anchor-based detection networks or lack the ability to resist to distractors. In this paper, we propose the Siamese keypoint prediction network (SiamKPN) to address these challenges. Upon a Siamese backbone for feature embedding, SiamKPN benefits from a cascade heatmap strategy for coarse-to-fine prediction modeling. In particular, the strategy is implemented by sequentially shrinking the coverage of the label heatmap along the cascade to apply loose-to-strict intermediate supervisions. During inference, we find the predicted heatmaps of successive stages to be gradually concentrated to the target and reduced to the distractors. SiamKPN performs well against state-of-the-art trackers for visual object tracking on four benchmark datasets including OTB-100, VOT2018, LaSOT and GOT-10k, while running at real-time speed.
翻訳日:2022-11-24 08:13:34 公開日:2020-06-07
# E-ScooterとE-Bikeの利用パターンの比較分析:テキサス州オースチン市からの検討

A Comparative Analysis of E-Scooter and E-Bike Usage Patterns: Findings from the City of Austin, TX ( http://arxiv.org/abs/2006.04033v1 )

ライセンス: Link先を確認
Mohammed Hamad Almannaa, Huthaifa I. Ashqar, Mohammed Elhenawy, Mahmoud Masoud, Andry Rakotonirainy, and Hesham Rakha(参考訳) e-scooter-sharingとe-bike-sharing systemsは、密集した都市での交通の増大を緩和し、大幅に拡大している。 しかし、これらの新しいマイクロモビリティ輸送モードは、多くの運用および安全上の懸念を引き起こす。 本研究は,e-scooterおよびドックレスE-bike共有システムのユーザ行動を分析する。 本研究では,平日と日時によって平均走行速度がどう変化するかを検討する。 2018年12月から2019年5月まで,テキサス州オースチンのデータセットを使用していました。 以上の結果から,Eバイクの走行平均速度は3.1m/sから3.44m/sであり,Eスクーターよりも高い(2.19m/s)。 また,e-scooters と e-scooters の2日間の平均速度についても同様の使用パターンを示し,e-scooters と e-scooters の平均使用速度を1日の数時間にわたって異なる使用パターンを示した。 利用者は、通勤目的の乗車時間に比べて、レクリエーション目的の平均速度が遅いため、電動自転車や電動スクーターに乗る傾向にある。 この研究は、この分野におけるビルディングブロックであり、この種の第1段階として機能し、この新興の共有道路利用者の新たな理解の光を当てている。

E-scooter-sharing and e-bike-sharing systems are accommodating and easing the increased traffic in dense cities and are expanding considerably. However, these new micro-mobility transportation modes raise numerous operational and safety concerns. This study analyzes e-scooter and dockless e-bike sharing system user behavior. We investigate how average trip speed change depending on the day of the week and the time of the day. We used a dataset from the city of Austin, TX from December 2018 to May 2019. Our results generally show that the trip average speed for e-bikes ranges between 3.01 and 3.44 m/s, which is higher than that for e-scooters (2.19 to 2.78 m/s). Results also show a similar usage pattern for the average speed of e-bikes and e-scooters throughout the days of the week and a different usage pattern for the average speed of e-bikes and e-scooters over the hours of the day. We found that users tend to ride e-bikes and e-scooters with a slower average speed for recreational purposes compared to when they are ridden for commuting purposes. This study is a building block in this field, which serves as a first of its kind, and sheds the light of significant new understanding of this emerging class of shared-road users.
翻訳日:2022-11-24 08:06:25 公開日:2020-06-07
# クロスタスク一貫性によるロバスト学習

Robust Learning Through Cross-Task Consistency ( http://arxiv.org/abs/2006.04096v1 )

ライセンス: Link先を確認
Amir Zamir, Alexander Sax, Teresa Yeo, O\u{g}uzhan Kar, Nikhil Cheerla, Rohan Suri, Zhangjie Cao, Jitendra Malik, Leonidas Guibas(参考訳) 視覚的知覚は、例えば、オブジェクト検出、深さ推定など、幅広いタスクのセットを解決する必要がある。 同じイメージから複数のタスクに対して行われた予測は独立ではないため、一貫性が期待できる。 クロスタスク整合性を用いた学習向上のための,広く適用可能な完全計算手法を提案する。 提案手法は任意のタスクのグラフ上の推論パス不変性に基づいている。 クロスタスク一貫性を持つ学習は、より正確な予測と、分布外入力への一般化をもたらすことを観察する。 この枠組みはまた、システムの本質的な一貫性の測定に基づいて、一貫性エネルギー(Consistency Energy)と呼ばれる情報的非教師付き量をもたらす。 整合性エネルギーは教師付き誤差(r=0.67)とよく相関しているため、教師なし信頼度測定や、配布外入力の検出にも使用できる(ROC-AUC=0.95)。 評価はTaskonomy、Replica、CocoDoom、ApolloScapeなど複数のデータセットで行われ、従来のマルチタスク学習、サイクル一貫性、分析一貫性など、さまざまなベースラインに対してクロスタスク一貫性をベンチマークする。

Visual perception entails solving a wide set of tasks, e.g., object detection, depth estimation, etc. The predictions made for multiple tasks from the same image are not independent, and therefore, are expected to be consistent. We propose a broadly applicable and fully computational method for augmenting learning with Cross-Task Consistency. The proposed formulation is based on inference-path invariance over a graph of arbitrary tasks. We observe that learning with cross-task consistency leads to more accurate predictions and better generalization to out-of-distribution inputs. This framework also leads to an informative unsupervised quantity, called Consistency Energy, based on measuring the intrinsic consistency of the system. Consistency Energy correlates well with the supervised error (r=0.67), thus it can be employed as an unsupervised confidence metric as well as for detection of out-of-distribution inputs (ROC-AUC=0.95). The evaluations are performed on multiple datasets, including Taskonomy, Replica, CocoDoom, and ApolloScape, and they benchmark cross-task consistency versus various baselines including conventional multi-task learning, cycle consistency, and analytical consistency.
翻訳日:2022-11-24 08:05:49 公開日:2020-06-07
# ミスマッチモデルにおける情報カスケードフレギリティの鋭いしきい値

Sharp Thresholds of the Information Cascade Fragility Under a Mismatched Model ( http://arxiv.org/abs/2006.04117v1 )

ライセンス: Link先を確認
Wasim Huleihel and Ofer Shayevitz(参考訳) 我々は、意思決定者(またはプレイヤー)が自身のプライベート情報と以前の意思決定者の行動に基づいて意思決定を行うシーケンシャルな意思決定モデルを分析する。 このような意思決定プロセスは、しばしば \emph{information cascade} や \emph{herding} と呼ばれる現象に繋がる。 特に、カスケードは、一部のプレイヤーが自身の個人情報を放棄し、以前のプレイヤーの行動を模倣することが合理的であるように見えるときに発達する。 しかし、リスクは、最初の決定が間違っていれば、カスケード全体が間違ってしまうことである。 それにもかかわらず、情報カスケードは脆弱であることが知られている: \emph{revealing} 確率 $\{p_{\ell}\}_{\ell\geq1}$ のシーケンスが存在し、もし確率 $p_{\ell}$ player $\ell$ が以前のプレイヤーの決定を無視し、彼のプライベート情報のみに依存するなら、間違ったカスケードは避けられる。 情報カスケードの脆弱性を研究する以前の関連論文は、明らかな確率がすべてのプレイヤーに完全に知られていると常に仮定している。 そこで,本研究では,プレイヤーが真に$\{p_\ell\}_{\ell\in\mathbb{n}}$であるとき,その出現確率が$\{q_\ell\}_{\ell\in\mathbb{n}}$であると考えるミスマッチモデルを検討し,このミスマッチが情報カスケードに与える影響について検討する。 確率的意思決定モデルと確率的意思決定モデルの両方を考察し、ある意思決定者に関連する誤り確率がゼロとなる最適学習率のクローズドフォーム式を導出する。 我々は,漸近学習率の行動にいくつかの新しい位相遷移を証明した。

We analyze a sequential decision making model in which decision makers (or, players) take their decisions based on their own private information as well as the actions of previous decision makers. Such decision making processes often lead to what is known as the \emph{information cascade} or \emph{herding} phenomenon. Specifically, a cascade develops when it seems rational for some players to abandon their own private information and imitate the actions of earlier players. The risk, however, is that if the initial decisions were wrong, then the whole cascade will be wrong. Nonetheless, information cascade are known to be fragile: there exists a sequence of \emph{revealing} probabilities $\{p_{\ell}\}_{\ell\geq1}$, such that if with probability $p_{\ell}$ player $\ell$ ignores the decisions of previous players, and rely on his private information only, then wrong cascades can be avoided. Previous related papers which study the fragility of information cascades always assume that the revealing probabilities are known to all players perfectly, which might be unrealistic in practice. Accordingly, in this paper we study a mismatch model where players believe that the revealing probabilities are $\{q_\ell\}_{\ell\in\mathbb{N}}$ when they truly are $\{p_\ell\}_{\ell\in\mathbb{N}}$, and study the effect of this mismatch on information cascades. We consider both adversarial and probabilistic sequential decision making models, and derive closed-form expressions for the optimal learning rates at which the error probability associated with a certain decision maker goes to zero. We prove several novel phase transitions in the behaviour of the asymptotic learning rate.
翻訳日:2022-11-24 08:04:44 公開日:2020-06-07
# 目標概念埋め込み学習によるユーザ生成テキストの医学的概念正規化

Medical Concept Normalization in User Generated Texts by Learning Target Concept Embeddings ( http://arxiv.org/abs/2006.04014v1 )

ライセンス: Link先を確認
Katikapalli Subramanyam Kalyan, S.Sangeetha(参考訳) 医学的概念正規化は、自由形式のテキストにおける標準概念、すなわち健康に関連する言及を語彙の標準概念にマッピングするのに役立つ。 単純な文字列マッチングをはるかに超え、概念記述の深い意味的理解を必要とする。 最近の研究は、テキスト分類またはテキストマッチングとして、正規化の概念を定めている。 現存する主な欠点は a) テキスト分類アプローチは、入力概念参照表現の学習において貴重な目標概念情報を無視している b)テキストマッチングアプローチは、時間とリソース消費であるターゲット概念の埋め込みを別々に生成する必要がある。 提案モデルでは,入力概念の参照とターゲット概念の表現を共同で学習することで,これらの欠点を克服する。 まず、RoBERTaを用いた入力概念参照表現を学習する。 第二に、入力概念の埋め込みとすべての対象概念の間のコサインの類似性を見出す。 ここで、ターゲット概念の埋め込みはランダムに初期化され、トレーニング中に更新される。 最後に、最大コサイン類似度を持つターゲット概念を入力概念参照に割り当てる。 我々のモデルは、精度を2.31%向上させることで、3つの標準データセットにまたがる既存のメソッドをすべて上回ります。

Medical concept normalization helps in discovering standard concepts in free-form text i.e., maps health-related mentions to standard concepts in a vocabulary. It is much beyond simple string matching and requires a deep semantic understanding of concept mentions. Recent research approach concept normalization as either text classification or text matching. The main drawback in existing a) text classification approaches is ignoring valuable target concepts information in learning input concept mention representation b) text matching approach is the need to separately generate target concept embeddings which is time and resource consuming. Our proposed model overcomes these drawbacks by jointly learning the representations of input concept mention and target concepts. First, it learns the input concept mention representation using RoBERTa. Second, it finds cosine similarity between embeddings of input concept mention and all the target concepts. Here, embeddings of target concepts are randomly initialized and then updated during training. Finally, the target concept with maximum cosine similarity is assigned to the input concept mention. Our model surpasses all the existing methods across three standard datasets by improving accuracy up to 2.31%.
翻訳日:2022-11-24 08:04:07 公開日:2020-06-07
# すべてのアクションベースセンサー

Every Action Based Sensor ( http://arxiv.org/abs/2006.04003v1 )

ライセンス: Link先を確認
Grace McFassel, Dylan A. Shell(参考訳) ロボットと計画問題の研究において、基本的な疑問は、ロボットがタスク完了を保証するために得られる最小限の情報である。 エルドマンのアクションベースセンサーの理論は、基本的な情報要求を特徴づける古典的なアプローチである。 このアプローチでは、目標に向かって進むアクションを規定する仮想センサーのタイプを導出する計画を採用している。 このようなセンサをバックチェーン計画を用いて取得する以前の方法は、いくつかのセンサを見落としている。 さらに、既存の方法では、アクションベースのセンサーが提供できないため、目標を達成することが保証される計画もある。 これらすべての計画に共通する機能を特定します。 そして、既存の治療が不十分な計画であっても、アクションベースのセンサーの作り方を示すが、これらのケースでは単一の標準センサーは存在しない。 その結果、このアプローチはセンサセットを生成するために一般化される。 最後に,これは,行動に基づくセンサが従来のセンサの概念にどのように変換されるのかを議論するための,行動に基づくセンサの完全な特徴付けであることを示す。

In studying robots and planning problems, a basic question is what is the minimal information a robot must obtain to guarantee task completion. Erdmann's theory of action-based sensors is a classical approach to characterizing fundamental information requirements. That approach uses a plan to derive a type of virtual sensor which prescribes actions that make progress toward a goal. We show that the established theory is incomplete: the previous method for obtaining such sensors, using backchained plans, overlooks some sensors. Furthermore, there are plans, that are guaranteed to achieve goals, where the existing methods are unable to provide any action-based sensor. We identify the underlying feature common to all such plans. Then, we show how to produce action-based sensors even for plans where the existing treatment is inadequate, although for these cases they have no single canonical sensor. Consequently, the approach is generalized to produce sets of sensors. Finally, we show also that this is a complete characterization of action-based sensors for planning problems and discuss how an action-based sensor translates into the traditional conception of a sensor.
翻訳日:2022-11-24 08:03:33 公開日:2020-06-07
# 数学的証明による単語ネットの曖昧化アルゴリズム

An Algorithm for Fuzzification of WordNets, Supported by a Mathematical Proof ( http://arxiv.org/abs/2006.04042v1 )

ライセンス: Link先を確認
Sayyed-Ali Hossayni, Mohammad-R Akbarzadeh-T, Diego Reforgiato Recupero, Aldo Gangemi, Esteve Del Acebo, Josep Llu\'is de la Rosa i Esteva(参考訳) WordNet-like Lexical Databases (WLD) は英語の単語を「シンセット」と呼ばれる同義語の集合に分類する。 標準的なWLDは、多くの成功したテキストマイニングアプリケーションで使われているが、ワードセンスは対応するシンセットに関連する意味を表現していると考えられており、一般的にはそうではない。 この制限を克服するために、いくつかのファジィバージョンのシンセットが提案されている。 これらの研究の共通する特徴は、我々の知る限り、既存のWLDのファジフィケーション版を作るのではなく、スクラッチから新しいWLDを構築することである。 本研究では、文書のコーパスと単語センスの曖昧さ (WSD) を与えられた任意の言語のWLDのファジィバージョンを構築するアルゴリズムを提案する。 そして,Open-American-National-Corpus と UKB WSD をアルゴリズム入力として使用し,英語 WordNet (FWN) のファジファイド版を構築し,公開する。 また,結果の有効性の理論的(数学的)証明も提案する。

WordNet-like Lexical Databases (WLDs) group English words into sets of synonyms called "synsets." Although the standard WLDs are being used in many successful Text-Mining applications, they have the limitation that word-senses are considered to represent the meaning associated to their corresponding synsets, to the same degree, which is not generally true. In order to overcome this limitation, several fuzzy versions of synsets have been proposed. A common trait of these studies is that, to the best of our knowledge, they do not aim to produce fuzzified versions of the existing WLD's, but build new WLDs from scratch, which has limited the attention received from the Text-Mining community, many of whose resources and applications are based on the existing WLDs. In this study, we present an algorithm for constructing fuzzy versions of WLDs of any language, given a corpus of documents and a word-sense disambiguation (WSD) system for that language. Then, using the Open-American-National-Corpus and UKB WSD as algorithm inputs, we construct and publish online the fuzzified version of English WordNet (FWN). We also propose a theoretical (mathematical) proof of the validity of its results.
翻訳日:2022-11-24 08:03:18 公開日:2020-06-07
# 非線形干し草スタックにおけるスパークニューラルネットワークの発見

What needles do sparse neural networks find in nonlinear haystacks ( http://arxiv.org/abs/2006.04041v1 )

ライセンス: Link先を確認
Sylvain Sardy, Nicolas W Hengartner, Nikolai Bonenko, Yen Ting Lin(参考訳) 人工ニューラルネットワーク(ANN)におけるスパーシティ誘導ペナルティの使用は、特にノイズが高く、トレーニングセットが特徴の数に比べて小さい状況において、過度な適合を避ける。 線形モデルの場合、そのようなアプローチは、十分に厳密なペナルティパラメータのレジームにおいて高い確率で重要な特徴を再現する。 ペナルティパラメータを設定する典型的な方法は、データセットを分割してクロスバリデーションを行うことであり、(1)計算コストが高く、(2)データセットが分割されてより小さい場合(例えば、全ゲノムシーケンスデータ)は望ましくない。 本研究では,ゼロ特徴仮定の下でゼロの損失関数の勾配の無限ノルムを高い確率で境界付けし,クロスバリデーションを行わずにペナルティパラメータを選択する理論的基礎を確立する。 我々のアプローチは、Donoho と Johnstone (1994) の普遍しきい値の非線形 ANN 学習への一般化である。 簡単なモデルを用いてモンテカルロの総合シミュレーションを行い,提案手法の有効性を示す数値実験を行った。

Using a sparsity inducing penalty in artificial neural networks (ANNs) avoids over-fitting, especially in situations where noise is high and the training set is small in comparison to the number of features. For linear models, such an approach provably also recovers the important features with high probability in regimes for a well-chosen penalty parameter. The typical way of setting the penalty parameter is by splitting the data set and performing the cross-validation, which is (1) computationally expensive and (2) not desirable when the data set is already small to be further split (for example, whole-genome sequence data). In this study, we establish the theoretical foundation to select the penalty parameter without cross-validation based on bounding with a high probability the infinite norm of the gradient of the loss function at zero under the zero-feature assumption. Our approach is a generalization of the universal threshold of Donoho and Johnstone (1994) to nonlinear ANN learning. We perform a set of comprehensive Monte Carlo simulations on a simple model, and the numerical results show the effectiveness of the proposed approach.
翻訳日:2022-11-24 07:57:15 公開日:2020-06-07
# BUDS: シャッフルによるユーティリティと差別的プライバシのバランス

BUDS: Balancing Utility and Differential Privacy by Shuffling ( http://arxiv.org/abs/2006.04125v1 )

ライセンス: Link先を確認
Poushali Sengupta, Sudipta Paul, Subhankar Mishra(参考訳) ユーティリティとディファレンシャルプライバシのバランス シャッフルあるいは \textit{buds} はクラウドソースの統計データベースへのアプローチであり、ディファレンシャルプライバシ理論を用いた強力なプライバシとユーティリティバランスを持つ。 本稿では,1ホットエンコーディングと繰り返しシャッフルと損失推定とリスク最小化手法を用いて,有用性とプライバシの両立を図る新しいアルゴリズムを提案する。 本研究では、異なるソースやクライアントからワンホットエンコードされたデータを収集した後、反復シャッフルを用いた新しい属性シャッフル手法(アナリストからの問い合わせに基づく)と、アップダデーション関数による損失推定とリスク最小化により、実用性とプライバシのバランスの取れた差分レポートを生成する。 バランスのとれたユーティリティとプライバシの実証テストの間、BUDSは$\epsilon = 0.02$を生成します。 このアルゴリズムは、$\epsilon = ln[t/((n_1 - 1)^s)]$と$c' \bigg|e^{ln[t/((n_1 - 1)^s)]}1\bigg|$というプライバシバウンドを保持します。

Balancing utility and differential privacy by shuffling or \textit{BUDS} is an approach towards crowd-sourced, statistical databases, with strong privacy and utility balance using differential privacy theory. Here, a novel algorithm is proposed using one-hot encoding and iterative shuffling with the loss estimation and risk minimization techniques, to balance both the utility and privacy. In this work, after collecting one-hot encoded data from different sources and clients, a step of novel attribute shuffling technique using iterative shuffling (based on the query asked by the analyst) and loss estimation with an updation function and risk minimization produces a utility and privacy balanced differential private report. During empirical test of balanced utility and privacy, BUDS produces $\epsilon = 0.02$ which is a very promising result. Our algorithm maintains a privacy bound of $\epsilon = ln [t/((n_1 - 1)^S)]$ and loss bound of $c' \bigg|e^{ln[t/((n_1 - 1)^S)]} - 1\bigg|$.
翻訳日:2022-11-24 07:56:59 公開日:2020-06-07
# 推薦のための単層グラフ畳み込みネットワーク

Single-Layer Graph Convolutional Networks For Recommendation ( http://arxiv.org/abs/2006.04164v1 )

ライセンス: Link先を確認
Yue Xu and Hao Chen and Zengde Deng and Junxiong Zhu and Yanghua Li and Peng He and Wenyao Gao and Wenjun Xu(参考訳) グラフ畳み込みネットワーク(GCN)とその変種は、様々なレコメンデーションタスクにおいて、最先端のパフォーマンスを達成した。 しかし、既存のGCNモデルの多くは、関連するすべてのノード間で再帰的な集約を行う傾向にあり、計算負荷が激しくなる。 さらに、複雑なモデリング技術とともに多層アーキテクチャを好んでいる。 効果はあるものの、過剰なモデルパラメータが現実世界のレコメンデーターシステムにおける応用を妨げる。 そこで,本稿では,従来のモデルに比べて非常に少ない複雑さで優れた性能を実現することができる単層gcnモデルを提案する。 私たちの主な貢献は3倍です。 まず,隣り合うサンプリング過程をガイドし,入力グラフの品質を明示的に評価できる分布認識類似度(da類似度)という原理的類似度指標を提案する。 また,da類似性は理論解析と実験シミュレーションの両方を通して最終性能と正の相関があることを証明した。 第2に,単層GCNを用いた簡易GCNアーキテクチャを提案し,DA類似性によってフィルタリングされた隣人からの情報を集約し,ノード表現を生成する。 さらに、アグリゲーションステップはパラメータフリーな操作であり、トレーニングと推論のコストをさらに削減するために前処理で行うことができる。 第3に,4つのデータセットについて広範な実験を行う。 その結果,提案モデルが既存のgcnモデルを大幅に上回り,レコメンデーション性能の面では最大数桁のスピードアップが得られることを確認した。

Graph Convolutional Networks (GCNs) and their variants have received significant attention and achieved start-of-the-art performances on various recommendation tasks. However, many existing GCN models tend to perform recursive aggregations among all related nodes, which arises severe computational burden. Moreover, they favor multi-layer architectures in conjunction with complicated modeling techniques. Though effective, the excessive amount of model parameters largely hinder their applications in real-world recommender systems. To this end, in this paper, we propose the single-layer GCN model which is able to achieve superior performance along with remarkably less complexity compared with existing models. Our main contribution is three-fold. First, we propose a principled similarity metric named distribution-aware similarity (DA similarity), which can guide the neighbor sampling process and evaluate the quality of the input graph explicitly. We also prove that DA similarity has a positive correlation with the final performance, through both theoretical analysis and empirical simulations. Second, we propose a simplified GCN architecture which employs a single GCN layer to aggregate information from the neighbors filtered by DA similarity and then generates the node representations. Moreover, the aggregation step is a parameter-free operation, such that it can be done in a pre-processing manner to further reduce red the training and inference costs. Third, we conduct extensive experiments on four datasets. The results verify that the proposed model outperforms existing GCN models considerably and yields up to a few orders of magnitude speedup in training, in terms of the recommendation performance.
翻訳日:2022-11-24 07:56:05 公開日:2020-06-07
# クリックスルー率予測のための特徴対話型ニューラルネットワーク

Feature Interaction based Neural Network for Click-Through Rate Prediction ( http://arxiv.org/abs/2006.05312v1 )

ライセンス: Link先を確認
Dafang Zou and Leiming Zhang and Jiafa Mao and Weiguo Sheng(参考訳) CTR(Click-Through Rate)予測は、広告やレコメンデーションシステムの計算において最も重要かつ困難である。 これらのデータを用いた機械学習システムを構築するためには,機能間のインタラクションを適切にモデル化することが重要である。 しかし、現在の多くの作品は、内部積や要素単位積のような単純な方法で特徴相互作用を計算する。 本稿では,CTR予測タスクにおける特徴間の情報を完全に活用し,深層ニューラルネットワークの性能を向上させることを目的とする。 本稿では,3次元関係テンソルを用いて特徴的相互作用をモデル化できる特徴的相互作用に基づくニューラルネットワーク(finn)を提案する。 FINNは、下位層上の機能相互作用と、高次の機能相互作用をモデル化するニューラルネットワークの非線形性を表現する。 我々は,従来のベースラインと比較してCTR予測タスクのモデルを評価し,このモデルがPNNやDeepFMといった最先端のディープモデルよりも優れていることを示す。 評価結果は,CTR予測の精度向上のための重要な情報を含む特徴的相互作用を示す。 また、我々のモデルが機能インタラクションを効果的に学習し、現実世界のデータセットでより良いパフォーマンスを達成できることも示しています。

Click-Through Rate (CTR) prediction is one of the most important and challenging in calculating advertisements and recommendation systems. To build a machine learning system with these data, it is important to properly model the interaction among features. However, many current works calculate the feature interactions in a simple way such as inner product and element-wise product. This paper aims to fully utilize the information between features and improve the performance of deep neural networks in the CTR prediction task. In this paper, we propose a Feature Interaction based Neural Network (FINN) which is able to model feature interaction via a 3-dimention relation tensor. FINN provides representations for the feature interactions on the the bottom layer and the non-linearity of neural network in modelling higher-order feature interactions. We evaluate our models on CTR prediction tasks compared with classical baselines and show that our deep FINN model outperforms other state-of-the-art deep models such as PNN and DeepFM. Evaluation results demonstrate that feature interaction contains significant information for better CTR prediction. It also indicates that our models can effectively learn the feature interactions, and achieve better performances in real-world datasets.
翻訳日:2022-11-24 07:54:25 公開日:2020-06-07
# admp:非教師なしクロスドメイン圧縮のための逆ダブルマスクベースのプルーニングフレームワーク

ADMP: An Adversarial Double Masks Based Pruning Framework For Unsupervised Cross-Domain Compression ( http://arxiv.org/abs/2006.04127v1 )

ライセンス: Link先を確認
Xiaoyu Feng, Zhuqing Yuan, Guijin Wang, Yongpan Liu(参考訳) ネットワークプルーニングの最近の進歩にもかかわらず、IoT(Internet of Things)アプリケーションに直接適用することはまだ2つの課題に直面している。 簡単な解決策のひとつは、unsupervised domain adaptation(uda)テクニックとpruningを組み合わせることだ。 例えば、モデルを最初にクラウド上で実行し、UDAによってクラウドからエンドツーエンドに転送する。 しかし、このようなナイーブな組み合わせは高い性能低下に直面している。 そこで本研究では,このようなクロスドメイン圧縮のためのadversarial Double Masks based Pruning (ADMP)を提案する。 admpでは,実サイズの教師と刈り取った生徒の出力差として,疑似ラベルを生成するだけでなく,ドメインの発散を測定するための知識蒸留フレームワークを構築した。 既存のマスクによるプルーニングとは異なり、admpでは2つの逆マスク、すなわちソフトマスクとハードマスクが採用されている。 したがってADMPは、強力なドメイン不変の特徴と堅牢な分類境界を抽出しながら、モデルを効果的に実行することができる。 トレーニング中、orternating Direction Multiplier Method は {0,1}-masks のバイナリ制約を克服するために使用される。 Office31とImageCLEF-DAデータセットでは、提案されたADMPは、それぞれ0.2%と0.3%の精度で60%のチャンネルをプーンすることができる。 最先端技術と比較して、約1.63倍のパラメータ削減と4.1%と5.1%の精度向上が達成できる。

Despite the recent progress of network pruning, directly applying it to the Internet of Things (IoT) applications still faces two challenges, i.e. the distribution divergence between end and cloud data and the missing of data label on end devices. One straightforward solution is to combine the unsupervised domain adaptation (UDA) technique and pruning. For example, the model is first pruned on the cloud and then transferred from cloud to end by UDA. However, such a naive combination faces high performance degradation. Hence this work proposes an Adversarial Double Masks based Pruning (ADMP) for such cross-domain compression. In ADMP, we construct a Knowledge Distillation framework not only to produce pseudo labels but also to provide a measurement of domain divergence as the output difference between the full-size teacher and the pruned student. Unlike existing mask-based pruning works, two adversarial masks, i.e. soft and hard masks, are adopted in ADMP. So ADMP can prune the model effectively while still allowing the model to extract strong domain-invariant features and robust classification boundaries. During training, the Alternating Direction Multiplier Method is used to overcome the binary constraint of {0,1}-masks. On Office31 and ImageCLEF-DA datasets, the proposed ADMP can prune 60% channels with only 0.2% and 0.3% average accuracy loss respectively. Compared with the state of art, we can achieve about 1.63x parameters reduction and 4.1% and 5.1% accuracy improvement.
翻訳日:2022-11-24 07:46:32 公開日:2020-06-07
# 部分空間の連合における自己表現に基づく非教師なし例選択

Self-Representation Based Unsupervised Exemplar Selection in a Union of Subspaces ( http://arxiv.org/abs/2006.04246v1 )

ライセンス: Link先を確認
Chong You, Chi Li, Daniel P. Robinson, Rene Vidal(参考訳) ラベルのないデータセットから少数の代表集合を見つけることは、データセットの要約や情報抽出など、幅広いアプリケーションにおいて核となる問題である。 k$-medoidsのような古典的なexemplar selectionメソッドは、データポイントがいくつかのクラスタセンタロイドに近いという仮定の下で動作し、データが部分空間の結合に近い場合は処理できない。 本稿では,表現係数の$\ell_1$ノルムで測定されたすべてのデータポイントを最もよく再構成する部分集合を探索する新しい例題選択モデルを提案する。 幾何学的には、この部分集合は、部分集合のミンコフスキー関数によって測定されたすべてのデータポイントを最もよくカバーする。 モデルを効率的に解くため,最遠の探索アルゴリズムを導入し,最短表現点を例示として反復的に選択する。 データセットが独立部分空間の和から引き出されるとき、我々の方法は各部分空間から十分な数の代表を選択できる。 さらに,不均衡データにロバストで大規模データに効率的であるexemplarベースのサブスペースクラスタリング法を開発した。 さらに,(ラベル付けされた場合)選択された例で訓練された分類器は,残りのデータポイントを正しく分類できることを示す。

Finding a small set of representatives from an unlabeled dataset is a core problem in a broad range of applications such as dataset summarization and information extraction. Classical exemplar selection methods such as $k$-medoids work under the assumption that the data points are close to a few cluster centroids, and cannot handle the case where data lie close to a union of subspaces. This paper proposes a new exemplar selection model that searches for a subset that best reconstructs all data points as measured by the $\ell_1$ norm of the representation coefficients. Geometrically, this subset best covers all the data points as measured by the Minkowski functional of the subset. To solve our model efficiently, we introduce a farthest first search algorithm that iteratively selects the worst represented point as an exemplar. When the dataset is drawn from a union of independent subspaces, our method is able to select sufficiently many representatives from each subspace. We further develop an exemplar based subspace clustering method that is robust to imbalanced data and efficient for large scale data. Moreover, we show that a classifier trained on the selected exemplars (when they are labeled) can correctly classify the rest of the data points.
翻訳日:2022-11-24 07:46:08 公開日:2020-06-07
# 動的物体追跡と把持のためのマルチタスク強化学習に基づく移動操作制御

Multi-Task Reinforcement Learning based Mobile Manipulation Control for Dynamic Object Tracking and Grasping ( http://arxiv.org/abs/2006.04271v1 )

ライセンス: Link先を確認
Cong Wang, Qifeng Zhang, Qiyan Tian, Shuo Li, Xiaohui Wang, David Lane, Yvan Petillot, Ziyang Hong, Sen Wang(参考訳) ロボットシステムと非構造的な作業環境が組み合わさった複雑さのため、移動マニピュレータのアジャイルコントロールは難しい。 ランダムな軌跡による動的物体の追跡と把握はさらに困難である。 本稿では,マルチタスク強化学習に基づく移動体操作制御フレームワークを提案する。 いくつかの基本的な動的軌跡がタスクトレーニングセットとして選択される。 実際の政策一般化を改善するために、トレーニングプロセス中にランダムノイズと動的ランダム化を導入する。 広範な実験により,我々の訓練したポリシーは,約0.1m追従誤差と75\%の動的物体の把持成功率を持つ無作為な動的トラジェクタに適応できることを示した。 トレーニングされたポリシーは、実際のモバイルマニピュレータにうまくデプロイできる。

Agile control of mobile manipulator is challenging because of the high complexity coupled by the robotic system and the unstructured working environment. Tracking and grasping a dynamic object with a random trajectory is even harder. In this paper, a multi-task reinforcement learning-based mobile manipulation control framework is proposed to achieve general dynamic object tracking and grasping. Several basic types of dynamic trajectories are chosen as the task training set. To improve the policy generalization in practice, random noise and dynamics randomization are introduced during the training process. Extensive experiments show that our policy trained can adapt to unseen random dynamic trajectories with about 0.1m tracking error and 75\% grasping success rate of dynamic objects. The trained policy can also be successfully deployed on a real mobile manipulator.
翻訳日:2022-11-24 07:45:26 公開日:2020-06-07
# FMA-ETA: FFNと注意に基づく旅行時間推定

FMA-ETA: Estimating Travel Time Entirely Based on FFN With Attention ( http://arxiv.org/abs/2006.04077v1 )

ライセンス: Link先を確認
Yiwen Sun, Yulu Wang, Kun Fu, Zheng Wang, Ziang Yan, Changshui Zhang, Jieping Ye(参考訳) 推定到着時刻(ETA)は知的輸送システムにおいて最も重要なサービスの一つであり、近年では時空間(ST)データマイニングの課題となっている。 現在、ディープラーニングベースの手法、特にリカレントニューラルネットワーク(RNN)ベースの手法は、ETAのための大量のデータからSTパターンをモデル化し、最先端技術に適応している。 しかしながら、RNNは並列コンピューティングに不便な構造であるため、遅いトレーニングと推論速度に悩まされている。 そこで本研究では,多要素自己認識(Multi-factor Self-Attention, FMA-ETA)を用いた ETA のフィードフォワードネットワーク (FFN) に基づく,新しい,簡潔かつ効果的なフレームワークを提案する。 異なるカテゴリの特徴に対処し,情報を意図的に集約する,新しい多要素自己認識機構を提案する。 実世界の車両走行データセットの広範な実験結果によると、fma-etaは予測精度と推定速度の面で最先端の手法と競合している。

Estimated time of arrival (ETA) is one of the most important services in intelligent transportation systems and becomes a challenging spatial-temporal (ST) data mining task in recent years. Nowadays, deep learning based methods, specifically recurrent neural networks (RNN) based ones are adapted to model the ST patterns from massive data for ETA and become the state-of-the-art. However, RNN is suffering from slow training and inference speed, as its structure is unfriendly to parallel computing. To solve this problem, we propose a novel, brief and effective framework mainly based on feed-forward network (FFN) for ETA, FFN with Multi-factor self-Attention (FMA-ETA). The novel Multi-factor self-attention mechanism is proposed to deal with different category features and aggregate the information purposefully. Extensive experimental results on the real-world vehicle travel dataset show FMA-ETA is competitive with state-of-the-art methods in terms of the prediction accuracy with significantly better inference speed.
翻訳日:2022-11-24 07:39:28 公開日:2020-06-07
# 半教師付き学習のための分類器の最適組み合わせ

Optimally Combining Classifiers for Semi-Supervised Learning ( http://arxiv.org/abs/2006.04097v1 )

ライセンス: Link先を確認
Zhiguo Wang, Liusha Yang, Feng Yin, Ke Lin, Qingjiang Shi, Zhi-Quan Luo(参考訳) 本稿では,表データの半教師付き学習について考察する。 木モデルに基づくxgboostは不均一な特徴にうまく作用することが広く知られているが、トランスダクティブサポートベクターマシンは低密度分離の仮定を活用できる。 しかし、エンドツーエンドの半教師付き学習のためにそれらを組み合わせる作業はほとんど行われていない。 本稿では,これら2つの手法は相補的特性と多様性が強く,Xgboostとトランスダクティブ支援ベクトルマシンの長所を適応的に組み合わせた半教師付き学習手法を提案する。 多数決ルールの代わりに、アンサンブルウェイトの観点から最適化問題を確立し、ラベルなしデータのより正確な擬似ラベルを得るのに役立つ。 UCIデータセットと実商用データセットの実験結果から,テスト精度を約3\%-4\%$に向上させる5つの最先端アルゴリズムよりも,提案手法の分類性能が優れていることが示された。 部分コードはhttps://github.com/hav-cam-mit/CTOで見ることができる。

This paper considers semi-supervised learning for tabular data. It is widely known that Xgboost based on tree model works well on the heterogeneous features while transductive support vector machine can exploit the low density separation assumption. However, little work has been done to combine them together for the end-to-end semi-supervised learning. In this paper, we find these two methods have complementary properties and larger diversity, which motivates us to propose a new semi-supervised learning method that is able to adaptively combine the strengths of Xgboost and transductive support vector machine. Instead of the majority vote rule, an optimization problem in terms of ensemble weight is established, which helps to obtain more accurate pseudo labels for unlabeled data. The experimental results on the UCI data sets and real commercial data set demonstrate the superior classification performance of our method over the five state-of-the-art algorithms improving test accuracy by about $3\%-4\%$. The partial code can be found at https://github.com/hav-cam-mit/CTO.
翻訳日:2022-11-24 07:38:45 公開日:2020-06-07
# 生成モデルを用いた不確実性を考慮した深層分類器

Uncertainty-Aware Deep Classifiers using Generative Models ( http://arxiv.org/abs/2006.04183v1 )

ライセンス: Link先を確認
Murat Sensoy, Lance Kaplan, Federico Cerutti, Maryam Saleki(参考訳) ディープニューラルネットワークは、しばしば、彼らが知らないことについて無知であり、インフォームド予測を行うときに過信する。 最近のアプローチでは、クラス境界やトレーニング分布の外部からのデータサンプルに対して高い不確実性を出力するようにモデルをトレーニングすることで、分類の不確実性を直接定量化している。 これらのアプローチでは、トレーニング中に補助データセットを使用して、分散サンプルを表現する。 しかし、特に画像のような高次元データに対して、そのような補助データセットの選択や生成は自明ではない。 本研究では,特徴空間における決定境界と分布外領域を区別するために,失語症とてんかんの不確実性の両方を表現できる新しいニューラルネットワークモデルを開発する。 この目的のために、変分オートエンコーダと生成型adversarial networkが組み込まれて、トレーニング用のアウトオブディストリビューションのexemplarが自動生成される。 広範な分析を通じて,提案手法は,ニューラルネットワークや異常検出手法に対するベイズ的アプローチなど,よく知られたデータセット上の不確実性評価や,最先端のアプローチに対する逆例を提供することを実証する。

Deep neural networks are often ignorant about what they do not know and overconfident when they make uninformed predictions. Some recent approaches quantify classification uncertainty directly by training the model to output high uncertainty for the data samples close to class boundaries or from the outside of the training distribution. These approaches use an auxiliary data set during training to represent out-of-distribution samples. However, selection or creation of such an auxiliary data set is non-trivial, especially for high dimensional data such as images. In this work we develop a novel neural network model that is able to express both aleatoric and epistemic uncertainty to distinguish decision boundary and out-of-distribution regions of the feature space. To this end, variational autoencoders and generative adversarial networks are incorporated to automatically generate out-of-distribution exemplars for training. Through extensive analysis, we demonstrate that the proposed approach provides better estimates of uncertainty for in- and out-of-distribution samples, and adversarial examples on well-known data sets against state-of-the-art approaches including recent Bayesian approaches for neural networks and anomaly detection methods.
翻訳日:2022-11-24 07:37:40 公開日:2020-06-07
# 堅牢性保証のためのランダム化平滑化の拡張と制限

Extensions and limitations of randomized smoothing for robustness guarantees ( http://arxiv.org/abs/2006.04208v1 )

ライセンス: Link先を確認
Jamie Hayes(参考訳) ランダム化平滑化(randomized smoothing)は、入力に対する分類器の決定を検証するための手法であり、逆雑音下で不変である。 ブラックボックスで動作するため、認証は分類器のアーキテクチャのサイズによって制限されない。 ここでは、Li et al の作業を拡張します。 平滑化尺度間のばらつきの選択が最終的な堅牢性保証にどのように影響するか、また平滑化尺度自体の選択が異なる脅威モデルにおける保証につながるかを研究する。 そこで我々は,任意の$\ell_p$ (p\in\mathbb{n}_{>0}$) の逆摂動を最小限に抑える方法を開発した。 すると、無作為な平滑化は次元の呪いに苦しむことを示し、$p$が増加するにつれて、入力周辺の有効半径は消滅する。

Randomized smoothing, a method to certify a classifier's decision on an input is invariant under adversarial noise, offers attractive advantages over other certification methods. It operates in a black-box and so certification is not constrained by the size of the classifier's architecture. Here, we extend the work of Li et al. \cite{li2018second}, studying how the choice of divergence between smoothing measures affects the final robustness guarantee, and how the choice of smoothing measure itself can lead to guarantees in differing threat models. To this end, we develop a method to certify robustness against any $\ell_p$ ($p\in\mathbb{N}_{>0}$) minimized adversarial perturbation. We then demonstrate a negative result, that randomized smoothing suffers from the curse of dimensionality; as $p$ increases, the effective radius around an input one can certify vanishes.
翻訳日:2022-11-24 07:37:18 公開日:2020-06-07
# ベイズ隠れ物理モデル:不確実性定量化によるデータからの非線形偏微分作用素の発見

Bayesian Hidden Physics Models: Uncertainty Quantification for Discovery of Nonlinear Partial Differential Operators from Data ( http://arxiv.org/abs/2006.04228v1 )

ライセンス: Link先を確認
Steven Atkinson(参考訳) 物理学についてのデータは何なのか? 機械学習モデルを用いてデータから微分方程式などの物理法則を規定することへの関心が高まっているが、現在の手法には信頼性を伝えるための不確実な定量化がない。 この研究はベイズの視点からこの欠点に対処している。 本稿では,異なる実験の時空間関数データをニューラルネットワークとして表現することを学ぶ「リーフ」モジュールと,その支配的非線形微分作用素をガウス過程として非パラメトリック分布を表す単一の「ルート」モジュールからなる新しいモデルを提案する。 自動微分は、根への入力として葉関数からの必要な部分微分を計算するために使われる。 提案手法は,演算子に対する後続分布の観点から学習物理の信頼性を定量化し,この不確実性を新しい初期有界値問題インスタンスの解に伝達する。 数値実験はいくつかの非線形PDE上での手法を実証する。

What do data tell us about physics-and what don't they tell us? There has been a surge of interest in using machine learning models to discover governing physical laws such as differential equations from data, but current methods lack uncertainty quantification to communicate their credibility. This work addresses this shortcoming from a Bayesian perspective. We introduce a novel model comprising "leaf" modules that learn to represent distinct experiments' spatiotemporal functional data as neural networks and a single "root" module that expresses a nonparametric distribution over their governing nonlinear differential operator as a Gaussian process. Automatic differentiation is used to compute the required partial derivatives from the leaf functions as inputs to the root. Our approach quantifies the reliability of the learned physics in terms of a posterior distribution over operators and propagates this uncertainty to solutions of novel initial-boundary value problem instances. Numerical experiments demonstrate the method on several nonlinear PDEs.
翻訳日:2022-11-24 07:36:59 公開日:2020-06-07
# 不確実なフィードバックによる学習行動

Learning Behaviors with Uncertain Human Feedback ( http://arxiv.org/abs/2006.04201v1 )

ライセンス: Link先を確認
Xu He, Haipeng Chen and Bo An(参考訳) 人間のフィードバックは多くの領域でエージェントの訓練に広く使われている。 しかしながら、特に訓練者にとって最適な行動が明らかでない場合に、人間がフィードバックを提供する際の不確実性を考慮することは稀である。 例えば、サブ最適アクションの報酬は確率的であり、ゲームや現実世界で一般的である最適なアクションの報酬を超えることがある。 トレーナーは、準最適行動に肯定的なフィードバックを与え、最適な行動に否定的なフィードバックを与え、混乱した状況ではフィードバックを提供しない可能性が高い。 予測最大化(EM)アルゴリズムを用いて、フィードバックモデルを隠れパラメータとして扱う既存の研究は、学習環境と人間のフィードバックの不確実性を考慮していない。 この課題に対処するために,人間のフィードバックの不確実性を考慮した新しいフィードバックモデルを提案する。 しかし、これはEMアルゴリズムに難解な計算をもたらす。 そこで本研究では,予測ステップをグラディエントDescent法で近似する新しい近似EMアルゴリズムを提案する。 人工シナリオと実世界のシナリオの双方において,提案手法の優れた性能を示す実験結果が得られた。

Human feedback is widely used to train agents in many domains. However, previous works rarely consider the uncertainty when humans provide feedback, especially in cases that the optimal actions are not obvious to the trainers. For example, the reward of a sub-optimal action can be stochastic and sometimes exceeds that of the optimal action, which is common in games or real-world. Trainers are likely to provide positive feedback to sub-optimal actions, negative feedback to the optimal actions and even do not provide feedback in some confusing situations. Existing works, which utilize the Expectation Maximization (EM) algorithm and treat the feedback model as hidden parameters, do not consider uncertainties in the learning environment and human feedback. To address this challenge, we introduce a novel feedback model that considers the uncertainty of human feedback. However, this incurs intractable calculus in the EM algorithm. To this end, we propose a novel approximate EM algorithm, in which we approximate the expectation step with the Gradient Descent method. Experimental results in both synthetic scenarios and two real-world scenarios with human participants demonstrate the superior performance of our proposed approach.
翻訳日:2022-11-24 07:31:03 公開日:2020-06-07
# ソフトグラディエントブースティングマシン

Soft Gradient Boosting Machine ( http://arxiv.org/abs/2006.04059v1 )

ライセンス: Link先を確認
Ji Feng, Yi-Xuan Xu, Yuan Jiang, Zhi-Hua Zhou(参考訳) グラディエントブースティングマシンは関数近似器として成功し、様々な分野で広く利用されている。 しかし,各学習者の学習手順は逐次順序を取らなければならないため,学習者間での学習プロセスの並列化が不可能である。 さらに,オンラインやインクリメンタルな学習環境下では,学習者が一度学習した環境に適応できないという事実から,GBMは準最適性能を達成した。 本研究では,複数の異なる基本学習者をつなぎ合わせることで,グラディエント・ブーピング・マシン(sGBM)を提案し,グラディエント・ブーピングから着想を得た局所的・大域的目的の両方を注入することにより,全ての基礎学習者を線形スピードアップで協調的に最適化することができる。 微分可能なソフト決定木をベースラーナとして使用する場合、この装置は余分な利益を伴う決定木を増加させる(ハード)勾配の代替版と見なすことができる。 実験の結果,sGBMは,オンラインとオフラインの両方で同一の学習者に対して,より高精度な時間効率を享受できることがわかった。

Gradient Boosting Machine has proven to be one successful function approximator and has been widely used in a variety of areas. However, since the training procedure of each base learner has to take the sequential order, it is infeasible to parallelize the training process among base learners for speed-up. In addition, under online or incremental learning settings, GBMs achieved sub-optimal performance due to the fact that the previously trained base learners can not adapt with the environment once trained. In this work, we propose the soft Gradient Boosting Machine (sGBM) by wiring multiple differentiable base learners together, by injecting both local and global objectives inspired from gradient boosting, all base learners can then be jointly optimized with linear speed-up. When using differentiable soft decision trees as base learner, such device can be regarded as an alternative version of the (hard) gradient boosting decision trees with extra benefits. Experimental results showed that, sGBM enjoys much higher time efficiency with better accuracy, given the same base learner in both on-line and off-line settings.
翻訳日:2022-11-24 07:28:38 公開日:2020-06-07
# 核融合リカレントニューラルネットワーク

Fusion Recurrent Neural Network ( http://arxiv.org/abs/2006.04069v1 )

ライセンス: Link先を確認
Yiwen Sun, Yulu Wang, Kun Fu, Zheng Wang, Changshui Zhang, Jieping Ye(参考訳) 実用化のためのディープシーケンス学習を考えると、LSTMとGRUの2つの代表的RNNが最初に思い浮かびます。 それでも他のRNNにはチャンスはありませんか? 将来的にはもっとよいRNNがあるのだろうか? 本稿では,新しい,簡潔かつ有望なRNN-Fusion Recurrent Neural Network (Fusion RNN)を提案する。 Fusion RNNはFusionモジュールとTransportモジュールで構成されている。 fusionモジュールは、入力と隠れ状態ベクトルのマルチラウンド融合を実現する。 主に単純なリカレントネットワークを指すトランスポートモジュールは、隠れた状態を計算し、次のタイムステップに渡す準備をする。 さらに、Fusion RNNのシーケンス特徴抽出能力を評価するために、シーケンスデータの代表データマイニングタスク、到着推定時間(ETA)を選択し、Fusion RNNに基づいた新しいモデルを提案する。 我々はDiDi Chuxingの大規模車両走行データに基づいて,本手法と他の ETA 用RNN の変種を比較した。 その結果, Fusion RNN は Fusion RNN よりも複雑で最先端の LSTM や GRU と同等であることがわかった。

Considering deep sequence learning for practical application, two representative RNNs - LSTM and GRU may come to mind first. Nevertheless, is there no chance for other RNNs? Will there be a better RNN in the future? In this work, we propose a novel, succinct and promising RNN - Fusion Recurrent Neural Network (Fusion RNN). Fusion RNN is composed of Fusion module and Transport module every time step. Fusion module realizes the multi-round fusion of the input and hidden state vector. Transport module which mainly refers to simple recurrent network calculate the hidden state and prepare to pass it to the next time step. Furthermore, in order to evaluate Fusion RNN's sequence feature extraction capability, we choose a representative data mining task for sequence data, estimated time of arrival (ETA) and present a novel model based on Fusion RNN. We contrast our method and other variants of RNN for ETA under massive vehicle travel data from DiDi Chuxing. The results demonstrate that for ETA, Fusion RNN is comparable to state-of-the-art LSTM and GRU which are more complicated than Fusion RNN.
翻訳日:2022-11-24 07:27:39 公開日:2020-06-07
# 対話的復元のためのマルチタスク学習手法

A Multitask Learning Approach for Diacritic Restoration ( http://arxiv.org/abs/2006.04016v1 )

ライセンス: Link先を確認
Sawsan Alqahtani and Ajay Mishra and Mona Diab(参考訳) アラビア語のような多くの言語では、発音や意味を特定するのに用いている。 このようなダイアクリティックは、しばしば文章中に省略され、単語の発音や意味を増加させる。 これにより、そのようなテキストの計算処理をより困難にする曖昧なテキストが得られる。 ダイアクリティック修復(diacritic restoration)は、文章に欠けているダイアクリティックを復元する作業である。 ほとんどの最先端のダイアクリティカルな復元モデルは、文字レベルの情報に基づいて構築されており、モデルが見えないデータに一般化するのに役立つが、おそらく単語レベルで有用な情報が失われる。 そこで本研究では,この損失を補うために,複数タスク学習を用いて単語分割,パート・オブ・音声タグ付け,構文的ダイアクリティカル化という,関連するNLP問題と共同でダイアクリティカルリカバリを行う。 共同モデリングで考慮するタスクに十分なデータリソースがあるため、アラビア語をケーススタディとして使用しています。 私たちのジョイントモデルはベースラインを著しく上回っており、形態素解析や多くのデータ(例えば方言データ)に依存するより複雑な最先端モデルに匹敵するものです。

In many languages like Arabic, diacritics are used to specify pronunciations as well as meanings. Such diacritics are often omitted in written text, increasing the number of possible pronunciations and meanings for a word. This results in a more ambiguous text making computational processing on such text more difficult. Diacritic restoration is the task of restoring missing diacritics in the written text. Most state-of-the-art diacritic restoration models are built on character level information which helps generalize the model to unseen data, but presumably lose useful information at the word level. Thus, to compensate for this loss, we investigate the use of multi-task learning to jointly optimize diacritic restoration with related NLP problems namely word segmentation, part-of-speech tagging, and syntactic diacritization. We use Arabic as a case study since it has sufficient data resources for tasks that we consider in our joint modeling. Our joint models significantly outperform the baselines and are comparable to the state-of-the-art models that are more complex relying on morphological analyzers and/or a lot more data (e.g. dialectal data).
翻訳日:2022-11-24 07:21:05 公開日:2020-06-07
# 因子分析器の制約混合による形状集団内の学習ポーズ変動

Learning pose variations within shape population by constrained mixtures of factor analyzers ( http://arxiv.org/abs/2006.04171v1 )

ライセンス: Link先を確認
Xilu Wang(参考訳) 人口の形状変動のマイニングと学習は、パラメトリック形状モデリング、3Dアニメーション、画像セグメント化などの応用の恩恵を受けている。 現在の統計形状モデリング手法は、明らかなポーズ変化(身体部位の相対的な回転)を伴わずに、非構造化形状変化の学習に有効である。 形状集団内のポーズの変化を研究するには、形状を異なる明瞭な部分に分割し、セグメント化された部分の変換を学ぶ必要がある。 本稿では,ポーズ学習問題を因子分析器の混合物として定式化する。 セグメンテーションは後確率成分によって得られ、ポーズ変動の回転は因子負荷行列によって学習される。 因子負荷行列が回転行列によって構成されることを保証するため、制約を課し、対応する閉形最適解を導出する。 提案手法に基づいて,所定の形状の個体群からポーズのバリエーションを自動的に学習する。 この方法は、トレーニングセット内の既存のポーズを補間して新たなポーズが生成されるモーションアニメーションに適用される。 得られた結果はスムーズでリアルです。

Mining and learning the shape variability of underlying population has benefited the applications including parametric shape modeling, 3D animation, and image segmentation. The current statistical shape modeling method works well on learning unstructured shape variations without obvious pose changes (relative rotations of the body parts). Studying the pose variations within a shape population involves segmenting the shapes into different articulated parts and learning the transformations of the segmented parts. This paper formulates the pose learning problem as mixtures of factor analyzers. The segmentation is obtained by components posterior probabilities and the rotations in pose variations are learned by the factor loading matrices. To guarantee that the factor loading matrices are composed by rotation matrices, constraints are imposed and the corresponding closed form optimal solution is derived. Based on the proposed method, the pose variations are automatically learned from the given shape populations. The method is applied in motion animation where new poses are generated by interpolating the existing poses in the training set. The obtained results are smooth and realistic.
翻訳日:2022-11-24 07:20:11 公開日:2020-06-07
# デュアルポリシー蒸留

Dual Policy Distillation ( http://arxiv.org/abs/2006.04061v1 )

ライセンス: Link先を確認
Kwei-Herng Lai, Daochen Zha, Yuening Li, Xia Hu(参考訳) 教員政策を学生政策に移行した政策蒸留は、深層強化学習の課題において大きな成功を収めた。 この教師教育の枠組みは、計算コストが高い訓練された教師モデルを必要とする。 さらに,教師モデルが最適でない場合,生徒モデルの性能は教師モデルによって制限される可能性がある。 協調学習の観点から,学生モデルの多様な視点から,共同的知的努力の実施の可能性を検討する。 本研究では,2人の学習者が同じ環境下で活動し,環境の異なる視点を探索し,相互に知識を抽出し,学習を促進するための2つの政策蒸留(DPD)を提案する。 このデュアルラーニングフレームワークを開発する上で重要な課題は、不完全でノイズの多いピアラーニング者から抽出した知識が役に立つかどうかが不明であるため、同時代の学習に基づく強化学習アルゴリズムにおいて、ピアラーニング者から有益な知識を特定することである。 この課題に対処するために,ピア学習者からの知識の蒸留が政策改善につながることを理論的に正当化し,理論的な結果に基づく不利な蒸留戦略を提案する。 提案手法は,高額な教師モデルを用いずに,学習エージェントと関数近似を用いて,優れた性能が得られることを示す。

Policy distillation, which transfers a teacher policy to a student policy has achieved great success in challenging tasks of deep reinforcement learning. This teacher-student framework requires a well-trained teacher model which is computationally expensive. Moreover, the performance of the student model could be limited by the teacher model if the teacher model is not optimal. In the light of collaborative learning, we study the feasibility of involving joint intellectual efforts from diverse perspectives of student models. In this work, we introduce dual policy distillation(DPD), a student-student framework in which two learners operate on the same environment to explore different perspectives of the environment and extract knowledge from each other to enhance their learning. The key challenge in developing this dual learning framework is to identify the beneficial knowledge from the peer learner for contemporary learning-based reinforcement learning algorithms, since it is unclear whether the knowledge distilled from an imperfect and noisy peer learner would be helpful. To address the challenge, we theoretically justify that distilling knowledge from a peer learner will lead to policy improvement and propose a disadvantageous distillation strategy based on the theoretical results. The conducted experiments on several continuous control tasks show that the proposed framework achieves superior performance with a learning-based agent and function approximation without the use of expensive teacher models.
翻訳日:2022-11-24 07:19:39 公開日:2020-06-07
# 関係系上の非パラメトリックベイズ推論としてのアナロジー

Analogy as Nonparametric Bayesian Inference over Relational Systems ( http://arxiv.org/abs/2006.04156v1 )

ライセンス: Link先を確認
Ruairidh M. Battleday and Thomas L. Griffiths(参考訳) 人間の学習と推論の多くは、関係一般化の計算問題の中に枠を組むことができる。 本稿では,従来の関係構造からの予測を類似的に重み付けすることで,関係知識を新しい環境に一般化するベイズモデルを提案する。 まず, この学習者は, 環境経験が小さい場合に, ランダム・ウィキペディア・システムから得られる関係データに対して, 素直な理論に基づく学習者より優れていることを示す。 次に、アナログ類似性の形式化がアナロジーの選択と重み付けにどのように変換するかを示す。 最後に,1つの非パラメトリックベイズモデルにおいて,類比と理論に基づく学習者を組み合わせることにより,類似に依拠する最適関係一般化から,その経験を積んだ新システムの理論構築へ移行することを示す。 観測されていない相互作用をどちらのベースラインよりも予測するだけでなく、この形式化はアナロジーの形成と抽象化に関する計算レベルの視点を与える。

Much of human learning and inference can be framed within the computational problem of relational generalization. In this project, we propose a Bayesian model that generalizes relational knowledge to novel environments by analogically weighting predictions from previously encountered relational structures. First, we show that this learner outperforms a naive, theory-based learner on relational data derived from random- and Wikipedia-based systems when experience with the environment is small. Next, we show how our formalization of analogical similarity translates to the selection and weighting of analogies. Finally, we combine the analogy- and theory-based learners in a single nonparametric Bayesian model, and show that optimal relational generalization transitions from relying on analogies to building a theory of the novel system with increasing experience in it. Beyond predicting unobserved interactions better than either baseline, this formalization gives a computational-level perspective on the formation and abstraction of analogies themselves.
翻訳日:2022-11-24 07:18:47 公開日:2020-06-07
# 会話理解のためのニューラルダイアログモデルの探索

Probing Neural Dialog Models for Conversational Understanding ( http://arxiv.org/abs/2006.08331v1 )

ライセンス: Link先を確認
Abdelrhman Saleh, Tovly Deutsch, Stephen Casper, Yonatan Belinkov, Stuart Shieber(参考訳) オープンドメインダイアログ生成に対する主要なアプローチは、チャットデータセット上のニューラルモデルのエンドツーエンドトレーニングに依存している。 しかしながら、このアプローチは、これらのモデルがダイアログへの関与について何を学ぶ(あるいは学習しない)かについての洞察をほとんど与えない。 本研究では,ニューラルオープンドメインダイアログシステムで学習した内部表現を分析し,これらの表現の質を評価する。 この結果から,標準オープンドメインダイアログシステムは,質問への回答や矛盾の推測,会話の話題の決定に苦慮していることが示唆された。 また、ダイアログのダイアログ的ターンテイク性は、これらのモデルによって完全には活用されない。 これらの制限を探索することで、ダイアログに関する高レベル情報をよりよくキャプチャできるアーキテクチャとトレーニング方法に関するさらなる研究の必要性を強調します。

The predominant approach to open-domain dialog generation relies on end-to-end training of neural models on chat datasets. However, this approach provides little insight as to what these models learn (or do not learn) about engaging in dialog. In this study, we analyze the internal representations learned by neural open-domain dialog systems and evaluate the quality of these representations for learning basic conversational skills. Our results suggest that standard open-domain dialog systems struggle with answering questions, inferring contradiction, and determining the topic of conversation, among other tasks. We also find that the dyadic, turn-taking nature of dialog is not fully leveraged by these models. By exploring these limitations, we highlight the need for additional research into architectures and training methods that can better capture high-level information about dialog.
翻訳日:2022-11-24 07:12:33 公開日:2020-06-07
# 共に成長する:n-Best Multi-Checkpoint Machine Translationによる人間の言語学習のモデル化

Growing Together: Modeling Human Language Learning With n-Best Multi-Checkpoint Machine Translation ( http://arxiv.org/abs/2006.04050v1 )

ライセンス: Link先を確認
El Moatez Billah Nagoudi, Muhammad Abdul-Mageed, Hasan Cavusoglu(参考訳) 本稿では,言語教育のための同時翻訳とパラフレーズに関する2020年のDuolingo Shared Taskへの提出について述べる(Mayhew et al., 2020)。 我々は、MTモデルを様々な訓練段階(チェックポイント)において、異なるレベルの人間の学習者とみなす。 したがって,同一モデルからの複数チェックポイントのアンサンブルを用いて,多様な流束レベルを持つ翻訳シーケンスを生成する。 各チェックポイントから、最良のモデルとして、ビーム幅=100のn-Best配列(n=10)をサンプリングする。 我々は、公式の英語からポルトガル語の共有タスクテストデータへの6つのチェックポイントモデルアンサンブルで37.57マクロF1を達成し、Amazonの21.30マクロF1のベースライン翻訳システムより優れ、最終的に直感的な手法の有用性を実証した。

We describe our submission to the 2020 Duolingo Shared Task on Simultaneous Translation And Paraphrase for Language Education (STAPLE) (Mayhew et al., 2020). We view MT models at various training stages (i.e., checkpoints) as human learners at different levels. Hence, we employ an ensemble of multi-checkpoints from the same model to generate translation sequences with various levels of fluency. From each checkpoint, for our best model, we sample n-Best sequences (n=10) with a beam width =100. We achieve 37.57 macro F1 with a 6 checkpoint model ensemble on the official English to Portuguese shared task test data, outperforming a baseline Amazon translation system of 21.30 macro F1 and ultimately demonstrating the utility of our intuitive method.
翻訳日:2022-11-24 07:11:52 公開日:2020-06-07
# サプライチェーンにおける多製品多ノード在庫管理のための強化学習

Reinforcement Learning for Multi-Product Multi-Node Inventory Management in Supply Chains ( http://arxiv.org/abs/2006.04037v1 )

ライセンス: Link先を確認
Nazneen N Sultana, Hardik Meisheri, Vinita Baniwal, Somjit Nath, Balaraman Ravindran, Harshad Khadilkar(参考訳) 本稿では,サプライチェーンにおける多製品在庫管理への強化学習(RL)の適用について述べる。 問題の説明と解決策はどちらも現実世界のビジネスソリューションから適応しています。 サプライチェーン文学におけるこの問題の目新しさは (i)共有容量を有する多数の製品(50~1000)の同時在庫管理について検討する。 (ii)3店舗の倉庫からなる多ノードサプライチェーンを考える。 (三)倉庫、店舗及び倉庫から店舗への輸送は、容量が有限である。 (四 倉庫及び店舗の補充は、異なる時間規模で、かつ、現実的なタイムラグで行われ、 (v)店舗での商品の需要は確率的である。 本稿では,並列化意思決定に使用可能なマルチエージェント(階層的)強化学習フレームワークにおける新しい定式化について述べる。 実験の結果,提案手法は製品販売の最大化と商品の無駄を最小化する多目的報酬を処理可能であることが示された。

This paper describes the application of reinforcement learning (RL) to multi-product inventory management in supply chains. The problem description and solution are both adapted from a real-world business solution. The novelty of this problem with respect to supply chain literature is (i) we consider concurrent inventory management of a large number (50 to 1000) of products with shared capacity, (ii) we consider a multi-node supply chain consisting of a warehouse which supplies three stores, (iii) the warehouse, stores, and transportation from warehouse to stores have finite capacities, (iv) warehouse and store replenishment happen at different time scales and with realistic time lags, and (v) demand for products at the stores is stochastic. We describe a novel formulation in a multi-agent (hierarchical) reinforcement learning framework that can be used for parallelised decision-making, and use the advantage actor critic (A2C) algorithm with quantised action spaces to solve the problem. Experiments show that the proposed approach is able to handle a multi-objective reward comprised of maximising product sales and minimising wastage of perishable products.
翻訳日:2022-11-24 07:11:17 公開日:2020-06-07
# 強化学習における人間不合理性の意義

Implications of Human Irrationality for Reinforcement Learning ( http://arxiv.org/abs/2006.04072v1 )

ライセンス: Link先を確認
Haiyang Chen, Hyung Jin Chang, Andrew Howes(参考訳) 行動科学における最近の研究は、人間の意思決定は不合理であり、最適であり、偏見の対象となるという長年の信念を覆し始めている。 これは、人間による意思決定が、機械学習の問題がどのように定義されているかを制限するための、より優れたアイデアの源である可能性を示唆している。 ある有望なアイデアは、選択コンテキストの明らかに無関係な側面に依存する人間の意思決定に関するものである。 以前の研究では、選択したコンテキストを考慮に入れ、リレーショナルな観察を行うことで、期待する価値を最大化できることが示されている。 他の研究は、部分的に観察可能なマルコフ決定プロセス(pomdps)が人間に似た決定問題を定式化する有用な方法であることを示している。 本稿では,文脈選択タスクのための新しいpomdpモデルを提案し,明らかな不合理性にもかかわらず,強化学習者が人間の意思決定方法を活用することができることを示す。 人間の不合理性は、AIアーキテクチャや機械学習手法の設計を改善するための、生産的なインスピレーション源となるかもしれない。

Recent work in the behavioural sciences has begun to overturn the long-held belief that human decision making is irrational, suboptimal and subject to biases. This turn to the rational suggests that human decision making may be a better source of ideas for constraining how machine learning problems are defined than would otherwise be the case. One promising idea concerns human decision making that is dependent on apparently irrelevant aspects of the choice context. Previous work has shown that by taking into account choice context and making relational observations, people can maximize expected value. Other work has shown that Partially observable Markov decision processes (POMDPs) are a useful way to formulate human-like decision problems. Here, we propose a novel POMDP model for contextual choice tasks and show that, despite the apparent irrationalities, a reinforcement learner can take advantage of the way that humans make decisions. We suggest that human irrationalities may offer a productive source of inspiration for improving the design of AI architectures and machine learning methods.
翻訳日:2022-11-24 07:11:00 公開日:2020-06-07
# マトリックスとテンソルファクトリゼーションを用いた効率的なオートMLパイプライン探索

Efficient AutoML Pipeline Search with Matrix and Tensor Factorization ( http://arxiv.org/abs/2006.04216v1 )

ライセンス: Link先を確認
Chengrun Yang, Jicong Fan, Ziyang Wu, Madeleine Udell(参考訳) 新たなデータセットで優れた教師付き学習モデルを求めるデータサイエンティストには、データの事前処理、機能の選択、おそらくは次元の削減、推定アルゴリズムの選択、パイプラインコンポーネント毎のハイパーパラメータの選択など、多くの選択肢がある。 新しいパイプラインコンポーネントによって、選択肢の数の組合せが爆発する! 本研究では,この課題に対処するために,教師付き学習パイプラインを設計する自動システムであるAutoMLシステムを設計する。 本システムは,合成パイプライン探索空間をモデル化するための代理モデルとして行列とテンソル分解を用いる。 これらのモデルに基づき,新しいデータセットに関する情報を効率的に収集する,欲求実験設計プロトコルを開発した。 実世界の分類問題に対する大規模なコーパス実験により,本手法の有効性が示された。

Data scientists seeking a good supervised learning model on a new dataset have many choices to make: they must preprocess the data, select features, possibly reduce the dimension, select an estimation algorithm, and choose hyperparameters for each of these pipeline components. With new pipeline components comes a combinatorial explosion in the number of choices! In this work, we design a new AutoML system to address this challenge: an automated system to design a supervised learning pipeline. Our system uses matrix and tensor factorization as surrogate models to model the combinatorial pipeline search space. Under these models, we develop greedy experiment design protocols to efficiently gather information about a new dataset. Experiments on large corpora of real-world classification problems demonstrate the effectiveness of our approach.
翻訳日:2022-11-24 07:10:42 公開日:2020-06-07