このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス(CC 0, CC BY, CC BY-SA)の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。(arxivのメタデータは CC 0です。) 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。

本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。

公開日が20210717となっている論文です。

PDF登録状況(公開日: 20210717)

TitleAuthorsAbstract論文公表日・翻訳日
# FEBR:有益でパーソナライズされたコンテンツのためのエキスパートベースの勧告フレームワーク

FEBR: Expert-Based Recommendation Framework for beneficial and personalized content ( http://arxiv.org/abs/2108.01455v1 )

ライセンス: Link先を確認
Mohamed Lechiakh, Alexandre Maurer(参考訳) これまでのリコメンデーターシステムの研究のほとんどは、関連性のあるパーソナライズされたコンテンツを促進することによって、長期的なユーザエンゲージメントと満足度を維持することに焦点を当てている。 しかし、このコンテンツの品質と信頼性を評価することは依然として非常に難しい。 本稿では,オンラインプラットフォーム上での推薦コンテンツの品質評価のための見習い学習フレームワークであるfebr(expert-based recommendation framework)を提案する。 このフレームワークは、推奨評価環境における専門家(信頼できると思われる)の実証された軌道を利用して、未知のユーティリティ機能を回復する。 この機能は、専門家の行動を記述した最適なポリシーを学習するために使用され、高品質でパーソナライズされたレコメンデーションを提供するためにフレームワークで使用される。 ユーザ関心シミュレーション環境(RecSim)を用いて,提案手法の性能評価を行った。 ビデオ推薦のエキスパートポリシーの下でのインタラクションをシミュレートし,その効率を標準推奨手法と比較する。 その結果,本手法は,ベースラインアプローチとほぼ同等の視聴時間を維持しつつ,専門家が評価し,ユーザが視聴するコンテンツ品質の面で大きな向上をもたらすことがわかった。

So far, most research on recommender systems focused on maintaining long-term user engagement and satisfaction, by promoting relevant and personalized content. However, it is still very challenging to evaluate the quality and the reliability of this content. In this paper, we propose FEBR (Expert-Based Recommendation Framework), an apprenticeship learning framework to assess the quality of the recommended content on online platforms. The framework exploits the demonstrated trajectories of an expert (assumed to be reliable) in a recommendation evaluation environment, to recover an unknown utility function. This function is used to learn an optimal policy describing the expert's behavior, which is then used in the framework to provide high-quality and personalized recommendations. We evaluate the performance of our solution through a user interest simulation environment (using RecSim). We simulate interactions under the aforementioned expert policy for videos recommendation, and compare its efficiency with standard recommendation methods. The results show that our approach provides a significant gain in terms of content quality, evaluated by experts and watched by users, while maintaining almost the same watch time as the baseline approaches.
翻訳日:2021-08-08 11:02:20 公開日:2021-07-17
# (参考訳) megaverse: 身体的なエージェントを毎秒100万の経験でシミュレートする [全文訳有]

Megaverse: Simulating Embodied Agents at One Million Experiences per Second ( http://arxiv.org/abs/2107.08170v1 )

ライセンス: CC BY 4.0
Aleksei Petrenko, Erik Wijmans, Brennan Shacklett, Vladlen Koltun(参考訳) 強化学習と具体化されたai研究のための新しい3dシミュレーションプラットフォームであるmegaverseを提案する。 本エンジンの効率的な設計により,1つの8GPUノード上での1秒あたり1,000,000アクション以上の高次元自我中心観測による物理シミュレーションが可能となった。 megaverseはdeepmind labより最大で70倍高速で、インタラクティブなオブジェクトで完全にシェードされた3dシーンだ。 この高いシミュレーション性能をバッチシミュレーションを利用して実現し,最新のgpuの大規模並列処理を最大限に活用する。 私たちはMegaverseを使って、さまざまな認知課題をカバーする複数の単一エージェントとマルチエージェントタスクからなる新しいベンチマークを構築します。 このベンチマークでモデルフリーRLを評価し、ベースラインを提供し、将来の研究を促進する。 ソースコードはhttps://www.megavers e.infoで入手できる。

We present Megaverse, a new 3D simulation platform for reinforcement learning and embodied AI research. The efficient design of our engine enables physics-based simulation with high-dimensional egocentric observations at more than 1,000,000 actions per second on a single 8-GPU node. Megaverse is up to 70x faster than DeepMind Lab in fully-shaded 3D scenes with interactive objects. We achieve this high simulation performance by leveraging batched simulation, thereby taking full advantage of the massive parallelism of modern GPUs. We use Megaverse to build a new benchmark that consists of several single-agent and multi-agent tasks covering a variety of cognitive challenges. We evaluate model-free RL on this benchmark to provide baselines and facilitate future research. The source code is available at https://www.megavers e.info
翻訳日:2021-07-21 09:29:42 公開日:2021-07-17
# (参考訳) 深層生成モデルに基づく最適レベル同期による階層的強化学習 [全文訳有]

Hierarchical Reinforcement Learning with Optimal Level Synchronization based on a Deep Generative Model ( http://arxiv.org/abs/2107.08183v1 )

ライセンス: CC BY 4.0
JaeYoon Kim, Junyu Xuan, Christy Liang and Farookh Hussain(参考訳) 強化学習(RL)環境の高次元的あるいはスパースな報酬タスクは、その階層構造においてタスクの目的を達成するためにコマンドの複雑さを吸収するため、原子的RLよりも階層的強化学習(HRL)のような優れた潜在的コントローラを必要とする。 HRLの問題のひとつは、それぞれのレベルポリシーを、その経験から最適なデータ収集でトレーニングする方法です。 つまり、隣接するレベルポリシーを最適に同期する方法です。 本研究は、HRLの非政治的補正手法によるHRLモデルを、非政治的手法を用いて新たに訓練された下層政策を反映して、高層政策を訓練し、訓練中常に両レベル政策を同期させる重要な役割を担っていることを明らかにする。 本稿では, ディープジェネレーティブモデルを用いたオフポリシー補正手法を用いて, 最適レベル同期を支援する新しいhrlモデルを提案する。 これはフローベース深層生成モデル(FDGM)の逆演算の利点を利用して、下層政策の現在の状態に対応する目標を達成する。 提案モデルはまた,HRL におけるモデルフリー RL の一般化逆モデルと最適同期法との目標次元の自由を考慮した。 比較実験の結果,提案モデルの性能が示された。

The high-dimensional or sparse reward task of a reinforcement learning (RL) environment requires a superior potential controller such as hierarchical reinforcement learning (HRL) rather than an atomic RL because it absorbs the complexity of commands to achieve the purpose of the task in its hierarchical structure. One of the HRL issues is how to train each level policy with the optimal data collection from its experience. That is to say, how to synchronize adjacent level policies optimally. Our research finds that a HRL model through the off-policy correction technique of HRL, which trains a higher-level policy with the goal of reflecting a lower-level policy which is newly trained using the off-policy method, takes the critical role of synchronizing both level policies at all times while they are being trained. We propose a novel HRL model supporting the optimal level synchronization using the off-policy correction technique with a deep generative model. This uses the advantage of the inverse operation of a flow-based deep generative model (FDGM) to achieve the goal corresponding to the current state of the lower-level policy. The proposed model also considers the freedom of the goal dimension between HRL policies which makes it the generalized inverse model of the model-free RL in HRL with the optimal synchronization method. The comparative experiment results show the performance of our proposed model.
翻訳日:2021-07-21 09:25:52 公開日:2021-07-17
# (参考訳) 科学的クレーム検証に関するSciVer共有課題の概要と展望 [全文訳有]

Overview and Insights from the SciVer Shared Task on Scientific Claim Verification ( http://arxiv.org/abs/2107.08188v1 )

ライセンス: CC BY 4.0
David Wadden, Kyle Lo(参考訳) 本稿では,第2回学術文書処理(sdp)ワークショップ(naacl 2021)で発表されたsciver共有タスクの概要を紹介する。 この共有タスクでは,システムに科学的な主張と研究要約のコーパスが提供され,その主張を支持する記事やREFUTEの特定と,それらのラベルを正当化する説明文が提供された。 11チームが共有タスクリーダーボードに合計14の応募を行い、主要なタスク評価基準で+23 f1以上の改善が行われた。 参加システムを調査することに加えて,継続的な進展を支援するモデリングアプローチや,科学的クレーム検証の重要かつ困難な課題に関する今後の研究について,いくつかの知見を提供する。

We present an overview of the SciVer shared task, presented at the 2nd Scholarly Document Processing (SDP) workshop at NAACL 2021. In this shared task, systems were provided a scientific claim and a corpus of research abstracts, and asked to identify which articles SUPPORT or REFUTE the claim as well as provide evidentiary sentences justifying those labels. 11 teams made a total of 14 submissions to the shared task leaderboard, leading to an improvement of more than +23 F1 on the primary task evaluation metric. In addition to surveying the participating systems, we provide several insights into modeling approaches to support continued progress and future research on the important and challenging task of scientific claim verification.
翻訳日:2021-07-21 09:06:36 公開日:2021-07-17
# (参考訳) 将来のネットワークにおける機械学習パイプラインの自律的オーケストレーションを目指して [全文訳有]

Towards autonomic orchestration of machine learning pipelines in future networks ( http://arxiv.org/abs/2107.08194v1 )

ライセンス: CC BY 4.0
Abhishek Dandekar(参考訳) 機械学習(ML)技術は、ネットワーク計画、運用、管理、最適化など、モバイルネットワークでますます使われている。 これらのテクニックは、MLパイプラインとして知られる論理ノードのセットを使用して実現されている。 単一のネットワークオペレータは、ネットワーク全体に数千のMLパイプラインを分散させることができる。 これらのパイプラインは、ネットワークドメインをまたいで管理およびオーケストレーションする必要がある。 したがって、モバイルネットワークにおけるMLパイプラインの自律的マルチドメインオーケストレーションが不可欠である。 国際電気通信連合(ITU)は、将来のネットワークにおけるMLパイプラインの管理とオーケストレーションのためのアーキテクチャフレームワークを提供している。 このフレームワークを拡張して、複数のネットワークドメインにわたるMLパイプラインの自律的なオーケストレーションを可能にします。 システムアーキテクチャを示し,その応用をスマートファクトリのユースケースを用いて記述する。 私たちの作業は、標準化された技術に依存しないプライバシー保護の方法で、マルチドメインMLパイプラインの自律的なオーケストレーションを可能にします。

Machine learning (ML) techniques are being increasingly used in mobile networks for network planning, operation, management, optimisation and much more. These techniques are realised using a set of logical nodes known as ML pipeline. A single network operator might have thousands of such ML pipelines distributed across its network. These pipelines need to be managed and orchestrated across network domains. Thus it is essential to have autonomic multi-domain orchestration of ML pipelines in mobile networks. International Telecommunications Union (ITU) has provided an architectural framework for management and orchestration of ML pipelines in future networks. We extend this framework to enable autonomic orchestration of ML pipelines across multiple network domains. We present our system architecture and describe its application using a smart factory use case. Our work allows autonomic orchestration of multi-domain ML pipelines in a standardised, technology agnostic, privacy preserving fashion.
翻訳日:2021-07-21 08:58:48 公開日:2021-07-17
# (参考訳) 対角準ニュートン法による大規模分類のためのスパースベイズ学習 [全文訳有]

Sparse Bayesian Learning with Diagonal Quasi-Newton Method For Large Scale Classification ( http://arxiv.org/abs/2107.08195v1 )

ライセンス: CC BY-SA 4.0
Jiahua Luo (1), Chi-Man Vong (1) and Jie Du (2) ((1) Department of Computer and Information Science, University of Macau, Macao SAR, China, (2) School of Biomedical Engineering, Health Science Center, Shenzhen University, Shenzhen, China)(参考訳) スパースベイズ学習(SBL)は極めてスパースな確率モデルを構築し、非常に競争的な一般化を行う。 しかし、sbl は正規化を事前に更新するために、複雑性 o(m^3 ) (m: 特徴サイズ) を持つ大きな共分散行列を反転させなければならないため、実用上は困難である。 SBLには3つの問題がある: 1) 共分散行列の反転は、SBLの収束を妨げるいくつかのケースにおいて特異解が得られる; 2) 高次元の特徴空間や大きなデータサイズの問題に対するスケーラビリティの低下; 3) SBLは大規模データに対するメモリオーバーフローに容易に悩まされる。 本稿では,大共分散行列の逆転を無視し,複雑性と記憶容量をO(M)に削減する,SBLの擬似ニュートン(DQN)法を新たに提案したDQN-SBLを用いて,この問題に対処する。 DQN-SBLは、異なるサイズのベンチマークデータセットを用いて、非線形分類器と線形特徴選択について徹底的に評価する。 実験により, DQN-SBLは, 非常にスパースなモデルで競合一般化を受け, 大規模問題によく対応できることが確認された。

Sparse Bayesian Learning (SBL) constructs an extremely sparse probabilistic model with very competitive generalization. However, SBL needs to invert a big covariance matrix with complexity O(M^3 ) (M: feature size) for updating the regularization priors, making it difficult for practical use. There are three issues in SBL: 1) Inverting the covariance matrix may obtain singular solutions in some cases, which hinders SBL from convergence; 2) Poor scalability to problems with high dimensional feature space or large data size; 3) SBL easily suffers from memory overflow for large-scale data. This paper addresses these issues with a newly proposed diagonal Quasi-Newton (DQN) method for SBL called DQN-SBL where the inversion of big covariance matrix is ignored so that the complexity and memory storage are reduced to O(M). The DQN-SBL is thoroughly evaluated on non-linear classifiers and linear feature selection using various benchmark datasets of different sizes. Experimental results verify that DQN-SBL receives competitive generalization with a very sparse model and scales well to large-scale problems.
翻訳日:2021-07-21 07:56:23 公開日:2021-07-17
# (参考訳) 組み込みデバイス上での効率的な機械翻訳のための動的トランスフォーマー [全文訳有]

Dynamic Transformer for Efficient Machine Translation on Embedded Devices ( http://arxiv.org/abs/2107.08199v1 )

ライセンス: CC BY 4.0
Hishan Parry, Lei Xun, Amin Sabet, Jia Bi, Jonathon Hare, Geoff V. Merrett(参考訳) Transformerアーキテクチャは機械翻訳タスクに広く使われている。 しかし、リソース集約性により、特に利用可能なハードウェアリソースが実行時に変化するような、制限された組み込みデバイスの実装が困難になる。 本稿では,利用可能なリソースに基づいてトランスフォーマーアーキテクチャを任意のタイミングでスケールする動的機械翻訳モデルを提案する。 提案手法である"Dynamic-HAT"では,HAT SuperTransformerをバックボーンとして,設計時に異なる精度-遅延トレードオフを持つSubTransformerを探索する。 最適なSubTransformerは、レイテンシの制約に応じて、実行時にSuperTransformerからサンプリングされる。 Dynamic-HATはJetson Nano上でテストされ、アプローチではスーパートランスフォーマーから直接サンプリングされたサブトランスフォーマーを<1sのスイッチング時間で使用する。 後継のSubTransformerを使用すると、サンプリング後のスクラッチからSubTransformerの設定が再トレーニングされないため、BLEUスコアが1.5%低下する。 しかし、この性能低下を回復するためには、設計空間の寸法を縮小して、ターゲットハードウェアのファミリーに調整することができる。 新たなデザインスペースの縮小により、BLEUのスコアはオリジナルのデザインスペースから約1%増加し、パフォーマンススケーリングには0.356s - 1.526s、CPUには2.9s - 7.31sの幅がある。

The Transformer architecture is widely used for machine translation tasks. However, its resource-intensive nature makes it challenging to implement on constrained embedded devices, particularly where available hardware resources can vary at run-time. We propose a dynamic machine translation model that scales the Transformer architecture based on the available resources at any particular time. The proposed approach, 'Dynamic-HAT', uses a HAT SuperTransformer as the backbone to search for SubTransformers with different accuracy-latency trade-offs at design time. The optimal SubTransformers are sampled from the SuperTransformer at run-time, depending on latency constraints. The Dynamic-HAT is tested on the Jetson Nano and the approach uses inherited SubTransformers sampled directly from the SuperTransformer with a switching time of <1s. Using inherited SubTransformers results in a BLEU score loss of <1.5% because the SubTransformer configuration is not retrained from scratch after sampling. However, to recover this loss in performance, the dimensions of the design space can be reduced to tailor it to a family of target hardware. The new reduced design space results in a BLEU score increase of approximately 1% for sub-optimal models from the original design space, with a wide range for performance scaling between 0.356s - 1.526s for the GPU and 2.9s - 7.31s for the CPU.
翻訳日:2021-07-21 07:40:25 公開日:2021-07-17
# (参考訳) 教師モデルのアンサンブルによるセルフトレーニング [全文訳有]

Self Training with Ensemble of Teacher Models ( http://arxiv.org/abs/2107.08211v1 )

ライセンス: CC BY 4.0
Soumyadeep Ghosh, Sanjay Kumar, Janu Verma and Awanish Kumar(参考訳) 堅牢なディープラーニングモデルのトレーニングには,大量のラベル付きデータが必要である。 しかし、ラベル付きデータの巨大なリポジトリが存在しない場合、ラベル付きデータも同様に悪用することができる。 半教師付き学習は、そのようなラベルのないデータを分類モデルのトレーニングに利用することを目的としている。 近年の自己学習型アプローチの進歩は,この領域で有望であることが示されており,本研究はアンサンブルアプローチを応用している。 半教師付きアプローチの副産物は、特にラベルのないデータが分配外サンプルを含む可能性があるシナリオにおいて、訓練されたモデルのキャリブレーションの損失である可能性がある。 提案手法はラベルなしデータを利用する場合の一般的な落とし穴を慎重に回避し,バニラ自己学習に基づく学生・教師アルゴリズムと比較して,より正確かつ校正された教師モデルとなる。 人気のあるstl-10データベース上でいくつかの実験を行い,そのアプローチを広範囲に分析し,モデルの精度と校正に与える影響について検討した。

In order to train robust deep learning models, large amounts of labelled data is required. However, in the absence of such large repositories of labelled data, unlabeled data can be exploited for the same. Semi-Supervised learning aims to utilize such unlabeled data for training classification models. Recent progress of self-training based approaches have shown promise in this area, which leads to this study where we utilize an ensemble approach for the same. A by-product of any semi-supervised approach may be loss of calibration of the trained model especially in scenarios where unlabeled data may contain out-of-distribution samples, which leads to this investigation on how to adapt to such effects. Our proposed algorithm carefully avoids common pitfalls in utilizing unlabeled data and leads to a more accurate and calibrated supervised model compared to vanilla self-training based student-teacher algorithms. We perform several experiments on the popular STL-10 database followed by an extensive analysis of our approach and study its effects on model accuracy and calibration.
翻訳日:2021-07-21 07:29:27 公開日:2021-07-17
# (参考訳) ニューラルマシン翻訳における事前学習の複写挙動について [全文訳有]

On the Copying Behaviors of Pre-Training for Neural Machine Translation ( http://arxiv.org/abs/2107.08212v1 )

ライセンス: CC BY 4.0
Xuebo Liu, Longyue Wang, Derek F. Wong, Liang Ding, Lidia S. Chao, Shuming Shi, Zhaopeng Tu(参考訳) これまでの研究で、ニューラルネットワーク翻訳(NMT)モデルを事前訓練言語モデル(LM)で初期化することは、モデルのトレーニングを高速化し、モデル性能を向上させることが示されている。 本研究では,NMTのトレーニング目標とNMTの訓練目標との相違から,NMTの事前訓練における重要な副作用を同定する。 LMの目的は、いくつかのソーストークンを再構築し、その大部分をコピーすることを学ぶため、トレーニング前の初期化はNTTモデルのコピー動作に影響を与える。 そこで本研究では,先行学習型nmtモデルが標準モデルよりも高い複写率を持つことを示す複写率と呼ばれる指標を導入することにより,複写行動の定量的解析を行う。 この問題に対して,復号における複写動作を制御するためにペナルティというシンプルで効果的な手法を提案する。 ドメイン内およびドメイン外ベンチマークの大規模な実験により、プレトレーニングベースNMTモデルのコピー動作を制御することにより、コピーペナルティ法は変換性能を一貫して向上することが示された。 ソースコードはhttps://github.com/S unbowLiu/CopyingPena lty.comで無料で入手できる。

Previous studies have shown that initializing neural machine translation (NMT) models with the pre-trained language models (LM) can speed up the model training and boost the model performance. In this work, we identify a critical side-effect of pre-training for NMT, which is due to the discrepancy between the training objectives of LM-based pre-training and NMT. Since the LM objective learns to reconstruct a few source tokens and copy most of them, the pre-training initialization would affect the copying behaviors of NMT models. We provide a quantitative analysis of copying behaviors by introducing a metric called copying ratio, which empirically shows that pre-training based NMT models have a larger copying ratio than the standard one. In response to this problem, we propose a simple and effective method named copying penalty to control the copying behaviors in decoding. Extensive experiments on both in-domain and out-of-domain benchmarks show that the copying penalty method consistently improves translation performance by controlling copying behaviors for pre-training based NMT models. Source code is freely available at https://github.com/S unbowLiu/CopyingPena lty.
翻訳日:2021-07-21 07:16:40 公開日:2021-07-17
# (参考訳) 視覚表現学習は、同じドメイン内で強く一般化しない [全文訳有]

Visual Representation Learning Does Not Generalize Strongly Within the Same Domain ( http://arxiv.org/abs/2107.08221v1 )

ライセンス: CC BY 4.0
Lukas Schott, Julius von K\"ugelgen, Frederik Tr\"auble, Peter Gehler, Chris Russell, Matthias Bethge, Bernhard Sch\"olkopf, Francesco Locatello, Wieland Brendel(参考訳) 機械学習における一般化の重要な要素は、変動の潜在要因と、各要因が世界に作用するメカニズムを明らかにすることである。 本稿では,単純なデータセット(dsprites, shapes3d, mpi3d)の変動生成要因を正確に推定する17の教師なし,弱い教師付き,完全に教師なし表現学習手法を検証した。 ブラーやその他の(非構造的な)ノイズのようなテスト時間に変化の新たな要因を導入する以前のロバストネス作業とは対照的に、トレーニングデータセット(例えば、トレーニング中の中小オブジェクトやテスト中の大型オブジェクト)から既存の変化の要因のみを再構成、補間、または外挿する。 正しいメカニズムを学ぶモデルは、このベンチマークに一般化できるべきである。 総じて、2000以上のモデルをトレーニングし、テストし、それらすべてが、監視信号やアーキテクチャバイアスに関わらず、基盤となるメカニズムを学ぶのに苦労していることを観察します。 さらに、すべてのテストされたモデルの一般化能力は、人工データセットからより現実的な現実世界データセットに移行するにつれて大幅に低下します。 正しいメカニズムを特定できないにもかかわらず、モデルはかなりモジュール化されており、他の分配要因を推測する能力はかなり安定であり、単一因子のみが分布外である。 これらの結果は、一般化を促進する観察の機械論的モデルを学ぶという重要かつ未熟な問題を示している。

An important component for generalization in machine learning is to uncover underlying latent factors of variation as well as the mechanism through which each factor acts in the world. In this paper, we test whether 17 unsupervised, weakly supervised, and fully supervised representation learning approaches correctly infer the generative factors of variation in simple datasets (dSprites, Shapes3D, MPI3D). In contrast to prior robustness work that introduces novel factors of variation during test time, such as blur or other (un)structured noise, we here recompose, interpolate, or extrapolate only existing factors of variation from the training data set (e.g., small and medium-sized objects during training and large objects during testing). Models that learn the correct mechanism should be able to generalize to this benchmark. In total, we train and test 2000+ models and observe that all of them struggle to learn the underlying mechanism regardless of supervision signal and architectural bias. Moreover, the generalization capabilities of all tested models drop significantly as we move from artificial datasets towards more realistic real-world datasets. Despite their inability to identify the correct mechanism, the models are quite modular as their ability to infer other in-distribution factors remains fairly stable, providing only a single factor is out-of-distribution. These results point to an important yet understudied problem of learning mechanistic models of observations that can facilitate generalization.
翻訳日:2021-07-21 07:01:00 公開日:2021-07-17
# (参考訳) 一階最適化における制約について--非スムース力学系からの考察

On Constraints in First-Order Optimization: A View from Non-Smooth Dynamical Systems ( http://arxiv.org/abs/2107.08225v1 )

ライセンス: CC BY 4.0
Michael Muehlebach and Michael I. Jordan(参考訳) 非スムース力学系に類似した滑らかな制約付き最適化のための一階法のクラスを導入する。 提案手法の2つの特徴は, (i) 提案した勾配法やフランク・ウルフ法とは対照的に, (i) 適用可能な集合全体の投影や最適化は避けられ, (ii) 有効セットや実現可能な方向法と異なり, 新たな制約に遭遇した時点で降下動作が停止する。 得られたアルゴリズムの手順は、制約が非線形であっても実装が簡単であり、実現可能な集合が単純な構造を持たないような大規模制約付き最適化問題に適合する。 鍵となる考え方は、制約は位置ではなく速度で表され、各反復における実現可能な集合に対する最適化が局所凸近似上の最適化に置き換えられるというアルゴリズム的な結果である。 その結果、アルゴリズムの簡易化と、機械学習の応用範囲の拡大がもたらされた。

We introduce a class of first-order methods for smooth constrained optimization that are based on an analogy to non-smooth dynamical systems. Two distinctive features of our approach are that (i) projections or optimizations over the entire feasible set are avoided, in stark contrast to projected gradient methods or the Frank-Wolfe method, and (ii) iterates are allowed to become infeasible, which differs from active set or feasible direction methods, where the descent motion stops as soon as a new constraint is encountered. The resulting algorithmic procedure is simple to implement even when constraints are nonlinear, and is suitable for large-scale constrained optimization problems in which the feasible set fails to have a simple structure. The key underlying idea is that constraints are expressed in terms of velocities instead of positions, which has the algorithmic consequence that optimizations over feasible sets at each iteration are replaced with optimizations over local, sparse convex approximations. The result is a simplified suite of algorithms and an expanded range of possible applications in machine learning.
翻訳日:2021-07-21 06:34:43 公開日:2021-07-17
# (参考訳) 形態変化するロボットシステムにおける学習の効果 [全文訳有]

The Effects of Learning in Morphologically Evolving Robot Systems ( http://arxiv.org/abs/2107.08249v1 )

ライセンス: CC BY 4.0
Jie Luo, Jakub M. Tomczak, Agoston E. Eiben(参考訳) ロボットの制御器(脳)と形態学(身体)が同時に進化すると、脳と身体のミスマッチ問題という問題を引き起こす可能性がある。 本研究では,生涯学習の解決策を提案する。 モジュール型ロボットは、組換えと突然変異によって両親の身体を継承する子孫を生成できるシステムを構築した。 子孫の脳に関して、私たちは2つの方法を使ってそれらを作ります。 1つ目は進化のみを伴い、つまりロボットの子供の脳は両親から受け継がれる。 第二のアプローチは進化と学習であり、これは子供の脳も継承されることを意味するが、学習アルゴリズムRevDEknnによって開発される。 本研究では,Revolveと呼ばれるシミュレータで実験を行い,ロボットの効率性,有効性,形態的知性を用いて比較を行った。 実験によると、進化と学習の方法は、より高いフィットネスレベルをもたらすだけでなく、より形態的に進化するロボットにも繋がる。 これは、脳の変化が身体の変化を誘発し、学習デルタによって定量化される形態学的知能の概念、つまり学習を促進する形態学の能力につながる、定量的な実証である。

When controllers (brains) and morphologies (bodies) of robots simultaneously evolve, this can lead to a problem, namely the brain & body mismatch problem. In this research, we propose a solution of lifetime learning. We set up a system where modular robots can create offspring that inherit the bodies of parents by recombination and mutation. With regards to the brains of the offspring, we use two methods to create them. The first one entails solely evolution which means the brain of a robot child is inherited from its parents. The second approach is evolution plus learning which means the brain of a child is inherited as well, but additionally is developed by a learning algorithm - RevDEknn. We compare these two methods by running experiments in a simulator called Revolve and use efficiency, efficacy, and the morphology intelligence of the robots for the comparison. The experiments show that the evolution plus learning method does not only lead to a higher fitness level, but also to more morphologically evolving robots. This constitutes a quantitative demonstration that changes in the brain can induce changes in the body, leading to the concept of morphological intelligence, which is quantified by the learning delta, meaning the ability of a morphology to facilitate learning.
翻訳日:2021-07-21 06:33:37 公開日:2021-07-17
# (参考訳) Constraint Answer Set Programming: Integrational and Translational (または SMT-based) Approaches [全文訳有]

Constraint Answer Set Programming: Integrational and Translational (or SMT-based) Approaches ( http://arxiv.org/abs/2107.08252v1 )

ライセンス: CC BY 4.0
Yuliya Lierler(参考訳) 制約応答セットプログラミング(英: constraints answer set programming、casp)は、解集合プログラミング、制約処理、充足性モジュラー理論などの異なる研究分野の進歩をまとめる、自動推論におけるハイブリッドアプローチである。 acsolver, clingcon, ezcsp, idp, inca, dingo, mingo, aspmt, clingo[l,dl], ezsmtなど,多数の解決ツールの開発を含む,制約付き回答セットプログラミングは有望な結果を示している。 複雑な列車スケジューリング問題を解くなど、宣言型プログラミングアプリケーションのための新たな地平を開く。 制約応答セットプログラムの解決策を見つけるように設計されたシステムは、私たちが何と呼ぶか、統合的、あるいは翻訳的アプローチに従ってグループ化することができる。 本稿では,統合的アプローチと翻訳的アプローチの区別と並列性を描く制約解集合ソルバの設計の重要な要素について概説する。 また,本論文では,旅行セールスマン問題のCASPエンコーディングを利用して,利用者がどのようなプログラムを開発するかを垣間見る。 さらに、我々はCASP技術を自動化された推論ピアの地図上に配置し、CASPの開発の将来の可能性について議論する。

Constraint answer set programming or CASP, for short, is a hybrid approach in automated reasoning putting together the advances of distinct research areas such as answer set programming, constraint processing, and satisfiability modulo theories. Constraint answer set programming demonstrates promising results, including the development of a multitude of solvers: acsolver, clingcon, ezcsp, idp, inca, dingo, mingo, aspmt, clingo[l,dl], and ezsmt. It opens new horizons for declarative programming applications such as solving complex train scheduling problems. Systems designed to find solutions to constraint answer set programs can be grouped according to their construction into, what we call, integrational or translational approaches. The focus of this paper is an overview of the key ingredients of the design of constraint answer set solvers drawing distinctions and parallels between integrational and translational approaches. The paper also provides a glimpse at the kind of programs its users develop by utilizing a CASP encoding of Travelling Salesman problem for illustration. In addition, we place the CASP technology on the map among its automated reasoning peers as well as discuss future possibilities for the development of CASP.
翻訳日:2021-07-21 06:21:38 公開日:2021-07-17
# (参考訳) strode:確率境界常微分方程式 [全文訳有]

STRODE: Stochastic Boundary Ordinary Differential Equation ( http://arxiv.org/abs/2107.08273v1 )

ライセンス: CC BY 4.0
Hengguan Huang, Hongfu Liu, Hao Wang, Chang Xiao and Ye Wang(参考訳) 連続的に獲得した感覚入力からの時間知覚は、個々の生物の日常的な行動に根ざしている。 しかし、時系列モデリングのためのほとんどのアルゴリズムは、視覚または音声入力から直接ランダムなイベントタイミングのダイナミクスを学習できず、実世界のアプリケーションでは利用できないトレーニング中にタイミングアノテーションを必要とする。 例えば、後述の神経科学的な視点は、入力された感覚入力が早期の知覚に影響を及ぼす様々な時間範囲が存在することを示しているが、そのような時間範囲は自動音声認識(ASR)のような実際の応用にはほとんど注釈がない。 本稿では,確率的常微分方程式であるStochastic boundaRy ODE(STRODE)を提案する。 STRODEは、後方点過程から効率的に解析的に微分方程式をサンプリングすることができる。 我々はさらに、STRODEの学習に関する理論的保証を提供する。 実験の結果,時系列データのイベントタイミングを推定することに成功した。 本手法は, 合成データと実世界データの両方において, 既存の最先端手法と比較して, 競争力や優れた性能を実現する。

Perception of time from sequentially acquired sensory inputs is rooted in everyday behaviors of individual organisms. Yet, most algorithms for time-series modeling fail to learn dynamics of random event timings directly from visual or audio inputs, requiring timing annotations during training that are usually unavailable for real-world applications. For instance, neuroscience perspectives on postdiction imply that there exist variable temporal ranges within which the incoming sensory inputs can affect the earlier perception, but such temporal ranges are mostly unannotated for real applications such as automatic speech recognition (ASR). In this paper, we present a probabilistic ordinary differential equation (ODE), called STochastic boundaRy ODE (STRODE), that learns both the timings and the dynamics of time series data without requiring any timing annotations during training. STRODE allows the usage of differential equations to sample from the posterior point processes, efficiently and analytically. We further provide theoretical guarantees on the learning of STRODE. Our empirical results show that our approach successfully infers event timings of time series data. Our method achieves competitive or superior performances compared to existing state-of-the-art methods for both synthetic and real-world datasets.
翻訳日:2021-07-21 05:47:37 公開日:2021-07-17
# (参考訳) 基礎画像からの糖尿病網膜症に対する病変ベースコントラスト学習 [全文訳有]

Lesion-based Contrastive Learning for Diabetic Retinopathy Grading from Fundus Images ( http://arxiv.org/abs/2107.08274v1 )

ライセンス: CC BY 4.0
Yijin Huang, Li Lin, Pujin Cheng, Junyan Lyu, Xiaoying Tang(参考訳) 手動でアノテートする医療画像は、特に大規模なデータセットでは、非常に高価である。 ラベルのない画像から特徴表現を学習するために,自己教師付きコントラスト学習が研究されている。 しかし、自然画像とは異なり、医学画像へのコントラスト学習の適用は比較的限られている。 そこで本研究では,糖尿病網膜症(DR)自動グレーディングのための,病変に基づくコントラスト学習という自己指導型フレームワークを提案する。 画像全体を共通コントラスト学習スキームの入力として取り込む代わりに、特徴抽出器にdrグレーディングに非常に差別的な表現を学習するよう促すために、病変パッチが用いられる。 また、コントラスト予測タスクの定義において、異なるデータ拡張操作についても検討する。 一般公開可能なデータセットEyePACSを用いて大規模な実験を行い、線形評価と転送能力評価の両面でDRグレーティングに優れた性能を発揮することを示した。

Manually annotating medical images is extremely expensive, especially for large-scale datasets. Self-supervised contrastive learning has been explored to learn feature representations from unlabeled images. However, unlike natural images, the application of contrastive learning to medical images is relatively limited. In this work, we propose a self-supervised framework, namely lesion-based contrastive learning for automated diabetic retinopathy (DR) grading. Instead of taking entire images as the input in the common contrastive learning scheme, lesion patches are employed to encourage the feature extractor to learn representations that are highly discriminative for DR grading. We also investigate different data augmentation operations in defining our contrastive prediction task. Extensive experiments are conducted on the publicly-accessible dataset EyePACS, demonstrating that our proposed framework performs outstandingly on DR grading in terms of both linear evaluation and transfer capacity evaluation.
翻訳日:2021-07-21 05:31:46 公開日:2021-07-17
# (参考訳) IRS支援無線通信システムにおける深層強化学習のロバスト性について [全文訳有]

On the Robustness of Deep Reinforcement Learning in IRS-Aided Wireless Communications Systems ( http://arxiv.org/abs/2107.08293v1 )

ライセンス: CC0 1.0
Amal Feriani, Amine Mezghani, and Ekram Hossain(参考訳) 我々は、ダウンリンク伝送のためのインテリジェントリフレクティングサーフェス(IRS)支援マルチインプット・シングルアウトプット(MISO)システムを検討する。 ユーザ信号対雑音(SNR)比を最大化するため、IRS要素の最適位相シフトを求める際に、DRL(Deep Reinforcement Learning)と従来の最適化手法の性能を比較した。 さらに,これらの手法のロバスト性を評価し,システムの障害や変化を導出する。 DRLソリューションがノイズチャネルやユーザモビリティに対してより堅牢性を示すことを示す。

We consider an Intelligent Reflecting Surface (IRS)-aided multiple-input single-output (MISO) system for downlink transmission. We compare the performance of Deep Reinforcement Learning (DRL) and conventional optimization methods in finding optimal phase shifts of the IRS elements to maximize the user signal-to-noise (SNR) ratio. Furthermore, we evaluate the robustness of these methods to channel impairments and changes in the system. We demonstrate numerically that DRL solutions show more robustness to noisy channels and user mobility.
翻訳日:2021-07-21 05:23:01 公開日:2021-07-17
# パラファーゼ評価のための生成前訓練

Generative Pretraining for Paraphrase Evaluation ( http://arxiv.org/abs/2107.08251v1 )

ライセンス: Link先を確認
Jack Weston, Raphael Lenain, Udeepa Meepegama and Emil Fristed(参考訳) テキスト生成のためのパラグラフ表現学習モデルと評価指標であるParaBLEUを紹介する。 以前のアプローチとは異なり、parableuは前訓練目的として生成条件付けを用いてパラフラシスを理解することを学ぶ。 ParaBLEUは、既存のメトリクスよりも人間の判断と強く相関し、2017年のWMT Metrics Shared Taskで新しい最先端の結果を得る。 我々のモデルはデータ不足に対して堅牢であり、使用可能なトレーニングデータの50\%しか使用せず、わずか40ドルのラベル付き例でBLEU、ROUGE、METEORを上回りました。 最後に,ParaBLEUを用いて1つの実演から新しいパラフレーズを条件付きで生成できることを実証し,抽象的,一般化されたパラフレーズ表現を学習する仮説を確認する。

We introduce ParaBLEU, a paraphrase representation learning model and evaluation metric for text generation. Unlike previous approaches, ParaBLEU learns to understand paraphrasis using generative conditioning as a pretraining objective. ParaBLEU correlates more strongly with human judgements than existing metrics, obtaining new state-of-the-art results on the 2017 WMT Metrics Shared Task. We show that our model is robust to data scarcity, exceeding previous state-of-the-art performance using only $50\%$ of the available training data and surpassing BLEU, ROUGE and METEOR with only $40$ labelled examples. Finally, we demonstrate that ParaBLEU can be used to conditionally generate novel paraphrases from a single demonstration, which we use to confirm our hypothesis that it learns abstract, generalized paraphrase representations.
翻訳日:2021-07-20 15:18:22 公開日:2021-07-17
# 高精度モデルに基づく強化学習に関する調査

High-Accuracy Model-Based Reinforcement Learning, a Survey ( http://arxiv.org/abs/2107.08241v1 )

ライセンス: Link先を確認
Aske Plaat and Walter Kosters and Mike Preuss(参考訳) 深層強化学習はここ数年で顕著な成功を収めた。 ゲームプレイやロボティクスによる複雑な逐次決定問題は、ディープモデルフリーで解決されている。 残念ながら、モデルフリーなメソッドのサンプル複雑さは、しばしば高い。 環境サンプル数を減らすため、モデルベース強化学習は環境ダイナミクスの明示的なモデルを作成する。 高いモデル精度を達成することは、高次元問題における課題である。 近年,不確実性モデリング,モデル予測制御,潜在モデル,エンドツーエンドの学習と計画といった手法を用いて,モデルに基づく手法の多様さを導入している。 これらの方法のいくつかは、低いサンプル複雑さで高い精度を達成することに成功している。 本稿では,これらの手法について検討し,その動作方法と,その強みと弱みについて詳細に説明する。 我々は,今後の研究課題として,メソッドをより堅牢かつ広く他のアプリケーションに適用できるようにする。

Deep reinforcement learning has shown remarkable success in the past few years. Highly complex sequential decision making problems from game playing and robotics have been solved with deep model-free methods. Unfortunately, the sample complexity of model-free methods is often high. To reduce the number of environment samples, model-based reinforcement learning creates an explicit model of the environment dynamics. Achieving high model accuracy is a challenge in high-dimensional problems. In recent years, a diverse landscape of model-based methods has been introduced to improve model accuracy, using methods such as uncertainty modeling, model-predictive control, latent models, and end-to-end learning and planning. Some of these methods succeed in achieving high accuracy at low sample complexity, most do so either in a robotics or in a games context. In this paper, we survey these methods; we explain in detail how they work and what their strengths and weaknesses are. We conclude with a research agenda for future work to make the methods more robust and more widely applicable to other applications.
翻訳日:2021-07-20 15:17:45 公開日:2021-07-17
# 深いガウス過程回帰のためのデータのサブセットの変分推論

Subset-of-Data Variational Inference for Deep Gaussian-Processes Regression ( http://arxiv.org/abs/2107.08265v1 )

ライセンス: Link先を確認
Ayush Jain (1), P. K. Srijith (1) and Mohammad Emtiyaz Khan (2) ((1) Department of Computer Science and Engineering, Indian Institute of Technology Hyderabad, India, (2) RIKEN Center for AI Project, Tokyo, Japan)(参考訳) ディープ・ガウシアン・プロセス(DGP)は多層で柔軟なガウシアン・プロセスの拡張である。 スパース近似はトレーニングを単純化するが、多くのインジェクションインプットとそのレイヤ間の位置を最適化する必要があることが多い。 本稿では,データの固定されたサブセットに位置を設定し,変動分布からインジェクションインプットをサンプリングすることで,学習を簡略化する。 これにより、回帰問題に関する経験的な結果によって示されるように、トレーニング可能なパラメータと計算コストを大幅な性能劣化なしに削減できる。 我々の修正はDGPトレーニングを簡素化し、安定させ、インジェクション入力の設定のためのサンプリングスキームを作成できるようにする。

Deep Gaussian Processes (DGPs) are multi-layer, flexible extensions of Gaussian processes but their training remains challenging. Sparse approximations simplify the training but often require optimization over a large number of inducing inputs and their locations across layers. In this paper, we simplify the training by setting the locations to a fixed subset of data and sampling the inducing inputs from a variational distribution. This reduces the trainable parameters and computation cost without significant performance degradations, as demonstrated by our empirical results on regression problems. Our modifications simplify and stabilize DGP training while making it amenable to sampling schemes for setting the inducing inputs.
翻訳日:2021-07-20 15:13:31 公開日:2021-07-17
# 生音声からの韻律の非識別表現の学習

Learning De-identified Representations of Prosody from Raw Audio ( http://arxiv.org/abs/2107.08248v1 )

ライセンス: Link先を確認
Jack Weston, Raphael Lenain, Udeepa Meepegama and Emil Fristed(参考訳) コントラッシブな自己教師付き信号を用いて生音声から不特定韻律表現を学習する手法を提案する。 先行研究はボトルネックの条件付けモデルに依存してきたが, 音韻の自然な構造を利用して音韻情報を最小化し, 話者表現から韻律を分離する帰納的バイアスを導入する。 入力を積極的にダウンサンプリングし、言語情報にアクセスできないにもかかわらず、我々のモデルは、DAMMPにおける最先端の音声表現と互換性がある。 最小記述長プロービングを用いて、我々の表現が非ティムブラル韻律のサブコンポーネントを選択的に学習し、製品量子化器がボトルネックを使わずにそれらを自然に分離することを示す。 我々は、音声の識別性に関する情報理論的な定義を導き、それを用いて、韻律表現が他の音声表現よりも識別しにくいことを示す。

We propose a method for learning de-identified prosody representations from raw audio using a contrastive self-supervised signal. Whereas prior work has relied on conditioning models on bottlenecks, we introduce a set of inductive biases that exploit the natural structure of prosody to minimize timbral information and decouple prosody from speaker representations. Despite aggressive downsampling of the input and having no access to linguistic information, our model performs comparably to state-of-the-art speech representations on DAMMP, a new benchmark we introduce for spoken language understanding. We use minimum description length probing to show that our representations have selectively learned the subcomponents of non-timbral prosody, and that the product quantizer naturally disentangles them without using bottlenecks. We derive an information-theoreti c definition of speech de-identifiability and use it to demonstrate that our prosody representations are less identifiable than other speech representations.
翻訳日:2021-07-20 15:11:47 公開日:2021-07-17
# M2Lens: 知覚分析のためのマルチモーダルモデルの可視化と説明

M2Lens: Visualizing and Explaining Multimodal Models for Sentiment Analysis ( http://arxiv.org/abs/2107.08264v1 )

ライセンス: Link先を確認
Xingbo Wang, Jianben He, Zhihua Jin, Muqiao Yang, Huamin Qu(参考訳) マルチモーダル感情分析は、言語内容(テキスト)、音声、表情など、複数のコミュニケーションチャネルから人々の態度を認識することを目的としている。 自然言語処理における活発で重要な研究テーマとなっている。 多くの研究は異なる通信チャネル間の複雑なモーダル内相互作用のモデル化に焦点を当てている。 しかし、現在のマルチモーダルモデルは、しばしばディープラーニングに基づく技術であり、ブラックボックスのように機能する。 モデルがどのように感情予測にマルチモーダル情報を利用するのかは明らかではない。 機械学習モデルの説明可能性を高める技術が近年進歩しているにもかかわらず、それらはしばしば単調なシナリオ(画像、文など)をターゲットにしており、マルチモーダルモデルを説明する研究はほとんど行われていない。 本稿では,感情分析のためのマルチモーダルモデルの可視化と説明を行う対話型視覚分析システムM2Lensを提案する。 M2Lensは、グローバル、サブセット、および局所レベルでのモーダル内およびモーダル間相互作用の説明を提供する。 具体的には、モデル予測に対する3つの典型的な相互作用タイプ(支配、補完、対立)の影響を要約する。 さらに、M2Lensは、頻繁で影響力のあるマルチモーダルの特徴を特定し、言語、音響、視覚的モダリティからモデル行動の多面的探索を支援する。 2つのケーススタディとエキスパートインタビューを通じて,本システムは感情分析のマルチモーダルモデルに対する深い洞察を得る上で有効であることを実証する。

Multimodal sentiment analysis aims to recognize people's attitudes from multiple communication channels such as verbal content (i.e., text), voice, and facial expressions. It has become a vibrant and important research topic in natural language processing. Much research focuses on modeling the complex intra- and inter-modal interactions between different communication channels. However, current multimodal models with strong performance are often deep-learning-based techniques and work like black boxes. It is not clear how models utilize multimodal information for sentiment predictions. Despite recent advances in techniques for enhancing the explainability of machine learning models, they often target unimodal scenarios (e.g., images, sentences), and little research has been done on explaining multimodal models. In this paper, we present an interactive visual analytics system, M2Lens, to visualize and explain multimodal models for sentiment analysis. M2Lens provides explanations on intra- and inter-modal interactions at the global, subset, and local levels. Specifically, it summarizes the influence of three typical interaction types (i.e., dominance, complement, and conflict) on the model predictions. Moreover, M2Lens identifies frequent and influential multimodal features and supports the multi-faceted exploration of model behaviors from language, acoustic, and visual modalities. Through two case studies and expert interviews, we demonstrate our system can help users gain deep insights into the multimodal models for sentiment analysis.
翻訳日:2021-07-20 15:11:29 公開日:2021-07-17
# 逆サンプリングによる神経分類器の自動フェアネステスト

Automatic Fairness Testing of Neural Classifiers through Adversarial Sampling ( http://arxiv.org/abs/2107.08176v1 )

ライセンス: Link先を確認
Peixin Zhang, Jingyi Wang, Jun Sun, Xinyu Wang, Guoliang Dong, Xingen Wang, Ting Dai, Jin Song Dong(参考訳) ディープラーニングは多くのアプリケーションで驚くべきパフォーマンスを示しているが、その信頼性には依然として懸念がある。 社会的影響のあるディープラーニング応用の望ましい特性は、公正性(非差別)である。 残念なことに、トレーニングデータの識別のため、差別は本質的にモデルに埋め込まれる可能性がある。 対策として、フェアネステスト(fairness testing)は、モデルの再トレーニングとフェアネスの改善に使用できる識別サンプルを体系的に識別する。 しかし、既存の公正テストアプローチには2つの大きな制限がある。 まず、従来の機械学習モデルでのみうまく動作し、ディープラーニングモデルでパフォーマンス(有効性と効率性など)が低下する。 第2に、単純な表データのみで動作するため、テキストなどのドメインには適用できない。 本研究では,識別サンプルを体系的に検索するスケーラブルで効果的な手法を提案し,公平性テストを拡張してテキスト分類という課題に対処することでギャップを埋める。 最先端の手法と比較すると,グラデーション計算やクラスタリングといった軽量な手法のみを採用しており,スケーラビリティが向上している。 実験の結果,提案手法は検索空間をより効果的に探索し(9.62 倍,2.38 倍),妥当な時間内により個別の判別インスタンス(24.95 倍,2.68 倍)を生成することがわかった。 再訓練されたモデルは、それぞれ平均57.2%と60.2%の差別を減らす。

Although deep learning has demonstrated astonishing performance in many applications, there are still concerns on their dependability. One desirable property of deep learning applications with societal impact is fairness (i.e., non-discrimination). Unfortunately, discrimination might be intrinsically embedded into the models due to discrimination in the training data. As a countermeasure, fairness testing systemically identifies discriminative samples, which can be used to retrain the model and improve its fairness. Existing fairness testing approaches however have two major limitations. First, they only work well on traditional machine learning models and have poor performance (e.g., effectiveness and efficiency) on deep learning models. Second, they only work on simple tabular data and are not applicable for domains such as text. In this work, we bridge the gap by proposing a scalable and effective approach for systematically searching for discriminative samples while extending fairness testing to address a challenging domain, i.e., text classification. Compared with state-of-the-art methods, our approach only employs lightweight procedures like gradient computation and clustering, which makes it significantly more scalable. Experimental results show that on average, our approach explores the search space more effectively (9.62 and 2.38 times more than the state-of-art methods respectively on tabular and text datasets) and generates much more individual discriminatory instances (24.95 and 2.68 times) within reasonable time. The retrained models reduce discrimination by 57.2% and 60.2% respectively on average.
翻訳日:2021-07-20 15:09:00 公開日:2021-07-17
# 事前確率シフト下における量子化子分散の最小化

Minimising quantifier variance under prior probability shift ( http://arxiv.org/abs/2107.08209v1 )

ライセンス: Link先を確認
Dirk Tasche(参考訳) 事前確率シフト下での2進分布定量化問題に対して, 最大確率推定器の漸近分散を求める。 テストデータセットの分布の下の特徴に対して,クラスラベルの回帰に対するブライアスコアの関数であることが判明した。 この観察結果から,学習データセットにおける基底分類器の精度の最適化は,テストデータセットにおける関連量化器のばらつきを低減するのに役立つことが示唆された。 そこで,本研究では,ベース分類器の訓練条件として,トレーニングデータとテストデータセットのブライヤスコアの双方を最適化することを提案する。

For the binary prevalence quantification problem under prior probability shift, we determine the asymptotic variance of the maximum likelihood estimator. We find that it is a function of the Brier score for the regression of the class label against the features under the test data set distribution. This observation suggests that optimising the accuracy of a base classifier on the training data set helps to reduce the variance of the related quantifier on the test data set. Therefore, we also point out training criteria for the base classifier that imply optimisation of both of the Brier scores on the training and the test data sets.
翻訳日:2021-07-20 15:07:30 公開日:2021-07-17
# 方向性図形モデルのモデル不確かさと修正性

Model Uncertainty and Correctability for Directed Graphical Models ( http://arxiv.org/abs/2107.08179v1 )

ライセンス: Link先を確認
Panagiota Birmpa, Jinchao Feng, Markos A. Katsoulakis, Luc Rey-Bellet(参考訳) 確率的グラフィカルモデルは確率的モデリング、機械学習、人工知能の基本的なツールである。 それらは、専門家の知識、物理的なモデリング、異質で相関したデータ、関心の量といった自然な方法で統合することができます。 正確な理由から、モデル不確実性の複数の源は、グラフィカルモデルのモジュラ構造に固有のものである。 本稿では,多ソースモデルの不確かさのグラフによる影響と伝播を評価するために,情報理論,頑健な不確実性定量化手法,および非パラメトリックストレス試験を開発した。 これらの手法により、異なる不確実性源をランク付けし、関心の量に対して最も影響のあるコンポーネントをターゲットにすることで、グラフィカルモデルを修正することができる。 したがって、機械学習の観点からは、モデルの他の部分のプロセスで発生する潜在的な新しいエラーを制御しつつ、グラフィカルモデルのコンポーネントの改善のための体系的な選択を保証する、数学的に厳密な修正可能性のアプローチを提供する。 本手法は, 量子スケールインフォームド化学反応と燃料電池の効率向上のための材料スクリーニングの2つの物理化学的例で実証した。

Probabilistic graphical models are a fundamental tool in probabilistic modeling, machine learning and artificial intelligence. They allow us to integrate in a natural way expert knowledge, physical modeling, heterogeneous and correlated data and quantities of interest. For exactly this reason, multiple sources of model uncertainty are inherent within the modular structure of the graphical model. In this paper we develop information-theoreti c, robust uncertainty quantification methods and non-parametric stress tests for directed graphical models to assess the effect and the propagation through the graph of multi-sourced model uncertainties to quantities of interest. These methods allow us to rank the different sources of uncertainty and correct the graphical model by targeting its most impactful components with respect to the quantities of interest. Thus, from a machine learning perspective, we provide a mathematically rigorous approach to correctability that guarantees a systematic selection for improvement of components of a graphical model while controlling potential new errors created in the process in other parts of the model. We demonstrate our methods in two physico-chemical examples, namely quantum scale-informed chemical kinetics and materials screening to improve the efficiency of fuel cells.
翻訳日:2021-07-20 15:05:25 公開日:2021-07-17
# 反復的ネットワーク・プルーニング・拡張・マスキングによるタスク指向対話システムの連続学習

Continual Learning for Task-oriented Dialogue System with Iterative Network Pruning, Expanding and Masking ( http://arxiv.org/abs/2107.08173v1 )

ライセンス: Link先を確認
Binzong Geng, Fajie Yuan, Qiancheng Xu, Ying Shen, Ruifeng Xu, Min Yang(参考訳) オンライン対話システムの開発には,従来トレーニングされていた課題を忘れずに連続的なタスクを学習する能力が不可欠である。 本稿では,タスク指向対話システムにおいて,反復的ネットワークプルーニング,拡張,マスキング(TPEM)による効果的な連続学習を提案する。 特に, TPEM (i) は, 従来のタスクに対する知識を維持するためにネットワークプルーニングを活用し, (ii) 新たなタスクに対する自由ウェイトを作成するためにネットワーク拡張を採用し, (iii) タスク固有のネットワークマスキングを導入して, 古いタスクの固定重みの負の影響を軽減する。 3つのベンチマークデータセットから7つのタスクについて広範な実験を行い、TPEMが強力な競合相手よりも大幅に改善された結果をもたらすことを実証的に示す。 再現性のために、コードとデータを https://github.com/s iat-nlp/TPEM

This ability to learn consecutive tasks without forgetting how to perform previously trained problems is essential for developing an online dialogue system. This paper proposes an effective continual learning for the task-oriented dialogue system with iterative network pruning, expanding and masking (TPEM), which preserves performance on previously encountered tasks while accelerating learning progress on subsequent tasks. Specifically, TPEM (i) leverages network pruning to keep the knowledge for old tasks, (ii) adopts network expanding to create free weights for new tasks, and (iii) introduces task-specific network masking to alleviate the negative impact of fixed weights of old tasks on new tasks. We conduct extensive experiments on seven different tasks from three benchmark datasets and show empirically that TPEM leads to significantly improved results over the strong competitors. For reproducibility, we submit the code and data at: https://github.com/s iat-nlp/TPEM
翻訳日:2021-07-20 15:04:28 公開日:2021-07-17
# rams-trans:recurrent attention multi-scale transformer forfine-grained image recognition

RAMS-Trans: Recurrent Attention Multi-scale Transformer forFine-grained Image Recognition ( http://arxiv.org/abs/2107.08192v1 )

ライセンス: Link先を確認
Yunqing Hu, Xuan Jin, Yin Zhang, Haiwen Hong, Jingfeng Zhang, Yuan He, Hui Xue(参考訳) きめ細かい画像認識(FGIR)では、領域の注意の局所化と増幅が重要であり、畳み込みニューラルネットワーク(CNN)に基づくアプローチによって多くの研究がなされている。 最近開発されたビジョントランス (ViT) はコンピュータビジョンタスクにおいて有望な結果を得た。 CNNと比較すると、画像シーケンシャル化はまったく新しい方法だ。 しかし、ViTは受容野の大きさに制限があり、パッチのサイズが固定されているためCNNのような局所的な注意を欠いているため、識別領域の注意を学習するためのマルチスケールの特徴を生成できない。 ボックス/パートアノテーションを使わずに識別領域の注意を学習しやすくするために,注目重みの強さを用いて,原画像に対応するパッチトークンの重要性を計測する。 本稿では,マルチスケール方式で再帰的領域注意を学習するために,トランスの自己アテンションを用いたリカレントアテンションマルチスケールトランス(rams-trans)を提案する。 具体的には,マルチスケールイメージパッチの統合を完結させるために,動的パッチ提案モジュール (dppm) による領域増幅を行う。 dppmは、フルサイズのイメージパッチから始まり、各スケールで生成された注意重みの強度を指標として、グローバルからローカルに新しいパッチを生成するために、地域注意を反復的にスケールアップする。 当社のアプローチでは,vit自体に付属する注意重みのみが必要で,エンドツーエンドのトレーニングも容易です。 広範な実験により、rams-transは、効率的なcnnモデルに加えて、並列処理よりも優れたパフォーマンスを示し、3つのベンチマークデータセットで最先端の結果を得る。

In fine-grained image recognition (FGIR), the localization and amplification of region attention is an important factor, which has been explored a lot by convolutional neural networks (CNNs) based approaches. The recently developed vision transformer (ViT) has achieved promising results on computer vision tasks. Compared with CNNs, Image sequentialization is a brand new manner. However, ViT is limited in its receptive field size and thus lacks local attention like CNNs due to the fixed size of its patches, and is unable to generate multi-scale features to learn discriminative region attention. To facilitate the learning of discriminative region attention without box/part annotations, we use the strength of the attention weights to measure the importance of the patch tokens corresponding to the raw images. We propose the recurrent attention multi-scale transformer (RAMS-Trans), which uses the transformer's self-attention to recursively learn discriminative region attention in a multi-scale manner. Specifically, at the core of our approach lies the dynamic patch proposal module (DPPM) guided region amplification to complete the integration of multi-scale image patches. The DPPM starts with the full-size image patches and iteratively scales up the region attention to generate new patches from global to local by the intensity of the attention weights generated at each scale as an indicator. Our approach requires only the attention weights that come with ViT itself and can be easily trained end-to-end. Extensive experiments demonstrate that RAMS-Trans performs better than concurrent works, in addition to efficient CNN models, achieving state-of-the-art results on three benchmark datasets.
翻訳日:2021-07-20 15:02:29 公開日:2021-07-17
# 部分的手がかりを2回探す:車両再識別のための部分教師付き注意ネットワーク

Looking Twice for Partial Clues: Weakly-supervised Part-Mentored Attention Network for Vehicle Re-Identification ( http://arxiv.org/abs/2107.08228v1 )

ライセンス: Link先を確認
Lisha Tang, Yi Wang, Lap-Pui Chau(参考訳) 車両の再識別(Re-ID)は、異なるカメラで同じ車両の画像を取得することである。 2つの重要な課題は、重複に近いアイデンティティによって引き起こされる微妙な間欠落と、異なる視点によって引き起こされる大きな内乱である。 全体的外観は視点のばらつきや歪みに苦しむため,部分的特徴学習の導入により車両記述の充実が図られている。 しかし、重要な部分のローカライズと増幅のための既存のアプローチは、しばしば空間的ミスアライメントや隠蔽、高価なアノテーションの処理に失敗する。 本稿では,自己注意を伴う車両部品位置決めのための部分注意ネットワーク(PANet)と,グローバルかつ局所的な特徴集約を指導する部分意識ネットワーク(PMNet)からなる,弱制御された部分意識ネットワーク(PMANet)を提案する。 まず、PANetはフォアグラウンドマスクを予測し、個人認証を弱めるだけでK$の著名な車両部品をピンポイントする。 第2に,PMNetを提案することで,グローバルおよびパートレベルの機能をマルチスケールで学習し,パート転送によるメインパーティショナリタスクとして$Kで集約する。 一般的な情報で物体を識別し、より詳細な手がかりを得るために静かな部分を観察する人間のように、PANetとPMNetは2段階の注意構造を構築し、アイデンティティ間の粗い探索を行う。 最後に,グローバル機能学習,アイデンティティ分類,パート転送といったマルチタスク問題として,この問題に対処します。 我々は、異なる損失の最適重み付けを学ぶためにホモシデスティックな不確実性を採用する。 2つのベンチマークデータセットで総合的な実験を行う。 提案手法は,cmc@1では平均2.63%,veri776では2.2%と,最新の最先端手法を上回っている。 occludedテストセットの結果もpmanetの一般化能力を示している。

Vehicle re-identification (Re-ID) is to retrieve images of the same vehicle across different cameras. Two key challenges lie in the subtle inter-instance discrepancy caused by near-duplicate identities and the large intra-instance variance caused by different views. Since the holistic appearance suffers from viewpoint variation and distortion, part-level feature learning has been introduced to enhance vehicle description. However, existing approaches to localize and amplify significant parts often fail to handle spatial misalignment as well as occlusion and require expensive annotations. In this paper, we propose a weakly supervised Part-Mentored Attention Network (PMANet) composed of a Part Attention Network (PANet) for vehicle part localization with self-attention and a Part-Mentored Network (PMNet) for mentoring the global and local feature aggregation. Firstly, PANet is introduced to predict a foreground mask and pinpoint $K$ prominent vehicle parts only with weak identity supervision. Secondly, we propose a PMNet to learn global and part-level features with multi-scale attention and aggregate them in $K$ main-partial tasks via part transfer. Like humans who first differentiate objects with general information and then observe salient parts for more detailed clues, PANet and PMNet construct a two-stage attention structure to perform a coarse-to-fine search among identities. Finally, we address this Re-ID issue as a multi-task problem, including global feature learning, identity classification, and part transfer. We adopt Homoscedastic Uncertainty to learn the optimal weighing of different losses. Comprehensive experiments are conducted on two benchmark datasets. Our approach outperforms recent state-of-the-art methods by averagely 2.63% in CMC@1 on VehicleID and 2.2% in mAP on VeRi776. Results on occluded test sets also demonstrate the generalization ability of PMANet.
翻訳日:2021-07-20 15:02:00 公開日:2021-07-17
# PICASO: Permutation-invarian t Cascaded Attentional Set Operator

PICASO: Permutation-Invarian t Cascaded Attentional Set Operator ( http://arxiv.org/abs/2107.08305v1 )

ライセンス: Link先を確認
Samira Zare, Hien Van Nguyen(参考訳) セット入力型ディープネットワークは最近、コンピュータビジョンと機械学習に大きな関心を寄せている。 これは部分的には、メタ学習、クラスタリング、およびセット入力で定義された異常検出などの重要なタスクの増加によるものだ。 これらのネットワークは任意の数の入力サンプルを取得し、入力セットの置換に不変な出力を生成する必要がある。 この緊急ニーズに対応するために、いくつかのアルゴリズムが最近開発された。 本稿では,これらのアルゴリズムを合成データと実世界データの両方を用いて解析し,画像翻訳や視点変化といった一般的なデータ変動を扱うには有効ではないことを示す。 この制限に対処するため、置換不変カスケード型注意セット演算子(PICASO)を提案する。 PICASOのジストは動的テンプレートを持つマルチヘッドアテンションブロックのカスケードである。 提案したオペレータはスタンドアロンモジュールであり、さまざまな機械学習タスクに適応して拡張することができる。 我々は, PICASO の有用性を, (i) クラスタリング, (ii) 新たな視点による画像分類, (iii) 画像異常検出, (iv) 状態予測の4つのシナリオで示す。 PICASOは、新しい視点でSmallNORB画像分類の精度を約10%向上させる。 celebaデータセットの異常検出には,roc と pr 曲線のデータセットの面積をそれぞれ約 22% と 10% 改善する。 CLEVRデータセットの状態予測では、APを約40%改善する。

Set-input deep networks have recently drawn much interest in computer vision and machine learning. This is in part due to the increasing number of important tasks such as meta-learning, clustering, and anomaly detection that are defined on set inputs. These networks must take an arbitrary number of input samples and produce the output invariant to the input set permutation. Several algorithms have been recently developed to address this urgent need. Our paper analyzes these algorithms using both synthetic and real-world datasets, and shows that they are not effective in dealing with common data variations such as image translation or viewpoint change. To address this limitation, we propose a permutation-invarian t cascaded attentional set operator (PICASO). The gist of PICASO is a cascade of multihead attention blocks with dynamic templates. The proposed operator is a stand-alone module that can be adapted and extended to serve different machine learning tasks. We demonstrate the utilities of PICASO in four diverse scenarios: (i) clustering, (ii) image classification under novel viewpoints, (iii) image anomaly detection, and (iv) state prediction. PICASO increases the SmallNORB image classification accuracy with novel viewpoints by about 10% points. For set anomaly detection on CelebA dataset, our model improves the areas under ROC and PR curves dataset by about 22% and 10%, respectively. For the state prediction on CLEVR dataset, it improves the AP by about 40%.
翻訳日:2021-07-20 15:01:26 公開日:2021-07-17
# ドメイン非依存学習によるヘテロジニアスフェイスフロントアライズ

Heterogeneous Face Frontalization via Domain Agnostic Learning ( http://arxiv.org/abs/2107.08311v1 )

ライセンス: Link先を確認
Xing Di, Shuowen Hu and Vishal M. Patel(参考訳) 深部畳み込みニューラルネットワーク(DCNN)の最近の進歩は、サーマルから可視的な顔合成およびマッチング問題に対する顕著な性能改善を示している。 しかし、現在のDCNNベースの合成モデルは、ポーズの変化が大きい熱面ではうまく機能しない。 この問題に対処するためには,モデルが熱プロファイル顔画像を取得して正面可視顔を生成するような異種顔前面化手法が必要となる。 これは、大きな領域と2つのモダリティの間に大きな相違があるため、非常に難しい問題である。 バイオメトリックスや監視に応用されているにもかかわらず、この問題は文献では比較的解明されていない。 本研究では, 視覚領域における正面視を, ポーズのバリエーションで合成できるドメイン非依存学習型生成逆数ネットワーク(DAL-GAN)を提案する。 DAL-GANは、補助分類器を備えたジェネレータと、より優れた合成のために局所的およびグローバルなテクスチャ識別をキャプチャする2つの識別器から構成される。 ジェネレータの潜伏空間には、特徴ベクトル判別を改善するデュアルパストレーニング戦略の助けを借りて、対照的な制約が適用される。 最後に、多目的損失関数を用いて、ドメイン間のフロント化を保持するアイデンティティを合成するネットワークを誘導する。 DAL-GANは,他のベースライン法と比較して,高品質な正面視を生成できることを示した。

Recent advances in deep convolutional neural networks (DCNNs) have shown impressive performance improvements on thermal to visible face synthesis and matching problems. However, current DCNN-based synthesis models do not perform well on thermal faces with large pose variations. In order to deal with this problem, heterogeneous face frontalization methods are needed in which a model takes a thermal profile face image and generates a frontal visible face. This is an extremely difficult problem due to the large domain as well as large pose discrepancies between the two modalities. Despite its applications in biometrics and surveillance, this problem is relatively unexplored in the literature. We propose a domain agnostic learning-based generative adversarial network (DAL-GAN) which can synthesize frontal views in the visible domain from thermal faces with pose variations. DAL-GAN consists of a generator with an auxiliary classifier and two discriminators which capture both local and global texture discriminations for better synthesis. A contrastive constraint is enforced in the latent space of the generator with the help of a dual-path training strategy, which improves the feature vector discrimination. Finally, a multi-purpose loss function is utilized to guide the network in synthesizing identity preserving cross-domain frontalization. Extensive experimental results demonstrate that DAL-GAN can generate better quality frontal views compared to the other baseline methods.
翻訳日:2021-07-20 15:01:07 公開日:2021-07-17
# 時間的行動提案生成のためのエージェント環境ネットワーク

Agent-Environment Network for Temporal Action Proposal Generation ( http://arxiv.org/abs/2107.08323v1 )

ライセンス: Link先を確認
Viet-Khoa Vo-Ho, Ngan Le, Kashu Yamazaki, Akihiro Sugimoto, Minh-Triet Tran(参考訳) 時間的行動提案生成は、ビデオ中の人間の行動を含む時間的間隔をローカライズすることを目的とした、不可欠かつ困難なタスクである。 既存のアプローチのほとんどは、アクションの概念を表現するための注意機構の欠如や、エージェントと環境の間のアクションや相互作用を行うエージェントのために、ビデオコンテキストを理解する人間の認知プロセスに従うことができない。 エージェントとして知られる人間が環境と相互作用し、環境に影響を与えるアクションを実行するというアクション定義に基づいて、コンテキストエージェント環境ネットワークを提案する。 提案手法は, (i) エージェント経路と, (ii) エージェントが環境とどのように相互作用するかを知るため, (i) エージェント経路と, (ii) 環境経路をグローバルレベルで動作させる。 C3DとSlowFastの20アクションTHUMOS-14と200アクションActivityNet-1.3データセットの総合評価により,採用したバックボーンネットワークによらず,最先端の手法に対して堅牢な性能を示すことを示す。

Temporal action proposal generation is an essential and challenging task that aims at localizing temporal intervals containing human actions in untrimmed videos. Most of existing approaches are unable to follow the human cognitive process of understanding the video context due to lack of attention mechanism to express the concept of an action or an agent who performs the action or the interaction between the agent and the environment. Based on the action definition that a human, known as an agent, interacts with the environment and performs an action that affects the environment, we propose a contextual Agent-Environment Network. Our proposed contextual AEN involves (i) agent pathway, operating at a local level to tell about which humans/agents are acting and (ii) environment pathway operating at a global level to tell about how the agents interact with the environment. Comprehensive evaluations on 20-action THUMOS-14 and 200-action ActivityNet-1.3 datasets with different backbone networks, i.e C3D and SlowFast, show that our method robustly exhibits outperformance against state-of-the-art methods regardless of the employed backbone network.
翻訳日:2021-07-20 15:00:45 公開日:2021-07-17
# 政策最適化のための強欲演算子:前方および逆klダイバージェンスの検討

Greedification Operators for Policy Optimization: Investigating Forward and Reverse KL Divergences ( http://arxiv.org/abs/2107.08285v1 )

ライセンス: Link先を確認
Alan Chan, Hugo Silva, Sungsu Lim, Tadashi Kozuno, A. Rupam Mahmood, Martha White(参考訳) Approximate Policy Iteration (API)アルゴリズムは、(近似)ポリシー評価と(近似)グリード化を交互に行う。 概略政策評価のために多くの異なるアプローチが検討されているが、近似欲欲化や政策改善の選択肢についてはあまり理解されていない。 本研究では,パラメータ化ポリシーとボルツマン分布とのkl発散を作用値上で減少させる場合の近似欲化について検討する。 特に、エントロピー正則化の度合いの異なる前方と後方のKL発散の差について検討する。 逆KLは、より強力な政策改善保証を有するが、前方KLの削減は、より悪い政策をもたらす可能性があることを示す。 しかしながら, 前方KLの大幅な削減は, 追加の仮定で改善を誘導できることを示す。 実証的に、我々は、前方のKLがより多くの探索を誘発できる単純な連続的な環境を示すが、より最適な政策を犠牲にしている。 離散行動設定やベンチマーク問題スイートでは,有意な差は認められなかった。 全体として、ポリシーの最適化アルゴリズムの理解と改善の次のステップについて議論し、ポリシー更新の前後のKLを使って、多くのポリシー勾配メソッドをAPIのインスタンスとみなすことができる点を強調した。

Approximate Policy Iteration (API) algorithms alternate between (approximate) policy evaluation and (approximate) greedification. Many different approaches have been explored for approximate policy evaluation, but less is understood about approximate greedification and what choices guarantee policy improvement. In this work, we investigate approximate greedification when reducing the KL divergence between the parameterized policy and the Boltzmann distribution over action values. In particular, we investigate the difference between the forward and reverse KL divergences, with varying degrees of entropy regularization. We show that the reverse KL has stronger policy improvement guarantees, but that reducing the forward KL can result in a worse policy. We also demonstrate, however, that a large enough reduction of the forward KL can induce improvement under additional assumptions. Empirically, we show on simple continuous-action environments that the forward KL can induce more exploration, but at the cost of a more suboptimal policy. No significant differences were observed in the discrete-action setting or on a suite of benchmark problems. Throughout, we highlight that many policy gradient methods can be seen as an instance of API, with either the forward or reverse KL for the policy update, and discuss next steps for understanding and improving our policy optimization algorithms.
翻訳日:2021-07-20 14:51:46 公開日:2021-07-17
# fair balance: データバランシングによる複数の保護属性に対する機械学習バイアスの軽減

Fair Balance: Mitigating Machine Learning Bias Against Multiple Protected Attributes With Data Balancing ( http://arxiv.org/abs/2107.08310v1 )

ライセンス: Link先を確認
Zhe Yu(参考訳) 本稿では,複数の保護されたアトリビュートにおける機械学習の公平性を改善することを目的とする。 機械学習の公平性は、高リスクと高リスクの決定に機械学習モデルがますます使われているため、注目を集めている。 機械学習フェアネスのための既存のソリューションのほとんどは、保護された属性(例)を1つだけターゲットとしている。 セックス) 一度に これらのソリューションは、(例えば)すべての保護された属性に対して公平なマシンラーニングモデルを生成することができない。 性別も人種も)同時に。 本論文では,機械学習モデルを学習する前に,保護属性ごとのトレーニングデータの分散のバランスをとるために,FairBalanceを提案する。 以上の結果から,FairBalanceは,未バイアスの真実ラベルを仮定して,予測性能に悪影響を及ぼすことなく,既知のすべての属性に対するバイアス指標(AOD, EOD, SPD)を著しく低減することができることがわかった。

This paper aims to improve machine learning fairness on multiple protected at-tributes. Machine learning fairness has attracted increasing attention since machine learning models are increasingly used for high-stakes and high-risk decisions. Most existing solutions for machine learning fairness only target one protected attribute(e.g. sex) at a time. These solutions cannot generate a machine learning model which is fair against every protected attribute (e.g. both sex and race) at the same time. To solve this problem, we propose FairBalance in this paper to balance the distribution of training data across every protected attribute before training the machine learning models. Our results show that, under the assumption of unbiased ground truth labels, FairBalance can significantly reduce bias metrics (AOD, EOD, and SPD) on every known protected attribute without much, if not any damage to the prediction performance.
翻訳日:2021-07-20 14:51:24 公開日:2021-07-17
# data-informed deep optimization

Data-informed Deep Optimization ( http://arxiv.org/abs/2107.08166v1 )

ライセンス: Link先を確認
Lulu Zhang, Zhi-Qin John Xu, Yaoyu Zhang(参考訳) 複雑な設計問題は科学や産業の分野でよく見られる。 実際には、これらの問題の客観的関数や制約は、しばしば明示的な公式を持たず、実験やシミュレーションを通じてサンプリングポイントのセットでのみ推定できる。 このような最適化問題は、設計パラメータが次元の呪いのために高次元である場合、特に困難である。 本研究では,データインフォームドディープ最適化(DiDo)手法を提案する。まず,深層ニューラルネットワーク(DNN)分類器を用いて実現可能な領域を学習し,次に,DNN分類器に基づいて目的関数の適合点をサンプリングし,勾配勾配勾配によるDNN-サロゲート最適化問題の最適点を求める。 didoアプローチの有効性を示すために,我々は,トレーニングデータのサイズを限定した優れたソリューションを産業界で実現する実践的な設計事例を考察する。 さらに,高次元問題に対するモデルの有効性を示すために,100次元玩具の例を用いる。 以上の結果から,DNN による DiDo のアプローチは柔軟で,現実的な高次元設計問題の解決に有効であることが示唆された。

Complex design problems are common in the scientific and industrial fields. In practice, objective functions or constraints of these problems often do not have explicit formulas, and can be estimated only at a set of sampling points through experiments or simulations. Such optimization problems are especially challenging when design parameters are high-dimensional due to the curse of dimensionality. In this work, we propose a data-informed deep optimization (DiDo) approach as follows: first, we use a deep neural network (DNN) classifier to learn the feasible region; second, we sample feasible points based on the DNN classifier for fitting of the objective function; finally, we find optimal points of the DNN-surrogate optimization problem by gradient descent. To demonstrate the effectiveness of our DiDo approach, we consider a practical design case in industry, in which our approach yields good solutions using limited size of training data. We further use a 100-dimension toy example to show the effectiveness of our model for higher dimensional problems. Our results indicate that the DiDo approach empowered by DNN is flexible and promising for solving general high-dimensional design problems in practice.
翻訳日:2021-07-20 14:49:24 公開日:2021-07-17
# Tea: プログラム情報アテンション行列に基づくニューラルネットワークによるプログラム修復

Tea: Program Repair Using Neural Network Based on Program Information Attention Matrix ( http://arxiv.org/abs/2107.08262v1 )

ライセンス: Link先を確認
Wenshuo Wang, Chen Wu, Liang Cheng, Yang Zhang(参考訳) 機械学習(ML)駆動自然言語処理(NLP)の進歩は、バグ修正プログラムを翻訳タスクに変換することにより、ソフトウェアプログラムの自動バグ修正の有望な方向を示している。 ソフトウェアプログラムは1次元の自然言語文書よりもはるかにリッチな情報を含んでいるが、ML駆動のNLP技術を用いてプログラムの自動修復を行う先駆的な取り組みは、そのような情報の限られたセットのみを考慮に入れている。 ソフトウェアプログラムのより包括的な情報は、適切に利用すれば、ソフトウェアプログラムの修復におけるML駆動NLPアプローチの有効性を向上させることができると仮定する。 この仮説を証明するための第一歩として,ソフトウェアプログラムの構文,データフロー,制御フローの側面を捉える統一表現を提案し,そのような表現を用いてnlpからトランスフォーマモデルを導く手法を考案し,バグのあるプログラムの理解と修正を行う。 予備実験では,使用するソフトウェアプログラムの包括的情報が多いほど,これらのプログラムのバグの修正にml駆動nlp技術が有効であることを確認した。

The advance in machine learning (ML)-driven natural language process (NLP) points a promising direction for automatic bug fixing for software programs, as fixing a buggy program can be transformed to a translation task. While software programs contain much richer information than one-dimensional natural language documents, pioneering work on using ML-driven NLP techniques for automatic program repair only considered a limited set of such information. We hypothesize that more comprehensive information of software programs, if appropriately utilized, can improve the effectiveness of ML-driven NLP approaches in repairing software programs. As the first step towards proving this hypothesis, we propose a unified representation to capture the syntax, data flow, and control flow aspects of software programs, and devise a method to use such a representation to guide the transformer model from NLP in better understanding and fixing buggy programs. Our preliminary experiment confirms that the more comprehensive information of software programs used, the better ML-driven NLP techniques can perform in fixing bugs in these programs.
翻訳日:2021-07-20 14:48:59 公開日:2021-07-17
# 最小エントロピー結合としての暗黙的通信

Implicit Communication as Minimum Entropy Coupling ( http://arxiv.org/abs/2107.08295v1 )

ライセンス: Link先を確認
Samuel Sokota, Christian Schroeder de Witt, Maximilian Igl, Luisa Zintgraf, Philip Torr, Shimon Whiteson, Jakob Foerster(参考訳) 多くの共通ペイオフゲームにおいて、優れたパフォーマンスを達成するためには、プレイヤーは暗黙的にプライベート情報を通信するためのプロトコルを開発する必要がある。 マルチエージェント強化学習実践者は、エージェントが期待されるリターン最大化の副産物として暗黙のコミュニケーションを学ぶことを期待して、独立学習手法を用いてこの問題にアプローチする。 残念ながら、独立した学習方法は、多くの設定でこれを行うことができない。 本研究では,暗黙的参照ゲーム(暗黙的参照ゲーム)と呼ばれる,部分的に観察可能な共通支払いゲームのクラスを識別することで,暗黙的コミュニケーション問題を分離する。 次に,暗黙的参照ゲームの構造を利用した最小エントロピー結合に基づく原理的手法を導入し,暗黙的コミュニケーションに対する新たな視点を得る。 最後に、非常に大きなメッセージ空間を持つ設定において、この手法は性能の高い暗黙的な通信プロトコルを発見できることを示す。

In many common-payoff games, achieving good performance requires players to develop protocols for communicating their private information implicitly -- i.e., using actions that have non-communicative effects on the environment. Multi-agent reinforcement learning practitioners typically approach this problem using independent learning methods in the hope that agents will learn implicit communication as a byproduct of expected return maximization. Unfortunately, independent learning methods are incapable of doing this in many settings. In this work, we isolate the implicit communication problem by identifying a class of partially observable common-payoff games, which we call implicit referential games, whose difficulty can be attributed to implicit communication. Next, we introduce a principled method based on minimum entropy coupling that leverages the structure of implicit referential games, yielding a new perspective on implicit communication. Lastly, we show that this method can discover performant implicit communication protocols in settings with very large spaces of messages.
翻訳日:2021-07-20 14:48:39 公開日:2021-07-17
# co-teaching: 教師なしステレオマッチングのark

Co-Teaching: An Ark to Unsupervised Stereo Matching ( http://arxiv.org/abs/2107.08186v1 )

ライセンス: Link先を確認
Hengli Wang, Rui Fan, Ming Liu(参考訳) ステレオマッチングは自律運転知覚の重要な構成要素である。 最近の教師なしステレオマッチングアプローチは、不一致の根拠を必要とせず、十分な注意を払っている。 しかし、これらのアプローチは咬合位に乏しい。 本稿では,この欠点を克服するために,新しい教師なしステレオマッチング手法であるCoT-Stereoを提案する。 具体的には,非教師付きステレオマッチングのロバスト性を大幅に向上させるため,2つのネットワークが相互に教師なしの方法で咬合について指導するコティーチングフレームワークを採用する。 KITTI Stereoベンチマークの大規模な実験は、CoT-Stereoの精度と速度の両面で、最先端の非教師なしステレオマッチングアプローチよりも優れた性能を示した。 プロジェクトのWebページはhttps://sites.google .com/view/cot-stereo です。

Stereo matching is a key component of autonomous driving perception. Recent unsupervised stereo matching approaches have received adequate attention due to their advantage of not requiring disparity ground truth. These approaches, however, perform poorly near occlusions. To overcome this drawback, in this paper, we propose CoT-Stereo, a novel unsupervised stereo matching approach. Specifically, we adopt a co-teaching framework where two networks interactively teach each other about the occlusions in an unsupervised fashion, which greatly improves the robustness of unsupervised stereo matching. Extensive experiments on the KITTI Stereo benchmarks demonstrate the superior performance of CoT-Stereo over all other state-of-the-art unsupervised stereo matching approaches in terms of both accuracy and speed. Our project webpage is https://sites.google .com/view/cot-stereo .
翻訳日:2021-07-20 14:46:40 公開日:2021-07-17
# SCV-Stereo: 少ないコストでステレオマッチングを学習する

SCV-Stereo: Learning Stereo Matching from a Sparse Cost Volume ( http://arxiv.org/abs/2107.08187v1 )

ライセンス: Link先を確認
Hengli Wang, Rui Fan, Ming Liu(参考訳) 畳み込みニューラルネットワーク(CNN)に基づくステレオマッチングアプローチは、一般に、不均一性推定に高密度なコストボリューム(DCV)を必要とする。 しかし、そのようなコストボリュームの生成は計算集約的でメモリ消費であり、CNNのトレーニングや推論効率を妨げる。 この問題に対処するために,スパースコストボリューム(SCV)表現から高密度ステレオマッチングを学習可能な,新しいCNNアーキテクチャであるSCV-Stereoを提案する。 我々のインスピレーションは、DCV表現がやや冗長であり、SCV表現に置き換えられるという事実に由来する。 これらのSCV表現を活かして、SCV-Stereoは、精度と効率のよいステレオマッチングのために、反復的に不均一推定を更新できる。 KITTI Stereoベンチマークで行った大規模な実験により、我々のSCV-Stereoはステレオマッチングの精度と効率のトレードオフを著しく最小化できることが示された。 私たちのプロジェクトページはhttps://sites.google .com/view/scv-stereo です。

Convolutional neural network (CNN)-based stereo matching approaches generally require a dense cost volume (DCV) for disparity estimation. However, generating such cost volumes is computationally-inte nsive and memory-consuming, hindering CNN training and inference efficiency. To address this problem, we propose SCV-Stereo, a novel CNN architecture, capable of learning dense stereo matching from sparse cost volume (SCV) representations. Our inspiration is derived from the fact that DCV representations are somewhat redundant and can be replaced with SCV representations. Benefiting from these SCV representations, our SCV-Stereo can update disparity estimations in an iterative fashion for accurate and efficient stereo matching. Extensive experiments carried out on the KITTI Stereo benchmarks demonstrate that our SCV-Stereo can significantly minimize the trade-off between accuracy and efficiency for stereo matching. Our project page is https://sites.google .com/view/scv-stereo .
翻訳日:2021-07-20 14:46:28 公開日:2021-07-17
# woodscape fisheye semantic segmentation for autonomous driving -- cvpr 2021 omnicv workshop challenge

Woodscape Fisheye Semantic Segmentation for Autonomous Driving -- CVPR 2021 OmniCV Workshop Challenge ( http://arxiv.org/abs/2107.08246v1 )

ライセンス: Link先を確認
Saravanabalagi Ramachandran, Ganesh Sistu, John McDonald and Senthil Yogamani(参考訳) 我々は, CVPR 2021 Workshop on Omnidirectional Computer Vision (OmniCV) の一環として, 自律運転のためのWoodScape fisheyeセマンティックセマンティックセマンティックセマンティックセマンティクスの挑戦を行った。 この課題は,魚眼カメラ知覚を対象としたセマンティクスセグメンテーション手法を研究コミュニティが評価する最初の機会の1つである。 強い放射歪み標準モデルは魚眼画像にうまく一般化しないため、物体や物体の視覚的外観の変形を暗黙的に、あるいは明示的な知識としてエンコードする必要がある。 この課題は、魚眼画像に対する知覚の複雑さを扱うための課題と新しい手法を調査するための媒体となった。 この課題はCodaLabでホストされ、最近リリースされた10kサンプルからなるWoodScapeデータセットを使用した。 本稿では,71のグローバルチームが参加し,合計395の応募が集まったコンペの要約を紹介する。 トップチームは、ResNet-50バックボーンを使用したベースラインPSPNetよりも、平均IoUと精度が大幅に向上した。 勝利アルゴリズムの手法を要約し,失敗事例を分析した。 我々は研究の今後の方向性を提供することで結論づける。

We present the WoodScape fisheye semantic segmentation challenge for autonomous driving which was held as part of the CVPR 2021 Workshop on Omnidirectional Computer Vision (OmniCV). This challenge is one of the first opportunities for the research community to evaluate the semantic segmentation techniques targeted for fisheye camera perception. Due to strong radial distortion standard models don't generalize well to fisheye images and hence the deformations in the visual appearance of objects and entities needs to be encoded implicitly or as explicit knowledge. This challenge served as a medium to investigate the challenges and new methodologies to handle the complexities with perception on fisheye images. The challenge was hosted on CodaLab and used the recently released WoodScape dataset comprising of 10k samples. In this paper, we provide a summary of the competition which attracted the participation of 71 global teams and a total of 395 submissions. The top teams recorded significantly improved mean IoU and accuracy scores over the baseline PSPNet with ResNet-50 backbone. We summarize the methods of winning algorithms and analyze the failure cases. We conclude by providing future directions for the research.
翻訳日:2021-07-20 14:46:11 公開日:2021-07-17
# BEDS-Bench:分散シフト下におけるEHRモデルの挙動--ベンチマーク

BEDS-Bench: Behavior of EHR-models under Distributional Shift--A Benchmark ( http://arxiv.org/abs/2107.08189v1 )

ライセンス: Link先を確認
Anand Avati, Martin Seneviratne, Emily Xue, Zhen Xu, Balaji Lakshminarayanan and Andrew M. Dai(参考訳) 機械学習は最近、幅広いタスクにわたる予測精度の顕著な進歩を実証した。 ほとんどのMLアプローチは、トレーニングデータ(In-Distribution、IND)に類似した、見えないデータに対する一般化のパフォーマンスに焦点を当てている。 しかし、MLの実際のアプリケーションやデプロイは、常にINDである例に遭遇することの快適さを享受することは滅多にありません。 このような状況では、ほとんどのmlモデルは、誤った予測に高い信頼性を割り当てる、あるいは逆を割り当てるといった、分散外(ood)の例でerraticな振る舞いを示すことが多い。 このような異常なモデル行動の意義は、患者の健康を危険にさらす可能性がある医療環境においてさらに悪化する。 分散シフト下でのモデルの挙動とロバスト性の研究、共通の障害モードの理解、モデルのデプロイ前に緩和策を取ることが重要である。 モデルのこれらの側面に光を当てるベンチマークを持つことは、問題に対処するための最初の、必要なステップである。 近年のOOD設定におけるモデルロバスト性向上への関心は画像モダリティに焦点が当てられているが、Electronic Health Record(EHR)モダリティはいまだに未調査である。 OOD設定下でのEHRデータ上でのMLモデルの振る舞いを定量化するベンチマークであるBEDS-Benchをリリースすることによって、このギャップを埋めることを目指している。 2つのオープンアクセス、未識別のEHRデータセットを使用して、複数のOODデータ設定を構築してテストを実行し、モデルのOOD動作の重要な側面を特徴づける関連するメトリクスを測定します。 BEDS-Bench の学習アルゴリズムを複数評価した結果,一般に分布シフト下での一般化性能が低かった。 その結果,分布シフト下でのehrモデルのロバスト性向上の必要性と可能性を強調し,beds-benchは,その目標に向けた進捗を測定する一つの方法を提供している。

Machine learning has recently demonstrated impressive progress in predictive accuracy across a wide array of tasks. Most ML approaches focus on generalization performance on unseen data that are similar to the training data (In-Distribution, or IND). However, real world applications and deployments of ML rarely enjoy the comfort of encountering examples that are always IND. In such situations, most ML models commonly display erratic behavior on Out-of-Distribution (OOD) examples, such as assigning high confidence to wrong predictions, or vice-versa. Implications of such unusual model behavior are further exacerbated in the healthcare setting, where patient health can potentially be put at risk. It is crucial to study the behavior and robustness properties of models under distributional shift, understand common failure modes, and take mitigation steps before the model is deployed. Having a benchmark that shines light upon these aspects of a model is a first and necessary step in addressing the issue. Recent work and interest in increasing model robustness in OOD settings have focused more on image modality, while the Electronic Health Record (EHR) modality is still largely under-explored. We aim to bridge this gap by releasing BEDS-Bench, a benchmark for quantifying the behavior of ML models over EHR data under OOD settings. We use two open access, de-identified EHR datasets to construct several OOD data settings to run tests on, and measure relevant metrics that characterize crucial aspects of a model's OOD behavior. We evaluate several learning algorithms under BEDS-Bench and find that all of them show poor generalization performance under distributional shift in general. Our results highlight the need and the potential to improve robustness of EHR models under distributional shift, and BEDS-Bench provides one way to measure progress towards that goal.
翻訳日:2021-07-20 14:40:53 公開日:2021-07-17
# 新型コロナウイルスの多次元カグル文学機関

COVID-19 Multidimensional Kaggle Literature Organization ( http://arxiv.org/abs/2107.08190v1 )

ライセンス: Link先を確認
Maksim E. Eren, Nick Solovyev, Chris Hamer, Renee McDonald, Boian S. Alexandrov, Charles Nicholas(参考訳) 重症急性呼吸症候群 コロナウイルス-2(SARS-CoV-2)の流行は、世界中で大きな問題となっている。 その結果、新型コロナウイルス(covid-19)関連の研究が急増している。 出版物の増加には、関連する情報を特定するための文書組織手法が必要である。 本稿では,CORD-19データセットのクラスタ化に関するこれまでの研究を多次元解析手法を用いて拡張する。 テンソル因子化は、文書コーパス内の隠れパターンを発見することができる強力な教師なし学習手法である。 コーパスの高次表現により,類似記事,関連雑誌,類似研究論文の執筆者,話題キーワードの同時グループ化が可能となることを示す。 これらのグルーピングはテンソル分解によって抽出された潜在成分の内外において同定される。 さらに,データセットのインタラクティブな可視化により,本手法の適用を実証する。

The unprecedented outbreak of Severe Acute Respiratory Syndrome Coronavirus-2 (SARS-CoV-2), or COVID-19, continues to be a significant worldwide problem. As a result, a surge of new COVID-19 related research has followed suit. The growing number of publications requires document organization methods to identify relevant information. In this paper, we expand upon our previous work with clustering the CORD-19 dataset by applying multi-dimensional analysis methods. Tensor factorization is a powerful unsupervised learning method capable of discovering hidden patterns in a document corpus. We show that a higher-order representation of the corpus allows for the simultaneous grouping of similar articles, relevant journals, authors with similar research interests, and topic keywords. These groupings are identified within and among the latent components extracted via tensor decomposition. We further demonstrate the application of this method with a publicly available interactive visualization of the dataset.
翻訳日:2021-07-20 14:40:20 公開日:2021-07-17
# オンライン施設立地の学習

Learning Augmented Online Facility Location ( http://arxiv.org/abs/2107.08277v1 )

ライセンス: Link先を確認
Dimitris Fotakis, Evangelia Gergatsouli, Themis Gouleakis, Nikolas Patris(参考訳) 従来のオンライン最適化問題に対する学習強化オンラインアルゴリズムについて,Munoz & Vassilvitskii [1] と Lykouris & Vassilvitskii [2] が提唱した研究課題に続き,本研究ではオンライン施設配置問題について考察する。 オンライン施設位置情報(OFL)では、要求はメートル法空間で1対1で到着し、到着時に(不可解に)将来の要求について何も知らないままオープンな施設に割り当てられなければならない。 最適施設の位置の予測に不完全な可能性を生かしたOFLのオンラインアルゴリズムを提案する。 その結果, 予測位置と最適施設位置の合計距離の誤差がゼロに減少するため, 要求数を一定にすることで, 競争比が亜対数から一定までスムーズに減少することが判明した。 我々は、アルゴリズムの競合比の誤差に対する依存性が一定因子まで最適であることを示す、一致する下限値で解析を補完する。 最後に,本アルゴリズムを実世界データ上で評価し,学習拡張手法と現在の最良のオンラインアルゴリズムを比較した。

Following the research agenda initiated by Munoz & Vassilvitskii [1] and Lykouris & Vassilvitskii [2] on learning-augmented online algorithms for classical online optimization problems, in this work, we consider the Online Facility Location problem under this framework. In Online Facility Location (OFL), demands arrive one-by-one in a metric space and must be (irrevocably) assigned to an open facility upon arrival, without any knowledge about future demands. We present an online algorithm for OFL that exploits potentially imperfect predictions on the locations of the optimal facilities. We prove that the competitive ratio decreases smoothly from sublogarithmic in the number of demands to constant, as the error, i.e., the total distance of the predicted locations to the optimal facility locations, decreases towards zero. We complement our analysis with a matching lower bound establishing that the dependence of the algorithm's competitive ratio on the error is optimal, up to constant factors. Finally, we evaluate our algorithm on real world data and compare our learning augmented approach with the current best online algorithm for the problem.
翻訳日:2021-07-20 14:40:08 公開日:2021-07-17
# 2020年アメリカ合衆国大統領選挙における偽情報と陰謀によるオンラインエンゲージメントの特徴

Characterizing Online Engagement with Disinformation and Conspiracies in the 2020 U.S. Presidential Election ( http://arxiv.org/abs/2107.08319v1 )

ライセンス: Link先を確認
Karishma Sharma and Emilio Ferrara and Yan Liu(参考訳) ソーシャルメディア上の政治談話における不正情報の特定と特徴付けは、選挙と民主主義の過程の完全性を確保するために重要である。 ソーシャルメディアの永続的な操作は、個人的意見や社会的ダイナミクスに影響を与える可能性があるため、2020年のアメリカ合衆国大統領選挙に対する懸念が高まっている。 本研究では,選挙前の言論操作を特徴付けるために,選挙関連ツイートにおける信頼できない,懐疑的な物語という形で,歪んだ事実の識別に焦点をあてる。 2億2200万の選挙関連ツイートのデータセットを分析し,信頼できない(あるいは陰謀的)クレームから事実を分離するために,検出モデルを適用した。 特定された主張は、偽情報や陰謀グループ(特に極右のQAnon陰謀集団)の標的を調査するために使用される。 さらに、信頼できない、陰謀的なツイートと、QAnon陰謀グループとのアカウントエンゲージメントを、政治的傾倒とツイートタイプによって特徴づける。 最後に、レグレッションの不連続設計を用いて、プラットフォーム上のQAnonアクティビティを抑制するTwitterのアクションが効果的かどうか、そしてQAnonアカウントがTwitterの制限にどのように適応するかを検討する。

Identifying and characterizing disinformation in political discourse on social media is critical to ensure the integrity of elections and democratic processes around the world. Persistent manipulation of social media has resulted in increased concerns regarding the 2020 U.S. Presidential Election, due to its potential to influence individual opinions and social dynamics. In this work, we focus on the identification of distorted facts, in the form of unreliable and conspiratorial narratives in election-related tweets, to characterize discourse manipulation prior to the election. We apply a detection model to separate factual from unreliable (or conspiratorial) claims analyzing a dataset of 242 million election-related tweets. The identified claims are used to investigate targeted topics of disinformation, and conspiracy groups, most notably the far-right QAnon conspiracy group. Further, we characterize account engagements with unreliable and conspiracy tweets, and with the QAnon conspiracy group, by political leaning and tweet types. Finally, using a regression discontinuity design, we investigate whether Twitter's actions to curb QAnon activity on the platform were effective, and how QAnon accounts adapt to Twitter's restrictions.
翻訳日:2021-07-20 14:37:04 公開日:2021-07-17
# (参考訳) 遺伝的CFL:クラスタ化フェデレーション学習におけるハイパーパラメータの最適化 [全文訳有]

Genetic CFL: Optimization of Hyper-Parameters in Clustered Federated Learning ( http://arxiv.org/abs/2107.07233v2 )

ライセンス: CC BY 4.0
Shaashwat Agrawal, Sagnik Sarkar, Mamoun Alazab, Praveen Kumar Reddy Maddikunta, Thippa Reddy Gadekallu and Quoc-Viet Pham(参考訳) Federated Learning(FL)は、クライアントサーバアーキテクチャ、エッジコンピューティング、リアルタイムインテリジェンスを統合するディープラーニングのための分散モデルである。 FLは機械学習(ML)に革命を起こす能力を持っているが、技術的制限、通信オーバーヘッド、非IID(独立で同一の分散データ)、プライバシー上の懸念による実装の実践性に欠ける。 不均一な非IIDデータによるMLモデルのトレーニングは収束率と性能を著しく低下させる。 従来のFLアルゴリズムとクラスタリングアルゴリズムには,非効率なクライアントトレーニングと静的ハイパーパラメータ利用の2つの主な制限がある。 これらの制約を克服するために、遺伝的クラスタリングFL(Genetic CFL)と呼ばれる新しいハイブリッドアルゴリズムを提案し、トレーニングハイパーパラメータに基づいてエッジデバイスをクラスタリングし、パラメータを遺伝的にクラスタワイズする。 次に,密度ベースのクラスタリングと遺伝的ハイパーパラメータ最適化を統合することにより,個々のクラスタの精度を劇的に向上させるアルゴリズムを提案する。 結果はMNISTの手書き桁データセットとCIFAR-10データセットを用いてベンチマークされる。 提案する遺伝的cflは有意な改善を示し,非iidおよびあいまいなデータの現実的な場合と良好に機能する。

Federated learning (FL) is a distributed model for deep learning that integrates client-server architecture, edge computing, and real-time intelligence. FL has the capability of revolutionizing machine learning (ML) but lacks in the practicality of implementation due to technological limitations, communication overhead, non-IID (independent and identically distributed) data, and privacy concerns. Training a ML model over heterogeneous non-IID data highly degrades the convergence rate and performance. The existing traditional and clustered FL algorithms exhibit two main limitations, including inefficient client training and static hyper-parameter utilization. To overcome these limitations, we propose a novel hybrid algorithm, namely genetic clustered FL (Genetic CFL), that clusters edge devices based on the training hyper-parameters and genetically modifies the parameters cluster-wise. Then, we introduce an algorithm that drastically increases the individual cluster accuracy by integrating the density-based clustering and genetic hyper-parameter optimization. The results are bench-marked using MNIST handwritten digit dataset and the CIFAR-10 dataset. The proposed genetic CFL shows significant improvements and works well with realistic cases of non-IID and ambiguous data.
翻訳日:2021-07-20 11:03:34 公開日:2021-07-17