このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス(CC 0, CC BY, CC BY-SA)の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。(arxivのメタデータは CC 0です。) 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。



PDF登録状況(公開日: 20200911)

# 制約プログラミングを用いたランダム論理プログラムの生成

Generating Random Logic Programs Using Constraint Programming ( http://arxiv.org/abs/2006.01889v2 )

ライセンス: Link先を確認
Paulius Dilkas, Vaishak Belle(参考訳) 幅広い問題インスタンスにわたるアルゴリズムのテストは、あるアルゴリズムが他のアルゴリズムよりも優れているという主張の妥当性を保証するために不可欠である。 しかし、確率論的論理プログラムの推論アルゴリズムに関しては、実験的な評価は少数のプログラムに限られる。 ランダム論理プログラムを生成する既存の方法は命題プログラムに限定され、しばしば厳格な構文制限を課される。 本稿では,確率分布の独立構造を制御する新しい制約を導入することにより,制約プログラミングを用いたランダム論理プログラムと確率論理プログラムを生成する新しい手法を提案する。 また,モデルの正確性に関する組合せ引数を提供し,モデルがパラメータ値とどのようにスケールするかを示し,モデルを用いて様々な合成問題に対する確率的推論アルゴリズムを比較する。 私たちのモデルは、推論アルゴリズム開発者が幅広いインスタンスにわたってアルゴリズムを評価し比較し、その(比較的)長所と短所の詳細な図を示します。

Testing algorithms across a wide range of problem instances is crucial to ensure the validity of any claim about one algorithm's superiority over another. However, when it comes to inference algorithms for probabilistic logic programs, experimental evaluations are limited to only a few programs. Existing methods to generate random logic programs are limited to propositional programs and often impose stringent syntactic restrictions. We present a novel approach to generating random logic programs and random probabilistic logic programs using constraint programming, introducing a new constraint to control the independence structure of the underlying probability distribution. We also provide a combinatorial argument for the correctness of the model, show how the model scales with parameter values, and use the model to compare probabilistic inference algorithms across a range of synthetic problems. Our model allows inference algorithm developers to evaluate and compare the algorithms across a wide range of instances, providing a detailed picture of their (comparative) strengths and weaknesses.
翻訳日:2022-11-26 00:46:39 公開日:2020-09-11
# ヒルベルト空間における非ランダムデータからの学習 : 最適回復の観点から

Learning from Non-Random Data in Hilbert Spaces: An Optimal Recovery Perspective ( http://arxiv.org/abs/2006.03706v2 )

ライセンス: Link先を確認
Simon Foucart, Chunyang Liao, Shahin Shahrampour, Yinsong Wang(参考訳) 古典的統計学習における一般化の概念は、データポイントが独立かつ同一分散(iid)確率変数であるという仮定にしばしば付随する。 多くのアプリケーションに関連があるが、この仮定は一般的には成立せず、非IIDデータに対して堅牢な学習フレームワークの開発を促進する。 本研究では,回帰問題を最適回復の観点から検討する。 仮説クラスの選択に匹敵するモデル仮定に基づいて、学習者は、データに対する確率的仮定に言及することなく、最悪のケースエラーを最小限にすることを目的とする。 まず,有限次元ヒルベルト空間における任意の回復写像の最悪の場合誤差を計算する半定値プログラムを開発した。 そして、任意のヒルベルト空間に対して、仮説クラスが線型である限り、最適回復はアルゴリズム的な視点からユーザフレンドリな公式を提供することを示す。 興味深いことに、この公式はカーネルリッジレス回帰と一致する場合もあり、平均誤差と最悪のエラーを最小化すれば同じ解が得られることが証明されている。 我々は理論的な発見を支援するために数値実験を行う。

The notion of generalization in classical Statistical Learning is often attached to the postulate that data points are independent and identically distributed (IID) random variables. While relevant in many applications, this postulate may not hold in general, encouraging the development of learning frameworks that are robust to non-IID data. In this work, we consider the regression problem from an Optimal Recovery perspective. Relying on a model assumption comparable to choosing a hypothesis class, a learner aims at minimizing the worst-case error, without recourse to any probabilistic assumption on the data. We first develop a semidefinite program for calculating the worst-case error of any recovery map in finite-dimensional Hilbert spaces. Then, for any Hilbert space, we show that Optimal Recovery provides a formula which is user-friendly from an algorithmic point-of-view, as long as the hypothesis class is linear. Interestingly, this formula coincides with kernel ridgeless regression in some cases, proving that minimizing the average error and worst-case error can yield the same solution. We provide numerical experiments in support of our theoretical findings.
翻訳日:2022-11-25 03:09:00 公開日:2020-09-11
# 都市自律走行のための確率論的意味マッピング

Probabilistic Semantic Mapping for Urban Autonomous Driving Applications ( http://arxiv.org/abs/2006.04894v2 )

ライセンス: Link先を確認
David Paz, Hengyuan Zhang, Qinru Li, Hao Xiang, Henrik Christensen(参考訳) 統計学習と計算能力の最近の進歩により、自動運転車の技術はより高速に開発できるようになった。 以前導入されたアーキテクチャの多くは、非常にダイナミックな環境で動作可能であるが、これらの多くは、小規模のデプロイメントに制約されており、高定義(HD)マップと関連するスケーラビリティコストのために、常にメンテナンスを必要とする。 この問題に対処するために,道路,歩道,横断歩道,車線などの静的ランドマークの自動的かつ正確なラベル付けを行うために,画像と予め構築した点クラウドマップ情報を融合する手法を提案する。 2d画像上で意味セマンティクスセグメンテーションを行い、セマンティックラベルをポイントクラウドマップと関連付けて、世界を正確にローカライズし、混乱行列の定式化を利用して、セマンティクスポイントクラウドからバードアイビュー内の確率論的意味マップを構築する。 都市環境から収集されたデータから、このモデルはほとんどの道路特徴を予測でき、将来の作業方向の可能性のあるhdマップに道路機能を自動的に組み込むために拡張することができる。

Recent advancements in statistical learning and computational abilities have enabled autonomous vehicle technology to develop at a much faster rate. While many of the architectures previously introduced are capable of operating under highly dynamic environments, many of these are constrained to smaller-scale deployments, require constant maintenance due to the associated scalability cost with high-definition (HD) maps, and involve tedious manual labeling. As an attempt to tackle this problem, we propose to fuse image and pre-built point cloud map information to perform automatic and accurate labeling of static landmarks such as roads, sidewalks, crosswalks, and lanes. The method performs semantic segmentation on 2D images, associates the semantic labels with point cloud maps to accurately localize them in the world, and leverages the confusion matrix formulation to construct a probabilistic semantic map in bird's eye view from semantic point clouds. Experiments from data collected in an urban environment show that this model is able to predict most road features and can be extended for automatically incorporating road features into HD maps with potential future work directions.
翻訳日:2022-11-24 02:10:05 公開日:2020-09-11
# 確率帯域における全腕の発見

Finding All {\epsilon}-Good Arms in Stochastic Bandits ( http://arxiv.org/abs/2006.08850v2 )

ライセンス: Link先を確認
Blake Mason, Lalit Jain, Ardhendu Tripathy, and Robert Nowak(参考訳) 確率的多腕バンディットにおける純粋な爆発問題は、最大(または最も近い)手段を持つ1つ以上の武器を見つけることを目的としている。 例えば、"epsilon"-good arm、best-arm identification、top-k arm identification、および指定されたしきい値以上の手段ですべてのarmを見つける。 しかし、全ての優れた腕を見つけるという問題は過去の研究で見過ごされているが、これは多くの応用において最も自然な目的であることは間違いない。 例えば、ウイルス学者は、大きな候補治療の予備的な実験を行い、全ての良い治療をより高価な臨床試験に移すことができる。 最終的な臨床効果は不確実であるため、すべての優れた候補を特定することが重要である。 数学的には、all-{\epsilon}-good arm identification問題(英語版)は、過去に研究された純粋な爆発的目的には生じない重大な新しい挑戦と驚きを示している。 われわれはこれらを克服する2つのアルゴリズムを導入し、New Yorker Caption Contestによって収集された2.2Mの大規模クラウドソースデータセットと、数百のがん薬物を検査するデータセットにおいて、その優れた経験的パフォーマンスを示す。

The pure-exploration problem in stochastic multi-armed bandits aims to find one or more arms with the largest (or near largest) means. Examples include finding an {\epsilon}-good arm, best-arm identification, top-k arm identification, and finding all arms with means above a specified threshold. However, the problem of finding all {\epsilon}-good arms has been overlooked in past work, although arguably this may be the most natural objective in many applications. For example, a virologist may conduct preliminary laboratory experiments on a large candidate set of treatments and move all {\epsilon}-good treatments into more expensive clinical trials. Since the ultimate clinical efficacy is uncertain, it is important to identify all {\epsilon}-good candidates. Mathematically, the all-{\epsilon}-good arm identification problem presents significant new challenges and surprises that do not arise in the pure-exploration objectives studied in the past. We introduce two algorithms to overcome these and demonstrate their great empirical performance on a large-scale crowd-sourced dataset of 2.2M ratings collected by the New Yorker Caption Contest as well as a dataset testing hundreds of possible cancer drugs.
翻訳日:2022-11-20 19:12:02 公開日:2020-09-11
# 生成モデルによる内在的報酬駆動模倣学習

Intrinsic Reward Driven Imitation Learning via Generative Model ( http://arxiv.org/abs/2006.15061v4 )

ライセンス: Link先を確認
Xingrui Yu, Yueming Lyu and Ivor W. Tsang(参考訳) 高次元環境における模倣学習は困難である。 ほとんどの逆強化学習(IRL)法は、例えばアタリドメインのような高次元環境においてデモンストレータを上回りません。 この課題に対処するために, 生成モデルを用いて本質的報酬信号を生成する新しい報酬学習モジュールを提案する。 我々の生成手法は、より優れた前方状態遷移と後方動作符号化を実現し、環境におけるモジュールの動的モデリング能力を向上させる。 したがって,本モジュールは,実証者の本質的な意図と,より優れた探索能力の両方を模倣剤として提供する。 実験結果から,本手法は1ライフデモにおいても複数のatariゲームにおいて最先端irl手法よりも優れていた。 驚くべきことに,本手法は実演の最大5倍の性能を達成している。

Imitation learning in a high-dimensional environment is challenging. Most inverse reinforcement learning (IRL) methods fail to outperform the demonstrator in such a high-dimensional environment, e.g., Atari domain. To address this challenge, we propose a novel reward learning module to generate intrinsic reward signals via a generative model. Our generative method can perform better forward state transition and backward action encoding, which improves the module's dynamics modeling ability in the environment. Thus, our module provides the imitation agent both the intrinsic intention of the demonstrator and a better exploration ability, which is critical for the agent to outperform the demonstrator. Empirical results show that our method outperforms state-of-the-art IRL methods on multiple Atari games, even with one-life demonstration. Remarkably, our method achieves performance that is up to 5 times the performance of the demonstration.
翻訳日:2022-11-16 20:36:13 公開日:2020-09-11
# マルチタスク学習による対人ロバストネスの強化

Multitask Learning Strengthens Adversarial Robustness ( http://arxiv.org/abs/2007.07236v2 )

ライセンス: Link先を確認
Chengzhi Mao, Amogh Gupta, Vikram Nitin, Baishakhi Ray, Shuran Song, Junfeng Yang, and Carl Vondrick(参考訳) ディープネットワークはコンピュータビジョンのベンチマークで高い精度を達成するが、敵の攻撃に弱いままであり、知覚できない入力摂動がネットワークを騙す。 本稿では,モデルの対角的ロバスト性とトレーニング対象のタスク数とを結合する理論的および経験的解析について述べる。 2つのデータセットでの実験では、ターゲットタスクの数が増えると攻撃の困難さが増す。 さらに,モデルが複数のタスクで一度にトレーニングされると,個々のタスクに対する攻撃に対してより堅牢になることが示唆された。 敵の防御はいまだに未解決の課題だが、我々の結果はディープネットワークが脆弱であることを示唆している。

Although deep networks achieve strong accuracy on a range of computer vision benchmarks, they remain vulnerable to adversarial attacks, where imperceptible input perturbations fool the network. We present both theoretical and empirical analyses that connect the adversarial robustness of a model to the number of tasks that it is trained on. Experiments on two datasets show that attack difficulty increases as the number of target tasks increase. Moreover, our results suggest that when models are trained on multiple tasks at once, they become more robust to adversarial attacks on individual tasks. While adversarial defense remains an open challenge, our results suggest that deep networks are vulnerable partly because they are trained on too few tasks.
翻訳日:2022-11-10 14:35:10 公開日:2020-09-11
# 文献分析によるcovid-19研究の展望--鳥の眼図

Navigating the landscape of COVID-19 research through literature analysis: A bird's eye view ( http://arxiv.org/abs/2008.03397v2 )

ライセンス: Link先を確認
Lana Yeganova, Rezarta Islamaj, Qingyu Chen, Robert Leaman, Alexis Allot, Chin-Hsuan Wei, Donald C. Comeau, Won Kim, Yifan Peng, W. John Wilbur, Zhiyong Lu(参考訳) 新型コロナウイルスのパンデミックとの戦いにおける正確な科学文献へのタイムリーなアクセスは重要だ。 この前例のない公衆衛生リスクは、病気全般の理解、疾患の治療薬の特定、ワクチンの開発などに向けた研究を動機付けている。 これにより、2020年5月現在、20日ごとに出版物数が倍増している文学が急速に成長している。 文献を迅速に分析し、知識の発達領域を発見する手段を医療専門家に提供することは、質問や情報ニーズに対処するために必要である。 本研究では,2020年5月15日時点でPubMedで発見された13,369件のLitCovidコレクションを分析し,文献の景観を調査し,情報ナビゲーションと理解を容易にする形式で提示する。 我々は、最先端のエンティティ認識、分類、クラスタリング、その他のNLP技術を適用する。 nerツールを適用することで、関連する生体(疾患、内臓など)を捕捉し、コーパスで議論される程度で、covid-19との関係の強さを評価する。 また、COVID-19に関するさまざまな症状や共同症状も収集しています。 クラスタリングアルゴリズムは,関連用語群で表されるトピックを識別し,関連する文書に対応するクラスタを算出する。 トピックの中には、数週間にわたって継続し、関連ドキュメントが多数あるものや、ドキュメントが少ない新しいトピックとして現れるものもいくつかあります。 すべてのツールとデータは公開されており、このフレームワークはあらゆる文献コレクションに適用することができる。 これらの分析は、文献からの知識発見を促進するために、COVID-19研究の包括的で総合的な視点を生み出している。

Timely access to accurate scientific literature in the battle with the ongoing COVID-19 pandemic is critical. This unprecedented public health risk has motivated research towards understanding the disease in general, identifying drugs to treat the disease, developing potential vaccines, etc. This has given rise to a rapidly growing body of literature that doubles in number of publications every 20 days as of May 2020. Providing medical professionals with means to quickly analyze the literature and discover growing areas of knowledge is necessary for addressing their question and information needs. In this study we analyze the LitCovid collection, 13,369 COVID-19 related articles found in PubMed as of May 15th, 2020 with the purpose of examining the landscape of literature and presenting it in a format that facilitates information navigation and understanding. We do that by applying state-of-the-art named entity recognition, classification, clustering and other NLP techniques. By applying NER tools, we capture relevant bioentities (such as diseases, internal body organs, etc.) and assess the strength of their relationship with COVID-19 by the extent they are discussed in the corpus. We also collect a variety of symptoms and co-morbidities discussed in reference to COVID-19. Our clustering algorithm identifies topics represented by groups of related terms, and computes clusters corresponding to documents associated with the topic terms. Among the topics we observe several that persist through the duration of multiple weeks and have numerous associated documents, as well several that appear as emerging topics with fewer documents. All the tools and data are publicly available, and this framework can be applied to any literature collection. Taken together, these analyses produce a comprehensive, synthesized view of COVID-19 research to facilitate knowledge discovery from literature.
翻訳日:2022-11-02 02:04:33 公開日:2020-09-11
# Key-Nets: プライバシー保護視覚センサのための光変換畳み込みネットワーク

Key-Nets: Optical Transformation Convolutional Networks for Privacy Preserving Vision Sensors ( http://arxiv.org/abs/2008.04469v2 )

ライセンス: Link先を確認
Jeffrey Byrne and Brian DeCann and Scott Bloom(参考訳) 現代のカメラはコンピュータビジョンや機械学習をターゲットとして設計されていない。 プライバシを設計によって保護し、プライベート情報を漏らすことなく、ターゲットとする機械学習タスクに必要な情報のみを収集する、新たなタイプのビジョンセンサが必要だ。 本稿では、この変換された画像に対して、キーネットが正確に暗号化された推論を行うことができるように、光学/アナログ変換を適用した独自の視覚センサと組み合わせた畳み込みネットワークであるキーネットを紹介する。 キーネットに適した光学変換に十分な条件を5つ提供し、一般化された確率行列(スケール、バイアス、分数画素シャッフルなど)がこれらの条件を満たすことを示す。 顔認証や物体検出のための光学変換画像に直接微調整されたネットワークにはユーティリティ/プライバシートレードオフがあることを示すことで,キーネットのモチベーションを高める。 最後に、キーネットは、Hill暗号を用いた同型暗号化と同値であり、メモリと実行時の上限は、ユーザが指定したプライバシパラメータと二次的にスケールすることを示す。 したがって、このキーネットは光学同型暗号に基づく最初の実用的で効率的かつプライバシー保護型視覚センサである。

Modern cameras are not designed with computer vision or machine learning as the target application. There is a need for a new class of vision sensors that are privacy preserving by design, that do not leak private information and collect only the information necessary for a target machine learning task. In this paper, we introduce key-nets, which are convolutional networks paired with a custom vision sensor which applies an optical/analog transform such that the key-net can perform exact encrypted inference on this transformed image, but the image is not interpretable by a human or any other key-net. We provide five sufficient conditions for an optical transformation suitable for a key-net, and show that generalized stochastic matrices (e.g. scale, bias and fractional pixel shuffling) satisfy these conditions. We motivate the key-net by showing that without it there is a utility/privacy tradeoff for a network fine-tuned directly on optically transformed images for face identification and object detection. Finally, we show that a key-net is equivalent to homomorphic encryption using a Hill cipher, with an upper bound on memory and runtime that scales quadratically with a user specified privacy parameter. Therefore, the key-net is the first practical, efficient and privacy preserving vision sensor based on optical homomorphic encryption.
翻訳日:2022-10-31 12:12:13 公開日:2020-09-11
# 分割学習による複数分類

Multiple Classification with Split Learning ( http://arxiv.org/abs/2008.09874v3 )

ライセンス: Link先を確認
Jongwon Kim, Sungho Shin, Yeonguk Yu, Junseok Lee, Kyoobin Lee(参考訳) プライバシー問題は、医学、モビリティ、その他の分野でディープラーニングをトレーニングする過程で提起された。 この問題を解決するために、クライアントが直接露出することなく様々なデータを学習できるプライバシー保護分散ディープラーニング手法を提案する。 我々は,1つのディープラーニングアーキテクチャを共通抽出器,クラウドモデル,分散学習のためのローカル分類器に分割した。 まず、ローカルクライアントが使用する共通抽出器は、入力データからセキュアな特徴を抽出する。 セキュアな機能は、クラウドモデルがさまざまなタスクとさまざまなタイプのデータを使用することができる役割も担っている。 この機能は、様々なタスクを進めるのに役立つ最も重要な情報を含んでいる。 第二に、トレーニングモデルのほとんどの部分を含むクラウドモデルは、巨大なローカルクライアントから組み込み機能を取得し、厳しいコンピューティングコストを必要とするディープラーニング操作のほとんどを実行する。 クラウドモデルの運用が終了すると、クラウドモデルの出力がローカルクライアントに送信される。 最後に、ローカル分類器が分類結果を決定し、その結果をローカルクライアントに配信する。 クライアントがモデルをトレーニングするとき、我々のモデルは外部ネットワークに直接機密情報を公開しません。 テスト中、既存のローカルトレーニングモデルと比較して平均パフォーマンスが2.63%向上した。 しかし、分散環境では、露出した特徴による逆攻撃の可能性がある。 このため,データ復元を防止すべく共通抽出器を実験した。 共通抽出器の深さを調整して原画像の復元の質を検証した。 その結果, 一般抽出器の深部では, 修復スコアが89.74に低下した。

Privacy issues were raised in the process of training deep learning in medical, mobility, and other fields. To solve this problem, we present privacy-preserving distributed deep learning method that allow clients to learn a variety of data without direct exposure. We divided a single deep learning architecture into a common extractor, a cloud model and a local classifier for the distributed learning. First, the common extractor, which is used by local clients, extracts secure features from the input data. The secure features also take the role that the cloud model can employ various task and diverse types of data. The feature contain the most important information that helps to proceed various task. Second, the cloud model including most parts of the whole training model gets the embedded features from the massive local clients, and performs most of deep learning operations which takes severe computing cost. After the operations in cloud model finished, outputs of the cloud model send back to local clients. Finally, the local classifier determined classification results and delivers the results to local clients. When clients train models, our model does not directly expose sensitive information to exterior network. During the test, the average performance improvement was 2.63% over the existing local training model. However, in a distributed environment, there is a possibility of inversion attack due to exposed features. For this reason, we experimented with the common extractor to prevent data restoration. The quality of restoration of the original image was tested by adjusting the depth of the common extractor. As a result, we found that the deeper the common extractor, the restoration score decreased to 89.74.
翻訳日:2022-10-26 07:46:01 公開日:2020-09-11
# HDマップのない知覚中心型自動運転システム

A perception centred self-driving system without HD Maps ( http://arxiv.org/abs/2009.00782v2 )

ライセンス: Link先を確認
Alan Sun(参考訳) 完全自動運転システムの構築は20年以上議論されてきたが、未解決のままである。 以前のシステムはスケールする能力が限られていた。 彼らのローカライゼーションサブシステムは、新しい領域を走らせるために労働集約的な地図記録を必要とし、環境の変化が生じた後に精度が低下する。 本稿では,多様な交通路を検知し,理解するための新しい手法を用いて,スケーラビリティ問題を解決するための新しいローカライズ手法を提案する。 人間の運転のように、自動運転システムはほとんどのシナリオで正確な位置に頼るべきではない。 結果として、HDマップ、GPS、IMUがなければ、提案されたローカライゼーションサブシステムは、車線、停車線、車線などの運転関連の特徴を検出することのみに依存する。 これらの機能をすべて発見および推論するために、新しいライン検出器を提案し、複数のデータセットに対してテストする。

Building a fully autonomous self-driving system has been discussed for more than 20 years yet remains unsolved. Previous systems have limited ability to scale. Their localization subsystem needs labor-intensive map recording for running in a new area, and the accuracy decreases after the changes occur in the environment. In this paper, a new localization method is proposed to solve the scalability problems, with a new method for detecting and making sense of diverse traffic lines. Like the way human drives, a self-driving system should not rely on an exact position to travel in most scenarios. As a result, without HD Maps, GPS or IMU, the proposed localization subsystem relies only on detecting driving-related features around (like lane lines, stop lines, and merging lane lines). For spotting and reasoning all these features, a new line detector is proposed and tested against multiple datasets.
翻訳日:2022-10-22 19:10:20 公開日:2020-09-11
# 深層ニューラルネットワークによる連続学習の全体観:忘れられた教訓とアクティブでオープンな世界学習への橋渡し

A Wholistic View of Continual Learning with Deep Neural Networks: Forgotten Lessons and the Bridge to Active and Open World Learning ( http://arxiv.org/abs/2009.01797v2 )

ライセンス: Link先を確認
Martin Mundt, Yong Won Hong, Iuliia Pliushch, Visvanathan Ramesh(参考訳) 現在のディープラーニングの研究はベンチマーク評価に支配されている。 専用テストセット上で実証的に良好に動作する場合、その方法は好ましいものとみなす。 このメンタリティは、連続したベンチマークデータのセットを調査する連続学習の復活領域にシームレスに反映される。 コア課題は、繰り返しパラメータの更新により、以前に取得した表現が破滅的に忘れられることを防ぐことである。 しかしながら、個々のメソッドの比較は現実世界のアプリケーションから分離して扱われ、通常、累積テストセットのパフォーマンスの監視によって判断される。 閉世界仮説は依然として支配的である。 デプロイ中、モデルはトレーニングに使用されるのと同じ分布に由来するデータに遭遇することが保証されていると仮定される。 ニューラルネットワークは、未知のインスタンスに対して自信過剰な誤った予測を提供し、破損したデータに直面して崩壊することで知られるため、これは大きな課題となる。 本研究では,オープンデータセット認識による顕著な教訓,観測データセット外における統計的に逸脱するデータの識別,および期待される性能向上が最大化されるようにデータを漸進的にクエリするアクティビティ学習の分野を,深層学習時代にしばしば見落としていることを論じる。 これらの忘れられた教訓に基づき、深層ニューラルネットワークにおける連続学習、アクティブラーニング、オープンセット認識を橋渡しする統合的な視点を提案する。 その結果,各パラダイムにメリットがあるだけでなく,共通フレームワークの自然な相乗効果を浮き彫りにしていることがわかった。 従来提案されていた手法が失敗するような堅牢なオープンワールドアプリケーションを示しながら、破滅的な放棄、アクティブラーニングにおけるデータクエリ、タスク順序の選択といった改善を実証的に実証する。

Current deep learning research is dominated by benchmark evaluation. A method is regarded as favorable if it empirically performs well on the dedicated test set. This mentality is seamlessly reflected in the resurfacing area of continual learning, where consecutively arriving sets of benchmark data are investigated. The core challenge is framed as protecting previously acquired representations from being catastrophically forgotten due to the iterative parameter updates. However, comparison of individual methods is nevertheless treated in isolation from real world application and typically judged by monitoring accumulated test set performance. The closed world assumption remains predominant. It is assumed that during deployment a model is guaranteed to encounter data that stems from the same distribution as used for training. This poses a massive challenge as neural networks are well known to provide overconfident false predictions on unknown instances and break down in the face of corrupted data. In this work we argue that notable lessons from open set recognition, the identification of statistically deviating data outside of the observed dataset, and the adjacent field of active learning, where data is incrementally queried such that the expected performance gain is maximized, are frequently overlooked in the deep learning era. Based on these forgotten lessons, we propose a consolidated view to bridge continual learning, active learning and open set recognition in deep neural networks. Our results show that this not only benefits each individual paradigm, but highlights the natural synergies in a common framework. We empirically demonstrate improvements when alleviating catastrophic forgetting, querying data in active learning, selecting task orders, while exhibiting robust open world application where previously proposed methods fail.
翻訳日:2022-10-22 07:06:59 公開日:2020-09-11
# 地下一相二相流深層学習のための弱形状理論誘導ニューラルネットワーク(TgNN-wf)

Weak Form Theory-guided Neural Network (TgNN-wf) for Deep Learning of Subsurface Single and Two-phase Flow ( http://arxiv.org/abs/2009.04543v2 )

ライセンス: Link先を確認
Rui Xu, Dongxiao Zhang, Miao Rong, and Nanzhe Wang(参考訳) 深部ニューラルネットワーク(DNN)は、物理応用における代理モデルとして広く使われ、DNNに理論的ガイダンスを組み込むことで、一般化性が改善された。 しかし、そのような手法のほとんどが(偏微分方程式、PDEによる)保存則の強い形式に基づいて損失関数を定義し、PDEが高次微分を持つ場合や解が強い不連続性を持つ場合の精度が低下する。 本稿では,pdeの弱形式定式化をデータ制約と初期条件と境界条件の正規化を組み合わせた損失関数に組み込んだ弱形式理論誘導ニューラルネットワーク(tgnn-wf)を提案する。 弱い形式では、PDEの高次微分は、演算誤差を低減する積分バイパーツを実行することで、テスト関数に転送することができる。 局所的な不連続を効果的に捉えた局所定義されたテスト関数による領域分解を用いる。 TgNN-wfは,非定常な2次元単相流問題に対する油圧ヘッド予測や1次元二相流問題に対する飽和プロファイル予測など,強い形状のTgNN-wfよりも優れていることを示す。 結果から,TgNN-wfはTgNNよりも高い精度を示し,特に解に強い不連続性が存在する場合である。 TgNN-wfは、統合サブドメインの数があまり大きくない場合(10,000)、TgNNよりも高速にトレーニングする。 さらに、TgNN-wfはノイズに対してより堅牢である。 そこで提案したTgNN-wfは,小規模データ構造における様々なディープラーニング問題を,より正確かつ効率的に解ける方法である。

Deep neural networks (DNNs) are widely used as surrogate models in geophysical applications; incorporating theoretical guidance into DNNs has improved the generalizability. However, most of such approaches define the loss function based on the strong form of conservation laws (via partial differential equations, PDEs), which is subject to deteriorated accuracy when the PDE has high order derivatives or the solution has strong discontinuities. Herein, we propose a weak form theory-guided neural network (TgNN-wf), which incorporates the weak form formulation of the PDE into the loss function combined with data constraint and initial and boundary conditions regularizations to tackle the aforementioned difficulties. In the weak form, high order derivatives in the PDE can be transferred to the test functions by performing integration-by-parts, which reduces computational error. We use domain decomposition with locally defined test functions, which captures local discontinuity effectively. Two numerical cases demonstrate the superiority of the proposed TgNN-wf over the strong form TgNN, including the hydraulic head prediction for unsteady-state 2D single-phase flow problems and the saturation profile prediction for 1D two-phase flow problems. Results show that TgNN-wf consistently has higher accuracy than TgNN, especially when strong discontinuity in the solution is present. TgNN-wf also trains faster than TgNN when the number of integration subdomains is not too large (<10,000). Moreover, TgNN-wf is more robust to noises. Thus, the proposed TgNN-wf paves the way for which a variety of deep learning problems in the small data regime can be solved more accurately and efficiently.
翻訳日:2022-10-20 21:44:55 公開日:2020-09-11
# 準同型学習に関する短い歴史: プライバシを重視した機械学習アプローチ

A brief history on Homomorphic learning: A privacy-focused approach to machine learning ( http://arxiv.org/abs/2009.04587v2 )

ライセンス: Link先を確認
Aadesh Neupane(参考訳) 暗号とデータサイエンスの研究はインターネットブームと共に指数関数的に成長した。 レガシー暗号化技術は、ユーザビリティ、利便性、セキュリティのトレードオフを強要する。 暗号化は、あらゆる操作を実行するたびに復号化される必要があるため、貴重なデータにアクセスできなくなる。 何十億ドルも節約でき、何百万人もの人々が、ユーザビリティ、利便性、セキュリティを損なわない暗号化手法の恩恵を受けることができます。 ホモモルフィック暗号化は、暗号化データ上で任意の操作を実行できるようなパラダイムである。 これにより、基盤となる生データにアクセスすることなく、洗練された機械学習アルゴリズムを実行できます。 したがって、準同型学習は、様々な政府や組織のプライバシールールによって無視された機密データから洞察を得る能力を提供する。 本稿では,Ronald L. Rivest と Len Alderman が1978年の論文で発表した準同型学習の考え方を「暗号化されたデータで計算できるか?」として追究する。 そして徐々に、Shafi Goldwasser氏、Kristin Lauter氏、Dan Bonch氏、Tomas Sander氏、Donald Beaver氏、Craig Gentry氏らの素晴らしい心に浮かぶアイデアに追随して、その重要な問題に対処します。 最終的にその重要な質問に対する"はい"を見つけるのに30年以上を要した。

Cryptography and data science research grew exponential with the internet boom. Legacy encryption techniques force users to make a trade-off between usability, convenience, and security. Encryption makes valuable data inaccessible, as it needs to be decrypted each time to perform any operation. Billions of dollars could be saved, and millions of people could benefit from cryptography methods that don't compromise between usability, convenience, and security. Homomorphic encryption is one such paradigm that allows running arbitrary operations on encrypted data. It enables us to run any sophisticated machine learning algorithm without access to the underlying raw data. Thus, homomorphic learning provides the ability to gain insights from sensitive data that has been neglected due to various governmental and organization privacy rules. In this paper, we trace back the ideas of homomorphic learning formally posed by Ronald L. Rivest and Len Alderman as "Can we compute upon encrypted data?" in their 1978 paper. Then we gradually follow the ideas sprouting in the brilliant minds of Shafi Goldwasser, Kristin Lauter, Dan Bonch, Tomas Sander, Donald Beaver, and Craig Gentry to address that vital question. It took more than 30 years of collective effort to finally find the answer "yes" to that important question.
翻訳日:2022-10-20 12:17:07 公開日:2020-09-11
# 法律AIにおける「フェイク」データの公正性について

On the Fairness of 'Fake' Data in Legal AI ( http://arxiv.org/abs/2009.04640v2 )

ライセンス: Link先を確認
Lauren Boswell, Arjun Prakash(参考訳) より小さな予算とより大きなケースナンバーの経済は、法的手続きにAIを使う必要がある。 異なる影響の概念と、トレーニングデータのバイアスが公平なaiの探索にどのようにつながるかを検討する。 本稿では,このような実装が実際にどのように見えるかについて,法的文脈における事前処理手法に対する批判から論じる。 偏りのあるデータを補正するために前処理がどのように使われるのかを概説し、ブラックボックス問題や法的前例へのゆっくりとした侵入を含む公平な結果を達成するために、効果的に変化する事例の法的意義を検討する。 最後に、前処理されたデータの落とし穴を、分類器を変更するか、最終ステップで出力を修正するメソッドで回避する方法を推奨する。

The economics of smaller budgets and larger case numbers necessitates the use of AI in legal proceedings. We examine the concept of disparate impact and how biases in the training data lead to the search for fairer AI. This paper seeks to begin the discourse on what such an implementation would actually look like with a criticism of pre-processing methods in a legal context . We outline how pre-processing is used to correct biased data and then examine the legal implications of effectively changing cases in order to achieve a fairer outcome including the black box problem and the slow encroachment on legal precedent. Finally we present recommendations on how to avoid the pitfalls of pre-processed data with methods that either modify the classifier or correct the output in the final step.
翻訳日:2022-10-20 03:53:52 公開日:2020-09-11
# 人間移動の行動表現の学習

Learning Behavioral Representations of Human Mobility ( http://arxiv.org/abs/2009.04719v2 )

ライセンス: Link先を確認
Maria Luisa Damiani, Andrea Acquaviva, Fatima Hachem, Matteo Rossini(参考訳) 本稿では,CDRトラジェクトリに基づく移動物体の行動類似性の解析に対する最先端表現学習法の適用性について検討する。 この貢献の核となるのは、ノイズ除去のための最近の記号的軌跡分割法と、行動情報を組み込んだ新しい軌跡一般化法と、逐次データからベクトル表現を学習するための教師なし技術を組み合わせた新しい方法論であるmob2vecである。 mob2vecは、大規模な実験を通じて実際のcdrデータで行った実験結果である。 その結果、mob2vecは、個人の移動行動の類似性を保った低次元空間におけるCDR軌道のベクトル表現を生成することがわかった。

In this paper, we investigate the suitability of state-of-the-art representation learning methods to the analysis of behavioral similarity of moving individuals, based on CDR trajectories. The core of the contribution is a novel methodological framework, mob2vec, centered on the combined use of a recent symbolic trajectory segmentation method for the removal of noise, a novel trajectory generalization method incorporating behavioral information, and an unsupervised technique for the learning of vector representations from sequential data. Mob2vec is the result of an empirical study conducted on real CDR data through an extensive experimentation. As a result, it is shown that mob2vec generates vector representations of CDR trajectories in low dimensional spaces which preserve the similarity of the mobility behavior of individuals.
翻訳日:2022-10-20 02:52:25 公開日:2020-09-11
# 通信用キャパシティ応用オートエンコーダ

Capacity-Approaching Autoencoders for Communications ( http://arxiv.org/abs/2009.05273v1 )

ライセンス: Link先を確認
Nunzio A. Letizia, Andrea M. Tonello(参考訳) オートエンコーダの概念は、現代の通信システムの再解釈と設計を促進する。 エンコーダ、チャネル、デコーダブロックで構成され、その内部神経構造をエンドツーエンドの学習方法で修正する。 しかし、現在のオートエンコーダの訓練方法は、クロスエントロピー損失関数の使用に依存している。 このアプローチは問題にオーバーフィットしがちであり、しばしば最適なシステムや信号表現(コード)を学ぶのに失敗する。 さらに、ある電力制約の下で入力出力情報を最大化する、チャネルキャパシティ適応符号を設計するオートエンコーダの能力についてはあまり知られていない。 このタスクは、キャパシティが不明な未知のチャネルに対してさらに正当であり、それゆえ学習する必要がある。 本稿では,自動エンコーダ訓練において,通信チャネルの存在を新たな損失関数に組み込むことで,キャパシティ適応符号を設計することの課題に対処する。 特に,送信信号と受信信号の相互情報を相互エントロピー損失関数の正規化項として利用し,記憶されている情報の量を制御することを目的とした。 相互情報を最大化し,相互エントロピーを最小化する手法を提案する。 a) チャネル容量の推定値を計算し、 b) 接近する最適な符号化信号を構築すること。 いくつかのシミュレーション結果は,提案手法の可能性を示すものである。

The autoencoder concept has fostered the reinterpretation and the design of modern communication systems. It consists of an encoder, a channel, and a decoder block which modify their internal neural structure in an end-to-end learning fashion. However, the current approach to train an autoencoder relies on the use of the cross-entropy loss function. This approach can be prone to overfitting issues and often fails to learn an optimal system and signal representation (code). In addition, less is known about the autoencoder ability to design channel capacity-approaching codes, i.e., codes that maximize the input-output information under a certain power constraint. The task being even more formidable for an unknown channel for which the capacity is unknown and therefore it has to be learnt. In this paper, we address the challenge of designing capacity-approaching codes by incorporating the presence of the communication channel into a novel loss function for the autoencoder training. In particular, we exploit the mutual information between the transmitted and received signals as a regularization term in the cross-entropy loss function, with the aim of controlling the amount of information stored. By jointly maximizing the mutual information and minimizing the cross-entropy, we propose a methodology that a) computes an estimate of the channel capacity and b) constructs an optimal coded signal approaching it. Several simulation results offer evidence of the potentiality of the proposed method.
翻訳日:2022-10-19 22:16:35 公開日:2020-09-11
# 複数の物理デバイスに一般化可能な機械学習に基づくEDFAゲインモデル

Machine learning-based EDFA Gain Model Generalizable to Multiple Physical Devices ( http://arxiv.org/abs/2009.05326v1 )

ライセンス: Link先を確認
Francesco Da Ros, Uiara Celine de Moura, and Metodi P. Yankov(参考訳) 実験により構築したエルビウムドープファイバ増幅器(EDFA)ゲインモデルについて報告する。 このモデルは、トレーニングに使用される同じデバイス(MSE $\leq$ 0.04 dB$^2$)と同じメイクの異なる物理ユニット(一般化 MSE $\leq$ 0.06 dB$^2$)の両方に対して低利得誤差を示す。

We report a neural-network based erbium-doped fiber amplifier (EDFA) gain model built from experimental measurements. The model shows low gain-prediction error for both the same device used for training (MSE $\leq$ 0.04 dB$^2$) and different physical units of the same make (generalization MSE $\leq$ 0.06 dB$^2$).
翻訳日:2022-10-19 22:16:13 公開日:2020-09-11
# コンポーネントワイズシステムモデリングに基づくマルチスパンシステムにおける電力進化予測と最適化

Power Evolution Prediction and Optimization in a Multi-span System Based on Component-wise System Modeling ( http://arxiv.org/abs/2009.05348v1 )

ライセンス: Link先を確認
Metodi P. Yankov, Uiara Celine de Moura, Francesco Da Ros(参考訳) 単一物理デバイス上で訓練された機械学習に基づくEDFAゲインモデルと完全に微分可能なラマン散乱ファイバーモデルを用いて、実験用マルチスパンフルロードCバンド光通信システムの出力時のパワープロファイルを予測・最適化する。

Cascades of a machine learning-based EDFA gain model trained on a single physical device and a fully differentiable stimulated Raman scattering fiber model are used to predict and optimize the power profile at the output of an experimental multi-span fully-loaded C-band optical communication system.
翻訳日:2022-10-19 22:16:04 公開日:2020-09-11
# ファームダイナミクスの予測のための教師付き学習

Supervised learning for the prediction of firm dynamics ( http://arxiv.org/abs/2009.06413v1 )

ライセンス: Link先を確認
Falco J. Bargagli-Stoffi, Jan Niederreiter, Massimo Riccaboni(参考訳) きめ細かい、しかし高次元のファームレベルデータの増加により、ファームダイナミクスに関連する複数の研究課題に機械学習(ML)アルゴリズムを適用することに成功した。 特に、ラベル付き結果の予測を扱うMLの分野である教師付き学習(SL)は、企業の業績の予測に利用されてきた。 このコントリビューションでは、企業ライフサイクルのさまざまなステージで関連する予測タスクに使用される一連のslアプローチについて説明する。 私たちが注目するステージは i) スタートアップとイノベーション。 (ii)企業の成長・業績、及び (iii)企業は、市場から撤退する。 まず、SL実装をレビューして、成功したスタートアップや研究開発プロジェクトを予測する。 次に、SLツールを用いて企業の成長とパフォーマンスを分析する方法について述べる。 最後に、SL申請をレビューし、財政難と企業の失敗を予測する。 結論として,対象政策,結果の解釈可能性,因果性の観点から,SL手法の議論を拡大する。

Thanks to the increasing availability of granular, yet high-dimensional, firm level data, machine learning (ML) algorithms have been successfully applied to address multiple research questions related to firm dynamics. Especially supervised learning (SL), the branch of ML dealing with the prediction of labelled outcomes, has been used to better predict firms' performance. In this contribution, we will illustrate a series of SL approaches to be used for prediction tasks, relevant at different stages of the company life cycle. The stages we will focus on are (i) startup and innovation, (ii) growth and performance of companies, and (iii) firms exit from the market. First, we review SL implementations to predict successful startups and R&D projects. Next, we describe how SL tools can be used to analyze company growth and performance. Finally, we review SL applications to better forecast financial distress and company failure. In the concluding Section, we extend the discussion of SL methods in the light of targeted policies, result interpretability, and causality.
翻訳日:2022-10-19 22:15:44 公開日:2020-09-11
# 3次元デコンボリューションのためのスライディングフランクウルフソルバの高速化

Boosting the Sliding Frank-Wolfe solver for 3D deconvolution ( http://arxiv.org/abs/2009.05473v1 )

ライセンス: Link先を確認
Jean-Baptiste Courbot and Bruno Colicchio(参考訳) グリッドレススパース最適化の文脈において、最近導入されたスライディング・フランク・ウルフアルゴリズムは興味深い解析的および実用的な性質を示している。 それでも、3Dデコンボリューションのような大規模データに適用することは、計算的に重い。 本稿では,この手法を3次元デコンボリューションに利用しやすくするために,この重みを利用するための戦略を検討する。 また, SFWの増大により, 同じ結果が得られ, 時間を大幅に短縮できることを示した。

In the context of gridless sparse optimization, the Sliding Frank Wolfe algorithm recently introduced has shown interesting analytical and practical properties. Nevertheless, is application to large data, such as in the case of 3D deconvolution, is computationally heavy. In this paper, we investigate a strategy for leveraging this burden, in order to make this method more tractable for 3D deconvolution. We show that a boosted SFW can achieve the same results in a significantly reduced amount of time.
翻訳日:2022-10-19 22:10:41 公開日:2020-09-11
# 多変量データセットを説明するための視覚神経分解

Visual Neural Decomposition to Explain Multivariate Data Sets ( http://arxiv.org/abs/2009.05502v1 )

ライセンス: Link先を確認
Johannes Knittel, Andres Lalama, Steffen Koch, and Thomas Ertl(参考訳) 多次元データセットにおける変数間の関係を調べることは、データアナリストやエンジニアにとって共通のタスクである。 より具体的には、入力変数のどの範囲が与えられた対象変数の特定の値につながるかを理解することがしばしば重要である。 残念なことに、独立変数の数が増えているため、このプロセスは探索すべき多くの組み合わせのために煩雑で時間がかかる可能性がある。 本稿では,入力変数と数百の変数にスケールする対象出力変数との相関を可視化する新しい手法を提案する。 我々は、ニューラルネットワークに基づく視覚モデルを開発し、分析者がそのような相関関係を発見して理解するのに役立つガイド付き方法で探索した。 まず、入力変数からターゲットを予測するためにニューラルネットワークを訓練する。 そして、結果モデルの内部動作を可視化し、データセット内の関係を理解するのに役立つ。 さらに、バックプロパゲーションアルゴリズムの新しい正規化用語を導入し、ニューラルネットワークが視覚的に容易に解釈できる表現を学習することを奨励する。 本手法を実世界のデータセットに適用し,その有用性を示す。

Investigating relationships between variables in multi-dimensional data sets is a common task for data analysts and engineers. More specifically, it is often valuable to understand which ranges of which input variables lead to particular values of a given target variable. Unfortunately, with an increasing number of independent variables, this process may become cumbersome and time-consuming due to the many possible combinations that have to be explored. In this paper, we propose a novel approach to visualize correlations between input variables and a target output variable that scales to hundreds of variables. We developed a visual model based on neural networks that can be explored in a guided way to help analysts find and understand such correlations. First, we train a neural network to predict the target from the input variables. Then, we visualize the inner workings of the resulting model to help understand relations within the data set. We further introduce a new regularization term for the backpropagation algorithm that encourages the neural network to learn representations that are easier to interpret visually. We apply our method to artificial and real-world data sets to show its utility.
翻訳日:2022-10-19 22:10:34 公開日:2020-09-11
# 音声イベント検出と局所化のためのマルチタスク損失関数について

On Multitask Loss Function for Audio Event Detection and Localization ( http://arxiv.org/abs/2009.05527v1 )

ライセンス: Link先を確認
Huy Phan, Lam Pham, Philipp Koch, Ngoc Q. K. Duong, Ian McLoughlin, Alfred Mertins(参考訳) 音声イベントのローカライゼーションと検出(SELD)は、マルチタスクモデルを用いて一般的に行われている。 このようなモデルは通常、イベントアクティビティ検出のためのsgmoidクロスエントロピー損失を持つマルチラベルイベント分類ブランチと、指向性推定のための平均二乗誤差損失を持つ回帰ブランチで構成される。 本研究では, (マルチラベル) 事象検出と局所化の両方を回帰問題として定式化し, モデルトレーニングに平均二乗誤差損失を均等に用いるマルチタスク回帰モデルを提案する。 不均一な損失関数の共通結合は、同次平均二乗誤差損失が収束と性能の向上につながるのに対して、ネットワークがデータに不適合であることを示す。 DCASE 2020 SELDタスクの開発と検証セットの実験では、提案システムはすべての検出とローカライゼーションの指標でDCASE 2020 SELDベースラインを上回り、SELD全体のエラー(組み合わせのメトリクス)を約10%削減することを示した。

Audio event localization and detection (SELD) have been commonly tackled using multitask models. Such a model usually consists of a multi-label event classification branch with sigmoid cross-entropy loss for event activity detection and a regression branch with mean squared error loss for direction-of-arrival estimation. In this work, we propose a multitask regression model, in which both (multi-label) event detection and localization are formulated as regression problems and use the mean squared error loss homogeneously for model training. We show that the common combination of heterogeneous loss functions causes the network to underfit the data whereas the homogeneous mean squared error loss leads to better convergence and performance. Experiments on the development and validation sets of the DCASE 2020 SELD task demonstrate that the proposed system also outperforms the DCASE 2020 SELD baseline across all the detection and localization metrics, reducing the overall SELD error (the combined metric) by approximately 10% absolute.
翻訳日:2022-10-19 22:10:19 公開日:2020-09-11
# 信頼できるハードウェアによる2PCベースのMLの高速化

Accelerating 2PC-based ML with Limited Trusted Hardware ( http://arxiv.org/abs/2009.05566v1 )

ライセンス: Link先を確認
Muqsit Nawaz, Aditya Gulati, Kunlong Liu, Vishwajeet Agrawal, Prabhanjan Ananth and Trinabh Gupta(参考訳) 本稿では,機械学習(ML)を2つのクラウドプロバイダが推論の入力を知らずに実行できるようにするシステムであるOtakの設計,実装,評価について述べる。 この問題に対する以前の作業は、厳密な保証を提供するがリソースオーバヘッドに苦しむ、2パーティのセキュアコンピューティング(2pc)プロトコルのような高度な暗号化に依存している。 otakが新しい2pcプロトコルによる効率向上 (i)関数や準同型秘密共有といった最近のプリミティブをml推論に合わせること、及び (ii)プロトコルをブートストラップするために、信頼できるハードウェアを限られた容量で使用する。 同時に、Otakは、ハードウェア内で小さなコードを実行し、その使用を前処理ステップに制限し、異なるベンダーから不均一な信頼できるハードウェアプラットフォームに対する信頼を分散することで、信頼できるハードウェアに対する信頼の前提を低減します。 Otakの実装と評価により、CPUとネットワークのオーバーヘッドが5.4$-$385$\times$、最先端の2PCベースの作業よりも低いことが示されている。 さらに、otakのtrusted computing base(trusted hardware内のコード)はわずか1,300行で、以前のtrusted hardwareベースの作業におけるコードサイズよりも14.6$-$29.2$\times$低い。

This paper describes the design, implementation, and evaluation of Otak, a system that allows two non-colluding cloud providers to run machine learning (ML) inference without knowing the inputs to inference. Prior work for this problem mostly relies on advanced cryptography such as two-party secure computation (2PC) protocols that provide rigorous guarantees but suffer from high resource overhead. Otak improves efficiency via a new 2PC protocol that (i) tailors recent primitives such as function and homomorphic secret sharing to ML inference, and (ii) uses trusted hardware in a limited capacity to bootstrap the protocol. At the same time, Otak reduces trust assumptions on trusted hardware by running a small code inside the hardware, restricting its use to a preprocessing step, and distributing trust over heterogeneous trusted hardware platforms from different vendors. An implementation and evaluation of Otak demonstrates that its CPU and network overhead converted to a dollar amount is 5.4$-$385$\times$ lower than state-of-the-art 2PC-based works. Besides, Otak's trusted computing base (code inside trusted hardware) is only 1,300 lines of code, which is 14.6$-$29.2$\times$ lower than the code-size in prior trusted hardware-based works.
翻訳日:2022-10-19 22:10:00 公開日:2020-09-11
# 予習変圧器を用いたユニットテストケースの正確なアサート文の生成

Generating Accurate Assert Statements for Unit Test Cases using Pretrained Transformers ( http://arxiv.org/abs/2009.05634v1 )

ライセンス: Link先を確認
Michele Tufano, Dawn Drain, Alexey Svyatkovskiy, Neel Sundaresan(参考訳) 単体テストは、統合とエンドツーエンドのテストの下にある、ソフトウェアテストピラミッドの基礎である。 自動ソフトウェアテストの研究者は、この時間を要するタスクで開発者を支援する様々なテクニックを提案している。 本稿では,正確なアサート文を生成することによって,ユニットテストケース作成を支援する手法を提案する。 本手法は英文コーパスで事前学習した最先端トランスフォーマーモデルに基づいている。 この意味豊かなモデルは、ソースコードの大きなコーパスで半教師付きで訓練される。 最後に、このモデルをユニットテスト用のassertステートメントを生成するタスクに微調整します。 得られたモデルは、テスト中の所定のメソッドに対して正確なアサートステートメントを生成することができる。 実験的な評価では、最初の試みで62%のケースで開発者が記述した正確なアサーションを予測できた。 その結果,従来のRNN手法と比較して,トップ1の精度が80%向上した。 また,プリトレーニングプロセスがモデルの性能に与える影響や,アサート自動補完タスクとの比較も示しています。 最後に、テストカバレッジ向上につながるアサーションを追加して、私たちのアプローチがevosuiteテストケースの強化にどのように役立つかを示します。

Unit testing represents the foundational basis of the software testing pyramid, beneath integration and end-to-end testing. Automated software testing researchers have proposed a variety of techniques to assist developers in this time-consuming task. In this paper we present an approach to support developers in writing unit test cases by generating accurate and useful assert statements. Our approach is based on a state-of-the-art transformer model initially pretrained on an English textual corpus. This semantically rich model is then trained in a semi-supervised fashion on a large corpus of source code. Finally, we finetune this model on the task of generating assert statements for unit tests. The resulting model is able to generate accurate assert statements for a given method under test. In our empirical evaluation, the model was able to predict the exact assert statements written by developers in 62% of the cases in the first attempt. The results show 80% relative improvement for top-1 accuracy over the previous RNN-based approach in the literature. We also show the substantial impact of the pretraining process on the performances of our model, as well as comparing it with assert auto-completion task. Finally, we demonstrate how our approach can be used to augment EvoSuite test cases, with additional asserts leading to improved test coverage.
翻訳日:2022-10-19 22:09:38 公開日:2020-09-11
# 金融における時間データのための機械学習:課題と機会

Machine Learning for Temporal Data in Finance: Challenges and Opportunities ( http://arxiv.org/abs/2009.05636v1 )

ライセンス: Link先を確認
Jason Wittenbach, Brian d'Alessandro, C. Bayan Bruss(参考訳) 一時的なデータは金融サービス(FS)業界(経済指標のような伝統的なデータ、銀行口座の取引のような運用データ、ウェブサイトのクリックストリームのような現代的なデータソースなど)にどこにでもある。 しかし、fsにおける機械学習の取り組みは、ドメイン知識がイベント間の正確な時間パターンに貴重な情報が含まれていることを示唆する場合でも、これらのデータの時間的豊かさを考慮できないことが多い。 せいぜい、このようなデータは一様時系列として扱われることが多く、シーケンスはあるが正確なタイミングの感覚は持たない。 最悪の場合、事前選択されたウィンドウ上で粗い集約機能が計算され、静的なサンプルベースのアプローチが適用できる(例えば、前年のオープンライン数や、前月の最大クレジット使用率など)。 このようなアプローチは、生または軽に処理されたデータに直接作用するモデルを構築することを提唱するディープラーニングパラダイムと相反する。 さらに、モデル化されているエンティティ(顧客、企業など)の全体像は、潜在的に大きく異なる時間スケールにまたがる複数のデータストリームを調べることでのみ達成できる可能性がある。 本稿では,fsの一般的なユースケースに見られる時間的データの種類について検討し,この分野における機械学習のアプローチを概観し,fsにおける時間的データと応用のための機械学習の交差点で働く研究者の課題と機会を評価する。

Temporal data are ubiquitous in the financial services (FS) industry -- traditional data like economic indicators, operational data such as bank account transactions, and modern data sources like website clickstreams -- all of these occur as a time-indexed sequence. But machine learning efforts in FS often fail to account for the temporal richness of these data, even in cases where domain knowledge suggests that the precise temporal patterns between events should contain valuable information. At best, such data are often treated as uniform time series, where there is a sequence but no sense of exact timing. At worst, rough aggregate features are computed over a pre-selected window so that static sample-based approaches can be applied (e.g. number of open lines of credit in the previous year or maximum credit utilization over the previous month). Such approaches are at odds with the deep learning paradigm which advocates for building models that act directly on raw or lightly processed data and for leveraging modern optimization techniques to discover optimal feature transformations en route to solving the modeling task at hand. Furthermore, a full picture of the entity being modeled (customer, company, etc.) might only be attainable by examining multiple data streams that unfold across potentially vastly different time scales. In this paper, we examine the different types of temporal data found in common FS use cases, review the current machine learning approaches in this area, and finally assess challenges and opportunities for researchers working at the intersection of machine learning for temporal data and applications in FS.
翻訳日:2022-10-19 22:09:21 公開日:2020-09-11
# LSTM-AIによる結合非線形ODEの高速化

Accelerated solving of coupled, non-linear ODEs through LSTM-AI ( http://arxiv.org/abs/2009.08278v1 )

ライセンス: Link先を確認
Camila Faccini de Lima, Juliano Ferrari Gianlupi, John Metzcar and Juliette Zerick(参考訳) 本研究の目的は、機械学習、特にニューラルネットワークを用いて、結合常微分方程式(ODE)の集合の軌跡を学習し、この代理モデルを用いてODEソリューションを得る計算時間を短縮することである。 生物学的意義が証明された例として、光合成に関わるシアノバクテリアの遺伝子調節回路のODEモデルを用いる。 経験的システムに対する数値解によって生成されたデータを用いて、長期記憶ニューラルネットワークを訓練する。 ネットワークがテストデータに対して3\%の精度を達成すると、ネットワークは入力値を超える0.25分から6.25分の範囲でODE時系列の値を予測することができる。 予測計算時間と数値解を求める計算時間を比較すると,計算速度は9.75倍から197倍に向上した。 この概念実証の成功を踏まえ、我々は将来このプロジェクトを継続する計画であり、エージェント・ベース・モデリング・プラフォムの文脈でも同様の計算スピードアップを実現しようと試みる。

The present project aims to use machine learning, specifically neural networks (NN), to learn the trajectories of a set of coupled ordinary differential equations (ODEs) and decrease compute times for obtaining ODE solutions by using this surragate model. As an example system of proven biological significance, we use an ODE model of a gene regulatory circuit of cyanobacteria related to photosynthesis \cite{original_biology_Kehoe, Sundus_math_model}. Using data generated by a numeric solution to the exemplar system, we train several long-short-term memory neural networks. We stopping training when the networks achieve an accuracy of of 3\% on testing data resulting in networks able to predict values in the ODE time series ranging from 0.25 minutes to 6.25 minutes beyond input values. We observed computational speed ups ranging from 9.75 to 197 times when comparing prediction compute time with compute time for obtaining the numeric solution. Given the success of this proof of concept, we plan on continuing this project in the future and will attempt to realize the same computational speed-ups in the context of an agent-based modeling platfom.
翻訳日:2022-10-19 22:08:31 公開日:2020-09-11
# 昼間衛星画像による経済発展のための物体認識

Object Recognition for Economic Development from Daytime Satellite Imagery ( http://arxiv.org/abs/2009.05455v1 )

ライセンス: Link先を確認
Klaus Ackermann, Alexey Chernikov, Nandini Anantharama, Miethy Zaman, Paul A Raschky(参考訳) 発展途上国の物理的資本とインフラの在庫に関する信頼性の高いデータは、典型的には少ない。 これは、既存のデータがしばしば時代遅れになり、常に測定されていない、あるいはカバレッジが不完全である、サブ国家レベルのデータにとって特に問題である。 従来のデータ収集手法は時間と労力がかかるコストがかかるため、開発途上国ではこの種のデータ収集が禁止されることが多い。 本稿では,高解像度衛星画像からインフラストラクチャの特徴を抽出する新しい手法を提案する。 我々は、アフリカの21か国にまたがる1kmの格子セルで、500万1kmの高解像度衛星画像を収集した。 我々は,機械学習アルゴリズムを実地データでトレーニングすることにより,この分野の文献の増大に寄与する。 提案手法は予測精度を強く向上させることを示す。 我々の手法は、このデータが欠落しているか、信頼できない領域の経済発展のサブ国家指標を予測する基盤を構築することができる。

Reliable data about the stock of physical capital and infrastructure in developing countries is typically very scarce. This is particular a problem for data at the subnational level where existing data is often outdated, not consistently measured or coverage is incomplete. Traditional data collection methods are time and labor-intensive costly, which often prohibits developing countries from collecting this type of data. This paper proposes a novel method to extract infrastructure features from high-resolution satellite images. We collected high-resolution satellite images for 5 million 1km $\times$ 1km grid cells covering 21 African countries. We contribute to the growing body of literature in this area by training our machine learning algorithm on ground-truth data. We show that our approach strongly improves the predictive accuracy. Our methodology can build the foundation to then predict subnational indicators of economic development for areas where this data is either missing or unreliable.
翻訳日:2022-10-19 22:08:15 公開日:2020-09-11
# SONYC-UST-V2:時空間を考慮した都市音響タグデータセット

SONYC-UST-V2: An Urban Sound Tagging Dataset with Spatiotemporal Context ( http://arxiv.org/abs/2009.05188v1 )

ライセンス: Link先を確認
Mark Cartwright, Jason Cramer, Ana Elisa Mendez Mendez, Yu Wang, Ho-Hsiang Wu, Vincent Lostanlen, Magdalena Fuentes, Graham Dove, Charlie Mydlarz, Justin Salamon, Oded Nov, and Juan Pablo Bello(参考訳) SONYC-UST-V2は時空間情報を用いた都市音のタグ付けのためのデータセットである。 本データセットは,実際の都市騒音モニタリングのための機械聴取システムの開発と評価を目的としている。 都市録音のデータセットは利用可能であるが、このデータセットは、時空間メタデータが都市音響タグの予測にどのように役立つかを調べる機会を提供する。 SONYC-UST-V2は"Sounds of New York" (SONYC)音響センサネットワークの18510のオーディオ録音で構成されており、センサの取得と位置のタイムスタンプを含んでいる。 データセットには、zooniverse市民科学プラットフォームからのボランティアによるアノテーションと、チームによる2段階の検証が含まれています。 本稿では,都市音声タグのマルチラベル分類のためのデータ収集手法と評価指標を提案する。 時空間情報を利用した簡易ベースラインモデルの結果を報告する。

We present SONYC-UST-V2, a dataset for urban sound tagging with spatiotemporal information. This dataset is aimed for the development and evaluation of machine listening systems for real-world urban noise monitoring. While datasets of urban recordings are available, this dataset provides the opportunity to investigate how spatiotemporal metadata can aid in the prediction of urban sound tags. SONYC-UST-V2 consists of 18510 audio recordings from the "Sounds of New York City" (SONYC) acoustic sensor network, including the timestamp of audio acquisition and location of the sensor. The dataset contains annotations by volunteers from the Zooniverse citizen science platform, as well as a two-stage verification with our team. In this article, we describe our data collection procedure and propose evaluation metrics for multilabel classification of urban sound tags. We report the results of a simple baseline model that exploits spatiotemporal information.
翻訳日:2022-10-19 22:08:01 公開日:2020-09-11
# 物語とニーズ:twitterの談話を用いたサイクロンアンパンの体験分析

Narratives and Needs: Analyzing Experiences of Cyclone Amphan Using Twitter Discourse ( http://arxiv.org/abs/2009.05560v1 )

ライセンス: Link先を確認
Ancil Crayton, Jo\~ao Fonseca, Kanav Mehra, Michelle Ng, Jared Ross, Marcelo Sandoval-Casta\~neda, Rachel von Gnechten(参考訳) 人々はしばしばソーシャルメディアに行き、主要な世界的なイベントに関する情報をコメントし共有する。 それゆえ、ソーシャルメディアは、極端な気象イベントにおける人々の社会的、政治的、経済的経験を理解するための豊富なデータソースとして注目を集めている。 本稿では,2020年5月に1800万人が影響を受けたサイクロンアンパンに反応して,twitter の談話を利用してナラティブを特徴付け,unmet のニーズを識別する2つの新しい手法を提案する。

People often turn to social media to comment upon and share information about major global events. Accordingly, social media is receiving increasing attention as a rich data source for understanding people's social, political and economic experiences of extreme weather events. In this paper, we contribute two novel methodologies that leverage Twitter discourse to characterize narratives and identify unmet needs in response to Cyclone Amphan, which affected 18 million people in May 2020.
翻訳日:2022-10-19 22:01:40 公開日:2020-09-11
# ゼロショット学習の視覚分析とステアリング

Visually Analyzing and Steering Zero Shot Learning ( http://arxiv.org/abs/2009.05254v1 )

ライセンス: Link先を確認
Saroj Sahoo and Matthew Berger(参考訳) 本稿では,ゼロショット学習モデルの解析と制御を支援するビジュアル分析システムを提案する。 ゼロショット学習はラベル付き例のないデータを分類するための実行可能なシナリオとして現れており、人間からのデータアノテーションを最小化するための有望なアプローチである。 しかし、ゼロショット学習の失敗、そのような失敗の原因、およびユーザがモデルを変更して失敗を防止する方法を理解することは困難である。 可視化システムは,このようなモデルの誤予測を診断し,理解するために設計されており,トレーニング中に見ないカテゴリに関連するデータに適用することで,モデルの振る舞いに関する洞察を得ることができる。 使用シナリオを通じて,ゼロショット学習のパフォーマンス向上を支援するシステムについて紹介する。

We propose a visual analytics system to help a user analyze and steer zero-shot learning models. Zero-shot learning has emerged as a viable scenario for categorizing data that consists of no labeled examples, and thus a promising approach to minimize data annotation from humans. However, it is challenging to understand where zero-shot learning fails, the cause of such failures, and how a user can modify the model to prevent such failures. Our visualization system is designed to help users diagnose and understand mispredictions in such models, so that they may gain insight on the behavior of a model when applied to data associated with categories not seen during training. Through usage scenarios, we highlight how our system can help a user improve performance in zero-shot learning.
翻訳日:2022-10-19 22:01:30 公開日:2020-09-11
# 自動グラフィックデザインのための属性条件付きレイアウトgan

Attribute-conditioned Layout GAN for Automatic Graphic Design ( http://arxiv.org/abs/2009.05284v1 )

ライセンス: Link先を確認
Jianan Li, Jimei Yang, Jianming Zhang, Chang Liu, Christina Wang, Tingfa Xu(参考訳) グラフィックデザインにとってモデリングレイアウトは重要な第一歩です。 近年,特にgans(generative adversarial network)において,グラフィックレイアウト生成手法が進歩している。 しかしながら、設計要素の位置と大きさを特定する問題は、通常、面積、アスペクト比、読み出し順序といった要素属性に関する制約を伴う。 属性条件付きグラフィックレイアウトの自動化は、複雑で未解決な問題である。 本稿では,ジェネレータと識別器の両方に属性条件を満たさせることにより,グラフィックレイアウト生成のための設計要素の属性を取り込む属性条件付きレイアウトganを提案する。 グラフィックデザインの複雑さにより、識別者が要素の部分的なリストを見て、その局所的なパターンを学ぶための要素ドロップアウト法も提案する。 さらに,レイアウト最適化の異なる設計原則に従って,様々な損失設計を導入する。 提案手法は,異なる要素属性に条件付きグラフィックレイアウトを合成できることを実証する。 また、デザインが整ったレイアウトを新しいサイズに調整することもできます。 本手法の有効性はユーザスタディによって検証される。

Modeling layout is an important first step for graphic design. Recently, methods for generating graphic layouts have progressed, particularly with Generative Adversarial Networks (GANs). However, the problem of specifying the locations and sizes of design elements usually involves constraints with respect to element attributes, such as area, aspect ratio and reading-order. Automating attribute conditional graphic layouts remains a complex and unsolved problem. In this paper, we introduce Attribute-conditioned Layout GAN to incorporate the attributes of design elements for graphic layout generation by forcing both the generator and the discriminator to meet attribute conditions. Due to the complexity of graphic designs, we further propose an element dropout method to make the discriminator look at partial lists of elements and learn their local patterns. In addition, we introduce various loss designs following different design principles for layout optimization. We demonstrate that the proposed method can synthesize graphic layouts conditioned on different element attributes. It can also adjust well-designed layouts to new sizes while retaining elements' original reading-orders. The effectiveness of our method is validated through a user study.
翻訳日:2022-10-19 22:01:17 公開日:2020-09-11
# 機械学習技術を用いたSARイマジナリーからの自動目標認識(ATR)

Automatic Target Recognition (ATR) from SAR Imaginary by Using Machine Learning Techniques ( http://arxiv.org/abs/2009.09939v1 )

ライセンス: Link先を確認
Umut \"Ozkaya(参考訳) 合成開口レーダ(SAR)画像におけるターゲット自動認識(ATR)は、高レベルノイズを含むため、非常に難しい問題となる。 本研究では,SAR画像を用いて移動目標と静止目標を識別する機械学習手法を提案する。 グレーレベルSAR画像上のFast Fourier Transform (FFT), Discrete Cosine Transform (DCT), Discrete Wavelet Transform (DWT) からFOS特性を得た。 また,Gray Level Co-occurrence Matrix (GLCM), Gray Level Run Length Matrix (GLRLM), Gray Level Size Zone Matrix (GLSZM)アルゴリズムも使用されている。 これらの機能は、ガウスカーネルを備えたトレーニングおよびテストステージサポートベクターマシン(svm)モデルの入力として提供される。 4倍のクロスバリデーションが性能評価に実装された。 得られた結果は、GLCM + SVMアルゴリズムが95.26%の精度で最良のモデルであることを示した。 提案手法は,MSTARデータベースにおける移動目標と静止目標を高い性能で認識できることを示す。

Automatic Target Recognition (ATR) in Synthetic aperture radar (SAR) images becomes a very challenging problem owing to containing high level noise. In this study, a machine learning-based method is proposed to detect different moving and stationary targets using SAR images. First Order Statistical (FOS) features were obtained from Fast Fourier Transform (FFT), Discrete Cosine Transform (DCT) and Discrete Wavelet Transform (DWT) on gray level SAR images. Gray Level Co-occurrence Matrix (GLCM), Gray Level Run Length Matrix (GLRLM) and Gray Level Size Zone Matrix (GLSZM) algorithms are also used. These features are provided as input for the training and testing stage Support Vector Machine (SVM) model with Gaussian kernels. 4-fold cross-validations were implemented in performance evaluation. Obtained results showed that GLCM + SVM algorithm is the best model with 95.26% accuracy. This proposed method shows that moving and stationary targets in MSTAR database could be recognized with high performance.
翻訳日:2022-10-19 22:01:02 公開日:2020-09-11
# ローカライズされたグラフニューラルネットワークを超えて - 分散モチーフ正規化フレームワーク

Beyond Localized Graph Neural Networks: An Attributed Motif Regularization Framework ( http://arxiv.org/abs/2009.05197v1 )

ライセンス: Link先を確認
Aravind Sankar, Junting Wang, Adit Krishnan, Hari Sundaram(参考訳) 我々は、グラフ上の新しい半教師付きモチーフ正規化学習フレームワークInfoMotifを提示する。 一般的なグラフニューラルネットワーク(gnns)におけるメッセージパッシングの重要な2つの制限を克服した。ローカライズ(k層gnnはラベル付きトレーニングノードのkホップ近傍では機能利用できない)と過剰スムース(構造的に区別できない)表現である。 本稿では,ネットワーク近接性に依存しない異なるネットワークモチーフにおけるノードの属性構造的役割の概念を提案する。 2つのノードは、トポロジカルに類似したモチーフインスタンスに共変する属性の集合に対して、属性を持つ構造的役割を共有する。 さらに、InfoMotifは、相互情報の最大化によって任意のGNNのノード表現を規則化することで、アーキテクチャの独立性を達成する。 本カリキュラムは,学習過程における複数のモチーフを,基礎となるグラフや学習課題の分布仮定に頼ることなく動的に優先順位付けする。 当社のフレームワークには3つの最先端のGNNが組み込まれており、6つの多種多様な実世界のデータセット間で大きな向上(3-10%の精度)を示している。 局所的な近傍構造に疎いトレーニングラベルと多彩な属性を持つノードに対して,より強力なゲインが期待できる。

We present InfoMotif, a new semi-supervised, motif-regularized, learning framework over graphs. We overcome two key limitations of message passing in popular graph neural networks (GNNs): localization (a k-layer GNN cannot utilize features outside the k-hop neighborhood of the labeled training nodes) and over-smoothed (structurally indistinguishable) representations. We propose the concept of attributed structural roles of nodes based on their occurrence in different network motifs, independent of network proximity. Two nodes share attributed structural roles if they participate in topologically similar motif instances over co-varying sets of attributes. Further, InfoMotif achieves architecture independence by regularizing the node representations of arbitrary GNNs via mutual information maximization. Our training curriculum dynamically prioritizes multiple motifs in the learning process without relying on distributional assumptions in the underlying graph or the learning task. We integrate three state-of-the-art GNNs in our framework, to show significant gains (3-10% accuracy) across six diverse, real-world datasets. We see stronger gains for nodes with sparse training labels and diverse attributes in local neighborhood structures.
翻訳日:2022-10-19 22:00:14 公開日:2020-09-11
# 自動ネットワーク制御のためのグラフニューラルネットワークに基づくサービス関数連鎖

Graph Neural Network based Service Function Chaining for Automatic Network Control ( http://arxiv.org/abs/2009.05240v1 )

ライセンス: Link先を確認
DongNyeong Heo, Stanislav Lange, Hee-Gon Kim and Heeyoul Choi(参考訳) software-defined networking (sdn) と network function virtualization (nfv) は、コスト削減によるソフトウェアベースの制御技術の発展に繋がった。 サービス機能連鎖(sfc)は、要求されたすべての仮想化ネットワーク機能(vnf)を処理するネットワークサーバの効率的なパスを見つけるための重要な技術である。 しかし、複雑な状況であっても、高品質サービス(QoS)を維持する必要があるため、SFCは難しい。 ディープ・ニューラル・ネットワーク(DNN)のような高レベルのインテリジェント・モデルを用いたタスクのためにいくつかの研究がなされているが、これらのアプローチはネットワークのトポロジ情報を利用するのに効率的ではなく、トポロジが固定されていると仮定しているため、動的に変化するトポロジを持つネットワークに適用できない。 本稿では,ネットワークトポロジーのグラフ構造特性を考慮したグラフニューラルネットワーク(gnn)に基づく,sfcのためのニューラルネットワークアーキテクチャを提案する。 提案したSFCモデルは、エンコーダとデコーダから構成され、そこでエンコーダはネットワークトポロジの表現を見つけ、デコーダは近隣ノードの確率とVNFを処理する確率を推定する。 実験では,提案手法はDNNベースラインモデルの性能よりも優れていた。 さらに、GNNベースのモデルは、再設計や再トレーニングを行うことなく、新しいネットワークトポロジに適用することができる。

Software-defined networking (SDN) and the network function virtualization (NFV) led to great developments in software based control technology by decreasing expenditures. Service function chaining (SFC) is an important technology to find efficient paths in network servers to process all of the requested virtualized network functions (VNF). However, SFC is challenging since it has to maintain high Quality of Service (QoS) even for complicated situations. Although some works have been conducted for such tasks with high-level intelligent models like deep neural networks (DNNs), those approaches are not efficient in utilizing the topology information of networks and cannot be applied to networks with dynamically changing topology since their models assume that the topology is fixed. In this paper, we propose a new neural network architecture for SFC, which is based on graph neural network (GNN) considering the graph-structured properties of network topology. The proposed SFC model consists of an encoder and a decoder, where the encoder finds the representation of the network topology, and then the decoder estimates probabilities of neighborhood nodes and their probabilities to process a VNF. In the experiments, our proposed architecture outperformed previous performances of DNN based baseline model. Moreover, the GNN based model can be applied to a new network topology without re-designing and re-training.
翻訳日:2022-10-19 21:59:50 公開日:2020-09-11
# 米国におけるCDC死亡データの動向と予測要因分析への機械学習とデータサイエンスのアプローチ

Machine Learning and Data Science approach towards trend and predictors analysis of CDC Mortality Data for the USA ( http://arxiv.org/abs/2009.05400v1 )

ライセンス: Link先を確認
Yasir Nadeem, Awais Ahmed(参考訳) 死亡率の研究は、提供されたデータと条件から結論が導かれる国において活発な研究領域である。 機械学習とデータサイエンスのプラクティスを使ってデータ直感に基づいて結論を導き出すには、ドメイン知識は必須だが必須のスキルではない(一部の知識はまだ必要である)。 このプロジェクトの目的は、提供されたデータセットから統計に基づいて結論を導き、教師なしまたは教師なしの学習アルゴリズムを用いてデータセットのラベルを予測することである。 調査では、性別やその中心的な傾向に関わらず(サンプルに基づいて)平均寿命が決定された。 この研究は、分類学的および数値的データにより、他のラベルよりも多くのクラスラベルが存在する可能性があるため、異常検出またはアンダーサンプリングが有効な解決策になり得ることを発見するのに役立った。 この研究は、機械学習の予測が、明らかにデータにとって不可能であることを示している。

The research on mortality is an active area of research for any country where the conclusions are driven from the provided data and conditions. The domain knowledge is an essential but not a mandatory skill (though some knowledge is still required) in order to derive conclusions based on data intuition using machine learning and data science practices. The purpose of conducting this project was to derive conclusions based on the statistics from the provided dataset and predict label(s) of the dataset using supervised or unsupervised learning algorithms. The study concluded (based on a sample) life expectancy regardless of gender, and their central tendencies; Marital status of the people also affected how frequent deaths were for each of them. The study also helped in finding out that due to more categorical and numerical data, anomaly detection or under-sampling could be a viable solution since there are possibilities of more class labels than the other(s). The study shows that machine learning predictions aren't as viable for the data as it might be apparent.
翻訳日:2022-10-19 21:59:05 公開日:2020-09-11
# SA-Net:画像クラスタリングのためのディープスペクトル解析ネットワーク

SA-Net: A deep spectral analysis network for image clustering ( http://arxiv.org/abs/2009.07026v1 )

ライセンス: Link先を確認
Jinghua Wang and Jianmin Jiang(参考訳) 教師あり深層表現学習は、パターン認識やコンピュータビジョンの分野において大きな注目を集めているが、画像クラスタリングのための教師なし深層表現学習への進歩はほとんどない。 本稿では,教師なし表現学習と画像クラスタリングのための深いスペクトル解析ネットワークを提案する。 スペクトル解析は、厳密な理論的基礎で確立されており、教師なしのデータマイニングに広く適用されているが、その本質的な弱点は、適切な親和性行列を構築し、与えられたデータセットのラプラシアン行列を決定するのが困難であるという事実にある。 本稿では,これらの弱点を克服し,スペクトル解析手法を複数の層を持つディープラーニングフレームワークに拡張することにより,画像クラスタリングの改善を実現するSA-Netを提案する。 SA-Netは、深層表現を学び、データサンプル間の深い相関を明らかにする能力を持っている。 既存のスペクトル分析と比較すると、SA-Netは2つの利点がある。 i)あるスペクトル解析手順が与えられたデータセットの1つのサブセットしか扱えないという事実から,提案するsa-netは,複数の並列かつ連続的なスペクトル分析手順をエレガントに統合することにより,協調クラスタリングモデルに向けて,異なる単位間の対話的学習を可能にする。 (II)我々のSA-Netはパッチレベルで異なる画像間の局所的類似性を識別し,閉塞に対する堅牢性を高める。 私たちの提案するsa-netは、多数の画像クラスタリングアプリケーションで11のベンチマークを上回っている。

Although supervised deep representation learning has attracted enormous attentions across areas of pattern recognition and computer vision, little progress has been made towards unsupervised deep representation learning for image clustering. In this paper, we propose a deep spectral analysis network for unsupervised representation learning and image clustering. While spectral analysis is established with solid theoretical foundations and has been widely applied to unsupervised data mining, its essential weakness lies in the fact that it is difficult to construct a proper affinity matrix and determine the involving Laplacian matrix for a given dataset. In this paper, we propose a SA-Net to overcome these weaknesses and achieve improved image clustering by extending the spectral analysis procedure into a deep learning framework with multiple layers. The SA-Net has the capability to learn deep representations and reveal deep correlations among data samples. Compared with the existing spectral analysis, the SA-Net achieves two advantages: (i) Given the fact that one spectral analysis procedure can only deal with one subset of the given dataset, our proposed SA-Net elegantly integrates multiple parallel and consecutive spectral analysis procedures together to enable interactive learning across different units towards a coordinated clustering model; (ii) Our SA-Net can identify the local similarities among different images at patch level and hence achieves a higher level of robustness against occlusions. Extensive experiments on a number of popular datasets support that our proposed SA-Net outperforms 11 benchmarks across a number of image clustering applications.
翻訳日:2022-10-19 21:53:37 公開日:2020-09-11
# WOLI at SemEval-2020 Task 12: Arabic Offensive Language Identification on different Twitter datasets (英語)

WOLI at SemEval-2020 Task 12: Arabic Offensive Language Identification on Different Twitter Datasets ( http://arxiv.org/abs/2009.05456v1 )

ライセンス: Link先を確認
Yasser Otiefy (WideBot), Ahmed Abdelmalek (WideBot), Islam El Hosary (WideBot)(参考訳) ソーシャルプラットフォームを通じたコミュニケーションは、パーソナルコミュニケーションと対話の主要な手段の1つになっている。 残念なことに、健全なコミュニケーションは、しばしば攻撃的な言語によって妨害される。 ソーシャルメディア上で攻撃的言語と戦うための鍵は、自動攻撃的言語検出システムの存在である。 本稿では,SemEval-2020, Task 12 OffensEval Sub-task A Zampieri et al. (2020)の結果と,ソーシャルメディアにおけるOffensive Languageの同定と分類について述べる。 このタスクはアラビア語のオフエンセバルデータセットであるmubarak et al.(2020年)に基づいている。 本稿では,CidaLab ユーザ名 "yasserotiefy" に基づくゴールデンデータセットにおいて,マクロF1 86.9% の52人中10位にランクインした共有タスクに対して WideBot AI Lab が提出したシステムについて述べる。 我々は様々なモデルで実験を行い、最良のモデルは線形SVMであり、文字と単語n-gramの組み合わせを用いる。 また、CNN、ハイウェイネットワーク、Bi-LSTM、アテンション層を含むシステムの予測能力を向上するニューラルネットワークアプローチも導入しました。

Communicating through social platforms has become one of the principal means of personal communications and interactions. Unfortunately, healthy communication is often interfered by offensive language that can have damaging effects on the users. A key to fight offensive language on social media is the existence of an automatic offensive language detection system. This paper presents the results and the main findings of SemEval-2020, Task 12 OffensEval Sub-task A Zampieri et al. (2020), on Identifying and categorising Offensive Language in Social Media. The task was based on the Arabic OffensEval dataset Mubarak et al. (2020). In this paper, we describe the system submitted by WideBot AI Lab for the shared task which ranked 10th out of 52 participants with Macro-F1 86.9% on the golden dataset under CodaLab username "yasserotiefy". We experimented with various models and the best model is a linear SVM in which we use a combination of both character and word n-grams. We also introduced a neural network approach that enhanced the predictive ability of our system that includes CNN, highway network, Bi-LSTM, and attention layers.
翻訳日:2022-10-19 21:53:10 公開日:2020-09-11
# 高相関変数クリエータマシン:コンクリートの圧縮強度の予測

High correlated variables creator machine: Prediction of the compressive strength of concrete ( http://arxiv.org/abs/2009.06421v1 )

ライセンス: Link先を確認
Aydin Shishegaran, Hessam Varaee, Timon Rabczuk, Gholamreza Shishegaran(参考訳) 本稿では, 超音波パルス速度 (UPV) とリバウンド数 (RN) を用いてコンクリートの圧縮強度を予測するハイブリッドモデルを提案する。 まず, UPVとリバウンドハンマー(RH)の8つの研究から得られた516のデータを収集した。 そして、出力とより良好な相関を持つ新しい変数を作成し、予測モデルを改善するために、高相関変数作成機(hvcm)が使用される。 コンクリートの圧縮強度を予測するため,ステップバイステップ回帰(SBSR),遺伝子発現プログラミング(GEP),適応型ニューロファジィ推論(ANFIS),HCVCM-SBSR,HCVCM-GEP,HCVCM-ANFISの3つのハイブリッドモデルを用いた。 決定係数,根平均二乗誤差 (RMSE), 正規化平均二乗誤差 (NMSE), 分数偏差, 最大正と負の誤差, 平均絶対パーセンテージ誤差 (MAPE) などの統計的パラメータと誤差項を計算し, モデルの評価と比較を行った。 その結果, HCVCM-ANFISはコンクリートの圧縮強度を他のどのモデルよりも良く予測できることがわかった。 HCVCMは、判定係数の5%、RMSEの10%、NMSEの3%、MAPEの20%、最大負誤差の7%でANFISの精度を向上させる。

In this paper, we introduce a novel hybrid model for predicting the compressive strength of concrete using ultrasonic pulse velocity (UPV) and rebound number (RN). First, 516 data from 8 studies of UPV and rebound hammer (RH) tests was collected. Then, high correlated variables creator machine (HVCM) is used to create the new variables that have a better correlation with the output and improve the prediction models. Three single models, including a step-by-step regression (SBSR), gene expression programming (GEP) and an adaptive neuro-fuzzy inference system (ANFIS) as well as three hybrid models, i.e. HCVCM-SBSR, HCVCM-GEP and HCVCM-ANFIS, were employed to predict the compressive strength of concrete. The statistical parameters and error terms such as coefficient of determination, root mean square error (RMSE), normalized mean square error (NMSE), fractional bias, the maximum positive and negative errors, and mean absolute percentage error (MAPE), were computed to evaluate and compare the models. The results show that HCVCM-ANFIS can predict the compressive strength of concrete better than all other models. HCVCM improves the accuracy of ANFIS by 5% in the coefficient of determination, 10% in RMSE, 3% in NMSE, 20% in MAPE, and 7% in the maximum negative error.
翻訳日:2022-10-19 21:52:52 公開日:2020-09-11
# AIQメタテストベッド:実践的なAIテストと産業Qの必要性

The AIQ Meta-Testbed: Pragmatically Bridging Academic AI Testing and Industrial Q Needs ( http://arxiv.org/abs/2009.05260v1 )

ライセンス: Link先を確認
Markus Borg(参考訳) AIソリューションは、あらゆるアプリケーションドメインに現れているようだ。 AIが普及するにつれて、品質保証の重要性が増す。 残念ながら、人工知能の意味や解釈について、単純な統計分析から感覚的なヒューマノイドロボットまで、コンセンサスはない。 それに加えて、品質は指摘が難しいことで悪名高いコンセプトだ。 これはaiの品質に何を意味するのか? 本稿では,テストに焦点をあてて,対応する品質保証に取り組むための作業定義と実践的アプローチを共有する。 最後に、AIQ Meta-Testbedの確立に向けた継続的な取り組みについて述べる。

AI solutions seem to appear in any and all application domains. As AI becomes more pervasive, the importance of quality assurance increases. Unfortunately, there is no consensus on what artificial intelligence means and interpretations range from simple statistical analysis to sentient humanoid robots. On top of that, quality is a notoriously hard concept to pinpoint. What does this mean for AI quality? In this paper, we share our working definition and a pragmatic approach to address the corresponding quality assurance with a focus on testing. Finally, we present our ongoing work on establishing the AIQ Meta-Testbed.
翻訳日:2022-10-19 21:52:25 公開日:2020-09-11
# 創造性課題におけるアイデア管理と知識表現のためのマルチエージェントシステムとオントロジの結果

Results of multi-agent system and ontology to manage ideas and represent knowledge in a challenge of creativity ( http://arxiv.org/abs/2009.05282v1 )

ライセンス: Link先を確認
Pedro Barrios, Davy Monticolo (ENSGSI), Sahbi Sidhom (KIWI)(参考訳) 本論では,概念と知識としての異種情報を持つ分散システムにおいて,これらの概念の意味を記述するオントロジーの結果が得られたマルチエージェントシステムによって,アイデア管理を支援するインテリジェントシステムについて述べる。 インテリジェントシステムは、クリエイティビティワークショップの参加者がアイデアを管理するのを支援し、アイデア専用のオントロジーを提案する。 クリエイティビティワークショップでは、知識を共有するこのクリエイティビティワークショップのイベントに没頭した役割によって、多くの創造活動とコラボレーティブな創造方法が使用されている。 これらの役割の協調は物理的に遠く、それらの相互作用は同期または非同期であり、アイデアの情報は異種であるため、プロセスが分散していると言える。 これらのアイデアは、役割を持つ参加者によって自然言語で書かれており、そのアイデアは、スキーマ、テキスト、あるいは使用シナリオによって記述されるため、異種である。 本稿ではまず,MASとオントロジーの設計について述べる。

This article is about an intelligent system to support ideas management as a result of a multi-agent system used in a distributed system with heterogeneous information as ideas and knowledge, after the results about an ontology to describe the meaning of these ideas. The intelligent system assists participants of the creativity workshop to manage their ideas and consequently proposing an ontology dedicated to ideas. During the creative workshop many creative activities and collaborative creative methods are used by roles immersed in this creativity workshop event where they share knowledge. The collaboration of these roles is physically distant, their interactions might be synchrony or asynchrony, and the information of the ideas are heterogeneous, so we can say that the process is distributed. Those ideas are writing in natural language by participants which have a role and the ideas are heterogeneous since some of them are described by schema, text or scenario of use. This paper presents first, our MAS and second our Ontology design.
翻訳日:2022-10-19 21:52:16 公開日:2020-09-11
# k-12 会話型人工知能リテラシーカリキュラムと開発ツール

Teaching Tech to Talk: K-12 Conversational Artificial Intelligence Literacy Curriculum and Development Tools ( http://arxiv.org/abs/2009.05653v1 )

ライセンス: Link先を確認
Jessica Van Brummelen, Tommy Heng, Viktoriya Tabunshchyk(参考訳) 子どもたちが毎日、スマートスピーカーやスマートフォン、さらにはマイクロウェーブなどと会話する中、これらのエージェントが基礎となるメカニズムから社会的な影響まで、どのように働くのかを学生に教えることがますます重要になっている。 研究者は、人工知能(AI)についてK-12の学生に広く教えるツールやカリキュラムを開発しているが、AI固有の学習結果に関してこれらのツールを評価する研究は少ない。 我々は,MIT App Inventorの会話エージェントインタフェースとワークショップのカリキュラムについて,文献からの8つのAI能力について評価した。 さらに,教師 (n=9) と学生 (n=47) のフィードバックをインタフェースを用いて分析し, 今後の研究は, 文献からのデザイン的考察を活用し, エンゲージメントを最適化し, 教員とのコラボレーションを行い, 講座や拡張の機会を通じて, 幅広い学生の能力に対処することを推奨する。 私たちは、学生がAI倫理と学習の概念に最も苦労していることを発見し、教えるときにこれらのトピックを強調することを推奨した。 デモビデオを含む付録は以下の通り。 https://gist.github.com/jessvb/1cd959e32415a6ad4389761c49b54bbf

With children talking to smart-speakers, smart-phones and even smart-microwaves daily, it is increasingly important to educate students on how these agents work-from underlying mechanisms to societal implications. Researchers are developing tools and curriculum to teach K-12 students broadly about artificial intelligence (AI); however, few studies have evaluated these tools with respect to AI-specific learning outcomes, and even fewer have addressed student learning about AI-based conversational agents. We evaluate our Conversational Agent Interface for MIT App Inventor and workshop curriculum with respect to eight AI competencies from the literature. Furthermore, we analyze teacher (n=9) and student (n=47) feedback from workshops with the interface and recommend that future work leverages design considerations from the literature to optimize engagement, collaborates with teachers, and addresses a range of student abilities through pacing and opportunities for extension. We found students struggled most with the concepts of AI ethics and learning, and recommend emphasizing these topics when teaching. The appendix, including a demo video, can be found here: https://gist.github.com/jessvb/1cd959e32415a6ad4389761c49b54bbf
翻訳日:2022-10-19 21:51:40 公開日:2020-09-11
# カントリーアーチタイプに基づくリスナーモデリングと文脈対応音楽レコメンデーション

Listener Modeling and Context-aware Music Recommendation Based on Country Archetypes ( http://arxiv.org/abs/2009.09935v1 )

ライセンス: Link先を確認
Markus Schedl, Christine Bauer, Wolfgang Reisinger, Dominik Kowald, Elisabeth Lex(参考訳) 音楽の好みは、リスナーの文化的・社会経済的背景によって強く形成され、国固有の音楽リスニングプロファイルにおいてある程度反映されている。 以前の作品は、聴いた音楽アーティストの人気分布に国固有の違いがあることを既に特定している。 特に「音楽の主流」を構成するものは国によって大きく異なる。 まず、最先端の教師なし学習技術を用いて、(1)きめ細かな楽曲レベルにおける音楽選好の国別プロファイル(アーティストレベルの音楽選好に依存した初期の作品とは対照的に)、(2)類似した音楽選好パターンを持つ国別アーチタイプを特定し、徹底的に調査する。 第2に,音楽選好に関するユーザの国情報を活用する4つのユーザモデルを定式化する。 そこで本稿では,楽曲リスナを,特定国クラスタやアーチタイプに対する類似点のベクトルとして記述するユーザモデリング手法を提案する。 第3に,4つのユーザモデルを通じてコンテキストを定義する暗黙のユーザフィードバックを活用する,コンテキスト対応の音楽レコメンデーションシステムを提案する。 より正確には、これは変分オートエンコーダに基づく多層生成モデルであり、文脈的特徴がゲーティング機構を通じてレコメンデーションに影響を与えることができる。 第4に,提案したレコメンデーションシステムとユーザモデルを,世界中のユーザ10億件以上のリスニング記録(うち3億6900万件を実験で使用している)で徹底的に評価し,この種のコンテキスト情報を活用しない最先端のアルゴリズムのメリットを示す。

Music preferences are strongly shaped by the cultural and socio-economic background of the listener, which is reflected, to a considerable extent, in country-specific music listening profiles. Previous work has already identified several country-specific differences in the popularity distribution of music artists listened to. In particular, what constitutes the "music mainstream" strongly varies between countries. To complement and extend these results, the article at hand delivers the following major contributions: First, using state-of-the-art unsupervised learning techniques, we identify and thoroughly investigate (1) country profiles of music preferences on the fine-grained level of music tracks (in contrast to earlier work that relied on music preferences on the artist level) and (2) country archetypes that subsume countries sharing similar patterns of listening preferences. Second, we formulate four user models that leverage the user's country information on music preferences. Among others, we propose a user modeling approach to describe a music listener as a vector of similarities over the identified country clusters or archetypes. Third, we propose a context-aware music recommendation system that leverages implicit user feedback, where context is defined via the four user models. More precisely, it is a multi-layer generative model based on a variational autoencoder, in which contextual features can influence recommendations through a gating mechanism. Fourth, we thoroughly evaluate the proposed recommendation system and user models on a real-world corpus of more than one billion listening records of users around the world (out of which we use 369 million in our experiments) and show its merits vis-a-vis state-of-the-art algorithms that do not exploit this type of context information.
翻訳日:2022-10-19 21:51:18 公開日:2020-09-11
# AIと法的議論 - AI法推論の自律的レベルを調整する

AI and Legal Argumentation: Aligning the Autonomous Levels of AI Legal Reasoning ( http://arxiv.org/abs/2009.11180v1 )

ライセンス: Link先を確認
Lance Eliot(参考訳) 法的な議論は正義の重要な基盤であり、敵対的な法の形を支え、人工知能(AI)を含むコンピュータベースの自動化を使用することで法的な議論を拡大または実施しようと試みている。 自然言語処理(NLP)と機械学習(ML)におけるAIの進歩は、法律専門家を支援するためにAIを活用する能力を特に強化している。 この多分野の野心的な目標は、AIによる人間に基づく弁護士の強化に役立つ法的議論に加えて、究極的には、自律的に影響された人間と同等の法的議論を達成することである。 このようにして、aiの法的推論(ailr)の自律性レベル(loa)をaiと法的議論(aila)の成熟に応用し、この絶え間なく進化し、厳格に追求された領域における進歩を探究する新しい手段を提唱する革新的なメタアプローチが提案されている。

Legal argumentation is a vital cornerstone of justice, underpinning an adversarial form of law, and extensive research has attempted to augment or undertake legal argumentation via the use of computer-based automation including Artificial Intelligence (AI). AI advances in Natural Language Processing (NLP) and Machine Learning (ML) have especially furthered the capabilities of leveraging AI for aiding legal professionals, doing so in ways that are modeled here as CARE, namely Crafting, Assessing, Refining, and Engaging in legal argumentation. In addition to AI-enabled legal argumentation serving to augment human-based lawyering, an aspirational goal of this multi-disciplinary field consists of ultimately achieving autonomously effected human-equivalent legal argumentation. As such, an innovative meta-approach is proposed to apply the Levels of Autonomy (LoA) of AI Legal Reasoning (AILR) to the maturation of AI and Legal Argumentation (AILA), proffering a new means of gauging progress in this ever-evolving and rigorously sought domain.
翻訳日:2022-10-19 21:50:46 公開日:2020-09-11
# ハミルトン流図のシンプレクティックガウス過程回帰

Symplectic Gaussian Process Regression of Hamiltonian Flow Maps ( http://arxiv.org/abs/2009.05569v1 )

ライセンス: Link先を確認
Katharina Rath, Christopher G. Albert, Bernd Bischl, Udo von Toussaint(参考訳) ハミルトンフローマップに対する適切な効率なエミュレータを構築するためのアプローチを提案する。 将来の用途は加速器における高速荷電粒子の長期追跡と磁気プラズマ閉じ込め構成である。 本手法は分散トレーニングデータを用いた複数出力ガウス過程回帰に基づく。 長期安定を得るためには、行列値共分散関数の選択によりシンプレクティック特性を強制する。 スプライン補間に関する初期の研究に基づいて、正準変換の生成関数の微分を観察する。 製品カーネルは正確な暗黙のメソッドを生成するが、sumカーネルはこのアプローチから高速な明示的なメソッドを生成する。 どちらも数値積分の点でシンプレクティックオイラー法に対応する。 これらの方法は振り子とH\'enon-Heiles系に適用され、直交多項式を持つ対称回帰と比較される。 小さな写像時間の限界において、ハミルトニアン関数は生成関数の一部と同一視することができ、従って系の進化の観測された時系列データから学習することができる。 シンプレクティックマップの暗黙的カーネルとスペクトル回帰の同等の性能に加えて、既存のアプローチと比較してハミルトン関数の学習性能が大幅に向上したことを示す。

We present an approach to construct appropriate and efficient emulators for Hamiltonian flow maps. Intended future applications are long-term tracing of fast charged particles in accelerators and magnetic plasma confinement configurations. The method is based on multi-output Gaussian process regression on scattered training data. To obtain long-term stability the symplectic property is enforced via the choice of the matrix-valued covariance function. Based on earlier work on spline interpolation we observe derivatives of the generating function of a canonical transformation. A product kernel produces an accurate implicit method, whereas a sum kernel results in a fast explicit method from this approach. Both correspond to a symplectic Euler method in terms of numerical integration. These methods are applied to the pendulum and the H\'enon-Heiles system and results compared to an symmetric regression with orthogonal polynomials. In the limit of small mapping times, the Hamiltonian function can be identified with a part of the generating function and thereby learned from observed time-series data of the system's evolution. Besides comparable performance of implicit kernel and spectral regression for symplectic maps, we demonstrate a substantial increase in performance for learning the Hamiltonian function compared to existing approaches.
翻訳日:2022-10-19 21:50:18 公開日:2020-09-11
# sofar:バイナリ畳み込みニューラルネットワークのためのショートカットベースのフラクタルアーキテクチャ

SoFAr: Shortcut-based Fractal Architectures for Binary Convolutional Neural Networks ( http://arxiv.org/abs/2009.05317v1 )

ライセンス: Link先を確認
Zhu Baozhou, Peter Hofstee, Jinho Lee, Zaid Al-Ars(参考訳) バイナリ畳み込みニューラルネットワーク(BCNN)は、モバイルや組み込みシステムなどのリソース制約のあるプラットフォームへの展開において、ディープ畳み込みニューラルネットワーク(DCNN)の効率を大幅に向上させることができる。 しかし、BCNNの精度の低下は、実際の展開を妨げる完全な精度と比較すると、まだかなり大きい。 前向き伝播における二項化誤差と後向き伝播における勾配ミスマッチ問題により、BCNNを訓練して良好な精度を達成することは容易ではない。 トレーニングの難しさを緩和するために、残留接続ベースのBi-real ResNetや高密度接続ベースのBinaryDenseNetのようなショートカットベースのBCNNは、すでに完全精度のショートカットにあるショートカットに加えて、追加のショートカットを導入している。 さらに, フラクタル構造は, 学生・教員間の情報流の深部管理に類似した効果をもたらすため, フル精度DCNNの訓練プロセスを改善するためにも用いられている。 ショートカットとフラクタルアーキテクチャに触発されて、BCNN用に特別に設計された2つのショートカットベースのフラクタルアーキテクチャ(SoFAr)を提案する。 1.バイナリ resnetのための残留接続ベースのフラクタルアーキテクチャ 2.バイナリ密度ネットのための密結合型フラクタルアーキテクチャ 提案するSoFArは,1つの統一モデルによるショートカットとフラクタルアーキテクチャの採用を組み合わせることで,BCNNのトレーニングに有効である。 その結果,提案するsofarはショートカット型bbnnと比較して精度が向上した。 具体的には、ImageNet上で提案したRF-c4d8 ResNet37(41)とDRF-c2d2 DenseNet51(53)のTop-1精度が、Bi-real ResNet18(64)とBinaryDenseNet51(32)をそれぞれ3.29%、1.41%上回った。

Binary Convolutional Neural Networks (BCNNs) can significantly improve the efficiency of Deep Convolutional Neural Networks (DCNNs) for their deployment on resource-constrained platforms, such as mobile and embedded systems. However, the accuracy degradation of BCNNs is still considerable compared with their full precision counterpart, impeding their practical deployment. Because of the inevitable binarization error in the forward propagation and gradient mismatch problem in the backward propagation, it is nontrivial to train BCNNs to achieve satisfactory accuracy. To ease the difficulty of training, the shortcut-based BCNNs, such as residual connection-based Bi-real ResNet and dense connection-based BinaryDenseNet, introduce additional shortcuts in addition to the shortcuts already present in their full precision counterparts. Furthermore, fractal architectures have been also been used to improve the training process of full-precision DCNNs since the fractal structure triggers effects akin to deep supervision and lateral student-teacher information flow. Inspired by the shortcuts and fractal architectures, we propose two Shortcut-based Fractal Architectures (SoFAr) specifically designed for BCNNs: 1. residual connection-based fractal architectures for binary ResNet, and 2. dense connection-based fractal architectures for binary DenseNet. Our proposed SoFAr combines the adoption of shortcuts and the fractal architectures in one unified model, which is helpful in the training of BCNNs. Results show that our proposed SoFAr achieves better accuracy compared with shortcut-based BCNNs. Specifically, the Top-1 accuracy of our proposed RF-c4d8 ResNet37(41) and DRF-c2d2 DenseNet51(53) on ImageNet outperforms Bi-real ResNet18(64) and BinaryDenseNet51(32) by 3.29% and 1.41%, respectively, with the same computational complexity overhead.
翻訳日:2022-10-19 21:43:52 公開日:2020-09-11
# 異なる環境における視覚SLAM法のロバスト性の評価

Evaluation of the Robustness of Visual SLAM Methods in Different Environments ( http://arxiv.org/abs/2009.05427v1 )

ライセンス: Link先を確認
Joonas Lomps, Artjom Lind, Amnir Hadachi(参考訳) センサの周囲の位置と向きを判断すると同時に、そのセンサーの周囲の環境をマッピングしたり、同時に位置決めやマッピングを同時に行うことは、多くの異なる応用が可能な組み込み視覚において、急速に重要な進歩になりつつある。 本稿では、最新のオープンソースSLAMアルゴリズムを総合的に比較し、その主な焦点は、異なる環境環境下での性能である。 選択されたアルゴリズムは、一般に公開されているデータセットと、データセットの環境に関して推論された結果に基づいて評価される。 これはオフロードシナリオでメソッドをテストするという私たちの主な目標の第1段階です。

Determining the position and orientation of a sensor vis-a-vis its surrounding, while simultaneously mapping the environment around that sensor or simultaneous localization and mapping is quickly becoming an important advancement in embedded vision with a large number of different possible applications. This paper presents a comprehensive comparison of the latest open-source SLAM algorithms with the main focus being their performance in different environmental surroundings. The chosen algorithms are evaluated on common publicly available datasets and the results reasoned with respect to the datasets' environment. This is the first stage of our main target of testing the methods in off-road scenarios.
翻訳日:2022-10-19 21:42:53 公開日:2020-09-11
# ドメイン混合による不均一ドメイン一般化

Heterogeneous Domain Generalization via Domain Mixup ( http://arxiv.org/abs/2009.05448v1 )

ライセンス: Link先を確認
Yufei Wang (1 and 2), Haoliang Li (2), and Alex C. Kot (2)((1) University of Electronic Science and Technology of China, China, (2) Nanyang Technological University, Singapore)(参考訳) 深層畳み込みニューラルネットワーク(DCNN)の主な欠点の1つは、一般化能力の欠如である。 本研究では,異なるタスク間の一般化能力を向上させることを目的とした異種領域一般化の問題,すなわち,新たな対象領域における新規カテゴリ認識を支援するために,訓練された特徴抽出器を一般化できる複数のドメインデータを持つdcnnモデルを学習する方法に注目する。 そこで本研究では,複数のソースドメインにまたがるサンプルを2つの異なるサンプリング戦略で混合することにより,新しい異種領域一般化法を提案する。 visual decathlonベンチマークを用いた実験により,提案手法の有効性を実証した。 コードは \url{https://github.com/wyf0912/MIXALL} でリリースされる

One of the main drawbacks of deep Convolutional Neural Networks (DCNN) is that they lack generalization capability. In this work, we focus on the problem of heterogeneous domain generalization which aims to improve the generalization capability across different tasks, which is, how to learn a DCNN model with multiple domain data such that the trained feature extractor can be generalized to supporting recognition of novel categories in a novel target domain. To solve this problem, we propose a novel heterogeneous domain generalization method by mixing up samples across multiple source domains with two different sampling strategies. Our experimental results based on the Visual Decathlon benchmark demonstrates the effectiveness of our proposed method. The code is released in \url{https://github.com/wyf0912/MIXALL}
翻訳日:2022-10-19 21:42:43 公開日:2020-09-11
# TP-LSD:三点線分割検出器

TP-LSD: Tri-Points Based Line Segment Detector ( http://arxiv.org/abs/2009.05505v1 )

ライセンス: Link先を確認
Siyu Huang, Fangbo Qin, Pengfei Xiong, Ning Ding, Yijia He, Xiao Liu(参考訳) 本稿では,画像中の線分をリアルタイムに検出する新しい深部畳み込みモデルであるTri-Points Based Line Segment Detector (TP-LSD)を提案する。 以前の関連する方法は、通常、ヒューリスティックな後処理または追加の分類器に依存する二段階戦略を用いる。 より高速でコンパクトなモデルでワンステップ検出を実現するために,三点表現を導入し,各線分に対するルートポイントと2つのエンドポイントの終端予測に線分検出を変換する。 TP-LSDは三点抽出枝と線分枝の2つの枝を持つ。 前者は根点の熱マップとエンドポイントの2つの変位マップを予測する。 後者は、背景から直線にピクセルを分割する。 さらに、ラインセグメンテーションマップは、構造上の先行として第1ブランチで再利用される。 本稿では,Wireframe と YorkUrban のデータセットに対する新たな評価基準を提案し,最新の手法に比べて競合精度が向上しただけでなく,320ドルの入力で78FPSまでのリアルタイム実行速度を示す。

This paper proposes a novel deep convolutional model, Tri-Points Based Line Segment Detector (TP-LSD), to detect line segments in an image at real-time speed. The previous related methods typically use the two-step strategy, relying on either heuristic post-process or extra classifier. To realize one-step detection with a faster and more compact model, we introduce the tri-points representation, converting the line segment detection to the end-to-end prediction of a root-point and two endpoints for each line segment. TP-LSD has two branches: tri-points extraction branch and line segmentation branch. The former predicts the heat map of root-points and the two displacement maps of endpoints. The latter segments the pixels on straight lines out from background. Moreover, the line segmentation map is reused in the first branch as structural prior. We propose an additional novel evaluation metric and evaluate our method on Wireframe and YorkUrban datasets, demonstrating not only the competitive accuracy compared to the most recent methods, but also the real-time run speed up to 78 FPS with the $320\times 320$ input.
翻訳日:2022-10-19 21:42:20 公開日:2020-09-11
# MRIのない神経病理診断のための解剖画像の3次元再構成と分割

3D Reconstruction and Segmentation of Dissection Photographs for MRI-free Neuropathology ( http://arxiv.org/abs/2009.05596v1 )

ライセンス: Link先を確認
Henry Tregidgo, Adria Casamitjana, Caitlin Latimer, Mitchell Kilgore, Eleanor Robinson, Emily Blackburn, Koen Van Leemput, Bruce Fischl, Adrian Dalca, Christine Mac Donald, Dirk Keene, Juan Eugenio Iglesias(参考訳) 神経画像と神経病理相関(NTNC)は、病理の微視的署名をMRIで生体内イメージングに転送し、最終的に臨床ケアを強化することを約束する。 NTNCは伝統的に、生体外または死の直前に取得した体積MRIスキャンを必要とする。 残念なことに、ex vivo mriは困難で費用がかかり、最近の十分な品質のプレモーテムスキャンはほとんど利用できない。 このギャップを埋めるために、多くの脳バンクや神経病理部門で日常的に取得される脳解剖写真から、脳画像の3次元再構成と分割を行う手法を提案する。 3次元再構成は、MRI以外の参照ボリュームを使用する共同登録フレームワークによって達成される。 このボリュームは、手前のサンプル(例えば、表面3dスキャン)または一般人口(確率的アトラス)を表すことができる。 さらに,3次元再構成された画像の体積を36個の神経解剖学的構造に分類するベイズ的手法を提案する。 我々は,Diceスコアとボリューム相関を用いて,24脳のデータセット上で評価を行った。 以上の結果から, 解剖写真は多くのボリューム分析において, 生体外MRIの代替として有用であることが示唆された。 コードはhttps://github.com/htregidgo/dissectionphotovolumesで入手できる。

Neuroimaging to neuropathology correlation (NTNC) promises to enable the transfer of microscopic signatures of pathology to in vivo imaging with MRI, ultimately enhancing clinical care. NTNC traditionally requires a volumetric MRI scan, acquired either ex vivo or a short time prior to death. Unfortunately, ex vivo MRI is difficult and costly, and recent premortem scans of sufficient quality are seldom available. To bridge this gap, we present methodology to 3D reconstruct and segment full brain image volumes from brain dissection photographs, which are routinely acquired at many brain banks and neuropathology departments. The 3D reconstruction is achieved via a joint registration framework, which uses a reference volume other than MRI. This volume may represent either the sample at hand (e.g., a surface 3D scan) or the general population (a probabilistic atlas). In addition, we present a Bayesian method to segment the 3D reconstructed photographic volumes into 36 neuroanatomical structures, which is robust to nonuniform brightness within and across photographs. We evaluate our methods on a dataset with 24 brains, using Dice scores and volume correlations. The results show that dissection photography is a valid replacement for ex vivo MRI in many volumetric analyses, opening an avenue for MRI-free NTNC, including retrospective data. The code is available at https://github.com/htregidgo/DissectionPhotoVolumes.
翻訳日:2022-10-19 21:42:00 公開日:2020-09-11
# 動的推論のためのプログレッシブサブネットワーク検索フレームワーク

A Progressive Sub-Network Searching Framework for Dynamic Inference ( http://arxiv.org/abs/2009.05681v1 )

ライセンス: Link先を確認
Li Yang, Zhezhi He, Yu Cao, Deliang Fan(参考訳) モデル圧縮など、ディープニューラルネットワーク(DNN)をより効率的に推論するための多くの技術が開発されている。 それでもdnnには、動的要件と環境に基づいたモデル展開後の精度と計算の複雑さ(すなわち、ターゲットハードウェアの遅延)をトレードオフ可能にするための、優れた実行時の動的推論機能が欠けている。 このような研究の方向性は近年大きな注目を集めており、ひとつは複数のサブネットからのクロスエントロピー項からなる多目的関数を通じてターゲットDNNを訓練することである。 本研究では,動的推論の性能はサブネットサンプリングの品質に大きく依存していることを示す。 動的DNNの構築と検索コストの最小化を目的として,トレーニング可能なノイズランキング,チャネルグループ,微調整しきい値設定,サブネットの再選択など,いくつかの効果的な手法を組み込んだプログレッシブサブネット探索フレームワークを提案する。 CIFAR-10とImageNetの両方のデータセットにおいて、異なるネットワーク構造に関する包括的な実験により、従来よりも優れた性能を発揮する。 ResNet18を例として、提案手法は、モデルサイズが同じImageNetデータセットにおいて、従来のUniversally-Slimmable-Networkの4.4%と平均2.3%よりはるかに優れた動的推論精度を実現する。

Many techniques have been developed, such as model compression, to make Deep Neural Networks (DNNs) inference more efficiently. Nevertheless, DNNs still lack excellent run-time dynamic inference capability to enable users trade-off accuracy and computation complexity (i.e., latency on target hardware) after model deployment, based on dynamic requirements and environments. Such research direction recently draws great attention, where one realization is to train the target DNN through a multiple-term objective function, which consists of cross-entropy terms from multiple sub-nets. Our investigation in this work show that the performance of dynamic inference highly relies on the quality of sub-net sampling. With objective to construct a dynamic DNN and search multiple high quality sub-nets with minimal searching cost, we propose a progressive sub-net searching framework, which is embedded with several effective techniques, including trainable noise ranking, channel group and fine-tuning threshold setting, sub-nets re-selection. The proposed framework empowers the target DNN with better dynamic inference capability, which outperforms prior works on both CIFAR-10 and ImageNet dataset via comprehensive experiments on different network structures. Taken ResNet18 as an example, our proposed method achieves much better dynamic inference accuracy compared with prior popular Universally-Slimmable-Network by 4.4%-maximally and 2.3%-averagely in ImageNet dataset with the same model size.
翻訳日:2022-10-19 21:41:36 公開日:2020-09-11
# ゼロショット領域適応のための逆学習

Adversarial Learning for Zero-shot Domain Adaptation ( http://arxiv.org/abs/2009.05214v1 )

ライセンス: Link先を確認
Jinghua Wang and Jianmin Jiang(参考訳) Zero-shot Domain adapt (ZSDA) は、対象領域におけるパラメータ学習にデータサンプルもラベルも使用できない領域適応問題のカテゴリである。 与えられたドメインのペア間のシフトがタスク間で共有されるという仮説を用いて、無関係なタスク(IrT)から関心のタスク(ToI)にドメインシフトを移すことにより、ZSDAの新しい手法を提案する。 具体的には、まず二重ドメインサンプルが利用可能なIrTを識別し、このタスクで生成逆ネットワーク(CoGAN)を結合してドメインシフトをキャプチャする。 そして、ToIのためにCoGANをトレーニングし、IrTのCoGANと同じドメインシフトを実行するように制限します。 さらに,ToIにおけるCoGANのトレーニング手順を正規化するために,協調学習分類器を導入する。 提案手法は,非利用可能な対象領域データに対して機械学習モデルを導出するだけでなく,そのデータ自体を合成する。 提案手法をベンチマークデータセット上で評価し,最先端の性能を実現する。

Zero-shot domain adaptation (ZSDA) is a category of domain adaptation problems where neither data sample nor label is available for parameter learning in the target domain. With the hypothesis that the shift between a given pair of domains is shared across tasks, we propose a new method for ZSDA by transferring domain shift from an irrelevant task (IrT) to the task of interest (ToI). Specifically, we first identify an IrT, where dual-domain samples are available, and capture the domain shift with a coupled generative adversarial networks (CoGAN) in this task. Then, we train a CoGAN for the ToI and restrict it to carry the same domain shift as the CoGAN for IrT does. In addition, we introduce a pair of co-training classifiers to regularize the training procedure of CoGAN in the ToI. The proposed method not only derives machine learning models for the non-available target-domain data, but also synthesizes the data themselves. We evaluate the proposed method on benchmark datasets and achieve the state-of-the-art performances.
翻訳日:2022-10-19 21:35:32 公開日:2020-09-11
# ゼロショット領域適応のための条件結合型生成逆数ネットワーク

Conditional Coupled Generative Adversarial Networks for Zero-Shot Domain Adaptation ( http://arxiv.org/abs/2009.05228v1 )

ライセンス: Link先を確認
Jinghua Wang and Jianmin Jiang(参考訳) あるドメインでトレーニングされた機械学習モデルは、ドメインシフトが存在するため、他のドメインではパフォーマンスが悪い。 ドメイン適応手法は、ラベルリッチソースドメインからラベルスカルスターゲットドメインへの転送可能なモデルをトレーニングすることでこの問題を解決します。 残念なことに、既存のドメイン適応技術のほとんどはターゲットドメインデータの可用性に依存しており、その結果、少数のコンピュータビジョン問題にまたがる小さなコミュニティにアプリケーションを制限している。 本稿では,訓練段階では対象領域データが利用できない,ゼロショット領域適応(zsda)問題に取り組む。 本研究では,条件付き結合生成逆ネットワーク (cocogan) を条件付きモデルに拡張し,条件付き結合生成逆ネットワーク (cogan) を提案する。 既存の技術と比較すると,提案するCoCoGANは2つの異なるタスク,すなわち関連するタスク (RT) と無関係タスク (IRT) で二重ドメインサンプルの同時分布を捉えることができる。 RTのソースドメインサンプルとIRTのデュアルドメインサンプルの両方でCoCoGANをトレーニングし、ドメイン適応を完了します。 前者は利用できないターゲットドメインデータの高レベルな概念を提供するが、後者はRTとIRTの2つのドメイン間の共有相関を持つ。 RTのターゲットドメインデータがない場合、CoCoGANをトレーニングするために、タスク間の表現のアライメントという新しい監視信号を提案する。 大規模な実験により,提案したCoCoGANは,画像分類における既存の芸術状況よりも優れていた。

Machine learning models trained in one domain perform poorly in the other domains due to the existence of domain shift. Domain adaptation techniques solve this problem by training transferable models from the label-rich source domain to the label-scarce target domain. Unfortunately, a majority of the existing domain adaptation techniques rely on the availability of target-domain data, and thus limit their applications to a small community across few computer vision problems. In this paper, we tackle the challenging zero-shot domain adaptation (ZSDA) problem, where target-domain data is non-available in the training stage. For this purpose, we propose conditional coupled generative adversarial networks (CoCoGAN) by extending the coupled generative adversarial networks (CoGAN) into a conditioning model. Compared with the existing state of the arts, our proposed CoCoGAN is able to capture the joint distribution of dual-domain samples in two different tasks, i.e. the relevant task (RT) and an irrelevant task (IRT). We train CoCoGAN with both source-domain samples in RT and dual-domain samples in IRT to complete the domain adaptation. While the former provide high-level concepts of the non-available target-domain data, the latter carry the sharing correlation between the two domains in RT and IRT. To train CoCoGAN in the absence of target-domain data for RT, we propose a new supervisory signal, i.e. the alignment between representations across tasks. Extensive experiments carried out demonstrate that our proposed CoCoGAN outperforms existing state of the arts in image classifications.
翻訳日:2022-10-19 21:35:14 公開日:2020-09-11
# 表現学習とGMMに基づくモデリングの統合最適化による教師なしディープラーニングフレームワーク

An unsupervised deep learning framework via integrated optimization of representation learning and GMM-based modeling ( http://arxiv.org/abs/2009.05234v1 )

ライセンス: Link先を確認
Jinghua Wang and Jianmin Jiang(参考訳) 教師付きディープラーニングは様々なアプリケーションで大きな成功を収めてきたが、ラベルのないデータから知識の発見を研究する研究は比較的少ない。 本稿では,既存のディープラーニング技術が学習プロセスの完了に巨大なラベル付きデータセットを必要とする問題に対する潜在的な解決策を提供するために,教師なしのディープラーニングフレームワークを提案する。 本稿では,深部表現とGMM(ガウス混合モデル)に基づく深部モデリングを併用した共同学習の新たな原理を提案する。 類似分野の既存の研究と比較すると、我々の目的関数は2つの学習目標を持ち、これはラベルなしデータセットから最高の教師なし学習と知識発見を達成するために共同で最適化される。 第1ターゲットの最大化により、GMMはデータ表現の最良のモデリングを達成でき、各ガウス成分はコンパクトクラスタに対応するが、第2項の最大化はガウス成分の分離性を高め、したがってクラスタ間距離を増大させる。 その結果、クラスタ間距離を小さくすることでクラスタのコンパクト性が著しく向上し、クラスタ間距離を増大させることで分離性が向上する。 提案手法は,ベンチマーク法と比較してクラスタリング性能が向上することを示す。

While supervised deep learning has achieved great success in a range of applications, relatively little work has studied the discovery of knowledge from unlabeled data. In this paper, we propose an unsupervised deep learning framework to provide a potential solution for the problem that existing deep learning techniques require large labeled data sets for completing the training process. Our proposed introduces a new principle of joint learning on both deep representations and GMM (Gaussian Mixture Model)-based deep modeling, and thus an integrated objective function is proposed to facilitate the principle. In comparison with the existing work in similar areas, our objective function has two learning targets, which are created to be jointly optimized to achieve the best possible unsupervised learning and knowledge discovery from unlabeled data sets. While maximizing the first target enables the GMM to achieve the best possible modeling of the data representations and each Gaussian component corresponds to a compact cluster, maximizing the second term will enhance the separability of the Gaussian components and hence the inter-cluster distances. As a result, the compactness of clusters is significantly enhanced by reducing the intra-cluster distances, and the separability is improved by increasing the inter-cluster distances. Extensive experimental results show that the propose method can improve the clustering performance compared with benchmark methods.
翻訳日:2022-10-19 21:34:47 公開日:2020-09-11
# 深部表現学習と画像クラスタリングのためのスペクトル解析ネットワーク

Spectral Analysis Network for Deep Representation Learning and Image Clustering ( http://arxiv.org/abs/2009.05235v1 )

ライセンス: Link先を確認
Jinghua Wang, Adrian Hilton and Jianmin Jiang(参考訳) 深層表現学習はマルチメディア分析において重要な手順であり,注目を集めている。 一般的なテクニックの多くは畳み込みニューラルネットワークに依存しており、トレーニング手順で大量のラベル付きデータを必要とする。 しかし、コスト制限のため、一部のタスクにおいてラベル情報を取得するのは時間を要するか、あるいは不可能である。 したがって、教師なしの深層表現学習技術を開発する必要がある。 本稿では,スペクトル解析に基づく教師なし深層表現学習のための新しいネットワーク構造を提案する。 既存のスペクトル解析法と比較して,提案するネットワーク構造には少なくとも3つの利点がある。 まず,パッチレベルの画像間の局所的類似性を識別し,咬合に対するロバスト性を高める。 第2に,複数の連続スペクトル解析手法により,提案ネットワークはクラスタリングにやさしい表現を学習でき,データサンプル間の深い相関関係を明らかにすることができる。 第3に、異なるスペクトル分析手順をエレガントに統合することで、各スペクトル分析手順が異なるデータサンプル分布を扱う上で個々の長所を持つことができる。 提案手法が各種画像クラスタリングタスクに有効であることを示す。

Deep representation learning is a crucial procedure in multimedia analysis and attracts increasing attention. Most of the popular techniques rely on convolutional neural network and require a large amount of labeled data in the training procedure. However, it is time consuming or even impossible to obtain the label information in some tasks due to cost limitation. Thus, it is necessary to develop unsupervised deep representation learning techniques. This paper proposes a new network structure for unsupervised deep representation learning based on spectral analysis, which is a popular technique with solid theory foundations. Compared with the existing spectral analysis methods, the proposed network structure has at least three advantages. Firstly, it can identify the local similarities among images in patch level and thus more robust against occlusion. Secondly, through multiple consecutive spectral analysis procedures, the proposed network can learn more clustering-friendly representations and is capable to reveal the deep correlations among data samples. Thirdly, it can elegantly integrate different spectral analysis procedures, so that each spectral analysis procedure can have their individual strengths in dealing with different data sample distributions. Extensive experimental results show the effectiveness of the proposed methods on various image clustering tasks.
翻訳日:2022-10-19 21:34:26 公開日:2020-09-11
# 歴史的に劣化したAs-Building Mapsのための新しいCNNベースのバイナリ化

Novel and Effective CNN-Based Binarization for Historically Degraded As-built Drawing Maps ( http://arxiv.org/abs/2009.05252v1 )

ライセンス: Link先を確認
Kuo-Liang Chung and De-Wei Hsieh(参考訳) 歴史的に劣化したas-built drawing(hdad)マップのバイナリ化は、特に3つのアーティファクト(ノイズ、イエローニングエリア、折りたたまれた線)を取り除きながら、前景の要素をよく保存するという、新たな課題である。 本稿では,まず,HDADペアを1つのHDADマップと2つのHDADマップからなるHDADペアデータセットを作成するための半自動ラベリング手法を提案する。 作成したHDADペアデータセットに基づいて、高品質なHDADマップを生成する畳み込みニューラルネットワーク(CNN)バイナライゼーション手法を提案する。 実験結果から,PSNR (peak-signal-to-noise-ratio) の精度,および2値化HDADマップの知覚効果について,本手法は既存の9種類のバイナライゼーション法より有意に優れていた。 また,同様の精度で,最先端cnnに基づく2値化手法の再訓練版と比較して,本手法の実行時間削減効果が有意であった。

Binarizing historically degraded as-built drawing (HDAD) maps is a new challenging job, especially in terms of removing the three artifacts, namely noise, the yellowing areas, and the folded lines, while preserving the foreground components well. In this paper, we first propose a semi-automatic labeling method to create the HDAD-pair dataset of which each HDAD-pair consists of one HDAD map and its binarized HDAD map. Based on the created training HDAD-pair dataset, we propose a convolutional neural network-based (CNN-based) binarization method to produce high-quality binarized HDAD maps. Based on the testing HDAD maps, the thorough experimental data demonstrated that in terms of the accuracy, PSNR (peak-signal-to-noise-ratio), and the perceptual effect of the binarized HDAD maps, our method substantially outperforms the nine existing binarization methods. In addition, with similar accuracy, the experimental results demonstrated the significant execution-time reduction merit of our method relative to the retrained version of the state-of-the-art CNN-based binarization methods.
翻訳日:2022-10-19 21:33:47 公開日:2020-09-11
# オブジェクト検出を用いた画像条件付きキーフレーム映像要約

Image Conditioned Keyframe-Based Video Summarization Using Object Detection ( http://arxiv.org/abs/2009.05269v1 )

ライセンス: Link先を確認
Neeraj Baghel, Suresh C. Raikwar, Charul Bhatnagar(参考訳) ビデオ要約は、ビデオを理解するためのキーフレームを選択する上で重要な役割を果たす。 伝統的に、短い要約ビデオの中で最も代表的で多様なコンテンツ(またはフレーム)を見つけることを目的としている。 近年,ユーザクエリがよりユーザ指向の要約とその嗜好を学習する,問合せ条件付きビデオ要約が導入されている。 しかし、ユーザの主観性とユーザクエリと入力フレームの類似性を見出すために、テキストクエリには障害がある。 この作品では (i)画像はユーザの好みの問い合わせとして導入される (ii)損失関数と要約分散に基づく冗長性を最小化する数学的モデルを提案する。 (iii)問合せ画像と入力映像との類似度スコアから要約映像を得る。 さらに、クエリイメージを含むObject-based Query Image (OQI)データセットも導入された。 提案手法はUT Egocentric (UTE) データセットを用いて検証されている。 提案したモデルは問題の解決に成功している (i)利用者の嗜好 (i)重要なフレームを認識し,そのキーフレームを照明条件の異なる日常生活ビデオで選択する。 提案手法は,UTEデータセットの平均F1スコアを57.06%達成し,既存の最先端技術よりも11.01%向上した。 最近提案された ute データセットにおけるビデオ実験の実際の時間より7.81倍高速で,提案手法の有効性を示す。

Video summarization plays an important role in selecting keyframe for understanding a video. Traditionally, it aims to find the most representative and diverse contents (or frames) in a video for short summaries. Recently, query-conditioned video summarization has been introduced, which considers user queries to learn more user-oriented summaries and its preference. However, there are obstacles in text queries for user subjectivity and finding similarity between the user query and input frames. In this work, (i) Image is introduced as a query for user preference (ii) a mathematical model is proposed to minimize redundancy based on the loss function & summary variance and (iii) the similarity score between the query image and input video to obtain the summarized video. Furthermore, the Object-based Query Image (OQI) dataset has been introduced, which contains the query images. The proposed method has been validated using UT Egocentric (UTE) dataset. The proposed model successfully resolved the issues of (i) user preference, (ii) recognize important frames and selecting that keyframe in daily life videos, with different illumination conditions. The proposed method achieved 57.06% average F1-Score for UTE dataset and outperforms the existing state-of-theart by 11.01%. The process time is 7.81 times faster than actual time of video Experiments on a recently proposed UTE dataset show the efficiency of the proposed method
翻訳日:2022-10-19 21:33:04 公開日:2020-09-11
# 関節形状完了と登録による教師なし部分点集合登録

Unsupervised Partial Point Set Registration via Joint Shape Completion and Registration ( http://arxiv.org/abs/2009.05290v1 )

ライセンス: Link先を確認
Xiang Li, Lingjing Wang, Yi Fang(参考訳) 部分点集合登録のための自己教師付き手法を提案する。 近年提案された学習ベース手法は,全形状観測において印象的な登録性能を達成しているが,これらの手法は部分形状を扱う際の性能劣化に主に悩まされている。 部分点集合登録と全点集合登録との間の性能ギャップを埋めるため,形状完了ネットワークの導入を提案し,登録プロセスに便益を与える。 そこで我々は,対象形状の幾何学的符号化とみなすことのできる,各形状のペアに対する潜時符号を設計する。 そうすることで、我々のモデルは機能エンコーディングを学ぶために明示的な機能埋め込みネットワークが必要です。 さらに重要なことは、私たちの形状完了ネットワークとポイントセット登録ネットワークの両方が、トレーニングプロセスにおける2つのデコーダネットワークのパラメータとともに最適化された共有潜時符号を入力として取ります。 したがって、ポイントセット登録プロセスは、部分的なコードではなく完全な形状の情報を表現するために強制される潜在コードの統合最適化プロセスから恩恵を受けることができる。 推定段階では、ネットワークパラメータを修正し、最適な形状完了と登録結果を得るために潜在符号を最適化する。 提案手法は無監督であり,基礎的真理の監督は不要である。 ModelNet40データセットの実験は、部分点集合登録におけるモデルの有効性を示す。

We propose a self-supervised method for partial point set registration. While recent proposed learning-based methods have achieved impressive registration performance on the full shape observations, these methods mostly suffer from performance degradation when dealing with partial shapes. To bridge the performance gaps between partial point set registration with full point set registration, we proposed to incorporate a shape completion network to benefit the registration process. To achieve this, we design a latent code for each pair of shapes, which can be regarded as a geometric encoding of the target shape. By doing so, our model does need an explicit feature embedding network to learn the feature encodings. More importantly, both our shape completion network and the point set registration network take the shared latent codes as input, which are optimized along with the parameters of two decoder networks in the training process. Therefore, the point set registration process can thus benefit from the joint optimization process of latent codes, which are enforced to represent the information of full shape instead of partial ones. In the inference stage, we fix the network parameter and optimize the latent codes to get the optimal shape completion and registration results. Our proposed method is pure unsupervised and does not need any ground truth supervision. Experiments on the ModelNet40 dataset demonstrate the effectiveness of our model for partial point set registration.
翻訳日:2022-10-19 21:32:43 公開日:2020-09-11
# ニューラルネットワークとサイクロンを用いた拘束デバイス上の画像認識の実現

Enabling Image Recognition on Constrained Devices Using Neural Network Pruning and a CycleGAN ( http://arxiv.org/abs/2009.05300v1 )

ライセンス: Link先を確認
August Lidfelt, Daniel Isaksson, Ludwig Hedlund, Simon {\AA}berg, Markus Borg, Erik Larsson(参考訳) スマートカメラは、公共空間の監視ソリューションとしてますます利用されている。 現代のコンピュータビジョンアプリケーションは、緊急サービスによる介入を必要とする事象を認識するために使用できる。 スマートカメラは、市民が特に安全でないと感じている場所(例えば、事件の歴史上の経路や地下道など)に設置することができる。 スマートカメラの有望なアプローチのひとつは、エッジAI、すなわちIoTデバイスにAIテクノロジをデプロイすることだ。 しかし、制約のあるデバイスにディープニューラルネットワーク(DNN)を用いた画像認識などのリソース需要技術を実装することは大きな課題である。 本稿では,現代画像認識におけるアンダーパスの計算の必要性を減らすための2つの手法について検討する。 まず、ニューラルネットワークのプルーニングの成功例、すなわち、最先端のDNNアーキテクチャから残るニューロンの1.1\%で、同等の分類精度を維持する。 第2に,CycleGANを用いて,配布外画像の操作設計領域への変換を行う方法を示す。 我々は、プルーニングとCycleGANの両方が、スマートカメラにおける効率的なエッジAIの実現を約束していると仮定する。

Smart cameras are increasingly used in surveillance solutions in public spaces. Contemporary computer vision applications can be used to recognize events that require intervention by emergency services. Smart cameras can be mounted in locations where citizens feel particularly unsafe, e.g., pathways and underpasses with a history of incidents. One promising approach for smart cameras is edge AI, i.e., deploying AI technology on IoT devices. However, implementing resource-demanding technology such as image recognition using deep neural networks (DNN) on constrained devices is a substantial challenge. In this paper, we explore two approaches to reduce the need for compute in contemporary image recognition in an underpass. First, we showcase successful neural network pruning, i.e., we retain comparable classification accuracy with only 1.1\% of the neurons remaining from the state-of-the-art DNN architecture. Second, we demonstrate how a CycleGAN can be used to transform out-of-distribution images to the operational design domain. We posit that both pruning and CycleGANs are promising enablers for efficient edge AI in smart cameras.
翻訳日:2022-10-19 21:32:22 公開日:2020-09-11
# UPB at SemEval-2020 Task 11: Propaganda Detection with Domain-Specific Trained BERT

UPB at SemEval-2020 Task 11: Propaganda Detection with Domain-Specific Trained BERT ( http://arxiv.org/abs/2009.05289v1 )

ライセンス: Link先を確認
Andrei Paraschiv, Dumitru-Clementin Cercel, Mihai Dascalu(参考訳) マニピュレイティブで誤解を招くニュースは、一部のオンラインニュースメディアにとってコモディティとなり、これらのニュースは世界の人々のマインドセットに大きな影響を与えている。 プロパガンダ(Propaganda)は、読者の意見の歪曲や操作を意図したアイデアを広めることによって読者に影響を与える目的を持つ操作方法である。 本稿では,新聞記事コンペティションにおけるSemEval-2020, Task 11: Detection of Propaganda Techniques in News Articles competitionについて述べる。 提案手法は,プロパガンダ・スパン識別(SI)とプロパガンダ技術分類(TC)の2つのサブタスクに対して,より適切な表現を作成できるように,プロパガンダおよび超党派ニュース記事に事前訓練されたBERTモデルを特化することを検討する。 提案システムでは,サブタスクsiで46.060%のf1スコアを達成し,36チームでリーダーボードで5位,サブタスクtcで54.302%,32チームで19位となった。

Manipulative and misleading news have become a commodity for some online news outlets and these news have gained a significant impact on the global mindset of people. Propaganda is a frequently employed manipulation method having as goal to influence readers by spreading ideas meant to distort or manipulate their opinions. This paper describes our participation in the SemEval-2020, Task 11: Detection of Propaganda Techniques in News Articles competition. Our approach considers specializing a pre-trained BERT model on propagandistic and hyperpartisan news articles, enabling it to create more adequate representations for the two subtasks, namely propaganda Span Identification (SI) and propaganda Technique Classification (TC). Our proposed system achieved a F1-score of 46.060% in subtask SI, ranking 5th in the leaderboard from 36 teams and a micro-averaged F1 score of 54.302% for subtask TC, ranking 19th from 32 teams.
翻訳日:2022-10-19 21:26:01 公開日:2020-09-11
# 手続き目標間の不整合を識別・対処するための議論に基づくアプローチ

An Argumentation-based Approach for Identifying and Dealing with Incompatibilities among Procedural Goals ( http://arxiv.org/abs/2009.05186v1 )

ライセンス: Link先を確認
Mariela Morveli-Espinoza, Juan Carlos Nieves, Ayslan Possebom, Josep Puyol-Gruart, and Cesar Augusto Tacla(参考訳) 実践的推論、すなわち熟考の最初の段階において、知的エージェントはパーソナライズ可能な目標のセットを生成し、そのどれを達成するかを選択する。 知的エージェントは一般に複数のパーソナライズ可能な目標を生成し、それらはそれらの間に互換性がない可能性がある。 本稿では,これらの非互換性の定義,識別,解決に着目する。 提案手法は,カステルフランキとパリエリが導入した3種類の非適合性,すなわち終端不適合性,機器や資源の不適合性,超流動性を考慮したものである。 我々は,エージェントが目標を達成するための計画を表す議論によって,これらの非互換性を計算的に特徴づける。 したがって、目標間の非互換性は、議論フレームワークにおける攻撃によって表される彼らの計画間の衝突に基づいて定義される。 また,目標選択の問題にも取り組み,抽象的議論理論を用いてこの問題,すなわち議論意味論を適用することを提案する。 提案の成果を説明するために,"クリーンな世界" シナリオの修正版を使用します。

During the first step of practical reasoning, i.e. deliberation, an intelligent agent generates a set of pursuable goals and then selects which of them he commits to achieve. An intelligent agent may in general generate multiple pursuable goals, which may be incompatible among them. In this paper, we focus on the definition, identification and resolution of these incompatibilities. The suggested approach considers the three forms of incompatibility introduced by Castelfranchi and Paglieri, namely the terminal incompatibility, the instrumental or resources incompatibility and the superfluity. We characterise computationally these forms of incompatibility by means of arguments that represent the plans that allow an agent to achieve his goals. Thus, the incompatibility among goals is defined based on the conflicts among their plans, which are represented by means of attacks in an argumentation framework. We also work on the problem of goals selection; we propose to use abstract argumentation theory to deal with this problem, i.e. by applying argumentation semantics. We use a modified version of the "cleaner world" scenario in order to illustrate the performance of our proposal.
翻訳日:2022-10-19 21:24:26 公開日:2020-09-11
# 総合戦略ゲームフレームワーク「stratega」の設計

The Design Of "Stratega": A General Strategy Games Framework ( http://arxiv.org/abs/2009.05643v1 )

ライセンス: Link先を確認
Diego Perez-Liebana, Alexander Dockhorn, Jorge Hurtado Grueso, Dominik Jeurissen(参考訳) Strategaは一般的な戦略ゲームフレームワークであり、戦略ゲームのための計算知能の研究を促進するために設計された。 他の戦略ゲームフレームワークとは対照的に、Strategaはエージェント開発のための共通のAPIを使用してターンベースおよびリアルタイム戦略ゲームを作成することができる。 現在のバージョンはターンベースの戦略ゲームとエージェントの開発をサポートしますが、今後のアップデートでリアルタイム戦略ゲームのサポートを追加します。 柔軟性は、YAMLファイルを使用してタイル、ユニット、アクション、レベルを設定することで実現される。 そのため、ユーザは、ゲームに特別に調整することなく、開発エージェントをテストするための様々なゲームを設計、実行することができる。 このフレームワークは、統計的フォワードプランニング(SFP)エージェントを中心に構築されている。 この目的のためにエージェントはゲーム状態にアクセスして変更することができ、フォワードモデルを使用してアクションの結果をシミュレートすることができる。 sfpエージェントは一般的なゲームプレイにおいて非常に柔軟性があるが、複雑な状態やアクションスペースの場合の性能は限られている。 最後に,このフレームワークとそのエージェントの開発により,戦略ゲームにおける複雑な意思決定プロセスの理解を深めることが期待できる。 Stratega は https://github.research.its.qmul.ac.uk/eecsgameai/Stratega でダウンロードできる。

Stratega, a general strategy games framework, has been designed to foster research on computational intelligence for strategy games. In contrast to other strategy game frameworks, Stratega allows to create a wide variety of turn-based and real-time strategy games using a common API for agent development. While the current version supports the development of turn-based strategy games and agents, we will add support for real-time strategy games in future updates. Flexibility is achieved by utilising YAML-files to configure tiles, units, actions, and levels. Therefore, the user can design and run a variety of games to test developed agents without specifically adjusting it to the game being generated. The framework has been built with a focus of statistical forward planning (SFP) agents. For this purpose, agents can access and modify game-states and use the forward model to simulate the outcome of their actions. While SFP agents have shown great flexibility in general game-playing, their performance is limited in case of complex state and action-spaces. Finally, we hope that the development of this framework and its respective agents helps to better understand the complex decision-making process in strategy games. Stratega can be downloaded at: https://github.research.its.qmul.ac.uk/eecsgameai/Stratega
翻訳日:2022-10-19 21:24:08 公開日:2020-09-11
# 新しい世代のaiのための基礎科学において人工知能を深く根づける

To Root Artificial Intelligence Deeply in Basic Science for a New Generation of AI ( http://arxiv.org/abs/2009.05678v1 )

ライセンス: Link先を確認
Jingan Yang, Yang Peng(参考訳) 人工知能の野望の1つは、人工知能を基礎科学に深く根ざし、新しい科学的発見を促進する脳にインスパイアされた人工知能プラットフォームを開発することである。 この課題は、人工知能理論と応用技術の研究を進める上で不可欠である。 本稿では,今後20年間の人工知能研究における大きな課題について述べる。 一 脳科学、神経科学、認知科学、心理学及びデータサイエンスの理解に基づいて、人間の脳の動作メカニズムを探求すること。 (ii)人間の脳が伝達する電気信号はどうなっているか。 脳神経電気信号と人間の活動の協調メカニズムはどのようなものか? (iii)→人間の行動科学における脳-コンピューターインタフェース→(bci)と脳-筋肉インタフェース→(bmi)技術 (iv)~知識駆動型視覚コモンセンス推論(VCR)の研究、認知ネットワーク認識のための新しい推論エンジンの開発(CNR) (v)〜高精度多モード知的パーセプトロンの開発 (vi)〜知識グラフに基づく知的推論と高速意思決定システム(KG)の検証。 AIのフロンティア理論の革新、コモンセンス推論のための知識駆動モデリング方法論、AIにおける新しいアルゴリズムと新しい技術のブレークスルー、そして責任あるAIを開発することが、AI科学者の主要な研究戦略であるべきだと考えています。

One of the ambitions of artificial intelligence is to root artificial intelligence deeply in basic science while developing brain-inspired artificial intelligence platforms that will promote new scientific discoveries. The challenges are essential to push artificial intelligence theory and applied technologies research forward. This paper presents the grand challenges of artificial intelligence research for the next 20 years which include:~(i) to explore the working mechanism of the human brain on the basis of understanding brain science, neuroscience, cognitive science, psychology and data science; (ii) how is the electrical signal transmitted by the human brain? What is the coordination mechanism between brain neural electrical signals and human activities? (iii)~to root brain-computer interface~(BCI) and brain-muscle interface~(BMI) technologies deeply in science on human behaviour; (iv)~making research on knowledge-driven visual commonsense reasoning~(VCR), develop a new inference engine for cognitive network recognition~(CNR); (v)~to develop high-precision, multi-modal intelligent perceptrons; (vi)~investigating intelligent reasoning and fast decision-making systems based on knowledge graph~(KG). We believe that the frontier theory innovation of AI, knowledge-driven modeling methodologies for commonsense reasoning, revolutionary innovation and breakthroughs of the novel algorithms and new technologies in AI, and developing responsible AI should be the main research strategies of AI scientists in the future.
翻訳日:2022-10-19 21:23:48 公開日:2020-09-11
# 信号時間論理式のためのカーネル関数

A kernel function for Signal Temporal Logic formulae ( http://arxiv.org/abs/2009.05484v1 )

ライセンス: Link先を確認
Luca Bortolussi, Giuseppe Maria Gallo and Laura Nenzi(参考訳) 本稿では,信号時相論理式(stl)のカーネルを定義する方法について述べる。 このようなカーネルにより、公式の空間をヒルベルト空間に埋め込むことができ、カーネルベースの機械学習アルゴリズムをSTLのコンテキストで利用できるようになる。 この考え方を確率モデルの公式空間における回帰問題に適用する。

We discuss how to define a kernel for Signal Temporal Logic (STL) formulae. Such a kernel allows us to embed the space of formulae into a Hilbert space, and opens up the use of kernel-based machine learning algorithms in the context of STL. We show an application of this idea to a regression problem in formula space for probabilistic models.
翻訳日:2022-10-19 21:17:00 公開日:2020-09-11
# 抽象ニューラルネットワーク

Abstract Neural Networks ( http://arxiv.org/abs/2009.05660v1 )

ライセンス: Link先を確認
Matthew Sotoudeh and Aditya V. Thakur(参考訳) ディープニューラルネットワーク(Deep Neural Networks, DNN)は、ドローンや航空機の制御、行動の安全性を検証するモチベーション技術など、安全クリティカルな領域に急速に適用されている。 残念ながら、DNN検証はNPハードであり、現在のアルゴリズムはDNNのノード数と指数関数的に遅くなっている。 本稿では,ノード数を少なくしながら,dnnを近似的に過大にするために使用できる抽象ニューラルネットワーク(anns)の概念を紹介する。 ANNはDNNに似ているが、重量行列は与えられた抽象領域の値に置き換えられる。 本稿では、DNNで使用される抽象ドメインとアクティベーション関数によってパラメータ化され、対応するANNを構築するのに使用できるフレームワークを提案する。 構築されたANNが与えられたDNNを過度に近似するために必要かつ十分な条件を示す。 DNNの抽象化に関する以前の作業は、インターバルドメインとReLUアクティベーション関数に限定されていた。 我々のフレームワークは、オクタゴンやポリヘドラといった他の抽象ドメインや、Leaky ReLU、Sigmoid、Hyperbolic Tangentといった他の活性化関数とインスタンス化することができる。

Deep Neural Networks (DNNs) are rapidly being applied to safety-critical domains such as drone and airplane control, motivating techniques for verifying the safety of their behavior. Unfortunately, DNN verification is NP-hard, with current algorithms slowing exponentially with the number of nodes in the DNN. This paper introduces the notion of Abstract Neural Networks (ANNs), which can be used to soundly overapproximate DNNs while using fewer nodes. An ANN is like a DNN except weight matrices are replaced by values in a given abstract domain. We present a framework parameterized by the abstract domain and activation functions used in the DNN that can be used to construct a corresponding ANN. We present necessary and sufficient conditions on the DNN activation functions for the constructed ANN to soundly over-approximate the given DNN. Prior work on DNN abstraction was restricted to the interval domain and ReLU activation function. Our framework can be instantiated with other abstract domains such as octagons and polyhedra, as well as other activation functions such as Leaky ReLU, Sigmoid, and Hyperbolic Tangent.
翻訳日:2022-10-19 21:16:17 公開日:2020-09-11
# 一般化ギャップや他のモデルメトリクスによるメンバーシップ推論脆弱性の定量化

Quantifying Membership Inference Vulnerability via Generalization Gap and Other Model Metrics ( http://arxiv.org/abs/2009.05669v1 )

ライセンス: Link先を確認
Jason W. Bentley, Daniel Gibney, Gary Hoppenworth, Sumit Kumar Jha(参考訳) 対象モデルの一般化ギャップが,効果的な決定論的ブラックボックスメンバシップ推論攻撃(mia)に直接つながることを示す。 これにより、単純な計量に基づいてモデルをMIAにセキュアにすることができるかという上限が与えられる。 さらに、この攻撃は、ネットワークのトレーニングとパフォーマンスに関する特定の可能なメトリクスのみにアクセスすると、期待された意味で最適であることが示されている。 実験的に、この攻撃は多くの場合、最先端MIAに匹敵する精度を示す。

We demonstrate how a target model's generalization gap leads directly to an effective deterministic black box membership inference attack (MIA). This provides an upper bound on how secure a model can be to MIA based on a simple metric. Moreover, this attack is shown to be optimal in the expected sense given access to only certain likely obtainable metrics regarding the network's training and performance. Experimentally, this attack is shown to be comparable in accuracy to state-of-art MIAs in many cases.
翻訳日:2022-10-19 21:15:59 公開日:2020-09-11
# 臨床意思決定における主観評価の調整

Aligning Subjective Ratings in Clinical Decision Making ( http://arxiv.org/abs/2009.06403v1 )

ライセンス: Link先を確認
Annika Pick, Sebastian Ginzel, Stefan R\"uping, Jil Sander, Ann Christina Foldenauer, Michaela K\"ohm(参考訳) 客観的指標(検査値など)に加えて、臨床データは専門家による主観的な評価(病気の重症度評価など)を含むことが多い。 客観的指標はより透明で堅牢であるが、主観評価には豊富な専門家の知識と直観が含まれている。 本研究では,主観評価を客観的指標と整合させるペアワイズランキング手法の可能性を示し,その利点と診断を容易にする新しいスコアを作成した。 外科的関節炎発症リスクのケーススタディでは, 結果のスコア(1)は, 疾患の有無を検知する際の分類精度を向上し, (2) は疎度であり, (3) はその後の分析に重要度の評価を行う。

In addition to objective indicators (e.g. laboratory values), clinical data often contain subjective evaluations by experts (e.g. disease severity assessments). While objective indicators are more transparent and robust, the subjective evaluation contains a wealth of expert knowledge and intuition. In this work, we demonstrate the potential of pairwise ranking methods to align the subjective evaluation with objective indicators, creating a new score that combines their advantages and facilitates diagnosis. In a case study on patients at risk for developing Psoriatic Arthritis, we illustrate that the resulting score (1) increases classification accuracy when detecting disease presence/absence, (2) is sparse and (3) provides a nuanced assessment of severity for subsequent analysis.
翻訳日:2022-10-19 21:15:51 公開日:2020-09-11
# コールドスタート設定におけるゲーム推薦のためのコンテンツベースプレーヤーとゲームインタラクションモデル

Content Based Player and Game Interaction Model for Game Recommendation in the Cold Start setting ( http://arxiv.org/abs/2009.08947v1 )

ライセンス: Link先を確認
Markus Viljanen, Jukka Vahlo, Aki Koponen, Tapio Pahikkala(参考訳) ゲームレコメンデーションはレコメンデーションシステムの重要な応用である。 レコメンデーションは、過去のプレイヤーとゲームのインタラクションのデータセットによって可能であり、時には、ゲームやプレイヤーを記述する機能を含む。 協調フィルタリングは過去の相互作用の最も正確な予測因子であることがわかった。 しかし,過去のインタラクションが多数存在するゲームやプレーヤに対して,新たなインタラクションを予測するためにのみ適用することができる。 言い換えれば、完全に新しいゲームやプレイヤーの予測は不可能である。 本稿では,ゲーム好きのアンケートデータセットを用いて,新しいゲーム,新しいプレイヤー,そして新しいゲームとプレイヤーの両方に同時に一般化するコンテンツベースのインタラクションモデルを提案する。 これらの課題において,これらのモデルは協調フィルタリングよりも優れており,現実のゲームレコメンデーションに有用である。 コンテンツモデルはまた、特定のゲームがゲーム分析のために特定のプレイヤーによって好まれる理由の解釈を提供する。

Game recommendation is an important application of recommender systems. Recommendations are made possible by data sets of historical player and game interactions, and sometimes the data sets include features that describe games or players. Collaborative filtering has been found to be the most accurate predictor of past interactions. However, it can only be applied to predict new interactions for those games and players where a significant number of past interactions are present. In other words, predictions for completely new games and players is not possible. In this paper, we use a survey data set of game likes to present content based interaction models that generalize into new games, new players, and both new games and players simultaneously. We find that the models outperform collaborative filtering in these tasks, which makes them useful for real world game recommendation. The content models also provide interpretations of why certain games are liked by certain players for game analytics purposes.
翻訳日:2022-10-19 21:15:39 公開日:2020-09-11
# 学習のためのトレーディングデータ:オンデバイスフェデレーション学習のためのインセンティブメカニズム

Trading Data For Learning: Incentive Mechanism For On-Device Federated Learning ( http://arxiv.org/abs/2009.05604v1 )

ライセンス: Link先を確認
Rui Hu, Yanmin Gong(参考訳) フェデレーション学習は、さまざまなデバイス上で分散してグローバルモデルをトレーニングするという概念に基づいている。 この設定の下で、ユーザのデバイスは自身のデータで計算を行い、その結果をクラウドサーバと共有してグローバルモデルを更新する。 このようなシステムの基本的問題は、ユーザの参加を効果的に動機付けることである。 ユーザーは、フェデレートされたモデルトレーニングプロセス中に、ローカルデータのプライバシー漏洩に悩まされる。 十分に設計されたインセンティブがなければ、自己関心のあるユーザは、連合学習タスクに参加し、プライベートデータに貢献することを望まないだろう。 このギャップを埋めるために,本稿では,信頼性の高いデータを提供する可能性の高いユーザを選択し,プライバシリークのコストを補償する,効果的なインセンティブメカニズムを設計するためのゲーム理論を採用する。 この問題を2段階のStackelbergゲームとして定式化し、ゲームの平衡を解く。 提案手法の有効性を広範囲なシミュレーションにより実証した。

Federated Learning rests on the notion of training a global model distributedly on various devices. Under this setting, users' devices perform computations on their own data and then share the results with the cloud server to update the global model. A fundamental issue in such systems is to effectively incentivize user participation. The users suffer from privacy leakage of their local data during the federated model training process. Without well-designed incentives, self-interested users will be unwilling to participate in federated learning tasks and contribute their private data. To bridge this gap, in this paper, we adopt the game theory to design an effective incentive mechanism, which selects users that are most likely to provide reliable data and compensates for their costs of privacy leakage. We formulate our problem as a two-stage Stackelberg game and solve the game's equilibrium. Effectiveness of the proposed mechanism is demonstrated by extensive simulations.
翻訳日:2022-10-19 21:08:03 公開日:2020-09-11
# マルチタスク学習における解釈可能なグラフ構造学習

Learning an Interpretable Graph Structure in Multi-Task Learning ( http://arxiv.org/abs/2009.05618v1 )

ライセンス: Link先を確認
Shujian Yu, Francesco Alesiani, Ammar Shaker, Wenzhe Yin(参考訳) 本稿では,タスク間のマルチタスク学習と本質的な関係を解釈可能かつスパースなグラフで推定する手法を提案する。 既存のマルチタスク学習手法とは異なり、グラフ構造は事前処理の段階で事前処理や別々に見積もられることはない。 その代わりに、各タスクのモデルパラメータと同時にグラフを学習し、特定の予測問題におけるタスク間の臨界関係を反映する。 グラフ構造を重み付き隣接行列で特徴付け、収束まで全体の目的を代替的に最適化できることを示す。 また,この手法をマルチヘッドラジアル基底関数ネットワーク(RBFN)に組み込むことで,非線形形式に簡単に拡張できることを示す。 合成データと実世界のアプリケーションの両方における6つの最先端手法に対する大規模な実験は、我々の手法が一般化誤差を低減できることを示唆し、同時に、より容易に解釈できるタスク上のスパースグラフを明らかにしている。

We present a novel methodology to jointly perform multi-task learning and infer intrinsic relationship among tasks by an interpretable and sparse graph. Unlike existing multi-task learning methodologies, the graph structure is not assumed to be known a priori or estimated separately in a preprocessing step. Instead, our graph is learned simultaneously with model parameters of each task, thus it reflects the critical relationship among tasks in the specific prediction problem. We characterize graph structure with its weighted adjacency matrix and show that the overall objective can be optimized alternatively until convergence. We also show that our methodology can be simply extended to a nonlinear form by being embedded into a multi-head radial basis function network (RBFN). Extensive experiments, against six state-of-the-art methodologies, on both synthetic data and real-world applications suggest that our methodology is able to reduce generalization error, and, at the same time, reveal a sparse graph over tasks that is much easier to interpret.
翻訳日:2022-10-19 21:07:49 公開日:2020-09-11
# 時空間機能ニューラルネットワーク

Spatio-Temporal Functional Neural Networks ( http://arxiv.org/abs/2009.05665v1 )

ライセンス: Link先を確認
Aniruddha Rajendra Rao, Qiyao Wang, Haiyan Wang, Hamed Khorasgani, Chetan Gupta(参考訳) 時空間データとその幅広い応用における爆発的成長は、統計学や機械学習の分野で研究者の関心を集めている。 時空間回帰問題は方法論開発と実世界のアプリケーションの観点から最も重要である。 観測された空間符号化時系列共変量と実数値応答データサンプルを考えると、時空間回帰の目的は、時間的および空間的依存性を利用して、コ変量から応答へのマッピングを最小化された予測誤差で構築することである。 畳み込み長短期記憶(CovLSTM)や機能線形モデルのバリエーションを含む先行技術は、適切なモデル構築のための単純かつ効率的なフォーマットで時空間情報を学習することはできない。 本研究では,時間回帰モデルである関数ニューラルネットワーク(FNN)の2つの新しい拡張を提案する。 空間相関の異なる空間相関処理における時空間FNNの有効性を総合シミュレーション研究で実証した。 提案したモデルは気象分野における実用的で挑戦的な降水予測問題を解決するために展開される。

Explosive growth in spatio-temporal data and its wide range of applications have attracted increasing interests of researchers in the statistical and machine learning fields. The spatio-temporal regression problem is of paramount importance from both the methodology development and real-world application perspectives. Given the observed spatially encoded time series covariates and real-valued response data samples, the goal of spatio-temporal regression is to leverage the temporal and spatial dependencies to build a mapping from covariates to response with minimized prediction error. Prior arts, including the convolutional Long Short-Term Memory (CovLSTM) and variations of the functional linear models, cannot learn the spatio-temporal information in a simple and efficient format for proper model building. In this work, we propose two novel extensions of the Functional Neural Network (FNN), a temporal regression model whose effectiveness and superior performance over alternative sequential models have been proven by many researchers. The effectiveness of the proposed spatio-temporal FNNs in handling varying spatial correlations is demonstrated in comprehensive simulation studies. The proposed models are then deployed to solve a practical and challenging precipitation prediction problem in the meteorology field.
翻訳日:2022-10-19 21:07:31 公開日:2020-09-11
# マルチスケールニューラルネットワークと特徴融合を用いた単眼深度推定

Monocular Depth Estimation Using Multi Scale Neural Network And Feature Fusion ( http://arxiv.org/abs/2009.09934v1 )

ライセンス: Link先を確認
Abhinav Sagar(参考訳) 単眼画像からの深度推定はコンピュータビジョンにおいて難しい問題である。 本稿では,マルチスケール機能融合を用いた新しいネットワークアーキテクチャを用いてこの問題に対処する。 ネットワークは2つの異なるブロックを使用し、まず、各特徴マップの畳み込みとマージに異なるフィルタサイズを使用する。 第2ブロックは、完全に連結された層の代わりに拡張畳み込みを使用し、計算を減らし、受容場を増加させる。 本稿では,深さ回帰項,ssim損失項,多項ロジスティック損失項を組み合わせたネットワーク学習のための新しい損失関数を提案する。 我々は、RMSE損失とSILog損失からなる深さ推定のための標準評価指標を用いて、Make 3Dデータセット、NYU Depth V2データセット、Kittiデータセットでネットワークをトレーニングし、テストする。 我々のネットワークは、より少ないパラメータで従来の手法の状態を上回ります。

Depth estimation from monocular images is a challenging problem in computer vision. In this paper, we tackle this problem using a novel network architecture using multi scale feature fusion. Our network uses two different blocks, first which uses different filter sizes for convolution and merges all the individual feature maps. The second block uses dilated convolutions in place of fully connected layers thus reducing computations and increasing the receptive field. We present a new loss function for training the network which uses a depth regression term, SSIM loss term and a multinomial logistic loss term combined. We train and test our network on Make 3D dataset, NYU Depth V2 dataset and Kitti dataset using standard evaluation metrics for depth estimation comprised of RMSE loss and SILog loss. Our network outperforms previous state of the art methods with lesser parameters.
翻訳日:2022-10-19 21:06:31 公開日:2020-09-11
# P-CRITICAL:ニューロモルフィックハードウェアのための貯留層自己規制塑性規則

P-CRITICAL: A Reservoir Autoregulation Plasticity Rule for Neuromorphic Hardware ( http://arxiv.org/abs/2009.05593v1 )

ライセンス: Link先を確認
Ismael Balafrej and Jean Rouat(参考訳) 繰り返し発生する人工ニューラルネットワーク上のバックプロパゲーションアルゴリズムは、時間とともに蓄積された状態の展開を必要とする。 これらの状態はタスクに依存しない未定義の期間メモリに保持されなければならない。 本稿では,未学習のリカレントニューラルネットワーク層をプリプロセッサステージとして使用するリザーバコンピューティングパラダイムを用いて,時間的・限定的なデータを学習する。 これらのいわゆる貯水池は、教師なしの学習規則で広範囲な微調整や神経可塑性を必要とする。 我々は,最近のニューロモルフィックプロセッサであるIntelのLoihi研究チップによく翻訳される自動貯水池チューニングのために設計されたP-CRITICALという新しい局所塑性規則を提案する。 我々は、スパイク神経アーキテクチャを用いて、機械学習コミュニティからよく知られたデータセットに対するアプローチを比較した。 パラメータをチューニングすることなく、様々なモーダルからくるタスクの性能改善を観察する。 このようなアルゴリズムは、エッジデバイス上でのエネルギー効率の高いニューロモルフィックベースの機械学習の鍵となるかもしれない。

Backpropagation algorithms on recurrent artificial neural networks require an unfolding of accumulated states over time. These states must be kept in memory for an undefined period of time which is task-dependent. This paper uses the reservoir computing paradigm where an untrained recurrent neural network layer is used as a preprocessor stage to learn temporal and limited data. These so-called reservoirs require either extensive fine-tuning or neuroplasticity with unsupervised learning rules. We propose a new local plasticity rule named P-CRITICAL designed for automatic reservoir tuning that translates well to Intel's Loihi research chip, a recent neuromorphic processor. We compare our approach on well-known datasets from the machine learning community while using a spiking neuronal architecture. We observe an improved performance on tasks coming from various modalities without the need to tune parameters. Such algorithms could be a key to end-to-end energy-efficient neuromorphic-based machine learning on edge devices.
翻訳日:2022-10-19 21:05:35 公開日:2020-09-11
# ベイジアンスクリーニング: シリコン材料スクリーニングに応用したマルチテストベイジアン最適化

Bayesian Screening: Multi-test Bayesian Optimization Applied to in silico Material Screening ( http://arxiv.org/abs/2009.05418v1 )

ライセンス: Link先を確認
James Hook, Calum Hand, Emma Whitfield(参考訳) 本稿では,大規模材料検層に適用可能なマルチテストベイズ最適化モデルとアルゴリズムを提案する。 私たちのスクリーニング問題は2つのテストを中心に設計されています。 この論文は、安価で高価なテストスコア間の複雑で非線形な関係を可能にするフレキシブルなモデルを用いて、マルチテストベイズ最適化に関する最近の研究とは異なる。 このモデリングの柔軟性は、私たちが記述した材料スクリーニングアプリケーションに不可欠です。 我々は,2つの大規模スクリーニング研究から得られた実データだけでなく,合成玩具問題に対する新しいアルゴリズムの効果を実証する。

We present new multi-test Bayesian optimization models and algorithms for use in large scale material screening applications. Our screening problems are designed around two tests, one expensive and one cheap. This paper differs from other recent work on multi-test Bayesian optimization through use of a flexible model that allows for complex, non-linear relationships between the cheap and expensive test scores. This additional modeling flexibility is essential in the material screening applications which we describe. We demonstrate the power of our new algorithms on a family of synthetic toy problems as well as on real data from two large scale screening studies.
翻訳日:2022-10-19 21:05:21 公開日:2020-09-11
# 自己知識蒸留による拡張ラベル平滑化規則化

Extending Label Smoothing Regularization with Self-Knowledge Distillation ( http://arxiv.org/abs/2009.05226v1 )

ライセンス: Link先を確認
Ji-Yue Wang, Pei Zhang, Wen-feng Pang, Jie Li(参考訳) ラベル平滑化法(LSR)と知識蒸留法(KD)の相関関係から着想を得て,LSR法をKD法に拡張し,よりソフトな温度で適用することにより,学習促進のためのアルゴリズムLsrKDを提案する。 次に,LsrKDを教師補正法(TC)法で改善し,一様分布教師において,適切なクラスに対して一定の比率を手動で設定する。 LsrKDの性能をさらに向上させるために,LsrKDの均一分布を置き換えるための知識教師を提供するMrKD(Memory-replay Knowledge Distillation)という自己蒸留法を開発した。 MrKD法は、トレーニング軌道上の現行モデルの出力分布とコピー'の間のKD損失をペナルティ化する。 モデル学習を過去の出力分布空間から遠ざけることで、MrKDは学習を安定させ、より堅牢な最小値を求めることができる。 実験の結果,LsrKDは,LSRが非効率ないくつかのディープニューラルネットワークにおいて,LSRの性能を一貫したコストで向上できることがわかった。 また、MrKDはシングルモデルトレーニングを大幅に改善することができる。 実験の結果、TCがLsrKDとMrsKDのトレーニング、特に失敗しているネットワークの強化に役立つことが確認された。 全体として、LsrKD、MrKD、およびそれらのTCの変種はLSR法に匹敵するか、あるいは優れており、これらのKD法の幅広い適用性を示している。

Inspired by the strong correlation between the Label Smoothing Regularization(LSR) and Knowledge distillation(KD), we propose an algorithm LsrKD for training boost by extending the LSR method to the KD regime and applying a softer temperature. Then we improve the LsrKD by a Teacher Correction(TC) method, which manually sets a constant larger proportion for the right class in the uniform distribution teacher. To further improve the performance of LsrKD, we develop a self-distillation method named Memory-replay Knowledge Distillation (MrKD) that provides a knowledgeable teacher to replace the uniform distribution one in LsrKD. The MrKD method penalizes the KD loss between the current model's output distributions and its copies' on the training trajectory. By preventing the model learning so far from its historical output distribution space, MrKD can stabilize the learning and find a more robust minimum. Our experiments show that LsrKD can improve LSR performance consistently at no cost, especially on several deep neural networks where LSR is ineffectual. Also, MrKD can significantly improve single model training. The experiment results confirm that the TC can help LsrKD and MrKD to boost training, especially on the networks they are failed. Overall, LsrKD, MrKD, and their TC variants are comparable to or outperform the LSR method, suggesting the broad applicability of these KD methods.
翻訳日:2022-10-19 20:59:10 公開日:2020-09-11
# 疎通による対人ロバスト性獲得

Achieving Adversarial Robustness via Sparsity ( http://arxiv.org/abs/2009.05423v1 )

ライセンス: Link先を確認
Shufan Wang, Ningyi Liao, Liyao Xiang, Nanyang Ye, Quanshi Zhang(参考訳) ネットワークプルーニングは、精度を損なうことなくコンパクトなモデルを作り出すことで知られている。 しかし、刈り取り処理がネットワークの堅牢性にどのように影響するかは未解決のままである。 本研究では,ネットワーク重みのスパース性がモデルロバスト性と密接に関連していることを理論的に証明する。 様々な対向的刈り取り方法の実験を通じて、重みのスパース性は損なわれず、ロバスト性が向上し、抽選券からの重みの継承と対向的トレーニングの両方がネットワーク刈り取りにおけるモデルのロバスト性を改善することが判明した。 そこで本研究では,小ネットワークから重みを継承することにより,大ネットワークに疎重み分布を課し,大ネットワークの頑健性を向上させる逆重み継承法を提案する。

Network pruning has been known to produce compact models without much accuracy degradation. However, how the pruning process affects a network's robustness and the working mechanism behind remain unresolved. In this work, we theoretically prove that the sparsity of network weights is closely associated with model robustness. Through experiments on a variety of adversarial pruning methods, we find that weights sparsity will not hurt but improve robustness, where both weights inheritance from the lottery ticket and adversarial training improve model robustness in network pruning. Based on these findings, we propose a novel adversarial training method called inverse weights inheritance, which imposes sparse weights distribution on a large network by inheriting weights from a small network, thereby improving the robustness of the large network.
翻訳日:2022-10-19 20:57:41 公開日:2020-09-11
# バイレベルプログラミングによるマルチタスク学習の解釈に向けて

Towards Interpretable Multi-Task Learning Using Bilevel Programming ( http://arxiv.org/abs/2009.05483v1 )

ライセンス: Link先を確認
Francesco Alesiani, Shujian Yu, Ammar Shaker and Wenzhe Yin(参考訳) 解釈可能なマルチタスク学習は、学習モデルの予測性能に基づいてタスク関係のスパースグラフを学習することとして表現することができる。 多くの自然現象はスパース構造を示すため、学習モデルのスパース性が基礎となるタスクの関係を明らかにする。 さらに、完全連結グラフからの異なるスパーシフィケーション度は、クランク、木、線、クラスタ、あるいは完全連結グラフのような様々な種類の構造を明らかにする。 本稿では,スパースグラフを誘導するマルチタスク学習の2レベル定式化を提案し,その基礎となるタスク関係を明らかにするとともに,その計算の効率的な方法を提案する。 一般化性能を犠牲にすることなく, 誘導スパースグラフが学習モデルの解釈性と合成データと実データとの関係をいかに改善するかを実証的に示す。 コード: https://bit.ly/graphguidedmtl

Interpretable Multi-Task Learning can be expressed as learning a sparse graph of the task relationship based on the prediction performance of the learned models. Since many natural phenomenon exhibit sparse structures, enforcing sparsity on learned models reveals the underlying task relationship. Moreover, different sparsification degrees from a fully connected graph uncover various types of structures, like cliques, trees, lines, clusters or fully disconnected graphs. In this paper, we propose a bilevel formulation of multi-task learning that induces sparse graphs, thus, revealing the underlying task relationships, and an efficient method for its computation. We show empirically how the induced sparse graph improves the interpretability of the learned models and their relationship on synthetic and real data, without sacrificing generalization performance. Code at https://bit.ly/GraphGuidedMTL
翻訳日:2022-10-19 20:57:26 公開日:2020-09-11
# 特徴量融合を用いた安全クリティカルシステムのための機械学習出力の信頼性向上に向けて

Towards a More Reliable Interpretation of Machine Learning Outputs for Safety-Critical Systems using Feature Importance Fusion ( http://arxiv.org/abs/2009.05501v1 )

ライセンス: Link先を確認
Divish Rengasamy, Benjamin Rothwell, Grazziela Figueredo(参考訳) 機械学習が安全クリティカルシステムにおける意思決定をサポートする場合、特定の出力が生成される理由を検証し理解することが重要である。 特徴重要度計算のアプローチは解釈を補助するが、特徴の重要性の定量化に関するコンセンサスが欠如しており、結果に対する説明はほとんど信頼できない。 合意の欠如に対処する可能な解決策は、複数の特徴重要量化器の結果を組み合わせることで、見積もりのばらつきを減らすことである。 私たちの仮説は、各機能が機械学習の予測に寄与する、より堅牢で信頼できる解釈につながる、ということです。 この仮説をテストするために,4つの部分に分かれた拡張可能なフレームワークを提案する。 一 従来のデータ前処理及び予測機械学習モデルの準備 (ii)予測機械学習 (iii)特徴量化及び (iv)アンサンブル戦略を用いた特徴的重要度決定融合。 また,新しい融合計量を導入し,最新技術と比較する。 我々のアプローチは、地上の真実が知られている合成データで検証される。 異なる融合アプローチと、トレーニングセットとテストセットの両方の結果を比較します。 また,データセット内の特徴の違いが特徴重要度アンサンブルに与える影響についても検討した。 その結果、機能重要度アンサンブルフレームワークは、従来の方法に比べて、全体の機能重要度エラーが15%少ないことが分かりました。 さらに,データセット内のノイズレベルの違いは,特徴重要度を正確に定量化する特徴重要度に影響を与えないが,特徴重要度定量化誤差は特徴数と直交情報的特徴数によって増加することが明らかになった。

When machine learning supports decision-making in safety-critical systems, it is important to verify and understand the reasons why a particular output is produced. Although feature importance calculation approaches assist in interpretation, there is a lack of consensus regarding how features' importance is quantified, which makes the explanations offered for the outcomes mostly unreliable. A possible solution to address the lack of agreement is to combine the results from multiple feature importance quantifiers to reduce the variance of estimates. Our hypothesis is that this will lead to more robust and trustworthy interpretations of the contribution of each feature to machine learning predictions. To assist test this hypothesis, we propose an extensible Framework divided in four main parts: (i) traditional data pre-processing and preparation for predictive machine learning models; (ii) predictive machine learning; (iii) feature importance quantification and (iv) feature importance decision fusion using an ensemble strategy. We also introduce a novel fusion metric and compare it to the state-of-the-art. Our approach is tested on synthetic data, where the ground truth is known. We compare different fusion approaches and their results for both training and test sets. We also investigate how different characteristics within the datasets affect the feature importance ensembles studied. Results show that our feature importance ensemble Framework overall produces 15% less feature importance error compared to existing methods. Additionally, results reveal that different levels of noise in the datasets do not affect the feature importance ensembles' ability to accurately quantify feature importance, whereas the feature importance quantification error increases with the number of features and number of orthogonal informative features.
翻訳日:2022-10-19 20:57:11 公開日:2020-09-11
# 畳み込みニューラルネットワークを用いたメンションペア法とシングルトン排除によるインドネシア語テキストの照合分解システム

Coreference Resolution System for Indonesian Text with Mention Pair Method and Singleton Exclusion using Convolutional Neural Network ( http://arxiv.org/abs/2009.05675v1 )

ライセンス: Link先を確認
Turfa Auliarachman (1), Ayu Purwarianti (1) ((1) Institut Teknologi Bandung)(参考訳) ニューラルネットワークは、参照ペア法を使用したコア参照解決システムで有望な性能を示した。 deep neural networkを使えば、2つの言及の間の隠れた関係と深い関係を学習できる。 しかし、この学習技術を用いたインドネシア語テキストのコリファレンス解決に関する研究は行われていない。 インドネシアのテクストの最先端システムでは、語彙的および構文的特徴の使用は既存のコア参照解決システムを改善することができるとのみ述べられている。 本稿では,2つの言及の関係を深層ニューラルネットワークを用いて学習する参照ペア法によるインドネシア語テキストの新しいコア参照解決システムを提案する。 語彙的・構文的特徴に加えて,言及する単語や文脈の表現を学習するために,単語の埋め込みを用い,畳み込みニューラルネットワーク(CNN)に供給する。 さらに、シングルトン分類器コンポーネントを使用してシングルトン排除を行い、最後にどのエンティティクラスタにも入らないようにする。 シングルトンを除外せずに67.37%、トレーニングされたシングルトン分類器で63.27%、conll平均f1スコアでゴールドシングルトン分類器で75.95%を達成した。

Neural network has shown promising performance on coreference resolution systems that uses mention pair method. With deep neural network, it can learn hidden and deep relations between two mentions. However, there is no work on coreference resolution for Indonesian text that uses this learning technique. The state-of-the-art system for Indonesian text only states the use of lexical and syntactic features can improve the existing coreference resolution system. In this paper, we propose a new coreference resolution system for Indonesian text with mention pair method that uses deep neural network to learn the relations of the two mentions. In addition to lexical and syntactic features, in order to learn the representation of the mentions words and context, we use word embeddings and feed them to Convolutional Neural Network (CNN). Furthermore, we do singleton exclusion using singleton classifier component to prevent singleton mentions entering any entity clusters at the end. Achieving 67.37% without singleton exclusion, 63.27% with trained singleton classifier, and 75.95% with gold singleton classifier on CoNLL average F1 score, our proposed system outperforms the state-of-the-art system.
翻訳日:2022-10-19 20:50:02 公開日:2020-09-11
# Bi-LSTM と CRF の POS Tag Embedding によるインドネシア語 Entity Tagger の検証

Investigating Bi-LSTM and CRF with POS Tag Embedding for Indonesian Named Entity Tagger ( http://arxiv.org/abs/2009.05687v1 )

ライセンス: Link先を確認
Devin Hoesen (1), Ayu Purwarianti (2) ((1) Prosa.ai, (2) Institut Teknologi Bandung)(参考訳) インドネシア名実体(ne)タガーの研究は数年前から行われている。 しかし、多くはディープラーニングを使用しておらず、代わりにアソシエーションルール、サポートベクターマシン、ランダムフォレスト、na\"ライブベイなど、従来の機械学習アルゴリズムを採用した。 それらの研究において,視線や手がかり語としての単語リストが提供され,精度が向上した。 ここでは、インドネシアのne taggerでディープラーニングを採用しようとしています。 NEタグの最先端である長短期記憶(LSTM)をトポロジーとして用いている。 LSTMを用いることで、精度を高めるために単語リストは不要である。 基本的に、調査する主な点が2つあります。 1つ目はネットワークの出力層、ソフトマックス対条件ランダムフィールド(CRF)である。 2つ目は、音声(pos)タグ埋め込み入力層の一部の使用です。 訓練データとして8400文,評価データとして97文を用い,追加入力としてposタグを埋め込むことにより,インドネシアネタガーの性能が向上することがわかった。 softmaxとcrfの比較では、両方のアーキテクチャがneタグの分類に弱点があることが分かりました。

Researches on Indonesian named entity (NE) tagger have been conducted since years ago. However, most did not use deep learning and instead employed traditional machine learning algorithms such as association rule, support vector machine, random forest, na\"ive bayes, etc. In those researches, word lists as gazetteers or clue words were provided to enhance the accuracy. Here, we attempt to employ deep learning in our Indonesian NE tagger. We use long short-term memory (LSTM) as the topology since it is the state-of-the-art of NE tagger. By using LSTM, we do not need a word list in order to enhance the accuracy. Basically, there are two main things that we investigate. The first is the output layer of the network: Softmax vs conditional random field (CRF). The second is the usage of part of speech (POS) tag embedding input layer. Using 8400 sentences as the training data and 97 sentences as the evaluation data, we find that using POS tag embedding as additional input improves the performance of our Indonesian NE tagger. As for the comparison between Softmax and CRF, we find that both architectures have a weakness in classifying an NE tag.
翻訳日:2022-10-19 20:49:41 公開日:2020-09-11
# 小型コーパスにおけるlstmとbertの比較

A Comparison of LSTM and BERT for Small Corpus ( http://arxiv.org/abs/2009.05451v1 )

ライセンス: Link先を確認
Aysu Ezen-Can(参考訳) NLP分野の最近の進歩は、スクラッチから始めるのではなく、事前学習したモデルを調整することによって、新しいタスクの最先端結果を達成するのに役立つことを示している。 トランスフォーマーは、テキストの分類、テキスト生成、シーケンスラベリングなどを含む多くのnlpタスクにおいて、最先端の結果を新たに作成する上で、大幅に改善されている。 これらの成功談のほとんどは大規模なデータセットに基づいていた。 本稿では,学界や産業の科学者が頻繁に直面する現実のシナリオに焦点を当てる。小さなデータセットが与えられた場合,bertのような大規模事前学習モデルを使って,単純なモデルよりも優れた結果が得られるか? この質問に答えるために、チャットボット構築のための意図分類のための小さなデータセットを使用し、単純な双方向LSTMモデルと事前学習されたBERTモデルの性能を比較する。 実験の結果,2方向LSTMモデルは小データセットのBERTモデルよりもはるかに高い結果が得られることが示され,これらの単純なモデルは事前学習したモデルよりもはるかに少ない時間で訓練されることがわかった。 モデルの性能はタスクとデータに依存しており、それゆえモデルを選択する前に、最も人気のあるモデルを直接選ぶのではなく、これらの要素を考慮するべきであると結論づける。

Recent advancements in the NLP field showed that transfer learning helps with achieving state-of-the-art results for new tasks by tuning pre-trained models instead of starting from scratch. Transformers have made a significant improvement in creating new state-of-the-art results for many NLP tasks including but not limited to text classification, text generation, and sequence labeling. Most of these success stories were based on large datasets. In this paper we focus on a real-life scenario that scientists in academia and industry face frequently: given a small dataset, can we use a large pre-trained model like BERT and get better results than simple models? To answer this question, we use a small dataset for intent classification collected for building chatbots and compare the performance of a simple bidirectional LSTM model with a pre-trained BERT model. Our experimental results show that bidirectional LSTM models can achieve significantly higher results than a BERT model for a small dataset and these simple models get trained in much less time than tuning the pre-trained counterparts. We conclude that the performance of a model is dependent on the task and the data, and therefore before making a model choice, these factors should be taken into consideration instead of directly choosing the most popular model.
翻訳日:2022-10-19 20:49:24 公開日:2020-09-11
# 顔GANの逆マッピング

Inverse mapping of face GANs ( http://arxiv.org/abs/2009.05671v1 )

ライセンス: Link先を確認
Nicky Bayat, Vahid Reza Khazaie, Yalda Mohsenzadeh(参考訳) generative adversarial networks (gans) はランダムな潜伏ベクトルから現実的な画像を合成する。 GANのための様々なトレーニング構成やアーキテクチャについて多くの研究がなされているが、与えられた入力画像の潜在ベクトルを抽出する生成モデルを逆転する問題は不十分に研究されている。 与えられたランダムベクトルごとに正確に1つの生成画像が存在するが、画像から回復した潜在ベクトルへのマッピングは複数の解を持つことができる。 我々はResNetアーキテクチャをトレーニングし、ターゲットとほぼ同一の顔を生成するために使用できる与えられた顔の潜在ベクトルを復元する。 我々は、知覚的損失を用いて、画像の画質を維持しながら、回復した潜在ベクターに顔の詳細を埋め込む。 潜在ベクトルリカバリに関する研究の大部分は,生成画像上でのみ良好に機能するが,本手法は,人間の顔と,重要な顔スタイルの詳細の大部分を含む潜在空間ベクトルのマッピングを決定するのに有効である。 さらに,提案手法は,高忠実度かつ高速な潜在空間に面を生成する。 最後に,実顔と生成顔の両方にアプローチの有効性を示す。

Generative adversarial networks (GANs) synthesize realistic images from a random latent vector. While many studies have explored various training configurations and architectures for GANs, the problem of inverting a generative model to extract latent vectors of given input images has been inadequately investigated. Although there is exactly one generated image per given random vector, the mapping from an image to its recovered latent vector can have more than one solution. We train a ResNet architecture to recover a latent vector for a given face that can be used to generate a face nearly identical to the target. We use a perceptual loss to embed face details in the recovered latent vector while maintaining visual quality using a pixel loss. The vast majority of studies on latent vector recovery perform well only on generated images, we argue that our method can be used to determine a mapping between real human faces and latent-space vectors that contain most of the important face style details. In addition, our proposed method projects generated faces to their latent-space with high fidelity and speed. At last, we demonstrate the performance of our approach on both real and generated faces.
翻訳日:2022-10-19 20:48:38 公開日:2020-09-11
# 線形モデル木を用いた正確で直感的な説明

Accurate and Intuitive Contextual Explanations using Linear Model Trees ( http://arxiv.org/abs/2009.05322v1 )

ライセンス: Link先を確認
Aditya Lahiri, Narayanan Unny Edakunni(参考訳) 金融分野における重要なアプリケーションにおける複雑な機械学習モデルの利用がますます増えていく中、モデルの決定を説明することが必要である。 信用スコアから信用マーケティングまでのアプリケーションでは、これらのモデルの影響は否定できない。 これらの複雑なモデルの決定を説明できる複数の方法のうち、局所的なポストホックモデルに依存しない説明が広く採用されている。 これらの方法では、トレーニング中に使用されたモデリング技術とは無関係に、各予測を説明できる。 説明として、個々の特徴の帰属を与えるか、予測を行うための条件を表す十分なルールを提供する。 技術手法の現在の状態は、初歩的な手法を用いて説明すべき点の周りで合成データを生成する。 これに続いて、単純な線形モデルを代理として適合させ、予測の局所的な解釈を得る。 本稿では, 説明文の生成方法と, 説明文の生成特性について, 双方について, 大幅な改善を試みている。 我々は,合成データ生成のための生成的逆ネットワークを用いて,線形モデルツリーの形で分割線形モデルを訓練し,サロゲートモデルとして使用する。また,個々の特徴属性に加えて,サロゲートモデルの構造と特性を活用することにより,説明に付随する文脈を提供する。

With the ever-increasing use of complex machine learning models in critical applications within the finance domain, explaining the decisions of the model has become a necessity. With applications spanning from credit scoring to credit marketing, the impact of these models is undeniable. Among the multiple ways in which one can explain the decisions of these complicated models, local post hoc model agnostic explanations have gained massive adoption. These methods allow one to explain each prediction independent of the modelling technique that was used while training. As explanations, they either give individual feature attributions or provide sufficient rules that represent conditions for a prediction to be made. The current state of the art methods use rudimentary methods to generate synthetic data around the point to be explained. This is followed by fitting simple linear models as surrogates to obtain a local interpretation of the prediction. In this paper, we seek to significantly improve on both, the method used to generate the explanations and the nature of explanations produced. We use a Generative Adversarial Network for synthetic data generation and train a piecewise linear model in the form of Linear Model Trees to be used as the surrogate model.In addition to individual feature attributions, we also provide an accompanying context to our explanations by leveraging the structure and property of our surrogate model.
翻訳日:2022-10-19 20:41:57 公開日:2020-09-11
# ksm:kernel-wise soft mask learningによる高速多重タスク適応

KSM: Fast Multiple Task Adaption via Kernel-wise Soft Mask Learning ( http://arxiv.org/abs/2009.05668v1 )

ライセンス: Link先を確認
Li Yang, Zhezhi He, Junshan Zhang, Deliang Fan(参考訳) Deep Neural Networks (DNN)は、新しいタスクを学ぶときの以前のタスクに関する知識を忘れることができ、これは「textit{catastrophic forgetting}」として知られている。 最近の連続学習法はおもちゃサイズのデータセットの壊滅的な問題を緩和する能力があるが、現実の問題にそれを適用する際に対処すべき課題が残っている。 近年,背骨モデルを修正しつつ,二元的マスクのみを高速に学習することにより,これらの問題に対処するための高速マスク学習法(piggyback \cite{mallya2018piggyback})が提案されている。 しかし、バイナリマスクは新しいタスクのモデリング能力に制限がある。 より最近の研究 \cite{hung2019compacting} では、バックボーンモデルを部分的にトレーニングすることで、新しいタスクの精度を向上させるための圧縮グローベースの方法 (CPG) が提案されている。 本研究の目的は,連続学習環境において高速かつ高精度なマルチタスク適応を実現することである。 そこで我々は,kernel-wise soft mask (ksm) と呼ばれる新しい学習法を提案し,同一のバックボーンモデルを用いて,各タスクに対するkernel-wise hybrid binary と real-value soft mask を学習する。 このようなソフトマスクは、バイナリマスクと適切にスケールされた実値テンソルの重ね合わせと見なすことができ、低レベルのカーネルサポートなしでよりリッチな表現能力を提供し、低ハードウェアオーバーヘッドの目的を満たす。 本研究では,最新の最先端手法(pigggyback, packnet, cpgなど)に対して,複数のベンチマークデータセット上でksmを検証する。

Deep Neural Networks (DNN) could forget the knowledge about earlier tasks when learning new tasks, and this is known as \textit{catastrophic forgetting}. While recent continual learning methods are capable of alleviating the catastrophic problem on toy-sized datasets, some issues still remain to be tackled when applying them in real-world problems. Recently, the fast mask-based learning method (e.g. piggyback \cite{mallya2018piggyback}) is proposed to address these issues by learning only a binary element-wise mask in a fast manner, while keeping the backbone model fixed. However, the binary mask has limited modeling capacity for new tasks. A more recent work \cite{hung2019compacting} proposes a compress-grow-based method (CPG) to achieve better accuracy for new tasks by partially training backbone model, but with order-higher training cost, which makes it infeasible to be deployed into popular state-of-the-art edge-/mobile-learning. The primary goal of this work is to simultaneously achieve fast and high-accuracy multi task adaption in continual learning setting. Thus motivated, we propose a new training method called \textit{kernel-wise Soft Mask} (KSM), which learns a kernel-wise hybrid binary and real-value soft mask for each task, while using the same backbone model. Such a soft mask can be viewed as a superposition of a binary mask and a properly scaled real-value tensor, which offers a richer representation capability without low-level kernel support to meet the objective of low hardware overhead. We validate KSM on multiple benchmark datasets against recent state-of-the-art methods (e.g. Piggyback, Packnet, CPG, etc.), which shows good improvement in both accuracy and training cost.
翻訳日:2022-10-19 20:40:33 公開日:2020-09-11
# ニューラルアーキテクチャとウェイトを両立させる:教師付き分類におけるケーススタディ

Disentangling Neural Architectures and Weights: A Case Study in Supervised Classification ( http://arxiv.org/abs/2009.05346v1 )

ライセンス: Link先を確認
Nicolo Colombo and Yang Gao(参考訳) 深層学習の歴史は、人間の設計した問題特定ネットワークが一般的な神経モデルの分類性能を大幅に改善できることを示した。 しかし、ほとんどの場合、与えられたタスクに対して最適なアーキテクチャを選択することは難しい問題である。 最近のアーキテクチャ研究手法では、強力な性能を持つニューラルモデルを自動的に構築できるが、ニューラルアーキテクチャとウェイト間の相互作用を十分に理解できない。 本研究は,よく訓練されたアーキテクチャでは重みのリンク固有の微調整は不要であることを示すことにより,神経構造とエッジ重みの役割を分離する問題を検討する。 このような重みのないネットワークの性能(ここでは2進ネットワークと {0, 1} 値の重み付きネットワーク)を、ランダムで重みに依存しない、プルーニングされた、および標準の完全連結ネットワークと比較する。 最適重み依存ネットワークを見つけるために,我々は,ハードアーキテクチャ探索問題を実現可能な最適化問題に翻訳する,新しい計算効率の高い手法を用いる。具体的には,最適化されたタスク固有アーキテクチャを,近似勾配降下戦略によって見いだされる,{0, 1}-値の重み付きバイナリネットワークの最適構成として検討する。 提案アルゴリズムの理論的収束保証は勾配近似における誤差をバウンドすることで得られ、実世界の2つのデータセット上でその実用性能を評価する。 異なるアーキテクチャ間の構造的類似性を測定するために、我々は、実数値ネットワークと重みなしアーキテクチャの本質的な違いを明確にする新しいスペクトルアプローチを用いる。

The history of deep learning has shown that human-designed problem-specific networks can greatly improve the classification performance of general neural models. In most practical cases, however, choosing the optimal architecture for a given task remains a challenging problem. Recent architecture-search methods are able to automatically build neural models with strong performance but fail to fully appreciate the interaction between neural architecture and weights. This work investigates the problem of disentangling the role of the neural structure and its edge weights, by showing that well-trained architectures may not need any link-specific fine-tuning of the weights. We compare the performance of such weight-free networks (in our case these are binary networks with {0, 1}-valued weights) with random, weight-agnostic, pruned and standard fully connected networks. To find the optimal weight-agnostic network, we use a novel and computationally efficient method that translates the hard architecture-search problem into a feasible optimization problem.More specifically, we look at the optimal task-specific architectures as the optimal configuration of binary networks with {0, 1}-valued weights, which can be found through an approximate gradient descent strategy. Theoretical convergence guarantees of the proposed algorithm are obtained by bounding the error in the gradient approximation and its practical performance is evaluated on two real-world data sets. For measuring the structural similarities between different architectures, we use a novel spectral approach that allows us to underline the intrinsic differences between real-valued networks and weight-free architectures.
翻訳日:2022-10-19 20:39:35 公開日:2020-09-11