このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス（CC 0, CC BY, CC BY-SA）の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。（arxivのメタデータは CC 0です。） 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。
公開日が20200223となっている論文です。
| Title | Authors | Abstract | 論文公表日・翻訳日 |
|---|---|---|---|
| # Klein-GordonおよびDirac量子場理論の熱状態の相対エンタングルメントエントロピー Relative entanglement entropy of thermal states of Klein-Gordon and Dirac quantum field theories ( http://arxiv.org/abs/2002.09985v1 ) ライセンス: Link先を確認 | Onirban Islam | (参考訳) 静(スピン)時空のコーシー超曲面において、非零距離$d$で分離された2領域にわたる線形、質量クライン・ゴルドンおよびディラック量子場理論の逆温度$\beta$における熱状態の相対的絡み合いエントロピーの上界が計算された。
この絡み合い測度は負の定数時間$\ln | \tanh (\pi d/ 2 \beta) |$で境界付けられ、これは指数が$\beta < \infty$に依存する漸近的な$d$に対する力法減衰を表す。 An upper bound of the relative entanglement entropy of thermal states at an inverse temperature $\beta$ of linear, massive Klein-Gordon and Dirac quantum field theories across two regions, separated by a nonzero distance $d$ in a Cauchy hypersurface of an ultrastatic (spin-)spacetime has been computed. This entanglement measure is bounded by a negative constant times $\ln | \tanh (\pi d/ 2 \beta) |$ which signifies power law decay for asymptotic $d$ where the exponent depends on $\beta < \infty$. | 翻訳日:2023-06-02 07:14:36 公開日:2020-02-23 |
| # 宇宙対一対の量子生成 Quantum creation of a universe-antiuniverse pair ( http://arxiv.org/abs/2002.09863v1 ) ライセンス: Link先を確認 | S. J. Robles-Perez | (参考訳) もし宇宙の量子生成を解析すれば、宇宙が生成できる最も自然な方法は、時間の流れが逆関係である宇宙の対であることが分かる。
これは、宇宙の1つで伝播する物質は、他の宇宙の観点から、反物質、逆物質として見ることができることを意味する。
宇宙と反ユニバースの対を形成する。
大域的な観点から、すなわち、多元的アンサンブル全体の観点から、宇宙対一対における宇宙の創造は、個々の宇宙で観測される物質対物質非対称性を復元し、多元的提案全体の識別可能なインプリントを与えることができる。 If one analyses the quantum creation of the universe, it turns out that the most natural way in which the universes can be created is in pairs of universes whose time flow is reversely related. It means that the matter that propagates in one of the universes can be seen, from the point of view of the other universe, as antimatter, and viceversa. They thus form a universe-antiuniverse pair. From a global point of view, i.e. from the point of view of the whole multiverse ensemble, the creation of universes in universe-antiuniverse pairs restores the matter-antimatter asymmetry observed in each individual universe and it might provide us with distinguishable imprints of the whole multiverse proposal. | 翻訳日:2023-06-02 07:14:08 公開日:2020-02-23 |
| # ブラックホールの異なる体積は「ファイアウォール」を必要としない A divergent volume for black holes calls for no "firewall" ( http://arxiv.org/abs/2002.09823v1 ) ライセンス: Link先を確認 | Baocheng Zhang and Li You | (参考訳) ホーキング放射が熱的に分布しているという仮定は、ブラックホールの内部自由度との絡み合いから生じると考えられる。
これが「ファイアウォール」パラドックスにつながるのは、ブラックホールが最初のエントロピーの半分を蒸発するペイジの時代までユニタリ進化が続くときである。
しかし、ブラックホールの内部に常に外部との絡み合いを維持するのに十分な自由度がある場合、完全な放射過程の間にユニタリティーを保存でき、ファイアウォールは必要とされない。
本稿では,ブラックホールの体積の概念を導入することでファイアウォールを再現するシナリオを提案する。
Christodoulou と Rovelli [1] の操作的定義に基づいて、崩壊したブラックホールの体積とその関連するエントロピーが、最終蒸発段階が非可換空間で扱われる場合、分岐することを示した。
これはブラックホールの内部が「魔術師の袋」の内部のようなあらゆる質量のブラックホールの情報を保存するのに十分な空間を持っていることを意味する。 The presumption that Hawking radiations are thermally distributed can be considered to result from their entanglement with the internal degrees of freedom for a black hole. This leads to the "firewall" paradox if unitary evolution continues into Page's time when a black hole evaporates away half of its initial entropy. However, if the interior of a black hole houses sufficient degrees of freedom to maintain entanglement with the outside at all times, unitarity can be preserved during the complete radiation process and no firewall will be required. This paper proposes a scenario that rescinds firewall by introducing the concept of volume for a black hole. Based on the operational definition by Christodoulou and Rovelli [1], we show that the volume and its associated entropy for a collapsed black hole diverges if the final evaporation stage is treated using noncommutative space. This implicates the interior of a black hole possesses adequate space to store information for a black hole of any mass, like the inside of a "magician's bag". | 翻訳日:2023-06-02 07:13:22 公開日:2020-02-23 |
| # ニューラルネットワークによる難解なショートレートモデル分布の近似 Approximating intractable short ratemodel distribution with neural network ( http://arxiv.org/abs/1912.12615v7 ) ライセンス: Link先を確認 | Anna Knezevic, Nikolai Dokuchaev | (参考訳) 提案手法は, 学習したデータセットと検証データの両方において不偏推定値に対して優れた結果が得られることを示すため, 難解な短率モデル(ドリフトと全パーセンタイル分布を調整した場合)の前の時間ステップと比較して各時間ステップを予測できるアルゴリズムを提案する。 We propose an algorithm which predicts each subsequent time step relative to the previous timestep of intractable short rate model (when adjusted for drift and overall distribution of previous percentile result) and show that the method achieves superior outcomes to the unbiased estimate both on the trained dataset and different validation data. | 翻訳日:2023-01-17 07:36:05 公開日:2020-02-23 |
| # 人間中心の人工知能:信頼性、安全、信頼に値する Human-Centered Artificial Intelligence: Reliable, Safe & Trustworthy ( http://arxiv.org/abs/2002.04087v2 ) ライセンス: Link先を確認 | Ben Shneiderman | (参考訳) 高いレベルの人間制御と高いレベルのコンピュータ自動化を提供するよく設計された技術は、人間のパフォーマンスを増加させ、より広く採用される。
human-centered artificial intelligence(hcai)フレームワークは、(1)高いレベルの人間制御と高いレベルのコンピュータ自動化の設計により、人間のパフォーマンスを向上させる方法、(2)完全な人間制御や完全なコンピュータ制御が必要である状況を理解すること、(3)過剰な人間制御や過度のコンピュータ制御の危険性を避ける方法を明確にする。
HCAIの手法は、信頼性、安全、信頼に値する設計(RST)を作成する可能性が高い。
これらの目標を達成することで、人間の自己効力、熟達、創造性、責任をサポートしながら、人間のパフォーマンスが劇的に向上します。 Well-designed technologies that offer high levels of human control and high levels of computer automation can increase human performance, leading to wider adoption. The Human-Centered Artificial Intelligence (HCAI) framework clarifies how to (1) design for high levels of human control and high levels of computer automation so as to increase human performance, (2) understand the situations in which full human control or full computer control are necessary, and (3) avoid the dangers of excessive human control or excessive computer control. The methods of HCAI are more likely to produce designs that are Reliable, Safe & Trustworthy (RST). Achieving these goals will dramatically increase human performance, while supporting human self-efficacy, mastery, creativity, and responsibility. | 翻訳日:2023-01-02 09:17:29 公開日:2020-02-23 |
| # 動物自動識別のための多視点cnnに基づく音響分類システム A Multi-view CNN-based Acoustic Classification System for Automatic Animal Species Identification ( http://arxiv.org/abs/2002.09821v1 ) ライセンス: Link先を確認 | Weitao Xu, Xiang Zhang, Lina Yao, Wanli Xue, Bo Wei | (参考訳) 声化による動物種の自動識別は重要かつ困難な課題である。
文献では様々な種類の音声監視システムが提案されているが、非自明な特徴選択、環境騒音による精度劣化、集中的な局所計算などの欠点に悩まされている。
本稿では,無線音響センサネットワーク(WASN)のためのディープラーニングに基づく音響分類フレームワークを提案する。
提案するフレームワークは,無線センサノードの計算負荷を緩和するクラウドアーキテクチャに基づいている。
認識精度を向上させるために,多視点畳み込みニューラルネットワーク(CNN)を設計し,短期・中期・長期の依存関係を並列に抽出する。
2つの実データセットの評価結果から,環境騒音が音声信号(低SNR)を支配している場合,提案手法は精度が高く,従来の分類システムよりも優れていた。
さらに,提案するシステムをテストベッドに実装・デプロイし,実環境におけるシステム性能の分析を行う。
シミュレーションと実世界評価は,動物種の識別における音響分類システムの精度と堅牢性を示すものである。 Automatic identification of animal species by their vocalization is an important and challenging task. Although many kinds of audio monitoring system have been proposed in the literature, they suffer from several disadvantages such as non-trivial feature selection, accuracy degradation because of environmental noise or intensive local computation. In this paper, we propose a deep learning based acoustic classification framework for Wireless Acoustic Sensor Network (WASN). The proposed framework is based on cloud architecture which relaxes the computational burden on the wireless sensor node. To improve the recognition accuracy, we design a multi-view Convolution Neural Network (CNN) to extract the short-, middle-, and long-term dependencies in parallel. The evaluation on two real datasets shows that the proposed architecture can achieve high accuracy and outperforms traditional classification systems significantly when the environmental noise dominate the audio signal (low SNR). Moreover, we implement and deploy the proposed system on a testbed and analyse the system performance in real-world environments. Both simulation and real-world evaluation demonstrate the accuracy and robustness of the proposed acoustic classification system in distinguishing species of animals. | 翻訳日:2022-12-29 09:59:56 公開日:2020-02-23 |
| # 確率的短期太陽出力予測のためのガウス過程回帰 Gaussian Process Regression for Probabilistic Short-term Solar Output Forecast ( http://arxiv.org/abs/2002.10878v1 ) ライセンス: Link先を確認 | Fatemeh Najibi, Dimitra Apostolopoulou, and Eduardo Alonso | (参考訳) 気候変動への懸念が高まる中、太陽光発電(pv)などの再生可能資源はエネルギー発電手段として人気が高まっている。
電力系統の運用におけるそのような資源の円滑な統合は、その固有の断続性と変動性に対処する正確な予測機構によって実現される。
本稿では,気象の不確実性を考慮した短期PV出力予測のための確率的枠組みを提案する。
この目的のために, 電力出力と照度, 温度, ゼニス, 方位などの気象データからなるデータセットを利用する。
まず,k-meansクラスタリングを用いて,太陽光出力と時間に基づいて4つのグループに分類する。
次に、太陽出力に影響を与える気象特性を広範囲に選択するための相関研究を行った。
最後に、ガウス過程回帰とMatern 5/2をカーネル関数として用いて、上記選択した特徴と太陽出力を関連付ける関数を決定する。
本手法は, 異なる場所にある5つの発電プラントで検証し, 既存の方法と比較した。
具体的には、提案したモデルをテストするために、2つの異なる方法が使用される。
(i)5倍のクロスバリデーション、及び
(ii)テストデータとして30日をランダムに保持する。
モデルの正確性を確認するために、4つのクラスタそれぞれに30回独立したフレームワークを適用する。
平均誤差は正規分布に従い、95%の信頼度で -1.6% から 1.4% の値を取る。 With increasing concerns of climate change, renewable resources such as photovoltaic (PV) have gained popularity as a means of energy generation. The smooth integration of such resources in power system operations is enabled by accurate forecasting mechanisms that address their inherent intermittency and variability. This paper proposes a probabilistic framework to predict short-term PV output taking into account the uncertainty of weather. To this end, we make use of datasets that comprise of power output and meteorological data such as irradiance, temperature, zenith, and azimuth. First, we categorise the data into four groups based on solar output and time by using k-means clustering. Next, a correlation study is performed to choose the weather features which affect solar output to a greater extent. Finally, we determine a function that relates the aforementioned selected features with solar output by using Gaussian Process Regression and Matern 5/2 as a kernel function. We validate our method with five solar generation plants in different locations and compare the results with existing methodologies. More specifically, in order to test the proposed model, two different methods are used: (i) 5-fold cross-validation; and (ii) holding out 30 random days as test data. To confirm the model accuracy, we apply our framework 30 independent times on each of the four clusters. The average error follows a normal distribution, and with 95% confidence level, it takes values between -1.6% to 1.4%. | 翻訳日:2022-12-29 09:59:39 公開日:2020-02-23 |
| # 先行3次元サーフェルマップにおける単眼直接スパース位置定位 Monocular Direct Sparse Localization in a Prior 3D Surfel Map ( http://arxiv.org/abs/2002.09923v1 ) ライセンス: Link先を確認 | Haoyang Ye, Huaiyang Huang and Ming Liu | (参考訳) 本稿では,先行するサーフェルマップにおいて単眼カメラの姿勢を追跡する手法を提案する。
先行サーフェルマップから頂点及び正規マップをレンダリングすることにより、画像フレーム内のスパーストラックされた点のグローバル平面情報を得る。
グローバル平面情報の有無に関わらず追跡されたポイントは、システムへのフレームのグローバル制約とローカル制約の両方を含む。
提案手法は,フレームの局所窓内における直接測光誤差の形で,全ての制約を定式化する。
最終的な最適化は、これらの制約を利用して、絶対的なスケールでグローバルな6自由度カメラポーズを正確に推定する。
シミュレーションと実世界の実験により, 種々の条件下での高精度なカメラローカライゼーション結果が得られた。 In this paper, we introduce an approach to tracking the pose of a monocular camera in a prior surfel map. By rendering vertex and normal maps from the prior surfel map, the global planar information for the sparse tracked points in the image frame is obtained. The tracked points with and without the global planar information involve both global and local constraints of frames to the system. Our approach formulates all constraints in the form of direct photometric errors within a local window of the frames. The final optimization utilizes these constraints to provide the accurate estimation of global 6-DoF camera poses with the absolute scale. The extensive simulation and real-world experiments demonstrate that our monocular method can provide accurate camera localization results under various conditions. | 翻訳日:2022-12-29 09:56:57 公開日:2020-02-23 |
| # グラフカラー化のための量子アルゴリズムのコンパイル計画 Planning for Compilation of a Quantum Algorithm for Graph Coloring ( http://arxiv.org/abs/2002.10917v1 ) ライセンス: Link先を確認 | Minh Do, Zhihui Wang, Bryan O'Gorman, Davide Venturelli, Eleanor Rieffel, Jeremy Frank | (参考訳) 短期量子プロセッサの実装のための一般的な量子アルゴリズムをコンパイルする問題は、AIコミュニティに導入されている。
以前の研究は、このコンパイルタスクの一部、特に量子交互演算子Ansatz(QAOA)を実装する回路のルーティングが量子プロセッサアーキテクチャ上のMaxCut問題に適用された場合、時間的計画が魅力的なアプローチであることを示した。
本稿では,グラフカラー化問題に対するQAOAを実装した経路回路について述べる。
カラー化のためのQAOAでは、チップ上でさらに複雑な操作を実行する必要があるため、ルーティングがより難しい問題になる。
我々は、最先端ハードウェアアーキテクチャのアプローチを主要な量子コンピューティング企業から評価する。
さらに、qubit初期化にプランニングアプローチを適用する。
実験的な評価は,時間的計画が妥当な解析上界とよく一致し,古典的プランナーとのキュービット初期化を解くことは,グラフカラー化のためのQAOAの短いマスパンコンパイルを見つけるのに一般的に有効であることを示している。
これらの進歩は、時間計画がより複雑な量子コンピューティングアルゴリズムやアーキテクチャにとって効果的なアプローチであることを示している。 The problem of compiling general quantum algorithms for implementation on near-term quantum processors has been introduced to the AI community. Previous work demonstrated that temporal planning is an attractive approach for part of this compilationtask, specifically, the routing of circuits that implement the Quantum Alternating Operator Ansatz (QAOA) applied to the MaxCut problem on a quantum processor architecture. In this paper, we extend the earlier work to route circuits that implement QAOA for Graph Coloring problems. QAOA for coloring requires execution of more, and more complex, operations on the chip, which makes routing a more challenging problem. We evaluate the approach on state-of-the-art hardware architectures from leading quantum computing companies. Additionally, we apply a planning approach to qubit initialization. Our empirical evaluation shows that temporal planning compares well to reasonable analytic upper bounds, and that solving qubit initialization with a classical planner generally helps temporal planners in finding shorter-makespan compilations for QAOA for Graph Coloring. These advances suggest that temporal planning can be an effective approach for more complex quantum computing algorithms and architectures. | 翻訳日:2022-12-29 09:56:22 公開日:2020-02-23 |
| # 社会的側面がモノのインターネットに与える影響を実証するシミュレーションモデル A Simulation Model Demonstrating the Impact of Social Aspects on Social Internet of Things ( http://arxiv.org/abs/2002.11507v1 ) ライセンス: Link先を確認 | Kashif Zia | (参考訳) シームレスな接続性とスマートさに加えて、IoT(Internet of Things)のオブジェクトには社会的能力が期待されている。
本稿では,これらのオブジェクト間の社会的相互作用の直感的なパラダイムを議論し,モデル化する。
P2P(Peer-to-Peer)リソースの共有を例に,ソーシャルオブジェクトの相互作用パターンに対する社会的行動の影響について検討した。
本稿では,競争対協調的社会パラダイムの意義について考察する一方で,共有資源・サービスの実現を試みている。
シミュレーションの結果、仲間の社会的能力が社会的対象間の相互作用の質を著しく向上させることが明らかとなった。
エージェントに基づくシミュレーション研究により,協調戦略は競争戦略よりも効率的であることが証明された。
さらに、実生活のネットワーク構造とモビリティの基盤となる協力は、システムの効率に悪影響を及ぼさない。 In addition to seamless connectivity and smartness, the objects in the Internet of Things (IoT) are expected to have the social capabilities -- these objects are termed as ``social objects''. In this paper, an intuitive paradigm of social interactions between these objects are argued and modeled. The impact of social behavior on the interaction pattern of social objects is studied taking Peer-to-Peer (P2P) resource sharing as an example application. The model proposed in this paper studies the implications of competitive vs. cooperative social paradigm, while peers attempt to attain the shared resources / services. The simulation results divulge that the social capabilities of the peers impart a significant increase in the quality of interactions between social objects. Through an agent-based simulation study, it is proved that cooperative strategy is more efficient than competitive strategy. Moreover, cooperation with an underpinning on real-life networking structure and mobility does not negatively impact the efficiency of the system at all; rather it helps. | 翻訳日:2022-12-29 09:56:01 公開日:2020-02-23 |
| # 最大準ユークリッド探索のための混合整数計画法 Mixed Integer Programming for Searching Maximum Quasi-Bicliques ( http://arxiv.org/abs/2002.09880v1 ) ライセンス: Link先を確認 | Dmitry I. Ignatov, Polina Ivanova, Albina Zamaletdinova | (参考訳) 本論文は,二部グラフ(bigraph)における極大準双行数を求める問題に関連している。
複写の準二進法はその「ほぼ」完備部分グラフである。
ここで、その部分グラフが少なくとも$\gamma \in (0,1]$ となるような双斜体を形成するためのある数の辺を持たない場合、$\gamma$-quasi-biclique であると仮定する。
グラフと固定された$\gamma$の場合、極大準二進法の探索の問題は、誘導された部分グラフが準二進法であり、その大きさが与えられたグラフに対して最大となるような双進法の頂点の部分集合を見つけることである。
準斜め探索のための混合整数計画法 (MIP) に基づくモデルを提案し, 作業効率を検証した。
このモデルは、三重クラスタリング \textsc{tribox} によって悪用されたものと類似した最小二乗基準を用いて、準二次と密度の両方を同時に最大化する。 This paper is related to the problem of finding the maximal quasi-bicliques in a bipartite graph (bigraph). A quasi-biclique in the bigraph is its "almost" complete subgraph. The relaxation of completeness can be understood variously; here, we assume that the subgraph is a $\gamma$-quasi-biclique if it lacks a certain number of edges to form a biclique such that its density is at least $\gamma \in (0,1]$. For a bigraph and fixed $\gamma$, the problem of searching for the maximal quasi-biclique consists of finding a subset of vertices of the bigraph such that the induced subgraph is a quasi-biclique and its size is maximal for a given graph. Several models based on Mixed Integer Programming (MIP) to search for a quasi-biclique are proposed and tested for working efficiency. An alternative model inspired by biclustering is formulated and tested; this model simultaneously maximizes both the size of the quasi-biclique and its density, using the least-square criterion similar to the one exploited by triclustering \textsc{TriBox}. | 翻訳日:2022-12-29 09:55:21 公開日:2020-02-23 |
| # ORCSolver: OR制約付き適応GUIレイアウトのための効率的な解法 ORCSolver: An Efficient Solver for Adaptive GUI Layout with OR-Constraints ( http://arxiv.org/abs/2002.09925v1 ) ライセンス: Link先を確認 | Yue Jiang, Wolfgang Stuerzlinger, Matthias Zwicker, Christof Lutteroth | (参考訳) OR-Constrained (ORC) のグラフィカルユーザインタフェースレイアウトは、従来の制約ベースのレイアウトとフローレイアウトを一体化することで、単一のレイアウト仕様で異なるサイズ、向き、アスペクト比のスクリーンに適応するフレキシブルレイアウトの定義を可能にする。
残念ながら、現在の解決器でORCレイアウトを解くのに時間がかかり、必要な時間はウィジェットの数や制約の数とともに指数関数的に増加する。
この課題に対処するため,本研究では,分岐とバウンドのアプローチとヒューリスティック前処理を併用したORCSolverを提案する。
ORCSolverは実行時にORCの仕様を単純化し,提案手法はORCのレイアウト仕様をほぼ対話的に効率的に解決できることを示した。 OR-constrained (ORC) graphical user interface layouts unify conventional constraint-based layouts with flow layouts, which enables the definition of flexible layouts that adapt to screens with different sizes, orientations, or aspect ratios with only a single layout specification. Unfortunately, solving ORC layouts with current solvers is time-consuming and the needed time increases exponentially with the number of widgets and constraints. To address this challenge, we propose ORCSolver, a novel solving technique for adaptive ORC layouts, based on a branch-and-bound approach with heuristic preprocessing. We demonstrate that ORCSolver simplifies ORC specifications at runtime and our approach can solve ORC layout specifications efficiently at near-interactive rates. | 翻訳日:2022-12-29 09:55:00 公開日:2020-02-23 |
| # ネットワークトラフィック生成のシーケンス保存 Sequence Preserving Network Traffic Generation ( http://arxiv.org/abs/2002.09832v1 ) ライセンス: Link先を確認 | Sigal Shaked, Amos Zamir, Roman Vainshtein, Moshe Unger, Lior Rokach, Rami Puzis, Bracha Shapira | (参考訳) 本稿では,ネットワークシミュレーションや企業環境における状況分析のために,多様なバックグラウンドトラフィックを生成することを目的として,記録されたネットワークトラフィックを摂動するネットワークトラフィック発生装置(NTG)を提案する。
このフレームワークは、企業で記録された元のトラフィックの多くの特性とネットワークアクティビティのシーケンスを保持する。
提案したフレームワークを使用して、オリジナルのトラフィックフローを200のクロスプロトコル機能を使用してプロファイルする。
トラフィックはipペア間のパケットのフローに集約され、同様のネットワークアクティビティのグループにまとめられる。
次に、ネットワークアクティビティのシーケンスを抽出する。
マルコフモデルとニューラル言語モデルという,活動のシーケンスを抽出する2つの手法を検討した。
最後に、抽出したモデルを用いて新しいトラフィックを生成する。
このフレームワークのプロトタイプを開発し、2つの実ネットワークトラフィックコレクションに基づいて広範な実験を行った。
提案手法を用いて, 原特徴と生成特徴の分布の差異を調べた結果, 抽出した特徴の30～100倍%が保存された。
元のトラフィックと生成されたトラフィックにおけるネットワークアクティビティのシーケンスにおけるn-gramパープレクシリティの小さな違いは、ネットワークアクティビティのシーケンスが十分に保存されていることを示している。 We present the Network Traffic Generator (NTG), a framework for perturbing recorded network traffic with the purpose of generating diverse but realistic background traffic for network simulation and what-if analysis in enterprise environments. The framework preserves many characteristics of the original traffic recorded in an enterprise, as well as sequences of network activities. Using the proposed framework, the original traffic flows are profiled using 200 cross-protocol features. The traffic is aggregated into flows of packets between IP pairs and clustered into groups of similar network activities. Sequences of network activities are then extracted. We examined two methods for extracting sequences of activities: a Markov model and a neural language model. Finally, new traffic is generated using the extracted model. We developed a prototype of the framework and conducted extensive experiments based on two real network traffic collections. Hypothesis testing was used to examine the difference between the distribution of original and generated features, showing that 30-100\% of the extracted features were preserved. Small differences between n-gram perplexities in sequences of network activities in the original and generated traffic, indicate that sequences of network activities were well preserved. | 翻訳日:2022-12-29 09:54:43 公開日:2020-02-23 |
| # PrivGen: データ生成によるシーケンスのプライバシ保護 PrivGen: Preserving Privacy of Sequences Through Data Generation ( http://arxiv.org/abs/2002.09834v1 ) ライセンス: Link先を確認 | Sigal Shaked, Lior Rokach | (参考訳) シーケンシャルなデータは至るところで存在し、プロセスの改善につながる研究の基礎として機能することができる。
例えば、GPSデータのボトルネックを特定して道路インフラを改善したり、医療データにおける病気の進行パターンを分析して早期診断を改善することができる。
主な障害は、ユーザーのプライバシーを侵害する懸念があるため、そのようなデータへのアクセスと利用は、通常制限されるか、まったく許可されない。
シーケンスデータの匿名化は、ユーザが時間とともにほとんどユニークなシグネチャを生成するため、単純なタスクではない。
既存の匿名化手法は、必要な匿名性のレベルを維持するために情報の質を低下させる。
品質の損傷は、元のデータに現れるパターンを乱し、様々な特性の保存を損なう可能性がある。
多くの場合、研究者はデータを必要としず、データに存在するパターンのみに関心を持つため、ソースデータのパターンと特性を維持するデータを生成するための革新的な方法であるprivgenを提案する。
データ生成機構がプライバシー侵害のリスクを著しく制限していることを実証する。
本手法を実世界のデータセットで評価した結果,生成したデータは,ソースデータに基づいてトレーニングされた逐次モデルを含むデータの特徴を保存できることがわかった。
このことから,本手法が生成するデータは,ユーザのプライバシとデータの完全性を同時に維持しつつ,分析の多種多様なデータの代わりに使用できることが示唆された。 Sequential data is everywhere, and it can serve as a basis for research that will lead to improved processes. For example, road infrastructure can be improved by identifying bottlenecks in GPS data, or early diagnosis can be improved by analyzing patterns of disease progression in medical data. The main obstacle is that access and use of such data is usually limited or not permitted at all due to concerns about violating user privacy, and rightly so. Anonymizing sequence data is not a simple task, since a user creates an almost unique signature over time. Existing anonymization methods reduce the quality of information in order to maintain the level of anonymity required. Damage to quality may disrupt patterns that appear in the original data and impair the preservation of various characteristics. Since in many cases the researcher does not need the data as is and instead is only interested in the patterns that exist in the data, we propose PrivGen, an innovative method for generating data that maintains patterns and characteristics of the source data. We demonstrate that the data generation mechanism significantly limits the risk of privacy infringement. Evaluating our method with real-world datasets shows that its generated data preserves many characteristics of the data, including the sequential model, as trained based on the source data. This suggests that the data generated by our method could be used in place of actual data for various types of analysis, maintaining user privacy and the data's integrity at the same time. | 翻訳日:2022-12-29 09:54:25 公開日:2020-02-23 |
| # sniff: フォールトアタックを伴うニューラルネットワークのリバースエンジニアリング SNIFF: Reverse Engineering of Neural Networks with Fault Attacks ( http://arxiv.org/abs/2002.11021v1 ) ライセンス: Link先を確認 | Jakub Breier, Dirmanto Jap, Xiaolu Hou, Shivam Bhasin, Yang Liu | (参考訳) ニューラルネットワークは障害注入攻撃に対して脆弱であることが示されている。
これらの攻撃は計算中のデバイスの物理的挙動を変化させ、その結果現在計算されている値が変化する。
それらは、クロック/電圧の不具合からレーザーのロウハンマーへの応用まで、様々なフォールトインジェクション技術によって実現できる。
本稿では,障害攻撃を用いたニューラルネットワークのリバースエンジニアリングの可能性を検討する。
SNIFFは符号ビットフリップフォールトを意味し、中間値の符号を変更することでリバースエンジニアリングを可能にする。
モデルパラメータの復元を確実に行うディープ層特徴抽出器ネットワーク上での最初の正確な抽出法を開発した。
Kerasライブラリを用いた実験により,64ビットフロートを用いたテストネットワークのパラメータリカバリの精度誤差が10^{-13}$未満であることが確認された。
さらに,フォールトインジェクション攻撃に対して,耐障害性を高めるために適用可能な保護手法について検討する。 Neural networks have been shown to be vulnerable against fault injection attacks. These attacks change the physical behavior of the device during the computation, resulting in a change of value that is currently being computed. They can be realized by various fault injection techniques, ranging from clock/voltage glitching to application of lasers to rowhammer. In this paper we explore the possibility to reverse engineer neural networks with the usage of fault attacks. SNIFF stands for sign bit flip fault, which enables the reverse engineering by changing the sign of intermediate values. We develop the first exact extraction method on deep-layer feature extractor networks that provably allows the recovery of the model parameters. Our experiments with Keras library show that the precision error for the parameter recovery for the tested networks is less than $10^{-13}$ with the usage of 64-bit floats, which improves the current state of the art by 6 orders of magnitude. Additionally, we discuss the protection techniques against fault injection attacks that can be applied to enhance the fault resistance. | 翻訳日:2022-12-29 09:54:03 公開日:2020-02-23 |
| # 社会、規制、ガバナンス、気候問題を取り込むための機械学習ソフトウェアシステムアプローチ A machine-learning software-systems approach to capture social, regulatory, governance, and climate problems ( http://arxiv.org/abs/2002.11485v1 ) ライセンス: Link先を確認 | Christopher A. Tucker | (参考訳) 本稿では,国家人口の複雑性を定量的に把握する真の手段,社会協力型経済集団における公共コンテントメント,規制命題,ガバナンス効果ドメインとして,批判に基づく暗黙的な組織化と,並列的な政府政策と同期して展開する本質的に必要となる装置として,人工知能コンピュータシステムの役割について論じる。
良く知られたアルゴリズムを含む解決策を議論し、知識表現のメカニズムを改良し、有用性の範囲、影響範囲(クラスセクタの違いという観点から)、運用効率を向上させる。
これらや他の歴史的意味についての議論で終わります。 This paper will discuss the role of an artificially-intelligent computer system as critique-based, implicit-organizational, and an inherently necessary device, deployed in synchrony with parallel governmental policy, as a genuine means of capturing nation-population complexity in quantitative form, public contentment in societal-cooperative economic groups, regulatory proposition, and governance-effectiveness domains. It will discuss a solution involving a well-known algorithm and proffer an improved mechanism for knowledge-representation, thereby increasing range of utility, scope of influence (in terms of differentiating class sectors) and operational efficiency. It will finish with a discussion of these and other historical implications. | 翻訳日:2022-12-29 09:47:04 公開日:2020-02-23 |
| # DotFAN: ポーズ・照明不変顔認識のためのドメイン変換型顔拡張ネットワーク DotFAN: A Domain-transferred Face Augmentation Network for Pose and Illumination Invariant Face Recognition ( http://arxiv.org/abs/2002.09859v1 ) ライセンス: Link先を確認 | Hao-Chiang Shao, Kang-Yu Liu, Chia-Wen Lin, Jiwen Lu | (参考訳) 畳み込みニューラルネットワーク(CNN)に基づく顔認識モデルの性能は、ラベル付きトレーニングデータの豊かさに大きく依存している。
しかし、異なるポーズや照明変化の下で顔のアイデンティティに大きなバリエーションを持つトレーニングセットの収集は非常に高価であり、クラス内の顔画像の多様性が現実的に重要な問題となっている。
本稿では,他のドメインから収集した豊富な顔データセットから抽出した知識に基づいて,入力面の一連の変種を生成することができる3次元モデルを用いたドメイン転送顔拡張ネットワーク(DotFAN)を提案する。
DotFANは構造的には条件付きCycleGANであるが、遅延コード制御のための2つのサブネットワーク、すなわちface Expert Network(FEM)とface shape Regressor(FSR)がある。
FSRは顔の属性を抽出することを目的としているが、FEMは顔のアイデンティティをキャプチャするように設計されている。
その助けを借りて、DotFANは、切り離された顔の表現を学び、強化された顔のアイデンティティを保持しながら、様々な顔属性の顔画像を効果的に生成できる。
実験によれば、dotfanは小さな顔データセットの強化に役立ち、クラス内多様性を改善し、拡張データセットからより良い顔認識モデルを学ぶことができる。 The performance of a convolutional neural network (CNN) based face recognition model largely relies on the richness of labelled training data. Collecting a training set with large variations of a face identity under different poses and illumination changes, however, is very expensive, making the diversity of within-class face images a critical issue in practice. In this paper, we propose a 3D model-assisted domain-transferred face augmentation network (DotFAN) that can generate a series of variants of an input face based on the knowledge distilled from existing rich face datasets collected from other domains. DotFAN is structurally a conditional CycleGAN but has two additional subnetworks, namely face expert network (FEM) and face shape regressor (FSR), for latent code control. While FSR aims to extract face attributes, FEM is designed to capture a face identity. With their aid, DotFAN can learn a disentangled face representation and effectively generate face images of various facial attributes while preserving the identity of augmented faces. Experiments show that DotFAN is beneficial for augmenting small face datasets to improve their within-class diversity so that a better face recognition model can be learned from the augmented dataset. | 翻訳日:2022-12-29 09:46:34 公開日:2020-02-23 |
| # ハイパー言語のためのオートマトン Automata for Hyperlanguages ( http://arxiv.org/abs/2002.09877v1 ) ライセンス: Link先を確認 | Borzoo Bonakdarpour and Sarai Sheinvald | (参考訳) ハイパープロペラティは、実行トレースのセットから実行トレースのセットへの従来のトレースプロパティを持ち上げる。
ハイパープロペラティ(hyperproperties)は、情報フローセキュリティポリシーや、感度や堅牢性といったサイバー物理システムの重要な特性や、線形化可能性のような分散コンピューティングにおける一貫性条件を表現・推論するための強力な形式である。
トレース特性のオートマトンに基づく表現には幅広い研究があるが、現時点では超越性の特徴が欠如している。
単語集合上の言語であるemハイパーランゲージのためのハイパーオートマタを導入する。
本質的には、ハイパーオートマタはオートマトン上で複数の定量化された単語を実行できる。
非決定論的有限超オートマタ (NFH) と呼ばれる特定のタイプの超オートマタを提案する。
有限トレースに対して正規ハイパー言語がハイパープロパティを表現する能力を示す。
次にnfhの基本特性を調べ、ブール演算の下でそれらの閉包を示す。
非空さは一般には決定できないが、NFHのいくつかの断片に対して決定可能であることを示す。
さらに,NFH の有限集合および正規言語に対するメンバシップ問題の決定可能性,および NFH のいくつかの断片に対する包含問題を示す。
最後に、量子化が厳密な普遍的あるいは厳密な存在であるフラグメントNFHに対して、AngluinのL-starアルゴリズムに基づく学習アルゴリズムを導入する。 Hyperproperties lift conventional trace properties from a set of execution traces to a set of sets of execution traces. Hyperproperties have been shown to be a powerful formalism for expressing and reasoning about information-flow security policies and important properties of cyber-physical systems such as sensitivity and robustness, as well as consistency conditions in distributed computing such as linearizability. Although there is an extensive body of work on automata-based representation of trace properties, we currently lack such characterization for hyperproperties. We introduce hyperautomata for em hyperlanguages, which are languages over sets of words. Essentially, hyperautomata allow running multiple quantified words over an automaton. We propose a specific type of hyperautomata called nondeterministic finite hyperautomata (NFH), which accept regular hyperlanguages. We demonstrate the ability of regular hyperlanguages to express hyperproperties for finite traces. We then explore the fundamental properties of NFH and show their closure under the Boolean operations. We show that while nonemptiness is undecidable in general, it is decidable for several fragments of NFH. We further show the decidability of the membership problem for finite sets and regular languages for NFH, as well as the containment problem for several fragments of NFH. Finally, we introduce learning algorithms based on Angluin's L-star algorithm for the fragments NFH in which the quantification is either strictly universal or strictly existential. | 翻訳日:2022-12-29 09:45:35 公開日:2020-02-23 |
| # ネパールルールに基づくStemmerとその異なるNLPアプリケーション上での性能 A Nepali Rule Based Stemmer and its performance on different NLP applications ( http://arxiv.org/abs/2002.09901v1 ) ライセンス: Link先を確認 | Pravesh Koirala and Aman Shakya | (参考訳) ステミングは自然言語処理(NLP)の不可欠な部分である。
これはほとんどすべてのnlpアプリケーションの前処理ステップです。
ステミングの最も重要な用途は、情報検索(Information Retrieval, IR)である。
英語などの言語でスリーミングを行う作業は数多く行われているが、ネパール語スリーミングはごくわずかしかない。
本研究はネパール語テキストのためのルールベースステムマーの作成に焦点を当てる。
具体的には、ネパール語文法の2つの異なる接尾辞を識別し、それらを分離した接尾辞ストリッピングシステムである。
単一のネガティビティプレフィックス(na)のみが識別され、削除される。
本研究は, 例外語識別, 形態素正規化, 単語変換など, 造語性能の向上など, 数多くの技術に焦点をあてる。
本発明のstemmerはpaice法を用いて本質的にテストされ、基本tf-idfベースのirシステムと、多項ナイーブベイズ分類器を用いた初歩的な話題分類器に拡張されている。
ステマーを使わない場合と使わない場合のシステムの性能の違いを分析した。 Stemming is an integral part of Natural Language Processing (NLP). It's a preprocessing step in almost every NLP application. Arguably, the most important usage of stemming is in Information Retrieval (IR). While there are lots of work done on stemming in languages like English, Nepali stemming has only a few works. This study focuses on creating a Rule Based stemmer for Nepali text. Specifically, it is an affix stripping system that identifies two different class of suffixes in Nepali grammar and strips them separately. Only a single negativity prefix (Na) is identified and stripped. This study focuses on a number of techniques like exception word identification, morphological normalization and word transformation to increase stemming performance. The stemmer is tested intrinsically using Paice's method and extrinsically on a basic tf-idf based IR system and an elementary news topic classifier using Multinomial Naive Bayes Classifier. The difference in performance of these systems with and without using the stemmer is analysed. | 翻訳日:2022-12-29 09:45:13 公開日:2020-02-23 |
| # deep neural tree architectureを使ってブラックボックス機能を盗む Stealing Black-Box Functionality Using The Deep Neural Tree Architecture ( http://arxiv.org/abs/2002.09864v1 ) ライセンス: Link先を確認 | Daniel Teitelman, Itay Naeh and Shie Mannor | (参考訳) 本稿では,Deep Neural Trees (DNT) という機械学習(ML)アーキテクチャを導入することで,ブラックボックスモデルの機能のクローン化に向けて大きな一歩を踏み出した。
この新しいアーキテクチャでは、ブラックボックスモデルの異なるタスクを分離し、タスク固有の振る舞いをクローンすることができる。
能動的学習アルゴリズムを用いてDNTを訓練し,より高速でよりサンプル効率の高いトレーニングを実現することを提案する。
先行研究とは対照的に,入力-出力インタラクションのみに基づいた複雑な"勝利"ブラックボックスモデルと,アタッカーと被害者モデルが完全に異なる内部アーキテクチャを持つ可能性について検討した。
攻撃者はMLベースのアルゴリズムであるのに対して、被害者は多目的デジタルチップ、複雑なアナログ回路、機械システム、ソフトウェアロジック、ハイブリッドなど、一般的に未知のモジュールである。
トレーニングされたDNTモジュールは攻撃されたモジュールとして機能するだけでなく、提案アーキテクチャのツリーのような性質のため、クローンモデルにある程度の説明性を提供する。 This paper makes a substantial step towards cloning the functionality of black-box models by introducing a Machine learning (ML) architecture named Deep Neural Trees (DNTs). This new architecture can learn to separate different tasks of the black-box model, and clone its task-specific behavior. We propose to train the DNT using an active learning algorithm to obtain faster and more sample-efficient training. In contrast to prior work, we study a complex "victim" black-box model based solely on input-output interactions, while at the same time the attacker and the victim model may have completely different internal architectures. The attacker is a ML based algorithm whereas the victim is a generally unknown module, such as a multi-purpose digital chip, complex analog circuit, mechanical system, software logic or a hybrid of these. The trained DNT module not only can function as the attacked module, but also provides some level of explainability to the cloned model due to the tree-like nature of the proposed architecture. | 翻訳日:2022-12-29 09:39:04 公開日:2020-02-23 |
| # 勾配専用線探索と異なるアクティベーション関数の相互作用の検討 Investigating the interaction between gradient-only line searches and different activation functions ( http://arxiv.org/abs/2002.09889v1 ) ライセンス: Link先を確認 | D. Kafka and Daniel. N. Wilke | (参考訳) 勾配専用線探索(GOLS)は、ニューラルネットワークトレーニングにおける動的ミニバッチサブサンプリングによる不連続損失関数の探索方向に沿ったステップサイズを適応的に決定する。
GOLSのステップサイズは、SNN-GPP(Stochastic Non-Negative Associated Gradient Projection Points)を降下方向に沿ってローカライズすることによって決定される。
これらは降下方向に沿って方向微分の符号が負から正に変化することによって識別される。
アクティベーション関数は、複雑な関数近似に不可欠な非線形性を導入するため、ニューラルネットワークアーキテクチャの重要なコンポーネントである。
活性化関数の滑らか性と連続性特性は、最適化すべき損失関数の勾配特性に直接影響する。
したがって、golsの文脈において、活性化関数と異なるニューラルネットワークアーキテクチャの関係を検討することが重要である。
GOLSは様々なアクティベーション機能に対して堅牢であるが,標準フィードフォワードアーキテクチャにおけるRectified Linear Unit(ReLU)アクティベーション機能に敏感であることがわかった。
ReLUの負の入力領域におけるゼロデリバティブは、勾配ベクトルがスパースになる原因となり、トレーニングに深刻な影響を及ぼす。
バッチ正規化やスキップ接続などのアーキテクチャ機能の実装は,これらの困難を軽減し,GOLSによる活性化関数の学習に有効であることを示す。 Gradient-only line searches (GOLS) adaptively determine step sizes along search directions for discontinuous loss functions resulting from dynamic mini-batch sub-sampling in neural network training. Step sizes in GOLS are determined by localizing Stochastic Non-Negative Associated Gradient Projection Points (SNN-GPPs) along descent directions. These are identified by a sign change in the directional derivative from negative to positive along a descent direction. Activation functions are a significant component of neural network architectures as they introduce non-linearities essential for complex function approximations. The smoothness and continuity characteristics of the activation functions directly affect the gradient characteristics of the loss function to be optimized. Therefore, it is of interest to investigate the relationship between activation functions and different neural network architectures in the context of GOLS. We find that GOLS are robust for a range of activation functions, but sensitive to the Rectified Linear Unit (ReLU) activation function in standard feedforward architectures. The zero-derivative in ReLU's negative input domain can lead to the gradient-vector becoming sparse, which severely affects training. We show that implementing architectural features such as batch normalization and skip connections can alleviate these difficulties and benefit training with GOLS for all activation functions considered. | 翻訳日:2022-12-29 09:38:48 公開日:2020-02-23 |
| # 信用スコーリングにおけるビッグデータの価値:携帯電話データとソーシャルネットワーク分析を用いた金融インクルージョンの強化 The Value of Big Data for Credit Scoring: Enhancing Financial Inclusion using Mobile Phone Data and Social Network Analytics ( http://arxiv.org/abs/2002.09931v1 ) ライセンス: Link先を確認 | Mar\'ia \'Oskarsd\'ottir, Cristi\'an Bravo, Carlos Sarraute, Jan Vanthienen, Bart Baesens | (参考訳) 信用スコアは間違いなく、分析の最も古い応用の1つだ。
近年,信用スコアリングモデルの統計的性能向上のために,数多くの高度な分類手法が開発されている。
本論文は,技術そのものに焦点をあてるのではなく,統計モデルと経済モデルの両方のパフォーマンスを向上させるために,代替データソースを活用する。
この研究は、新たなビッグデータソースが利益の尺度と利益に基づく特徴選択を適用して利益の観点で価値を付加した、ポジティブな信用情報の観点から、コールネットワークを含む方法を示している。
クレジットカード申請者のためのスコアカードを作成するために、コールディーテールレコード、顧客のクレジットカードおよびデビットアカウント情報を含む独自のデータセットの組み合わせが使用される。
call-detailレコードはコールネットワークの構築に使用され、高度なsns分析技術はネットワーク全体の既定者からの影響を伝達し、影響スコアを生成する。
その結果,コールディーテールレコードと従来のクレジットスコアリングモデルとを組み合わせることで,AUCで測定した場合のパフォーマンスが有意に向上した。
利益の面では、最善のモデルは、振る舞い機能だけを呼び出して構築したモデルです。
加えて、呼び出し行動の特徴は、統計的および経済的なパフォーマンスの両面で、他のモデルで最も予測的である。
結果は、コール・ディテール・レコードの倫理的利用、規制の影響、財務的包括性、データ共有とプライバシーに影響を及ぼす。 Credit scoring is without a doubt one of the oldest applications of analytics. In recent years, a multitude of sophisticated classification techniques have been developed to improve the statistical performance of credit scoring models. Instead of focusing on the techniques themselves, this paper leverages alternative data sources to enhance both statistical and economic model performance. The study demonstrates how including call networks, in the context of positive credit information, as a new Big Data source has added value in terms of profit by applying a profit measure and profit-based feature selection. A unique combination of datasets, including call-detail records, credit and debit account information of customers is used to create scorecards for credit card applicants. Call-detail records are used to build call networks and advanced social network analytics techniques are applied to propagate influence from prior defaulters throughout the network to produce influence scores. The results show that combining call-detail records with traditional data in credit scoring models significantly increases their performance when measured in AUC. In terms of profit, the best model is the one built with only calling behavior features. In addition, the calling behavior features are the most predictive in other models, both in terms of statistical and economic performance. The results have an impact in terms of ethical use of call-detail records, regulatory implications, financial inclusion, as well as data sharing and privacy. | 翻訳日:2022-12-29 09:38:27 公開日:2020-02-23 |
| # 限られたデータを用いたモバイル医療政策の迅速なパーソナライズ Rapidly Personalizing Mobile Health Treatment Policies with Limited Data ( http://arxiv.org/abs/2002.09971v1 ) ライセンス: Link先を確認 | Sabina Tomkins, Peng Liao, Predrag Klasnja, Serena Yeung, Susan Murphy | (参考訳) モバイルヘルス(mHealth)では、パーソナライズされたポリシーを学習せずに文脈に適応する強化学習アルゴリズムは、個人のニーズを区別することができない。
しかし、mHealth介入のin situ配信によるノイズの多さは、単一のユーザのデータにのみアクセスした時に学習するアルゴリズムの能力を損なう可能性があるため、パーソナライゼーションが難しくなる。
本稿では、他のユーザのデータを適応的かつ原則的に利用することでパーソナライズされたポリシーを学習するintelligentpoolingを提案する。
我々は、IntelligentPoolingが、すべての生成モデルで最先端よりも平均26%低い後悔を達成していることを示す。
さらに,本手法の実態を実地臨床試験で検証し,少数のユーザからでも学習できることを実証した。 In mobile health (mHealth), reinforcement learning algorithms that adapt to one's context without learning personalized policies might fail to distinguish between the needs of individuals. Yet the high amount of noise due to the in situ delivery of mHealth interventions can cripple the ability of an algorithm to learn when given access to only a single user's data, making personalization challenging. We present IntelligentPooling, which learns personalized policies via an adaptive, principled use of other users' data. We show that IntelligentPooling achieves an average of 26% lower regret than state-of-the-art across all generative models. Additionally, we inspect the behavior of this approach in a live clinical trial, demonstrating its ability to learn from even a small group of users. | 翻訳日:2022-12-29 09:38:03 公開日:2020-02-23 |
| # うつ病認識のための安静状態脳波バイオマーカーに関する研究 A study of resting-state EEG biomarkers for depression recognition ( http://arxiv.org/abs/2002.11039v1 ) ライセンス: Link先を確認 | Shuting Sun, Jianxiu Li, Huayu Chen, Tao Gong, Xiaowei Li, Bin Hu | (参考訳) 背景:うつ病は世界中で大きな健康負担となり、効果的な検出うつ病は公衆衛生上の大きな課題となっている。
この脳波に基づく研究は、うつ病の認識に有効なバイオマーカーを探究することを目的としている。
方法】大うつ病24例 (MDD) と正常29例 (HCGSN) の脳波を128チャンネルのHydroCel Geodesic Sensor Net (HCGSN) を用いて収集した。
抑うつをよく識別するために, 線形特徴, 非線形特徴, 機能的接続特徴, 位相遅延指標 (pli) を含む様々な種類の脳波特徴を抽出し, mdd患者の脳波信号の包括的解析を行った。
そして、異なる特徴選択法と分類器を用いて最適な特徴集合を評価する。
結果: 機能接続機能PLIは線形特徴や非線形特徴よりも優れている。
また,MDD患者を分類するためにすべての特徴を組み合わせれば,ReliefF特徴選択法とロジスティック回帰(LR)分類法を用いて,最も高い分類精度82.31%を得ることができる。
最適な特徴セットの分布を解析した結果, PLIの半球内接続エッジは半球間接続エッジよりもはるかに大きく, 半球内接続エッジは2つのグループ間に有意差が認められた。
結論: 機能的接続機能PLIはうつ病認識において重要な役割を果たす。
特に, PLIの半球内結合エッジは, うつ病の同定に有効なバイオマーカーである可能性がある。
その結果,MDD患者は左半球に機能障害がある可能性が示唆された。 Background: Depression has become a major health burden worldwide, and effective detection depression is a great public-health challenge. This Electroencephalography (EEG)-based research is to explore the effective biomarkers for depression recognition. Methods: Resting state EEG data was collected from 24 major depressive patients (MDD) and 29 normal controls using 128 channel HydroCel Geodesic Sensor Net (HCGSN). To better identify depression, we extracted different types of EEG features including linear features, nonlinear features and functional connectivity features phase lagging index (PLI) to comprehensively analyze the EEG signals in patients with MDD. And using different feature selection methods and classifiers to evaluate the optimal feature sets. Results: Functional connectivity feature PLI is superior to the linear features and nonlinear features. And when combining all the types of features to classify MDD patients, we can obtain the highest classification accuracy 82.31% using ReliefF feature selection method and logistic regression (LR) classifier. Analyzing the distribution of optimal feature set, it was found that intrahemispheric connection edges of PLI were much more than the interhemispheric connection edges, and the intrahemispheric connection edges had a significant differences between two groups. Conclusion: Functional connectivity feature PLI plays an important role in depression recognition. Especially, intrahemispheric connection edges of PLI might be an effective biomarker to identify depression. And statistic results suggested that MDD patients might exist functional dysfunction in left hemisphere. | 翻訳日:2022-12-29 09:37:14 公開日:2020-02-23 |
| # 合成領域からの適応による予測生成モデルに対する意味的不整合表現の組み立て Assembling Semantically-Disentangled Representations for Predictive-Generative Models via Adaptation from Synthetic Domain ( http://arxiv.org/abs/2002.09818v1 ) ライセンス: Link先を確認 | Burkay Donderici, Caleb New, Chenliang Xu | (参考訳) ディープニューラルネットワークは入力データの高レベルの階層表現を形成することができる。
様々な研究者が、これらの表現が様々な有用な応用を可能にすることを実証している。
しかし、そのような表現は典型的にはデータ内の統計に基づいており、アプリケーションによって必要となる意味表現には適合しない。
条件付きモデルは一般的にこの課題を克服するために使用されるが、作成が困難でコストがかかる大規模な注釈付きデータセットを必要とする。
本稿では,物理エンジンの助けを借りて,意味的に整合した表現を生成できることを示す。
これは、分離属性を持つ合成データセットを作成し、合成データセットのエンコーダを学習し、実際のドメインから属性を持つ合成ドメインから所定の属性を増強することで達成される。
提案手法は,実際のデータラベルに依存することなく,人間の顔属性の条件付き予測生成モデルを構築することができることを示した。 Deep neural networks can form high-level hierarchical representations of input data. Various researchers have demonstrated that these representations can be used to enable a variety of useful applications. However, such representations are typically based on the statistics within the data, and may not conform with the semantic representation that may be necessitated by the application. Conditional models are typically used to overcome this challenge, but they require large annotated datasets which are difficult to come by and costly to create. In this paper, we show that semantically-aligned representations can be generated instead with the help of a physics based engine. This is accomplished by creating a synthetic dataset with decoupled attributes, learning an encoder for the synthetic dataset, and augmenting prescribed attributes from the synthetic domain with attributes from the real domain. It is shown that the proposed (SYNTH-VAE-GAN) method can construct a conditional predictive-generative model of human face attributes without relying on real data labels. | 翻訳日:2022-12-29 09:36:32 公開日:2020-02-23 |
| # モデルバイアスと変数の低減のためのクラス境界ラベルの不確かさの軽減 Mitigating Class Boundary Label Uncertainty to Reduce Both Model Bias and Variance ( http://arxiv.org/abs/2002.09963v1 ) ライセンス: Link先を確認 | Matthew Almeida, Wei Ding, Scott Crouter, Ping Chen | (参考訳) 決定境界に関するモデルバイアスと分散の研究は教師付き分類において極めて重要である。
より多くの境界トレーニングサンプル(すなわち、より高いモデル複雑さ)に対応するための分類モデルの決定境界の微調整は、トレーニング精度(すなわち、低いバイアス)を改善するが、目に見えないデータ(すなわち、高い分散)に対する一般化を損なう。
分類境界の微調整とモデルの複雑さにのみ焦点を合わせることで、バイアスと分散の両方を減らすことは困難である。
このジレンマを克服するために、我々は異なる視点を採り、トレーニングデータラベルの不正確さと不確実性を扱う新しいアプローチについて検討する。
トレーニングデータのラベルの不確実性によって分類のプロセスが損なわれ、不正確なラベル付き点に対応する境界を延長することはバイアスと分散の両方を増大させる。
本手法は,トレーニングセットの点ラベル不確かさを推定し,不確実度の高いサンプルを重み付けし,不確実性の低いサンプルを重み付けするようにトレーニングサンプル重み付けを調整することにより,バイアスと分散の両方を低減できる。
このように、不確実なサンプルは、モデルの学習アルゴリズムの目的関数に対してより小さい寄与を持ち、決定境界へのプルが少ない。
実世界の身体活動認識ケーススタディにおいて、このデータはラベル付けの課題を多く提示し、この新しい手法がモデル性能を改善し、モデルの分散を低減することを示す。 The study of model bias and variance with respect to decision boundaries is critically important in supervised classification. There is generally a tradeoff between the two, as fine-tuning of the decision boundary of a classification model to accommodate more boundary training samples (i.e., higher model complexity) may improve training accuracy (i.e., lower bias) but hurt generalization against unseen data (i.e., higher variance). By focusing on just classification boundary fine-tuning and model complexity, it is difficult to reduce both bias and variance. To overcome this dilemma, we take a different perspective and investigate a new approach to handle inaccuracy and uncertainty in the training data labels, which are inevitable in many applications where labels are conceptual and labeling is performed by human annotators. The process of classification can be undermined by uncertainty in the labels of the training data; extending a boundary to accommodate an inaccurately labeled point will increase both bias and variance. Our novel method can reduce both bias and variance by estimating the pointwise label uncertainty of the training set and accordingly adjusting the training sample weights such that those samples with high uncertainty are weighted down and those with low uncertainty are weighted up. In this way, uncertain samples have a smaller contribution to the objective function of the model's learning algorithm and exert less pull on the decision boundary. In a real-world physical activity recognition case study, the data presents many labeling challenges, and we show that this new approach improves model performance and reduces model variance. | 翻訳日:2022-12-29 09:31:01 公開日:2020-02-23 |
| # 公正な敵ネットワーク Fair Adversarial Networks ( http://arxiv.org/abs/2002.12144v1 ) ライセンス: Link先を確認 | George Cevora | (参考訳) 人間の判断の影響は、分析業界全体で使われるデータセットで広く見られるが、人間は様々なバイアスの傾向にある準最適意思決定者であることが知られている。
バイアス付きデータセットの解析は、分析のバイアス付き結果につながる。
保護された特性(例えば人種)によるバイアスは、分析プロセスの出力を最適にするのではなく、違法にするため特に興味がある。
A) 公正性は普遍的に受け入れられた定義を欠いているのに対して、いくつかの定義は相互排他的であり、B) 公正性を保証する最適化制約の使用は、ほとんどの分析パイプラインとは相容れない。
両方の問題は、データからバイアスを取り除き、変更したデータセットを返す方法によって解決される。
このアプローチは、実際のバイアス変数(例えばレース)を削除するだけでなく、すべてのプロキシ変数(例えばポストコード)を変更することで、バイアス変数が残りのデータから検出できないようにする。
このアプローチを用いることの利点は、(分析の出力とは対照的に)データの検出可能なバイアスの欠如として公正の定義が普遍的であり、したがって問題(A)を解決することである。
さらに、バイアスを取り除くためにデータが変更されると、分析パイプラインが変化しない可能性があるため、問題(B)は消える。
このアプローチはいくつかの技術的ソリューションで採用されている。
しかし、いずれも多変量、非線形、非双対バイアスを取り除く能力では満足できないようである。
そこで本稿では,データからバイアスを取り除くための実装が容易な汎用手法として,公正な逆ネットワークの概念を提案する。
本稿では,Fair Adversarial Networksがこの目的を達成することを実証する。 The influence of human judgement is ubiquitous in datasets used across the analytics industry, yet humans are known to be sub-optimal decision makers prone to various biases. Analysing biased datasets then leads to biased outcomes of the analysis. Bias by protected characteristics (e.g. race) is of particular interest as it may not only make the output of analytical process sub-optimal, but also illegal. Countering the bias by constraining the analytical outcomes to be fair is problematic because A) fairness lacks a universally accepted definition, while at the same time some definitions are mutually exclusive, and B) the use of optimisation constraints ensuring fairness is incompatible with most analytical pipelines. Both problems are solved by methods which remove bias from the data and returning an altered dataset. This approach aims to not only remove the actual bias variable (e.g. race), but also alter all proxy variables (e.g. postcode) so the bias variable is not detectable from the rest of the data. The advantage of using this approach is that the definition of fairness as a lack of detectable bias in the data (as opposed to the output of analysis) is universal and therefore solves problem (A). Furthermore, as the data is altered to remove bias the problem (B) disappears because the analytical pipelines can remain unchanged. This approach has been adopted by several technical solutions. None of them, however, seems to be satisfactory in terms of ability to remove multivariate, non-linear and non-binary biases. Therefore, in this paper I propose the concept of Fair Adversarial Networks as an easy-to-implement general method for removing bias from data. This paper demonstrates that Fair Adversarial Networks achieve this aim. | 翻訳日:2022-12-29 09:29:35 公開日:2020-02-23 |
| # スケッチ変換行列と自然言語処理への応用 Sketching Transformed Matrices with Applications to Natural Language Processing ( http://arxiv.org/abs/2002.09812v1 ) ライセンス: Link先を確認 | Yingyu Liang, Zhao Song, Mengdi Wang, Lin F. Yang, Xin Yang | (参考訳) 例えば、大きな行列$A=(a_{i,j})$はメモリに格納できないがディスクにあるか、データストリームに表示されていると仮定する。
しかし、ある関数 $f$ に対して、エントリーワイズ変換された行列 $f(A):=(f(a_{i,j}))$ の行列分解を計算する必要がある。
空間的に効率的に行うことは可能か?
多くの機械学習アプリケーションはそのような大きな変換行列を扱う必要があり、例えばNLPのワード埋め込み法はポイントワイド相互情報(PMI)行列を扱う必要があるが、エントリーワイド変換は既知の線形代数ツールの適用を困難にしている。
この問題に対する既存のアプローチでは、マトリックス全体を格納し、その後、空間消費や実現不可能であるエントリ・アズ・トランスフォーメーションを実行するか、アプリケーション固有の学習方法を再設計する必要がある。
本稿ではまず,与えられた小さな行列の積を変換行列で計算するための空間効率の高いスケッチアルゴリズムを提案する。
証明可能な小さなエラー境界を持つ変換の一般的なファミリーで機能するため、下流学習タスクにおいてプリミティブとして使用できる。
次に、このプリミティブを具体的応用であるローランク近似に適用する。
提案手法は誤差が小さく,空間と時間の両方で効率がよいことを示す。
我々は、理論結果を合成および実データの実験で補完する。 Suppose we are given a large matrix $A=(a_{i,j})$ that cannot be stored in memory but is in a disk or is presented in a data stream. However, we need to compute a matrix decomposition of the entry-wisely transformed matrix, $f(A):=(f(a_{i,j}))$ for some function $f$. Is it possible to do it in a space efficient way? Many machine learning applications indeed need to deal with such large transformed matrices, for example word embedding method in NLP needs to work with the pointwise mutual information (PMI) matrix, while the entrywise transformation makes it difficult to apply known linear algebraic tools. Existing approaches for this problem either need to store the whole matrix and perform the entry-wise transformation afterwards, which is space consuming or infeasible, or need to redesign the learning method, which is application specific and requires substantial remodeling. In this paper, we first propose a space-efficient sketching algorithm for computing the product of a given small matrix with the transformed matrix. It works for a general family of transformations with provable small error bounds and thus can be used as a primitive in downstream learning tasks. We then apply this primitive to a concrete application: low-rank approximation. We show that our approach obtains small error and is efficient in both space and time. We complement our theoretical results with experiments on synthetic and real data. | 翻訳日:2022-12-29 09:28:57 公開日:2020-02-23 |
| # 多エージェント深層強化学習とv2x通信による交通信号の最適化 Optimizing Traffic Lights with Multi-agent Deep Reinforcement Learning and V2X communication ( http://arxiv.org/abs/2002.09853v1 ) ライセンス: Link先を確認 | Azhar Hussain, Tong Wang and Cao Jiahua | (参考訳) マルチエージェント深部強化学習とV2X通信を用いた交通信号の持続時間を最適化するシステムを提案する。
本システムは,複数エージェントに対する独立報酬と共有報酬を分析し,信号の時間制御を目的とする。
学習エージェントtraffic lightは、円形のv2xカバレッジ内のレーンに沿って情報を取得する。
信号機の時間周期はマルコフ決定プロセスとしてモデル化される。
報酬関数の4つのバリエーションを調査した。
最初の2つは未共有で、待機数と2サイクルの信号の間の車両の待ち時間に基づいている。
第3と第4の機能は、待機車に基づく共用リワードと、すべてのエージェントの待機時間である。
各エージェントは、ターゲットネットワークを介して最適化するためのメモリを持ち、エクスペリエンスの再生を優先する。
都市運動シミュレーション(SUMO)シミュレータによるマルチエージェントの評価を行った。
提案手法は,従来の周期的交通制御システムと比較して,交通信号の最適化と平均待機車数を41.5%削減する効果を示す。 We consider a system to optimize duration of traffic signals using multi-agent deep reinforcement learning and Vehicle-to-Everything (V2X) communication. This system aims at analyzing independent and shared rewards for multi-agents to control duration of traffic lights. A learning agent traffic light gets information along its lanes within a circular V2X coverage. The duration cycles of traffic light are modeled as Markov decision Processes. We investigate four variations of reward functions. The first two are unshared-rewards: based on waiting number, and waiting time of vehicles between two cycles of traffic light. The third and fourth functions are: shared-rewards based on waiting cars, and waiting time for all agents. Each agent has a memory for optimization through target network and prioritized experience replay. We evaluate multi-agents through the Simulation of Urban MObility (SUMO) simulator. The results prove effectiveness of the proposed system to optimize traffic signals and reduce average waiting cars to 41.5 % as compared to the traditional periodic traffic control system. | 翻訳日:2022-12-29 09:28:21 公開日:2020-02-23 |
| # 周期的q学習 Periodic Q-Learning ( http://arxiv.org/abs/2002.09795v1 ) ライセンス: Link先を確認 | Donghwan Lee and Niao He | (参考訳) ターゲットネットワークの使用は、トレーニングの安定化のための深層強化学習において一般的な実践であるが、この手法の理論的理解はまだ限られている。
本稿では,表環境における無限ホライゾン割引マルコフ決定過程(dmdp)の解法として,ディープq学習で用いられる手法に類似した,いわゆる周期的q-learningアルゴリズム(pq-learning for short)について検討する。
PQ学習は、オンライン推定とターゲット推定の2つの別々のQ値推定を維持している。
オンライン推定は標準的なQラーニング更新に従っており、ターゲット推定は定期的に更新される。
標準的なQ-ラーニングとは対照的に、PQ-ラーニングは単純な有限時間解析を楽しみ、エプシロン最適ポリシーを見つけるのにより良いサンプル複雑性を実現する。
この結果から,Q-ラーニングアルゴリズムにおける目標推定やネットワークの活用の有効性を予備的正当化する。 The use of target networks is a common practice in deep reinforcement learning for stabilizing the training; however, theoretical understanding of this technique is still limited. In this paper, we study the so-called periodic Q-learning algorithm (PQ-learning for short), which resembles the technique used in deep Q-learning for solving infinite-horizon discounted Markov decision processes (DMDP) in the tabular setting. PQ-learning maintains two separate Q-value estimates - the online estimate and target estimate. The online estimate follows the standard Q-learning update, while the target estimate is updated periodically. In contrast to the standard Q-learning, PQ-learning enjoys a simple finite time analysis and achieves better sample complexity for finding an epsilon-optimal policy. Our result provides a preliminary justification of the effectiveness of utilizing target estimates or networks in Q-learning algorithms. | 翻訳日:2022-12-29 09:28:06 公開日:2020-02-23 |
| # 遺族保証による盗賊調査 Survey Bandits with Regret Guarantees ( http://arxiv.org/abs/2002.09814v1 ) ライセンス: Link先を確認 | Sanath Kumar Krishnamurthy, Susan Athey | (参考訳) 我々は文脈的盗賊問題の変種を考える。
標準的なコンテキストブレイトでは、ユーザが到着すると、ユーザの完全な特徴ベクトルを取得し、そのユーザに治療(アーム)を割り当てます。
多くのアプリケーション(ヘルスケアなど)では、ユーザーから機能を集めるのはコストがかかる。
この問題に対処するため,強い後悔の保証を維持しつつ,不要な機能収集を回避するアルゴリズムを提案する。 We consider a variant of the contextual bandit problem. In standard contextual bandits, when a user arrives we get the user's complete feature vector and then assign a treatment (arm) to that user. In a number of applications (like healthcare), collecting features from users can be costly. To address this issue, we propose algorithms that avoid needless feature collection while maintaining strong regret guarantees. | 翻訳日:2022-12-29 09:27:49 公開日:2020-02-23 |
| # setrank: 暗黙のフィードバックによる協調的ランキングのためのセットワイズベイズ的アプローチ SetRank: A Setwise Bayesian Approach for Collaborative Ranking from Implicit Feedback ( http://arxiv.org/abs/2002.09841v1 ) ライセンス: Link先を確認 | Chao Wang, Hengshu Zhu, Chen Zhu, Chuan Qin, Hui Xiong | (参考訳) 近年のオンラインレコメンデーションシステムの開発は,ユーザクリックや購入といった暗黙的なフィードバックによる協調的ランキングに注目している。
格付けされたユーザーの好みを反映した明示的な評価とは異なり、暗黙的なフィードバックはポジティブで観察できないラベルのみを生成する。
この方向にかなりの努力がなされているが、よく知られたペアワイズとリストワイズアプローチは、様々な課題によって制限されている。
具体的には、ペアワイズアプローチでは、独立なペアワイズ優先の仮定が常に成り立つとは限らない。
また、listwiseのアプローチは、リスト全体の置換の前提条件のため、"ties"を効率的に受け入れることができない。
そこで本稿では,提案システムにおいて,暗黙的フィードバックの特性を本質的に応えるための,集合的ベイズ的コラボレーティブランキング手法である setrank を提案する。
特に、setrankは、新しい集合的選好比較の後方確率を最大化することを目的としており、行列分解とニューラルネットワークを用いて実装することができる。
一方、我々は setrank の理論的分析を行い、過剰なリスクの範囲は $\sqrt{m/n}$ に比例し、そこではそれぞれ $m$ と $n$ がアイテム数とユーザ数であることを示した。
最後に、4つの実世界のデータセットに対する広範な実験は、さまざまな最先端ベースラインと比較して、SetRankの優位性を明確に証明している。 The recent development of online recommender systems has a focus on collaborative ranking from implicit feedback, such as user clicks and purchases. Different from explicit ratings, which reflect graded user preferences, the implicit feedback only generates positive and unobserved labels. While considerable efforts have been made in this direction, the well-known pairwise and listwise approaches have still been limited by various challenges. Specifically, for the pairwise approaches, the assumption of independent pairwise preference is not always held in practice. Also, the listwise approaches cannot efficiently accommodate "ties" due to the precondition of the entire list permutation. To this end, in this paper, we propose a novel setwise Bayesian approach for collaborative ranking, namely SetRank, to inherently accommodate the characteristics of implicit feedback in recommender system. Specifically, SetRank aims at maximizing the posterior probability of novel setwise preference comparisons and can be implemented with matrix factorization and neural networks. Meanwhile, we also present the theoretical analysis of SetRank to show that the bound of excess risk can be proportional to $\sqrt{M/N}$, where $M$ and $N$ are the numbers of items and users, respectively. Finally, extensive experiments on four real-world datasets clearly validate the superiority of SetRank compared with various state-of-the-art baselines. | 翻訳日:2022-12-29 09:27:42 公開日:2020-02-23 |
| # Tree++:Trncated Treeベースのグラフカーネル Tree++: Truncated Tree Based Graph Kernels ( http://arxiv.org/abs/2002.09846v1 ) ライセンス: Link先を確認 | Wei Ye, Zhen Wang, Rachel Redberg, Ambuj Singh | (参考訳) グラフ構造化データは、多くのアプリケーションドメインでユビキタスに発生する。
根本的な問題はそれらの類似性を定量化することである。
グラフカーネルはこの目的のためによく使われ、グラフをサブ構造に分解し、これらのサブ構造と比較する。
しかし、既存のグラフカーネルの多くはスケール適応性の性質を持っていないため、複数のレベルのグラフを比較することはできない。
分子のような現実世界のグラフの多くは、粒度の異なるレベルで構造を示す。
この問題に対処するため,本論文ではTree++と呼ばれる新しいグラフカーネルを提案する。
tree++の中心は、path-pattern graph kernelと呼ばれるグラフカーネルである。
パスパターングラフカーネルは、まず各頂点にルートされた切り出されたBFSツリーを構築し、その後、切り出されたBFSツリーのすべての頂点へのルートをグラフを表現する機能として使用する。
パスパターングラフカーネルは、微細な粒度でのみグラフ類似性をキャプチャできる。
粗粒度でグラフの類似性を捉えるために,スーパーパスと呼ばれる新しい概念を取り入れた。
スーパーパスは、経路の頂点に根付いた切り裂かれたBFS木を含んでいる。
実世界の様々なグラフに対する評価は、Tree++が従来のグラフカーネルと比較して最高の分類精度を達成することを示す。 Graph-structured data arise ubiquitously in many application domains. A fundamental problem is to quantify their similarities. Graph kernels are often used for this purpose, which decompose graphs into substructures and compare these substructures. However, most of the existing graph kernels do not have the property of scale-adaptivity, i.e., they cannot compare graphs at multiple levels of granularities. Many real-world graphs such as molecules exhibit structure at varying levels of granularities. To tackle this problem, we propose a new graph kernel called Tree++ in this paper. At the heart of Tree++ is a graph kernel called the path-pattern graph kernel. The path-pattern graph kernel first builds a truncated BFS tree rooted at each vertex and then uses paths from the root to every vertex in the truncated BFS tree as features to represent graphs. The path-pattern graph kernel can only capture graph similarity at fine granularities. In order to capture graph similarity at coarse granularities, we incorporate a new concept called super path into it. The super path contains truncated BFS trees rooted at the vertices in a path. Our evaluation on a variety of real-world graphs demonstrates that Tree++ achieves the best classification accuracy compared with previous graph kernels. | 翻訳日:2022-12-29 09:27:21 公開日:2020-02-23 |
| # モデル信頼におけるデータセットの品質と不均一性の役割について On the Role of Dataset Quality and Heterogeneity in Model Confidence ( http://arxiv.org/abs/2002.09831v1 ) ライセンス: Link先を確認 | Yuan Zhao, Jiasi Chen, Samet Oymak | (参考訳) 安全クリティカルなアプリケーションは、正確で校正された確率を出力する機械学習モデルを必要とする。
未分類のディープネットワークは、過度に信頼された予測を行うことが知られているが、ラベルノイズやクラスサイズなどのデータの変化によってモデル信頼性がどのような影響を受けるかは明らかではない。
本稿では,データセットサイズとラベルノイズがモデルの信頼性に与える影響について検討し,データセット品質の役割について検討する。
理論的に説明し、実験により、トレーニングデータ中のラベルノイズが信頼度の低いネットワークにつながり、データセットサイズが小さくなると信頼度の過大なモデルに繋がることを示した。
次に,データ品質がクラスによって異なるデータセットの不均一性がモデルの信頼性に与える影響について検討する。
テストデータに不均一な信頼性・正確性をもたらすことが示され、標準校正アルゴリズムでは処理が不十分である。
これを解決するために,直感的な異種校正手法を提案し,提案手法がCIFARデータセットの校正基準(平均誤差と最悪の誤差の両方)の改善につながることを示した。 Safety-critical applications require machine learning models that output accurate and calibrated probabilities. While uncalibrated deep networks are known to make over-confident predictions, it is unclear how model confidence is impacted by the variations in the data, such as label noise or class size. In this paper, we investigate the role of the dataset quality by studying the impact of dataset size and the label noise on the model confidence. We theoretically explain and experimentally demonstrate that, surprisingly, label noise in the training data leads to under-confident networks, while reduced dataset size leads to over-confident models. We then study the impact of dataset heterogeneity, where data quality varies across classes, on model confidence. We demonstrate that this leads to heterogenous confidence/accuracy behavior in the test data and is poorly handled by the standard calibration algorithms. To overcome this, we propose an intuitive heterogenous calibration technique and show that the proposed approach leads to improved calibration metrics (both average and worst-case errors) on the CIFAR datasets. | 翻訳日:2022-12-29 09:21:37 公開日:2020-02-23 |
| # 多クラス分類のためのベイズディープネットの一般化について On the generalization of bayesian deep nets for multi-class classification ( http://arxiv.org/abs/2002.09866v1 ) ライセンス: Link先を確認 | Yossi Adi, Yaniv Nemcovsky, Alex Schwing, Tamir Hazan | (参考訳) 真のリスクと経験的リスクの違いを評価する一般化境界が広く研究されている。
しかし、境界を得るためには、現在の手法では一様有界あるいはリプシッツ損失関数のような厳密な仮定を用いる。
これらの仮定を避けるため、本稿では、Log-Sobolevの不等式の縮約性を利用してベイズ深度ネットの新たな一般化を提案する。
これらの不等式を用いることで一般化境界に損失勾配ノルム項を追加し、直観的にはモデルの複雑性の代理となる。
実験により,この損失段階的ノルム項の影響を異なるディープネットを用いて解析する。 Generalization bounds which assess the difference between the true risk and the empirical risk have been studied extensively. However, to obtain bounds, current techniques use strict assumptions such as a uniformly bounded or a Lipschitz loss function. To avoid these assumptions, in this paper, we propose a new generalization bound for Bayesian deep nets by exploiting the contractivity of the Log-Sobolev inequalities. Using these inequalities adds an additional loss-gradient norm term to the generalization bound, which is intuitively a surrogate of the model complexity. Empirically, we analyze the affect of this loss-gradient norm term using different deep nets. | 翻訳日:2022-12-29 09:21:17 公開日:2020-02-23 |
| # 確率的最短経路に対する準最適回帰境界 Near-optimal Regret Bounds for Stochastic Shortest Path ( http://arxiv.org/abs/2002.09869v1 ) ライセンス: Link先を確認 | Alon Cohen, Haim Kaplan, Yishay Mansour and Aviv Rosenberg | (参考訳) 確率的最短経路 (SSP) は計画と制御においてよく知られた問題であり、エージェントは最小の総コストで目標状態に到達する必要がある。
問題の学習定式化において、エージェントは、環境力学(すなわち遷移関数)に気付かず、問題の最適解を推論しながら、所定の回数のエピソードに対して繰り返しプレーしなければならない。
強化学習(RL)における他のよく研究されたモデルとは異なり、エピソードの長さは所定の(あるいは境界づけられた)ものではなく、エージェントの行動に影響される。
最近、tarbouriech et al. (2019)は、後悔の最小化の文脈でこの問題を研究し、最小の瞬時コストの平方根に対して、後悔の境界が逆比例するアルゴリズムを提供した。
この作業では、この最小コストへの依存を排除し、$\widetilde{O}(B_\star |S| \sqrt{|A| K})$, where $B_\star$ is a upper bound on the expected cost of the optimal policy, $S$ is the set of state, $A$ is the set of action and $K$ is the number of episodes。
さらに、最悪の場合、任意の学習アルゴリズムは少なくとも$\omega(b_\star \sqrt{|s||a|k})$ regretを持つ必要があることを示す。 Stochastic shortest path (SSP) is a well-known problem in planning and control, in which an agent has to reach a goal state in minimum total expected cost. In the learning formulation of the problem, the agent is unaware of the environment dynamics (i.e., the transition function) and has to repeatedly play for a given number of episodes while reasoning about the problem's optimal solution. Unlike other well-studied models in reinforcement learning (RL), the length of an episode is not predetermined (or bounded) and is influenced by the agent's actions. Recently, Tarbouriech et al. (2019) studied this problem in the context of regret minimization and provided an algorithm whose regret bound is inversely proportional to the square root of the minimum instantaneous cost. In this work we remove this dependence on the minimum cost---we give an algorithm that guarantees a regret bound of $\widetilde{O}(B_\star |S| \sqrt{|A| K})$, where $B_\star$ is an upper bound on the expected cost of the optimal policy, $S$ is the set of states, $A$ is the set of actions and $K$ is the number of episodes. We additionally show that any learning algorithm must have at least $\Omega(B_\star \sqrt{|S| |A| K})$ regret in the worst case. | 翻訳日:2022-12-29 09:21:05 公開日:2020-02-23 |
| # グラフに基づく半教師付き深層学習 End-To-End Graph-based Deep Semi-Supervised Learning ( http://arxiv.org/abs/2002.09891v1 ) ライセンス: Link先を確認 | Zihao Wang, Enmei Tu, Zhou Meng | (参考訳) グラフの品質は、ノード、エッジ、類似度測定(エッジウェイト)の3つの重要な要素によって共同で決定され、グラフベースの半教師付き学習(SSL)アプローチの成功に極めて重要である。
近年,動的グラフは学習過程において動的に更新され,グラフに基づく半教師付き学習に有望であることが示されている。
しかし、既存のアプローチは3つの要素の一部を更新するだけで、残りは学習段階で手動で指定される。
本稿では,3つの要素を同時に最適化する新しいグラフベース半教師付き学習手法を提案する。
この目的のために、2つのニューラルネットワーク(機能ネットワークと類似ネットワーク)を結合して分類ラベルと意味的類似性を学習し、ネットワークを訓練し、統一ssl目的関数を最小化する。
また,学習効率を高めるために,拡張グラフラプラシアン正則化項を導入する。
いくつかのベンチマークデータセットに対する大規模な実験は、我々のアプローチの有効性を示している。 The quality of a graph is determined jointly by three key factors of the graph: nodes, edges and similarity measure (or edge weights), and is very crucial to the success of graph-based semi-supervised learning (SSL) approaches. Recently, dynamic graph, which means part/all its factors are dynamically updated during the training process, has demonstrated to be promising for graph-based semi-supervised learning. However, existing approaches only update part of the three factors and keep the rest manually specified during the learning stage. In this paper, we propose a novel graph-based semi-supervised learning approach to optimize all three factors simultaneously in an end-to-end learning fashion. To this end, we concatenate two neural networks (feature network and similarity network) together to learn the categorical label and semantic similarity, respectively, and train the networks to minimize a unified SSL objective function. We also introduce an extended graph Laplacian regularization term to increase training efficiency. Extensive experiments on several benchmark datasets demonstrate the effectiveness of our approach. | 翻訳日:2022-12-29 09:20:33 公開日:2020-02-23 |
| # ChemGrapher:ディープラーニングによる化合物の光グラフ認識 ChemGrapher: Optical Graph Recognition of Chemical Compounds by Deep Learning ( http://arxiv.org/abs/2002.09914v1 ) ライセンス: Link先を確認 | Martijn Oldenhof, Adam Arany, Yves Moreau and Jaak Simm | (参考訳) 創薬においては、化学化合物のグラフ構造に関する知識が不可欠である。
化学や薬学における何千もの科学論文が化学物質を調査しているが、これらの化合物の構造の詳細は画像としてのみ公表されている。
これらの画像を自動的に分析して化学グラフ構造に変換するツールは、薬品の発見のような多くの応用に役立つだろう。
いくつかのツールが利用可能であり、主に光学的文字認識から派生している。
しかし,これらのツールの性能評価により,正しい結合多重性や立体化学情報の検出に誤りがしばしば生じていることが判明した。
さらに、エラーは結果として生じるグラフの原子の欠如につながることもある。
本研究では,機械学習に基づく複合認識手法を開発し,これらの課題に対処する。
具体的には,光複合認識のための深層ニューラルネットワークモデルを開発した。
ここで提示されるディープラーニングソリューションはセグメンテーションモデルで構成され、続いて原子の位置、結合、電荷を予測する3つの分類モデルが続く。
さらに、このモデルは分子のグラフ構造を予測するだけでなく、結果のグラフの各コンポーネントとソースイメージを関連付けるために必要な情報も生成する。
このソリューションはスケーラブルで、数千のイメージを迅速に処理できる。
最後に,提案手法を確立したツールと比較し,有意な誤差低減を観測する。 In drug discovery, knowledge of the graph structure of chemical compounds is essential. Many thousands of scientific articles in chemistry and pharmaceutical sciences have investigated chemical compounds, but in cases the details of the structure of these chemical compounds is published only as an images. A tool to analyze these images automatically and convert them into a chemical graph structure would be useful for many applications, such drug discovery. A few such tools are available and they are mostly derived from optical character recognition. However, our evaluation of the performance of those tools reveals that they make often mistakes in detecting the correct bond multiplicity and stereochemical information. In addition, errors sometimes even lead to missing atoms in the resulting graph. In our work, we address these issues by developing a compound recognition method based on machine learning. More specifically, we develop a deep neural network model for optical compound recognition. The deep learning solution presented here consists of a segmentation model, followed by three classification models that predict atom locations, bonds and charges. Furthermore, this model not only predicts the graph structure of the molecule but also produces all information necessary to relate each component of the resulting graph to the source image. This solution is scalable and could rapidly process thousands of images. Finally, we compare empirically the proposed method to a well-established tool and observe significant error reductions. | 翻訳日:2022-12-29 09:20:15 公開日:2020-02-23 |
| # 重み付けは待つ価値がある - 重要サンプリングによるベイズ最適化 Weighting Is Worth the Wait: Bayesian Optimization with Importance Sampling ( http://arxiv.org/abs/2002.09927v1 ) ライセンス: Link先を確認 | Setareh Ariafar, Zelda Mariet, Ehsan Elhamifar, Dana Brooks, Jennifer Dy and Jasper Snoek | (参考訳) 現代の機械学習モデルの多くは、ハイパパラメータの広範囲なチューニングを必要としている。
ベイズ最適化のような様々な手法がこのプロセスを自動化するために開発されている。
しかし、チューニングは通常、繰り返し完全なトレーニングモデルを必要とするため、非常にコストがかかる。
本稿では,ニューラルネットワークのハイパーパラメータチューニングに対するベイズ最適化手法を,各トレーニング例の相対的情報量を考慮して高速化する。
そのため、重要サンプリング(IS)を活用し、ブラックボックス関数の評価の質を大幅に向上させるとともに、実行時も大幅に向上させ、慎重に行う必要がある。
ハイパーパラメーター探索をハイパーパラメーターと重要サンプリング設計の両方に対するマルチタスクベイズ最適化問題としてキャストすることは、両方の世界の長所を達成している: 評価の複雑さと品質をトレードオフするISのパラメータ化を学ぶことにより、ベイズ最適化の状態と、さまざまなデータセットや複雑なニューラルネットワークアーキテクチャにおける最終的な検証エラーを改善する。 Many contemporary machine learning models require extensive tuning of hyperparameters to perform well. A variety of methods, such as Bayesian optimization, have been developed to automate and expedite this process. However, tuning remains extremely costly as it typically requires repeatedly fully training models. We propose to accelerate the Bayesian optimization approach to hyperparameter tuning for neural networks by taking into account the relative amount of information contributed by each training example. To do so, we leverage importance sampling (IS); this significantly increases the quality of the black-box function evaluations, but also their runtime, and so must be done carefully. Casting hyperparameter search as a multi-task Bayesian optimization problem over both hyperparameters and importance sampling design achieves the best of both worlds: by learning a parameterization of IS that trades-off evaluation complexity and quality, we improve upon Bayesian optimization state-of-the-art runtime and final validation error across a variety of datasets and complex neural architectures. | 翻訳日:2022-12-29 09:19:34 公開日:2020-02-23 |
| # PolyGen: 3Dメッシュの自動回帰生成モデル PolyGen: An Autoregressive Generative Model of 3D Meshes ( http://arxiv.org/abs/2002.10880v1 ) ライセンス: Link先を確認 | Charlie Nash, Yaroslav Ganin, S. M. Ali Eslami, Peter W. Battaglia | (参考訳) ポリゴンメッシュは3次元幾何学の効率的な表現であり、コンピュータグラフィックス、ロボティクス、ゲーム開発において重要である。
既存の学習ベースのアプローチは、3dメッシュを扱う際の課題を避け、代わりに神経アーキテクチャやトレーニングアプローチとより互換性のある代替オブジェクト表現を使用する。
本稿では,メッシュを直接モデル化し,トランスフォーマーアーキテクチャを用いてメッシュ頂点と顔を逐次予測する手法を提案する。
我々のモデルは、オブジェクトクラス、ボクセル、画像を含む様々な入力を条件付けすることができ、そのモデルが確率的であるため、曖昧なシナリオにおける不確実性を捉えるサンプルを生成することができる。
このモデルは高品質で使いやすいメッシュを生成でき、メッシュモデリングタスクのためのログライクなベンチマークを確立することができる。
また, 代替手法に対する表面再構成指標の条件モデルを評価し, 本課題を直接訓練していないにもかかわらず, 競合性能を示す。 Polygon meshes are an efficient representation of 3D geometry, and are of central importance in computer graphics, robotics and games development. Existing learning-based approaches have avoided the challenges of working with 3D meshes, instead using alternative object representations that are more compatible with neural architectures and training approaches. We present an approach which models the mesh directly, predicting mesh vertices and faces sequentially using a Transformer-based architecture. Our model can condition on a range of inputs, including object classes, voxels, and images, and because the model is probabilistic it can produce samples that capture uncertainty in ambiguous scenarios. We show that the model is capable of producing high-quality, usable meshes, and establish log-likelihood benchmarks for the mesh-modelling task. We also evaluate the conditional models on surface reconstruction metrics against alternative methods, and demonstrate competitive performance despite not training directly on this task. | 翻訳日:2022-12-29 09:11:26 公開日:2020-02-23 |
| # ドロップアウトを超えて:ディープニューラルネットワークを規則化するフィーチャーマップ歪み Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks ( http://arxiv.org/abs/2002.11022v1 ) ライセンス: Link先を確認 | Yehui Tang, Yunhe Wang, Yixing Xu, Boxin Shi, Chao Xu, Chunjing Xu, Chang Xu | (参考訳) ディープニューラルネットワークはしばしば、与えられたデータセットから強力な特徴を抽出するためのトレーニング可能な多数のパラメータで構成されている。
一方、大規模なトレーニング可能なパラメータは、これらのディープネットワークの性能を大幅に向上させる。
一方、彼らは過度に適合する問題を提起している。
この目的のために、ドロップアウトベースの方法は、トレーニングフェーズ中に出力特徴マップのいくつかの要素を無効にすることで、ニューロンの共適応を減少させる。
これらのアプローチにより、結果モデルの一般化能力は向上できるが、従来の二元ドロップアウトは最適解ではない。
そこで我々は,深層ニューラルネットワークの中間層に関する経験的Rademacher複雑性を考察し,上記の問題に対処するための特徴歪み法(Disout)を提案する。
トレーニング期間中は、一般化エラーバウンドを利用して、特徴マップ内のランダムに選択された要素を特定の値に置き換える。
複数のベンチマーク画像データセットにおいて、より高いテスト性能を持つディープニューラルネットワークを生成するための特徴マップ歪みの優位性を解析し、実証した。 Deep neural networks often consist of a great number of trainable parameters for extracting powerful features from given datasets. On one hand, massive trainable parameters significantly enhance the performance of these deep networks. On the other hand, they bring the problem of over-fitting. To this end, dropout based methods disable some elements in the output feature maps during the training phase for reducing the co-adaptation of neurons. Although the generalization ability of the resulting models can be enhanced by these approaches, the conventional binary dropout is not the optimal solution. Therefore, we investigate the empirical Rademacher complexity related to intermediate layers of deep neural networks and propose a feature distortion method (Disout) for addressing the aforementioned problem. In the training period, randomly selected elements in the feature maps will be replaced with specific values by exploiting the generalization error bound. The superiority of the proposed feature map distortion for producing deep neural network with higher testing performance is analyzed and demonstrated on several benchmark image datasets. | 翻訳日:2022-12-29 09:11:11 公開日:2020-02-23 |
| # コンピュータによる量子実験 Computer-inspired Quantum Experiments ( http://arxiv.org/abs/2002.09970v1 ) ライセンス: Link先を確認 | Mario Krenn, Manuel Erhard, Anton Zeilinger | (参考訳) 科学と工学における新しいデバイスと実験の設計は、歴史的に人間の専門家の直観に依存してきた。
しかし、この信条は変わった。
多くの分野において、コンピュータにインスパイアされた設計プロセスは逆設計としても知られ、科学者の能力を高めている。
ここでは、コンピュータにインスパイアされたデザインが適用される様々な物理分野を訪ねる。
我々は、トポロジ的最適化、進化戦略、ディープラーニング、強化学習、自動推論に基づく、非常に多様な計算アプローチに遭遇する。
次に、特に量子物理学に注意を向ける。
新しい量子実験を設計するにあたっては、まず、量子現象は直感的ではないという2つの課題に直面します。
第二に、量子実験の可能な構成の数は組合せ的に爆発する。
これらの課題を克服するために、物理学者はコンピュータ設計の量子実験にアルゴリズムを使い始めた。
我々は、科学者が新しい複雑な量子実験を見つけるのに使った最も成熟した、そして、実践的なアプローチに焦点をあてる。
基本的な考え方は、科学的な解釈を可能にする、高効率なトポロジカル探索である。
このようにして、コンピュータ設計の一部は、予期せぬインスピレーションを提供することで、コンピュータアルゴリズムが科学に真に貢献する方法を示す、新しい科学的概念とアイデアの発見につながった。
最適化と機械学習技術に基づくいくつかの拡張や代替技術について論じ、将来、実用的なコンピュータによる実験や概念の発見を加速する可能性がある。
最後に、物理学の分野で異なるアプローチから何が学べるかについて議論し、将来の研究にいくつかの興味深い可能性をもたらす。 The design of new devices and experiments in science and engineering has historically relied on the intuitions of human experts. This credo, however, has changed. In many disciplines, computer-inspired design processes, also known as inverse-design, have augmented the capability of scientists. Here we visit different fields of physics in which computer-inspired designs are applied. We will meet vastly diverse computational approaches based on topological optimization, evolutionary strategies, deep learning, reinforcement learning or automated reasoning. Then we draw our attention specifically on quantum physics. In the quest for designing new quantum experiments, we face two challenges: First, quantum phenomena are unintuitive. Second, the number of possible configurations of quantum experiments explodes combinatorially. To overcome these challenges, physicists began to use algorithms for computer-designed quantum experiments. We focus on the most mature and \textit{practical} approaches that scientists used to find new complex quantum experiments, which experimentalists subsequently have realized in the laboratories. The underlying idea is a highly-efficient topological search, which allows for scientific interpretability. In that way, some of the computer-designs have led to the discovery of new scientific concepts and ideas -- demonstrating how computer algorithm can genuinely contribute to science by providing unexpected inspirations. We discuss several extensions and alternatives based on optimization and machine learning techniques, with the potential of accelerating the discovery of practical computer-inspired experiments or concepts in the future. Finally, we discuss what we can learn from the different approaches in the fields of physics, and raise several fascinating possibilities for future research. | 翻訳日:2022-12-29 09:10:03 公開日:2020-02-23 |
| # 事例ベース推論を用いたOpenAIにおける行動クローニング Behavior Cloning in OpenAI using Case Based Reasoning ( http://arxiv.org/abs/2002.11197v1 ) ライセンス: Link先を確認 | Chad Peters, Babak Esfandiari, Mohamad Zalat and Robert West | (参考訳) learning from observation (lfo) は、専門家(人間または人工)の行動を記録し、記録されたデータを用いて必要な行動を生成することにより、ソフトウェアエージェントを構築するためのアプローチである。
jLOAFはケースベースの推論を使用してLfOを実現するプラットフォームである。
本稿では、jLOAFと人気のあるOpenAI Gym環境をインターフェースする。
実験結果は,この領域における比較基準と,環境複雑性を扱う際の強みと弱みの同定に,我々のアプローチがどう役立つかを示す。 Learning from Observation (LfO), also known as Behavioral Cloning, is an approach for building software agents by recording the behavior of an expert (human or artificial) and using the recorded data to generate the required behavior. jLOAF is a platform that uses Case-Based Reasoning to achieve LfO. In this paper we interface jLOAF with the popular OpenAI Gym environment. Our experimental results show how our approach can be used to provide a baseline for comparison in this domain, as well as identify the strengths and weaknesses when dealing with environmental complexity. | 翻訳日:2022-12-29 09:09:29 公開日:2020-02-23 |
| # PoET-BiN:高効率Tinyバイナリニューロン PoET-BiN: Power Efficient Tiny Binary Neurons ( http://arxiv.org/abs/2002.09794v1 ) ライセンス: Link先を確認 | Sivakumar Chidambaram, J.M. Pierre Langlois, Jean Pierre David | (参考訳) 画像分類におけるニューラルネットワークの成功は、フィールドプログラマブルゲートアレイ、組み込みプロセッサ、グラフィカル処理ユニットなど、組み込みプラットフォーム上での様々なハードウェア実装に影響を与えている。
これらの組込みプラットフォームは、主に累積演算とウェイトフェッチのためのメモリアクセスによって消費される電力の面で制約されている。
量子化と刈り取りはこの問題に対処するために提案されている。
効果的ではあるが、これらの技術は組み込みハードウェアの基盤となるアーキテクチャを考慮していない。
本研究では,リソース制約された組み込みデバイス上でのLook-Up Tableに基づく効率的な実装であるPoET-BiNを提案する。
修正決定木アプローチは、バイナリドメインで提案された実装のバックボーンを形成する。
LUTアクセスは、それを置き換えるMultiply Accumulate操作よりもはるかに少ない電力を消費し、修正されたDecision Treeアルゴリズムはメモリアクセスの必要性を排除する。
mnist,svhn,cifar-10でトレーニングされたネットワークの分類層を実装し,最先端の成果を得た。
分類器部分のエネルギー削減は、浮動小数点の実装と比較して最大6桁、最近のバイナリ量子化ニューラルネットワークと比較して最大3桁に達する。 The success of neural networks in image classification has inspired various hardware implementations on embedded platforms such as Field Programmable Gate Arrays, embedded processors and Graphical Processing Units. These embedded platforms are constrained in terms of power, which is mainly consumed by the Multiply Accumulate operations and the memory accesses for weight fetching. Quantization and pruning have been proposed to address this issue. Though effective, these techniques do not take into account the underlying architecture of the embedded hardware. In this work, we propose PoET-BiN, a Look-Up Table based power efficient implementation on resource constrained embedded devices. A modified Decision Tree approach forms the backbone of the proposed implementation in the binary domain. A LUT access consumes far less power than the equivalent Multiply Accumulate operation it replaces, and the modified Decision Tree algorithm eliminates the need for memory accesses. We applied the PoET-BiN architecture to implement the classification layers of networks trained on MNIST, SVHN and CIFAR-10 datasets, with near state-of-the art results. The energy reduction for the classifier portion reaches up to six orders of magnitude compared to a floating point implementations and up to three orders of magnitude when compared to recent binary quantized neural networks. | 翻訳日:2022-12-29 09:09:18 公開日:2020-02-23 |
| # 自動クロスメディア検索のための深層マルチモーダル画像テキスト埋め込み Deep Multimodal Image-Text Embeddings for Automatic Cross-Media Retrieval ( http://arxiv.org/abs/2002.10016v1 ) ライセンス: Link先を確認 | Hadi Abdi Khojasteh (1), Ebrahim Ansari (1 and 2), Parvin Razzaghi (1 and 3), Akbar Karimi (4) ((1) Institute for Advanced Studies in Basic Sciences (IASBS), Zanjan, Iran, (2) Faculty of Mathematics and Physics, Institute of Formal and Applied Linguistics, Charles University, Czechia, (3) Institute for Research in Fundamental Sciences (IPM), Tehran, Iran, (4) IMP Lab, Department of Engineering and Architecture, University of Parma, Parma, Italy) | (参考訳) 本稿では,モーダル検索のための視覚テキスト埋め込み空間を学習し,画像と文をマッチングする作業について考察する。
このような空間を見つけることは、テキストと画像の特徴と表現が比較にならないため、難しい作業である。
本研究では,視覚と言語表現を同時に学習し,画像とテキストの類似性を推定する,エンドツーエンドの深層多モーダル畳み込み並列ネットワークを提案する。
このモデルは、どのペアがマッチ(正)か、どれがミスマッチ(負)かをヒンジベースの三重項ランキングを用いて学習する。
共同表現について学ぶために、Twitterから新たに抽出したツイートのコレクションを活用します。
データセットの主な特徴は、画像とツイートがベンチマークと同じ標準化されていないことである。
さらに、画像とつぶやきのセマンティックな相関関係は、その説明が適切に整理されているベンチマークとは対照的である。
MS-COCOベンチマークデータセットによる実験結果から,提案した手法は従来よりも優れ,最先端の手法と比較して競争性能が高いことがわかった。
コードとデータセットは公開されています。 This paper considers the task of matching images and sentences by learning a visual-textual embedding space for cross-modal retrieval. Finding such a space is a challenging task since the features and representations of text and image are not comparable. In this work, we introduce an end-to-end deep multimodal convolutional-recurrent network for learning both vision and language representations simultaneously to infer image-text similarity. The model learns which pairs are a match (positive) and which ones are a mismatch (negative) using a hinge-based triplet ranking. To learn about the joint representations, we leverage our newly extracted collection of tweets from Twitter. The main characteristic of our dataset is that the images and tweets are not standardized the same as the benchmarks. Furthermore, there can be a higher semantic correlation between the pictures and tweets contrary to benchmarks in which the descriptions are well-organized. Experimental results on MS-COCO benchmark dataset show that our model outperforms certain methods presented previously and has competitive performance compared to the state-of-the-art. The code and dataset have been made available publicly. | 翻訳日:2022-12-29 09:02:43 公開日:2020-02-23 |
| # 複合部分観測のための分別粒子フィルタ強化学習 Discriminative Particle Filter Reinforcement Learning for Complex Partial Observations ( http://arxiv.org/abs/2002.09884v1 ) ライセンス: Link先を確認 | Xiao Ma, Peter Karkus, David Hsu, Wee Sun Lee, Nan Ye | (参考訳) 深層強化学習は、AtariやGoといった高度なゲームの意思決定に成功している。
しかし、実世界の意思決定は複雑な視覚的観察から抽出された部分的な情報による推論を必要とすることが多い。
本稿では,複雑な部分観測のための新しい強化学習フレームワークであるdpfrl(disriminative particle filter reinforcement learning)を提案する。
DPFRLは、時間とともに部分的な観察を伴う明示的な推論のために、ニューラルネットワークポリシーで微分可能な粒子フィルタを符号化する。
粒子フィルタは、学習した識別的更新を用いて信念を維持し、意思決定のためにエンドツーエンドに訓練される。
標準生成モデルの代わりに識別更新を使用することで、特に複雑な視覚観察を伴うタスクにおいて、意思決定と無関係な複雑な観察をモデル化することの難しさを回避し、性能が著しく向上することが示された。
また,粒子の信念から特徴を抽出するために,モーメント生成関数に基づく新しいタイプの信念特徴を提案する。
DPFRLは、既存のPOMDP RLベンチマークであるFlickering Atari Gamesと、新しいより挑戦的なPOMDP RLベンチマークであるNatural Flickering Atari Gamesにおいて、最先端のPOMDP RLモデルよりも優れている。
さらに、DPFRLは、ハビタット環境における実世界のデータを用いた視覚ナビゲーションによく機能する。 Deep reinforcement learning is successful in decision making for sophisticated games, such as Atari, Go, etc. However, real-world decision making often requires reasoning with partial information extracted from complex visual observations. This paper presents Discriminative Particle Filter Reinforcement Learning (DPFRL), a new reinforcement learning framework for complex partial observations. DPFRL encodes a differentiable particle filter in the neural network policy for explicit reasoning with partial observations over time. The particle filter maintains a belief using learned discriminative update, which is trained end-to-end for decision making. We show that using the discriminative update instead of standard generative models results in significantly improved performance, especially for tasks with complex visual observations, because they circumvent the difficulty of modeling complex observations that are irrelevant to decision making. In addition, to extract features from the particle belief, we propose a new type of belief feature based on the moment generating function. DPFRL outperforms state-of-the-art POMDP RL models in Flickering Atari Games, an existing POMDP RL benchmark, and in Natural Flickering Atari Games, a new, more challenging POMDP RL benchmark introduced in this paper. Further, DPFRL performs well for visual navigation with real-world data in the Habitat environment. | 翻訳日:2022-12-29 09:02:03 公開日:2020-02-23 |
| # 構造因果モデルに関する批判的考察 A Critical View of the Structural Causal Model ( http://arxiv.org/abs/2002.10007v1 ) ライセンス: Link先を確認 | Tomer Galanti, Ofir Nabati, Lior Wolf | (参考訳) 単変量の場合、単変量原因と効果の個々の複雑さを比較することで、相互作用を全く考慮せずに原因と効果を識別できることが示される。
本フレームワークでは,分布の量子化を演算するオートエンコーダの再構成誤差によって複雑度が捉えられる。
各変数に対する2つのオートエンコーダの再構成誤差を比較すると、許容された因果性指向性ベンチマークにおいて驚くほど良い結果が得られた。
したがって、どちらが原因で、どれが影響であるかは因果関係ではなく、複雑さに基づいている可能性がある。
多変量体の場合、原因と効果の複雑さが均衡していることを保証するため、因果モデルの不整合構造を模倣する新たな対向訓練法を提案する。
多次元の場合、そのようなモデリングは因果関係の方向にのみデータに適合することが証明される。
さらに、一意性の結果は、学習したモデルが根底にある因果および残余(ノイズ)成分を識別できることを示している。
本手法は, 合成および実世界の両方のデータセットにおいて, 文献的手法よりも優れる。 In the univariate case, we show that by comparing the individual complexities of univariate cause and effect, one can identify the cause and the effect, without considering their interaction at all. In our framework, complexities are captured by the reconstruction error of an autoencoder that operates on the quantiles of the distribution. Comparing the reconstruction errors of the two autoencoders, one for each variable, is shown to perform surprisingly well on the accepted causality directionality benchmarks. Hence, the decision as to which of the two is the cause and which is the effect may not be based on causality but on complexity. In the multivariate case, where one can ensure that the complexities of the cause and effect are balanced, we propose a new adversarial training method that mimics the disentangled structure of the causal model. We prove that in the multidimensional case, such modeling is likely to fit the data only in the direction of causality. Furthermore, a uniqueness result shows that the learned model is able to identify the underlying causal and residual (noise) components. Our multidimensional method outperforms the literature methods on both synthetic and real world datasets. | 翻訳日:2022-12-29 09:01:39 公開日:2020-02-23 |
| # ウェーブレットサブバンドサイクルガンを用いた衛星画像の教師なし雑音化 Unsupervised Denoising for Satellite Imagery using Wavelet Subband CycleGAN ( http://arxiv.org/abs/2002.09847v1 ) ライセンス: Link先を確認 | Joonyoung Song, Jae-Heon Jeong, Dae-Soon Park, Hyun-Ho Kim, Doo-Chun Seo, Jong Chul Ye | (参考訳) マルチスペクトル衛星画像センサは、赤(R)、緑(G)、青(B)、近赤外線(N)などの様々なスペクトル帯域画像を取得する。
地上の被写体に対して各スペクトル帯の独自の分光特性により、多スペクトル衛星画像は様々な地質調査に利用することができる。
残念なことに、センサーノイズによる画像アーティファクトはシーンの質に影響を与え、衛星画像の応用に悪影響を及ぼす。
近年,衛星画像におけるノイズ除去のための深層学習手法が広く研究されている。
しかし,ほとんどのディープラーニング手法は,実際の状況では収集が困難であるノイズの多い画像とクリーンな画像ペアを必要とする教師付き学習方式に従っている。
本稿では,WavCycleGAN (Wavelet subband cycle-consistent adversarial network) を用いた衛星画像の教師なしマルチスペクトル復調手法を提案する。
提案手法は,対向的損失とサイクル整合性損失を用いた教師なし学習方式に基づいて,ペアデータの欠如を克服する。
さらに、標準イメージドメインサイクガンとは対照的に、エッジやディテール情報などの高周波成分を犠牲にすることなく効果的な分節化のためのウェーブレットサブバンドドメイン学習方式を導入する。
衛星画像センサにおける垂直ストライプと波動ノイズの除去実験の結果,提案手法が効果的にノイズを除去し,衛星画像の重要な高周波特性を保存できることが示されている。 Multi-spectral satellite imaging sensors acquire various spectral band images such as red (R), green (G), blue (B), near-infrared (N), etc. Thanks to the unique spectroscopic property of each spectral band with respective to the objects on the ground, multi-spectral satellite imagery can be used for various geological survey applications. Unfortunately, image artifacts from imaging sensor noises often affect the quality of scenes and have negative impacts on the applications of satellite imagery. Recently, deep learning approaches have been extensively explored for the removal of noises in satellite imagery. Most deep learning denoising methods, however, follow a supervised learning scheme, which requires matched noisy image and clean image pairs that are difficult to collect in real situations. In this paper, we propose a novel unsupervised multispectral denoising method for satellite imagery using wavelet subband cycle-consistent adversarial network (WavCycleGAN). The proposed method is based on unsupervised learning scheme using adversarial loss and cycle-consistency loss to overcome the lack of paired data. Moreover, in contrast to the standard image domain cycleGAN, we introduce a wavelet subband domain learning scheme for effective denoising without sacrificing high frequency components such as edges and detail information. Experimental results for the removal of vertical stripe and wave noises in satellite imaging sensors demonstrate that the proposed method effectively removes noises and preserves important high frequency features of satellite images. | 翻訳日:2022-12-29 09:00:42 公開日:2020-02-23 |
| # NeurIPS 2019 Disentanglement Challenge: Aggregated Convolutional Feature Mapsによるディスタングルの改善 NeurIPS 2019 Disentanglement Challenge: Improved Disentanglement through Aggregated Convolutional Feature Maps ( http://arxiv.org/abs/2002.10003v1 ) ライセンス: Link先を確認 | Maximilian Seitzer | (参考訳) 本報告は,NeurIPS 2019 disentanglement Challengeへのステージ1への提出で,VAEをトレーニングするための簡単な画像前処理手法を提案する。
特に,ImageNet 上で事前学習した CNN から抽出した領域集約型特徴写像を提案する。
本手法は,挑戦のステージ1で2位となった。
コードはhttps://github.com/mseitzer/neurips2019-disentanglement-challengeで入手できる。 This report to our stage 1 submission to the NeurIPS 2019 disentanglement challenge presents a simple image preprocessing method for training VAEs leading to improved disentanglement compared to directly using the images. In particular, we propose to use regionally aggregated feature maps extracted from CNNs pretrained on ImageNet. Our method achieved the 2nd place in stage 1 of the challenge. Code is available at https://github.com/mseitzer/neurips2019-disentanglement-challenge. | 翻訳日:2022-12-29 09:00:19 公開日:2020-02-23 |