このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス（CC 0, CC BY, CC BY-SA）の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。（arxivのメタデータは CC 0です。） 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。
公開日が20200622となっている論文です。
| Title | Authors | Abstract | 論文公表日・翻訳日 |
|---|---|---|---|
| # 非エルミート型オーブリー・アンドレ・ハーパー模型における皮膚過流動, 位相モット絶縁体および非対称ダイナミクス Skin superfluid, topological Mott insulators, and asymmetric dynamics in interacting non-Hermitian Aubry-Andre-Harper models ( http://arxiv.org/abs/2001.07088v2 ) ライセンス: Link先を確認 | Dan-Wei Zhang, Yu-Lian Chen, Guo-Qing Zhang, Li-Jun Lang, Zhi Li, and Shi-Liang Zhu | (参考訳) 非エルミート量子多体系は興味深い対象である。
一般化された密度行列再正規化群法と相補的完全対角化を用いて、ボソンに対する1次元相互作用非エルミート・オーブリー・アンドレ・ハーパー模型の多体基底状態とダイナミクスを解明する。
このモデルでは, 超流動およびモット絶縁系において, 幅広い条件下で安定な基底状態が見つかる。
非相反ホッピングによる非ハーミティー性による皮膚超流動状態が明らかとなった。
我々はmott絶縁相のトポロジーを調査し,非ヘルミティティーの独立性を見いだす。
この非エルミート系のトポロジカルモット絶縁体は、4つの同じチャーン数と、生物直交多体分極の量子シフトによって特徴づけられる。
さらに,システム内の一般的な非対称展開と相関ダイナミクスを示す。 Non-Hermitian quantum many-body systems are a fascinating subject to be explored. Using the generalized density matrix renormalisation group method and complementary exact diagonalization, we elucidate the many-body ground states and dynamics of a 1D interacting non-Hermitian Aubry-Andre-Harper model for bosons. We find stable ground states in the superfluid and Mott insulating regimes under wide range of conditions in this model. We reveal a skin superfluid state induced by the non-Hermiticity from the nonreciprocal hopping. We investigate the topology of the Mott insulating phase and find its independence of the non-Hermiticity. The topological Mott insulators in this non-Hermitian system are characterized by four equal Chern numbers and a quantized shift of biorthogonal many-body polarizations. Furthermore, we show generic asymmetric expansion and correlation dynamics in the system. | 翻訳日:2023-06-07 06:19:15 公開日:2020-06-22 |
| # 量子場の非ガウスエンタングルメント再正規化 Non-Gaussian Entanglement Renormalization for Quantum Fields ( http://arxiv.org/abs/2003.08438v2 ) ライセンス: Link先を確認 | Jose J. Fernandez-Melgarejo and Javier Molina-Vilaplana | (参考訳) 本稿では、相互作用量子場理論(icmera)のための非ガウス型cmeraテンソルネットワークについて述べる。
これは連続テンソルネットワーク回路からなり、波関数の絡み合い再正規化の生成子は非曲率的変分項で非摂動的に拡張される。
ICMERA回路は、ガウスcMERA回路によって誘導されるスケール依存線形変換の一般化を仮定する、理論の場にスケール依存非線形変換の集合を非摂動的に実装する。
ここでは、自己相互作用スカラーおよびフェルミオン場理論の場合にこれらの変換を示す。
最後に、ICMERAテンソルネットワークは$(1+1)$次元の$\lambda \phi^4$理論に対して完全に最適化されている。
これにより、2点と4点の相関関数の連結部分を評価することができる。
以上の結果から, icmera 波動汎関数は理論の適切な非ガウス相関をエンコードし, 強相互作用場理論に関連する現象を研究するための新しい変分ツールを提供する。 In this work, a non-Gaussian cMERA tensor network for interacting quantum field theories (icMERA) is presented. This consists of a continuous tensor network circuit in which the generator of the entanglement renormalization of the wavefunction is nonperturbatively extended with nonquadratic variational terms. The icMERA circuit nonperturbatively implements a set of scale dependent nonlinear transformations on the fields of the theory, which suppose a generalization of the scale dependent linear transformations induced by the Gaussian cMERA circuit. Here we present these transformations for the case of self-interacting scalar and fermionic field theories. Finally, the icMERA tensor network is fully optimized for the $\lambda \phi^4$ theory in $(1+1)$ dimensions. This allows us to evaluate, nonperturbatively, the connected parts of the two- and four-point correlation functions. Our results show that icMERA wavefunctionals encode proper non-Gaussian correlations of the theory, thus providing a new variational tool to study phenomena related with strongly interacting field theories. | 翻訳日:2023-05-28 20:06:16 公開日:2020-06-22 |
| # 翻訳を破ったホログラフィックシステムにおける輸送の普遍的境界 Universal Bounds on Transport in Holographic Systems with Broken Translations ( http://arxiv.org/abs/2005.06482v2 ) ライセンス: Link先を確認 | Matteo Baggioli, Wei-Jia Li | (参考訳) 本研究では,均質なホログラフィックモデルにおける移動における普遍境界の存在について検討する。
運動量散逸を持つホログラム系では、エントロピー境界に対する粘性は破れるかもしれないが、せん断拡散定数は下記の値で表される。
これは、$\eta/s$が非相対論的システムにおける特権的役割を失い、より普遍的な境界を見つけるためにむしろ拡散定数に目を向けるべきであるという考えを裏付ける。
自発的な翻訳の存在下では, 金石拡散定数は板状緩和時間と蝶速度の観点で普遍的な下限を満たすことを示すことにより, この概念を補強する。
さらに、モデル内のすべての拡散過程は、熱化時間(スペクトルにおける最初の非流体力学的モードの想像上の部分)と縦断音の速度で与えられる因果性によって課される上限を満たす。
最後に,ホログラフィック共形固体における音速のバウンドの存在を考察し,共形値が縦フォノンの速度にバウンドした低い(かつ上方ではない)ものとして作用することを示す。
それでも、剛性 $\partial p/\partial \epsilon$ は、その共形値によって上界であることが示される。
このことは、過去に予想された境界は、系の硬さ、状態方程式に関連するものであり、音の伝搬速度ではないことを示唆している。 We study the presence of universal bounds on transport in homogeneous holographic models with broken translations. We verify numerically that, in holographic systems with momentum dissipation, the viscosity to entropy bound might be violated but the shear diffusion constant remains bounded by below. This confirms the idea that $\eta/s$ loses its privileged role in non-relativistic systems and that, in order to find more universal bounds, one should rather look at diffusion constants. We strengthen this idea by showing that, in presence of spontaneously broken translations, the Goldstone diffusion constant satisfies a universal lower bound in terms of the Planckian relaxation time and the butterfly velocity. Additionally, all the diffusive processes in the model satisfy an upper bound, imposed by causality, which is given in terms of the thermalization time -- the imaginary part of the first non-hydrodynamic mode in the spectrum -- and the speed of longitudinal sound. Finally, we discuss the existence of a bound on the speed of sound in holographic conformal solids and we show that the conformal value acts as a lower (and not upper) bound on the speed of longitudinal phonons. Nevertheless, we show that the stiffness $\partial p/\partial \epsilon$ is still bounded by above by its conformal value. This suggests that the bounds conjectured in the past have to be considered on the stiffness of the system, related to its equation of state, and not on the propagation speed of sound. | 翻訳日:2023-05-20 07:41:27 公開日:2020-06-22 |
| # 量子場理論における問題:古典的および量子的アプローチ Sign Problems in Quantum Field Theory: Classical and Quantum Approaches ( http://arxiv.org/abs/2006.03683v2 ) ライセンス: Link先を確認 | Scott Lawrence | (参考訳) 格子場理論の枠組みにおけるモンテカルロ計算は、量子場の平衡物理学への非摂動的アクセスを提供する。
あるフェルミオン系や非平衡物理学の計算に適用すると、これらの手法はいわゆる符号問題に遭遇し、計算資源要件は非現実的に大きくなる。
これらの困難さは、量子色力学の方程式の第一原理による計算や、場の量子論における輸送係数の計算を妨げている。
この論文では、符号問題を緩和または回避する2つの方法を詳述している。
まず、場の変数の複素化とコーシーの積分定理の適用により、符号問題の難しさが変化する。
これは適切な統合の輪郭を探す必要がある。
このような輪郭を見つけるいくつかの方法と、それを統合する手順について論じる。
2つの顕著な例が強調されている: あるケースでは、符号問題を完全に除去する輪郭が存在し、別のケースでは、符号問題を改善するために(パラメトリック的に)少ない量の輪郭が存在しない。
代案として、量子コンピュータの助けを借りて物理シミュレーションを行うことができる。
量子計算の基礎となる形式的要素、すなわちヒルベルト空間、その上で作用するユニタリ作用素、測定すべきエルミート可観測函数は、量子場理論のそれと一致する。
この方法では、誤り訂正量子コンピュータをよく制御された実験室として機能させることができる。
このタスクの正確なアルゴリズムは、特に量子色力学の文脈で提示される。 Monte Carlo calculations in the framework of lattice field theory provide non-perturbative access to the equilibrium physics of quantum fields. When applied to certain fermionic systems, or to the calculation of out-of-equilibrium physics, these methods encounter the so-called sign problem, and computational resource requirements become impractically large. These difficulties prevent the calculation from first principles of the equation of state of quantum chromodynamics, as well as the computation of transport coefficients in quantum field theories, among other things. This thesis details two methods for mitigating or avoiding the sign problem. First, via the complexification of the field variables and the application of Cauchy's integral theorem, the difficulty of the sign problem can be changed. This requires searching for a suitable contour of integration. Several methods of finding such a contour are discussed, as well as the procedure for integrating on it. Two notable examples are highlighted: in one case, a contour exists which entirely removes the sign problem, and in another, there is provably no contour available to improve the sign problem by more than a (parametrically) small amount. As an alternative, physical simulations can be performed with the aid of a quantum computer. The formal elements underlying a quantum computation - that is, a Hilbert space, unitary operators acting on it, and Hermitian observables to be measured - can be matched to those of a quantum field theory. In this way an error-corrected quantum computer may be made to serve as a well controlled laboratory. Precise algorithms for this task are presented, specifically in the context of quantum chromodynamics. | 翻訳日:2023-05-17 01:59:59 公開日:2020-06-22 |
| # SwissCovid:スイス当局によるリスク評価の批判的分析 SwissCovid: a critical analysis of risk assessment by Swiss authorities ( http://arxiv.org/abs/2006.10719v2 ) ライセンス: Link先を確認 | Paul-Olivier Dehaye, Joel Reardon | (参考訳) スイスのコンタクト追跡アプリSwissCovidのロールアウトに先立ち、公式のセキュリティテストが実施された。
この監査の中で、serge vaudenay教授とmartin vuagnoux博士は、このアプリの大きな問題について説明した。その中には、既知の偽陽性攻撃の新しいバリエーションも含まれており、googleとappleのエクスポージャー通知フレームワークの暗号的弱点を利用して、発したbluetoothビーコンを改ざんしている。
同時に、最初の著者は、ローグアプリやSDKを利用した再識別攻撃について説明した。
スイスサイバーセキュリティ庁(swiss cybersecurity agency)とスイス公衆衛生局(swiss public health authority)からの回答は、攻撃者が標的と物理的に近接する必要があるため、これらの攻撃はありそうにないと主張した。
スイスにおける攻撃者の物理的存在は、そのような攻撃者がスイスの刑法に服属することを示すものとして重要視された。
1つの例を通して、当初記述されたシナリオでは、はるかに多くの敵が考慮されなければならず、これらの攻撃は、スイスに物理的な存在なしに敵が行うことができることを示す。
これはスイス当局がスイスコビッドに関連するリスクを評価する公式な調査結果と直接一致する。
この議論をさらに進めるために、攻撃面の成長と、人口のCOVID-19やスイスコビッドの流行に悪影響を及ぼすことを簡潔に議論する。
この記事の焦点はスイスにあるが、核となる技術的な発見とサイバーセキュリティの懸念は、多くの接触追跡活動に関連している。 Ahead of the rollout of the SwissCovid contact tracing app, an official public security test was performed. During this audit, Prof. Serge Vaudenay and Dr. Martin Vuagnoux described a large set of problems with the app, including a new variation of a known false-positive attack, leveraging a cryptographic weakness in the Google and Apple Exposure Notification framework to tamper with the emitted Bluetooth beacons. Separately, the first author described a re-identification attack leveraging rogue apps or SDKs. The response from the Swiss cybersecurity agency and the Swiss public health authority was to claim these various attacks were unlikely as they required physical proximity of the attacker with the target (although it was admitted the attacker could be further than two meters). The physical presence of the attacker in Switzerland was deemed significant as it would imply such attackers would fall under the Swiss Criminal Code. We show through one example that a much larger variety of adversaries must be considered in the scenarios originally described and that these attacks can be done by adversaries without any physical presence in Switzerland. This goes directly against official findings of Swiss public authorities evaluating the risks associated with SwissCovid. To move the discussion further along, we briefly discuss the growth of the attack surface and harms with COVID-19 and SwissCovid prevalence in the population. While the focus of this article is on Switzerland, we emphasize the core technical findings and cybersecurity concerns are of relevance to many contact tracing efforts. | 翻訳日:2023-05-13 13:36:08 公開日:2020-06-22 |
| # ReproduceMeGit:Jupyterノートブックの再現性を分析する可視化ツール ReproduceMeGit: A Visualization Tool for Analyzing Reproducibility of Jupyter Notebooks ( http://arxiv.org/abs/2006.12110v1 ) ライセンス: Link先を確認 | Sheeba Samuel and Birgitta K\"onig-Ries | (参考訳) 計算ノートは再現可能な科学をサポートするため、学術や産業の研究者の間で広く採用されている。
これらのノートブックを使えば、ユーザーはコード、テキスト、視覚化を組み合わせて実験結果を簡単に共有できる。
それらはgithubで広く共有されており、現在1億以上のリポジトリがあり、世界最大のソースコードホストとなっている。
最近の再現性研究では、これらのノートを書く際に、その全体的な再現性に影響を与える良い方法と悪い方法が存在することが示されている。
本稿では,Jupyter Notebookの再現性を分析する可視化ツールReproduceMeGitを紹介する。
これにより、リポジトリのユーザとオーナーは、Jupyter Notebooksを含むGitHubリポジトリの再現性を再現し、直接分析し、評価することができる。
このツールは、うまく再現できたノート数、例外が発生したノート数、元のノートと異なる結果を持つノート数などの情報を提供する。
リポジトリ内の各ノートブックとその実行のプロヴァンス情報とともに、provbookツールの統合によりrdfにエクスポートすることもできる。 Computational notebooks have gained widespread adoption among researchers from academia and industry as they support reproducible science. These notebooks allow users to combine code, text, and visualizations for easy sharing of experiments and results. They are widely shared in GitHub, which currently has more than 100 million repositories making it the largest host of source code in the world. Recent reproducibility studies have indicated that there exist good and bad practices in writing these notebooks which can affect their overall reproducibility. We present ReproduceMeGit, a visualization tool for analyzing the reproducibility of Jupyter Notebooks. This will help repository users and owners to reproduce and directly analyze and assess the reproducibility of any GitHub repository containing Jupyter Notebooks. The tool provides information on the number of notebooks that were successfully reproducible, those that resulted in exceptions, those with different results from the original notebooks, etc. Each notebook in the repository along with the provenance information of its execution can also be exported in RDF with the integration of the ProvBook tool. | 翻訳日:2023-05-13 05:20:20 公開日:2020-06-22 |
| # 一度しかありません There is only one time ( http://arxiv.org/abs/2006.12103v1 ) ライセンス: Link先を確認 | Caterina Foti, Alessandro Coppo, Giulio Barni, Alessandro Cuccoli, Paola Verrucchi | (参考訳) 我々は、時間の概念だけでなく、古典的あるいは量子的記述を用いるものとは独立に、時間が物理学の基本法則に入る方法にも一貫性を必要とすることによって、この「時間」と呼ばれるものを認識できる物理系の図を描く。
図の要素は相互作用しないが絡み合った2つの量子系であり、そのうちの1つは時計として働き、もう1つは進化する運命にある。
この設定はいわゆる "page and wootters (paw) mechanism" とアップデートに基づいており、li-group と large-n$ の量子アプローチによるツールが含まれている。
全体スキームは量子的であるが、理論的な枠組みにより、時計のみ、あるいは時計と進化系のいずれにおいても古典的な極限を取ることができ、従って、第一のケースではシュル・オーディンガー方程式、第二のケースではハミルトンの運動方程式を導出する。
一般相対性理論と重力の関連性についても提案する。 We draw a picture of physical systems that allows us to recognize what is this thing called "time" by requiring consistency not only with our notion of time but also with the way time enters the fundamental laws of Physics, independently of one using a classical or a quantum description. Elements of the picture are two non-interacting and yet entangled quantum systems, one of which acting as a clock, and the other one doomed to evolve. The setting is based on the so called "Page and Wootters (PaW) mechanism", and updates, with tools from Lie-Group and large-$N$ quantum approaches. The overall scheme is quantum, but the theoretical framework allows us to take the classical limit, either of the clock only, or of the clock and the evolving system altogether; we thus derive the Schr\"odinger equation in the first case, and the Hamilton equations of motion in the second one. Suggestions about possible links with general relativity and gravity are also put forward. | 翻訳日:2023-05-13 05:20:06 公開日:2020-06-22 |
| # チタン添加ニオブ酸リチウム導波路における極低温電気光学偏光変換 Cryogenic Electro-Optic Polarisation Conversion in Titanium in-diffused Lithium Niobate Waveguides ( http://arxiv.org/abs/2006.12078v1 ) ライセンス: Link先を確認 | Frederik Thiele, Felix vom Bruch, Victor Quiring, Raimund Ricken, Harald Herrmann, Christof Eigner, Christine Silberhorn and Tim J. Bartley | (参考訳) 量子フォトニクスの多くの技術は低温条件を必要とする。
しかし、スイッチ、変調器、位相シフト器といったアクティブなコンポーネントを支える基盤となるプラットフォームは、これらの動作条件と互換性を持たなければならない。
そこで本研究では, チタン添加ニオブ酸リチウム導波路の0.8kにおける1550nm光用電気光学偏光変換器の実証を行った。
そこで, ニオブ酸リチウムの電気光学特性を利用して直交偏光モードを繊維-繊維間伝送で43%変換した。
変調深さ23.6 +/-3.3dB、変換電圧長28.8Vcm。
これにより、単一の統合プラットフォーム上で極低温フォトニクスとアクティブコンポーネントの組み合わせが可能になる。 Many technologies in quantum photonics require cryogenic conditions to operate. However, the underlying platform behind active components such as switches, modulators and phase shifters must be compatible with these operating conditions. To address this, we demonstrate an electro-optic polarisation converter for 1550nm light at 0.8K in titanium in-diffused lithium niobate waveguides. To do so, we exploit the electro-optic properties of lithium niobate to convert between orthogonal polarisation modes with a fiber-to-fiber transmission >43%. We achieve a modulation depth of 23.6 +/-3.3dB and a conversion voltage-length product of 28.8 V cm. This enables the combination of cryogenic photonics and active components on a single integration platform. | 翻訳日:2023-05-13 05:19:48 公開日:2020-06-22 |
| # mHealthとuHealthシステムのセキュリティとプライバシ:システムマッピング研究 Security and Privacy for mHealth and uHealth Systems: a Systematic Mapping Study ( http://arxiv.org/abs/2006.12069v1 ) ライセンス: Link先を確認 | Leonardo Horn Iwaya, Aakash Ahmad, M. Ali Babar | (参考訳) モバイルヘルス(mHealth)とユビキタスヘルス(uHealth)システムの採用が増加し、ハンドヘルドデバイスと組み込みセンサーを使用すれば、幅広い医療サービスが可能になる。
しかしながら、m/uhealthシステムは、データのセキュリティとプライバシに関する重大な課題に直面している。
本研究は,m/uHealthシステムのセキュリティとプライバシに関する現状を体系的に識別し,分類し,比較し,評価することを目的とする。
体系的マッピング研究(sms)を365の質的選択研究に基づいて実施した。
一 公表された研究のタイプ、頻度及びデモグラフィーを分類すること。
(ii)研究テーマを合成・分類する。
(iii)繰り返される課題
(iv)顕著な解決方法(すなわち、研究成果)とその方法
(v)評価(実践的検証)を報告した。
その結果,m/uHealthシステムのセキュリティとプライバシに関する既存の研究は,主に特定のコントロールファミリ群(NIST800-53に準拠している),システムと情報の保護,アクセス制御,認証,個人参加,プライバシ権限などに焦点を当てていることが示唆された。
対照的に、データガバナンスやセキュリティ、プライバシポリシ、プログラム管理といった分野は、m/uhealthシステムを使用するほとんどの組織にとって重要ではあるが、過小評価されている。
多くの研究は、現実世界におけるm/uhealthのセキュリティとプライバシの評価の欠如を反映して、検証が限定された新しいソリューションを提案する。
m/uHealthのセキュリティとプライバシに関する実証研究、開発、検証はまだ初期段階であり、実践者が文献から簡単にソリューションを採用することを妨げている可能性がある。
このSMSは知識伝達を容易にし、研究者や実践者が新しい世代のm/uHealthシステムのセキュリティとプライバシを設計できる。 An increased adoption of mobile health (mHealth) and ubiquitous health (uHealth) systems empower users with handheld devices and embedded sensors for a broad range of healthcare services. However, m/uHealth systems face significant challenges related to data security and privacy that must be addressed to increase the pervasiveness of such systems. This study aims to systematically identify, classify, compare, and evaluate state-of-the-art on security and privacy of m/uHealth systems. We conducted a systematic mapping study (SMS) based on 365 qualitatively selected studies to (i) classify the types, frequency, and demography of published research and (ii) synthesize and categorize research themes, (iii) recurring challenges, (iv) prominent solutions (i.e., research outcomes) and their (v) reported evaluations (i.e., practical validations). Results suggest that the existing research on security and privacy of m/uHealth systems primarily focuses on select group of control families (compliant with NIST800-53), protection of systems and information, access control, authentication, individual participation, and privacy authorisation. In contrast, areas of data governance, security and privacy policies, and program management are under-represented, although these are critical to most of the organizations that employ m/uHealth systems. Most research proposes new solutions with limited validation, reflecting a lack of evaluation of security and privacy of m/uHealth in the real world. Empirical research, development, and validation of m/uHealth security and privacy is still incipient, which may discourage practitioners from readily adopting solutions from the literature. This SMS facilitates knowledge transfer, enabling researchers and practitioners to engineer security and privacy for emerging and next generation of m/uHealth systems. | 翻訳日:2023-05-13 05:19:35 公開日:2020-06-22 |
| # 離散位相ランダム化測定デバイス非依存量子鍵分布 Discrete-phase-randomized measurement-device-independent quantum key distribution ( http://arxiv.org/abs/2006.11983v1 ) ライセンス: Link先を確認 | Zhu Cao | (参考訳) 測定-デバイス非依存の量子鍵分布は、量子暗号における全ての検出器側攻撃を除去し、一方で安全な距離を2倍にする。
しかし、ソース側はまださまざまな攻撃に対して脆弱である。
特に、ソース側の連続位相ランダム化仮定は、通常実験的な実装では満たされず、抜け穴を開く可能性がある。
本研究では,実測デバイスに依存しない量子鍵分布における不完全な位相ランダム化の抜け穴が存在することを示す。
そこで本研究では, 離散位相ランダム化測定デバイス非依存量子鍵分散プロトコルを提案する。 Measurement-device-independent quantum key distribution removes all detector-side attacks in quantum cryptography, and in the meantime doubles the secure distance. The source side, however, is still vulnerable to various attacks. In particular, the continuous phase randomization assumption on the source side is normally not fulfilled in experimental implementation and may potentially open a loophole. In this work, we first show that indeed there are loopholes for imperfect phase randomization in measurement-device-independent quantum key distribution by providing a concrete attack. Then we propose a discrete-phase-randomized measurement-device-independent quantum key distribution protocol as a solution to close this source-side loophole. | 翻訳日:2023-05-13 05:18:18 公開日:2020-06-22 |
| # 結合減衰駆動型高調波発振器の次の量子ジャンプ測定による短時間量子ビット読み出しの予測 Prediction of short time qubit readout via measurement of the next quantum jump of a coupled damped driven harmonic oscillator ( http://arxiv.org/abs/2006.11950v1 ) ライセンス: Link先を確認 | Massimo Porrati and Seth Putterman | (参考訳) 読み出し共振器[減衰駆動高調波発振器]に結合した量子ビット[2レベル系]に対する次の量子ジャンプのダイナミクスを計算する。
読み出し共振器の量子力学的処理により、量子ビットの状態検出が共振器寿命よりも早くなる非指数的短時間動作が明らかにされる。 The dynamics of the next quantum jump for a qubit [two level system] coupled to a readout resonator [damped driven harmonic oscillator] is calculated. A quantum mechanical treatment of readout resonator reveals non exponential short time behavior which could facilitate detection of the state of the qubit faster than the resonator lifetime. | 翻訳日:2023-05-13 05:17:54 公開日:2020-06-22 |
| # 高精細ブラッグミラーによる個別誘電体層のウェットエッチング除去 Monitored wet-etch removal of individual dielectric layers from high-finesse Bragg mirrors ( http://arxiv.org/abs/2006.12303v1 ) ライセンス: Link先を確認 | Simon Bernard, Thomas J. Clark, Vincent Dumont, Jiaxing Ma, Jack C. Sankey | (参考訳) 個々の光学系にカスタマイズされた誘電体コーティングを施すことは違法に高価である。
1つの解決策は、多くの光学系を余分な誘電層でバッチコートし、必要に応じて個々の光学系から層を取り除くことである。
ここでは, 個々のSiO$_2$およびTa$2$O$_5$誘電体層を高反射率ファイバミラーから確実に除去(あるいは部分的に除去)する, 低コストで単段階のウェットエッチング技術を提案する。
酸を浸漬し、バンド外反射光を監視することで、反復的に(または連続的に)6つの二重層を取り除くことが容易であることを示す。
それぞれの段階で,Fabry-P\'{e}rotキャビティによる塗膜性能を特徴付け,92,000$\pm$3,000から3,950$\pm$50への微粒化が期待できるほど減少し,光学的損失の証拠は見つからなかった。
エッチングはまた、繊維の側壁コーティングを1つの二層膜で除去し、6つの二層膜の後、残りのコーティングを繊維先端の中央に$$\sim$50-$\mu$m-diameter pedestalに閉じ込める。
溶液の上の蒸気エッチングはテーパー状の「プールキュー」クラディングプロファイルを生成し、繊維の直径(125ドル=$\mu$m)を先端付近で$\sim$0.3$^\circ$の角度で$\sim$100$\mu$mに還元する。
最後に、この手法によって生成されたデータは、層の光深度を感度的に推定する。
この技術は、自由空間光学やその他のコーティングに容易に適用できる。 It is prohibitively expensive to deposit customized dielectric coatings on individual optics. One solution is to batch-coat many optics with extra dielectric layers, then remove layers from individual optics as needed. Here we present a low-cost, single-step, monitored wet etch technique for reliably removing (or partially removing) individual SiO$_2$ and Ta$_2$O$_5$ dielectric layers, in this case from a high-reflectivity fiber mirror. By immersing in acid and monitoring off-band reflected light, we show it is straightforward to iteratively (or continuously) remove six bilayers. At each stage, we characterize the coating performance with a Fabry-P\'{e}rot cavity, observing the expected stepwise decrease in finesse from 92,000$\pm$3,000 to 3,950$\pm$50, finding no evidence of added optical losses. The etch also removes the fiber's sidewall coating after a single bilayer, and, after six bilayers, confines the remaining coating to a $\sim$50-$\mu$m-diameter pedestal at the center of the fiber tip. Vapor etching above the solution produces a tapered "pool cue" cladding profile, reducing the fiber diameter (nominally 125 $\mu$m) to $\sim$100 $\mu$m at an angle of $\sim$0.3$^\circ$ near the tip. Finally, we note that the data generated by this technique provides a sensitive estimate of the layers' optical depths. This technique could be readily adapted to free-space optics and other coatings. | 翻訳日:2023-05-13 05:11:09 公開日:2020-06-22 |
| # 時間依存遮蔽クラッツァー・ヘルマンポテンシャルを用いたファインバーグ・ホロデキ方程式の運動量固有解法 Momentum eigensolutions of Feinberg-Horodecki equation with time-dependent screened Kratzer-Hellmann potential ( http://arxiv.org/abs/2006.12295v1 ) ライセンス: Link先を確認 | Mahmoud Farout, and Sameer M. Ikhdair | (参考訳) 我々は、量子化された運動量固有値 $P_n$ の近似値とシュレーディンガー方程式の空間的相似な空間的コヒーレント固有ベクトル Feinberg-Horodecki 方程式と、このポテンシャルの空間的形式の時間的相似によって構成されるクラッツァー・ヘルマンポテンシャルを得る。
さらに、モーメントと固有状態の正確な固有値は、ファインベルク・ホロデツキ方程式をクラッツァーポテンシャルで解くことで得られる。
本研究は, クラッツァー・ヘルマンポテンシャル, 時間依存クラッツァーポテンシャル, 時間依存ヘルマンポテンシャル, 時間依存遮蔽クーロンポテンシャルという, クラッツァー・ヘルマンポテンシャルの3つの特殊ケースで示される。 We obtain an approximate value of the quantized momentum eigenvalues, $P_n$, together with the space-like coherent eigenvectors for the space-like counterpart of the Schrodinger equation, the Feinberg-Horodecki equation, with a screened Kratzer-Hellmann potential which is constructed by the temporal counterpart of the spatial form of this potential. In addition, we got exact eigenvalues of the momentum and the eigenstates by solving Feinberg-Horodecki equation with Kratzer potential. The present work is illustrated with three special cases of the screened Kratzer-Hellman potential: the time-dependent screened Kratzer potential, time-dependent Hellmann potential and, the time-dependent screened Coulomb potential. | 翻訳日:2023-05-13 05:10:37 公開日:2020-06-22 |
| # 量子インターネットにおけるリピータ方式の最適化 Optimising repeater schemes for the quantum internet ( http://arxiv.org/abs/2006.12221v1 ) ライセンス: Link先を確認 | Kenneth Goodenough, David Elkouss, Stephanie Wehner | (参考訳) 直接伝送を用いて量子通信タスクを実行できる速度は、チャネル損失によって根本的に妨げられる。
量子リピータは原則としてこれらの制限を克服するが、その導入は必ずしも絡み合いの分布にさらに複雑な層を加える必要がある。
この追加の複雑さは、エンタングルメント生成、ベルスワップ、エンタングルメント蒸留などの過程の確率的性質とともに、良好な量子リピータスキームを非自明に見つけることができる。
一般リピータプラットフォームのための量子リピータスキームのサブセット上でヒューリスティック最適化を効率的に行うアルゴリズムを開発した。
BDCZリピータ方式に基づく簡易なリピータ方式に対する最適化と比較して,生成率の大幅な向上が見られた。
このアルゴリズムを用いて、3つの異なる実験的な量子リピータ実装を、絡み合いを分散する能力について研究し、それは \emph{information processing} 実装、 \emph{multiplexed} 実装、および2つの組み合わせをダビングする。
このヒューリスティックなリピータスキームを,様々なパラメータと異なる実験環境に対して,それぞれに最適化する。
これにより、エンタングルメント生成のために改善すべき最も重要なパラメータ、使用するリピータの数、どの実装がエンタングルメントを生成するのに最適な実装かを見積もることができます。 The rate at which quantum communication tasks can be performed using direct transmission is fundamentally hindered by the channel loss. Quantum repeaters allow, in principle, to overcome these limitations, but their introduction necessarily adds an additional layer of complexity to the distribution of entanglement. This additional complexity - along with the stochastic nature of processes such as entanglement generation, Bell swaps, and entanglement distillation - makes finding good quantum repeater schemes non-trivial. We develop an algorithm that can efficiently perform a heuristic optimisation over a subset of quantum repeater schemes for general repeater platforms. We find a strong improvement in the generation rate in comparison to an optimisation over a simpler class of repeater schemes based on BDCZ repeater schemes. We use the algorithm to study three different experimental quantum repeater implementations on their ability to distribute entanglement, which we dub \emph{information processing} implementations, \emph{multiplexed} implementations, and combinations of the two. We perform this heuristic optimisation of repeater schemes for each of these implementations for a wide range of parameters and different experimental settings. This allows us to make estimates on what are the most critical parameters to improve for entanglement generation, how many repeaters to use, and which implementations perform best in their ability to generate entanglement. | 翻訳日:2023-05-13 05:10:03 公開日:2020-06-22 |
| # LightGBM PU学習とSpark MLアルゴリズムに基づくスマートホーム製品の潜在的顧客マイニング応用 Potential customer mining application of smart home products based on LightGBM PU learning and Spark ML algorithm practice ( http://arxiv.org/abs/2006.12191v1 ) ライセンス: Link先を確認 | Duan Zhihua, Wang JiaLin | (参考訳) 本稿では,中国テレコム上海の企業内競争におけるビッグデータベースのインテリジェント製品の可能性について検討する。
ビッグデータテーブルに基づく膨大な量のデータ、機械学習とデータ分析技術の使用、LightGBMのアルゴリズム、PySparkの機械学習アルゴリズム、Positive Unlabeled Learningアルゴリズムの使用、顧客が家ごとの製品を購入するかどうかの予測、顧客の人工知能への精密なマーケティング、膨大なデータ容量、企業のインテリジェントな製品の開発を促進する。 This paper studies the case of big data-based intelligent product potential customer mining internal competition in China Telecom Shanghai Company. Huge amounts of data based on big data table, the use of machine Learning and data analysis technology, using the algorithm of LightGBM, PySpark machine Learning algorithms, Positive Unlabeled Learning algorithm, and predict whether customers buy whole house product, precision marketing into artificial intelligence for the customer, large data capacity, promote the development of intelligent products of the company. | 翻訳日:2023-05-13 05:09:02 公開日:2020-06-22 |
| # ナノスケール光トラップ電位における原子運動の測定とシミュレーション Measurement and simulation of atomic motion in nanoscale optical trapping potentials ( http://arxiv.org/abs/2006.12167v1 ) ライセンス: Link先を確認 | Signe B. Markussen, J\"urgen Appel, Christoffer {\O}stfeldt, Jean-Baptiste S. B\'eguin, Eugene S. Polzik, J\"org H. M\"uller | (参考訳) ナノファイバーの周りのエバネッセント場に閉じ込められた原子は、ファイバーモードで導かれた光と強く結合する。
しかし、結合の本質的に強い位置依存のため、アンサンブルの熱運動はいくつかの量子タスクにおいてナノファイバートラップ原子の使用を制限する。
短光パルスを用いて原子状態間の空間的不均一な集団移動を実現することにより,このようなアンサンブルの熱力学を解明する。
このスキームによって生成された原子の波のパケットを監視すると、原子のスロッシングと分散に起因する減衰振動の挙動が見つかる。
振動周波数は約100kHzで、原子間の運動の劣化は10$\mu$sの時間スケールで起こる。
1000個の古典粒子のアンサンブルのモンテカルロシミュレーションと比較すると、25$\mu$K と 40$\mu$K のシミュレートされたアンサンブル温度に対する合理的な一致が得られる。 Atoms trapped in the evanescent field around a nanofiber experience strong coupling to the light guided in the fiber mode. However, due to the intrinsically strong positional dependence of the coupling, thermal motion of the ensemble limits the use of nanofiber trapped atoms for some quantum tasks. We investigate the thermal dynamics of such an ensemble by using short light pulses to make a spatially inhomogeneous population transfer between atomic states. As we monitor the wave packet of atoms created by this scheme, we find a damped oscillatory behavior which we attribute to sloshing and dispersion of the atoms. Oscillation frequencies range around 100 kHz, and motional dephasing between atoms happens on a timescale of 10 $\mu$s. Comparison to Monte Carlo simulations of an ensemble of 1000 classical particles yields reasonable agreement for simulated ensemble temperatures between 25 $\mu$K and 40 $\mu$K. | 翻訳日:2023-05-13 05:08:43 公開日:2020-06-22 |
| # NV中心を用いたナノNMR分光 Confined nano-NMR spectroscopy using NV centers ( http://arxiv.org/abs/2006.12115v1 ) ライセンス: Link先を確認 | Daniel Cohen, Ramil Nigmatullin, Matan Eldar, Alex Retzker | (参考訳) 窒素空孔中心を持つナノNMR分光法は、微小サンプルの高分解能スペクトルを提供する可能性を秘めている。
これは化学、医学、医薬品工学に重要な意味を持つと考えられている。
この技術が直面する主なハードルの一つは、非分極液体サンプルの拡散がスペクトル線を広げ、分解能を制限することである。
したがって、この分野の実験は、挑戦的な試みである試料の高偏極を達成するための努力によって妨げられる。
ここでは,液体が少量に制限されるシナリオについて検討する。
閉じ込めは拡散効果であり,NV-NMR分光器の分解能に大きな障害を克服する。 Nano-NMR spectroscopy with nitrogen-vacancy centers holds the potential to provide high resolution spectra of minute samples. This is likely to have important implications for chemistry, medicine and pharmaceutical engineering. One of the main hurdles facing the technology is that diffusion of unpolarized liquid samples broadens the spectral lines thus limiting resolution. Experiments in the field are therefore impeded by the efforts involved in achieving high polarization of the sample which is a challenging endeavor. Here we examine a scenario where the liquid is confined to a small volume. We show that the confinement 'counteracts' the effect of diffusion, thus overcoming a major obstacle to the resolving abilities of the NV-NMR spectrometer. | 翻訳日:2023-05-13 05:08:08 公開日:2020-06-22 |
| # 地面におけるゲーム理論: ポーカーの劣化に及ぼすパトロールの増加の影響 Game Theory on the Ground: The Effect of Increased Patrols on Deterring Poachers ( http://arxiv.org/abs/2006.12411v1 ) ライセンス: Link先を確認 | Lily Xu, Andrew Perrault, Andrew Plumptre, Margaret Driciru, Fred Wanyama, Aggrey Rwetsiba, Milind Tambe | (参考訳) 野生生物保護のための人工知能の応用は、歴史的パターンに基づく密猟者の行動の学習モデルに焦点を当てている。
しかし、密猟者の行動は、歴史的好みだけでなく、レンジャーパトロールに対する反応からも説明されている。
機械学習とゲーム理論をポーチと戦うために応用した過去の研究は、レンジャーパトロールがポーチを抑えるという仮説を立てている。
ここでは,実世界の密猟データに対する測定可能な抑止効果を初めて示す。
ある地域でのパトロールが増加すると、次の時間に密猟が抑えられるが、密猟者は隣の地域に移動する。
本研究は,現実のゲーム理論環境での敵をモデル化する方法に関するガイダンスを提供する。 Applications of artificial intelligence for wildlife protection have focused on learning models of poacher behavior based on historical patterns. However, poachers' behaviors are described not only by their historical preferences, but also their reaction to ranger patrols. Past work applying machine learning and game theory to combat poaching have hypothesized that ranger patrols deter poachers, but have been unable to find evidence to identify how or even if deterrence occurs. Here for the first time, we demonstrate a measurable deterrence effect on real-world poaching data. We show that increased patrols in one region deter poaching in the next timestep, but poachers then move to neighboring regions. Our findings offer guidance on how adversaries should be modeled in realistic game-theoretic settings. | 翻訳日:2023-05-13 05:01:10 公開日:2020-06-22 |
| # 反射法に基づく電荷,スピンおよびマヨラナ量子ビット読み出しにおける電荷ノイズとオーバードライブ誤差 Charge noise and overdrive errors in reflectometry-based charge, spin and Majorana qubit readout ( http://arxiv.org/abs/2006.12391v1 ) ライセンス: Link先を確認 | Vahid Derakhshan Maman, M. F. Gonzalez-Zalba, Andr\'as P\'alyi | (参考訳) 量子ドットを含む固体量子ビットはゲート反射法によって読み出すことができる。
本稿では,そのような反射法に基づく読み出しスキームを不完全にする物理機構を理論的に記述する。
電荷量子ビット、一重項スピン量子ビット、マヨラナ量子ビットについて述べる。
我々のモデルでは、低速な電荷雑音による読み出し誤差と過度の運転による過度なプローブがエラーを引き起こしている場合の読み出し誤差を考慮に入れている。
鍵となる結果として、電荷とスピン量子ビットの場合、読み出しフィリティは大きなプローブ強度で飽和するが、マヨラナ量子ビットの場合、最大値の読み出しフィリティを提供する最適なプローブ強度がある。
また, パルス強度が増大するにつれて, 共鳴のような方法で発生する重度の読み出し誤差の存在を指摘し, これらの誤差がプローブ誘起多光子遷移と関連していることを示す。
本研究は,最適化読解のための実用的なガイドラインを提供するとともに,ゲート反射計をデバイス特性評価に用いる方法も提案する。 Solid-state qubits incorporating quantum dots can be read out by gate reflectometry. Here, we theoretically describe physical mechanisms that render such reflectometry-based readout schemes imperfect. We discuss charge qubits, singlet-triplet spin qubits, and Majorana qubits. In our model, we account for readout errors due to slow charge noise, and due to overdriving, when a too strong probe is causing errors. A key result is that for charge and spin qubits, the readout fidelity saturates at large probe strengths, whereas for Majorana qubits, there is an optimal probe strength which provides a maximized readout fidelity. We also point out the existence of severe readout errors appearing in a resonance-like fashion as the pulse strength is increased, and show that these errors are related to probe-induced multi-photon transitions. Besides providing practical guidelines toward optimized readout, our study might also inspire ways to use gate reflectometry for device characterization. | 翻訳日:2023-05-13 05:00:44 公開日:2020-06-22 |
| # ナノトーラスの電子的性質 Electronic properties of a nanotorus ( http://arxiv.org/abs/2006.12359v1 ) ライセンス: Link先を確認 | J.E.G.Silva, J. Furtado and A.C.A.Ramos | (参考訳) 本稿では,トーラス表面に閉じ込められた電子の性質について検討する。
表面曲率が波動関数のスペクトルおよび挙動に及ぼす影響について考察する。
さらに外部の電場や磁場の影響も探究された。
トーラス状構成とリング状構成の2つのトーラス構成が実験データと一致して検討された。
また、境界状態を取得し、ランドーレベルにおける幾何学の役割について議論する。 In this paper we study the properties of an electron trapped on a torus surface. We consider the influence of surface curvature on the spectrum and the behaviour of the wave function. In addition, the effects of external electric and magnetic fields were explored. Two toroid configurations were considered, namely, a torus-like configuration and a ring-like configuration both in agreement with experimental data. We also obtain the bound states and discuss the role of geometry on the Landau levels. | 翻訳日:2023-05-13 05:00:01 公開日:2020-06-22 |
| # 雑音量子コンピュータによる多体局在の探索 Probing many-body localization on a noisy quantum computer ( http://arxiv.org/abs/2006.12355v1 ) ライセンス: Link先を確認 | D. Zhu, S. Johri, N. H. Nguyen, C. Huerta Alderete, K. A. Landsman, N. M. Linke, C. Monroe, A. Y. Matsuura | (参考訳) 相互作用粒子の無秩序な系は、相互作用強度に比べて障害が大きいときの局所的な挙動を示す。
この現象を誤差補正なしで量子コンピュータで研究することは、熱環境への弱い結合でさえも局在化のほとんどのシグネチャを破壊するため困難である。
幸いなことに、局所作用素のスペクトル関数はノイズの存在に耐えられる特徴を含むことが知られている。
これらのスペクトルでは、離散ピークと低周波のソフトギャップは、熱位相と比較して局在を示す。
本稿では,障害のある1次元ハイゼンベルクモデルに対するトラップイオン量子コンピュータ上のスペクトル関数の計算について述べる。
さらに,障害の増大に伴って局所化の明確なシグネチャが出現しうる測定値からノイズを取り除くのに有効な誤り除去手法を設計する。
したがって、スペクトル関数は、現在の量子コンピュータにおける多体局在のロバストでスケーラブルな診断に役立てることができる。 A disordered system of interacting particles exhibits localized behavior when the disorder is large compared to the interaction strength. Studying this phenomenon on a quantum computer without error correction is challenging because even weak coupling to a thermal environment destroys most signatures of localization. Fortunately, spectral functions of local operators are known to contain features that can survive the presence of noise. In these spectra, discrete peaks and a soft gap at low frequencies compared to the thermal phase indicate localization. Here, we present the computation of spectral functions on a trapped-ion quantum computer for a one-dimensional Heisenberg model with disorder. Further, we design an error-mitigation technique which is effective at removing the noise from the measurement allowing clear signatures of localization to emerge as the disorder increases. Thus, we show that spectral functions can serve as a robust and scalable diagnostic of many-body localization on the current generation of quantum computers. | 翻訳日:2023-05-13 04:59:36 公開日:2020-06-22 |
| # 確率過程のネットワークから生じる文脈性シナリオ Contextuality scenarios arising from networks of stochastic processes ( http://arxiv.org/abs/2006.12432v1 ) ライセンス: Link先を確認 | Rodrigo Iglesias, Fernando Tohm\'e, Marcelo Auday | (参考訳) 経験的モデルは確率空間の一般化である。
確率変数のクラス X の部分集合の単純複体(simplicial complex)で構成され、各単体が関連する確率分布を持つ。
続く辺化は、単純体の面上の分布が単純体の全体上の分布の辺りと一致するという意味で、コヒーレントである。
経験的モデル(experimental model)とは、その分布が x 上の合同分布を辺化できない場合、文脈的モデルと呼ばれる。
本稿では,多くの確率過程間の相互作用という,文脈経験モデルの異なる古典的源泉について述べる。
入力と出力のランダム変数を持つ開確率過程を各ノードが表現するネットワークに経験的モデルを付加する。
長期にわたるネットワークの統計的挙動は、経験的モデルを一般的な文脈的かつ強い文脈的にする。 An empirical model is a generalization of a probability space. It consists of a simplicial complex of subsets of a class X of random variables such that each simplex has an associated probability distribution. The ensuing marginalizations are coherent, in the sense that the distribution on a face of a simplex coincides with the marginal of the distribution over the entire simplex. An empirical model is said contextual if its distributions cannot be obtained marginalizing a joint distribution over X. Contextual empirical models arise naturally in quantum theory, giving rise to some of its counter-intuitive statistical consequences. In this paper we present a different and classical source of contextual empirical models: the interaction among many stochastic processes. We attach an empirical model to the ensuing network in which each node represents an open stochastic process with input and output random variables. The statistical behavior of the network in the long run makes the empirical model generically contextual and even strongly contextual. | 翻訳日:2023-05-13 04:48:43 公開日:2020-06-22 |
| # 1/fノイズと量子不確定性 1/f noise and quantum indeterminacy ( http://arxiv.org/abs/2006.12412v1 ) ライセンス: Link先を確認 | Kirill A. Kazakov | (参考訳) フーリエ変換信号の不確かさ関係に基づく導体中の1/f電圧雑音問題へのアプローチを開発した。
観測可能時間の非可換性に起因する量子不確定性は電圧自己共分散を曖昧にするが、ゆらぎのパワースペクトルは明確に定義されている。
電圧相関関数の非対称部分に関連するパワースペクトル上の下界が存在することが示されている。
シュウィンガー・ケルディシュ法を用いて、この境界はパラボリック分散を持つ非偏極荷電担体の場合、明示的に計算され、1/fの低周波漸近を持つ。
InGaAs量子井戸における1/fノイズ測定との比較により、観測されたノイズレベルが確立された境界値のわずか数倍であることを示す。 An approach to the problem of 1/f voltage noise in conductors is developed based on an uncertainty relation for the Fourier-transformed signal. The quantum indeterminacy caused by non-commutativity of the observables at different times makes the voltage autocovariance ambiguous, but the power spectrum of fluctuations remains well-defined. It is shown that a lower bound on the power spectrum exists, which is related to the antisymmetric part of the voltage correlation function. Using the Schwinger-Keldysh method, this bound is calculated explicitly in the case of unpolarized charge carriers with a parabolic dispersion, and is found to have a 1/f low-frequency asymptotic. A comparison with the 1/f-noise measurements in InGaAs quantum wells is made which shows that the observed noise levels are only a few times higher than the bound established. | 翻訳日:2023-05-13 04:48:28 公開日:2020-06-22 |
| # ブラックホール衝突の量子ヘア Quantum Hair on Colliding Black Holes ( http://arxiv.org/abs/2007.01106v1 ) ライセンス: Link先を確認 | Lawrence Crowell and Christian Corda | (参考訳) 抽象ブラックホール衝突は重力放射を生じさせ、一般に量子限界は重力子であると考えられている。
ブラックホールの伸長した地平線には量子情報(量子毛の一種)が含まれており、ブラックホールの合体が重力子の生成に関与している。
これは、BH量子力学に対する準正規モード(QNM)アプローチによるブラックホール(BH)量子物理学に対するボーアのようなアプローチによって促進される。
事象地平線上の量子重力と量子毛は、bh結合のより高いエネルギーに励起される。
衝突直前の2つのBHの近地平線状態は、変形したAdS時空である。
これらのBH量子毛の励起状態は、グラビトンの生成によって緩和される。
このことは、地平線上の量子ヘアによって与えられるRTエントロピーを定義することを主張する。
BHの合体から得られた情報の量子ビットは重力波(GW)データに現れる。
これは標準ads/cft対応と龍高柳(rt)公式の形式である。 Abstract Black hole collision produce gravitational radiation which is generally thought in a quantum limit to be gravitons. The stretched horizon of a black hole contains quantum information, or a form of quantum hair, which in a coalescence of black holes participates in the generation of gravitons. This may be facilitated with a Bohr-like approach to black hole (BH) quantum physics with quasi-normal mode (QNM) approach to BH quantum mechanics. Quantum gravity and quantum hair on event horizons is excited to higher energy in BH coalescence. The near horizon condition for two BHs right before collision is a deformed AdS spacetime. These excited states of BH quantum hair then relax with the production of gravitons. This is then argued to define RT entropy given by quantum hair on the horizons. These qubits of information from a BH coalescence should then appear in gravitational wave (GW) data. This is a form of the standard AdS/CFT correspondence and the Ryu-Takayanagi (RT) formula. | 翻訳日:2023-05-13 04:42:09 公開日:2020-06-22 |
| # 安全技術を用いた下請サービスの導入に対する寄託機関の対応 Paratransit Agency Responses to the Adoption of Sub-contracted Services Using Secure Technologies ( http://arxiv.org/abs/2006.12628v1 ) ライセンス: Link先を確認 | Amari N. Lewis, Amelia C. Regan | (参考訳) アメリカ合衆国中の交通機関は、すべての旅行者に交通サービスを提供する責任がある。
障害のある旅行者のニーズを満たすように設計されたパラトランジットサービスは数十年間利用されてきたが、1990年のアメリカ障害者法(americans with disabilities act)により、アメリカ各機関で統一された要件が採用された。
これらのパラトランジット事業者の多くは、少なくとも1日前にスケジュールする必要があるサービスを提供している。
また、アクセス可能なバスによるサービスの提供は一般的に非常に高価である。
そのため、一部のサービスを承認された配車サービスやタクシーサービスに下請することを検討している機関も多い。
本研究の目的は,安全技術を活用した下請けサービスの導入に関して,様々な公共機関の意見を検討することである。
我々の研究はこれらのパートナーシップの将来についての洞察を提供する。
企業は安全技術を保存するプライバシーの使用に関心を示し、またパラトランジットの乗客やオペレーターのためのより良いソフトウェアソリューションへの強い欲求を表明した。
オンライン調査は完成率19.1%で30の回答を得た。
我々の主な知見は、タクシーやtncが提供する車椅子対応車両が不足していることであり、調査対象機関の約36%がそのような提携を考慮していないことである。 Transportation agencies across the United States have the responsibility of providing transportation services for all travelers. Paratransit services which are designed to meet the needs of disabled travelers have been available to a certain extent for decades, but under the Americans with Disabilities Act mandate of 1990, uniform requirements were adopted across U.S. agencies. Most of these paratransit operators offer services which must be scheduled at least a day in advance. And, provision of these services by accessible busses is generally very expensive. Therefore, many agencies are considering sub-contracting some services to approved ride-hailing or taxi services. The purpose of this work is to examine the opinions of various public agencies with respect to the adoption of sub-contracted services through the use of secure technologies. Our research provides insight into the future of these partnerships. Agencies expressed interest in the use of privacy preserving secure technologies as well as a strong desire for better software solutions for paratransit passengers and operators. The on-line survey received thirty responses for a completion rate of 19.1%. Our primary findings are that a major concern of agencies for this sort of arrangement is the lack of Wheelchair Accessible Vehicles offered by taxis and TNCs and about 36% of the surveyed agencies have not considered such partnerships. | 翻訳日:2023-05-13 04:40:01 公開日:2020-06-22 |
| # 非認知的要因が難聴者の二次的持続性に及ぼす影響:エージェント・ベース・モデリング・アプローチ Effects of Non-Cognitive Factors on Post-Secondary Persistence of Deaf Students: An Agent-Based Modeling Approach ( http://arxiv.org/abs/2006.12624v1 ) ライセンス: Link先を確認 | Marie Alaghband, Ivan Garibay | (参考訳) 後中等教育の持続性は、後中等教育に残る学生の可能性である。
近年,難聴者に対する第2次持続性が増加しているが,第2次学習目標の達成を妨げる障害は多い。
そのため,聴覚障害者の教育や作業目標の増大には,持続率の上昇が不可欠である。
本研究では,難聴者の永続現象に対するNetLogoソフトウェアを用いたエージェントベースモデルを提案する。
非認知的要因として, 明確な目標, 社会的統合, 社会的スキル, 学歴の4つを考察し, 聴覚障害者の退学決定に影響を及ぼす。
この研究の進展と結果から、エージェントベースのモデリングアプローチは、永続性を高めるものをよりよく理解することを約束している。 Post-secondary education persistence is the likelihood of a student remaining in post-secondary education. Although statistics show that post-secondary persistence for deaf students has increased recently, there are still many obstacles obstructing students from completing their post-secondary degree goals. Therefore, increasing the persistence rate is crucial to increase education and work goals for deaf students. In this work, we present an agent-based model using NetLogo software for the persistence phenomena of deaf students. We consider four non-cognitive factors: having clear goals, social integration, social skills, and academic experience, which influence the departure decision of deaf students. Progress and results of this work suggest that agent-based modeling approaches promise to give better understanding of what will increase persistence. | 翻訳日:2023-05-13 04:39:42 公開日:2020-06-22 |
| # 遠方放射源からの集団放射 Collective radiation from distant emitters ( http://arxiv.org/abs/2006.12569v1 ) ライセンス: Link先を確認 | Kanu Sinha, Alejandro Gonz\'alez-Tudela, Yong Lu, Pablo Solano | (参考訳) 導波路は、大きな距離で分離されたエミッタの直接結合を可能にし、リモート量子システムに接続する経路を提供する。
しかし、実用化に必要な距離に直面すると、光の有限速度による遅延効果がしばしば見過ごされる。
以前の研究では遅延を伴うエミッターの非マルコフ力学を研究したが、放射された磁場の性質はほとんど未解明のままである。
導波路を介して結合された2つの遠方2層原子のおもちゃモデルを考えると、放射された磁場のスペクトルは、標準超輝度を超える線幅の拡大やファノ共鳴のような狭いピークのような非マルコフ的特徴を示す。
また、双極子-双極子相互作用は遅延の結果、原子線幅によって決定される距離とともに指数関数的に崩壊することを示した。
本稿では,超伝導回路プラットフォームにおける概念実証実装について論じる。 Waveguides allow for direct coupling of emitters separated by large distances, offering a path to connect remote quantum systems. However, when facing the distances needed for practical applications, retardation effects due to the finite speed of light are often overlooked. Previous works studied the non-Markovian dynamics of emitters with retardation, but the properties of the radiated field remain mostly unexplored. By considering a toy model of two distant two-level atoms coupled through a waveguide, we observe that the spectrum of the radiated field exhibits non-Markovian features such as linewidth broadening beyond standard superradiance, or narrow Fano resonance-like peaks. We also show that the dipole-dipole interaction decays exponentially with distance as a result of retardation, with the range determined by the atomic linewidth. We discuss a proof-of-concept implementation of our results in a superconducting circuit platform. | 翻訳日:2023-05-13 04:39:21 公開日:2020-06-22 |
| # 知識グラフからのテキスト生成のためのグローバルおよびローカルノードコンテキストのモデリング Modeling Global and Local Node Contexts for Text Generation from Knowledge Graphs ( http://arxiv.org/abs/2001.11003v2 ) ライセンス: Link先を確認 | Leonardo F. R. Ribeiro, Yue Zhang, Claire Gardent and Iryna Gurevych | (参考訳) 最近のgraph-to-textモデルは、グラフベースのデータからテキストを生成し、グローバルまたはローカルアグリゲーションを使用してノード表現を学習する。
グローバルノードエンコーディングは、2つの離れたノード間の明示的な通信を可能にする。
対照的に、局所ノード符号化はグラフ構造をキャプチャする隣ノード間の関係を考慮するが、長距離関係をキャプチャできない。
本研究では,グローバルなノードコンテキストとローカルなノードコンテキストを組み合わせた入力グラフを符号化するニューラルモデルを提案することによって,より優れたコンテキスト化ノード埋め込みを学習する。
実験では,AGENDAデータセットでは18.01点,WebNLGデータセットでは63.69点,最先端モデルでは3.7点,最先端モデルでは3.1点,グラフからテキストまでの2つのデータセットでは63.69点の大幅な改善が得られた。 Recent graph-to-text models generate text from graph-based data using either global or local aggregation to learn node representations. Global node encoding allows explicit communication between two distant nodes, thereby neglecting graph topology as all nodes are directly connected. In contrast, local node encoding considers the relations between neighbor nodes capturing the graph structure, but it can fail to capture long-range relations. In this work, we gather both encoding strategies, proposing novel neural models which encode an input graph combining both global and local node contexts, in order to learn better contextualized node embeddings. In our experiments, we demonstrate that our approaches lead to significant improvements on two graph-to-text datasets achieving BLEU scores of 18.01 on AGENDA dataset, and 63.69 on the WebNLG dataset for seen categories, outperforming state-of-the-art models by 3.7 and 3.1 points, respectively. | 翻訳日:2023-01-05 21:12:15 公開日:2020-06-22 |
| # 線形力学系の同定のためのアクティブラーニング Active Learning for Identification of Linear Dynamical Systems ( http://arxiv.org/abs/2002.00495v2 ) ライセンス: Link先を確認 | Andrew Wagenmaker and Kevin Jamieson | (参考訳) 線形力学系のパラメータを積極的に推定するアルゴリズムを提案する。
システムの入力を完全に制御すると,アルゴリズムは入力を適応的に選択して推定を高速化する。
アルゴリズムが達成した推定速度を有限の時間境界で定量化し、その漸近的最適性を保証する上下界と下界の一致を定数まで証明する。
さらに, 最適に調整された共分散であっても, ガウス雑音を用いてシステムの励起を行う場合, この最適速度は達成できないことを示し, 提案アルゴリズムが雑音の再生によって得られるオーバレートを良好に改善するいくつかの例を解析した。
本解析は、任意周期入力が実行されている場合の力学系のパラメータ推定における誤差を定量化する新しい結果に批判的に依存する。
結論として,実際のアルゴリズムの有効性を示す数値例を挙げる。 We propose an algorithm to actively estimate the parameters of a linear dynamical system. Given complete control over the system's input, our algorithm adaptively chooses the inputs to accelerate estimation. We show a finite time bound quantifying the estimation rate our algorithm attains and prove matching upper and lower bounds which guarantee its asymptotic optimality, up to constants. In addition, we show that this optimal rate is unattainable when using Gaussian noise to excite the system, even with optimally tuned covariance, and analyze several examples where our algorithm provably improves over rates obtained by playing noise. Our analysis critically relies on a novel result quantifying the error in estimating the parameters of a dynamical system when arbitrary periodic inputs are being played. We conclude with numerical examples that illustrate the effectiveness of our algorithm in practice. | 翻訳日:2023-01-04 19:55:26 公開日:2020-06-22 |
| # 創発的コミュニケーションにおける監督とセルフプレイの相互作用について On the interaction between supervision and self-play in emergent communication ( http://arxiv.org/abs/2002.01093v2 ) ライセンス: Link先を確認 | Ryan Lowe, Abhinav Gupta, Jakob Foerster, Douwe Kiela, Joelle Pineau | (参考訳) 自然言語を人工エージェントに教えるための有望なアプローチは、ループ内トレーニングを使用することである。
しかし、最近の研究では、現在の機械学習メソッドはデータ非効率であり、この方法でスクラッチからトレーニングできないことが示唆されている。
本稿では,教師付き学習による人間の言語データを模倣し,自己再生(創発的コミュニケーション)によるシミュレーションマルチエージェント環境における報酬を最大化すること,これら2つの信号を用いたアルゴリズムの教師付き自己再生(s2p)という用語を紹介する。
人間のデータに基づく教師付き学習による初等訓練エージェントが,自己演奏が会話を上回り,ゼロから言語を創出するのは有益ではないことが示唆された。
次に、シンボル入力を持つルイス信号ゲームと、自然言語記述を持つ画像ベースの参照ゲームという、2つの環境で教師付き学習から始まる様々なS2Pスケジュールを実証的に検討する。
最後に,s2pに対する集団ベースアプローチを導入し,単一エージェント法の性能をさらに向上させる。 A promising approach for teaching artificial agents to use natural language involves using human-in-the-loop training. However, recent work suggests that current machine learning methods are too data inefficient to be trained in this way from scratch. In this paper, we investigate the relationship between two categories of learning signals with the ultimate goal of improving sample efficiency: imitating human language data via supervised learning, and maximizing reward in a simulated multi-agent environment via self-play (as done in emergent communication), and introduce the term supervised self-play (S2P) for algorithms using both of these signals. We find that first training agents via supervised learning on human data followed by self-play outperforms the converse, suggesting that it is not beneficial to emerge languages from scratch. We then empirically investigate various S2P schedules that begin with supervised learning in two environments: a Lewis signaling game with symbolic inputs, and an image-based referential game with natural language descriptions. Lastly, we introduce population based approaches to S2P, which further improves the performance over single-agent methods. | 翻訳日:2023-01-04 02:24:58 公開日:2020-06-22 |
| # 1ビット圧縮センシングと2元安定埋め込みのためのサンプル複雑性境界 Sample Complexity Bounds for 1-bit Compressive Sensing and Binary Stable Embeddings with Generative Priors ( http://arxiv.org/abs/2002.01697v3 ) ライセンス: Link先を確認 | Zhaoqiang Liu, Selwyn Gomes, Avtansh Tiwari, Jonathan Scarlett | (参考訳) 標準1ビット圧縮センシングの目標は、未知のスパースベクトルをバイナリ値の測定から正確に回収することであり、それぞれがベクトルの線形関数の符号を示す。
生成モデルを用いた圧縮センシングの最近の進歩に動機づけられ, 生成モデル仮定が通常のスパーシティ仮定を置き換える場合, 生成モデルを用いた1ビット圧縮センシングの問題について検討した。
まずノイズのない1ビット測定について検討し、ガウス測度とリプシッツ連続生成前の近似回復のためのサンプル複雑性境界と、近似マッチングアルゴリズムに依存しない下界を提供する。
さらに, 測定誤差やノイズに対する再構成の頑健さを特徴付けるバイナリ$\epsilon$-Stableの埋め込み特性が, 十分に多くのガウス測度を持つリプシッツ連続生成モデルを用いた1ビット圧縮センシングに有効であることを示す。
さらに,ニューラルネットワーク生成モデルに適用し,スパーシティに基づくアプローチに対して有意な改善を示す概念実証数値実験を行った。 The goal of standard 1-bit compressive sensing is to accurately recover an unknown sparse vector from binary-valued measurements, each indicating the sign of a linear function of the vector. Motivated by recent advances in compressive sensing with generative models, where a generative modeling assumption replaces the usual sparsity assumption, we study the problem of 1-bit compressive sensing with generative models. We first consider noiseless 1-bit measurements, and provide sample complexity bounds for approximate recovery under i.i.d.~Gaussian measurements and a Lipschitz continuous generative prior, as well as a near-matching algorithm-independent lower bound. Moreover, we demonstrate that the Binary $\epsilon$-Stable Embedding property, which characterizes the robustness of the reconstruction to measurement errors and noise, also holds for 1-bit compressive sensing with Lipschitz continuous generative models with sufficiently many Gaussian measurements. In addition, we apply our results to neural network generative models, and provide a proof-of-concept numerical experiment demonstrating significant improvements over sparsity-based approaches. | 翻訳日:2023-01-03 21:21:59 公開日:2020-06-22 |
| # 学習可能なスパース性に対するソフトしきい値重み再パラメータ化 Soft Threshold Weight Reparameterization for Learnable Sparsity ( http://arxiv.org/abs/2002.03231v9 ) ライセンス: Link先を確認 | Aditya Kusupati, Vivek Ramanujan, Raghav Somani, Mitchell Wortsman, Prateek Jain, Sham Kakade, Ali Farhadi | (参考訳) Deep Neural Networks (DNN) におけるスパシティーは、全体的なパラメータ予算から予測精度を最大化することに焦点を当てて広く研究されている。
既存の手法は、最適層単位のパラメータ割り当てを持つ一様または一様でない不均一性予算に依存している。
a)低い予測精度または
b)高い推論コスト(FLOP)
本研究は,DNN重みに対するソフト閾値演算子の新しい使用法であるソフト閾値パラメータ化(STR)を提案する。
STRはプルーニング閾値を学習しながらスペーサを円滑に誘導し、不均一なスペーサ性予算を得る。
提案手法は,CNNにおける非構造的間隔に対する最先端の精度(ImageNet-1K上のResNet50とMobileNetV1)を実現するとともに,FLOPを最大50%削減する一様でない予算を学習する。
特にSTRは、超スパース(99%)レギュレーションで既存の結果の精度を最大10%向上させ、RNNの低ランク(構造的間隔)を誘導するためにも使用できる。
要するにSTRは、一般的なヒューリスティックとは対照的な効果的な空間予算を学習するシンプルなメカニズムである。
コード、事前トレーニングされたモデル、およびスパーシティ予算はhttps://github.com/RAIVNLab/STR.orgにある。 Sparsity in Deep Neural Networks (DNNs) is studied extensively with the focus of maximizing prediction accuracy given an overall parameter budget. Existing methods rely on uniform or heuristic non-uniform sparsity budgets which have sub-optimal layer-wise parameter allocation resulting in a) lower prediction accuracy or b) higher inference cost (FLOPs). This work proposes Soft Threshold Reparameterization (STR), a novel use of the soft-threshold operator on DNN weights. STR smoothly induces sparsity while learning pruning thresholds thereby obtaining a non-uniform sparsity budget. Our method achieves state-of-the-art accuracy for unstructured sparsity in CNNs (ResNet50 and MobileNetV1 on ImageNet-1K), and, additionally, learns non-uniform budgets that empirically reduce the FLOPs by up to 50%. Notably, STR boosts the accuracy over existing results by up to 10% in the ultra sparse (99%) regime and can also be used to induce low-rank (structured sparsity) in RNNs. In short, STR is a simple mechanism which learns effective sparsity budgets that contrast with popular heuristics. Code, pretrained models and sparsity budgets are at https://github.com/RAIVNLab/STR. | 翻訳日:2023-01-02 22:11:21 公開日:2020-06-22 |
| # 深層学習ダイナミクスの拡散理論:確率的勾配の指数関数的にフラットミニマを好む A Diffusion Theory For Deep Learning Dynamics: Stochastic Gradient Descent Exponentially Favors Flat Minima ( http://arxiv.org/abs/2002.03495v14 ) ライセンス: Link先を確認 | Zeke Xie, Issei Sato, and Masashi Sugiyama | (参考訳) Stochastic Gradient Descent (SGD)とその変種は、実際にディープネットワークを訓練するための主流の方法である。
SGD はしばしばよく一般化される平坦な最小値を見つけることが知られている。
しかし、深層学習がこれほど多くのミニマの中でいかに平坦な最小を選択するかは数学的に不明確である。
この疑問に定量的に答えるために,ミニマ選択がミニマシャープネスとハイパーパラメータに依存するかを明らかにする密度拡散理論(DDT)を開発した。
我々の知る限りでは、確率的勾配ノイズのヘッセン依存共分散の恩恵を受け、sgdはシャープなミニマより指数関数的に平坦なミニマを好むのに対し、ホワイトノイズを注入した勾配降下(gd)はシャープなミニマよりは平坦なミニマのみを好むことを、理論上、経験的に初めて証明した。
また、バッチサイズと学習率の比で、小さな学習率または大きなバッチトレーニングは、ミニマから逃れるために指数関数的に多くのイテレーションを必要とすることを明らかにした。
したがって、大規模なバッチトレーニングでは、現実的な計算時間でフラットミニマを効率的に探索することはできない。 Stochastic Gradient Descent (SGD) and its variants are mainstream methods for training deep networks in practice. SGD is known to find a flat minimum that often generalizes well. However, it is mathematically unclear how deep learning can select a flat minimum among so many minima. To answer the question quantitatively, we develop a density diffusion theory (DDT) to reveal how minima selection quantitatively depends on the minima sharpness and the hyperparameters. To the best of our knowledge, we are the first to theoretically and empirically prove that, benefited from the Hessian-dependent covariance of stochastic gradient noise, SGD favors flat minima exponentially more than sharp minima, while Gradient Descent (GD) with injected white noise favors flat minima only polynomially more than sharp minima. We also reveal that either a small learning rate or large-batch training requires exponentially many iterations to escape from minima in terms of the ratio of the batch size and learning rate. Thus, large-batch training cannot search flat minima efficiently in a realistic computational time. | 翻訳日:2023-01-02 07:30:32 公開日:2020-06-22 |
| # ロジスティック損失を訓練した広層ニューラルネットワークの勾配降下の暗黙的バイアス Implicit Bias of Gradient Descent for Wide Two-layer Neural Networks Trained with the Logistic Loss ( http://arxiv.org/abs/2002.04486v4 ) ライセンス: Link先を確認 | Lenaic Chizat (LMO), Francis Bach (LIENS, SIERRA) | (参考訳) 勾配に基づく手法によるロジスティック(クロスエントロピー)損失を最小限に抑えるために訓練されたニューラルネットワークは、多くの教師付き分類タスクでうまく機能する。
この現象を理解するために,均質なアクティベーションを持つ無限大の2層ニューラルネットワークの学習と一般化行動を解析する。
指数的尾付き損失に対する勾配流れの極限は、関数の非ヒルベルト空間におけるmax-margin分類器として完全に特徴づけられる。
隠れた低次元構造が存在する場合、得られるマージンは周囲次元とは独立であり、強い一般化境界をもたらす。
対照的に、出力層のみをトレーニングすることで、プリオリがそのような適応性を享受しないカーネルサポートベクトルマシンを暗黙的に解決する。
トレーニングの分析は実行時間の観点からは非定量的であるが,オンラインミラー降下と等価性を示すことで,簡易な設定で計算保証を証明している。
最後に,ReLUを活性化した2層ニューラルネットワークの実践的挙動を解析によりよく説明し,この暗黙バイアスの統計的利点を検証した。 Neural networks trained to minimize the logistic (a.k.a. cross-entropy) loss with gradient-based methods are observed to perform well in many supervised classification tasks. Towards understanding this phenomenon, we analyze the training and generalization behavior of infinitely wide two-layer neural networks with homogeneous activations. We show that the limits of the gradient flow on exponentially tailed losses can be fully characterized as a max-margin classifier in a certain non-Hilbertian space of functions. In presence of hidden low-dimensional structures, the resulting margin is independent of the ambiant dimension, which leads to strong generalization bounds. In contrast, training only the output layer implicitly solves a kernel support vector machine, which a priori does not enjoy such an adaptivity. Our analysis of training is non-quantitative in terms of running time but we prove computational guarantees in simplified settings by showing equivalences with online mirror descent. Finally, numerical experiments suggest that our analysis describes well the practical behavior of two-layer neural networks with ReLU activation and confirm the statistical benefits of this implicit bias. | 翻訳日:2023-01-02 01:55:28 公開日:2020-06-22 |
| # ポイントクラウド属性のフォールディングに基づく圧縮 Folding-based compression of point cloud attributes ( http://arxiv.org/abs/2002.04439v3 ) ライセンス: Link先を確認 | Maurice Quach, Giuseppe Valenzise and Frederic Dufaux | (参考訳) ポイントクラウド属性を圧縮する既存の技術は、幾何学的またはビデオベースの圧縮ツールを利用する。
我々は、ポイントクラウド表現学習の最近の進歩にインスパイアされた、根本的に異なるアプローチを探求する。
点雲は3次元空間における2次元多様体と解釈できる。
具体的には、2Dグリッドをポイントクラウドに折り畳み、新しい最適化されたマッピング手法を用いて、ポイントクラウドから2Dグリッドに属性をマッピングする。
このマッピングによってイメージが生成され、ポイントクラウド属性に既存の画像処理技術を適用する方法が開かれる。
しかし、このマッピングプロセスは本質的に損なわれるため、特性を最小の歪みで2次元グリッドにマッピングできるように改良するいくつかの戦略を提案する。
さらに、このアプローチは局所的な幾何学的複雑さに適応するために、ポイントクラウドパッチに柔軟に適用することができる。
本研究では,ポイントクラウド属性圧縮について検討し,従来の2次元画像コーデックを用いて圧縮する。
予備的な結果から,提案手法は最新のMPEG Geometry-based PCC (G-PCC) コーデックとよく似た性能が得られることがわかった。 Existing techniques to compress point cloud attributes leverage either geometric or video-based compression tools. We explore a radically different approach inspired by recent advances in point cloud representation learning. Point clouds can be interpreted as 2D manifolds in 3D space. Specifically, we fold a 2D grid onto a point cloud and we map attributes from the point cloud onto the folded 2D grid using a novel optimized mapping method. This mapping results in an image, which opens a way to apply existing image processing techniques on point cloud attributes. However, as this mapping process is lossy in nature, we propose several strategies to refine it so that attributes can be mapped to the 2D grid with minimal distortion. Moreover, this approach can be flexibly applied to point cloud patches in order to better adapt to local geometric complexity. In this work, we consider point cloud attribute compression; thus, we compress this image with a conventional 2D image codec. Our preliminary results show that the proposed folding-based coding scheme can already reach performance similar to the latest MPEG Geometry-based PCC (G-PCC) codec. | 翻訳日:2023-01-02 01:20:11 公開日:2020-06-22 |
| # EndoL2H:カプセル内視鏡の高分解能化 EndoL2H: Deep Super-Resolution for Capsule Endoscopy ( http://arxiv.org/abs/2002.05459v2 ) ライセンス: Link先を確認 | Yasin Almalioglu, Kutsev Bengisu Ozyoruk, Abdulkadir Gokce, Kagan Incetan, Guliz Irem Gokceler, Muhammed Ali Simsek, Kivanc Ararat, Richard J. Chen, Nicholas J. Durr, Faisal Mahmood, Mehmet Turan | (参考訳) 小型腸疾患の診断と評価にはワイヤレスカプセル内視鏡が望ましいが, 主観的診断と自動診断の両面では, カメラ解像度の低下が著しく制限されている。
造影内視鏡は従来の内視鏡検査で腺腫検出率を向上し,カプセル内視鏡でも同様である可能性が示唆された。
本研究では,低分解能内視鏡画像からマッピングを学ぶための新しい枠組みを提案し,定量的に検証する。
条件付きadversarial networkと空間的注意ブロックを組み合わせることで,解像度を8倍,10倍,12倍まで向上させる。
定量的および定性的な研究は、最先端の超解像法DBPN, RCAN, SRGANよりもEndoL2Hの方が優れていることを示した。
30名の消化器科医によるMOS検査を質的に評価し,その臨床的意義を確認した。
EndoL2Hは一般に内視鏡的カプセルシステムに適用され、診断を改善し、ポリープの検出とキャラクタリゼーションのための計算手法を改善する可能性がある。
私たちのコードとトレーニングされたモデルはhttps://github.com/capsuleendoscope/endol2hで利用可能です。 Although wireless capsule endoscopy is the preferred modality for diagnosis and assessment of small bowel diseases, the poor camera resolution is a substantial limitation for both subjective and automated diagnostics. Enhanced-resolution endoscopy has shown to improve adenoma detection rate for conventional endoscopy and is likely to do the same for capsule endoscopy. In this work, we propose and quantitatively validate a novel framework to learn a mapping from low-to-high resolution endoscopic images. We combine conditional adversarial networks with a spatial attention block to improve the resolution by up to factors of 8x, 10x, 12x, respectively. Quantitative and qualitative studies performed demonstrate the superiority of EndoL2H over state-of-the-art deep super-resolution methods DBPN, RCAN and SRGAN. MOS tests performed by 30 gastroenterologists qualitatively assess and confirm the clinical relevance of the approach. EndoL2H is generally applicable to any endoscopic capsule system and has the potential to improve diagnosis and better harness computational approaches for polyp detection and characterization. Our code and trained models are available at https://github.com/CapsuleEndoscope/EndoL2H. | 翻訳日:2023-01-01 13:14:11 公開日:2020-06-22 |
| # Multilogue-Net:会話におけるマルチモーダル感情検出と感性分析のためのコンテキスト認識RNN Multilogue-Net: A Context Aware RNN for Multi-modal Emotion Detection and Sentiment Analysis in Conversation ( http://arxiv.org/abs/2002.08267v3 ) ライセンス: Link先を確認 | Aman Shenoy and Ashish Sardana | (参考訳) 会話における感情分析と感情検出は、いくつかの現実のアプリケーションにおいて重要であり、基礎となる感情をよりよく理解するためのモダリティの増加が利用可能である。
アプリケーションが利用可能なデータのように、利用可能なモダリティの特定のサブセットを使用することができるため、マルチモーダル感情検出とセンチメント分析は特に有用である。
マルチモーダル機能を扱う現在のシステムは、すべてのモダリティによる会話のコンテキスト、リスナーと話者の感情状態の依存性、利用可能なモダリティの関連性と関連性など、活用とキャプチャーに失敗している。
本稿では,上述した欠点をすべて考慮し,エンドツーエンドのRNNアーキテクチャを提案する。
論文執筆時点で提案したモデルでは,さまざまな精度と回帰指標に基づいて,ベンチマークデータセット上で技術の現状を上回ります。 Sentiment Analysis and Emotion Detection in conversation is key in several real-world applications, with an increase in modalities available aiding a better understanding of the underlying emotions. Multi-modal Emotion Detection and Sentiment Analysis can be particularly useful, as applications will be able to use specific subsets of available modalities, as per the available data. Current systems dealing with Multi-modal functionality fail to leverage and capture - the context of the conversation through all modalities, the dependency between the listener(s) and speaker emotional states, and the relevance and relationship between the available modalities. In this paper, we propose an end to end RNN architecture that attempts to take into account all the mentioned drawbacks. Our proposed model, at the time of writing, out-performs the state of the art on a benchmark dataset on a variety of accuracy and regression metrics. | 翻訳日:2022-12-30 13:25:39 公開日:2020-06-22 |
| # 勾配降下としての再パラメータ化ミラー降下 Reparameterizing Mirror Descent as Gradient Descent ( http://arxiv.org/abs/2002.10487v2 ) ライセンス: Link先を確認 | Ehsan Amid and Manfred K. Warmuth | (参考訳) 最近のニューラルネットワークの応用の大部分は、勾配降下更新によるトレーニングに基づいている。
しかし、いくつかの小さなネットワークでは、他のミラー降下更新はターゲットがスパースしている時により効率的に学習する。
本稿では,異なるパラメータ群に対する勾配降下更新としてミラー降下更新をキャスティングする汎用フレームワークを提案する。
ミラー降下再パラメータ化は、標準的なバックプロパゲーションを持つ修正ネットワークのトレーニングとして記述できる場合もある。
reparameterization frameworkは多用途で、ドメインが制約されている場合であっても、さまざまなミラー降下アップデートをカバーする。
reparameterization引数の構築は、更新の継続的なバージョンに対して行われます。
離散バージョンが連続するバージョンを密接に追跡する一般的な基準を見つけることは、興味深いオープン問題である。 Most of the recent successful applications of neural networks have been based on training with gradient descent updates. However, for some small networks, other mirror descent updates learn provably more efficiently when the target is sparse. We present a general framework for casting a mirror descent update as a gradient descent update on a different set of parameters. In some cases, the mirror descent reparameterization can be described as training a modified network with standard backpropagation. The reparameterization framework is versatile and covers a wide range of mirror descent updates, even cases where the domain is constrained. Our construction for the reparameterization argument is done for the continuous versions of the updates. Finding general criteria for the discrete versions to closely track their continuous counterparts remains an interesting open problem. | 翻訳日:2022-12-29 03:20:11 公開日:2020-06-22 |
| # マルコフ決定過程におけるアクティブモデル推定 Active Model Estimation in Markov Decision Processes ( http://arxiv.org/abs/2003.03297v2 ) ライセンス: Link先を確認 | Jean Tarbouriech, Shubhanshu Shekhar, Matteo Pirotta, Mohammad Ghavamzadeh, Alessandro Lazaric | (参考訳) 我々は,マルコフ決定過程(MDP)をモデル化した環境の正確なモデルを学ぶために,効率的な探索の問題を研究する。
この問題の効率的な探索には、モデルの推定が困難である地域を特定し、この知識を利用してより多くのサンプルを集める必要がある。
本稿では,この問題を定式化し,この力学の$\epsilon$-accurate推定を学習するための最初のアルゴリズムを導入し,その複雑性解析を行う。
このアルゴリズムは大規模なサンプル体制において強い保証を受けるが、探査の初期段階では性能が劣る傾向にある。
そこで本研究では,最大重み付きエントロピーに基づくアルゴリズムを提案する。
ここでの主なアイデアは、遷移のノイズに比例する重みで状態-作用空間全体をカバーすることである。
ヘテロジニアスノイズをもつ多くの単純領域を用いて,本アルゴリズムは,本アルゴリズムと,本アルゴリズムと類似した漸近性能を保ちながら,本アルゴリズムのアルゴリズムと最大エントロピーアルゴリズムの両方より優れていることを示す。 We study the problem of efficient exploration in order to learn an accurate model of an environment, modeled as a Markov decision process (MDP). Efficient exploration in this problem requires the agent to identify the regions in which estimating the model is more difficult and then exploit this knowledge to collect more samples there. In this paper, we formalize this problem, introduce the first algorithm to learn an $\epsilon$-accurate estimate of the dynamics, and provide its sample complexity analysis. While this algorithm enjoys strong guarantees in the large-sample regime, it tends to have a poor performance in early stages of exploration. To address this issue, we propose an algorithm that is based on maximum weighted entropy, a heuristic that stems from common sense and our theoretical analysis. The main idea here is to cover the entire state-action space with the weight proportional to the noise in the transitions. Using a number of simple domains with heterogeneous noise in their transitions, we show that our heuristic-based algorithm outperforms both our original algorithm and the maximum entropy algorithm in the small sample regime, while achieving similar asymptotic performance as that of the original algorithm. | 翻訳日:2022-12-26 00:55:18 公開日:2020-06-22 |
| # 逆カモフラージュ:自然スタイルの物理世界攻撃を抑える Adversarial Camouflage: Hiding Physical-World Attacks with Natural Styles ( http://arxiv.org/abs/2003.08757v2 ) ライセンス: Link先を確認 | Ranjie Duan, Xingjun Ma, Yisen Wang, James Bailey, A. K. Qin, Yun Yang | (参考訳) ディープニューラルネットワーク(DNN)は、敵の例に弱いことが知られている。
既存の作品は主に、小さくて知覚できない摂動によって作られたデジタル敵の例や、人間の観察者によって容易に識別される大きくて現実的でない歪みで作られた物理世界の敵の例に焦点が当てられている。
本稿では,人間の観察者にとって正当と思われる自然スタイルに物理世界の逆転例を製作し,模擬する手法であるAdversarial Camouflage(\emph{AdvCam})を提案する。
具体的には、 \emph{AdvCam} は大きな逆転摂動をカスタマイズされたスタイルに転送し、ターゲットのオブジェクトやターゲット外のバックグラウンドを "隠蔽" する。
実験的評価は、デジタルと物理の両方のシナリオにおいて、 \emph{AdvCam} によって製作された敵の例は、十分にカモフラージュされ、非常にステルス的でありながら、最先端のDNN画像分類器を騙すことに有効であることを示している。
したがって、 \emph{AdvCam} は、DNNの堅牢性を評価するためにステルス攻撃を仕掛ける柔軟なアプローチである。
\emph{AdvCam}は、ディープラーニングシステムによって検出されるプライベート情報を保護するためにも使用できる。 Deep neural networks (DNNs) are known to be vulnerable to adversarial examples. Existing works have mostly focused on either digital adversarial examples created via small and imperceptible perturbations, or physical-world adversarial examples created with large and less realistic distortions that are easily identified by human observers. In this paper, we propose a novel approach, called Adversarial Camouflage (\emph{AdvCam}), to craft and camouflage physical-world adversarial examples into natural styles that appear legitimate to human observers. Specifically, \emph{AdvCam} transfers large adversarial perturbations into customized styles, which are then "hidden" on-target object or off-target background. Experimental evaluation shows that, in both digital and physical-world scenarios, adversarial examples crafted by \emph{AdvCam} are well camouflaged and highly stealthy, while remaining effective in fooling state-of-the-art DNN image classifiers. Hence, \emph{AdvCam} is a flexible approach that can help craft stealthy attacks to evaluate the robustness of DNNs. \emph{AdvCam} can also be used to protect private information from being detected by deep learning systems. | 翻訳日:2022-12-25 14:33:12 公開日:2020-06-22 |
| # 強化学習に対する適応的逆襲攻撃 Adaptive Reward-Poisoning Attacks against Reinforcement Learning ( http://arxiv.org/abs/2003.12613v2 ) ライセンス: Link先を確認 | Xuezhou Zhang, Yuzhe Ma, Adish Singla, Xiaojin Zhu | (参考訳) 強化学習(RL)に対する報奨攻撃では、攻撃者は各ステップで$r_t$を$r_t+\delta_t$に摂動し、RLエージェントに悪質なポリシーを学ぶことを強制する。
我々は、$\delta_t$の無限ノルム制約による攻撃を分類する: 報酬中毒攻撃が実現不可能で、RLが安全であると認定された下位しきい値を提供し、攻撃が実現可能な対応する上位しきい値を提供する。
実行可能な攻撃は、$\delta_t$が$(s_t,a_t, s_{t+1})$のみに依存する非適応的、あるいは適応的、または $\delta_t$がRLエージェントの学習プロセスに時間$t$に依存する、非適応的に分類される。
非適応攻撃は、以前の仕事の焦点だった。
しかし, 穏やかな条件下では, 適応的攻撃は, 状態空間サイズ$|s|$ のステップ多項式において不利な方針を実現できるが, 非適応的攻撃は指数的ステップを必要とする。
我々は,高速な適応攻撃戦略が多項式レートを達成することの証明を提供する。
最後に、経験的に攻撃者が最先端のディープrl技術を用いて効果的な報酬ポジショニング攻撃を見つけることができることを示す。 In reward-poisoning attacks against reinforcement learning (RL), an attacker can perturb the environment reward $r_t$ into $r_t+\delta_t$ at each step, with the goal of forcing the RL agent to learn a nefarious policy. We categorize such attacks by the infinity-norm constraint on $\delta_t$: We provide a lower threshold below which reward-poisoning attack is infeasible and RL is certified to be safe; we provide a corresponding upper threshold above which the attack is feasible. Feasible attacks can be further categorized as non-adaptive where $\delta_t$ depends only on $(s_t,a_t, s_{t+1})$, or adaptive where $\delta_t$ depends further on the RL agent's learning process at time $t$. Non-adaptive attacks have been the focus of prior works. However, we show that under mild conditions, adaptive attacks can achieve the nefarious policy in steps polynomial in state-space size $|S|$, whereas non-adaptive attacks require exponential steps. We provide a constructive proof that a Fast Adaptive Attack strategy achieves the polynomial rate. Finally, we show that empirically an attacker can find effective reward-poisoning attacks using state-of-the-art deep RL techniques. | 翻訳日:2022-12-19 04:17:57 公開日:2020-06-22 |
| # Pixel-BERT:Deep Multi-Modal Transformersによるテキストによる画像の調整 Pixel-BERT: Aligning Image Pixels with Text by Deep Multi-Modal Transformers ( http://arxiv.org/abs/2004.00849v2 ) ライセンス: Link先を確認 | Zhicheng Huang, Zhaoyang Zeng, Bei Liu, Dongmei Fu, Jianlong Fu | (参考訳) 本稿では,画像処理と言語埋め込みを融合して学習する深層マルチモーダルトランスフォーマーを用いて,画像画素をテキストにアライメントするpixel-bertを提案する。
最近のビジョンや言語タスクでは、領域ベースの画像機能を使うのではなく、画像ピクセルと文のペアから直接、より正確で詳細な関係を構築することを目指している。
ピクセルとテキストレベルのセマンティック接続を整列するPixel-BERTは、視覚や言語タスクにおけるタスク固有の視覚表現の制限を解決する。
また、バウンディングボックスアノテーションのコストを軽減し、ビジュアルタスクと言語意味論における意味ラベルの不均衡を克服する。
ダウンストリームタスクの表現性を向上するため、Visual GenomeデータセットとMS-COCOデータセットから画像と文のペアで、ユニバーサルなエンドツーエンドモデルを事前訓練する。
視覚表現のロバスト性を高めるためにランダムな画素サンプリング機構を用い,Masked Language Model と Image-Text Matching を事前学習タスクとして適用することを提案する。
先行学習モデルを用いて下流タスクを広範囲に実験した結果,視覚質問応答 (vqa) や画像テキスト検索,自然言語によるリアルなビジュアル推論 (nlvr) など,下流タスクにおける最先端の手法が提案されている。
特に,VQAタスクにおける単一モデルの性能をSOTAと比較して2.17ポイント向上させる。 We propose Pixel-BERT to align image pixels with text by deep multi-modal transformers that jointly learn visual and language embedding in a unified end-to-end framework. We aim to build a more accurate and thorough connection between image pixels and language semantics directly from image and sentence pairs instead of using region-based image features as the most recent vision and language tasks. Our Pixel-BERT which aligns semantic connection in pixel and text level solves the limitation of task-specific visual representation for vision and language tasks. It also relieves the cost of bounding box annotations and overcomes the unbalance between semantic labels in visual task and language semantic. To provide a better representation for down-stream tasks, we pre-train a universal end-to-end model with image and sentence pairs from Visual Genome dataset and MS-COCO dataset. We propose to use a random pixel sampling mechanism to enhance the robustness of visual representation and to apply the Masked Language Model and Image-Text Matching as pre-training tasks. Extensive experiments on downstream tasks with our pre-trained model show that our approach makes the most state-of-the-arts in downstream tasks, including Visual Question Answering (VQA), image-text retrieval, Natural Language for Visual Reasoning for Real (NLVR). Particularly, we boost the performance of a single model in VQA task by 2.17 points compared with SOTA under fair comparison. | 翻訳日:2022-12-17 09:29:00 公開日:2020-06-22 |
| # 非条件テキスト生成を改善するための識別器に基づくフィルタの追加 Adding A Filter Based on The Discriminator to Improve Unconditional Text Generation ( http://arxiv.org/abs/2004.02135v5 ) ライセンス: Link先を確認 | Xingyuan Chen, Ping Cai, Peng Jin, Hongjun Wang, Xinyu Dai, Jiajun Chen | (参考訳) 最大最大推定(MLE)で訓練された自己回帰言語モデル(ALM)は、無条件テキスト生成で広く使用されている。
露出バイアスのため、生成されたテキストは依然として品質と多様性が低い。
これは、実際のテキストと生成されたテキストの差として統計的に表される。
いくつかの研究は、判別器がこの相違を検知できることを示している。
判別器はジェネレータよりも多くの情報をエンコードできるので、判別器はジェネレータを改善する可能性がある。
露光バイアスを軽減するため、GAN(Generative Adversarial Network)は、判別器を使用してジェネレータのパラメータを直接更新するが、正確に評価することで失敗する。
この故障の重要な理由は、判別器入力とalm入力との差である。
本稿では,識別器と同じ入力を持つフィルタを付加する新しい機構を提案する。
まず、識別器は差分信号を検出し、直接(あるいは学習によって)フィルタリングする。
次に,フィルタを用いてサンプリングベースで生成したサンプルを拒絶する。
これにより、元の生成分布が修正され、相違が軽減される。
RNNベースとTransformerベースという2つのALMが実験されている。
3つの指標で正確に評価し、我々のメカニズムは、2つのベンチマークデータセットでALMと全ての種類のGANを一貫して上回る。 The autoregressive language model (ALM) trained with maximum likelihood estimation (MLE) is widely used in unconditional text generation. Due to exposure bias, the generated texts still suffer from low quality and diversity. This presents statistically as a discrepancy between the real text and generated text. Some research shows a discriminator can detect this discrepancy. Because the discriminator can encode more information than the generator, discriminator has the potentiality to improve generator. To alleviate the exposure bias, generative adversarial networks (GAN) use the discriminator to update the generator's parameters directly, but they fail by being evaluated precisely. A critical reason for the failure is the difference between the discriminator input and the ALM input. We propose a novel mechanism by adding a filter which has the same input as the discriminator. First, discriminator detects the discrepancy signals and passes to filter directly (or by learning). Then, we use the filter to reject some generated samples with a sampling-based method. Thus, the original generative distribution is revised to reduce the discrepancy. Two ALMs, RNN-based and Transformer-based, are experimented. Evaluated precisely by three metrics, our mechanism consistently outperforms the ALMs and all kinds of GANs across two benchmark data sets. | 翻訳日:2022-12-16 12:09:12 公開日:2020-06-22 |
| # 絡み合った階層型ディリクレ過程隠れマルコフモデル Disentangled Sticky Hierarchical Dirichlet Process Hidden Markov Model ( http://arxiv.org/abs/2004.03019v2 ) ライセンス: Link先を確認 | Ding Zhou, Yuanjun Gao, Liam Paninski | (参考訳) Hierarchical Dirichlet Process Hidden Markov Model (HDP-HMM) は古典的Hidden Markov Modelの自然ベイズ的非パラメトリック拡張として、時系列および時系列データから学習するために広く用いられている。
HDP-HMMの頑健な拡張はHDP-HMMの自己パースペンス確率を高めるために提案されている。
しかし、粘着性HDP-HMMは自己パーシスタンス前の強度と遷移前の強さを絡み合わせ、表現性を制限する。
本稿では,HDP-HMM(DS-HDP-HMM)という,より一般的なモデルを提案する。
このモデルにおいて,効率的な推論のための新しいギブスサンプリングアルゴリズムを開発した。
本研究は,HDP-HMMとHDP-HMMを合成データと実データの両方で比較し,ニューラルデータの解析と行動ビデオデータのセグメント化に新たなアプローチを適用した。 The Hierarchical Dirichlet Process Hidden Markov Model (HDP-HMM) has been used widely as a natural Bayesian nonparametric extension of the classical Hidden Markov Model for learning from sequential and time-series data. A sticky extension of the HDP-HMM has been proposed to strengthen the self-persistence probability in the HDP-HMM. However, the sticky HDP-HMM entangles the strength of the self-persistence prior and transition prior together, limiting its expressiveness. Here, we propose a more general model: the disentangled sticky HDP-HMM (DS-HDP-HMM). We develop novel Gibbs sampling algorithms for efficient inference in this model. We show that the disentangled sticky HDP-HMM outperforms the sticky HDP-HMM and HDP-HMM on both synthetic and real data, and apply the new approach to analyze neural data and segment behavioral video data. | 翻訳日:2022-12-16 05:52:55 公開日:2020-06-22 |
| # 特徴量とラベルノイズの同時発生時における画像の古典化のための畳み込みニューラルネットワーク委員会 A Committee of Convolutional Neural Networks for Image Classication in the Concurrent Presence of Feature and Label Noise ( http://arxiv.org/abs/2004.10705v2 ) ライセンス: Link先を確認 | Stanis{\l}aw Ka\'zmierczak, Jacek Ma\'ndziuk | (参考訳) 画像分類はユビキタスなタスクとなっている。
高品質なデータに基づいてトレーニングされたモデルは、いくつかのアプリケーション領域ですでに人間レベルのパフォーマンス以上である精度を達成する。
残念なことに、実際のデータは、機能やラベルに存在するノイズによって、しばしばデジェネレーションされる。
特徴またはラベルノイズの問題を別々に扱う多くの論文がある。
しかし、私たちの知る限りでは、この研究は両方のタイプのノイズが同時に発生する問題に対処する最初の試みです。
MNIST, CIFAR-10, CIFAR-100データセットを用いて, 委員会が単一モデルに打ち勝つ差は, 属性やラベルの破壊であっても, ノイズレベルとともに増加することを示した。
これにより、ノイズラベル付きノイズ画像に適用できるアンサンブルが合法となる。
前述の委員会の単一モデルに対する優位性は、データセットの難易度とも正の相関がある。
本稿では,個々の(非関連)最良モデルのアンサンブルに依存する強いベースラインアルゴリズムに勝る3つの委員会選択アルゴリズムを提案する。 Image classification has become a ubiquitous task. Models trained on good quality data achieve accuracy which in some application domains is already above human-level performance. Unfortunately, real-world data are quite often degenerated by the noise existing in features and/or labels. There are quite many papers that handle the problem of either feature or label noise, separately. However, to the best of our knowledge, this piece of research is the first attempt to address the problem of concurrent occurrence of both types of noise. Basing on the MNIST, CIFAR-10 and CIFAR-100 datasets, we experimentally proved that the difference by which committees beat single models increases along with noise level, no matter it is an attribute or label disruption. Thus, it makes ensembles legitimate to be applied to noisy images with noisy labels. The aforementioned committees' advantage over single models is positively correlated with dataset difficulty level as well. We propose three committee selection algorithms that outperform a strong baseline algorithm which relies on an ensemble of individual (nonassociated) best models. | 翻訳日:2022-12-11 23:46:23 公開日:2020-06-22 |
| # 統計的関係モデルに対する射影の完全性評価 A Complete Characterization of Projectivity for Statistical Relational Models ( http://arxiv.org/abs/2004.10984v2 ) ライセンス: Link先を確認 | Manfred Jaeger and Oliver Schulte | (参考訳) 関係データの生成確率モデルは、異なる大きさの領域上の関係構造に対する確率分布の族からなる。
ほとんどの既存の統計リレーショナル・ラーニング(srl)フレームワークでは、これらのモデルは、サイズの誘導されたサブ構造上のサイズ=n$構造の分布の限界がサイズ=k$構造の与えられた分布と等しいという意味では射影的ではない。
射影性は、昇降推論とサブサンプル関係構造からの統計的に一貫した学習を可能にするという点で非常に有益である。
初期の研究で、射影モデルを表すSRL言語のいくつかの単純な断片が特定されている。
しかしながら、射影モデルの完全な特徴付けや表現フレームワークは与えられていない。
本稿では,このギャップを埋める:無限交換可能な配列に対する表現定理を利用して,射影関係モデルのクラスと正確に対応する有向グラフ潜在変数モデルのクラスを導入する。
副産物として、サイズ-k$構造上の与えられた分布が、より大きいサイズ-n$構造におけるサイズ-k$サブ構造の統計周波数分布である場合のキャラクタリゼーションを得る。
これらの結果は、Halpernらによる「ランダムな世界アプローチ」を一般関係シグネチャへの確率的推論に適用する方法という古いオープンな問題に新たな光を当てた。 A generative probabilistic model for relational data consists of a family of probability distributions for relational structures over domains of different sizes. In most existing statistical relational learning (SRL) frameworks, these models are not projective in the sense that the marginal of the distribution for size-$n$ structures on induced sub-structures of size $k<n$ is equal to the given distribution for size-$k$ structures. Projectivity is very beneficial in that it directly enables lifted inference and statistically consistent learning from sub-sampled relational structures. In earlier work some simple fragments of SRL languages have been identified that represent projective models. However, no complete characterization of, and representation framework for projective models has been given. In this paper we fill this gap: exploiting representation theorems for infinite exchangeable arrays we introduce a class of directed graphical latent variable models that precisely correspond to the class of projective relational models. As a by-product we also obtain a characterization for when a given distribution over size-$k$ structures is the statistical frequency distribution of size-$k$ sub-structures in much larger size-$n$ structures. These results shed new light onto the old open problem of how to apply Halpern et al.'s "random worlds approach" for probabilistic inference to general relational signatures. | 翻訳日:2022-12-10 08:43:32 公開日:2020-06-22 |
| # LGSVLシミュレータ:自律運転のための高忠実度シミュレータ LGSVL Simulator: A High Fidelity Simulator for Autonomous Driving ( http://arxiv.org/abs/2005.03778v3 ) ライセンス: Link先を確認 | Guodong Rong, Byung Hyun Shin, Hadi Tabatabaee, Qiang Lu, Steve Lemke, M\=arti\c{n}\v{s} Mo\v{z}eiko, Eric Boise, Geehoon Uhm, Mark Gerow, Shalin Mehta, Eugene Agafonov, Tae Hyung Kim, Eric Sterner, Keunhae Ushiroda, Michael Reyes, Dmitry Zelenkovsky, Seonman Kim | (参考訳) 自動運転車で自動運転アルゴリズムをテストするのは極めてコストがかかり、この分野の多くの研究者や開発者は、実車と対応するセンサーを利用できない。
AutowareやApolloなど、フリーでオープンソースの自動運転スタックがいくつか提供されているが、オープンソースシミュレータの選択肢は限られている。
本稿では,自律運転のための高忠実度シミュレータであるLGSVL Simulatorを紹介する。
シミュレータエンジンは、autowareとapolloに接続可能な、エンドツーエンドのフルスタックシミュレーションを提供する。
さらにシミュレータツールには、センサーのカスタマイズを容易にし、新しいタイプの制御可能なオブジェクトを作成し、コアシミュレータのモジュールを置き換え、特定の環境のデジタルツインを作成することができるコアシミュレーションエンジンが付属している。 Testing autonomous driving algorithms on real autonomous vehicles is extremely costly and many researchers and developers in the field cannot afford a real car and the corresponding sensors. Although several free and open-source autonomous driving stacks, such as Autoware and Apollo are available, choices of open-source simulators to use with them are limited. In this paper, we introduce the LGSVL Simulator which is a high fidelity simulator for autonomous driving. The simulator engine provides end-to-end, full-stack simulation which is ready to be hooked up to Autoware and Apollo. In addition, simulator tools are provided with the core simulation engine which allow users to easily customize sensors, create new types of controllable objects, replace some modules in the core simulator, and create digital twins of particular environments. | 翻訳日:2022-12-06 00:17:16 公開日:2020-06-22 |
| # 胸部X線画像の深層学習分類 Deep learning classification of chest x-ray images ( http://arxiv.org/abs/2005.09609v2 ) ライセンス: Link先を確認 | Mohammad S. Majdi, Khalil N. Salman, Michael F. Morris, Nirav C. Merchant, Jeffrey J. Rodriguez | (参考訳) 胸部x線画像に共通する病理の分類法として深層学習法を提案する。
大量の胸部x線画像は、胸部疾患の誤診を減らすためにディープラーニング手法をうまく利用するために必要なデータを提供する。
本手法を肺結節と心筋腫の2つの例に応用し,本法の性能を既存の3つの方法と比較した。
その結果,従来の方法と比較して結節および心内膜の検出におけるAUCの改善が認められた。 We propose a deep learning based method for classification of commonly occurring pathologies in chest X-ray images. The vast number of publicly available chest X-ray images provides the data necessary for successfully employing deep learning methodologies to reduce the misdiagnosis of thoracic diseases. We applied our method to the classification of two example pathologies, pulmonary nodules and cardiomegaly, and we compared the performance of our method to three existing methods. The results show an improvement in AUC for detection of nodules and cardiomegaly compared to the existing methods. | 翻訳日:2022-12-01 14:42:24 公開日:2020-06-22 |
| # テンソル完全化のためのテンソルマルチモードの非凸低ランク近似 Enhanced nonconvex low-rank approximation of tensor multi-modes for tensor completion ( http://arxiv.org/abs/2005.14521v2 ) ライセンス: Link先を確認 | Haijin Zeng, Xiaozhen Xie, Jifeng Ning | (参考訳) 多くのデータ処理アプリケーションで高次の低ランクテンソルが生まれ、大きな関心を集めている。
低ランク近似理論に触発されて、研究者は一連の効果的なテンソル完備法を提案した。
しかし、これらの方法の多くは、低サンプリング率では十分ではない基底テンソルの全体的低ランク性を直接考慮しており、さらに、単一の核ノルムまたはその緩和は、通常ランク関数を近似するために採用され、その結果、元のテンソルから逸脱した準最適解に繋がる。
上記の問題を緩和するため,本論文では, テンソルのモーダル分解因子から導かれる結合多様体を表現するために, 二重非凸$L_{\gamma}$ノルムを設計した, テンソル多重モードの低ランク近似(LRATM)を提案する。
提案手法を効率的に解くために, ブロック列上界最小化法に基づくアルゴリズムを考案し, 数値スキームが座標最小化器に収束することを示す。
3種類の公開多次元データセットの数値実験の結果から,本アルゴリズムは比較手法に比べてサンプル数が有意に少ない低ランクテンソルを回収できることを示した。 Higher-order low-rank tensor arises in many data processing applications and has attracted great interests. Inspired by low-rank approximation theory, researchers have proposed a series of effective tensor completion methods. However, most of these methods directly consider the global low-rankness of underlying tensors, which is not sufficient for a low sampling rate; in addition, the single nuclear norm or its relaxation is usually adopted to approximate the rank function, which would lead to suboptimal solution deviated from the original one. To alleviate the above problems, in this paper, we propose a novel low-rank approximation of tensor multi-modes (LRATM), in which a double nonconvex $L_{\gamma}$ norm is designed to represent the underlying joint-manifold drawn from the modal factorization factors of the underlying tensor. A block successive upper-bound minimization method-based algorithm is designed to efficiently solve the proposed model, and it can be demonstrated that our numerical scheme converges to the coordinatewise minimizers. Numerical results on three types of public multi-dimensional datasets have tested and shown that our algorithm can recover a variety of low-rank tensors with significantly fewer samples than the compared methods. | 翻訳日:2022-11-27 05:28:03 公開日:2020-06-22 |
| # 局所摂動を用いたワッサーシュタイン分布ロバスト最適化の原理学習法 Principled learning method for Wasserstein distributionally robust optimization with local perturbations ( http://arxiv.org/abs/2006.03333v2 ) ライセンス: Link先を確認 | Yongchan Kwon, Wonyoung Kim, Joong-Ho Won, Myunghee Cho Paik | (参考訳) wasserstein distributionally robust optimization (wdro) は、waserstein ballによって定義された経験的データ分布の近傍で局所的な最悪のケースリスクを最小限に抑えるモデルを学ぶことを試みる。
WDROは導入以来、推論のための有望なツールとして注目されてきたが、理論的な理解は完全には成熟していない。
gao et al. (2017) は局所的最悪のケースリスクの扱いやすい近似に基づく最小化を提案したが、リスク一貫性は示さなかった。
本稿では,新しい近似定理に基づく最小化器を提案し,それに対応するリスク一貫性結果を提供する。
さらに,特別なケースとしてMixup(Zhang et al., 2017)を含む局所摂動データに対するWDRO推論を開発した。
我々の近似とリスク一貫性は、データが局所的に摂動している場合にも自然に拡張されることを示す。
数値実験により,画像分類データセットを用いた提案手法のロバスト性を示す。
提案手法は,ノイズのあるデータセットのベースラインモデルよりも精度が高いことを示す。 Wasserstein distributionally robust optimization (WDRO) attempts to learn a model that minimizes the local worst-case risk in the vicinity of the empirical data distribution defined by Wasserstein ball. While WDRO has received attention as a promising tool for inference since its introduction, its theoretical understanding has not been fully matured. Gao et al. (2017) proposed a minimizer based on a tractable approximation of the local worst-case risk, but without showing risk consistency. In this paper, we propose a minimizer based on a novel approximation theorem and provide the corresponding risk consistency results. Furthermore, we develop WDRO inference for locally perturbed data that include the Mixup (Zhang et al., 2017) as a special case. We show that our approximation and risk consistency results naturally extend to the cases when data are locally perturbed. Numerical experiments demonstrate robustness of the proposed method using image classification datasets. Our results show that the proposed method achieves significantly higher accuracy than baseline models on noisy datasets. | 翻訳日:2022-11-25 02:49:43 公開日:2020-06-22 |
| # 画像超解像のための学習テクスチャ変換ネットワーク Learning Texture Transformer Network for Image Super-Resolution ( http://arxiv.org/abs/2006.04139v2 ) ライセンス: Link先を確認 | Fuzhi Yang, Huan Yang, Jianlong Fu, Hongtao Lu, Baining Guo | (参考訳) 低解像度(LR)画像から現実的なテクスチャを復元することを目的とした画像超解像(SR)について検討する。
近年の進歩は、高解像度画像を参照として(Ref)、関連するテクスチャをLR画像に転送することで実現されている。
しかし、既存のsrアプローチは高分解能(hr)テクスチャをref画像から転送するために注意機構の使用を怠り、困難なケースではこれらのアプローチを制限している。
本稿では,lr画像とref画像をそれぞれクエリとキーとして定式化した,画像超解像用テクスチャトランスフォーマーネットワーク(ttsr)を提案する。
TTSRは、DNNによる学習可能なテクスチャ抽出器、関連埋め込みモジュール、テクスチャ転送のためのハードアテンションモジュール、テクスチャ合成のためのソフトアテンションモジュールを含む、画像生成タスクに最適化された4つの密接に関連するモジュールで構成されている。
このような設計により、LRおよびRef画像間の共同特徴学習が促進され、深い特徴対応が注意によって発見され、正確なテクスチャ特徴が伝達される。
提案したテクスチャトランスは、異なるレベル(例えば、1倍から4倍)からテクスチャリカバリが可能な、クロススケールな方法でさらに積み重ねることができる。
大規模な実験により、TTSRは定量評価と定性評価の両方において最先端のアプローチよりも大幅に改善されていることが示された。 We study on image super-resolution (SR), which aims to recover realistic textures from a low-resolution (LR) image. Recent progress has been made by taking high-resolution images as references (Ref), so that relevant textures can be transferred to LR images. However, existing SR approaches neglect to use attention mechanisms to transfer high-resolution (HR) textures from Ref images, which limits these approaches in challenging cases. In this paper, we propose a novel Texture Transformer Network for Image Super-Resolution (TTSR), in which the LR and Ref images are formulated as queries and keys in a transformer, respectively. TTSR consists of four closely-related modules optimized for image generation tasks, including a learnable texture extractor by DNN, a relevance embedding module, a hard-attention module for texture transfer, and a soft-attention module for texture synthesis. Such a design encourages joint feature learning across LR and Ref images, in which deep feature correspondences can be discovered by attention, and thus accurate texture features can be transferred. The proposed texture transformer can be further stacked in a cross-scale way, which enables texture recovery from different levels (e.g., from 1x to 4x magnification). Extensive experiments show that TTSR achieves significant improvements over state-of-the-art approaches on both quantitative and qualitative evaluations. | 翻訳日:2022-11-24 08:13:13 公開日:2020-06-22 |
| # 情報マンダラ:クラスタリングを用いた統計距離行列 Information Mandala: Statistical Distance Matrix with Clustering ( http://arxiv.org/abs/2006.04017v2 ) ライセンス: Link先を確認 | Xin Lu | (参考訳) 機械学習では、観察特徴を計量空間で測定し、最適化のために距離関数を得る。
人口として統計的に十分である同様の特徴から、2つの確率分布間の統計的距離はより正確な学習のために計算できる。
観測された特徴が多値であれば、統計距離関数は依然として効率的である。
しかし、スカラー出力のため、特徴要素間の詳細な距離を表現するには適用できない。
この問題を解決するため,本論文では従来の統計距離を,統計距離行列と呼ばれる行列形式に拡張する。
実験では,画像画素を用いて直接計算した場合であっても,提案手法はオブジェクト認識タスクにおいて良好に動作し,CIFARデータセットにおける猫と犬の画像の相違を明確かつ直感的に表現する。
統計的距離行列の階層的クラスタリングを用いて、画像画素をマンダラパターンのような中心に幾何学的に配置された複数のクラスタに分割することができる。
クラスタリングを伴う統計距離行列は、インフォメーション・マンダラ(Information Mandala)と呼ばれ、通常のサリエンシ・マップを超え、畳み込みニューラルネットワークの基本原理を理解するのに役立つ。 In machine learning, observation features are measured in a metric space to obtain their distance function for optimization. Given similar features that are statistically sufficient as a population, a statistical distance between two probability distributions can be calculated for more precise learning. Provided the observed features are multi-valued, the statistical distance function is still efficient. However, due to its scalar output, it cannot be applied to represent detailed distances between feature elements. To resolve this problem, this paper extends the traditional statistical distance to a matrix form, called a statistical distance matrix. In experiments, the proposed approach performs well in object recognition tasks and clearly and intuitively represents the dissimilarities between cat and dog images in the CIFAR dataset, even when directly calculated using the image pixels. By using the hierarchical clustering of the statistical distance matrix, the image pixels can be separated into several clusters that are geometrically arranged around a center like a Mandala pattern. The statistical distance matrix with clustering, called the Information Mandala, is beyond ordinary saliency maps and can help to understand the basic principles of the convolution neural network. | 翻訳日:2022-11-24 07:29:27 公開日:2020-06-22 |
| # X-SHAP:機械学習の乗法的説明可能性に向けて X-SHAP: towards multiplicative explainability of Machine Learning ( http://arxiv.org/abs/2006.04574v2 ) ライセンス: Link先を確認 | Luisa Bouneder, Yannick L\'eo and Aim\'e Lachapelle | (参考訳) 本稿では,局所的および大域的予測のための変数の乗法的寄与を評価するモデルに依存しないX-SHAPを提案する。
この手法は理論上、操作上、いわゆる加法シャップアプローチを拡張する。
一般的な線形モデルが伝統的に使われている分野(保険や生物学など)で発生する因子の乗法的相互作用を証明している。
本手法を各種データセット上で検証し,個々のX-SHAPコントリビューションに基づいて,集約型多元的コントリビューションを構築し,従来の手法と比較した多元的特徴重要度を捉える手法を提案する。 This paper introduces X-SHAP, a model-agnostic method that assesses multiplicative contributions of variables for both local and global predictions. This method theoretically and operationally extends the so-called additive SHAP approach. It proves useful underlying multiplicative interactions of factors, typically arising in sectors where Generalized Linear Models are traditionally used, such as in insurance or biology. We test the method on various datasets and propose a set of techniques based on individual X-SHAP contributions to build aggregated multiplicative contributions and to capture multiplicative feature importance, that we compare to traditional techniques. | 翻訳日:2022-11-24 00:42:23 公開日:2020-06-22 |
| # EPIC30M: 関連ツイート3000万件のエピデミックコーポレーション EPIC30M: An Epidemics Corpus Of Over 30 Million Relevant Tweets ( http://arxiv.org/abs/2006.08369v2 ) ライセンス: Link先を確認 | Junhua Liu, Trisha Singhal, Lucienne T.M. Blessing, Kristin L. Wood and Kwan Hui Lim | (参考訳) 新型コロナウイルス(COVID-19)の開始以来、何百万ものデータポイントを含む文献で、さまざまなソースからの関連コーパスが紹介されている。
これらのコーパスは、この特定のパンデミックに関する多くの分析を支援するのに有用であるが、研究者は、横断的なパターン認識とトレンド分析タスクを促進するために、他の流行を含む追加のベンチマークコーパスが必要である。
他のcovid-19関連研究の過程では、このようなクロスエピデミック分析タスクをサポートするのに十分な大きさでリッチな文献から、病気に関連するコーパスがほとんど発見されていません。
本稿では,2006年から2020年にかけて,Twitterからクロールしたツイートを3000万件のマイクロブログ投稿を含む大規模流行コーパスEPIC30Mを提案する。
EPIC30Mには、エボラ、コレラ、豚インフルエンザという3つの一般的な病気に関連する2200万ツイートのサブセットと、2009年のH1N1豚インフルエンザ、2010年のハイチ・コレラ、2012年の中東呼吸症候群(MERS)、2013年の西アフリカエボラ、2016年のイエメン・コレラ、2018年のキブ・エボラを含む6つの世界的な流行の470万ツイートのサブセットが含まれている。
さらに,各サブセットのキーワードとハッシュタグの統計と傾向分析を用いてコーパスの特性を考察し,考察する。
最後に、EPIC30Mが生み出す価値と影響を、近年の関心が高まりつつある横断的な研究トピックの複数のユースケースの議論を通じて示す。
これらのユースケースは、疫学モデリング、パターン認識、自然言語理解、経済モデリングなど、複数の研究領域にまたがる。 Since the start of COVID-19, several relevant corpora from various sources are presented in the literature that contain millions of data points. While these corpora are valuable in supporting many analyses on this specific pandemic, researchers require additional benchmark corpora that contain other epidemics to facilitate cross-epidemic pattern recognition and trend analysis tasks. During our other efforts on COVID-19 related work, we discover very little disease related corpora in the literature that are sizable and rich enough to support such cross-epidemic analysis tasks. In this paper, we present EPIC30M, a large-scale epidemic corpus that contains 30 millions micro-blog posts, i.e., tweets crawled from Twitter, from year 2006 to 2020. EPIC30M contains a subset of 26.2 millions tweets related to three general diseases, namely Ebola, Cholera and Swine Flu, and another subset of 4.7 millions tweets of six global epidemic outbreaks, including 2009 H1N1 Swine Flu, 2010 Haiti Cholera, 2012 Middle-East Respiratory Syndrome (MERS), 2013 West African Ebola, 2016 Yemen Cholera and 2018 Kivu Ebola. Furthermore, we explore and discuss the properties of the corpus with statistics of key terms and hashtags and trends analysis for each subset. Finally, we demonstrate the value and impact that EPIC30M could create through a discussion of multiple use cases of cross-epidemic research topics that attract growing interest in recent years. These use cases span multiple research areas, such as epidemiological modeling, pattern recognition, natural language understanding and economical modeling. | 翻訳日:2022-11-23 15:31:57 公開日:2020-06-22 |
| # nash強化学習によるロバストスパマー検出 Robust Spammer Detection by Nash Reinforcement Learning ( http://arxiv.org/abs/2006.06069v3 ) ライセンス: Link先を確認 | Yingtong Dou, Guixiang Ma, Philip S. Yu, Sihong Xie | (参考訳) オンラインレビューは、顧客が意思決定するための製品評価を提供する。
残念ながら、この評価はプロのスパマーによる偽レビュー(スパム)を使って操作することができる。
スパム行為の戦略は、時間とともに素早く変化し、スパマーやターゲット製品によって異なり、そしてより批判的に、ほとんどのケースで未知のままであるため、捉えるのが難しい。
さらに、既存の検出器のほとんどは、製品評価の信頼性を維持するという目標に合致しない検出精度に重点を置いている。
これらの課題に対処するために,スパマーとスパム検知器が,検出精度にのみ基づかない現実的な目標を競うミニマックスゲームを定式化した。
ゲームのnash平衡は、任意の混合検出戦略に無依存な安定した検出器に繋がる。
しかし、ゲームには閉形式解がなく、典型的な勾配ベースのアルゴリズムを受け入れることは微分できない。
ゲームは2つの依存マルコフ決定プロセス(MDP)に変換され、マルチアームバンディットとポリシー勾配に基づく効率的な確率最適化が可能となる。
各種の最先端スパム・検出戦略を用いて3つの大規模なレビューデータセットを実験し、この最適化アルゴリズムにより、スパマーを混合スパマーで堅牢かつ効果的に防止できる平衡検出器を確実に見つけることができることを示す。
私たちのコードはhttps://github.com/yingtongdou/nash-detectで利用可能です。 Online reviews provide product evaluations for customers to make decisions. Unfortunately, the evaluations can be manipulated using fake reviews ("spams") by professional spammers, who have learned increasingly insidious and powerful spamming strategies by adapting to the deployed detectors. Spamming strategies are hard to capture, as they can be varying quickly along time, different across spammers and target products, and more critically, remained unknown in most cases. Furthermore, most existing detectors focus on detection accuracy, which is not well-aligned with the goal of maintaining the trustworthiness of product evaluations. To address the challenges, we formulate a minimax game where the spammers and spam detectors compete with each other on their practical goals that are not solely based on detection accuracy. Nash equilibria of the game lead to stable detectors that are agnostic to any mixed detection strategies. However, the game has no closed-form solution and is not differentiable to admit the typical gradient-based algorithms. We turn the game into two dependent Markov Decision Processes (MDPs) to allow efficient stochastic optimization based on multi-armed bandit and policy gradient. We experiment on three large review datasets using various state-of-the-art spamming and detection strategies and show that the optimization algorithm can reliably find an equilibrial detector that can robustly and effectively prevent spammers with any mixed spamming strategies from attaining their practical goal. Our code is available at https://github.com/YingtongDou/Nash-Detect. | 翻訳日:2022-11-23 06:44:01 公開日:2020-06-22 |
| # 常識知識の統合 Consolidating Commonsense Knowledge ( http://arxiv.org/abs/2006.06114v2 ) ライセンス: Link先を確認 | Filip Ilievski, Pedro Szekely, Jingwei Cheng, Fu Zhang, Ehsan Qasemi | (参考訳) コモンセンス推論は、堅牢なAIシステムを構築する上で重要な側面であり、自然言語理解、コンピュータビジョン、知識グラフコミュニティで大きな注目を集めている。
現在、多くの価値あるコモンセンスの知識ソースが存在しており、異なる焦点、強み、弱みがある。
本稿では,代表的情報源とその特性を列挙する。
本調査に基づき,CSKG(Common Sense Knowledge Graph)に統合するための原則と表現モデルを提案する。
本研究では,7つの異なるソースをCSKGに統合する手法を提案する。
我々は,cskgの統計,4つのqaデータセットにおけるその有用性に関する初期調査,および学習教訓のリストを提供する。 Commonsense reasoning is an important aspect of building robust AI systems and is receiving significant attention in the natural language understanding, computer vision, and knowledge graphs communities. At present, a number of valuable commonsense knowledge sources exist, with different foci, strengths, and weaknesses. In this paper, we list representative sources and their properties. Based on this survey, we propose principles and a representation model in order to consolidate them into a Common Sense Knowledge Graph (CSKG). We apply this approach to consolidate seven separate sources into a first integrated CSKG. We present statistics of CSKG, present initial investigations of its utility on four QA datasets, and list learned lessons. | 翻訳日:2022-11-23 04:12:35 公開日:2020-06-22 |
| # シャッフルを伴うSGD:成分の凸性のない最適速度と大きなエポック要件 SGD with shuffling: optimal rates without component convexity and large epoch requirements ( http://arxiv.org/abs/2006.06946v2 ) ライセンス: Link先を確認 | Kwangjun Ahn, Chulhee Yun, Suvrit Sra | (参考訳) 有限サム最適化問題に対する置き換えのないSGDについて検討する。
具体的には、有限サムの指標がどのようにシャッフルされるかによって、RandomShuffle(各エポックの開始時のシャッフル)とSingleShuffle(シャッフルのみ)のアルゴリズムを考える。
まず、これらのアルゴリズムの最小収束速度をポリログ因子に設定する。
特に, 本解析は, 勾配支配型非凸コストをカバーするのに十分一般的であり, 既存の最適収束結果とは異なり, 個々の成分関数の凸性に依存しない。
第二に、各成分の凸性を仮定すると、従来のすべての芸術に共通する欠点を除去することにより、RandomShuffleの厳密な収束結果をさらに強化する。 We study without-replacement SGD for solving finite-sum optimization problems. Specifically, depending on how the indices of the finite-sum are shuffled, we consider the RandomShuffle (shuffle at the beginning of each epoch) and SingleShuffle (shuffle only once) algorithms. First, we establish minimax optimal convergence rates of these algorithms up to poly-log factors. Notably, our analysis is general enough to cover gradient dominated nonconvex costs, and does not rely on the convexity of individual component functions unlike existing optimal convergence results. Secondly, assuming convexity of the individual components, we further sharpen the tight convergence results for RandomShuffle by removing the drawbacks common to all prior arts: large number of epochs required for the results to hold, and extra poly-log factor gaps to the lower bound. | 翻訳日:2022-11-22 04:37:49 公開日:2020-06-22 |
| # アンタングル表現学習のための半教師付きVAEの改良 An Improved Semi-Supervised VAE for Learning Disentangled Representations ( http://arxiv.org/abs/2006.07460v2 ) ライセンス: Link先を確認 | Weili Nie, Zichao Wang, Ankit B. Patel, Richard G. Baraniuk | (参考訳) 解釈可能で矛盾した表現の学習は、表現学習において不可欠だが挑戦的なタスクである。
本研究は,半教師付き異方性学習に焦点をあて,ラベル置換を表わす別の監督源を導入することで,locationllo et al. (2019) による作業を拡張する。
具体的には、トレーニング中は、データポイントに関連付けられた推論された表現を、利用可能であればその基底構造表現に置き換える。
この拡張は,既存の半教師付きvaesでよく使われる教師付き用語を自然に動機づけるvaesの文脈における,半教師付き異方性学習の一般的な枠組みに理論的にインスパイアされている。
合成データセットと実際のデータセットに関する広範囲な実験は、非常に限定された監督の下で、不連続性を大幅に改善するための拡張の能力を定量的かつ定性的に証明しています。 Learning interpretable and disentangled representations is a crucial yet challenging task in representation learning. In this work, we focus on semi-supervised disentanglement learning and extend work by Locatello et al. (2019) by introducing another source of supervision that we denote as label replacement. Specifically, during training, we replace the inferred representation associated with a data point with its ground-truth representation whenever it is available. Our extension is theoretically inspired by our proposed general framework of semi-supervised disentanglement learning in the context of VAEs which naturally motivates the supervised terms commonly used in existing semi-supervised VAEs (but not for disentanglement learning). Extensive experiments on synthetic and real datasets demonstrate both quantitatively and qualitatively the ability of our extension to significantly and consistently improve disentanglement with very limited supervision. | 翻訳日:2022-11-22 03:07:25 公開日:2020-06-22 |
| # 学習モデルによる探索と計画のための連続制御 Continuous Control for Searching and Planning with a Learned Model ( http://arxiv.org/abs/2006.07430v2 ) ライセンス: Link先を確認 | Xuxi Yang, Werner Duvaud, Peng Wei | (参考訳) 計画能力を持つ意思決定エージェントは、チェス、ショギ、ゴーといった挑戦的な領域で大きな成功を収めています。
環境力学がエージェントに利用できないより一般的なタスクに計画能力を一般化するために、研究者らは環境との相互作用を通じて動的モデルを学ぶことができるMuZeroアルゴリズムを提案した。
本稿では,MuZeroアルゴリズムを連続的な動作空間を持つより一般化された環境に拡張するための方法と理論的結果を提供する。
比較的低次元の MuJoCo 環境における数値的な結果から,提案アルゴリズムは,最先端のモデルフリー深部強化学習アルゴリズムであるソフトアクタ・クリティック(SAC)アルゴリズムよりも優れていることを示す。 Decision-making agents with planning capabilities have achieved huge success in the challenging domain like Chess, Shogi, and Go. In an effort to generalize the planning ability to the more general tasks where the environment dynamics are not available to the agent, researchers proposed the MuZero algorithm that can learn the dynamical model through the interactions with the environment. In this paper, we provide a way and the necessary theoretical results to extend the MuZero algorithm to more generalized environments with continuous action space. Through numerical results on two relatively low-dimensional MuJoCo environments, we show the proposed algorithm outperforms the soft actor-critic (SAC) algorithm, a state-of-the-art model-free deep reinforcement learning algorithm. | 翻訳日:2022-11-22 02:21:46 公開日:2020-06-22 |
| # 光音楽認識の現状と課題 Optical Music Recognition: State of the Art and Major Challenges ( http://arxiv.org/abs/2006.07885v2 ) ライセンス: Link先を確認 | Elona Shatri and Gy\"orgy Fazekas | (参考訳) 光音楽認識(omr)は、楽譜を機械可読形式に転写することに関わる。
書き起こされたコピーは、ミュージシャンが楽譜の写真を撮って音楽の作曲、演奏、編集を行うことができる。
楽譜の完全な転写は、より効率的なアーカイブを可能にする。
omrは、楽譜を統計的に調べたり、表記のパターンを探したりすることで、デジタル音楽学のユースケースにも役立ちます。
近年,従来のコンピュータビジョン技術から深層学習手法への移行が進んでいる。
本稿では,OMRの基本的手法や重要な成果を含むOMRの関連研究を概観し,OMRパイプラインの異なる段階に注目した。
これらの段階は、しばしば標準の入力と出力の表現と標準化された評価を欠いている。
したがって、異なるアプローチを比較して異なる処理方法の影響を評価することは、かなり複雑になる。
本稿では,今後の課題のいくつかに対処し,この重要な研究分野を強化する立場を示す。 Optical Music Recognition (OMR) is concerned with transcribing sheet music into a machine-readable format. The transcribed copy should allow musicians to compose, play and edit music by taking a picture of a music sheet. Complete transcription of sheet music would also enable more efficient archival. OMR facilitates examining sheet music statistically or searching for patterns of notations, thus helping use cases in digital musicology too. Recently, there has been a shift in OMR from using conventional computer vision techniques towards a deep learning approach. In this paper, we review relevant works in OMR, including fundamental methods and significant outcomes, and highlight different stages of the OMR pipeline. These stages often lack standard input and output representation and standardised evaluation. Therefore, comparing different approaches and evaluating the impact of different processing methods can become rather complex. This paper provides recommendations for future work, addressing some of the highlighted issues and represents a position in furthering this important field of research. | 翻訳日:2022-11-21 12:46:32 公開日:2020-06-22 |
| # 差動的共役型ニューラルネットワーク探索 Differentially-private Federated Neural Architecture Search ( http://arxiv.org/abs/2006.10559v2 ) ライセンス: Link先を確認 | Ishika Singh, Haoyi Zhou, Kunlin Yang, Meng Ding, Bill Lin, Pengtao Xie | (参考訳) ニューラルネットワークのアーキテクチャ(例えば、畳み込み、最大プーリング)を自動的に検索することを目的としたニューラルアーキテクチャサーチは、最近顕著な進歩を遂げた。
多くのアプリケーションシナリオでは、複数のパーティが協力して、すべてのパーティのデータを活用することで、共有ニューラルネットワークを検索したいと考えています。
しかし、プライバシー上の懸念から、他の当事者がデータを見ることを望んでいない。
この問題に対処するため、我々はフェデレートされたニューラルネットワーク探索(FNAS)を提案し、各パーティは、他のパーティにデータを公開することなく、アーキテクチャ変数の勾配を交換することで、一括して識別可能なアーキテクチャを探索する。
さらにプライバシーを守るため,アーキテクチャ変数の勾配にランダムノイズを付加する差分プライベートfna(dp-fnas)の研究を行った。
我々は,DP-FNASが差分プライバシーを達成するための理論的保証を提供する。
DP-FNASは、個々のパーティのプライバシを保護しながら、高性能なニューラルアーキテクチャを探索することができる。
コードはhttps://github.com/UCSD-AI4H/DP-FNASで公開されている。 Neural architecture search, which aims to automatically search for architectures (e.g., convolution, max pooling) of neural networks that maximize validation performance, has achieved remarkable progress recently. In many application scenarios, several parties would like to collaboratively search for a shared neural architecture by leveraging data from all parties. However, due to privacy concerns, no party wants its data to be seen by other parties. To address this problem, we propose federated neural architecture search (FNAS), where different parties collectively search for a differentiable architecture by exchanging gradients of architecture variables without exposing their data to other parties. To further preserve privacy, we study differentially-private FNAS (DP-FNAS), which adds random noise to the gradients of architecture variables. We provide theoretical guarantees of DP-FNAS in achieving differential privacy. Experiments show that DP-FNAS can search highly-performant neural architectures while protecting the privacy of individual parties. The code is available at https://github.com/UCSD-AI4H/DP-FNAS | 翻訳日:2022-11-20 20:28:19 公開日:2020-06-22 |
| # 分布外検出のための状態密度推定 Density of States Estimation for Out-of-Distribution Detection ( http://arxiv.org/abs/2006.09273v2 ) ライセンス: Link先を確認 | Warren R. Morningstar, Cusuh Ham, Andrew G. Gallagher, Balaji Lakshminarayanan, Alexander A. Alemi, Joshua V. Dillon | (参考訳) 意外なことに、最近の研究では、確率論的モデルの可能性は、オフ・オブ・ディストリビューション(OOD)検出の特異性に乏しく、しばしば、イン・ディストリビューションデータよりも高い確率をOODデータに割り当てている。
この問題を改善するために、状態推定器の密度であるDoSEを提案する。
状態の密度」という統計物理学の概念に基づいて、DoSE決定規則はモデル確率の直接比較を回避し、代わりに「モデル確率の確率」または実際に妥当な統計量の頻度を利用する。
非パラメトリック密度推定器(KDE や 1-class SVM など)を用いて周波数を計算し、トレーニングデータから得られる様々なモデル統計の典型性を計測し、異常値として低い定型性を持つテストポイントをフラグできる。
他の多くのメソッドとは異なり、DoSEはラベル付きデータやOODの例を必要としない。
DoSEはモジュール化されており、既存のトレーニング済みモデルにも簡単に適用できます。
我々は,以前に確立された ``hard'' ベンチマークで,他の教師なし OOD 検出器に対する DoSE の最先端性能を実証する。 Perhaps surprisingly, recent studies have shown probabilistic model likelihoods have poor specificity for out-of-distribution (OOD) detection and often assign higher likelihoods to OOD data than in-distribution data. To ameliorate this issue we propose DoSE, the density of states estimator. Drawing on the statistical physics notion of ``density of states,'' the DoSE decision rule avoids direct comparison of model probabilities, and instead utilizes the ``probability of the model probability,'' or indeed the frequency of any reasonable statistic. The frequency is calculated using nonparametric density estimators (e.g., KDE and one-class SVM) which measure the typicality of various model statistics given the training data and from which we can flag test points with low typicality as anomalous. Unlike many other methods, DoSE requires neither labeled data nor OOD examples. DoSE is modular and can be trivially applied to any existing, trained model. We demonstrate DoSE's state-of-the-art performance against other unsupervised OOD detectors on previously established ``hard'' benchmarks. | 翻訳日:2022-11-20 19:38:18 公開日:2020-06-22 |
| # マニフォールド仮説下におけるマルチスケールランゲヴィンダイナミクスの高速混合 Fast Mixing of Multi-Scale Langevin Dynamics under the Manifold Hypothesis ( http://arxiv.org/abs/2006.11166v2 ) ライセンス: Link先を確認 | Adam Block, Youssef Mroueh, Alexander Rakhlin, and Jerret Ross | (参考訳) 近年,画像生成の課題が注目されている。
特に、近年のマルコフ・チェイン・モンテカルロ(MCMC)によるランゲヴィン・ダイナミクス(英語版)の実証的な成功は、いくつかの理論的な進歩を引き起こしている。
まず、ランゲヴィン・ダイナミクスは非凸地形上で非常に高次元で動作するが、最悪の場合、非凸最適化のNP硬度のため、ランゲヴィン・ダイナミクスは次元において指数関数的にのみ混合されると考えられている。
本研究では, 多様体仮説により, 空間次元の指数関数から, データの(かなり小さい)内在次元のみに依存するものまで, 混合時間の相当な低減を実現することを実証する。
第二に、サンプリング空間の高次元はLangevin Dynamicsの性能を著しく損なう; この問題を改善するためにマルチスケールアプローチを活用し、このマルチ解像度アルゴリズムは世代における画像品質と計算コストのトレードオフを可能にすることを観察する。 Recently, the task of image generation has attracted much attention. In particular, the recent empirical successes of the Markov Chain Monte Carlo (MCMC) technique of Langevin Dynamics have prompted a number of theoretical advances; despite this, several outstanding problems remain. First, the Langevin Dynamics is run in very high dimension on a nonconvex landscape; in the worst case, due to the NP-hardness of nonconvex optimization, it is thought that Langevin Dynamics mixes only in time exponential in the dimension. In this work, we demonstrate how the manifold hypothesis allows for the considerable reduction of mixing time, from exponential in the ambient dimension to depending only on the (much smaller) intrinsic dimension of the data. Second, the high dimension of the sampling space significantly hurts the performance of Langevin Dynamics; we leverage a multi-scale approach to help ameliorate this issue and observe that this multi-resolution algorithm allows for a trade-off between image quality and computational expense in generation. | 翻訳日:2022-11-19 03:56:59 公開日:2020-06-22 |
| # 不均一・トポロジカルな3次元材料のための生成逆ネットワークによる組織生成 Microstructure Generation via Generative Adversarial Network for Heterogeneous, Topologically Complex 3D Materials ( http://arxiv.org/abs/2006.13886v1 ) ライセンス: Link先を確認 | Tim Hsu, William K. Epting, Hokon Kim, Harry W. Abernathy, Gregory A. Hackett, Anthony D. Rollett, Paul A. Salvador, and Elizabeth A. Holm | (参考訳) 大規模かつ実験的に捉えられた3Dマイクロ構造データセットを用いて, 固体酸化物燃料電池電極の3Dマイクロ構造を学習・生成するためのGANフレームワークを実装した。
生成した微細構造は視覚的、統計的、トポロジカルに現実的であり、体積率、粒子径、表面積、トルトゥース性、三相境界密度などの微構造パラメータの分布は、元の微細構造と非常によく似ている。
これらの結果は、確立された穀物ベースの生成アルゴリズム(dream.3d)と比較・対比される。
重要なことに、局所分解有限要素モデルを用いた電気化学性能のシミュレーションは、ganが生成した微細構造がオリジナルのパフォーマンス分布と密接に一致することを示し、dream.3dは顕著な違いをもたらす。
生成的機械学習モデルが高忠実度で微細構造を再現する能力は、複雑な微細構造の本質をキャプチャし、コンパクトでマニピュラブルな形で表現できることを示唆している。 Using a large-scale, experimentally captured 3D microstructure dataset, we implement the generative adversarial network (GAN) framework to learn and generate 3D microstructures of solid oxide fuel cell electrodes. The generated microstructures are visually, statistically, and topologically realistic, with distributions of microstructural parameters, including volume fraction, particle size, surface area, tortuosity, and triple phase boundary density, being highly similar to those of the original microstructure. These results are compared and contrasted with those from an established, grain-based generation algorithm (DREAM.3D). Importantly, simulations of electrochemical performance, using a locally resolved finite element model, demonstrate that the GAN generated microstructures closely match the performance distribution of the original, while DREAM.3D leads to significant differences. The ability of the generative machine learning model to recreate microstructures with high fidelity suggests that the essence of complex microstructures may be captured and represented in a compact and manipulatable form. | 翻訳日:2022-11-18 07:00:17 公開日:2020-06-22 |
| # 非定常環境における計算オフロードのオンラインアルゴリズム An Online Algorithm for Computation Offloading in Non-Stationary Environments ( http://arxiv.org/abs/2006.12032v1 ) ライセンス: Link先を確認 | Aniq Ur Rahman, Gourab Ghatak, Antonio De Domenico | (参考訳) 計算タスクのアウトソーシングに複数のサーバを使用可能なタスクオフロードシナリオにおいて,レイテンシ最小化の問題を考慮する。
無線リンクの時間的動的特性と計算資源の可用性を考慮し,マルチアームドバンディット(mab)問題としてサーバ選択をモデル化した。
MABフレームワークでは、報酬はエンドツーエンドのレイテンシで特徴づけられる。
本研究では,不確実性に直面した楽観主義の原理に基づく新しいオンライン学習アルゴリズムを提案する。
本研究は,動的環境における過去の報酬を大幅削減することの重要性を浮き彫りにした。 We consider the latency minimization problem in a task-offloading scenario, where multiple servers are available to the user equipment for outsourcing computational tasks. To account for the temporally dynamic nature of the wireless links and the availability of the computing resources, we model the server selection as a multi-armed bandit (MAB) problem. In the considered MAB framework, rewards are characterized in terms of the end-to-end latency. We propose a novel online learning algorithm based on the principle of optimism in the face of uncertainty, which outperforms the state-of-the-art algorithms by up to ~1s. Our results highlight the significance of heavily discounting the past rewards in dynamic environments. | 翻訳日:2022-11-18 06:59:57 公開日:2020-06-22 |
| # 太陽物理学と宇宙天気予報における機械学習--発見と勧告のホワイトペーパー Machine Learning in Heliophysics and Space Weather Forecasting: A White Paper of Findings and Recommendations ( http://arxiv.org/abs/2006.12224v1 ) ライセンス: Link先を確認 | Gelu Nita, Manolis Georgoulis, Irina Kitiashvili, Viacheslav Sadykov, Enrico Camporeale, Alexander Kosovichev, Haimin Wang, Vincent Oria, Jason Wang, Rafal Angryk, Berkay Aydin, Azim Ahmadzadeh, Xiaoli Bai, Timothy Bastian, Soukaina Filali Boubrahimi, Bin Chen, Alisdair Davey, Sheldon Fereira, Gregory Fleishman, Dale Gary, Andrew Gerrard, Gregory Hellbourg, Katherine Herbert, Jack Ireland, Egor Illarionov, Natsuha Kuroda, Qin Li, Chang Liu, Yuexin Liu, Hyomin Kim, Dustin Kempton, Ruizhe Ma, Petrus Martens, Ryan McGranaghan, Edward Semones, John Stefan, Andrey Stejko, Yaireska Collado-Vega, Meiqi Wang, Yan Xu, Sijie Yu | (参考訳) このホワイトペーパーの著者らは、2020年1月16日から17日にかけてニュージャージー州ニューアークのニュージャージー工科大学で開かれた2日間のワークショップで、ヘリオフィジスト、データ提供者、エキスパートモデラー、コンピュータ/データサイエンティストの集団を集めた。
彼らの目的は、ヘリオフィジカルにおけるデータ分析、モデリング、予測のための機械学習および/またはディープラーニング技術の応用に関する重要な発展と展望を議論し、この分野におけるさらなる発展のための戦略を形成することである。
ワークショップでは、招待された招待講演とオープンなディスカッションセッションのセットを組み合わせた、一連のプレナリーセッションが組み合わされた。
議論の結果は、参加者が同意した推奨事項のトップレベルリストも含む、このホワイトペーパーにまとめられている。 The authors of this white paper met on 16-17 January 2020 at the New Jersey Institute of Technology, Newark, NJ, for a 2-day workshop that brought together a group of heliophysicists, data providers, expert modelers, and computer/data scientists. Their objective was to discuss critical developments and prospects of the application of machine and/or deep learning techniques for data analysis, modeling and forecasting in Heliophysics, and to shape a strategy for further developments in the field. The workshop combined a set of plenary sessions featuring invited introductory talks interleaved with a set of open discussion sessions. The outcome of the discussion is encapsulated in this white paper that also features a top-level list of recommendations agreed by participants. | 翻訳日:2022-11-18 06:59:47 公開日:2020-06-22 |
| # 高解像度交通データを用いた短期交通予測 Short-Term Traffic Forecasting Using High-Resolution Traffic Data ( http://arxiv.org/abs/2006.12292v1 ) ライセンス: Link先を確認 | Wenqing Li, Chuhan Yang, Saif Eddin Jabari | (参考訳) 本稿では,高分解能(イベントベース)トラフィックデータを用いた交通予測のためのデータ駆動ツールキットを開発した。
これは都市道路の固定センサから得られた生データである。
このような生データの時系列は、あるステップから次のステップ(典型的には0.1-1秒)で大きな変動を示す。
交通状況の短期予測(将来10～30秒)は、交通運用アプリケーション(例えば適応信号制御)にとって重要である。
しかし、文献における交通予測ツールは、典型的な信号サイクルが2分間のオーダーである3～5分間の集計データを扱う。
これにより、そのような予測はオペレーションレベルで役に立たない。
この目的のために,予測入力をカーネルを用いて高次元空間にマッピングするマトリクス補完問題として,トラヒック予測問題をモデル化する。
この定式化により、予測入力と出力の間の非線形依存関係の両方をキャプチャできるが、入力間の依存関係もキャプチャできる。
これらの依存関係は、ネットワーク内の異なる場所間の相関に対応する。
さらに,学習精度の向上とデータの履歴パターンの把握に適応型ブースティングを適用した。
提案手法の性能は,uaeのアブダビにある実世界のトラヒックネットワークから得られた高解像度データを用いて検証した。
実験の結果,提案手法は他の最先端アルゴリズムよりも優れていることがわかった。 This paper develops a data-driven toolkit for traffic forecasting using high-resolution (a.k.a. event-based) traffic data. This is the raw data obtained from fixed sensors in urban roads. Time series of such raw data exhibit heavy fluctuations from one time step to the next (typically on the order of 0.1-1 second). Short-term forecasts (10-30 seconds into the future) of traffic conditions are critical for traffic operations applications (e.g., adaptive signal control). But traffic forecasting tools in the literature deal predominantly with 3-5 minute aggregated data, where the typical signal cycle is on the order of 2 minutes. This renders such forecasts useless at the operations level. To this end, we model the traffic forecasting problem as a matrix completion problem, where the forecasting inputs are mapped to a higher dimensional space using kernels. The formulation allows us to capture both nonlinear dependencies between forecasting inputs and outputs but also allows us to capture dependencies among the inputs. These dependencies correspond to correlations between different locations in the network. We further employ adaptive boosting to enhance the training accuracy and capture historical patterns in the data. The performance of the proposed methods is verified using high-resolution data obtained from a real-world traffic network in Abu Dhabi, UAE. Our experimental results show that the proposed method outperforms other state-of-the-art algorithms. | 翻訳日:2022-11-18 06:59:32 公開日:2020-06-22 |
| # 実現可能性保証を伴う微分プライベート凸最適化 Differentially Private Convex Optimization with Feasibility Guarantees ( http://arxiv.org/abs/2006.12338v1 ) ライセンス: Link先を確認 | Vladimir Dvorkin and Ferdinando Fioretto and Pascal Van Hentenryck and Jalal Kazempour and Pierre Pinson | (参考訳) 本稿では,感度の高い最適化データと複雑な物理あるいは操作上の制約を伴う凸最適化問題を解くための,新しい微分プライベートフレームワークを開発した。
このフレームワークは、主に問題データ、目的または解決策に作用し、問題の制約を無視する標準的なノイズ付加アルゴリズムとは異なり、最適化変数をノイズの関数として要求し、形式的な実現可能性保証付き確率制約付き問題修正を利用する。
ノイズは最適化ソリューション上のidと線形クエリの差分プライバシを提供するように調整される。
リソース割り当て問題を含む多くのアプリケーションにおいて、提案フレームワークは、期待される最適性損失と最適化結果のばらつきの間のトレードオフを提供する。 This paper develops a novel differentially private framework to solve convex optimization problems with sensitive optimization data and complex physical or operational constraints. Unlike standard noise-additive algorithms, that act primarily on the problem data, objective or solution, and disregard the problem constraints, this framework requires the optimization variables to be a function of the noise and exploits a chance-constrained problem reformulation with formal feasibility guarantees. The noise is calibrated to provide differential privacy for identity and linear queries on the optimization solution. For many applications, including resource allocation problems, the proposed framework provides a trade-off between the expected optimality loss and the variance of optimization results. | 翻訳日:2022-11-18 06:59:11 公開日:2020-06-22 |
| # サーロゲートに基づくベイズ推定による表面速度観測による亜氷河過程の制約 Constraining subglacial processes from surface velocity observations using surrogate-based Bayesian inference ( http://arxiv.org/abs/2006.12422v1 ) ライセンス: Link先を確認 | Douglas Brinkerhoff, Andy Aschwanden, Mark Fahnestock | (参考訳) 基底運動は南極大陸外における氷の流束の主なメカニズムであるが、振り返り観測の欠如を予測するための広く適用可能なモデルである。
これは、小規模のベッド特性の観察と、基底運動が依存する時間変化水圧の予測の両方が困難であるためである。
氷の動力学と氷下水文学のモデルとグリーンランド南西部の表面速度の観測とを結合し,これらの問題に対するベイズ的アプローチをとり,スライディング則と水文モデルの両方の挙動を規定する8つの空間的および時間的定数パラメータの後方確率分布を推算する。
このモデルは計算コストが高いため、古典的なmcmcサンプリングは難解である。
我々は、計算コストのスライバーでモデルに近似するサロゲートとしてニューラルネットワークを訓練することでこの問題を回避する。
その結果, 表面速度観測により, 事前分布に対するモデルパラメータの強い制約が確立され, 相関関係も解明され, モデルでは観測された分散の60%が説明できることがわかった。
しかし,水文系と応力環境のいくつかの異なる構成は観測と一致しており,データ収集とモデル開発を継続する必要性を強調する。 Basal motion is the primary mechanism for ice flux outside Antarctica, yet a widely applicable model for predicting it in the absence of retrospective observations remains elusive. This is due to the difficulty in both observing small-scale bed properties and predicting a time-varying water pressure on which basal motion putatively depends. We take a Bayesian approach to these problems by coupling models of ice dynamics and subglacial hydrology and conditioning on observations of surface velocity in southwestern Greenland to infer the posterior probability distributions for eight spatially and temporally constant parameters governing the behavior of both the sliding law and hydrologic model. Because the model is computationally expensive, classical MCMC sampling is intractable. We skirt this issue by training a neural network as a surrogate that approximates the model at a sliver of the computational cost. We find that surface velocity observations establish strong constraints on model parameters relative to a prior distribution and also elucidate correlations, while the model explains 60% of observed variance. However, we also find that several distinct configurations of the hydrologic system and stress regime are consistent with observations, underscoring the need for continued data collection and model development. | 翻訳日:2022-11-18 06:58:58 公開日:2020-06-22 |
| # 調音波ネット:音響-調波インバージョンのための自己回帰モデル Articulatory-WaveNet: Autoregressive Model For Acoustic-to-Articulatory Inversion ( http://arxiv.org/abs/2006.12594v1 ) ライセンス: Link先を確認 | Narjes Bozorg and Michael T.Johnson | (参考訳) 本稿では,音響-調音間インバージョンのための新しいアプローチである調音ウェーブネットについて述べる。
提案システムはWaveNet音声合成アーキテクチャを用いて,音響特性を前提とした予測音節軌道の先行値を用いた拡張因果畳み込み層を用いた。
このシステムは、英語の母語話者と母語話者の両方を含む39人の話者からなるマンダリンアクセント・イングリッシュ(EMA-MAE)のElectroMagnetic Articulography corpusで訓練され、評価された。
その結果,新しい手法では,ベースライン隠れマルコフモデル (hmm) とガウス混合モデル (gmm) のインバージョンフレームワークで得られた 0.61 相関に対して, 平均 0.83 の相関関係が, 相関とrmse が有意な改善を示した。
そこで本研究では,音響-調音間インバージョン問題に対するポイント・バイ・ポイント波形合成法を初めて適用し,従来の話者依存音響から調音的インバージョン法と比較して性能が向上したことを示す。 This paper presents Articulatory-WaveNet, a new approach for acoustic-to-articulator inversion. The proposed system uses the WaveNet speech synthesis architecture, with dilated causal convolutional layers using previous values of the predicted articulatory trajectories conditioned on acoustic features. The system was trained and evaluated on the ElectroMagnetic Articulography corpus of Mandarin Accented English (EMA-MAE),consisting of 39 speakers including both native English speakers and native Mandarin speakers speaking English. Results show significant improvement in both correlation and RMSE between the generated and true articulatory trajectories for the new method, with an average correlation of 0.83, representing a 36% relative improvement over the 0.61 correlation obtained with a baseline Hidden Markov Model (HMM)-Gaussian Mixture Model (GMM) inversion framework. To the best of our knowledge, this paper presents the first application of a point-by-point waveform synthesis approach to the problem of acoustic-to-articulatory inversion and the results show improved performance compared to previous methods for speaker dependent acoustic to articulatory inversion. | 翻訳日:2022-11-18 06:58:10 公開日:2020-06-22 |
| # ニューラルネットワークによる位相空間学習 Phase space learning with neural networks ( http://arxiv.org/abs/2006.12599v1 ) ライセンス: Link先を確認 | Jaime Lopez Garcia, Angel Rivero Jimenez | (参考訳) 本研究では,偏微分方程式(pdes)の非線形一般化として,自動エンコーダニューラルネットワークを提案する。
提案したディープラーニングアーキテクチャは, 中間再構成を伴わずに, 完全に最小の潜在空間に集積することでPDEのダイナミクスを生成でき, その後, 潜在解を元の空間に復号することができる。
学習された潜在軌跡を表現し、その物理的可能性を分析する。
単一経路のサンプルデータから動的システムの位相空間のグローバルな特性を学習するために、適切に正規化されたニューラルネットワークの信頼性と、目に見えない分岐を予測する能力を示す。 This work proposes an autoencoder neural network as a non-linear generalization of projection-based methods for solving Partial Differential Equations (PDEs). The proposed deep learning architecture presented is capable of generating the dynamics of PDEs by integrating them completely in a very reduced latent space without intermediate reconstructions, to then decode the latent solution back to the original space. The learned latent trajectories are represented and their physical plausibility is analyzed. It is shown the reliability of properly regularized neural networks to learn the global characteristics of a dynamical system's phase space from the sample data of a single path, as well as its ability to predict unseen bifurcations. | 翻訳日:2022-11-18 06:57:51 公開日:2020-06-22 |
| # 5Gmm波ネットワークにおけるビーム予測のためのディープラーニングによる高速初期アクセス Fast Initial Access with Deep Learning for Beam Prediction in 5G mmWave Networks ( http://arxiv.org/abs/2006.12653v1 ) ライセンス: Link先を確認 | Tarun S. Cousik, Vijay K. Shah, Jeffrey H. Reed, Tugba Erpek, Yalin E. Sagduyu | (参考訳) 本稿では,従来のIAと比較して5Gミリ波(mmWave)ネットワークにおいて,高速かつ高精度な初期アクセス(IA)を実現するディープラーニングソリューションDeepIAを提案する。
IAプロセスにおけるビームのサブセットを利用することで、DeepIAは排気ビームサーチの必要性を排除し、IAにおけるビームスイープ時間を短縮する。
ディープニューラルネットワーク(DNN)は、受信した信号強度(RSS)から受信機の最適な空間ビーム(より大きなビームのセット)に少ないビームで収集された複雑なマッピングを学習するために訓練される。
テスト時間では、DeepIAは少数のビームからのみRSSを測定し、DNNを実行してIAの最良のビームを予測する。
そこで,DeepIAは,ビームの除去によりIA時間を短縮し,視線(LoS)および非視線(NLoS)mm波流路条件において従来のIAのビーム予測精度を大幅に上回ることを示す。 This paper presents DeepIA, a deep learning solution for faster and more accurate initial access (IA) in 5G millimeter wave (mmWave) networks when compared to conventional IA. By utilizing a subset of beams in the IA process, DeepIA removes the need for an exhaustive beam search thereby reducing the beam sweep time in IA. A deep neural network (DNN) is trained to learn the complex mapping from the received signal strengths (RSSs) collected with a reduced number of beams to the optimal spatial beam of the receiver (among a larger set of beams). In test time, DeepIA measures RSSs only from a small number of beams and runs the DNN to predict the best beam for IA. We show that DeepIA reduces the IA time by sweeping fewer beams and significantly outperforms the conventional IA's beam prediction accuracy in both line of sight (LoS) and non-line of sight (NLoS) mmWave channel conditions. | 翻訳日:2022-11-18 06:57:40 公開日:2020-06-22 |
| # 意味的特徴を用いたマルチスケール磁気共鳴画像再構成 Semantic Features Aided Multi-Scale Reconstruction of Inter-Modality Magnetic Resonance Images ( http://arxiv.org/abs/2006.12585v1 ) ライセンス: Link先を確認 | Preethi Srinivasan, Prabhjot Kaur, Aditya Nigam, Arnav Bhavsar | (参考訳) 多モードMR画像(特にAQTが長いT2WI)のシリーズ取得による長期取得時間(AQT)は、疾患診断に有用であるが、実際には望ましくない。
本稿では,エンコーダ・デコーダアーキテクチャを用いて,T1W画像からT2W画像を再構成する新しいディープ・ネットワーク・ベース・ソリューションを提案する。
提案した学習は,2つの直交方向の強調値と画像の勾配を持つマルチチャネル入力を用いて意味的特徴を持つ。
シャープボトルネックモジュール(sbm)を内蔵したエンコーダ・デコーダモデルであるドメイン適応モジュール(dam)と共にネットワークを増強する再構成モジュール(rm)をモジュールトレーニングにより訓練する。
提案するネットワークは,AQT全体の質的アーティファクトと量的損失(約1秒で1ボリュームを再構成)を大幅に低減する。
テストは実際のMR画像を用いた公開データセット上で行われ、提案したネットワークはSOTA上のPSNRの増加(約1dB)を示す。 Long acquisition time (AQT) due to series acquisition of multi-modality MR images (especially T2 weighted images (T2WI) with longer AQT), though beneficial for disease diagnosis, is practically undesirable. We propose a novel deep network based solution to reconstruct T2W images from T1W images (T1WI) using an encoder-decoder architecture. The proposed learning is aided with semantic features by using multi-channel input with intensity values and gradient of image in two orthogonal directions. A reconstruction module (RM) augmenting the network along with a domain adaptation module (DAM) which is an encoder-decoder model built-in with sharp bottleneck module (SBM) is trained via modular training. The proposed network significantly reduces the total AQT with negligible qualitative artifacts and quantitative loss (reconstructs one volume in approximately 1 second). The testing is done on publicly available dataset with real MR images, and the proposed network shows (approximately 1dB) increase in PSNR over SOTA. | 翻訳日:2022-11-18 06:50:55 公開日:2020-06-22 |
| # 量子決定論における進化過程 Evolutionary Processes in Quantum Decision Theory ( http://arxiv.org/abs/2006.16763v1 ) ライセンス: Link先を確認 | V.I. Yukalov | (参考訳) このレビューは、意思決定における一時的なプロセスに重点を置いて、量子決定理論の基礎を提示する。
その目的は理論の要点を説明することである。
不合理な感情で装飾された選択肢から、操作的に検証可能な合理的選択を区別する。
量子古典対応が強調される。
量子インテリジェンスネットワークのモデルについて述べる。
動的不整合は量子決定理論の枠組みで解かれることが示されている。 The review presents the basics of quantum decision theory, with the emphasis on temporary processes in decision making. The aim is to explain the principal points of the theory. The difference of an operationally testable rational choice between alternatives from a choice decorated by irrational feelings is elucidated. Quantum-classical correspondence is emphasized. A model of quantum intelligence network is described. Dynamic inconsistencies are shown to be resolved in the frame of the quantum decision theory. | 翻訳日:2022-11-18 06:50:31 公開日:2020-06-22 |
| # 畳み込みネットワークモデルによる壁面乱流の予測 Convolutional-network models to predict wall-bounded turbulence from wall quantities ( http://arxiv.org/abs/2006.12483v1 ) ライセンス: Link先を確認 | L. Guastoni, A. G\"uemes, A.Ianiro, S. Discetti, P. Schlatter, H. Azizpour, R. Vinuesa | (参考訳) 畳み込みニューラルネットワークに基づく2つのモデルを用いて,乱流開水路流れの異なる壁面の2次元の速度-変動場を,壁-ハーストストレス成分と壁圧を入力として予測する。
第1のモデルは、揺らぎを直接予測する完全畳み込みニューラルネットワーク(FCN)であり、第2のモデルは正則基底関数の線形結合を用いて流れ場を再構成し、適切な直交分解(POD)によって得られる。
両方のモデルは、摩擦レイノルズ数$Re_{\tau} = 180$と550$の2つの直接数値シミュレーション(DNS)のデータを用いて訓練される。
流れの非線形相互作用を予測する能力により、どちらのモデルも、入力場と出力場の線形関係を確立する拡張固有直交分解(EPOD)よりも優れた予測性能を示す。
各種モデルの性能は, 瞬時変動場, 乱流統計, パワースペクトル密度の予測に基づいて比較する。
FCNは壁に近い最良の予測を示すが、FCN-PODモデルは壁の通常の距離よりも高い予測を提供する。
また,$Re_{\tau}=180$から,$Re_{\tau}=550$を初期化することにより,FCNモデルの転送学習の実現可能性についても検討した。
この結果から, 基準モデルに類似した性能を, 50 %$と 25 %$で$y^{+}=50$まで得ることが可能であることが示唆された。
これらの非侵入センシングモデルは、壁面境界乱流の閉ループ制御に関する応用において重要な役割を果たす。 Two models based on convolutional neural networks are trained to predict the two-dimensional velocity-fluctuation fields at different wall-normal locations in a turbulent open channel flow, using the wall-shear-stress components and the wall pressure as inputs. The first model is a fully-convolutional neural network (FCN) which directly predicts the fluctuations, while the second one reconstructs the flow fields using a linear combination of orthonormal basis functions, obtained through proper orthogonal decomposition (POD), hence named FCN-POD. Both models are trained using data from two direct numerical simulations (DNS) at friction Reynolds numbers $Re_{\tau} = 180$ and $550$. Thanks to their ability to predict the nonlinear interactions in the flow, both models show a better prediction performance than the extended proper orthogonal decomposition (EPOD), which establishes a linear relation between input and output fields. The performance of the various models is compared based on predictions of the instantaneous fluctuation fields, turbulence statistics and power-spectral densities. The FCN exhibits the best predictions closer to the wall, whereas the FCN-POD model provides better predictions at larger wall-normal distances. We also assessed the feasibility of performing transfer learning for the FCN model, using the weights from $Re_{\tau}=180$ to initialize those of the $Re_{\tau}=550$ case. Our results indicate that it is possible to obtain a performance similar to that of the reference model up to $y^{+}=50$, with $50\%$ and $25\%$ of the original training data. These non-intrusive sensing models will play an important role in applications related to closed-loop control of wall-bounded turbulence. | 翻訳日:2022-11-18 06:50:26 公開日:2020-06-22 |
| # 教師付き学習のための量子コンピューティング手法 Quantum Computing Methods for Supervised Learning ( http://arxiv.org/abs/2006.12025v1 ) ライセンス: Link先を確認 | Viraj Kulkarni, Milind Kulkarni, Aniruddha Pant | (参考訳) 過去20年間、量子コンピューティングと機械学習の両方の理論と実践は爆発的な成長を遂げてきた。
現代の機械学習システムは大量のデータを処理し、膨大な計算能力を要求する。
半導体半導体の小型化が物理限界に近づくにつれ、量子コンピューティングは将来的にこれらの計算ニーズに適応すると考えられている。
小型量子コンピュータと量子アニーラーが製造され、既に市販されている。
量子コンピュータは、すべての科学および工学領域にわたる機械学習の研究と応用に役立つ。
しかし、量子力学のルーツのため、この分野での研究は物理学コミュニティのパービューに限られており、ほとんどの研究は他の分野の研究者に容易にはアクセスできない。
本稿では、教師付き機械学習問題への応用を探求する前に、量子コンピューティングの背景と重要な結果を要約する。
量子計算にほとんど依存しない物理学の結果を取り入れることで、この導入をデータサイエンティスト、機械学習の実践者、そしてさまざまな分野の研究者に公開したいと考えている。 The last two decades have seen an explosive growth in the theory and practice of both quantum computing and machine learning. Modern machine learning systems process huge volumes of data and demand massive computational power. As silicon semiconductor miniaturization approaches its physics limits, quantum computing is increasingly being considered to cater to these computational needs in the future. Small-scale quantum computers and quantum annealers have been built and are already being sold commercially. Quantum computers can benefit machine learning research and application across all science and engineering domains. However, owing to its roots in quantum mechanics, research in this field has so far been confined within the purview of the physics community, and most work is not easily accessible to researchers from other disciplines. In this paper, we provide a background and summarize key results of quantum computing before exploring its application to supervised machine learning problems. By eschewing results from physics that have little bearing on quantum computation, we hope to make this introduction accessible to data scientists, machine learning practitioners, and researchers from across disciplines. | 翻訳日:2022-11-18 06:49:54 公開日:2020-06-22 |
| # 量子機械学習を用いた分類:サーベイ Classification with Quantum Machine Learning: A Survey ( http://arxiv.org/abs/2006.12270v1 ) ライセンス: Link先を確認 | Zainab Abohashima, Mohamed Elhosen, Essam H. Houssein and Waleed M. Mohamed | (参考訳) 暗号、化学、ビッグデータ、機械学習、最適化、IoT(Internet of Things)、ブロックチェーン、通信など、多くのアプリケーションにおいて、量子コンピューティング(QC)の優位性と注目すべき進歩のためである。
古典的機械学習(ml)と量子情報処理(qip)を組み合わせることで、量子世界における新しい分野を構築することを、量子機械学習(qml)と呼ぶ。
本研究の目的は、量子機械学習(QML)の最先端技術に関する包括的調査を提示し、まとめることである。
特に最近のqml分類は機能する。
また、最近Quantum Machine Learning (QML)で発行されている約30の論文についても取り上げる。
量子世界における分類手法を提案し,古典的データを量子データにマッピングするための符号化手法について議論する。
次に,従来の機械学習(ML)の性能向上と高速化のために,量子サブルーチンと量子コンピューティング(QC)のいくつかの方法を提案する。
また、様々な分野、課題、将来のビジョンにおけるQMLアプリケーションについても紹介します。 Due to the superiority and noteworthy progress of Quantum Computing (QC) in a lot of applications such as cryptography, chemistry, Big data, machine learning, optimization, Internet of Things (IoT), Blockchain, communication, and many more. Fully towards to combine classical machine learning (ML) with Quantum Information Processing (QIP) to build a new field in the quantum world is called Quantum Machine Learning (QML) to solve and improve problems that displayed in classical machine learning (e.g. time and energy consumption, kernel estimation). The aim of this paper presents and summarizes a comprehensive survey of the state-of-the-art advances in Quantum Machine Learning (QML). Especially, recent QML classification works. Also, we cover about 30 publications that are published lately in Quantum Machine Learning (QML). we propose a classification scheme in the quantum world and discuss encoding methods for mapping classical data to quantum data. Then, we provide quantum subroutines and some methods of Quantum Computing (QC) in improving performance and speed up of classical Machine Learning (ML). And also some of QML applications in various fields, challenges, and future vision will be presented. | 翻訳日:2022-11-18 06:49:23 公開日:2020-06-22 |
| # 意味環境における行動生成のためのグラフニューラルネットワークと強化学習 Graph Neural Networks and Reinforcement Learning for Behavior Generation in Semantic Environments ( http://arxiv.org/abs/2006.12576v1 ) ライセンス: Link先を確認 | Patrick Hart, Alois Knoll | (参考訳) ほとんどの強化学習手法はベクトル情報を入力として利用する。
しかし、これはネットワークが事前定義された入力サイズを持つ必要がある -- セマンティック環境では、最大車両数を仮定することを意味する。
さらに、このベクトル表現は、車両の順序や数に不変ではない。
上記の欠点を緩和するために,グラフニューラルネットワークとアクタ-クリティック強化学習を組み合わせることを提案する。
グラフニューラルネットワークは、すべての車両に同じネットワークを適用し、到着するエッジ情報を集約するので、車両の数と順序に不変である。
これにより、オブジェクトリストで構成されるセマンティック環境のネットワークとして使われるのが理想的になる。
グラフニューラルネットワークは、セマンティック環境での使用に好適なその他の利点を示している。
関係情報は明示的に与えられ、推論される必要はない。
さらに、グラフニューラルネットワークは、ネットワークを介して情報を伝播し、高次情報を集めることができる。
本稿では,高速道路車線変更シナリオを用いて,グラフニューラルネットワークの性能を従来手法と比較する。
グラフニューラルネットワークは,トレーニングや応用において,車両数や順序の異なるシナリオを処理可能であることを示す。 Most reinforcement learning approaches used in behavior generation utilize vectorial information as input. However, this requires the network to have a pre-defined input-size -- in semantic environments this means assuming the maximum number of vehicles. Additionally, this vectorial representation is not invariant to the order and number of vehicles. To mitigate the above-stated disadvantages, we propose combining graph neural networks with actor-critic reinforcement learning. As graph neural networks apply the same network to every vehicle and aggregate incoming edge information, they are invariant to the number and order of vehicles. This makes them ideal candidates to be used as networks in semantic environments -- environments consisting of objects lists. Graph neural networks exhibit some other advantages that make them favorable to be used in semantic environments. The relational information is explicitly given and does not have to be inferred. Moreover, graph neural networks propagate information through the network and can gather higher-degree information. We demonstrate our approach using a highway lane-change scenario and compare the performance of graph neural networks to conventional ones. We show that graph neural networks are capable of handling scenarios with a varying number and order of vehicles during training and application. | 翻訳日:2022-11-18 06:48:42 公開日:2020-06-22 |
| # AIオンラインカンファレンスが成功 - SoCS 2020の教訓 Organising a Successful AI Online Conference: Lessons from SoCS 2020 ( http://arxiv.org/abs/2006.12129v1 ) ライセンス: Link先を確認 | Daniel Harabor and Mauro Vallati | (参考訳) 第13回コンビニアルサーチシンポジウム(SoCS)は2020年5月26-28日に開催された。
元々はオーストリアのウィーンで開催される予定だったが、3月初旬に完全なオンライン技術プログラムへと転換した。
個人イベントとして、SOCSは参加者に対して、技術的な講演(長く短い)、ポスターセッション、レナリーセッション、コミュニティミーティング、2020年の新しいマスタークラスチュートリアルプログラムなど、さまざまな学術活動を提供している。
本稿では,これら多種多様な活動のオンライン環境への適応に伴う課題,アプローチ,機会について述べる。
イベントの前後において, スケジュール, 普及, 参加者との交流, コミュニティの関与などの問題を考える。
それぞれの事例においてSoCSのアプローチを報告し、その効果をポストホック分析し、その決定がSoCS 2020以降の日におけるSOCSコミュニティにどのように影響するかを議論する。 The 13th Symposium on Combinatorial Search (SoCS) was held May 26-28, 2020. Originally scheduled to take place in Vienna, Austria, the symposium pivoted toward a fully online technical program in early March. As an in-person event SoCS offers participants a diverse array of scholarly activities including technical talks (long and short), poster sessions, plenary sessions, a community meeting and, new for 2020, a Master Class tutorial program. This paper describes challenges, approaches and opportunities associated with adapting these many different activities to the online setting. We consider issues such as scheduling, dissemination, attendee interaction and community engagement before, during and after the event. We report on the approaches taken by SoCS in each case, we give a post-hoc analysis of their their effectiveness and we discuss how these decisions continue to impact the SoCS community in the days after SoCS 2020. | 翻訳日:2022-11-18 06:42:51 公開日:2020-06-22 |
| # 宇宙における人工知能 Artificial intelligence in space ( http://arxiv.org/abs/2006.12362v1 ) ライセンス: Link先を確認 | George Anthony Gal, Cristiana Santos, Lucien Rapp, R\'eeka Markovich and Leendert van der Torre | (参考訳) 今後数年間で、宇宙活動は、新しい衛星システムや、人工知能や機械学習の貢献を取り入れ、独自の意思決定能力を持つ自律型物体から、宇宙から大量の情報を利用する高度なサービスまで、幅広いイノベーションをカバーしていく新しいサービスによって、急進的な変革を受けることが期待される。
この章は、その使用に関連する法的および倫理的課題をいくつか挙げている。
これらの法的および倫理的な課題は、国際条約が決定と実施に十分でない解決策を要求する。
このため、インテリジェントなシステムやサービスを適用可能なルールシステムとリンクできるようにするための法的手法が開発されなければならない。
宇宙法を動作可能にし、相互運用可能で、将来のコンプライアンスツールでマシン可読化可能にするために、既存の法的AIベースのツールについて議論する。 In the next coming years, space activities are expected to undergo a radical transformation with the emergence of new satellite systems or new services which will incorporate the contributions of artificial intelligence and machine learning defined as covering a wide range of innovations from autonomous objects with their own decision-making power to increasingly sophisticated services exploiting very large volumes of information from space. This chapter identifies some of the legal and ethical challenges linked to its use. These legal and ethical challenges call for solutions which the international treaties in force are not sufficient to determine and implement. For this reason, a legal methodology must be developed that makes it possible to link intelligent systems and services to a system of rules applicable thereto. It discusses existing legal AI-based tools amenable for making space law actionable, interoperable and machine readable for future compliance tools. | 翻訳日:2022-11-18 06:42:28 公開日:2020-06-22 |
| # PICO:Controlの原始的な模倣 PICO: Primitive Imitation for COntrol ( http://arxiv.org/abs/2006.12551v1 ) ライセンス: Link先を確認 | Corban G. Rivera, Katie M. Popek, Chace Ashcraft, Edward W. Staley, Kapil D. Katyal, Bart L. Paulhamus | (参考訳) 本研究では,Primitive Imitation for Control PICOと呼ばれる複雑なシステムを制御する新しいフレームワークについて検討する。
このアプローチは、模倣学習、タスク分解、新しいタスクシーケンシングといったアイデアを組み合わせることで、デモンストレーションから新しい行動へと一般化する。
デモは自動的に既存のあるいは欠落したサブ振る舞いに分解され、フレームワークは既存の振る舞いを複製することなく、新しい振る舞いを識別できる。
新しいタスクへの一般化は、振る舞いプリミティブの動的ブレンディングによって達成される。
2つの異なるロボットプラットフォームによる実演によるアプローチの評価を行った。
実験の結果,PICOは新規な行動プリミティブの存在を検知し,欠落した制御ポリシーを構築することができることがわかった。 In this work, we explore a novel framework for control of complex systems called Primitive Imitation for Control PICO. The approach combines ideas from imitation learning, task decomposition, and novel task sequencing to generalize from demonstrations to new behaviors. Demonstrations are automatically decomposed into existing or missing sub-behaviors which allows the framework to identify novel behaviors while not duplicating existing behaviors. Generalization to new tasks is achieved through dynamic blending of behavior primitives. We evaluated the approach using demonstrations from two different robotic platforms. The experimental results show that PICO is able to detect the presence of a novel behavior primitive and build the missing control policy. | 翻訳日:2022-11-18 06:42:12 公開日:2020-06-22 |
| # 情報理論ユーザーインタラクション:プログラム合成のための重要な入力 Information-theoretic User Interaction: Significant Inputs for Program Synthesis ( http://arxiv.org/abs/2006.12638v1 ) ライセンス: Link先を確認 | Ashish Tiwari, Arjun Radhakrishna, Sumit Gulwani, and Daniel Perelman | (参考訳) プログラミング・バイ・サンプル技術は様々な種類のデータ変換をリアルタイムに合成するために工業製品にデプロイされている。
これらの技術は、トランスフォーメーションタスクの代表的な例をほとんど提供するために、ユーザに依存しています。
ユーザに質問するために最も適切な質問を見つける必要性に動機づけられた本論文では、"em significant question problem"という問題を紹介し、一般に難しいことを示します。
次に,その問題を解決するための情報理論的欲求的アプローチを開発する。
我々は条件付きエントロピー結果を用いて欲求的アルゴリズムを正当化するが、これは非公式に、最大情報ゲインを達成する問題は、我々が少なくとも知っている問題である、と述べる。
対話型プログラム合成の文脈では、上記の結果を用いて、各イテレーションでユーザに対してクエリーとしてポーズする重要な入力を生成する {\em{active program learner}} を開発した。
この手順では、全ての一貫したプログラムのセットから候補プログラムをサンプリングし、情報ゲインを推定できるように、.em{passive program learner}} を {\em{sampling program learner}} に拡張する必要がある。
また、入力の特徴と対応する出力に基づく入力のクラスタリングを使用して、少数の重要な入力候補をサンプリングする。
我々の活発な学習者は、偽陽性に対する偽陰性と、実世界の約800の文字列変換タスクのデータセット上で少数の反復に収束することができる。 Programming-by-example technologies are being deployed in industrial products for real-time synthesis of various kinds of data transformations. These technologies rely on the user to provide few representative examples of the transformation task. Motivated by the need to find the most pertinent question to ask the user, in this paper, we introduce the {\em significant questions problem}, and show that it is hard in general. We then develop an information-theoretic greedy approach for solving the problem. We justify the greedy algorithm using the conditional entropy result, which informally says that the question that achieves the maximum information gain is the one that we know least about. In the context of interactive program synthesis, we use the above result to develop an {\em{active program learner}} that generates the significant inputs to pose as queries to the user in each iteration. The procedure requires extending a {\em{passive program learner}} to a {\em{sampling program learner}} that is able to sample candidate programs from the set of all consistent programs to enable estimation of information gain. It also uses clustering of inputs based on features in the inputs and the corresponding outputs to sample a small set of candidate significant inputs. Our active learner is able to tradeoff false negatives for false positives and converge in a small number of iterations on a real-world dataset of %around 800 string transformation tasks. | 翻訳日:2022-11-18 06:42:00 公開日:2020-06-22 |
| # 新しいバイオメトリックス:深部推論とその他の計算知能 Emerging Biometrics: Deep Inference and Other Computational Intelligence ( http://arxiv.org/abs/2006.11971v1 ) ライセンス: Link先を確認 | Svetlana Yanushkevich, Shawn Eastwood, Kenneth Lai, Vlad Shmerko | (参考訳) 本稿では,複雑なバイオメトリック対応インフラストラクチャとシステムの設計とモデリングのための,新しい計算知能のトレンドを特定することを目的とする。
バイオメトリック対応システムは、適応コンピューティングの原理(現代の計算知能領域の最前線)を用いて、ディープラーニングと深層推論へと進化している。
そこで我々はバイオメトリックスに広く展開されるインテリジェントな推論エンジンに注目する。
生理的および行動的特徴を用いた幅広い生体計測タスクをカバーする計算知性応用が図解として選択される。
次世代のバイオメトリックシステムで対処しなければならない技術ギャップを強調します。
報告されたアプローチと結果は、主に次世代のインテリジェントな生体認証システムを開発する研究者に対処する。 This paper aims at identifying emerging computational intelligence trends for the design and modeling of complex biometric-enabled infrastructure and systems. Biometric-enabled systems are evolving towards deep learning and deep inference using the principles of adaptive computing, - the front tides of the modern computational intelligence domain. Therefore, we focus on intelligent inference engines widely deployed in biometrics. Computational intelligence applications that cover a wide spectrum of biometric tasks using physiological and behavioral traits are chosen for illustration. We highlight the technology gaps that must be addressed in future generations of biometric systems. The reported approaches and results primarily address the researchers who work towards developing the next generation of intelligent biometric-enabled systems. | 翻訳日:2022-11-18 06:40:51 公開日:2020-06-22 |
| # 分子標的造影超音波の計算的増強 : ヒト乳癌画像への応用 Computational Enhancement of Molecularly Targeted Contrast-Enhanced Ultrasound: Application to Human Breast Tumor Imaging ( http://arxiv.org/abs/2006.11993v1 ) ライセンス: Link先を確認 | Andrew A. Berlin, Mon Young, Ahmed El Kaffas, Sam Gambhir, Amelie Lutz, Maria Luigia Storto, and Juergen Willmann | (参考訳) 分子標的造影超音波 (mCEUS) は, VEGFR2 (KDR) 受容体を標的とした早期癌検出のための臨床的に有望なアプローチである。
我々は,ヒトのコントラスト蓄積をイメージングするユニークな課題に対処するために,mCEUSの計算拡張技術を開発した。
これらの技術は他のコントラストモード信号源と分子結合コントラストエージェントを区別するために動的解析を利用するため、分子結合によるシグナルが強いときにコントラストボルズ到着時にコントラストエージェントの蓄積を分析することができる。
最初のヒト分子性超音波乳房病変研究18例に応用し、患者とプローブ運動の両方を含む実世界のヒト検診条件において、病理性病変と病理性正常組織を区別する能力の向上と、ほとんどの場合10倍を超える病変と正常組織とのコントラスト比の改善を図った。
特に, 組織漏洩信号が造影剤蓄積と誤解釈されるという偽陽性は, 計算の強化により排除された。 Molecularly targeted contrast enhanced ultrasound (mCEUS) is a clinically promising approach for early cancer detection through targeted imaging of VEGFR2 (KDR) receptors. We have developed computational enhancement techniques for mCEUS tailored to address the unique challenges of imaging contrast accumulation in humans. These techniques utilize dynamic analysis to distinguish molecularly bound contrast agent from other contrast-mode signal sources, enabling analysis of contrast agent accumulation to be performed during contrast bolus arrival when the signal due to molecular binding is strongest. Applied to the 18 human patient examinations of the first-in-human molecular ultrasound breast lesion study, computational enhancement improved the ability to differentiate between pathology-proven lesion and pathology-proven normal tissue in real-world human examination conditions that involved both patient and probe motion, with improvements in contrast ratio between lesion and normal tissue that in most cases exceed an order of magnitude (10x). Notably, computational enhancement eliminated a false positive result in which tissue leakage signal was misinterpreted by radiologists to be contrast agent accumulation. | 翻訳日:2022-11-18 06:40:39 公開日:2020-06-22 |
| # do-conv: 深さ方向の過パラメータ畳み込み層 DO-Conv: Depthwise Over-parameterized Convolutional Layer ( http://arxiv.org/abs/2006.12030v1 ) ライセンス: Link先を確認 | Jinming Cao, Yangyan Li, Mingchao Sun, Ying Chen, Dani Lischinski, Daniel Cohen-Or, Baoquan Chen, Changhe Tu | (参考訳) 畳み込み層は畳み込みニューラルネットワーク(CNN)の中核的な構成要素である。
本稿では,各入力チャネルが異なる2Dカーネルと結合する深層的畳み込みを付加した畳み込み層の拡張を提案する。
2つの畳み込みの構成は、学習可能なパラメータを追加し、結果として生じる線形演算は単一の畳み込み層で表現できるため、過パラメータ化を構成する。
この深さ方向の超パラメータ畳み込み層をdo-convと呼ぶ。
従来の畳み込み層をdo-conv層に置き換えることで,画像分類や検出,セグメンテーションなど,多くの古典的視覚タスクにおけるcnnの性能が向上することを示す。
さらに、推定フェーズでは、奥行き方向畳み込みを従来の畳み込みに折り畳み、過剰パラメータ化を伴わずに畳み込み層の畳み込みと正確に等価な計算に還元する。
DO-Convは推論の計算複雑性を増大させることなく性能向上を実現するため、従来の畳み込み層に代わるものとしてこれを提唱する。
我々は、Tensorflow、PyTorch、GluonCVにおけるDO-Convのリファレンス実装をhttps://github.com/yangyanli/DO-Conv.comでオープンソース化した。 Convolutional layers are the core building blocks of Convolutional Neural Networks (CNNs). In this paper, we propose to augment a convolutional layer with an additional depthwise convolution, where each input channel is convolved with a different 2D kernel. The composition of the two convolutions constitutes an over-parameterization, since it adds learnable parameters, while the resulting linear operation can be expressed by a single convolution layer. We refer to this depthwise over-parameterized convolutional layer as DO-Conv. We show with extensive experiments that the mere replacement of conventional convolutional layers with DO-Conv layers boosts the performance of CNNs on many classical vision tasks, such as image classification, detection, and segmentation. Moreover, in the inference phase, the depthwise convolution is folded into the conventional convolution, reducing the computation to be exactly equivalent to that of a convolutional layer without over-parameterization. As DO-Conv introduces performance gains without incurring any computational complexity increase for inference, we advocate it as an alternative to the conventional convolutional layer. We open-source a reference implementation of DO-Conv in Tensorflow, PyTorch and GluonCV at https://github.com/yangyanli/DO-Conv. | 翻訳日:2022-11-18 06:40:17 公開日:2020-06-22 |
| # FDFlowNet:Deep Lightweight Networkを用いた高速光フロー推定 FDFlowNet: Fast Optical Flow Estimation using a Deep Lightweight Network ( http://arxiv.org/abs/2006.12263v1 ) ライセンス: Link先を確認 | Lingtong Kong, Jie Yang | (参考訳) 深層ニューラルネットワークを用いた光フロー推定において重要な進歩がみられた。
高度な深層モデルはしばしば計算の複雑さと時間を要する訓練プロセスで正確なフロー推定を達成する。
本研究では、FDFlowNet(fast Deep Flownet)と呼ばれるリアルタイム光フロー推定のための軽量で効果的なモデルを提案する。
我々は、PWC-Netの約2倍の速度で、挑戦的なKITTIとSintelベンチマークにおいて、より良い、あるいは同様の精度を達成する。
これは注意深く設計された構造と新しく提案されたコンポーネントによって達成される。
まず, ピラミッド型ネットワークと比較して, グローバルレセプティブフィールドで上位層に有利なマルチスケール機能を構築するためのu字型ネットワークについて紹介する。
各スケールにおいて, 逐次連結構造と高密度連結構造と比較して, 速度, 精度, パラメータ数とのバランスが良好であるフロー推定のために, 拡張畳み込みを伴う部分連結構造を提案する。
実験により、我々のモデルは高速で軽量でありながら最先端の性能を達成することが示された。 Significant progress has been made for estimating optical flow using deep neural networks. Advanced deep models achieve accurate flow estimation often with a considerable computation complexity and time-consuming training processes. In this work, we present a lightweight yet effective model for real-time optical flow estimation, termed FDFlowNet (fast deep flownet). We achieve better or similar accuracy on the challenging KITTI and Sintel benchmarks while being about 2 times faster than PWC-Net. This is achieved by a carefully-designed structure and newly proposed components. We first introduce an U-shape network for constructing multi-scale feature which benefits upper levels with global receptive field compared with pyramid network. In each scale, a partial fully connected structure with dilated convolution is proposed for flow estimation that obtains a good balance among speed, accuracy and number of parameters compared with sequential connected and dense connected structures. Experiments demonstrate that our model achieves state-of-the-art performance while being fast and lightweight. | 翻訳日:2022-11-18 06:33:43 公開日:2020-06-22 |
| # 画像間変換を実現するCNNの機能について On the Ability of a CNN to Realize Image-to-Image Language Conversion ( http://arxiv.org/abs/2006.12316v1 ) ライセンス: Link先を確認 | Kohei Baba, Seiichi Uchida, Brian Kenji Iwana | (参考訳) 本研究の目的は,画像から画像への変換という新たな課題において,畳み込みニューラルネットワーク(CNN)が持つ能力を明らかにすることである。
韓国語ハングル文字の画像を直接音素ラテン文字のイメージに変換することで,この課題に取り組むための新たなネットワークを提案する。
ハングルと音韻記号の変換規則は明示的に規定されていない。
提案するネットワークの結果から,画像から画像への変換が可能であることがわかった。
さらに,限られた学習データからでも,Hangulの構造的特徴を把握できることが示唆された。
さらに、入力と出力が著しく異なる機能を持つ場合に使用する新しいネットワークも導入されている。 The purpose of this paper is to reveal the ability that Convolutional Neural Networks (CNN) have on the novel task of image-to-image language conversion. We propose a new network to tackle this task by converting images of Korean Hangul characters directly into images of the phonetic Latin character equivalent. The conversion rules between Hangul and the phonetic symbols are not explicitly provided. The results of the proposed network show that it is possible to perform image-to-image language conversion. Moreover, it shows that it can grasp the structural features of Hangul even from limited learning data. In addition, it introduces a new network to use when the input and output have significantly different features. | 翻訳日:2022-11-18 06:33:26 公開日:2020-06-22 |
| # 3次元単発物体検出のための生成スパース検出ネットワーク Generative Sparse Detection Networks for 3D Single-shot Object Detection ( http://arxiv.org/abs/2006.12356v1 ) ライセンス: Link先を確認 | JunYoung Gwak, Christopher Choy, Silvio Savarese | (参考訳) 3Dオブジェクト検出は、ロボット工学や拡張現実など多くの有望な分野に適用可能であるため、広く研究されている。
しかし、3Dデータの細かな性質は、このタスクに固有の課題をもたらす。
最も注目すべきは、3dポイントの雲の観測可能な表面がインスタンスの中心から切り離され、バウンディングボックスの予測をグラウンドする。
そこで本研究では,オブジェクト提案のサポートを効率的に生成する,完全畳み込みシングルショットスパース検出ネットワークであるGenerative Sparse Detection Network (GSDN)を提案する。
私たちのモデルの主要なコンポーネントは生成型スパーステンソルデコーダで、一連の変換された畳み込みとプルーニング層を使用してスパーステンソルのサポートを拡大し、起こりそうにないオブジェクトセンターを捨てて、最小のランタイムとメモリフットプリントを維持する。
GSDNは、1つの完全な畳み込みフィードフォワードパスで前例のない大規模な入力を処理できるため、他の方法と同様にスライドウィンドウから結果を縫うヒューリスティックな後処理段階を必要としない。
本手法は,3次元屋内復元データセットを含む3つの3次元屋内データセットに対して,従来手法の3.78倍の高速化と7.14%の相対的改善で検証を行った。 3D object detection has been widely studied due to its potential applicability to many promising areas such as robotics and augmented reality. Yet, the sparse nature of the 3D data poses unique challenges to this task. Most notably, the observable surface of the 3D point clouds is disjoint from the center of the instance to ground the bounding box prediction on. To this end, we propose Generative Sparse Detection Network (GSDN), a fully-convolutional single-shot sparse detection network that efficiently generates the support for object proposals. The key component of our model is a generative sparse tensor decoder, which uses a series of transposed convolutions and pruning layers to expand the support of sparse tensors while discarding unlikely object centers to maintain minimal runtime and memory footprint. GSDN can process unprecedentedly large-scale inputs with a single fully-convolutional feed-forward pass, thus does not require the heuristic post-processing stage that stitches results from sliding windows as other previous methods have. We validate our approach on three 3D indoor datasets including the large-scale 3D indoor reconstruction dataset where our method outperforms the state-of-the-art methods by a relative improvement of 7.14% while being 3.78 times faster than the best prior work. | 翻訳日:2022-11-18 06:33:14 公開日:2020-06-22 |
| # ラプラス混合モデル点に基づく登録 Laplacian Mixture Model Point Based Registration ( http://arxiv.org/abs/2006.12582v1 ) ライセンス: Link先を確認 | Mohammad Sadegh Majdi, Emad Fatemizadeh | (参考訳) ポイントベース登録は多くの機械VISIOn応用、医学診断、農業研究などにおいて重要な部分である。
ポイントセット登録の目標は、異なるデータセット間の対応を見つけ、あるデータセットを別のデータセットにマッピングできる適切な変換を推定することである。
本稿では,ラプラシアン分布に基づく異なるデータセットのマッチング手法を提案する。
2つの点集合のアライメントを確率密度推定問題とみなす。
最大帰納法を用いて、ラプラシアン混合モデル(lmm)のセントロイド(ソース点集合)をデータ点集合に適合させようとする。 Point base registration is an important part in many machine VISIOn applications, medical diagnostics, agricultural studies etc. The goal of point set registration is to find correspondences between different data sets and estimate the appropriate transformation that can map one set to another. Here we introduce a novel method for matching of different data sets based on Laplacian distribution. We consider the alignment of two point sets as probability density estimation problem. By using maximum likelihood methods we try to fit the Laplacian mixture model (LMM) centroids (source point set) to the data point set. | 翻訳日:2022-11-18 06:32:30 公開日:2020-06-22 |
| # Drive-Net:ドライバ・ディトラクション検出のための畳み込みネットワーク Drive-Net: Convolutional Network for Driver Distraction Detection ( http://arxiv.org/abs/2006.12586v1 ) ライセンス: Link先を確認 | Mohammed S. Majdi, Sundaresh Ram, Jonathan T. Gill, Jeffery J. Rodriguez | (参考訳) 自動車事故を防止するため、乗客との会話、髪髪や化粧の固定、飲食、携帯電話の使用など、運転者の気晴らしの兆候を自動的に認識する手法を見出すことに大きな関心が寄せられている。
本稿では,運転注意障害検出のためのDrive-Netと呼ばれる自動教師付き学習手法を提案する。
Drive-Netは、畳み込みニューラルネットワーク(CNN)とランダムな決定森林を組み合わせて、運転者の画像を分類する。
提案するDrive-Netの性能を、リカレントニューラルネットワーク(RNN)とマルチ層パーセプトロン(MLP)の2つの一般的な機械学習手法と比較する。
専門家が手作業でアノテートした約22425枚の画像を含む制御環境下で取得した画像の公開データベース上でその手法をテストする。
その結果、drive-netは95%の精度を実現しており、これは他の手法で同じデータベース上で得られる最良の結果の2%以上である。 To help prevent motor vehicle accidents, there has been significant interest in finding an automated method to recognize signs of driver distraction, such as talking to passengers, fixing hair and makeup, eating and drinking, and using a mobile phone. In this paper, we present an automated supervised learning method called Drive-Net for driver distraction detection. Drive-Net uses a combination of a convolutional neural network (CNN) and a random decision forest for classifying images of a driver. We compare the performance of our proposed Drive-Net to two other popular machine-learning approaches: a recurrent neural network (RNN), and a multi-layer perceptron (MLP). We test the methods on a publicly available database of images acquired under a controlled environment containing about 22425 images manually annotated by an expert. Results show that Drive-Net achieves a detection accuracy of 95%, which is 2% more than the best results obtained on the same database using other methods | 翻訳日:2022-11-18 06:32:21 公開日:2020-06-22 |
| # 性格と行動による特性評価 Characterizing Hirability via Personality and Behavior ( http://arxiv.org/abs/2006.12041v1 ) ライセンス: Link先を確認 | Harshit Malik, Hersh Dhillon, Roland Goecke, Ramanathan Subramanian | (参考訳) 性格特性は行動構造として広くモデル化されているが、我々は \textbf{\textit{job hirability}} を \emph{personality construct} としてモデル化している。
また,「第一印象候補スクリーニング」(fics)データセットについて,パーソナリティとアイラビリティ尺度の関係について検討した。
Emph{big-five}性格特性を予測因子として用いた離散連続変数のモデル化
(a)明らかな人格アノテーション、及び
(b) 視力予測(HP)のための音声, 視覚, テキストによる人格推定を行う。
また,(1)多様行動手がかりからのパーソナリティ推定,(2)パーソナリティ推定によるパーソナリティ推定を含む2段階hpプロセスの有効性について検討した。
$\approx$~5000 FICSビデオで行われた実験の興味深い結果は以下の通りである。
1) \emph{text}, \emph{audio}, \emph{visual} の各モダリティに対して、上記の2段階のプロセスによるhpは、行動的手がかりから直接予測するよりも効果的である。
平度を連続 vis-\'a-vis カテゴリー変数としてモデル化すると、上位結果が得られる。
2)視覚情報のうち,視線情報と身体情報は,パーソナリティと有能性を予測するための顔手がかりに匹敵する性能を達成する。
3)マルチモーダル行動がパーソナリティ印象に与える影響を説明的分析により明らかにする; \emph{cuss words} (言語行動) と \emph{eye movement} (非言語行動) の使用によって良心的な印象が影響を受ける。 While personality traits have been extensively modeled as behavioral constructs, we model \textbf{\textit{job hirability}} as a \emph{personality construct}. On the {\emph{First Impressions Candidate Screening}} (FICS) dataset, we examine relationships among personality and hirability measures. Modeling hirability as a discrete/continuous variable with the \emph{big-five} personality traits as predictors, we utilize (a) apparent personality annotations, and (b) personality estimates obtained via audio, visual and textual cues for hirability prediction (HP). We also examine the efficacy of a two-step HP process involving (1) personality estimation from multimodal behavioral cues, followed by (2) HP from personality estimates. Interesting results from experiments performed on $\approx$~5000 FICS videos are as follows. (1) For each of the \emph{text}, \emph{audio} and \emph{visual} modalities, HP via the above two-step process is more effective than directly predicting from behavioral cues. Superior results are achieved when hirability is modeled as a continuous vis-\'a-vis categorical variable. (2) Among visual cues, eye and bodily information achieve performance comparable to face cues for predicting personality and hirability. (3) Explanatory analyses reveal the impact of multimodal behavior on personality impressions; \eg, Conscientiousness impressions are impacted by the use of \emph{cuss words} (verbal behavior), and \emph{eye movements} (non-verbal behavior), confirming prior observations. | 翻訳日:2022-11-18 06:25:54 公開日:2020-06-22 |
| # 残留・高密度LSTMによる物体追跡 Object Tracking through Residual and Dense LSTMs ( http://arxiv.org/abs/2006.12061v1 ) ライセンス: Link先を確認 | Fabio Garcea and Alessandro Cucco and Lia Morra and Fabrizio Lamberti | (参考訳) 視覚オブジェクト追跡タスクは、トラフィック監視、ロボティクス、監視など、いくつかの分野のアプリケーションにおいて、常に重要になっている。
追跡対象の外観の変化に対処することは、高い追跡精度を達成するために最重要であり、通常は継続的に学習する特徴によって達成される。
近年、LSTM(Long Short-Term Memory)リカレントニューラルネットワークに基づくディープラーニングベースのトラッカーが強力な代替手段として登場し、オンライン方式で機能抽出を再トレーニングする必要がなくなった。
本稿では,画像認識における残差・高密度ネットワークの成功に触発されて,残差・高密度LSTMを用いたハイブリッドトラッカーの性能向上を提案する。
スキップ接続を導入することで、迅速な収束を確保しつつアーキテクチャの深さを増大させることができる。
Re3トラッカーの実験結果によると、DenseLSTMはResidualや通常のLSTMよりも優れており、オクルージョンやアウトオブビューオブジェクトのようなニュアンサーに高いレジリエンスを提供する。
ケーススタディは, 他のトラッカーの堅牢性を高めるために, 残留型RNNの採用を支援する。 Visual object tracking task is constantly gaining importance in several fields of application as traffic monitoring, robotics, and surveillance, to name a few. Dealing with changes in the appearance of the tracked object is paramount to achieve high tracking accuracy, and is usually achieved by continually learning features. Recently, deep learning-based trackers based on LSTMs (Long Short-Term Memory) recurrent neural networks have emerged as a powerful alternative, bypassing the need to retrain the feature extraction in an online fashion. Inspired by the success of residual and dense networks in image recognition, we propose here to enhance the capabilities of hybrid trackers using residual and/or dense LSTMs. By introducing skip connections, it is possible to increase the depth of the architecture while ensuring a fast convergence. Experimental results on the Re3 tracker show that DenseLSTMs outperform Residual and regular LSTM, and offer a higher resilience to nuisances such as occlusions and out-of-view objects. Our case study supports the adoption of residual-based RNNs for enhancing the robustness of other trackers. | 翻訳日:2022-11-18 06:24:48 公開日:2020-06-22 |
| # スリムになるために分割:バニラ畳み込みで見過ごされた冗長性 Split to Be Slim: An Overlooked Redundancy in Vanilla Convolution ( http://arxiv.org/abs/2006.12085v1 ) ライセンス: Link先を確認 | Qiulin Zhang, Zhuqing Jiang, Qishuo Lu, Jia'nan Han, Zhengxin Zeng, Shang-hua Gao, Aidong Men | (参考訳) 推論加速のためのモデルの冗長性を低減するために、多くの効果的な解が提案されている。
それでも一般的なアプローチは、重要でないフィルタの排除や効率的な操作の構築に重点を置いている。
レイヤ内の多くのフィーチャーマップが同じようなパターンを共有しているが、同じパターンではないことが分かる。
しかし、類似したパターンを持つ機能が冗長であるか、あるいは重要な詳細を含んでいるかを特定するのは難しい。
したがって、不確実な冗長な特徴を直接取り除く代わりに、類似したパターンで特徴を許容するが計算を少なくするために、 \textbf{sp}lit ベースの \textbf{conv}olutional 演算、すなわち SPConv を提案する。
具体的には,入力特徴マップを代表部と不確定冗長部に分け,その代表部から固有情報を比較的重い計算により抽出し,不確定冗長部の隠れ詳細を軽量な操作で処理する。
これら2つの処理機能群を再調整し融合するために,パラメータフリー機能融合モジュールを提案する。
さらに,当社のSPConvは,バニラ畳み込みをプラグアンドプレイ方式で置き換えるように構成されている。
ベンチマークの結果は、gpu上での精度と推論時間の両方において、spconv対応のネットワークが最先端のベースラインを一貫して上回っており、フラップとパラメータが大幅に低下していることを示している。 Many effective solutions have been proposed to reduce the redundancy of models for inference acceleration. Nevertheless, common approaches mostly focus on eliminating less important filters or constructing efficient operations, while ignoring the pattern redundancy in feature maps. We reveal that many feature maps within a layer share similar but not identical patterns. However, it is difficult to identify if features with similar patterns are redundant or contain essential details. Therefore, instead of directly removing uncertain redundant features, we propose a \textbf{sp}lit based \textbf{conv}olutional operation, namely SPConv, to tolerate features with similar patterns but require less computation. Specifically, we split input feature maps into the representative part and the uncertain redundant part, where intrinsic information is extracted from the representative part through relatively heavy computation while tiny hidden details in the uncertain redundant part are processed with some light-weight operation. To recalibrate and fuse these two groups of processed features, we propose a parameters-free feature fusion module. Moreover, our SPConv is formulated to replace the vanilla convolution in a plug-and-play way. Without any bells and whistles, experimental results on benchmarks demonstrate SPConv-equipped networks consistently outperform state-of-the-art baselines in both accuracy and inference time on GPU, with FLOPs and parameters dropped sharply. | 翻訳日:2022-11-18 06:24:27 公開日:2020-06-22 |
| # 事前学習したcnn特徴の線形判別分析による教師付き次元減少 Supervised dimensionality reduction by a Linear Discriminant Analysis on pre-trained CNN features ( http://arxiv.org/abs/2006.12127v1 ) ライセンス: Link先を確認 | Francisco J. H. Heras, Gonzalo G. de Polavieja | (参考訳) 本稿では,線形判別分析(LDA)の,事前訓練された深層畳み込みニューラルネットワーク(CNN)の異なる層で得られた特徴について検討する。
LDAの他の次元減少技術と比較して利点は、データのグローバルな構造を保ちながら次元を減らし、低次元構造における距離が意味を持つことである。
CNNの機能に適用されたLDAは、類似したデータに対応するクラスのセントロイドが、異なるデータに対応するクラスよりも近いことを発見した。
我々は、mnistデータセットに10のクラスを追加し、各クラスに標準の10のクラスのうちの1つからの画像の半分を追加して修正する方法を適用した。
メソッドは、私たちがデータフォームを取った対応する標準クラスに近い新しいクラスを見つけます。
また,本手法を蝶の画像データセットに適用し,関連亜種が近縁であることが確認された。
どちらのデータセットでも、最先端のメソッドと同じようなパフォーマンスが得られます。 We explore the application of linear discriminant analysis (LDA) to the features obtained in different layers of pretrained deep convolutional neural networks (CNNs). The advantage of LDA compared to other techniques in dimensionality reduction is that it reduces dimensions while preserving the global structure of data, so distances in the low-dimensional structure found are meaningful. The LDA applied to the CNN features finds that the centroids of classes corresponding to the similar data lay closer than classes corresponding to different data. We applied the method to a modification of the MNIST dataset with ten additional classes, each new class with half of the images from one of the standard ten classes. The method finds the new classes close to the corresponding standard classes we took the data form. We also applied the method to a dataset of images of butterflies to find that related subspecies are found to be close. For both datasets, we find a performance similar to state-of-the-art methods. | 翻訳日:2022-11-18 06:23:58 公開日:2020-06-22 |
| # マルチLiDARセンサセットアップによる高精度ディジタルトラヒック記録 High-Precision Digital Traffic Recording with Multi-LiDAR Infrastructure Sensor Setups ( http://arxiv.org/abs/2006.12140v1 ) ライセンス: Link先を確認 | Laurent Kloeker, Christian Geller, Amarin Kloeker, Lutz Eckstein | (参考訳) 大規模運転データセットは、自動運転機能の現在の開発と保護において重要なコンポーネントである。
このような駆動データレコードの収集には様々な方法が利用できる。
センサーを装備した研究車両や無人航空機(UAV)の使用に加えて、インフラセンサー技術は別の代替手段を提供する。
データ収集におけるオブジェクトの排除を最小限にするためには,複数の視点から並列にトラフィック状況を記録することが重要である。
すべての生のセンサーデータの融合は、個々の生のセンサーデータよりも、マルチオブジェクト検出および追跡(modt)に適した条件を作り出す可能性がある。
これまでのところ、このアプローチを十分に裏付ける十分な研究は行われていない。
本研究では,1つのLiDAR点雲と比較して,融解したLiDAR点雲の影響について検討した。
シミュレーションと現実に最大8つの64層LiDARを用いて都市交通シナリオをモデル化する。
次に、結果のポイントクラウドの特性を分析し、新しいトラフィック参加者全員にmodtを実行します。
抽出した軌道の評価は, 融合インフラストラクチャーアプローチが追跡結果を著しく増加させ, 数cm以内の精度に達することを示す。 Large driving datasets are a key component in the current development and safeguarding of automated driving functions. Various methods can be used to collect such driving data records. In addition to the use of sensor equipped research vehicles or unmanned aerial vehicles (UAVs), the use of infrastructure sensor technology offers another alternative. To minimize object occlusion during data collection, it is crucial to record the traffic situation from several perspectives in parallel. A fusion of all raw sensor data might create better conditions for multi-object detection and tracking (MODT) compared to the use of individual raw sensor data. So far, no sufficient studies have been conducted to sufficiently confirm this approach. In our work we investigate the impact of fused LiDAR point clouds compared to single LiDAR point clouds. We model different urban traffic scenarios with up to eight 64-layer LiDARs in simulation and in reality. We then analyze the properties of the resulting point clouds and perform MODT for all emerging traffic participants. The evaluation of the extracted trajectories shows that a fused infrastructure approach significantly increases the tracking results and reaches accuracies within a few centimeters. | 翻訳日:2022-11-18 06:23:43 公開日:2020-06-22 |
| # ラベル付きサンプルを用いた実シナリオにおけるテキスト認識 Text Recognition in Real Scenarios with a Few Labeled Samples ( http://arxiv.org/abs/2006.12209v1 ) ライセンス: Link先を確認 | Jinghuang Lin, Zhanzhan Cheng, Fan Bai, Yi Niu, Shiliang Pu, Shuigeng Zhou | (参考訳) シーンテキスト認識(str)は、様々な応用により、コンピュータビジョンの分野でもなおホットな研究テーマである。
既存の作品は主に、制約のないシーンテキストを認識するために、大量の合成テキスト画像を持つ一般的なモデルを学ぶことに集中しており、かなりの進歩を遂げている。
しかし、これらの手法は多くの実世界のシナリオでは適用できない。
1)高い認識精度が必要でありながら
2) ラベル付きサンプルは欠落している。
この課題に対処するため,本論文では,合成ソースドメイン(多数の合成ラベル付きサンプルを含む)と特定のターゲットドメイン(いくつかの実ラベル付きサンプルのみを含む)のシーケンス適応を構築するための,数ショット逆シーケンスドメイン適応 (fasda) アプローチを提案する。
これは、各キャラクタの特徴表現を注意機構で同時に学習し、対応するキャラクタレベルの潜在部分空間を敵学習で確立する。
提案手法は,ソースドメインとターゲットドメインとの文字レベルの混同を最大化することができ,ターゲットドメイン内の少数のラベル付きサンプルでもシーケンスレベルの適応を実現する。
各種データセットに対する大規模な実験により,本手法はファインタニング方式を著しく上回り,最先端のSTR手法に匹敵する性能を示した。 Scene text recognition (STR) is still a hot research topic in computer vision field due to its various applications. Existing works mainly focus on learning a general model with a huge number of synthetic text images to recognize unconstrained scene texts, and have achieved substantial progress. However, these methods are not quite applicable in many real-world scenarios where 1) high recognition accuracy is required, while 2) labeled samples are lacked. To tackle this challenging problem, this paper proposes a few-shot adversarial sequence domain adaptation (FASDA) approach to build sequence adaptation between the synthetic source domain (with many synthetic labeled samples) and a specific target domain (with only some or a few real labeled samples). This is done by simultaneously learning each character's feature representation with an attention mechanism and establishing the corresponding character-level latent subspace with adversarial learning. Our approach can maximize the character-level confusion between the source domain and the target domain, thus achieves the sequence-level adaptation with even a small number of labeled samples in the target domain. Extensive experiments on various datasets show that our method significantly outperforms the finetuning scheme, and obtains comparable performance to the state-of-the-art STR methods. | 翻訳日:2022-11-18 06:22:56 公開日:2020-06-22 |
| # ResFPN:高精度画素マッチングのための多解特徴ピラミッドネットワークにおける残留スキップ接続 ResFPN: Residual Skip Connections in Multi-Resolution Feature Pyramid Networks for Accurate Dense Pixel Matching ( http://arxiv.org/abs/2006.12235v1 ) ライセンス: Link先を確認 | Rishav, Ren\'e Schuster, Ramy Battrawy, Oliver Wasenm\"uller, Didier Stricker | (参考訳) 距離画素マッチングは、不均一性、光フロー、シーンフロー推定などの多くのコンピュータビジョンアルゴリズムに必要である。
特徴ピラミッドネットワーク(FPN)は,CNNに基づく密マッチングタスクに適した特徴抽出器であることが証明されている。
FPNは局所的で意味的に強い特徴を複数スケールで生成する。
しかし、一般的なFPNはその正当性はあるが局所化の精度が限られているため、その完全なポテンシャルを生かしていない。
そこで我々はResFPN(ResFPN)を提案する。ResFPN(ResFPN)は複数の残差スキップ接続を持つマルチレゾリューション機能ピラミッドネットワークで、任意のスケールで高解像度マップからの情報を活用して、より強く、より優れたローカライズド機能を実現する。
アブレーション研究において,我々はfpnよりも明らかに高い精度で新しいアーキテクチャの有効性を示す。
さらに、KITTI、Sintel、FlyingThings3Dといった確立したデータセット上で、多くの異なる画素マッチングアプリケーションにおけるResFPNの優れた精度を検証する。 Dense pixel matching is required for many computer vision algorithms such as disparity, optical flow or scene flow estimation. Feature Pyramid Networks (FPN) have proven to be a suitable feature extractor for CNN-based dense matching tasks. FPN generates well localized and semantically strong features at multiple scales. However, the generic FPN is not utilizing its full potential, due to its reasonable but limited localization accuracy. Thus, we present ResFPN -- a multi-resolution feature pyramid network with multiple residual skip connections, where at any scale, we leverage the information from higher resolution maps for stronger and better localized features. In our ablation study, we demonstrate the effectiveness of our novel architecture with clearly higher accuracy than FPN. In addition, we verify the superior accuracy of ResFPN in many different pixel matching applications on established datasets like KITTI, Sintel, and FlyingThings3D. | 翻訳日:2022-11-18 06:22:35 公開日:2020-06-22 |
| # ReCO:オピニオンに関する大規模な中国語読解データセット ReCO: A Large Scale Chinese Reading Comprehension Dataset on Opinion ( http://arxiv.org/abs/2006.12146v1 ) ライセンス: Link先を確認 | BingningWang, Ting Yao, Qi Zhang, Jingfang Xu, Xiaochuan Wang | (参考訳) 本稿では,オピニオンに関する中国語読解データセットであるReCOについて述べる。
ReCOの質問は、商用検索エンジンに発行された意見に基づくクエリである。
この章は、検索された文書からサポートスニペットを抽出する群衆労働者によって提供されます。
最後に、群衆によって抽象的なyes/no/uncertainの回答が与えられた。
ReCOのリリースは、私たちの知る限り、中国の読解能力で最大である300万の質問から成り立っている。
ReCOの特筆すべき特徴は、原文の文脈の段落に加えて、質問に直接答えられるような支援証拠も提供したことである。
品質分析は、因果推論や論理的推論など、さまざまなタイプの推論スキルを必要とするReCOの課題を示しています。
現在のQAモデルは、BERTのような多くの質問応答問題で非常によく機能しており、このデータセットで77%の精度しか達成していない。
コード、データセットはhttps://github.com/benywon/reco.comから無料で利用できる。 This paper presents the ReCO, a human-curated ChineseReading Comprehension dataset on Opinion. The questions in ReCO are opinion based queries issued to the commercial search engine. The passages are provided by the crowdworkers who extract the support snippet from the retrieved documents. Finally, an abstractive yes/no/uncertain answer was given by the crowdworkers. The release of ReCO consists of 300k questions that to our knowledge is the largest in Chinese reading comprehension. A prominent characteristic of ReCO is that in addition to the original context paragraph, we also provided the support evidence that could be directly used to answer the question. Quality analysis demonstrates the challenge of ReCO that requires various types of reasoning skills, such as causal inference, logical reasoning, etc. Current QA models that perform very well on many question answering problems, such as BERT, only achieve 77% accuracy on this dataset, a large margin behind humans nearly 92% performance, indicating ReCO presents a good challenge for machine reading comprehension. The codes, datasets are freely available at https://github.com/benywon/ReCO. | 翻訳日:2022-11-18 06:15:31 公開日:2020-06-22 |
| # 低リソース設定のためのdirichlet-smoothed word embeddeds Dirichlet-Smoothed Word Embeddings for Low-Resource Settings ( http://arxiv.org/abs/2006.12414v1 ) ライセンス: Link先を確認 | Jakob Jungmaier, Nora Kassner, Benjamin Roth | (参考訳) 近年, 正点相互情報(PPMI)重み付き共起行列を用いた古典的カウントベースの単語埋め込みは, word2vec や GloVe といった機械学習に基づく手法に取って代わられている。
しかし、これらの手法は通常、非常に大量のテキストデータを使って適用されます。
しかし多くの場合、特定のドメインや低リソース言語など、利用可能なテキストデータは多くない。
本稿では,レアワードに対するバイアスを補正するためにディリクレ平滑化を加えてPPMIを再検討する。
我々は、標準的な単語類似度データセットを評価し、ワード2vecと最近の低リソース設定技術の現状を比較した: 単語埋め込みのための肯定的および未ラベル(PU)学習。
提案手法は,低リソース環境でのPU-Learningより優れ,マルタ語とルクセンブルク語との競合結果が得られる。 Nowadays, classical count-based word embeddings using positive pointwise mutual information (PPMI) weighted co-occurrence matrices have been widely superseded by machine-learning-based methods like word2vec and GloVe. But these methods are usually applied using very large amounts of text data. In many cases, however, there is not much text data available, for example for specific domains or low-resource languages. This paper revisits PPMI by adding Dirichlet smoothing to correct its bias towards rare words. We evaluate on standard word similarity data sets and compare to word2vec and the recent state of the art for low-resource settings: Positive and Unlabeled (PU) Learning for word embeddings. The proposed method outperforms PU-Learning for low-resource settings and obtains competitive results for Maltese and Luxembourgish. | 翻訳日:2022-11-18 06:15:14 公開日:2020-06-22 |
| # パターン認識とシーケンス予測のための終端中間HTMシステム End-to-End Memristive HTM System for Pattern Recognition and Sequence Prediction ( http://arxiv.org/abs/2006.11958v1 ) ライセンス: Link先を確認 | Abdullah M. Zyarah, Kevin Gomez, and Dhireesha Kudithipudi | (参考訳) ストリーミング入力から学び、予測するニューロモルフィックシステムは、広く普及するエッジコンピューティングとそのアプリケーションにおいて大きな可能性を秘めている。
本稿では,エッジ上の時空間情報を処理する神経形態システムを提案する。
アルゴリズム的には、オンライン学習、レジリエンス、フォールトトレランスを本質的に提供する階層的時間記憶に基づいている。
アーキテクチャ的には、デジタル通信スキームとアナログ計算モジュールを備えた、完全にカスタムな複合信号設計である。
そこで本システムでは,再構成性,リアルタイム処理,低消費電力,低遅延処理を特徴とする。
提案アーキテクチャは、実世界のストリーミングデータを予測するためにベンチマークされる。
混合信号系におけるネットワークの平均絶対パーセンテージ誤差は、ベースラインアルゴリズムモデルよりも1.129倍低い。
この減少は、デバイス非理想性とシナプス接続の確率的形成に起因する。
ヘビー学習とネットワークスパーシティの併用効果は,ネットワーク全体の寿命を延ばす上でも重要な役割を担っている。
また、同じ技術ノードで実装されたカスタムcmosデジタル設計と比較して、レイテンシの3.46倍、消費電力の77.02倍削減できることを示した。
クロックゲーティングなどの特定の低消費電力技術を用いて、消費電力の161.37倍削減を観測する。 Neuromorphic systems that learn and predict from streaming inputs hold significant promise in pervasive edge computing and its applications. In this paper, a neuromorphic system that processes spatio-temporal information on the edge is proposed. Algorithmically, the system is based on hierarchical temporal memory that inherently offers online learning, resiliency, and fault tolerance. Architecturally, it is a full custom mixed-signal design with an underlying digital communication scheme and analog computational modules. Therefore, the proposed system features reconfigurability, real-time processing, low power consumption, and low-latency processing. The proposed architecture is benchmarked to predict on real-world streaming data. The network's mean absolute percentage error on the mixed-signal system is 1.129X lower compared to its baseline algorithm model. This reduction can be attributed to device non-idealities and probabilistic formation of synaptic connections. We demonstrate that the combined effect of Hebbian learning and network sparsity also plays a major role in extending the overall network lifespan. We also illustrate that the system offers 3.46X reduction in latency and 77.02X reduction in power consumption when compared to a custom CMOS digital design implemented at the same technology node. By employing specific low power techniques, such as clock gating, we observe 161.37X reduction in power consumption. | 翻訳日:2022-11-18 06:14:36 公開日:2020-06-22 |
| # online handbook of argumentation for ai: volume 1 (英語) Online Handbook of Argumentation for AI: Volume 1 ( http://arxiv.org/abs/2006.12020v1 ) ライセンス: Link先を確認 | OHAAI Collaboration: Federico Castagna, Timotheus Kampik, Atefeh Keshavarzi Zafarghandi, Micka\"el Lafages, Jack Mumford, Christos T. Rodosthenous, Samy S\'a, Stefan Sarkadi, Joseph Singleton, Kenneth Skiba, Andreas Xydis | (参考訳) 本巻は、OHAAI(Online Handbook of Argumentation for AI)の第1巻に選択された論文の改訂版を含む。
従来、議論と議論の相互作用の形式理論が提案され研究され、近年では議論の計算モデルが研究されている。
人工知能(AI)の分野としての論証は、知識の象徴的表現や実現不可能な推論に関心を持つ研究者にとって非常に重要である。
このハンドブックの目的は、議論研究コミュニティにオープンアクセスとキュレートされたアンソロジーを提供することである。
OHAAIは、AIに関連するあらゆる分野における議論の理論と応用に関する、最新のおよび今後の博士主導の研究を追跡するための研究ハブとして設計されている。 This volume contains revised versions of the papers selected for the first volume of the Online Handbook of Argumentation for AI (OHAAI). Previously, formal theories of argument and argument interaction have been proposed and studied, and this has led to the more recent study of computational models of argument. Argumentation, as a field within artificial intelligence (AI), is highly relevant for researchers interested in symbolic representations of knowledge and defeasible reasoning. The purpose of this handbook is to provide an open access and curated anthology for the argumentation research community. OHAAI is designed to serve as a research hub to keep track of the latest and upcoming PhD-driven research on the theory and application of argumentation in all areas related to AI. | 翻訳日:2022-11-18 06:14:21 公開日:2020-06-22 |
| # 計画の倫理比較のための対比的説明に向けて Towards Contrastive Explanations for Comparing the Ethics of Plans ( http://arxiv.org/abs/2006.12632v1 ) ライセンス: Link先を確認 | Benjamin Krarup, Senka Krivic, Felix Lindner, Derek Long | (参考訳) ロボティクスとaiエージェントの開発により、人間の周囲での利用が拡大した。
AIエージェントは、潜在的に重要な結果とともに、ますます重要な決定を下すことをより信頼している。
これらの制度による決定の倫理的帰結を考えることが不可欠である。
本稿では,計画の倫理性を比較する上で,対照的な説明をいかに活用できるかを述べる。
我々は、ユーザーが計画を提案し、対照的な説明を受けられるように、既存の倫理的枠組みを構築している。 The development of robotics and AI agents has enabled their wider usage in human surroundings. AI agents are more trusted to make increasingly important decisions with potentially critical outcomes. It is essential to consider the ethical consequences of the decisions made by these systems. In this paper, we present how contrastive explanations can be used for comparing the ethics of plans. We build upon an existing ethical framework to allow users to make suggestions to plans and receive contrastive explanations. | 翻訳日:2022-11-18 06:13:48 公開日:2020-06-22 |
| # グローバルイメージの感情伝達 Global Image Sentiment Transfer ( http://arxiv.org/abs/2006.11989v1 ) ライセンス: Link先を確認 | Jie An, Tianlang Chen, Songyang Zhang, and Jiebo Luo | (参考訳) イメージの感情の伝達は、コンピュータビジョンの領域における未調査の研究トピックである。
本研究は,参照画像検索ステップとグローバル感情伝達ステップからなる新しいフレームワークを提案し,与えられた感情タグに従って画像の感情を伝達する。
提案する画像検索アルゴリズムは,SSIMインデックスに基づく。
提案アルゴリズムによる検索された参照画像は知覚損失に基づくアルゴリズムに対してよりコンテンツ関連である。
したがって、イメージの感情伝達結果が向上する可能性がある。
さらに,angrynet121アーキテクチャによって作成された特徴マップに基づいて,画像の感情を反復的に伝達する最適化アルゴリズムを用いたグローバル感情伝達ステップを提案する。
提案する感情伝達アルゴリズムは、入力画像の内容構造を保ちつつ、画像の感情を伝達することができる。
定性的かつ定量的な実験は、提案された感情伝達フレームワークが既存の芸術的およびフォトリアリスティックなスタイルの伝達アルゴリズムより優れており、信頼性の高い感情伝達結果をリッチで正確な詳細で実現していることを示している。 Transferring the sentiment of an image is an unexplored research topic in the area of computer vision. This work proposes a novel framework consisting of a reference image retrieval step and a global sentiment transfer step to transfer sentiments of images according to a given sentiment tag. The proposed image retrieval algorithm is based on the SSIM index. The retrieved reference images by the proposed algorithm are more content-related against the algorithm based on the perceptual loss. Therefore can lead to a better image sentiment transfer result. In addition, we propose a global sentiment transfer step, which employs an optimization algorithm to iteratively transfer sentiment of images based on feature maps produced by the Densenet121 architecture. The proposed sentiment transfer algorithm can transfer the sentiment of images while ensuring the content structure of the input image intact. The qualitative and quantitative experiments demonstrate that the proposed sentiment transfer framework outperforms existing artistic and photorealistic style transfer algorithms in making reliable sentiment transfer results with rich and exact details. | 翻訳日:2022-11-18 06:13:42 公開日:2020-06-22 |
| # ドメインの一般化と適応のための特徴アライメントと復元 Feature Alignment and Restoration for Domain Generalization and Adaptation ( http://arxiv.org/abs/2006.12009v1 ) ライセンス: Link先を確認 | Xin Jin, Cuiling Lan, Wenjun Zeng, Zhibo Chen | (参考訳) ドメイン一般化(DG)と教師なしドメイン適応(UDA)のために、ドメイン不変表現を学習するために異なるドメインの特徴分布を抽出するためにクロスドメイン特徴アライメントが広く研究されている。
しかし、機能アライメントは一般にタスク非依存であり、特徴表現の識別能力の低下を招き、高い性能を阻害する可能性がある。
本稿では,FAR(Feature Alignment and Restoration)と呼ばれる統合フレームワークを提案する。
具体的には、意図的に選択された特徴の分布のモーメントを整列させることにより、ドメイン間の特徴アライメント(FA)を行う。
高い差別性を確保するため,残余情報からタスク関連特徴を抽出し,それらの特徴を補うための特徴回復(FR)操作を提案する。
タスク関連特徴とタスク関連特徴の分離を促進するため,frステップにおいて2つのランキングエントロピー損失制約を強制する。
複数の分類ベンチマークに関する広範囲な実験は、ドメインの一般化と教師なしドメイン適応の両方のためのfarフレームワークの高性能で強力な一般化を示しています。 For domain generalization (DG) and unsupervised domain adaptation (UDA), cross domain feature alignment has been widely explored to pull the feature distributions of different domains in order to learn domain-invariant representations. However, the feature alignment is in general task-ignorant and could result in degradation of the discrimination power of the feature representation and thus hinders the high performance. In this paper, we propose a unified framework termed Feature Alignment and Restoration (FAR) to simultaneously ensure high generalization and discrimination power of the networks for effective DG and UDA. Specifically, we perform feature alignment (FA) across domains by aligning the moments of the distributions of attentively selected features to reduce their discrepancy. To ensure high discrimination, we propose a Feature Restoration (FR) operation to distill task-relevant features from the residual information and use them to compensate for the aligned features. For better disentanglement, we enforce a dual ranking entropy loss constraint in the FR step to encourage the separation of task-relevant and task-irrelevant features. Extensive experiments on multiple classification benchmarks demonstrate the high performance and strong generalization of our FAR framework for both domain generalization and unsupervised domain adaptation. | 翻訳日:2022-11-18 06:13:24 公開日:2020-06-22 |
| # 重畳畳み込みニューラルネットワークによるX線画像からのCOVID-19病の診断 Stacked Convolutional Neural Network for Diagnosis of COVID-19 Disease from X-ray Images ( http://arxiv.org/abs/2006.13817v1 ) ライセンス: Link先を確認 | Mahesh Gour, Sweta Jain | (参考訳) 2020年の世界規模のSARS-CoV-2のパンデミックでは、胸部X線画像からの新型コロナウイルスの自動迅速スクリーニングが緊急必要となっている。
しかし、X線画像における新型コロナウイルスと他のウイルス性肺炎との相違により、患者の正確で信頼性の高いスクリーニングは大きな課題である。
本稿では,胸部X線画像からCOVID-19疾患の自動診断のための新しい畳み込み畳み込みニューラルネットワークモデルを設計する。
我々はvgg19と異なるサブモデルを取得し、トレーニング中に30層cnnモデル(covnet30)を開発し、ロジスティック回帰を用いてサブモデルを積み重ねる。
提案したCNNモデルは、異なるCNNサブモデルの識別能力を組み合わせて、胸部X線画像をCOVID-19, Normal, Pneumoniaクラスに分類する。
さらに,3つの公開データリポジトリから1768人の胸部X線画像2764枚を含む,COVID19CXrと呼ばれるX線画像データセットを生成する。
提案した積み重ねCNNの精度は92.74%、感度は93.33%、PVは92.13%、F1スコアは0.93である。
提案手法は,X線画像からの新型コロナウイルスの診断方法よりも優れていることを示す。 Automatic and rapid screening of COVID-19 from the chest X-ray images has become an urgent need in this pandemic situation of SARS-CoV-2 worldwide in 2020. However, accurate and reliable screening of patients is a massive challenge due to the discrepancy between COVID-19 and other viral pneumonia in X-ray images. In this paper, we design a new stacked convolutional neural network model for the automatic diagnosis of COVID-19 disease from the chest X-ray images. We obtain different sub-models from the VGG19 and developed a 30-layered CNN model (named as CovNet30) during the training, and obtained sub-models are stacked together using logistic regression. The proposed CNN model combines the discriminating power of the different CNN`s sub-models and classifies chest X-ray images into COVID-19, Normal, and Pneumonia classes. In addition, we generate X-ray images dataset referred to as COVID19CXr, which includes 2764 chest x-ray images of 1768 patients from the three publicly available data repositories. The proposed stacked CNN achieves an accuracy of 92.74%, the sensitivity of 93.33%, PPV of 92.13%, and F1-score of 0.93 for the classification of X-ray images. Our proposed approach shows its superiority over the existing methods for the diagnosis of the COVID-19 from the X-ray images. | 翻訳日:2022-11-18 06:07:22 公開日:2020-06-22 |
| # PipeSim: 大規模AI運用プラットフォームのトレース駆動シミュレーション PipeSim: Trace-driven Simulation of Large-Scale AI Operations Platforms ( http://arxiv.org/abs/2006.12587v1 ) ライセンス: Link先を確認 | Thomas Rausch and Waldemar Hummer and Vinod Muthusamy | (参考訳) AIの運用は、研究と産業の両方において大きな取り組みとなっている。
AIアプリケーションライフサイクルを管理する自動化された運用パイプラインは、明日のインフラストラクチャワークロードの重要な部分を形成する。
プロダクショングレードのaiワークフロープラットフォームの運用を最適化するには、既存のスケジューリングアプローチを活用できますが、正確性、堅牢性、公平性といった機械学習(ml)モデルの特定のドメイン特性に対応しながら、アプリケーション固有のコスト対効果のトレードオフを実現する運用戦略を微調整することは困難です。
本稿では,研究者や技術者が大規模aiワークフローシステムの運用戦略を考案・評価できる,トレース駆動シミュレーションに基づく実験・分析環境を提案する。
IBMが開発したプロダクショングレードAIプラットフォームの分析データは、包括的なシミュレーションモデルを構築するために使用される。
シミュレーションモデルは、パイプラインとシステムインフラストラクチャ間の相互作用と、パイプラインタスクが異なるMLモデルメトリクスにどのように影響するかを記述する。
スタンドアロンで確率的で離散的なイベントシミュレーターでモデルを実装し、実験を行うためのツールキットを提供する。
合成トレースはアドホックな探索や、パイプラインスケジューリング、クラスタリソース割り当て、および同様の操作機構をテストするための実験の統計分析に利用可能である。 Operationalizing AI has become a major endeavor in both research and industry. Automated, operationalized pipelines that manage the AI application lifecycle will form a significant part of tomorrow's infrastructure workloads. To optimize operations of production-grade AI workflow platforms we can leverage existing scheduling approaches, yet it is challenging to fine-tune operational strategies that achieve application-specific cost-benefit tradeoffs while catering to the specific domain characteristics of machine learning (ML) models, such as accuracy, robustness, or fairness. We present a trace-driven simulation-based experimentation and analytics environment that allows researchers and engineers to devise and evaluate such operational strategies for large-scale AI workflow systems. Analytics data from a production-grade AI platform developed at IBM are used to build a comprehensive simulation model. Our simulation model describes the interaction between pipelines and system infrastructure, and how pipeline tasks affect different ML model metrics. We implement the model in a standalone, stochastic, discrete event simulator, and provide a toolkit for running experiments. Synthetic traces are made available for ad-hoc exploration as well as statistical analysis of experiments to test and examine pipeline scheduling, cluster resource allocation, and similar operational mechanisms. | 翻訳日:2022-11-18 06:07:00 公開日:2020-06-22 |
| # PAC学習単層ReLUネットワークのためのアルゴリズムとSQ下界 Algorithms and SQ Lower Bounds for PAC Learning One-Hidden-Layer ReLU Networks ( http://arxiv.org/abs/2006.12476v1 ) ライセンス: Link先を確認 | Ilias Diakonikolas and Daniel M. Kane and Vasilis Kontonis and Nikos Zarifis | (参考訳) 我々は,加法ラベルノイズの存在下でのガウス限界の下で,$\mathbb{R}^d$で$k$の隠れ単位を持つ一層ReLUネットワークをPAC学習する問題について検討する。
正の係数の場合、この学習問題に対する最初の多項式時間アルゴリズムを$k$から$\tilde{O}(\sqrt{\log d})$に対して与える。
以前は多項式時間アルゴリズムは知られておらず、k=3$であった。
これは~\cite{Kliv17} で表される開問題に答える。
重要なことに、このアルゴリズムは重み行列の階数に関する仮定を一切必要とせず、その複雑性はその条件数に依存しない。
負の面では、任意の実係数を持つ一層ReLUネットワークをPACで学習するより一般的なタスクに対して、統計的クエリの下界が$d^{\Omega(k)}$であることを証明する。
そこで我々は,この2つのクラスを効率的な学習能力という観点から分離する。
我々の上界と下界は一般的であり、活性化関数のより広いファミリーに拡張されている。 We study the problem of PAC learning one-hidden-layer ReLU networks with $k$ hidden units on $\mathbb{R}^d$ under Gaussian marginals in the presence of additive label noise. For the case of positive coefficients, we give the first polynomial-time algorithm for this learning problem for $k$ up to $\tilde{O}(\sqrt{\log d})$. Previously, no polynomial time algorithm was known, even for $k=3$. This answers an open question posed by~\cite{Kliv17}. Importantly, our algorithm does not require any assumptions about the rank of the weight matrix and its complexity is independent of its condition number. On the negative side, for the more general task of PAC learning one-hidden-layer ReLU networks with arbitrary real coefficients, we prove a Statistical Query lower bound of $d^{\Omega(k)}$. Thus, we provide a separation between the two classes in terms of efficient learnability. Our upper and lower bounds are general, extending to broader families of activation functions. | 翻訳日:2022-11-18 06:05:26 公開日:2020-06-22 |
| # 生成逆ネットワークを用いたユーザ定義トピックの効率的なテキスト生成 Efficient text generation of user-defined topic using generative adversarial networks ( http://arxiv.org/abs/2006.12005v1 ) ライセンス: Link先を確認 | Chenhan Yuan, Yi-chin Huang and Cheng-Hung Tsai | (参考訳) 本研究は,GAN(Generative Adversarial Network)を用いた効率的なテキスト生成に焦点を当てた。
ユーザが定義したトピックと感傷傾向の段落を生成することを目標とすると、ユーザがトピックを変更するたびに、ネットワーク全体を再訓練し、新たな結果を得る必要がある。
これは時間がかかり、実用的ではない。
そこで本稿では,ユーザ定義型GAN (UD-GAN) を二段階判別器として提案する。
最初の識別器は,複数LSTMで構築された段落レベルの情報と文構文構造を学習するためのジェネレータの誘導を目的とする。
2つ目は、ユーザ定義の感情やテキスト生成のトピックなど、高レベルな情報を扱う。
TF-IDFと長さペナルティに基づくコサイン類似性を用いてトピックの関連性を決定する。
そして、テキスト生成のための話題や感情を変更すると、第2の判別器をジェネレータで再訓練する。
提案手法の性能を他のGAN法と比較するために,システム評価を行った。
その結果,提案手法は他の手法よりも少ない時間でテキストを生成でき,生成したテキストはユーザ定義の話題や感情と関連していることがわかった。
我々は、テキスト生成に意味論などのより詳細な段落情報を組み込む可能性をさらに調査し、結果を高める。 This study focused on efficient text generation using generative adversarial networks (GAN). Assuming that the goal is to generate a paragraph of a user-defined topic and sentimental tendency, conventionally the whole network has to be re-trained to obtain new results each time when a user changes the topic. This would be time-consuming and impractical. Therefore, we propose a User-Defined GAN (UD-GAN) with two-level discriminators to solve this problem. The first discriminator aims to guide the generator to learn paragraph-level information and sentence syntactic structure, which is constructed by multiple-LSTMs. The second one copes with higher-level information, such as the user-defined sentiment and topic for text generation. The cosine similarity based on TF-IDF and length penalty are adopted to determine the relevance of the topic. Then, the second discriminator is re-trained with the generator if the topic or sentiment for text generation is modified. The system evaluations are conducted to compare the performance of the proposed method with other GAN-based ones. The objective results showed that the proposed method is capable of generating texts with less time than others and the generated text is related to the user-defined topic and sentiment. We will further investigate the possibility of incorporating more detailed paragraph information such as semantics into text generation to enhance the result. | 翻訳日:2022-11-18 06:05:11 公開日:2020-06-22 |
| # 統計的・ニューラル言語モデルを用いた臨床予測キーボード Clinical Predictive Keyboard using Statistical and Neural Language Modeling ( http://arxiv.org/abs/2006.12040v1 ) ライセンス: Link先を確認 | John Pavlopoulos and Panagiotis Papapetrou | (参考訳) 言語モデルは、オーサリング中に次の単語を予測したり、スペルを訂正したり、 (smsやEメールなど) 書くのを加速するために使用することができる。
しかし、言語モデルは非常に小さなスケールでのみ使用されており、医師のオーサリング(例えば、要約や放射線学の報告)を補助している。
しかし、医師の支援とともに、患者の退院を早めるコンピュータベースのシステムも、病院感染の減少に役立っている。
我々は,臨床テキストの次の単語を予測するために統計的およびニューラル言語モデリングを用い,放射線学報告のある2つのデータセットにおいて,精度とキーストローク割引の観点からすべてのモデルを評価する。
神経言語モデルは、放射線医学の報告において51.3%の精度(正確に予測された2語中1語)を達成できることを示した。
また、モデルが頻繁な単語にのみ使用される場合でも、医師は貴重な時間を節約できることを示す。 A language model can be used to predict the next word during authoring, to correct spelling or to accelerate writing (e.g., in sms or emails). Language models, however, have only been applied in a very small scale to assist physicians during authoring (e.g., discharge summaries or radiology reports). But along with the assistance to the physician, computer-based systems which expedite the patient's exit also assist in decreasing the hospital infections. We employed statistical and neural language modeling to predict the next word of a clinical text and assess all the models in terms of accuracy and keystroke discount in two datasets with radiology reports. We show that a neural language model can achieve as high as 51.3% accuracy in radiology reports (one out of two words predicted correctly). We also show that even when the models are employed only for frequent words, the physician can save valuable time. | 翻訳日:2022-11-18 06:04:50 公開日:2020-06-22 |
| # wordnetにおける意味的類似性と関連性の測定における非分類学的関係の活用 Exploiting Non-Taxonomic Relations for Measuring Semantic Similarity and Relatedness in WordNet ( http://arxiv.org/abs/2006.12106v1 ) ライセンス: Link先を確認 | Mohannad AlMousa, Rachid Benlamri, Richard Khoury | (参考訳) 計算言語学と人工知能の分野における様々な応用は、単語認識の曖昧さ、テキスト分類、情報検索、機械翻訳、文書クラスタリングといった課題を解決するために意味的類似性を用いる。
意味的類似性に関するこれまでの研究は、主に分類学的関係「ISA」を用いた単関係的なアプローチを踏襲していた。
本稿では,WordNetナレッジグラフなどの大規模リンクデータに,あらゆる種類の非分類的関係を用いることで,既存の意味的類似性や関連性対策を強化することのメリットについて検討する。
本稿では,新しい関係に基づく情報内容と非関係性に基づく重み付き経路に基づいて,包括的意味的類似性と関連性尺度を考案する。
知識グラフにおける非タコノミクスの活用のメリットを示すために,我々は3つの戦略を用いて,非タコノミクス関係を異なる粒度レベルで展開した。
4種類の金標準データセットについて実験を行い,提案する意味的類似性と関連度尺度のロバスト性と拡張性を示し,既存の類似度尺度を大幅に改善した。 Various applications in the areas of computational linguistics and artificial intelligence employ semantic similarity to solve challenging tasks, such as word sense disambiguation, text classification, information retrieval, machine translation, and document clustering. Previous work on semantic similarity followed a mono-relational approach using mostly the taxonomic relation "ISA". This paper explores the benefits of using all types of non-taxonomic relations in large linked data, such as WordNet knowledge graph, to enhance existing semantic similarity and relatedness measures. We propose a holistic poly-relational approach based on a new relation-based information content and non-taxonomic-based weighted paths to devise a comprehensive semantic similarity and relatedness measure. To demonstrate the benefits of exploiting non-taxonomic relations in a knowledge graph, we used three strategies to deploy non-taxonomic relations at different granularity levels. We conducted experiments on four well-known gold standard datasets, and the results demonstrated the robustness and scalability of the proposed semantic similarity and relatedness measure, which significantly improves existing similarity measures. | 翻訳日:2022-11-18 06:04:34 公開日:2020-06-22 |
| # リカレントニューラルネットワークを用いたハイブリッドセッションベースのニュースレコメンデーション Hybrid Session-based News Recommendation using Recurrent Neural Networks ( http://arxiv.org/abs/2006.13063v1 ) ライセンス: Link先を確認 | Gabriel de Souza P. Moreira, Dietmar Jannach, Adilson Marques da Cunha | (参考訳) セッションベースのニュースレコメンデーションのためのハイブリッドメタアーキテクチャであるCHAMELEONについて説明する。
我々は,ニュースポータルのダイナミクスをリアルにシミュレートする時間評価プロトコルを用いて,2つの公開データセットに対するアプローチを評価した。
本稿では,rnnを用いてセッションクリックのシーケンスをモデル化し,ユーザや記事のサイド情報を活用することで,他のセッションベースのアルゴリズムよりも推薦精度とカタログカバレッジが著しく向上することを示す。 We describe a hybrid meta-architecture -- the CHAMELEON -- for session-based news recommendation that is able to leverage a variety of information types using Recurrent Neural Networks. We evaluated our approach on two public datasets, using a temporal evaluation protocol that simulates the dynamics of a news portal in a realistic way. Our results confirm the benefits of modeling the sequence of session clicks with RNNs and leveraging side information about users and articles, resulting in significantly higher recommendation accuracy and catalog coverage than other session-based algorithms. | 翻訳日:2022-11-18 05:58:58 公開日:2020-06-22 |
| # リスク感性強化学習:レグレットにおけるほぼ最適リスクサンプルトレードオフ Risk-Sensitive Reinforcement Learning: Near-Optimal Risk-Sample Tradeoff in Regret ( http://arxiv.org/abs/2006.13827v1 ) ライセンス: Link先を確認 | Yingjie Fei, Zhuoran Yang, Yudong Chen, Zhaoran Wang, Qiaomin Xie | (参考訳) 我々は,未知の遷移核を持つマルコフ決定過程におけるリスクに敏感な強化学習について検討し,指数関数的有用性のリスク尺度の下での総報酬を最適化することを目的としている。
本稿では,リスク・センシティブ・バリュー・イテレーション (RSVI) とリスク・センシティブ・Q-ラーニング (RSQ) の2つのアルゴリズムを提案する。
これらのアルゴリズムは、不確実性に直面したリスクに敏感な楽観主義の形で実装され、リスク探索とリスク回避の両方に適応する。
rsvi は $\tilde{o}\big(\lambda(|\beta| h^2) \cdot \sqrt{h^{3} s^{2}at} \big)$ regret を、rsq は $\tilde{o}\big(\lambda(|\beta| h^2) \cdot \sqrt{h^{4} sat} \big)$ regret を、$\lambda(u) = (e^{3u}-1)/u$ は $u>0$である。
上記の例では、$\beta$は指数ユーティリティ関数のリスクパラメータであり、$S$は状態の数、$A$はアクションの数、$T$はタイムステップの総数、$H$はエピソードの長さである。
逆に、$|\beta|$ および $H$ に対する指数的依存が $\tilde{O}(\sqrt{T})$ regret を持つ任意のアルゴリズムでは避けられない(リスク目標が元の報酬と同じスケールである場合でも)ことを示す後悔の下界を確立し、提案アルゴリズムのほぼ最適性を証明した。
その結果,強化学習にリスク意識を組み込むことで,リスク感受性(アレテータ的不確実性に関するもの)とサンプル効率(認識的不確実性に関するもの)の基本的なトレードオフを定量化する|\beta|$と$h$の指数的コストが必要となることがわかった。
我々の知る限りでは、指数関数的ユーティリティを用いたリスク感受性強化学習を初めて後悔する分析である。 We study risk-sensitive reinforcement learning in episodic Markov decision processes with unknown transition kernels, where the goal is to optimize the total reward under the risk measure of exponential utility. We propose two provably efficient model-free algorithms, Risk-Sensitive Value Iteration (RSVI) and Risk-Sensitive Q-learning (RSQ). These algorithms implement a form of risk-sensitive optimism in the face of uncertainty, which adapts to both risk-seeking and risk-averse modes of exploration. We prove that RSVI attains an $\tilde{O}\big(\lambda(|\beta| H^2) \cdot \sqrt{H^{3} S^{2}AT} \big)$ regret, while RSQ attains an $\tilde{O}\big(\lambda(|\beta| H^2) \cdot \sqrt{H^{4} SAT} \big)$ regret, where $\lambda(u) = (e^{3u}-1)/u$ for $u>0$. In the above, $\beta$ is the risk parameter of the exponential utility function, $S$ the number of states, $A$ the number of actions, $T$ the total number of timesteps, and $H$ the episode length. On the flip side, we establish a regret lower bound showing that the exponential dependence on $|\beta|$ and $H$ is unavoidable for any algorithm with an $\tilde{O}(\sqrt{T})$ regret (even when the risk objective is on the same scale as the original reward), thus certifying the near-optimality of the proposed algorithms. Our results demonstrate that incorporating risk awareness into reinforcement learning necessitates an exponential cost in $|\beta|$ and $H$, which quantifies the fundamental tradeoff between risk sensitivity (related to aleatoric uncertainty) and sample efficiency (related to epistemic uncertainty). To the best of our knowledge, this is the first regret analysis of risk-sensitive reinforcement learning with the exponential utility. | 翻訳日:2022-11-18 05:58:47 公開日:2020-06-22 |
| # MotioNet:スケルトン一貫性を持つ単眼ビデオからの3次元モーション再構成 MotioNet: 3D Human Motion Reconstruction from Monocular Video with Skeleton Consistency ( http://arxiv.org/abs/2006.12075v1 ) ライセンス: Link先を確認 | Mingyi Shi, Kfir Aberman, Andreas Aristidou, Taku Komura, Dani Lischinski, Daniel Cohen-Or, Baoquan Chen | (参考訳) motionetは,単眼映像から3次元人間の骨格の動きを直接再構築する深層ニューラルネットワークである。これまでの手法では,連続的な骨格と時間的コヒーレントな関節回転を関連付けるために,リギングあるいは逆運動学(ik)のどちらかに依存しているが,本手法は,完全に,一般的に使用される運動表現であるキネマティックスケルトンを直接出力する最初のデータ駆動アプローチである。
アプローチの要点は, 2次元関節位置の配列を, 単一の, 対称, 骨格, 骨長でエンコードされた, グローバルな根の位置と足の接触ラベルに関連付けられた3次元関節回転のシーケンスの2つの属性に分解する。
これらの属性は3d位置を出力するfk(integrated forward kinematics)層に供給され、基底真理と比較される。
さらに、逆損失は回収された回転の速度に適用され、それらが自然関節回転の多様体上にあることを保証する。
提案手法の主な利点は、基礎となるモデルを仮定するのではなく、トレーニングデータから直接自然関節回転を推定するか、データに依存しないIKソルバを用いて関節位置から推測するかである。
その結果, 時間的に連接した関節回転を伴う単一の一貫した骨格が解空間を拘束し, 自己排他性と深さの曖昧さをより強固に処理できることがわかった。 We introduce MotioNet, a deep neural network that directly reconstructs the motion of a 3D human skeleton from monocular video.While previous methods rely on either rigging or inverse kinematics (IK) to associate a consistent skeleton with temporally coherent joint rotations, our method is the first data-driven approach that directly outputs a kinematic skeleton, which is a complete, commonly used, motion representation. At the crux of our approach lies a deep neural network with embedded kinematic priors, which decomposes sequences of 2D joint positions into two separate attributes: a single, symmetric, skeleton, encoded by bone lengths, and a sequence of 3D joint rotations associated with global root positions and foot contact labels. These attributes are fed into an integrated forward kinematics (FK) layer that outputs 3D positions, which are compared to a ground truth. In addition, an adversarial loss is applied to the velocities of the recovered rotations, to ensure that they lie on the manifold of natural joint rotations. The key advantage of our approach is that it learns to infer natural joint rotations directly from the training data, rather than assuming an underlying model, or inferring them from joint positions using a data-agnostic IK solver. We show that enforcing a single consistent skeleton along with temporally coherent joint rotations constrains the solution space, leading to a more robust handling of self-occlusions and depth ambiguities. | 翻訳日:2022-11-18 05:57:18 公開日:2020-06-22 |
| # 連続感情ラベルを用いた表情編集 Facial Expression Editing with Continuous Emotion Labels ( http://arxiv.org/abs/2006.12210v1 ) ライセンス: Link先を確認 | Alexandra Lindt, Pablo Barros, Henrique Siqueira and Stefan Wermter | (参考訳) 近年,表情自動編集の分野では,深層生成モデルが目覚ましい成果を上げている。
しかし、これまでに提示されたアプローチは人間の感情の離散的な表現を前提としており、非離散的な感情表現のモデル化に限られている。
この制限を克服するために、連続的な感情表現を用いて自動表現編集を制御する方法について検討する。
本研究では,連続する2次元感情ラベルに従って顔画像の表情を操作できる深層生成モデルを提案する。
1次元は感情の原子価を表し、もう1次元は興奮の度合いを表す。
本稿では,分類器ネットワークを用いた定量的解析と定性解析を用いて,モデルの機能を示す。 Recently deep generative models have achieved impressive results in the field of automated facial expression editing. However, the approaches presented so far presume a discrete representation of human emotions and are therefore limited in the modelling of non-discrete emotional expressions. To overcome this limitation, we explore how continuous emotion representations can be used to control automated expression editing. We propose a deep generative model that can be used to manipulate facial expressions in facial images according to continuous two-dimensional emotion labels. One dimension represents an emotion's valence, the other represents its degree of arousal. We demonstrate the functionality of our model with a quantitative analysis using classifier networks as well as with a qualitative analysis. | 翻訳日:2022-11-18 05:56:47 公開日:2020-06-22 |
| # hooknet:マルチレゾリューション畳み込みニューラルネットワークによる病理組織像における意味セグメンテーション HookNet: multi-resolution convolutional neural networks for semantic segmentation in histopathology whole-slide images ( http://arxiv.org/abs/2006.12230v1 ) ライセンス: Link先を確認 | Mart van Rijthoven, Maschenka Balkenhol, Karina Sili\c{n}a, Jeroen van der Laak, Francesco Ciompi | (参考訳) 本稿では,エンコーダ・デコーダ畳み込みニューラルネットワークの複数の分岐による文脈と詳細を結合した,病理組織像のための意味セグメンテーションモデルhooknetを提案する。
異なる視野の異なる複数の解像度の同心パッチは、フックネットの異なる分岐を供給し、中間表現はフック機構を介して結合される。
本稿では,高分解能セマンティクスセグメンテーションを実現するためのhooknetの設計と訓練のためのフレームワークについて述べる。
組織型予測の精度は,(1)乳癌における多種組織分画,(2)肺癌における第3級リンパ組織構造と胚中心の分画という,文脈情報に強く依存する2つの病理組織像分画課題においてhooknetを使用する利点を示す。
異なる解像度で動作するシングルレゾリューションU-Netモデルと最近発表された病理像分割のためのマルチレゾリューションモデルとの比較によるHookNetの優位性の検討 We propose HookNet, a semantic segmentation model for histopathology whole-slide images, which combines context and details via multiple branches of encoder-decoder convolutional neural networks. Concentricpatches at multiple resolutions with different fields of view are used to feed different branches of HookNet, and intermediate representations are combined via a hooking mechanism. We describe a framework to design and train HookNet for achieving high-resolution semantic segmentation and introduce constraints to guarantee pixel-wise alignment in feature maps during hooking. We show the advantages of using HookNet in two histopathology image segmentation tasks where tissue type prediction accuracy strongly depends on contextual information, namely (1) multi-class tissue segmentation in breast cancer and, (2) segmentation of tertiary lymphoid structures and germinal centers in lung cancer. Weshow the superiority of HookNet when compared with single-resolution U-Net models working at different resolutions as well as with a recently published multi-resolution model for histopathology image segmentation | 翻訳日:2022-11-18 05:56:37 公開日:2020-06-22 |
| # 深部負ボリュームセグメンテーション Deep Negative Volume Segmentation ( http://arxiv.org/abs/2006.12430v1 ) ライセンス: Link先を確認 | Kristina Belikova, Oleg Rogov, Aleksandr Rybakov, Maxim V. Maslov, Dmitry V. Dylov | (参考訳) 複雑な関節などの複合解剖学的対象の三次元画像データの臨床的検討は退屈なプロセスであり、医師の時間と専門知識を要求する。
例えば、顎関節(顎関節)のセグメンテーション作業の自動化は、その複合的な3次元形状、複数の重ね合わせテクスチャ、頭蓋骨の周囲の不規則さの多さ、顎の運動のほぼ全方位範囲によって妨げられている。
この課題に対処するために、我々は3dセグメンテーションタスクに新たな角度を考案する:すなわち、対象を囲むすべての組織、いわゆる負のボリュームセグメンテーションの間に空空間を分割する。
本研究は, 骨セグメント化のためのv-net, 再建骨頭からメッシュ面への全方向のインフレーションによる3次元ボリューム構成を含む, エンド・ツー・エンドのパイプラインである。
最終的には頭蓋骨内に閉じ込められ、膨らんだ表面は関節の「負の」空間全体を占有し、関節の健康の幾何学的・位相的指標を効果的に提供する。
顎顔面医療の専門家が注釈を付した50例のctスキャンのアイデアを検証し,左右の負の体積に対する非対称性を定量的に比較し,臨床応用のための枠組み全体を自動化した。 Clinical examination of three-dimensional image data of compound anatomical objects, such as complex joints, remains a tedious process, demanding the time and the expertise of physicians. For instance, automation of the segmentation task of the TMJ (temporomandibular joint) has been hindered by its compound three-dimensional shape, multiple overlaid textures, an abundance of surrounding irregularities in the skull, and a virtually omnidirectional range of the jaw's motion - all of which extend the manual annotation process to more than an hour per patient. To address the challenge, we invent a new angle to the 3D segmentation task: namely, we propose to segment empty spaces between all the tissues surrounding the object - the so-called negative volume segmentation. Our approach is an end-to-end pipeline that comprises a V-Net for bone segmentation, a 3D volume construction by inflation of the reconstructed bone head in all directions along the normal vector to its mesh faces. Eventually confined within the skull bones, the inflated surface occupies the entire "negative" space in the joint, effectively providing a geometrical/topological metric of the joint's health. We validate the idea on the CT scans in a 50-patient dataset, annotated by experts in maxillofacial medicine, quantitatively compare the asymmetry given the left and the right negative volumes, and automate the entire framework for clinical adoption. | 翻訳日:2022-11-18 05:56:18 公開日:2020-06-22 |
| # ロジスティックモデルにおけるアルファロス景観について On the alpha-loss Landscape in the Logistic Model ( http://arxiv.org/abs/2006.12406v1 ) ライセンス: Link先を確認 | Tyler Sypherd, Mario Diaz, Lalitha Sankar, and Gautam Dasarathy | (参考訳) 我々はロジスティックモデルで最近導入された$\alpha$-loss,$\alpha \in (0,\infty]$と呼ばれる可逆損失関数の最適化ランドスケープを分析した。
このファミリーは指数的損失(\alpha = 1/2$)、ログロス(\alpha = 1$)、および0-1の損失(\alpha = \infty$)をカプセル化し、実践者が新しい学習方法に関連する一連の操作条件を識別できるようにする説得力のある特性を含む。
具体的には,幾何学的手法に加えて,厳密な局所的クアシ凸関数の研究から得られたツールを用いて,$\alpha$-lossの最適化景観の進化を研究する。
これらの結果を正規化勾配降下による最適化複雑性の観点から解釈する。 We analyze the optimization landscape of a recently introduced tunable class of loss functions called $\alpha$-loss, $\alpha \in (0,\infty]$, in the logistic model. This family encapsulates the exponential loss ($\alpha = 1/2$), the log-loss ($\alpha = 1$), and the 0-1 loss ($\alpha = \infty$) and contains compelling properties that enable the practitioner to discern among a host of operating conditions relevant to emerging learning methods. Specifically, we study the evolution of the optimization landscape of $\alpha$-loss with respect to $\alpha$ using tools drawn from the study of strictly-locally-quasi-convex functions in addition to geometric techniques. We interpret these results in terms of optimization complexity via normalized gradient descent. | 翻訳日:2022-11-18 05:49:52 公開日:2020-06-22 |
| # オンライン非線形制御のための情報理論レギュレット境界 Information Theoretic Regret Bounds for Online Nonlinear Control ( http://arxiv.org/abs/2006.12466v1 ) ライセンス: Link先を確認 | Sham Kakade, Akshay Krishnamurthy, Kendall Lowrey, Motoya Ohnishi, Wen Sun | (参考訳) 本研究では,未知の非線形力学系における逐次制御の問題について検討し,その基礎となる系力学を未知の関数としてモデル化する。
この枠組みは離散的かつ連続的な制御入力と非滑らかで微分不可能な力学を許容する一般的な設定を与える。
我々の主な成果であるLow Confidence-based Continuous Control(LC^3$)アルゴリズムは、エピソード数として$T$の最適コントローラに対してほぼ最適の$O(\sqrt{T})$の後悔を楽しむ。
境界は系の力学の次元に明示的に依存せず、それは無限であり得るが、代わりに情報理論量にのみ依存する。
我々は,非線形制御タスクの多くにその応用を実証し,モデルダイナミクスの学習における探索の利点を実証する。 This work studies the problem of sequential control in an unknown, nonlinear dynamical system, where we model the underlying system dynamics as an unknown function in a known Reproducing Kernel Hilbert Space. This framework yields a general setting that permits discrete and continuous control inputs as well as non-smooth, non-differentiable dynamics. Our main result, the Lower Confidence-based Continuous Control ($LC^3$) algorithm, enjoys a near-optimal $O(\sqrt{T})$ regret bound against the optimal controller in episodic settings, where $T$ is the number of episodes. The bound has no explicit dependence on dimension of the system dynamics, which could be infinite, but instead only depends on information theoretic quantities. We empirically show its application to a number of nonlinear control tasks and demonstrate the benefit of exploration for learning model dynamics. | 翻訳日:2022-11-18 05:48:34 公開日:2020-06-22 |
| # lncrna-disease関連予測のためのdeep belief networkに基づく表現学習 Deep Belief Network based representation learning for lncRNA-disease association prediction ( http://arxiv.org/abs/2006.12534v1 ) ライセンス: Link先を確認 | Manu Madhavan and Gopakumar G | (参考訳) 背景: 長い非コードRNA(lncRNA)の分野での研究は、多くの複雑な疾患において、lncRNAの異常な発現を示した。
lncRNA-解離関連を正確に同定することは、lncRNAの機能と疾患機構を理解するのに不可欠である。
異なる生物学的相互作用ネットワークと関連する特徴を利用するlncRNA-disease associationの予測には、多くの機械学習技術が関与している。
ネットワーク構造データからの特徴学習は、機械学習ベースの手法の制限要因の1つである。
グラフニューラルネットワークに基づく技術は、教師なしの特徴学習によってこの制限を解決する。
近年,生物学的ネットワーク解析において,ネットワーク特徴の潜在表現を学習するためにDBNが用いられている。
方法:本論文では,lncRNA,病因およびmiRNA相互作用からDBNに基づくlncRNA-解離相関予測モデル(DBNLDA)を提案する。
このアーキテクチャには、ネットワーク構築、DBNベースの特徴学習、ニューラルネットワークベースの予測の3つの主要なモジュールが含まれている。
まず、lncRNA-miRNA類似性(LMS)、疾患-miRNA類似性(DMS)、lncRNA-disease association(LDA)の3つの異種ネットワークを構築した。
類似性ネットワークのノード埋め込み行列から,2つのDBNサブネットワークにより,lncRNA-解離表現を別々に学習した。
lncRNA-解離の合同表現は、前述の2つのサブネットの出力から第3のDBNによって学習された。
この結合特徴表現は、ANN分類器による相関スコアの予測に用いられた。
結果: 提案手法は, 最先端手法を用いた標準データセットに対して, 0.967のAUCと0.967のAUPRを得た。
また, 乳がん, 肺がん, 胃癌症例においても, 重要なlncRNA分解関連を予測できるDBNLDAの有効性が確認された。 Background: The expanding research in the field of long non-coding RNAs(lncRNAs) showed abnormal expression of lncRNAs in many complex diseases. Accurately identifying lncRNA-disease association is essential in understanding lncRNA functionality and disease mechanism. There are many machine learning techniques involved in the prediction of lncRNA-disease association which use different biological interaction networks and associated features. Feature learning from the network structured data is one of the limiting factors of machine learning-based methods. Graph neural network based techniques solve this limitation by unsupervised feature learning. Deep belief networks (DBN) are recently used in biological network analysis to learn the latent representations of network features. Method: In this paper, we propose a DBN based lncRNA-disease association prediction model (DBNLDA) from lncRNA, disease and miRNA interactions. The architecture contains three major modules-network construction, DBN based feature learning and neural network-based prediction. First, we constructed three heterogeneous networks such as lncRNA-miRNA similarity (LMS), disease-miRNA similarity (DMS) and lncRNA-disease association (LDA) network. From the node embedding matrices of similarity networks, lncRNA-disease representations were learned separately by two DBN based subnetworks. The joint representation of lncRNA-disease was learned by a third DBN from outputs of the two subnetworks mentioned. This joint feature representation was used to predict the association score by an ANN classifier. Result: The proposed method obtained AUC of 0.96 and AUPR of 0.967 when tested against standard dataset used by the state-of-the-art methods. Analysis on breast, lung and stomach cancer cases also affirmed the effectiveness of DBNLDA in predicting significant lncRNA-disease associations. | 翻訳日:2022-11-18 05:48:17 公開日:2020-06-22 |
| # 構造因果モデルにおけるバックドア調整による因果的危険度推定 A Causally Formulated Hazard Ratio Estimation through Backdoor Adjustment on Structural Causal Model ( http://arxiv.org/abs/2006.12573v1 ) ライセンス: Link先を確認 | Riddhiman Adib, Paul Griffin, Sheikh Iqbal Ahamed, Mohammad Adibuzzaman | (参考訳) 治療介入の因果関係を特定することは、健康科学における根本的な問題である。
ランダム化制御試験(RCT)は因果関係を特定するための金の標準であると考えられている。
しかし、近年、構造因果モデル(SCM)の基礎に基づく因果推論理論の進歩により、特定の仮定の下で観測データから因果関係の同定が可能となった。
生存分析は、介入の効果を定量化するために、ハザード比などの標準的な手段を提供する。
RCTの臨床・疫学研究ではハザード比が広く用いられているが、SCMを用いた観察研究のハザード比を計算するための原則的なアプローチは存在しない。
本研究は,ハザード比を計算し,その因果解釈を行う既存手法について検討する。
また,SCMとdo-calculusによるバックドア調整を用いた観測研究から,新たなハザード比計算手法を提案する。
最後に,Ewing肉腫実験データを用いたアプローチの評価を行った。 Identifying causal relationships for a treatment intervention is a fundamental problem in health sciences. Randomized controlled trials (RCTs) are considered the gold standard for identifying causal relationships. However, recent advancements in the theory of causal inference based on the foundations of structural causal models (SCMs) have allowed the identification of causal relationships from observational data, under certain assumptions. Survival analysis provides standard measures, such as the hazard ratio, to quantify the effects of an intervention. While hazard ratios are widely used in clinical and epidemiological studies for RCTs, a principled approach does not exist to compute hazard ratios for observational studies with SCMs. In this work, we review existing approaches to compute hazard ratios as well as their causal interpretation, if it exists. We also propose a novel approach to compute hazard ratios from observational studies using backdoor adjustment through SCMs and do-calculus. Finally, we evaluate the approach using experimental data for Ewing's sarcoma. | 翻訳日:2022-11-18 05:47:51 公開日:2020-06-22 |
| # クラスタリングにおける分布的個性 Distributional Individual Fairness in Clustering ( http://arxiv.org/abs/2006.12589v1 ) ライセンス: Link先を確認 | Nihesh Anderson, Suman K. Bera, Syamantak Das, Yang Liu | (参考訳) 本稿では,同種個体間の分布的類似性を保証するフェアクラスタリングの研究を開始する。
近年,機械学習の公正性向上に対応するため,クラスタリングアルゴリズムの公正性を調査し,統計的パリティ/グループフェアネスのパラダイムに着目している。
これらの取り組みは、一部の保護された集団に対するバイアスを最小化しようとするものである。
しかしながら、我々の知る限りでは、分類の文脈においてdworkら (itcs 2012) が導入した個々人の公平性という別の視点は、これまでクラスタリングには考慮されていない。
Dworkなどと同様、類似した個人をクラスタリング問題に対して同様に扱うことを義務付ける個別の公平性の概念を採用する。
統計的類似性の尺度として$f$-divergenceという概念を使い、Dworkらによって使われるものを著しく一般化する。
本稿では,計量空間に埋め込まれた個人を,クラスタ中心の有界数上の確率分布に割り当てるフレームワークを提案する。
目的は確実にすること
a) 期待と予測におけるクラスタリングの低コスト
(b)与えられたフェアネス空間において互いに近い個人は、統計的に類似した分布にマッピングされる。
我々は,p$-norm目標(k$-center,$k$-means is special case)と,証明可能な近似保証を伴う個々の公正性制約を用いたクラスタリングアルゴリズムを提供する。
この枠組みを、保護されたグループ内のグループフェアネスと個人フェアネスの両方を含むように拡張する。
最後に,個々の公平性が集団公平を暗示する条件を観察する。
我々は,このアプローチの有効性を正当化する広範な実験的な証拠を示す。 In this paper, we initiate the study of fair clustering that ensures distributional similarity among similar individuals. In response to improving fairness in machine learning, recent papers have investigated fairness in clustering algorithms and have focused on the paradigm of statistical parity/group fairness. These efforts attempt to minimize bias against some protected groups in the population. However, to the best of our knowledge, the alternative viewpoint of individual fairness, introduced by Dwork et al. (ITCS 2012) in the context of classification, has not been considered for clustering so far. Similar to Dwork et al., we adopt the individual fairness notion which mandates that similar individuals should be treated similarly for clustering problems. We use the notion of $f$-divergence as a measure of statistical similarity that significantly generalizes the ones used by Dwork et al. We introduce a framework for assigning individuals, embedded in a metric space, to probability distributions over a bounded number of cluster centers. The objective is to ensure (a) low cost of clustering in expectation and (b) individuals that are close to each other in a given fairness space are mapped to statistically similar distributions. We provide an algorithm for clustering with $p$-norm objective ($k$-center, $k$-means are special cases) and individual fairness constraints with provable approximation guarantee. We extend this framework to include both group fairness and individual fairness inside the protected groups. Finally, we observe conditions under which individual fairness implies group fairness. We present extensive experimental evidence that justifies the effectiveness of our approach. | 翻訳日:2022-11-18 05:47:33 公開日:2020-06-22 |
| # 凸クラスタリングのための効率的な平滑近似勾配アルゴリズム An Efficient Smoothing Proximal Gradient Algorithm for Convex Clustering ( http://arxiv.org/abs/2006.12592v1 ) ライセンス: Link先を確認 | Xin Zhou, Chunlei Du, and Xiaodong Cai | (参考訳) クラスタ分析はデータを合理的なグループ分けに整理し、理解と学習の基本的なモードの1つである。
広く使われているk平均と階層的クラスタリング法は、局所的な極小さのため劇的に最適である。
最近導入された凸クラスタリング手法は、凸最適化問題としてクラスタリングを定式化し、グローバルな最適解を保証する。
しかしながら、乗算器の交互方向法(admm)や交互最小化アルゴリズム(ama)に基づく最先端の凸クラスタリングアルゴリズムは、大きな計算とメモリ空間を必要とするため、アプリケーションを制限することができる。
本稿では,凸クラスタリングのための非常に効率的な平滑化近位勾配アルゴリズム(sproga)を開発した。
我々のSprogaはADMMやAMAベースの凸クラスタリングアルゴリズムよりも1～2桁高速です。
Sprogaが要求するメモリ空間は、ADMMとAMAが要求するメモリ空間よりも1桁以下である。
計算機シミュレーションと実データ解析により、SprogaはK平均や階層クラスタリングなど、よく知られたクラスタリングアルゴリズムよりも優れていることが示された。
このアルゴリズムの効率性と優れた性能は、凸クラスタリングによる広い応用の発見に役立つだろう。 Cluster analysis organizes data into sensible groupings and is one of fundamental modes of understanding and learning. The widely used K-means and hierarchical clustering methods can be dramatically suboptimal due to local minima. Recently introduced convex clustering approach formulates clustering as a convex optimization problem and ensures a globally optimal solution. However, the state-of-the-art convex clustering algorithms, based on the alternating direction method of multipliers (ADMM) or the alternating minimization algorithm (AMA), require large computation and memory space, which limits their applications. In this paper, we develop a very efficient smoothing proximal gradient algorithm (Sproga) for convex clustering. Our Sproga is faster than ADMM- or AMA-based convex clustering algorithms by one to two orders of magnitude. The memory space required by Sproga is less than that required by ADMM and AMA by at least one order of magnitude. Computer simulations and real data analysis show that Sproga outperforms several well known clustering algorithms including K-means and hierarchical clustering. The efficiency and superior performance of our algorithm will help convex clustering to find its wide application. | 翻訳日:2022-11-18 05:47:08 公開日:2020-06-22 |
| # 近似固有値軌道を用いたリンク予測のためのスペクトル進化 Spectral Evolution with Approximated Eigenvalue Trajectories for Link Prediction ( http://arxiv.org/abs/2006.12657v1 ) ライセンス: Link先を確認 | Miguel Romero, Jorge Finke, Camilo Rocha, Luis Tob\'on | (参考訳) スペクトル進化モデルは、隣接行列の固有値分解の観点から、大きなネットワークの成長(すなわち、新しいエッジが確立されるにつれてどのように進化するか)を特徴づけることを目的としている。
固有ベクトルは一定であるが、固有値は時間とともに予測可能な方法で進化する。
本論文はモデル2倍の原定式化を拡張した。
まず,レイリー商に基づく固有値のスペクトル進化の近似を計算する手法を提案する。
第二に、近似値のごく一部を外挿することで固有値の進化を推定するアルゴリズムを提案する。
提案モデルは、2017年8月から2018年8月にかけて、コロンビアで最も人気のある政治ハッシュタグを含むツイートを投稿したユーザーの言及ネットワークを特徴付けるために使用される。
スペクトル進化モデルがこれらのネットワークに類似している程度を評価するために、学習アルゴリズム(すなわち外挿と回帰)とグラフカーネルに基づくリンク予測手法を実装した。
実験結果から, 近似軌道上に展開された学習アルゴリズムは, 新しいエッジの形成を予測する上で, 通常のカーネルや外挿法よりも優れていることがわかった。 The spectral evolution model aims to characterize the growth of large networks (i.e., how they evolve as new edges are established) in terms of the eigenvalue decomposition of the adjacency matrices. It assumes that, while eigenvectors remain constant, eigenvalues evolve in a predictable manner over time. This paper extends the original formulation of the model twofold. First, it presents a method to compute an approximation of the spectral evolution of eigenvalues based on the Rayleigh quotient. Second, it proposes an algorithm to estimate the evolution of eigenvalues by extrapolating only a fraction of their approximated values. The proposed model is used to characterize mention networks of users who posted tweets that include the most popular political hashtags in Colombia from August 2017 to August 2018 (the period which concludes the disarmament of the Revolutionary Armed Forces of Colombia). To evaluate the extent to which the spectral evolution model resembles these networks, link prediction methods based on learning algorithms (i.e., extrapolation and regression) and graph kernels are implemented. Experimental results show that the learning algorithms deployed on the approximated trajectories outperform the usual kernel and extrapolation methods at predicting the formation of new edges. | 翻訳日:2022-11-18 05:46:49 公開日:2020-06-22 |
| # 低コストセンサによる高分解能空気品質予測 High-Resolution Air Quality Prediction Using Low-Cost Sensors ( http://arxiv.org/abs/2006.12092v1 ) ライセンス: Link先を確認 | Thibaut Cassard, Gr\'egoire Jauvion, David Lissmyr | (参考訳) 空気質監視ネットワークにおける低コストセンサーの使用は、まだ多くの専門家の間で議論されているトピックである: 精度と堅牢性が低いコストで、当局が設置した従来の空気質監視ステーション(数十万ドルに対して数百ドル)よりもはるかに安い。
本稿では,空気質予測エンジンにおける低コストセンサ計測のケーススタディを提案する。
このエンジンは、米国のPM2.5とPM10の濃度を数十mの範囲で非常に高い解像度で予測する。
公式の大気質監視局が提供する測定値、全国4000以上の低コストセンサーのネットワークによる測定値、および交通量の推定値によって供給される。
低コストセンサを用いた測定により,エンジンの精度が大幅に向上することを示す。
特に、低コストセンサの密度と予測精度の間に強い関係がある: 低コストセンサが地域にあるほど、より正確に予測できる。
例えば、低コストセンサーの密度が最も高い地域では、低コストセンサーの測定は、それぞれPM2.5とPM10の精度を25%と15%改善する。
その他の強い結論は、低コストセンサーの密度が高い地域では、エンジンが低コストセンサーの計測で供給される場合、公式の監視局の計測でのみ供給される場合よりも、低コストセンサーで構成される空気質監視ネットワークの方が、大気質の監視に有効であることを示唆している。
このような監視ネットワークをセットアップする方がずっと安いため、これは非常に重要な結果です。 The use of low-cost sensors in air quality monitoring networks is still a much-debated topic among practitioners: they are much cheaper than traditional air quality monitoring stations set up by public authorities (a few hundred dollars compared to a few dozens of thousand dollars) at the cost of a lower accuracy and robustness. This paper presents a case study of using low-cost sensors measurements in an air quality prediction engine. The engine predicts jointly PM2.5 and PM10 concentrations in the United States at a very high resolution in the range of a few dozens of meters. It is fed with the measurements provided by official air quality monitoring stations, the measurements provided by a network of more than 4000 low-cost sensors across the country, and traffic estimates. We show that the use of low-cost sensors' measurements improves the engine's accuracy very significantly. In particular, we derive a strong link between the density of low-cost sensors and the predictions' accuracy: the more low-cost sensors are in an area, the more accurate are the predictions. As an illustration, in areas with the highest density of low-cost sensors, the low-cost sensors' measurements bring a 25% and 15% improvement in PM2.5 and PM10 predictions' accuracy respectively. An other strong conclusion is that in some areas with a high density of low-cost sensors, the engine performs better when fed with low-cost sensors' measurements only than when fed with official monitoring stations' measurements only: this suggests that an air quality monitoring network composed of low-cost sensors is effective in monitoring air quality. This is a very important result, as such a monitoring network is much cheaper to set up. | 翻訳日:2022-11-18 05:41:26 公開日:2020-06-22 |
| # 歩行センサデータを用いたパーキンソン病ステージの機械学習による判別 Machine learning discrimination of Parkinson's Disease stages from walker-mounted sensors data ( http://arxiv.org/abs/2006.12094v1 ) ライセンス: Link先を確認 | Nabeel Seedat and Vered Aharonson | (参考訳) パーキンソン病(pd)の歩行を評価する臨床方法はほとんどが定性的である。
高価な機器や面倒なウェアラブルデバイスを必要とする定量的な方法。
PD進行の異なる段階を識別できる手法はごくわずかである。
本研究は,機械学習を用いてpdの6段階を判別する。
このデータは、運動障害クリニックの実験で低コストの歩行センサーによって取得され、PDステージに臨床ラベルが付けられた。
本研究に特有の特徴を多数抽出し,多クラスランダムフォレスト(RF)分類器を用いて3つの特徴選択法を比較した。
Analysis of Variance (ANOVA)法で選択された特徴サブセットは、完全な特徴セットと同様のパフォーマンスを提供し、93%の精度で計算時間が大幅に短縮された。
PCAと比較して,本手法は医療応用に不可欠な特徴である,選択された特徴の臨床的解釈性も可能とした。
選択された全ての特徴集合は情報理論的特徴と統計的特徴に支配され、PDにおける歩行劣化の特徴に関する洞察を提供する。
その結果,低コストの歩行センサによって得られた運動信号からPD重症度ステージを正確に分類できる機械学習の可能性を示し,PD進行の定量的評価に医療従事者を支援する可能性が示唆された。
この研究は、センサーベースの医療アセスメントで一般的な、小さくてノイズの多いデータ問題に対する解決策を提示する。 Clinical methods that assess gait in Parkinson's Disease (PD) are mostly qualitative. Quantitative methods necessitate costly instrumentation or cumbersome wearable devices, which limits their usability. Only few of these methods can discriminate different stages in PD progression. This study applies machine learning methods to discriminate six stages of PD. The data was acquired by low cost walker-mounted sensors in an experiment at a movement disorders clinic and the PD stages were clinically labeled. A large set of features, some unique to this study are extracted and three feature selection methods are compared using a multi-class Random Forest (RF) classifier. The feature subset selected by the Analysis of Variance (ANOVA) method provided performance similar to the full feature set: 93% accuracy and had significantly shorter computation time. Compared to PCA, this method also enabled clinical interpretability of the selected features, an essential attribute to healthcare applications. All selected-feature sets are dominated by information theoretic features and statistical features and offer insights into the characteristics of gait deterioration in PD. The results indicate a feasibility of machine learning to accurately classify PD severity stages from kinematic signals acquired by low-cost, walker-mounted sensors and implies a potential to aid medical practitioners in the quantitative assessment of PD progression. The study presents a solution to the small and noisy data problem, which is common in most sensor-based healthcare assessments. | 翻訳日:2022-11-18 05:40:59 公開日:2020-06-22 |
| # deeptoppush: トップの正確性のためのシンプルでスケーラブルな方法 DeepTopPush: Simple and Scalable Method for Accuracy at the Top ( http://arxiv.org/abs/2006.12293v1 ) ライセンス: Link先を確認 | Luk\'a\v{s} Adam, V\'aclav M\'acha, V\'aclav \v{S}m\'idl | (参考訳) 上位の精度は、少数の関連する(トップ)サンプルでのみ性能を評価するバイナリ分類問題の特別なクラスである。
アプリケーションには、情報検索システムや手作業による後処理を伴うプロセスが含まれる。
これは閾値を超える無関係なサンプルの最小化につながる。
任意の(ディープ)ネットワークの形で分類器を検討し、トップロス関数を最小化するための新しい手法DeepTopPushを提案する。
しきい値はすべてのサンプルに依存するので、問題は分解できない。
確率勾配降下をエンドツーエンドのトレーニング方法で非可逆性を扱うように修正し、現在のミニバッチの値のみから閾値を推定する方法を提案する。
我々は、視覚認識データセットにおけるDeepTopPushの優れた性能と、薬物検査のために少数の分子を選択する実世界の応用を実証する。 Accuracy at the top is a special class of binary classification problems where the performance is evaluated only on a small number of relevant (top) samples. Applications include information retrieval systems or processes with manual (expensive) postprocessing. This leads to the minimization of irrelevant samples above a threshold. We consider classifiers in the form of an arbitrary (deep) network and propose a new method DeepTopPush for minimizing the top loss function. Since the threshold depends on all samples, the problem is non-decomposable. We modify the stochastic gradient descent to handle the non-decomposability in an end-to-end training manner and propose a way to estimate the threshold only from values on the current minibatch. We demonstrate the good performance of DeepTopPush on visual recognition datasets and on a real-world application of selecting a small number of molecules for further drug testing. | 翻訳日:2022-11-18 05:39:23 公開日:2020-06-22 |
| # 多目的最適化における進化史の可視化 Visualising Evolution History in Multi- and Many-Objective Optimisation ( http://arxiv.org/abs/2006.12309v1 ) ライセンス: Link先を確認 | Mathew Walter, David Walker, Matthew Craven | (参考訳) 進化的アルゴリズムは最適化問題を解決するために広く使われている。
しかし、透明化の課題は、問題を通して操作するオプティマイザーのプロセスを可視化することと、4つ以上の空間次元の理解が難しい多目的問題から生じる問題の特徴を理解することの両方において生じる。
この研究は、人口の可視化を最適化プロセスの実行と見なしている。
我々は,既存の可視化手法を多目的・多目的問題データに適用し,ユーザがEAプロセスを可視化し,特定の問題特性を識別し,問題景観をより深く理解することを可能にする。
これは、問題風景が未知で、未知の特徴を含むか、多目的問題である場合、特に価値がある。
このフレームワークは,NSGA-IIおよびNSGA-IIIを用いて,多目的および多目的のベンチマークテスト問題に対して有効であることを示す。 Evolutionary algorithms are widely used to solve optimisation problems. However, challenges of transparency arise in both visualising the processes of an optimiser operating through a problem and understanding the problem features produced from many-objective problems, where comprehending four or more spatial dimensions is difficult. This work considers the visualisation of a population as an optimisation process executes. We have adapted an existing visualisation technique to multi- and many-objective problem data, enabling a user to visualise the EA processes and identify specific problem characteristics and thus providing a greater understanding of the problem landscape. This is particularly valuable if the problem landscape is unknown, contains unknown features or is a many-objective problem. We have shown how using this framework is effective on a suite of multi- and many-objective benchmark test problems, optimising them with NSGA-II and NSGA-III. | 翻訳日:2022-11-18 05:30:47 公開日:2020-06-22 |
| # 完全並列畳み込みニューラルネットワークハードウェア Fully-parallel Convolutional Neural Network Hardware ( http://arxiv.org/abs/2006.12439v1 ) ライセンス: Link先を確認 | Christiam F. Frasser, Pablo Linares-Serrano, V. Canals, Miquel Roca, T. Serrano-Gotarredona, Josep L. Rossello | (参考訳) 新たな学際的知識領域であるエッジ人工知能(Edge Artificial Intelligence)あるいはエッジ人工知能(Edge Intelligence)は、IoT(Internet of Things)の普及により、マシンラーニングコミュニティから大きな関心を集め始めている。
残念なことに、エッジコンピューティングデバイスにAI特性を組み込むことは、畳み込みニューラルネットワーク(CNN)のような一般的な機械学習技術に飢えているパワーと領域の欠点を示す。
本研究では,Stochastic Computing(SC)システムにおける相関現象の活用に基づいて,ハードウェアにArticial Neural Networks(ANN)を実装するための,新しいパワー&エリア効率アーキテクチャを提案する。
このアーキテクチャは、SCがCNNアプリケーションに提示する難易度の高い実装課題、例えばバイナリ-確率変換に使用する高リソース、信号間の望ましくない相関による不正確さ、確率的最大関数の実装などを解決する。
従来のバイナリ論理の実装と比較すると、FPGAの実装では速度性能とエネルギー効率の面で19.6xと6.3xの改善が見られた。
また,提案したSC-CNNアーキテクチャの完全なVLSI実装を実現し,従来のSC-DNNアーキテクチャのVLSI実装よりも18倍の面積削減を実現した。
LENET-5として完全に並列なCNNを1つのFPGAに埋め込んでテストし、従来のバイナリロジック実装とは対照的に、組み込みアプリケーションに確率計算を使用することの利点を示している。 A new trans-disciplinary knowledge area, Edge Artificial Intelligence or Edge Intelligence, is beginning to receive a tremendous amount of interest from the machine learning community due to the ever increasing popularization of the Internet of Things (IoT). Unfortunately, the incorporation of AI characteristics to edge computing devices presents the drawbacks of being power and area hungry for typical machine learning techniques such as Convolutional Neural Networks (CNN). In this work, we propose a new power-and-area-efficient architecture for implementing Articial Neural Networks (ANNs) in hardware, based on the exploitation of correlation phenomenon in Stochastic Computing (SC) systems. The architecture purposed can solve the difficult implementation challenges that SC presents for CNN applications, such as the high resources used in binary-tostochastic conversion, the inaccuracy produced by undesired correlation between signals, and the stochastic maximum function implementation. Compared with traditional binary logic implementations, experimental results showed an improvement of 19.6x and 6.3x in terms of speed performance and energy efficiency, for the FPGA implementation. We have also realized a full VLSI implementation of the proposed SC-CNN architecture demonstrating that our optimization achieve a 18x area reduction over previous SC-DNN architecture VLSI implementation in a comparable technological node. For the first time, a fully-parallel CNN as LENET-5 is embedded and tested in a single FPGA, showing the benefits of using stochastic computing for embedded applications, in contrast to traditional binary logic implementations. | 翻訳日:2022-11-18 05:30:32 公開日:2020-06-22 |
| # 効率的なサンプリングに基づく最大エントロピー逆強化学習と自律運転への応用 Efficient Sampling-Based Maximum Entropy Inverse Reinforcement Learning with Application to Autonomous Driving ( http://arxiv.org/abs/2006.13704v1 ) ライセンス: Link先を確認 | Zheng Wu, Liting Sun, Wei Zhan, Chenyu Yang, Masayoshi Tomizuka | (参考訳) 過去数十年間、私たちは自動運転分野の著しい進歩を目の当たりにしてきた。
最適化と強化学習(RL)に基づく高度な技術は、設計された報酬/コスト関数を与えられた場合、どのように最適化し、環境と安全かつ効率的に対話する駆動ポリシーを得るかという、前方問題の解決においてますます強力になる。
このような進歩は、同じく重要な疑問を提起している: \emph{what should we optimize}?
報酬関数を手動で指定する代わりに、人間のドライバーが実際の交通データから最適化しようとしているものを抽出し、それを自動運転車に割り当てることで、人間と知的エージェント間のより自然で透明な対話を可能にすることが望ましい。
この問題に対処するため,本論文では,サンプリングに基づく最大エントロピー逆強化学習 (irl) アルゴリズムを提案する。
既存のIRLアルゴリズムと異なり、効率的な連続領域トラジェクトリサンプリングを導入することにより、提案アルゴリズムは、人間のドライバによる実証軌道の不確実性を考慮して、連続領域における報酬関数を直接学習することができる。
提案アルゴリズムは,非対話的シナリオと対話的シナリオの両方を含む実運転データに基づいて評価する。
実験の結果,提案アルゴリズムは他のベースラインirlアルゴリズムと比較して,収束速度と一般化が速く,精度の高い予測性能が得られることがわかった。 In the past decades, we have witnessed significant progress in the domain of autonomous driving. Advanced techniques based on optimization and reinforcement learning (RL) become increasingly powerful at solving the forward problem: given designed reward/cost functions, how should we optimize them and obtain driving policies that interact with the environment safely and efficiently. Such progress has raised another equally important question: \emph{what should we optimize}? Instead of manually specifying the reward functions, it is desired that we can extract what human drivers try to optimize from real traffic data and assign that to autonomous vehicles to enable more naturalistic and transparent interaction between humans and intelligent agents. To address this issue, we present an efficient sampling-based maximum-entropy inverse reinforcement learning (IRL) algorithm in this paper. Different from existing IRL algorithms, by introducing an efficient continuous-domain trajectory sampler, the proposed algorithm can directly learn the reward functions in the continuous domain while considering the uncertainties in demonstrated trajectories from human drivers. We evaluate the proposed algorithm on real driving data, including both non-interactive and interactive scenarios. The experimental results show that the proposed algorithm achieves more accurate prediction performance with faster convergence speed and better generalization compared to other baseline IRL algorithms. | 翻訳日:2022-11-18 05:29:33 公開日:2020-06-22 |
| # ノードレベル予測のためのグラフニューラルネットワーク Graph Neural Networks for Node-Level Predictions ( http://arxiv.org/abs/2007.08649v1 ) ライセンス: Link先を確認 | Christoph Heindl | (参考訳) ディープラーニングの成功は、コンピュータビジョン、テキスト、音声処理などの分野を含む多くの研究分野に革命をもたらした。
膨大な研究努力により、ユークリッド空間においてデータを効率的に分析できる多くの手法が導かれた。
しかし、多くの問題は複素接続パターンを持つ一般グラフとしてモデル化された非ユークリッド領域において生じる。
問題複雑性の増加と計算能力の制約により、静的グラフや小規模グラフへの初期のアプローチは限られている。
近年,グラフ構造化データに対する機械学習への関心が高まっている。
これらの手法は、大規模および時間動的グラフを扱うための道を開いた。
本研究は,ノードレベルの予測タスクのための,グラフニューラルネットワークに基づく機械学習手法の概要を提供する。
文献にすでに確立されている分類学の包括下において,核となる概念を説明し,強い影響を持つ畳み込み法の詳細な説明を行う。
さらに,各種分野の共通ベンチマークと選択したアプリケーションについて紹介する。
最後に、さらなる研究のためにオープンな問題を議論する。 The success of deep learning has revolutionized many fields of research including areas of computer vision, text and speech processing. Enormous research efforts have led to numerous methods that are capable of efficiently analyzing data, especially in the Euclidean space. However, many problems are posed in non-Euclidean domains modeled as general graphs with complex connection patterns. Increased problem complexity and computational power constraints have limited early approaches to static and small-sized graphs. In recent years, a rising interest in machine learning on graph-structured data has been accompanied by improved methods that overcome the limitations of their predecessors. These methods paved the way for dealing with large-scale and time-dynamic graphs. This work aims to provide an overview of early and modern graph neural network based machine learning methods for node-level prediction tasks. Under the umbrella of taxonomies already established in the literature, we explain the core concepts and provide detailed explanations for convolutional methods that have had strong impact. In addition, we introduce common benchmarks and present selected applications from various areas. Finally, we discuss open problems for further research. | 翻訳日:2022-11-18 05:22:22 公開日:2020-06-22 |
| # MaskIt: ディープラーニングモデルのトレーニングのための不完全な公開データセットの効率的な活用のためのマスキング MaskIt: Masking for efficient utilization of incomplete public datasets for training deep learning models ( http://arxiv.org/abs/2006.12004v1 ) ライセンス: Link先を確認 | Ankit Kariryaa | (参考訳) ディープラーニングモデルのトレーニングにおける大きな課題は、高品質で完全なデータセットがないことだ。
本稿では,公開されているが不完全なデータセットからディープラーニングモデルをトレーニングするためのマスキング手法を提案する。
例えば、ドイツのハンブルク市は道路沿いの木のリストを維持しているが、このデータセットには私家や公園の樹木に関する情報は含まれていない。
このようなデータセット上でディープラーニングモデルをトレーニングするために、ストリートツリーと航空イメージを道路ネットワークでカバーする。
マスク作成に使用されるロードネットワークはOpenStreetMapからダウンロードされ、トレーニングデータが利用可能な領域を示す。
マスクは入力の1つとしてモデルに渡され、出力もコートされる。
我々のモデルは78.4%の精度でマスキングされた地域でのみ木を予測できることを学習する。 A major challenge in training deep learning models is the lack of high quality and complete datasets. In the paper, we present a masking approach for training deep learning models from a publicly available but incomplete dataset. For example, city of Hamburg, Germany maintains a list of trees along the roads, but this dataset does not contain any information about trees in private homes and parks. To train a deep learning model on such a dataset, we mask the street trees and aerial images with the road network. Road network used for creating the mask is downloaded from OpenStreetMap, and it marks the area where the training data is available. The mask is passed to the model as one of the inputs and it also coats the output. Our model learns to successfully predict trees only in the masked region with 78.4% accuracy. | 翻訳日:2022-11-18 05:21:44 公開日:2020-06-22 |
| # 宇宙の色:地球観測画像のための自己監督表現の学習 The color out of space: learning self-supervised representations for Earth Observation imagery ( http://arxiv.org/abs/2006.12119v1 ) ライセンス: Link先を確認 | Stefano Vincenzi, Angelo Porrello, Pietro Buzzega, Marco Cipriano, Pietro Fronte, Roberto Cuccu, Carla Ippoliti, Annamaria Conte, Simone Calderara | (参考訳) 近年の衛星画像の増加により、リモートセンシング(RS)のための効果的な深層学習技術の開発が促進されている。
しかし、大きな注釈付きデータセットがないため、その潜在能力は未解決である。
このような問題は、ImageNetデータセットで以前にトレーニングされた機能抽出器を微調整することで対処される。
残念なことに、自然画像の領域は、最終的なパフォーマンスを妨げるrs oneとは異なる。
本研究では,衛星画像から有意義な表現を学習し,その高次元スペクトル帯域を利用して可視色を再構成することを提案する。
土地被覆分類(bigearthnet)および西ナイルウイルス検出実験を行い,特徴抽出器の訓練にはカラー化が有効な前文課題であることを示した。
さらに、自然画像と色付けに基づく推測が入力の異なる部分に依存することを質的に観察する。
これによりアンサンブルモデルへの道を歩み、最終的に上記のテクニックを上回っている。 The recent growth in the number of satellite images fosters the development of effective deep-learning techniques for Remote Sensing (RS). However, their full potential is untapped due to the lack of large annotated datasets. Such a problem is usually countered by fine-tuning a feature extractor that is previously trained on the ImageNet dataset. Unfortunately, the domain of natural images differs from the RS one, which hinders the final performance. In this work, we propose to learn meaningful representations from satellite imagery, leveraging its high-dimensionality spectral bands to reconstruct the visible colors. We conduct experiments on land cover classification (BigEarthNet) and West Nile Virus detection, showing that colorization is a solid pretext task for training a feature extractor. Furthermore, we qualitatively observe that guesses based on natural images and colorization rely on different parts of the input. This paves the way to an ensemble model that eventually outperforms both the above-mentioned techniques. | 翻訳日:2022-11-18 05:21:30 公開日:2020-06-22 |
| # 自動機械ビジョンによる手描きスパイラルからの運動障害の検出 Automated machine vision enabled detection of movement disorders from hand drawn spirals ( http://arxiv.org/abs/2006.12121v1 ) ライセンス: Link先を確認 | Nabeel Seedat, Vered Aharonson, Ilana Schlesinger | (参考訳) パーキンソン病 (PD) と Essential tremor (ET) の診断に広く用いられている検査は手描きの形状であり、その分析は神経科医が観察的に行う。
この方法は主観的であり、異なる医師の間で偏見が強い。
2つの疾患の症状が類似しているため、しばしば誤診されるが、このプロセスを自動化しようとする研究は、多くの臨床現場では、タブレットや特殊な機器が手頃な価格ではないデジタル入力を用いている。
本研究では,スキャンされたペンと紙面のデータセットと畳み込みニューラルネットワーク(cnn)を用いて,pd,et,および制御対象の分類を行う。
PDのコントロールによる識別精度は98.2%であった。
ETおよびコントロールからのPDの判別精度は92%であった。
アブレーション実験を行い、正しいハイパーパラメータ最適化が4.33%まで精度を向上できることを示した。
最後に,手書きスパイラルからの運動障害の堅牢かつ正確な検出を可能にするために,CNN対応のマシンビジョンシステムを用いた可能性を示す。 A widely used test for the diagnosis of Parkinson's disease (PD) and Essential tremor (ET) is hand-drawn shapes,where the analysis is observationally performed by the examining neurologist. This method is subjective and is prone to bias amongst different physicians. Due to the similarities in the symptoms of the two diseases, they are often misdiagnosed.Studies which attempt to automate the process typically use digitized input, where the tablet or specialized equipment are not affordable in many clinical settings. This study uses a dataset of scanned pen and paper drawings and a convolutional neural network (CNN) to perform classification between PD, ET and control subjects. The discrimination accuracy of PD from controls was 98.2%. The discrimination accuracy of PD from ET and from controls was 92%. An ablation study was conducted and indicated that correct hyper parameter optimization can increases the accuracy up to 4.33%. Finally, the study indicates the viability of using a CNN-enabled machine vision system to provide robust and accurate detection of movement disorders from hand drawn spirals. | 翻訳日:2022-11-18 05:21:15 公開日:2020-06-22 |
| # 自己教師付きビデオオブジェクトセグメンテーション Self-supervised Video Object Segmentation ( http://arxiv.org/abs/2006.12480v1 ) ライセンス: Link先を確認 | Fangrui Zhu, Li Zhang, Yanwei Fu, Guodong Guo, Weidi Xie | (参考訳) 本稿では,半教師付き映像オブジェクトセグメンテーション(つまり,高密度追跡)の解法として,自己教師付き表現学習を提案する。
私たちは次のような貢献をします
i) オブジェクトの出現と再出現による課題を解決するため, 長期対応マッチングのためのシンプルかつ効果的なメモリ機構により, 既存の自己管理アプローチを改善することを提案する。
(II) オンライン適応モジュールによる自己監督的アプローチの強化により, 空間的時間的不連続によるトラッカードリフト, 例えば, 閉塞や非閉塞, 高速動作の軽減に成功している。
(iii) 集中追跡のための自己教師あり表現学習の効率について検討し, 驚くべきことに, パワフルな追跡モデルは, わずか100本の生ビデオクリップ(11分程度)で訓練可能であることを示し, 低レベル統計が既に追跡作業に有効であることを示す。
(4) DAVIS-2017 と YouTube-VOS の自己教師型アプローチの最先端を実証するとともに,数百万の手動セグメンテーションアノテーションで訓練された手法の多くを超越し,自己教師型学習と教師型学習のギャップを埋める。
さらなる研究を促進するためのコード(https://github.com/fangruizhu/self_sup_semiVOS)が公開されている。 The objective of this paper is self-supervised representation learning, with the goal of solving semi-supervised video object segmentation (a.k.a. dense tracking). We make the following contributions: (i) we propose to improve the existing self-supervised approach, with a simple, yet more effective memory mechanism for long-term correspondence matching, which resolves the challenge caused by the dis-appearance and reappearance of objects; (ii) by augmenting the self-supervised approach with an online adaptation module, our method successfully alleviates tracker drifts caused by spatial-temporal discontinuity, e.g. occlusions or dis-occlusions, fast motions; (iii) we explore the efficiency of self-supervised representation learning for dense tracking, surprisingly, we show that a powerful tracking model can be trained with as few as 100 raw video clips (equivalent to a duration of 11mins), indicating that low-level statistics have already been effective for tracking tasks; (iv) we demonstrate state-of-the-art results among the self-supervised approaches on DAVIS-2017 and YouTube-VOS, as well as surpassing most of methods trained with millions of manual segmentation annotations, further bridging the gap between self-supervised and supervised learning. Codes are released to foster any further research (https://github.com/fangruizhu/self_sup_semiVOS). | 翻訳日:2022-11-18 05:20:08 公開日:2020-06-22 |
| # 企業固有の見出しと畳み込みニューラルネットワークを使って株価変動を予測する Using Company Specific Headlines and Convolutional Neural Networks to Predict Stock Fluctuations ( http://arxiv.org/abs/2006.12426v1 ) ライセンス: Link先を確認 | Jonathan Readshaw and Stefano Giani | (参考訳) 本研究は、企業固有のニュース見出しを用いた翌日の株価変動予測のための畳み込みニューラルネットワーク(cnn)を提案する。
単語埋め込みと畳み込みフィルタ幅の様々な構成を用いたモデル性能評価実験を行った。
使用する畳み込みフィルタの総数は一般的なものよりもはるかに少なく、精度を損なうことなくタスクの寸法を減少させる。
さらに、次元が減少する複数の隠れ層を用いる。
このタスクの特定のコンテキストを表現するトレーニング中に微調整された事前学習埋め込みを用いて、61.7\%の分類精度を達成する。
分類の鍵となる長さの異なるフレーズを検出するために、複数のフィルタ幅も実装されている。
提案した分類結果を用いてトレーディングシミュレーションを行う。
最初の投資は、最適な分類設定と単純な取引戦略を使用して、838日間の試験期間で3倍以上になる。
取引シミュレーションのリスクを低減させる2つの新しい手法を提案する。
複数のクラスによるsgmoidクラスのしきい値の調整とヘッドラインの再ラベルは、これらのメソッドの基礎を形成する。
これらの手法の組み合わせは、ベースラインシミュレーションで達成された平均貿易利益(ATP)の2倍以上である。 This work presents a Convolutional Neural Network (CNN) for the prediction of next-day stock fluctuations using company-specific news headlines. Experiments to evaluate model performance using various configurations of word-embeddings and convolutional filter widths are reported. The total number of convolutional filters used is far fewer than is common, reducing the dimensionality of the task without loss of accuracy. Furthermore, multiple hidden layers with decreasing dimensionality are employed. A classification accuracy of 61.7\% is achieved using pre-learned embeddings, that are fine-tuned during training to represent the specific context of this task. Multiple filter widths are also implemented to detect different length phrases that are key for classification. Trading simulations are conducted using the presented classification results. Initial investments are more than tripled over a 838 day testing period using the optimal classification configuration and a simple trading strategy. Two novel methods are presented to reduce the risk of the trading simulations. Adjustment of the sigmoid class threshold and re-labelling headlines using multiple classes form the basis of these methods. A combination of these approaches is found to more than double the Average Trade Profit (ATP) achieved during baseline simulations. | 翻訳日:2022-11-18 05:19:43 公開日:2020-06-22 |
| # 機械学習はどこまで公平か?
決定木における公平性の境界の評価 How fair can we go in machine learning? Assessing the boundaries of fairness in decision trees ( http://arxiv.org/abs/2006.12399v1 ) ライセンス: Link先を確認 | Ana Valdivia, Javier S\'anchez-Monedero and Jorge Casillas | (参考訳) 公正な機械学習の研究は、特定のグループの識別に対処する公平なアルゴリズムの開発に注力してきた。
しかし、これらの公正を意識したアプローチの多くは、バイアス緩和介入の統計的限界の理解が不十分な問題に対するユニークな解決策を得ることを目的としている。
精度と公平性のあらゆる指標を最適化し、最も有効なソリューションをパレートフロントに提供する、多目的フレームワーク内でこれらの限界を探索できる最初の方法論を提示する。
本研究では,機械学習において広く受け入れられており,解釈が容易で,自然に非数値情報を扱うことができるため,決定木分類に焦点をあてる。
本手法は, 分類誤差を小さくすることで, より公平に決定木モデルを最適化できることを実験的に証明した。
我々の貢献は、社会技術システムのステークホルダーが、どれほど公正で正確かを評価するのに役立つと信じており、機械学習が使われている意思決定の強化を支援する。 Fair machine learning works have been focusing on the development of equitable algorithms that address discrimination of certain groups. Yet, many of these fairness-aware approaches aim to obtain a unique solution to the problem, which leads to a poor understanding of the statistical limits of bias mitigation interventions. We present the first methodology that allows to explore those limits within a multi-objective framework that seeks to optimize any measure of accuracy and fairness and provides a Pareto front with the best feasible solutions. In this work, we focus our study on decision tree classifiers since they are widely accepted in machine learning, are easy to interpret and can deal with non-numerical information naturally. We conclude experimentally that our method can optimize decision tree models by being fairer with a small cost of the classification error. We believe that our contribution will help stakeholders of sociotechnical systems to assess how far they can go being fair and accurate, thus serving in the support of enhanced decision making where machine learning is used. | 翻訳日:2022-11-18 05:14:03 公開日:2020-06-22 |
| # 非負行列分解における潜時次元の決定のためのニューラルネットワーク A Neural Network for Determination of Latent Dimensionality in Nonnegative Matrix Factorization ( http://arxiv.org/abs/2006.12402v1 ) ライセンス: Link先を確認 | Benjamin T. Nebgen, Raviteja Vangara, Miguel A. Hombrados-Herrera, Svetlana Kuksova, Boian S. Alexandrov | (参考訳) 非負行列因子化(NMF)は、データマイニング、テキスト認識、次元減少、顔認識、異常検出、ブラインドソース分離、その他多くの分野で応用された、複雑でノイズの多いデータセットの隠れた特徴を明らかにする強力な教師なし学習手法であることが証明されている。
NMF の重要な入力は、探索データセットに存在するデータ、すなわち隠れた特徴数 K の潜在次元である。
残念なことに、この量は前兆として滅多に知られていない。
本研究では,最新のモデル決定法であるnmfkと組み合わせた教師付き機械学習手法を用いて,隠れた特徴の個数を自動的に決定する。
NMFkは、初期データセットをブートストラップして得られる行列のアンサンブル上で一連のNMFシミュレーションを行い、どのKが初期データセットをよく再構成する安定な特徴群を生成するかを決定する。
次に,多層パーセプトロン (mlp) 分類器ネットワークを訓練し,nmfk から得られた nmf 溶液の統計と特性を用いて,潜伏特性の正確な数を決定する。
MLP分類器を訓練するために, 所定の潜伏特性を有する58,660個の行列をNMFkで分解した。
NMFkと組み合わせたMLP分類器は、保持されたテストセットに適用した場合、95%以上の成功率を維持する。
さらに、よく知られた2つのベンチマークデータセット、スイマーとMITの顔データに適用すると、NMFk/MLPは確立された多数の隠れた特徴を正しく回復した。
最後に,本手法の精度をARD,AIC,安定性に基づく手法と比較した。 Non-negative Matrix Factorization (NMF) has proven to be a powerful unsupervised learning method for uncovering hidden features in complex and noisy data sets with applications in data mining, text recognition, dimension reduction, face recognition, anomaly detection, blind source separation, and many other fields. An important input for NMF is the latent dimensionality of the data, that is, the number of hidden features, K, present in the explored data set. Unfortunately, this quantity is rarely known a priori. We utilize a supervised machine learning approach in combination with a recent method for model determination, called NMFk, to determine the number of hidden features automatically. NMFk performs a set of NMF simulations on an ensemble of matrices, obtained by bootstrapping the initial data set, and determines which K produces stable groups of latent features that reconstruct the initial data set well. We then train a Multi-Layer Perceptron (MLP) classifier network to determine the correct number of latent features utilizing the statistics and characteristics of the NMF solutions, obtained from NMFk. In order to train the MLP classifier, a training set of 58,660 matrices with predetermined latent features were factorized with NMFk. The MLP classifier in conjunction with NMFk maintains a greater than 95% success rate when applied to a held out test set. Additionally, when applied to two well-known benchmark data sets, the swimmer and MIT face data, NMFk/MLP correctly recovered the established number of hidden features. Finally, we compared the accuracy of our method to the ARD, AIC and Stability-based methods. | 翻訳日:2022-11-18 05:13:46 公開日:2020-06-22 |
| # 階層クラスタリングを用いた多スケールグラフ畳み込みネットワーク A Multiscale Graph Convolutional Network Using Hierarchical Clustering ( http://arxiv.org/abs/2006.12542v1 ) ライセンス: Link先を確認 | Alex Lipov and Pietro Li\`o | (参考訳) 階層トポロジに含まれる情報は、多くのネットワークに固有のもので、現在未使用である。
マルチスケールの分解によってこの情報を活用する新しいアーキテクチャを探索する。
dendrogramはgillvan-newman階層クラスタリングアルゴリズムによって生成される。
グラフ畳み込み層を通じてセグメント化され、アーキテクチャはネットワークの複数のスケールの潜在空間表現を、きめ細かいものから粗いものまで学習することができる。
アーキテクチャはベンチマーク引用ネットワーク上でテストされ、競合性能を示す。
階層ネットワークが豊富であることから、量子分子特性予測、タンパク質界面予測、偏微分方程式のマルチスケール計算基板など、考えられる応用が考えられる。 The information contained in hierarchical topology, intrinsic to many networks, is currently underutilised. A novel architecture is explored which exploits this information through a multiscale decomposition. A dendrogram is produced by a Girvan-Newman hierarchical clustering algorithm. It is segmented and fed through graph convolutional layers, allowing the architecture to learn multiple scale latent space representations of the network, from fine to coarse grained. The architecture is tested on a benchmark citation network, demonstrating competitive performance. Given the abundance of hierarchical networks, possible applications include quantum molecular property prediction, protein interface prediction and multiscale computational substrates for partial differential equations. | 翻訳日:2022-11-18 05:12:41 公開日:2020-06-22 |
| # ワンショットコミュニケーションによるFederated Regressionの厳格なサポート回復 Exact Support Recovery in Federated Regression with One-shot Communication ( http://arxiv.org/abs/2006.12583v1 ) ライセンス: Link先を確認 | Adarsh Barik, Jean Honorio | (参考訳) フェデレーション学習(federated learning)は、分散コンピューティングやデータ所有、プライバシといった課題に対して、計算能力と通信能力の低い多数の分散クライアント上で対処するためのフレームワークを提供する。
本稿では,フェデレーション学習におけるスパース線形回帰の正確なサポートを学習する問題について検討する。
集中型サーバとのワンショット通信だけで正確なサポートを計算できる簡易な通信効率のよいアルゴリズムを提供する。
本手法では,クライアントが任意の最適化問題を解く必要はなく,計算能力の低いデバイスでも実行可能である。
当社の手法は、クライアントの失敗、モデル中毒、およびクラスタリングクライアントの問題に対して自然に堅牢である。
我々は,本手法がサポートサイズに対して多項式であるクライアント毎に多数のサンプルを必要とすることを正式に証明するが,問題の大きさには依存しない。
問題の次元において、分散クライアントの数を対数にする必要がある。
予測変数が互いに独立であれば、全体のサンプル複雑性は、非フェデレーション集中設定の最適なサンプル複雑性に一致する。
さらに,本手法は実装が容易で,多項式時間の複雑さも大きい。 Federated learning provides a framework to address the challenges of distributed computing, data ownership and privacy over a large number of distributed clients with low computational and communication capabilities. In this paper, we study the problem of learning the exact support of sparse linear regression in the federated learning setup. We provide a simple communication efficient algorithm which only needs one-shot communication with the centralized server to compute the exact support. Our method does not require the clients to solve any optimization problem and thus, can be run on devices with low computational capabilities. Our method is naturally robust to the problems of client failure, model poisoning and straggling clients. We formally prove that our method requires a number of samples per client that is polynomial with respect to the support size, but independent of the dimension of the problem. We require the number of distributed clients to be logarithmic in the dimension of the problem. If the predictor variables are mutually independent then the overall sample complexity matches the optimal sample complexity of the non-federated centralized setting. Furthermore, our method is easy to implement and has an overall polynomial time complexity. | 翻訳日:2022-11-18 05:12:31 公開日:2020-06-22 |
| # c-sure: 複雑値深層学習のための縮小推定器とプロトタイプ分類器 C-SURE: Shrinkage Estimator and Prototype Classifier for Complex-Valued Deep Learning ( http://arxiv.org/abs/2006.12590v1 ) ライセンス: Link先を確認 | Yifei Xing, Rudrasis Chakraborty, Minxuan Duan, Stella Yu | (参考訳) james-stein (js) shrinkage estimator は、ガウス確率ベクトルの平均をキャプチャするバイアス付き推定器であり、平均二乗誤差 (mse) の観点で、mle (maximum probability estimator) よりも支配的であることが望ましいが、この推定器を多様体値データに拡張することにはあまり進展がない。
本研究では,mle 上で理論上最適であることが証明された複素数値データ多様体上の js 推定器の stein's unbiased risk estimation (sure) である c-sure を提案する。
複雑な値を持つSurReal分類器のアーキテクチャに適応し、C-SUREをさらにプロトタイプ畳み込みニューラルネットワーク(CNN)分類器に組み込む。
複素値mstarとradiomlデータセットのc-sureとsurrealおよびreal-valued baseを比較した。
C-SUREはSurRealより正確で頑健であり、同じプロトタイプ分類器の場合、収縮推定器はMLEよりも常に優れている。
SurRealと同様、C-SUREははるかに小さく、ベースラインサイズが1%未満のMSTAR(RadioML)の実際の値ベースラインを上回っている。 The James-Stein (JS) shrinkage estimator is a biased estimator that captures the mean of Gaussian random vectors.While it has a desirable statistical property of dominance over the maximum likelihood estimator (MLE) in terms of mean squared error (MSE), not much progress has been made on extending the estimator onto manifold-valued data. We propose C-SURE, a novel Stein's unbiased risk estimate (SURE) of the JS estimator on the manifold of complex-valued data with a theoretically proven optimum over MLE. Adapting the architecture of the complex-valued SurReal classifier, we further incorporate C-SURE into a prototype convolutional neural network (CNN) classifier. We compare C-SURE with SurReal and a real-valued baseline on complex-valued MSTAR and RadioML datasets. C-SURE is more accurate and robust than SurReal, and the shrinkage estimator is always better than MLE for the same prototype classifier. Like SurReal, C-SURE is much smaller, outperforming the real-valued baseline on MSTAR (RadioML) with less than 1 percent (3 percent) of the baseline size | 翻訳日:2022-11-18 05:12:16 公開日:2020-06-22 |
| # 部分集約ニューラルネットワークを用いたpac-bayes目標の微分 Differentiable PAC-Bayes Objectives with Partially Aggregated Neural Networks ( http://arxiv.org/abs/2006.12228v1 ) ライセンス: Link先を確認 | Felix Biggs and Benjamin Guedj | (参考訳) We make three related contributions motivated by the challenge of training stochastic neural networks, particularly in a PAC-Bayesian setting: (1) we show how averaging over an ensemble of stochastic neural networks enables a new class of \emph{partially-aggregated} estimators; (2) we show that these lead to provably lower-variance gradient estimates for non-differentiable signed-output networks; (3) we reformulate a PAC-Bayesian bound for these networks to derive a directly optimisable, differentiable objective and a generalisation guarantee, without using a surrogate loss or loosening the bound.
この境界は、同様のネットワークタイプでLetarte et al. (2019) の2倍厳密である。
これらのイノベーションがトレーニングを容易にし、競争力の保証につながることを実証的に示します。 We make three related contributions motivated by the challenge of training stochastic neural networks, particularly in a PAC-Bayesian setting: (1) we show how averaging over an ensemble of stochastic neural networks enables a new class of \emph{partially-aggregated} estimators; (2) we show that these lead to provably lower-variance gradient estimates for non-differentiable signed-output networks; (3) we reformulate a PAC-Bayesian bound for these networks to derive a directly optimisable, differentiable objective and a generalisation guarantee, without using a surrogate loss or loosening the bound. This bound is twice as tight as that of Letarte et al. (2019) on a similar network type. We show empirically that these innovations make training easier and lead to competitive guarantees. | 翻訳日:2022-11-18 05:04:15 公開日:2020-06-22 |
| # HNHN: ハイパーエッジニューロンを用いたハイパーグラフネットワーク HNHN: Hypergraph Networks with Hyperedge Neurons ( http://arxiv.org/abs/2006.12278v1 ) ライセンス: Link先を確認 | Yihe Dong, Will Sawin, Yoshua Bengio | (参考訳) ハイパーグラフは多くの現実世界のデータセットに自然な表現を提供する。
本稿ではハイパーグラフ表現学習のための新しいフレームワークhnhnを提案する。
HNHNは、ハイパーノードとハイパーエッジの両方に非線形アクティベーション関数が適用されるハイパーグラフ畳み込みネットワークであり、データセットに依存する高次ハイパーエッジと高次頂点の重要性を柔軟に調整できる正規化スキームと組み合わせることができる。
そこで本研究では,実世界のデータセットの分類精度と速度の両面でhnhnの性能向上を実証する。 Hypergraphs provide a natural representation for many real world datasets. We propose a novel framework, HNHN, for hypergraph representation learning. HNHN is a hypergraph convolution network with nonlinear activation functions applied to both hypernodes and hyperedges, combined with a normalization scheme that can flexibly adjust the importance of high-cardinality hyperedges and high-degree vertices depending on the dataset. We demonstrate improved performance of HNHN in both classification accuracy and speed on real world datasets when compared to state of the art methods. | 翻訳日:2022-11-18 05:04:04 公開日:2020-06-22 |
| # 非構造切削における損失モデルの再検討 Revisiting Loss Modelling for Unstructured Pruning ( http://arxiv.org/abs/2006.12279v1 ) ライセンス: Link先を確認 | C\'esar Laurent, Camille Ballas, Thomas George, Nicolas Ballas, Pascal Vincent | (参考訳) 深層ニューラルネットワークからパラメータを除去することにより、非構造化プルーニング手法は、予測精度を維持しながら、メモリフットプリントと計算コストを削減することを目的としている。
それ以外の難解な問題に対処するために、これらの手法の多くは1次または2次テイラー展開を用いて損失景観をモデル化し、どのパラメータを破棄できるかを特定する。
我々は,非構造的プルーニングのための損失モデリングを再考する: プルーニングステップの局所性を保証することの重要性を示す。
一階および二階のテイラー展開を体系的に比較し、両者が同様のレベルの性能に達することを実証的に示す。
最後に, 元のネットワーク関数の保存性が向上しても, 微調整後のネットワーク性能が向上するとは限らないことを示し, 刈り取りの影響を考慮すれば, 刈り取り基準の設計に十分な目的が得られない可能性が示唆された。 By removing parameters from deep neural networks, unstructured pruning methods aim at cutting down memory footprint and computational cost, while maintaining prediction accuracy. In order to tackle this otherwise intractable problem, many of these methods model the loss landscape using first or second order Taylor expansions to identify which parameters can be discarded. We revisit loss modelling for unstructured pruning: we show the importance of ensuring locality of the pruning steps. We systematically compare first and second order Taylor expansions and empirically show that both can reach similar levels of performance. Finally, we show that better preserving the original network function does not necessarily transfer to better performing networks after fine-tuning, suggesting that only considering the impact of pruning on the loss might not be a sufficient objective to design good pruning criteria. | 翻訳日:2022-11-18 05:03:54 公開日:2020-06-22 |
| # 合同観測データを用いた効率的因果強化学習 Provably Efficient Causal Reinforcement Learning with Confounded Observational Data ( http://arxiv.org/abs/2006.12311v1 ) ライセンス: Link先を確認 | Lingxiao Wang, Zhuoran Yang, Zhaoran Wang | (参考訳) ニューラルネットワークや深部強化学習(DRL)などの表現関数近似器を応用して、膨大な経験的成功を達成している。
しかし、表現関数近似器の学習には、環境と相互作用して大きなデータセット(インターベンショナルデータ)を収集する必要がある。
このようなサンプル効率の欠如は、オンライン環境での試行とエラーがしばしば安全で非倫理的であるため、自動運転やパーソナライズされた医療といった重要なシナリオへのdrlの適用を禁止している。
本稿では,オフラインで収集したデータセット(観測データ)を実際に利用できるように組み込んで,オンライン環境におけるサンプル効率を向上させる方法について検討する。
そこで本研究では, 既定観測データを効率よく組み込んだ, 分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
より具体的には、doviは、共同設立者が部分的に観察されるか、観察されない観察データにおける偏りを明示的に調整する。
いずれの場合も、このような調整により、オフライン設定から取得した情報量を考慮した情報ゲインの概念に基づいてボーナスを構築することができる。
特に,doviの後悔は純粋オンライン環境において達成可能な最善の後悔よりも乗算係数によって小さいことが証明される。
我々のアルゴリズムと分析は因果強化学習へのステップとなる。 Empowered by expressive function approximators such as neural networks, deep reinforcement learning (DRL) achieves tremendous empirical successes. However, learning expressive function approximators requires collecting a large dataset (interventional data) by interacting with the environment. Such a lack of sample efficiency prohibits the application of DRL to critical scenarios, e.g., autonomous driving and personalized medicine, since trial and error in the online setting is often unsafe and even unethical. In this paper, we study how to incorporate the dataset (observational data) collected offline, which is often abundantly available in practice, to improve the sample efficiency in the online setting. To incorporate the possibly confounded observational data, we propose the deconfounded optimistic value iteration (DOVI) algorithm, which incorporates the confounded observational data in a provably efficient manner. More specifically, DOVI explicitly adjusts for the confounding bias in the observational data, where the confounders are partially observed or unobserved. In both cases, such adjustments allow us to construct the bonus based on a notion of information gain, which takes into account the amount of information acquired from the offline setting. In particular, we prove that the regret of DOVI is smaller than the optimal regret achievable in the pure online setting by a multiplicative factor, which decreases towards zero when the confounded observational data are more informative upon the adjustments. Our algorithm and analysis serve as a step towards causal reinforcement learning. | 翻訳日:2022-11-18 05:02:45 公開日:2020-06-22 |
| # 待つな、重みだけ - 目標駆動のインスタンス重み学習による教師なし表現の改善 Don't Wait, Just Weight: Improving Unsupervised Representations by Learning Goal-Driven Instance Weights ( http://arxiv.org/abs/2006.12360v1 ) ライセンス: Link先を確認 | Linus Ericsson, Henry Gouk and Timothy M. Hospedales | (参考訳) 大きなラベル付きデータセットがないと、自己教師付き学習技術は、しばしば利用しやすい非ラベル付きデータから有用な表現を学ぶことでパフォーマンスを向上させることができる。
しかし、多くの場合、ラベルなしのコレクションと下流のターゲット問題データの間にドメインシフトがある。
非ラベルデータのベイズインスタンス重みを学習することにより,最も有用なインスタンスを優先順位付けすることにより,下流の分類精度を向上させることができることを示す。
さらに,不要なデータポイントを破棄することで,トレーニング時間を短縮できることを示す。
提案手法である betadataweighter は,stl-10 と visual decathlon の自己教師付き回転予測タスクを用いて評価する。
従来の自己教師あり学習と同様に,ハンドデザインのヒューリスティックスとメタラーニングのいずれにおいても,関連するインスタンス重み付けスキームと比較した。
betadataweighterはデータセット全体の平均精度とランクの両方を達成し、stl-10では、トレーニング時間の50%以上削減された精度を損なうことなく、ラベルなし画像の最大78%を浪費する。 In the absence of large labelled datasets, self-supervised learning techniques can boost performance by learning useful representations from unlabelled data, which is often more readily available. However, there is often a domain shift between the unlabelled collection and the downstream target problem data. We show that by learning Bayesian instance weights for the unlabelled data, we can improve the downstream classification accuracy by prioritising the most useful instances. Additionally, we show that the training time can be reduced by discarding unnecessary datapoints. Our method, BetaDataWeighter is evaluated using the popular self-supervised rotation prediction task on STL-10 and Visual Decathlon. We compare to related instance weighting schemes, both hand-designed heuristics and meta-learning, as well as conventional self-supervised learning. BetaDataWeighter achieves both the highest average accuracy and rank across datasets, and on STL-10 it prunes up to 78% of unlabelled images without significant loss in accuracy, corresponding to over 50% reduction in training time. | 翻訳日:2022-11-18 05:01:50 公開日:2020-06-22 |
| # mumbo: マルチタスクの最大値ベイズ最適化 MUMBO: MUlti-task Max-value Bayesian Optimization ( http://arxiv.org/abs/2006.12093v1 ) ライセンス: Link先を確認 | Henry B. Moss, David S. Leslie and Paul Rayson | (参考訳) MUMBOは,マルチタスクベイズ最適化のための高速かつ計算効率のよい獲得関数である。
ここでの課題は、真の目標関数に何らかの関連のある低コスト機能を評価することで、効率的な最適化を行うことです。
これはマルチフィデリティ最適化の一般的なタスクを含む幅広い問題である。
しかしながら、情報理論的な獲得関数は最先端のベイズ最適化を提供することが知られているが、マルチタスクシナリオの既存の実装は計算の要求を禁じている。
したがって、従来の取得関数は、低次元パラメータ空間と関数クエリコストの両方の問題にのみ適しており、非常に大きな最適化オーバーヘッドを覆すのに十分である。
本研究では,エントロピー探索のマルチタスクバージョンを考案し,従来の最適化課題とマルチタスクハイパーパラメータチューニングにまたがる計算オーバーヘッドの少ない堅牢な性能を実現する。
MUMBOはスケーラブルで効率的であり、マルチタスクベイズ最適化をリッチパラメータと忠実度空間の問題に展開することができる。 We propose MUMBO, the first high-performing yet computationally efficient acquisition function for multi-task Bayesian optimization. Here, the challenge is to perform efficient optimization by evaluating low-cost functions somehow related to our true target function. This is a broad class of problems including the popular task of multi-fidelity optimization. However, while information-theoretic acquisition functions are known to provide state-of-the-art Bayesian optimization, existing implementations for multi-task scenarios have prohibitive computational requirements. Previous acquisition functions have therefore been suitable only for problems with both low-dimensional parameter spaces and function query costs sufficiently large to overshadow very significant optimization overheads. In this work, we derive a novel multi-task version of entropy search, delivering robust performance with low computational overheads across classic optimization challenges and multi-task hyper-parameter tuning. MUMBO is scalable and efficient, allowing multi-task Bayesian optimization to be deployed in problems with rich parameter and fidelity spaces. | 翻訳日:2022-11-18 04:55:43 公開日:2020-06-22 |
| # 隠れマルコフ非線形ICA:非定常時系列からの教師なし学習 Hidden Markov Nonlinear ICA: Unsupervised Learning from Nonstationary Time Series ( http://arxiv.org/abs/2006.12107v1 ) ライセンス: Link先を確認 | Hermanni H\"alv\"a and Aapo Hyv\"arinen | (参考訳) 非線形独立成分分析(ICA)の最近の進歩は、教師なしの特徴学習と絡み合いに対する原則的枠組みを提供する。
このような研究の中心的な考え方は、潜伏成分は時間偏差指数のような観測された補助変数の独立条件であると仮定されることである。
これは、計算コストが高く、不正確でしばしば不可能な非定常セグメントにデータを手動で分割する必要がある。
したがって、これらのモデルは完全には監視されていない。
非線形ICAと隠れマルコフモデルを組み合わせることでこれらの制限を緩和し、観測されたセグメントインデックスの代わりに潜在状態が作用するモデルを得る。
ニューラルネットワークのような一般混合非線形性に対する提案モデルの同定性を示す。
また,予測最大化アルゴリズムを用いて,モデルの最大推定をいかに行うかを示す。
そこで我々は, 教師なし, 効率的であり, 基礎となる時間的ダイナミクスをモデル化できる新しい非線形icaフレームワークを実現する。 Recent advances in nonlinear Independent Component Analysis (ICA) provide a principled framework for unsupervised feature learning and disentanglement. The central idea in such works is that the latent components are assumed to be independent conditional on some observed auxiliary variables, such as the time-segment index. This requires manual segmentation of data into non-stationary segments which is computationally expensive, inaccurate and often impossible. These models are thus not fully unsupervised. We remedy these limitations by combining nonlinear ICA with a Hidden Markov Model, resulting in a model where a latent state acts in place of the observed segment-index. We prove identifiability of the proposed model for a general mixing nonlinearity, such as a neural network. We also show how maximum likelihood estimation of the model can be done using the expectation-maximization algorithm. Thus, we achieve a new nonlinear ICA framework which is unsupervised, more efficient, as well as able to model underlying temporal dynamics. | 翻訳日:2022-11-18 04:54:57 公開日:2020-06-22 |
| # Spektralを使ったTensorFlowとKerasのグラフニューラルネットワーク Graph Neural Networks in TensorFlow and Keras with Spektral ( http://arxiv.org/abs/2006.12138v1 ) ライセンス: Link先を確認 | Daniele Grattarola, Cesare Alippi | (参考訳) 本稿では、TensorFlowとKerasアプリケーションプログラミングインタフェースを用いてグラフニューラルネットワークを構築するためのオープンソースのPythonライブラリであるSpektralについて述べる。
spektralは、メッセージパスやプール演算子、グラフの処理や人気のあるベンチマークデータセットの読み込みのためのユーティリティなど、グラフのディープラーニングのための多数のメソッドを実装している。
このライブラリの目的は、Kerasがベースとするユーザフレンドリ性の原則とクイックプロトタイピングを中心に、グラフニューラルネットワークを作成するための必須のビルディングブロックを提供することである。
したがって、スペクトラールは絶対的な初心者や専門的なディープラーニング実践者にも適している。
本稿では,spektralの特徴を概観し,ノード分類,グラフ分類,グラフ回帰のシナリオにおいて,ライブラリによって実装された手法の性能を報告する。 In this paper we present Spektral, an open-source Python library for building graph neural networks with TensorFlow and the Keras application programming interface. Spektral implements a large set of methods for deep learning on graphs, including message-passing and pooling operators, as well as utilities for processing graphs and loading popular benchmark datasets. The purpose of this library is to provide the essential building blocks for creating graph neural networks, focusing on the guiding principles of user-friendliness and quick prototyping on which Keras is based. Spektral is, therefore, suitable for absolute beginners and expert deep learning practitioners alike. In this work, we present an overview of Spektral's features and report the performance of the methods implemented by the library in scenarios of node classification, graph classification, and graph regression. | 翻訳日:2022-11-18 04:54:06 公開日:2020-06-22 |
| # タスク適応型メタプランニングによるニューラルネットワークの高速化 Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning ( http://arxiv.org/abs/2006.12139v1 ) ライセンス: Link先を確認 | Minyoung Song, Jaehong Yoon, Eunho Yang, Sung Ju Hwang | (参考訳) ディープニューラルネットワークのサイズが拡大し、ますますリソース制限のあるデバイスにデプロイされるようになるにつれて、ネットワークのプルーニング方法への関心が高まり、特定のネットワークの重要な重みやアクティベーションを減らすことを目的としている。
ほとんどの既存のプルーニングテクニックの一般的な制限は、プルーニングの前に少なくとも一度はネットワークを事前トレーニングする必要があるため、推論時にのみメモリと計算量を削減できることである。
しかし、急速な構造的刈り取りによるニューラルネットワークのトレーニングコストの削減は、クラウドコンピューティングによる金銭的コストの最小化や、リソース制限されたデバイス上でのデバイス上での学習を可能にするのに有用である。
最近導入されたランダム・ウェイト・プルーニング・アプローチは、事前訓練の必要性を排除できるが、従来のプルーニング技術よりも最適な性能を得ることが多く、非構造化プルーニングを行うため、より高速なトレーニングができない。
その限界を克服するため,我々は,大規模参照データセット上で事前トレーニングされたネットワークを対象データセットの機能としてpruning maskを生成し,タスク適応的にpruneするset-based task-adaptive meta pruning (stamp)を提案する。
目標タスクにおける最大パフォーマンス向上を確保するため、参照データセットの異なるサブセット上でマスク生成器をメタ学習し、トレーニングのいくつかの段階において、見当たらないデータセットに適切に一般化できるようにします。
ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証し、ベースラインに対する圧縮速度を同等の精度で向上するだけでなく、トレーニング速度の桁数も大幅に高速化する。 As deep neural networks are growing in size and being increasingly deployed to more resource-limited devices, there has been a recent surge of interest in network pruning methods, which aim to remove less important weights or activations of a given network. A common limitation of most existing pruning techniques, is that they require pre-training of the network at least once before pruning, and thus we can benefit from reduction in memory and computation only at the inference time. However, reducing the training cost of neural networks with rapid structural pruning may be beneficial either to minimize monetary cost with cloud computing or to enable on-device learning on a resource-limited device. Recently introduced random-weight pruning approaches can eliminate the needs of pretraining, but they often obtain suboptimal performance over conventional pruning techniques and also does not allow for faster training since they perform unstructured pruning. To overcome their limitations, we propose Set-based Task-Adaptive Meta Pruning (STAMP), which task-adaptively prunes a network pretrained on a large reference dataset by generating a pruning mask on it as a function of the target dataset. To ensure maximum performance improvements on the target task, we meta-learn the mask generator over different subsets of the reference dataset, such that it can generalize well to any unseen datasets within a few gradient steps of training. We validate STAMP against recent advanced pruning methods on benchmark datasets, on which it not only obtains significantly improved compression rates over the baselines at similar accuracy, but also orders of magnitude faster training speed. | 翻訳日:2022-11-18 04:53:51 公開日:2020-06-22 |
| # 分子グラフ学習のための階層的メッセージ間パッシング Hierarchical Inter-Message Passing for Learning on Molecular Graphs ( http://arxiv.org/abs/2006.12179v1 ) ライセンス: Link先を確認 | Matthias Fey, Jan-Gin Yuen, Frank Weichert | (参考訳) 分子グラフを学習するための階層型ニューラルメッセージパッシングアーキテクチャを提案する。
我々のモデルは、生分子グラフ表現とそれに関連するジャンクションツリーという2つの相補的なグラフ表現を持ち、そこではノードは元のグラフにおいて意味のあるクラスタ、例えば環や架橋化合物を表す。
次に、各グラフ内でメッセージを渡すことによって分子の表現を学習し、粗く細かい情報フローを用いて2つの表現の間でメッセージを交換する。
我々の手法は、サイクルの検出など、古典的なGNNで知られているいくつかの制限を克服することができるが、それでも訓練は非常に効率的である。
我々は,MoreculeNetベンチマークコレクションから得られたZINCデータセットとデータセットの性能を検証する。 We present a hierarchical neural message passing architecture for learning on molecular graphs. Our model takes in two complementary graph representations: the raw molecular graph representation and its associated junction tree, where nodes represent meaningful clusters in the original graph, e.g., rings or bridged compounds. We then proceed to learn a molecule's representation by passing messages inside each graph, and exchange messages between the two representations using a coarse-to-fine and fine-to-coarse information flow. Our method is able to overcome some of the restrictions known from classical GNNs, like detecting cycles, while still being very efficient to train. We validate its performance on the ZINC dataset and datasets stemming from the MoleculeNet benchmark collection. | 翻訳日:2022-11-18 04:53:07 公開日:2020-06-22 |
| # Hippo: ステージツリーによるディープラーニングのハイパーパラメータ最適化 Hippo: Taming Hyper-parameter Optimization of Deep Learning with Stage Trees ( http://arxiv.org/abs/2006.11972v1 ) ライセンス: Link先を確認 | Ahnjae Shin, Do Yoon Kim, Joo Seong Jeong, Byung-Gon Chun | (参考訳) ハイパーパラメータ最適化は,ディープラーニングモデルの精度を限界まで押し上げる上で極めて重要である。
ハイパーパラメータ最適化のジョブは、研究と呼ばれ、異なるトレーニングノブを使用してモデルをトレーニングする多数の試行を含む。
ハイパーパラメータ最適化アルゴリズムから発行される試行は、しばしば共通のハイパーパラメータシーケンスプレフィックスを共有する。
そこで本研究では,学習過程における冗長性を除去し,計算量を大幅に削減するハイパーパラメータ最適化システムであるHippoを提案する。
既存のハイパーパラメータ最適化システムのように、それぞれのトライアルを独立して実行する代わりに、Hippoはハイパーパラメータシーケンスをステージに分解し、一般的なステージをマージしてステージツリー(ステージツリーと呼ばれる)を形成し、分散GPUサーバ環境上で1ツリーずつステージを実行する。
hippoは単一の研究だけでなく、同じモデルと探索空間の複数の研究を段階の木として定式化できるマルチスタディシナリオにも適用できる。
評価の結果、hipoのステージベースの実行戦略は、いくつかのモデルやハイパーパラメータ最適化アルゴリズムでray tuneのような試行ベースのメソッドよりも優れており、gpu時間とエンドツーエンドのトレーニング時間が大幅に削減されている。 Hyper-parameter optimization is crucial for pushing the accuracy of a deep learning model to its limits. A hyper-parameter optimization job, referred to as a study, involves numerous trials of training a model using different training knobs, and therefore is very computation-heavy, typically taking hours and days to finish. We observe that trials issued from hyper-parameter optimization algorithms often share common hyper-parameter sequence prefixes. Based on this observation, we propose Hippo, a hyper-parameter optimization system that removes redundancy in the training process to reduce the overall amount of computation significantly. Instead of executing each trial independently as in existing hyper-parameter optimization systems, Hippo breaks down the hyper-parameter sequences into stages and merges common stages to form a tree of stages (called a stage-tree), then executes a stage once per tree on a distributed GPU server environment. Hippo is applicable to not only single studies, but multi-study scenarios as well, where multiple studies of the same model and search space can be formulated as trees of stages. Evaluations show that Hippo's stage-based execution strategy outperforms trial-based methods such as Ray Tune for several models and hyper-parameter optimization algorithms, reducing GPU-hours and end-to-end training time significantly. | 翻訳日:2022-11-18 04:46:39 公開日:2020-06-22 |
| # 強化学習による制約付き組合せ最適化 Constrained Combinatorial Optimization with Reinforcement Learning ( http://arxiv.org/abs/2006.11984v1 ) ライセンス: Link先を確認 | Ruben Solozabal and Josu Ceberio and Martin Tak\'a\v{c} | (参考訳) 本稿では,RL(Deep Reinforcement Learning)を用いた制約付き組合せ最適化問題に対処する枠組みを提案する。
この目的のために、ニューラルコンビネート最適化(nco)理論を拡張して、その定式化における制約に対処する。
特に,制約付き組合せ問題をCMDP(Constrained Markov Decision Processs)として定義することを提案する。
その文脈では、ソリューションは環境との相互作用に基づいて反復的に構築されます。
このモデルは、報酬信号に加えて、制約不満足から生成されるペナルティ信号に依存し、ヒューリスティックなアルゴリズムとして作用するポリシーを推論する。
さらに、最適化プロセス中に完全な状態表現にアクセスすることで、メモリレスアーキテクチャに頼ることができ、以前のシーケンスからシーケンスへのアプローチで得られた結果が向上します。
制約付きジョブショップと資源割当問題に関する実験により,従来のヒューリスティック,メタヒューリスティック,制約プログラミング(cp)ソルバと比較して,高速解の計算が優れていることが証明された。 This paper presents a framework to tackle constrained combinatorial optimization problems using deep Reinforcement Learning (RL). To this end, we extend the Neural Combinatorial Optimization (NCO) theory in order to deal with constraints in its formulation. Notably, we propose defining constrained combinatorial problems as fully observable Constrained Markov Decision Processes (CMDP). In that context, the solution is iteratively constructed based on interactions with the environment. The model, in addition to the reward signal, relies on penalty signals generated from constraint dissatisfaction to infer a policy that acts as a heuristic algorithm. Moreover, having access to the complete state representation during the optimization process allows us to rely on memory-less architectures, enhancing the results obtained in previous sequence-to-sequence approaches. Conducted experiments on the constrained Job Shop and Resource Allocation problems prove the superiority of the proposal for computing rapid solutions when compared to classical heuristic, metaheuristic, and Constraint Programming (CP) solvers. | 翻訳日:2022-11-18 04:46:13 公開日:2020-06-22 |
| # 確率しきい値ロバストネス測度に対するベイズ二次最適化 Bayesian Quadrature Optimization for Probability Threshold Robustness Measure ( http://arxiv.org/abs/2006.11986v1 ) ライセンス: Link先を確認 | Shogo Iwazaki, Yu Inatsu, Ichiro Takeuchi | (参考訳) 多くの製品開発問題において、製品の性能は設計パラメータと環境パラメータと呼ばれる2種類のパラメータによって管理される。
前者は完全に制御可能であるが、後者は製品が使用される環境によって異なる。
このような問題の課題は、環境パラメータの変動を考慮すると、製品の性能が所望の要求レベルを満たす確率を最大化する設計パラメータを見つけることである。
本稿では,本課題をアクティブラーニング(al)問題として定式化し,理論的に保証された効率的なアルゴリズムを提案する。
我々の基本的な考え方は、製品開発プロセスの代理モデルとしてガウス過程(GP)モデルを使用し、確率的しきい値堅牢性(PTR)測定のためのベイズ四分法最適化問題としてAL問題を定式化することである。
PTR測度に対する信頼区間を導出し、PTR測度の最適化とレベルセット推定のためのALアルゴリズムを提案する。
提案するアルゴリズムの理論的性質を解明し,合成問題と実世界の製品開発問題の両方においてその効率性を示す。 In many product development problems, the performance of the product is governed by two types of parameters called design parameter and environmental parameter. While the former is fully controllable, the latter varies depending on the environment in which the product is used. The challenge of such a problem is to find the design parameter that maximizes the probability that the performance of the product will meet the desired requisite level given the variation of the environmental parameter. In this paper, we formulate this practical problem as active learning (AL) problems and propose efficient algorithms with theoretically guaranteed performance. Our basic idea is to use Gaussian Process (GP) model as the surrogate model of the product development process, and then to formulate our AL problems as Bayesian Quadrature Optimization problems for probabilistic threshold robustness (PTR) measure. We derive credible intervals for the PTR measure and propose AL algorithms for the optimization and level set estimation of the PTR measure. We clarify the theoretical properties of the proposed algorithms and demonstrate their efficiency in both synthetic and real-world product development problems. | 翻訳日:2022-11-18 04:45:55 公開日:2020-06-22 |
| # MultiImport: 複数の入力信号から知識グラフにおけるノードの重要性を推論する MultiImport: Inferring Node Importance in a Knowledge Graph from Multiple Input Signals ( http://arxiv.org/abs/2006.12001v1 ) ライセンス: Link先を確認 | Namyong Park, Andrey Kan, Xin Luna Dong, Tong Zhao, Christos Faloutsos | (参考訳) 複数の入力信号が与えられた場合、知識グラフ(KG)においてノードの重要性をどうやって推測するか?
ノードの重要性の見積もりは、レコメンデーション、検索、クエリの曖昧さなど、多くのアプリケーションに役立つ重要かつ困難なタスクです。
この目標に対する重要な課題は、異なるソースからのインプットを効果的に利用する方法です。
一方、KGは豊富な情報ソースであり、複数のタイプのノードとエッジを持つ。
一方、投票数やページビューなど外部からの入力信号があり、kgにおけるエンティティの重要性を直接知ることができる。
この問題に対処するためにいくつかの手法が開発されているが、これらの外部信号の使用は同時に複数の信号を検討するように設計されていないため制限されている。
本稿では,複数重なりうる入力信号から遅延ノードの重要性を推定する,エンドツーエンドモデルであるMultiImportを開発する。
multiimportはノードの重要性と入力信号の関係を捉え、潜在的な競合を持つ複数の信号から効果的に学習する潜在変数モデルである。
また、multiimportは注意グラフニューラルネットワークに基づく効果的な推定器を提供する。
我々は実世界のKGで実験を行い、MultiImportが複数の入力信号からノードの重要度を推定する際のいくつかの課題に対処し、既存の手法を一貫して上回り、最先端の手法よりも最大23.7%高いNDCG@100を達成することを示した。 Given multiple input signals, how can we infer node importance in a knowledge graph (KG)? Node importance estimation is a crucial and challenging task that can benefit a lot of applications including recommendation, search, and query disambiguation. A key challenge towards this goal is how to effectively use input from different sources. On the one hand, a KG is a rich source of information, with multiple types of nodes and edges. On the other hand, there are external input signals, such as the number of votes or pageviews, which can directly tell us about the importance of entities in a KG. While several methods have been developed to tackle this problem, their use of these external signals has been limited as they are not designed to consider multiple signals simultaneously. In this paper, we develop an end-to-end model MultiImport, which infers latent node importance from multiple, potentially overlapping, input signals. MultiImport is a latent variable model that captures the relation between node importance and input signals, and effectively learns from multiple signals with potential conflicts. Also, MultiImport provides an effective estimator based on attentive graph neural networks. We ran experiments on real-world KGs to show that MultiImport handles several challenges involved with inferring node importance from multiple input signals, and consistently outperforms existing methods, achieving up to 23.7% higher NDCG@100 than the state-of-the-art method. | 翻訳日:2022-11-18 04:45:14 公開日:2020-06-22 |
| # ベイズ型ニューラルネットワークの紹介と調査 Bayesian Neural Networks: An Introduction and Survey ( http://arxiv.org/abs/2006.12024v1 ) ライセンス: Link先を確認 | Ethan Goan and Clinton Fookes | (参考訳) ニューラルネットワーク(nns)は、コンピュータビジョン、音声認識、自然言語処理の各領域にわたる検出、回帰、分類など、多くの困難な機械学習タスクに最先端の結果を提供する。
彼らの成功にもかかわらず、しばしば頻繁なスキームで実装されるため、予測の不確実性について説明できない。
本稿では,ベイズニューラルネットワーク(bnns)とその実装に関する精査研究について述べる。
異なる近似推定法を比較し、現在の手法で将来の研究が改善できる点を強調するために使われる。 Neural Networks (NNs) have provided state-of-the-art results for many challenging machine learning tasks such as detection, regression and classification across the domains of computer vision, speech recognition and natural language processing. Despite their success, they are often implemented in a frequentist scheme, meaning they are unable to reason about uncertainty in their predictions. This article introduces Bayesian Neural Networks (BNNs) and the seminal research regarding their implementation. Different approximate inference methods are compared, and used to highlight where future research can improve on current methods. | 翻訳日:2022-11-18 04:44:23 公開日:2020-06-22 |
| # Banditアルゴリズム:統計的堅牢性に対する対数的後悔の排除 Bandit algorithms: Letting go of logarithmic regret for statistical robustness ( http://arxiv.org/abs/2006.12038v1 ) ライセンス: Link先を確認 | Kumar Ashutosh (IIT Bombay), Jayakrishnan Nair (IIT Bombay), Anmol Kagrecha (IIT Bombay), Krishna Jagannathan (IIT Madras) | (参考訳) 本研究では, 確率的多腕バンディット設定における後悔の最小化と, アルゴリズムによる後悔と統計的ロバスト性との根本的なトレードオフの確立について検討した。
両腕の分布の幅広いクラスを考慮すると、対数的後悔を伴う帯域学習アルゴリズムは常に矛盾しており、一貫した学習アルゴリズムは常に超対数的後悔に苦しむことを示す。
例えば、$\sigma$-subgaussian分布向けに設計されたucbアルゴリズムが、ミスマッチした分散パラメータを持つサブガウシアン設定で使用される場合、学習性能は矛盾する可能性がある。
統計的にロバストで一貫性のある学習性能が得られるのは、後悔が対数よりも少し悪い場合です。
具体的には,任意に対数に近い漸近的後悔を実現する3種類の分布オブリビングアルゴリズムを提案する。 We study regret minimization in a stochastic multi-armed bandit setting and establish a fundamental trade-off between the regret suffered under an algorithm, and its statistical robustness. Considering broad classes of underlying arms' distributions, we show that bandit learning algorithms with logarithmic regret are always inconsistent and that consistent learning algorithms always suffer a super-logarithmic regret. This result highlights the inevitable statistical fragility of all `logarithmic regret' bandit algorithms available in the literature---for instance, if a UCB algorithm designed for $\sigma$-subGaussian distributions is used in a subGaussian setting with a mismatched variance parameter, the learning performance could be inconsistent. Next, we show a positive result: statistically robust and consistent learning performance is attainable if we allow the regret to be slightly worse than logarithmic. Specifically, we propose three classes of distribution oblivious algorithms that achieve an asymptotic regret that is arbitrarily close to logarithmic. | 翻訳日:2022-11-18 04:44:16 公開日:2020-06-22 |
| # 畳み込みニューラルネットワークの有効バージョン空間削減 Effective Version Space Reduction for Convolutional Neural Networks ( http://arxiv.org/abs/2006.12456v1 ) ライセンス: Link先を確認 | Jiayu Liu, Ioannis Chiotellis, Rudolph Triebel, Daniel Cremers | (参考訳) アクティブラーニングでは、サンプリングバイアスは深刻な矛盾問題を引き起こし、アルゴリズムが最適な仮説を見つけるのを妨げる可能性がある。
しかし、ニューラルネットワークの多くの方法は仮説空間に依存しず、この問題に対処しない。
畳み込みニューラルネットワークを用いた能動的学習を,バージョン空間削減の原理付きレンズを用いて検討する。
主質量減少と径減少の2つのアプローチの関連性を同定し, 最小gibbs-vote不一致の新たな径ベースクエリ法を提案する。
バージョン空間の直径とバイアスを推定することにより、ニューラルネットワークのバージョン空間がどのように進化し、実現可能性の仮定を調べるかを説明する。
MNIST, Fashion-MNIST, SVHN, STL-10データセットに対する実験により, 粒径削減法がバージョン空間をより効果的に削減し, 以前の質量減少や他のベースラインよりも優れた性能を発揮することを示した。 In active learning, sampling bias could pose a serious inconsistency problem and hinder the algorithm from finding the optimal hypothesis. However, many methods for neural networks are hypothesis space agnostic and do not address this problem. We examine active learning with convolutional neural networks through the principled lens of version space reduction. We identify the connection between two approaches---prior mass reduction and diameter reduction---and propose a new diameter-based querying method---the minimum Gibbs-vote disagreement. By estimating version space diameter and bias, we illustrate how version space of neural networks evolves and examine the realizability assumption. With experiments on MNIST, Fashion-MNIST, SVHN and STL-10 datasets, we demonstrate that diameter reduction methods reduce the version space more effectively and perform better than prior mass reduction and other baselines, and that the Gibbs vote disagreement is on par with the best query method. | 翻訳日:2022-11-18 04:38:09 公開日:2020-06-22 |
| # 学生がもっと注意を払わなければならない: bert-based attentionmodel for small data with application to automaticpatient message triage Students Need More Attention: BERT-based AttentionModel for Small Data with Application to AutomaticPatient Message Triage ( http://arxiv.org/abs/2006.11991v1 ) ライセンス: Link先を確認 | Shijing Si, Rui Wang, Jedrek Wosik, Hao Zhang, David Dov, Guoyin Wang, Ricardo Henao, and Lawrence Carin | (参考訳) 医療で一般的に見られる小さく不均衡なデータセットは、ディープラーニングモデルに基づいて分類器を訓練する際の課題である。
そこで本研究では,BioBERT (Bidirectional Encoder Representations from Transformers for Biomedical TextMining) に基づく新しいフレームワークを提案する。
具体的には
(i) LESA-BERTと呼ぶBERTの各層に自己注意のためのラベル埋め込みを導入し、
(II) LESA-BERTを小さな変種に蒸留することにより、小さなデータセットで作業する際のオーバーフィッティングとモデルサイズを低減することを目指している。
アプリケーションとしては,患者ポータルメッセージトリアージのモデルを構築し,メッセージの緊急度を非緊急度,中度度度,緊急度という3つのカテゴリに分類する。
実験により,いくつかの強力なベースライン分類器を,マクロf1スコアで4.3%のかなりのマージンで上回ることができることを示した。
このプロジェクトのコードは \url{https://github.com/shijing001/text_classifiers} で公開されている。 Small and imbalanced datasets commonly seen in healthcare represent a challenge when training classifiers based on deep learning models. So motivated, we propose a novel framework based on BioBERT (Bidirectional Encoder Representations from Transformers forBiomedical TextMining). Specifically, (i) we introduce Label Embeddings for Self-Attention in each layer of BERT, which we call LESA-BERT, and (ii) by distilling LESA-BERT to smaller variants, we aim to reduce overfitting and model size when working on small datasets. As an application, our framework is utilized to build a model for patient portal message triage that classifies the urgency of a message into three categories: non-urgent, medium and urgent. Experiments demonstrate that our approach can outperform several strong baseline classifiers by a significant margin of 4.3% in terms of macro F1 score. The code for this project is publicly available at \url{https://github.com/shijing001/text_classifiers}. | 翻訳日:2022-11-18 04:36:22 公開日:2020-06-22 |
| # self-pu: 自己ブーストと校正なしプラスラベルトレーニング Self-PU: Self Boosted and Calibrated Positive-Unlabeled Training ( http://arxiv.org/abs/2006.11280v1 ) ライセンス: Link先を確認 | Xuxi Chen, Wuyang Chen, Tianlong Chen, Ye Yuan, Chen Gong, Kewei Chen, Zhangyang Wang | (参考訳) 多くの実世界のアプリケーションは、多くのラベルなしデータといくつかのラベル付きポジティブな例からバイナリ分類器を学習する、ポジティブラベル付き(pu)学習問題に取り組む必要がある。
現在の最先端の手法では、様々なリスク推定器の設計に重大化を用いるが、彼らはモデル自体の学習能力を無視した。
そこで我々は,PU学習と自己学習をシームレスに統合する,新しい自己学習フレームワークを提案する。
Self-PUは3つの"セルフ"指向のビルディングブロックを強調している。トレーニングが進むにつれて、自信のある肯定的/否定的な事例を適応的に発見し、強化するセルフペーストトレーニングアルゴリズム、自己校正されたインスタンス認識損失、PU学習の効果的な正規化として教師-学生学習を導入する自己蒸留スキームだ。
我々は、最新の競合相手と比較し、一般的なPU学習ベンチマーク(MNISTとCIFAR-10)におけるSelf-PUの最先端性能を実証する。
さらに,アルツハイマー病の脳画像の分類という,PU学習の現実的な応用について検討した。
Self-PUは、アルツハイマー病神経画像イニシアチブ(ADNI)データベースにおいて、既存の方法よりも大幅に改善された結果を得る。
コードはhttps://github.com/TAMU-VITA/Self-PUで公開されている。 Many real-world applications have to tackle the Positive-Unlabeled (PU) learning problem, i.e., learning binary classifiers from a large amount of unlabeled data and a few labeled positive examples. While current state-of-the-art methods employ importance reweighting to design various risk estimators, they ignored the learning capability of the model itself, which could have provided reliable supervision. This motivates us to propose a novel Self-PU learning framework, which seamlessly integrates PU learning and self-training. Self-PU highlights three "self"-oriented building blocks: a self-paced training algorithm that adaptively discovers and augments confident positive/negative examples as the training proceeds; a self-calibrated instance-aware loss; and a self-distillation scheme that introduces teacher-students learning as an effective regularization for PU learning. We demonstrate the state-of-the-art performance of Self-PU on common PU learning benchmarks (MNIST and CIFAR-10), which compare favorably against the latest competitors. Moreover, we study a real-world application of PU learning, i.e., classifying brain images of Alzheimer's Disease. Self-PU obtains significantly improved results on the renowned Alzheimer's Disease Neuroimaging Initiative (ADNI) database over existing methods. The code is publicly available at: https://github.com/TAMU-VITA/Self-PU. | 翻訳日:2022-11-18 04:36:03 公開日:2020-06-22 |
| # CNNにおける軽量冗長性の爆発: プルーニングと量子化を超えて Exploiting Weight Redundancy in CNNs: Beyond Pruning and Quantization ( http://arxiv.org/abs/2006.11967v1 ) ライセンス: Link先を確認 | Yuan Wen, David Gregg | (参考訳) 畳み込みと量子化は畳み込みニューラルネットワーク(CNN)の性能と保存効率を改善する方法として証明されている。
プルーニングはテンソルのほぼゼロの重みを取り除き、隣接する層のニューロン間の弱い接続をマスクする。
量子化は重量の精度を減らし、保存量を減らすために数値的に類似した値に置き換える。
本稿では,cnnの重みテンソルにおける冗長性の別の形態を,類似値の繰り返しパターンとして同定する。
刈り取りと量子化はどちらも、重みテンソルの繰り返しパターンの数を大幅に増加させる傾向にある。
ブロックスパース行列形式に着想を得たHuffman符号化の複数の形式を含む,CNN重みデータにおけるこの構造を利用するためのいくつかの圧縮スキームについて検討する。
我々は,いくつかの有名なcnnに対するアプローチを評価し,刈り取りや量子化による節約に加えて,1.4倍から3.1倍の圧縮率を達成できることを見出した。 Pruning and quantization are proven methods for improving the performance and storage efficiency of convolutional neural networks (CNNs). Pruning removes near-zero weights in tensors and masks weak connections between neurons in neighbouring layers. Quantization reduces the precision of weights by replacing them with numerically similar values that require less storage. In this paper, we identify another form of redundancy in CNN weight tensors, in the form of repeated patterns of similar values. We observe that pruning and quantization both tend to drastically increase the number of repeated patterns in the weight tensors. We investigate several compression schemes to take advantage of this structure in CNN weight data, including multiple forms of Huffman coding, and other approaches inspired by block sparse matrix formats. We evaluate our approach on several well-known CNNs and find that we can achieve compaction ratios of 1.4x to 3.1x in addition to the saving from pruning and quantization. | 翻訳日:2022-11-18 04:35:35 公開日:2020-06-22 |
| # 機械学習パイプライン: 保証、再現性、FAIRデータ原則 Machine Learning Pipelines: Provenance, Reproducibility and FAIR Data Principles ( http://arxiv.org/abs/2006.12117v1 ) ライセンス: Link先を確認 | Sheeba Samuel, Frank L\"offler, Birgitta K\"onig-Ries | (参考訳) 機械学習(ML)は多くの分野において意思決定と知識生成を支援する重要な科学的ツールである。
これにより、ML実験の結果が再現可能であることがますます重要になる。
残念ながら、そうではないことが多い。
むしろMLは他の多くの分野と同様、再現性危機に直面している。
本稿では,MLパイプラインのエンドツーエンド再現性をサポートするための目標と初期ステップについて述べる。
機械学習実験の再現性に影響を及ぼすソースコードとデータセットの可用性以上の要因について検討する。
機械学習ワークフローにFAIRデータプラクティスを適用する方法を提案する。
本稿では,ML実験の成果とJupyter Notebooksを用いた再現性の比較において,ツールProvBookの役割について予備的な結果を示す。 Machine learning (ML) is an increasingly important scientific tool supporting decision making and knowledge generation in numerous fields. With this, it also becomes more and more important that the results of ML experiments are reproducible. Unfortunately, that often is not the case. Rather, ML, similar to many other disciplines, faces a reproducibility crisis. In this paper, we describe our goals and initial steps in supporting the end-to-end reproducibility of ML pipelines. We investigate which factors beyond the availability of source code and datasets influence reproducibility of ML experiments. We propose ways to apply FAIR data practices to ML workflows. We present our preliminary results on the role of our tool, ProvBook, in capturing and comparing provenance of ML experiments and their reproducibility using Jupyter Notebooks. | 翻訳日:2022-11-18 04:28:52 公開日:2020-06-22 |
| # 生態強化学習 Ecological Reinforcement Learning ( http://arxiv.org/abs/2006.12478v1 ) ライセンス: Link先を確認 | John D. Co-Reyes, Suvansh Sanjeev, Glen Berseth, Abhishek Gupta, Sergey Levine | (参考訳) 強化学習研究の現在の研究の多くは、エージェントが試行の間に初期状態分布にリセットされるエピソディック設定であり、しばしばよく形作られた報酬機能を持つ。
エージェントがリセットせずに世界との継続的な対話を通じて学習しなければならず、エージェントが遅れて報酬信号しか受け取らないような非定型的な設定は、かなり難しいが、現実の環境を考えると、より現実的であり、学習者に便利な「リセットメカニズム」と簡単な報酬形成を提示しない。
本稿では,このような非エポゾディックかつスパースな報酬設定に対処できるアルゴリズムの改良について研究する代わりに,そのような条件下での学習を容易にする環境特性について検討する。
環境の性質が強化学習エージェントのパフォーマンスにどのように影響するかを理解することは、学習を扱いやすくする方法でタスクを構造化するのに役立ちます。
まず,報奨シェーピングの代替手段を提供し,実装が容易な環境を改良した,環境シェーピング(environment shaping)と呼ぶものについて論じる。
次に,エージェントの行動によらず環境が変化する程度を記述し,環境遷移エントロピーによって測定できる,より単純な性質をダイナミズムと呼ぶ。
驚くべきことに、この特性でさえ、スパース報酬設定における非エポゾディックRLに関連する課題を著しく軽減することができる。
我々は,非正規学習に着目した一連の新しい課題に対する経験的評価を行った。
本研究では,環境の特性が学習に与える影響や,rlによって学習される行動の究極的タイプについて,コミュニティの焦点を分析に移したいと思っています。 Much of the current work on reinforcement learning studies episodic settings, where the agent is reset between trials to an initial state distribution, often with well-shaped reward functions. Non-episodic settings, where the agent must learn through continuous interaction with the world without resets, and where the agent receives only delayed and sparse reward signals, is substantially more difficult, but arguably more realistic considering real-world environments do not present the learner with a convenient "reset mechanism" and easy reward shaping. In this paper, instead of studying algorithmic improvements that can address such non-episodic and sparse reward settings, we instead study the kinds of environment properties that can make learning under such conditions easier. Understanding how properties of the environment impact the performance of reinforcement learning agents can help us to structure our tasks in ways that make learning tractable. We first discuss what we term "environment shaping" -- modifications to the environment that provide an alternative to reward shaping, and may be easier to implement. We then discuss an even simpler property that we refer to as "dynamism," which describes the degree to which the environment changes independent of the agent's actions and can be measured by environment transition entropy. Surprisingly, we find that even this property can substantially alleviate the challenges associated with non-episodic RL in sparse reward settings. We provide an empirical evaluation on a set of new tasks focused on non-episodic learning with sparse rewards. Through this study, we hope to shift the focus of the community towards analyzing how properties of the environment can affect learning and the ultimate type of behavior that is learned via RL. | 翻訳日:2022-11-18 04:28:08 公開日:2020-06-22 |
| # 学習中のRNNにおける生物学的刺激による適応的神経活性化の利点 Advantages of biologically-inspired adaptive neural activation in RNNs during learning ( http://arxiv.org/abs/2006.12253v1 ) ライセンス: Link先を確認 | Victor Geadah, Giancarlo Kerg, Stefan Horoi, Guy Wolf, Guillaume Lajoie | (参考訳) 単一ニューロン応答の動的適応は、生物学的ニューラルネットワークにおける神経コーディングにおいて基本的な役割を果たす。
しかし、人工ネットワークで使用されるほとんどの神経活性化機能は固定されており、ほとんどが不連続なアーキテクチャの選択と見なされている。
本稿では,大規模学習における非線形アクティベーション関数の適応について検討し,繰り返しニューラルネットワークにおける逐次処理への影響について概説する。
本稿では,生物ニューロンの入力周波数応答曲線に触発された新しい非線形活性化関数のパラメトリックファミリーを導入し,reluやsgmoidなどの既知の活性化関数間の補間を可能にする。
力学系と情報理論による単純な数値実験とツールを用いて,学習ダイナミクスにおける神経活性化機能の役割について検討する。
アクティベーション適応はタスク固有のソリューションを提供し、場合によっては学習速度と性能の両方を改善する。
重要なことに、パラメトリックファミリーから出現する最適なアクティベーション機能は、文献で使われる典型的な機能とはかなり異なり、これらの通常の構成間のギャップを利用することが学習に役立つことを示唆しています。
最後に,神経アクティベーション適応が与えられたタスクにおける入力統計の変化を緩和し,トランスファー学習の最適化のメカニズムを示唆する。 Dynamic adaptation in single-neuron response plays a fundamental role in neural coding in biological neural networks. Yet, most neural activation functions used in artificial networks are fixed and mostly considered as an inconsequential architecture choice. In this paper, we investigate nonlinear activation function adaptation over the large time scale of learning, and outline its impact on sequential processing in recurrent neural networks. We introduce a novel parametric family of nonlinear activation functions, inspired by input-frequency response curves of biological neurons, which allows interpolation between well-known activation functions such as ReLU and sigmoid. Using simple numerical experiments and tools from dynamical systems and information theory, we study the role of neural activation features in learning dynamics. We find that activation adaptation provides distinct task-specific solutions and in some cases, improves both learning speed and performance. Importantly, we find that optimal activation features emerging from our parametric family are considerably different from typical functions used in the literature, suggesting that exploiting the gap between these usual configurations can help learning. Finally, we outline situations where neural activation adaptation alone may help mitigate changes in input statistics in a given task, suggesting mechanisms for transfer learning optimization. | 翻訳日:2022-11-18 04:19:26 公開日:2020-06-22 |
| # 自己アテンションネットワークに基づくノード埋め込みモデル A Self-Attention Network based Node Embedding Model ( http://arxiv.org/abs/2006.12100v1 ) ライセンス: Link先を確認 | Dai Quoc Nguyen and Tu Dinh Nguyen and Dinh Phung | (参考訳) Despite several signs of progress have been made recently, limited research has been conducted for an inductive setting where embeddings are required for newly unseen nodes -- a setting encountered commonly in practical applications of deep learning for graph networks. This significantly affects the performances of downstream tasks such as node classification, link prediction or community extraction. To this end, we propose SANNE -- a novel unsupervised embedding model -- whose central idea is to employ a transformer self-attention network to iteratively aggregate vector representations of nodes in random walks.
我々のSANNEは、現在のノードだけでなく、新しく見つからないノードにも、プラルーシブルな埋め込みを生成することを目的としています。
実験の結果,よく知られたベンチマークデータセットのノード分類タスクにおいて,sanneは最先端の結果を得た。 Despite several signs of progress have been made recently, limited research has been conducted for an inductive setting where embeddings are required for newly unseen nodes -- a setting encountered commonly in practical applications of deep learning for graph networks. This significantly affects the performances of downstream tasks such as node classification, link prediction or community extraction. To this end, we propose SANNE -- a novel unsupervised embedding model -- whose central idea is to employ a transformer self-attention network to iteratively aggregate vector representations of nodes in random walks. Our SANNE aims to produce plausible embeddings not only for present nodes, but also for newly unseen nodes. Experimental results show that the proposed SANNE obtains state-of-the-art results for the node classification task on well-known benchmark datasets. | 翻訳日:2022-11-18 04:18:06 公開日:2020-06-22 |