このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス（CC 0, CC BY, CC BY-SA）の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。（arxivのメタデータは CC 0です。） 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。
公開日が20200612となっている論文です。
| Title | Authors | Abstract | 論文公表日・翻訳日 |
|---|---|---|---|
| # 量子ゆらぎの電気力学的起源について On an electrodynamic origin of quantum fluctuations ( http://arxiv.org/abs/2001.07392v4 ) ライセンス: Link先を確認 | \'Alvaro G. L\'opez | (参考訳) 本研究では、li\'enard-wiechertポテンシャルを用いて、その静止状態から摂動すると、非常に激しい変動が電磁荷電拡張粒子によって経験されることを示す。
粒子の異なる荷電部分間のクーロン場と放射場のフィードバック相互作用は、一様運動を不安定にする。
その結果, 放射場と放射反応は消散効果と消毒効果の両方を生じ, 自己振動を引き起こすことがわかった。
最後に、静止エネルギーと運動エネルギーに加えて、量子ポテンシャルと特徴を共有する新しい寄与をもたらす自己ポテンシャルのシリーズ展開を導出する。
このポテンシャルの新規性は、ローレンツ群の対称性の破れを生じさせ、電気力学体の振動運動を引き起こすことである。
この自己エネルギーへの貢献は、古典的電磁気学と量子力学の橋渡しとなるかもしれない。 In the present work we use the Li\'enard-Wiechert potential to show that very violent fluctuations are experienced by an electromagnetic charged extended particle when it is perturbed from its rest state. The feedback interaction of Coulombian and radiative fields among the different charged parts of the particle makes uniform motion unstable. As a consequence, we show that radiative fields and radiation reaction produce both dissipative and antidamping effects, leading to self-oscillations. Finally, we derive a series expansion of the self-potential, which in addition to rest and kinetic energy, gives rise to a new contribution that shares features with the quantum potential. The novelty of this potential is that it produces a symmetry breaking of the Lorentz group, triggering the oscillatory motion of the electrodynamic body. We propose that this contribution to self-energy might serve as a bridge between classical electromagnetism and quantum mechanics. | 翻訳日:2023-06-06 11:30:32 公開日:2020-06-12 |
| # magic word: アプリデザインで女性ティーンエイジャーを魅了するプログラミングチュートリアルゲーム The Magic Word: A Coding Tutorial-Game to Engage Female Teenagers in App Design ( http://arxiv.org/abs/2003.01380v2 ) ライセンス: Link先を確認 | Bernadette Spieler and Naomi Pfaff and Stefania Makrygiannaki and Wolfgang Slany | (参考訳) 教育ゲームは、生徒のモチベーションを高め、学習機会を高めるために一般的に使用される。
アプリやモバイルゲームは教育においてますます重要な役割を担っており、スマートフォンはほとんどの女性ティーンエイジャーの日常生活の一部となっている。
しかし、プレイ行動と嗜好における性差は、教育用にゲームを開発する際に、潜在的な性別の不平等を懸念させる。
女性ターゲットグループに適合し,解決すべき課題を提供するチュートリアルゲームを開発するために,女子は開発サイクルのごく初期段階に関わり,調査とフォーカスグループディスカッションに基づいてアイデアが開発された。
ゲームの最初のプロトタイプがmixed-genderグループでテストされ、学習内容、作業例、ゲーム全体の構造についてフィードバックを得た。
最後に、6つのサンプルが動作するチュートリアルゲームが、特に女性ターゲットグループ向けに設計されたプログラミングツールである、当社のluna&catアプリでリリースされています。 Educational games are commonly used to motivate students and provide enhanced learning opportunities. Apps and mobile games play an increasingly important role in education and smartphones are part of the daily lives of most female teenagers: Half of mobile gamers are women and 64% of women prefer smartphones to other platforms. However, gender differences in playing behaviour and preferences raises concerns about potential gender inequalities when games are developed for education. In order to develop a tutorial game that suits the female target group and provides challenging tasks to solve, girls were involved at a very early stage of the development cycle and the idea was developed on the basis of surveys and focus group discussions. A first prototype of the game has been tested in a mixed-gender group to get feedback about the learning content, the worked examples, and the whole structure of the game. Finally, a tutorial game with six worked examples has been released in our Luna&Cat app, a programming tool that has been designed for our female target group in particular. | 翻訳日:2023-05-31 07:37:47 公開日:2020-06-12 |
| # 機械学習が量子基礎と出会う: 簡単な調査 Machine Learning meets Quantum Foundations: A Brief Survey ( http://arxiv.org/abs/2003.11224v2 ) ライセンス: Link先を確認 | Kishor Bharti, Tobias Haug, Vlatko Vedral, and Leong-Chuan Kwek | (参考訳) 機械学習の目標は、コンピュータが外部の者による明示的な指示なしに特定のタスクを実行できるようにすることである。
量子基礎は、量子理論の概念と数学的エデュケーションを説明する。
近年、量子基礎の異なる問題に対して機械学習のアイデアがうまく適用されている。
ここでは、機械学習と量子ファンデーションのインターフェイスでこれまでに行われた代表的成果をコンパイルする。
我々は今後の方向性で調査を終える。 The goal of machine learning is to facilitate a computer to execute a specific task without explicit instruction by an external party. Quantum foundations seeks to explain the conceptual and mathematical edifice of quantum theory. Recently, ideas from machine learning have successfully been applied to different problems in quantum foundations. Here, we compile the representative works done so far at the interface of machine learning and quantum foundations. We conclude the survey with potential future directions. | 翻訳日:2023-05-27 22:55:23 公開日:2020-06-12 |
| # 熱蒸気中のスピン交換衝突は二成分の絡み合いを生み出し維持する Spin-exchange collisions in hot vapors create and sustain bipartite entanglement ( http://arxiv.org/abs/2004.11790v2 ) ライセンス: Link先を確認 | K. Mouloudakis and I. K. Kominis | (参考訳) アルカリまたはアルカリ/ノーブルガス蒸気中のスピン交換衝突は、量子センシング、核子構造研究、基本対称性の試験、医用イメージングに基づいている。
ここでは, 高温アルカリ蒸気中のスピン交換衝突が自然に強い二成分の絡み合いを生じさせ, 量子情報科学のツールを用いて明示的に定量化することを示す。
この絡み合いは、少なくともスピン交換緩和時間と同じくらいの寿命を有し、測定可能なスピンノイズ観測性に直接影響を及ぼすことが示されている。
これは、高温で密度の高い原子蒸気が長寿命の二部晶体と高次の絡み合いを支持できるという正式な理論実証である。 Spin-exchange collisions in alkali or alkali/noble gas vapors are at the basis of quantum sensing, nucleon structure studies, tests of fundamental symmetries, and medical imaging. We here show that spin-exchange collisions in hot alkali vapors naturally produce strong bipartite entanglement, which we explicitly quantify using the tools of quantum information science. This entanglement is shown to have a lifetime at least as long as the spin-exchange relaxation time, and to directly affect measurable spin noise observables. This is a formal theoretical demonstration that a hot and dense atomic vapor can support longlived bipartite and possibly higher-order entanglement. | 翻訳日:2023-05-22 06:02:32 公開日:2020-06-12 |
| # ゲート反射法とスピン依存トンネル法によるCMOS量子ドットのスピン読み出し Spin readout of a CMOS quantum dot by gate reflectometry and spin-dependent tunnelling ( http://arxiv.org/abs/2005.07764v3 ) ライセンス: Link先を確認 | V. N. Ciriano-Tejel, M. A. Fogarty, S. Schaal, L. Hutin, B. Bertrand, Lisa Ibberson, M. F. Gonzalez-Zalba, J. Li, Y. -M. Niquet, M. Vinet and J. J. L. Morton | (参考訳) シリコンスピンキュービットは、磁気的に静かなホスト材料と成熟したシリコンデバイス製造産業を活用する可能性から恩恵を受け、大規模量子プロセッサの実現に期待されている。
我々は,300mmウエハスケールでCMOS互換プロセスを用いて作製したゲート定義量子ドット中の電子スピンの測定を行った。
読み出しには, スピン依存トンネルと, 高周波ゲート反射率計を用いて測定した低フットプリント単鉛量子ドット電荷センサを用いた。
この手法を用いて2つのデバイスでスピン読み取りを行い、励起状態分光法を用いて0.5-0.7 meVの範囲での谷分割を求め、最大電子スピン緩和時間(T_1$)を1 Teslaで9 \pm 3$ sで測定した。
これらの長い寿命は、ここで使われるシリコンナノワイヤの形状と製造プロセスがqubitデバイスに大いに期待されていることを示しているが、ここで実証されたスピン読み出し法は、様々なスケーラブルなアーキテクチャに適している。 Silicon spin qubits are promising candidates for realising large scale quantum processors, benefitting from a magnetically quiet host material and the prospects of leveraging the mature silicon device fabrication industry. We report the measurement of an electron spin in a singly-occupied gate-defined quantum dot, fabricated using CMOS compatible processes at the 300 mm wafer scale. For readout, we employ spin-dependent tunneling combined with a low-footprint single-lead quantum dot charge sensor, measured using radiofrequency gate reflectometry. We demonstrate spin readout in two devices using this technique, obtaining valley splittings in the range 0.5-0.7 meV using excited state spectroscopy, and measure a maximum electron spin relaxation time ($T_1$) of $9 \pm 3$ s at 1 Tesla. These long lifetimes indicate the silicon nanowire geometry and fabrication processes employed here show a great deal of promise for qubit devices, while the spin-readout method demonstrated here is well-suited to a variety of scalable architectures. | 翻訳日:2023-05-20 03:05:49 公開日:2020-06-12 |
| # 相互作用する励起状態多様体における断熱進化による高速マルチキュービットゲート Fast multi-qubit gates by adiabatic evolution in interacting excited state manifolds ( http://arxiv.org/abs/2006.07035v1 ) ライセンス: Link先を確認 | Mohammadsadegh Khazali and Klaus M{\o}lmer | (参考訳) 量子コンピューティングと量子シミュレーションは、1ビットと2ビットのゲートと相互作用を連結することで実現することができる。
しかし、ほとんどの物理的実装では、この普遍的なパラダイムから離れ、より高速またはより堅牢なシステム上の操作へのアクセスを提供する状態コンポーネントや相互作用を探索することが有利である。
本稿では,励起交換相互作用のダーク固有状態に沿った断熱通路を用いて,高速なマルチキュービットトフォリ (C$_k$-NOT) とファンアウト (C-NOT$^k$) ゲートを実装可能であることを示す。
この機構は、共鳴交換相互作用を特徴とするリドベルク準位への原子の同時励起によって実現できる。
我々の理論的推定と数値シミュレーションにより、これらのマルチキュービットのリドベルクゲートは最大20キュービットで1%以下の誤差で可能であることが示されている。
励磁交換機構は実験プラットフォーム上で広く普及しており、同様のマルチ量子ビットゲートを超伝導回路に実装できることを実証する。 Quantum computing and quantum simulation can be implemented by concatenation of one- and two-qubit gates and interactions. For most physical implementations, however, it may be advantageous to explore state components and interactions that depart from this universal paradigm and offer faster or more robust access to more advanced operations on the system. In this article, we show that adiabatic passage along the dark eigenstate of excitation exchange interactions can be used to implement fast multi-qubit Toffoli (C$_k$-NOT) and fan-out (C-NOT$^k$) gates. This mechanism can be realized by simultaneous excitation of atoms to Rydberg levels, featuring resonant exchange interaction. Our theoretical estimates and numerical simulations show that these multi-qubit Rydberg gates are possible with errors below 1% for up to 20 qubits. The excitation exchange mechanism is ubiquitous across experimental platforms and we show that similar multi-qubit gates can be implemented in superconducting circuits. | 翻訳日:2023-05-15 22:34:50 公開日:2020-06-12 |
| # 人工知能に関するPIPEDA改正に係るカナダ諮問提案のプライバシコミッショナー事務所への応答 Response to Office of the Privacy Commissioner of Canada Consultation Proposals pertaining to amendments to PIPEDA relative to Artificial Intelligence ( http://arxiv.org/abs/2006.07025v1 ) ライセンス: Link先を確認 | Mirka Snyder Caron (1) and Abhishek Gupta (1 and 2) ((1) Montreal AI Ethics Institute, (2) Microsoft) | (参考訳) 2020年2月、モントリオールAI倫理研究所(MAIEI)は、カナダプライバシーコミッショナー(OPCC)から、クローズド・ラウンドテーブルとOPCCによる、カナダプライバシー法、個人情報保護及び電子文書法(PIPEDA)に関する修正に関する協議提案に関するコメントの提出を依頼された。
本文書は、執筆におけるMAIEIコメントとレコメンデーションを含む。
マイエイの使命と義務により、ai倫理と規制技術開発に関するパブリックフィードバックの触媒として、また、これらのドメインにおける重要なトピックに関するパブリックコンピテンス構築ワークショップを提供するため、マイエイのワークショップに参加したモントリオール人によるそのようなパブリックフィードバックや提案を、本報告にスケジュール1として提出する。
opcc 12の提案と基礎となる質問のそれぞれについて、maieiのウェブサイトで説明されているように、maieiは短い返信、推奨事項の要約リスト、そして目の前の質問に関連するコメントを提供している。
1)AIシステムは、信頼の代わりにではなく、有意義で目的のあるつながりと関連性のために人間の能力を増強するために使用されるべきです。
2) 人類は、法の支配を総合的に支持しているが、機械においては、コードは規則である。
個人に関する重要な意思決定、プロファイル、推論を行うために、社会技術的システムがデプロイされる場合、機械によって学習可能な方法で私たちの法律を起草し、コーディングする難しい作業を試みる必要があります。
3) 責任あるaiがルールとなる世界に向けて、社会技術的システムが"失敗につながりすぎている"前に、一緒に作業しましょう。 In February 2020, the Montreal AI Ethics Institute (MAIEI) was invited by the Office of the Privacy Commissioner of Canada (OPCC) to provide for comments both at a closed roundtable and in writing on the OPCC consultation proposal for amendments relative to Artificial Intelligence (AI), to the Canadian privacy legislation, the Personal Information Protection and Electronic Documents Act (PIPEDA). The present document includes MAIEI comments and recommendations in writing. Per MAIEI's mission and mandate to act as a catalyst for public feedback pertaining to AI Ethics and regulatory technology developments, as well as to provide for public competence-building workshops on critical topics in such domains, the reader will also find such public feedback and propositions by Montrealers who participated at MAIEI's workshops, submitted as Schedule 1 to the present report. For each of OPCC 12 proposals, and underlying questions, as described on its website, MAIEI provides a short reply, a summary list of recommendations, as well as comments relevant to the question at hand. We leave you with three general statements to keep in mind while going through the next pages: 1) AI systems should be used to augment human capacity for meaningful and purposeful connections and associations, not as a substitute for trust. 2) Humans have collectively accepted to uphold the rule of law, but for machines, the code is rule. Where socio-technical systems are deployed to make important decisions, profiles or inferences about individuals, we will increasingly have to attempt the difficult exercise of drafting and encoding our law in a manner learnable by machines. 3) Let us work collectively towards a world where Responsible AI becomes the rule, before our socio-technical systems become "too connected to fail". | 翻訳日:2023-05-15 22:34:11 公開日:2020-06-12 |
| # マルチプレイヤーゲームにおける量子オーバー古典的アドバンテージ Quantum-over-classical Advantage in Solving Multiplayer Games ( http://arxiv.org/abs/2006.06965v1 ) ライセンス: Link先を確認 | Dmitry Kravchenko, Kamil Khadiev, Danil Serov and Ruslan Kapralov | (参考訳) 計算ゲーム理論における量子アルゴリズムの適用性について検討し、一重ニムゲームと呼ばれるサブトラクションゲームに関連するいくつかの結果を一般化する。
量子ゲーム理論において、減算ゲームの部分集合は、それらの解の量子複雑性と古典的複雑性の間で証明可能な分離可能なゼロサムコンビネートゲームの最初の明示的に定義されたクラスとなった。
サブトラクションゲームのより狭い部分集合については、確率1ドルで解を見つけるための決定論的アルゴリズムを全て超える正確な量子サブ線形アルゴリズムが知られている。
通常、ニムゲームとサブトラクションゲームは2つのプレイヤーで定義されている。
既知の結果を3人以上のプレイヤーのゲームに拡張し、それぞれ$\Theta\left(n^2\right)$と$\tilde{O}\left(n^{1.5}\right)$という古典的および量子的複雑さを維持している。 We study the applicability of quantum algorithms in computational game theory and generalize some results related to Subtraction games, which are sometimes referred to as one-heap Nim games. In quantum game theory, a subset of Subtraction games became the first explicitly defined class of zero-sum combinatorial games with provable separation between quantum and classical complexity of solving them. For a narrower subset of Subtraction games, an exact quantum sublinear algorithm is known that surpasses all deterministic algorithms for finding solutions with probability $1$. Typically, both Nim and Subtraction games are defined for only two players. We extend some known results to games for three or more players, while maintaining the same classical and quantum complexities: $\Theta\left(n^2\right)$ and $\tilde{O}\left(n^{1.5}\right)$ respectively. | 翻訳日:2023-05-15 22:33:37 公開日:2020-06-12 |
| # 2つのサイトコヒーレンスと可視性 Two sites coherence and visibility ( http://arxiv.org/abs/2006.06948v1 ) ライセンス: Link先を確認 | Abanoub Mikhail | (参考訳) 波動粒子双対性と量子力学状態の重ね合わせは、量子力学に古典力学と区別するユニークな特徴を与え、明らかに直観的な解釈を与える。
この2つの原理は、電子、原子、分子などの量子粒子の干渉効果の観測に責任がある。
可視性(Visibility)は波動の性質の尺度であり、「正規化」コヒーレンス量化器である。
可視性の低下はデコヒーレンス (decoherence) によって生じる: 相対相が部分的にあるいは完全に破壊され、粒子の性質が支配される過程。
密度行列の定式化を用いて, 一つの電子と2つの電子のアンサンブルのコヒーレンスと可視性を計算した。
このような電子の系では、可視性と予測可能性(粒子の性質測度)は振動・補間的時間的進化に従い、どちらも単一粒子エネルギーに依存しない。 Wave-particle duality and the superposition of quantum mechanical states furnish quantum mechanics with unique features which distinguishes it from classical mechanics and give it the apparently counter-intuition interpretation. The two principles are responsible for the observation of the interference effects of quantum particles such as electrons, atoms and molecules. Visibility is a measure of the wave nature and can be though of as a "normalized" coherence quantifier. Reduction in the visibility arises from dephasing (decoherence): a process in which the relative phases get partially or totally destroyed leading to domination of the particle nature. We calculate the coherence and visibility of an ensemble of a single electron and two electrons on two sites using the density matrix formulation. For such a system of electrons, visibility and predictability (a particle nature measure) follow an oscillatory-complementary temporal evolution and neither of them depends on the single particle energy. | 翻訳日:2023-05-15 22:33:20 公開日:2020-06-12 |
| # 論文の受理範囲における著者の特質--Journal of High Energy Physicsを事例として Characterising authors on the extent of their paper acceptance: A case study of the Journal of High Energy Physics ( http://arxiv.org/abs/2006.06928v1 ) ライセンス: Link先を確認 | Rima Hazra and Aryan and Hardik Aggarwal and Matteo Marsili and Animesh Mukherjee | (参考訳) 新たな研究者たちは、通常、論文が評判のフォーラムで受け入れられる確率を早めるレシピ(ジャーナル/会議)に非常に興味をそそる。
このようなレシピを求めて,論文がほぼ常に会場で受理される著者のプロファイルとピアレビューのテキストを調査した(我々の現在の研究における高エネルギー物理学のジャーナル)。
高い受理率の著者は、高い引用数、高い$h$-index、高い協力者数などを持つ可能性が高い。
論文に対して比較的長い肯定的なレビューを受けています。
さらに,共同レビュー,共同引用,コラボレーションネットワークの3つのネットワークを構築し,ネットワーク中心の特徴とカテゴリ間およびカテゴリ間エッジインタラクションについて検討した。
受入率の高い著者は,これらのネットワークにおいてより「中心的」であり,受入率の高い著者はカテゴリー間相互作用の量も他の著者と大きく異なることが判明した。
最後に、上記の特徴セットを用いて、標準的な機械学習モデル(ランダムフォレスト、XGBoost)をトレーニングし、非常に高いクラスワイズ精度とリコールを得る。
フォローアップの議論では、著者の特徴とは別に、ピアレビューシステム自体が、潜在的な差別や不公平につながる可能性のある異なるカテゴリの区別を促進する役割を果たし、システム管理者によるさらなる調査を求めるかもしれないと結論づけた。 New researchers are usually very curious about the recipe that could accelerate the chances of their paper getting accepted in a reputed forum (journal/conference). In search of such a recipe, we investigate the profile and peer review text of authors whose papers almost always get accepted at a venue (Journal of High Energy Physics in our current work). We find authors with high acceptance rate are likely to have a high number of citations, high $h$-index, higher number of collaborators etc. We notice that they receive relatively lengthy and positive reviews for their papers. In addition, we also construct three networks -- co-reviewer, co-citation and collaboration network and study the network-centric features and intra- and inter-category edge interactions. We find that the authors with high acceptance rate are more `central' in these networks; the volume of intra- and inter-category interactions are also drastically different for the authors with high acceptance rate compared to the other authors. Finally, using the above set of features, we train standard machine learning models (random forest, XGBoost) and obtain very high class wise precision and recall. In a followup discussion we also narrate how apart from the author characteristics, the peer-review system might itself have a role in propelling the distinction among the different categories which could lead to potential discrimination and unfairness and calls for further investigation by the system admins. | 翻訳日:2023-05-15 22:32:39 公開日:2020-06-12 |
| # ダイヤモンド量子温度計における光検出磁気共鳴シフトのリアルタイム推定 Real-time estimation of the optically detected magnetic resonance shift in diamond quantum thermometry ( http://arxiv.org/abs/2006.06901v1 ) ライセンス: Link先を確認 | Masazumi Fujiwara, Alexander Dohms, Ken Suto, Yushi Nishimura, Keisuke Oshimi, Yoshio Teki, Kai Cai, Oliver Benson, and Yutaka Shikano | (参考訳) ナノダイヤモンド(ND)における窒素空孔中心の光検出磁気共鳴(ODMR)の周波数シフトのリアルタイム推定手法について検討した。
蛍光顕微鏡による多点odmr測定とnd粒子追跡を効率的に統合することで,生体内温度の安定なモニタリングが可能となった。
本研究では,多点odmr計測手法(3-,4-,6-方法)を詳細に分析し,実験ハードウェアの計器誤差とodmrスペクトル形状から導かれた系統的誤差による測定アーティファクト量を定量化する。
本研究では, これらの要因の影響を最小限に抑えるための実用的手法を提案し, 動的熱発生時の単一NDの正確な温度測定を可能にした。
また、ノイズフィルタ、データ推定プロトコル、およびリアルタイム温度推定におけるさらなる発展のためのアーティファクトの統合についても論じる。
本研究は, 量子ダイヤモンド温度測定の技術的詳細を提供し, 生体応用における温度推定に影響を与える因子について考察する。 We investigate the real-time estimation protocols for the frequency shift of optically detected magnetic resonance (ODMR) of nitrogen-vacancy (NV) centers in nanodiamonds (NDs). Efficiently integrating multipoint ODMR measurements and ND particle tracking into fluorescence microscopy has recently demonstrated stable monitoring of the temperature inside living animals. We analyze the multipoint ODMR measurement techniques (3-, 4-, and 6-point methods) in detail and quantify the amount of measurement artifact owing to several systematic errors derived from instrumental errors of experimental hardware and ODMR spectral shape. We propose a practical approach to minimize the effect of these factors, which allows for measuring accurate temperatures of single NDs during dynamic thermal events. We also discuss integration of noise filters, data estimation protocols, and possible artifacts for further developments in real-time temperature estimation. The present study provides technical details of quantum diamond thermometry and discusses factors that may affect the temperature estimation in biological applications. | 翻訳日:2023-05-15 22:31:59 公開日:2020-06-12 |
| # 共形平坦時空におけるカシミール効果 Casimir effect in conformally flat spacetimes ( http://arxiv.org/abs/2006.06884v1 ) ライセンス: Link先を確認 | Bartosz Markowicz, Kacper D\k{e}bski, Maciej Kolanowski, Wojciech Kami\'nski and Andrzej Dragan | (参考訳) 異なる次元の参照の慣性フレームにおけるカシミール力を決定するいくつかの手法について考察する。
リンドラー時空にミラーを含む単純なモデルの例では、カシミールとリフシッツの手法は非同値であり、後者のみが他の時空幾何学に一般化できることを示す。
共形結合体に対しては、アノマリーを利用した共形平坦な時空におけるカシミール力が導出され、フリードマン=ルマイトル=ロバートソン=ウォーカーモデルの明示的な例を与える。 We discuss several approaches to determine the Casimir force in inertial frames of reference in different dimensions. On an example of a simple model involving mirrors in Rindler spacetime we show that Casimir's and Lifschitz's methods are inequivalent and only latter can be generalized to other spacetime geometries. For conformally coupled fields we derive the Casimir force in conformally flat spacetimes utilizing an anomaly and provide explicit examples in the Friedmann-Lemaitre-Robertson-Walker $(k=0)$ models. | 翻訳日:2023-05-15 22:31:43 公開日:2020-06-12 |
| # TAI(The Threats of Artificial Intelligence Scale)の略。
3つの応用領域の開発と測定,テスト The Threats of Artificial Intelligence Scale (TAI). Development, Measurement and Test Over Three Application Domains ( http://arxiv.org/abs/2006.07211v1 ) ライセンス: Link先を確認 | Kimon Kieslich, Marco L\"unich, Frank Marcinkowski | (参考訳) 近年、AI(Artificial Intelligence)は科学界と一般大衆の間で大きな人気を集めている。
AIは医療や経済など、さまざまな社会的領域に多くのポジティブな影響を報告している。
一方で、社会や個人に対する不安定な影響に対する懸念も高まっている。
いくつかの世論調査では、自律ロボットと人工知能(farai:autonomous robots and artificial intelligence)に対する大衆の恐怖を頻繁に問うている。
潜在的な脅威の認識は、AI機能と応用領域の到達と結果によって明らかに異なるため、研究は広範にわたる研究適用を可能にする各測定値に必要な精度を欠いている。
我々は、AIシステムの4つの機能クラスを考慮し、AIアプリケーションの様々な領域に適用可能な、AIの脅威知覚を測定するためのきめ細かいスケールを提案する。
調査(N=891)において、標準化されたアンケートを用いて、3つの異なるAIドメイン(ローン起業、求職、医療)のスケールを評価する。
データは提案されたAIのThreats of AI(TAI)スケールの次元構造と、インジケータの内部一貫性と因子的妥当性をサポートする。
結果の意義と,尺度の実証的適用について詳細に論じた。
TAIスケールのさらなる経験的利用を推奨する。 In recent years Artificial Intelligence (AI) has gained much popularity, with the scientific community as well as with the public. AI is often ascribed many positive impacts for different social domains such as medicine and the economy. On the other side, there is also growing concern about its precarious impact on society and individuals. Several opinion polls frequently query the public fear of autonomous robots and artificial intelligence (FARAI), a phenomenon coming also into scholarly focus. As potential threat perceptions arguably vary with regard to the reach and consequences of AI functionalities and the domain of application, research still lacks necessary precision of a respective measurement that allows for wide-spread research applicability. We propose a fine-grained scale to measure threat perceptions of AI that accounts for four functional classes of AI systems and is applicable to various domains of AI applications. Using a standardized questionnaire in a survey study (N=891), we evaluate the scale over three distinct AI domains (loan origination, job recruitment and medical treatment). The data support the dimensional structure of the proposed Threats of AI (TAI) scale as well as the internal consistency and factoral validity of the indicators. Implications of the results and the empirical application of the scale are discussed in detail. Recommendations for further empirical use of the TAI scale are provided. | 翻訳日:2023-05-15 22:23:48 公開日:2020-06-12 |
| # 利他主義と不安:英国とアイルランドにおけるcovid-19ロックダウン中のオンラインコミュニティサポートイニシアチブ(ocsis)との関わり Altruism and anxiety: Engagement with online community support initiatives (OCSIs) during Covid-19 lockdown in the UK and Ireland ( http://arxiv.org/abs/2006.07153v1 ) ライセンス: Link先を確認 | Camilla Elphick, Avelie Stuart, Richard Philpot, Zoe Walkington, Lara Frumkin, Min Zhang, Mark Levine, Blaine Price, Graham Pike, Bashar Nuseibeh, Arosha Bandara | (参考訳) Covid-19のロックダウン期間中のメンタルヘルスに関する懸念から、オンラインのCovid-19関連物質との関わりが気分に与える影響を理解することが重要である。
イギリスとアイルランドでは、オンラインコミュニティ支援イニシアチブ(OCSI)が出現し、人々の生活管理を支援している。
しかし、人々がこれらの活動にどのように関わったか、あるいはその後の気分に影響を与えているかどうかについては、ほとんど分かっていない。
我々は、英国とアイルランドの人々がOCSIとどのように関わり、70%が支援を提供するために(例えば、会社を提供するために)行ったかを調査した。
それ以降、より穏やかな感情を報告した者(例えば、反社会的行動に対する反応)は、その後の不安感を強く報告したが、他の理由で活動した者(経験や見解を共有するなど)には、報告された気分に差はなかった。
したがって、利他的な目的のためにOCSIと関わることは、人々を落ち着かせるのに役立つかもしれない。 Given concerns about mental health during periods of Covid-19 lockdown, it important to understand how engagement with online Covid-19 related material can affect mood. In the UK and Ireland, online community support initiatives (OCSIs) have emerged to help people manage their lives. Yet, little is known about how people engaged with these or whether they influenced subsequent mood. We conducted surveys to explore how people in the UK and Ireland engaged with OCSIs, and found that 70% did so to offer support (e.g. to provide company). Those who did so reported feeling significantly calmer afterwards, those who engaged for general concerns (e.g. in response to anti-social behaviour) reported feeling significantly more anxious afterwards, but there was no difference in reported mood for those who engaged for other reasons (e.g. to share experiences or views). Thus, engaging with an OCSI for altruistic purposes might help to make people feel calmer. | 翻訳日:2023-05-15 22:22:31 公開日:2020-06-12 |
| # Covid-19エグジット戦略のためのデータ駆動シミュレーションと最適化 Data-driven Simulation and Optimization for Covid-19 Exit Strategies ( http://arxiv.org/abs/2006.07087v1 ) ライセンス: Link先を確認 | Salah Ghamizi, Renaud Rwemalika, Lisa Veiber, Maxime Cordy, Tegawende F. Bissyande, Mike Papadakis, Jacques Klein and Yves Le Traon | (参考訳) コロナウイルスSARS-2の急速な普及は、世界中のほぼ全ての政府が悲劇に対応するために徹底的な対策を講じる大きな課題である。
その主な要因は、世界経済への影響を超えて、人口の社会的、心理的緊張が深まっている国や都市全体の大規模な封鎖だ。
緩和措置(ロックダウンを含む)が一般的に有効であることが証明されているが、政策立案者は今、重要な問題に直面している。
新型コロナウイルスの感染拡大をリスクなく回復するには、慎重に計画された出口戦略が必要である。
古典的な出口戦略は、公衆衛生介入の効果を予測するために数学的モデリングに依存している。
本稿では,様々な状況(例えば,国ごとに)の予測を微調整することを学ぶ実際のデータ駆動モデルを用いて,疫学的な予測を強化することを提案する。
そこで我々は,疾患の疫学的パラメータの深層的推定と死の予測を併用したパンデミックシミュレーションと予測ツールキットを構築し,意思決定者によって設定された制約と目的との間の最適なトレードオフ・ポリティシを求める遺伝的アルゴリズムコンポーネントを構築した。
各国のパンデミックの進展を再現し,本手法が純粋な疫学モデルに比べて75%の誤差率で予測し,未確認の国で学習が受け継がれた場合,95%のR2スコアが得られることを示した。
予測に使用する場合、このアプローチは個々の測度や戦略の影響に関する実用的な洞察を提供する。 The rapid spread of the Coronavirus SARS-2 is a major challenge that led almost all governments worldwide to take drastic measures to respond to the tragedy. Chief among those measures is the massive lockdown of entire countries and cities, which beyond its global economic impact has created some deep social and psychological tensions within populations. While the adopted mitigation measures (including the lockdown) have generally proven useful, policymakers are now facing a critical question: how and when to lift the mitigation measures? A carefully-planned exit strategy is indeed necessary to recover from the pandemic without risking a new outbreak. Classically, exit strategies rely on mathematical modeling to predict the effect of public health interventions. Such models are unfortunately known to be sensitive to some key parameters, which are usually set based on rules-of-thumb.In this paper, we propose to augment epidemiological forecasting with actual data-driven models that will learn to fine-tune predictions for different contexts (e.g., per country). We have therefore built a pandemic simulation and forecasting toolkit that combines a deep learning estimation of the epidemiological parameters of the disease in order to predict the cases and deaths, and a genetic algorithm component searching for optimal trade-offs/policies between constraints and objectives set by decision-makers. Replaying pandemic evolution in various countries, we experimentally show that our approach yields predictions with much lower error rates than pure epidemiological models in 75% of the cases and achieves a 95% R2 score when the learning is transferred and tested on unseen countries. When used for forecasting, this approach provides actionable insights into the impact of individual measures and strategies. | 翻訳日:2023-05-15 22:21:31 公開日:2020-06-12 |
| # システム工学における国連持続可能な開発目標:持続可能性要件の緩和 The United Nations Sustainable Development Goals in Systems Engineering: Eliciting sustainability requirements ( http://arxiv.org/abs/2006.10528v1 ) ライセンス: Link先を確認 | Ian Brooks | (参考訳) 本稿では,国連持続可能な開発目標(SDG)を明示的なインプットとして用いて,ソフトウェア要件エンジニアリングプロセスを実行すると,サステナビリティのメリットが向上する,という仮説をテストするPhD研究プロジェクトについて論じる。
この研究は、SDGARE(Design Science Research Method)[21]を用いて、SDG Assessment for Requirements Elicitation(SDGARE)と呼ばれるプロセスをテストする。
3つのDSRMサイクルは、航空宇宙および医療における安全クリティカル、高精度、ソフトウェア集約システムの仮説をテストするために使用されている。
最初の2つのdsrmサイクルの最初の結果は仮説を支持している。
しかしながら、これらのサイクルは計画駆動(ウォーターフォール)開発コンテキストにあり、将来の研究課題はアジャイル開発コンテキストにおける同様のアプリケーションになるでしょう。 This paper discusses a PhD research project testing the hypothesis that using the United Nations Sustainable Development Goals(SDG) as explicit inputs to drive the Software Requirements Engineering process will result in requirements with improved sustainability benefits. The research has adopted the Design Science Research Method (DSRM) [21] to test a process named SDG Assessment for Requirements Elicitation (SDGARE). Three DSRM cycles are being used to test the hypothesis in safety-critical, highprecision, software-intensive systems in aerospace and healthcare. Initial results from the first two DSRM cycles support the hypothesis. However, these cycles are in a plan-driven (waterfall) development context and future research agenda would be a similar application in an Agile development context. | 翻訳日:2023-05-15 22:15:46 公開日:2020-06-12 |
| # 第4回産業革命が企業サイバー戦略に及ぼす影響 The 4th Industrial Revolution Effect on the Enterprise Cyber Strategy ( http://arxiv.org/abs/2006.07488v1 ) ライセンス: Link先を確認 | Christopher Gorham | (参考訳) 第4次産業革命は、近代社会におけるデジタル世界と物理世界の境界を変革するであろう技術の飛躍的な進歩を表している。
先進技術の影響は、ビジネスと政府コミュニティのほぼあらゆる側面を混乱させるだろう。
ここ数年、情報技術の進歩は、人工知能(AI)、ブロックチェーン技術、ロボティクス、仮想現実、そして商用部門で量子コンピューティングがリリースされる可能性への扉を開いた。
これらの革新的な技術を使用することは、クラウドコンピューティングやAIといったモダンな技術プラットフォームを活用することで、社会に影響を与える可能性が高い。
また、2019年からInternet Service Providers(ISP)による5Gネットワーク技術のリリースも含まれている。
クラウドコンピューティングプラットフォームと組み合わせて5g技術に依存しているネットワークは、さらなるイノベーションを可能にし、第4次産業革命における仕事の仕組みを変えることができるだろう。 The Fourth (4th) Industrial Revolution represents the profound advancement of technology that will likely transform the boundaries between the digital and physical worlds in modern society. The impact of advance technology will disrupt almost every aspect of business and government communities alike. In the past few years, the advancement of information technologies has opened the door to artificial intelligence (AI), block chain technologies, robotics, virtual reality and the possibility of quantum computing being released in the commercial sector. The use of these innovative technologies will likely impact society by leveraging modern technological platforms such as cloud computing and AI. This also includes the release of 5G network technologies by Internet Service Providers (ISP) beginning in 2019. Networks that rely upon 5G technologies in combination with cloud computing platforms will open the door allow greater innovations and change the nature of how work is performed in the 4th Industrial Revolution. | 翻訳日:2023-05-15 22:15:02 公開日:2020-06-12 |
| # 非検出中赤外光子を用いた周波数領域光コヒーレンストモグラフィ Frequency-domain optical coherence tomography with undetected mid-infrared photons ( http://arxiv.org/abs/2006.07400v1 ) ライセンス: Link先を確認 | Aron Vanselow, Paul Kaufmann, Ivan Zorin, Bettina Heise, Helen M. Chrzanowski and Sven Ramelow | (参考訳) 中赤外光は短波長以下で散乱し、光学コヒーレンストモグラフィ (oct) などの光学イメージング技術における浸透深度を大きく向上させる。
しかし、赤外線の検知とブロードバンドの両方は技術的に困難である。
非線形干渉計で絡み合った光子を干渉することで、検出されていない光子が中赤外光源や検出器を時代遅れにすることができる。
そこで我々は,超広帯域光子対を用いた中赤外周波数領域OCTを実装した。
10${\mu}$m軸と20${\mu}$m横分解能2Dと3Dイメージングによる強散乱セラミックスおよび塗料試料の観察を行った。
同じ量のプローブ光に対して10^6$のノイズスケールと、フットプリントと技術的な複雑さを伴って、この技術は従来の中赤外光よりも優れている。 Mid-infrared light scatters much less than shorter wavelengths, allowing greatly enhanced penetration depths for optical imaging techniques such as optical coherence tomography (OCT). However, both detection and broadband sources in the mid-IR are technologically challenging. Interfering entangled photons in a nonlinear interferometer enables sensing with undetected photons making mid-IR sources and detectors obsolete. Here we implement mid-infrared frequency-domain OCT based on ultra-broadband entangled photon pairs. We demonstrate 10 ${\mu}$m axial and 20 ${\mu}$m lateral resolution 2D and 3D imaging of strongly scattering ceramic and paint samples. Together with $10^6$ times less noise scaled for the same amount of probe light and also vastly reduced footprint and technical complexity this technique can outperform conventional approaches with classical mid-IR light. | 翻訳日:2023-05-15 22:14:49 公開日:2020-06-12 |
| # Quantum Composer:教育と研究のためのプログラマブルな量子可視化とシミュレーションツール Quantum Composer: A programmable quantum visualization and simulation tool for education and research ( http://arxiv.org/abs/2006.07263v1 ) ライセンス: Link先を確認 | Shaeema Zaman Ahmed, Jesper Hasseriis Mohr Jensen, Carrie Ann Weidner, Jens Jakob S{\o}rensen, Marcel Mudrich and Jacob Friis Sherson | (参考訳) 量子力学の方程式や概念をインタラクティブなシミュレーションと視覚化によって生かすことは、学習と教育の強化に共通している。
しかし、グラフィカル・ビジュアライゼーションはほとんど常にハードコード機能を示し、対応するテキストベースのコードは学習曲線や時間投資を犠牲にして高い柔軟性を提供する。
我々はQuantum Composerを導入し、ユーザーはグラフィカルに接続可能なノードと相互作用し、物理概念、数学的操作、可視化などに対応する量子力学シミュレーションを構築し、拡張し、探索することができる。
アクセシビリティ、理解の重視、迅速なフィードバックのメカニズムを同時に維持しながら、数値やプログラミングの詳細を抽象化し、導入および先進的な量子力学コース、学生プロジェクト、そして研究環境における視覚的な探索の一連の例を通して説明する。 Making quantum mechanical equations and concepts come to life through interactive simulation and visualization are commonplace for augmenting learning and teaching. However, graphical visualizations nearly always exhibit a set of hard-coded functionalities while corresponding text-based codes offer a higher degree of flexibility at the expense of steep learning curves or time investments. We introduce Quantum Composer, which allows the user to build, expand, or explore quantum mechanical simulations by interacting with graphically connectable nodes, each corresponding to a physical concept, mathematical operation, visualization, etc. Abstracting away numerical and programming details while at the same time retaining accessibility, emphasis on understanding, and rapid feedback mechanisms, we illustrate through a series of examples its open-ended applicability in both introductory and advanced quantum mechanics courses, student projects, and for visual exploration within research environments. | 翻訳日:2023-05-15 22:13:10 公開日:2020-06-12 |
| # 拘束型ディラックスピノルの位相空間初等情報含量 Phase-space elementary information content of confined Dirac spinors ( http://arxiv.org/abs/2006.07255v1 ) ライセンス: Link先を確認 | Alex E. Bernardini | (参考訳) 共変位相空間の定式化によるディラック・スピノル構造を記述するウィグナー形式について、純度とスピンパリティ(離散)と位置モメンタム(連続)自由度を含む相互情報の量子情報量化器を一貫して取得する。
ディラック・スピノル・ウィグナー作用素(英語版)は、$SU(2) \otimes SU(2)$ spinor couplings の Poincar\'e クラスに分解され、量子純度に対する決定的な表現は2倍の方法で識別される: 第一に、位相空間が正に定義された量に関して、第二に、位置座標表現における位置座標表現における {\em spin-parity traced-out} 関連密度行列において、どちらもローレンツ共変位相空間ウィグナー表現に由来する。
当然、そのような構造は、それぞれ離散(スピンパリティ)と連続(位置モメンタム)自由度に関連する相対的(線形)エントロピーの計算をサポートする。
得られた理論ツールは、(相対的な)純度、相互情報、および量子共起量子化器によって、量子化されたランダウ準位に関連するラゲール多項式によって完全に記述された位相空間構造を持つ一様磁場によって捕捉された荷電フェルミオンに対するスピンパリティ量子エンタングルメントの定量に用いられる。
以上の結果は,ある種の拘束行動を示すdirac系システムの基本情報量の体系的計算の第一歩として読み取れる。 Reporting about the Wigner formalism for describing Dirac spinor structures through a covariant phase-space formulation, the quantum information quantifiers for purity and mutual information involving spin-parity (discrete) and position-momentum (continuous) degrees of freedom are consistently obtained. For Dirac spinor Wigner operators decomposed into Poincar\'e classes of $SU(2) \otimes SU(2)$ spinor couplings, a definitive expression for quantum purity is identified in a twofold way: firstly, in terms of phase-space positively defined quantities, and secondly, in terms of the {\em spin-parity traced-out} associated density matrix in the position coordinate representation, both derived from the original Lorentz covariant phase-space Wigner representation. Naturally, such a structure supports the computation of relative (linear) entropies respectively associated to discrete (spin-parity) and continuous (position-momentum) degrees of freedom. The obtained theoretical tools are used for quantifying (relative) purities, mutual information as well as, by means of the quantum concurrence quantifier, the spin-parity quantum entanglement, for a charged fermion trapped by a uniform magnetic field which, by the way, has the phase-space structure completely described in terms of Laguerre polynomials associated to the quantized Landau levels. Our results can be read as the first step in the systematic computation of the elementary information content of Dirac-like systems exhibiting some kind of confining behavior. | 翻訳日:2023-05-15 22:12:48 公開日:2020-06-12 |
| # ロボット工学研究はコンピュータビジョン研究から何が学べるのか? What can robotics research learn from computer vision research? ( http://arxiv.org/abs/2001.02366v2 ) ライセンス: Link先を確認 | Peter Corke and Feras Dayoub and David Hall and John Skinner and Niko S\"underhauf | (参考訳) コンピュータビジョンとロボット研究のコミュニティはそれぞれ強い。
しかし、近年、ビッグデータ、GPUコンピューティング、新しい学習アルゴリズム、そして非常に効果的な研究手法により、コンピュータビジョンの進歩はターボチャージされている。
比較すると、ロボティクスの進歩は遅いようだ。
ロボティクスが後に学習の可能性を探るためにやってきたことは事実であり -- 力学、キネマティクス、計画、制御の確立した知識に対する利点はいまだ議論されているが、強化学習は本当の可能性を秘めているように思われる。
しかし、ロボット工学と比較してコンピュータビジョンの急速な発展は、前者のディープラーニングの採用によるものではない。
本稿では,コンピュータビジョンの成果は,厳格な制約と実験による評価,大胆な数値とビデオによる評価の方法論によるものであると論じる。 The computer vision and robotics research communities are each strong. However progress in computer vision has become turbo-charged in recent years due to big data, GPU computing, novel learning algorithms and a very effective research methodology. By comparison, progress in robotics seems slower. It is true that robotics came later to exploring the potential of learning -- the advantages over the well-established body of knowledge in dynamics, kinematics, planning and control is still being debated, although reinforcement learning seems to offer real potential. However, the rapid development of computer vision compared to robotics cannot be only attributed to the former's adoption of deep learning. In this paper, we argue that the gains in computer vision are due to research methodology -- evaluation under strict constraints versus experiments; bold numbers versus videos. | 翻訳日:2023-01-13 12:47:15 公開日:2020-06-12 |
| # 位相空間量子プロファイルに対するアンハーモニック効果:厳密なアプローチ Anharmonic effects on phase-space quantum profiles: an exact approach ( http://arxiv.org/abs/2001.03785v2 ) ライセンス: Link先を確認 | Alex E. Bernardini and Caio Fernando e Silva | (参考訳) そのよく知られたスペクトル分解プロファイルを考えると、1-dimの調和振動子ポテンシャルは、位相空間ワイル・ウィグナー形式(英語版)(weyl-wigner formalism)の文脈で古典的および量子的情報量化子を探索するための効率的なプラットフォームとして働く。
特に、そのような特異振動子によって駆動される正準アンサンブルに関連する位相空間情報量は、十分に確立された解析構造の観点から定量化することができる。
一方、「em特異発振器」は、異なる統計混合物であっても同じ熱力学的統計量をもたらすという意味で、無修正調和系の1つと同等のスペクトル分解プロファイルを生成する一方で、位相空間情報の内容のより完全な精査は、関連する量子アンサンブルの符号化情報のいくつかの異なる側面を捉えることができる。
デコヒーレンス効果の同定に加えて、ウィグナーフロー解析は有限温度および相互作用パラメータ値に従って安定な量子配置の同定に有用であると推定されている。
非調和特異振動子の統計的(量子)力学と通常の調和振動子の等価性は、解析的に計算され、相互作用パラメータ値に依存しない全く同じ量子アンサンブル統計混合プロファイルを再生する位相空間量子純度量子化器にも拡張可能であることを示す。 Given its well known spectral decomposition profile, the $1$-dim harmonic oscillator potential modified by an inverse square ($1$-dim angular momentum-like) contribution works as an efficient platform for probing classical and quantum information quantifiers in the context of the phase-space Weyl-Wigner formalism. In particular, the phase-space informational content related to the canonical ensemble driven by such a {\em singular oscillator} can be quantified in terms of well established analytical structures. Considering that, on one hand, the {\em singular oscillator} produce a spectral decomposition profile equivalent to that one of the unmodified harmonic system -- in the sense that they result into identical thermodynamic statistics, even for different statistical mixtures -- on the other hand, a more complete scrutinization of their phase-space information content can capture some different aspects of the encoded information for the related quantum ensembles. Besides the identification of decoherence effects, the Wigner flow analysis is presumedly useful in identifying stable quantum configurations, according to finite temperature and interaction parameter values. Unexpectedly, our results show that the equivalence between the statistical (quantum) mechanics of the anharmonic singular oscillator and an ordinary harmonic oscillator can also be extended to the phase-space quantum purity quantifier, which is analytically computed and reproduces exactly the same quantum ensemble statistical mixture profile, which does not depend on interaction parameter values. | 翻訳日:2023-01-12 09:43:22 公開日:2020-06-12 |
| # ゼロショット一般化のための回転, 翻訳, クロップ Rotation, Translation, and Cropping for Zero-Shot Generalization ( http://arxiv.org/abs/2001.09908v3 ) ライセンス: Link先を確認 | Chang Ye, Ahmed Khalifa, Philip Bontrager, Julian Togelius | (参考訳) deep reinforcement learning (drl)は、視覚入力を持つドメイン、特に様々なゲームで印象的なパフォーマンスを示している。
しかしながら、エージェントは通常、固定された環境(例えば一定の数のレベル)で訓練される。
ますます多くの証拠が、これらの訓練されたモデルは、訓練された環境のわずかなバリエーションにまで一般化できないことを示唆している。
本稿では, 一般化の欠如は入力表現によるものであるという仮説を推し進め, 回転, 収穫, 翻訳がいかに一般性を高めるかを探る。
我々は,GVGAIフレームワークから,未知の2次元アーケードゲームにおいて,トリミング,翻訳,回転による観察により,より一般化できることを示す。
エージェントの汎用性は、人間が設計したレベルと手続き的に生成したレベルの両方で評価される。 Deep Reinforcement Learning (DRL) has shown impressive performance on domains with visual inputs, in particular various games. However, the agent is usually trained on a fixed environment, e.g. a fixed number of levels. A growing mass of evidence suggests that these trained models fail to generalize to even slight variations of the environments they were trained on. This paper advances the hypothesis that the lack of generalization is partly due to the input representation, and explores how rotation, cropping and translation could increase generality. We show that a cropped, translated and rotated observation can get better generalization on unseen levels of two-dimensional arcade games from the GVGAI framework. The generality of the agents is evaluated on both human-designed and procedurally generated levels. | 翻訳日:2023-01-06 07:22:07 公開日:2020-06-12 |
| # 具体的動機付け強化学習のための相互情報に基づく状態制御 Mutual Information-based State-Control for Intrinsically Motivated Reinforcement Learning ( http://arxiv.org/abs/2002.01963v2 ) ライセンス: Link先を確認 | Rui Zhao, Yang Gao, Pieter Abbeel, Volker Tresp, Wei Xu | (参考訳) 強化学習において、エージェントは、外部報酬信号を用いて一連の目標に到達することを学ぶ。
自然界では、知的生物は内部の駆動から学習し、外部信号の必要性を回避し、幅広いタスクに役立ちます。
そこで本研究では,目標状態と制御可能な状態の相互情報として本質的目標を定式化することを提案する。
この目的により、エージェントは環境の制御を奨励する。
その後,提案した報奨関数の代用目的を導出し,効率よく最適化することができる。
最後に,ロボット操作およびナビゲーションタスクにおける開発フレームワークを評価し,本手法の有効性を実証する。
実験結果を示すビデオはhttps://youtu.be/CT4CKMWBYz0で公開されている。 In reinforcement learning, an agent learns to reach a set of goals by means of an external reward signal. In the natural world, intelligent organisms learn from internal drives, bypassing the need for external signals, which is beneficial for a wide range of tasks. Motivated by this observation, we propose to formulate an intrinsic objective as the mutual information between the goal states and the controllable states. This objective encourages the agent to take control of its environment. Subsequently, we derive a surrogate objective of the proposed reward function, which can be optimized efficiently. Lastly, we evaluate the developed framework in different robotic manipulation and navigation tasks and demonstrate the efficacy of our approach. A video showing experimental results is available at https://youtu.be/CT4CKMWBYz0 | 翻訳日:2023-01-03 21:12:41 公開日:2020-06-12 |
| # 長期記憶(LSTM)ネットワークを用いた高時間分解能降雨流出モデル High Temporal Resolution Rainfall Runoff Modelling Using Long-Short-Term-Memory (LSTM) Networks ( http://arxiv.org/abs/2002.02568v2 ) ライセンス: Link先を確認 | Wei Li (1), Amin Kiaghadi (1), Clint N. Dawson (1) ((1) Oden Institute for Computational Engineering and Sciences, The University of Texas at Austin, Austin, TX) | (参考訳) 降雨流出シミュレーション(rr)の正確かつ効率的なモデルが洪水リスク管理に不可欠である。
今日使われている降雨モデルのほとんどはプロセス駆動であり、単純な経験式か、セントヴェナント方程式のいくつかの変種を解く。
機械学習技術の開発により、例えばニューラルネットワークを使って降雨モデルをエミュレートできるようになったかもしれない。
本研究では,LSTM(Sequence-to-Sequence Long-Short-Term-Memory)ネットワークを用いたデータ駆動RRモデルを構築した。
このモデルは、激しい洪水で知られているテキサス州ヒューストンの流域で試験された。
LSTMネットワークは、ネットワークの入力と出力の間の長期的な依存関係を学習する能力により、高解像度のRRを15分でモデル化することができた。
降雨量153から10年間の降水量と河川流出データ(530万以上のデータポイント)を用いて,数回の数値実験を設計し,河川流出予測モデルの性能を検証した。
また, モデル結果とプロセス駆動型地表面水文解析(gssha)結果との比較を行った。
さらにLSTMモデルの物理的整合性を検討した。
その結果,LSTMモデルでは効率よく放電を予測でき,良好なモデル性能が得られた。
GSSHAと比較して、データ駆動モデルは予測と校正の観点からより効率的で堅牢である。
LSTMモデルの性能は, モデル性能に基づいて選択された降雨ゲージのサブセットが, 全ての降雨ゲージの代わりに入力として使用される場合に向上した(Nash-Sutcliffeモデル効率は0.666から0.942)。 Accurate and efficient models for rainfall runoff (RR) simulations are crucial for flood risk management. Most rainfall models in use today are process-driven; i.e. they solve either simplified empirical formulas or some variation of the St. Venant (shallow water) equations. With the development of machine-learning techniques, we may now be able to emulate rainfall models using, for example, neural networks. In this study, a data-driven RR model using a sequence-to-sequence Long-short-Term-Memory (LSTM) network was constructed. The model was tested for a watershed in Houston, TX, known for severe flood events. The LSTM network's capability in learning long-term dependencies between the input and output of the network allowed modeling RR with high resolution in time (15 minutes). Using 10-years precipitation from 153 rainfall gages and river channel discharge data (more than 5.3 million data points), and by designing several numerical tests the developed model performance in predicting river discharge was tested. The model results were also compared with the output of a process-driven model Gridded Surface Subsurface Hydrologic Analysis (GSSHA). Moreover, physical consistency of the LSTM model was explored. The model results showed that the LSTM model was able to efficiently predict discharge and achieve good model performance. When compared to GSSHA, the data-driven model was more efficient and robust in terms of prediction and calibration. Interestingly, the performance of the LSTM model improved (test Nash-Sutcliffe model efficiency from 0.666 to 0.942) when a selected subset of rainfall gages based on the model performance, were used as input instead of all rainfall gages. | 翻訳日:2023-01-03 04:19:09 公開日:2020-06-12 |
| # 動的物体検出による位置認識の改善 Improving Place Recognition Using Dynamic Object Detection ( http://arxiv.org/abs/2002.04698v2 ) ライセンス: Link先を確認 | Juan Pablo Munoz and Scott Dexter | (参考訳) 本稿では,エージェントのその後の訪問に現れるかもしれない,あるいは存在しない可能性のあるオブジェクトを,多数の動的対象を持つ環境に適した位置認識手法を提案する。
オブジェクト検出前処理のステップを組み込むことで、オブジェクト情報を含む高品質な場所表現が得られる。
これは動的環境におけるプレース認識を大幅に改善するだけでなく、メモリ/ストレージ要件を大幅に削減し、限られたリソースでモバイルエージェントの有効性を高める可能性がある。 We present a novel approach to place recognition well-suited to environments with many dynamic objects--objects that may or may not be present in an agent's subsequent visits. By incorporating an object-detecting preprocessing step, our approach yields high-quality place representations that incorporate object information. Not only does this result in significantly improved place recognition in dynamic environments, it also significantly reduces memory/storage requirements, which may increase the effectiveness of mobile agents with limited resources. | 翻訳日:2023-01-02 02:57:00 公開日:2020-06-12 |
| # 適応的畳み込みを用いた深層学習による高忠実度RGB-D画像の高速生成 Fast Generation of High Fidelity RGB-D Images by Deep-Learning with Adaptive Convolution ( http://arxiv.org/abs/2002.05067v3 ) ライセンス: Link先を確認 | Chuhua Xian, Dongjiu Zhang, Chengkai Dai, Charlie C. L. Wang | (参考訳) コンシューマレベルのRGB-Dカメラの生データを入力として,高解像度でRGB-D画像を効率よく生成する深層学習手法を提案する。
入力画像を欠落領域で低解像度で処理するために,3つのカスケードモジュール – 補完モジュール,リファインメントモジュール,スーパーレゾリューションモジュール – で構成される深層学習ネットワークにおいて,適応畳み込みのための新しい演算子を導入する。
完了モジュールはエンコーダデコーダのアーキテクチャに基づいており、入力された生RGB-Dの特徴はディープニューラルネットワークの符号化層によって自動的に抽出される。
復号化層を適用して完了した深度マップを再構築し、その後、改良モジュールで異なる領域の境界を絞り込む。
超解像モジュールでは,複数の特徴抽出層とアップサンプリング層により高解像度でRGB-D画像を生成する。
本稿では,新たに提案した適応畳み込み演算子を応用し,既存のRGB-D画像の深層学習に基づくアプローチよりも優れた結果を得た。
エンドツーエンドのアプローチとして、毎秒約21フレームの速度で高忠実度rgb-d画像を生成することができる。 Using the raw data from consumer-level RGB-D cameras as input, we propose a deep-learning based approach to efficiently generate RGB-D images with completed information in high resolution. To process the input images in low resolution with missing regions, new operators for adaptive convolution are introduced in our deep-learning network that consists of three cascaded modules -- the completion module, the refinement module and the super-resolution module. The completion module is based on an architecture of encoder-decoder, where the features of input raw RGB-D will be automatically extracted by the encoding layers of a deep neural-network. The decoding layers are applied to reconstruct the completed depth map, which is followed by a refinement module to sharpen the boundary of different regions. For the super-resolution module, we generate RGB-D images in high resolution by multiple layers for feature extraction and a layer for up-sampling. Benefited from the adaptive convolution operators newly proposed in this paper, our results outperform the existing deep-learning based approaches for RGB-D image complete and super-resolution. As an end-to-end approach, high fidelity RGB-D images can be generated efficiently at the rate of around 21 frames per second. | 翻訳日:2023-01-01 20:41:19 公開日:2020-06-12 |
| # 正ラベル学習を応用した部分最適移動 Partial Optimal Transport with Applications on Positive-Unlabeled Learning ( http://arxiv.org/abs/2002.08276v2 ) ライセンス: Link先を確認 | Laetitia Chapel, Mokhtar Z. Alaya, Gilles Gasso | (参考訳) 古典的最適輸送問題は、2つの確率分布の総質量を保存し、その質量が同じである必要がある輸送マップを求める。
これは色や形状のマッチングのような特定の用途では、任意の質量と/または総質量のごく一部を輸送しなければならないため、制限的すぎる可能性がある。
エントロピー正則化に依存する部分的ワッサーシュタイン計量を計算するためにいくつかのアルゴリズムが考案されているが、正確な解に関しては、ワッサーシュタインもグロモフ=ワッサーシュタインもほとんど定式化されていない。
これにより、同じ距離空間に存在しない分布や、回転や変換に対する不変性が必要なときの作業が妨げられる。
本稿では,部分的なwasserstein問題とgromov-wasserstein問題を取り上げ,それらの解くための厳密なアルゴリズムを提案する。
新たな定式化を肯定的未ラベル学習アプリケーション(PU)で紹介する。
我々の知る限り、これはこの文脈で最適なトランスポートの最初の応用であり、Wassersteinベースのメトリクスが通常のPU学習環境で有効であることを最初に強調する。
次に、Gromov-Wassersteinメトリクスは、ポイントクラウドが異なるドメインから来たり、異なる機能を持つシナリオで効率的であることを示す。 Classical optimal transport problem seeks a transportation map that preserves the total mass betwenn two probability distributions, requiring their mass to be the same. This may be too restrictive in certain applications such as color or shape matching, since the distributions may have arbitrary masses and/or that only a fraction of the total mass has to be transported. Several algorithms have been devised for computing partial Wasserstein metrics that rely on an entropic regularization, but when it comes with exact solutions, almost no partial formulation of neither Wasserstein nor Gromov-Wasserstein are available yet. This precludes from working with distributions that do not lie in the same metric space or when invariance to rotation or translation is needed. In this paper, we address the partial Wasserstein and Gromov-Wasserstein problems and propose exact algorithms to solve them. We showcase the new formulation in a positive-unlabeled (PU) learning application. To the best of our knowledge, this is the first application of optimal transport in this context and we first highlight that partial Wasserstein-based metrics prove effective in usual PU learning settings. We then demonstrate that partial Gromov-Wasserstein metrics is efficient in scenario where point clouds come from different domains or have different features. | 翻訳日:2022-12-30 13:20:19 公開日:2020-06-12 |
| # 2次条件勾配スライディング Second-order Conditional Gradient Sliding ( http://arxiv.org/abs/2002.08907v2 ) ライセンス: Link先を確認 | Alejandro Carderera and Sebastian Pokutta | (参考訳) 制約付き第二次凸最適化アルゴリズムは、局所二次収束のため、問題に対する高精度解が必要な場合に選択する手法である。
これらのアルゴリズムは、反復ごとに制限された二次部分プロブレムの解を必要とする。
本稿では,制約付き二次部分問題を解くのに投影不要なアルゴリズムを用いた,二階条件勾配スライディング (socgs) アルゴリズムを提案する。
実現可能な領域がポリトープであるとき、アルゴリズムは有限個の線形収束反復の後に原始ギャップで二次的に収束する。
二次状態において、socgsアルゴリズムは$\mathcal{o}(\log(\log 1/\varepsilon))$ first-order and hessian oracle calls and $\mathcal{o}(\log (1/\varepsilon) \log(\log1/\varepsilon))$ linear minimization oracle は $\varepsilon$-optimal ソリューションを達成するために$\varepsilon$-optimal を呼び出す。
このアルゴリズムは、実現可能な領域が線形最適化オラクルを通してのみ効率的にアクセスできる場合に有効であり、可能ではあるが関数の1次情報を計算することはコストがかかる。 Constrained second-order convex optimization algorithms are the method of choice when a high accuracy solution to a problem is needed, due to their local quadratic convergence. These algorithms require the solution of a constrained quadratic subproblem at every iteration. We present the \emph{Second-Order Conditional Gradient Sliding} (SOCGS) algorithm, which uses a projection-free algorithm to solve the constrained quadratic subproblems inexactly. When the feasible region is a polytope the algorithm converges quadratically in primal gap after a finite number of linearly convergent iterations. Once in the quadratic regime the SOCGS algorithm requires $\mathcal{O}(\log(\log 1/\varepsilon))$ first-order and Hessian oracle calls and $\mathcal{O}(\log (1/\varepsilon) \log(\log1/\varepsilon))$ linear minimization oracle calls to achieve an $\varepsilon$-optimal solution. This algorithm is useful when the feasible region can only be accessed efficiently through a linear optimization oracle, and computing first-order information of the function, although possible, is costly. | 翻訳日:2022-12-30 07:25:37 公開日:2020-06-12 |
| # 滑らかなグラフ信号に基づく学習製品グラフ Learning Product Graphs Underlying Smooth Graph Signals ( http://arxiv.org/abs/2002.11277v2 ) ライセンス: Link先を確認 | Muhammad Asad Lodhi and Waheed U. Bajwa | (参考訳) 現実世界のデータはしばしば、分析的にグラフとして表現できる不規則な構造に関連付けられる。
このグラフへのアクセスは、時にドメインの知識から自明であり、データのより良い表現を提供し、様々な情報処理タスクを促進する。
しかし、基礎となるグラフが利用できない場合、データ表現、データ処理、推論目的のためにデータ自身から学ぶ必要がある。
データからの学習グラフに関する既存の文献は、主に任意のグラフと見なされているが、実際のデータを生成するグラフは、グラフ学習手順に組み込むことができる追加構造を持つ傾向がある。
構造対応グラフ学習法は、少ないパラメータを学習し、計算、メモリ、サンプルの複雑さを減らし得る。
そこで本研究では,製品グラフの形式で提供されるデータから構造化グラフを学習する方法を考案する。
製品グラフは多くの実世界のデータセットに自然に現れ、いくつかの小さな因子グラフを通して大規模グラフの効率的かつコンパクトな表現を提供する。
この目的のために、まず、グラフ学習問題は(平均して)最先端のグラフ学習アルゴリズムを上回る線形プログラムとして提示される。
この定式化は、単純な線形プログラムを通じてグラフ学習が可能であることを示すため、独立した関心を持つ。
その後、様々な種類の製品グラフを学習するための交互最小化に基づくアルゴリズムを提案し、真の解に対する局所収束保証を確立する。
最後に,合成データと実データを用いた数値シミュレーションにより,提案アルゴリズムの性能向上,サンプル複雑性の低減,既存手法に対する推論能力を検証する。 Real-world data is often times associated with irregular structures that can analytically be represented as graphs. Having access to this graph, which is sometimes trivially evident from domain knowledge, provides a better representation of the data and facilitates various information processing tasks. However, in cases where the underlying graph is unavailable, it needs to be learned from the data itself for data representation, data processing and inference purposes. Existing literature on learning graphs from data has mostly considered arbitrary graphs, whereas the graphs generating real-world data tend to have additional structure that can be incorporated in the graph learning procedure. Structure-aware graph learning methods require learning fewer parameters and have the potential to reduce computational, memory and sample complexities. In light of this, the focus of this paper is to devise a method to learn structured graphs from data that are given in the form of product graphs. Product graphs arise naturally in many real-world datasets and provide an efficient and compact representation of large-scale graphs through several smaller factor graphs. To this end, first the graph learning problem is posed as a linear program, which (on average) outperforms the state-of-the-art graph learning algorithms. This formulation is of independent interest itself as it shows that graph learning is possible through a simple linear program. Afterwards, an alternating minimization-based algorithm aimed at learning various types of product graphs is proposed, and local convergence guarantees to the true solution are established for this algorithm. Finally the performance gains, reduced sample complexity, and inference capabilities of the proposed algorithm over existing methods are also validated through numerical simulations on synthetic and real datasets. | 翻訳日:2022-12-28 15:46:07 公開日:2020-06-12 |
| # 半教師付き画像検索のための一般化製品量子化ネットワーク Generalized Product Quantization Network for Semi-supervised Image Retrieval ( http://arxiv.org/abs/2002.11281v3 ) ライセンス: Link先を確認 | Young Kyun Jang and Nam Ik Cho | (参考訳) ハッシュやベクトル量子化を用いた画像検索手法は,ディープラーニングを利用して大きな成功を収めている。
しかし、高価なラベル情報が十分でない限り、これらのアプローチは期待を満たさない。
そこで本研究では,GPQ(Generalized Product Quantization)ネットワークという,量子化に基づく半教師付き画像検索方式を提案する。
ラベル付きデータのセマンティックな類似性を保ち、エントロピー正規化項を用いてラベル付きデータの固有ポテンシャルを完全に活用する新しい計量学習戦略を設計する。
我々のソリューションは量子化ネットワークの一般化能力を高め、検索コミュニティにおける以前の制限を克服することができる。
GPQは大規模実画像ベンチマークデータセット上での最先端性能を示す。 Image retrieval methods that employ hashing or vector quantization have achieved great success by taking advantage of deep learning. However, these approaches do not meet expectations unless expensive label information is sufficient. To resolve this issue, we propose the first quantization-based semi-supervised image retrieval scheme: Generalized Product Quantization (GPQ) network. We design a novel metric learning strategy that preserves semantic similarity between labeled data, and employ entropy regularization term to fully exploit inherent potentials of unlabeled data. Our solution increases the generalization capacity of the quantization network, which allows overcoming previous limitations in the retrieval community. Extensive experimental results demonstrate that GPQ yields state-of-the-art performance on large-scale real image benchmark datasets. | 翻訳日:2022-12-28 15:08:55 公開日:2020-06-12 |
| # 混合数値とカテゴリーデータのトポロジ的機械学習 Topological Machine Learning for Mixed Numeric and Categorical Data ( http://arxiv.org/abs/2003.04584v2 ) ライセンス: Link先を確認 | Chengyuan Wu, Carol Anne Hargreaves | (参考訳) トポロジカルデータ分析は、高次元データの研究において優れている比較的新しい機械学習の分野であり、理論的にはノイズに対して堅牢であることが知られている。
一方、数値と分類属性を混合したデータオブジェクトは、現実世界のアプリケーションではユビキタスである。
しかし、トポロジカルな手法は通常、点クラウドデータに適用され、私たちの知る限り、トポロジカルな手法を用いて混合データの分類を行うためのフレームワークは存在しない。
本稿では,混合データ分類のための新しいトポロジカル機械学習手法を提案する。
提案手法では, 持続的ホモロジー, 持続性図, ワッサースタイン距離などの位相的データ解析理論を用いて混合データの研究を行う。
提案手法の性能は実世界の心臓病データセットを用いて実験的に検証した。
実験の結果, トポロジカル手法は心臓疾患の予測においていくつかの最先端アルゴリズムより優れていた。 Topological data analysis is a relatively new branch of machine learning that excels in studying high dimensional data, and is theoretically known to be robust against noise. Meanwhile, data objects with mixed numeric and categorical attributes are ubiquitous in real-world applications. However, topological methods are usually applied to point cloud data, and to the best of our knowledge there is no available framework for the classification of mixed data using topological methods. In this paper, we propose a novel topological machine learning method for mixed data classification. In the proposed method, we use theory from topological data analysis such as persistent homology, persistence diagrams and Wasserstein distance to study mixed data. The performance of the proposed method is demonstrated by experiments on a real-world heart disease dataset. Experimental results show that our topological method outperforms several state-of-the-art algorithms in the prediction of heart disease. | 翻訳日:2022-12-24 21:48:00 公開日:2020-06-12 |
| # エッジインテリジェンス: アーキテクチャ、課題、アプリケーション Edge Intelligence: Architectures, Challenges, and Applications ( http://arxiv.org/abs/2003.12172v2 ) ライセンス: Link先を確認 | Dianlei Xu, Tong Li, Yong Li, Xiang Su, Sasu Tarkoma, Tao Jiang, Jon Crowcroft, Pan Hui | (参考訳) エッジインテリジェンス(edge intelligence)は、データ収集、キャッシュ、処理、分析のための一連の接続されたシステムとデバイスを指す。
エッジインテリジェンスの目的は、データ処理の品質とスピードを高め、データのプライバシとセキュリティを保護することだ。
最近では2011年から現在にかけて現れたが、この研究分野は過去5年間で爆発的な成長を見せている。
本稿では,エッジインテリジェンスを取り巻く文献について,徹底的かつ包括的な調査を行う。
まず,エッジインテリジェンスの基本コンポーネントであるエッジキャッシング,エッジトレーニング,エッジ推論,エッジオフロードの4つを,提案システムとデプロイシステムに関する理論的および実用的な結果に基づいて同定する。
次に,4成分それぞれについて研究結果と観測結果を調べ,実用的問題,採用技術,応用目標などを含む分類法を提案することで,解の状態の体系的分類を目指す。
それぞれのカテゴリについて、採用した技術、目的、パフォーマンス、利点、欠点などの観点から、文学を精巧に比較、分析します。
この調査記事は、エッジインテリジェンスとその応用分野に関する包括的紹介を提供する。
さらに,新たな研究分野と最先端技術の発展を要約し,重要なオープン問題と理論的・技術的解決の可能性について議論する。 Edge intelligence refers to a set of connected systems and devices for data collection, caching, processing, and analysis in locations close to where data is captured based on artificial intelligence. The aim of edge intelligence is to enhance the quality and speed of data processing and protect the privacy and security of the data. Although recently emerged, spanning the period from 2011 to now, this field of research has shown explosive growth over the past five years. In this paper, we present a thorough and comprehensive survey on the literature surrounding edge intelligence. We first identify four fundamental components of edge intelligence, namely edge caching, edge training, edge inference, and edge offloading, based on theoretical and practical results pertaining to proposed and deployed systems. We then aim for a systematic classification of the state of the solutions by examining research results and observations for each of the four components and present a taxonomy that includes practical problems, adopted techniques, and application goals. For each category, we elaborate, compare and analyse the literature from the perspectives of adopted techniques, objectives, performance, advantages and drawbacks, etc. This survey article provides a comprehensive introduction to edge intelligence and its application areas. In addition, we summarise the development of the emerging research field and the current state-of-the-art and discuss the important open issues and possible theoretical and technical solutions. | 翻訳日:2022-12-19 22:09:35 公開日:2020-06-12 |
| # CoroNet:胸部X線画像からCOVID-19の検出と診断のためのディープニューラルネットワーク CoroNet: A deep neural network for detection and diagnosis of COVID-19 from chest x-ray images ( http://arxiv.org/abs/2004.04931v3 ) ライセンス: Link先を確認 | Asif Iqbal Khan, Junaid Latief Shah, Mudasir Bhat | (参考訳) 新型コロナウイルス(COVID-19)は2019年12月に中国の武漢で発生し、現在世界中に広まっている。
これまでに約18万人が感染し、全体で約114,698人が死亡した。
ケースの数が急速に増えているため、ほとんどの国ではテストキットやリソースが不足している。
検査キットの限られた量と毎日の患者数の増加は、放射線科医や臨床医が胸部x線を使って新型コロナウイルスの症例を検出するのに役立つ深層学習モデルの開発を促しました。
本研究では,胸部x線画像から新型コロナウイルスの感染を自動的に検出する深層畳み込みニューラルネットワークモデルcoronetを提案する。
提案モデルは、imagenetデータセットで事前トレーニングされたxceptionアーキテクチャと、2つの公開データベースからcovid-19やその他の胸部肺炎x線画像を収集したデータセットでトレーニングされたエンドツーエンドに基づいている。
結果と結論 CoroNetは, 得られたデータセットを用いて訓練および試験を行い, 提案したモデルが全体の89.6%の精度を達成し, さらに, 4種類の症例(肺炎ウイルスと肺炎ウイルスと正常)の精度とリコール率は93%, 98.2%であった。
3つの分類(covid vs pneumonia vs normal)に対して,本モデルでは95%の分類精度を示した。
本研究の予備結果は,より多くのトレーニングデータが利用可能になると,さらに改善できる可能性が示唆されている。
全体として、提案したモデルは現在の放射線学に基づく方法論を大幅に進歩させ、新型コロナウイルスのパンデミックの間、臨床医や放射線技師が診断、定量化、フォローアップに役立てることができる。 Background and Objective The novel Coronavirus also called COVID-19 originated in Wuhan, China in December 2019 and has now spread across the world. It has so far infected around 1.8 million people and claimed approximately 114,698 lives overall. As the number of cases are rapidly increasing, most of the countries are facing shortage of testing kits and resources. The limited quantity of testing kits and increasing number of daily cases encouraged us to come up with a Deep Learning model that can aid radiologists and clinicians in detecting COVID-19 cases using chest X-rays. Methods In this study, we propose CoroNet, a Deep Convolutional Neural Network model to automatically detect COVID-19 infection from chest X-ray images. The proposed model is based on Xception architecture pre-trained on ImageNet dataset and trained end-to-end on a dataset prepared by collecting COVID-19 and other chest pneumonia X-ray images from two different publically available databases. Results and Conclusion CoroNet has been trained and tested on the prepared dataset and the experimental results show that our proposed model achieved an overall accuracy of 89.6%, and more importantly the precision and recall rate for COVID-19 cases are 93% and 98.2% for 4-class cases (COVID vs Pneumonia bacterial vs pneumonia viral vs normal). For 3-class classification (COVID vs Pneumonia vs normal), the proposed model produced a classification accuracy of 95%. The preliminary results of this study look promising which can be further improved as more training data becomes available. Overall, the proposed model substantially advances the current radiology based methodology and during COVID-19 pandemic, it can be very helpful tool for clinical practitioners and radiologists to aid them in diagnosis, quantification and follow-up of COVID-19 cases. | 翻訳日:2022-12-14 20:37:14 公開日:2020-06-12 |
| # GANと微分軌道ラスタ化を用いたバードアイビューモデルにおける交通アクターの運動予測の改善 Improving Movement Predictions of Traffic Actors in Bird's-Eye View Models using GANs and Differentiable Trajectory Rasterization ( http://arxiv.org/abs/2004.06247v2 ) ライセンス: Link先を確認 | Eason Wang, Henggang Cui, Sai Yalamanchi, Mohana Moorthy, Fang-Chieh Chou, Nemanja Djuric | (参考訳) 自動運転パズルの最も重要な部分の1つは、周囲の交通機関の将来の動きを予測することであり、これにより自動運転車は複雑な世界での将来の経路を安全に効果的に計画することができる。
近年,産学ともに研究者の関心が高まり,この問題に対処するアルゴリズムが提案されている。
片側のトップダウンシーンのラスタ化と他方のGAN(Generative Adversarial Networks)に基づく手法は特に成功し,交通変動予測の課題に対する最先端の精度が得られた。
本稿では,これら2つの方向に基づいて,生成した軌道をラスタ空間に異なる方法でマッピングする条件判別器の入力において,新しい微分可能なラスタライザモジュールを用いたラスタベース条件付きGANアーキテクチャを提案する。
これにより、シーン準拠でないトラジェクトリとして判別器のタスクを単純化し、勾配を逆流させ、ジェネレータがより良くよりリアルなトラジェクトリを出力できるようにする。
提案手法を実世界の大規模データセット上で評価し,最先端のGANベースラインよりも優れていることを示す。 One of the most critical pieces of the self-driving puzzle is the task of predicting future movement of surrounding traffic actors, which allows the autonomous vehicle to safely and effectively plan its future route in a complex world. Recently, a number of algorithms have been proposed to address this important problem, spurred by a growing interest of researchers from both industry and academia. Methods based on top-down scene rasterization on one side and Generative Adversarial Networks (GANs) on the other have shown to be particularly successful, obtaining state-of-the-art accuracies on the task of traffic movement prediction. In this paper we build upon these two directions and propose a raster-based conditional GAN architecture, powered by a novel differentiable rasterizer module at the input of the conditional discriminator that maps generated trajectories into the raster space in a differentiable manner. This simplifies the task for the discriminator as trajectories that are not scene-compliant are easier to discern, and allows the gradients to flow back forcing the generator to output better, more realistic trajectories. We evaluated the proposed method on a large-scale, real-world data set, showing that it outperforms state-of-the-art GAN-based baselines. | 翻訳日:2022-12-13 09:15:14 公開日:2020-06-12 |
| # 構造規則化 Structural Regularization ( http://arxiv.org/abs/2004.12601v4 ) ライセンス: Link先を確認 | Jiaming Mao and Zhesheng Zheng | (参考訳) 本稿では,統計モデルの正則化として経済理論に基づく構造モデルを用いたデータモデリング手法を提案する。
構造モデルが誤特定されているとしても,データ生成機構が情報化されている限り,構造モデルと非構造正規化統計モデルの両方より優れていることを示す。
本手法は,事前知識として理論のベイズ解釈を可能にし,統計的予測と因果推論の両方に使用できる。
統計モデルに理論を組み込むことで、ドメイン外予測を大幅に改善し、因果効果推定のための縮小形および構造的アプローチを合成する方法を提供する。
シミュレーション実験により, 第一価格オークション, 入出力の動的モデル, 機器変数による需要推定など, 各種設定における本手法の可能性を示す。
本手法は、経済学だけでなく、理論モデルが重要な洞察を提供するが、重大な誤特定の懸念を受ける他の科学分野においても潜在的に応用できる。 We propose a novel method for modeling data by using structural models based on economic theory as regularizers for statistical models. We show that even if a structural model is misspecified, as long as it is informative about the data-generating mechanism, our method can outperform both the (misspecified) structural model and un-structural-regularized statistical models. Our method permits a Bayesian interpretation of theory as prior knowledge and can be used both for statistical prediction and causal inference. It contributes to transfer learning by showing how incorporating theory into statistical modeling can significantly improve out-of-domain predictions and offers a way to synthesize reduced-form and structural approaches for causal effect estimation. Simulation experiments demonstrate the potential of our method in various settings, including first-price auctions, dynamic models of entry and exit, and demand estimation with instrumental variables. Our method has potential applications not only in economics, but in other scientific disciplines whose theoretical models offer important insight but are subject to significant misspecification concerns. | 翻訳日:2022-12-09 06:07:02 公開日:2020-06-12 |
| # ランダム置換符号化による単語レベルの敵攻撃の防御 Defense of Word-level Adversarial Attacks via Random Substitution Encoding ( http://arxiv.org/abs/2005.00446v2 ) ライセンス: Link先を確認 | Zhaoyang Wang and Hongtao Wang | (参考訳) コンピュータビジョンタスクにおけるディープニューラルネットワークに対する敵対的な攻撃は、モデルが誤った予測を避けるのに役立つ多くの新しい技術を生み出した。
近年、自然言語処理(NLP)タスクの深層モデルに対する単語レベルの敵対攻撃は、例えば、感情分類ニューラルネットワークを騙して誤った判断を下すなど、強力な力を示している。
残念なことに、そのような単語レベルの同義語置換に基づく攻撃は認識や検出が難しいため、以前の文献では防御を論じていない。
本稿では,この問題に光を当て,RSE(Random Substitution Encoding)と呼ばれる,ニューラルネットワークのトレーニングプロセスにランダム置換エンコーダを導入する新しい防衛フレームワークを提案する。
テキスト分類タスクに関する広範囲な実験は,様々なベースおよび攻撃モデルにおいて,単語レベルの敵攻撃を防御する枠組みの有効性を示す。 The adversarial attacks against deep neural networks on computer vision tasks have spawned many new technologies that help protect models from avoiding false predictions. Recently, word-level adversarial attacks on deep models of Natural Language Processing (NLP) tasks have also demonstrated strong power, e.g., fooling a sentiment classification neural network to make wrong decisions. Unfortunately, few previous literatures have discussed the defense of such word-level synonym substitution based attacks since they are hard to be perceived and detected. In this paper, we shed light on this problem and propose a novel defense framework called Random Substitution Encoding (RSE), which introduces a random substitution encoder into the training process of original neural networks. Extensive experiments on text classification tasks demonstrate the effectiveness of our framework on defense of word-level adversarial attacks, under various base and attack models. | 翻訳日:2022-12-07 22:51:03 公開日:2020-06-12 |
| # 微分可能なグレディ部分モジュラー最大化:保証、勾配推定器および応用 Differentiable Greedy Submodular Maximization: Guarantees, Gradient Estimators, and Applications ( http://arxiv.org/abs/2005.02578v4 ) ライセンス: Link先を確認 | Shinsaku Sakaue | (参考訳) 感度分析やエンドツーエンド学習などの動機付けにより、微分可能最適化アルゴリズムの需要は大幅に増加した。
本稿では,単調部分モジュラー関数の最大化を微分可能とする欲望アルゴリズムを理論的に保証した多機能フレームワークを提案する。
ランダム化によってグリーディアルゴリズムを滑らかにし、濃度や$\kappa$-extensibleシステム制約の場合に期待する元の近似保証をほぼ回復することを示した。
また、予測出力依存量の非バイアス勾配推定器を効率的に計算する方法を示す。
各種アプリケーション向けにインスタンス化することで,フレームワークの有用性を示す。 Motivated by, e.g., sensitivity analysis and end-to-end learning, the demand for differentiable optimization algorithms has been significantly increasing. In this paper, we establish a theoretically guaranteed versatile framework that makes the greedy algorithm for monotone submodular function maximization differentiable. We smooth the greedy algorithm via randomization, and prove that it almost recovers original approximation guarantees in expectation for the cases of cardinality and $\kappa$-extensible system constrains. We also show how to efficiently compute unbiased gradient estimators of any expected output-dependent quantities. We demonstrate the usefulness of our framework by instantiating it for various applications. | 翻訳日:2022-12-06 06:16:31 公開日:2020-06-12 |
| # 分子特性予測のための多視点グラフニューラルネットワーク Multi-View Graph Neural Networks for Molecular Property Prediction ( http://arxiv.org/abs/2005.13607v3 ) ライセンス: Link先を確認 | Hehuan Ma, Yatao Bian, Yu Rong, Wenbing Huang, Tingyang Xu, Weiyang Xie, Geyan Ye, Junzhou Huang | (参考訳) 分子特性予測の要点は、分子の有意義な表現を生成することである。
1つの有望なルートは、グラフニューラルネットワーク(GNN)を通じて分子グラフ構造を利用することである。
原子と結合が分子の化学的性質に大きく影響を与えることはよく知られており、表現的モデルでは、ノード(原子)とエッジ(結合)の両方の情報を同時に利用することができる。
本稿では,より正確な分子特性の予測を可能にするマルチビューメッセージパッシングアーキテクチャであるmv-gnn(multi-view graph neural network)を提案する。
MV-GNNでは,学習過程を安定させるために,自己注意型読み出しコンポーネントと不一致損失を導入する。
この読み出しコンポーネントはアーキテクチャ全体を解釈可能にします。
我々はさらに、MV-GNNの表現力を高めるために、2つのビューの情報通信を強化する相互依存型メッセージパッシング方式を提案し、その結果、MV-GNN^cross変種となる。
最後に、非同型グラフの区別の観点から、2つの提案されたモデルの表現性を理論的に正当化する。
幅広い実験により、mv-gnnモデルが様々な挑戦的なベンチマークで最先端モデルよりも著しく優れた性能を達成できることが示されている。
一方、ノードの重要性の可視化結果は、MV-GNNモデルの解釈能力を確認する事前知識と一致している。 The crux of molecular property prediction is to generate meaningful representations of the molecules. One promising route is to exploit the molecular graph structure through Graph Neural Networks (GNNs). It is well known that both atoms and bonds significantly affect the chemical properties of a molecule, so an expressive model shall be able to exploit both node (atom) and edge (bond) information simultaneously. Guided by this observation, we present Multi-View Graph Neural Network (MV-GNN), a multi-view message passing architecture to enable more accurate predictions of molecular properties. In MV-GNN, we introduce a shared self-attentive readout component and disagreement loss to stabilize the training process. This readout component also renders the whole architecture interpretable. We further boost the expressive power of MV-GNN by proposing a cross-dependent message passing scheme that enhances information communication of the two views, which results in the MV-GNN^cross variant. Lastly, we theoretically justify the expressiveness of the two proposed models in terms of distinguishing non-isomorphism graphs. Extensive experiments demonstrate that MV-GNN models achieve remarkably superior performance over the state-of-the-art models on a variety of challenging benchmarks. Meanwhile, visualization results of the node importance are consistent with prior knowledge, which confirms the interpretability power of MV-GNN models. | 翻訳日:2022-12-02 05:25:49 公開日:2020-06-12 |
| # ユーザ自己報告型Quat Scale Ratingsを超えて:自動ダイアログ評価のための比較モデル Beyond User Self-Reported Likert Scale Ratings: A Comparison Model for Automatic Dialog Evaluation ( http://arxiv.org/abs/2005.10716v2 ) ライセンス: Link先を確認 | Weixin Liang, James Zou, Zhou Yu | (参考訳) オープンドメインダイアログシステム評価はダイアログ研究における最も重要な課題の1つである。
BLEUのような既存の自動評価指標はほとんど参照ベースである。
生成されたレスポンスと利用可能な参照数との差を計算する。
Likert-scoreベースの自己報告型ユーザ評価は、Amazon Alexa Prizeチャットボットなどのソーシャル会話システムで広く採用されている。
しかし、自己報告されたユーザレーティングは、異なるユーザ間のバイアスとばらつきに苦しむ。
この問題を緩和するため、比較課題としてダイアログ評価を定式化する。
また,自動評価モデルCMADE(Comparison Model for Automatic Dialog Evaluation)を提案する。
具体的には、まず自己教師付き手法を用いて、より良い対話特徴表現を学習し、次にKNNとShapleyを使用して、混乱したサンプルを除去する。
実験の結果,対話比較作業においてCMADEの精度は89.2%であった。 Open Domain dialog system evaluation is one of the most important challenges in dialog research. Existing automatic evaluation metrics, such as BLEU are mostly reference-based. They calculate the difference between the generated response and a limited number of available references. Likert-score based self-reported user rating is widely adopted by social conversational systems, such as Amazon Alexa Prize chatbots. However, self-reported user rating suffers from bias and variance among different users. To alleviate this problem, we formulate dialog evaluation as a comparison task. We also propose an automatic evaluation model CMADE (Comparison Model for Automatic Dialog Evaluation) that automatically cleans self-reported user ratings as it trains on them. Specifically, we first use a self-supervised method to learn better dialog feature representation, and then use KNN and Shapley to remove confusing samples. Our experiments show that CMADE achieves 89.2% accuracy in the dialog comparison task. | 翻訳日:2022-11-30 22:36:39 公開日:2020-06-12 |
| # Cubical Ripser:画像とボリュームデータの永続的ホモロジーを計算するためのソフトウェア Cubical Ripser: Software for computing persistent homology of image and volume data ( http://arxiv.org/abs/2005.12692v2 ) ライセンス: Link先を確認 | Shizuo Kaji, Takeki Sudo, Kazushi Ahara | (参考訳) 画像および体積データの永続的ホモロジー(より正確には重み付き立方体錯体)を計算するための立方体リプサーを導入する。
我々の知る限り、立方体リプサーは現在、重み付き立方体の永続的ホモロジーを計算するための最も高速かつ最もメモリ効率の高いプログラムである。
我々は、永続的ホモロジーと畳み込みニューラルネットワークをうまく組み合わせた画像解析の例で、我々のソフトウェアを実証する。
当社のオープンソース実装はオンラインで利用可能です。 We introduce Cubical Ripser for computing persistent homology of image and volume data (more precisely, weighted cubical complexes). To our best knowledge, Cubical Ripser is currently the fastest and the most memory-efficient program for computing persistent homology of weighted cubical complexes. We demonstrate our software with an example of image analysis in which persistent homology and convolutional neural networks are successfully combined. Our open-source implementation is available online. | 翻訳日:2022-11-30 03:55:54 公開日:2020-06-12 |
| # 注意支援CNNを用いたハイパースペクトル画像分類 Hyperspectral Image Classification with Attention Aided CNNs ( http://arxiv.org/abs/2005.11977v2 ) ライセンス: Link先を確認 | Renlong Hang, Zhu Li, Qingshan Liu, Pedram Ghamisi, and Shuvra S. Bhattacharyya | (参考訳) 畳み込みニューラルネットワーク(cnns)はハイパースペクトル画像分類に広く使われている。
一般的なプロセスとして、小さな立方体はまずハイパースペクトル画像から切り取り、その後cnnに送られてスペクトルと空間の特徴を抽出する。
異なるスペクトルバンドとキューブ内の空間位置が異なる識別能力を持つことはよく知られている。
十分に検討すれば、この事前情報はCNNの学習能力の向上に役立つだろう。
この方向に沿って,高スペクトル画像のスペクトル空間分類のための注意支援型CNNモデルを提案する。
具体的には、スペクトル分類と空間分類において、スペクトル注意サブネットワークと空間注意サブネットワークをそれぞれ提案する。
どちらも従来のCNNモデルに基づいており、ネットワークがより差別的なチャネルや位置に集中できるように注意モジュールを組み込んでいる。
最終分類フェーズでは、スペクトル分類結果と空間分類結果とを適応加重和法により結合する。
提案モデルの有効性を評価するため,3つの標準ハイパースペクトルデータセットを用いて実験を行った。
実験の結果,提案モデルは最先端cnnモデルと比較して優れた性能が得られることがわかった。 Convolutional neural networks (CNNs) have been widely used for hyperspectral image classification. As a common process, small cubes are firstly cropped from the hyperspectral image and then fed into CNNs to extract spectral and spatial features. It is well known that different spectral bands and spatial positions in the cubes have different discriminative abilities. If fully explored, this prior information will help improve the learning capacity of CNNs. Along this direction, we propose an attention aided CNN model for spectral-spatial classification of hyperspectral images. Specifically, a spectral attention sub-network and a spatial attention sub-network are proposed for spectral and spatial classification, respectively. Both of them are based on the traditional CNN model, and incorporate attention modules to aid networks focus on more discriminative channels or positions. In the final classification phase, the spectral classification result and the spatial classification result are combined together via an adaptively weighted summation method. To evaluate the effectiveness of the proposed model, we conduct experiments on three standard hyperspectral datasets. The experimental results show that the proposed model can achieve superior performance compared to several state-of-the-art CNN-related models. | 翻訳日:2022-11-29 06:22:24 公開日:2020-06-12 |
| # 胸部X線画像におけるCOVID-19肺炎、非COVID-19肺炎、および健常者の自動分類 : データ増強法の組み合わせ Automatic classification between COVID-19 pneumonia, non-COVID-19 pneumonia, and the healthy on chest X-ray image: combination of data augmentation methods ( http://arxiv.org/abs/2006.00730v2 ) ライセンス: Link先を確認 | Mizuho Nishio, Shunjiro Noguchi, Hidetoshi Matsuo, Takamichi Murakami | (参考訳) 目的】covid-19肺炎,非covid-19肺炎,健康な胸部x線画像の分類のためのコンピュータ支援診断システム(cxdx)を開発し,検証することを目的とした。
2つの公開データセットから、covid-19肺炎患者、非covid-19肺炎患者、健康なサンプルの215、533、500のcxr画像を含む1248のcxr画像が得られた。
提案するcadxシステムは,vgg16を事前学習モデルとして,従来法と混合法を組み合わせたデータ拡張手法として用いた。
他の訓練済みモデルとVGG16ベースのモデルを比較した。
単一の型やデータ拡張方法も評価されなかった。
CADxシステムの構築と評価にはトレーニング/検証/テストセットの分割が用いられた。
125枚のCXR画像を用いて3カテゴリの精度を評価した。
結果:CADシステムの3カテゴリーの精度は, 肺炎, 非肺炎, 健康者間で83.6%であった。
肺炎に対する感受性は90%以上であった。
従来法と混合法の組み合わせは, 単型法やデータ拡張法よりも有用であった。
結論: 本研究は, 3カテゴリー分類のための正確なCADxシステムを構築することができた。
CADxシステムのソースコードは、COVID-19研究のためのオープンソースとして利用可能です。 Purpose: This study aimed to develop and validate computer-aided diagnosis (CXDx) system for classification between COVID-19 pneumonia, non-COVID-19 pneumonia, and the healthy on chest X-ray (CXR) images. Materials and Methods: From two public datasets, 1248 CXR images were obtained, which included 215, 533, and 500 CXR images of COVID-19 pneumonia patients, non-COVID-19 pneumonia patients, and the healthy samples. The proposed CADx system utilized VGG16 as a pre-trained model and combination of conventional method and mixup as data augmentation methods. Other types of pre-trained models were compared with the VGG16-based model. Single type or no data augmentation methods were also evaluated. Splitting of training/validation/test sets was used when building and evaluating the CADx system. Three-category accuracy was evaluated for test set with 125 CXR images. Results: The three-category accuracy of the CAD system was 83.6% between COVID-19 pneumonia, non-COVID-19 pneumonia, and the healthy. Sensitivity for COVID-19 pneumonia was more than 90%. The combination of conventional method and mixup was more useful than single type or no data augmentation method. Conclusion: This study was able to create an accurate CADx system for the 3-category classification. Source code of our CADx system is available as open source for COVID-19 research. | 翻訳日:2022-11-26 07:34:34 公開日:2020-06-12 |
| # リアルタイムグラフの線形時間における組合せ最適化問題の解法 Learning to Solve Combinatorial Optimization Problems on Real-World Graphs in Linear Time ( http://arxiv.org/abs/2006.03750v2 ) ライセンス: Link先を確認 | Iddo Drori, Anant Kharkar, William R. Sickinger, Brandon Kates, Qiang Ma, Suwen Ge, Eden Dolev, Brenda Dietrich, David P. Williamson, Madeleine Udell | (参考訳) グラフ問題に対する組合せ最適化アルゴリズムは通常、専門家が問題構造に注意を払って、新しい問題ごとに再設計される。
本研究では,最小スパンニングツリー,最短経路,旅行セールスマン問題,車両ルーティング問題などを含む,状態,行動,報酬によって定義された単一プレイヤーゲームとして定式化できるグラフに対する組合せ最適化問題を専門知識なく解決する新しいフレームワークを開発する。
本手法は,グラフのラベル付きトレーニングセット上で強化学習を用いてグラフニューラルネットワークを訓練する。
トレーニングされたネットワークは、線形実行時間で新しいグラフインスタンスに近似したソリューションを出力する。
対照的に、グラフ上のNPハード問題に適した以前の近似アルゴリズムやヒューリスティックスは、一般に2次実行時間を持つ。
1 に近い最適性ギャップを持つ多項式およびNP-ハード問題に対する我々のアプローチの適用性を示し、我々の方法がうまく一般化可能であることを示す。
(i)小さなグラフのトレーニングから大きなグラフのテストまで
(二) ある種類の無作為グラフの訓練から他の種類の無作為グラフの試験まで
(iii) ランダムグラフのトレーニングから実世界のグラフでの実行まで。 Combinatorial optimization algorithms for graph problems are usually designed afresh for each new problem with careful attention by an expert to the problem structure. In this work, we develop a new framework to solve any combinatorial optimization problem over graphs that can be formulated as a single player game defined by states, actions, and rewards, including minimum spanning tree, shortest paths, traveling salesman problem, and vehicle routing problem, without expert knowledge. Our method trains a graph neural network using reinforcement learning on an unlabeled training set of graphs. The trained network then outputs approximate solutions to new graph instances in linear running time. In contrast, previous approximation algorithms or heuristics tailored to NP-hard problems on graphs generally have at least quadratic running time. We demonstrate the applicability of our approach on both polynomial and NP-hard problems with optimality gaps close to 1, and show that our method is able to generalize well: (i) from training on small graphs to testing on large graphs; (ii) from training on random graphs of one type to testing on random graphs of another type; and (iii) from training on random graphs to running on real world graphs. | 翻訳日:2022-11-24 20:56:33 公開日:2020-06-12 |
| # 強化学習によるCartPoleシステムのバランシング - チュートリアル Balancing a CartPole System with Reinforcement Learning -- A Tutorial ( http://arxiv.org/abs/2006.04938v2 ) ライセンス: Link先を確認 | Swagat Kumar | (参考訳) 本稿では,カートポールシステムを制御するための強化学習(rl)アルゴリズムの実装の詳細について述べる。
具体的には、q-learning、deep q networks(dqn)、double dqn、dualling networks、(優先) experience replayといった様々なrl概念を説明し、学習性能への影響を示す。
その過程で、読者は上記の概念を実装するために使われるOpenAI/GymおよびKerasユーティリティに紹介される。
DQN with PERは150回以内で問題を解くことができる他のアーキテクチャの中で最高のパフォーマンスを提供する。 In this paper, we provide the details of implementing various reinforcement learning (RL) algorithms for controlling a Cart-Pole system. In particular, we describe various RL concepts such as Q-learning, Deep Q Networks (DQN), Double DQN, Dueling networks, (prioritized) experience replay and show their effect on the learning performance. In the process, the readers will be introduced to OpenAI/Gym and Keras utilities used for implementing the above concepts. It is observed that DQN with PER provides best performance among all other architectures being able to solve the problem within 150 episodes. | 翻訳日:2022-11-24 02:47:36 公開日:2020-06-12 |
| # 長い科学的テキストの要約のための抽象的アプローチと抽出的アプローチの組み合わせ Combination of abstractive and extractive approaches for summarization of long scientific texts ( http://arxiv.org/abs/2006.05354v2 ) ライセンス: Link先を確認 | Vladislav Tretyak, Denis Stepanov | (参考訳) 本研究では,抽出的手法と抽象的手法の両方の利点を利用した,長い科学的文書の要約を生成する手法を提案する。
抽象的な方法で要約を作成する前に、抽出ステップを実行し、それを抽象モジュールの条件付けに使用する。
抽出器と抽象化器の両方に,事前学習したトランスフォーマティブ言語モデルを用いた。
実験の結果,抽出モデルと抽象モデルの組み合わせにより,要約結果とルージュスコアが有意に向上した。 In this research work, we present a method to generate summaries of long scientific documents that uses the advantages of both extractive and abstractive approaches. Before producing a summary in an abstractive manner, we perform the extractive step, which then is used for conditioning the abstractor module. We used pre-trained transformer-based language models, for both extractor and abstractor. Our experiments showed that using extractive and abstractive models jointly significantly improves summarization results and ROUGE scores. | 翻訳日:2022-11-23 14:53:46 公開日:2020-06-12 |
| # 雑音ラベルを用いたロバスト深層学習のためのメタ遷移適応 Meta Transition Adaptation for Robust Deep Learning with Noisy Labels ( http://arxiv.org/abs/2006.05697v2 ) ライセンス: Link先を確認 | Jun Shu, Qian Zhao, Zongben Xu, Deyu Meng | (参考訳) データに基づく固有のクラス間遷移確率を発見するために、ノイズ遷移を用いた学習は、破損したラベルに対する堅牢な深層学習にとって重要なアプローチとなっている。
従来の手法では、特定のクラスに属する1確率の強い確実なアンカーポイントを前提として、一般的には実現不可能である、あるいは、遷移行列を直接推定し、ノイズのあるサンプルから分類器を学習することで、常に間違ったアノテーション情報、特に大きなノイズケースで誤認される不正確な推定を行う。
これらの問題を緩和するため,本研究はタスクに対する新しいメタトランジション学習戦略を提案する。
具体的には、クリーンなラベルを持つ小さなメタデータセットのサウンドガイダンスにより、ノイズ遷移行列と分類器パラメータを相互に改善し、ノイズの多いトレーニングサンプルに閉じ込められないようにし、アンカーポイントの仮定を不要にすることができる。
また,本手法は,所望の遷移行列を正しく推定する上で,統計的一貫性を保証できることを示す。
総合的な合成および実実験により,本手法は従来よりも頑健な性能で,遷移行列をより正確に抽出できることが検証された。
ラベル分布学習と本質的な関係についても考察し,無音シナリオにおいても優れた性能を示す。 To discover intrinsic inter-class transition probabilities underlying data, learning with noise transition has become an important approach for robust deep learning on corrupted labels. Prior methods attempt to achieve such transition knowledge by pre-assuming strongly confident anchor points with 1-probability belonging to a specific class, generally infeasible in practice, or directly jointly estimating the transition matrix and learning the classifier from the noisy samples, always leading to inaccurate estimation misguided by wrong annotation information especially in large noise cases. To alleviate these issues, this study proposes a new meta-transition-learning strategy for the task. Specifically, through the sound guidance of a small set of meta data with clean labels, the noise transition matrix and the classifier parameters can be mutually ameliorated to avoid being trapped by noisy training samples, and without need of any anchor point assumptions. Besides, we prove our method is with statistical consistency guarantee on correctly estimating the desired transition matrix. Extensive synthetic and real experiments validate that our method can more accurately extract the transition matrix, naturally following its more robust performance than prior arts. Its essential relationship with label distribution learning is also discussed, which explains its fine performance even under no-noise scenarios. | 翻訳日:2022-11-23 04:30:42 公開日:2020-06-12 |
| # 特徴空間におけるトライボコローションレジームのクラスタ化とマップ化のための機械学習モデル Machine learning model to cluster and map tribocorrosion regimes in feature space ( http://arxiv.org/abs/2006.06252v2 ) ライセンス: Link先を確認 | Rahul Ramachandran | (参考訳) トライボコロージョンマップは、許容される劣化率の操作条件を特定するのに役立つ。
本稿では,トライボシステム性能の予測に使用可能なトライボコローションマップを生成するための機械学習手法を提案する。
まず、教師なし機械学習を使用して、トライボコローション実験データからクラスタを識別およびラベル付けする。
識別されたクラスタは、サポートベクトル分類モデルのトレーニングに使用される。
トレーニングされたSVMは、トライボコロージョンマップを生成するために使用される。
生成された地図は、文献の標準地図と比較される。 Tribocorrosion maps serve the purpose of identifying operating conditions for acceptable rate of degradation. This paper proposes a machine learning based approach to generate tribocorrosion maps, which can be used to predict tribosystem performance. First, unsupervised machine learning is used to identify and label clusters from tribocorrosion experimental data. The identified clusters are then used to train a support vector classification model. The trained SVM is used to generate tribocorrosion maps. The generated maps are compared with the standard maps from literature. | 翻訳日:2022-11-22 14:41:51 公開日:2020-06-12 |
| # ニューラルネットワークにおける回転表現の連続性の再検討 Revisiting the Continuity of Rotation Representations in Neural Networks ( http://arxiv.org/abs/2006.06234v2 ) ライセンス: Link先を確認 | Sitao Xiang, Hao Li | (参考訳) 本稿では,ニューラルネットワークにおける回転表現に関する先行研究で遭遇したオイラー角と単位四元数の病理的挙動を注意深く解析する。
特に、ある問題に対して、これらの2つの表現は、いくつかの入力に対して完全に間違った結果をもたらすことを示し、この挙動は問題自体のトポロジ的特性に固有のものであり、不適切なネットワークアーキテクチャやトレーニング手順によって引き起こされるものではないことを示す。
さらに、この振る舞いの修正を目的とした高次元ユークリッド空間への$\mathrm{SO}(3)$の埋め込みは、入力空間の位相変化を引き起こす入力の対称性が可能であるため、普遍的に有効ではないことを示す。
代替手法としてアンサンブル・トリックを提案する。 In this paper, we provide some careful analysis of certain pathological behavior of Euler angles and unit quaternions encountered in previous works related to rotation representation in neural networks. In particular, we show that for certain problems, these two representations will provably produce completely wrong results for some inputs, and that this behavior is inherent in the topological property of the problem itself and is not caused by unsuitable network architectures or training procedures. We further show that previously proposed embeddings of $\mathrm{SO}(3)$ into higher dimensional Euclidean spaces aimed at fixing this behavior are not universally effective, due to possible symmetry in the input causing changes to the topology of the input space. We propose an ensemble trick as an alternative solution. | 翻訳日:2022-11-22 14:35:42 公開日:2020-06-12 |
| # 右から左に伝える:目と音の空間対応学習 Telling Left from Right: Learning Spatial Correspondence of Sight and Sound ( http://arxiv.org/abs/2006.06175v2 ) ライセンス: Link先を確認 | Karren Yang, Bryan Russell, Justin Salamon | (参考訳) 自己教師付き音声視覚学習は、視覚入力と音声入力の対応を利用して、ビデオの有用な表現を捉えることを目的としている。
既存のアプローチは主に感覚ストリーム間の意味情報のマッチングに重点を置いている。
本稿では,音声ストリーム内の空間情報を視覚ストリーム内の音源の位置に合わせるという直交原理を活用するための,新たな自己教師型タスクを提案する。
我々のアプローチは単純だが効果的だ。
我々は、左右のオーディオチャンネルが反転したかどうかを判断するためにモデルを訓練し、視覚とオーディオストリーム間の空間的ローカライゼーションについて推論を強制する。
本手法を訓練し,評価するために,900時間以上の映像を含む大規模ビデオデータセット,YouTube-ASMR-300Kを導入する。
空間対応を理解すれば,3つの視聴覚タスクにおいて,空間的音声の手がかりを活用しない教師付きベースラインや自己教師付きベースラインよりも定量的に獲得できることを示す。
ambisonic audioで360度ビデオに自己教師ありのアプローチを拡張する方法も示しています。 Self-supervised audio-visual learning aims to capture useful representations of video by leveraging correspondences between visual and audio inputs. Existing approaches have focused primarily on matching semantic information between the sensory streams. We propose a novel self-supervised task to leverage an orthogonal principle: matching spatial information in the audio stream to the positions of sound sources in the visual stream. Our approach is simple yet effective. We train a model to determine whether the left and right audio channels have been flipped, forcing it to reason about spatial localization across the visual and audio streams. To train and evaluate our method, we introduce a large-scale video dataset, YouTube-ASMR-300K, with spatial audio comprising over 900 hours of footage. We demonstrate that understanding spatial correspondence enables models to perform better on three audio-visual tasks, achieving quantitative gains over supervised and self-supervised baselines that do not leverage spatial audio cues. We also show how to extend our self-supervised approach to 360 degree videos with ambisonic audio. | 翻訳日:2022-11-22 14:33:25 公開日:2020-06-12 |
| # ロバストなグローバル登録のためのポイントクラウドの最小ポテンシャルエネルギー Minimum Potential Energy of Point Cloud for Robust Global Registration ( http://arxiv.org/abs/2006.06460v2 ) ライセンス: Link先を確認 | Zijie Wu, Yaonan Wang, Qing Zhu, Jianxu Mao, Haotian Wu, Mingtao Feng and Ajmal Mian | (参考訳) 本稿では,大域点集合登録のための最小重力ポテンシャルエネルギー(MPE)に基づく新しいアルゴリズムを提案する。
特徴記述子抽出アルゴリズムは、過去数十年で点集合を整列させる標準的なアプローチとして登場した。
しかし、点集合がノイズ(ガウスと一様)のような生の点データ問題に苦しむ場合、アライメントは効果を取るのに困難である。
ポイントセット間の対応を求める記述子を通常抽出する最も既存のポイントセット登録方法とは異なり,提案するmpeアライメント法は,従来の記述子抽出によらず,局所的およびグローバル的登録方法にもよらず,大規模な生データオフセットを処理することができる。
解を大域的最適凸近似に分解し, 局所的最小値への高速降下過程に分解する。
近似ステップでは、提案された最小ポテンシャルエネルギー(mpe)アプローチは2つの主要なステップからなる。
第一に, 力トラクション演算子の構成により, ポテンシャルエネルギー最小位置を計算するだけでよいこと, 第二に, mpe点の発見に関して, 登録手続きの状態を観察するために2つの旗を用いる新しい理論を提案する。
我々が採用した極小への高速降下過程の方法は反復的最近点アルゴリズムであり、大域的最小値を達成することができる。
本研究では,実データだけでなく合成データにおいても提案アルゴリズムの性能を示す。
提案手法は, 効率, 精度, 耐雑音性に優れた他のグローバル手法よりも優れている。 In this paper, we propose a novel minimum gravitational potential energy (MPE)-based algorithm for global point set registration. The feature descriptors extraction algorithms have emerged as the standard approach to align point sets in the past few decades. However, the alignment can be challenging to take effect when the point set suffers from raw point data problems such as noises (Gaussian and Uniformly). Different from the most existing point set registration methods which usually extract the descriptors to find correspondences between point sets, our proposed MPE alignment method is able to handle large scale raw data offset without depending on traditional descriptors extraction, whether for the local or global registration methods. We decompose the solution into a global optimal convex approximation and the fast descent process to a local minimum. For the approximation step, the proposed minimum potential energy (MPE) approach consists of two main steps. Firstly, according to the construction of the force traction operator, we could simply compute the position of the potential energy minimum; Secondly, with respect to the finding of the MPE point, we propose a new theory that employs the two flags to observe the status of the registration procedure. The method of fast descent process to the minimum that we employed is the iterative closest point algorithm; it can achieve the global minimum. We demonstrate the performance of the proposed algorithm on synthetic data as well as on real data. The proposed method outperforms the other global methods in terms of both efficiency, accuracy and noise resistance. | 翻訳日:2022-11-22 13:58:10 公開日:2020-06-12 |
| # BLEUにおけるTangled up: 自動機械翻訳評価尺度の再評価 Tangled up in BLEU: Reevaluating the Evaluation of Automatic Machine Translation Evaluation Metrics ( http://arxiv.org/abs/2006.06264v2 ) ライセンス: Link先を確認 | Nitika Mathur, Timothy Baldwin and Trevor Cohn | (参考訳) 自動メトリクスは機械翻訳システムの開発と評価に基礎を置いている。
自動測定が人間の評価の金本位制とどの程度一致しているかを判断することは簡単な問題ではない。
測定基準を判断する現在の手法は、評価に使用される翻訳、特に外れ値の存在に非常に敏感であることを示し、測定値の有効性について誤った確固たる結論を導くことがしばしばある。
最後に,人的判断に対する自動判断基準に基づく性能改善のしきい値化手法を開発し,システム品質の重要さと否定される有意な人的差について,I型とII型の誤りの定量化を可能にする。
これらの結果から,機械翻訳におけるメートル法評価とシステム性能評価のプロトコルの改善が示唆された。 Automatic metrics are fundamental for the development and evaluation of machine translation systems. Judging whether, and to what extent, automatic metrics concur with the gold standard of human evaluation is not a straightforward problem. We show that current methods for judging metrics are highly sensitive to the translations used for assessment, particularly the presence of outliers, which often leads to falsely confident conclusions about a metric's efficacy. Finally, we turn to pairwise system ranking, developing a method for thresholding performance improvement under an automatic metric against human judgements, which allows quantification of type I versus type II errors incurred, i.e., insignificant human differences in system quality that are accepted, and significant human differences that are rejected. Together, these findings suggest improvements to the protocols for metric evaluation and system performance evaluation in machine translation. | 翻訳日:2022-11-22 13:50:04 公開日:2020-06-12 |
| # パスベースグラフ畳み込みネットワークを用いた文書間のマルチホップ読解 Multi-hop Reading Comprehension across Documents with Path-based Graph Convolutional Network ( http://arxiv.org/abs/2006.06478v2 ) ライセンス: Link先を確認 | Zeyun Tang, Yongliang Shen, Xinyin Ma, Wei Xu, Jiale Yu, Weiming Lu | (参考訳) 複数文書にわたるマルチホップ読解が近年注目を集めている。
本稿では,このマルチホップ読解問題に取り組むための新しい手法を提案する。
人間の推論処理に着想を得て,支援文書から経路ベースの推論グラフを構築する。
このグラフはグラフベースのアプローチとパスベースのアプローチの両方を組み合わせられるので、マルチホップ推論の方がよい。
一方,Gated-RGCNでは,経路に基づく推論グラフのエビデンスを蓄積し,文書間を伝播する情報の有用性を制御し,推論中に質問情報を追加するための新たな質問認識ゲーティング機構を提案する。
我々はウィキホップデータセットのアプローチを評価し,これまでのアプローチに対して最先端の精度を達成する。
特に、アンサンブルモデルは人間のパフォーマンスを4.2%上回っています。 Multi-hop reading comprehension across multiple documents attracts much attention recently. In this paper, we propose a novel approach to tackle this multi-hop reading comprehension problem. Inspired by human reasoning processing, we construct a path-based reasoning graph from supporting documents. This graph can combine both the idea of the graph-based and path-based approaches, so it is better for multi-hop reasoning. Meanwhile, we propose Gated-RGCN to accumulate evidence on the path-based reasoning graph, which contains a new question-aware gating mechanism to regulate the usefulness of information propagating across documents and add question information during reasoning. We evaluate our approach on WikiHop dataset, and our approach achieves state-of-the-art accuracy against previously published approaches. Especially, our ensemble model surpasses human performance by 4.2%. | 翻訳日:2022-11-22 13:49:17 公開日:2020-06-12 |
| # スマートフォンセンサを用いた危険道路ユーザ検出と再帰量化分析 Vulnerable Road User Detection Using Smartphone Sensors and Recurrence Quantification Analysis ( http://arxiv.org/abs/2006.06941v1 ) ライセンス: Link先を確認 | Huthaifa I. Ashqar, Mohammed Elhenawy, Mahmoud Masoud, Andry Rakotonirainy, and Hesham A. Rakha | (参考訳) 自律走行車(AV)産業の急速な進歩により、スマートフォンを用いた危険道路利用者(VRU)の検出は、C-ITS(Cooperative Intelligent Transportation Systems)の安全適用に不可欠である。
本研究は,低消費電力スマートフォンセンサとRQA(Recurrence Quantification Analysis)機能の利用について検討する。
これらの特徴は、加速度計、ジャイロスコープ、回転ベクトル(x, y, z)の9つのチャネルから抽出された閾値類似性行列上で計算される。
gpsの高消費電力を考えると、gpsデータは除外される。
RQA機能は、バイナリ、4クラス、および5クラスのランダムフォレスト分類器を使用する際の分類精度を調べるために、伝統的なタイムドメイン機能に追加される。
実験の結果,RQAの特徴のみを98。
34%, 98。
79%であった。
結果は以前の報告した精度を上回り、rqa機能はvru検出に対して高い分類能力を持つことを実証した。 With the fast advancements of the Autonomous Vehicle (AV) industry, detection of Vulnerable Road Users (VRUs) using smartphones is critical for safety applications of Cooperative Intelligent Transportation Systems (C-ITSs). This study explores the use of low-power smartphone sensors and the Recurrence Quantification Analysis (RQA) features for this task. These features are computed over a thresholded similarity matrix extracted from nine channels: accelerometer, gyroscope, and rotation vector in each direction (x, y, and z). Given the high-power consumption of GPS, GPS data is excluded. RQA features are added to traditional time domain features to investigate the classification accuracy when using binary, four-class, and five-class Random Forest classifiers. Experimental results show a promising performance when only using RQA features with a resulted accuracy of 98. 34% and a 98. 79% by adding time domain features. Results outperform previous reported accuracy, demonstrating that RQA features have high classifying capability with respect to VRU detection. | 翻訳日:2022-11-22 04:54:26 公開日:2020-06-12 |
| # 英国バイオバンク4万人の頚椎椎体MRIにおける腎分節の検討 Kidney segmentation in neck-to-knee body MRI of 40,000 UK Biobank participants ( http://arxiv.org/abs/2006.06996v1 ) ライセンス: Link先を確認 | Taro Langner, Andreas \"Ostling, Lukas Maldonis, Albin Karlsson, Daniel Olmo, Dag Lindgren, Andreas Wallin, Lowe Lundin, Robin Strand, H{\aa}kan Ahlstr\"om, Joel Kullberg | (参考訳) 英国バイオバンクは、50万人以上のボランティアの健康関連特性に関する広範なデータを集めている。
血液と尿の生物学的サンプルは、心臓血管および代謝の健康と重要な関係を持つ腎臓機能についての貴重な洞察を与えることができる。
腎臓解剖学に関するさらなる情報は、医用イメージングによって得られる。
脳、心臓、肝臓、膵とは対照的に、腎臓に専用の磁気共鳴イメージング(MRI)は計画されていない。
画像に基づく評価は、腎臓を包含する腹部体組成分析を意図した頸部から膝までのMRIで実現可能である。
本研究は,英国バイオバンクの頸部-頸部間MRIにおける腎血流自動分離パイプラインを提案する。
基礎となるニューラルネットワークは相対誤差が3.8%に達し、Diceスコア0.956は64の被験者で、Diceスコア0.962は1人のオペレータによる繰り返しセグメンテーションで2.6%に近い。
放出された約4万名のMRIは2日以内に処理でき、左右の腎臓の体積の測定結果が得られる。
アルゴリズムによる品質評価は、アウトレーヤや潜在的な障害ケースの排除を可能にした。
得られた測定結果は, 腎の経時的変化と関連性について大規模に研究し, 共有することができる。 The UK Biobank is collecting extensive data on health-related characteristics of over half a million volunteers. The biological samples of blood and urine can provide valuable insight on kidney function, with important links to cardiovascular and metabolic health. Further information on kidney anatomy could be obtained by medical imaging. In contrast to the brain, heart, liver, and pancreas, no dedicated Magnetic Resonance Imaging (MRI) is planned for the kidneys. An image-based assessment is nonetheless feasible in the neck-to-knee body MRI intended for abdominal body composition analysis, which also covers the kidneys. In this work, a pipeline for automated segmentation of parenchymal kidney volume in UK Biobank neck-to-knee body MRI is proposed. The underlying neural network reaches a relative error of 3.8%, with Dice score 0.956 in validation on 64 subjects, close to the 2.6% and Dice score 0.962 for repeated segmentation by one human operator. The released MRI of about 40,000 subjects can be processed within two days, yielding volume measurements of left and right kidney. Algorithmic quality ratings enabled the exclusion of outliers and potential failure cases. The resulting measurements can be studied and shared for large-scale investigation of associations and longitudinal changes in parenchymal kidney volume. | 翻訳日:2022-11-22 04:54:08 公開日:2020-06-12 |
| # 非線形制御のためのモデルベース法とモデルフリー法を組み合わせる:おそらく収束的政策勾配アプローチ Combining Model-Based and Model-Free Methods for Nonlinear Control: A Provably Convergent Policy Gradient Approach ( http://arxiv.org/abs/2006.07476v1 ) ライセンス: Link先を確認 | Guannan Qu, Chenkai Yu, Steven Low, Adam Wierman | (参考訳) モデルフリー学習に基づく制御手法は近年大きな成功を収めている。
しかし、そのような手法は典型的にはサンプルの複雑さと限定的な収束保証に苦しむ。
これは、リッチ理論を持つが典型的には強いモデリング仮定を必要とする古典的なモデルベース制御とは対照的である。
本稿では,両世界のベストを達成するための2つのアプローチを組み合わせる。
線形成分と非線形成分の両方を持つ力学系を考察し、線形モデルを用いてモデルフリーのポリシー勾配法における温かいスタートを定義する新しいアプローチを開発する。
このハイブリッドアプローチは,数値実験と理論解析の両方を通じてモデルフリーアプローチに関連する収束問題を回避しつつ,モデルベースコントローラよりも優れており,この手法が(ほぼ)大域的最適コントローラに収束することを保証できるような非線形成分の十分条件を導出する。 Model-free learning-based control methods have seen great success recently. However, such methods typically suffer from poor sample complexity and limited convergence guarantees. This is in sharp contrast to classical model-based control, which has a rich theory but typically requires strong modeling assumptions. In this paper, we combine the two approaches to achieve the best of both worlds. We consider a dynamical system with both linear and non-linear components and develop a novel approach to use the linear model to define a warm start for a model-free, policy gradient method. We show this hybrid approach outperforms the model-based controller while avoiding the convergence issues associated with model-free approaches via both numerical experiments and theoretical analyses, in which we derive sufficient conditions on the non-linear component such that our approach is guaranteed to converge to the (nearly) global optimal controller. | 翻訳日:2022-11-22 04:52:12 公開日:2020-06-12 |
| # 機械学習を用いた自転車共有システムにおける自転車利用のモデル化 Modeling bike availability in a bike-sharing system using machine learning ( http://arxiv.org/abs/2006.08352v1 ) ライセンス: Link先を確認 | Huthaifa I. Ashqar, Mohammed Elhenawy, Mohammed H. Almannaa, Ahmed Ghanem, Hesham A. Rakha, and Leanna House | (参考訳) 本稿では,機械学習アルゴリズムを用いて,サンフランシスコベイエリアの自転車シェアステーションにおける自転車の利用をモデル化する。
ランダムフォレスト(RF)とLast-Squares Boosting(LSBoost)は単変量回帰アルゴリズムとして使われ、PLSR(Partial Least-Squares Regression)は多変量回帰アルゴリズムとして適用された。
ユニバリエートモデルは各駅で利用可能な自転車の数をモデル化するために使用された。
PLSRは,ネットワーク内のステーション間の空間的相関を反映し,必要な予測モデルの数を削減した。
その結果,単変量モデルは多変量モデルよりも誤差予測が低いことがわかった。
しかし, 多変量モデルの結果は, 比較的多数の空間相関局を持つネットワークにとって妥当である。
また,局近傍と予測地平線時間は有意な予測因子であることが示された。
最も効果的な予測地平線時間は15分であった。 This paper models the availability of bikes at San Francisco Bay Area Bike Share stations using machine learning algorithms. Random Forest (RF) and Least-Squares Boosting (LSBoost) were used as univariate regression algorithms, and Partial Least-Squares Regression (PLSR) was applied as a multivariate regression algorithm. The univariate models were used to model the number of available bikes at each station. PLSR was applied to reduce the number of required prediction models and reflect the spatial correlation between stations in the network. Results clearly show that univariate models have lower error predictions than the multivariate model. However, the multivariate model results are reasonable for networks with a relatively large number of spatially correlated stations. Results also show that station neighbors and the prediction horizon time are significant predictors. The most effective prediction horizon time that produced the least prediction error was 15 minutes. | 翻訳日:2022-11-22 04:51:57 公開日:2020-06-12 |
| # 再帰と進化:その2 Recursion and evolution: Part II ( http://arxiv.org/abs/2007.04982v1 ) ライセンス: Link先を確認 | Alexandros Arvanitakis | (参考訳) 対角化システムでは,環境報酬や罰を情報として利用して適切な適応を図ることができるか,という問題について検討する。
より具体的には、報奨関数に基づいて対角化を学習するために、そのようなシステムの可能性について研究する。
記憶に関する関連する現象も研究されている。 We examine the question of whether it is possible for a diagonalizing system, to learn to use environmental reward and punishment as an information, in order to appropriately adapt. More specifically, we study the possiblity of such a system, to learn to use diagonalization on the basis of a rewarding function. Relevant phenomena regarding memory are also investigated. | 翻訳日:2022-11-22 04:51:42 公開日:2020-06-12 |
| # セッションベースレコメンデーションのためのマルチタスク学習へのユーザ・マイクロ行動と項目知識の導入 Incorporating User Micro-behaviors and Item Knowledge into Multi-task Learning for Session-based Recommendation ( http://arxiv.org/abs/2006.06922v1 ) ライセンス: Link先を確認 | Wenjing Meng and Deqing Yang and Yanghua Xiao | (参考訳) セッションベースのレコメンデーション(SR)は、セッションに基づいて次のインタラクションアイテムを予測することを目的として、さまざまなEコマースプラットフォームの重要かつ人気のあるコンポーネントとなっている。
既存のSRモデルのほとんどは、あるユーザが対話するセッションにおける連続したアイテムの活用のみに焦点を当て、アイテム間の遷移パターンをキャプチャする。
いくつかは有効性が証明されているが、以下の2つの洞察はしばしば無視される。
まず、利用者のマイクロビヘイビア、例えば、利用者がアイテムを見つける方法、利用者がアイテムにコミットする活動(例えば、コメントを読み、カートに追加するなど)は、ユーザの好みをきめ細かな、より深く理解する。
第二に、アイテム属性はアイテム知識としても知られ、相互作用したアイテム間の遷移パターンをモデル化し、データの疎性問題を緩和する側情報を提供する。
これらの知見は,セッションベースレコメンデーションのためのマルチタスク学習にユーザによるマイクロビヘイビアとアイテム知識を取り入れた,新しいSRモデルMKM-SRを提案する動機となっている。
具体的には、あるセッションはMKM-SRのマイクロビヘイビアレベル、すなわち一連のアイテムではなく一連のアイテム操作ペアでモデル化され、セッションの遷移パターンを十分にキャプチャする。
さらに,SRの主要なタスクを促進する補助タスクとしての役割を担う学習知識の埋め込みを包含するマルチタスク学習パラダイムを提案する。
これにより,セッション表現の精度が向上し,SR推薦結果の精度が向上する。
2つのベンチマークデータセットに対する広範な評価は、MKM-SRが最先端のSRモデルよりも優れていることを示している。 Session-based recommendation (SR) has become an important and popular component of various e-commerce platforms, which aims to predict the next interacted item based on a given session. Most of existing SR models only focus on exploiting the consecutive items in a session interacted by a certain user, to capture the transition pattern among the items. Although some of them have been proven effective, the following two insights are often neglected. First, a user's micro-behaviors, such as the manner in which the user locates an item, the activities that the user commits on an item (e.g., reading comments, adding to cart), offer fine-grained and deep understanding of the user's preference. Second, the item attributes, also known as item knowledge, provide side information to model the transition pattern among interacted items and alleviate the data sparsity problem. These insights motivate us to propose a novel SR model MKM-SR in this paper, which incorporates user Micro-behaviors and item Knowledge into Multi-task learning for Session-based Recommendation. Specifically, a given session is modeled on micro-behavior level in MKM-SR, i.e., with a sequence of item-operation pairs rather than a sequence of items, to capture the transition pattern in the session sufficiently. Furthermore, we propose a multi-task learning paradigm to involve learning knowledge embeddings which plays a role as an auxiliary task to promote the major task of SR. It enables our model to obtain better session representations, resulting in more precise SR recommendation results. The extensive evaluations on two benchmark datasets demonstrate MKM-SR's superiority over the state-of-the-art SR models, justifying the strategy of incorporating knowledge learning. | 翻訳日:2022-11-22 04:46:33 公開日:2020-06-12 |
| # 適応勾配法は有限エポック後のsgdよりも高速であることが証明できる Adaptive Gradient Methods Can Be Provably Faster than SGD after Finite Epochs ( http://arxiv.org/abs/2006.07037v1 ) ライセンス: Link先を確認 | Xunpeng Huang, Hao Zhou, Runxin Xu, Zhe Wang and Lei Li | (参考訳) 適応勾配法は高い効率性のために機械学習コミュニティに大きな注目を集めている。
しかし、実際には、特にニューラルネットワークトレーニングにおける加速効果は、理論的には分析が難しい。
理論収束結果と実用性能の間の大きなギャップは、既存の最適化手法のさらなる理解とより高度な最適化手法の開発を妨げる。
本稿では,より穏やかな仮定による新しい解析法である適応勾配法と,より証明可能な収束率に適合するアダグラードからシュラダグラードへ修正する。
非凸対象における$\epsilon$-approximate 1次定常点を求めるために、ランダムシャッフル \radagrad は $\tilde{O}(T^{-1/4})$ と $\tilde{O}(T^{-1/6})$ で大幅に改善された $\tilde{O}(T^{-1/6})$ を、既存の適応勾配法とランダムシャッフル SGD と比較して証明する。
我々の知る限り、適応勾配法が有限エポック後のSGDよりも決定論的に高速であることを示すのはこれが初めてである。
さらに,第2モーメントとランダムシャッフルの利点を生かした軽度な仮定と加速度効果を検証するため,総合的な実験を行った。 Adaptive gradient methods have attracted much attention of machine learning communities due to the high efficiency. However their acceleration effect in practice, especially in neural network training, is hard to analyze, theoretically. The huge gap between theoretical convergence results and practical performances prevents further understanding of existing optimizers and the development of more advanced optimization methods. In this paper, we provide adaptive gradient methods a novel analysis with an additional mild assumption, and revise AdaGrad to \radagrad for matching a better provable convergence rate. To find an $\epsilon$-approximate first-order stationary point in non-convex objectives, we prove random shuffling \radagrad achieves a $\tilde{O}(T^{-1/2})$ convergence rate, which is significantly improved by factors $\tilde{O}(T^{-1/4})$ and $\tilde{O}(T^{-1/6})$ compared with existing adaptive gradient methods and random shuffling SGD, respectively. To the best of our knowledge, it is the first time to demonstrate that adaptive gradient methods can deterministically be faster than SGD after finite epochs. Furthermore, we conduct comprehensive experiments to validate the additional mild assumption and the acceleration effect benefited from second moments and random shuffling. | 翻訳日:2022-11-22 04:46:03 公開日:2020-06-12 |
| # ACMo:確率最適化のための角度校正モーメント法 ACMo: Angle-Calibrated Moment Methods for Stochastic Optimization ( http://arxiv.org/abs/2006.07065v1 ) ライセンス: Link先を確認 | Xunpeng Huang, Runxin Xu, Hao Zhou, Zhe Wang, Zhengyang Liu and Lei Li | (参考訳) その単純さと一般化能力により、確率勾配降下 (sgd) は収束が遅いにもかかわらず最も広く使われている最適化手法である。
一方、適応的手法は、生涯情報の活用と深遠で基本的な数学的理論の両面において、最適化と機械学習のコミュニティの注目を集めている。
両方の世界のベストを尽くすことは、機械学習の最適化分野における最もエキサイティングで難しい問題だ。
そこで本研究では,既存の適応勾配法を新たな視点から再検討し,第2モーメントの理解を深めた。
新しい視点により、第1モーメントイテレーションに第2モーメントの特性をアタッチし、新しい第1モーメントオプティマイザである \emph{angle-calibrated moment method} (\method) を提案する。
理論的な結果から, \method は主流適応法と同じ収束率を達成できることがわかった。
さらに、CVおよびNLPタスクに関する広範な実験により、ShamethodはSOTAアダム型最適化器に匹敵する収束性を示し、ほとんどの場合においてより良い一般化性能を得る。 Due to its simplicity and outstanding ability to generalize, stochastic gradient descent (SGD) is still the most widely used optimization method despite its slow convergence. Meanwhile, adaptive methods have attracted rising attention of optimization and machine learning communities, both for the leverage of life-long information and for the profound and fundamental mathematical theory. Taking the best of both worlds is the most exciting and challenging question in the field of optimization for machine learning. Along this line, we revisited existing adaptive gradient methods from a novel perspective, refreshing understanding of second moments. Our new perspective empowers us to attach the properties of second moments to the first moment iteration, and to propose a novel first moment optimizer, \emph{Angle-Calibrated Moment method} (\method). Our theoretical results show that \method is able to achieve the same convergence rate as mainstream adaptive methods. Furthermore, extensive experiments on CV and NLP tasks demonstrate that \method has a comparable convergence to SOTA Adam-type optimizers, and gains a better generalization performance in most cases. | 翻訳日:2022-11-22 04:45:31 公開日:2020-06-12 |
| # ヒューマンマシンシステムのモデルベース共有制御のためのデータ駆動koopman演算子 Data-driven Koopman Operators for Model-based Shared Control of Human-Machine Systems ( http://arxiv.org/abs/2006.07210v1 ) ライセンス: Link先を確認 | Alexander Broad, Ian Abraham, Todd Murphey, Brenna Argall | (参考訳) 複雑な動的マシンに対する人間の操作者の制御を改善し、それ以外はユーザ自身で難しい、あるいは不可能であるタスクを達成するために使用できるデータ駆動共有制御アルゴリズムを提案する。
本手法はシステムダイナミクスの事前知識を仮定しない。
代わりに、ユーザのインタラクションに関するダイナミクスと情報の両方が、koopmanオペレータの使用による観察から学習される。
学習モデルを用いて,自律パートナーの制御方針を計算するための最適化問題を定義する。
最後に、ユーザ入力と自律的に生成された制御の比較に基づいて、制御権限を各パートナーに動的に割り当てる。
このアイデアをモデルベース共有制御(MbSC)と呼ぶ。
被験者32名(各被験者16名)からなる2つの被験者を対象に,アプローチの有効性を評価した。
最初の研究では、モデリングと自律政策生成アルゴリズムに線形制約を課している。
第2の研究では、より一般的な非線形変種を探求する。
全体として、モデルに基づく共有制御は、自然な学習やユーザのみの制御パラダイムと比較して、タスクとコントロールのメトリクスを著しく改善する。
実験の結果,koopmanオペレータによって学習されたモデルがユーザをまたがって一般化し,mbscに支援を提供する前に個々のユーザからデータを収集する必要はないことが示唆された。
また、mbscのデータ効率を実証し、オンライン学習パラダイムにおける有用性を示す。
最後に、非線形変種は、線形変種よりも決定されたタスクをうまく達成できるユーザの能力に大きな影響を与えることを発見した。 We present a data-driven shared control algorithm that can be used to improve a human operator's control of complex dynamic machines and achieve tasks that would otherwise be challenging, or impossible, for the user on their own. Our method assumes no a priori knowledge of the system dynamics. Instead, both the dynamics and information about the user's interaction are learned from observation through the use of a Koopman operator. Using the learned model, we define an optimization problem to compute the autonomous partner's control policy. Finally, we dynamically allocate control authority to each partner based on a comparison of the user input and the autonomously generated control. We refer to this idea as model-based shared control (MbSC). We evaluate the efficacy of our approach with two human subjects studies consisting of 32 total participants (16 subjects in each study). The first study imposes a linear constraint on the modeling and autonomous policy generation algorithms. The second study explores the more general, nonlinear variant. Overall, we find that model-based shared control significantly improves task and control metrics when compared to a natural learning, or user only, control paradigm. Our experiments suggest that models learned via the Koopman operator generalize across users, indicating that it is not necessary to collect data from each individual user before providing assistance with MbSC. We also demonstrate the data-efficiency of MbSC and consequently, it's usefulness in online learning paradigms. Finally, we find that the nonlinear variant has a greater impact on a user's ability to successfully achieve a defined task than the linear variant. | 翻訳日:2022-11-22 04:44:55 公開日:2020-06-12 |
| # パイプラインプロセッサにおける動的周波数スケーリングのための統一学習プラットフォーム A Unified Learning Platform for Dynamic Frequency Scaling in Pipelined Processors ( http://arxiv.org/abs/2006.07450v1 ) ライセンス: Link先を確認 | Arash Fouman Ajirlou and Inna Partin-Vaisband | (参考訳) 個別命令の伝搬遅延に基づいてクロック周波数を動的に調整する機械学習(ML)設計フレームワークを提案する。
ランダムフォレストモデルを用いて、現在の動作タイプ、現在のオペランド、計算履歴をml特徴として活用し、伝播遅延をリアルタイムに分類する。
トレーニングされたモデルは、ベースラインプロセッサ内のパイプラインステージとしてVerilogで実装されている。
修正されたシステムは45nmのcmos技術でゲートレベルでシミュレートされ、68%のスピードアップと37%のエネルギー削減と粗粒mlの分類を示す。
95%のスピードアップは、さらなるエネルギーコストでより微細な粒度で示される。 A machine learning (ML) design framework is proposed for dynamically adjusting clock frequency based on propagation delay of individual instructions. A Random Forest model is trained to classify propagation delays in real-time, utilizing current operation type, current operands, and computation history as ML features. The trained model is implemented in Verilog as an additional pipeline stage within a baseline processor. The modified system is simulated at the gate-level in 45 nm CMOS technology, exhibiting a speed-up of 68% and energy reduction of 37% with coarse-grained ML classification. A speed-up of 95% is demonstrated with finer granularities at additional energy costs. | 翻訳日:2022-11-22 04:44:18 公開日:2020-06-12 |
| # dagger: 再現可能な機械学習実験オーケストレーションのためのPythonフレームワーク dagger: A Python Framework for Reproducible Machine Learning Experiment Orchestration ( http://arxiv.org/abs/2006.07484v1 ) ライセンス: Link先を確認 | Michela Paganini, Jessica Zosa Forde | (参考訳) 機械学習における多くの研究方向、特にディープラーニングでは、複雑で多段階の実験があり、一般に複数の実行経路に沿ってモデルに作用する状態変化操作を含む。
機械学習フレームワークは、モデルアーキテクチャと非分岐フローを定義するためのクリーンなインターフェースを提供するが、実験的なプロヴァンス(つまり、最終的なモデル構成に繋がる状態ツリー)を追跡するために、研究者に負担がかかることが多い。
そこで本研究では,多段階実験パイプラインが一般的であるニューラルネットワークプルーニング研究の文脈における解析再現性に着目し,再現性と再利用可能な実験オーケストレーションを容易にするフレームワークであるdaggerを提案する。
フレームワークの設計原則と利用例について説明する。 Many research directions in machine learning, particularly in deep learning, involve complex, multi-stage experiments, commonly involving state-mutating operations acting on models along multiple paths of execution. Although machine learning frameworks provide clean interfaces for defining model architectures and unbranched flows, burden is often placed on the researcher to track experimental provenance, that is, the state tree that leads to a final model configuration and result in a multi-stage experiment. Originally motivated by analysis reproducibility in the context of neural network pruning research, where multi-stage experiment pipelines are common, we present dagger, a framework to facilitate reproducible and reusable experiment orchestration. We describe the design principles of the framework and example usage. | 翻訳日:2022-11-22 04:44:06 公開日:2020-06-12 |
| # 変換認識によるGANに基づくディープフェイク攻撃に対する防御 Defending against GAN-based Deepfake Attacks via Transformation-aware Adversarial Faces ( http://arxiv.org/abs/2006.07421v1 ) ライセンス: Link先を確認 | Chaofei Yang, Lei Ding, Yiran Chen, Hai Li | (参考訳) deepfakeは、autoencoderやgenerative adversarial networksといった機械学習モデルを活用する、顔認識攻撃のカテゴリである。
フェイススワッピングの概念は新しいものではないが、最近の技術進歩により、偽のコンテンツ(画像、ビデオなど)をより現実的で人間には受け入れられないものにしている。
ディープフェイク攻撃の様々な検出技術が研究されている。
しかし、これらの手法は、高品質の偽コンテンツが生成される後の緩和戦略であるため、ディープフェイクに対する受動的措置である。
さらに重要なことは、強固な防御力を持つ攻撃者より先に考えることだ。
この研究は、高品質な偽画像やビデオの生成を阻害する攻撃的措置を取ることを目的としている。
具体的には,GANをベースとしたディープフェイク攻撃に対する防御手段として,逆向きに乱れを生じさせる新しい変形認識顔を提案する。
提案手法は, ナイーブな対向顔と異なり, 生成過程における微分可能なランダム画像変換を利用する。
また,ブラックボックス設定下でのGANベースのディープフェイクに対する防御ロバスト性を高めるために,アンサンブルに基づくアプローチを提案する。
逆顔を用いたディープフェイクモデルの訓練により,合成顔の品質が著しく低下する可能性が示唆された。
この劣化は2倍です。
一方、合成顔の品質は、合成顔が人間の観察者にとってより明らかにフェイクであるか、あるいはより説得力に欠けるような、より視覚的なアーティファクトによって低下する。
一方、合成された顔は様々な指標に基づいて容易に検出できる。 Deepfake represents a category of face-swapping attacks that leverage machine learning models such as autoencoders or generative adversarial networks. Although the concept of the face-swapping is not new, its recent technical advances make fake content (e.g., images, videos) more realistic and imperceptible to Humans. Various detection techniques for Deepfake attacks have been explored. These methods, however, are passive measures against Deepfakes as they are mitigation strategies after the high-quality fake content is generated. More importantly, we would like to think ahead of the attackers with robust defenses. This work aims to take an offensive measure to impede the generation of high-quality fake images or videos. Specifically, we propose to use novel transformation-aware adversarially perturbed faces as a defense against GAN-based Deepfake attacks. Different from the naive adversarial faces, our proposed approach leverages differentiable random image transformations during the generation. We also propose to use an ensemble-based approach to enhance the defense robustness against GAN-based Deepfake variants under the black-box setting. We show that training a Deepfake model with adversarial faces can lead to a significant degradation in the quality of synthesized faces. This degradation is twofold. On the one hand, the quality of the synthesized faces is reduced with more visual artifacts such that the synthesized faces are more obviously fake or less convincing to human observers. On the other hand, the synthesized faces can easily be detected based on various metrics. | 翻訳日:2022-11-22 04:43:54 公開日:2020-06-12 |
| # VANETにおける安全メッセージのためのインテリジェントレコメンデーションシステム Intelligent Reputation System for Safety Messages in VANET ( http://arxiv.org/abs/2007.12717v1 ) ライセンス: Link先を確認 | Ghassan Samara | (参考訳) 現在、車両広告 - hoc nets (vanet) アプリケーションは、ドライバーに安全で楽しい旅をするための安全メッセージ、警告、指示を提供するため、私たちの生活において非常に重要なものになっています。
VANETセキュリティは、コンピュータネットワーク研究で最もホットなトピックの1つであり、VANETシステムの情報を偽造することは、VANETの安全性の目標に違反し、有害な状況や生命の喪失につながる可能性がある。
本稿では,攻撃車両を識別することを目的とした知的評価システム(irs)を提案する。提案手法は,複数パラメータのgreedy best firstアルゴリズムを用いて,意見生成,信頼価値収集,トラヒック解析,位置ベース,データ収集,インテリジェント意思決定に依拠する。
本研究の結果はVANETの安全性を向上し、誤動作車両とそのメッセージの識別を容易にする。
提案システムの結果は他の評価システムよりも優れていることが証明されている。 Nowadays, Vehicle Ad - hoc Nets (VANET) applications have become very important in our lives because VANET provides drivers with safety messages, warnings, and instructions to ensure drivers have a safe and enjoyable journey. VANET Security is one of the hottest topics in computer networks research, Falsifying VANET system information violates VANET safety objectives and may lead to hazardous situations and loss of life. In this paper, an Intelligent Reputation System (IRS) aims to identify attacking vehicles will be proposed; the proposed system will rely on opinion generation, trust value collection, traffic analysis, position based, data collection, and intelligent decision making by utilizing the multi-parameter Greedy Best First algorithm. The results of this research will enhance VANET's safety level and will facilitate the identification of misbehaving vehicles and their messages. The results of the proposed system have also proven to be superior to other reputational systems. | 翻訳日:2022-11-22 04:38:05 公開日:2020-06-12 |
| # 学習のターゲット:再現可能な研究のためのロバスト統計 Targeting Learning: Robust Statistics for Reproducible Research ( http://arxiv.org/abs/2006.07333v1 ) ライセンス: Link先を確認 | Jeremy R. Coyle, Nima S. Hejazi, Ivana Malenica, Rachael V. Phillips, Benjamin F. Arnold, Andrew Mertens, Jade Benjamin-Chung, Weixin Cai, Sonali Dayal, John M. Colford Jr., Alan E. Hubbard, Mark J. van der Laan | (参考訳) ターゲティング・ラーニング(Targeted Learning)は、因果推論、機械学習、統計理論の進歩を統一して、科学的に影響のある質問に統計的信頼性で答えるのに役立つ統計分野である。
ターゲット学習は、データサイエンスにおける複雑な問題によって推進され、現実世界の様々なシナリオで実施されてきた: 治療と結果の欠如による観察研究、パーソナライズされた介入、時間変化による治療体制による縦方向の設定、生存分析、適応的ランダム化試行、仲介分析、接続された被験者のネットワーク。
現在の統計の実践を支配する制限的モデリング戦略の(ミス)適用とは対照的に、ターゲットラーニングは統計的推定と推論(すなわち信頼区間とp値)の原則的な標準を確立する。
この多重ロバストなアプローチには、ガイドのロードマップと壮大なソフトウェアエコシステムが伴い、どちらもモチベーションのある質問に答えるために最適化された推定器の構築に関するガイダンスを提供する。
ターゲット学習のロードマップは、仮説を最小化し、利用可能な科学的知識にのみ注意深く根ざすように、統計的手続きを調整することを強調する。
結果は、科学的発見の再現性と厳密さを推定的に高める統計的分析から信頼できる結論を導き出すために、背景知識と利用可能なデータの両方における不確かさを率直に反映する枠組みである。 Targeted Learning is a subfield of statistics that unifies advances in causal inference, machine learning and statistical theory to help answer scientifically impactful questions with statistical confidence. Targeted Learning is driven by complex problems in data science and has been implemented in a diversity of real-world scenarios: observational studies with missing treatments and outcomes, personalized interventions, longitudinal settings with time-varying treatment regimes, survival analysis, adaptive randomized trials, mediation analysis, and networks of connected subjects. In contrast to the (mis)application of restrictive modeling strategies that dominate the current practice of statistics, Targeted Learning establishes a principled standard for statistical estimation and inference (i.e., confidence intervals and p-values). This multiply robust approach is accompanied by a guiding roadmap and a burgeoning software ecosystem, both of which provide guidance on the construction of estimators optimized to best answer the motivating question. The roadmap of Targeted Learning emphasizes tailoring statistical procedures so as to minimize their assumptions, carefully grounding them only in the scientific knowledge available. The end result is a framework that honestly reflects the uncertainty in both the background knowledge and the available data in order to draw reliable conclusions from statistical analyses - ultimately enhancing the reproducibility and rigor of scientific findings. | 翻訳日:2022-11-22 04:37:31 公開日:2020-06-12 |
| # Notic My Speech" - マルチメディアによる音声パターンのブレンディング "Notic My Speech" -- Blending Speech Patterns With Multimedia ( http://arxiv.org/abs/2006.08599v1 ) ライセンス: Link先を確認 | Dhruva Sahrawat, Yaman Kumar, Shashwat Aggarwal, Yifang Yin, Rajiv Ratn Shah and Roger Zimmermann | (参考訳) 自然信号としての音声は、ビセム(音声の視覚的部分)、音素(音声の発声部分)、言語(強制構造)の3つの部分から構成される。
しかし,音声配信メディアとしての映像とマルチメディア構成は,音声配信の認知的側面をほとんど無視している。
例えば、トランスコーディングや圧縮といったビデオアプリケーションは、これまで音声の配信や聞き取りの事実を無視してきた。
本稿では,音声理解とマルチメディアビデオのギャップを埋めるために,視覚音声の知覚をモデル化し,その使用事例をビデオ圧縮で示す実験を行った。
一方、視覚音声認識領域では、既存の研究はほとんどが分類問題としてモデル化されているが、ビュー、音素、ビセム、および音声知覚の相関は無視されている。
この結果、人間の知覚の仕組みからさらに遠ざかる解決策が生まれる。
このギャップを埋めるため,音声認識と理解において,視点依存と視覚重要度の両方をモデル化する視点-時間的注意機構を提案する。
我々は3つの公開視覚音声認識データセットの実験を行った。
実験の結果,提案手法はビセム誤差率において既存手法よりも4.99%優れていた。
さらに,多視点音声の理解と人間の知覚との間には,強い相関関係があることを示した。
この特徴は、ビデオ圧縮やストリーミングのような下流のアプリケーションで、重要でないフレームの多くを圧縮したり取り除いたりできるが、優れたユーザー体験で人間の音声理解を最大限に保てるという利点がある。 Speech as a natural signal is composed of three parts - visemes (visual part of speech), phonemes (spoken part of speech), and language (the imposed structure). However, video as a medium for the delivery of speech and a multimedia construct has mostly ignored the cognitive aspects of speech delivery. For example, video applications like transcoding and compression have till now ignored the fact how speech is delivered and heard. To close the gap between speech understanding and multimedia video applications, in this paper, we show the initial experiments by modelling the perception on visual speech and showing its use case on video compression. On the other hand, in the visual speech recognition domain, existing studies have mostly modeled it as a classification problem, while ignoring the correlations between views, phonemes, visemes, and speech perception. This results in solutions which are further away from how human perception works. To bridge this gap, we propose a view-temporal attention mechanism to model both the view dependence and the visemic importance in speech recognition and understanding. We conduct experiments on three public visual speech recognition datasets. The experimental results show that our proposed method outperformed the existing work by 4.99% in terms of the viseme error rate. Moreover, we show that there is a strong correlation between our model's understanding of multi-view speech and the human perception. This characteristic benefits downstream applications such as video compression and streaming where a significant number of less important frames can be compressed or eliminated while being able to maximally preserve human speech understanding with good user experience. | 翻訳日:2022-11-22 04:36:43 公開日:2020-06-12 |
| # esad:内視鏡的手術行動検出データセット ESAD: Endoscopic Surgeon Action Detection Dataset ( http://arxiv.org/abs/2006.07164v1 ) ライセンス: Link先を確認 | Vivek Singh Bawa, Gurkirt Singh, Francis KapingA, Inna Skarga-Bandurova, Alice Leporini, Carmela Landolfo, Armando Stabile, Francesco Setti, Riccardo Muradore, Elettra Oleari, Fabio Cuzzolin | (参考訳) 本研究は,手術補助ロボットの有効性を高めることを目的としている。
我々は,外科医の動作を意識させることで,補助ロボットをより安全にすることを目的としていた。
言い換えれば,内視鏡ビデオにおける外科医の行動検出の問題を解決することを目的としている。
そこで本研究では,実世界の内視鏡映像における外科医行動検出のための難易度データセットを提案する。
アクションクラスは外科医のフィードバックに基づいて選択され、医療専門家によって注釈付けされる。
ビデオフレームが与えられた場合、手術用ツールの周りにバウンディングボックスを描き、アクションラベルでラベル付けする。
最後に,最近のオブジェクト検出の進歩に基づくフレームレベル動作検出ベースラインモデルを提案する。
新しいデータセットの結果から,提案するデータセットは今後の方法に十分興味深い課題をもたらし,内視鏡的ビデオにおける外科医の行動検出における強力なベンチマーク対応研究に有用であることが示された。 In this work, we take aim towards increasing the effectiveness of surgical assistant robots. We intended to make assistant robots safer by making them aware about the actions of surgeon, so it can take appropriate assisting actions. In other words, we aim to solve the problem of surgeon action detection in endoscopic videos. To this, we introduce a challenging dataset for surgeon action detection in real-world endoscopic videos. Action classes are picked based on the feedback of surgeons and annotated by medical professional. Given a video frame, we draw bounding box around surgical tool which is performing action and label it with action label. Finally, we presenta frame-level action detection baseline model based on recent advances in ob-ject detection. Results on our new dataset show that our presented dataset provides enough interesting challenges for future method and it can serveas strong benchmark corresponding research in surgeon action detection in endoscopic videos. | 翻訳日:2022-11-22 04:36:18 公開日:2020-06-12 |
| # 高次元におけるデタングリングロバスト性:合成とモデル平均推定 Detangling robustness in high dimensions: composite versus model-averaged estimation ( http://arxiv.org/abs/2006.07457v1 ) ライセンス: Link先を確認 | Jing Zhou, Gerda Claeskens, Jelena Bradic | (参考訳) ロバスト法は実際にはユビキタスであるが、正規化推定や高次元の文脈ではまだ完全には理解されていない。
単純な質問でさえ、すぐに挑戦します。
例えば、古典統計理論はモデル平均と複合量子量の推定の同値性を特定する。
しかし、スパルサリティを促進するメソッド間の等価性についてはほとんど知られていない。
本稿では,これらの設定における堅牢性をさらに研究し,予測に焦点を当てたツールボックスを提供する。
特に,最適重み付きモデル平均化と合成$l_1$-正規化推定について検討した。
最適重みは漸近平均二乗誤差を最小限にすることで決定される。
このアプローチは、実際によく使われるように、完全選択の仮定なしに正規化の効果を取り入れている。
このような重みは予測品質に最適である。
広範なシミュレーション研究を通じて,1つの手法が他の手法よりも体系的に優れていることを示す。
しかし,ガウスモデルノイズの場合においても,モデル平均量と合成量子量推定器は最小二乗法を上回ることが少なくないことがわかった。
実データアプリケーションは、圧縮音声信号の再構成を通じて、この方法の実用的な使用を目撃する。 Robust methods, though ubiquitous in practice, are yet to be fully understood in the context of regularized estimation and high dimensions. Even simple questions become challenging very quickly. For example, classical statistical theory identifies equivalence between model-averaged and composite quantile estimation. However, little to nothing is known about such equivalence between methods that encourage sparsity. This paper provides a toolbox to further study robustness in these settings and focuses on prediction. In particular, we study optimally weighted model-averaged as well as composite $l_1$-regularized estimation. Optimal weights are determined by minimizing the asymptotic mean squared error. This approach incorporates the effects of regularization, without the assumption of perfect selection, as is often used in practice. Such weights are then optimal for prediction quality. Through an extensive simulation study, we show that no single method systematically outperforms others. We find, however, that model-averaged and composite quantile estimators often outperform least-squares methods, even in the case of Gaussian model noise. Real data application witnesses the method's practical use through the reconstruction of compressed audio signals. | 翻訳日:2022-11-22 04:34:56 公開日:2020-06-12 |
| # 個人再識別のための分岐協調osnet Branch-Cooperative OSNet for Person Re-Identification ( http://arxiv.org/abs/2006.07206v1 ) ライセンス: Link先を確認 | Lei Zhang, Xiaofu Wu, Suofei Zhang and Zirui Yin | (参考訳) マルチブランチは、人物再識別のためのリッチな特徴表現(Re-ID)を学習するために広く研究されている。
本稿では、BC-OSNetと呼ばれるOSNet上のRe-IDのためのブランチ協調アーキテクチャを提案する。
グローバルブランチ,ローカルブランチ,リレーショナルブランチ,コントラストブランチという4つの協調ブランチを積み重ねることで,ペルソナリidのための強力な特徴表現を得る。
大規模な実験により、BC-OSNetはMarket-1501、DukeMTMC-reID、CUHK03を含む3つの一般的なデータセットで最先端のパフォーマンスを達成した。
特に、CUHK03_labeledで84.0%のmAPと87.1%のランク1の精度を達成する。 Multi-branch is extensively studied for learning rich feature representation for person re-identification (Re-ID). In this paper, we propose a branch-cooperative architecture over OSNet, termed BC-OSNet, for person Re-ID. By stacking four cooperative branches, namely, a global branch, a local branch, a relational branch and a contrastive branch, we obtain powerful feature representation for person Re-ID. Extensive experiments show that the proposed BC-OSNet achieves state-of-art performance on the three popular datasets, including Market-1501, DukeMTMC-reID and CUHK03. In particular, it achieves mAP of 84.0% and rank-1 accuracy of 87.1% on the CUHK03_labeled. | 翻訳日:2022-11-22 04:28:13 公開日:2020-06-12 |
| # 外観モデルと視覚物体追跡を用いた高速道路の多車追尾 Multiple-Vehicle Tracking in the Highway Using Appearance Model and Visual Object Tracking ( http://arxiv.org/abs/2006.07309v1 ) ライセンス: Link先を確認 | Fateme Bafghi, Bijan Shoushtarian | (参考訳) 近年、機械ビジョンの画期的な改善により、多くの日常業務がコンピュータによって行われている。
これらのタスクの1つは複数車両追跡であり、ビデオ監視や交通監視など様々な分野で広く利用されている。
本稿では,精度の高い効率的な新しい手法を提案する。
これは、各オブジェクトから抽出された特徴に基づいた効率的な外観と動きモデルによって達成される。
この目的のために、ディープニューラルネットワークから抽出された特徴と従来の特徴の抽出に2つの異なるアプローチが使用されている。
そして、この2つのアプローチの結果を最先端のトラッカーと比較する。
結果は、UA-DETRACKベンチマーク上でメソッドを実行することで得られる。
第1の方法は58.9%の精度で、第2の方法は15.9%まで精度が上がった。
提案手法は,より識別可能な特徴を抽出することで改善することができる。 In recent decades, due to the groundbreaking improvements in machine vision, many daily tasks are performed by computers. One of these tasks is multiple-vehicle tracking, which is widely used in different areas such as video surveillance and traffic monitoring. This paper focuses on introducing an efficient novel approach with acceptable accuracy. This is achieved through an efficient appearance and motion model based on the features extracted from each object. For this purpose, two different approaches have been used to extract features, i.e. features extracted from a deep neural network, and traditional features. Then the results from these two approaches are compared with state-of-the-art trackers. The results are obtained by executing the methods on the UA-DETRACK benchmark. The first method led to 58.9% accuracy while the second method caused up to 15.9%. The proposed methods can still be improved by extracting more distinguishable features. | 翻訳日:2022-11-22 04:27:51 公開日:2020-06-12 |
| # アンサンブル学習を用いた網膜画像による早期盲検検出 Early Blindness Detection Based on Retinal Images Using Ensemble Learning ( http://arxiv.org/abs/2006.07475v1 ) ライセンス: Link先を確認 | Niloy Sikder, Md. Sanaullah Chowdhury, Abu Shamim Mohammad Arif, and Abdullah-Al Nahid | (参考訳) 糖尿病網膜症(DR)は、世界中の成人の視覚障害の主要な原因である。
糖尿病が長期に及んだ5例のうち4例では、早期に検出された場合、適切な治療により、新しいdrの発生の90%以上が盲目になるのを防ぐことができる。
drを十分に扱うことができる複数の治療手順があるにもかかわらず、早期発見の欠如と失敗は、多くのdr患者に貴重な視力を与えている。
デジタル画像処理(DIP)と機械学習(ML)の分野における最近の進歩は、この点において機械の使用方法の道を開いた。
現代の技術により、網膜画像に基づいて人の目の状態を自動的に検出できる装置を開発することができる。
しかし、実際には、いくつかの要因が撮像された画像の品質を阻害し、検出結果を妨げる。
本研究では,アンサンブル学習アルゴリズムを用いて網膜画像から抽出した色情報に基づいて,新しい早期ブラインド検出法を提案する。
この手法は、南アジアの農村部に住む人々から収集された網膜画像を用いてテストされ、91%の精度で分類された。 Diabetic retinopathy (DR) is the primary cause of vision loss among grownup people around the world. In four out of five cases having diabetes for a prolonged period leads to DR. If detected early, more than 90 percent of the new DR occurrences can be prevented from turning into blindness through proper treatment. Despite having multiple treatment procedures available that are well capable to deal with DR, the negligence and failure of early detection cost most of the DR patients their precious eyesight. The recent developments in the field of Digital Image Processing (DIP) and Machine Learning (ML) have paved the way to use machines in this regard. The contemporary technologies allow us to develop devices capable of automatically detecting the condition of a persons eyes based on their retinal images. However, in practice, several factors hinder the quality of the captured images and impede the detection outcome. In this study, a novel early blind detection method has been proposed based on the color information extracted from retinal images using an ensemble learning algorithm. The method has been tested on a set of retinal images collected from people living in the rural areas of South Asia, which resulted in a 91 percent classification accuracy. | 翻訳日:2022-11-22 04:27:40 公開日:2020-06-12 |
| # リアルタイム入札と直接キャンペーンの最適配置 Optimal Allocation of Real-Time-Bidding and Direct Campaigns ( http://arxiv.org/abs/2006.07070v1 ) ライセンス: Link先を確認 | Gr\'egoire Jauvion and Nicolas Grislain | (参考訳) 本稿では、webパブリッシャーがリアルタイム入札(リアルタイムオークションで販売される広告から)とダイレクト(事前に合意された契約で販売された広告から)を通じて得られる収益を最適化する問題を考察する。
各インプレッションに対して、出版社がリアルタイム入札オークションに入札できる設定について検討する。
オークションに勝った場合、広告を配信する直接キャンペーンを選択し、その広告を表示する。
本稿では,リアルタイム入札収益を最大化しつつ,出版社が直接キャンペーンを行うための最適な戦略を構築するアルゴリズムを提案する。
最適戦略は、パブリッシャー入札を決定する式と、パブリッシャー入札者がオークションに勝った場合に配信される直接キャンペーンを選択する方法とを、印象特性に応じて与える。
過去のオークションデータから最適な戦略を推定することができる。
アルゴリズムは、キャンペーンの数とデータセットのサイズに応じてスケールする。
これは非常に重要な機能であり、実際、出版社は何千ものアクティブな直接キャンペーンを同時に実施し、何十億ものオークションで最適な戦略を見積もりたいと考えている。
このアルゴリズムは、現在開発中のシステムの重要なコンポーネントであり、世界中の何千ものWebパブリッシャーにデプロイされ、毎日何十億もの広告を数億のビジターに配信するのに役立つ。 In this paper, we consider the problem of optimizing the revenue a web publisher gets through real-time bidding (i.e. from ads sold in real-time auctions) and direct (i.e. from ads sold through contracts agreed in advance). We consider a setting where the publisher is able to bid in the real-time bidding auction for each impression. If it wins the auction, it chooses a direct campaign to deliver and displays the corresponding ad. This paper presents an algorithm to build an optimal strategy for the publisher to deliver its direct campaigns while maximizing its real-time bidding revenue. The optimal strategy gives a formula to determine the publisher bid as well as a way to choose the direct campaign being delivered if the publisher bidder wins the auction, depending on the impression characteristics. The optimal strategy can be estimated on past auctions data. The algorithm scales with the number of campaigns and the size of the dataset. This is a very important feature, as in practice a publisher may have thousands of active direct campaigns at the same time and would like to estimate an optimal strategy on billions of auctions. The algorithm is a key component of a system which is being developed, and which will be deployed on thousands of web publishers worldwide, helping them to serve efficiently billions of ads a day to hundreds of millions of visitors. | 翻訳日:2022-11-22 04:26:22 公開日:2020-06-12 |
| # RNN記述のための形式言語アプローチ A Formal Language Approach to Explaining RNNs ( http://arxiv.org/abs/2006.07292v1 ) ライセンス: Link先を確認 | Bishwamittra Ghosh and Daniel Neider | (参考訳) 本稿では,線形時相論理(ltl)と呼ばれる形式記述言語を用いて,リカレントニューラルネットワーク(rnns)の意思決定を説明するフレームワークlexrを提案する。
ltlは形式的検証の文脈における時間的特性の仕様のデファクトスタンダードであり、人間が生成した説明を解釈しやすくするための多くの望ましい特性を特徴としている。
説明を得るために、LEXRは反例誘導帰納的合成の原理に従い、ヴァリアントのおそらくほぼ正しい学習(PAC)と制約解を組み合わせている。
我々は, LEXR の説明が PAC の保証を満たすことを証明し, これらの説明が RNN から決定論的有限オートマトンを抽出するアルゴリズムにより生成されるものよりも正確で理解しやすいことを示す。 This paper presents LEXR, a framework for explaining the decision making of recurrent neural networks (RNNs) using a formal description language called Linear Temporal Logic (LTL). LTL is the de facto standard for the specification of temporal properties in the context of formal verification and features many desirable properties that make the generated explanations easy for humans to interpret: it is a descriptive language, it has a variable-free syntax, and it can easily be translated into plain English. To generate explanations, LEXR follows the principle of counterexample-guided inductive synthesis and combines Valiant's probably approximately correct learning (PAC) with constraint solving. We prove that LEXR's explanations satisfy the PAC guarantee (provided the RNN can be described by LTL) and show empirically that these explanations are more accurate and easier-to-understand than the ones generated by recent algorithms that extract deterministic finite automata from RNNs. | 翻訳日:2022-11-22 04:26:01 公開日:2020-06-12 |
| # 低リソース言語: 過去の作業と今後の課題 Low-resource Languages: A Review of Past Work and Future Challenges ( http://arxiv.org/abs/2006.07264v1 ) ライセンス: Link先を確認 | Alexandre Magueresse, Vincent Carles, Evan Heetderks | (参考訳) NLPの現在の問題は、教師付きデータやネイティブスピーカーの数、専門家数といった有用なトレーニング属性が欠けている低リソース言語のマッサージと処理である。
本稿では,この問題の解決に向けたこれまでの画期的な成果を簡潔に要約し,今後の研究方向性の文脈における潜在的な改善について分析する。 A current problem in NLP is massaging and processing low-resource languages which lack useful training attributes such as supervised data, number of native speakers or experts, etc. This review paper concisely summarizes previous groundbreaking achievements made towards resolving this problem, and analyzes potential improvements in the context of the overall future research direction. | 翻訳日:2022-11-22 04:19:08 公開日:2020-06-12 |
| # ドリフト解析による固定予算の改善 Improved Fixed-Budget Results via Drift Analysis ( http://arxiv.org/abs/2006.07019v1 ) ライセンス: Link先を確認 | Timo K\"otzing and Carsten Witt | (参考訳) 固定予算理論は、適合関数評価の所定の予算内でランダム化された探索ヒューリスティックによって達成可能な適合値の計算や境界付けに関するものである。
固定予算理論の最近の進歩にもかかわらず、そのような結果を得るための一般的なツールが不足している。
期待最適化時間を導出するための重要なツールであるドリフト理論を固定ブッディング視点に移す。
いわゆるgred-admittingシナリオの反復ドリフトに関する最初の、そして使いやすいステートメントは、期待された関数値の境界に直ちに変換される。
その後、よく知られた変数ドリフト定理に基づくより一般的なツールを考える。
このテクニックをLeadingOnesベンチマーク関数に適用すると、以前の最先端技術よりも正確なステートメントが生成される。 Fixed-budget theory is concerned with computing or bounding the fitness value achievable by randomized search heuristics within a given budget of fitness function evaluations. Despite recent progress in fixed-budget theory, there is a lack of general tools to derive such results. We transfer drift theory, the key tool to derive expected optimization times, to the fixed-budged perspective. A first and easy-to-use statement concerned with iterating drift in so-called greed-admitting scenarios immediately translates into bounds on the expected function value. Afterwards, we consider a more general tool based on the well-known variable drift theorem. Applications of this technique to the LeadingOnes benchmark function yield statements that are more precise than the previous state of the art. | 翻訳日:2022-11-22 04:18:30 公開日:2020-06-12 |
| # 文脈特異的独立学習の新しい視点 A New Perspective on Learning Context-Specific Independence ( http://arxiv.org/abs/2006.06896v1 ) ライセンス: Link先を確認 | Yujia Shen, Arthur Choi, Adnan Darwiche | (参考訳) 文脈特化独立 (csi) のような局所構造は、大きな複雑なシステムのモデリングやそれらの推論を容易にするため、確率的グラフィカルモデル (pgm) の文献で多くの注目を集めている。
本稿では,データからCSIを学習する方法について,新たな視点を提供する。
本稿では,ニューラルネットワークなどの条件付き確率表(CPT)の機能的およびパラメータ化表現をまず学習する。
次に、この連続関数を効率的な推論を容易にする演算回路表現に量子化する。
最初のステップでは、機械学習の文献で開発された多くの強力なツールを活用することができます。
第2のステップでは、CSIを学ぶために、説明可能なAIから最近開発された分析ツールを活用します。
最後に, csisをより明確に探索する従来の可変分割アプローチと, 経験的および概念的に対比する。 Local structure such as context-specific independence (CSI) has received much attention in the probabilistic graphical model (PGM) literature, as it facilitates the modeling of large complex systems, as well as for reasoning with them. In this paper, we provide a new perspective on how to learn CSIs from data. We propose to first learn a functional and parameterized representation of a conditional probability table (CPT), such as a neural network. Next, we quantize this continuous function, into an arithmetic circuit representation that facilitates efficient inference. In the first step, we can leverage the many powerful tools that have been developed in the machine learning literature. In the second step, we exploit more recently-developed analytic tools from explainable AI, for the purposes of learning CSIs. Finally, we contrast our approach, empirically and conceptually, with more traditional variable-splitting approaches, that search for CSIs more explicitly. | 翻訳日:2022-11-22 04:18:17 公開日:2020-06-12 |
| # 地域学習ネットワーク:効率的なポイントクラウド分析のための意味のある地域 Local-Area-Learning Network: Meaningful Local Areas for Efficient Point Cloud Analysis ( http://arxiv.org/abs/2006.07226v1 ) ライセンス: Link先を確認 | Qendrim Bytyqi and Nicola Wolpert and Elmar Sch\"omer | (参考訳) 近年,深層ニューラルネットワークを用いた点雲解析の研究が急速に進展している。
先駆的な作業であるPointNetは、ポイントクラウドを直接分析した。
しかし、そのアーキテクチャのため、pointnetはローカルな構造をキャプチャできない。
この欠点を克服するため、同じ著者がpointnetをローカル領域に適用してpointnet++を開発した。
地域は中心点とその隣人によって定義される。
PointNet++とそのさらなる発展において、中心点はFarthest Point Sampling (FPS)アルゴリズムで決定される。
これは、中心点が一般に有意義な地域を持たないという欠点がある。
本稿では,地域選択と特徴付けを重視したニューラルローカルエリアラーニングネットワーク(local-net)を提案する。
私たちのアプローチは、中心となるポイントとして使用する重要なポイントを学びます。
局所構造の認識を強化するため、点には局所的な領域に応じて追加の計量特性が与えられる。
最後に、全点クラウドから1つ、全局所領域から1つのグローバルな特徴ベクトルを導出し、結合する。
ModelNet10/40とShapeNetのデータセットの実験では、LocAL-Netがパートセグメンテーションの競争力を示している。
LocAL-Netの分類では、最先端技術よりも優れている。 Research in point cloud analysis with deep neural networks has made rapid progress in recent years. The pioneering work PointNet offered a direct analysis of point clouds. However, due to its architecture PointNet is not able to capture local structures. To overcome this drawback, the same authors have developed PointNet++ by applying PointNet to local areas. The local areas are defined by center points and their neighbors. In PointNet++ and its further developments the center points are determined with a Farthest Point Sampling (FPS) algorithm. This has the disadvantage that the center points in general do not have meaningful local areas. In this paper, we introduce the neural Local-Area-Learning Network (LocAL-Net) which places emphasis on the selection and characterization of the local areas. Our approach learns critical points that we use as center points. In order to strengthen the recognition of local structures, the points are given additional metric properties depending on the local areas. Finally, we derive and combine two global feature vectors, one from the whole point cloud and one from all local areas. Experiments on the datasets ModelNet10/40 and ShapeNet show that LocAL-Net is competitive for part segmentation. For classification LocAL-Net outperforms the state-of-the-arts. | 翻訳日:2022-11-22 04:11:25 公開日:2020-06-12 |
| # GNN3DMOT:多機能学習による3次元多目的追跡のためのグラフニューラルネットワーク GNN3DMOT: Graph Neural Network for 3D Multi-Object Tracking with Multi-Feature Learning ( http://arxiv.org/abs/2006.07327v1 ) ライセンス: Link先を確認 | Xinshuo Weng, Yongxin Wang, Yunze Man, Kris Kitani | (参考訳) 自律システムには3dマルチオブジェクトトラッキング(mot)が不可欠である。
最近の研究では、アフィニティ行列を計算するために、機能抽出を各オブジェクトに対して独立に行う標準的なトラッキング・バイ・検出パイプラインを使用している。
そして、親和性行列を、データアソシエーションのためのハンガリーのアルゴリズムに渡す。
この標準パイプラインの重要なプロセスは、データアソシエーション時の混乱を軽減するために、異なるオブジェクトの識別機能を学ぶことである。
本研究では,MOTの識別的特徴学習を改善するための2つの手法を提案する。(1)個々のオブジェクトの特徴を独立に取得する代わりに,グラフニューラルネットワークを導入することにより,新しい特徴相互作用機構を提案する。
As a result, the feature of one object is informed of the features of other objects so that the object feature can lean towards the object with similar feature (i.e., object probably with a same ID) and deviate from objects with dissimilar features (i.e., object probably with different IDs), leading to a more discriminative feature for each object; (2) instead of obtaining the feature from either 2D or 3D space in prior work, we propose a novel joint feature extractor to learn appearance and motion features from 2D and 3D space simultaneously.
異なるモダリティの特徴はしばしば補完的な情報を持っているため、ジョイント特徴は個々のモダリティから特徴よりも識別される。
また,統合特徴抽出器が1つのモダリティに大きく依存していないことを保証するため,アンサンブルトレーニングパラダイムを提案する。
提案手法は,KITTIおよびnuScenes 3D MOTベンチマーク上での最先端性能を実現する。
私たちのコードはhttps://github.com/xinshuoweng/GNN3DMOTで公開されます。 3D Multi-object tracking (MOT) is crucial to autonomous systems. Recent work uses a standard tracking-by-detection pipeline, where feature extraction is first performed independently for each object in order to compute an affinity matrix. Then the affinity matrix is passed to the Hungarian algorithm for data association. A key process of this standard pipeline is to learn discriminative features for different objects in order to reduce confusion during data association. In this work, we propose two techniques to improve the discriminative feature learning for MOT: (1) instead of obtaining features for each object independently, we propose a novel feature interaction mechanism by introducing the Graph Neural Network. As a result, the feature of one object is informed of the features of other objects so that the object feature can lean towards the object with similar feature (i.e., object probably with a same ID) and deviate from objects with dissimilar features (i.e., object probably with different IDs), leading to a more discriminative feature for each object; (2) instead of obtaining the feature from either 2D or 3D space in prior work, we propose a novel joint feature extractor to learn appearance and motion features from 2D and 3D space simultaneously. As features from different modalities often have complementary information, the joint feature can be more discriminate than feature from each individual modality. To ensure that the joint feature extractor does not heavily rely on one modality, we also propose an ensemble training paradigm. Through extensive evaluation, our proposed method achieves state-of-the-art performance on KITTI and nuScenes 3D MOT benchmarks. Our code will be made available at https://github.com/xinshuoweng/GNN3DMOT | 翻訳日:2022-11-22 04:11:10 公開日:2020-06-12 |
| # multispectral biometrics system framework: application to presentation attack detection (特集 バイオメトリックスシステム) Multispectral Biometrics System Framework: Application to Presentation Attack Detection ( http://arxiv.org/abs/2006.07489v1 ) ライセンス: Link先を確認 | Leonidas Spinoulas, Mohamed Hussein, David Geissb\"uhler, Joe Mathai, Oswin G.Almeida, Guillaume Clivaz, S\'ebastien Marcel, and Wael AbdAlmageed | (参考訳) 本研究では,能動光源と同期した一連のセンサからマルチスペクトルデータをキャプチャするバイオメトリックスシステムを構築するための一般的な枠組みを提案する。
本フレームワークは, 生体特性の異なるシステム設計を統一し, 顔, 指, 虹彩データへの実現について詳述する。
我々の知る限り、提示された設計は、可視光から長波長の赤外線まで幅広い電磁スペクトル帯を初めて採用し、数秒で大量のデータを取得することができる。
一連のデータ収集を行い, ディープラーニング分類器を用いて, 収集したデータの包括的解析を行い, 提示攻撃検出を行った。
我々の研究は、各スペクトル帯の強度と弱さを、偽のサンプルと区別するデータ中心のアプローチに従っている。 In this work, we present a general framework for building a biometrics system capable of capturing multispectral data from a series of sensors synchronized with active illumination sources. The framework unifies the system design for different biometric modalities and its realization on face, finger and iris data is described in detail. To the best of our knowledge, the presented design is the first to employ such a diverse set of electromagnetic spectrum bands, ranging from visible to long-wave-infrared wavelengths, and is capable of acquiring large volumes of data in seconds. Having performed a series of data collections, we run a comprehensive analysis on the captured data using a deep-learning classifier for presentation attack detection. Our study follows a data-centric approach attempting to highlight the strengths and weaknesses of each spectral band at distinguishing live from fake samples. | 翻訳日:2022-11-22 04:10:48 公開日:2020-06-12 |
| # 神経制御のための深層強化学習 Deep Reinforcement Learning for Neural Control ( http://arxiv.org/abs/2006.07352v1 ) ライセンス: Link先を確認 | Jimin Kim, Eli Shlizerman | (参考訳) 本稿では,深層強化学習に基づくニューラル回路制御のための新しい手法を提案する。
本手法は、既存の神経回路(ニューロモデュレーション制御)の外部連続刺激や、神経回路アーキテクチャの変調(コネクトーム制御)を発生させることにより、目的行動を達成する。
両形態の制御は、神経活動の非線形および繰り返しの複雑さのために困難である。
候補制御ポリシを推測するために,我々はニューラルネットワークとそのコネクトームをグリッドワールドにマッピングし,目的とする動作を達成するために必要な動作を推論する。
これらのアクションは、グリッドワールドのナビゲートにおけるロバストなパフォーマンスで知られている深いq学習手法の適応によって推測される。
われわれのアプローチは \textit{C のモデルに適用する。
全身の体性神経系を筋肉と体でシミュレートするエレガンス。
ケモタキシーの制御のために神経ペプチド電流とシナプス構造を推定した。
本研究は生体内測定と一致し, ケモタキシーの神経制御に関するさらなる知見を提供する。
さらに, ケモティックニューラル回路をスクラッチから推定することにより, 方法の汎用性と拡張性を示す。 We present a novel methodology for control of neural circuits based on deep reinforcement learning. Our approach achieves aimed behavior by generating external continuous stimulation of existing neural circuits (neuromodulation control) or modulations of neural circuits architecture (connectome control). Both forms of control are challenging due to nonlinear and recurrent complexity of neural activity. To infer candidate control policies, our approach maps neural circuits and their connectome into a grid-world like setting and infers the actions needed to achieve aimed behavior. The actions are inferred by adaptation of deep Q-learning methods known for their robust performance in navigating grid-worlds. We apply our approach to the model of \textit{C. elegans} which simulates the full somatic nervous system with muscles and body. Our framework successfully infers neuropeptidic currents and synaptic architectures for control of chemotaxis. Our findings are consistent with in vivo measurements and provide additional insights into neural control of chemotaxis. We further demonstrate the generality and scalability of our methods by inferring chemotactic neural circuits from scratch. | 翻訳日:2022-11-22 04:09:59 公開日:2020-06-12 |
| # 単純なニューラルネットワークにおける複雑ダイナミクス:位相検索における勾配流れの理解 Complex Dynamics in Simple Neural Networks: Understanding Gradient Flow in Phase Retrieval ( http://arxiv.org/abs/2006.06997v1 ) ライセンス: Link先を確認 | Stefano Sarao Mannelli, Giulio Biroli, Chiara Cammarota, Florent Krzakala, Pierfrancesco Urbani and Lenka Zdeborov\'a | (参考訳) 高次元非凸関数を最適化するために勾配に基づくアルゴリズムが広く使われているにもかかわらず、スプリアス関数に捕まらずに良質なミニマを見つける能力を理解することは、オープンな問題である。
本稿では,ランダムな測定値からの位相抽出のための勾配流れのダイナミクスに着目した。
入力次元上の測定数の比率が小さいとき、ダイナミクスは大きなアトラクションの盆地を持つスプリアス・ミニマ(英語版)に閉じ込められる。
解析学的には、これらの臨界点が信号に対して負の方向に発達する不安定になる。
数値実験により、この方法では勾配流アルゴリズムは捕捉されず、不安定な方向に沿って散発的な臨界点から離れ、大域的最小値を求めることに成功した。
統計物理学のツールを用いて、スプリアス・ミニマのヘッシアンにおけるbbp型遷移に関連するこの現象を特徴づける。 Despite the widespread use of gradient-based algorithms for optimizing high-dimensional non-convex functions, understanding their ability of finding good minima instead of being trapped in spurious ones remains to a large extent an open problem. Here we focus on gradient flow dynamics for phase retrieval from random measurements. When the ratio of the number of measurements over the input dimension is small the dynamics remains trapped in spurious minima with large basins of attraction. We find analytically that above a critical ratio those critical points become unstable developing a negative direction toward the signal. By numerical experiments we show that in this regime the gradient flow algorithm is not trapped; it drifts away from the spurious critical points along the unstable direction and succeeds in finding the global minimum. Using tools from statistical physics we characterize this phenomenon, which is related to a BBP-type transition in the Hessian of the spurious minima. | 翻訳日:2022-11-22 04:09:43 公開日:2020-06-12 |
| # 条件付きモーメントモデルの最小推定 Minimax Estimation of Conditional Moment Models ( http://arxiv.org/abs/2006.07201v1 ) ライセンス: Link先を確認 | Nishanth Dikkala, Greg Lewis, Lester Mackey, Vasilis Syrgkanis | (参考訳) 本研究では,非パラメトリックな機器変数回帰を用いた条件付きモーメント制約によるモデル推定手法を開発した。
本稿では,対象モデルの仮説空間上で最適化しているモデラーと,テスト関数空間上の違反モーメントを識別する敵とのゼロサムゲーム解決として,推定問題を考察するmin-max基準関数を提案する。
任意の仮説空間に対する結果推定器の統計的推定率を,不適切な逆問題に対する平均二乗誤差計量の適切な類似性について解析する。
その結果、ミニマックス基準がテスト関数の第二モーメントペナルティで定式化され、テスト関数空間が十分に豊かになったとき、推定率は仮説とテスト関数空間の臨界半径とともにスケールし、通常はタイトな速さを与える。
その結果, 統計的学習問題の局所化ラデマッハ解析をminimaxの目的として行った。
本研究では,カーネルヒルベルト空間の再現,高次元スパース線形関数,形状制約による空間,ランダムフォレストなどのアンサンブル推定器,ニューラルネットワークなど,いくつかの仮説空間に対する主結果の応用について述べる。
これらのアプリケーションごとに、対応するminimax問題(例えば、ニューラルネットワークの確率的一階ヒューリスティック)を解決する計算効率の高い最適化手法を提供する。
いくつかの応用において、我々の修正平均二乗誤差率と逆問題の不備を束縛した条件が組み合わされ、平均二乗誤差率となることを示す。
最後に,提案手法の広範囲な実験的解析を行った。 We develop an approach for estimating models described via conditional moment restrictions, with a prototypical application being non-parametric instrumental variable regression. We introduce a min-max criterion function, under which the estimation problem can be thought of as solving a zero-sum game between a modeler who is optimizing over the hypothesis space of the target model and an adversary who identifies violating moments over a test function space. We analyze the statistical estimation rate of the resulting estimator for arbitrary hypothesis spaces, with respect to an appropriate analogue of the mean squared error metric, for ill-posed inverse problems. We show that when the minimax criterion is regularized with a second moment penalty on the test function and the test function space is sufficiently rich, then the estimation rate scales with the critical radius of the hypothesis and test function spaces, a quantity which typically gives tight fast rates. Our main result follows from a novel localized Rademacher analysis of statistical learning problems defined via minimax objectives. We provide applications of our main results for several hypothesis spaces used in practice such as: reproducing kernel Hilbert spaces, high dimensional sparse linear functions, spaces defined via shape constraints, ensemble estimators such as random forests, and neural networks. For each of these applications we provide computationally efficient optimization methods for solving the corresponding minimax problem (e.g. stochastic first-order heuristics for neural networks). In several applications, we show how our modified mean squared error rate, combined with conditions that bound the ill-posedness of the inverse problem, lead to mean squared error rates. We conclude with an extensive experimental analysis of the proposed methods. | 翻訳日:2022-11-22 04:09:03 公開日:2020-06-12 |
| # 話者感性反応評価モデル Speaker Sensitive Response Evaluation Model ( http://arxiv.org/abs/2006.07015v1 ) ライセンス: Link先を確認 | JinYeong Bak, Alice Oh | (参考訳) 任意のコンテキストに対して適切な応答が多数存在するため、オープンドメインの対話応答生成の自動評価は非常に難しい。
既存の評価モデルでは、生成した応答を基底真理応答と比較するだけで、それらが基底真理から逸脱した場合に適切な応答の多くを不適切であると評価する。
この問題を解決する一つのアプローチは、生成した応答と会話のコンテキストとの類似性を検討することである。
本稿では,そのアイデアに基づいた自動評価モデルを提案し,ラベルのない会話コーパスからモデルパラメータを学習する。
我々のアプローチは、話者が類似した文脈の異なるレベルを定義することである。
評価モデルをテストするために、多くの話者や会話を含むTwitter会話コーパスを使用します。
実験の結果, 既存の評価基準よりも, ヒトのアノテーションスコアとの相関度が高いという結果が得られた。
また、Twitterでトレーニングしたモデルを、追加のトレーニングなしで映画対話に適用できることも示しています。
我々は,対話応答生成モデルの自動評価に使用できるように,コードと学習パラメータを提供する。 Automatic evaluation of open-domain dialogue response generation is very challenging because there are many appropriate responses for a given context. Existing evaluation models merely compare the generated response with the ground truth response and rate many of the appropriate responses as inappropriate if they deviate from the ground truth. One approach to resolve this problem is to consider the similarity of the generated response with the conversational context. In this paper, we propose an automatic evaluation model based on that idea and learn the model parameters from an unlabeled conversation corpus. Our approach considers the speakers in defining the different levels of similar context. We use a Twitter conversation corpus that contains many speakers and conversations to test our evaluation model. Experiments show that our model outperforms the other existing evaluation metrics in terms of high correlation with human annotation scores. We also show that our model trained on Twitter can be applied to movie dialogues without any additional training. We provide our code and the learned parameters so that they can be used for automatic evaluation of dialogue response generation models. | 翻訳日:2022-11-22 04:08:17 公開日:2020-06-12 |
| # 集団観測による同定可能な非パラメトリック混合モデルの一貫性推定 Consistent Estimation of Identifiable Nonparametric Mixture Models from Grouped Observations ( http://arxiv.org/abs/2006.07459v1 ) ライセンス: Link先を確認 | Alexander Ritchie, Robert A. Vandermeulen, Clayton Scott | (参考訳) 近年の研究では、有限混合モデルが群観測から識別できる十分な条件が確立されている。
これらの条件により、混合成分は非パラメトリックであり、実質的(あるいは全体的)重なりを持つ。
本研究は,グループ化観測から同定可能な混合モデルを一貫して推定するアルゴリズムを提案する。
本解析では,群上の分布の重み付き核密度推定器に対するオラクルの不等式と,群上の分布の一貫した推定が混合成分の一貫した推定を意味することを示した。
ペア化観測のための実践的な実装が提供され、特に混合成分が著しく重なり合う場合、既存の手法よりも優れた方法が示される。 Recent research has established sufficient conditions for finite mixture models to be identifiable from grouped observations. These conditions allow the mixture components to be nonparametric and have substantial (or even total) overlap. This work proposes an algorithm that consistently estimates any identifiable mixture model from grouped observations. Our analysis leverages an oracle inequality for weighted kernel density estimators of the distribution on groups, together with a general result showing that consistent estimation of the distribution on groups implies consistent estimation of mixture components. A practical implementation is provided for paired observations, and the approach is shown to outperform existing methods, especially when mixture components overlap significantly. | 翻訳日:2022-11-22 04:01:51 公開日:2020-06-12 |
| # 探索のためのハイパーモデル Hypermodels for Exploration ( http://arxiv.org/abs/2006.07464v1 ) ライセンス: Link先を確認 | Vikranth Dwaracherla, Xiuyuan Lu, Morteza Ibrahimi, Ian Osband, Zheng Wen, Benjamin Van Roy | (参考訳) 疫学的な不確実性を表すためのハイパーモデルとガイド探索について検討する。
これは、トンプソンサンプリングを近似するためにアンサンブルの使用を一般化し拡張する。
アンサンブルを訓練する計算コストはその大きさとともに増大し、それ以前の作業は通常、数十要素のアンサンブルに限られていた。
代替ハイパーモデルは劇的な効率向上を享受でき、数百から数千の要素を必要とする振る舞いを可能とし、アンサンブル手法がサイズに関係なく学習できない状況でも成功できることを示した。
これにより、トンプソンサンプリングのより正確な近似と、より洗練された探索スキームの使用が可能になる。
特に,情報指向サンプリングの近似形式を検討し,トンプソンサンプリングと比較して性能向上を示す。
アンサンブルの代替として、線形およびニューラルネットワークのハイパーモデル(ハイパーネットワークとも呼ばれる)を検討する。
ニューラルネットワークのベースモデルでは、線形ハイパーモデルは本質的に関数上の任意の分布を表現できるため、ハイパーネットワークはもはや表現力がないことを証明します。 We study the use of hypermodels to represent epistemic uncertainty and guide exploration. This generalizes and extends the use of ensembles to approximate Thompson sampling. The computational cost of training an ensemble grows with its size, and as such, prior work has typically been limited to ensembles with tens of elements. We show that alternative hypermodels can enjoy dramatic efficiency gains, enabling behavior that would otherwise require hundreds or thousands of elements, and even succeed in situations where ensemble methods fail to learn regardless of size. This allows more accurate approximation of Thompson sampling as well as use of more sophisticated exploration schemes. In particular, we consider an approximate form of information-directed sampling and demonstrate performance gains relative to Thompson sampling. As alternatives to ensembles, we consider linear and neural network hypermodels, also known as hypernetworks. We prove that, with neural network base models, a linear hypermodel can represent essentially any distribution over functions, and as such, hypernetworks are no more expressive. | 翻訳日:2022-11-22 04:01:38 公開日:2020-06-12 |
| # frugalml: より正確かつ安価にml予測apiを使用する方法 FrugalML: How to Use ML Prediction APIs More Accurately and Cheaply ( http://arxiv.org/abs/2006.07512v1 ) ライセンス: Link先を確認 | Lingjiao Chen, Matei Zaharia, James Zou | (参考訳) 料金として提供される予測apiは、急速に成長している業界であり、サービスとしての機械学習の重要な部分である。
多くのサービスが利用できるが、価格とパフォーマンスの異質性は、ユーザーが自分のデータと予算のためにどのapiとapiの組み合わせを使うかを決めるのを難しくする。
FrugalMLは、異なるデータ上で各APIの長所と短所を共同で学習し、予算制約の中で利用可能なAPIを適応的に利用する最適なシーケンシャル戦略を自動的に識別する効率的な最適化を行う。
理論的解析により, frugalmlの効率を高めるために, 定式化における自然なスパーシティを活用できることが示された。
我々は、顔の感情認識、感情分析、音声認識などのタスクのために、Google、Microsoft、Amazon、IBM、BaiduなどのML APIを使用して体系的な実験を行う。
さまざまなタスクにおいて、FrugalMLは、最高の単一APIの精度を一致させながら、最大90%のコスト削減を実現し、最高のAPIのコストを一致させながら、最大5%の精度を達成できる。 Prediction APIs offered for a fee are a fast-growing industry and an important part of machine learning as a service. While many such services are available, the heterogeneity in their price and performance makes it challenging for users to decide which API or combination of APIs to use for their own data and budget. We take a first step towards addressing this challenge by proposing FrugalML, a principled framework that jointly learns the strength and weakness of each API on different data, and performs an efficient optimization to automatically identify the best sequential strategy to adaptively use the available APIs within a budget constraint. Our theoretical analysis shows that natural sparsity in the formulation can be leveraged to make FrugalML efficient. We conduct systematic experiments using ML APIs from Google, Microsoft, Amazon, IBM, Baidu and other providers for tasks including facial emotion recognition, sentiment analysis and speech recognition. Across various tasks, FrugalML can achieve up to 90% cost reduction while matching the accuracy of the best single API, or up to 5% better accuracy while matching the best API's cost. | 翻訳日:2022-11-22 04:01:10 公開日:2020-06-12 |
| # 木型モデルにおける特徴選択のためのゲインペナリゼーションの一般化 Generalizing Gain Penalization for Feature Selection in Tree-based Models ( http://arxiv.org/abs/2006.07515v1 ) ライセンス: Link先を確認 | Bruna Wundervald, Andrew Parnell and Katarina Domijan | (参考訳) 木モデルにおけるゲインペナル化による特徴選択のための新しい手法を開発した。
まず,従来の手法では十分な正規化が行えず,特に相関特性が存在する場合,しばしば準最適オフ・オブ・サンプル性能を示すことを示す。
その代わり、木ベースのモデルに対する一般的な局所的グローバル正規化を示す新しいゲインペナルゼーションアイデアを開発する。
この新しい方法により、機能固有の重み付けの選択の柔軟性が向上する。
シミュレーションデータと実データの両方で本手法を検証し,Rパッケージレンジャーの拡張として実装する。 We develop a new approach for feature selection via gain penalization in tree-based models. First, we show that previous methods do not perform sufficient regularization and often exhibit sub-optimal out-of-sample performance, especially when correlated features are present. Instead, we develop a new gain penalization idea that exhibits a general local-global regularization for tree-based models. The new method allows for more flexibility in the choice of feature-specific importance weights. We validate our method on both simulated and real data and implement itas an extension of the popular R package ranger. | 翻訳日:2022-11-22 04:00:48 公開日:2020-06-12 |
| # Iterate & Cluster: Iterative Semi-Supervised Action Recognition Iterate & Cluster: Iterative Semi-Supervised Action Recognition ( http://arxiv.org/abs/2006.06911v1 ) ライセンス: Link先を確認 | Jingyuan Li, Eli Shlizerman | (参考訳) 本稿では,アクティブな半教師付き特徴に基づく行動認識システムを提案する。
動作中に追跡される機能の時系列を前提に、システムはそのシーケンスをアクションに集約します。
本システムは,自己回帰タスクによる潜在表現の自己組織化によるクラスタリングを行うために,教師なしのエンコーダデコーダに基づく。
これらの手法はヒトの行動認識ベンチマークおよび非機能ベースの教師なし手法より優れており、骨格に基づく教師付き手法と同等の精度を達成できた。
しかし、このような手法はK-Nearest Neighbours (KNN) のアクション関連配列に依存しており、注釈付きデータを持たない一般的な特徴は、さらに拡張可能な近似クラスタに対応する。
本システムでは,この課題に対処し,クラスタとアクションの関連を積極的に学習するための反復的半教師付き手法を提案する。
この方法は、教師なしエンコーダデコーダの遅延空間埋め込みとクラスタリングを利用して、各イテレーションで注釈付けされるシーケンスの選択を誘導する。
各イテレーションは、アノテーションの少数のシーケンスを選択しながら、アクション認識の精度を高めることを目的としている。
我々は,本手法で選択したアノテーションのみを利用できると仮定し,ヒト骨格に基づく行動認識ベンチマークを用いてアプローチを検証した。
本システムでは,わずかなアノテーションで認識性能を向上させることができる。
このシステムは、さまざまなオブジェクトやアクションの"in the wild"ビデオのラベル付け作業をガイドし、堅牢な認識を達成するためのインタラクティブなアノテーションツールとして使用できる。 We propose a novel system for active semi-supervised feature-based action recognition. Given time sequences of features tracked during movements our system clusters the sequences into actions. Our system is based on encoder-decoder unsupervised methods shown to perform clustering by self-organization of their latent representation through the auto-regression task. These methods were tested on human action recognition benchmarks and outperformed non-feature based unsupervised methods and achieved comparable accuracy to skeleton-based supervised methods. However, such methods rely on K-Nearest Neighbours (KNN) associating sequences to actions, and general features with no annotated data would correspond to approximate clusters which could be further enhanced. Our system proposes an iterative semi-supervised method to address this challenge and to actively learn the association of clusters and actions. The method utilizes latent space embedding and clustering of the unsupervised encoder-decoder to guide the selection of sequences to be annotated in each iteration. Each iteration, the selection aims to enhance action recognition accuracy while choosing a small number of sequences for annotation. We test the approach on human skeleton-based action recognition benchmarks assuming that only annotations chosen by our method are available and on mouse movements videos recorded in lab experiments. We show that our system can boost recognition performance with only a small percentage of annotations. The system can be used as an interactive annotation tool to guide labeling efforts for 'in the wild' videos of various objects and actions to reach robust recognition. | 翻訳日:2022-11-22 04:00:38 公開日:2020-06-12 |
| # 畳み込みニューラルネットワークを用いた網膜基底画像における未熟児網膜症(ROP)の早期検出 Early Detection of Retinopathy of Prematurity (ROP) in Retinal Fundus Images Via Convolutional Neural Networks ( http://arxiv.org/abs/2006.06968v1 ) ライセンス: Link先を確認 | Xin Guo, Yusuke Kikuchi, Guan Wang, Jinglin Yi, Qiong Zou, and Rui Zhou | (参考訳) 未熟児網膜症(retinopathy of prematurity, rop)は、未熟児または低出生体重児の網膜における異常血管の発生である。
ROPは世界中の乳幼児の盲目の主要な原因の1つである。
ROPの早期検出は、ROPによる視覚障害の進行を抑えるために重要である。
しかし、医療専門家の間でもROPに対する意識は限られている。
したがって、ROPのデータセットは利用可能であれば制限され、一般的には負のイメージと正のイメージの比率において非常に不均衡である。
本研究では, 網膜底像中のropを検出する問題を最適化フレームワークで定式化し, 最先端の畳み込みニューラルネットワーク技術を用いてこの問題を解決した。
私たちのモデルに基づく実験結果は、100%の感度、96%の特異性、98%の精度、96%の精度を実現しています。
さらに本研究では,ネットワークの深層化に伴い,ROPの理解を深めるために,より重要な特徴を抽出できることを示す。 Retinopathy of prematurity (ROP) is an abnormal blood vessel development in the retina of a prematurely-born infant or an infant with low birth weight. ROP is one of the leading causes for infant blindness globally. Early detection of ROP is critical to slow down and avert the progression to vision impairment caused by ROP. Yet there is limited awareness of ROP even among medical professionals. Consequently, dataset for ROP is limited if ever available, and is in general extremely imbalanced in terms of the ratio between negative images and positive ones. In this study, we formulate the problem of detecting ROP in retinal fundus images in an optimization framework, and apply state-of-art convolutional neural network techniques to solve this problem. Experimental results based on our models achieve 100 percent sensitivity, 96 percent specificity, 98 percent accuracy, and 96 percent precision. In addition, our study shows that as the network gets deeper, more significant features can be extracted for better understanding of ROP. | 翻訳日:2022-11-22 03:59:51 公開日:2020-06-12 |
| # 3Dポイントクラウド生成敵ネットワークにおけるサンプリングの再考 Rethinking Sampling in 3D Point Cloud Generative Adversarial Networks ( http://arxiv.org/abs/2006.07029v1 ) ライセンス: Link先を確認 | He Wang, Zetian Jiang, Li Yi, Kaichun Mo, Hao Su, Leonidas J. Guibas | (参考訳) 本稿では,点群 GAN における点サンプリングパターンの長期的かつ重要な影響について検討する。
広範な実験を通して、サンプリング非感受性判別器(PointNet-Maxなど)が点クラスタリングアーティファクトを持つ形状点雲を生成する一方で、サンプリング非感受性判別器(PointNet++、DGCNNなど)は有効な形状生成を導くことができないことを示す。
判別器の異なるサンプリング感度を示すために,サンプリングスペクトルの概念を提案する。
さらに, 異なる評価指標がサンプリングパターンを幾何に対してどのように重み付けるかを検討し, サンプリングスペクトルを形成する複数の知覚指標を提案する。
提案したサンプリングスペクトルで導かれる中点サンプリング対応のベースライン判別器であるPointNet-Mixは,サンプリング関連メトリクスに大きなマージンで既存のクラウドジェネレータを改良する。
最近の研究ではジェネレータの設計に焦点が当てられているが、ポイントクラウドのGANの主なボトルネックは、実際には識別器の設計にある。
私たちの仕事は、将来の差別者を作るための提案とツールの両方を提供します。
今後の研究を促進するためにコードを公開します。 In this paper, we examine the long-neglected yet important effects of point sampling patterns in point cloud GANs. Through extensive experiments, we show that sampling-insensitive discriminators (e.g.PointNet-Max) produce shape point clouds with point clustering artifacts while sampling-oversensitive discriminators (e.g.PointNet++, DGCNN) fail to guide valid shape generation. We propose the concept of sampling spectrum to depict the different sampling sensitivities of discriminators. We further study how different evaluation metrics weigh the sampling pattern against the geometry and propose several perceptual metrics forming a sampling spectrum of metrics. Guided by the proposed sampling spectrum, we discover a middle-point sampling-aware baseline discriminator, PointNet-Mix, which improves all existing point cloud generators by a large margin on sampling-related metrics. We point out that, though recent research has been focused on the generator design, the main bottleneck of point cloud GAN actually lies in the discriminator design. Our work provides both suggestions and tools for building future discriminators. We will release the code to facilitate future research. | 翻訳日:2022-11-22 03:59:33 公開日:2020-06-12 |
| # weston-watkinsのヒンジ損失と順序付きパーティション Weston-Watkins Hinge Loss and Ordered Partitions ( http://arxiv.org/abs/2006.07346v1 ) ライセンス: Link先を確認 | Yutong Wang and Clayton D. Scott | (参考訳) サポートベクトルマシン(SVM)のマルチクラス拡張は、様々な方法で定式化されている。
最近の9つの定式化の実証的な比較 (Do\v{g}an et al. 2016) では、WWの損失が0-1の損失に対して校正されないにもかかわらず、ウェストンとワトキンス(WW)によって提案された変種を推奨している。
本研究では,マルチクラス分類のための新しい離散損失関数である順序分割損失を導入し,ww-ヒンジ損失をこの損失に対して校正することを示す。
また、この性質を満たす離散的損失のうち、順序付き分割損失は最大に有益であると主張する。
最後に、我々は、WW-SVMは大規模なラベルノイズの下でも機能しうるというDo\v{g}anらによる経験的観察を正当化するために、我々の理論を適用した。 Multiclass extensions of the support vector machine (SVM) have been formulated in a variety of ways. A recent empirical comparison of nine such formulations [Do\v{g}an et al. 2016] recommends the variant proposed by Weston and Watkins (WW), despite the fact that the WW-hinge loss is not calibrated with respect to the 0-1 loss. In this work we introduce a novel discrete loss function for multiclass classification, the ordered partition loss, and prove that the WW-hinge loss is calibrated with respect to this loss. We also argue that the ordered partition loss is maximally informative among discrete losses satisfying this property. Finally, we apply our theory to justify the empirical observation made by Do\v{g}an et al. that the WW-SVM can work well even under massive label noise, a challenging setting for multiclass SVMs. | 翻訳日:2022-11-22 03:52:41 公開日:2020-06-12 |
| # 公正ポートフォリオ設計のためのアルゴリズムと学習 Algorithms and Learning for Fair Portfolio Design ( http://arxiv.org/abs/2006.07281v1 ) ライセンス: Link先を確認 | Emily Diana, Travis Dick, Hadi Elzayn, Michael Kearns, Aaron Roth, Zachary Schutzman, Saeed Sharifi-Malvajerdi, Juba Ziani | (参考訳) 最適ポートフォリオ設計の古典的金融問題における変化を考察する。
我々の設定では、消費者の大多数は、リスク寛容性に関するいくつかの分布から引き出され、各消費者は、寛容性よりも低いリスクのポートフォリオに割り当てられなければならない。
消費者はまた、基盤となるグループ(例えば、人口特性や富)に属しており、その目標は、特定の自然な技術的意味においてグループ間で公平な少数のポートフォリオを設計することである。
我々の主な成果は,社会的福祉と公正の目的の両方に対する最適および準最適ポートフォリオ設計のアルゴリズムである。
そこで本研究では,公平なポートフォリオを学習する内部2人プレイのゼロサムゲームに基づく効率的なアルゴリズムについて述べる。
グループ構造がリスク許容性(富裕層が一般的により大きなリスクを許容する現実をモデル化する)と一致する特殊なケースに対しては、効率的かつ最適な公正なアルゴリズムを提供する。
また,ポートフォリオ数に依存しないリスク分布に対する一般化保証を提供し,シミュレーション結果を用いて理論を説明する。 We consider a variation on the classical finance problem of optimal portfolio design. In our setting, a large population of consumers is drawn from some distribution over risk tolerances, and each consumer must be assigned to a portfolio of lower risk than her tolerance. The consumers may also belong to underlying groups (for instance, of demographic properties or wealth), and the goal is to design a small number of portfolios that are fair across groups in a particular and natural technical sense. Our main results are algorithms for optimal and near-optimal portfolio design for both social welfare and fairness objectives, both with and without assumptions on the underlying group structure. We describe an efficient algorithm based on an internal two-player zero-sum game that learns near-optimal fair portfolios ex ante and show experimentally that it can be used to obtain a small set of fair portfolios ex post as well. For the special but natural case in which group structure coincides with risk tolerances (which models the reality that wealthy consumers generally tolerate greater risk), we give an efficient and optimal fair algorithm. We also provide generalization guarantees for the underlying risk distribution that has no dependence on the number of portfolios and illustrate the theory with simulation results. | 翻訳日:2022-11-22 03:41:37 公開日:2020-06-12 |
| # 帯域アルゴリズムによる依存サンプルのオフポリティ評価のための信頼区間:標準化マルティンガレスからのアプローチ Confidence Interval for Off-Policy Evaluation from Dependent Samples via Bandit Algorithm: Approach from Standardized Martingales ( http://arxiv.org/abs/2006.06982v1 ) ライセンス: Link先を確認 | Masahiro Kato | (参考訳) 本研究は,banditアルゴリズムによって得られた従属サンプルからのオフポリシー評価(ope)の問題に対処する。
OPEの目的は,バンディットアルゴリズムによって生成された行動ポリシーから得られた履歴データを用いて,新しいポリシーを評価することである。
バンディットアルゴリズムは過去の観測に基づいてポリシーを更新するため、サンプルは独立ではなく、同じ分布(すなわちd)である。
しかし, OPE の既存手法ではこの問題を考慮せず, サンプルが i.d. であるという仮定に基づいており, 本研究では, 標準的なマーチンゲール差分列から推定器を構築することによりこの問題に対処する。
シーケンスを標準化するために,評価データやサンプル分割を2段階推定を用いて検討する。
この手法は行動ポリシーのクラスを制限することなく漸近正規性を持つ推定子を生成する。
実験で提案した推定器は,動作方針が時間不変ポリシーに収束すると仮定した既存手法よりも優れた性能を示す。 This study addresses the problem of off-policy evaluation (OPE) from dependent samples obtained via the bandit algorithm. The goal of OPE is to evaluate a new policy using historical data obtained from behavior policies generated by the bandit algorithm. Because the bandit algorithm updates the policy based on past observations, the samples are not independent and identically distributed (i.i.d.). However, several existing methods for OPE do not take this issue into account and are based on the assumption that samples are i.i.d. In this study, we address this problem by constructing an estimator from a standardized martingale difference sequence. To standardize the sequence, we consider using evaluation data or sample splitting with a two-step estimation. This technique produces an estimator with asymptotic normality without restricting a class of behavior policies. In an experiment, the proposed estimator performs better than existing methods, which assume that the behavior policy converges to a time-invariant policy. | 翻訳日:2022-11-22 03:35:37 公開日:2020-06-12 |
| # 非凸フェデレーション最適化のための確率勾配法の統一解析 A Unified Analysis of Stochastic Gradient Methods for Nonconvex Federated Optimization ( http://arxiv.org/abs/2006.07013v1 ) ライセンス: Link先を確認 | Zhize Li, Peter Richt\'arik | (参考訳) 本稿では,スムーズな非凸状態におけるSGD変種群の性能について検討する。
そこで本研究では,確率勾配の第2モーメントを正確にモデル化できる汎用的で柔軟な仮定を提案する。
我々の仮定は、任意のサンプリングのSGD、圧縮勾配のSGD、SVRGやSAGAのような様々な分散還元SGD法など、文学におけるSGDの多くの特定の変種によって満たされる。
提案する統一仮定を満たした全手法に対して単一収束解析を行い,各変数の専用解析に頼らずに非凸系におけるsgd変種を統一的に理解する。
さらに, 統一解析は, いくつかの古典的手法の最もよく知られた収束結果の復元や改善に十分正確であり, 特殊事例として生じる多くの新しい手法に対して新たな収束結果を与える。
より一般的な分散/フェデレート非凸最適化設定では,直接勾配圧縮 (dc) と勾配差圧縮 (diana) のいずれを使用するかで異なる2つの汎用アルゴリズムフレームワークを提案する。
これら2つのフレームワークによってキャプチャされたすべてのメソッドもまた、我々の統一された仮定を満たすことを示す。
そこで,本研究では,圧縮通信を利用した分散手法の多種多様な解析を行った。
最後に、PL条件下でのこの非凸状態におけるより高速な線形収束率を得るための統一解析も提供する。 In this paper, we study the performance of a large family of SGD variants in the smooth nonconvex regime. To this end, we propose a generic and flexible assumption capable of accurate modeling of the second moment of the stochastic gradient. Our assumption is satisfied by a large number of specific variants of SGD in the literature, including SGD with arbitrary sampling, SGD with compressed gradients, and a wide variety of variance-reduced SGD methods such as SVRG and SAGA. We provide a single convergence analysis for all methods that satisfy the proposed unified assumption, thereby offering a unified understanding of SGD variants in the nonconvex regime instead of relying on dedicated analyses of each variant. Moreover, our unified analysis is accurate enough to recover or improve upon the best-known convergence results of several classical methods, and also gives new convergence results for many new methods which arise as special cases. In the more general distributed/federated nonconvex optimization setup, we propose two new general algorithmic frameworks differing in whether direct gradient compression (DC) or compression of gradient differences (DIANA) is used. We show that all methods captured by these two frameworks also satisfy our unified assumption. Thus, our unified convergence analysis also captures a large variety of distributed methods utilizing compressed communication. Finally, we also provide a unified analysis for obtaining faster linear convergence rates in this nonconvex regime under the PL condition. | 翻訳日:2022-11-22 03:34:54 公開日:2020-06-12 |
| # WebパブリッシャRTB収益のリアルタイム最適化 Real-Time Optimization Of Web Publisher RTB Revenues ( http://arxiv.org/abs/2006.07083v1 ) ライセンス: Link先を確認 | Pedro Chahuara, Nicolas Grislain, Gr\'egoire Jauvion and Jean-Michel Renders | (参考訳) 本稿では,第2価格オークションのWebパブリッシャー収益を最適化するエンジンについて述べる。
これらのオークションはリアルタイム入札(RTB)と呼ばれるメカニズムでオンライン広告スペースを販売するために広く利用されている。
これらのオークションにおける最適化は、適切な予約価格を設定することで収益を大幅に増加させるため、Webパブリッシャにとって極めて重要である。
競売の前にのみ利用可能な情報をユーザ識別子と広告配置識別子とで構成する実用的な実世界設定を考える。
私たちが取り組まなければならない現実的な課題は、主にユーザと非定常的な環境における配置の両方への依存を追跡し、検閲された入札観測を扱うことにあります。
これらの課題により、私たちは以下の設計選択をしました。
(i)適応的ユーザと配置のプロファイルを暗黙的に構築する漸進的時間重み付き行列因子化に基づくオークション収入の比較的単純な非パラメトリック回帰モデルを採用した。
(ii)非パラメトリックモデルを用いて,アーレン加法モデルのオンライン拡張に基づき,検閲された場合の第1および第2入札の分布を推定した。
当社のエンジンは、世界中の数百のwebパブリッシャーを処理し、数十億の訪問者に毎日数十億の広告を提供する、デプロイされたシステムの一部です。
このエンジンは、各オークションにおいて、約1ミリ秒で最適な予約価格を予測でき、webパブリッシャーにとって大きな収益増加をもたらす。 This paper describes an engine to optimize web publisher revenues from second-price auctions. These auctions are widely used to sell online ad spaces in a mechanism called real-time bidding (RTB). Optimization within these auctions is crucial for web publishers, because setting appropriate reserve prices can significantly increase revenue. We consider a practical real-world setting where the only available information before an auction occurs consists of a user identifier and an ad placement identifier. The real-world challenges we had to tackle consist mainly of tracking the dependencies on both the user and placement in an highly non-stationary environment and of dealing with censored bid observations. These challenges led us to make the following design choices: (i) we adopted a relatively simple non-parametric regression model of auction revenue based on an incremental time-weighted matrix factorization which implicitly builds adaptive users' and placements' profiles; (ii) we jointly used a non-parametric model to estimate the first and second bids' distribution when they are censored, based on an on-line extension of the Aalen's Additive model. Our engine is a component of a deployed system handling hundreds of web publishers across the world, serving billions of ads a day to hundreds of millions of visitors. The engine is able to predict, for each auction, an optimal reserve price in approximately one millisecond and yields a significant revenue increase for the web publishers. | 翻訳日:2022-11-22 03:33:42 公開日:2020-06-12 |
| # モデル多様化のための強化データサンプリング Reinforced Data Sampling for Model Diversification ( http://arxiv.org/abs/2006.07100v1 ) ライセンス: Link先を確認 | Hoang D. Nguyen, Xuan-Son Vu, Quoc-Tuan Truong, Duc-Trong Le | (参考訳) 機械学習のコンペが増えている今、世界は最高のアルゴリズムに対するエキサイティングな競争を目の当たりにしている。
しかし、関連するデータ選択プロセスは、基本的に曖昧さと概念ドリフトの問題に苦しむ可能性があるため、様々なモデルのパフォーマンスに有害な影響を与える可能性がある。
本稿では、有用なモデルや洞察の探索において、データを適切にサンプリングする方法を学ぶための新しいReinforced Data Smpling(RDS)手法を提案する。
モデルの多様性を注入することで学習ポテンシャルと最適割り当てを最大化するためにデータサンプリングにおけるモデルの多様化の最適化問題を定式化する。
この研究は、ニューラルネットワーク、決定木、ロジスティック回帰といった価値関数としての多様なベース学習者の雇用を提唱し、マルチモーダル信念を持つデータサブセットの選択プロセスを強化する。
最適サンプリングポリシーを近似するために,ソフト投票や確率的選択など,異なるアンサンブル報酬機構を導入する。
4つのデータセットで行った評価は、従来のサンプリング手法よりもRDS法を使うことの利点を強調している。
実験結果から,モデル多様化のためのトレーニング可能なサンプリングは,分類や回帰といった機械学習タスクの潜在能力を追求するために,コンペティションオーガナイザや研究者,さらには開始者にとって有用であることが示唆された。
ソースコードはhttps://github.com/probeu/RDS.comで入手できる。 With the rising number of machine learning competitions, the world has witnessed an exciting race for the best algorithms. However, the involved data selection process may fundamentally suffer from evidence ambiguity and concept drift issues, thereby possibly leading to deleterious effects on the performance of various models. This paper proposes a new Reinforced Data Sampling (RDS) method to learn how to sample data adequately on the search for useful models and insights. We formulate the optimisation problem of model diversification $\delta{-div}$ in data sampling to maximise learning potentials and optimum allocation by injecting model diversity. This work advocates the employment of diverse base learners as value functions such as neural networks, decision trees, or logistic regressions to reinforce the selection process of data subsets with multi-modal belief. We introduce different ensemble reward mechanisms, including soft voting and stochastic choice to approximate optimal sampling policy. The evaluation conducted on four datasets evidently highlights the benefits of using RDS method over traditional sampling approaches. Our experimental results suggest that the trainable sampling for model diversification is useful for competition organisers, researchers, or even starters to pursue full potentials of various machine learning tasks such as classification and regression. The source code is available at https://github.com/probeu/RDS. | 翻訳日:2022-11-22 03:33:19 公開日:2020-06-12 |
| # リアルタイムバイディングにおける確率制御のための繰り返しニューラルネットワーク Recurrent Neural Networks for Stochastic Control in Real-Time Bidding ( http://arxiv.org/abs/2006.07042v1 ) ライセンス: Link先を確認 | Nicolas Grislain, Nicolas Perrin and Antoine Thabault | (参考訳) リアルタイムオークションでの入札は、特に過度の配達が厳しい罰則をもたらし、市場が極めて不確実な場合に、難しい確率的制御課題となる可能性がある。
現在の作業や実装のほとんどは、市場に対する合理的な予測に基づいて、キャンペーンを最適に提供することに焦点を当てている。
実用的な実装には、調整とエラー予測に堅牢なフィードバックループがありますが、私たちの知る限りでは、市場リスクのモデルを使用しており、市場の変化を積極的に予測する実装はありません。
このような確率的制御問題を実際に解決することは、非常に難しい。
本稿では,実運用環境における実装に有効かつ実用的なRNNアーキテクチャに基づく近似解を提案する。
RNNの入札者は、目標を逃すのを避けるために必要な全てを規定する。
また、欠落したインプレッションを購入するのにペナルティ以上のコストがかかる場合、意図的に目標に届かない。 Bidding in real-time auctions can be a difficult stochastic control task; especially if underdelivery incurs strong penalties and the market is very uncertain. Most current works and implementations focus on optimally delivering a campaign given a reasonable forecast of the market. Practical implementations have a feedback loop to adjust and be robust to forecasting errors, but no implementation, to the best of our knowledge, uses a model of market risk and actively anticipates market shifts. Solving such stochastic control problems in practice is actually very challenging. This paper proposes an approximate solution based on a Recurrent Neural Network (RNN) architecture that is both effective and practical for implementation in a production environment. The RNN bidder provisions everything it needs to avoid missing its goal. It also deliberately falls short of its goal when buying the missing impressions would cost more than the penalty for not reaching it. | 翻訳日:2022-11-22 03:26:50 公開日:2020-06-12 |
| # リアルな物理ベースのキャラクタコントローラ Realistic Physics Based Character Controller ( http://arxiv.org/abs/2006.07508v1 ) ライセンス: Link先を確認 | Joe Booth, Vladimir Ivanov | (参考訳) ここ数年、キャラクターアニメーションの分野に近代的最適制御技術を適用することに強い関心が寄せられた。
この関心は、ポリシー最適化のための効率的な学習ベースのアルゴリズムの導入、計算能力の成長、ゲームエンジンの改善によって加速された。
2つの材料を用いて文字の自然な見た目制御を生成できることが示されている。
まず、シミュレーションエージェントはモーションキャプチャデータセットに固執しなければならない。
第二に、キャラクターはユーザーからのコントロール入力を追跡することを目指している。
本稿は,入力障壁の低さと急な学習曲線を有するunityフレームワークにおける物理ベースの文字制御のオープンソース実装を導入することで,研究者とユーザの間のギャップを埋めることを目的とする。 Over the course of the last several years there was a strong interest in application of modern optimal control techniques to the field of character animation. This interest was fueled by introduction of efficient learning based algorithms for policy optimization, growth in computation power, and game engine improvements. It was shown that it is possible to generate natural looking control of a character by using two ingredients. First, the simulated agent must adhere to a motion capture dataset. And second, the character aims to track the control input from the user. The paper aims at closing the gap between the researchers and users by introducing an open source implementation of physics based character control in Unity framework that has a low entry barrier and a steep learning curve. | 翻訳日:2022-11-22 03:26:26 公開日:2020-06-12 |
| # 非滑らか凸損失に対する確率勾配降下の安定性 Stability of Stochastic Gradient Descent on Nonsmooth Convex Losses ( http://arxiv.org/abs/2006.06914v1 ) ライセンス: Link先を確認 | Raef Bassily, Vitaly Feldman, Crist\'obal Guzm\'an, Kunal Talwar | (参考訳) 一様安定性 (uniform stability) とは、データセット内の1つのデータポイントが置き換えられたときに、アルゴリズムが出力するモデルの最悪の場合の変更を制限するアルゴリズム安定性の概念である。
Hardt et al. (2016) の影響力のある研究は、十分に滑らかな凸損失に対する確率勾配勾配勾配(SGD)アルゴリズムの均一性に強い上限を与える。
これらの結果は、SGDの一般化特性の理解と、滑らかな損失に対する微分プライベート凸最適化へのいくつかの応用に重要な進歩をもたらした。
我々の研究は、SGDの凸損失に対する一様安定性に最初に取り組むものである。
具体的には、任意のリプシッツ非滑らか凸損失に対して、いくつかの形のSGDとフルバッチGDに対して、鋭い上下境界を与える。
我々の下界は、非滑らかな場合、(S)GDはスムーズな場合よりも本質的には安定ではないことを示す。
一方、上界は(S)GDが一般化誤差の新しい有用な境界を導出するのに十分安定であることを示している。
特に、非滑らかな場合の多重パス SGD に対する第一次元独立一般化境界を得る。
さらに, この境界により, 遺伝的にプライベートな非スムース確率凸最適化のための新しいアルゴリズムを導出することができる。
我々のアルゴリズムは、非スムースケース feldman et al. (2020) の最もよく知られたアルゴリズムよりもシンプルで効率的である。 Uniform stability is a notion of algorithmic stability that bounds the worst case change in the model output by the algorithm when a single data point in the dataset is replaced. An influential work of Hardt et al. (2016) provides strong upper bounds on the uniform stability of the stochastic gradient descent (SGD) algorithm on sufficiently smooth convex losses. These results led to important progress in understanding of the generalization properties of SGD and several applications to differentially private convex optimization for smooth losses. Our work is the first to address uniform stability of SGD on {\em nonsmooth} convex losses. Specifically, we provide sharp upper and lower bounds for several forms of SGD and full-batch GD on arbitrary Lipschitz nonsmooth convex losses. Our lower bounds show that, in the nonsmooth case, (S)GD can be inherently less stable than in the smooth case. On the other hand, our upper bounds show that (S)GD is sufficiently stable for deriving new and useful bounds on generalization error. Most notably, we obtain the first dimension-independent generalization bounds for multi-pass SGD in the nonsmooth case. In addition, our bounds allow us to derive a new algorithm for differentially private nonsmooth stochastic convex optimization with optimal excess population risk. Our algorithm is simpler and more efficient than the best known algorithm for the nonsmooth case Feldman et al. (2020). | 翻訳日:2022-11-22 03:25:37 公開日:2020-06-12 |
| # 階層型機械学習分類器を用いたスマートフォン交通モード認識と時間領域と周波数領域からのプーリング特徴 Smartphone Transportation Mode Recognition Using a Hierarchical Machine Learning Classifier and Pooled Features From Time and Frequency Domains ( http://arxiv.org/abs/2006.06945v1 ) ライセンス: Link先を確認 | Huthaifa I. Ashqar, Mohammed H. Almannaa, Mohammed Elhenawy, Hesham A. Rakha, and Leanna House | (参考訳) 本稿では,従来の移動モード分類アルゴリズムの精度を高める2層階層型階層分類器を提案する。
また,新しい周波数領域の特徴を抽出することで分類精度を向上させる。
多くの研究者がグローバル測位システムデータからこれらの特徴を得たが、このデータは、システムの使用によってスマートフォンのバッテリーが枯渇し、一部の地域では信号が失われる可能性があるため、本論文では除外された。
提案する2層フレームワークは,従来の分類手法と3つの異なる方法で異なる。
1) 2つの層の出力は,ベイズの法則を用いて組み合わせて,最大後方確率の輸送モードを選択する。
2)提案フレームワークでは,新たな抽出機能と従来の時間領域機能を組み合わせて,機能プールを作成する。
3) 分類モードに基づいて抽出した特徴の異なるサブセットを各層で使用する。
k-nearest近傍、分類と回帰ツリー、サポートベクターマシン、ランダムフォレスト、ランダムフォレストとサポートベクターマシンの異種フレームワークなど、いくつかの機械学習技術が使用された。
その結果,提案手法の分類精度は従来の手法よりも優れていた。
時間領域の機能を周波数領域に変換する また、新しい空間に新たな機能を追加し、情報の損失をより制御する。
従って、時間領域と周波数領域を大きなプールで組み合わせ、最適なサブセットを選択することで、どちらのドメインのみを使うよりも高い精度が得られる。
提案する2層分類器は最大分類精度97.02%を得た。 This paper develops a novel two-layer hierarchical classifier that increases the accuracy of traditional transportation mode classification algorithms. This paper also enhances classification accuracy by extracting new frequency domain features. Many researchers have obtained these features from global positioning system data; however, this data was excluded in this paper, as the system use might deplete the smartphone's battery and signals may be lost in some areas. Our proposed two-layer framework differs from previous classification attempts in three distinct ways: 1) the outputs of the two layers are combined using Bayes' rule to choose the transportation mode with the largest posterior probability; 2) the proposed framework combines the new extracted features with traditionally used time domain features to create a pool of features; and 3) a different subset of extracted features is used in each layer based on the classified modes. Several machine learning techniques were used, including k-nearest neighbor, classification and regression tree, support vector machine, random forest, and a heterogeneous framework of random forest and support vector machine. Results show that the classification accuracy of the proposed framework outperforms traditional approaches. Transforming the time domain features to the frequency domain also adds new features in a new space and provides more control on the loss of information. Consequently, combining the time domain and the frequency domain features in a large pool and then choosing the best subset results in higher accuracy than using either domain alone. The proposed two-layer classifier obtained a maximum classification accuracy of 97.02%. | 翻訳日:2022-11-22 03:24:47 公開日:2020-06-12 |
| # ロバスト・サブガウス成分分析と幅非依存型シャッテン包装 Robust Sub-Gaussian Principal Component Analysis and Width-Independent Schatten Packing ( http://arxiv.org/abs/2006.06980v1 ) ライセンス: Link先を確認 | Arun Jambulapati, Jerry Li, Kevin Tian | (参考訳) 我々は次の基本的な統計タスクのための2つの方法を開発した: $d$-dimensional sub-gaussian 分布から$\epsilon$-corupted のサンプル集合を与えられると、共分散行列の近似トップ固有ベクトルを返す。
最初のロバストPCAアルゴリズムは多項式時間で動作し、1O(\epsilon\log\epsilon^{-1})$-approximate top eigenvectorを返す。
近似係数がわずかに悪い第2項は、軽度のスペクトルギャップ仮定の下でほぼ直線時間とサンプルの複雑さで実行される。
これらは、モーメントのさらなる代数構造を必要とせず、崩壊したガウス分布の共分散に関する非自明な情報を生成する最初の多項式時間アルゴリズムである。
キーとなる技術ツールとして、Schatten-$p$ノルムパックのための最初の幅非依存の解法を開発し、$O(p\log(\tfrac{nd}{\epsilon})\epsilon^{-1})$入力スパーシティ時間反復(ここで$n$, $d$は問題次元)の$(1 + \epsilon)$-approximateソリューションを与える。 We develop two methods for the following fundamental statistical task: given an $\epsilon$-corrupted set of $n$ samples from a $d$-dimensional sub-Gaussian distribution, return an approximate top eigenvector of the covariance matrix. Our first robust PCA algorithm runs in polynomial time, returns a $1 - O(\epsilon\log\epsilon^{-1})$-approximate top eigenvector, and is based on a simple iterative filtering approach. Our second, which attains a slightly worse approximation factor, runs in nearly-linear time and sample complexity under a mild spectral gap assumption. These are the first polynomial-time algorithms yielding non-trivial information about the covariance of a corrupted sub-Gaussian distribution without requiring additional algebraic structure of moments. As a key technical tool, we develop the first width-independent solvers for Schatten-$p$ norm packing semidefinite programs, giving a $(1 + \epsilon)$-approximate solution in $O(p\log(\tfrac{nd}{\epsilon})\epsilon^{-1})$ input-sparsity time iterations (where $n$, $d$ are problem dimensions). | 翻訳日:2022-11-22 03:24:04 公開日:2020-06-12 |
| # ロバストなパターン認識に向けて:レビュー Towards Robust Pattern Recognition: A Review ( http://arxiv.org/abs/2006.06976v1 ) ライセンス: Link先を確認 | Xu-Yao Zhang, Cheng-Lin Liu, Ching Y. Suen | (参考訳) 多くのパターン認識タスクのアキュラシーは年々増加し、人間のパフォーマンスを達成または上回っている。
精度の観点からは、パターン認識はほぼ解決された問題である。
しかし、一度実際のアプリケーションで起動すると、オープンで変化する環境における堅牢性の欠如により、高精度なパターン認識システムは不安定で信頼性に欠ける可能性がある。
本稿では,3つの基本的および暗黙的な仮定(クローズドワールド仮定,独立的かつ同一に分布する仮定,およびほとんどのパターン認識モデルの基礎となるクリーンでビッグデータ仮定)を破る観点から,ロバストなパターン認識に関する研究を包括的にレビューする。
実際、私たちの脳は、複雑でオープンで変化する環境で、異なるコンテキスト、モダリティ、タスクを使って、弱い、または騒がしい監督下で、コンセプトを継続的に、そして段階的に学習することに頑健です。
これらは、上記の3つの仮定と密接に関連している人間の知能と機械知能の主な違いである。
近年の精度向上の著しい進展を目の当たりにした後、本稿では、現在の手法の欠点と限界を分析し、ロバストなパターン認識のための今後の研究方向を明らかにする。 The accuracies for many pattern recognition tasks have increased rapidly year by year, achieving or even outperforming human performance. From the perspective of accuracy, pattern recognition seems to be a nearly-solved problem. However, once launched in real applications, the high-accuracy pattern recognition systems may become unstable and unreliable, due to the lack of robustness in open and changing environments. In this paper, we present a comprehensive review of research towards robust pattern recognition from the perspective of breaking three basic and implicit assumptions: closed-world assumption, independent and identically distributed assumption, and clean and big data assumption, which form the foundation of most pattern recognition models. Actually, our brain is robust at learning concepts continually and incrementally, in complex, open and changing environments, with different contexts, modalities and tasks, by showing only a few examples, under weak or noisy supervision. These are the major differences between human intelligence and machine intelligence, which are closely related to the above three assumptions. After witnessing the significant progress in accuracy improvement nowadays, this review paper will enable us to analyze the shortcomings and limitations of current methods and identify future research directions for robust pattern recognition. | 翻訳日:2022-11-22 03:17:36 公開日:2020-06-12 |
| # ImageNetは終わりましたか? Are we done with ImageNet? ( http://arxiv.org/abs/2006.07159v1 ) ライセンス: Link先を確認 | Lucas Beyer and Olivier J. H\'enaff and Alexander Kolesnikov and Xiaohua Zhai and A\"aron van den Oord | (参考訳) もちろん、そうでもない。
imagenet分類ベンチマークの最近の進歩が有意義な一般化を表現し続けているのか、それともコミュニティがそのラベル付け手順の特異性に過剰に適合し始めたのかを問う。
そこで我々は,imagenetバリデーションセットのヒューマンアノテーションを収集するための,はるかにロバストな手順を開発した。
これらの新しいラベルを用いて、最近提案されたImageNet分類器の精度を再評価し、元のラベルに報告されているものよりもかなり小さい利得を見出した。
さらに,視覚モデル評価における有用性が終わりに近づいていることを示すため,イメージネットラベルは,この独立集合の最良の予測要因ではなくなった。
それにもかかわらず、私たちのアノテーション手順は元のラベルのエラーを大幅に修正し、将来の視覚認識研究の強力なベンチマークとしてImageNetを強化している。 Yes, and no. We ask whether recent progress on the ImageNet classification benchmark continues to represent meaningful generalization, or whether the community has started to overfit to the idiosyncrasies of its labeling procedure. We therefore develop a significantly more robust procedure for collecting human annotations of the ImageNet validation set. Using these new labels, we reassess the accuracy of recently proposed ImageNet classifiers, and find their gains to be substantially smaller than those reported on the original labels. Furthermore, we find the original ImageNet labels to no longer be the best predictors of this independently-collected set, indicating that their usefulness in evaluating vision models may be nearing an end. Nevertheless, we find our annotation procedure to have largely remedied the errors in the original labels, reinforcing ImageNet as a powerful benchmark for future research in visual recognition. | 翻訳日:2022-11-22 03:16:52 公開日:2020-06-12 |
| # 学習から学習へのパーソナライズされた人間活動認識モデル Learning-to-Learn Personalised Human Activity Recognition Models ( http://arxiv.org/abs/2006.07472v1 ) ライセンス: Link先を確認 | Anjana Wijekoon, Nirmalie Wiratunga | (参考訳) HAR(Human Activity Recognition)は、人間の動きの分類であり、ウェアラブルまたは環境に埋め込まれた1つ以上のセンサー(ディープカメラ、圧力マットなど)を用いてキャプチャされる。
harの最先端の手法は、大量のラベル付きデータにアクセスして、多くのトレイン可能なパラメータで深いアーキテクチャをトレーニングする。
これは、人間の運動における個人的ニュアンスに敏感なモデルを作成することを任務とするときに禁止される。
また、対象人口のすべての被写体をカバーするためのトレーニングデータを収集することは不可能である。
したがって、データが少ないパーソナライズされたモデルを学ぶことは、HAR研究にとって興味深い課題である。
本稿では,HARのための個人化されたHARモデルを学習するためのメタラーニング手法を提案する。
既存のメタラーニングアルゴリズムにインスパイアされたパーソナライズされたMAMLとパーソナライズされた関係ネットワークの2つのアルゴリズムを紹介する。
比較研究では、最先端のDeep Learningアルゴリズムと、複数のHARドメインにおけるFew-shot Meta-Learningアルゴリズムに対して、大幅なパフォーマンス改善が示されている。 Human Activity Recognition~(HAR) is the classification of human movement, captured using one or more sensors either as wearables or embedded in the environment~(e.g. depth cameras, pressure mats). State-of-the-art methods of HAR rely on having access to a considerable amount of labelled data to train deep architectures with many train-able parameters. This becomes prohibitive when tasked with creating models that are sensitive to personal nuances in human movement, explicitly present when performing exercises. In addition, it is not possible to collect training data to cover all possible subjects in the target population. Accordingly, learning personalised models with few data remains an interesting challenge for HAR research. We present a meta-learning methodology for learning to learn personalised HAR models for HAR; with the expectation that the end-user need only provides a few labelled data but can benefit from the rapid adaptation of a generic meta-model. We introduce two algorithms, Personalised MAML and Personalised Relation Networks inspired by existing Meta-Learning algorithms but optimised for learning HAR models that are adaptable to any person in health and well-being applications. A comparative study shows significant performance improvements against the state-of-the-art Deep Learning algorithms and the Few-shot Meta-Learning algorithms in multiple HAR domains. | 翻訳日:2022-11-22 03:16:10 公開日:2020-06-12 |
| # OrigamiNet: 拡張学習による弱めにスーパービジョンされたセグメンテーションフリー、ワンステップフルページテキスト認識 OrigamiNet: Weakly-Supervised, Segmentation-Free, One-Step, Full Page Text Recognition by learning to unfold ( http://arxiv.org/abs/2006.07491v1 ) ライセンス: Link先を確認 | Mohamed Yousef, Tom E. Bishop | (参考訳) テキスト認識はコンピュータビジョンの主要なタスクであり、関連する課題が多数ある。
従来の課題の1つは、テキスト認識とセグメンテーションの結合性である。
この問題は、セグメンテーションに基づく認識からセグメンテーションフリーアプローチまで、数十年にわたって徐々に解決されてきた。
セグメンテーションフリーのシングルライン認識からセグメンテーションフリーのマルチライン/フルページ認識へ進む。
我々は,CTCで訓練された完全畳み込み単一線テキスト認識器を拡張可能な,新しい,シンプルなニューラルネットワークモジュールであるtextbf{OrigamiNet}を提案し,情報を失わずに2次元入力信号を正確に1Dに分解できる十分な空間容量のモデルを提供することで,それをマルチラインバージョンに変換する。
このような修正されたネットワークは、まったく同じ単純なオリジナルプロシージャを使用してトレーニングでき、画像とテキストペアのみを使用することができる。
我々は、トレーニングされたモデルが正確な暗黙の線分法を学ぶことを示す一連の解釈可能性実験を行う。
手書き認識のためのiam \& icdar 2017 htrベンチマークにおいて,最先端の文字誤り率を達成し,文献の他の手法を上回った。
IAMでは、トレーニング中に正確なローカライズ情報を使用する単行法を超越している。
私たちのコードは \url{https://github.com/intuitionmachines/origaminet} で利用可能です。 Text recognition is a major computer vision task with a big set of associated challenges. One of those traditional challenges is the coupled nature of text recognition and segmentation. This problem has been progressively solved over the past decades, going from segmentation based recognition to segmentation free approaches, which proved more accurate and much cheaper to annotate data for. We take a step from segmentation-free single line recognition towards segmentation-free multi-line / full page recognition. We propose a novel and simple neural network module, termed \textbf{OrigamiNet}, that can augment any CTC-trained, fully convolutional single line text recognizer, to convert it into a multi-line version by providing the model with enough spatial capacity to be able to properly collapse a 2D input signal into 1D without losing information. Such modified networks can be trained using exactly their same simple original procedure, and using only \textbf{unsegmented} image and text pairs. We carry out a set of interpretability experiments that show that our trained models learn an accurate implicit line segmentation. We achieve state-of-the-art character error rate on both IAM \& ICDAR 2017 HTR benchmarks for handwriting recognition, surpassing all other methods in the literature. On IAM we even surpass single line methods that use accurate localization information during training. Our code is available online at \url{https://github.com/IntuitionMachines/OrigamiNet}. | 翻訳日:2022-11-22 03:15:47 公開日:2020-06-12 |
| # 特徴融合による人物求職者の効果的な表現の学習 Learning Effective Representations for Person-Job Fit by Feature Fusion ( http://arxiv.org/abs/2006.07017v1 ) ライセンス: Link先を確認 | Junshu Jiang and Songyun Ye and Wei Wang and Jingran Xu and Xiaosheng Luo | (参考訳) Person-job fitは、機械学習アルゴリズムを使用して、オンライン採用プラットフォームの候補者と求職者をマッチングする。
マッチングアルゴリズムの有効性は、候補者と求職者の学習された表現に大きく依存する。
本稿では,機能融合による候補者と求職者の包括的かつ効果的な表現を学習することを提案する。
まず、既存の手法で採用されている履歴書やジョブポストのフリーテキストを処理するためにディープラーニングモデルを適用することに加え、履歴書全体(およびジョブポスト)から意味的エンティティを抽出し、その特徴を学習する。
自由テキストとエンティティの機能を融合することで、履歴書とジョブポストに明示的に記述された情報の包括的な表現が得られる。
第二に、候補者や職務に関する情報は、履歴書や役職で明示的に把握されないことがある。
それでも、受理・棄却された事件を含む歴史的申請は、候補者や採用者の暗黙の意図を明らかにすることができる。
そこで本稿では,LSTM を用いて歴史的アプリケーションを処理することで,暗黙の意図を表現することを提案する。
最後に、明示的な意図と暗黙的な意図の表現を融合することで、パーソナライズ・ジョブフィットをより包括的で効果的な表現を得る。
10ヶ月にわたる実データ実験は、我々のソリューションが既存のメソッドを大きなマージンで上回っていることを示している。
アブレーション研究は融合表現の各成分の寄与を確認する。
抽出されたセマンティックエンティティは、ケーススタディ中のマッチング結果の解釈に役立ちます。 Person-job fit is to match candidates and job posts on online recruitment platforms using machine learning algorithms. The effectiveness of matching algorithms heavily depends on the learned representations for the candidates and job posts. In this paper, we propose to learn comprehensive and effective representations of the candidates and job posts via feature fusion. First, in addition to applying deep learning models for processing the free text in resumes and job posts, which is adopted by existing methods, we extract semantic entities from the whole resume (and job post) and then learn features for them. By fusing the features from the free text and the entities, we get a comprehensive representation for the information explicitly stated in the resume and job post. Second, however, some information of a candidate or a job may not be explicitly captured in the resume or job post. Nonetheless, the historical applications including accepted and rejected cases can reveal some implicit intentions of the candidates or recruiters. Therefore, we propose to learn the representations of implicit intentions by processing the historical applications using LSTM. Last, by fusing the representations for the explicit and implicit intentions, we get a more comprehensive and effective representation for person-job fit. Experiments over 10 months real data show that our solution outperforms existing methods with a large margin. Ablation studies confirm the contribution of each component of the fused representation. The extracted semantic entities help interpret the matching results during the case study. | 翻訳日:2022-11-22 03:15:20 公開日:2020-06-12 |
| # 安全なオープンエンドAIを作るためのオープンな質問 - コントロールとクリエイティビティの緊張 Open Questions in Creating Safe Open-ended AI: Tensions Between Control and Creativity ( http://arxiv.org/abs/2006.07495v1 ) ライセンス: Link先を確認 | Adrien Ecoffet and Jeff Clune and Joel Lehman | (参考訳) 人工生命は、生物学的進化にインスパイアされた、継続的に革新する人工システムの基礎となる原理を探求するオープンエンド進化のトピックを、長い間研究してきた。
近年、オープン・エンド・サーチ(open-ended search)と呼ばれるオープン・リミテッド・サーチ(open-ended search)と呼ばれるオープン・リミテッド・サーチの一般化において、より広い分野のaiへの関心が高まっている。
例えば、オープンエンド検索は、ニューラルネットワークの新しいアーキテクチャ、強化学習アルゴリズム、または最も野心的な目標は、人工知能を設計することだ。
本稿では、オープンエンド進化と人工生命は、オープンエンドaiの理解に多くの貢献をしており、特にオープンエンド検索の安全性に焦点をあてている。
その考え方は、AIシステムは現実世界にますます適用され、その過程で意図しない害をもたらすことが多く、AIの安全性の高まりを動機付けている。
本稿では、オープンエンドAIには、特にオープンエンドシステムの創造性を生産的かつ予測的に制御できるかどうかという、独自の安全性上の課題がある、と論じる。
本稿では,オープンエンド検索におけるユニークな安全性問題がどのように現れるかを説明し,具体的なコントリビューションと研究課題を提案する。
目標は、クリエイティブで有用で安全なオープンエンド検索アルゴリズムへの進歩を促すことだ。 Artificial life originated and has long studied the topic of open-ended evolution, which seeks the principles underlying artificial systems that innovate continually, inspired by biological evolution. Recently, interest has grown within the broader field of AI in a generalization of open-ended evolution, here called open-ended search, wherein such questions of open-endedness are explored for advancing AI, whatever the nature of the underlying search algorithm (e.g. evolutionary or gradient-based). For example, open-ended search might design new architectures for neural networks, new reinforcement learning algorithms, or most ambitiously, aim at designing artificial general intelligence. This paper proposes that open-ended evolution and artificial life have much to contribute towards the understanding of open-ended AI, focusing here in particular on the safety of open-ended search. The idea is that AI systems are increasingly applied in the real world, often producing unintended harms in the process, which motivates the growing field of AI safety. This paper argues that open-ended AI has its own safety challenges, in particular, whether the creativity of open-ended systems can be productively and predictably controlled. This paper explains how unique safety problems manifest in open-ended search, and suggests concrete contributions and research questions to explore them. The hope is to inspire progress towards creative, useful, and safe open-ended search algorithms. | 翻訳日:2022-11-22 03:14:58 公開日:2020-06-12 |
| # マルチタスクメタ学習のための注意的特徴再利用 Attentive Feature Reuse for Multi Task Meta learning ( http://arxiv.org/abs/2006.07438v1 ) ライセンス: Link先を確認 | Kiran Lekkala, Laurent Itti | (参考訳) 本研究では,複数のタスクを同時に学習するアルゴリズム(画像分類,深度推定など)を開発し,高レベルタスク(環境など)における未確認タスク/ドメイン分布に適応する。
まず、すべてのタスクの基礎となる共通表現を学びます。
次に,各タスクの実行時にネットワークを動的に特殊化するための注意機構を提案する。
我々のアプローチは、特定のタスクに対する関連性に基づいて、バックボーンネットワークの各特徴マップを重み付けすることに基づいている。
これを実現するために,注意重みの獲得に使用されるトレーニング中に,注意モジュールがタスク表現を学習できるようにする。
提案手法は,従来のメタ学習手法よりも1.5倍高速で,新しい環境における性能向上を図っている。
我々は,MAMLのような標準的なメタ学習技術では達成できない10から25以上のテスト領域/環境において,4つのタスクのマルチタスクメタ学習の性能向上(画像分類,深度,消失点,表面正規化)を強調した。 We develop new algorithms for simultaneous learning of multiple tasks (e.g., image classification, depth estimation), and for adapting to unseen task/domain distributions within those high-level tasks (e.g., different environments). First, we learn common representations underlying all tasks. We then propose an attention mechanism to dynamically specialize the network, at runtime, for each task. Our approach is based on weighting each feature map of the backbone network, based on its relevance to a particular task. To achieve this, we enable the attention module to learn task representations during training, which are used to obtain attention weights. Our method improves performance on new, previously unseen environments, and is 1.5x faster than standard existing meta learning methods using similar architectures. We highlight performance improvements for Multi-Task Meta Learning of 4 tasks (image classification, depth, vanishing point, and surface normal estimation), each over 10 to 25 test domains/environments, a result that could not be achieved with standard meta learning techniques like MAML. | 翻訳日:2022-11-22 03:08:26 公開日:2020-06-12 |
| # Beta-Liouville Multinomial の高速最大値推定と教師付き分類 Fast Maximum Likelihood Estimation and Supervised Classification for the Beta-Liouville Multinomial ( http://arxiv.org/abs/2006.07454v1 ) ライセンス: Link先を確認 | Steven Michael Lakin, Zaid Abdo | (参考訳) 多項分布と関連する分布は、バイオインフォマティクスから自然言語処理まで、様々な分野の分類、数に基づくデータをモデル化するために長い間使われてきた。
一般的に使用される変種は、計算効率と簡単なパラメータ推定プロセスのために標準多項分布とディリクレ多項分布である。
しかし、これらの分布はモデル化される分類学的特徴の平均、分散、共分散について厳密な仮定を与える。
これらの仮定がデータで満たされない場合、パラメータの見積もりが悪くなり、分類のような下流アプリケーションで精度が低下する可能性がある。
本稿では,多項仮定の一部を緩和するβ-Liouville multinomialと呼ばれる別の分布を用いた効率的なパラメータ推定と教師付き分類法について検討する。
β-liouville multinomial はニュートン-ラフソン最大確率推定のための dirichlet multinomial と同等であり、シミュレーションデータに対する性能は multinomial と dirichlet multinomial distribution と同等かそれ以上である。
最後に、β-liouville multinomialは4つのゴールド標準データセットのうち2つでマルチノマルとディリクレのマルチノマルよりも優れており、教師付き分類コンテキストで低クラスと中クラスが重なり合うモデリングデータでの利用をサポートする。 The multinomial and related distributions have long been used to model categorical, count-based data in fields ranging from bioinformatics to natural language processing. Commonly utilized variants include the standard multinomial and the Dirichlet multinomial distributions due to their computational efficiency and straightforward parameter estimation process. However, these distributions make strict assumptions about the mean, variance, and covariance between the categorical features being modeled. If these assumptions are not met by the data, it may result in poor parameter estimates and loss in accuracy for downstream applications like classification. Here, we explore efficient parameter estimation and supervised classification methods using an alternative distribution, called the Beta-Liouville multinomial, which relaxes some of the multinomial assumptions. We show that the Beta-Liouville multinomial is comparable in efficiency to the Dirichlet multinomial for Newton-Raphson maximum likelihood estimation, and that its performance on simulated data matches or exceeds that of the multinomial and Dirichlet multinomial distributions. Finally, we demonstrate that the Beta-Liouville multinomial outperforms the multinomial and Dirichlet multinomial on two out of four gold standard datasets, supporting its use in modeling data with low to medium class overlap in a supervised classification context. | 翻訳日:2022-11-22 03:07:49 公開日:2020-06-12 |
| # SemifreddoNets: 効率的なコンピュータビジョンシステムのための部分凍結ニューラルネットワーク SemifreddoNets: Partially Frozen Neural Networks for Efficient Computer Vision Systems ( http://arxiv.org/abs/2006.06888v1 ) ライセンス: Link先を確認 | Leo F Isikdogan, Bhavin V Nayak, Chyuan-Tyng Wu, Joao Peralta Moreira, Sushma Rao, Gilad Michael | (参考訳) 本研究では,半凍結重みを持つ固定位相ニューラルネットワーク(SemifreddoNets)を提案する。
semifreddonetsは、効率的なハードウェア実装に最適化された完全にパイプライン化されたハードウェアブロックとして動作する。
これらのブロックは各レイヤのパラメータの一部を凍結し、対応する乗算器を固定スケーラに置き換える。
重みを固定すると、シリコン領域、ロジック遅延、メモリ要求が減少し、コストと消費電力が大幅に削減される。
従来のレイヤ単位で凍結するアプローチとは異なり、セミフレドネッツは、異なるスケールで構成可能な重みとモデルの抽象化レベルによって、コストと柔軟性の間に利益をもたらす。
トポロジーの修正といくつかの重み付けは柔軟性を多少制限するが、この戦略の効率性は、多くのユースケースで完全に構成可能なモデルの利点よりも優れていると主張する。
さらに,本システムは繰り返しブロックを使用するため,ハードウェア変更を必要とせず,モデルの複雑さを調整する柔軟性がある。
SemifreddoNetsのハードウェア実装は、汎用アクセラレーターにおける同等の実装と比較して、シリコン領域と電力消費の桁違いの削減を提供する。 We propose a system comprised of fixed-topology neural networks having partially frozen weights, named SemifreddoNets. SemifreddoNets work as fully-pipelined hardware blocks that are optimized to have an efficient hardware implementation. Those blocks freeze a certain portion of the parameters at every layer and replace the corresponding multipliers with fixed scalers. Fixing the weights reduces the silicon area, logic delay, and memory requirements, leading to significant savings in cost and power consumption. Unlike traditional layer-wise freezing approaches, SemifreddoNets make a profitable trade between the cost and flexibility by having some of the weights configurable at different scales and levels of abstraction in the model. Although fixing the topology and some of the weights somewhat limits the flexibility, we argue that the efficiency benefits of this strategy outweigh the advantages of a fully configurable model for many use cases. Furthermore, our system uses repeatable blocks, therefore it has the flexibility to adjust model complexity without requiring any hardware change. The hardware implementation of SemifreddoNets provides up to an order of magnitude reduction in silicon area and power consumption as compared to their equivalent implementation on a general-purpose accelerator. | 翻訳日:2022-11-22 03:06:02 公開日:2020-06-12 |
| # フィードバックによる動的モデルプルーニング Dynamic Model Pruning with Feedback ( http://arxiv.org/abs/2006.07253v1 ) ライセンス: Link先を確認 | Tao Lin, Sebastian U. Stich, Luis Barba, Daniil Dmitriev, Martin Jaggi | (参考訳) ディープニューラルネットワークは、しばしば数百万のパラメータを持つ。
これにより、高いメモリ要求だけでなく、推論時の遅延の増加によって、ローエンドデバイスへのデプロイメントを妨げる可能性がある。
余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。
(i)スパーシティパターンの動的割当及び
2) 早期に刈り取られた重量を再活性化するためにフィードバック信号を組み込むことで, 1回のトレーニングパスで性能スパースモデルが得られる(リトレーニングは不要だが,さらに性能を向上させることができる)。
CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に達することを示す。
さらに、これらの性能は、以前に提案されたすべてのプルーニングスキームによって生成されたモデルを上回る。 Deep neural networks often have millions of parameters. This can hinder their deployment to low-end devices, not only due to high memory requirements but also because of increased latency at inference. We propose a novel model compression method that generates a sparse trained model without additional overhead: by allowing (i) dynamic allocation of the sparsity pattern and (ii) incorporating feedback signal to reactivate prematurely pruned weights we obtain a performant sparse model in one single training pass (retraining is not needed, but can further improve the performance). We evaluate our method on CIFAR-10 and ImageNet, and show that the obtained sparse models can reach the state-of-the-art performance of dense models. Moreover, their performance surpasses that of models generated by all previously proposed pruning schemes. | 翻訳日:2022-11-22 02:59:56 公開日:2020-06-12 |
| # ラベル比率から学ぶ:相互汚染の枠組み Learning from Label Proportions: A Mutual Contamination Framework ( http://arxiv.org/abs/2006.07330v1 ) ライセンス: Link先を確認 | Clayton Scott and Jianxin Zhang | (参考訳) ラベル比率(llp)から学習することは、ラベルなしのトレーニングインスタンスをバッグにグループ化し、そのバッグに含まれる各クラスの割合で各バッグを注釈付けする分類のための弱い教師付き設定である。
LLPに関する以前の研究はまだ一貫した学習手順を確立しておらず、理論上正当化された汎用的な訓練基準も存在しない。
本研究では,近年,様々な弱い管理条件の研究に有効に応用された相互汚染モデル(mcm)を用いて,llp を定式化することで,この2つの課題に対処した。
本プロセスでは,非イドサンプリング計画の下での非バイアス損失や一般化誤差境界を含む,MCMの新たな技術的結果を確立する。
また, LLPの共通実験環境の限界を指摘し, MCMフレームワークに基づいた新しい環境を提案する。 Learning from label proportions (LLP) is a weakly supervised setting for classification in which unlabeled training instances are grouped into bags, and each bag is annotated with the proportion of each class occurring in that bag. Prior work on LLP has yet to establish a consistent learning procedure, nor does there exist a theoretically justified, general purpose training criterion. In this work we address these two issues by posing LLP in terms of mutual contamination models (MCMs), which have recently been applied successfully to study various other weak supervision settings. In the process, we establish several novel technical results for MCMs, including unbiased losses and generalization error bounds under non-iid sampling plans. We also point out the limitations of a common experimental setting for LLP, and propose a new one based on our MCM framework. | 翻訳日:2022-11-22 02:59:01 公開日:2020-06-12 |
| # MIMIC-III 臨床符号化データセットのための銀規格の実験評価と開発 Experimental Evaluation and Development of a Silver-Standard for the MIMIC-III Clinical Coding Dataset ( http://arxiv.org/abs/2006.07332v1 ) ライセンス: Link先を確認 | Thomas Searle, Zina Ibrahim, Richard JB Dobson | (参考訳) クリニカルコーディングは、現在労働集約的で、エラーを起こしやすいが、重要な管理プロセスであり、病院の患者のエピソードは、大規模で標準化された分類学的階層の職員によって手動で割り当てられる。
臨床コーディングの自動化は、NLP研究において長い歴史があり、最近、新しい技術開発がアート結果の新たな状態を確立している。
このタスクで使われる一般的なデータセットは、臨床用のフリーテキストノートと関連するコードを含む大規模な集中治療データベースであるmimmy-iiiである。
我々は、特にMIMIC-IIIが二次検証を受けていない場合、しばしばゴールドスタンダードとして扱われる、MIMIC-IIIの割り当てられたコードの再検討を議論する。
本研究は,ehl排出サマリーから派生したコードの有効性を評価するための,オープンソースで再現可能な実験手法を提案する。
提案手法をMIMIC-III放電サマリーで例示し,MIMIC-IIIの最も頻繁に割り当てられる符号が35%以下であることを示す。 Clinical coding is currently a labour-intensive, error-prone, but critical administrative process whereby hospital patient episodes are manually assigned codes by qualified staff from large, standardised taxonomic hierarchies of codes. Automating clinical coding has a long history in NLP research and has recently seen novel developments setting new state of the art results. A popular dataset used in this task is MIMIC-III, a large intensive care database that includes clinical free text notes and associated codes. We argue for the reconsideration of the validity MIMIC-III's assigned codes that are often treated as gold-standard, especially when MIMIC-III has not undergone secondary validation. This work presents an open-source, reproducible experimental methodology for assessing the validity of codes derived from EHR discharge summaries. We exemplify the methodology with MIMIC-III discharge summaries and show the most frequently assigned codes in MIMIC-III are under-coded up to 35%. | 翻訳日:2022-11-22 02:58:23 公開日:2020-06-12 |
| # 遅延勾配を持つ確率勾配ランゲヴィン Stochastic Gradient Langevin with Delayed Gradients ( http://arxiv.org/abs/2006.07362v1 ) ライセンス: Link先を確認 | Vyacheslav Kungurtsev, Bapi Chatterjee, Dan Alistarh | (参考訳) Stochastic Gradient Langevin Dynamics (SGLD) は、確率勾配に雑音を加えることで、対数凹面後部分布をサンプリングする尺度の収束に関する強い保証を保証する。
多くの実用的な問題の大きさを考えると、複数の非同期実行プロセッサを並列化することは確率最適化アルゴリズムのエンドツーエンドの計算時間を短縮する一般的な戦略である。
本稿では,非同期計算,特に遅延反復における確率的ランゲヴィン勾配の評価が測定の収束に与える影響を初めて検討する。
そこで本研究では,最近のランジュバンダイナミクスモデリングの結果を,測度空間上の凸最適化問題の解として活用する。
計算に用いた遅延勾配情報による誤差は, 測定値の収束率に有意な影響を与えず, ウォールクロック時間における高速化の可能性が示唆された。
実用的問題に対する数値実験により, 理論結果を確認した。 Stochastic Gradient Langevin Dynamics (SGLD) ensures strong guarantees with regards to convergence in measure for sampling log-concave posterior distributions by adding noise to stochastic gradient iterates. Given the size of many practical problems, parallelizing across several asynchronously running processors is a popular strategy for reducing the end-to-end computation time of stochastic optimization algorithms. In this paper, we are the first to investigate the effect of asynchronous computation, in particular, the evaluation of stochastic Langevin gradients at delayed iterates, on the convergence in measure. For this, we exploit recent results modeling Langevin dynamics as solving a convex optimization problem on the space of measures. We show that the rate of convergence in measure is not significantly affected by the error caused by the delayed gradient information used for computation, suggesting significant potential for speedup in wall clock time. We confirm our theoretical results with numerical experiments on some practical problems. | 翻訳日:2022-11-22 02:57:02 公開日:2020-06-12 |
| # TorsionNet: 逐次コンバータ探索のための強化学習アプローチ TorsionNet: A Reinforcement Learning Approach to Sequential Conformer Search ( http://arxiv.org/abs/2006.07078v1 ) ライセンス: Link先を確認 | Tarun Gogineni, Ziping Xu, Exequiel Punzalan, Runxuan Jiang, Joshua Kammeraad, Ambuj Tewari, Paul Zimmerman | (参考訳) フレキシブル分子の分子幾何予測(conformer search)は、計算化学における長年の課題である。
この課題は、生体分子からユビキタス材料まで幅広い物質の構造活性関係を予測する上で非常に重要である。
物質計算資源はモンテカルロ法や分子動力学法に投じられ、中から大分子に対する多種多様な代表的コンホメータ集合を生成するが、これは化学情報学的コンホメータ探索法には難航しない。
本稿では,剛体ロータ近似による強化学習に基づく効率的な逐次コンフォーメータ探索手法であるtorsionnetを提案する。
このモデルは、gibbsスコアと呼ばれる熱力学に基づく新しいメトリックを最大化するために、理論的利点を詳細に探求したカリキュラム学習を通じて訓練される。
実験結果から,TorsionNetは大きな枝状アルカンに対して4倍,未探索の生体高分子リグニンでは数桁,再生可能エネルギーでは数桁,高い評価率のケモインフォマティクス法よりも優れていた。 Molecular geometry prediction of flexible molecules, or conformer search, is a long-standing challenge in computational chemistry. This task is of great importance for predicting structure-activity relationships for a wide variety of substances ranging from biomolecules to ubiquitous materials. Substantial computational resources are invested in Monte Carlo and Molecular Dynamics methods to generate diverse and representative conformer sets for medium to large molecules, which are yet intractable to chemoinformatic conformer search methods. We present TorsionNet, an efficient sequential conformer search technique based on reinforcement learning under the rigid rotor approximation. The model is trained via curriculum learning, whose theoretical benefit is explored in detail, to maximize a novel metric grounded in thermodynamics called the Gibbs Score. Our experimental results show that TorsionNet outperforms the highest scoring chemoinformatics method by 4x on large branched alkanes, and by several orders of magnitude on the previously unexplored biopolymer lignin, with applications in renewable energy. | 翻訳日:2022-11-22 02:51:02 公開日:2020-06-12 |
| # 複数ラベル分類のためのオンラインメトリック学習 Online Metric Learning for Multi-Label Classification ( http://arxiv.org/abs/2006.07092v1 ) ライセンス: Link先を確認 | Xiuwen Gong, Jiahui Yang, Dong Yuan, Wei Bao | (参考訳) オンライン・シーケンシャル・マルチラベル・エクストリーム・ラーニング・マシン(OSML-ELM)や確率勾配降下(SGD)といったオンライン・マルチラベル分類の研究は、有望な性能を達成した。
しかし、これらの研究はラベル依存を考慮に入れず、損失関数の理論解析を欠いている。
そこで本稿では,現在の研究ギャップを埋めるために,多ラベル分類のための新しいオンラインメトリック学習パラダイムを提案する。
一般に、我々はまず、$k$-Nearest Neighbour(k$NN)に基づいて、大きなマージン原理と組み合わせたマルチラベル分類のための新しい指標を提案する。
そして、オンラインのセッティングに適応して、オンラインの高速で大量のデータストリーミングを扱う私たちのモデルを導出します。
具体的には、新しい$k$NNベースのメトリクスを学ぶために、トレーニングデータセットのインスタンスをラベル空間に最初にプロジェクトし、同じ次元のインスタンスとラベルの比較を可能にする。
その後、両方を同時に新しい低次元空間に投影し、インスタンスとラベル間の依存関係の構造を抽出することができます。
最後に,パラメータを最適化アルゴリズムで学習するために,大きなマージンと$k$NNの原理を利用する。
さらに,本手法の累積損失上限に関する理論的解析を行った。
複数のベンチマークのマルチラベルデータセットに関する総合的な実験は、我々の理論的アプローチを検証し、提案したオンラインメトリックラーニング(OML)アルゴリズムが最先端の手法より優れていることを示す。 Existing research into online multi-label classification, such as online sequential multi-label extreme learning machine (OSML-ELM) and stochastic gradient descent (SGD), has achieved promising performance. However, these works do not take label dependencies into consideration and lack a theoretical analysis of loss functions. Accordingly, we propose a novel online metric learning paradigm for multi-label classification to fill the current research gap. Generally, we first propose a new metric for multi-label classification which is based on $k$-Nearest Neighbour ($k$NN) and combined with large margin principle. Then, we adapt it to the online settting to derive our model which deals with massive volume ofstreaming data at a higher speed online. Specifically, in order to learn the new $k$NN-based metric, we first project instances in the training dataset into the label space, which make it possible for the comparisons of instances and labels in the same dimension. After that, we project both of them into a new lower dimension space simultaneously, which enables us to extract the structure of dependencies between instances and labels. Finally, we leverage the large margin and $k$NN principle to learn the metric with an efficient optimization algorithm. Moreover, we provide theoretical analysis on the upper bound of the cumulative loss for our method. Comprehensive experiments on a number of benchmark multi-label datasets validate our theoretical approach and illustrate that our proposed online metric learning (OML) algorithm outperforms state-of-the-art methods. | 翻訳日:2022-11-22 02:50:42 公開日:2020-06-12 |
| # 線形畳み込み層の漸近特異値分布 Asymptotic Singular Value Distribution of Linear Convolutional Layers ( http://arxiv.org/abs/2006.07117v1 ) ライセンス: Link先を確認 | Xinping Yi | (参考訳) 畳み込みニューラルネットワークでは、線形畳み込みを伴う多チャンネル2次元畳み込み層の線形変換は、二重Toeplitzブロックを持つブロック行列である。
絡み合う」演算は線形畳み込みを円形の畳み込みに変換することができるが、この特異値は二重循環ブロックを持つブロック行列の計算複雑性を減少させることで近似できるが、そのような近似の精度は保証されない。
本稿では,このような線形変換行列を,その漸近スペクトル表現であるスペクトル密度行列(スペクトル密度行列)を用いて検討し,円近似の精度を向上した単純な特異値近似法と,計算複雑性を低減したスペクトルノルムの上界について検討する。
円近似と比較して,特異値分布の微調整により適度な改善が得られた。
また,スペクトルノルム上限上限はResNetの一般化性能向上に有効なスペクトル正規化器であることを示す。 In convolutional neural networks, the linear transformation of multi-channel two-dimensional convolutional layers with linear convolution is a block matrix with doubly Toeplitz blocks. Although a "wrapping around" operation can transform linear convolution to a circular one, by which the singular values can be approximated with reduced computational complexity by those of a block matrix with doubly circulant blocks, the accuracy of such an approximation is not guaranteed. In this paper, we propose to inspect such a linear transformation matrix through its asymptotic spectral representation - the spectral density matrix - by which we develop a simple singular value approximation method with improved accuracy over the circular approximation, as well as upper bounds for spectral norm with reduced computational complexity. Compared with the circular approximation, we obtain moderate improvement with a subtle adjustment of the singular value distribution. We also demonstrate that the spectral norm upper bounds are effective spectral regularizers for improving generalization performance in ResNets. | 翻訳日:2022-11-22 02:49:53 公開日:2020-06-12 |
| # 分布シフトへの素早い適応のための多様な表現の学習 Learning Diverse Representations for Fast Adaptation to Distribution Shift ( http://arxiv.org/abs/2006.07119v1 ) ライセンス: Link先を確認 | Daniel Pace, Alessandra Russo, Murray Shanahan | (参考訳) i.i.d.仮定は、機械学習を監督する多くの成功したアプローチを支える有用な理想化である。
しかし、その違反はトレーニングデータの散発的な相関を悪用し、敵の介入に弱くし、信頼性を損なうことを学び、実用的応用を制限するモデルに繋がる可能性がある。
この問題を軽減するために,複数のモデルの学習方法を提案する。
本稿では,ラベルが与えられたモデル間の最終層表現の条件的全相関を最小化し,変動推定器を用いて近似し,逆訓練を用いて最小化することに基づく多様性の概念を提案する。
分散シフトへの迅速な適応を容易にするフレームワークの能力を示すために、シフトした分布から少量のデータを用いて、モデルの凍結出力をスクラッチから多くの単純な分類器を訓練する。
この評価プロトコルでは,経験的リスク最小化原理を用いてトレーニングしたベースラインを著しく上回っている。 The i.i.d. assumption is a useful idealization that underpins many successful approaches to supervised machine learning. However, its violation can lead to models that learn to exploit spurious correlations in the training data, rendering them vulnerable to adversarial interventions, undermining their reliability, and limiting their practical application. To mitigate this problem, we present a method for learning multiple models, incorporating an objective that pressures each to learn a distinct way to solve the task. We propose a notion of diversity based on minimizing the conditional total correlation of final layer representations across models given the label, which we approximate using a variational estimator and minimize using adversarial training. To demonstrate our framework's ability to facilitate rapid adaptation to distribution shift, we train a number of simple classifiers from scratch on the frozen outputs of our models using a small amount of data from the shifted distribution. Under this evaluation protocol, our framework significantly outperforms a baseline trained using the empirical risk minimization principle. | 翻訳日:2022-11-22 02:49:38 公開日:2020-06-12 |
| # 1つのDNNで優勝チケットは何枚ありますか。 How many winning tickets are there in one DNN? ( http://arxiv.org/abs/2006.07014v1 ) ライセンス: Link先を確認 | Kathrin Grosse, Michael Backes | (参考訳) 最近の宝くじ改札仮説は、独立して訓練された際に元のネットワークの精度と一致するサブネットワークが存在することを示唆している。
各ネットワークには,初期重みが固定された場合でも,複数の入賞チケットが含まれていることを示す。
結果として得られるサブネットワークは、重み空間対称性の下で同じネットワークのインスタンスではなく、偶然に予想される以上の重複や相関は示さない。
トレーニング中のランダム性が低下すると、ネットワークが異なるタスクでトレーニングされたとしても、チャンスよりもオーバーラップが発生する。
我々は、単一の入賞券とは対照的に、有能なサブネットワークに対する分布がむしろ存在すると結論づける。 The recent lottery ticket hypothesis proposes that there is one sub-network that matches the accuracy of the original network when trained in isolation. We show that instead each network contains several winning tickets, even if the initial weights are fixed. The resulting winning sub-networks are not instances of the same network under weight space symmetry, and show no overlap or correlation significantly larger than expected by chance. If randomness during training is decreased, overlaps higher than chance occur, even if the networks are trained on different tasks. We conclude that there is rather a distribution over capable sub-networks, as opposed to a single winning ticket. | 翻訳日:2022-11-22 02:41:27 公開日:2020-06-12 |
| # スペクトル混合カーネルの近似推論 Approximate Inference for Spectral Mixture Kernel ( http://arxiv.org/abs/2006.07036v1 ) ライセンス: Link先を確認 | Yohan Jung, Kyungwoo Song, Jinkyoo Park | (参考訳) スペクトル混合 (SM) カーネルは任意の定常共分散関数をモデル化するために用いられるフレキシブルカーネルである。
データモデリングには有用であるが、SMカーネルに対する多数のパラメータの最適化は、特に勾配に基づく最適化を使用する場合、通常、過度な最適化を引き起こすため、一般にSMカーネルの学習は困難である。
また、より長い訓練時間が必要となる。
トレーニングを改善するために,SMカーネルに対する近似ベイズ推定を提案する。
具体的には、スペクトル点の変動分布を用いて、ランダムなフーリエ特徴を持つSMカーネルを近似する。
近似カーネルから構築した導出エビデンス下界(ELBO)推定器にサンプリングベース変分推定を適用することにより,変動パラメータを最適化する。
推測を改善するために,(1)ELBO推定器を確実に推定し,関連する勾配を推定するためのスペクトル点のサンプリング戦略,(2)パラメータの収束を加速する近似的な自然勾配の2つの戦略を提案する。
提案手法と2つの戦略を組み合わせることで,パラメータの収束が促進され,最適パラメータが向上する。 A spectral mixture (SM) kernel is a flexible kernel used to model any stationary covariance function. Although it is useful in modeling data, the learning of the SM kernel is generally difficult because optimizing a large number of parameters for the SM kernel typically induces an over-fitting, particularly when a gradient-based optimization is used. Also, a longer training time is required. To improve the training, we propose an approximate Bayesian inference for the SM kernel. Specifically, we employ the variational distribution of the spectral points to approximate SM kernel with a random Fourier feature. We optimize the variational parameters by applying a sampling-based variational inference to the derived evidence lower bound (ELBO) estimator constructed from the approximate kernel. To improve the inference, we further propose two additional strategies: (1) a sampling strategy of spectral points to estimate the ELBO estimator reliably and thus its associated gradient, and (2) an approximate natural gradient to accelerate the convergence of the parameters. The proposed inference combined with two strategies accelerates the convergence of the parameters and leads to better optimal parameters. | 翻訳日:2022-11-22 02:40:38 公開日:2020-06-12 |
| # 状態次元ミスマッチに基づく相互情報に基づく知識伝達 Mutual Information Based Knowledge Transfer Under State-Action Dimension Mismatch ( http://arxiv.org/abs/2006.07041v1 ) ライセンス: Link先を確認 | Michael Wan, Tanmay Gangwani, Jian Peng | (参考訳) 深部強化学習(RL)アルゴリズムは、様々なシーケンシャルな意思決定タスクにおいて大きな成功を収めている。
しかし、これらのアルゴリズムの多くは、クレジット割り当てや高分散勾配などの問題などにより、環境報酬を用いてスクラッチから学習する場合に、高いサンプル複雑さに苦しむ。
伝達学習は、ソースタスクで得られた知識をより効率的に学習するために適用され、RLにおけるサンプルの複雑さを改善するための有望なアプローチである。
これまで、教師と学生のMDPが国家空間や行動空間を共有するという制約にもかかわらず、教師の事前訓練による生徒政策の学習を強化することを検討してきた。
本稿では,教師と生徒が任意に異なる状態空間と行動空間を持つことのできる転校学習のための新しい枠組みを提案する。
このミスマッチに対処するために,教師の方針や価値ネットワークから知識を体系的に抽出し,それを学生ネットワークに組み込む組込みを作成する。
埋め込みの訓練にはタスク・アライン・ロスを使用し、相互情報損失を加えることでさらに表現を豊かにすることができることを示す。
多脚センテドを含むロボットの移動をシミュレートした課題を用いて,教師と生徒が異なる状態と行動空間を持つ状況下での転校学習を成功させる。 Deep reinforcement learning (RL) algorithms have achieved great success on a wide variety of sequential decision-making tasks. However, many of these algorithms suffer from high sample complexity when learning from scratch using environmental rewards, due to issues such as credit-assignment and high-variance gradients, among others. Transfer learning, in which knowledge gained on a source task is applied to more efficiently learn a different but related target task, is a promising approach to improve the sample complexity in RL. Prior work has considered using pre-trained teacher policies to enhance the learning of the student policy, albeit with the constraint that the teacher and the student MDPs share the state-space or the action-space. In this paper, we propose a new framework for transfer learning where the teacher and the student can have arbitrarily different state- and action-spaces. To handle this mismatch, we produce embeddings which can systematically extract knowledge from the teacher policy and value networks, and blend it into the student networks. To train the embeddings, we use a task-aligned loss and show that the representations could be enriched further by adding a mutual information loss. Using a set of challenging simulated robotic locomotion tasks involving many-legged centipedes, we demonstrate successful transfer learning in situations when the teacher and student have different state- and action-spaces. | 翻訳日:2022-11-22 02:40:08 公開日:2020-06-12 |
| # 微分可能群正規化を用いたより深いグラフニューラルネットワーク Towards Deeper Graph Neural Networks with Differentiable Group Normalization ( http://arxiv.org/abs/2006.06972v1 ) ライセンス: Link先を確認 | Kaixiong Zhou, Xiao Huang, Yuening Li, Daochen Zha, Rui Chen, Xia Hu | (参考訳) 隣接ノードを集約してノードの表現を学ぶグラフニューラルネットワーク(gnns)は、下流アプリケーションにおいて効果的な計算ツールとなっている。
オーバースムーシングは、レイヤーの数が増えるにつれてGNNのパフォーマンスを制限する重要な問題のひとつです。
それは、積み重ねられたアグリゲータがノード表現を区別できないベクトルに収束させるからである。
接続ノードペアを閉じたペアと無リンクのペアを区別することで、この問題にいくつかの試みがなされている。
しかし、それらはしばしば内在的なコミュニティ構造を無視し、結果として最適以下のパフォーマンスをもたらす。
同じコミュニティ/クラス内のノードの表現は、分類を容易にするのに似ていますが、異なるクラスは埋め込み空間で分けられることが期待されます。
このギャップを埋めるために,2つの過剰スムーシング指標と新しい手法,すなわち微分可能群正規化(dgn)を導入する。
同じグループ内のノードを独立に正規化し、その滑らかさを高め、異なるグループ間のノード分布を分離し、オーバー・スムーシング問題を著しく緩和する。
実世界のデータセットの実験では、DGNがGNNモデルをオーバースムーシングに対してより堅牢にし、より深いGNNでより良いパフォーマンスを達成することを示した。 Graph neural networks (GNNs), which learn the representation of a node by aggregating its neighbors, have become an effective computational tool in downstream applications. Over-smoothing is one of the key issues which limit the performance of GNNs as the number of layers increases. It is because the stacked aggregators would make node representations converge to indistinguishable vectors. Several attempts have been made to tackle the issue by bringing linked node pairs close and unlinked pairs distinct. However, they often ignore the intrinsic community structures and would result in sub-optimal performance. The representations of nodes within the same community/class need be similar to facilitate the classification, while different classes are expected to be separated in embedding space. To bridge the gap, we introduce two over-smoothing metrics and a novel technique, i.e., differentiable group normalization (DGN). It normalizes nodes within the same group independently to increase their smoothness, and separates node distributions among different groups to significantly alleviate the over-smoothing issue. Experiments on real-world datasets demonstrate that DGN makes GNN models more robust to over-smoothing and achieves better performance with deeper GNNs. | 翻訳日:2022-11-22 02:30:35 公開日:2020-06-12 |
| # 共同自然言語理解・生成のための生成モデル A Generative Model for Joint Natural Language Understanding and Generation ( http://arxiv.org/abs/2006.07499v1 ) ライセンス: Link先を確認 | Bo-Hsiang Tseng, Jianpeng Cheng, Yimai Fang, David Vandyke | (参考訳) 自然言語理解 (nlu) と自然言語生成 (nlg) は、タスク指向の対話システムを構築する上での2つの基本および関連するタスクである: nluは、自然言語から形式表現への変換に取り組むが、nlgは逆を行う。
どちらのタスクでも成功するための鍵は、大規模に取得するのに費用がかかる並列トレーニングデータである。
本研究では,nluとnlgを共有潜在変数で結合する生成モデルを提案する。
このアプローチにより、自然言語と形式表現の両方の空間を探索し、潜伏空間を通じて情報共有を促進し、最終的にはNLUとNLGの恩恵を受けることができる。
本モデルは,フラット表現とツリー構造表現の2つの対話データセットにおいて,最先端のパフォーマンスを実現する。
また,モデルの性能向上のために,ラベルのないデータを活用することで,半教師付きでモデルを訓練できることも示す。 Natural language understanding (NLU) and natural language generation (NLG) are two fundamental and related tasks in building task-oriented dialogue systems with opposite objectives: NLU tackles the transformation from natural language to formal representations, whereas NLG does the reverse. A key to success in either task is parallel training data which is expensive to obtain at a large scale. In this work, we propose a generative model which couples NLU and NLG through a shared latent variable. This approach allows us to explore both spaces of natural language and formal representations, and facilitates information sharing through the latent space to eventually benefit NLU and NLG. Our model achieves state-of-the-art performance on two dialogue datasets with both flat and tree-structured formal representations. We also show that the model can be trained in a semi-supervised fashion by utilising unlabelled data to boost its performance. | 翻訳日:2022-11-22 02:23:28 公開日:2020-06-12 |
| # 犬にはウイスカーがありますか。
ハスパート関係の新しい知識基盤 Do Dogs have Whiskers? A New Knowledge Base of hasPart Relations ( http://arxiv.org/abs/2006.07510v1 ) ライセンス: Link先を確認 | Sumithra Bhakthavatsalam, Kyle Richardson, Niket Tandon, Peter Clark | (参考訳) 本稿では,総称文の大規模なコーパスから抽出したhaspart関係の新たな知識ベースを提案する。
他のリソースを補完するものとして、正確(90%の正確さ)、サラエント(人が言及する可能性のある関係性)、共通用語(約10歳未満の語彙)の3つと、一般的なオントロジーのコンセプトネットやwordnetよりも数倍のhaspartエントリがある。
さらに、量化子、引数修飾子に関する情報が含まれ、WikipediaとWordNetの適切な概念にエンティティをリンクする。
知識ベースはhttps://allenai.org/data/haspartkbで利用可能である。 We present a new knowledge-base of hasPart relationships, extracted from a large corpus of generic statements. Complementary to other resources available, it is the first which is all three of: accurate (90% precision), salient (covers relationships a person may mention), and has high coverage of common terms (approximated as within a 10 year old's vocabulary), as well as having several times more hasPart entries than in the popular ontologies ConceptNet and WordNet. In addition, it contains information about quantifiers, argument modifiers, and links the entities to appropriate concepts in Wikipedia and WordNet. The knowledge base is available at https://allenai.org/data/haspartkb | 翻訳日:2022-11-22 02:23:13 公開日:2020-06-12 |
| # 多層スパイクニューラルネットワークの自己組織化 Self-organization of multi-layer spiking neural networks ( http://arxiv.org/abs/2006.06902v1 ) ライセンス: Link先を確認 | Guruprasad Raghavan, Cong Lin, Matt Thomson | (参考訳) 私たちの脳内のリビングニューラルネットワークは、初期の開発中に自律的に大規模で複雑なアーキテクチャに自己組織化され、組織的で機能的な有機計算装置が生まれる。
発達する脳における複雑な構造の形成を可能にする重要なメカニズムは、成長する脳を横断する神経活動の時空間波の出現である。
この戦略にインスパイアされた我々は、任意の数のレイヤを持つ大規模ニューラルネットワークを、幅広いアーキテクチャに効率的に自己組織化しようとする。
これを実現するために,マルチ層ニューラルネットワークをシームレスに積み重ねることができる動的システムの形でモジュール式ツールキットを提案する。
動的システムは、スパイキングユニットのダイナミクス、それらの層間/層間相互作用、および層間の情報の流れを制御する塑性規則をカプセル化する。
ツールキットの主な特徴は,(1)前層における活動によって引き起こされる複数の層にまたがる自律時空間波,(2)接続層における波動活動に基づいて層間接続を更新するスパイク刺激依存塑性(STDP)学習規則である。
私たちのフレームワークは、多層パーセプトロンからオートエンコーダまで、さまざまなアーキテクチャの自己組織化につながります。
また,創発波はスパイキングネットワークアーキテクチャを自己組織化して教師なし学習を行い,ネットワークは線形分類器と結合してmnistのような古典的な画像データセットの分類を行うことができることを示した。
我々の研究は、大規模計算装置の自己組織化に学習のための動的システムフレームワークを利用できることを示している。 Living neural networks in our brains autonomously self-organize into large, complex architectures during early development to result in an organized and functional organic computational device. A key mechanism that enables the formation of complex architecture in the developing brain is the emergence of traveling spatio-temporal waves of neuronal activity across the growing brain. Inspired by this strategy, we attempt to efficiently self-organize large neural networks with an arbitrary number of layers into a wide variety of architectures. To achieve this, we propose a modular tool-kit in the form of a dynamical system that can be seamlessly stacked to assemble multi-layer neural networks. The dynamical system encapsulates the dynamics of spiking units, their inter/intra layer interactions as well as the plasticity rules that control the flow of information between layers. The key features of our tool-kit are (1) autonomous spatio-temporal waves across multiple layers triggered by activity in the preceding layer and (2) Spike-timing dependent plasticity (STDP) learning rules that update the inter-layer connectivity based on wave activity in the connecting layers. Our framework leads to the self-organization of a wide variety of architectures, ranging from multi-layer perceptrons to autoencoders. We also demonstrate that emergent waves can self-organize spiking network architecture to perform unsupervised learning, and networks can be coupled with a linear classifier to perform classification on classic image datasets like MNIST. Broadly, our work shows that a dynamical systems framework for learning can be used to self-organize large computational devices. | 翻訳日:2022-11-22 02:23:00 公開日:2020-06-12 |
| # 複数言語に対するマルチセンス定義生成モデルの評価 Evaluating a Multi-sense Definition Generation Model for Multiple Languages ( http://arxiv.org/abs/2006.07398v1 ) ライセンス: Link先を確認 | Arman Kabiri, Paul Cook | (参考訳) 定義モデリングに関するこれまでのほとんどの研究は、ポリセミズムを考慮していないか、あるいは特定の文脈における対象単語の定義モデリングを考慮している。
一方,本研究では,目的語に対する複数の定義を生成可能な多義語埋め込みに基づく定義モデリングにおける文脈に依存しない手法を提案する。
さらに、主に英語に焦点を当てたほとんどの先行研究とは対照的に、複数の言語ファミリーから9つの言語をカバーする15の異なるデータセットに対する提案手法を評価した。
我々のアプローチを評価するために、BLEUの様々なバリエーションを検討する。
その結果,提案したマルチセンスモデルは15個のデータセットに対して単一センスモデルよりも優れていた。 Most prior work on definition modeling has not accounted for polysemy, or has done so by considering definition modeling for a target word in a given context. In contrast, in this study, we propose a context-agnostic approach to definition modeling, based on multi-sense word embeddings, that is capable of generating multiple definitions for a target word. In further, contrast to most prior work, which has primarily focused on English, we evaluate our proposed approach on fifteen different datasets covering nine languages from several language families. To evaluate our approach we consider several variations of BLEU. Our results demonstrate that our proposed multi-sense model outperforms a single-sense model on all fifteen datasets. | 翻訳日:2022-11-22 02:22:33 公開日:2020-06-12 |
| # 障害関連ダブルQ-ラーニング Decorrelated Double Q-learning ( http://arxiv.org/abs/2006.06956v1 ) ライセンス: Link先を確認 | Gang Chen | (参考訳) 値関数近似を用いたQ-ラーニングは、過大評価バイアスと不正確な推定のため、性能が劣る可能性がある。
具体的には、過大評価バイアスはノイズ推定に対する最大演算子からであり、これはその後の状態の推定を用いて誇張される。
近年の深層強化学習とダブルq学習の進展に触発されて,decorrelated double q-learning (d2q) を導入した。
具体的には,値関数近似子間の相関を減少させるために,相関正規化項目を導入することにより,偏りの少ない推定と分散の低減が期待できる。
1組のmujoco連続制御タスクの実験結果から,decorrelated double q-learningが効果的に性能を向上できることが判明した。 Q-learning with value function approximation may have the poor performance because of overestimation bias and imprecise estimate. Specifically, overestimation bias is from the maximum operator over noise estimate, which is exaggerated using the estimate of a subsequent state. Inspired by the recent advance of deep reinforcement learning and Double Q-learning, we introduce the decorrelated double Q-learning (D2Q). Specifically, we introduce the decorrelated regularization item to reduce the correlation between value function approximators, which can lead to less biased estimation and low variance. The experimental results on a suite of MuJoCo continuous control tasks demonstrate that our decorrelated double Q-learning can effectively improve the performance. | 翻訳日:2022-11-22 02:22:22 公開日:2020-06-12 |
| # 完全観測環境における決定のための繰り返しSum-Product-Maxネットワーク Recurrent Sum-Product-Max Networks for Decision Making in Perfectly-Observed Environments ( http://arxiv.org/abs/2006.07300v1 ) ライセンス: Link先を確認 | Hari Teja Tatavarti, Prashant Doshi, Layton Hayes | (参考訳) sum-product-max networks (spmn) に関する最近の研究は、spn (sum-product network) を一般化し、意思決定のためのデータ駆動の代替手段を提供している。
spmnは、解がネットワークのサイズで線形にスケールする確率的意思決定問題を表す。
しかし、spmnは複数の時間ステップにわたる逐次的意思決定にはあまり適していない。
本稿では,時間とともに意思決定データから学習しモデル化するリカレントspmn(recurrent spmns)を提案する。
RSPMNは、データシーケンスの長さに応じて必要に応じて展開されるテンプレートネットワークを利用する。
RSPMNはSPMNの利点を継承するだけでなく、データ駆動であり、主にトラクタブルであるため、シーケンシャルな問題にも適している。
我々は,SPMNが有効であることを保証したテンプレートネットワーク上で条件を確立し,音声テンプレートネットワークを学習するための構造学習アルゴリズムを提案する。
逐次決定データセットのテストベッドで学習したRSPMNが、完全観測領域上で最適に近いMEUとポリシーを生成することを示した。
RSPMNは、オフライン強化学習に新しいモデルベースアプローチを提供するので、最近のバッチ制約強化学習法では容易に改善できる。 Recent investigations into sum-product-max networks (SPMN) that generalize sum-product networks (SPN) offer a data-driven alternative for decision making, which has predominantly relied on handcrafted models. SPMNs computationally represent a probabilistic decision-making problem whose solution scales linearly in the size of the network. However, SPMNs are not well suited for sequential decision making over multiple time steps. In this paper, we present recurrent SPMNs (RSPMN) that learn from and model decision-making data over time. RSPMNs utilize a template network that is unfolded as needed depending on the length of the data sequence. This is significant as RSPMNs not only inherit the benefits of SPMNs in being data driven and mostly tractable, they are also well suited for sequential problems. We establish conditions on the template network, which guarantee that the resulting SPMN is valid, and present a structure learning algorithm to learn a sound template network. We demonstrate that the RSPMNs learned on a testbed of sequential decision-making data sets generate MEUs and policies that are close to the optimal on perfectly-observed domains. They easily improve on a recent batch-constrained reinforcement learning method, which is important because RSPMNs offer a new model-based approach to offline reinforcement learning. | 翻訳日:2022-11-22 02:22:09 公開日:2020-06-12 |
| # マルチクラス支援ベクトルマシンを用いた安全保証強化学習 Safety-guaranteed Reinforcement Learning based on Multi-class Support Vector Machine ( http://arxiv.org/abs/2006.07446v1 ) ライセンス: Link先を確認 | Kwangyeon Kim, Akshita Gupta, Hong-Cheol Choi, Inseok Hwang | (参考訳) いくつかの研究は強化学習(RL)フレームワークに制約を組み込むという問題に取り組んでいるが、そのほとんどはソフト制約の満足度を保証できない。
本稿では,決定論的システムダイナミクスを用いて,モデルフリーなrl設定におけるハードステート制約を満たす問題に対処する。
提案アルゴリズムは離散状態と行動空間に対して開発され,多クラスサポートベクトルマシン(SVM)を用いてポリシーを表現する。
状態制約はSVM最適化フレームワークに組み込まれ、ポリシーパラメータを決定するための分析ソリューションが導出されます。
この最終方針は、制約を満たすことが保証される解に収束する。
さらに,提案手法はq-learningフレームワークに準拠し,最適な解への収束を保証する。
このアルゴリズムは、複数の例題で示される。 Several works have addressed the problem of incorporating constraints in the reinforcement learning (RL) framework, however majority of them can only guarantee the satisfaction of soft constraints. In this work, we address the problem of satisfying hard state constraints in a model-free RL setting with the deterministic system dynamics. The proposed algorithm is developed for the discrete state and action space and utilizes a multi-class support vector machine (SVM) to represent the policy. The state constraints are incorporated in the SVM optimization framework to derive an analytical solution for determining the policy parameters. This final policy converges to a solution which is guaranteed to satisfy the constraints. Additionally, the proposed formulation adheres to the Q-learning framework and thus, also guarantees convergence to the optimal solution. The algorithm is demonstrated with multiple example problems. | 翻訳日:2022-11-22 02:21:33 公開日:2020-06-12 |
| # 深部強化学習とモンテカルロ木探索を用いたStarCraft II構築順序最適化 StarCraft II Build Order Optimization using Deep Reinforcement Learning and Monte-Carlo Tree Search ( http://arxiv.org/abs/2006.10525v1 ) ライセンス: Link先を確認 | Islam Elnabarawy, Kristijana Arroyo, Donald C. Wunsch II | (参考訳) StarCraft IIのリアルタイム戦略ゲームは、GoogleのDeepMindによる強化学習の課題として提案されている。
本研究では,モンテカルロ木探索アルゴリズムに基づくエージェントを用いて,StarCraft IIのビルド順序を最適化し,より深い強化学習ニューラルネットワークと組み合わせることで,その性能をさらに向上させる方法について検討する。
モンテカルロ木探索を用いて行った実験結果は、非常に限られた時間と計算資源のみを用いて、初心者の人間プレイヤーに似たスコアを達成し、深層強化学習と組み合わせることで、人間の専門家に匹敵するスコアを得るための道を開く。 The real-time strategy game of StarCraft II has been posed as a challenge for reinforcement learning by Google's DeepMind. This study examines the use of an agent based on the Monte-Carlo Tree Search algorithm for optimizing the build order in StarCraft II, and discusses how its performance can be improved even further by combining it with a deep reinforcement learning neural network. The experimental results accomplished using Monte-Carlo Tree Search achieves a score similar to a novice human player by only using very limited time and computational resources, which paves the way to achieving scores comparable to those of a human expert by combining it with the use of deep reinforcement learning. | 翻訳日:2022-11-22 02:21:02 公開日:2020-06-12 |
| # ポテンシャル場誘導アクター・クリティカル強化学習 Potential Field Guided Actor-Critic Reinforcement Learning ( http://arxiv.org/abs/2006.06923v1 ) ライセンス: Link先を確認 | Weiya Ren | (参考訳) 本稿では,アクタ-クリティック強化学習の問題点について考察する。
まず、報酬以上の批評家を導入することで、アクター批判アーキテクチャをアクター批判アーキテクチャに拡張する。
第2に、報酬に基づく批評家と潜在的フィールドに基づく批評家を組み合わせて、潜在的フィールド誘導型アクター批判強化学習アプローチ(アクター批判-2)を定式化する。
これは、モデルベース勾配と、ポリシー改善におけるモデルフリー勾配の組み合わせと見なすことができる。
大きなポテンシャル場を持つ状態は、しばしば、目標を遠くに向けたり、障害物の側面による衝突を避けるといった、強い事前情報を含んでいる。
この状況では、政策政策を指導する傾向にある政策改善を加速する政策評価として、潜在的フィールドベースの批判を信頼すべきである。
例えば、実用的なアプリケーションでは、試行錯誤から学ぶのではなく、障害を避けるための学習を導くべきです。
少ない可能性を持つ状態は、例えば、局所的な最小点や移動対象の周辺での情報不足であることが多い。
このとき、長期的なリターンを評価するために、政策評価として報酬に基づく批評家を信頼すべきである。
この場合、アクションポリシーは探求する傾向がある。
さらに、潜在的なフィールド評価と、より良い状態値関数を見積もる計画とを組み合わせることができる。
このように、報酬デザインは報酬形成や段階的な報酬ではなく、報酬の最終段階に集中することができる。
さらに、多エージェント協調問題におけるコミュニケーションの欠如、すなわち、各エージェントは報酬ベースの批評家と、事前情報を持つ相対的なポテンシャルフィールドベースの批評家を持つ。
第3に,プレデター・プレイゲームに関する簡易実験により,提案手法の有効性が示された。 In this paper, we consider the problem of actor-critic reinforcement learning. Firstly, we extend the actor-critic architecture to actor-critic-N architecture by introducing more critics beyond rewards. Secondly, we combine the reward-based critic with a potential-field-based critic to formulate the proposed potential field guided actor-critic reinforcement learning approach (actor-critic-2). This can be seen as a combination of the model-based gradients and the model-free gradients in policy improvement. State with large potential field often contains a strong prior information, such as pointing to the target at a long distance or avoiding collision by the side of an obstacle. In this situation, we should trust potential-field-based critic more as policy evaluation to accelerate policy improvement, where action policy tends to be guided. For example, in practical application, learning to avoid obstacles should be guided rather than learned by trial and error. State with small potential filed is often lack of information, for example, at the local minimum point or around the moving target. At this time, we should trust reward-based critic as policy evaluation more to evaluate the long-term return. In this case, action policy tends to explore. In addition, potential field evaluation can be combined with planning to estimate a better state value function. In this way, reward design can focus more on the final stage of reward, rather than reward shaping or phased reward. Furthermore, potential field evaluation can make up for the lack of communication in multi-agent cooperation problem, i.e., multi-agent each has a reward-based critic and a relative unified potential-field-based critic with prior information. Thirdly, simplified experiments on predator-prey game demonstrate the effectiveness of the proposed approach. | 翻訳日:2022-11-22 02:15:16 公開日:2020-06-12 |
| # 航空機設計のための産業用MDOフレームワークへのベイズ最適化の効率化 An efficient application of Bayesian optimization to an industrial MDO framework for aircraft design ( http://arxiv.org/abs/2006.08434v1 ) ライセンス: Link先を確認 | Remy Priem, Hugo Gagnon, Ian Chittick, Stephane Dufresne, Youssef Diouane and Nathalie Bartoli | (参考訳) ボンバルディア航空(Bombardier Aviation)で開発された多段階・多分野・多分野最適化フレームワークは、効率的かつ競争的な航空機構成を探索する上で大きな成果を上げている。
この最適化フレームワークはIsightソフトウェア内で開発されており、後者は使えるオプティマイザのセットを提供する。
残念なことに、Isightオプティマイザが必要とする計算作業は、産業的コンテキストの要件に関して禁止することができる。
本稿では,制約付きベイズ最適化,すなわち専門家の混合による超効率的なグローバル最適化を用いて,最適化の労力を削減する。
その結果,2つのIsightオプティマイザと比較して有意に改善した。
ボンバルディア研究航空機構成研究事例において, 検証されたベイズ最適化問題の能力を実証した。 The multi-level, multi-disciplinary and multi-fidelity optimization framework developed at Bombardier Aviation has shown great results to explore efficient and competitive aircraft configurations. This optimization framework has been developed within the Isight software, the latter offers a set of ready-to-use optimizers. Unfortunately, the computational effort required by the Isight optimizers can be prohibitive with respect to the requirements of an industrial context. In this paper, a constrained Bayesian optimization optimizer, namely the super efficient global optimization with mixture of experts, is used to reduce the optimization computational effort. The obtained results showed significant improvements compared to two of the popular Isight optimizers. The capabilities of the tested constrained Bayesian optimization solver are demonstrated on Bombardier research aircraft configuration study cases. | 翻訳日:2022-11-22 02:13:08 公開日:2020-06-12 |
| # 類似性に基づく意思決定政策の伝達学習 Similarity-based transfer learning of decision policies ( http://arxiv.org/abs/2006.08768v1 ) ライセンス: Link先を確認 | Eli\v{s}ka Zugarov\'a and Tatiana V. Guy | (参考訳) 過去の経験から意思決定政策を学習する問題を考える。
完全確率的設計(fpd)形式を用いて,過去のデータから確率的方針を求めるための新しい一般的なアプローチを提案する。 A problem of learning decision policy from past experience is considered. Using the Fully Probabilistic Design (FPD) formalism, we propose a new general approach for finding a stochastic policy from the past data. | 翻訳日:2022-11-22 02:12:54 公開日:2020-06-12 |
| # BI-MAML:メタ学習のためのバランスの取れたインクリメンタルアプローチ BI-MAML: Balanced Incremental Approach for Meta Learning ( http://arxiv.org/abs/2006.07412v1 ) ライセンス: Link先を確認 | Yang Zheng, Jinlin Xiang, Kun Su, Eli Shlizerman | (参考訳) 本稿では,複数のタスクを学習するための新しいバランス付きインクリメンタルモデルAgnostic Meta Learningシステム(BI-MAML)を提案する。
このメソッドはメタ更新ルールを実装し、古いタスクを忘れずに新しいタスクにインクリメンタルにモデルを適用する。
このような機能は、現在の最先端のMAMLアプローチでは不可能である。
これらの手法は、新しいタスクに効果的に適応するが、モデルにストリームされる新しいタスクが、以前に学習したタスクでモデルのパフォーマンスを劣化させる「破滅的な忘れる」現象に苦しむ。
私たちのシステムは、ほんの数ショットでメタアップデートを実行し、成功させます。
これを達成するための重要なアイデアは、ベースラインモデルのためのバランスのとれた学習戦略の設計です。
この戦略はベースラインモデルを様々なタスクで等しく機能するように設定し、時間効率を取り入れる。
バランスの取れた学習戦略により、BI-MAMLは既存のタスクの分類精度において、他の最先端モデルよりも優れていると同時に、より少ないショットで、類似した新しいタスクへの効率的な適応を実現することができる。
BI-MAMLは2つの共通ベンチマークデータセットと複数の画像分類タスクを比較して評価する。
BI-MAML性能は精度と効率の両方の利点を示す。 We present a novel Balanced Incremental Model Agnostic Meta Learning system (BI-MAML) for learning multiple tasks. Our method implements a meta-update rule to incrementally adapt its model to new tasks without forgetting old tasks. Such a capability is not possible in current state-of-the-art MAML approaches. These methods effectively adapt to new tasks, however, suffer from 'catastrophic forgetting' phenomena, in which new tasks that are streamed into the model degrade the performance of the model on previously learned tasks. Our system performs the meta-updates with only a few-shots and can successfully accomplish them. Our key idea for achieving this is the design of balanced learning strategy for the baseline model. The strategy sets the baseline model to perform equally well on various tasks and incorporates time efficiency. The balanced learning strategy enables BI-MAML to both outperform other state-of-the-art models in terms of classification accuracy for existing tasks and also accomplish efficient adaption to similar new tasks with less required shots. We evaluate BI-MAML by conducting comparisons on two common benchmark datasets with multiple number of image classification tasks. BI-MAML performance demonstrates advantages in both accuracy and efficiency. | 翻訳日:2022-11-22 02:12:23 公開日:2020-06-12 |
| # フェデレーション学習における意図しない記憶の理解 Understanding Unintended Memorization in Federated Learning ( http://arxiv.org/abs/2006.07490v1 ) ライセンス: Link先を確認 | Om Thakkar, Swaroop Ramaswamy, Rajiv Mathews, Fran\c{c}oise Beaufays | (参考訳) 近年の研究では、生成シーケンスモデル(例えば言語モデル)は、トレーニングデータに希少またはユニークなシーケンスを記憶する傾向があることが示されている。
有用なモデルは、しばしば機密データに基づいて訓練されるため、トレーニングデータのプライバシーを確保するために、意図しない記憶の特定と緩和が重要である。
federated learning (fl) は大規模分散学習タスクのための新しいフレームワークとして登場した。
しかし、すべてのデータが中央サーバに格納される、よく研究された中央学習設定とは、多くの点で異なる。
本稿では,訓練されたモデルの意図しない記憶に及ぼす標準FLの異なる成分の影響を,中心的な学習環境と比較した公式な研究を開始する。
その結果,FLの異なる成分が,意図しない記憶の減少に重要な役割を果たしていることが示唆された。
具体的には,FLの設計によって生じるユーザによるデータのクラスタリングが,そのような記憶の減少に重要な影響を及ぼし,トレーニングにフェデレーション平均化法を用いることで,さらなる削減が期待できる。
また,ユーザレベルのディファレンシャルプライバシの強いトレーニングは,意図しない記憶量が最も少ないモデルに結果をもたらすことを示す。 Recent works have shown that generative sequence models (e.g., language models) have a tendency to memorize rare or unique sequences in the training data. Since useful models are often trained on sensitive data, to ensure the privacy of the training data it is critical to identify and mitigate such unintended memorization. Federated Learning (FL) has emerged as a novel framework for large-scale distributed learning tasks. However, it differs in many aspects from the well-studied central learning setting where all the data is stored at the central server. In this paper, we initiate a formal study to understand the effect of different components of canonical FL on unintended memorization in trained models, comparing with the central learning setting. Our results show that several differing components of FL play an important role in reducing unintended memorization. Specifically, we observe that the clustering of data according to users---which happens by design in FL---has a significant effect in reducing such memorization, and using the method of Federated Averaging for training causes a further reduction. We also show that training with a strong user-level differential privacy guarantee results in models that exhibit the least amount of unintended memorization. | 翻訳日:2022-11-22 02:05:51 公開日:2020-06-12 |
| # NAS-Bench-NLP:自然言語処理のためのニューラルネットワーク探索ベンチマーク NAS-Bench-NLP: Neural Architecture Search Benchmark for Natural Language Processing ( http://arxiv.org/abs/2006.07116v1 ) ライセンス: Link先を確認 | Nikita Klyuchnikov, Ilya Trofimov, Ekaterina Artemova, Mikhail Salnikov, Maxim Fedorov, Evgeny Burnaev | (参考訳) neural architecture search (nas)は有望で急速に進化する研究分野である。
大量のニューラルネットワークをトレーニングするには、非常に多くの計算能力が必要であり、高性能クラスタやスーパーコンピュータにアクセスできない研究者にとってNASは到達不可能である。
この問題を克服し、より再現可能な実験を確実にするために、先述したニューラルネットワークアーキテクチャのパフォーマンスを持ついくつかのベンチマークが最近紹介されている。
しかしながら、これらのベンチマークはコンピュータビジョンドメインのみを対象としており、画像データセットと畳み込み由来のアーキテクチャから構築されている。
本研究では,自然言語処理(NLP)のコアである言語モデリングタスクを活用することにより,コンピュータビジョン領域の外部へ進出する。
我々は、テキストデータセット上の再帰ニューラルネットワークの検索空間を提供し、その内の1万4千のアーキテクチャを訓練しました。我々は、セマンティクス関連性と言語理解評価のためにデータセットを使用して、トレーニングされたモデルの内在的および外在的評価を行い、最後に、事前計算された結果をどのように利用できるかを示すためにいくつかのnasアルゴリズムをテストしました。
我々はNASとNLPのコミュニティでの利用可能性が高いと考えている。 Neural Architecture Search (NAS) is a promising and rapidly evolving research area. Training a large number of neural networks requires an exceptional amount of computational power, which makes NAS unreachable for those researchers who have limited or no access to high-performance clusters and supercomputers. A few benchmarks with precomputed neural architectures performances have been recently introduced to overcome this problem and ensure more reproducible experiments. However, these benchmarks are only for the computer vision domain and, thus, are built from the image datasets and convolution-derived architectures. In this work, we step outside the computer vision domain by leveraging the language modeling task, which is the core of natural language processing (NLP). Our main contribution is as follows: we have provided search space of recurrent neural networks on the text datasets and trained 14k architectures within it; we have conducted both intrinsic and extrinsic evaluation of the trained models using datasets for semantic relatedness and language understanding evaluation; finally, we have tested several NAS algorithms to demonstrate how the precomputed results can be utilized. We believe that our results have high potential of usage for both NAS and NLP communities. | 翻訳日:2022-11-22 02:05:13 公開日:2020-06-12 |
| # オンライン因果モデルを学ぶ Learning Causal Models Online ( http://arxiv.org/abs/2006.07461v1 ) ライセンス: Link先を確認 | Khurram Javed, Martha White, Yoshua Bengio | (参考訳) 完全なデータ分布をカバーしていない観測データから学習した予測モデルは、予測を行うためにデータの急激な相関に依存する可能性がある。
これらの相関はモデルを不安定にし、一般化を妨げる。
強い一般化を達成するための一つの解決策は、モデルに因果構造を組み込むことであり、そのような構造はそれらと矛盾する相関を無視して学習を制限する。
しかし、これらの構造を学ぶことはそれ自体が難しい問題である。
さらに、因果関係の機械をオンライン連続学習に組み込む方法も明確ではない。
本研究では,因果モデル発見に間接的アプローチをとる。
真の因果モデルを直接検索する代わりに,突発的特徴を継続的に検出・除去するオンラインアルゴリズムを提案する。
我々のアルゴリズムは、刺激的特徴と目標との相関が時間経過とともに一定でないという考え方に基づいている。
その結果、その機能に関連する重みは常に変化しています。
このような特徴を継続的に取り除くことで、この手法は強い一般化を持つ解に収束することを示す。
さらに,ランダム検索と組み合わせることで,生の感覚データから不純な特徴を発見できる。
最後に、我々の研究は、データのシャッフルによって破壊される問題の時間的構造に存在する情報は、オンラインのスプリアスな特徴を検出するのに不可欠であることを強調する。 Predictive models -- learned from observational data not covering the complete data distribution -- can rely on spurious correlations in the data for making predictions. These correlations make the models brittle and hinder generalization. One solution for achieving strong generalization is to incorporate causal structures in the models; such structures constrain learning by ignoring correlations that contradict them. However, learning these structures is a hard problem in itself. Moreover, it's not clear how to incorporate the machinery of causality with online continual learning. In this work, we take an indirect approach to discovering causal models. Instead of searching for the true causal model directly, we propose an online algorithm that continually detects and removes spurious features. Our algorithm works on the idea that the correlation of a spurious feature with a target is not constant over-time. As a result, the weight associated with that feature is constantly changing. We show that by continually removing such features, our method converges to solutions that have strong generalization. Moreover, our method combined with random search can also discover non-spurious features from raw sensory data. Finally, our work highlights that the information present in the temporal structure of the problem -- destroyed by shuffling the data -- is essential for detecting spurious features online. | 翻訳日:2022-11-22 02:04:13 公開日:2020-06-12 |
| # SAMBA: 安全なモデルベースとアクティブ強化学習 SAMBA: Safe Model-Based & Active Reinforcement Learning ( http://arxiv.org/abs/2006.09436v1 ) ライセンス: Link先を確認 | Alexander I. Cowen-Rivers, Daniel Palenicek, Vincent Moens, Mohammed Abdullah, Aivar Sootla, Jun Wang, Haitham Ammar | (参考訳) 本稿では,確率論的モデリング,情報理論,統計学といった側面を組み合わせた安全強化学習のための新しいフレームワークSAMBAを提案する。
提案手法はPILCO上に構築され,条件付き値-リスク制約をサポートする多目的問題により最適化されたサンプル外ガウス過程評価のためのノベル(セミ-)メトリックを用いたアクティブな探索を可能にする。
低次元と高次元の両方の状態表現を含む様々な安全な力学系ベンチマークでアルゴリズムを評価する。
以上の結果から, サンプルや違反の規模は, 最先端の手法に比べて大幅に減少した。
最後に、アクティブなメトリクスと安全性の制約を詳細に分析することで、フレームワークの有効性に関する直感を提供する。 In this paper, we propose SAMBA, a novel framework for safe reinforcement learning that combines aspects from probabilistic modelling, information theory, and statistics. Our method builds upon PILCO to enable active exploration using novel(semi-)metrics for out-of-sample Gaussian process evaluation optimised through a multi-objective problem that supports conditional-value-at-risk constraints. We evaluate our algorithm on a variety of safe dynamical system benchmarks involving both low and high-dimensional state representations. Our results show orders of magnitude reductions in samples and violations compared to state-of-the-art methods. Lastly, we provide intuition as to the effectiveness of the framework by a detailed analysis of our active metrics and safety constraints. | 翻訳日:2022-11-22 02:03:20 公開日:2020-06-12 |
| # 言語定義ゴール生成:RLのための言語接地への新しいアプローチ Language-Conditioned Goal Generation: a New Approach to Language Grounding for RL ( http://arxiv.org/abs/2006.07043v1 ) ライセンス: Link先を確認 | C\'edric Colas, Ahmed Akakzia, Pierre-Yves Oudeyer, Mohamed Chetouani, Olivier Sigaud | (参考訳) 現実世界では、言語エージェントも具体化され、物理的な世界で知覚され、作用する。
言語接地の概念は、言語と具体化の相互作用に疑問を呈する: 学習エージェントは物理的な世界と言語表現をどう結び付けるか、あるいは接地するか?
この質問は、最近、インストラクションフォローエージェントの枠組みの下で強化学習コミュニティからアプローチされている。
これらのエージェントでは、自然言語で表現された命令の埋め込みに行動ポリシーまたは報酬関数が条件付けられる。
本稿では,言語を用いたゴール生成手法を提案する。
目標条件付きポリシーがあれば、言語条件付きゴールジェネレータをトレーニングして、エージェントの言語に依存しない目標を生成することができる。
この方法では、感覚運動学習を言語習得から切り離し、エージェントが任意の命令に対する行動の多様性を示すことができる。
このアプローチの特定のインスタンス化を提案し、その利点を実証する。 In the real world, linguistic agents are also embodied agents: they perceive and act in the physical world. The notion of Language Grounding questions the interactions between language and embodiment: how do learning agents connect or ground linguistic representations to the physical world ? This question has recently been approached by the Reinforcement Learning community under the framework of instruction-following agents. In these agents, behavioral policies or reward functions are conditioned on the embedding of an instruction expressed in natural language. This paper proposes another approach: using language to condition goal generators. Given any goal-conditioned policy, one could train a language-conditioned goal generator to generate language-agnostic goals for the agent. This method allows to decouple sensorimotor learning from language acquisition and enable agents to demonstrate a diversity of behaviors for any given instruction. We propose a particular instantiation of this approach and demonstrate its benefits. | 翻訳日:2022-11-22 01:57:02 公開日:2020-06-12 |
| # 恨みに食われるのを避ける方法 - テキスト世界のための構造化探索戦略 How to Avoid Being Eaten by a Grue: Structured Exploration Strategies for Textual Worlds ( http://arxiv.org/abs/2006.07409v1 ) ライセンス: Link先を確認 | Prithviraj Ammanabrolu, Ethan Tien, Matthew Hausknecht, Mark O. Riedl | (参考訳) テキストベースのゲームは長いパズルやクエストであり、スパースと潜在的な偽りの報酬によって特徴づけられる。
コンビネータサイズの自然言語ステートアクション空間を使って、世界を知覚し行動するエージェントを開発するための理想的なプラットフォームを提供する。
標準的な強化学習エージェントは、そのような空間を効果的に探索する能力が不十分で、しばしばボトルネックを克服するのに苦労する。
質問に答えることで世界の知識グラフを構築することを学習するエージェントであるQ*BERTを紹介する。
ボトルネックを克服するために、さらにmc!
Q*BERTは、知識グラフに基づく本質的なモチベーションを使用してボトルネックを検出するエージェントであり、新しい探索戦略により、それらを克服するためのポリシーモジュールの連鎖を効率的に学習する。
そこで本研究では,本手法が,人気のゲームであるzorkを含む9種類のテキストゲームにおいて,現状よりも優れており,学習エージェントが初めてプレイヤーが食するボトルネックを克服したことを示す。 Text-based games are long puzzles or quests, characterized by a sequence of sparse and potentially deceptive rewards. They provide an ideal platform to develop agents that perceive and act upon the world using a combinatorially sized natural language state-action space. Standard Reinforcement Learning agents are poorly equipped to effectively explore such spaces and often struggle to overcome bottlenecks---states that agents are unable to pass through simply because they do not see the right action sequence enough times to be sufficiently reinforced. We introduce Q*BERT, an agent that learns to build a knowledge graph of the world by answering questions, which leads to greater sample efficiency. To overcome bottlenecks, we further introduce MC!Q*BERT an agent that uses an knowledge-graph-based intrinsic motivation to detect bottlenecks and a novel exploration strategy to efficiently learn a chain of policy modules to overcome them. We present an ablation study and results demonstrating how our method outperforms the current state-of-the-art on nine text games, including the popular game, Zork, where, for the first time, a learning agent gets past the bottleneck where the player is eaten by a Grue. | 翻訳日:2022-11-22 01:56:47 公開日:2020-06-12 |
| # 継続的な学習における指導要領の役割の理解 Understanding the Role of Training Regimes in Continual Learning ( http://arxiv.org/abs/2006.06958v1 ) ライセンス: Link先を確認 | Seyed Iman Mirzadeh, Mehrdad Farajtabar, Razvan Pascanu, Hassan Ghasemzadeh | (参考訳) 破滅的な忘れは、ニューラルネットワークのトレーニングに影響を与え、複数のタスクを逐次学習する能力を制限する。
十分に確立された可塑性-安定性ジレンマの観点からすると、ニューラルネットワークは過度に可塑性であり、過去の知識を忘れるのを防ぐために必要な安定性が欠如している。
この現象は連続学習文学に端を発し、近年多くの注目を集め、成功度が異なるいくつかのアプローチが提案されている。
しかしながら、さまざまなトレーニング体制 – 学習率、バッチサイズ、正規化メソッド – が、忘れることに与える影響を幅広く分析する以前の作業は限られていた。
本研究では,学習アルゴリズムを改良して安定性を向上させるという典型的なアプローチから脱却する。
代わりに、各タスクで見つかった局所ミニマの幾何学的性質が、全体的な忘れやすさにおいて重要な役割を果たすと仮定する。
特に,ドロップアウト,学習率減衰,バッチサイズがタスクの局所的ミニマを広めるトレーニングレジームの形成に及ぼす影響について検討し,その結果,破滅的に忘れないよう支援する。
本研究は,代替ベースラインに匹敵する単純かつ効果的な手法により,安定性を向上させるための実践的洞察を提供する。 Catastrophic forgetting affects the training of neural networks, limiting their ability to learn multiple tasks sequentially. From the perspective of the well established plasticity-stability dilemma, neural networks tend to be overly plastic, lacking the stability necessary to prevent the forgetting of previous knowledge, which means that as learning progresses, networks tend to forget previously seen tasks. This phenomenon coined in the continual learning literature, has attracted much attention lately, and several families of approaches have been proposed with different degrees of success. However, there has been limited prior work extensively analyzing the impact that different training regimes -- learning rate, batch size, regularization method-- can have on forgetting. In this work, we depart from the typical approach of altering the learning algorithm to improve stability. Instead, we hypothesize that the geometrical properties of the local minima found for each task play an important role in the overall degree of forgetting. In particular, we study the effect of dropout, learning rate decay, and batch size, on forming training regimes that widen the tasks' local minima and consequently, on helping it not to forget catastrophically. Our study provides practical insights to improve stability via simple yet effective techniques that outperform alternative baselines. | 翻訳日:2022-11-22 01:55:52 公開日:2020-06-12 |
| # 実時間再帰学習のための実時間スパース近似 A Practical Sparse Approximation for Real Time Recurrent Learning ( http://arxiv.org/abs/2006.07232v1 ) ライセンス: Link先を確認 | Jacob Menick, Erich Elsen, Utku Evci, Simon Osindero, Karen Simonyan, Alex Graves | (参考訳) 現在のリカレントニューラルネットワークのトレーニング方法は、時間経過によるバックプロパゲーションに基づいており、ネットワーク状態の完全な履歴を保存する必要がある。
リアルタイム・リカレント・ラーニング(RTRL)は、履歴記憶の必要性を排除し、オンラインの重み更新を可能にするが、状態サイズに準ずる計算コストを犠牲にしている。
これにより、RTRLのトレーニングは最小のネットワーク以外は、非常に疎いネットワークでも難解になる。
RTRL 影響行列に Sparse n-step Approximation (SnAp) を導入する。
n=1のSnApは、バックプロパゲーションほど高価ではないため、Unbiased Online Recurrent Optimizationのようなコストに匹敵する他のRTRL近似よりも大幅に優れている。
高度にスパースなネットワークでは、n=2のSnApは引き続きトラクタブルであり、更新がオンラインで行われる場合の学習速度において、時間を通してバックプロパゲーションを向上することができる。
SnAp は n が大きければ RTRL と同値となる。 Current methods for training recurrent neural networks are based on backpropagation through time, which requires storing a complete history of network states, and prohibits updating the weights `online' (after every timestep). Real Time Recurrent Learning (RTRL) eliminates the need for history storage and allows for online weight updates, but does so at the expense of computational costs that are quartic in the state size. This renders RTRL training intractable for all but the smallest networks, even ones that are made highly sparse. We introduce the Sparse n-step Approximation (SnAp) to the RTRL influence matrix, which only keeps entries that are nonzero within n steps of the recurrent core. SnAp with n=1 is no more expensive than backpropagation, and we find that it substantially outperforms other RTRL approximations with comparable costs such as Unbiased Online Recurrent Optimization. For highly sparse networks, SnAp with n=2 remains tractable and can outperform backpropagation through time in terms of learning speed when updates are done online. SnAp becomes equivalent to RTRL when n is large. | 翻訳日:2022-11-22 01:55:32 公開日:2020-06-12 |
| # 活性化関数による消費電力変動 Power Consumption Variation over Activation Functions ( http://arxiv.org/abs/2006.07237v1 ) ライセンス: Link先を確認 | Leon Derczynski | (参考訳) 予測を行う際に機械学習モデルが消費するパワーは、モデルのアーキテクチャに影響される可能性がある。
本稿では,ニューラルネットワークモデル設計の核となる様々な活性化関数に対する電力消費量の様々な推定について述べる。
ハードウェアの性能にはアクティベーション機能の違いがある。
この違いは、機械学習モデルの消費電力を削減できることを示す。 The power that machine learning models consume when making predictions can be affected by a model's architecture. This paper presents various estimates of power consumption for a range of different activation functions, a core factor in neural network model architecture design. Substantial differences in hardware performance exist between activation functions. This difference informs how power consumption in machine learning models can be reduced. | 翻訳日:2022-11-22 01:55:11 公開日:2020-06-12 |
| # オンライン・シーケンシャル・エクストリーム・ラーニング・マシン:数百の中間層を組み合わせた機能 Online Sequential Extreme Learning Machines: Features Combined From Hundreds of Midlayers ( http://arxiv.org/abs/2006.06893v1 ) ライセンス: Link先を確認 | Chandra Swarathesh Addanki | (参考訳) 本稿では、数百の中間層からなる単一フィードフォワードネットワークのための階層型オンラインシーケンシャル学習アルゴリズム(H-OS-ELM)と呼ばれるアルゴリズムを開発し、そのアルゴリズムはブロックサイズが一定または異なるチャンクでチャンクを学習し、他のニューロンが生成する符号化された分散情報からなる上位層におけるニューロンの多様な選択性は、推論精度よりも優れた計算上の優位性をもたらすと信じている。
Thus this paper proposes a Hierarchical model framework combined with Online-Sequential learning algorithm, Firstly the model consists of subspace feature extractor which consists of subnetwork neuron, using the sub-features which is result of the feature extractor in first layer of the hierarchy we get rid of irrelevant factors which are of no use for the learning and iterate this process so that to recast the the subfeatures into the hierarchical model to be processed into more acceptable cognition.
第二に,os-elmを学習に使用することにより,学習速度を向上させる全体的なパフォーマンスの一般化において重要な役割を果たす,より広く浅いネットワークを実現する。 In this paper, we develop an algorithm called hierarchal online sequential learning algorithm (H-OS-ELM) for single feed feedforward network with features combined from hundreds of midlayers, the algorithm can learn chunk by chunk with fixed or varying block size, we believe that the diverse selectivity of neurons in top layers which consists of encoded distributed information produced by the other neurons offers better computational advantage over inference accuracy. Thus this paper proposes a Hierarchical model framework combined with Online-Sequential learning algorithm, Firstly the model consists of subspace feature extractor which consists of subnetwork neuron, using the sub-features which is result of the feature extractor in first layer of the hierarchy we get rid of irrelevant factors which are of no use for the learning and iterate this process so that to recast the the subfeatures into the hierarchical model to be processed into more acceptable cognition. Secondly by using OS-Elm we are using non-iterative style for learning we are implementing a network which is wider and shallow which plays a important role in generalizing the overall performance which in turn boosts up the learning speed | 翻訳日:2022-11-22 01:55:07 公開日:2020-06-12 |
| # move-to-data:deep cnnを用いた新しい連続学習アプローチ、画像クラス認識への応用 Move-to-Data: A new Continual Learning approach with Deep CNNs, Application for image-class recognition ( http://arxiv.org/abs/2006.07152v1 ) ライセンス: Link先を確認 | Miltiadis Poursanidis (LaBRI), Jenny Benois-Pineau (LaBRI), Akka Zemmari (LaBRI), Boris Mansenca (LaBRI), Aymar de Rugy (INCIA) | (参考訳) 教師付き学習アプローチの適用の多くの実生活タスクでは、すべてのトレーニングデータが同時に利用できない。
例えば、計測対象と環境との相互作用において、生涯にわたる画像分類や環境オブジェクトの認識、より多くの画像を含むオンラインデータベースの強化などである。
モデルを"トレーニング記録フェーズ"で事前トレーニングし、新たなデータに調整する必要がある。
これはインクリメンタル/継続的な学習アプローチのタスクです。
モデルに新しいカテゴリを導入すること、既存のカテゴリをサブカテゴリに精製すること、訓練済みの分類器を拡張することなど、これらのアプローチで解決すべきさまざまな問題の中で、既存のカテゴリに対する新たなトレーニングデータを追加して事前学習モデルを調整することの課題に焦点を当てる。
本稿では,ニューロンネットワークの終端にある高速連続学習層を提案する。
得られた結果は、オープンソースのCIFARベンチマークデータセットで説明されている。
提案手法は再訓練と同様の性能を発揮するが,計算コストは大幅に低減する。 In many real-life tasks of application of supervised learning approaches, all the training data are not available at the same time. The examples are lifelong image classification or recognition of environmental objects during interaction of instrumented persons with their environment, enrichment of an online-database with more images. It is necessary to pre-train the model at a "training recording phase" and then adjust it to the new coming data. This is the task of incremental/continual learning approaches. Amongst different problems to be solved by these approaches such as introduction of new categories in the model, refining existing categories to sub-categories and extending trained classifiers over them, ... we focus on the problem of adjusting pre-trained model with new additional training data for existing categories. We propose a fast continual learning layer at the end of the neuronal network. Obtained results are illustrated on the opensource CIFAR benchmark dataset. The proposed scheme yields similar performances as retraining but with drastically lower computational cost. | 翻訳日:2022-11-22 01:54:48 公開日:2020-06-12 |