このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス（CC 0, CC BY, CC BY-SA）の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。（arxivのメタデータは CC 0です。） 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。
公開日が20200619となっている論文です。
| Title | Authors | Abstract | 論文公表日・翻訳日 |
|---|---|---|---|
| # 4次元量子ホール物理の散逸アナログ Dissipative analog of four-dimensional quantum Hall physics ( http://arxiv.org/abs/2003.11042v2 ) ライセンス: Link先を確認 | Fanny Terrier, Flore K. Kunst | (参考訳) 4次元量子ホール(QH)モデルは通常、実験でシミュレーションするために合成次元に依存する。
本稿では,その境界面上の3次元ワイルコーンの非自明な構成を特徴とするQHシステムについて検討する。
非エルミート的(NH)ハミルトニアンにより記述された散逸性ワイル半金属(WSM)の形で、このモデルの3次元類似体を提案し、これは長時間の極限において、バルクスペクトルにおける4次元QHモデルの異常境界物理を示す。
NH WSMのトポロジーは、生存したワイルノードの総キラリティに直接関係する3次元の巻数によって捉えられる。
開境界条件をとると、フェルミ弧の代わりに、システムサイズに合わせてスケールする位数を持つ例外的な点が見つかる。 Four-dimensional quantum Hall (QH) models usually rely on synthetic dimensions for their simulation in experiment. Here, we study a QH system which features a nontrivial configuration of three-dimensional Weyl cones on its boundaries. We propose a three-dimensional analog of this model in the form of a dissipative Weyl semimetal (WSM) described by a non-Hermitian (NH) Hamiltonian, which in the long-time limit manifests the anomalous boundary physics of the four-dimensional QH model in the bulk spectrum. The topology of the NH WSM is captured by a three-dimensional winding number whose value is directly related to the total chirality of the surviving Weyl nodes. Upon taking open boundary conditions, instead of Fermi arcs, we find exceptional points with an order that scales with system size. | 翻訳日:2023-05-28 00:57:34 公開日:2020-06-19 |
| # 双極子保存系における動的に拘束された凍結遷移 Kinetically constrained freezing transition in a dipole-conserving system ( http://arxiv.org/abs/2004.00096v3 ) ライセンス: Link先を確認 | Alan Morningstar, Vedika Khemani, and David A. Huse | (参考訳) 総電荷と双極子モーメントのフラクトン様保存則を尊重する厳密な有限範囲相互作用を持つ粒子の確率格子気体について検討した。
電荷密度が変化すると、系の電荷配置のダイナミクスによる接続は定性的に変化する。
システムの半分近くが熱分解し、ほぼ全ての構成が1つの動的に連結されたセクターに属している。
電荷密度が半充填から遠ざかるにつれて、局所的に活性な有限気泡が粒子を交換できず、系が熱分解に失敗する凍結相への相転移が起こる。
この2つの位相はそれぞれ、最近「弱かつ強いヒルベルト空間の断片化」と呼ばれるものを示している。
古典マルコフ回路モデルにおいて、この弱-強断裂相転移の静的および動的スケーリング特性について検討し、いくつかの正確な臨界指数を求める。 We study a stochastic lattice gas of particles in one dimension with strictly finite-range interactions that respect the fracton-like conservation laws of total charge and dipole moment. As the charge density is varied, the connectivity of the system's charge configurations under the dynamics changes qualitatively. We find two distinct phases: Near half filling the system thermalizes subdiffusively, with almost all configurations belonging to a single dynamically connected sector. As the charge density is tuned away from half filling there is a phase transition to a frozen phase where locally active finite bubbles cannot exchange particles and the system fails to thermalize. The two phases exemplify what has recently been referred to as weak and strong Hilbert space fragmentation, respectively. We study the static and dynamic scaling properties of this weak-to-strong fragmentation phase transition in a kinetically constrained classical Markov circuit model, obtaining some conjectured exact critical exponents. | 翻訳日:2023-05-27 07:34:22 公開日:2020-06-19 |
| # ディラック振動子の空間次元による電磁的物理表現の相違 Different electromagnetic physical representations of the Dirac's oscillator according with its spatial dimension ( http://arxiv.org/abs/2005.09061v2 ) ライセンス: Link先を確認 | Juan Sebasti\'an Monta\~nez Moyano (1), Carlos Jos\'e Quimbay Herrera (1) ((1) Universidad Nacional de Colombia) | (参考訳) ディラックの発振器 (DO) は相対論的量子力学や物理数学において最も研究されているシステムの一つである。
特に、この系は、他の既知のシステムでは見たことのない特異な性質を持つことを示す:空間次元により、DOは電磁特性の異なる物理系を表す。
これまでの文献では、ディラックの振動子ポテンシャルのゲージ不変性という共変法を用いて証明されている。
また、3+1次元では、DOは相対論的で電気的に中性なフェルミオンを磁気双極子運動量で表し、球対称の誘電体となり、半径距離に依存する電場の影響下にあることが示されている。
本研究では, (2+1) 次元 DO が一様かつ垂直な外部磁場の影響下での 1/2-スピン相対論的フェルミオンを表すのに対し, (1+1) 次元の DO は線形電場と相互作用する相対論的および電気的フェルミオンを再現することを示した。
さらに、DO はキラル対称性 $U(1)_R \times U(1)_L$ を明示的に破る相互作用ポテンシャルのため、その次元によらず、キラル不変性を持たないことが証明されるが、大域ゲージ対称性 $U(1)$ は保存される。 Dirac's oscillator (DO) is one of the most studied systems in the Relativistic Quantum Mechanics and in the physical-mathematics. In particular, we show that this system has an unique property which it has not ever seen in other known systems: According to its spatial dimensionality, DO represent physical systems with very different electromagnetic nature. So far in the literature, it has been proved using the covariant method the gauge invariance of the Dirac's oscillator potential. It has also shown that in (3+1)dimensions the DO represents a relativistic and electrically neutral fermion with magnetic dipole momentum, into a dielectric medium with spherical symmetry and under the effect of an electric field which depends of the radial distance. In this work,and using the same methodology, we show that (2+1) dimensional DO represents a 1/2-spin relativistic fermion under the effect of a uniform and perpendicular external magnetic field; whereas in (1+1) dimensions DO reproduces a relativistic and electrically charged fermion interacting with a linear electric field. Additionally, we prove that DO does not have chiral invariance, independent of its dimensionality, due to the interaction potential which breaks explicitly the chiral symmetry $U(1)_R \times U(1)_L$ but it preserves the global gauge symmetry $U(1)$. | 翻訳日:2023-05-19 11:05:40 公開日:2020-06-19 |
| # 行列積状態を用いた量子インスピレーションK平均アルゴリズム Quantum inspired K-means algorithm using matrix product states ( http://arxiv.org/abs/2006.06164v2 ) ライセンス: Link先を確認 | Xiao Shi, Yun Shang, Chu Guo | (参考訳) 行列積状態は、1次元相互作用する量子多体系を研究する際に選択されるアルゴリズムとなり、指数関数的に大きい量子ヒルベルト空間の最も関連する部分を探索し、正確な解を見つけることができる。
本稿では,古典的データを行列積状態として表現された量子状態にまずマッピングし,拡大空間における変分行列積状態法を用いて損失関数を最小化する量子インスピレーションK平均クラスタリングアルゴリズムを提案する。
いくつかの機械学習データセットに適用することにより、このアルゴリズムの性能を実証し、このアルゴリズムが予測精度が高く、従来のK平均アルゴリズムと比較して局所最小値に閉じ込められる可能性が低いことを示す。 Matrix product state has become the algorithm of choice when studying one-dimensional interacting quantum many-body systems, which demonstrates to be able to explore the most relevant portion of the exponentially large quantum Hilbert space and find accurate solutions. Here we propose a quantum inspired K-means clustering algorithm which first maps the classical data into quantum states represented as matrix product states, and then minimize the loss function using the variational matrix product states method in the enlarged space. We demonstrate the performance of this algorithm by applying it to several commonly used machine learning datasets and show that this algorithm could reach higher prediction accuracies and that it is less likely to be trapped in local minima compared to the classical K-means algorithm. | 翻訳日:2023-05-16 00:54:12 公開日:2020-06-19 |
| # 2020年の英国ロックダウンサイバー物語:安全、安全、心配 2020 UK Lockdown Cyber Narratives: the Secure, the Insecure and the Worrying ( http://arxiv.org/abs/2006.06340v2 ) ライセンス: Link先を確認 | Karen Renaud, Paul van Schaik, Alastair Irons, Sara Wilford | (参考訳) 2020年3月23日、英国は致命的なパンデミックに直面して封鎖状態に入った。
一部は在宅勤務できなかったが、多くの組織はオンラインでの活動の移動を余儀なくされた。
ここでは、プライバシーとセキュリティの観点から、彼らが使用している技術について論じる。
また,危機時の不確実性と不安を悪化させたコミュニケーション障害についても言及する。
組織は、世界的なパンデミックが1つしかないさまざまな災害によって、活動のオンライン化を推進される可能性がある。
この論文では、このような事象に備えた緊急計画を組織が実施する必要性を強調します。
安全でない使用法やコミュニケーションの低さは、先進的なパンデミック計画の欠如の兆候です。
この論文は、組織が将来をより効果的に計画するのに役立つことを願っている。 On the 23rd March 2020, the UK entered a period of lockdown in the face of a deadly pandemic. While some were unable to work from home, many organisations were forced to move their activities online. Here, we discuss the technologies they used, from a privacy and security perspective. We also mention the communication failures that have exacerbated uncertainty and anxiety during the crisis. An organisation could be driven to move their activities online by a range of disasters, of which a global pandemic is only one. We seek, in this paper, to highlight the need for organisations to have contingency plans in place for this kind of eventuality. The insecure usages and poor communications we highlight are a symptom of a lack of advance pre-pandemic planning. We hope that this paper will help organisations to plan more effectively for the future. | 翻訳日:2023-05-16 00:37:58 公開日:2020-06-19 |
| # eurosys 2020オンラインカンファレンス - 経験と教訓 The EuroSys 2020 Online Conference: Experience and lessons learned ( http://arxiv.org/abs/2006.11068v1 ) ライセンス: Link先を確認 | Angelos Bilas, Dejan Kostic, Kostas Magoutis, Evangelos Markatos, Dushyanth Narayanan, Peter Pietzuch and Margo Seltzer | (参考訳) 第15回欧州コンピュータシステム会議(EuroSys'20)は2020年4月27-30日に仮想(オンライン)会議として開催された。
2020年4月28日から30日にかけては、2020年4月27日に5つのワークショップ(EdgeSys'20、EuroDW'20、EuroSec'20、PaPoC'20、SPMA'20)が開催された。
仮想(オンライン)カンファレンスを2020年4月上旬に開催する決定は、eusysコミュニティとの協議と潜在的な選択肢に関する内部議論を経て、最終的に組織に約3週間の猶予を与えた。
本稿では,eurosys'20を仮想(オンライン)カンファレンスとして組織するための選択,対処した課題,学んだ教訓について述べる。 The 15th European Conference on Computer Systems (EuroSys'20) was organized as a virtual (online) conference on April 27-30, 2020. The main EuroSys'20 track took place April 28-30, 2020, preceded by five workshops (EdgeSys'20, EuroDW'20, EuroSec'20, PaPoC'20, SPMA'20) on April 27, 2020. The decision to hold a virtual (online) conference was taken in early April 2020, after consultations with the EuroSys community and internal discussions about potential options, eventually allowing about three weeks for the organization. This paper describes the choices we made to organize EuroSys'20 as a virtual (online) conference, the challenges we addressed, and the lessons learned. | 翻訳日:2023-05-13 11:35:17 公開日:2020-06-19 |
| # 説明責任の原則について:スマートホームとサイバーセキュリティの課題 On the Principle of Accountability: Challenges for Smart Homes & Cybersecurity ( http://arxiv.org/abs/2006.11043v1 ) ライセンス: Link先を確認 | Lachlan Urquhart and Jiahong Chen | (参考訳) この章では、データ保護ガバナンスにおける説明責任原則とその役割を紹介します。
eu一般データ保護法の個人データ保護要件を考慮し、スマートホームにおけるサイバーセキュリティ管理の文脈における説明責任の意味について考察する。
この議論は、データ保護法における2つの重要な新しい発展の背景にある。
第一に、この法律はいわゆる家事免除を狭めるため、家庭に移行している。
同時に、家庭の居住者は、IoTデバイスベンダーとデータ収集の手段と目的を決定するために保持される可能性があるため、GDPRに準拠する法的責任を持つ可能性がある。
複雑な社会技術的空間として,説明責任要件と新たな国内データコントローラ(DDC)の能力との相互作用を考察する。
具体的には、スマートホームのサイバーセキュリティリスクを管理するためのエッジベースのセキュリティ分析の価値と限界を検討し、さまざまなプロトタイプとそれらの利用研究をレビューする。
また、家庭内における対人力のダイナミクス、例えば、デバイス制御、スマートホームにおけるプライバシーとセキュリティ管理に関する既存の社会的慣行、DDCがそのようなソリューションに頼る能力を阻害するユーザビリティの問題についても考察する。
我々はそれをふりかえって結論付ける
1)家庭における集合的セキュリティ管理の必要性
2) デバイスユーザ,アカウントホルダ,iotデバイス/ソフトウェア/ファームウェアベンダ,サードパーティ間のスマートホームにおける,ますます複雑な責務の分担。 This chapter introduces the Accountability Principle and its role in data protection governance. We focus on what accountability means in the context of cybersecurity management in smart homes, considering the EU General Data Protection Law requirements to secure personal data. This discussion sits against the backdrop of two key new developments in data protection law. Firstly, the law is moving into the home, due to narrowing of the so called household exemption. Concurrently, household occupants may now have legal responsibilities to comply with the GDPR, as they find themselves jointly responsible for compliance, as they are possibly held to determine the means and purposes of data collection with IoT device vendors. As a complex socio-technical space, we consider the interactions between accountability requirements and the competencies of this new class of domestic data controllers (DDCs). Specifically, we consider the value and limitations of edge-based security analytics to manage smart home cybersecurity risks, reviewing a range of prototypes and studies of their use. We also reflect on interpersonal power dynamics in the domestic setting e.g. device control; existing social practices around privacy and security management in smart homes; and usability issues that may hamper DDCs ability to rely on such solutions. We conclude by reflecting on 1) the need for collective security management in homes and 2) the increasingly complex divisions of responsibility in smart homes between device users, account holders, IoT device/software/firmware vendors, and third parties. | 翻訳日:2023-05-13 11:35:02 公開日:2020-06-19 |
| # パラメトリック増幅を用いた光力学系における光子遮断の強化 Enhanced photon blockade in an optomechanical system with parametric amplification ( http://arxiv.org/abs/2006.10992v1 ) ライセンス: Link先を確認 | Dong-Yang Wang, Cheng-Hua Bai, Xue Han, Shutian Liu, Shou Zhang, and Hong-Fu Wang | (参考訳) 光パラメトリック増幅(OPA)による標準光学系(OMS)において,単光および2光の遮断効果を著しく向上する手法を提案する。
このスキームは強い単一光子光学的カップリングに頼らず、多重光子励起を不完全に抑制する欠点を排除できる。
単一光子遮断機構を解析し, システムパラメータを最適化することにより, 単一光子励起の占有率の高い完全1PBが得られる。
さらに,2光子遮断効果 (2PB) が著しく増強されるだけでなく, OPAが存在する場合に発生する2PBの領域も拡大され, 2光子放射を最大化するための最適パラメータ条件が導出され, 高い光子励起が同時に強く抑制されることがわかった。 We propose a scheme to enhance the single- and two-photon blockade effect significantly in a standard optomechanical system (OMS) via optical parametric amplification (OPA). The scheme does not rely on the strong single-photon optomechanical coupling and can eliminate the disadvantages of suppressing multi-photon excitation incompletely. Through analyzing the single-photon blockade (1PB) mechanism and optimizing the system parameters, we obtain a perfect 1PB with a high occupancy probability of single-photon excitation, which means that a high quality and efficient single-photon source can be generated. Moreover, we find that not only the two-photon blockade (2PB) effect is significantly enhanced but also the region of 2PB occurring is widened when the OPA exists, where we also derive the optimal parameter condition to maximize the two-photon emission and the higher photon excitations are intensely suppressed at the same time. | 翻訳日:2023-05-13 11:33:51 公開日:2020-06-19 |
| # Tavis-Cummings結合光学系における光非相互応答と変換 Optical nonreciprocal response and conversion in a Tavis-Cummings coupling optomechanical system ( http://arxiv.org/abs/2006.10984v1 ) ライセンス: Link先を確認 | Yang Jiao, Cheng-Hua Bai, Dong-Yang Wang, Shou Zhang, and Hong-Fu Wang | (参考訳) 単一キャビティモードがフレキシブル膜の振動モードと2レベル量子エミッタの組込みアンサンブルと相互作用するTavis-Cummings結合光学系における光学的非相互応答と変換を実現する手法を提案する。
tavis-cummings相互作用の導入により、メカニカルモードとオプティカルモードの相とメカニカルモードとドーパントモードの相が相互に相関し、さらにそれらの関係を解析的に示すことができる。
システムパラメータ、特に2つの経路間の相対位相を最適化することで、最適な非相互応答を実現することができる。
周波数領域では、入力-出力関係に基づくシステムの伝送行列を解析的に導出し、量子入力信号の非相互応答に対するシステムパラメータの影響について検討する。
さらに、従来の光学系と比較して、Tavis-Cummings結合光学系は、光モード、メカニカルモード、ドーパントモードの間でよりリッチな非相互変換現象を示しており、今後、フォノン光子変換器とオプトメカニカルサーキュレータを新たに実現する方法を提供する。 We propose a scheme to realize optical nonreciprocal response and conversion in a Tavis-Cummings coupling optomechanical system, where a single cavity mode interacts with the vibrational mode of a flexible membrane with an embedded ensemble of two-level quantum emitters. Due to the introduction of the Tavis-Cummings interaction, we find that the phases between the mechanical mode and the optical mode, as well as between the mechanical mode and the dopant mode, are correlated with each other, and further give the analytical relationship between them. By optimizing the system parameters, especially the relative phase between two paths, the optimal nonreciprocal response can be achieved. Under the frequency domain, we derive the transmission matrix of the system analytically based on the input-output relation and study the influence of the system parameters on the nonreciprocal response of the quantum input signal. Moreover, compared with the conventional optomechanical systems, the Tavis-Cummings coupling optomechanical system exhibits richer nonreciprocal conversion phenomena among the optical mode, mechanical mode, and dopant mode, which provide a new applicable way of achieving the phonon-photon transducer and the optomechanical circulator in future practice. | 翻訳日:2023-05-13 11:32:56 公開日:2020-06-19 |
| # ポンプ変調による標準オプトメカニクス系における強い機械的スクイーズ Strong mechanical squeezing in a standard optomechanical system by pump modulation ( http://arxiv.org/abs/2006.10960v1 ) ライセンス: Link先を確認 | Cheng-Hua Bai, Dong-Yang Wang, Shou Zhang, Shutian Liu, and Hong-Fu Wang | (参考訳) ポンプレーザーの振幅変調に有益であり, 標準光力学系において, 単純かつ驚くほど効果的な機械スクイーズ方式を提案する。
メカニカル・ボゴリューボフモードを冷却するために単調駆動場に特定の種類の周期変調を導入するだけで、3dbを超える強力なメカニカルスクイージングは追加のテクニックを必要とせずに設計できる。
具体的には、スクイージングの量は、有効オメカニカルカップリングの桁数にのみ依存するのではなく、サイドバンド強度の比に強く依存していることが分かる。
メカニカルスクイーズを最大化するために, 定常状態における比を数値的に, 解析的に最適化した。
また,本方式で設計した機械式スクイージングは強い頑健性を有し,高い浴温で生存できる。
従来の2トンポンプ方式と比較して、この方式は外部制御レーザー源が少なく、他の量子系にも拡張可能であり、強いスクイーズ効果が得られる。 Being beneficial for the amplitude modulation of the pump laser, we propose a simple yet surprisingly effective mechanical squeezing scheme in a standard optomechanical system. By merely introducing a specific kind of periodic modulation into the single-tone driving field to cool down the mechanical Bogoliubov mode, the far beyond 3-dB strong mechanical squeezing can be engineered without requiring any additional techniques. Specifically, we find that the amount of squeezing is not simply dependent on the order of magnitude of the effective optomechanical coupling but strongly on the ratio of sideband strengths for it. To maximize the mechanical squeezing, we numerically and analytically optimize this ratio in the steady-state regime, respectively. The mechanical squeezing engineered in our scheme also has strong robustness and can survive at a high bath temperature. Compared with previous schemes based on the two-tone pump technique, our scheme involves fewer external control laser source and can be extended to other quantum systems to achieve strong squeezing effect. | 翻訳日:2023-05-13 11:32:32 公開日:2020-06-19 |
| # 非エルミチアンマイクロ共振器アレイにおけるロバスト界面状態レーザー Robust interface-state laser in non-Hermitian micro-resonator arrays ( http://arxiv.org/abs/2006.10943v1 ) ライセンス: Link先を確認 | Lu Qi, Guo-Li Wang, Shutian Liu, Shou Zhang, and Hong-Fu Wang | (参考訳) 2つの中間共振子共振非ヘルミタン共振器鎖間の界面のダイント化により類似した界面状態レーザーを実現するためのスキームを提案する。
その結果、2つの共振器鎖と中間共振器の結合を界面で導入した後、システムの光子が主に中間共振器近傍の3つの共振器に集まることが判明した。
特定の共振器に向かって集光する光子現象は、光子貯蔵装置やレーザー発生器さえも構築することが期待される。
この現象は分離した中間共振器と2種類の非エルミート皮膚効果の結合効果によって引き起こされる。
特にトポロジカルに自明な非エルミート共振器アレイにおける界面状態レーザーについて詳細に検討する。
任意の共振器が励起されたときに、中間共振器における光子の間欠拡散に伴うパルス界面状態レーザーを実現することができる。
また、位相的に自明な非エルミチアン共振器アレイのパルス界面状態レーザーは、トポロジーの保護ではなく、主に非相互結合によって引き起こされるオンサイト欠陥に免疫的であることも明らかにした。
本方式は,マイクロ共振器アレイにおける界面状態レーザーを有望で優れたプラットフォームを提供する。 We propose a scheme to achieve the analogous interface-state laser by dint of the interface between the two intermediate-resonator-coupled non-Hermitian resonator chains. We find that, after introducing the couplings between the two resonator chains and the intermediate resonator at the interface, the photons of the system mainly gather into the three resonators near the intermediate resonator. The phenomenon of the photon gathering towards the certain resonators is expected to construct the photon storage and even the laser generator. We reveal that the phenomenon is induced via the joint effect between the isolated intermediate resonator and two kinds of non-Hermitian skin effects. Specially, we investigate the interface-state laser in topologically trivial non-Hermitian resonator array in detail. We find that the pulsed interface-state laser can be achieved accompanying with the intermittent proliferation of the photons at the intermediate resonator when an arbitrary resonator is excited. Also, we reveal that the pulsed interface-state laser in the topologically trivial non-Hermitian resonator array is immune to the on-site defects in some cases, whose mechanism is mainly induced by the nonreciprocal couplings instead of the protection of topology. Our scheme provides a promising and excellent platform to investigate interface-state laser in the micro-resonator array. | 翻訳日:2023-05-13 11:31:57 公開日:2020-06-19 |
| # オーストリアのソーシャルメディアにおける「Dashboard of sentiment」と「Dashboard」 Dashboard of sentiment in Austrian social media during COVID-19 ( http://arxiv.org/abs/2006.11158v1 ) ライセンス: Link先を確認 | Max Pellert, Jana Lasser, Hannah Metzler and David Garcia | (参考訳) 新型コロナウイルス(COVID-19)パンデミックの間、オーストリア国民のオンライン感情表現をリアルタイムで追跡するために、3つの異なるデータソースからのデジタルトレースを用いて、感情動態の自己更新モニターを構築した。
これにより、意思決定者や関係者は、パンデミック時の対策に対する態度や、(精神的な)健康危機の早期発生などの問題を評価することができる。
私たちはWebスクレイピングとAPIアクセスを使って、ニュースプラットフォームであるderstandard.at、Twitter、学生向けのチャットプラットフォームからデータを取得する。
ワークフローの技術的な詳細を文書化し、異なるコンテキスト向けに同様のツールを構築することに興味のある他の研究者に資料を提供する。
テキストの自動解析により、中性ベースラインと比較して、COVID-19中の言語使用の変化を強調できる。
私たちは、その全体的な違いを可視化するために特別なワードクラウドを使用します。
時系列では、いくつかの出来事やメディアの報道に結びつく不安が急増している。
さらに、怒りの顕著な減少も見られます。
変更は、非常に長い期間(最大12週間)にわたって続きます。
これらのパターンについて議論し、それらを集団的感情の出現と結びつける。
当社のデータを示すインタラクティブダッシュボードは、http://www.mpellert.at/covid19_monitor_austria/でオンラインで利用できます。
私たちの作品はメディアの注目を集め、オーストリア国立図書館が収集したcovid-19に関するwebアーカイブの一部となっている。 To track online emotional expressions of the Austrian population close to real-time during the COVID-19 pandemic, we build a self-updating monitor of emotion dynamics using digital traces from three different data sources. This enables decision makers and the interested public to assess issues such as the attitude towards counter-measures taken during the pandemic and the possible emergence of a (mental) health crisis early on. We use web scraping and API access to retrieve data from the news platform derstandard.at, Twitter and a chat platform for students. We document the technical details of our workflow in order to provide materials for other researchers interested in building a similar tool for different contexts. Automated text analysis allows us to highlight changes of language use during COVID-19 in comparison to a neutral baseline. We use special word clouds to visualize that overall difference. Longitudinally, our time series show spikes in anxiety that can be linked to several events and media reporting. Additionally, we find a marked decrease in anger. The changes last for remarkably long periods of time (up to 12 weeks). We discuss these and more patterns and connect them to the emergence of collective emotions. The interactive dashboard showcasing our data is available online under http://www.mpellert.at/covid19_monitor_austria/. Our work has attracted media attention and is part of an web archive of resources on COVID-19 collected by the Austrian National Library. | 翻訳日:2023-05-13 11:23:03 公開日:2020-06-19 |
| # all you can stream:ビデオストリーミングの温室効果ガス強度に対するユーザー行動の役割を調査 All you can stream: Investigating the role of user behavior for greenhouse gas intensity of video streaming ( http://arxiv.org/abs/2006.11129v1 ) ライセンス: Link先を確認 | Paul Suski, Johanna Pohl and Vivian Frick | (参考訳) 情報通信技術部門は環境に影響を及ぼしていると伝えられている。
この分野では、ビデオストリーミングはCO2排出の主要な要因と認識されている。
ストリーミングをより持続可能なものにするためには、ユーザ側とプロバイダ側の両方で、環境的な要因を識別する必要がある。
したがって、ライフサイクルアセスメント(LCA)のような環境アセスメントは、単なる技術からユーザー決定や行動を含むものへとその視点を広げる必要がある。
しかし、ユーザ行動に関する定量的データ(ストリーミング時間、エンドデバイスの選択、解像度など)は、LCAに組み込むのが困難である場合が多い。
さらに、ストリーミングプラットフォームの設計やユーザのモチベーションといった、ユーザの行動に関する関連する決定要因を特定することは、環境への影響をパス可能なレベルに維持するストリーミングサービスの設計に役立ちます。
このような評価を行うためには,学際的な連携が必要である。
そこで,本調査ではLCAとオンライン調査(N=91,7日間連続評価)を併用した。
このデータセットに基づいて、オンラインビデオストリーミングの利用フェーズをモデル化した。
さらに, 社会デマトグラフィー, モチベーション, 文脈決定因子などの因子を測定した。
その結果,ビデオストリーミングのCO2強度はいくつかの要因に依存することがわかった。
気候の強さについては、スマートTVとスマートフォンをビデオストリーミングに選択する10の要因があることが示されている。
さらに,ユーザ側の総エネルギー需要を低減するために,プロバイダ側からいくつかの要因に取り組むことが可能であり,その1つは,解像度の低さを既定値として設定することである。 The information and communication technology sector reportedly has a relevant impact on the environment. Within this sector, video streaming has been identified as a major driver of CO2-emissions. To make streaming more sustainable, environmentally relevant factors must be identified on both the user and the provider side. Hence, environmental assessments, like life cycle assessments (LCA), need to broaden their perspective from a mere technological to one that includes user decisions and behavior. However, quantitative data on user behavior (e.g. streaming duration, choice of end device and resolution) are often lacking or difficult to integrate in LCA. Additionally, identifying relevant determinants of user behavior, such as the design of streaming platforms or user motivations, may help to design streaming services that keep environmental impact at a passable level. In order to carry out assessments in such a way, interdisciplinary collaboration is necessary. Therefore, this exploratory study combined LCA with an online survey (N= 91, 7 consecutive days of assessment). Based on this dataset the use phase of online video streaming was modeled. Additionally, factors such as sociodemographic, motivational and contextual determinants were measured. Results show that CO2-intensity of video streaming depends on several factors. It is shown that for climate intensity there is a factor 10 between choosing a smart TV and smartphone for video streaming. Furthermore, results show that some factors can be tackled from provider side to reduce overall energy demand at the user side; one of which is setting a low resolution as default. | 翻訳日:2023-05-13 11:22:33 公開日:2020-06-19 |
| # オープン教育資源からトピックを抽出する Extracting Topics from Open Educational Resources ( http://arxiv.org/abs/2006.11109v1 ) ライセンス: Link先を確認 | Mohammadreza Molavi, Mohammadreza Tavakoli, and G\'abor Kismih\'ok | (参考訳) 近年、グローバル教育の必要性の高まりを緩和する上で、オープン教育資源(oers)が重要視されている。
明らかに、OERは様々な状況において学習者を満足させる高い能力を持っている。
しかしながら、oerメタデータの低品質は、検索やレコメンデーションといったパーソナライズされたサービスが欠如している主な理由の1つです。
その結果、OERの適用性は制限されている。
それでも、カバーされたトピック(オブジェクト)に関するOERメタデータは、学習者が個々の学習目標に向けて効果的な学習経路を構築するために本質的に必要である。
そこで本稿では,OERトピック抽出手法をテキストマイニングに適用し,トピックの分散に関する高品質なOERメタデータを生成する,進行中のプロジェクトについて報告する。
これは次のとおりです
1)データサイエンス関連技術分野におけるCourseraとKhan Academyからの123の講義の収集
2)これらの技術に関連する既存の話題を抽出するために、収集資源に潜伏ディリクレ割当(LDA)を適用すること
3)特定のOERでカバーされるトピックの分布を定義する。
提案モデルを評価するために,Youtubeの教育資源のデータセットを用いて,対象トピックを手動で定義したトピックと比較し,データサイエンス分野の専門家3人の助けを借りた。
その結果,f1-scoreの79%のトピックを抽出した。 In recent years, Open Educational Resources (OERs) were earmarked as critical when mitigating the increasing need for education globally. Obviously, OERs have high-potential to satisfy learners in many different circumstances, as they are available in a wide range of contexts. However, the low-quality of OER metadata, in general, is one of the main reasons behind the lack of personalised services such as search and recommendation. As a result, the applicability of OERs remains limited. Nevertheless, OER metadata about covered topics (subjects) is essentially required by learners to build effective learning pathways towards their individual learning objectives. Therefore, in this paper, we report on a work in progress project proposing an OER topic extraction approach, applying text mining techniques, to generate high-quality OER metadata about topic distribution. This is done by: 1) collecting 123 lectures from Coursera and Khan Academy in the area of data science related skills, 2) applying Latent Dirichlet Allocation (LDA) on the collected resources in order to extract existing topics related to these skills, and 3) defining topic distributions covered by a particular OER. To evaluate our model, we used the data-set of educational resources from Youtube, and compared our topic distribution results with their manually defined target topics with the help of 3 experts in the area of data science. As a result, our model extracted topics with 79% of F1-score. | 翻訳日:2023-05-13 11:22:11 公開日:2020-06-19 |
| # 周波コンバータを用いた圧縮真空光のスペクトル特性とシュミットモード量の管理 Managing spectral properties and Schmidt mode content of squeezed vacuum light using sum-frequency converter ( http://arxiv.org/abs/2006.11093v1 ) ライセンス: Link先を確認 | Vladislav Sukharnikov, Polina Sharapova, Olga Tikhonova | (参考訳) スクイズド光をシードした量子光sfgゲートの周波数シュミットモードにおける特性について検討した。
圧縮光の特性とモード含量を広範囲に管理・操作する手法を開発した。
非古典的な性質の保存を伴う特定のシュミットモードのシャープ光をブロックし選択する可能性を示す。
ゲートの位相感度が顕著であることを示し、位相効果とゲート内のモード間の可変結合による出力光のスペクトル分布を管理する方法を示す。
ゲート内のモード間をスワップする効果が見つかる。
これにより、光子相関を損なうことなく一連のモードにおいて圧縮光を増強することができ、さらなる実験や新しい応用に重要である。 Capabilities of quantum optical SFG-gate seeded by squeezed light are investigated in the frame of frequency Schmidt modes. Methods to manage and manipulate extensively the properties and mode content of squeezed light are developed. Possibilities to block and select any certain Schmidt mode of squeezed light with conservation of non-classical properties are demonstrated. The significant phase sensitivity of the gate is shown and the ways to manage the spectral distribution of the output light due to the phase effects and variable coupling between modes in the gate are demonstrated. The effect of swapping between modes in the gate is found. It allows to enhance squeezed light in a set of modes without loss of photon correlations which is important for further experiments and new applications. | 翻訳日:2023-05-13 11:21:48 公開日:2020-06-19 |
| # fakecovid - 新型コロナウイルス(covid-19)のための多言語クロスドメインファクトチェックニュースデータセット FakeCovid -- A Multilingual Cross-domain Fact Check News Dataset for COVID-19 ( http://arxiv.org/abs/2006.11343v1 ) ライセンス: Link先を確認 | Gautam Kishore Shahi, Durgesh Nandini | (参考訳) 本稿では、2020年の04/01から2020年の15/05に収集された、5182件の事実チェック済みニュース記事からなる、最初の多言語クロスドメインデータセットを提案する。
我々は、PynterとSnopesから参照を得た後、92の異なるファクトチェックサイトからファクトチェック記事を収集した。
われわれは手動で注釈付き記事を11のカテゴリーに分類した。
データセットは105カ国から40言語で提供されている。
我々は,偽ニュースを検知し,偽ニュースの自動検出とそのクラスに結果を提示する分類器を開発した。
本モデルでは,F1スコア0.76を達成し,偽クラスやその他の事実チェック項目を検出する。
FakeCovidデータセットはGithubで公開されている。 In this paper, we present a first multilingual cross-domain dataset of 5182 fact-checked news articles for COVID-19, collected from 04/01/2020 to 15/05/2020. We have collected the fact-checked articles from 92 different fact-checking websites after obtaining references from Poynter and Snopes. We have manually annotated articles into 11 different categories of the fact-checked news according to their content. The dataset is in 40 languages from 105 countries. We have built a classifier to detect fake news and present results for the automatic fake news detection and its class. Our model achieves an F1 score of 0.76 to detect the false class and other fact check articles. The FakeCovid dataset is available at Github. | 翻訳日:2023-05-13 11:15:44 公開日:2020-06-19 |
| # 重力波が真空絡み合いに及ぼす影響 Gravitational waves affect vacuum entanglement ( http://arxiv.org/abs/2006.11301v1 ) ライセンス: Link先を確認 | Qidong Xu, Shadi Ali Ahmad, Alexander R. H. Smith | (参考訳) 絡み合い収穫プロトコルは、真空絡み合いを調べるための操作方法である。
このプロトコルは、Unruh-DeWitt検出器によってモデル化された2つの原子に依存しており、最初は無絡である。
これらの原子は局所的に場と相互作用し、絡み合う。
原子が空間的に分離されたままである場合、それらの間の絡み合いは、磁場から「ハーベスト」される絡み合いの結果である。
したがって、この絡み合いの定量化は、場の絡み合いが原子が相互作用する領域を横断しているかの代理となる。
このプロトコルを用いて、個々の慣性原子の遷移確率は重力波の存在によって影響を受けないが、2つの原子によって得られる絡み合いは重力波の周波数に敏感に依存し、検出器のエネルギーギャップが重力波の周波数に調整された場合に新しい共振効果を示す。
このことは、重力波が残した絡み合い符号がその特性を特徴づけるのに有用であり、重力波メモリ効果と重力波誘起デコヒーレンスを探索するのに有用である可能性を示唆している。 The entanglement harvesting protocol is an operational way to probe vacuum entanglement. This protocol relies on two atoms, modelled by Unruh-DeWitt detectors, that are initially unentangled. These atoms then interact locally with the field and become entangled. If the atoms remain spacelike separated, any entanglement between them is a result of entanglement that is `harvested' from the field. Thus, quantifying this entanglement serves as a proxy for how entangled the field is across the regions in which the atoms interacted. Using this protocol, it is demonstrated that while the transition probability of an individual inertial atom is unaffected by the presence of a gravitational wave, the entanglement harvested by two atoms depends sensitively on the frequency of the gravitational wave, exhibiting novel resonance effects when the energy gap of the detectors is tuned to the frequency of the gravitational wave. This suggests that the entanglement signature left by a gravitational wave may be useful in characterizing its properties, and potentially useful in exploring the gravitational-wave memory effect and gravitational-wave induced decoherence. | 翻訳日:2023-05-13 11:14:31 公開日:2020-06-19 |
| # コヒーレント非局在物質による絡み合い収穫 Entanglement harvesting with coherently delocalized matter ( http://arxiv.org/abs/2006.11291v1 ) ライセンス: Link先を確認 | Nadine Stritzelberger, Laura J. Henderson, Valentina Baccetti, Nicolas C. Menicucci, and Achim Kempf | (参考訳) 我々は、質量自由度中心が量子非局在化され、相対論的量子場に結合する原子、イオン、分子などの物質系の絡み合いの収穫を研究した。
我々は, 一般化されたUnruh-deWitt検出器モデルを用いて, 2つの非局在化検出器系の質量波関数の量子中心のコヒーレント拡散が, それぞれの量子場との相互作用によって互いに絡み合う能力に与える影響を考察した。
質量中心が極端に局所化された超大質量検出器では,古典的質量中心の自由度を持つ点状unruh-dewitt検出器の絡み合い収穫の結果を回収する。
エンタングルメント収穫は検出器の質量非局在化の初期中心において抑制されている。
さらに、原子軌道による原子の有限サイズをモデル化するために一般的に使用される空間スミアリングプロファイルは、質量非局在化のモデル中心には適していない。
最後に,コヒーレント非局在検出器について,真空中における絡み合い収穫と媒体中の絡み合い収穫を比較した。
光の真空速度よりも波動伝播速度がはるかに小さい媒体では,絡み合いの収穫が著しく抑制されることがわかった。 We study entanglement harvesting for matter systems such as atoms, ions or molecules, whose center of mass degrees of freedom are quantum delocalized and which couple to a relativistic quantum field. We employ a generalized Unruh-deWitt detector model for the light-matter interaction, and we investigate how the coherent spreading of the quantum center of mass wave function of two delocalized detector systems impacts their ability to become entangled with one another, via their respective interaction with a quantum field. For very massive detectors with initially highly localized centers of mass, we recover the results of entanglement harvesting for pointlike Unruh-deWitt detectors with classical center of mass degrees of freedom. We find that entanglement harvesting is Gaussian suppressed in the initial center of mass delocalization of the detectors. We further find that spatial smearing profiles, which are commonly employed to model the finite size of atoms due to their atomic orbitals, are not suited to model center of mass delocalization. Finally, for coherently delocalized detectors, we compare entanglement harvesting in the vacuum to entanglement harvesting in media. We find that entanglement harvesting is significantly suppressed in media in which the wave propagation speed is much smaller than the vacuum speed of light. | 翻訳日:2023-05-13 11:14:11 公開日:2020-06-19 |
| # 疫病における意思決定のためのリスクインクリメントの数え方 Counting Risk Increments to Make Decisions During an Epidemic ( http://arxiv.org/abs/2006.11244v1 ) ライセンス: Link先を確認 | Lucien Hardy | (参考訳) 私は、新型コロナウイルス(COVID-19)などのパンデミックやパンデミックにおいて、人々が自分の安全管理に参加することができるスマートフォンアプリを提案します。事前に、ある会場(カフェ、ジム、職場、公園など)を訪れて、そのリスクを把握し、さらには、特定の日や週にそうしたリスクが蓄積されることを追跡できます。
このアイデアはアプリのユーザーにカウントポイントとして提示することができる。
1点は感染の一定の確率、$p_\text{point}$を表す。
すると、このアプリはカロリー計数アプリと同じようなやり方で機能する(感染の確率を数える代わりにカロリー計数する)。
政府は、その目的に従って、各ユーザーが利用可能な日(または週)の推奨ポイント数を最大に設定することができる(病気をコントロール下に置き、必要な労働者を働かせ、脆弱な個人を保護することができる)。
これは、提案された他の「リーバー」と共に、政府が徐々に正規化へ移行することを可能にすると仮定されている。
箱の間を配線する回路フレームワークについて論じる。
この枠組みでは、ワイヤーは感染源、すなわち個人と会場自体(会場に残された病原体の堆積を通して)を表す。
ボックスはこれらのソースの相互作用を表す(個人が会場を訪れたとき)。
この回路の枠組みは
(i)訪問会場のポイントコストの算定
(ii)確率的接触追跡。
ここで提案されているポイントシステムは、ユーザーが事前に意思決定に参加することができる機能を追加することで、既存の連絡先追跡アプリを補完することができる。 I propose a smartphone app that will allow people to participate in the management of their own safety during an epidemic or pandemic such as COVID-19 by enabling them to view, in advance, the risks they would take if they visit some given venue (a cafe, the gym, the workplace, the park,...) and, furthermore, track the accumulation of such risks during the course of any given day or week. This idea can be presented to users of the app as counting points. One point represents some constant probability, $p_\text{point}$, of infection. Then the app would work in a similar way to a calorie counting app (instead of counting calories we count probability increments of being infected). Government could set a maximum recommended number of daily (or weekly) points available to each user in accord with its objectives (bringing the disease under control, allowing essential workers to work, protecting vulnerable individuals, ...). It is posited that this, along with other proposed "levers" would allow government to manage a gradual transition to normalcy. I discuss a circuit framework with wires running between boxes. In this framework the wires represent possible sources of infection, namely individuals and the venues themselves (through deposits of pathogens left at the venue). The boxes represent interactions of these sources (when individuals visit a venue). This circuit framework allows (i) calculation of points cost for visiting venues and (ii) probabilistic contact tracing. The points systems proposed here could complement existing contact tracing apps by adding functionality to permit users to participate in decision making up front. | 翻訳日:2023-05-13 11:13:48 公開日:2020-06-19 |
| # 対称性に着想を得たヒルベルト空間分割に基づく量子化学計算のための浅回路変動量子固有解法 Shallow-circuit variational quantum eigensolver based on symmetry-inspired Hilbert space partitioning for quantum chemical calculations ( http://arxiv.org/abs/2006.11213v1 ) ライセンス: Link先を確認 | Feng Zhang, Niladri Gomes, Noah F. Berthusen, Peter P. Orth, Cai-Zhuang Wang, Kai-Ming Ho, Yong-Xin Yao | (参考訳) 資源フレンドリーな量子アルゴリズムの開発は、ノイズの多い中間規模量子コンピューティングにとって非常に望ましい。
ユニタリ結合型クラスター ansatz を用いた変分量子固有解法 (vqe) に基づき, 分子系の点群対称性によりヒルベルト空間の分割が可能となり, 部分空間内の変分探索を閉じることで変分作用素の数が大幅に減少することを示した。
さらに,各励起演算子に全ての部分項を含める代わりに,各分子の所要の精度に達するために1項の表現が十分であることが判明し,量子回路のさらなる短縮が実現された。
これらの戦略により、無ノイズ量子シミュレータ上のvqe計算は、uccsd ansatzで得られる数 mev以内に、$\mathrm{h}_4$ square, $\mathrm{h}_4$ chain, $\mathrm{h}_6$ヘキサゴン分子のエネルギーを達成する。
さらに,励起演算子をランク付けするための効率的な"score"パラメータを導入し,より大きなエネルギー削減を引き起こす演算子を先に適用できるようにした。
例えば、$\mathrm{h}_4$ square と $\mathrm{h}_4$ chain を例にとると、最初の数個の変分演算子は化学精度でエネルギーを得られるが、追加の演算子は累積ノイズが変分 ansatz の拡張の利得を上回っているため、エネルギーを改善できないことが、ノイズ量子シミュレータ上で実証された。 Development of resource-friendly quantum algorithms remains highly desirable for noisy intermediate-scale quantum computing. Based on the variational quantum eigensolver (VQE) with unitary coupled cluster ansatz, we demonstrate that partitioning of the Hilbert space made possible by the point group symmetry of the molecular systems greatly reduces the number of variational operators by confining the variational search within a subspace. In addition, we found that instead of including all subterms for each excitation operator, a single-term representation suffices to reach required accuracy for various molecules tested, resulting in an additional shortening of the quantum circuit. With these strategies, VQE calculations on a noiseless quantum simulator achieve energies within a few meVs of those obtained with the full UCCSD ansatz for $\mathrm{H}_4$ square, $\mathrm{H}_4$ chain and $\mathrm{H}_6$ hexagon molecules; while the number of controlled-NOT (CNOT) gates, a measure of the quantum-circuit depth, is reduced by a factor of as large as 35. Furthermore, we introduced an efficient "score" parameter to rank the excitation operators, so that the operators causing larger energy reduction can be applied first. Using $\mathrm{H}_4$ square and $\mathrm{H}_4$ chain as examples, We demonstrated on noisy quantum simulators that the first few variational operators can bring the energy within the chemical accuracy, while additional operators do not improve the energy since the accumulative noise outweighs the gain from the expansion of the variational ansatz. | 翻訳日:2023-05-13 11:13:22 公開日:2020-06-19 |
| # 相互関連法による量子計算化学の精度向上 Improving the accuracy of quantum computational chemistry using the transcorrelated method ( http://arxiv.org/abs/2006.11181v1 ) ライセンス: Link先を確認 | Sam McArdle, David P. Tew | (参考訳) 波動関数における電子相関の正確な処理は、古典化学と量子化学の両方にとって重要な課題である。
古典的手法は、波動関数に電子間距離を組み込むことによって、この相関を明示的に考慮している。
トランスコリックス法は、この明示的な相関関係を波動関数から変換された非エルミート・ハミルトニアンに伝達し、その右固有ベクトルは元のハミルトニアンよりも容易に取得できる。
本研究では,量子コンピュータ上での電子構造計算から正確なエネルギーを得るために必要な資源を削減できることを示す。
量子アルゴリズムを用いた非エルミート・ハミルトニアンによる虚時発展の限界を克服する。 Accurately treating electron correlation in the wavefunction is a key challenge for both classical and quantum computational chemistry. Classical methods have been developed which explicitly account for this correlation by incorporating inter-electronic distances into the wavefunction. The transcorrelated method transfers this explicit correlation from the wavefunction to a transformed, non-Hermitian Hamiltonian, whose right-hand eigenvectors become easier to obtain than those of the original Hamiltonian. In this work, we show that the transcorrelated method can reduce the resources required to obtain accurate energies from electronic structure calculations on quantum computers. We overcome the limitations introduced by the non-Hermitian Hamiltonian by using quantum algorithms for imaginary time evolution. | 翻訳日:2023-05-13 11:12:20 公開日:2020-06-19 |
| # 人工知能と対外政策非効率の影響による世界経済の揺らぎ Turbulence on the Global Economy influenced by Artificial Intelligence and Foreign Policy Inefficiencies ( http://arxiv.org/abs/2006.16911v1 ) ライセンス: Link先を確認 | Kwadwo Osei Bonsu, Jie Song | (参考訳) データと情報は新たな石油だと言われている。
一つはデータを扱う人物で、世界経済の新たな未来を担っている。
複雑なアルゴリズムとインテリジェンスベースのフィルタプログラムは、特定の目的を達成するために膨大な量のデータを管理、保存、処理、操作するために利用される。
本稿では,地球政治の影響,グローバル経済,労働市場の将来に照らして,人工知能と国際政策実践への影響の橋渡しを探究する。
我々は、人工知能によって引き起こされる労働市場の歪みは、産業界におけるaiの展開に関する協力的な国際外交政策によって軽減できると仮定する。
そこで,我々は,「AIは真の目に見えない手になるのか?」といった質問をしながら,AIに基づく外交政策と実施の重要事項の処分を提案する。 It is said that Data and Information are the new oil. One, who handles the data, handles the emerging future of the global economy. Complex algorithms and intelligence-based filter programs are utilized to manage, store, handle and maneuver vast amounts of data for the fulfillment of specific purposes. This paper seeks to find the bridge between artificial intelligence and its impact on the international policy implementation in the light of geopolitical influence, global economy and the future of labor markets. We hypothesize that the distortion in the labor markets caused by artificial intelligence can be mitigated by a collaborative international foreign policy on the deployment of AI in the industrial circles. We, in this paper, then proceed to propose a disposition for the essentials of AI-based foreign policy and implementation, while asking questions such as 'could AI become the real Invisible Hand discussed by economists?'. | 翻訳日:2023-05-13 09:15:37 公開日:2020-06-19 |
| # 平均場レーザー方程式の基礎的性質 Basic properties of a mean field laser equation ( http://arxiv.org/abs/2006.13001v1 ) ライセンス: Link先を確認 | Franco Fagnola, Carlos M. Mora | (参考訳) 平均場近似の下でレーザーを記述する非線形量子マスター方程式について検討する。
量子系は、単一のモードの光学キャビティと、貯水池と相互作用する2つのレベル原子によって形成される。
すなわち、検討中の非線形作用素方程式に対する正則解の存在と一意性を確立し、また平均場確率シュル=オンディガー方程式を用いてこの解の確率論的表現を得る。
この目的のために,gorini-kossakowski-sudarshan-lindblad形式における非自律線形量子マスター方程式の正則解を求め,gorini-kossakowski-sudarshan-lindblad形式における非自律線形共役量子マスター方程式の解の一意性を証明する。
さらに, 平均場レーザー式からmaxwell-bloch方程式を厳密に求めた。 We study the non-linear quantum master equation describing a laser under the mean field approximation. The quantum system is formed by a single mode optical cavity and two level atoms, which interact with reservoirs. Namely, we establish the existence and uniqueness of the regular solution to the non-linear operator equation under consideration, as well as we get a probabilistic representation for this solution in terms of a mean field stochastic Schr\"ondiger equation. To this end, we find a regular solution for the non-autonomous linear quantum master equation in Gorini-Kossakowski-Sudarshan-Lindblad form, and we prove the uniqueness of the solution to the non-autonomous linear adjoint quantum master equation in Gorini-Kossakowski-Sudarshan-Lindblad form. Moreover, we obtain rigorously the Maxwell-Bloch equations from the mean field laser equation. | 翻訳日:2023-05-13 09:15:24 公開日:2020-06-19 |
| # ダウン変換フィールドモードのフォトン統計がポンプフィールドモードのフォトン統計量に及ぼす影響 Dependence of the photon statistics of down-converted field-modes on the photon statistics of pump field-mode ( http://arxiv.org/abs/2006.12271v1 ) ライセンス: Link先を確認 | Nilakantha Meher and Anand K. Jha | (参考訳) 光子統計を研究するためのゼロ時間遅延2次相関関数を用いて、パラメトリックダウンコンバージョン(PDC)プロセスによって生成されたフィールドモードの光子統計が、ポンプフィールドモードの光子統計に依存するかを検討する。
多モードPDCプロセスと単モードPDCプロセスの両方に対して、ダウンコンバージョンフィールドモードのゼロ時間遅延2階相関関数の一般式を導出する。
我々はさらに,これらの表現を弱いダウンコンバージョン限界で研究する。
ポンプフォトンが2つの異なるフィールドモードに分裂する2光子2モードpdcプロセスでは、個々のダウン変換フィールドモードのゼロ時間遅延2次相関関数はポンプフィールドモードの2倍である。
さらに、n$-photon $n$-modedown-conversionプロセスでは、ポンプフォトンがn$フォトンに分裂し、n$の異なるフィールドモードに分解される場合、個々のダウン変換フィールドモードの2次相関関数は、ポンプフィールドモードの2倍の2^{(n-1)である。
しかし、マルチモードpdcプロセスとは対照的に、ポンプ光子が2つ以上の光子に1つのモードに分裂するシングルモードpdcプロセスでは、下方変換されたフィールドモードのゼロ時間遅延2次相関関数は、弱い下方変換限界におけるポンプのそれと比例しない。
それにもかかわらず、ポンプ場モードの平均光子数に逆比例することがわかった。 Using the zero time-delay second-order correlation function for studying the photon statistics, we investigate how the photon statistics of the field-modes generated by parametric down-conversion (PDC) process depends on the photon statistics of the pump field-mode. We derive general expressions for the zero time-delay second-order correlation function of the down-converted field-modes for both multi-mode and single-mode PDC processes. We further study these expressions in the weak down-conversion limit. We show that for a two-photon two-mode PDC process, in which a pump photon splits into two photons into two separate field-modes, the zero time-delay second-order correlation function of the individual down-converted field-modes is equal to twice that of the pump field-mode. Furthermore, for an $n$-photon $n$-mode down-conversion process, in which a pump photon splits into $n$ photons into $n$ separate field-modes, the zero time-delay second-order correlation function of the individual down-converted field-modes is equal to $2^{(n-1)}$ times that of the pump field-mode. However, in contrast to the multi-mode PDC processes, for a single-mode PDC process, in which a pump photons splits into two or more photons into a single mode, the zero time-delay second-order correlation function of the down-converted field-mode is not proportional to that of the pump in the weak down-conversion limit. Nevertheless, we find it to be inversely proportional to the average number of photons in the pump field-mode. | 翻訳日:2023-05-13 09:14:40 公開日:2020-06-19 |
| # 最小エントロピー推定を用いたパリティベース偏光量子乱数生成 Parity-based, bias-free optical quantum random number generation with min-entropy estimation ( http://arxiv.org/abs/2006.11425v1 ) ライセンス: Link先を確認 | Mathew R. Coleman, Kaylin G. Ingalls, John T. Kavulich, Sawyer J. Kemmerly, Nicolas C. Salinas, Efrain Venegas Ramirez, Maximilian Schlosshauer | (参考訳) 偏光交絡状態における偏光測定により生成した光子数のパリティからランダムビットの列を生成する。
得られたシーケンスはバイアスフリーで、統計ランダム性テストのNISTバッテリで適用可能なテストに合格し、実験的なキャリブレーション段階や出力の後処理を必要とせず、ボレル正規であることが示される。
クレーター・ホルン・シモニー・ホルト不等式違反の測定の過程で光子数が生成されるので、光子統計の非古典的性質を同時に検証し、ビット発生源のミンエントロピーに対する下界を推定することができる。
実験でのビット生成速度は約13ビット/秒です。 We describe the generation of sequences of random bits from the parity of photon counts produced by polarization measurements on a polarization-entangled state. The resulting sequences are bias free, pass the applicable tests in the NIST battery of statistical randomness tests, and are shown to be Borel normal, without the need for experimental calibration stages or postprocessing of the output. Because the photon counts are produced in the course of a measurement of the violation of the Clauser-Horne-Shimony-Holt inequality, we are able to concurrently verify the nonclassical nature of the photon statistics and estimate a lower bound on the min-entropy of the bit-generating source. The rate of bit production in our experiment is around 13 bits/s. | 翻訳日:2023-05-13 09:14:07 公開日:2020-06-19 |
| # 多部スピンネットワークのサブスペース制御可能性 Subspace controllability of multi-partite spin networks ( http://arxiv.org/abs/2006.11402v1 ) ライセンス: Link先を確認 | Francesca Albertini and Domenico D'Alessandro | (参考訳) 外部電磁界を介して制御されるスピン1/2粒子のネットワークにおいて、各スピンのジャイロ磁気比はスピンと外部の制御磁場との相互作用を特徴づけるパラメータである。
マルチパーティタイトネットワークは、スピンがジャイロ磁性比に応じて部分集合に分割され、ある集合のスピンが他の集合の全てのスピンと同じように相互作用する。
この種の系における対称性の存在から、ヒルベルト状態空間は力学の不変部分空間に分解される。
部分空間制御可能性 (subspace controllability) は、すべてのユニタリ進化がそれらの部分空間のダイナミクスによって生成できるときに検証される。
我々は、多部量子スピンネットワークに対する部分空間制御可能性のグラフ理論的条件の観点から、正確に特徴づける。
これは以前の結果を拡張し、統一する。 In a network of spin 1/2 particles, controlled through an external electro-magnetic field, the gyromagnetic ratio of each spin is a parameter that characterizes the interaction of the spin with the external control field. Multipartite networks are such that the spins are divided into subsets according to their gyromagnetic ratio and spins in one set interact in the same way with all spins in another set. Due to the presence of symmetries in this type of systems, the underlying Hilbert state space splits into invariant subspaces for the dynamics. Subspace controllability is verified if every unitary evolution can be generated by the dynamics on these subspaces. We give an exact characterization, in term of graph theoretic conditions, of subspace controllability for multipartite quantum spin networks. This extends and unifies previous results. | 翻訳日:2023-05-13 09:13:54 公開日:2020-06-19 |
| # 接触追跡アプリケーションにおける信頼と透明性 Trust and Transparency in Contact Tracing Applications ( http://arxiv.org/abs/2006.11356v1 ) ライセンス: Link先を確認 | Stacy Hobson, Michael Hind, Aleksandra Mojsilovic, Kush R. Varshney | (参考訳) 世界的な新型コロナウイルス(covid-19)の流行は、感染拡大の継続を管理・緩和する取り組みに焦点を合わせている。
これらの取り組みの1つは、感染した人への暴露を通じて病気を発症するリスクがある人を特定するために接触追跡を使用することである。
歴史的に、接触追跡は主に手動で行われているが、新型コロナウイルスの原因となるウイルスの急激な拡散を考えると、人間の接触追跡を補完するデジタル接触追跡ソリューションの開発と利用に大きな関心が寄せられている。
これらのアプリケーションによる機密性の高い個人情報の収集と利用は、これらのソリューションに有利な関心を持つステークホルダーグループによる多くの懸念につながっている。
我々は,デジタル接触追跡ソリューションを詳細に検討し,これらのアプリケーションの透明性を提供し,信頼性をサポートするために,透過的な報告機構であるFactSheetsを提案する。
また、コンタクトトレースアプリケーションドメインに特有の質問を含むファクトシートテンプレートの例も提供します。 The global outbreak of COVID-19 has led to focus on efforts to manage and mitigate the continued spread of the disease. One of these efforts include the use of contact tracing to identify people who are at-risk of developing the disease through exposure to an infected person. Historically, contact tracing has been primarily manual but given the exponential spread of the virus that causes COVID-19, there has been significant interest in the development and use of digital contact tracing solutions to supplement the work of human contact tracers. The collection and use of sensitive personal details by these applications has led to a number of concerns by the stakeholder groups with a vested interest in these solutions. We explore digital contact tracing solutions in detail and propose the use of a transparent reporting mechanism, FactSheets, to provide transparency of and support trust in these applications. We also provide an example FactSheet template with questions that are specific to the contact tracing application domain. | 翻訳日:2023-05-13 09:12:50 公開日:2020-06-19 |
| # Caveat Venditor:USBドライブの所有者 Caveat Venditor, Used USB Drive Owner ( http://arxiv.org/abs/2006.11354v1 ) ライセンス: Link先を確認 | James Conacher, Karen Renaud, Jacques Ophoff | (参考訳) USBドライブはファイルを転送しバックアップするための素晴らしい方法です。
問題は、それらが簡単に失われることであり、ユーザはそれらをセキュアに、あるいは適切に消去する方法を理解していないことだ。
プライベートで機密性の高い情報を格納するために使用される場合、これはユーザーが知らないリスクを構成する。
使用済みのusbドライブをオンラインで販売している人たちを考えてみてください。
これは、売り手が未知の買い手にドライブを譲る前に個人情報を消去する方法を知っているかどうか、そして売り手が未使用の買い手のデバイスを侵害するためにこれらのドライブを使用しているかどうかなど、いくつかの興味深い疑問を提起する。
政府は実際には、使用済みのモバイルメディアのリスクについてアドバイスを出しているが、このアドバイスが一般大衆に受け入れられているかどうかはまだわからない。
状況を評価するため、使用済みのUSBドライブのサンプルがeBayの売り手から購入され、まずドライブの中身を判断した。
これは、上記の質問に答えるために、実際のセキュリティ関連の行動の指標として機能する。
法医学的な分析により、多くのドライブには大量の個人情報と機密情報が残っていたが、悪意のあるソフトウェアの痕跡はなかった。
一般大衆を啓蒙するより効果的な方法が必要であり、中古メディアを通じて個人情報が不当にリークされることはない。 USB drives are a great way of transferring and backing up files. The problem is that they are easily lost, and users do not understand how to secure or properly erase them. When used to store private and sensitive information, this constitutes a risk that users may be unaware of. Consider that people sell used USB drives online -- presumably either their own or drives others have lost. This raises some interesting questions, such as whether sellers know how to ensure that private data is erased before they relinquish the drive to an unknown buyer, and whether sellers use these drives in an attempt to compromise an unwary buyer's device. Governments do indeed issue advice about the risks of used mobile media, but we do not yet know whether this advice is reaching, and being heeded by, the general public. To assess the situation, a sample of used USB drives were purchased from eBay sellers to determine, first hand, what was on the drives. This acts as an indicator of actual security-related behaviours to answer the questions posed above. Using forensic analysis, it was found that a great deal of private and sensitive information remained on many of the drives, but there was no trace of malicious software. More effective ways of enlightening the public are needed, so that private data is not unwittingly leaked via sold used media. | 翻訳日:2023-05-13 09:12:34 公開日:2020-06-19 |
| # 超並列量子化学密度行列再正規化群法 Massively parallel quantum chemical density matrix renormalization group method ( http://arxiv.org/abs/2001.04890v2 ) ライセンス: Link先を確認 | Ji\v{r}\'i Brabec, Jan Brandejs, Karol Kowalski, Sotiris Xantheas, \"Ors Legeza, and Libor Veis | (参考訳) 本稿では,量子化学密度行列再正規化群(QC-DMRG)計算にスーパーコンピュータプラットフォームを利用した最初の試みについて述べる。
我々は,演算子と対称性セクターの並列性を組み合わせた社内MPIグローバルメモリライブラリに基づく並列方式を開発し,QC-DMRG計算の典型的な候補である3つの異なる分子上で性能試験を行った。
最も大きな計算では、76軌道の111個の電子と6000に等しい結合次元からなる活性空間を持つ窒素化物FeMo共ファクタークラスタが、我々の並列アプローチは、およそ2000個のCPUコアまでスケールする。 We present, to the best of our knowlegde, the first attempt to exploit the supercomputer platform for quantum chemical density matrix renormalization group (QC-DMRG) calculations. We have developed the parallel scheme based on the in-house MPI global memory library, which combines operator and symmetry sector parallelisms, and tested its performance on three different molecules, all typical candidates for QC-DMRG calculations. In case of the largest calculation, which is the nitrogenase FeMo cofactor cluster with the active space comprising 113 electrons in 76 orbitals and bond dimension equal to 6000, our parallel approach scales up to approximately 2000 CPU cores. | 翻訳日:2023-01-11 13:54:47 公開日:2020-06-19 |
| # 深層ニューラルネットワークを正しい科学的な理由から正しいものにするには Making deep neural networks right for the right scientific reasons by interacting with their explanations ( http://arxiv.org/abs/2001.05371v3 ) ライセンス: Link先を確認 | Patrick Schramowski, Wolfgang Stammer, Stefano Teso, Anna Brugger, Xiaoting Shao, Hans-Georg Luigs, Anne-Katrin Mahlein, Kristian Kersting | (参考訳) ディープニューラルネットワークは多くの実世界のアプリケーションで優れた性能を示している。
残念ながら、“クレバーハンズ(Clever Hans)”のような振る舞い - データセット内のコンバウンド要因の活用 – は、高いパフォーマンスを実現するためのものだ。
本稿では,「説明的対話型学習(xil)」の新たな学習設定を紹介し,植物表現型研究タスクにおけるその利点について述べる。
xilは科学者をトレーニングループに追加し、説明に対するフィードバックを提供することで、オリジナルのモデルをインタラクティブに修正する。
我々の実験結果によると、XILは機械学習におけるClever Hansの瞬間を避けるのに役立ち、基盤となるモデルへの信頼を奨励(あるいは妨げ)する。 Deep neural networks have shown excellent performances in many real-world applications. Unfortunately, they may show "Clever Hans"-like behavior---making use of confounding factors within datasets---to achieve high performance. In this work, we introduce the novel learning setting of "explanatory interactive learning" (XIL) and illustrate its benefits on a plant phenotyping research task. XIL adds the scientist into the training loop such that she interactively revises the original model via providing feedback on its explanations. Our experimental results demonstrate that XIL can help avoiding Clever Hans moments in machine learning and encourages (or discourages, if appropriate) trust into the underlying model. | 翻訳日:2023-01-11 05:28:43 公開日:2020-06-19 |
| # 長期映像・神経記録における行動マイニングによる自然的手の動きの調査 Investigating naturalistic hand movements by behavior mining in long-term video and neural recordings ( http://arxiv.org/abs/2001.08349v2 ) ライセンス: Link先を確認 | Satpreet H. Singh, Steven M. Peterson, Rajesh P. N. Rao, Bingni W. Brunton | (参考訳) 脳の記録と人工知能の最近の技術進歩は、従来の制御実験を超えた神経科学の新しいパラダイムを推進している。
自然主義神経科学は、反復的な試行に焦点をあてるのではなく、制約のない環境での自然行動に基づく神経過程を研究する。
しかし,事前実験設計を欠いた非構造化データの解析は,特にマルチモーダル・長期データの場合,大きな課題である。
本稿では,長期的・自然主義的脳電図(ECoG)と自然主義的行動映像データを同時に解析するための自動アプローチについて述べる。
長期録音の分析には行動優先のアプローチを採用する。
コンピュータビジョン,離散潜在変数モデリング,および行動ビデオデータに基づく文字列パターンマッチングを組み合わせることで,自然発生のヒト上肢運動イベントを発見・注釈する。
本研究は,被験者12名を対象に7～9日間に収集したデータに対して実施したアプローチの結果を示す。
我々のパイプラインは、行動ビデオで自然主義的な人間の上肢運動イベントを4万件以上発見し、注釈付けします。
同時に記録された脳データの解析により、従来の制御された実験から得られた発見を裏付ける運動の神経信号が明らかになった。
動作開始検出タスクのためのデコーダを試作し、脳-コンピュータインターフェースアプリケーションのためのトレーニングデータのソースとしてパイプラインの有効性を実証する。
我々の研究は、自然主義的人間の行動を研究する上で、ユニークなデータ分析の課題に対処し、ECoG以外の神経記録に一般化する手法に貢献する。
キュレートされたデータセットを公開し、これまで利用できなかったスケールで、自然主義的ニューラルネットワークと行動変数を研究するためのリソースを提供します。 Recent technological advances in brain recording and artificial intelligence are propelling a new paradigm in neuroscience beyond the traditional controlled experiment. Rather than focusing on cued, repeated trials, naturalistic neuroscience studies neural processes underlying spontaneous behaviors performed in unconstrained settings. However, analyzing such unstructured data lacking a priori experimental design remains a significant challenge, especially when the data is multi-modal and long-term. Here we describe an automated approach for analyzing simultaneously recorded long-term, naturalistic electrocorticography (ECoG) and naturalistic behavior video data. We take a behavior-first approach to analyzing the long-term recordings. Using a combination of computer vision, discrete latent-variable modeling, and string pattern-matching on the behavioral video data, we find and annotate spontaneous human upper-limb movement events. We show results from our approach applied to data collected for 12 human subjects over 7--9 days for each subject. Our pipeline discovers and annotates over 40,000 instances of naturalistic human upper-limb movement events in the behavioral videos. Analysis of the simultaneously recorded brain data reveals neural signatures of movement that corroborate prior findings from traditional controlled experiments. We also prototype a decoder for a movement initiation detection task to demonstrate the efficacy of our pipeline as a source of training data for brain-computer interfacing applications. Our work addresses the unique data analysis challenges in studying naturalistic human behaviors, and contributes methods that may generalize to other neural recording modalities beyond ECoG. We publicly release our curated dataset, providing a resource to study naturalistic neural and behavioral variability at a scale not previously available. | 翻訳日:2023-01-07 13:31:22 公開日:2020-06-19 |
| # 条件付き相互情報による一般化の推論 Reasoning About Generalization via Conditional Mutual Information ( http://arxiv.org/abs/2001.09122v3 ) ライセンス: Link先を確認 | Thomas Steinke and Lydia Zakynthinou | (参考訳) 機械学習アルゴリズムの一般化特性を研究するための情報理論フレームワークを提供する。
我々のフレームワークは、一様収束境界や適応データ解析の最近の手法を含む既存のアプローチを結びつけている。
具体的には、学習アルゴリズムの出力(訓練されたモデル)から、入力(トレーニングデータ)がどの程度の精度で認識できるかを定量化するために、条件付き相互情報(CMI)を用いる。
CMIのバウンダリは,VC次元,圧縮スキーム,差分プライバシー,その他の手法から得られることを示す。
次に、有界 CMI は様々な種類の一般化を意味することを示す。 We provide an information-theoretic framework for studying the generalization properties of machine learning algorithms. Our framework ties together existing approaches, including uniform convergence bounds and recent methods for adaptive data analysis. Specifically, we use Conditional Mutual Information (CMI) to quantify how well the input (i.e., the training data) can be recognized given the output (i.e., the trained model) of the learning algorithm. We show that bounds on CMI can be obtained from VC dimension, compression schemes, differential privacy, and other methods. We then show that bounded CMI implies various forms of generalization. | 翻訳日:2023-01-07 05:16:59 公開日:2020-06-19 |
| # メタラーニングを用いた少数シーン適応型群衆カウント Few-Shot Scene Adaptive Crowd Counting Using Meta-Learning ( http://arxiv.org/abs/2002.00264v3 ) ライセンス: Link先を確認 | Mahesh Kumar Krishna Reddy, Mohammad Hossain, Mrigank Rochan and Yang Wang | (参考訳) 数ショットシーン適応的な群集カウントの問題を考える。
対象のカメラシーンが与えられた場合、この特定のシーンにモデルを適応させることを目標としています。
この問題に対する解決策は、ターゲットカメラに特化して適応する群衆カウントモデルを理想的に展開する、多くの現実シナリオにおける潜在的な応用がある。
我々は,最近導入された学習から学習へのパラダイムに着想を得て,この課題を達成する。
トレーニングにおいて,本手法はターゲットシーンへの高速適応を容易にする方法でモデルパラメータを学習する。
テスト時には,少数のラベル付きデータを持つターゲットシーンに対して,学習パラメータに若干の勾配を加えて,そのシーンに迅速に適応する。
実験の結果,提案手法は,数シーン適応群数において他の手法よりも優れていることがわかった。
コードはhttps://github.com/maheshkkumar/fsccで入手できる。 We consider the problem of few-shot scene adaptive crowd counting. Given a target camera scene, our goal is to adapt a model to this specific scene with only a few labeled images of that scene. The solution to this problem has potential applications in numerous real-world scenarios, where we ideally like to deploy a crowd counting model specially adapted to a target camera. We accomplish this challenge by taking inspiration from the recently introduced learning-to-learn paradigm in the context of few-shot regime. In training, our method learns the model parameters in a way that facilitates the fast adaptation to the target scene. At test time, given a target scene with a small number of labeled data, our method quickly adapts to that scene with a few gradient updates to the learned parameters. Our extensive experimental results show that the proposed approach outperforms other alternatives in few-shot scene adaptive crowd counting. Code is available at https://github.com/maheshkkumar/fscc. | 翻訳日:2023-01-05 01:04:43 公開日:2020-06-19 |
| # 高度分離ガウスの混合学習におけるサンプル最適性を与えるEMアルゴリズム The EM Algorithm gives Sample-Optimality for Learning Mixtures of Well-Separated Gaussians ( http://arxiv.org/abs/2002.00329v2 ) ライセンス: Link先を確認 | Jeongyeol Kwon, Constantine Caramanis | (参考訳) 成分が十分に分離されたとき、$k \geq 3$成分を持つ球状ガウス混合モデルの問題を考察する。
基本的な以前の結果は、$\Omega(\sqrt{\log k})$ の分離が多項式サンプルの複雑性を持つパラメータの識別に必要で十分であることを証明した(Regev and Vijayaraghavan, 2017)。
同じ文脈で、$\tilde{o} (kd/\epsilon^2)$ のサンプルが任意の$\epsilon \lesssim 1/k$ に対して十分であり、多項式から線型へのギャップを閉じていることを示す。
我々は、期待最大化(EM)アルゴリズムの新たな結果を証明することでこれを達成した: EMは、分離$\Omega(\sqrt{\log k})$の下で局所的に収束することを示す。
以前の最もよく知られている保証は$\Omega(\sqrt{k})$ separation(Yan, et al., 2017)であった。
以前の研究とは異なり、我々の結果はガウス成分の重みや分散を(潜在的に異なる)混合する事前の知識を前提としない。
さらに,EMの有限サンプル誤差はガウス成分間の対距離などの非ユニバーサル量に依存しないことを示す。 We consider the problem of spherical Gaussian Mixture models with $k \geq 3$ components when the components are well separated. A fundamental previous result established that separation of $\Omega(\sqrt{\log k})$ is necessary and sufficient for identifiability of the parameters with polynomial sample complexity (Regev and Vijayaraghavan, 2017). In the same context, we show that $\tilde{O} (kd/\epsilon^2)$ samples suffice for any $\epsilon \lesssim 1/k$, closing the gap from polynomial to linear, and thus giving the first optimal sample upper bound for the parameter estimation of well-separated Gaussian mixtures. We accomplish this by proving a new result for the Expectation-Maximization (EM) algorithm: we show that EM converges locally, under separation $\Omega(\sqrt{\log k})$. The previous best-known guarantee required $\Omega(\sqrt{k})$ separation (Yan, et al., 2017). Unlike prior work, our results do not assume or use prior knowledge of the (potentially different) mixing weights or variances of the Gaussian components. Furthermore, our results show that the finite-sample error of EM does not depend on non-universal quantities such as pairwise distances between means of Gaussian components. | 翻訳日:2023-01-04 19:57:15 公開日:2020-06-19 |
| # マルチプレイヤーバンドにおける利己的ロバスト性と平衡 Selfish Robustness and Equilibria in Multi-Player Bandits ( http://arxiv.org/abs/2002.01197v2 ) ライセンス: Link先を確認 | Etienne Boursier and Vianney Perchet | (参考訳) 認知ラジオに触発されて、確率的なマルチプレイヤーのマルチアームバンディットが最近注目を集めた。
このタイプの問題では、複数のプレイヤーが同時に腕を引っ張り、同時に同じ腕を引っ張る場合、0の報酬で衝突に遭遇する。
プレイヤーが集団報酬を最大化する協調的なケース(一部の固定されたプロトコルに従っている)は、主に検討されているが、悪意のあるプレイヤーに対する堅牢性は重要かつ困難な懸念である。
既存のアプローチでは、集団報酬を盲目的に最小化することを目的とした敵ジャマーの場合のみを考える。
代わりに、社会的福祉を犠牲にして、個人の報酬を最大化するインセンティブを持つより自然な利己的なプレイヤーについて検討する。
アーム性能が観測された場合,自発的プレイヤー(すなわちナッシュ平衡)にロバストな最初のアルゴリズムを対数的後悔で提供する。
衝突も観測された場合、Grim Trigger型戦略はいくつかの暗黙的なコミュニケーションベースのアルゴリズムを可能にし、同質な(集中的な最適なものと同等の後悔を伴う)不均一な(適応的で関連する後悔の考えのために)2つの異なる設定でロバストなアルゴリズムを構築する。
また、報酬のみを観測した場合や、腕の手段がプレイヤー間で任意に変化する場合にも、不可能な結果が得られる。 Motivated by cognitive radios, stochastic multi-player multi-armed bandits gained a lot of interest recently. In this class of problems, several players simultaneously pull arms and encounter a collision - with 0 reward - if some of them pull the same arm at the same time. While the cooperative case where players maximize the collective reward (obediently following some fixed protocol) has been mostly considered, robustness to malicious players is a crucial and challenging concern. Existing approaches consider only the case of adversarial jammers whose objective is to blindly minimize the collective reward. We shall consider instead the more natural class of selfish players whose incentives are to maximize their individual rewards, potentially at the expense of the social welfare. We provide the first algorithm robust to selfish players (a.k.a. Nash equilibrium) with a logarithmic regret, when the arm performance is observed. When collisions are also observed, Grim Trigger type of strategies enable some implicit communication-based algorithms and we construct robust algorithms in two different settings: the homogeneous (with a regret comparable to the centralized optimal one) and heterogeneous cases (for an adapted and relevant notion of regret). We also provide impossibility results when only the reward is observed or when arm means vary arbitrarily among players. | 翻訳日:2023-01-04 02:31:37 公開日:2020-06-19 |
| # 共焦点条件における瞳孔サイズ変動解析のための1次元畳み込みニューラルネットワーク 1-D Convlutional Neural Networks for the Analysis of Pupil Size Variations in Scotopic Conditions ( http://arxiv.org/abs/2002.02383v2 ) ライセンス: Link先を確認 | Dario Zanca, Alessandra Rufa | (参考訳) 視線追跡装置によって記録された瞳孔の大きさの系統的分析は、被験者の覚醒状態や認知状態に関する情報の豊富な源であることが知られている。
現在の瞳孔解析の方法は記述的統計に制限されており、幅広いサブジェクト間の可変性を扱うのに苦労しており、一連の前処理信号操作と組み合わせる必要がある。
本稿では,1次元畳み込みニューラルネットワークを生の瞳孔サイズデータに直接適用するデータ駆動型手法を提案する。
本手法の有効性を検証するため,パーキンソン病高齢者群 (PD) , 瞳孔異常が広範囲に報告された状態, 健常成人群 (HC) の2群に分かれた2群分類課題に本手法を適用した。
瞳孔サイズの長期登録 (10分) は, 異所性条件 (完全暗黒, 0 lux) で収集した。
1-D畳み込みニューラルネットワークモデルは、短距離シーケンス(10秒から60秒)の分類のために訓練される。
このモデルは、ホールドアウトテストセットで平均精度の高い予測を提供する。
データセットとコードは再現性とベンチマーク目的でリリースされている。 It is well known that a systematic analysis of the pupil size variations, recorded by means of an eye-tracker, is a rich source of information about a subject's arousal and cognitive state. Current methods for pupil analysis are limited to descriptive statistics, struggle in handling the wide inter-subjects variability and must be coupled with a long series of pre-processing signal operations. In this we present a data-driven approach in which 1-D Convolutional Neural Networks are applied directly to the raw pupil size data. To test its effectiveness, we apply our method in a binary classification task with two different groups of subjects: a group of elderly patients with Parkinson disease (PDs), a condition in which pupil abnormalities have been extensively reported, and a group of healthy adults subjects (HCs). Long-range registration (10 minutes) of the pupil size were collected in scotopic conditions (complete darkness, 0 lux). 1-D convolutional neural network models are trained for classification of short-range sequences (10 to 60 seconds of registration). The model provides prediction with high average accuracy on a hold out test set. Dataset and codes are released for reproducibility and benchmarking purposes. | 翻訳日:2023-01-03 10:11:42 公開日:2020-06-19 |
| # 時間認識型大規模カーネル畳み込み Time-aware Large Kernel Convolutions ( http://arxiv.org/abs/2002.03184v2 ) ライセンス: Link先を確認 | Vasileios Lioutas, Yuhong Guo | (参考訳) 現在、ほとんどの最先端のシーケンスモデリングアーキテクチャは、言語ベースのタスクのための生成モデルを構築するために注意を払っている。
これらのモデルのいくつかは、すべての利用可能なシーケンストークンを使用して注意分布を生成し、結果として時間複雑性は$O(n^2)$となる。
あるいは、ソフトマックス正規化カーネルを限定的な自己アテンションとして作用する$k$で深度的に畳み込みし、結果として時間複雑性は$O(k{\cdot}n)$となる。
本稿では,固定サイズのカーネル行列ではなく,和カーネルのサイズを予測することを学習する新しい適応型畳み込み演算である,時間対応Large Kernel (TaLK) Convolutionsを紹介する。
この方法では、O(n)$の時間複雑性が得られ、事実上、シーケンスエンコーディングプロセスはトークンの数に線形になる。
提案手法は, 大規模機械翻訳, 抽象要約, 言語モデリングデータセットにおいて評価され, TaLK畳み込みが他の注意/畳み込みに基づくアプローチよりも効率的であることを示す。 To date, most state-of-the-art sequence modeling architectures use attention to build generative models for language based tasks. Some of these models use all the available sequence tokens to generate an attention distribution which results in time complexity of $O(n^2)$. Alternatively, they utilize depthwise convolutions with softmax normalized kernels of size $k$ acting as a limited-window self-attention, resulting in time complexity of $O(k{\cdot}n)$. In this paper, we introduce Time-aware Large Kernel (TaLK) Convolutions, a novel adaptive convolution operation that learns to predict the size of a summation kernel instead of using a fixed-sized kernel matrix. This method yields a time complexity of $O(n)$, effectively making the sequence encoding process linear to the number of tokens. We evaluate the proposed method on large-scale standard machine translation, abstractive summarization and language modeling datasets and show that TaLK Convolutions constitute an efficient improvement over other attention/convolution based approaches. | 翻訳日:2023-01-02 22:13:11 公開日:2020-06-19 |
| # タスクロバストモデル非依存なメタラーニング Task-Robust Model-Agnostic Meta-Learning ( http://arxiv.org/abs/2002.04766v2 ) ライセンス: Link先を確認 | Liam Collins, Aryan Mokhtari, Sanjay Shakkottai | (参考訳) メタラーニング手法は、新しいタスクを素早く学習するモデルをトレーニングする素晴らしい能力を示しています。
しかし、これらの手法は、最悪のタスクのパフォーマンスを考慮せずに、メタトレーニングやメタテストで一般的に同等の特定の分散から来るタスクに対して、うまく機能することのみを目的としている。
本研究は,モデル非依存型メタラーニング(MAML)の目標[Finn et al. 2017]を改訂し,観察されたメタトレーニングタスクの最大損失を最小化することを目的とした「タスク・ロバストネス」の概念を紹介する。
この新たな定式化の解決策は、最も難しいタスクやまれなタスクにも等しく重要となるという意味で、タスクロスである。
これはまた、観測されたタスクのすべての分布でうまく動作し、メタトレーニングとメタテストの間のタスク分布のシフトに堅牢であることを意味します。
提案したmin-max問題を解くアルゴリズムを提案し、凸設定において$\mathcal{O}(1/\epsilon^2)$の最適な速度で$\epsilon$-正確な点に収束し、非凸設定では$(\epsilon, \delta)$-定常点に$$\mathcal{O}(\max\{1/\epsilon^5, 1/\delta^5\})$の速度で収束することを示す。
また,最悪のタスク損失を最小化する利点を捉えた新しいタスク一般化誤差の上限を提供し,正弦波回帰および画像分類実験でこの利点を実証する。 Meta-learning methods have shown an impressive ability to train models that rapidly learn new tasks. However, these methods only aim to perform well in expectation over tasks coming from some particular distribution that is typically equivalent across meta-training and meta-testing, rather than considering worst-case task performance. In this work we introduce the notion of "task-robustness" by reformulating the popular Model-Agnostic Meta-Learning (MAML) objective [Finn et al. 2017] such that the goal is to minimize the maximum loss over the observed meta-training tasks. The solution to this novel formulation is task-robust in the sense that it places equal importance on even the most difficult and/or rare tasks. This also means that it performs well over all distributions of the observed tasks, making it robust to shifts in the task distribution between meta-training and meta-testing. We present an algorithm to solve the proposed min-max problem, and show that it converges to an $\epsilon$-accurate point at the optimal rate of $\mathcal{O}(1/\epsilon^2)$ in the convex setting and to an $(\epsilon, \delta)$-stationary point at the rate of $\mathcal{O}(\max\{1/\epsilon^5, 1/\delta^5\})$ in nonconvex settings. We also provide an upper bound on the new task generalization error that captures the advantage of minimizing the worst-case task loss, and demonstrate this advantage in sinusoid regression and image classification experiments. | 翻訳日:2023-01-01 19:38:32 公開日:2020-06-19 |
| # ショットイベント分類支援セットにおけるマッチング情報の展開 Exploiting the Matching Information in the Support Set for Few Shot Event Classification ( http://arxiv.org/abs/2002.05295v2 ) ライセンス: Link先を確認 | Viet Dac Lai, Franck Dernoncourt, Thien Huu Nguyen | (参考訳) 既存のイベント分類(EC)は、モデルが新しいイベントタイプに関するイベントの言及を抽出できない従来の教師付き学習設定に重点を置いている。
この領域では、ECモデルは、観測されていないイベントタイプに操作を延ばすことができるが、ほとんど研究されていない。
このギャップを埋めるため,本研究では,イベントの分類を,マイズショット学習環境下で検討する。
そこで本研究では, 数発学習モデルの学習過程において, 支援セットを積極的に活用する新しい学習方法を提案する。
特に,問合せ試験とトレーニング支援セットの項目とのマッチングに加えて,サポートセット内の例をさらに一致させようとする。
この方法は、モデルに対してより多くのトレーニング信号を提供し、メトリックラーニングに基づく全ての少ショット学習方法に適用することができる。
2つのベンチマークecデータセットを用いた広範な実験により,提案手法は,イベント分類の精度を最大10%向上させることができた。 The existing event classification (EC) work primarily focuseson the traditional supervised learning setting in which models are unableto extract event mentions of new/unseen event types. Few-shot learninghas not been investigated in this area although it enables EC models toextend their operation to unobserved event types. To fill in this gap, inthis work, we investigate event classification under the few-shot learningsetting. We propose a novel training method for this problem that exten-sively exploit the support set during the training process of a few-shotlearning model. In particular, in addition to matching the query exam-ple with those in the support set for training, we seek to further matchthe examples within the support set themselves. This method providesmore training signals for the models and can be applied to every metric-learning-based few-shot learning methods. Our extensive experiments ontwo benchmark EC datasets show that the proposed method can improvethe best reported few-shot learning models by up to 10% on accuracyfor event classification | 翻訳日:2023-01-01 09:35:39 公開日:2020-06-19 |
| # ハイパーグラフと二部グラフにおけるパラメータ付き相関クラスタリング Parameterized Correlation Clustering in Hypergraphs and Bipartite Graphs ( http://arxiv.org/abs/2002.09460v2 ) ライセンス: Link先を確認 | Nate Veldt and Anthony Wirth and David F. Gleich | (参考訳) コミュニティ検出や密集したサブグラフ発見の応用に動機づけられ,ハイパーグラフや二部グラフにおける新しいクラスタリングの目的を考える。
これらの目的は、複雑なデータにおける多様な知識発見を可能にするために、1つ以上の解決パラメータによってパラメータ化される。
ハイパーグラフとバイパージットの両方の目的に対して,既存の目的と等価なパラメータレジームを同定し,それらの近似アルゴリズムを共有する。
まず,パラメータ化ハイパーグラフ相関クラスタリングの目標は,ハイパーグラフにおける正規化カットとモジュラリティの高次概念と関連していることを示す。
さらに、ハイパーエッジ展開技術によって近似アルゴリズムを適用できる。
パラメタライズド2部相関クラスタリングの目的は、標準の非重み付き2部相関クラスタリングと2クラスタの削除を一般化する。
パラメータの特定の選択は、ハイパーグラフの目的にも関係しています。
一般にnpハードであるが、問題は2部マッチング問題に還元され、多項式時間で解くことができる2部目標のパラメータレジームを強調する。
他のパラメータの設定では、線形プログラム丸め法を用いて近似アルゴリズムを提案する。
これらの結果から、二部グラフを二角形に分割する最小限のエッジを除去するタスクである双クラスター削除に対する最初の定数係数近似を導入することができる。
いくつかの実験結果において、異なるパラメータ設定で得られるフレームワークの柔軟性と結果の多様性を強調する。
これには、さまざまなパラメータにわたる2部グラフのクラスタリング、eメールネットワークとフードウェブにおけるモチーフ豊富なクラスタの検出、製品レビューハイパーグラフにおける小売製品のクラスタの形成、既知の製品カテゴリと高い相関性を持つ。 Motivated by applications in community detection and dense subgraph discovery, we consider new clustering objectives in hypergraphs and bipartite graphs. These objectives are parameterized by one or more resolution parameters in order to enable diverse knowledge discovery in complex data. For both hypergraph and bipartite objectives, we identify parameter regimes that are equivalent to existing objectives and share their (polynomial-time) approximation algorithms. We first show that our parameterized hypergraph correlation clustering objective is related to higher-order notions of normalized cut and modularity in hypergraphs. It is further amenable to approximation algorithms via hyperedge expansion techniques. Our parameterized bipartite correlation clustering objective generalizes standard unweighted bipartite correlation clustering, as well as bicluster deletion. For a certain choice of parameters it is also related to our hypergraph objective. Although in general it is NP-hard, we highlight a parameter regime for the bipartite objective where the problem reduces to the bipartite matching problem and thus can be solved in polynomial time. For other parameter settings, we present approximation algorithms using linear program rounding techniques. These results allow us to introduce the first constant-factor approximation for bicluster deletion, the task of removing a minimum number of edges to partition a bipartite graph into disjoint bi-cliques. In several experimental results, we highlight the flexibility of our framework and the diversity of results that can be obtained in different parameter settings. This includes clustering bipartite graphs across a range of parameters, detecting motif-rich clusters in an email network and a food web, and forming clusters of retail products in a product review hypergraph, that are highly correlated with known product categories. | 翻訳日:2022-12-30 01:54:59 公開日:2020-06-19 |
| # 最大モーメント制限によるカーネル条件モーメントテスト Kernel Conditional Moment Test via Maximum Moment Restriction ( http://arxiv.org/abs/2002.09225v3 ) ライセンス: Link先を確認 | Krikamol Muandet, Wittawat Jitkrittum, Jonas K\"ubler | (参考訳) 我々はカーネル条件モーメント(KCM)テストと呼ばれる新しい仕様テスト群を提案する。
本テストは,条件モーメント埋め込み(CMME)と呼ばれる再生カーネルヒルベルト空間(RKHS)における条件モーメント制約の新たな表現に基づく。
条件付きモーメント制限を無条件対応する連続体に変換した後、テスト統計量はrkhsの単位球内の最大モーメント制限(mmr)として定義される。
我々は,MMRが元の条件モーメント制約を完全に特徴づけるだけでなく,仮説テストとパラメータ推定の両方の整合性ももたらし,計算し易い解析式と閉形式漸近分布も持つことを示した。
実験により,KCM試験は既存試験と比較して有望な有限サンプル性能を示した。 We propose a new family of specification tests called kernel conditional moment (KCM) tests. Our tests are built on a novel representation of conditional moment restrictions in a reproducing kernel Hilbert space (RKHS) called conditional moment embedding (CMME). After transforming the conditional moment restrictions into a continuum of unconditional counterparts, the test statistic is defined as the maximum moment restriction (MMR) within the unit ball of the RKHS. We show that the MMR not only fully characterizes the original conditional moment restrictions, leading to consistency in both hypothesis testing and parameter estimation, but also has an analytic expression that is easy to compute as well as closed-form asymptotic distributions. Our empirical studies show that the KCM test has a promising finite-sample performance compared to existing tests. | 翻訳日:2022-12-30 01:20:06 公開日:2020-06-19 |
| # ベイズ最適化のための効率的なロールアウト戦略 Efficient Rollout Strategies for Bayesian Optimization ( http://arxiv.org/abs/2002.10539v3 ) ライセンス: Link先を確認 | Eric Hans Lee, David Eriksson, Bolong Cheng, Michael McCourt, David Bindel | (参考訳) ベイズ最適化 (bayesian optimization, bo) は、先行観測に基づく確率モデルを用いて、獲得関数の最適化を通じて将来の評価を決定するための、サンプル効率の高い大域的最適化手法のクラスである。
ほとんどの獲得機能は近視的であり、次の機能評価の影響のみを考慮することを意味する。
非光学的取得関数は次の$h$関数の評価の影響を考慮し、通常ロールアウトによって計算され、BOの$h$ステップがシミュレートされる。
これらのロールアウト取得関数は$h$次元積分として定義され、計算と最適化に費用がかかる。
擬似モンテカルロ,共通乱数,制御変数の組み合わせにより,ロールアウトの計算負荷が大幅に低減することを示す。
次に、ロールアウト獲得関数の最適化の必要性を取り除くポリシー検索に基づくアプローチを定式化する。
最後に,マルチモーダル目標設定におけるロールアウトポリシーの質的挙動とモデル誤差について考察する。 Bayesian optimization (BO) is a class of sample-efficient global optimization methods, where a probabilistic model conditioned on previous observations is used to determine future evaluations via the optimization of an acquisition function. Most acquisition functions are myopic, meaning that they only consider the impact of the next function evaluation. Non-myopic acquisition functions consider the impact of the next $h$ function evaluations and are typically computed through rollout, in which $h$ steps of BO are simulated. These rollout acquisition functions are defined as $h$-dimensional integrals, and are expensive to compute and optimize. We show that a combination of quasi-Monte Carlo, common random numbers, and control variates significantly reduce the computational burden of rollout. We then formulate a policy-search based approach that removes the need to optimize the rollout acquisition function. Finally, we discuss the qualitative behavior of rollout policies in the setting of multi-modal objectives and model error. | 翻訳日:2022-12-29 02:33:56 公開日:2020-06-19 |
| # 周波数解析による偽造絵画検出 Fake Generated Painting Detection via Frequency Analysis ( http://arxiv.org/abs/2003.02467v2 ) ライセンス: Link先を確認 | Yong Bai, Yuanfang Guo, Jinjie Wei, Lin Lu, Rui Wang, and Yunhong Wang | (参考訳) ディープニューラルネットワークの開発により,様々なスタイル転送アルゴリズムによって,デジタルフェイク絵画を生成することが可能となり,フェイクが生成した絵画をフーリエ周波数領域で解析し,統計的差異やアーティファクトを観測する。
本稿では,周波数領域の3種類の特徴を抽出してFGPD-FA(Fake Generated Painting Detection)を提案する。
また,提案手法を評価するためのデジタル偽画検出データベースを提案する。
実験の結果, 異なる試験条件における提案手法の卓越性が示された。 With the development of deep neural networks, digital fake paintings can be generated by various style transfer algorithms.To detect the fake generated paintings, we analyze the fake generated and real paintings in Fourier frequency domain and observe statistical differences and artifacts. Based on our observations, we propose Fake Generated Painting Detection via Frequency Analysis (FGPD-FA) by extracting three types of features in frequency domain. Besides, we also propose a digital fake painting detection database for assessing the proposed method. Experimental results demonstrate the excellence of the proposed method in different testing conditions. | 翻訳日:2022-12-26 07:07:42 公開日:2020-06-19 |
| # オフ・プライシ・ダイバージェンス・レギュラー化による安定政策最適化 Stable Policy Optimization via Off-Policy Divergence Regularization ( http://arxiv.org/abs/2003.04108v2 ) ライセンス: Link先を確認 | Ahmed Touati, Amy Zhang, Joelle Pineau, Pascal Vincent | (参考訳) 信頼地域政策最適化(TRPO)とPPO(Pximal Policy Optimization)は、深層強化学習(RL)において最も成功した政策勾配アプローチの一つである。
これらの手法は様々な課題にまたがって最先端のパフォーマンスを達成するが、政策学習の安定化と、政策外のデータの利用方法を改善する余地がある。
本稿では、これらのアルゴリズムの理論的基礎を再検討し、連続的なポリシーによって引き起こされる割引状態-行動訪問分布を制約する近接項によるポリシー改善を安定化する新しいアルゴリズムを提案する。
この近接項は、訪問分布のばらつきの観点から表現され、政治的・敵対的な方法で学習される。
提案手法は, ベンチマーク高次元制御タスクにおいて, 安定性と最終的な性能向上に有効であることを示す。 Trust Region Policy Optimization (TRPO) and Proximal Policy Optimization (PPO) are among the most successful policy gradient approaches in deep reinforcement learning (RL). While these methods achieve state-of-the-art performance across a wide range of challenging tasks, there is room for improvement in the stabilization of the policy learning and how the off-policy data are used. In this paper we revisit the theoretical foundations of these algorithms and propose a new algorithm which stabilizes the policy improvement through a proximity term that constrains the discounted state-action visitation distribution induced by consecutive policies to be close to one another. This proximity term, expressed in terms of the divergence between the visitation distributions, is learned in an off-policy and adversarial manner. We empirically show that our proposed method can have a beneficial effect on stability and improve final performance in benchmark high-dimensional control tasks. | 翻訳日:2022-12-25 08:07:34 公開日:2020-06-19 |
| # コンビネート化学:創発進化の単純なモデルに向けて Combinatory Chemistry: Towards a Simple Model of Emergent Evolution ( http://arxiv.org/abs/2003.07916v2 ) ライセンス: Link先を確認 | Germ\'an Kruszewski, Tomas Mikolov | (参考訳) 進化可能な単位の出現のための説明モデルは、(1)時間(2)自己複製、(3)再生時に一定の量の変動を許容する、創発的な構造を示さなければならない。
本稿では,この課題に対処するため,最小限の計算パラダイムである Combinatory Logic に基づいたアルゴリズム人工化学である Combinatory Chemistry を紹介する。
このシステムのダイナミクスは非常に少ない規則で構成されており、初等タブラララザ状態で初期化され、天然資源の制約を再現する保存則が特徴的である。
実験の結果,外部介入を伴わないこの動的システムの単一実行は,幅広い創発的パターンを発見することがわかった。
これらの構造はすべて、環境から基本成分を取得し、生物学的代謝に非常によく似た方法で分解することに依存している。
これらのパターンには、組織を維持するオートポエティックな構造、線形鎖や二分枝木で成長する再帰的な構造、そして最も顕著なのは、それぞれの世代でその数を複製できるパターンが含まれる。 An explanatory model for the emergence of evolvable units must display emerging structures that (1) preserve themselves in time (2) self-reproduce and (3) tolerate a certain amount of variation when reproducing. To tackle this challenge, here we introduce Combinatory Chemistry, an Algorithmic Artificial Chemistry based on a minimalistic computational paradigm named Combinatory Logic. The dynamics of this system comprise very few rules, it is initialised with an elementary tabula rasa state, and features conservation laws replicating natural resource constraints. Our experiments show that a single run of this dynamical system with no external intervention discovers a wide range of emergent patterns. All these structures rely on acquiring basic constituents from the environment and decomposing them in a process that is remarkably similar to biological metabolisms. These patterns include autopoietic structures that maintain their organisation, recursive ones that grow in linear chains or binary-branching trees, and most notably, patterns able to reproduce themselves, duplicating their number at each generation. | 翻訳日:2022-12-22 21:23:37 公開日:2020-06-19 |
| # 最小正方形に対する確率勾配流の帰納規則化 The Implicit Regularization of Stochastic Gradient Flow for Least Squares ( http://arxiv.org/abs/2003.07802v2 ) ライセンス: Link先を確認 | Alnur Ali, Edgar Dobriban, and Ryan J. Tibshirani | (参考訳) 最小二乗回帰の基本問題に適用したミニバッチ確率勾配勾配の暗黙正則化について検討した。
我々は、確率勾配流と呼ばれる確率勾配降下と同じモーメントを持つ連続時間確率微分方程式を利用する。
チューニングパラメータを $\lambda = 1/t$ とすることで、時間 $t$, over ridgeレグレッションにおける確率勾配フローの過大なリスクを負う。
境界は明示的な定数(例えば、ミニバッチサイズ、ステップサイズ、反復数)から計算され、これらの量がどのように余剰リスクを駆動するかを正確に明らかにすることができる。
数値的な例は、境界が小さいことを示し、2つの推定器の密接な関係を示している。
同様の結果として,確率的勾配流とリッジの係数について述べる。
これらの結果は、データ行列の$X$と最適化パス全体(収束点だけでなく)の条件に満たない。 We study the implicit regularization of mini-batch stochastic gradient descent, when applied to the fundamental problem of least squares regression. We leverage a continuous-time stochastic differential equation having the same moments as stochastic gradient descent, which we call stochastic gradient flow. We give a bound on the excess risk of stochastic gradient flow at time $t$, over ridge regression with tuning parameter $\lambda = 1/t$. The bound may be computed from explicit constants (e.g., the mini-batch size, step size, number of iterations), revealing precisely how these quantities drive the excess risk. Numerical examples show the bound can be small, indicating a tight relationship between the two estimators. We give a similar result relating the coefficients of stochastic gradient flow and ridge. These results hold under no conditions on the data matrix $X$, and across the entire optimization path (not just at convergence). | 翻訳日:2022-12-22 20:53:55 公開日:2020-06-19 |
| # PoisHygiene:ニューラルネットワークにおける攻撃の検出と緩和 PoisHygiene: Detecting and Mitigating Poisoning Attacks in Neural Networks ( http://arxiv.org/abs/2003.11110v2 ) ライセンス: Link先を確認 | Junfeng Guo, Ting Wang, Cong Liu | (参考訳) ディープニューラルネットワーク(DNN)のブラックボックスの性質は、攻撃者がデータ中毒によってDNNの振る舞いを操作できるようにする。
一般的に、バックドアと逆行性中毒(AP)に分類される中毒攻撃を検出および緩和することは、多くのアプリケーションドメインでDNNを安全に採用するために重要である。
最近の研究は、特定のバックドア攻撃の検出に励む結果を示しているが、それらは適用性を著しく制限する固有の制限を示す。
実際、ap攻撃を検出する技術は存在せず、バックドア攻撃が実行されている間、そのような攻撃は一般的で明示的なルールを示さない(つまり、バックドアトリガーを中毒データに埋め込む)ため、難しい課題である。
我々は、AP攻撃を検知し緩和する鍵は、感染したDNNモデルの中で必須の中毒誘発特性を観察し、活用する能力であると考えている。
本稿では,AP攻撃に対する最初の効果的かつ堅牢な検出・緩和フレームワークであるPoisHygieneを紹介する。
ポワシギエンは、アーネスト・ラザフォード博士(1908年ノーベル賞受賞者)がランダムな電子サンプリングによって原子の構造を観察したことによるモチベーションである。 The black-box nature of deep neural networks (DNNs) facilitates attackers to manipulate the behavior of DNN through data poisoning. Being able to detect and mitigate poisoning attacks, typically categorized into backdoor and adversarial poisoning (AP), is critical in enabling safe adoption of DNNs in many application domains. Although recent works demonstrate encouraging results on detection of certain backdoor attacks, they exhibit inherent limitations which may significantly constrain the applicability. Indeed, no technique exists for detecting AP attacks, which represents a harder challenge given that such attacks exhibit no common and explicit rules while backdoor attacks do (i.e., embedding backdoor triggers into poisoned data). We believe the key to detect and mitigate AP attacks is the capability of observing and leveraging essential poisoning-induced properties within an infected DNN model. In this paper, we present PoisHygiene, the first effective and robust detection and mitigation framework against AP attacks. PoisHygiene is fundamentally motivated by Dr. Ernest Rutherford's story (i.e., the 1908 Nobel Prize winner), on observing the structure of atom through random electron sampling. | 翻訳日:2022-12-20 09:00:42 公開日:2020-06-19 |
| # 変形可能な顔アルベドモデル A Morphable Face Albedo Model ( http://arxiv.org/abs/2004.02711v2 ) ライセンス: Link先を確認 | William A.P. Smith, Alassane Seck, Hannah Dee, Bernard Tiddeman, Joshua Tenenbaum, Bernhard Egger | (参考訳) 本稿では,光学的顔キャプチャーと統計的3次元顔の外観モデリングという2つの異なる研究成果をまとめる。
照明, カメラ, 幾何学的効果を完全に決定する, 耳から耳まで, 真に内在的な拡散と特異なアルベドマップを得るための新しい光ステージ捕捉処理パイプラインを提案する。
このパイプラインを使用して、50のスキャンのデータセットをキャプチャし、23のスキャンで公開されている唯一のアルベドデータセット(DRFE)と組み合わせます。
これにより、最初の変形可能な顔アルベドモデルを構築することができます。
これは、顔の鏡面アルベド地図の変動性に関する最初の統計解析であると信じている。
このモデルは、バーゼルフェイスモデル(bfm)やフレイムのテクスチャモデルのプラグイン代替として使用することができ、モデルを公開しています。
我々は,通常のカメラで撮影した画像の逆レンダリングに適した線形sRGB空間でモデルを構築するために,慎重にスペクトル校正を行う。
本研究は,3dmmフィッティングパイプラインを用いて,鏡面地図推定を初めて統合し,アルベド復元におけるbfmよりも優れるモデルを示す。 In this paper, we bring together two divergent strands of research: photometric face capture and statistical 3D face appearance modelling. We propose a novel lightstage capture and processing pipeline for acquiring ear-to-ear, truly intrinsic diffuse and specular albedo maps that fully factor out the effects of illumination, camera and geometry. Using this pipeline, we capture a dataset of 50 scans and combine them with the only existing publicly available albedo dataset (3DRFE) of 23 scans. This allows us to build the first morphable face albedo model. We believe this is the first statistical analysis of the variability of facial specular albedo maps. This model can be used as a plug in replacement for the texture model of the Basel Face Model (BFM) or FLAME and we make the model publicly available. We ensure careful spectral calibration such that our model is built in a linear sRGB space, suitable for inverse rendering of images taken by typical cameras. We demonstrate our model in a state of the art analysis-by-synthesis 3DMM fitting pipeline, are the first to integrate specular map estimation and outperform the BFM in albedo reconstruction. | 翻訳日:2022-12-16 07:30:59 公開日:2020-06-19 |
| # エッジ回転円錐による多目的進化アルゴリズムの改良 Improving Many-Objective Evolutionary Algorithms by Means of Edge-Rotated Cones ( http://arxiv.org/abs/2004.06941v2 ) ライセンス: Link先を確認 | Yali Wang, Andr\'e Deutz, Thomas B\"ack, and Michael Emmerich | (参考訳) m$次元の対象空間の点が与えられたとき、点の任意の$\varepsilon$-ballは、非可換で支配的かつ支配的な領域に分割することができる。
比較不能領域の大きさと支配領域(および支配領域)の比率は、他の全ボリュームと比較して、パレートが支配するオルタントの体積である1/2^{m-1}$に比例して減少する。
このような理由から、ランダムな等方的突然変異によって支配的な点が見つかる可能性はますます高くなる。
本稿では,多目的最適化における探索の停滞に対する対策として,進化的最適化アルゴリズムの収束相に可換凸支配錐を導入することにより,パレート支配順序を向上させることを提案する。
開口角を1つのパラメータのみで制御できるパレート支配コーンの一般化としてエッジ回転コーンを提案する。
このアプローチは最先端の複数の多目的進化アルゴリズム(moeas)に統合され、4、5、6、8の目標によるベンチマーク問題でテストされている。
計算実験は、エッジ回転円錐が多目的最適化問題に対するmoeaの性能を向上させる能力を示す。 Given a point in $m$-dimensional objective space, any $\varepsilon$-ball of a point can be partitioned into the incomparable, the dominated and dominating region. The ratio between the size of the incomparable region, and the dominated (and dominating) region decreases proportionally to $1/2^{m-1}$, i.e., the volume of the Pareto dominating orthant as compared to all other volumes. Due to this reason, it gets increasingly unlikely that dominating points can be found by random, isotropic mutations. As a remedy to stagnation of search in many objective optimization, in this paper, we suggest to enhance the Pareto dominance order by involving an obtuse convex dominance cone in the convergence phase of an evolutionary optimization algorithm. We propose edge-rotated cones as generalizations of Pareto dominance cones for which the opening angle can be controlled by a single parameter only. The approach is integrated in several state-of-the-art multi-objective evolutionary algorithms (MOEAs) and tested on benchmark problems with four, five, six and eight objectives. Computational experiments demonstrate the ability of these edge-rotated cones to improve the performance of MOEAs on many-objective optimization problems. | 翻訳日:2022-12-13 03:04:59 公開日:2020-06-19 |
| # Old is Gold: 逆学習型一型分類学習パラダイムの再定義 Old is Gold: Redefining the Adversarially Learned One-Class Classifier Training Paradigm ( http://arxiv.org/abs/2004.07657v4 ) ライセンス: Link先を確認 | Muhammad Zaigham Zaheer, Jin-ha Lee, Marcella Astrid, Seung-Ik Lee | (参考訳) 異常検出の一般的な方法は、逆ネットワークのジェネレータを使用して、入力の再構成損失に対する異常スコアを定式化することである。
異常の稀な発生のため、そのようなネットワークを最適化するのは面倒な作業である。
もう1つの可能なアプローチは、ジェネレータと判別器の両方を異常検出に使うことである。
しかしながら、逆行訓練の関与により、このモデルは、各トレーニングステップでパフォーマンスが劇的に変動する方法で不安定であることが多い。
本研究では,幅広い訓練ステップにおいて安定な結果を効果的に生成し,効率的かつロバストな異常検出のために,敵モデルのジェネレータと判別器の両方を利用可能にする枠組みを提案する。
当社のアプローチは,判別器の基本的な役割を,実データと偽データの識別から,良質な再構築と悪質な再構築の区別へと変換する。
そこで本研究では,電流発生器を用いて良質な復元のための訓練例を作成し,一方,同一発生器の古い状態を利用して粗悪な品質例を得る。
このようにして、判別器は、しばしば異常入力の再構成に現れる微妙な歪みを検出することを学ぶ。
caltech-256およびmnist画像データセットを用いた新奇性検出のための広範囲な実験により、優れた結果が得られた。
さらに,異常検出のためのUCSD Ped2ビデオデータセットでは,最新の最先端手法を上回る98.1%のフレームレベルAUCを実現している。 A popular method for anomaly detection is to use the generator of an adversarial network to formulate anomaly scores over reconstruction loss of input. Due to the rare occurrence of anomalies, optimizing such networks can be a cumbersome task. Another possible approach is to use both generator and discriminator for anomaly detection. However, attributed to the involvement of adversarial training, this model is often unstable in a way that the performance fluctuates drastically with each training step. In this study, we propose a framework that effectively generates stable results across a wide range of training steps and allows us to use both the generator and the discriminator of an adversarial model for efficient and robust anomaly detection. Our approach transforms the fundamental role of a discriminator from identifying real and fake data to distinguishing between good and bad quality reconstructions. To this end, we prepare training examples for the good quality reconstruction by employing the current generator, whereas poor quality examples are obtained by utilizing an old state of the same generator. This way, the discriminator learns to detect subtle distortions that often appear in reconstructions of the anomaly inputs. Extensive experiments performed on Caltech-256 and MNIST image datasets for novelty detection show superior results. Furthermore, on UCSD Ped2 video dataset for anomaly detection, our model achieves a frame-level AUC of 98.1%, surpassing recent state-of-the-art methods. | 翻訳日:2022-12-12 21:45:41 公開日:2020-06-19 |
| # ベイズニューラルネットワークの確率論的安全性 Probabilistic Safety for Bayesian Neural Networks ( http://arxiv.org/abs/2004.10281v2 ) ライセンス: Link先を確認 | Matthew Wicker, Luca Laurenti, Andrea Patane, Marta Kwiatkowska | (参考訳) 逆入力摂動下でのベイズニューラルネットワーク(BNN)の確率論的安全性について検討する。
入力点のコンパクトな集合である$T \subseteq \mathbb{R}^m$ が与えられたとき、BNN後続の確率 w.r.t. で、$T$ のすべての点が出力空間の同じ領域 $S$ に写像される。
特に、これはBNNからサンプリングされたネットワークが敵攻撃に対して脆弱である確率を評価するために用いられる。
我々は,BNNの確率的安全性を低く計算する手法を開発するために,非凸最適化からの緩和手法を頼りにしており,間隔や線形関数伝搬の場合に明確な手順を導出する。
本手法は, 航空機衝突回避, およびMNISTで訓練されたBNNに対して適用し, 数百万のパラメータでBNNの確率的安全性を証明できることを実証的に示す。 We study probabilistic safety for Bayesian Neural Networks (BNNs) under adversarial input perturbations. Given a compact set of input points, $T \subseteq \mathbb{R}^m$, we study the probability w.r.t. the BNN posterior that all the points in $T$ are mapped to the same region $S$ in the output space. In particular, this can be used to evaluate the probability that a network sampled from the BNN is vulnerable to adversarial attacks. We rely on relaxation techniques from non-convex optimization to develop a method for computing a lower bound on probabilistic safety for BNNs, deriving explicit procedures for the case of interval and linear function propagation techniques. We apply our methods to BNNs trained on a regression task, airborne collision avoidance, and MNIST, empirically showing that our approach allows one to certify probabilistic safety of BNNs with millions of parameters. | 翻訳日:2022-12-11 06:12:32 公開日:2020-06-19 |
| # 部分アンセストラルグラフを用いた周期の存在下での制約に基づく因果探索 Constraint-Based Causal Discovery using Partial Ancestral Graphs in the presence of Cycles ( http://arxiv.org/abs/2005.00610v2 ) ライセンス: Link先を確認 | Joris M. Mooij and Tom Claassen | (参考訳) フィードバックループは多くの複雑なシステムにおいて重要な役割を果たすことが知られているが、その存在は因果発見文献の大部分において無視されている。
フィードバックを伴うシステムによって生成されたデータに対して、非循環的な設定のために設計された因果探索アルゴリズムを適用する場合、正しい結果を得ることは期待できない。
本研究では,FCI(Fast Causal Inference:高速因果推論)アルゴリズムの出力が,フィードバックを伴うシステムによって生成された観測データに適用された場合の正当性を示す。
より具体的には、単純かつ$\sigma$-faithful Structure Causal Model (SCM)によって生成された観測データに対して、FCIは健全で完全であり、一貫した推定に使用できることを証明している。
(i)因果関係の有無
二 直接因果関係の有無
(iii)共同創設者の不在、及び
(iv)scmの因果グラフに特定のサイクルがないこと。
これらの結果を制約に基づく因果的発見アルゴリズムに拡張し、因果的十分設定(pcアルゴリズムなど)と因果的推論設定(fci-jciアルゴリズムなど)を含む特定の形態の背景知識を利用する。 While feedback loops are known to play important roles in many complex systems, their existence is ignored in a large part of the causal discovery literature, as systems are typically assumed to be acyclic from the outset. When applying causal discovery algorithms designed for the acyclic setting on data generated by a system that involves feedback, one would not expect to obtain correct results. In this work, we show that---surprisingly---the output of the Fast Causal Inference (FCI) algorithm is correct if it is applied to observational data generated by a system that involves feedback. More specifically, we prove that for observational data generated by a simple and $\sigma$-faithful Structural Causal Model (SCM), FCI is sound and complete, and can be used to consistently estimate (i) the presence and absence of causal relations, (ii) the presence and absence of direct causal relations, (iii) the absence of confounders, and (iv) the absence of specific cycles in the causal graph of the SCM. We extend these results to constraint-based causal discovery algorithms that exploit certain forms of background knowledge, including the causally sufficient setting (e.g., the PC algorithm) and the Joint Causal Inference setting (e.g., the FCI-JCI algorithm). | 翻訳日:2022-12-07 23:19:20 公開日:2020-06-19 |
| # ソフトエビデンス抽出による機械読解理解のための自己学習手法 A Self-Training Method for Machine Reading Comprehension with Soft Evidence Extraction ( http://arxiv.org/abs/2005.05189v2 ) ライセンス: Link先を確認 | Yilin Niu, Fangkai Jiao, Mantong Zhou, Ting Yao, Jingfang Xu, Minlie Huang | (参考訳) ニューラルモデルは、機械読解(MRC)において大きな成功をおさめ、その多くが典型的にはエビデンス抽出器と解答予測器の2つの構成要素から構成されている。
前者は参照テキストから最も関連性の高い情報を求め、後者は抽出された証拠から回答を見つけ出して生成する。
証拠抽出機を訓練するためのエビデンスラベルの重要性にもかかわらず、特にYES/NO質問応答やマルチチョイスMCCのような多くの非抽出的MCCタスクでは、安価に利用できない。
この問題に対処するため, 自動生成エビデンスラベルを用いたエビデンス抽出器を反復的に監視する自己評価法(STM)を提案する。
それぞれのイテレーションで、ベースmrcモデルは黄金の答えと騒がしい証拠ラベルで訓練される。
トレーニングされたモデルは、疑似証拠ラベルを次のイテレーションで追加の監督として予測する。
3つのmrcタスクで7つのデータセットのstmを評価する。
実験の結果,既存のMRCモデルの改善が示され,また,このような自己学習手法がMRCでどのように機能するか,なぜ機能するのかを解析した。
ソースコードはhttps://github.com/SparkJiao/Self-Training-MRCから取得できる。 Neural models have achieved great success on machine reading comprehension (MRC), many of which typically consist of two components: an evidence extractor and an answer predictor. The former seeks the most relevant information from a reference text, while the latter is to locate or generate answers from the extracted evidence. Despite the importance of evidence labels for training the evidence extractor, they are not cheaply accessible, particularly in many non-extractive MRC tasks such as YES/NO question answering and multi-choice MRC. To address this problem, we present a Self-Training method (STM), which supervises the evidence extractor with auto-generated evidence labels in an iterative process. At each iteration, a base MRC model is trained with golden answers and noisy evidence labels. The trained model will predict pseudo evidence labels as extra supervision in the next iteration. We evaluate STM on seven datasets over three MRC tasks. Experimental results demonstrate the improvement on existing MRC models, and we also analyze how and why such a self-training method works in MRC. The source code can be obtained from https://github.com/SparkJiao/Self-Training-MRC | 翻訳日:2022-12-04 20:10:25 公開日:2020-06-19 |
| # Google Trendsを用いた予測マイグレーションに対するLSTMアプローチ An LSTM approach to Forecast Migration using Google Trends ( http://arxiv.org/abs/2005.09902v2 ) ライセンス: Link先を確認 | Nicolas Golenvaux, Pablo Gonzalez Alvarez, Harold Silv\`ere Kiossou, Pierre Schaus | (参考訳) できるだけ正確に国際移動をモデル化し予測できることは、政策立案に不可欠である。
最近,Google Trendsのデータは,他の経済・人口統計データに加えて,1年間の事前予測のための重力線形モデルの予測品質を改善することが示されている。
本研究では,線形モデルからlong short-term memory(lstm)アプローチに置き換え,線形重力モデルとニューラルネットワーク(ann)モデルという,既存の2つのアプローチと比較する。
LSTMアプローチとGoogle Trendsのデータを組み合わせることで、これらのモデルをさまざまな指標で比較し、例えば、ルート平均二乗誤差(RMSE)と平均平均誤差(MAE)は、テストセット上で5と4に分割された、35の経済協力開発機構(OECD)への1年先を予測します。
この肯定的な結果は、機械学習技術が、マイグレーションメカニズムを研究する従来のアプローチよりも真剣な代替手段であることを示している。 Being able to model and forecast international migration as precisely as possible is crucial for policymaking. Recently Google Trends data in addition to other economic and demographic data have been shown to improve the forecasting quality of a gravity linear model for the one-year ahead forecasting. In this work, we replace the linear model with a long short-term memory (LSTM) approach and compare it with two existing approaches: the linear gravity model and an artificial neural network (ANN) model. Our LSTM approach combined with Google Trends data outperforms both these models on various metrics in the task of forecasting the one-year ahead incoming international migration to 35 Organization for Economic Co-operation and Development (OECD) countries: for example the root mean square error (RMSE) and the mean average error (MAE) have been divided by 5 and 4 on the test set. This positive result demonstrates that machine learning techniques constitute a serious alternative over traditional approaches for studying migration mechanisms. | 翻訳日:2022-12-01 04:46:38 公開日:2020-06-19 |
| # 一般値関数近似を用いた強化学習:有界エルダー次元による効果的手法 Reinforcement Learning with General Value Function Approximation: Provably Efficient Approach via Bounded Eluder Dimension ( http://arxiv.org/abs/2005.10804v3 ) ライセンス: Link先を確認 | Ruosong Wang, Ruslan Salakhutdinov, Lin F. Yang | (参考訳) 値関数近似は強化学習(rl)において驚くべき経験的成功を示している。
しかしながら、線形関数近似を用いたRLの理論の最近の発展にもかかわらず、一般関数近似スキームの理解はほとんど失われている。
本稿では,一般値関数近似を用いた証明可能なRLアルゴリズムを確立する。
値関数が関数クラス $\mathcal{F}$ の近似を許容すると、我々のアルゴリズムは、$\widetilde{O}(\mathrm{poly}(dH)\sqrt{T})$ の後悔境界を達成し、$d$ は、エリューダー次元 [Russo and Van Roy, 2013] とログカバー数に依存する、$\mathcal{F}$ の複雑性測度であり、$H$ は計画的地平線であり、$T$ は環境との数値相互作用であることを示す。
我々の理論は線形値関数近似によるRLの最近の進歩を一般化し、環境モデルに対する明示的な仮定をしない。
さらに,本アルゴリズムはモデルフリーであり,実際に使用されるアルゴリズムの有効性を正当化するためのフレームワークを提供する。 Value function approximation has demonstrated phenomenal empirical success in reinforcement learning (RL). Nevertheless, despite a handful of recent progress on developing theory for RL with linear function approximation, the understanding of general function approximation schemes largely remains missing. In this paper, we establish a provably efficient RL algorithm with general value function approximation. We show that if the value functions admit an approximation with a function class $\mathcal{F}$, our algorithm achieves a regret bound of $\widetilde{O}(\mathrm{poly}(dH)\sqrt{T})$ where $d$ is a complexity measure of $\mathcal{F}$ that depends on the eluder dimension [Russo and Van Roy, 2013] and log-covering numbers, $H$ is the planning horizon, and $T$ is the number interactions with the environment. Our theory generalizes recent progress on RL with linear value function approximation and does not make explicit assumptions on the model of the environment. Moreover, our algorithm is model-free and provides a framework to justify the effectiveness of algorithms used in practice. | 翻訳日:2022-11-30 23:02:30 公開日:2020-06-19 |
| # 新型コロナウイルスのパンデミックに関するTwitterの議論と感情:機械学習のアプローチ Twitter discussions and emotions about COVID-19 pandemic: a machine learning approach ( http://arxiv.org/abs/2005.12830v2 ) ライセンス: Link先を確認 | Jia Xue (University of Toronto), Junxiang Chen (University of Pittsburgh), Ran Hu (University of Toronto), Chen Chen (University of Toronto), ChengDa Zheng (University of Toronto), Xiaoqian Liu (Chinese Academy of Sciences), Tingshao Zhu (China Academy of Science) | (参考訳) この研究の目的は、Twitterユーザーが投稿したツイートから生じた新型コロナウイルス(COVID-19)関連の議論、懸念、感情を調べることである。
我々は,2020年3月1日から4月21日までの25種類のハッシュタグ「コロナウイルス」「コビドウイルス」「検疫」を用いて,coonavirus」「covid-19」「quarantine」などのtwitterメッセージ400万件を分析した。
私たちは機械学習アプローチであるLatent Dirichlet Allocation(LDA)を使用して、一般的なユニグラム、ビッグラム、健全なトピックとテーマ、収集されたつぶやきの感情を識別します。
一般的なユニグラムには、"virus"、"lockdown"、"quarantine"がある。
人気のビッグラムには、"COVID-19"、"stay home"、"coona virus"、"social distancing"、"new case"などがある。
我々は、13の議論トピックを特定し、それらを「COVID-19の拡散を遅らせるための公衆衛生措置」、「新型コロナウイルスに関連する社会的汚職」、「米国でのコロナウイルスのニュースと死」、「世界の他の場所でのコロナウイルスのケース」といった5つのテーマに分類する。
すべてのトピックにおいて、新型コロナウイルスの感染拡大に対する主要な感情は、さまざまなトピックに対する信頼、怒り、恐怖の混合感に続き、取るべき措置が予想されることである。
新型コロナウイルスの感染者や死者について、他の話題よりも大きな恐怖感が浮かび上がっている。
この研究は、twitterのデータと機械学習のアプローチを、新型コロナウイルス(covid-19)の議論と感情の進化を研究することによって、インフォデミロジー研究に活用できることを示しています。
twitterの議論と懸念のリアルタイムな監視と評価は、公衆衛生の緊急対応と計画に有望である。
すでにパンデミックの恐れや汚職、メンタルヘルスの懸念は、新型コロナウイルスの第2波や差し迫ったパンデミックの新たな急増が発生した場合、公衆の信頼に影響を与え続ける可能性がある。 The objective of the study is to examine coronavirus disease (COVID-19) related discussions, concerns, and sentiments that emerged from tweets posted by Twitter users. We analyze 4 million Twitter messages related to the COVID-19 pandemic using a list of 25 hashtags such as "coronavirus," "COVID-19," "quarantine" from March 1 to April 21 in 2020. We use a machine learning approach, Latent Dirichlet Allocation (LDA), to identify popular unigram, bigrams, salient topics and themes, and sentiments in the collected Tweets. Popular unigrams include "virus," "lockdown," and "quarantine." Popular bigrams include "COVID-19," "stay home," "corona virus," "social distancing," and "new cases." We identify 13 discussion topics and categorize them into five different themes, such as "public health measures to slow the spread of COVID-19," "social stigma associated with COVID-19," "coronavirus news cases and deaths," "COVID-19 in the United States," and "coronavirus cases in the rest of the world". Across all identified topics, the dominant sentiments for the spread of coronavirus are anticipation that measures that can be taken, followed by a mixed feeling of trust, anger, and fear for different topics. The public reveals a significant feeling of fear when they discuss the coronavirus new cases and deaths than other topics. The study shows that Twitter data and machine learning approaches can be leveraged for infodemiology study by studying the evolving public discussions and sentiments during the COVID-19. Real-time monitoring and assessment of the Twitter discussion and concerns can be promising for public health emergency responses and planning. Already emerged pandemic fear, stigma, and mental health concerns may continue to influence public trust when there occurs a second wave of COVID-19 or a new surge of the imminent pandemic. | 翻訳日:2022-11-28 23:30:59 公開日:2020-06-19 |
| # 異なる気候下でのディープニューラルネットワークを用いた日常的基準蒸発散のモデル化 Modelling of daily reference evapotranspiration using deep neural network in different climates ( http://arxiv.org/abs/2006.01760v2 ) ライセンス: Link先を確認 | Atilla \"Ozg\"ur and Sevim Seda Yama\c{c} | (参考訳) 基準蒸発散量 (et o) の正確かつ信頼性の高い推定は, 灌水・水資源管理に不可欠である。
ET oは複雑なプロセスのため予測が難しい。
この複雑さは機械学習によって解決できる。
本研究では,毎日のETを推定するための人工知能ニューラルネットワーク(ANN)とディープニューラルネットワーク(DNN)モデルの性能について検討する。
従来提案されたANNとDNNの手法が実現され,性能が比較されてきた。
1999-2018年トルコの4つの気象観測所(Adana, Aksaray, Isparta, Ni\u{g}de)から, 最大気温(Tmax), 太陽放射(Rn), 最大相対湿度(RHmax), 最低相対湿度(RHmin), 風速(U2)を含む6つの入力データを用いた。
その結果,提案したDNNモデルでは,従来のANNモデルやDNNモデルと比較して,毎日のET o推定に満足できる精度が得られた。
Aksaray における SeLU 活性化関数 (P-DNN-SeLU) を用いた DNN モデルにおいて,決定係数 (R2 ) が 0.9934 であり,根平均二乗誤差 (RMSE) が 0.2073 であり,平均絶対誤差 (MAE) が 0.1590 であることを示す。
したがって、世界の他の気候帯におけるET oの推定には、P-DNN-SeLUモデルが推奨される。 Precise and reliable estimation of reference evapotranspiration (ET o ) is an essential for the irrigation and water resources management. ET o is difficult to predict due to its complex processes. This complexity can be solved using machine learning methods. This study investigates the performance of artificial neural network (ANN) and deep neural network (DNN) models for estimating daily ET o . Previously proposed ANN and DNN methods have been realized, and their performances have been compared. Six input data including maximum air temperature (T max ), minimum air temperature (T min ), solar radiation (R n ), maximum relative humidity (RH max ), minimum relative humidity (RH min ) and wind speed (U 2 ) are used from 4 meteorological stations (Adana, Aksaray, Isparta and Ni\u{g}de) during 1999-2018 in Turkey. The results have shown that our proposed DNN models achieves satisfactory accuracy for daily ET o estimation compared to previous ANN and DNN models. The best performance has been observed with the proposed model of DNN with SeLU activation function (P-DNN-SeLU) in Aksaray with coefficient of determination (R 2 ) of 0.9934, root mean square error (RMSE) of 0.2073 and mean absolute error (MAE) of 0.1590, respectively. Therefore, the P-DNN-SeLU model could be recommended for estimation of ET o in other climate zones of the world. | 翻訳日:2022-11-25 23:36:05 公開日:2020-06-19 |
| # 自動運転車の衝突回避作業における人間ライクな運転ポリシーの深層強化学習 Deep Reinforcement Learning for Human-Like Driving Policies in Collision Avoidance Tasks of Self-Driving Cars ( http://arxiv.org/abs/2006.04218v2 ) ライセンス: Link先を確認 | Ran Emuna, Avinoam Borowsky, Armin Biess | (参考訳) 自動運転車(avs)の開発に関わる技術的および科学的課題は、現在多くの自動車会社や研究所にとって主要な関心事となっている。
しかし、人間が操縦する車両は今後数十年にわたって路上に留まり、将来の交通環境についてavsと共有する可能性がある。
このような混合環境では、AVはスムーズなトラフィックフローを実現するために人間のような運転方針と交渉スキルを展開すべきである。
自動運転ポリシーを生成するために,経験豊富なドライバの動作を模倣するモデルのない深層強化学習手法を提案する。
本研究では,2車線道路における静的障害物回避タスクをシミュレーション(Unity)で検討する。
制御アルゴリズムは,車線保持や速度制御などの単純な駆動ルールを符号化するモデル駆動部と,運転データから人間の知識を取り入れた確率的データ駆動部という2つのソースから確率的フィードバック信号を受信する。
機械と人間の運転の類似性を評価するため、ガウス過程として軌道位置と速度の分布をモデル化した。
このアプローチが人間ライクな運転ポリシーにつながることを実証します。 The technological and scientific challenges involved in the development of autonomous vehicles (AVs) are currently of primary interest for many automobile companies and research labs. However, human-controlled vehicles are likely to remain on the roads for several decades to come and may share with AVs the traffic environments of the future. In such mixed environments, AVs should deploy human-like driving policies and negotiation skills to enable smooth traffic flow. To generate automated human-like driving policies, we introduce a model-free, deep reinforcement learning approach to imitate an experienced human driver's behavior. We study a static obstacle avoidance task on a two-lane highway road in simulation (Unity). Our control algorithm receives a stochastic feedback signal from two sources: a model-driven part, encoding simple driving rules, such as lane-keeping and speed control, and a stochastic, data-driven part, incorporating human expert knowledge from driving data. To assess the similarity between machine and human driving, we model distributions of track position and speed as Gaussian processes. We demonstrate that our approach leads to human-like driving policies. | 翻訳日:2022-11-24 07:55:42 公開日:2020-06-19 |
| # 高衝撃自動心エコー解析のための設計考察 Design Considerations for High Impact, Automated Echocardiogram Analysis ( http://arxiv.org/abs/2006.06292v2 ) ライセンス: Link先を確認 | Wiebke Toussaint, Dave Van Veen, Courtney Irwin, Yoni Nachmany, Manuel Barreiro-Perez, Elena D\'iaz-Pel\'aez, Sara Guerreiro de Sousa, Liliana Mill\'an, Pedro L. S\'anchez, Antonio S\'anchez-Puente, Jes\'us Sampedro-G\'omez, P. Ignacio Dorado-D\'iaz, V\'ictor Vicente-Palacios | (参考訳) 深層学習は心疾患早期発見のための心エコー解析を自動化する可能性がある。
本研究は,データ品質のバイアスを考慮し,正常な心臓機能を予測することによって,心臓科医のワークフローの効率を著しく向上させることを示唆する。 Deep learning has the potential to automate echocardiogram analysis for early detection of heart disease. Based on a qualitative analysis of design concerns, this study suggests that predicting normal heart function instead of disease accounts for data quality bias and significantly increases efficiency in cardiologists' workflows. | 翻訳日:2022-11-22 14:35:28 公開日:2020-06-19 |
| # 低リソース言語への単言語モデル導入 : tigrinyaの場合 Transferring Monolingual Model to Low-Resource Language: The Case of Tigrinya ( http://arxiv.org/abs/2006.07698v2 ) ライセンス: Link先を確認 | Abrhalei Tela, Abraham Woubie, and Ville Hautamaki | (参考訳) 近年、トランスフォーマーモデルは自然言語処理(NLP)タスクにおいて大きな成功を収めている。
現在最先端のNLPのほとんどの結果はモノリンガルトランスフォーマーモデルを用いて達成されており、このモデルでは1つの言語未ラベルのテキストコーパスを用いて事前訓練されている。
そして、モデルは特定の下流タスクに微調整される。
しかし、新しいトランスモデルを事前学習するコストは、ほとんどの言語で高い。
本研究では,大規模な単言語コーパスから低リソース言語へ学習した強力なソース言語モデルを採用するための,コスト効率のよいトランスファー学習手法を提案する。
そこで、XLNet言語モデルを用いて、言語間感情(CLS)データセットと低リソース言語Tigrinyaに対する新たな感情分析データセット上で、mBERTと事前訓練対象言語モデルとの競合性能を示す。
与えられたTigrinya感情分析データセットの10k例だけで、英語のXLNetは、それぞれ78.88%のF1スコアがBERTとmBERTを10%、7%上回った。
さらに興味深いことに、CLSデータセット上の微調整(英語)XLNetモデルでは、mBERTやmBERTよりも有望な結果が得られる。 In recent years, transformer models have achieved great success in natural language processing (NLP) tasks. Most of the current state-of-the-art NLP results are achieved by using monolingual transformer models, where the model is pre-trained using a single language unlabelled text corpus. Then, the model is fine-tuned to the specific downstream task. However, the cost of pre-training a new transformer model is high for most languages. In this work, we propose a cost-effective transfer learning method to adopt a strong source language model, trained from a large monolingual corpus to a low-resource language. Thus, using XLNet language model, we demonstrate competitive performance with mBERT and a pre-trained target language model on the cross-lingual sentiment (CLS) dataset and on a new sentiment analysis dataset for low-resourced language Tigrinya. With only 10k examples of the given Tigrinya sentiment analysis dataset, English XLNet has achieved 78.88% F1-Score outperforming BERT and mBERT by 10% and 7%, respectively. More interestingly, fine-tuning (English) XLNet model on the CLS dataset has promising results compared to mBERT and even outperformed mBERT for one dataset of the Japanese language. | 翻訳日:2022-11-21 20:34:33 公開日:2020-06-19 |
| # 医療システムにおけるセルフアテンション強化型患者ジャーニー理解 Self-Attention Enhanced Patient Journey Understanding in Healthcare System ( http://arxiv.org/abs/2006.10516v2 ) ライセンス: Link先を確認 | Xueping Peng, Guodong Long, Tao Shen, Sen Wang, Jing Jiang | (参考訳) 医療システムにおける患者の経過を理解することは、幅広いAIベースの医療アプリケーションにとって、基本的な前向きな課題である。
このタスクは、医療イベントとその内部エンティティ間の隠れた依存関係を包括的にエンコード可能な情報表現を学習することを目的としており、その上で、エンコーディング出力を使用することは、下流のアプリケーション駆動タスクに大きな恩恵をもたらす。
患者ジャーニー(英: patient journey)とは、患者、訪問、医療コードなど複数のレベルで組織される電子健康記録(EHR)のシリーズである。
患者旅行理解の鍵となる課題は、前述の多段階構造化患者旅行データに対して、一時的なシーケンシャル訪問と一連の医療コードで適切に対応できる効果的なエンコーディング機構を設計することである。
本稿では,患者旅行に隠された文脈的・時間的関係を同時に捉える新しい自己発見機構を提案する。
マルチレベル・セルフアテンション・ネットワーク(MusaNet)は、長期にわたる活動である患者旅行の表現を学習するように設計されている。
MusaNetは、EHRから派生したトレーニングデータを使用して、エンドツーエンドでトレーニングされる。
実世界のベンチマークデータセットを用いて,2つの医療応用課題に対する本手法の有効性を評価した。
その結果,提案手法は最先端のベースライン法よりも高品質な表現を実現することが示された。
ソースコードはhttps://github.com/xueping/MusaNetで入手できる。 Understanding patients' journeys in healthcare system is a fundamental prepositive task for a broad range of AI-based healthcare applications. This task aims to learn an informative representation that can comprehensively encode hidden dependencies among medical events and its inner entities, and then the use of encoding outputs can greatly benefit the downstream application-driven tasks. A patient journey is a sequence of electronic health records (EHRs) over time that is organized at multiple levels: patient, visits and medical codes. The key challenge of patient journey understanding is to design an effective encoding mechanism which can properly tackle the aforementioned multi-level structured patient journey data with temporal sequential visits and a set of medical codes. This paper proposes a novel self-attention mechanism that can simultaneously capture the contextual and temporal relationships hidden in patient journeys. A multi-level self-attention network (MusaNet) is specifically designed to learn the representations of patient journeys that is used to be a long sequence of activities. The MusaNet is trained in end-to-end manner using the training data derived from EHRs. We evaluated the efficacy of our method on two medical application tasks with real-world benchmark datasets. The results have demonstrated the proposed MusaNet produces higher-quality representations than state-of-the-art baseline methods. The source code is available in https://github.com/xueping/MusaNet. | 翻訳日:2022-11-21 03:32:52 公開日:2020-06-19 |
| # 一般化可能なサリエンシマップに基づくモデル結果の解釈 A generalizable saliency map-based interpretation of model outcome ( http://arxiv.org/abs/2006.09504v2 ) ライセンス: Link先を確認 | Shailja Thakur, Sebastian Fischmeister | (参考訳) ディープニューラルネットワークの重要な課題の1つは、ネットワークの複雑な性質がネットワークの結果の人間の理解を妨げることである。
したがって、複雑な機械学習モデルの適用性は、生命と特性のリスクを負う安全クリティカルな領域に制限される。
複雑なニューラルネットワークの能力をフル活用するために,モデルの入力と出力を用いてサリエンシマップを生成する非侵襲的解釈可能性手法を提案する。
この方法は、ターゲットクラスに対する感度に応じて個々の画素をローカライズして重み付けすることにより、ランダムに初期化された入力マスクを実証的に最適化する。
実験の結果,提案手法は,既存のsaliency map-based approach法よりも,関連する入力画素の局所化に優れることがわかった。
さらに,対象特定説明のグローバルな視点を得るため,モデル結果が未変更のままである入力データ分布の空間から,有意な入力の許容可能なバリエーションを生成するために,サリエンシマップ再構築手法を提案する。
実験の結果,本手法は89%の精度で入力の有意な部分を再構成できることがわかった。 One of the significant challenges of deep neural networks is that the complex nature of the network prevents human comprehension of the outcome of the network. Consequently, the applicability of complex machine learning models is limited in the safety-critical domains, which incurs risk to life and property. To fully exploit the capabilities of complex neural networks, we propose a non-intrusive interpretability technique that uses the input and output of the model to generate a saliency map. The method works by empirically optimizing a randomly initialized input mask by localizing and weighing individual pixels according to their sensitivity towards the target class. Our experiments show that the proposed model interpretability approach performs better than the existing saliency map-based approaches methods at localizing the relevant input pixels. Furthermore, to obtain a global perspective on the target-specific explanation, we propose a saliency map reconstruction approach to generate acceptable variations of the salient inputs from the space of input data distribution for which the model outcome remains unaltered. Experiments show that our interpretability method can reconstruct the salient part of the input with a classification accuracy of 89%. | 翻訳日:2022-11-20 19:55:43 公開日:2020-06-19 |
| # mosquito-net: gradcamとクラスアクティベーションマップを用いたモデル解釈によるマラリア診断のための深層学習型cadxシステム MOSQUITO-NET: A deep learning based CADx system for malaria diagnosis along with model interpretation using GradCam and class activation maps ( http://arxiv.org/abs/2006.10547v2 ) ライセンス: Link先を確認 | Aayush Kumar, Sanat B Singh, Suresh Chandra Satapathy, Minakhi Rout | (参考訳) マラリアは世界でも最も致命的な病気の1つであり、年間数千人が死亡している。
マラリアの原因となる寄生虫は、科学的にはプラスモジウムと呼ばれ、ヒトの赤血球に感染する。
寄生虫は、アノフェレスとして知られるメスの蚊によって伝染する。
マラリアの診断には、顕微鏡的血腫の医療従事者による寄生細胞の同定と手動計測が必要である。
リソースが利用できないため、診断精度は大規模なスクリーニングによって大きく影響を受ける。
最先端のコンピュータ支援診断技術は,cnnなどの深層学習アルゴリズムに基づいて,特徴抽出と分類を行い,様々な画像認識タスクに広く貢献している。
本稿では,感染細胞と感染していない細胞を分類し,そのパラメータが小さく,計算能力も低いため,エッジやモバイルデバイスに展開可能なマラリア診断のためのカスタムコンブネットMosquito-Netの性能を評価する。
そのため、医療施設が不足している遠隔地や農村部では、診断に大いに好まれる。 Malaria is considered one of the deadliest diseases in today world which causes thousands of deaths per year. The parasites responsible for malaria are scientifically known as Plasmodium which infects the red blood cells in human beings. The parasites are transmitted by a female class of mosquitos known as Anopheles. The diagnosis of malaria requires identification and manual counting of parasitized cells by medical practitioners in microscopic blood smears. Due to the unavailability of resources, its diagnostic accuracy is largely affected by large scale screening. State of the art Computer-aided diagnostic techniques based on deep learning algorithms such as CNNs, with end to end feature extraction and classification, have widely contributed to various image recognition tasks. In this paper, we evaluate the performance of custom made convnet Mosquito-Net, to classify the infected and uninfected cells for malaria diagnosis which could be deployed on the edge and mobile devices owing to its fewer parameters and less computation power. Therefore, it can be wildly preferred for diagnosis in remote and countryside areas where there is a lack of medical facilities. | 翻訳日:2022-11-19 20:46:58 公開日:2020-06-19 |
| # 機械状態音の教師なし異常検出のための深密・畳み込みオートエンコーダ Deep Dense and Convolutional Autoencoders for Unsupervised Anomaly Detection in Machine Condition Sounds ( http://arxiv.org/abs/2006.10417v2 ) ライセンス: Link先を確認 | Alexandrine Ribeiro, Luis Miguel Matos, Pedro Jose Pereira, Eduardo C. Nunes, Andre L. Ferreira, Paulo Cortez, Andre Pilastri | (参考訳) 本技術報告では,DCASE 2020 チャレンジの第2タスクのために開発された2つの手法について述べる。
この課題には、異常音を検出する教師なしの学習が含まれており、トレーニングプロセス中に通常の機械作業条件サンプルのみが利用可能である。
この2つの手法は、メルスペクトグラム処理された音響特徴を用いた密集および畳み込みアーキテクチャに基づくディープオートエンコーダを含む。
チャレンジの6つのマシンタイプのデータセットを使用して実験が行われた。
総じて, 提案した高密度・畳み込みAEにより競争結果が得られ, ベースラインチャレンジ法よりも優れていた。 This technical report describes two methods that were developed for Task 2 of the DCASE 2020 challenge. The challenge involves an unsupervised learning to detect anomalous sounds, thus only normal machine working condition samples are available during the training process. The two methods involve deep autoencoders, based on dense and convolutional architectures that use melspectogram processed sound features. Experiments were held, using the six machine type datasets of the challenge. Overall, competitive results were achieved by the proposed dense and convolutional AE, outperforming the baseline challenge method. | 翻訳日:2022-11-19 14:35:03 公開日:2020-06-19 |
| # 公正な階層的クラスタリング Fair Hierarchical Clustering ( http://arxiv.org/abs/2006.10221v2 ) ライセンス: Link先を確認 | Sara Ahmadian, Alessandro Epasto, Marina Knittel, Ravi Kumar, Mohammad Mahdian, Benjamin Moseley, Philip Pham, Sergei Vassilvitskii, Yuyan Wang | (参考訳) 機械学習が普及するにつれて、研究者は機械学習システムが公平であることを保証する必要性を認識し始めた。
近年、従来のクラスタリングにおける過剰表現を緩和する公平性の概念を定義することに関心が寄せられている。
本稿では、この概念を階層的クラスタリングに拡張し、特定の目的を最適化するために再帰的にデータを分割する。
様々な自然目的に対して,適切な階層的クラスタリングを求めるための単純で効率的なアルゴリズムを求める。
経験的に、我々のアルゴリズムは、目的に無視できる損失しかなく、公平な階層的なクラスタリングを見つけることができる。 As machine learning has become more prevalent, researchers have begun to recognize the necessity of ensuring machine learning systems are fair. Recently, there has been an interest in defining a notion of fairness that mitigates over-representation in traditional clustering. In this paper we extend this notion to hierarchical clustering, where the goal is to recursively partition the data to optimize a specific objective. For various natural objectives, we obtain simple, efficient algorithms to find a provably good fair hierarchical clustering. Empirically, we show that our algorithms can find a fair hierarchical clustering, with only a negligible loss in the objective. | 翻訳日:2022-11-19 13:23:48 公開日:2020-06-19 |
| # JD.comにおける視覚的CTR予測のためのカテゴリー別CNN Category-Specific CNN for Visual-aware CTR Prediction at JD.com ( http://arxiv.org/abs/2006.10337v2 ) ライセンス: Link先を確認 | Hu Liu, Jing Lu, Hao Yang, Xiwei Zhao, Sulong Xu, Hao Peng, Zehua Zhang, Wenjie Niu, Xiaokun Zhu, Yongjun Bao, Weipeng Yan | (参考訳) 中国最大のb2c電子商取引プラットフォームの1つとして、jd comは主要な広告システムにも力を入れており、何百万もの広告主が数億人の顧客と指先で接続できるようになっている。
我々のシステムでは、ほとんどのeコマースシナリオと同様に、広告は画像で表示され、これにより、ビジネス効果とユーザエクスペリエンスの両方において重要な重要性を視覚的に認識するクリックスルーレート(CTR)を予測する。
既存のアルゴリズムは通常、既製の畳み込みニューラルネットワーク(CNN)を使用して視覚的特徴を抽出し、最終的に予測されたCTRの視覚的特徴と非視覚的特徴を後期に融合させる。
広く研究されているにもかかわらず、この分野は依然として2つの重要な課題に直面している。
第一に、オフライン研究における進歩を奨励する一方で、効率的なエンドツーエンドトレーニングと低遅延オンラインサービスに対する厳格な要件のため、実システムへのcnnの適用はさほど簡単なものではない。
第二に、既製のCNNと後期融合アーキテクチャは最適ではない。
特に、市販のCNNは分類用に設計されており、カテゴリを入力機能として扱うことはない。
eコマースでは、カテゴリは正確にラベル付けされ、ビジュアルモデリングに役立つ豊富なビジュアル優先事項を含んでいる。
広告カテゴリーに気付かず、これらのCNNは不必要なカテゴリ非関連の特徴を抽出し、CNNの限られた表現能力を浪費する。
この2つの課題を克服するため,CTR予測のためのカテゴリ固有CNN(CSCNN)を提案する。
CSCNNは、まずカテゴリ知識を、各畳み込み層に軽量の注目モジュールを組み込んだ。
これにより、CSCNNはCTR予測の恩恵を受ける表現的カテゴリ固有の視覚パターンを抽出できる。
ベンチマークに関するオフライン実験と、JDによる100億のスケールの実運用データセット、およびオンラインA/Bテストは、CSCNNが比較対象の最先端アルゴリズムよりも優れていることを示している。 As one of the largest B2C e-commerce platforms in China, JD com also powers a leading advertising system, serving millions of advertisers with fingertip connection to hundreds of millions of customers. In our system, as well as most e-commerce scenarios, ads are displayed with images.This makes visual-aware Click Through Rate (CTR) prediction of crucial importance to both business effectiveness and user experience. Existing algorithms usually extract visual features using off-the-shelf Convolutional Neural Networks (CNNs) and late fuse the visual and non-visual features for the finally predicted CTR. Despite being extensively studied, this field still face two key challenges. First, although encouraging progress has been made in offline studies, applying CNNs in real systems remains non-trivial, due to the strict requirements for efficient end-to-end training and low-latency online serving. Second, the off-the-shelf CNNs and late fusion architectures are suboptimal. Specifically, off-the-shelf CNNs were designed for classification thus never take categories as input features. While in e-commerce, categories are precisely labeled and contain abundant visual priors that will help the visual modeling. Unaware of the ad category, these CNNs may extract some unnecessary category-unrelated features, wasting CNN's limited expression ability. To overcome the two challenges, we propose Category-specific CNN (CSCNN) specially for CTR prediction. CSCNN early incorporates the category knowledge with a light-weighted attention-module on each convolutional layer. This enables CSCNN to extract expressive category-specific visual patterns that benefit the CTR prediction. Offline experiments on benchmark and a 10 billion scale real production dataset from JD, together with an Online A/B test show that CSCNN outperforms all compared state-of-the-art algorithms. | 翻訳日:2022-11-19 12:40:46 公開日:2020-06-19 |
| # I-BERT: 任意文脈長への変換器の帰納的一般化 I-BERT: Inductive Generalization of Transformer to Arbitrary Context Lengths ( http://arxiv.org/abs/2006.10220v2 ) ライセンス: Link先を確認 | Hyoungwook Nam, Seung Byum Seo, Vikram Sharma Mailthody, Noor Michael, Lan Li | (参考訳) 近年、自然言語処理における最先端のシーケンシャル・ツー・シーケンスモデルにおいて、事前訓練された双方向トランスフォーマーモデルによって、自己着脱が重要な構成要素となっている。
その効果は、スケーラビリティと並列性を促進するが、モデルを境界長の入力に制限する非シーケンスアーキテクチャによる部分がある。
特に、そのようなアーキテクチャはアルゴリズムのタスクでは性能が悪く、そこではモデルが訓練中に見つからない入力長に一般化する手順を学習しなければならない。
既存の自己アテンション機構の計算限界を同定し、位置エンコーディングをリカレント層に置き換える双方向変換器I-BERTを提案する。
このモデルは、最先端のTransformerモデルではできない様々なアルゴリズム上のタスクを誘導的に一般化する。
また,学習セットと検証セットを分割して帰納的一般化を検証するマスク型言語モデリングタスクについてもテストを行った。
3つのアルゴリズムと2つの自然言語帰納的一般化タスクのうち、I-BERTは4つのタスクで最先端の結果を達成する。 Self-attention has emerged as a vital component of state-of-the-art sequence-to-sequence models for natural language processing in recent years, brought to the forefront by pre-trained bi-directional Transformer models. Its effectiveness is partly due to its non-sequential architecture, which promotes scalability and parallelism but limits the model to inputs of a bounded length. In particular, such architectures perform poorly on algorithmic tasks, where the model must learn a procedure which generalizes to input lengths unseen in training, a capability we refer to as inductive generalization. Identifying the computational limits of existing self-attention mechanisms, we propose I-BERT, a bi-directional Transformer that replaces positional encodings with a recurrent layer. The model inductively generalizes on a variety of algorithmic tasks where state-of-the-art Transformer models fail to do so. We also test our method on masked language modeling tasks where training and validation sets are partitioned to verify inductive generalization. Out of three algorithmic and two natural language inductive generalization tasks, I-BERT achieves state-of-the-art results on four tasks. | 翻訳日:2022-11-19 10:09:20 公開日:2020-06-19 |
| # 説明可能・談話話題認識ニューラル言語理解 Explainable and Discourse Topic-aware Neural Language Understanding ( http://arxiv.org/abs/2006.10632v2 ) ライセンス: Link先を確認 | Yatin Chaudhary, Hinrich Sch\"utze, Pankaj Gupta | (参考訳) トピックモデルと言語モデルとの結婚は、トピックを介して文章以外の文書レベルのコンテキストのより広いソースに言語理解を公開する。
言語モデルにトピックセマンティクスを導入する一方で、既存のアプローチでは、潜在する文書トピックの比率を取り入れ、文書の文中のトピックの言説を無視する。
この研究は、言語理解における説明可能なトピック表現を導入することで研究の線を延長し、その割合の潜在トピックごとに対応するキーワードの集合から得られる。
さらに、文書中の各文の話題談話をモデル化することにより、文章話題関連と文書話題関連を維持できる。
話題モデルと言語モデルの共同学習フレームワークにおいて,潜在的・説明可能なトピックと文レベルでの話題談話とを併用したニューラルコンポジット言語モデルを提案する。
言語モデル, 単語認識の曖昧さ, 文書分類, 検索, テキスト生成などのタスクに関する実験は, 言語理解を改善するための提案モデルの能力を示している。 Marrying topic models and language models exposes language understanding to a broader source of document-level context beyond sentences via topics. While introducing topical semantics in language models, existing approaches incorporate latent document topic proportions and ignore topical discourse in sentences of the document. This work extends the line of research by additionally introducing an explainable topic representation in language understanding, obtained from a set of key terms correspondingly for each latent topic of the proportion. Moreover, we retain sentence-topic associations along with document-topic association by modeling topical discourse for every sentence in the document. We present a novel neural composite language model that exploits both the latent and explainable topics along with topical discourse at sentence-level in a joint learning framework of topic and language models. Experiments over a range of tasks such as language modeling, word sense disambiguation, document classification, retrieval and text generation demonstrate ability of the proposed model in improving language understanding. | 翻訳日:2022-11-19 09:41:46 公開日:2020-06-19 |
| # 画像・映像符号化のための低複素変換のマルチパラメトリッククラス A Multiparametric Class of Low-complexity Transforms for Image and Video Coding ( http://arxiv.org/abs/2006.11418v1 ) ライセンス: Link先を確認 | D. R. Canterle, T. L. T. da Silveira, F. M. Bayer, R. J. Cintra | (参考訳) 離散変換は多くの信号処理アプリケーションにおいて重要な役割を担い、近年は古典変換の低複雑さな代替手段が普及している。
特に離散コサイン変換(dct)はデータ圧縮に便利であることが証明されており、jpeg、h.264、最近の高効率ビデオ符号化(hevc)などの画像およびビデオ符号化標準に採用されている。
本稿では,Bouguezel,Ahmed,Swamyの一連の論文に基づいて,低複雑性8点DCT近似の新たなクラスを導入する。
また、既知の変換と新しい変換の両方を含むマルチパラメトリック高速アルゴリズムを導出する。
マルチ基準最適化問題を解いた上で最高のDCT近似を選定し,より大規模な変換を得るためのスケーリング手法に提案する。
JPEGライクな画像圧縮とビデオ符号化実験の両方において,これらのDCT近似を評価する。
最適DCT近似は、符号化効率と画像品質の指標で魅力的な結果を示し、低複雑さ・低消費電力システムに適した加算やビットシフト操作は少ない。 Discrete transforms play an important role in many signal processing applications, and low-complexity alternatives for classical transforms became popular in recent years. Particularly, the discrete cosine transform (DCT) has proven to be convenient for data compression, being employed in well-known image and video coding standards such as JPEG, H.264, and the recent high efficiency video coding (HEVC). In this paper, we introduce a new class of low-complexity 8-point DCT approximations based on a series of works published by Bouguezel, Ahmed and Swamy. Also, a multiparametric fast algorithm that encompasses both known and novel transforms is derived. We select the best-performing DCT approximations after solving a multicriteria optimization problem, and submit them to a scaling method for obtaining larger size transforms. We assess these DCT approximations in both JPEG-like image compression and video coding experiments. We show that the optimal DCT approximations present compelling results in terms of coding efficiency and image quality metrics, and require only few addition or bit-shifting operations, being suitable for low-complexity and low-power systems. | 翻訳日:2022-11-19 05:24:14 公開日:2020-06-19 |
| # 信頼性の高いリアルタイムオペラ追跡に向けて:ロバスト性向上のためのアライメントとオーディオイベント検出器を組み合わせる Towards Reliable Real-time Opera Tracking: Combining Alignment with Audio Event Detectors to Increase Robustness ( http://arxiv.org/abs/2006.11033v1 ) ライセンス: Link先を確認 | Charles Brazier and Gerhard Widmer | (参考訳) 近年のリアルタイム音楽の進歩により、機械がオーケストラ演奏を含む複雑なポリフォニック音楽を自動的に追跡できるようになった。
本稿では、これをさらに高いレベル、すなわちフルオペラのライブトラッキングにしようと試みる。
まず,オンライン動的時間ワープ(OLTW)に基づく最先端オーディオアライメント手法をモーツァルトオペラのフル長録音に適用し,トラッカーの最も厳しいエラーを分析し,オペラシナリオ特有の3つの問題の原因を特定する。
そこで本研究では、DTWに基づく音楽トラッカーと、DTWアルゴリズムをトップダウン方式で条件付けした音声イベント検出器(拍手、沈黙、音声)を組み合わせることで、これらの検出器が、スコアフォロワに堅牢性を加える方法を示す。
しかし、現在および将来の研究の対象として認識されている多くの未解決問題が存在する。 Recent advances in real-time music score following have made it possible for machines to automatically track highly complex polyphonic music, including full orchestra performances. In this paper, we attempt to take this to an even higher level, namely, live tracking of full operas. We first apply a state-of-the-art audio alignment method based on online Dynamic Time-Warping (OLTW) to full-length recordings of a Mozart opera and, analyzing the tracker's most severe errors, identify three common sources of problems specific to the opera scenario. To address these, we propose a combination of a DTW-based music tracker with specialized audio event detectors (for applause, silence/noise, and speech) that condition the DTW algorithm in a top-down fashion, and show, step by step, how these detectors add robustness to the score follower. However, there remain a number of open problems which we identify as targets for ongoing and future research. | 翻訳日:2022-11-19 05:23:38 公開日:2020-06-19 |
| # 量子計算のための半教師付き時系列分類法 Semi-supervised time series classification method for quantum computing ( http://arxiv.org/abs/2006.11031v1 ) ライセンス: Link先を確認 | Sheir Yarkoni, Andrii Kleshchonok, Yury Dzerin, Florian Neukart, Marc Hilbert | (参考訳) 本稿では,量子コンピューティングを用いた時系列解析(TS)に関する2つの問題を解決する手法を開発する。
量子アニーラとゲートモデル量子プロセッサの両方で解くことができる非拘束型二分最適化(qubo)問題として、訓練データ集合から与えられたtsを再構成するタスクを定式化する。
我々は、TSを識別し、再構成をセットカバー問題に変換することにより、一対一の再構築を行うことができる。
再構成問題に対する解を用いて,TSデータの半教師付き分類を行う方法を示す。
提案手法は,従来の半教師なし分類手法と競合するが,従来の手法よりも少ないデータを使用する。 In this paper we develop methods to solve two problems related to time series (TS) analysis using quantum computing: reconstruction and classification. We formulate the task of reconstructing a given TS from a training set of data as an unconstrained binary optimization (QUBO) problem, which can be solved by both quantum annealers and gate-model quantum processors. We accomplish this by discretizing the TS and converting the reconstruction to a set cover problem, allowing us to perform a one-versus-all method of reconstruction. Using the solution to the reconstruction problem, we show how to extend this method to perform semi-supervised classification of TS data. We present results indicating our method is competitive with current semi- and unsupervised classification techniques, but using less data than classical techniques. | 翻訳日:2022-11-19 05:17:33 公開日:2020-06-19 |
| # DGA分類器の実世界適用性の解析 Analyzing the Real-World Applicability of DGA Classifiers ( http://arxiv.org/abs/2006.11103v1 ) ライセンス: Link先を確認 | Arthur Drichel, Ulrike Meyer, Samuel Sch\"uppen, Dominik Teubert | (参考訳) バイナリ分類器の助けを借りてDGAが生成したドメインから良性ドメインを分離することは、有望なパフォーマンス結果を公開するためのよく研究された問題である。
対象の修復対策を可能にする領域を生成する正確なDGAを決定するためのマルチクラスタスクは、あまりよく研究されていない。
これらのタスクの最も有望な分類器を実際に選択することは、これまでの作業で解決されていない多くの疑問を提起する。
これには、どのネットワークでいつ、どのトラフィックをトレーニングするかという質問だけでなく、敵の攻撃に対する堅牢性を評価する方法も含まれている。
さらに、どの特徴が決定に繋がる分類器と、その分類器がリアルタイムに機能するかどうかは不明である。
本稿では,これらの問題に対処し,DGA検出分類器を実用化に近づけることに寄与する。
本稿では,2つのタスクごとに残差ニューラルネットワークに基づく1つの新しい分類器を提案し,それらを広く評価するとともに,従来提案されていた分類器を統一的に評価する。
分類性能を評価するだけでなく, 説明可能性, 堅牢性, 学習速度, 分類速度についても比較する。
最後に,新たに提案する二分分類器は他のネットワークによく適用でき,時間ロバストであり,未知のdgasを識別できることを示す。 Separating benign domains from domains generated by DGAs with the help of a binary classifier is a well-studied problem for which promising performance results have been published. The corresponding multiclass task of determining the exact DGA that generated a domain enabling targeted remediation measures is less well studied. Selecting the most promising classifier for these tasks in practice raises a number of questions that have not been addressed in prior work so far. These include the questions on which traffic to train in which network and when, just as well as how to assess robustness against adversarial attacks. Moreover, it is unclear which features lead a classifier to a decision and whether the classifiers are real-time capable. In this paper, we address these issues and thus contribute to bringing DGA detection classifiers closer to practical use. In this context, we propose one novel classifier based on residual neural networks for each of the two tasks and extensively evaluate them as well as previously proposed classifiers in a unified setting. We not only evaluate their classification performance but also compare them with respect to explainability, robustness, and training and classification speed. Finally, we show that our newly proposed binary classifier generalizes well to other networks, is time-robust, and able to identify previously unknown DGAs. | 翻訳日:2022-11-19 05:17:19 公開日:2020-06-19 |
| # 深層学習による強度変調放射線治療のためのビーム可変パレート最適線量分布予測 Using Deep Learning to Predict Beam-Tunable Pareto Optimal Dose Distribution for Intensity Modulated Radiation Therapy ( http://arxiv.org/abs/2006.11236v1 ) ライセンス: Link先を確認 | Gyanendra Bohara, Azar Sadeghnejad Barkousaraie, Steve Jiang, Dan Nguyen | (参考訳) 深層ニューラルネットワークを学習するための入力として,任意のビーム角と患者解剖を用いて,パレートの最適線量分布を予測できるディープラーニングモデルを提案する。
2つの異なるビーム構成モードで予測する2つのディープラーニングネットワークを実装し,比較した。
前立腺癌70例に対してparetooptimize planを作成した。
フルエンスマップを用いた500 IMRT プランの作成を行い,各患者のパレート表面を35,000 のプランでサンプリングした。
モデルiとモデルiiの2つの異なるモデルを調査し比較した。
モデルiは2進ベクトルとしてネットワークへの第2の入力としてビーム角を直接使用する。
モデルIIは、ビーム角をPTVに適合するビーム線量に変換する。
深層学習モデルは,真理線量分布と正確に一致したボクセルレベル線量分布を予測した。
定量的に、モデルiの予測誤差は 0.043 (確認), 0.043 (均質性), 0.327 (r50), 2.80% (d95), 3.90% (d98), 0.6% (d50), 1.10% (d2) であり、 0.076 (確認), 0.058 (均質性), 0.626 (r50), 7.10% (d95), 6.50% (d98), 8.40% (d50), 6.30% (d2) であった。
私たちのモデルを使用する治療プランナーは、ディープラーニングを使用して、PTVとOARの重量とビーム番号と構成のトレードオフをリアルタイムで制御することができます。
我々の線量予測法は自動IMRT治療計画の立脚石を提供する。 We propose to develop deep learning models that can predict Pareto optimal dose distributions by using any given set of beam angles, along with patient anatomy, as input to train the deep neural networks. We implement and compare two deep learning networks that predict with two different beam configuration modalities. We generated Pareto optimal plans for 70 patients with prostate cancer. We used fluence map optimization to generate 500 IMRT plans that sampled the Pareto surface for each patient, for a total of 35,000 plans. We studied and compared two different models, Model I and Model II. Model I directly uses beam angles as a second input to the network as a binary vector. Model II converts the beam angles into beam doses that are conformal to the PTV. Our deep learning models predicted voxel-level dose distributions that precisely matched the ground truth dose distributions. Quantitatively, Model I prediction error of 0.043 (confirmation), 0.043 (homogeneity), 0.327 (R50), 2.80% (D95), 3.90% (D98), 0.6% (D50), 1.10% (D2) was lower than that of Model II, which obtained 0.076 (confirmation), 0.058 (homogeneity), 0.626 (R50), 7.10% (D95), 6.50% (D98), 8.40% (D50), 6.30% (D2). Treatment planners who use our models will be able to use deep learning to control the tradeoffs between the PTV and OAR weights, as well as the beam number and configurations in real time. Our dose prediction methods provide a stepping stone to building automatic IMRT treatment planning. | 翻訳日:2022-11-19 05:16:45 公開日:2020-06-19 |
| # 合成定理から証明する学習 Learning to Prove from Synthetic Theorems ( http://arxiv.org/abs/2006.11259v1 ) ライセンス: Link先を確認 | Eser Ayg\"un, Zafarali Ahmed, Ankit Anand, Vlad Firoiu, Xavier Glorot, Laurent Orseau, Doina Precup, Shibl Mourad | (参考訳) 自動定理証明に機械学習を適用する上での大きな課題は、トレーニングデータの不足である。
この問題に対処するために,一組の公理から生成される合成定理による訓練に依存するアプローチを提案する。
このような定理は自動証明器の訓練に利用でき、学習された証明器は人間の生成した定理にうまく移行できることを示す。
合成定理のみを専門とする証明器は,最先端のヒューリスティックな証明器を比較するために用いられるベンチマークデータセットであるTPTPにおいて,かなりの数の問題を解くことができることを示す。
提案手法は,ほとんどの公理集合において人間が生成する問題に対して学習したモデルよりも優れており,このタスクに合成データを使用することの期待を示す。 A major challenge in applying machine learning to automated theorem proving is the scarcity of training data, which is a key ingredient in training successful deep learning models. To tackle this problem, we propose an approach that relies on training with synthetic theorems, generated from a set of axioms. We show that such theorems can be used to train an automated prover and that the learned prover transfers successfully to human-generated theorems. We demonstrate that a prover trained exclusively on synthetic theorems can solve a substantial fraction of problems in TPTP, a benchmark dataset that is used to compare state-of-the-art heuristic provers. Our approach outperforms a model trained on human-generated problems in most axiom sets, thereby showing the promise of using synthetic data for this task. | 翻訳日:2022-11-19 05:16:13 公開日:2020-06-19 |
| # DEED:ビット間の通信効率の一般的な量子化方式 DEED: A General Quantization Scheme for Communication Efficiency in Bits ( http://arxiv.org/abs/2006.11401v1 ) ライセンス: Link先を確認 | Tian Ye, Peijun Xiao and Ruoyu Sun | (参考訳) 分散最適化では、通信を減らす一般的な手法は量子化である。
本稿では、量子化スキームに適用可能な不正確な勾配降下に関する一般的な分析フレームワークを提供する。
また、量子化方式であるDouble Encoding and Error Diminishing (DEED)を提案する。
DEEDは、頻繁なコミュニケーションの大メモリ、頻繁なコミュニケーション小メモリ、頻繁なコミュニケーション小メモリ(フェデレーション学習など)という3つの設定で小さな通信複雑性を実現することができる。
具体的には、頻繁に通信される大きなメモリ設定では、DEEDはNesterovの手法と簡単に組み合わせることができるので、必要なビットの総数は$\tilde{O}( \sqrt{\kappa} \log 1/\epsilon )$であり、$\tilde{O}$は数値定数と$\log \kappa$ factorを隠す。
頻繁なスモールメモリ設定では、deedとsgdを組み合わせると、補間処理において$\tilde{o}( \kappa \log 1/\epsilon)$のビットしか必要なくなる。
頻繁な通信環境では、フェデレート平均化と組み合わせたDEEDはフェデレーション平均化よりも少ない総ビット数を必要とする。
これらのアルゴリズムはすべて、より少ないビット数で、非量子化バージョンと同じ速度で収束する。 In distributed optimization, a popular technique to reduce communication is quantization. In this paper, we provide a general analysis framework for inexact gradient descent that is applicable to quantization schemes. We also propose a quantization scheme Double Encoding and Error Diminishing (DEED). DEED can achieve small communication complexity in three settings: frequent-communication large-memory, frequent-communication small-memory, and infrequent-communication (e.g. federated learning). More specifically, in the frequent-communication large-memory setting, DEED can be easily combined with Nesterov's method, so that the total number of bits required is $\tilde{O}( \sqrt{\kappa} \log 1/\epsilon )$, where $\tilde{O}$ hides numerical constant and $\log \kappa$ factors. In the frequent-communication small-memory setting, DEED combined with SGD only requires $\tilde{O}( \kappa \log 1/\epsilon)$ number of bits in the interpolation regime. In the infrequent communication setting, DEED combined with Federated averaging requires a smaller total number of bits than Federated Averaging. All these algorithms converge at the same rate as their non-quantized versions, while using a smaller number of bits. | 翻訳日:2022-11-19 05:16:00 公開日:2020-06-19 |
| # ムーアのパラドックスと信念の論理 Moore's Paradox and the logic of belief ( http://arxiv.org/abs/2006.11363v1 ) ライセンス: Link先を確認 | Andr\'es P\'aez | (参考訳) ムーアのパラドックスは、任意の形式的信念理論のテストケースである。
知識と信条において、ヒンティッカは知識と信条の認識的概念を含む文を表現するための多モーダル論理を開発した。
彼の説明はパラドックスの説明をすることになっている。
本稿では, ドキサスティック作用素の1つに対するプルーピッカス解釈は哲学的に問題であり, 不要かつ強い論理体系をもたらすと論じる。
私は、ムーアのパラドックスのような問題事例の説明を犠牲にすることなく、信念の概念に関する論理的な直観をより正確にとらえるより弱い選択肢を提供する。 Moores Paradox is a test case for any formal theory of belief. In Knowledge and Belief, Hintikka developed a multimodal logic for statements that express sentences containing the epistemic notions of knowledge and belief. His account purports to offer an explanation of the paradox. In this paper I argue that Hintikkas interpretation of one of the doxastic operators is philosophically problematic and leads to an unnecessarily strong logical system. I offer a weaker alternative that captures in a more accurate way our logical intuitions about the notion of belief without sacrificing the possibility of providing an explanation for problematic cases such as Moores Paradox. | 翻訳日:2022-11-19 05:09:52 公開日:2020-06-19 |
| # データ駆動目標によるインタラクティブシステムの最適化 Optimizing Interactive Systems via Data-Driven Objectives ( http://arxiv.org/abs/2006.12999v1 ) ライセンス: Link先を確認 | Ziming Li, Julia Kiseleva, Alekh Agarwal, Maarten de Rijke, Ryen W. White | (参考訳) 実世界の対話システムにとって効果的な最適化は、ユーザの振る舞いの変化に応じて満足なユーザエクスペリエンスを提供するために不可欠である。
しかし、対話型システム(例えばタスク指向対話システムにおけるポリシー学習)に最適化する目的を見つけることはしばしば困難である。
一般的にこのような目標は手作業で作成され、複雑なユーザニーズを正確に捉えることは滅多にない。
我々は,観察したユーザインタラクションから直接目的を推測する手法を提案する。
これらの推論は、事前の知識や異なる種類のユーザー行動によらず行われる。
本稿では,これらの推定対象を最適化に利用する新しいアルゴリズムであるInteractive System Optimizer (ISO)を紹介する。
当社の主な貢献は,データ駆動目的を用いたインタラクティブシステムの最適化に関する,新たな一般原則に基づくアプローチです。
いくつかのシミュレーションでISOの有効性を示す。 Effective optimization is essential for real-world interactive systems to provide a satisfactory user experience in response to changing user behavior. However, it is often challenging to find an objective to optimize for interactive systems (e.g., policy learning in task-oriented dialog systems). Generally, such objectives are manually crafted and rarely capture complex user needs in an accurate manner. We propose an approach that infers the objective directly from observed user interactions. These inferences can be made regardless of prior knowledge and across different types of user behavior. We introduce Interactive System Optimizer (ISO), a novel algorithm that uses these inferred objectives for optimization. Our main contribution is a new general principled approach to optimizing interactive systems using data-driven objectives. We demonstrate the high effectiveness of ISO over several simulations. | 翻訳日:2022-11-19 05:09:41 公開日:2020-06-19 |
| # 拡散強調磁気共鳴画像における主筋の数と向きを機械学習で推定する方法 A machine learning-based method for estimating the number and orientations of major fascicles in diffusion-weighted magnetic resonance imaging ( http://arxiv.org/abs/2006.11117v1 ) ライセンス: Link先を確認 | Davood Karimi, Lana Vasung, Camilo Jaimes, Fedel Machado-Rivas, Shadab Khan, Simon K. Warfield, Ali Gholipour | (参考訳) 脳の正確な接続解析には拡散強調磁気共鳴画像計測のマルチコンパートメントモデリングが必要である。
撮像ボクセル中のファシクルの数と向きを推定する既存の方法は、初期化や測定ノイズに敏感な非凸最適化技術に依存するか、またはスプリアスファシクルを予測する傾向がある。
本稿では,voxelにおけるファシクルの数と向きを正確に推定する機械学習に基づく手法を提案する。
本手法はシミュレーションまたは実拡散強調画像データを用いて訓練することができる。
本手法は,単位球上に均一に広がる離散方向の集合において,各方向に最も近いファシクルへの角度を推定する。
この情報を処理して、ボクセル内のファシクルの数と向きを抽出する。
既知の基底真理を持つ実写的ファントムデータに対して,本手法は既存の手法よりも精度良く交差するファシクルの数と向きを予測する。
また、より正確なトラクトグラフィーも行う。
実データでは,本手法はダウンサンプリング測定に対するロバスト性や,トラクトグラフィー結果の専門的品質評価の観点からも,標準手法よりも良好か好適である。 Multi-compartment modeling of diffusion-weighted magnetic resonance imaging measurements is necessary for accurate brain connectivity analysis. Existing methods for estimating the number and orientations of fascicles in an imaging voxel either depend on non-convex optimization techniques that are sensitive to initialization and measurement noise, or are prone to predicting spurious fascicles. In this paper, we propose a machine learning-based technique that can accurately estimate the number and orientations of fascicles in a voxel. Our method can be trained with either simulated or real diffusion-weighted imaging data. Our method estimates the angle to the closest fascicle for each direction in a set of discrete directions uniformly spread on the unit sphere. This information is then processed to extract the number and orientations of fascicles in a voxel. On realistic simulated phantom data with known ground truth, our method predicts the number and orientations of crossing fascicles more accurately than several existing methods. It also leads to more accurate tractography. On real data, our method is better than or compares favorably with standard methods in terms of robustness to measurement down-sampling and also in terms of expert quality assessment of tractography results. | 翻訳日:2022-11-19 05:09:17 公開日:2020-06-19 |
| # Pupil Center Detection Approachs: A comparison analysis Pupil Center Detection Approaches: A comparative analysis ( http://arxiv.org/abs/2006.11147v1 ) ライセンス: Link先を確認 | Tal\'ia V\'azquez Romaguera, Liset V\'azquez Romaguera, David Castro Pi\~nol, Carlos Rom\'an V\'azquez Seisdedos | (参考訳) 過去10年間で、視線追跡のための技術やツールの開発は、常に成長している。
画像処理技術を用いて瞳孔の中心を検出することは,このプロセスにおいて重要なステップである。
従来の画像処理と機械学習に基づく手法の両方を用いて,瞳孔中心検出のための多数の手法が提案されている。
提案手法は多岐にわたるが,同一の画像と性能指標を用いた性能比較は行われなかった。
本研究では,最もよく引用される瞳孔中心検出手法を,精度,頑健性,計算コストの点で比較することを目的とする。
これらの方法は、円ホフ変換、楕円フィッティング、ダウグマンの積分微分作用素、放射対称性変換に基づいている。
CASIA-IrisV3およびCASIA-IrisV4データベースから800個の赤外線画像を用いて比較解析を行った。
最適性能は94%以上の精度と平均ロバスト性を有するラジアル対称性変換に基づく方法により得られた。
楕円嵌合法により得られた最短処理時間は0.06秒であった。 In the last decade, the development of technologies and tools for eye tracking has been a constantly growing area. Detecting the center of the pupil, using image processing techniques, has been an essential step in this process. A large number of techniques have been proposed for pupil center detection using both traditional image processing and machine learning-based methods. Despite the large number of methods proposed, no comparative work on their performance was found, using the same images and performance metrics. In this work, we aim at comparing four of the most frequently cited traditional methods for pupil center detection in terms of accuracy, robustness, and computational cost. These methods are based on the circular Hough transform, ellipse fitting, Daugman's integro-differential operator and radial symmetry transform. The comparative analysis was performed with 800 infrared images from the CASIA-IrisV3 and CASIA-IrisV4 databases containing various types of disturbances. The best performance was obtained by the method based on the radial symmetry transform with an accuracy and average robustness higher than 94%. The shortest processing time, obtained with the ellipse fitting method, was 0.06 s. | 翻訳日:2022-11-19 05:08:57 公開日:2020-06-19 |
| # 完全畳み込みネットワークを用いたセマンティックセグメンテーションのための適応的特徴組換えと再分類 Adaptive feature recombination and recalibration for semantic segmentation with Fully Convolutional Networks ( http://arxiv.org/abs/2006.11193v1 ) ライセンス: Link先を確認 | Sergio Pereira, Adriano Pinto, Joana Amorim, Alexandrine Ribeiro, Victor Alves, Carlos A. Silva | (参考訳) 完全な畳み込みネットワークは、画像セマンティックセグメンテーションにおいて顕著な成果を上げつつ、効率的である。
このような効率性は、複数のボクセルを単一のフォワードパスでセグメンテーションする能力から生じる。
したがって、特徴写像内の単位と同じ位置にあるボクセルとの間の直接空間対応が存在する。
畳み込み層では、カーネルはすべてのチャネルにまたがり、それらから情報を抽出する。
チャネル数の増加と圧縮による特徴写像の線形組換えにより,識別能力が向上する可能性が示唆された。
さらに、すべてのフィーチャーマップが予測されるクラスに同じ関連性を持つわけではない。
畳み込みニューラルネットワークを用いた画像分類において、チャネル間関係を学習し、チャネルを再構成し、より関連性の低いものを抑制するために、スクイーズと励磁ブロックが提案されている。
しかし、これらは複数のオブジェクトを同時に分割するので、完全な畳み込みネットワークとのセグメンテーションには適していない。
本稿では,完全畳み込み型ネットワークであるsegseブロックを用いた意味セグメンテーションに適応した特徴の組換えと空間適応型組換えブロックを提案する。
チャンネル間の情報と空間的関連性を考慮して特徴マップを再構成する。
実験結果から,再組換えと再校正は競争ベースラインの結果を改善し,脳腫瘍のセグメンテーション,脳卒中陰影推定,虚血性脳梗塞の予後予測の3つの異なる問題を一般化した。
得られた結果は,3つのアプリケーションにおいて,芸術の状態を競争的あるいは圧倒的に上回っています。 Fully Convolutional Networks have been achieving remarkable results in image semantic segmentation, while being efficient. Such efficiency results from the capability of segmenting several voxels in a single forward pass. So, there is a direct spatial correspondence between a unit in a feature map and the voxel in the same location. In a convolutional layer, the kernel spans over all channels and extracts information from them. We observe that linear recombination of feature maps by increasing the number of channels followed by compression may enhance their discriminative power. Moreover, not all feature maps have the same relevance for the classes being predicted. In order to learn the inter-channel relationships and recalibrate the channels to suppress the less relevant ones, Squeeze and Excitation blocks were proposed in the context of image classification with Convolutional Neural Networks. However, this is not well adapted for segmentation with Fully Convolutional Networks since they segment several objects simultaneously, hence a feature map may contain relevant information only in some locations. In this paper, we propose recombination of features and a spatially adaptive recalibration block that is adapted for semantic segmentation with Fully Convolutional Networks - the SegSE block. Feature maps are recalibrated by considering the cross-channel information together with spatial relevance. Experimental results indicate that Recombination and Recalibration improve the results of a competitive baseline, and generalize across three different problems: brain tumor segmentation, stroke penumbra estimation, and ischemic stroke lesion outcome prediction. The obtained results are competitive or outperform the state of the art in the three applications. | 翻訳日:2022-11-19 05:08:23 公開日:2020-06-19 |
| # 社会的選択のための最適統計的仮説テスト Optimal Statistical Hypothesis Testing for Social Choice ( http://arxiv.org/abs/2006.11362v1 ) ライセンス: Link先を確認 | Lirong Xia | (参考訳) 有限モデルとランダム化テストに対して、ニーマン・ピアソン・フレームワークにおける一様で最も好ましくない分布の理論を利用して、「社会的選択のための最もロバストな統計的手法は何か」と題する質問に対して、我々は、mallowsモデルとcondorcetモデルの下で、ある選択肢がそれぞれ勝者であるかどうかをテストするために、よく受け入れられた統計最適性である、一様で最も強力な(ump)テストを特徴付ける。 We address the following question in this paper: "What are the most robust statistical methods for social choice?'' By leveraging the theory of uniformly least favorable distributions in the Neyman-Pearson framework to finite models and randomized tests, we characterize uniformly most powerful (UMP) tests, which is a well-accepted statistical optimality w.r.t. robustness, for testing whether a given alternative is the winner under Mallows' model and under Condorcet's model, respectively. | 翻訳日:2022-11-19 05:07:06 公開日:2020-06-19 |
| # ビデオパンオプティカルセグメンテーション Video Panoptic Segmentation ( http://arxiv.org/abs/2006.11339v1 ) ライセンス: Link先を確認 | Dahun Kim, Sanghyun Woo, Joon-Young Lee, In So Kweon | (参考訳) panoptic segmentationは、以前のセマンティックセグメンテーションとインスタンスセグメンテーションタスクを合体させることで、視覚認識タスクの新たな標準となった。
本稿では,ビデオパノプティカルセグメンテーションと呼ばれる,この課題の新たなビデオ拡張を提案し,検討する。
このタスクは、一貫した汎視的セグメンテーションと、ビデオフレーム間のインスタンスIDの関連を生成する必要がある。
この新しいタスクの研究を活性化するために,2種類のビデオパノプティクスデータセットを提示する。
1つ目は、合成VIPERデータセットをビデオパノプティクスフォーマットに再編成し、その大規模なピクセルアノテーションを活用することである。
2つ目はCityscapes valの時間延長である。
新しいvideo panopticアノテーション(cityscapes-vps)を提供する。
さらに,ビデオフレームのオブジェクトクラス,バウンディングボックス,マスク,インスタンスid追跡,意味セグメンテーションを共同で予測する新しいビデオパオプティクスセグメンテーションネットワーク(vpsnet)を提案する。
そこで本研究では,ビデオパノプティクス(VPQ)メトリクスを提案し,提案手法と他のいくつかのベースラインを評価した。
実験の結果,二つのデータセットの有効性が示された。
我々は、CityscapesのイメージPQおよびCityscapes-VPSおよびVIPERデータセットのVPQにおいて、最先端の結果を達成する。
データセットとコードは公開されています。 Panoptic segmentation has become a new standard of visual recognition task by unifying previous semantic segmentation and instance segmentation tasks in concert. In this paper, we propose and explore a new video extension of this task, called video panoptic segmentation. The task requires generating consistent panoptic segmentation as well as an association of instance ids across video frames. To invigorate research on this new task, we present two types of video panoptic datasets. The first is a re-organization of the synthetic VIPER dataset into the video panoptic format to exploit its large-scale pixel annotations. The second is a temporal extension on the Cityscapes val. set, by providing new video panoptic annotations (Cityscapes-VPS). Moreover, we propose a novel video panoptic segmentation network (VPSNet) which jointly predicts object classes, bounding boxes, masks, instance id tracking, and semantic segmentation in video frames. To provide appropriate metrics for this task, we propose a video panoptic quality (VPQ) metric and evaluate our method and several other baselines. Experimental results demonstrate the effectiveness of the presented two datasets. We achieve state-of-the-art results in image PQ on Cityscapes and also in VPQ on Cityscapes-VPS and VIPER datasets. The datasets and code are made publicly available. | 翻訳日:2022-11-19 05:00:51 公開日:2020-06-19 |
| # デジタル人形用モノクラー映像からのリアルタイム瞳孔追跡 Real-time Pupil Tracking from Monocular Video for Digital Puppetry ( http://arxiv.org/abs/2006.11341v1 ) ライセンス: Link先を確認 | Artsiom Ablavatski, Andrey Vakunov, Ivan Grishchenko, Karthik Raveendran, Matsvei Zhdanovich | (参考訳) モバイル端末上でのライブビデオからの瞳孔追跡のための簡単なリアルタイム手法を提案する。
本手法は,2次元で瞳孔の位置を推定する小さなニューラルネットワークと,瞳孔ブレンド形状係数の変位に基づく推定という,最先端の顔面メッシュ検出器を2つの新しいコンポーネントで拡張する。
本手法は,仮想人形の瞳運動を正確に制御し,活気とエネルギーを付与するのに有効である。
提案手法は、現代の携帯電話で50FPS以上で動作し、リアルタイムな操りパイプラインでの使用を可能にする。 We present a simple, real-time approach for pupil tracking from live video on mobile devices. Our method extends a state-of-the-art face mesh detector with two new components: a tiny neural network that predicts positions of the pupils in 2D, and a displacement-based estimation of the pupil blend shape coefficients. Our technique can be used to accurately control the pupil movements of a virtual puppet, and lends liveliness and energy to it. The proposed approach runs at over 50 FPS on modern phones, and enables its usage in any real-time puppeteering pipeline. | 翻訳日:2022-11-19 05:00:26 公開日:2020-06-19 |
| # 咬合下の顔認識技術に関する調査 A survey of face recognition techniques under occlusion ( http://arxiv.org/abs/2006.11366v1 ) ライセンス: Link先を確認 | Dan Zeng, Raymond Veldhuis and Luuk Spreeuwers | (参考訳) 隠蔽下での顔を認識する能力の制限は、顔認識システムや人間にもユニークな課題をもたらす長年の問題である。
咬合に関する問題は、ポーズの変化や表現の相違など他の課題と比較して、研究によってはあまりカバーされていない。
それにもかかわらず、オクルード顔認識は実世界のアプリケーションで顔認識の可能性を最大限に活用するために必須である。
本稿では,オクルード顔の認識範囲を限定する。
まず,咬合問題は何か,本質的な困難は何かを検討する。
本稿では,顔認識における予備的ステップである咬合下の顔検出について紹介する。
次に,既存の顔認識手法が咬合問題にどのように対処し,これらを3つのカテゴリに分類するかを示す。
1)閉塞性ロバストな特徴抽出手法
2) 排他的認識型顔認識アプローチ,及び
3) 咬合回復に基づく顔認識アプローチ。
さらに,モチベーション,イノベーション,長所,短所,比較のための代表的なアプローチのパフォーマンスについて分析した。
最後に, occluded face recognitionの今後の課題と手法について概説する。 The limited capacity to recognize faces under occlusions is a long-standing problem that presents a unique challenge for face recognition systems and even for humans. The problem regarding occlusion is less covered by research when compared to other challenges such as pose variation, different expressions, etc. Nevertheless, occluded face recognition is imperative to exploit the full potential of face recognition for real-world applications. In this paper, we restrict the scope to occluded face recognition. First, we explore what the occlusion problem is and what inherent difficulties can arise. As a part of this review, we introduce face detection under occlusion, a preliminary step in face recognition. Second, we present how existing face recognition methods cope with the occlusion problem and classify them into three categories, which are 1) occlusion robust feature extraction approaches, 2) occlusion aware face recognition approaches, and 3) occlusion recovery based face recognition approaches. Furthermore, we analyze the motivations, innovations, pros and cons, and the performance of representative approaches for comparison. Finally, future challenges and method trends of occluded face recognition are thoroughly discussed. | 翻訳日:2022-11-19 05:00:16 公開日:2020-06-19 |
| # ビデオに基づく人物再同定のための記号的時間プール法 A Symbolic Temporal Pooling method for Video-based Person Re-Identification ( http://arxiv.org/abs/2006.11416v1 ) ライセンス: Link先を確認 | S V Aruna Kumar, Ehsan Yaghoubi and Hugo Proen\c{c}a | (参考訳) ビデオベースの人物再同定では、空間的特徴と時間的特徴の両方が効果的な表現に直交的手がかりを提供することが知られている。
このような表現は、一般的にはmax/avgプーリングを使用してフレームレベルの特徴をモデルの各点で集約することで得られる。
しかし、これらの操作は利用可能な識別情報の量も減少し、異なるクラス間の分離性が低い場合には特に危険である。
そこで本研究では,各特徴に経験的累積分布関数(ECDF)を組み込むことにより,フレームレベルの特徴を分布値のシンボル形式で表現する,シンボリック・テンポラル・プーリング手法を提案する。
また、元の三重項損失の定式化がこのような表現に直接適用できないことを考慮し、2つのシンボルオブジェクト間の類似性を推論する記号三重項損失関数を導入する。
4つのよく知られたデータセット (MARS, iLIDS-VID, PRID 2011, P-DESTRE) において, 提案手法の最先端に対する広範な実証評価を行った結果, 従来手法よりも一貫した性能向上が得られた。 In video-based person re-identification, both the spatial and temporal features are known to provide orthogonal cues to effective representations. Such representations are currently typically obtained by aggregating the frame-level features using max/avg pooling, at different points of the models. However, such operations also decrease the amount of discriminating information available, which is particularly hazardous in case of poor separability between the different classes. To alleviate this problem, this paper introduces a symbolic temporal pooling method, where frame-level features are represented in the distribution valued symbolic form, yielding from fitting an Empirical Cumulative Distribution Function (ECDF) to each feature. Also, considering that the original triplet loss formulation cannot be applied directly to this kind of representations, we introduce a symbolic triplet loss function that infers the similarity between two symbolic objects. Having carried out an extensive empirical evaluation of the proposed solution against the state-of-the-art, in four well known data sets (MARS, iLIDS-VID, PRID2011 and P-DESTRE), the observed results point for consistent improvements in performance over the previous best performing techniques. | 翻訳日:2022-11-19 05:00:00 公開日:2020-06-19 |
| # 説明可能なAIを目指す畳み込みネットワークにおける埋め込みエンコーダデコーダ Embedded Encoder-Decoder in Convolutional Networks Towards Explainable AI ( http://arxiv.org/abs/2007.06712v1 ) ライセンス: Link先を確認 | Amirhossein Tavanaei | (参考訳) 近年,深層学習モデルの中間層理解と刺激の駆動特性の発見が注目されている。
説明可能な人工知能(XAI)は、AIブラックボックスを開く新しい方法を提供し、透明で解釈可能な決定をする。
本稿では、エンド・ツー・エンドのモデルアーキテクチャにおいて、刺激の視覚的特徴を重要かつ促進する新しい説明可能な畳み込みニューラルネットワーク(xcnn)を提案する。
このネットワークは、cnnアーキテクチャにおいてエンコーダ-デコーダニューラルネットワークを使用して、そのカテゴリに基づいて画像に対する関心領域を表現する。
提案モデルはローカライズラベルなしでトレーニングされ、余分な後処理ステップなしでネットワークアーキテクチャの一部としてヒートマップを生成する。
CIFAR-10, Tiny ImageNet, MNISTデータセットを用いた実験結果から, 提案アルゴリズム (XCNN) をCNNで説明可能なものにすることに成功した。
視覚的評価に基づいて,提案手法は,単純で柔軟なネットワークアーキテクチャを提供しながら,クラス固有の特徴表現と解釈可能なヒートマップ生成において,現在のアルゴリズムを上回っている。
このアプローチの最初の成功は、説明可能なフレームワークにおける弱教師付きローカライゼーションとセマンティックセグメンテーションを強化するためのさらなる研究を保証している。 Understanding intermediate layers of a deep learning model and discovering the driving features of stimuli have attracted much interest, recently. Explainable artificial intelligence (XAI) provides a new way to open an AI black box and makes a transparent and interpretable decision. This paper proposes a new explainable convolutional neural network (XCNN) which represents important and driving visual features of stimuli in an end-to-end model architecture. This network employs encoder-decoder neural networks in a CNN architecture to represent regions of interest in an image based on its category. The proposed model is trained without localization labels and generates a heat-map as part of the network architecture without extra post-processing steps. The experimental results on the CIFAR-10, Tiny ImageNet, and MNIST datasets showed the success of our algorithm (XCNN) to make CNNs explainable. Based on visual assessment, the proposed model outperforms the current algorithms in class-specific feature representation and interpretable heatmap generation while providing a simple and flexible network architecture. The initial success of this approach warrants further study to enhance weakly supervised localization and semantic segmentation in explainable frameworks. | 翻訳日:2022-11-19 04:59:11 公開日:2020-06-19 |
| # Vertex毎に複数のソースを持つグラフ Graphs with Multiple Sources per Vertex ( http://arxiv.org/abs/2006.11159v1 ) ライセンス: Link先を確認 | Martin van Harmelen, Jonas Groschwitz | (参考訳) AMR(Abstract Meaning Representations)を合成的に構築する試みがいくつか行われており、最近ではHR-algebra(Koller, 2015)でsグラフを使用するというアイデアが簡略化され、解析時のオプション数が削減された(Groschwitz et al., 2017)。
この応用修飾代数(英: apply-modify algebra、AM-algebra)は、言語学的に証明可能なグラフ代数で、ランク2の2種類の演算を持つ: 応用演算は述語とその引数を結合するために使用され、修正演算は述語を変更するために用いられる。
am-algebraは関係節や複雑なコーディネーションのケースを正しく扱うが、反射的な文を「レイヴンが自分自身を洗う」ように解釈することはできない。
このような回帰文の処理を容易にするために,本論文では, AM-algebra の基盤となる s-graph の定義を変更し, 頂点を複数のソースで扱えるようにし, さらに, それらの頂点を正しく扱うための代数の型システムへの適応を提案する。 Several attempts have been made at constructing Abstract Meaning Representations (AMRs) compositionally, and recently the idea of using s-graphs with the HR-algebra (Koller, 2015) has been simplified to reduce the number of options when parsing (Groschwitz et al., 2017). This apply-modify algebra (AM-algebra) is a linguistically plausible graph algebra with two classes of operations, both of rank two: the apply operation is used to combine a predicate with its argument; the modify operation is used to modify a predicate. While the AM-algebra correctly handles relative clauses and complex cases of coordination, it cannot parse reflexive sentences like: "The raven washes herself." To facilitate processing of such reflexive sentences, this paper proposes to change the definition of s-graphs underlying the AM-algebra to allow vertices with multiple sources, and additionally proposes an adaption to the type system of the algebra to correctly handle such vertices. | 翻訳日:2022-11-19 04:58:50 公開日:2020-06-19 |
| # 議論における純粋ナッシュ均衡の表現 Representing Pure Nash Equilibria in Argumentation ( http://arxiv.org/abs/2006.11020v1 ) ライセンス: Link先を確認 | Bruno Yun, Srdjan Vesic and Nir Oren | (参考訳) 本稿では,正規形ゲームの議論に基づく表現について述べるとともに,議論が純粋戦略のナッシュ均衡の計算にどのように使用できるかを示す。
我々のアプローチはModgilのExtended Argumentation Frameworksをベースにしています。
我々は、その正確性を実証し、それが満たされるいくつかの理論的性質を証明し、それがなぜ特定の戦略が非熟練の人間ユーザーにnash平衡であるのかを説明するのにどのように役立つかを概説する。 In this paper we describe an argumentation-based representation of normal form games, and demonstrate how argumentation can be used to compute pure strategy Nash equilibria. Our approach builds on Modgil's Extended Argumentation Frameworks. We demonstrate its correctness, prove several theoretical properties it satisfies, and outline how it can be used to explain why certain strategies are Nash equilibria to a non-expert human user. | 翻訳日:2022-11-19 04:58:01 公開日:2020-06-19 |
| # 解釈可能な模倣学習を伴うモデリングエージェントポリシー Modelling Agent Policies with Interpretable Imitation Learning ( http://arxiv.org/abs/2006.11309v1 ) ライセンス: Link先を確認 | Tom Bewley, Jonathan Lawry, Arthur Richards | (参考訳) 自律的なエージェントを安全クリティカルなドメインに展開するにつれて、内部メカニズムや表現を理解することが重要になります。
本稿では,mdp環境におけるブラックボックスエージェントポリシーのリバースエンジニアリングのための模倣学習のアプローチについて概説する。
このプロセスの一部として,マルコフ状態から構築した候補特徴の広い空間から選択することにより,エージェントの潜在状態表現を明示的にモデル化し学習する。
我々は,マルチエージェントの交通環境における実装からの最初の有望な結果を示す。 As we deploy autonomous agents in safety-critical domains, it becomes important to develop an understanding of their internal mechanisms and representations. We outline an approach to imitation learning for reverse-engineering black box agent policies in MDP environments, yielding simplified, interpretable models in the form of decision trees. As part of this process, we explicitly model and learn agents' latent state representations by selecting from a large space of candidate features constructed from the Markov state. We present initial promising results from an implementation in a multi-agent traffic environment. | 翻訳日:2022-11-19 04:51:31 公開日:2020-06-19 |
| # 連続皮膚内視鏡画像を用いた時空間特徴学習による黒色腫の診断 Melanoma Diagnosis with Spatio-Temporal Feature Learning on Sequential Dermoscopic Images ( http://arxiv.org/abs/2006.10950v1 ) ライセンス: Link先を確認 | Zhen Yu, Jennifer Nguyen, Xiaojun Chang, John Kelly, Catriona Mclean, Lei Zhang, Victoria Mar, Zongyuan Ge | (参考訳) 悪性黒色腫の診断のための既存の研究は、病変の単一点画像に基づいている。
しかし、事実上のメラノサイトーシス病変は徐々に進化しており、さらに良性病変は悪性黒色腫へと進行する。
病変の経時的変化を無視すると,境界症例の誤診につながる可能性がある。
本研究は, 皮膚科医が経時的皮膚内視鏡的変化を経過観察し, 皮膚病変の診断に有用であったことを踏まえ, 連続的な皮膚内視鏡画像を用いたメラノーマ診断のための自動枠組みを提案する。
本研究では,2ストリームネットワークアーキテクチャを用いて,原画素差と抽象的特徴差の時間的推論を行いながら,個々の病変の外観表現を同時に学習できるモデルを構築した。
組織学的に確認された良性病変92例と黒色腫病変92例からなる連続皮膚内視鏡画像データ184例を収集し,本法の有効性について検討した。
我々のモデルは74.34%のAUCを達成し、これは単一画像のみを用いたものよりも約8%高く、LSTMに基づく広く使われているシーケンス学習モデルよりも約6%高い。 Existing studies for automated melanoma diagnosis are based on single-time point images of lesions. However, melanocytic lesions de facto are progressively evolving and, moreover, benign lesions can progress into malignant melanoma. Ignoring cross-time morphological changes of lesions thus may lead to misdiagnosis in borderline cases. Based on the fact that dermatologists diagnose ambiguous skin lesions by evaluating the dermoscopic changes over time via follow-up examination, in this study, we propose an automated framework for melanoma diagnosis using sequential dermoscopic images. To capture the spatio-temporal characterization of dermoscopic evolution, we construct our model in a two-stream network architecture which capable of simultaneously learning appearance representations of individual lesions while performing temporal reasoning on both raw pixels difference and abstract features difference. We collect 184 cases of serial dermoscopic image data, which consists of histologically confirmed 92 benign lesions and 92 melanoma lesions, to evaluate the effectiveness of the proposed method. Our model achieved AUC of 74.34%, which is ~8% higher than that of only using single images and ~6% higher than the widely used sequence learning model based on LSTM. | 翻訳日:2022-11-19 04:51:22 公開日:2020-06-19 |
| # Attention Mesh: リアルタイムの高忠実な顔メッシュ予測 Attention Mesh: High-fidelity Face Mesh Prediction in Real-time ( http://arxiv.org/abs/2006.10962v1 ) ライセンス: Link先を確認 | Ivan Grishchenko, Artsiom Ablavatski, Yury Kartynnik, Karthik Raveendran, Matthias Grundmann | (参考訳) 我々は,意味的に有意味な領域に注目した3次元顔メッシュ予測のための軽量アーキテクチャである attention mesh を提案する。
当社のニューラルネットワークは、デバイス上のリアルタイム推論用に設計されており、Pixel 2で50FPS以上で動作する。
私たちのソリューションでは、目と唇の領域の高精度なランドマークに依存するarメイク、アイトラッキング、arpuppeteeringなどのアプリケーションを可能にしています。
私たちの主な貢献は、顔のランドマークを多段階のカスケードアプローチと同じ精度で達成し、30%高速な統合ネットワークアーキテクチャです。 We present Attention Mesh, a lightweight architecture for 3D face mesh prediction that uses attention to semantically meaningful regions. Our neural network is designed for real-time on-device inference and runs at over 50 FPS on a Pixel 2 phone. Our solution enables applications like AR makeup, eye tracking and AR puppeteering that rely on highly accurate landmarks for eye and lips regions. Our main contribution is a unified network architecture that achieves the same accuracy on facial landmarks as a multi-stage cascaded approach, while being 30 percent faster. | 翻訳日:2022-11-19 04:51:01 公開日:2020-06-19 |
| # イメージ感情伝達 Image Sentiment Transfer ( http://arxiv.org/abs/2006.11337v1 ) ライセンス: Link先を確認 | Tianlang Chen, Wei Xiong, Haitian Zheng, Jiebo Luo | (参考訳) 本研究では,重要な研究課題である感情伝達について紹介する。
画像間の変換や画像スタイルの転送など、他のよく研究されているタスクと比較すると、イメージの感情の伝達はより困難である。
入力画像が与えられると、各対象の感情を転送するルールは完全に異なり、単一の参照画像によるグローバル画像転送が不十分な既存のアプローチが満足のいく性能を達成する。
本稿では,オブジェクトレベルで画像の感情伝達を行う,効果的で柔軟なフレームワークを提案する。
まずオブジェクトを検出し、ピクセルレベルのマスクを抽出し、対応するオブジェクトの複数の参照イメージによって誘導されたオブジェクトレベルの感情伝達を実行する。
中心となるオブジェクトレベルの感情伝達には,新しい感性認識型GAN(SentiGAN)を提案する。
グローバルイメージレベルとローカルオブジェクトレベルの両方を、SentiGANのトレーニングに課している。
さらに、コンテンツアライメントステップと協調する効果的なコンテンツアンタングルメント損失を適用し、入力画像の残感関連情報をより良いアンタングル化させる。
提案するフレームワークの有効性を実証したオブジェクト指向VSOデータセットに対して,大規模な定量的および定性的な実験を行った。 In this work, we introduce an important but still unexplored research task -- image sentiment transfer. Compared with other related tasks that have been well-studied, such as image-to-image translation and image style transfer, transferring the sentiment of an image is more challenging. Given an input image, the rule to transfer the sentiment of each contained object can be completely different, making existing approaches that perform global image transfer by a single reference image inadequate to achieve satisfactory performance. In this paper, we propose an effective and flexible framework that performs image sentiment transfer at the object level. It first detects the objects and extracts their pixel-level masks, and then performs object-level sentiment transfer guided by multiple reference images for the corresponding objects. For the core object-level sentiment transfer, we propose a novel Sentiment-aware GAN (SentiGAN). Both global image-level and local object-level supervisions are imposed to train SentiGAN. More importantly, an effective content disentanglement loss cooperating with a content alignment step is applied to better disentangle the residual sentiment-related information of the input image. Extensive quantitative and qualitative experiments are performed on the object-oriented VSO dataset we create, demonstrating the effectiveness of the proposed framework. | 翻訳日:2022-11-19 04:49:18 公開日:2020-06-19 |
| # COVIDLite: 新型コロナウイルス検出のためのホワイトバランスとCLAHEを備えたディープワイド分離型ディープニューラルネットワーク COVIDLite: A depth-wise separable deep neural network with white balance and CLAHE for detection of COVID-19 ( http://arxiv.org/abs/2006.13873v1 ) ライセンス: Link先を確認 | Manu Siddhartha and Avik Santra | (参考訳) 現在、全世界で新型コロナウイルス(covid-19、covid-19)が流行しており、約330万人のアクティブ患者と4.4人のlakh死者が200か国以上で発生している。
感染者数が急増し,検査キットの供給が限られているため,早期の感染拡大と死亡数の減少には,代替診断法が不可欠である。
代替診断法として,Chest X-ray(CXR)画像を用いて,モバイルデバイスと簡単に統合してウイルス性肺炎を検出できるディープニューラルネットワークを用いた診断法を提案する。
方法:本研究では,ホワイトバランスとコントラスト限定適応ヒストグラム等化(clahe)と深さ分離型畳み込みニューラルネットワーク(dscnn)を組み合わせたcovidolite法を提案する。
この方法では、CXR画像の視認性を高めるための画像前処理ステップとしてCLAHEが続き、スパースクロスエントロピーを用いて訓練されたDSCNNが、より少ないパラメータを持つ画像分類、すなわち量子化のない8.4MBの画像分類に使用される。
結果:提案したCOVIDLite法は前処理なしのバニラDSCNNと比較して改善した。
提案手法は2値分類の精度が99.58%,マルチクラス分類の96.43%,最先端手法が96.43%であった。
結論: 提案手法により, COVIDLite は, 様々な性能指標において例外的な結果を得た。
詳細なモデル解釈によって、COVIDLiteはCXR画像から新型コロナウイルス患者を検出できるため、診断時間を大幅に短縮することができる。 Background and Objective:Currently, the whole world is facing a pandemic disease, novel Coronavirus also known as COVID-19, which spread in more than 200 countries with around 3.3 million active cases and 4.4 lakh deaths approximately. Due to rapid increase in number of cases and limited supply of testing kits, availability of alternative diagnostic method is necessary for containing the spread of COVID-19 cases at an early stage and reducing the death count. For making available an alternative diagnostic method, we proposed a deep neural network based diagnostic method which can be easily integrated with mobile devices for detection of COVID-19 and viral pneumonia using Chest X-rays (CXR) images. Methods:In this study, we have proposed a method named COVIDLite, which is a combination of white balance followed by Contrast Limited Adaptive Histogram Equalization (CLAHE) and depth-wise separable convolutional neural network (DSCNN). In this method, white balance followed by CLAHE is used as an image preprocessing step for enhancing the visibility of CXR images and DSCNN trained using sparse cross entropy is used for image classification with lesser parameters and significantly lighter in size, i.e., 8.4 MB without quantization. Results:The proposed COVIDLite method resulted in improved performance in comparison to vanilla DSCNN with no pre-processing. The proposed method achieved higher accuracy of 99.58% for binary classification, whereas 96.43% for multiclass classification and out-performed various state-of-the-art methods. Conclusion:Our proposed method, COVIDLite achieved exceptional results on various performance metrics. With detailed model interpretations, COVIDLite can assist radiologists in detecting COVID-19 patients from CXR images and can reduce the diagnosis time significantly. | 翻訳日:2022-11-19 04:43:29 公開日:2020-06-19 |
| # 最適潮流の学習:ニューラルネットワークの最悪の保証 Learning Optimal Power Flow: Worst-Case Guarantees for Neural Networks ( http://arxiv.org/abs/2006.11029v1 ) ライセンス: Link先を確認 | Andreas Venzke, Guannan Qu, Steven Low, Spyros Chatzivasileiadis | (参考訳) 本稿では、最適電力フロー問題(OPF)の学習を指針として、ニューラルネットワーク性能の証明可能な最悪の保証を得るためのフレームワークを初めて紹介する。
ニューラルネットワークは、OPFソリューションの計算時間を著しく短縮する可能性がある。
しかしながら、最悪のパフォーマンスに対する保証の欠如は、実際に採用する上で大きな障壁である。
この作業は、この障壁を取り除くことを目的としている。
我々は混合整数線形プログラムを定式化し、ニューラルネットワークの予測に関する最悪の保証を得る。
(i)最大制約違反
(ii)予測変数と最適決定変数の最大距離、
(iii)最大準最適性。
我々は,最大300台までのPGLib-OPFネットワーク上で本手法を実証する。
従来手法で計算された経験的下限よりも,最悪の場合の保証が1桁も大きいことを示す。
より重要なことは、入力ドメインのトレーニング領域の境界に最悪のケース予測が現れることを示し、評価したドメインよりも大きな入力ドメインでトレーニングすることで、最悪のケース保証を体系的に削減できることを実証する。 This paper introduces for the first time a framework to obtain provable worst-case guarantees for neural network performance, using learning for optimal power flow (OPF) problems as a guiding example. Neural networks have the potential to substantially reduce the computing time of OPF solutions. However, the lack of guarantees for their worst-case performance remains a major barrier for their adoption in practice. This work aims to remove this barrier. We formulate mixed-integer linear programs to obtain worst-case guarantees for neural network predictions related to (i) maximum constraint violations, (ii) maximum distances between predicted and optimal decision variables, and (iii) maximum sub-optimality. We demonstrate our methods on a range of PGLib-OPF networks up to 300 buses. We show that the worst-case guarantees can be up to one order of magnitude larger than the empirical lower bounds calculated with conventional methods. More importantly, we show that the worst-case predictions appear at the boundaries of the training input domain, and we demonstrate how we can systematically reduce the worst-case guarantees by training on a larger input domain than the domain they are evaluated on. | 翻訳日:2022-11-19 04:42:57 公開日:2020-06-19 |
| # 液体ロケットエンジンの過渡制御のための強化学習手法 A Reinforcement Learning Approach for Transient Control of Liquid Rocket Engines ( http://arxiv.org/abs/2006.11108v1 ) ライセンス: Link先を確認 | G\"unther Waxenegger-Wilfing, Kai Dresia, Jan Christian Deeken, Michael Oschwald | (参考訳) 現在、液体ロケットエンジンは、ほぼ定常的な運用条件でクローズドループ制御を使用している。
過渡相の制御は伝統的に、高非線形系のダイナミクスのために開ループで行われる。
この状況は特に再利用可能なエンジンには不満足である。
オープンループ制御システムは、外乱やエンジン部品の経時的劣化のために最適なエンジン性能を提供できない。
本稿では,ジェネリックガス発生エンジンの連続起動位相の最適制御のための深層強化学習手法について検討する。
その結果,学習方針は異なる定常動作点に到達でき,システムパラメータの変化に納得できることがわかった。
慎重に調整されたオープンループシーケンスとPIDコントローラとの定量的比較を含む。
深層強化学習制御は高い性能を達成し、制御動作を計算するのに最小限の計算労力しか必要としないが、これはモデル予測制御のようなオンライン最適化を必要とするアプローチに対して大きな利点である。
コントロール。 Nowadays, liquid rocket engines use closed-loop control at most near steady operating conditions. The control of the transient phases is traditionally performed in open-loop due to highly nonlinear system dynamics. This situation is unsatisfactory, in particular for reusable engines. The open-loop control system cannot provide optimal engine performance due to external disturbances or the degeneration of engine components over time. In this paper, we study a deep reinforcement learning approach for optimal control of a generic gas-generator engine's continuous start-up phase. It is shown that the learned policy can reach different steady-state operating points and convincingly adapt to changing system parameters. A quantitative comparison with carefully tuned open-loop sequences and PID controllers is included. The deep reinforcement learning controller achieves the highest performance and requires only minimal computational effort to calculate the control action, which is a big advantage over approaches that require online optimization, such as model predictive control. control. | 翻訳日:2022-11-19 04:42:43 公開日:2020-06-19 |
| # $\lambda$-regularized A-Optimal Designと$\lambda$-regularized Proportional Volume Smplingによる近似 $\lambda$-Regularized A-Optimal Design and its Approximation by $\lambda$-Regularized Proportional Volume Sampling ( http://arxiv.org/abs/2006.11182v1 ) ライセンス: Link先を確認 | Uthaipon Tantipongpipat | (参考訳) 本研究では,この問題に対して,前回の処理で拡張した近似保証を用いて,$\lambda$-regularized $A$-optimal design problemを調査し,[Nikolov, Singh, Tantipongpipat, 2019]から一般化した$\lambda$-regularized proportional volume sample algorithmを導入する。
この問題では、ベクトル $v_1,\ldots,v_n\in\mathbb{R}^d$ in $d$ dimensions, a budget $k\leq n$, and the regularizer parameter $\lambda\geq0$, and the goal to find a subset $S\subseteq [n]$ of size $k$ that minimizes the trace of $\left(\sum_{i\in S}v_iv_i^\top + \lambda I_d\right)^{-1}$ ここで$I_d$は$d\times d$ID行列である。
この問題はリッジ回帰の最適設計に動機付けられており、リッジ回帰予測器の期待二乗誤差を基礎となる線形モデルにおける真の係数から最小化しようとする。
我々は、$\lambda$-regularized proportional volume sampleを導入し、この問題を解決するための多項式時間実装を提供する。
1+\frac{\epsilon}{\sqrt{1+\lambda'}})$-approximation for $k=\omega\left(\frac d\epsilon+\frac{\log 1/\epsilon}{\epsilon^2}\right)$ where $\lambda'$ is proportional to $\lambda$, extended the previous bound in [nikolov, singh, and tantipongpipat, 2019] to the case $\lambda>0$ and obtained asymptotic optimality as $\lambda\rightarrow \infty$。 In this work, we study the $\lambda$-regularized $A$-optimal design problem and introduce the $\lambda$-regularized proportional volume sampling algorithm, generalized from [Nikolov, Singh, and Tantipongpipat, 2019], for this problem with the approximation guarantee that extends upon the previous work. In this problem, we are given vectors $v_1,\ldots,v_n\in\mathbb{R}^d$ in $d$ dimensions, a budget $k\leq n$, and the regularizer parameter $\lambda\geq0$, and the goal is to find a subset $S\subseteq [n]$ of size $k$ that minimizes the trace of $\left(\sum_{i\in S}v_iv_i^\top + \lambda I_d\right)^{-1}$ where $I_d$ is the $d\times d$ identity matrix. The problem is motivated from optimal design in ridge regression, where one tries to minimize the expected squared error of the ridge regression predictor from the true coefficient in the underlying linear model. We introduce $\lambda$-regularized proportional volume sampling and give its polynomial-time implementation to solve this problem. We show its $(1+\frac{\epsilon}{\sqrt{1+\lambda'}})$-approximation for $k=\Omega\left(\frac d\epsilon+\frac{\log 1/\epsilon}{\epsilon^2}\right)$ where $\lambda'$ is proportional to $\lambda$, extending the previous bound in [Nikolov, Singh, and Tantipongpipat, 2019] to the case $\lambda>0$ and obtaining asymptotic optimality as $\lambda\rightarrow \infty$. | 翻訳日:2022-11-19 04:42:31 公開日:2020-06-19 |
| # ロシアにおける姿勢抽出のための感性枠 Sentiment Frames for Attitude Extraction in Russian ( http://arxiv.org/abs/2006.10973v1 ) ライセンス: Link先を確認 | Natalia Loukachevitch, Nicolay Rusnachenko | (参考訳) テキストは、意見や態度に関する様々な種類の相互関連情報を伝達することができる。
このような情報には、著者の言及されたエンティティに対する態度、エンティティの互いに対する態度、説明された状況におけるエンティティに対する肯定的および否定的な影響が含まれる。
本稿では,前置詞や表現を収集し,態度や効果に関する先述的な情報を伝達する感情フレームと関連づけた,ロシア語のレキシコン・ルーシエンスフレームについて述べる。
作成したフレームを大規模なニュース収集から態度を抽出する作業に適用した。 Texts can convey several types of inter-related information concerning opinions and attitudes. Such information includes the author's attitude towards mentioned entities, attitudes of the entities towards each other, positive and negative effects on the entities in the described situations. In this paper, we described the lexicon RuSentiFrames for Russian, where predicate words and expressions are collected and linked to so-called sentiment frames conveying several types of presupposed information on attitudes and effects. We applied the created frames in the task of extracting attitudes from a large news collection. | 翻訳日:2022-11-19 04:41:03 公開日:2020-06-19 |
| # 構成構造と依存構造に基づく統語・統語構文解析 A Survey of Syntactic-Semantic Parsing Based on Constituent and Dependency Structures ( http://arxiv.org/abs/2006.11056v1 ) ライセンス: Link先を確認 | Meishan Zhang | (参考訳) 構文解析と意味解析は数十年にわたって研究されてきたが、これは自然言語処理コミュニティにおける主要なトピックである。
この記事では、このトピックに関する簡単な調査を目指しています。
パースコミュニティには多くのタスクが含まれており、完全にカバーすることは難しい。
ここでは構文解析の最も一般的な形式化である構成構文解析と依存関係解析の2つに焦点を当てる。
構成解析は主に構文解析を対象とし、依存解析は構文解析と意味解析の両方を扱うことができる。
本稿では、構成解析と依存性解析の代表モデルと、リッチセマンティクスを用いた依存性グラフ解析について概説する。
さらに,クロスドメイン,クロスランガル,ジョイントパースモデル,パーサアプリケーション,コーパス解析のコーパス開発など,密接に関連するトピックについてもレビューする。 Syntactic and semantic parsing has been investigated for decades, which is one primary topic in the natural language processing community. This article aims for a brief survey on this topic. The parsing community includes many tasks, which are difficult to be covered fully. Here we focus on two of the most popular formalizations of parsing: constituent parsing and dependency parsing. Constituent parsing is majorly targeted to syntactic analysis, and dependency parsing can handle both syntactic and semantic analysis. This article briefly reviews the representative models of constituent parsing and dependency parsing, and also dependency graph parsing with rich semantics. Besides, we also review the closely-related topics such as cross-domain, cross-lingual and joint parsing models, parser application as well as corpus development of parsing in the article. | 翻訳日:2022-11-19 04:40:55 公開日:2020-06-19 |
| # 何らかの)無効な手段による正当な因果推論 Valid Causal Inference with (Some) Invalid Instruments ( http://arxiv.org/abs/2006.11386v1 ) ライセンス: Link先を確認 | Jason Hartford, Victor Veitch, Dhanya Sridhar, Kevin Leyton-Brown | (参考訳) インストゥルメンタル変数法は、観測されていない共役の存在下で因果効果を推定する強力なアプローチを提供する。
しかし、それらを適用する際の重要な課題は、機器変数と治療によって媒介されない反応との関係を除外する、証明不可能な「排除」仮定に依存することである。
本稿では,排他的仮定に反するにもかかわらず,一貫したIV推定を行う方法を示す。
特に、複数の候補機器がある場合、これらの候補の過半数(あるいはより一般的には、モーダルな候補-応答関係)が因果効果を推定するのに有効であることを示す。
本手法では,機器変数推定器のアンサンブルからモーダル予測を推定する。
このテクニックは簡単に適用でき、各有効な機器に対して処理効果が独立に特定される限り、任意の機器変数推定器で使用することができるという意味で「ブラックボックス」である。
このように、複雑な高次元データに対して条件平均処理効果(CATE)を推定できる最近の機械学習ベースの推定器と互換性がある。
実験では, 深層ネットワークに基づく推定器のアンサンブルを用いて, 条件付き平均治療効果の正確な推定を行う。 Instrumental variable methods provide a powerful approach to estimating causal effects in the presence of unobserved confounding. But a key challenge when applying them is the reliance on untestable "exclusion" assumptions that rule out any relationship between the instrument variable and the response that is not mediated by the treatment. In this paper, we show how to perform consistent IV estimation despite violations of the exclusion assumption. In particular, we show that when one has multiple candidate instruments, only a majority of these candidates---or, more generally, the modal candidate-response relationship---needs to be valid to estimate the causal effect. Our approach uses an estimate of the modal prediction from an ensemble of instrumental variable estimators. The technique is simple to apply and is "black-box" in the sense that it may be used with any instrumental variable estimator as long as the treatment effect is identified for each valid instrument independently. As such, it is compatible with recent machine-learning based estimators that allow for the estimation of conditional average treatment effects (CATE) on complex, high dimensional data. Experimentally, we achieve accurate estimates of conditional average treatment effects using an ensemble of deep network-based estimators, including on a challenging simulated Mendelian Randomization problem. | 翻訳日:2022-11-19 04:33:11 公開日:2020-06-19 |
| # オンライン学習によるミニマックス推定器の学習 Learning Minimax Estimators via Online Learning ( http://arxiv.org/abs/2006.11430v1 ) ライセンス: Link先を確認 | Kartik Gupta, Arun Sai Suggala, Adarsh Prasad, Praneeth Netrapalli, Pradeep Ravikumar | (参考訳) 確率分布のパラメータを推定するミニマックス推定器を設計する際の問題点を考察する。
MLEや最小距離推定器のような古典的手法とは異なり、そのような推定器を構築するアルゴリズム的なアプローチを考える。
我々はミニマックス推定器をゼロサムゲームの混合戦略ナッシュ均衡として設計する問題を考察する。
非凸損失を伴うオンライン学習の最近の結果を活用することで、一般の非凸ゼロサムゲームの混合戦略ナッシュ均衡を求めるアルゴリズムを提供する。
我々のアルゴリズムは2つのサブルーチンにアクセスする必要がある。
(a)所定の事前確率分布に対応するベイズ推定器を出力するもの、
(b)任意の推定者の最悪の場合のリスクを計算するもの
これら2つのサブルーチンにアクセスすると、我々のアルゴリズムはミニマックス推定器と最寄りの予測器の両方を出力することを示す。
このアプローチのパワーを実証するために、有限ガウス列モデルにおける推定や線形回帰といった古典的問題に対する証明可能なミニマックス推定器を構築する。 We consider the problem of designing minimax estimators for estimating the parameters of a probability distribution. Unlike classical approaches such as the MLE and minimum distance estimators, we consider an algorithmic approach for constructing such estimators. We view the problem of designing minimax estimators as finding a mixed strategy Nash equilibrium of a zero-sum game. By leveraging recent results in online learning with non-convex losses, we provide a general algorithm for finding a mixed-strategy Nash equilibrium of general non-convex non-concave zero-sum games. Our algorithm requires access to two subroutines: (a) one which outputs a Bayes estimator corresponding to a given prior probability distribution, and (b) one which computes the worst-case risk of any given estimator. Given access to these two subroutines, we show that our algorithm outputs both a minimax estimator and a least favorable prior. To demonstrate the power of this approach, we use it to construct provably minimax estimators for classical problems such as estimation in the finite Gaussian sequence model, and linear regression. | 翻訳日:2022-11-19 04:32:51 公開日:2020-06-19 |
| # データから個人の公正度を学習する2つの簡単な方法 Two Simple Ways to Learn Individual Fairness Metrics from Data ( http://arxiv.org/abs/2006.11439v1 ) ライセンス: Link先を確認 | Debarghya Mukherjee, Mikhail Yurochkin, Moulinath Banerjee, Yuekai Sun | (参考訳) 個人的公正はアルゴリズム的公正の直感的な定義であり、グループ的公正の欠点のいくつかに対処する。
その利点にも拘わらず、目前にあるMLタスクにとって公平で不公平なものの直観を符号化するタスク固有の公正な指標に依存しており、多くのMLタスクに対して広く受け入れられている公正な指標が欠如していることが、個人の公正を広く採用する上での障壁である。
本稿では,様々なデータ型から公正なメトリクスを学習するための2つの簡単な方法を提案する。
学習した指標による公正なトレーニングが、性別や人種的偏見に影響を受けやすい3つの機械学習タスクの公平性を改善することを実証的に示す。
また,両手法の統計的性能に関する理論的保証も提供する。 Individual fairness is an intuitive definition of algorithmic fairness that addresses some of the drawbacks of group fairness. Despite its benefits, it depends on a task specific fair metric that encodes our intuition of what is fair and unfair for the ML task at hand, and the lack of a widely accepted fair metric for many ML tasks is the main barrier to broader adoption of individual fairness. In this paper, we present two simple ways to learn fair metrics from a variety of data types. We show empirically that fair training with the learned metrics leads to improved fairness on three machine learning tasks susceptible to gender and racial biases. We also provide theoretical guarantees on the statistical performance of both approaches. | 翻訳日:2022-11-19 04:32:32 公開日:2020-06-19 |
| # エネルギー負荷のキャリブレーションと最適化のためのエンドツーエンドの深部メタモデリング End-to-end deep metamodeling to calibrate and optimize energy loads ( http://arxiv.org/abs/2006.12390v1 ) ライセンス: Link先を確認 | Max Cohen (TSP, IP Paris, SAMOVAR), Maurice Charbit (LTCI), Sylvain Le Corff (TSP, IP Paris, SAMOVAR), Marius Preda (TSP, IP Paris, SAMOVAR), Gilles Nozi\`ere | (参考訳) 本稿では,大規模建物のエネルギー性能と快適性,空気質,衛生性を最適化するエンド・ツー・エンド手法を提案する。
シミュレーションプログラムでサンプル化したデータセットを用いてトランスフォーマーネットワークに基づくメタモデルを導入,訓練する。
次に、CMA-ES最適化アルゴリズムとセンサから得られた実データを用いて、いくつかの物理パラメータと、このメタモデルの構築管理システム設定を校正する。
最後に、多目的最適化手法を用いて、目標温度の快適性と空気品質を維持しながらエネルギー負荷を最小化するための最適設定を求める。
数値実験は、このメタモデルがエネルギー効率の大幅な向上を保証し、膨大な物理パラメータを推定しなければならないモデルよりも計算的に魅力的であることを示す。 In this paper, we propose a new end-to-end methodology to optimize the energy performance and the comfort, air quality and hygiene of large buildings. A metamodel based on a Transformer network is introduced and trained using a dataset sampled with a simulation program. Then, a few physical parameters and the building management system settings of this metamodel are calibrated using the CMA-ES optimization algorithm and real data obtained from sensors. Finally, the optimal settings to minimize the energy loads while maintaining a target thermal comfort and air quality are obtained using a multi-objective optimization procedure. The numerical experiments illustrate how this metamodel ensures a significant gain in energy efficiency while being computationally much more appealing than models requiring a huge number of physical parameters to be estimated. | 翻訳日:2022-11-19 04:32:19 公開日:2020-06-19 |
| # 領域シフトを伴う医用画像分割における破損ラベルに対するクロスデノジングネットワーク Cross-denoising Network against Corrupted Labels in Medical Image Segmentation with Domain Shift ( http://arxiv.org/abs/2006.10990v1 ) ライセンス: Link先を確認 | Qinming Zhang, Luyan Liu, Kai Ma, Cheng Zhuo, Yefeng Zheng | (参考訳) ディープ畳み込みニューラルネットワーク(DCNN)は、特に医用画像の分野で、セグメンテーションタスクにおいて多くのブレークスルーをもたらした。
しかし、医用画像における一般的な2つの問題である \textit{ domain shift} と \textit{corrupted annotations} は、実際にDCNNの性能を劇的に低下させる。
本稿では、2つのピアネットワークを用いてドメインシフトとラベルの破損に対処し、ピアレビュー戦略を用いてロバストなクロスデノライズ・フレームワークを提案する。
具体的には、各ネットワークがメンターとして働き、相互に監督され、ピアネットワークが選択した信頼できるサンプルから学び、腐敗したラベルと戦う。
さらに, 各種ノイズ汚染ラベルの下で, キー位置を捕捉し, 誤差をフィルタするために, 耐雑音損失を提案する。
累積誤差をさらに低減するために,クラスレベルで最も確実な予測を用いたクラス不均衡クロスラーニングを導入する。
光学ディスク(OD)とオプティコップ(OC)セグメンテーションのためのREFUGEとDrishti-GSデータセットの実験結果から,提案手法の最先端手法における優れた性能を示した。 Deep convolutional neural networks (DCNNs) have contributed many breakthroughs in segmentation tasks, especially in the field of medical imaging. However, \textit{domain shift} and \textit{corrupted annotations}, which are two common problems in medical imaging, dramatically degrade the performance of DCNNs in practice. In this paper, we propose a novel robust cross-denoising framework using two peer networks to address domain shift and corrupted label problems with a peer-review strategy. Specifically, each network performs as a mentor, mutually supervised to learn from reliable samples selected by the peer network to combat with corrupted labels. In addition, a noise-tolerant loss is proposed to encourage the network to capture the key location and filter the discrepancy under various noise-contaminant labels. To further reduce the accumulated error, we introduce a class-imbalanced cross learning using most confident predictions at the class-level. Experimental results on REFUGE and Drishti-GS datasets for optic disc (OD) and optic cup (OC) segmentation demonstrate the superior performance of our proposed approach to the state-of-the-art methods. | 翻訳日:2022-11-19 04:31:49 公開日:2020-06-19 |
| # 画像復元のための連結注意ニューラルネットワーク Concatenated Attention Neural Network for Image Restoration ( http://arxiv.org/abs/2006.11162v1 ) ライセンス: Link先を確認 | Tian YingJie, Wang YiQi, Yang LinRui, Qi ZhiQuan | (参考訳) 本稿では,画像圧縮アーティファクトの削減や画像デノーミングを含む低レベル視覚タスクのための一般的なフレームワークを提案する。
この枠組みの下では、新しい連結型注意ニューラルネットワーク(canet)が画像復元のために特別に設計されている。
本論文の主な貢献は以下のとおりである。 まず、簡潔だが効果的な結合と特徴選択機構を適用して、モジュールスタックネットワーク内の異なるモジュールを接続する新しい接続機構を確立する。
第2に、各モジュール畳み込み層に画素単位およびチャネル単位の注目機構が使用され、画像中のより重要な情報の抽出を促進する。
最後に,圧縮アーティファクトの除去と画像デノイジングに関する十分な実験を行い,canetが従来の最先端手法よりも優れた結果を得ることを示す。 In this paper, we present a general framework for low-level vision tasks including image compression artifacts reduction and image denoising. Under this framework, a novel concatenated attention neural network (CANet) is specifically designed for image restoration. The main contributions of this paper are as follows: First, by applying concise but effective concatenation and feature selection mechanism, we establish a novel connection mechanism which connect different modules in the modules stacking network. Second, both pixel-wise and channel-wise attention mechanisms are used in each module convolution layer, which promotes further extraction of more essential information in images. Lastly, we demonstrate that CANet achieves better results than previous state-of-the-art approaches with sufficient experiments in compression artifacts removing and image denoising. | 翻訳日:2022-11-19 04:31:22 公開日:2020-06-19 |
| # MomentumはどのようにFrank Wolfe氏を助けるのか? How Does Momentum Help Frank Wolfe? ( http://arxiv.org/abs/2006.11116v1 ) ライセンス: Link先を確認 | Bingcong Li, Mario Coutino, Georgios B. Giannakis, Geert Leus | (参考訳) 我々はfrank wolfe(fw)型アルゴリズムと加速度勾配法(agm)における運動量との関係を明らかにする。
負の面では、これらの接続は、モメンタムがfw型アルゴリズムに効果がない理由を示している。
一方、このリンクの背後にある励ましのメッセージは、一連の問題においてFWにとってモーメントが有用であるということだ。
特に、フランク・ウルフ (AFW) と呼ばれる FW の運動量不変量は、一般の場合において FW と同じ${\cal O}(\frac{1}{k})$ であるにもかかわらず、ある制約集合上ではより高速な$\tilde{\cal O}(\frac{1}{k^2})$ に収束する。
AFWがほぼ余分なコストで加速できることを考えると、これはFWの代替となる。
ベンチマーク機械学習タスクの数値実験は、理論的な知見をさらに検証する。 We unveil the connections between Frank Wolfe (FW) type algorithms and the momentum in Accelerated Gradient Methods (AGM). On the negative side, these connections illustrate why momentum is unlikely to be effective for FW type algorithms. The encouraging message behind this link, on the other hand, is that momentum is useful for FW on a class of problems. In particular, we prove that a momentum variant of FW, that we term accelerated Frank Wolfe (AFW), converges with a faster rate $\tilde{\cal O}(\frac{1}{k^2})$ on certain constraint sets despite the same ${\cal O}(\frac{1}{k})$ rate as FW on general cases. Given the possible acceleration of AFW at almost no extra cost, it is thus a competitive alternative to FW. Numerical experiments on benchmarked machine learning tasks further validate our theoretical findings. | 翻訳日:2022-11-19 04:24:39 公開日:2020-06-19 |
| # 階層型表現学習のためのノード近接型グラフプーリング Graph Pooling with Node Proximity for Hierarchical Representation Learning ( http://arxiv.org/abs/2006.11118v1 ) ライセンス: Link先を確認 | Xing Gao, Wenrui Dai, Chenglin Li, Hongkai Xiong, Pascal Frossard | (参考訳) グラフニューラルネットワークは最近の研究でグラフデータの表現学習を可能にするために広く注目を集めている。
グラフ畳み込み演算子を補完するグラフプーリングは、グラフデータの階層的表現を抽出するために重要である。
しかし、最近のグラフプーリング手法では、グラフデータの幾何を効率的に利用できない。
本稿では,ノード近接を利用してグラフデータの階層的表現学習をマルチホップトポロジーで改善する新しいグラフプーリング戦略を提案する。
ノード近接は、トポロジー情報とノード特徴のカーネル表現を調和させることにより得られる。
トポロジ情報の暗黙的構造認識カーネル表現は、グラフラプラシアンの明示的な固有分解なしに効率的なグラフプーリングを可能にする。
ノード信号の類似性をガウスRBF関数を用いてアフィン変換とカーネルトリックの組み合わせで適応的に評価する。
実験の結果,グラフプーリング戦略は,公開グラフ分類ベンチマークデータセットの集合上で最先端のパフォーマンスを実現することができることがわかった。 Graph neural networks have attracted wide attentions to enable representation learning of graph data in recent works. In complement to graph convolution operators, graph pooling is crucial for extracting hierarchical representation of graph data. However, most recent graph pooling methods still fail to efficiently exploit the geometry of graph data. In this paper, we propose a novel graph pooling strategy that leverages node proximity to improve the hierarchical representation learning of graph data with their multi-hop topology. Node proximity is obtained by harmonizing the kernel representation of topology information and node features. Implicit structure-aware kernel representation of topology information allows efficient graph pooling without explicit eigendecomposition of the graph Laplacian. Similarities of node signals are adaptively evaluated with the combination of the affine transformation and kernel trick using the Gaussian RBF function. Experimental results demonstrate that the proposed graph pooling strategy is able to achieve state-of-the-art performance on a collection of public graph classification benchmark datasets. | 翻訳日:2022-11-19 04:24:19 公開日:2020-06-19 |
| # 展開感性解析モデルのためのシステム的攻撃面低減 Systematic Attack Surface Reduction For Deployed Sentiment Analysis Models ( http://arxiv.org/abs/2006.11130v1 ) ライセンス: Link先を確認 | Josh Kalin, David Noever, Gerry Dozier | (参考訳) 本研究は,モデルのベースライン化,攻撃ベクトルの同定,デプロイ後の機械学習モデルのセキュア化のための構造化アプローチを提案する。
デプロイ後の各モデルを保証するこの方法は、BADアーキテクチャ(Build, Attack, and Defend)と呼ばれる。
BADアーキテクチャの2つの実装を評価し,ブラックボックスの知覚分析システムにおける逆のライフサイクルを定量化する。
難しい診断として、Jigsaw Toxic Biasデータセットがパフォーマンスツールのベースラインとして選択されます。
アーキテクチャの各実装は、ベースラインのパフォーマンスレポートを構築し、共通の弱点を攻撃し、入ってくる攻撃を防御する。
重要な点として、この研究で示された各攻撃面は検出可能であり、予防可能である。
目標は、プロダクション環境で機械学習モデルを確保するための実行可能な方法論を実証することである。 This work proposes a structured approach to baselining a model, identifying attack vectors, and securing the machine learning models after deployment. This method for securing each model post deployment is called the BAD (Build, Attack, and Defend) Architecture. Two implementations of the BAD architecture are evaluated to quantify the adversarial life cycle for a black box Sentiment Analysis system. As a challenging diagnostic, the Jigsaw Toxic Bias dataset is selected as the baseline in our performance tool. Each implementation of the architecture will build a baseline performance report, attack a common weakness, and defend the incoming attack. As an important note: each attack surface demonstrated in this work is detectable and preventable. The goal is to demonstrate a viable methodology for securing a machine learning model in a production setting. | 翻訳日:2022-11-19 04:24:04 公開日:2020-06-19 |
| # 非凸問題における確率勾配のほぼ収束性について On the Almost Sure Convergence of Stochastic Gradient Descent in Non-Convex Problems ( http://arxiv.org/abs/2006.11144v1 ) ライセンス: Link先を確認 | Panayotis Mertikopoulos and Nadav Hallak and Ali Kavis and Volkan Cevher | (参考訳) 本稿では,非凸問題におけるアルゴリズムの収束特性を理解するために,確率勾配降下(SGD)の軌跡を解析する。
まず、SGD が生成した反復列が有界であり、非常に広いステップサイズのスケジュールの下で確率 1 ドルと収束することを示す。
その後、既存の正の確率保証を超えて、SGDは、考慮されるステップサイズポリシーの全スペクトルに対して、確率1ドルで厳密なサドルポイント/マニフォールドを避けることを示す。
最後に、アルゴリズムのHurwicz最小化への収束率が$\mathcal{O}(1/n^{p})$であることを証明する。
これにより、アルゴリズムのステップサイズをチューニングするための重要なガイドラインが提供される。これは、消失するステップサイズを持つ冷え込みフェーズが、CIFAR上のResNetアーキテクチャを使用したこのヒューリスティックな手法を実証する。 This paper analyzes the trajectories of stochastic gradient descent (SGD) to help understand the algorithm's convergence properties in non-convex problems. We first show that the sequence of iterates generated by SGD remains bounded and converges with probability $1$ under a very broad range of step-size schedules. Subsequently, going beyond existing positive probability guarantees, we show that SGD avoids strict saddle points/manifolds with probability $1$ for the entire spectrum of step-size policies considered. Finally, we prove that the algorithm's rate of convergence to Hurwicz minimizers is $\mathcal{O}(1/n^{p})$ if the method is employed with a $\Theta(1/n^p)$ step-size schedule. This provides an important guideline for tuning the algorithm's step-size as it suggests that a cool-down phase with a vanishing step-size could lead to faster convergence; we demonstrate this heuristic using ResNet architectures on CIFAR. | 翻訳日:2022-11-19 04:23:52 公開日:2020-06-19 |
| # ランダム特徴を持つ潜在変数モデリング Latent variable modeling with random features ( http://arxiv.org/abs/2006.11145v1 ) ライセンス: Link先を確認 | Gregory W. Gundersen, Michael Minyi Zhang, Barbara E. Engelhardt | (参考訳) ガウス過程に基づく潜在変数モデルは、非線形次元減少のための柔軟かつ理論的に基礎づけられたツールであるが、この非線形フレームワーク内の非ガウスデータ可能性への一般化は統計的に難しい。
ここでは、非ガウス的データ可能性に容易に拡張可能な非線形次元減少モデルの族を開発するためにランダム特徴を用いており、これらのランダム特徴潜在変数モデル(RFLVM)と呼ぶ。
確率的特徴量に対して線形な関数を持つ潜在空間と観測との間の非線形関係を近似することにより、潜在変数に対する後方分布の閉形式勾配を誘導する。
これにより、rflvmフレームワークは、特殊な導出を伴わずに指数関数族内の様々なデータ可能性の計算可能な非線形潜在変数モデルをサポートすることができる。
我々の一般化RFLVMは、ニューラルスパイクト記録、画像、テキストデータなど、様々な種類のデータに対して、他の最先端の次元削減手法に匹敵する結果を生成する。 Gaussian process-based latent variable models are flexible and theoretically grounded tools for nonlinear dimension reduction, but generalizing to non-Gaussian data likelihoods within this nonlinear framework is statistically challenging. Here, we use random features to develop a family of nonlinear dimension reduction models that are easily extensible to non-Gaussian data likelihoods; we call these random feature latent variable models (RFLVMs). By approximating a nonlinear relationship between the latent space and the observations with a function that is linear with respect to random features, we induce closed-form gradients of the posterior distribution with respect to the latent variable. This allows the RFLVM framework to support computationally tractable nonlinear latent variable models for a variety of data likelihoods in the exponential family without specialized derivations. Our generalized RFLVMs produce results comparable with other state-of-the-art dimension reduction methods on diverse types of data, including neural spike train recordings, images, and text data. | 翻訳日:2022-11-19 04:23:33 公開日:2020-06-19 |
| # 項次勾配アグリゲーションを有する微分プライベート変分オートエンコーダ Differentially Private Variational Autoencoders with Term-wise Gradient Aggregation ( http://arxiv.org/abs/2006.11204v1 ) ライセンス: Link先を確認 | Tsubasa Takahashi, Shun Takagi, Hajime Ono, Tatsuya Komatsu | (参考訳) 本稿では,差分プライバシー制約の下で,様々な相違点を持つ変分オートエンコーダの学習方法について検討する。
我々はしばしば、学習した表現の望ましい特性を記述するために適切な事前分布を持つVAEを構築し、その表現を事前に閉じるための正規化項として発散を導入する。
微分プライベートSGD(DP-SGD)を用いて、勾配の感度に応じて設計された専用ノイズを注入することで確率勾配をランダム化するので、微分プライベートモデルを簡単に構築できる。
しかし, バッチサイズBで O(1) から O(B) への感度を増大させることで, 学習が困難となる大量のノイズを注入する。
上記の問題を解決するために, 損失項の構成に合わせた2つの異なる方法でランダム化された勾配を製作する用語単位dp-sgdを提案する。
項式DP-SGDは、分岐を付加してもO(1)に感度を保持する。
したがって、ノイズの量を減らすことができる。
実験では,本手法が先行分布と発散の2つのペアでうまく機能することが実証された。 This paper studies how to learn variational autoencoders with a variety of divergences under differential privacy constraints. We often build a VAE with an appropriate prior distribution to describe the desired properties of the learned representations and introduce a divergence as a regularization term to close the representations to the prior. Using differentially private SGD (DP-SGD), which randomizes a stochastic gradient by injecting a dedicated noise designed according to the gradient's sensitivity, we can easily build a differentially private model. However, we reveal that attaching several divergences increase the sensitivity from O(1) to O(B) in terms of batch size B. That results in injecting a vast amount of noise that makes it hard to learn. To solve the above issue, we propose term-wise DP-SGD that crafts randomized gradients in two different ways tailored to the compositions of the loss terms. The term-wise DP-SGD keeps the sensitivity at O(1) even when attaching the divergence. We can therefore reduce the amount of noise. In our experiments, we demonstrate that our method works well with two pairs of the prior distribution and the divergence. | 翻訳日:2022-11-19 04:23:16 公開日:2020-06-19 |
| # ヒンジ損失分類のための浅層ネットワークダイナミクスの解析理論 An analytic theory of shallow networks dynamics for hinge loss classification ( http://arxiv.org/abs/2006.11209v1 ) ライセンス: Link先を確認 | Franco Pellegrini and Giulio Biroli | (参考訳) ニューラルネットワークは、構造化された高次元データセットの分類タスクにおいて驚くほどうまく機能することが示されている。
しかし、そのようなネットワークの学習ダイナミクスはまだよく分かっていない。
本稿では,単純なニューラルネットワークのトレーニングダイナミクス,すなわち分類タスクを実行するために訓練された単一の隠れ層について詳細に検討する。
適切な平均場制限では、平均ノード数から自己整合的に決定される時間依存データセットを持つ単一ノード学習問題にマップする。
我々は、この理論を線形分離可能なデータセットと線形ヒンジ損失の原型ケースに特化し、ダイナミクスを明示的に解くことができる。
これにより、トレーニングダイナミクスの減速、リッチラーニングと遅延ラーニングのクロスオーバー、オーバーフィッティングといった、現代のネットワークに現れるいくつかの現象に対処することが可能になります。
最後に,ノード数が多いが有限である場合や,トレーニングサンプルを用いて平均場理論の限界を評価する。 Neural networks have been shown to perform incredibly well in classification tasks over structured high-dimensional datasets. However, the learning dynamics of such networks is still poorly understood. In this paper we study in detail the training dynamics of a simple type of neural network: a single hidden layer trained to perform a classification task. We show that in a suitable mean-field limit this case maps to a single-node learning problem with a time-dependent dataset determined self-consistently from the average nodes population. We specialize our theory to the prototypical case of a linearly separable dataset and a linear hinge loss, for which the dynamics can be explicitly solved. This allow us to address in a simple setting several phenomena appearing in modern networks such as slowing down of training dynamics, crossover between rich and lazy learning, and overfitting. Finally, we asses the limitations of mean-field theory by studying the case of large but finite number of nodes and of training samples. | 翻訳日:2022-11-19 04:22:56 公開日:2020-06-19 |
| # 一般損失の正規化経路に沿った勾配降下 Gradient descent follows the regularization path for general losses ( http://arxiv.org/abs/2006.11226v1 ) ライセンス: Link先を確認 | Ziwei Ji, Miroslav Dud\'ik, Robert E. Schapire, Matus Telgarsky | (参考訳) 多くの機械学習分野にわたる最近の研究は、標準降下法が、明示的な正規化なしにも、トレーニングエラーを最小化するだけでなく、暗黙のバイアスも示していることを強調している。
このバイアスは典型的には一定の規則化された解に向かっており、例えばクロスエントロピー損失の使用など、学習プロセスの詳細に依存する。
本研究では,任意の凸を持つ線形予測器上で経験的リスクを最小化し,損失を厳密に減少させる場合,リスクが不定点に達しない場合,勾配不定形化経路とアルゴリズム非依存正規化経路が同じ方向に収束することを示す。
この結果を用いて, 指数的損失やロジスティック損失など, 広く利用されている指数的損失の正当性を示す: この指数的損失の方向への収束は, 最大マージン方向に必然的に一致するが, 多項式的損失のような他の損失は, マージン率の低い方向への収束を引き起こす可能性がある。 Recent work across many machine learning disciplines has highlighted that standard descent methods, even without explicit regularization, do not merely minimize the training error, but also exhibit an implicit bias. This bias is typically towards a certain regularized solution, and relies upon the details of the learning process, for instance the use of the cross-entropy loss. In this work, we show that for empirical risk minimization over linear predictors with arbitrary convex, strictly decreasing losses, if the risk does not attain its infimum, then the gradient-descent path and the algorithm-independent regularization path converge to the same direction (whenever either converges to a direction). Using this result, we provide a justification for the widely-used exponentially-tailed losses (such as the exponential loss or the logistic loss): while this convergence to a direction for exponentially-tailed losses is necessarily to the maximum-margin direction, other losses such as polynomially-tailed losses may induce convergence to a direction with a poor margin. | 翻訳日:2022-11-19 04:22:43 公開日:2020-06-19 |
| # 畳み込み特徴エクストラクタとリカレントニューラルネットワークに基づく大規模ビデオデータセットの感情認識 Emotion Recognition on large video dataset based on Convolutional Feature Extractor and Recurrent Neural Network ( http://arxiv.org/abs/2006.11168v1 ) ライセンス: Link先を確認 | Denis Rangulov, Muhammad Fahim | (参考訳) 長年にわたり、感情認識タスクは人間とコンピュータの相互作用の分野で最も興味深く重要な問題の1つとして残されてきた。
本研究では,ディープラーニングモデルを用いて,異なるデータセットで符号化された感情を処理し,感情認識タスクを分類し,回帰タスクとする。
本モデルでは,畳み込みニューラルネットワーク(cnn)とリカレントニューラルネットワーク(rnn)を組み合わせて,映像データから次元感情を予測する。
最初のステップでは、CNNはビデオフレームから特徴ベクトルを抽出する。
第2のステップでは、ビデオの時間的ダイナミクスを活用するために、これらの特徴ベクトルをRNNのトレーニングに投入しました。
さらに,各ニューラルネットワークがシステム全体のパフォーマンスにどのように寄与するかを分析した。
実験は、最新のAff-Wild2データベースを含む公開データセットで実施されている。
60時間以上のビデオデータを含んでいる。
混乱行列を用いた図解例を用いて, モデルが不均衡なデータセット上で過度に適合する問題を発見した。
この問題はデータセットのバランスをとるためにダウンサンプリング技術によって解決される。
トレーニングデータの大幅な削減により,データセットのバランスが向上し,モデル全体のパフォーマンスが向上する。
この研究は、顔の感情を予測するのに十分な量のデータを探索する深層学習モデルの能力を質的に記述している。
提案手法はtensorflow kerasを用いて実装する。 For many years, the emotion recognition task has remained one of the most interesting and important problems in the field of human-computer interaction. In this study, we consider the emotion recognition task as a classification as well as a regression task by processing encoded emotions in different datasets using deep learning models. Our model combines convolutional neural network (CNN) with recurrent neural network (RNN) to predict dimensional emotions on video data. At the first step, CNN extracts feature vectors from video frames. In the second step, we fed these feature vectors to train RNN for exploiting the temporal dynamics of video. Furthermore, we analyzed how each neural network contributes to the system's overall performance. The experiments are performed on publicly available datasets including the largest modern Aff-Wild2 database. It contains over sixty hours of video data. We discovered the problem of overfitting of the model on an unbalanced dataset with an illustrative example using confusion matrices. The problem is solved by downsampling technique to balance the dataset. By significantly decreasing training data, we balance the dataset, thereby, the overall performance of the model is improved. Hence, the study qualitatively describes the abilities of deep learning models exploring enough amount of data to predict facial emotions. Our proposed method is implemented using Tensorflow Keras. | 翻訳日:2022-11-19 04:16:35 公開日:2020-06-19 |
| # 注意点に着目した視覚刺激の波動伝搬 Wave Propagation of Visual Stimuli in Focus of Attention ( http://arxiv.org/abs/2006.11035v1 ) ライセンス: Link先を確認 | Lapo Faggi, Alessandro Betti, Dario Zanca, Stefano Melacci, Marco Gori | (参考訳) 周囲の視覚環境の変化に対する迅速な反応は、計算資源を視覚領域の最も関連する場所に再配置する効率的な注意機構を必要とする。
現在の計算モデルでは、データの可用性が高まり、予測能力が向上する一方で、巣化した動物が示す効果と効率の近似はいまだに困難である。
本稿では, 時空間的局所性を示し, 並列分散実装に非常に適した, 生物学的に評価可能な注意点計算モデルを提案する。
細部や動き情報に対応する視覚刺激が発する波伝播過程として注目される。
結果の場は、潜在的な穴で立ち往生しないように「戻りの阻害」の原理に従う。
モデルの正確な実験により、スキャンパス予測タスクにおいて、トップレベルのパフォーマンスを達成することを示す。
このことは、我々が論文で確立した理論的な結果から容易に理解でき、波動伝播の速度が無限に近づくにつれて、提案されたモデルは、注目対象のアート重力モデルの最近提案された状態に還元されることを示す。 Fast reactions to changes in the surrounding visual environment require efficient attention mechanisms to reallocate computational resources to most relevant locations in the visual field. While current computational models keep improving their predictive ability thanks to the increasing availability of data, they still struggle approximating the effectiveness and efficiency exhibited by foveated animals. In this paper, we present a biologically-plausible computational model of focus of attention that exhibits spatiotemporal locality and that is very well-suited for parallel and distributed implementations. Attention emerges as a wave propagation process originated by visual stimuli corresponding to details and motion information. The resulting field obeys the principle of "inhibition of return" so as not to get stuck in potential holes. An accurate experimentation of the model shows that it achieves top level performance in scanpath prediction tasks. This can easily be understood at the light of a theoretical result that we establish in the paper, where we prove that as the velocity of wave propagation goes to infinity, the proposed model reduces to recently proposed state of the art gravitational models of focus of attention. | 翻訳日:2022-11-19 04:15:16 公開日:2020-06-19 |
| # 進化的アルゴリズムの突然変異率制御のためのq-learningによる1/5次成功規則のハイブリダイゼーション Hybridizing the 1/5-th Success Rule with Q-Learning for Controlling the Mutation Rate of an Evolutionary Algorithm ( http://arxiv.org/abs/2006.11026v1 ) ライセンス: Link先を確認 | Arina Buzdalova, Carola Doerr, Anna Rodionova | (参考訳) 進化的アルゴリズム(EA)は、パラメータが与えられた問題に適切に調整された場合にのみピーク性能を達成することはよく知られている。
さらに、最適化プロセス中に最適なパラメータ値が変更できることが知られている。
パラメータ制御機構は、これらの値を識別し追跡するために開発された技術である。
近年、一連の厳密な理論的研究により、最適な静的パラメータを持つEAよりもいくつかのパラメータ制御技術の優位性が確認されている。
これらの結果の中には、OneMax問題を最適化する際の$(1+\lambda)$~EAの突然変異率を制御する例がある。
しかし、 [rodionova et al., gecco'19] では、これらの技術の品質は子孫の個体数に強く依存していることが示されている。
本稿では,有名な1-fifth成功ルールとq-learningを組み合わせた新しいハイブリッドパラメータ制御手法を提案する。
私たちは、hqlメカニズムが [rodionova et al., gecco'19] でテストされたすべてのテクニックと同等あるいは優れたパフォーマンスを実現することを実証しています。
また、HQLの有望なパフォーマンスはOneMaxに限らず、他のベンチマーク問題にも及んでいることも示しています。 It is well known that evolutionary algorithms (EAs) achieve peak performance only when their parameters are suitably tuned to the given problem. Even more, it is known that the best parameter values can change during the optimization process. Parameter control mechanisms are techniques developed to identify and to track these values. Recently, a series of rigorous theoretical works confirmed the superiority of several parameter control techniques over EAs with best possible static parameters. Among these results are examples for controlling the mutation rate of the $(1+\lambda)$~EA when optimizing the OneMax problem. However, it was shown in [Rodionova et al., GECCO'19] that the quality of these techniques strongly depends on the offspring population size $\lambda$. We introduce in this work a new hybrid parameter control technique, which combines the well-known one-fifth success rule with Q-learning. We demonstrate that our HQL mechanism achieves equal or superior performance to all techniques tested in [Rodionova et al., GECCO'19] and this -- in contrast to previous parameter control methods -- simultaneously for all offspring population sizes $\lambda$. We also show that the promising performance of HQL is not restricted to OneMax, but extends to several other benchmark problems. | 翻訳日:2022-11-19 04:15:00 公開日:2020-06-19 |
| # 不確実性を考慮したパーソナライズレコメンデーションのための畳み込みガウス埋め込み Convolutional Gaussian Embeddings for Personalized Recommendation with Uncertainty ( http://arxiv.org/abs/2006.10932v1 ) ライセンス: Link先を確認 | Junyang Jiang and Deqing Yang and Yanghua Xiao and Chenlu Shen | (参考訳) 既存の埋め込みベースのレコメンデーションモデルのほとんどは、ユーザとアイテムを表現するために、低次元空間内の1つの不動点に対応する埋め込み(ベクトル)を使用する。
このような埋め込みは、レコメンダシステムでしばしば見られる不確実性を持つユーザ/テーマを正確に表現することができない。
この問題に対処するため,ユーザによって提示される不確実な嗜好に適応することが証明され,ユーザ表現やレコメンデーション性能が向上するガウス埋め込みを用いた統合された深層推薦フレームワークを提案する。
さらに,本フレームワークでは,モンテカルロサンプリングと畳み込みニューラルネットワークを用いて,対象ユーザと候補項目の相関関係を,正確なレコメンデーションに基づいて計算する。
2つのベンチマークデータセットに関する広範な実験は、提案するガウス埋め込みがユーザの不確実性を非常によく捉えているだけでなく、最先端のレコメンデーションモデルよりも優れたパフォーマンスを示していることを正当化します。 Most of existing embedding based recommendation models use embeddings (vectors) corresponding to a single fixed point in low-dimensional space, to represent users and items. Such embeddings fail to precisely represent the users/items with uncertainty often observed in recommender systems. Addressing this problem, we propose a unified deep recommendation framework employing Gaussian embeddings, which are proven adaptive to uncertain preferences exhibited by some users, resulting in better user representations and recommendation performance. Furthermore, our framework adopts Monte-Carlo sampling and convolutional neural networks to compute the correlation between the objective user and the candidate item, based on which precise recommendations are achieved. Our extensive experiments on two benchmark datasets not only justify that our proposed Gaussian embeddings capture the uncertainty of users very well, but also demonstrate its superior performance over the state-of-the-art recommendation models. | 翻訳日:2022-11-19 04:14:00 公開日:2020-06-19 |
| # FedFMC:非IDデータに基づく逐次効率なフェデレーションラーニング FedFMC: Sequential Efficient Federated Learning on Non-iid Data ( http://arxiv.org/abs/2006.10937v1 ) ライセンス: Link先を確認 | Kavya Kopparapu, Eric Lin | (参考訳) デバイスがデータを共有せずにグローバルモデルを更新するためのメカニズムとして、フェデレーション学習は、データの必要性とプライバシの尊重の間の緊張を橋渡しする。
しかしながら、Federated Averagingのような古典的なFLメソッドは、非IDデータと競合する。
従来のソリューションは、データの小さな共有グローバルサブセットを使用するか、通信コストが増大するモデルの数が多いため、サブ最適である。
本研究では,デバイスを動的にフォークして異なるグローバルモデルを更新する手法であるfeedfmc(fork-merge-consolidate)を提案する。
まず,簡単なデータセット上でfeedfmcの健全性を示すとともに,ベースラインアプローチとの比較実験を行った。
これらの実験は、federated learningコンテキストにおける非iidデータに対する以前のアプローチを、グローバルに共有されたデータのサブセットを使用せずに大幅に改善し、通信コストを増加させることを示した。 As a mechanism for devices to update a global model without sharing data, federated learning bridges the tension between the need for data and respect for privacy. However, classic FL methods like Federated Averaging struggle with non-iid data, a prevalent situation in the real world. Previous solutions are sub-optimal as they either employ a small shared global subset of data or greater number of models with increased communication costs. We propose FedFMC (Fork-Merge-Consolidate), a method that dynamically forks devices into updating different global models then merges and consolidates separate models into one. We first show the soundness of FedFMC on simple datasets, then run several experiments comparing against baseline approaches. These experiments show that FedFMC substantially improves upon earlier approaches to non-iid data in the federated learning context without using a globally shared subset of data nor increase communication costs. | 翻訳日:2022-11-19 04:13:42 公開日:2020-06-19 |
| # AutoOD:好奇心誘導探索と自己刺激学習による自動外乱検出 AutoOD: Automated Outlier Detection via Curiosity-guided Search and Self-imitation Learning ( http://arxiv.org/abs/2006.11321v1 ) ライセンス: Link先を確認 | Yuening Li, Zhengzhang Chen, Daochen Zha, Kaixiong Zhou, Haifeng Jin, Haifeng Chen, Xia Hu | (参考訳) 異常検出は、侵入検知、クレジットカード不正検出、ビデオ監視など、数多くの実用的な応用を含む重要なデータマイニングタスクである。
しかし、ビッグデータに関する特定の複雑なタスクを考えると、外乱検出のための強力なディープラーニングベースのシステムを構築するプロセスは、人間の専門知識や労働試験に大きく依存している。
ニューラルネットワークサーチ(NAS)は,画像分類やオブジェクト検出,セマンティックセグメンテーションなど,さまざまな領域における効果的な深層アーキテクチャの発見を約束しているが,本質的な探索空間の欠如,不安定な探索プロセス,サンプル効率の低下など,現代のNAS手法では外乱検出には適していない。
本稿では,このギャップを埋めるために,事前定義された検索空間内で最適なニューラルネットワークモデルを探すことを目的とした,自動外乱検出フレームワークであるAutoODを提案する。
具体的には,まず,局所的最適性の呪いを克服する好奇心に満ちた探索戦略を考案する。
検索エージェントとして機能するコントローラは、コントローラの内部信念に関する情報獲得を最大化するために行動を取ることを奨励される。
さらに,自己刺激学習に基づく体験再生機構を導入し,サンプル効率を向上する。
様々な実世界のベンチマークデータセットによる実験結果から,AutoODが同定したディープモデルは,既存のハンドクラフトモデルや従来型の検索手法と比較して,最高の性能を発揮することが示された。 Outlier detection is an important data mining task with numerous practical applications such as intrusion detection, credit card fraud detection, and video surveillance. However, given a specific complicated task with big data, the process of building a powerful deep learning based system for outlier detection still highly relies on human expertise and laboring trials. Although Neural Architecture Search (NAS) has shown its promise in discovering effective deep architectures in various domains, such as image classification, object detection, and semantic segmentation, contemporary NAS methods are not suitable for outlier detection due to the lack of intrinsic search space, unstable search process, and low sample efficiency. To bridge the gap, in this paper, we propose AutoOD, an automated outlier detection framework, which aims to search for an optimal neural network model within a predefined search space. Specifically, we firstly design a curiosity-guided search strategy to overcome the curse of local optimality. A controller, which acts as a search agent, is encouraged to take actions to maximize the information gain about the controller's internal belief. We further introduce an experience replay mechanism based on self-imitation learning to improve the sample efficiency. Experimental results on various real-world benchmark datasets demonstrate that the deep model identified by AutoOD achieves the best performance, comparing with existing handcrafted models and traditional search methods. | 翻訳日:2022-11-19 04:07:11 公開日:2020-06-19 |
| # 時系列モデリングのためのニューラルネットワークを用いた最適位相空間再構成支援 Supporting Optimal Phase Space Reconstructions Using Neural Network Architecture for Time Series Modeling ( http://arxiv.org/abs/2006.11381v1 ) ライセンス: Link先を確認 | Lucas Pagliosa, Alexandru Telea, Rodrigo Mello | (参考訳) 位相空間の再構成は、動的システムの概念に従って時系列を分析するための重要なステップである。
そのような空間上で実行される回帰は、それらの生成規則、すなわち時間に沿って観測を生成する最も可能性の高い関数群を導出できるシステム状態間の関係を明らかにする。
この意味で、ほとんどのアプローチは、位相空間を展開するためにテイクの埋め込み定理に依存しており、埋め込み次元と時間遅れを必要とする。
さらに,これらのパラメータを実験的に推定する手法がいくつか提案されているが,一貫性の欠如やロバスト性のため,まだ限界に直面している。
そこで本研究では,相空間特性を暗黙的に学習する機構を持つニューラルネットワークを提案する。
このようなネットワークは予測エラーを訓練し、収束後、そのアーキテクチャを使って埋め込みパラメータを推定する。
実験結果から,本手法は時間-時系列観測の時間的関係を明らかにしつつ,ほとんどの最先端戦略と同等かそれ以上の競争力を有することが明らかとなった。 The reconstruction of phase spaces is an essential step to analyze time series according to Dynamical System concepts. A regression performed on such spaces unveils the relationships among system states from which we can derive their generating rules, that is, the most probable set of functions responsible for generating observations along time. In this sense, most approaches rely on Takens' embedding theorem to unfold the phase space, which requires the embedding dimension and the time delay. Moreover, although several methods have been proposed to empirically estimate those parameters, they still face limitations due to their lack of consistency and robustness, which has motivated this paper. As an alternative, we here propose an artificial neural network with a forgetting mechanism to implicitly learn the phase spaces properties, whatever they are. Such network trains on forecasting errors and, after converging, its architecture is used to estimate the embedding parameters. Experimental results confirm that our approach is either as competitive as or better than most state-of-the-art strategies while revealing the temporal relationship among time-series observations. | 翻訳日:2022-11-19 04:06:43 公開日:2020-06-19 |
| # 重み付き成分混合モデルにおける非イテレーティブ定位変化検出法 A Non-Iterative Quantile Change Detection Method in Mixture Model with Heavy-Tailed Components ( http://arxiv.org/abs/2006.11383v1 ) ライセンス: Link先を確認 | Yuantong Li, Qi Ma, and Sujit K. Ghosh | (参考訳) 混合モデルのパラメータ推定には、分類問題から複雑な分布の推定まで幅広い応用がある。
混合密度のパラメータを推定する現在の文献のほとんどは、遅延ラベル変数の期待値を取るか、ベイズ則を用いてそのような潜在ラベルの条件分布からサンプルを生成することを必要とする反復期待最大化(em)型アルゴリズムに基づいている。
さらに、成分数が不明な場合には、有名なラベル切り替え問題である \cite{richardson1997bayesian} によって、計算上より要求される問題となる。
本稿では,変化点法に基づくロバストかつ高速なアプローチを提案し,その成分が重く尾翼(例えばコーシー)であっても,ほぼ任意の位置スケールのファミリーで機能する混合成分の数を推定する。
本研究では,シミュレーションデータと実例を用いて,本手法を文献の一般的な手法と比較し,いくつかの数値的考察を行った。
提案手法は, 提案手法よりも500倍高速であることが示され, また, 適合度テストにより混合分布を精度良く推定できることが示されている。 Estimating parameters of mixture model has wide applications ranging from classification problems to estimating of complex distributions. Most of the current literature on estimating the parameters of the mixture densities are based on iterative Expectation Maximization (EM) type algorithms which require the use of either taking expectations over the latent label variables or generating samples from the conditional distribution of such latent labels using the Bayes rule. Moreover, when the number of components is unknown, the problem becomes computationally more demanding due to well-known label switching issues \cite{richardson1997bayesian}. In this paper, we propose a robust and quick approach based on change-point methods to determine the number of mixture components that works for almost any location-scale families even when the components are heavy tailed (e.g., Cauchy). We present several numerical illustrations by comparing our method with some of popular methods available in the literature using simulated data and real case studies. The proposed method is shown be as much as 500 times faster than some of the competing methods and are also shown to be more accurate in estimating the mixture distributions by goodness-of-fit tests. | 翻訳日:2022-11-19 04:06:25 公開日:2020-06-19 |
| # オンラインカーネルによる生成型adversarial network Online Kernel based Generative Adversarial Networks ( http://arxiv.org/abs/2006.11432v1 ) ライセンス: Link先を確認 | Yeojoon Youn, Neil Thistlethwaite, Sang Keun Choe, Jacob Abernethy | (参考訳) ディープラーニングにおける過去5年間の大きなブレークスルーの1つは、サンプルのデータセットが与えられた基礎的な分布を模倣することを目的とした、ニューラルネットワークベースの生成モデルであるGenerative Adversarial Network(GAN)である。
パラメータの単純な目的関数を最小化しようとする多くの教師付き問題とは対照的に、ganトレーニングはネットワークパラメータ対のmin-max問題として定式化される。
GANはいくつかの領域で目覚ましい成功を収めてきたが、研究者たちは、いわゆるモード崩壊をサイクリングするなど、異常なトレーニング行動に悩まされている。
本稿では,gan学習における課題のいくつかを定量的に検討する手法を提供することから始め,判別器ネットワークのパラメトリックな性質にどのように関係しているかを実証的に示す。
我々は、オンライントレーニングに非常に適したカーネルベースの非パラメトリック判別器に依存することで、これらの問題の多くを解決する新しいアプローチを提案し、これをオンラインカーネルベースの生成型敵ネットワーク(okgan)と呼ぶ。
我々は、OKGANがモード崩壊やサイクリングなど、多くのトレーニング問題を緩和し、理論上の保証に対処できることを実証的に示す。
OKGANは、合成データ上の他のGAN定式化よりも、逆KL偏差に関して、劇的に性能が向上し、MNIST、SVHN、CelebAといった古典的な視覚データセットでは、同等のパフォーマンスを示している。 One of the major breakthroughs in deep learning over the past five years has been the Generative Adversarial Network (GAN), a neural network-based generative model which aims to mimic some underlying distribution given a dataset of samples. In contrast to many supervised problems, where one tries to minimize a simple objective function of the parameters, GAN training is formulated as a min-max problem over a pair of network parameters. While empirically GANs have shown impressive success in several domains, researchers have been puzzled by unusual training behavior, including cycling so-called mode collapse. In this paper, we begin by providing a quantitative method to explore some of the challenges in GAN training, and we show empirically how this relates fundamentally to the parametric nature of the discriminator network. We propose a novel approach that resolves many of these issues by relying on a kernel-based non-parametric discriminator that is highly amenable to online training---we call this the Online Kernel-based Generative Adversarial Networks (OKGAN). We show empirically that OKGANs mitigate a number of training issues, including mode collapse and cycling, and are much more amenable to theoretical guarantees. OKGANs empirically perform dramatically better, with respect to reverse KL-divergence, than other GAN formulations on synthetic data; on classical vision datasets such as MNIST, SVHN, and CelebA, show comparable performance. | 翻訳日:2022-11-19 04:05:34 公開日:2020-06-19 |
| # 画像キャプションのためのハイパーパラメータ解析 Hyperparameter Analysis for Image Captioning ( http://arxiv.org/abs/2006.10923v1 ) ライセンス: Link先を確認 | Amish Patel and Aravind Varier | (参考訳) 本稿では,CNN+LSTMとCNN+Transformerの2つのアーキテクチャを用いて,最先端画像キャプション手法の感度解析を行う。
Flickr8kデータセットを用いて実験を行った。
実験で得られた最大の点は、cnnエンコーダの微調整がベースラインや他の両方のアーキテクチャで行った実験よりも優れていることである。 In this paper, we perform a thorough sensitivity analysis on state-of-the-art image captioning approaches using two different architectures: CNN+LSTM and CNN+Transformer. Experiments were carried out using the Flickr8k dataset. The biggest takeaway from the experiments is that fine-tuning the CNN encoder outperforms the baseline and all other experiments carried out for both architectures. | 翻訳日:2022-11-19 04:04:38 公開日:2020-06-19 |
| # 自己学習による半教師あり学習の統計的・アルゴリズム的考察 Statistical and Algorithmic Insights for Semi-supervised Learning with Self-training ( http://arxiv.org/abs/2006.11006v1 ) ライセンス: Link先を確認 | Samet Oymak, Talha Cihad Gulcu | (参考訳) 自己学習は、様々な機械学習問題にうまく適用できる半教師付き学習の古典的なアプローチである。
自己学習アルゴリズムは、ラベルのない例の擬似ラベルを生成し、これらの擬似ラベルを段階的に洗練する。
この研究は、線形分類器に着目した自己学習アルゴリズムに関する理論的洞察を提供する。
まず, ガウス混合モデルを調査し, 自己学習反復の鋭い非漸近的有限サンプルキャラクタリゼーションを提供する。
本分析では, 自己学習の繰り返しが, 最適でない固定点に留まった場合でも, モデル精度を良好に向上することを示す。
そして、正規化とクラスマージン(すなわち分離)は成功のために確実に重要であり、正規化の欠如は、データのコア機能を特定する自己訓練を妨げる可能性があることを実証する。
最後に、一般分布に対する自己学習による経験的リスク最小化の統計的側面について論じる。
本稿では,自己学習に基づくクラスタリングに基づく一般化の概念をクラスタマージンに基づいて定式化する方法を示す。
次に,自己学習に基づくセミスーパービジョンと,異種データによる学習と監督の弱さの関連性を確立する。 Self-training is a classical approach in semi-supervised learning which is successfully applied to a variety of machine learning problems. Self-training algorithm generates pseudo-labels for the unlabeled examples and progressively refines these pseudo-labels which hopefully coincides with the actual labels. This work provides theoretical insights into self-training algorithm with a focus on linear classifiers. We first investigate Gaussian mixture models and provide a sharp non-asymptotic finite-sample characterization of the self-training iterations. Our analysis reveals the provable benefits of rejecting samples with low confidence and demonstrates that self-training iterations gracefully improve the model accuracy even if they do get stuck in sub-optimal fixed points. We then demonstrate that regularization and class margin (i.e. separation) is provably important for the success and lack of regularization may prevent self-training from identifying the core features in the data. Finally, we discuss statistical aspects of empirical risk minimization with self-training for general distributions. We show how a purely unsupervised notion of generalization based on self-training based clustering can be formalized based on cluster margin. We then establish a connection between self-training based semi-supervision and the more general problem of learning with heterogenous data and weak supervision. | 翻訳日:2022-11-19 03:58:44 公開日:2020-06-19 |
| # 逆ロバスト正規化アプローチに向けて Towards an Adversarially Robust Normalization Approach ( http://arxiv.org/abs/2006.11007v1 ) ライセンス: Link先を確認 | Muhammad Awais, Fahad Shamshad, Sung-Ho Bae | (参考訳) バッチ正規化(BatchNorm)は、ディープニューラルネットワークのパフォーマンス向上とトレーニングの高速化に有効である。
しかし、それはまた、敵の脆弱性、すなわち敵の攻撃に対してより堅牢なネットワークの原因であることが示されている。
本稿では,BatchNormがこの脆弱性の原因となり,敵攻撃に対して堅牢な新たな正規化を提案する。
まず,逆行画像はバッチノルム入力の分布をシフトする傾向にあり,この変化は列車時推定人口統計を不正確なものにする。
これらの不正確な統計により、バッチノルムのモデルは敵の攻撃に対してより脆弱になると仮定する。
我々は,列車時間推定統計を推定時間バッチから算出した統計に置き換えることで仮説を立証する。
これらの統計を用いて、BatchNormの敵対的脆弱性が消滅することを発見した。
しかし,バッチ統計量の推定がなければ,大量の入力が得られない場合はバッチノルムは使用できない。
これを軽減するために、BatchNormの逆の堅牢バージョンであるRobust Normalization(RobustNorm)を提案する。
我々は,BatchNormでトレーニングしたモデルが,BatchNormのすべての利点を維持しつつ,対角的設定において優れた性能を発揮することを示す。
コードは \url{https://github.com/awaisrauf/robustnorm} で入手できる。 Batch Normalization (BatchNorm) is effective for improving the performance and accelerating the training of deep neural networks. However, it has also shown to be a cause of adversarial vulnerability, i.e., networks without it are more robust to adversarial attacks. In this paper, we investigate how BatchNorm causes this vulnerability and proposed new normalization that is robust to adversarial attacks. We first observe that adversarial images tend to shift the distribution of BatchNorm input, and this shift makes train-time estimated population statistics inaccurate. We hypothesize that these inaccurate statistics make models with BatchNorm more vulnerable to adversarial attacks. We prove our hypothesis by replacing train-time estimated statistics with statistics calculated from the inference-time batch. We found that the adversarial vulnerability of BatchNorm disappears if we use these statistics. However, without estimated batch statistics, we can not use BatchNorm in the practice if large batches of input are not available. To mitigate this, we propose Robust Normalization (RobustNorm); an adversarially robust version of BatchNorm. We experimentally show that models trained with RobustNorm perform better in adversarial settings while retaining all the benefits of BatchNorm. Code is available at \url{https://github.com/awaisrauf/RobustNorm}. | 翻訳日:2022-11-19 03:58:26 公開日:2020-06-19 |
| # 部分ランダム決定木を有する勾配昇降機 Gradient boosting machine with partially randomized decision trees ( http://arxiv.org/abs/2006.11014v1 ) ライセンス: Link先を確認 | Andrei V. Konstantinov and Lev V. Utkin | (参考訳) 勾配ブースティングマシンは回帰問題を解決するための強力なアンサンブルベースの機械学習手法である。
しかし、その使用の難しさの1つは、トレーニングデータの領域がトレーニングポイントで密にカバーされていない場合に生じる回帰関数の不連続性である。
この難しさを克服し、勾配押し上げ機の計算複雑性を低減するため、勾配押し上げに適用される極端にランダム化された木の特別な場合と考えられる部分ランダム化された木を応用することを提案する。
部分ランダム化木を用いた勾配ブースティングマシンは,合成および実データを用いた多数の数値例を用いて示される。 The gradient boosting machine is a powerful ensemble-based machine learning method for solving regression problems. However, one of the difficulties of its using is a possible discontinuity of the regression function, which arises when regions of training data are not densely covered by training points. In order to overcome this difficulty and to reduce the computational complexity of the gradient boosting machine, we propose to apply the partially randomized trees which can be regarded as a special case of the extremely randomized trees applied to the gradient boosting. The gradient boosting machine with the partially randomized trees is illustrated by means of many numerical examples using synthetic and real data. | 翻訳日:2022-11-19 03:58:06 公開日:2020-06-19 |
| # カテゴリー系列分類器に対する微分可能言語モデル逆攻撃 Differentiable Language Model Adversarial Attacks on Categorical Sequence Classifiers ( http://arxiv.org/abs/2006.11078v1 ) ライセンス: Link先を確認 | I. Fursov, A. Zaytsev, N. Kluchnikov, A. Kravchenko, E. Burnaev | (参考訳) 敵対的な攻撃パラダイムは、ディープラーニングモデルの脆弱性に関するさまざまなシナリオを探索する。
アートフレームワークのほとんどの状態は、画像やその他の構造化されたモデル入力に対する敵攻撃に焦点を当てているが、分類的なシーケンスモデルには当てはまらない。
分類列の分類器に対する攻撃の成功は、モデル入力が有限集合からのトークンであるため困難であり、分類器スコアは入力に関して微分不可能であり、勾配に基づく攻撃は適用されない。
共通アプローチはトークンレベルで作業するこの問題に対処するが、離散最適化の問題には解決すべきリソースが数多く必要である。
代わりに、敵の攻撃に対して言語モデルの微調整を敵の例の生成として使用します。
モデルを最適化するために,サロゲート分類子スコアに依存する微分可能損失関数と,近似編集距離を評価するディープラーニングモデルを定義する。
そこで,生成シーケンスの可逆性と初期シーケンスとの類似性の両方を制御する。
その結果,意味的に優れたサンプルが得られた。
さらに、敵の訓練や敵の検知にも耐性がある。
我々のモデルは、銀行取引、電子健康記録、NLPデータセットに関する多様なデータセットで動作する。 An adversarial attack paradigm explores various scenarios for the vulnerability of deep learning models: minor changes of the input can force a model failure. Most of the state of the art frameworks focus on adversarial attacks for images and other structured model inputs, but not for categorical sequences models. Successful attacks on classifiers of categorical sequences are challenging because the model input is tokens from finite sets, so a classifier score is non-differentiable with respect to inputs, and gradient-based attacks are not applicable. Common approaches deal with this problem working at a token level, while the discrete optimization problem at hand requires a lot of resources to solve. We instead use a fine-tuning of a language model for adversarial attacks as a generator of adversarial examples. To optimize the model, we define a differentiable loss function that depends on a surrogate classifier score and on a deep learning model that evaluates approximate edit distance. So, we control both the adversability of a generated sequence and its similarity to the initial sequence. As a result, we obtain semantically better samples. Moreover, they are resistant to adversarial training and adversarial detectors. Our model works for diverse datasets on bank transactions, electronic health records, and NLP datasets. | 翻訳日:2022-11-19 03:57:40 公開日:2020-06-19 |
| # 分類不確実性:証拠、潜在的影響、確率的治療 Classifier uncertainty: evidence, potential impact, and probabilistic treatment ( http://arxiv.org/abs/2006.11105v1 ) ライセンス: Link先を確認 | Niklas T\"otsch, Daniel Hoffmann | (参考訳) 分類器は比較的小さなデータセットでテストされることが多く、不確実なパフォーマンス指標につながる。
しかしながら、これらのメトリクスは通常、顔の値で取られる。
本稿では,混乱行列の確率モデルに基づいて,分類性能指標の不確かさを定量化する手法を提案する。
科学的文献と分類コンペティションからの分類器への適用により,不確実性は驚くほど大きく,性能評価を制限できることが示された。
実際、いくつかの公開された分類器は誤解を招く可能性が高い。
このアプローチの応用は単純であり、混乱行列のみを必要とする。
下位の分類器とは無関係である。
また,本手法は,性能測定値の所望の精度を実現するサンプルサイズの推定にも利用できる。 Classifiers are often tested on relatively small data sets, which should lead to uncertain performance metrics. Nevertheless, these metrics are usually taken at face value. We present an approach to quantify the uncertainty of classification performance metrics, based on a probability model of the confusion matrix. Application of our approach to classifiers from the scientific literature and a classification competition shows that uncertainties can be surprisingly large and limit performance evaluation. In fact, some published classifiers are likely to be misleading. The application of our approach is simple and requires only the confusion matrix. It is agnostic of the underlying classifier. Our method can also be used for the estimation of sample sizes that achieve a desired precision of a performance metric. | 翻訳日:2022-11-19 03:57:21 公開日:2020-06-19 |
| # 説明可能な人工知能は人間の意思決定を改善するか? Does Explainable Artificial Intelligence Improve Human Decision-Making? ( http://arxiv.org/abs/2006.11194v1 ) ライセンス: Link先を確認 | Yasmeen Alufaisan, Laura R. Marusich, Jonathan Z. Bakdash, Yan Zhou, Murat Kantarcioglu | (参考訳) 説明可能なAIは、モデル予測の"理由"に関する洞察を提供し、モデルを理解し、信頼し、誤ったAI予測を認識し、修正する可能性を提供する。
人間と説明可能なAIインタラクションに関する以前の研究は、解釈可能性、信頼、説明のユーザビリティといった尺度に焦点を当てていた。
説明可能なAIが実際の人間の意思決定を改善するか、基礎となるモデルで問題を特定する能力はオープンな質問である。
実際のデータセットを用いて、AI(制御)を使わずに、AI予測(説明なし)とAI予測を説明付きで比較、評価する。
あらゆる種類のAI予測を提供することで、ユーザの判断精度が向上する傾向がありますが、説明可能なAIが有意義な影響を与えるという決定的な証拠はありません。
さらに,人間の判断精度の最も強い予測要因は,aiの正確さであり,aiが正しいか不正確かをユーザーがある程度検出できたが,説明を含めると大きな影響は認められなかった。
我々の結果は、少なくともいくつかの状況において、説明可能なAIが提供する「なぜ」情報はユーザーの意思決定を促進できない可能性があることを示し、説明可能なAIを現実のシステムに組み込む方法を理解するためにさらなる研究が必要であることを示唆している。 Explainable AI provides insight into the "why" for model predictions, offering potential for users to better understand and trust a model, and to recognize and correct AI predictions that are incorrect. Prior research on human and explainable AI interactions has focused on measures such as interpretability, trust, and usability of the explanation. Whether explainable AI can improve actual human decision-making and the ability to identify the problems with the underlying model are open questions. Using real datasets, we compare and evaluate objective human decision accuracy without AI (control), with an AI prediction (no explanation), and AI prediction with explanation. We find providing any kind of AI prediction tends to improve user decision accuracy, but no conclusive evidence that explainable AI has a meaningful impact. Moreover, we observed the strongest predictor for human decision accuracy was AI accuracy and that users were somewhat able to detect when the AI was correct versus incorrect, but this was not significantly affected by including an explanation. Our results indicate that, at least in some situations, the "why" information provided in explainable AI may not enhance user decision-making, and further research may be needed to understand how to integrate explainable AI into real systems. | 翻訳日:2022-11-19 03:56:40 公開日:2020-06-19 |
| # 多重グラフネットワークを用いた抽象ダイアグラム推論 Abstract Diagrammatic Reasoning with Multiplex Graph Networks ( http://arxiv.org/abs/2006.11197v1 ) ライセンス: Link先を確認 | Duo Wang, Mateja Jamnik, Pietro Lio | (参考訳) 抽象推論は、特に視覚領域において、複雑な人間の能力であるが、人工知能システムにとって難しい問題である。
本研究では,マルチパネル図形推論タスクのための多層グラフニューラルネットワークMXGNetを提案する。
mxgnetは、視覚的推論タスクを解決するために、オブジェクトレベルの表現、グラフニューラルネットワーク、多重グラフという3つの強力な概念を組み合わせる。
mxgnetはまず、ダイアグラムのすべてのパネルで各要素のオブジェクトレベル表現を抽出し、その後、異なるダイアグラムパネルにまたがるオブジェクト間の複数の関係をキャプチャする多層多重グラフを形成する。
MXGNetはタスクのダイアグラムから抽出された複数のグラフを要約し、この要約を用いて与えられた候補から最も可能な答えを選択する。
ダイアグラム・シロジズム(Digram Syllogisms)とレイヴン・プログレッシブ・マトリックス(Raven Progressive Matrices, RPM)という2種類の図式推論タスクでMXGNetを検証した。
Euler Diagram SyllogismタスクMXGNetは99.8%の最先端の精度を達成する。
PGMとRAVENでは、RPM推論のための包括的なデータセットが2つあり、MXGNetは最先端のモデルよりもかなり優れている。 Abstract reasoning, particularly in the visual domain, is a complex human ability, but it remains a challenging problem for artificial neural learning systems. In this work we propose MXGNet, a multilayer graph neural network for multi-panel diagrammatic reasoning tasks. MXGNet combines three powerful concepts, namely, object-level representation, graph neural networks and multiplex graphs, for solving visual reasoning tasks. MXGNet first extracts object-level representations for each element in all panels of the diagrams, and then forms a multi-layer multiplex graph capturing multiple relations between objects across different diagram panels. MXGNet summarises the multiple graphs extracted from the diagrams of the task, and uses this summarisation to pick the most probable answer from the given candidates. We have tested MXGNet on two types of diagrammatic reasoning tasks, namely Diagram Syllogisms and Raven Progressive Matrices (RPM). For an Euler Diagram Syllogism task MXGNet achieves state-of-the-art accuracy of 99.8%. For PGM and RAVEN, two comprehensive datasets for RPM reasoning, MXGNet outperforms the state-of-the-art models by a considerable margin. | 翻訳日:2022-11-19 03:56:17 公開日:2020-06-19 |
| # オープン問題:コンテキスト・バンディットのためのモデル選択 Open Problem: Model Selection for Contextual Bandits ( http://arxiv.org/abs/2006.10940v1 ) ライセンス: Link先を確認 | Dylan J. Foster and Akshay Krishnamurthy and Haipeng Luo | (参考訳) 統計的学習において、モデル選択のためのアルゴリズムは、学習者がシーケンス内の最良の仮説クラスの複雑さに適応できるようにする。
我々は、文脈的バンディット学習に同様の保証が可能かどうかを問う。 In statistical learning, algorithms for model selection allow the learner to adapt to the complexity of the best hypothesis class in a sequence. We ask whether similar guarantees are possible for contextual bandit learning. | 翻訳日:2022-11-19 03:49:39 公開日:2020-06-19 |
| # 入力を欠くベイズ最適化 Bayesian Optimization with Missing Inputs ( http://arxiv.org/abs/2006.10948v1 ) ライセンス: Link先を確認 | Phuc Luong, Dang Nguyen, Sunil Gupta, Santu Rana, and Svetha Venkatesh | (参考訳) ベイズ最適化(BO)は高価なブラックボックス関数を最適化する効率的な方法である。
現実世界のアプリケーションでは、BOはしばしば入力値の欠落という大きな問題に直面します。
入力の欠如は2つのケースで起こり得る。
まず、BOをトレーニングするための歴史的データは、しばしば欠落した値を含む。
第2に、機能評価(例えば熱処理プロセスにおける合金強度の計算など)を行う場合、エラーが発生する(例えば、サーモスタットが動作を停止する)と、関数が提案された値ではなくランダム未知の値で計算される誤った状況となる。
この問題に対処するために、共通のアプローチは、値が欠けているデータポイントを単にスキップするだけです。
明らかに、このナイーブな方法は効率的にデータを活用できず、しばしばパフォーマンスが低下する。
本稿では,欠落した入力を処理する新しいBO法を提案する。
まず、各欠落値の確率分布を見つけ、その分布からサンプルを引き出すことで欠落値を引き起こせるようにする。
次に,関数評価の次点を提案する際の不確実性を考慮した,よく知られたuper confidence bound (ucb) 獲得関数に基づく新たな獲得関数を開発する。
本手法の有用性を示すために,合成と実世界の両方の応用について総合的な実験を行う。 Bayesian optimization (BO) is an efficient method for optimizing expensive black-box functions. In real-world applications, BO often faces a major problem of missing values in inputs. The missing inputs can happen in two cases. First, the historical data for training BO often contain missing values. Second, when performing the function evaluation (e.g. computing alloy strength in a heat treatment process), errors may occur (e.g. a thermostat stops working) leading to an erroneous situation where the function is computed at a random unknown value instead of the suggested value. To deal with this problem, a common approach just simply skips data points where missing values happen. Clearly, this naive method cannot utilize data efficiently and often leads to poor performance. In this paper, we propose a novel BO method to handle missing inputs. We first find a probability distribution of each missing value so that we can impute the missing value by drawing a sample from its distribution. We then develop a new acquisition function based on the well-known Upper Confidence Bound (UCB) acquisition function, which considers the uncertainty of imputed values when suggesting the next point for function evaluation. We conduct comprehensive experiments on both synthetic and real-world applications to show the usefulness of our method. | 翻訳日:2022-11-19 03:49:19 公開日:2020-06-19 |
| # この相互作用は私にどう影響しますか?
特徴相互作用の解釈的属性 How does this interaction affect me? Interpretable attribution for feature interactions ( http://arxiv.org/abs/2006.10965v1 ) ライセンス: Link先を確認 | Michael Tsang, Sirisha Rambhatla, Yan Liu | (参考訳) 機械学習の透明性は、入力がどのように予測に関連しているかを解釈可能な説明を要求する。
特徴帰属(Feature Attribution)は、予測に対する機能の影響を分析する方法である。
特徴の相互作用は、予測に共同で影響を及ぼす特徴間のコンテキスト依存である。
予測モデルにおける特徴的相互作用を抽出する手法はいくつかあるが、相互作用への属性を割り当てる手法は解釈不能、モデル固有または非アキソティックである。
本稿では,これらの問題に対処し,実環境においてスケーラブルなインタラクション属性と検出フレームワークArchipelagoを提案する。
標準アノテーションラベルを用いた実験により,本手法は比較手法よりもはるかに解釈可能な説明を提供し,対話が予測に与える影響を分析する上で重要であることが示された。
また、ディープニューラルネットワークに新たな洞察を与えるアプローチの視覚化も提供しています。 Machine learning transparency calls for interpretable explanations of how inputs relate to predictions. Feature attribution is a way to analyze the impact of features on predictions. Feature interactions are the contextual dependence between features that jointly impact predictions. There are a number of methods that extract feature interactions in prediction models; however, the methods that assign attributions to interactions are either uninterpretable, model-specific, or non-axiomatic. We propose an interaction attribution and detection framework called Archipelago which addresses these problems and is also scalable in real-world settings. Our experiments on standard annotation labels indicate our approach provides significantly more interpretable explanations than comparable methods, which is important for analyzing the impact of interactions on predictions. We also provide accompanying visualizations of our approach that give new insights into deep neural networks. | 翻訳日:2022-11-19 03:48:24 公開日:2020-06-19 |
| # 機能相互作用の解釈可能性:ニューラルインタラクション検出によるアドレコメンデーションシステムの説明事例 Feature Interaction Interpretability: A Case for Explaining Ad-Recommendation Systems via Neural Interaction Detection ( http://arxiv.org/abs/2006.10966v1 ) ライセンス: Link先を確認 | Michael Tsang, Dehua Cheng, Hanpeng Liu, Xue Feng, Eric Zhou, Yan Liu | (参考訳) 推薦は機械学習の一般的な応用であり、多くのユーザーに影響を与えるため、推奨モデルが正確かつ解釈可能であることが重要である。
本研究では,ブラックボックス推薦システムの予測を解釈し,拡張する手法を提案する。
特に、ソースレコメンダモデルから特徴的相互作用を解釈し、ターゲットレコメンダモデルでこれらの相互作用を明示的に符号化することを提案する。
レコメンダシステムの構造を前提にしないことで、このアプローチは一般的な設定で使用できる。
実験では、アドクリック予測という機械学習推奨の顕著な利用に焦点を当てた。
我々の相互作用の解釈は情報的かつ予測的であり、例えば既存の推奨モデルよりもはるかに優れていることがわかった。
さらに、インタラクションを解釈する同じアプローチは、テキストやイメージの分類といった推奨を越えて、ドメインに対する新たな洞察を提供することができます。 Recommendation is a prevalent application of machine learning that affects many users; therefore, it is important for recommender models to be accurate and interpretable. In this work, we propose a method to both interpret and augment the predictions of black-box recommender systems. In particular, we propose to interpret feature interactions from a source recommender model and explicitly encode these interactions in a target recommender model, where both source and target models are black-boxes. By not assuming the structure of the recommender system, our approach can be used in general settings. In our experiments, we focus on a prominent use of machine learning recommendation: ad-click prediction. We found that our interaction interpretations are both informative and predictive, e.g., significantly outperforming existing recommender models. What's more, the same approach to interpret interactions can provide new insights into domains even beyond recommendation, such as text and image classification. | 翻訳日:2022-11-19 03:48:12 公開日:2020-06-19 |
| # 多変数関数を表現できない一層ニューラルネットワーク No one-hidden-layer neural network can represent multivariable functions ( http://arxiv.org/abs/2006.10977v1 ) ライセンス: Link先を確認 | Masayo Inoue, Mana Futamura, Hirokazu Ninomiya | (参考訳) ニューラルネットワークとの関数近似では、各隠れ層ユニットのパラメータを最適化することにより、入力データセットを出力インデックスにマッピングする。
非定常関数に対しては、整流線形単位(relu)活性化関数を持つ一層ニューラルネットワークの連続バージョンを構築することにより、パラメータとその第2導関数に制約を与える。
制約がパラメータの自由度を減少させるため、ネットワークは正確に実装される。
また、そのようなニューラルネットワークで正確に表現できない滑らかなバイナリ関数の存在についても説明する。 In a function approximation with a neural network, an input dataset is mapped to an output index by optimizing the parameters of each hidden-layer unit. For a unary function, we present constraints on the parameters and its second derivative by constructing a continuum version of a one-hidden-layer neural network with the rectified linear unit (ReLU) activation function. The network is accurately implemented because the constraints decrease the degrees of freedom of the parameters. We also explain the existence of a smooth binary function that cannot be precisely represented by any such neural network. | 翻訳日:2022-11-19 03:47:42 公開日:2020-06-19 |
| # 多視点深部モデルに対する逆襲攻撃 Adversarial Attacks for Multi-view Deep Models ( http://arxiv.org/abs/2006.11004v1 ) ライセンス: Link先を確認 | Xuli Sun, Shiliang Sun | (参考訳) 最近の研究は、多くのディープラーニングモデルの脆弱性を敵の例に強調している。
敵攻撃に対する関心が高まり、展開前にモデルのセキュリティと堅牢性を評価するために使用できる。
しかしながら、我々の知る限り、マルチビュー深層モデルに対する敵意攻撃に関する具体的な研究はない。
本稿では,2段階攻撃(TSA)とエンドツーエンド攻撃(ETEA)の2つの多視点攻撃戦略を提案する。
対象とするマルチビューモデルに基づく単一視点モデルが知られているという軽度な仮定から,まずtsa戦略を提案する。
TSAの主な考え方は、関連する単一ビューモデルに対する攻撃によって生じる敵の例でマルチビューモデルを攻撃することであり、これにより、最先端の単一ビューアタックメソッドがマルチビューシナリオに直接拡張される。
次に,マルチビューモデルが公開されている場合のETEA戦略を提案する。
ETEAはターゲットのマルチビューモデルへのダイレクトアタックに応用され、3つの効果的なマルチビューアタック手法を開発する。
最後に、異なるモデル間で敵の例がよく一般化されていることを踏まえ、本論文では、マルチビュー畳み込みニューラルネットワークに対する敵の攻撃を例として、提案したマルチビュー攻撃の有効性を検証する。
大規模な実験結果から,我々の多視点攻撃戦略が多視点深層モデルに攻撃できることを示すとともに,多視点モデルの方がシングルビューモデルよりも堅牢であることを示す。 Recent work has highlighted the vulnerability of many deep machine learning models to adversarial examples. It attracts increasing attention to adversarial attacks, which can be used to evaluate the security and robustness of models before they are deployed. However, to our best knowledge, there is no specific research on the adversarial attacks for multi-view deep models. This paper proposes two multi-view attack strategies, two-stage attack (TSA) and end-to-end attack (ETEA). With the mild assumption that the single-view model on which the target multi-view model is based is known, we first propose the TSA strategy. The main idea of TSA is to attack the multi-view model with adversarial examples generated by attacking the associated single-view model, by which state-of-the-art single-view attack methods are directly extended to the multi-view scenario. Then we further propose the ETEA strategy when the multi-view model is provided publicly. The ETEA is applied to accomplish direct attacks on the target multi-view model, where we develop three effective multi-view attack methods. Finally, based on the fact that adversarial examples generalize well among different models, this paper takes the adversarial attack on the multi-view convolutional neural network as an example to validate that the effectiveness of the proposed multi-view attacks. Extensive experimental results demonstrate that our multi-view attack strategies are capable of attacking the multi-view deep models, and we additionally find that multi-view models are more robust than single-view models. | 翻訳日:2022-11-19 03:47:04 公開日:2020-06-19 |
| # 循環型ジョブショップスケジューリング問題:ジョブショップ問題の新たなサブクラスとシミュレートアニーリングの適用 The cyclic job-shop scheduling problem: The new subclass of the job-shop problem and applying the Simulated annealing to solve it ( http://arxiv.org/abs/2006.10938v1 ) ライセンス: Link先を確認 | Pavel Matrenin, Vadim Manusov | (参考訳) 本稿では,スケジューリング問題に対する新しいアプローチについて述べる。
このアプローチは循環生産計画の問題に対処し、k が再帰数であるような順序 k の循環ジョブショップ問題として、そのようなスケジューリング問題を考えることを提案する。
その結果、ループを1回だけ計画することは、サイクル全体の計画よりも効果が低いことがわかった。
実験研究のために, 運用研究図書館によるジョブショップスケジューリング問題の試験事例を多数使用した。
インスタンスをシミュレートしたアニーリングが適用された。
実験により,提案手法により循環スケジューリングの効率を著しく向上できることが証明された。 In the paper, the new approach to the scheduling problem are described. The approach deals with the problem of planning the cyclic production and proposes to consider such scheduling problem as the cyclic job-shop problem of the order k, where k is the number of reiterations. It was found out that planning of only one iteration of the loop is less effective than planning of the entire cycle. To the experimental research, a number of test instances of the job-shop scheduling problem by Operation Research Library were used. The Simulated Annealing was applied to solve the instances. The experiments proved that the approach proposed allows increasing the efficiency of cyclic scheduling significantly. | 翻訳日:2022-11-19 03:40:54 公開日:2020-06-19 |
| # Chatbot:ニューラルネットワークを用いた名前付きエンティティ認識モデルを用いた会話エージェント Chatbot: A Conversational Agent employed with Named Entity Recognition Model using Artificial Neural Network ( http://arxiv.org/abs/2007.04248v1 ) ライセンス: Link先を確認 | Nazakat Ali | (参考訳) Chatbotは自然言語を使って人間の行動を模倣する技術である。
顧客サービスと満足度を高めるために、さまざまなビジネスドメインで会話エージェントとして使用できるチャットボットには、さまざまな種類がある。
どのビジネスドメインに対しても、そのドメインのために知識ベースを構築し、ユーザに対してドキュメントや生成した文で応答可能な情報検索ベースのシステムを設計する必要があります。
チャットボットの中核となるコンポーネントは自然言語理解(nlu)であり、ディープラーニング手法によって驚くほど改善されている。
しかし、しばしばそのような適切に構築されたNLUモジュールが欠如しており、高品質な会話のためにスクラッチから構築するのにより多くの時間を必要とします。
これにより、新しい学習者は、単純なアーキテクチャと小さなデータセットを使ってゼロからChatbotを構築することができるが、高品質なデータ駆動メソッドを構築するのではなく、機能を減らすことができる。
本研究は,チャットボットのNLUサービスに統合可能な名前付きエンティティ認識(NER)と入出力分類モデルに焦点を当てる。
名前付きエンティティは知識ベースに手動で挿入され、指定された文で自動的に検出される。
提案アーキテクチャにおけるNERモデルは、手動で作成したエンティティに基づいてトレーニングされ、CoNLL-2003データセットを用いて評価される人工ニューラルネットワークに基づいている。 Chatbot is a technology that is used to mimic human behavior using natural language. There are different types of Chatbot that can be used as conversational agent in various business domains in order to increase the customer service and satisfaction. For any business domain, it requires a knowledge base to be built for that domain and design an information retrieval based system that can respond the user with a piece of documentation or generated sentences. The core component of a Chatbot is Natural Language Understanding (NLU) which has been impressively improved by deep learning methods. But we often lack such properly built NLU modules and requires more time to build it from scratch for high quality conversations. This may encourage fresh learners to build a Chatbot from scratch with simple architecture and using small dataset, although it may have reduced functionality, rather than building high quality data driven methods. This research focuses on Named Entity Recognition (NER) and Intent Classification models which can be integrated into NLU service of a Chatbot. Named entities will be inserted manually in the knowledge base and automatically detected in a given sentence. The NER model in the proposed architecture is based on artificial neural network which is trained on manually created entities and evaluated using CoNLL-2003 dataset. | 翻訳日:2022-11-19 03:40:27 公開日:2020-06-19 |
| # モデルプランニングにおける重み付けとヘッセンバイアスの探索 Exploring Weight Importance and Hessian Bias in Model Pruning ( http://arxiv.org/abs/2006.10903v1 ) ライセンス: Link先を確認 | Mingchen Li, Yahya Sattar, Christos Thrampoulidis, Samet Oymak | (参考訳) モデルプルーニングは、コンパクトで計算効率の良い機械学習モデルを構築する上で不可欠な手順である。
優れたプルーニングアルゴリズムの重要な特徴は、モデル重みの相対的重要性を正確に定量化することである。
モデルプルーニングには豊富な歴史があるが、線形モデルや浅いニューラルネットを含む比較的単純な問題であっても、プルーニングの仕組みを十分に把握することはできない。
本研究は, 自然に重要となる概念を基盤として, 刈り取りの原理的探索を行う。
線形モデルの場合、この重要性の概念は、よく知られたヘッセン式プルーニングに接続する共分散スケーリングによって得られる。
次に、異なるプルーニング法の性能を正確に比較できる漸近式を導出する。
ニューラルネットワークの場合,大きめの精度で重要であり,適切な初期化が大きめのプルーニングに重要であることを示す。
具体的には,より小さくなっても重みがより重要になるような設定を特定することで,マグニチュードベースの刈り取りの壊滅的な失敗を招いた。
また, ヘシアン構造の暗黙の正則化は, プルーニング性能を左右する重要な重みを同定する触媒的役割を持つことが明らかとなった。 Model pruning is an essential procedure for building compact and computationally-efficient machine learning models. A key feature of a good pruning algorithm is that it accurately quantifies the relative importance of the model weights. While model pruning has a rich history, we still don't have a full grasp of the pruning mechanics even for relatively simple problems involving linear models or shallow neural nets. In this work, we provide a principled exploration of pruning by building on a natural notion of importance. For linear models, we show that this notion of importance is captured by covariance scaling which connects to the well-known Hessian-based pruning. We then derive asymptotic formulas that allow us to precisely compare the performance of different pruning methods. For neural networks, we demonstrate that the importance can be at odds with larger magnitudes and proper initialization is critical for magnitude-based pruning. Specifically, we identify settings in which weights become more important despite becoming smaller, which in turn leads to a catastrophic failure of magnitude-based pruning. Our results also elucidate that implicit regularization in the form of Hessian structure has a catalytic role in identifying the important weights, which dictate the pruning performance. | 翻訳日:2022-11-19 03:39:42 公開日:2020-06-19 |
| # 可変固定器を用いたニューラルプログラム合成 Neural Program Synthesis with a Differentiable Fixer ( http://arxiv.org/abs/2006.10924v1 ) ライセンス: Link先を確認 | Matej Balog, Rishabh Singh, Petros Maniatis, Charles Sutton | (参考訳) 本稿では,エンコーダ-デコーダベースの合成アーキテクチャと微分可能なプログラム固定器を組み合わせた新しいプログラム合成手法を提案する。
私たちのアプローチは、人間の開発者が最初の試みでプログラムを正すことがほとんどなく、必要なプログラム機能に到達するために反復的なテストベースのプログラム修正を行うという事実にインスパイアされています。
同様に、本手法はまず、入力出力サンプルの符号化に条件付きプログラム上の分布を学習し、次に微分可能な固定器を用いて反復的に修正操作を行う。
固定子は、元の例と現在のプログラムの出力を例入力で入力し、現在のプログラム出力と所望の例出力との相違を減らすことを目的として、プログラム上の新しい分布を生成する。
我々は,ロバストフィルドメイン上でエンドツーエンドのアーキテクチャをトレーニングし,固定モジュールの追加により,ビーム探索を用いた場合と比較して合成精度が大幅に向上することを示す。 We present a new program synthesis approach that combines an encoder-decoder based synthesis architecture with a differentiable program fixer. Our approach is inspired from the fact that human developers seldom get their program correct on the first attempt, and perform iterative testing-based program fixing to get to the desired program functionality. Similarly, our approach first learns a distribution over programs conditioned on an encoding of a set of input-output examples, and then iteratively performs fix operations using the differentiable fixer. The fixer takes as input the original examples and the current program's outputs on example inputs, and generates a new distribution over the programs with the goal of reducing the discrepancies between the current program outputs and the desired example outputs. We train our architecture end-to-end on the RobustFill domain, and show that the addition of the fixer module leads to a significant improvement on synthesis accuracy compared to using beam search. | 翻訳日:2022-11-19 03:39:06 公開日:2020-06-19 |
| # 広汎なライニング姿勢追跡 Pervasive Lying Posture Tracking ( http://arxiv.org/abs/2006.10931v1 ) ライセンス: Link先を確認 | Paratoo Alinia, Ali Samadani, Mladen Milosevic, Hassan Ghasemzadeh, and Saman Parvaneh | (参考訳) 床内姿勢追跡システムの効率的な設計方法に関する研究には大きなギャップがある。
これらのギャップは、下記のいくつかの研究質問を通して説明できる。
まず、嘘つきの姿勢を正確に検出できる単一センサー、広範、安価なシステムを設計できますか?
第二に、嘘つき姿勢の正確な検出に最も有効な計算モデルは何だろうか?
最後に、横たわる姿勢追跡にはセンサーシステムの物理的構成が最も効果的か?
そこで本研究では,1つの加速度センサと,ベッド内姿勢分類のための機械学習アルゴリズムを併用したセンサシステムを設計するための包括的アプローチを提案する。
深層学習に基づく機械学習アルゴリズムと,手作り特徴を用いた従来の分類の2つのカテゴリをデザインし,横たわる姿勢を検出する。
また,転倒姿勢の正確な検出に最も有効な装具について検討した。
2つのデータセットを用いて,9つの異なる身体位置と4つの人間の横姿勢における提案アルゴリズムの性能を広範囲に評価した。
以上の結果から,1つの加速度計を持つシステムは,深層学習や従来の分類器と併用して,嘘の姿勢を正確に検出できることがわかった。
この手法の最良のモデルは、95.2%から97.8%まで変化係数0.03から0.05のf-scoreである。
また、大腿部と胸部は横たわる姿勢追跡に最も有意義な部位であることもわかりました。
本稿では,加速度センサはユビキタスで安価なセンサであるため,ベッド内姿勢の広汎なモニタリングを行うための情報源となる可能性が示唆された。 There exist significant gaps in research about how to design efficient in-bed lying posture tracking systems. These gaps can be articulated through several research questions as follows. First, can we design a single-sensor, pervasive, and inexpensive system that can accurately detect lying postures? Second, what computational models are most effective in the accurate detection of lying postures? Finally, what physical configuration of the sensor system is most effective for lying posture tracking? To answer these important research questions, in this article, we propose a comprehensive approach to design a sensor system that uses a single accelerometer along with machine learning algorithms for in-bed lying posture classification. We design two categories of machine learning algorithms based on deep learning and traditional classification with handcrafted features to detect lying postures. We also investigate what wearing sites are most effective in accurate detection of lying postures. We extensively evaluate the performance of the proposed algorithms on nine different body locations and four human lying postures using two datasets. Our results show that a system with a single accelerometer can be used with either deep learning or traditional classifiers to accurately detect lying postures. The best models in our approach achieve an F-Score that ranges from 95.2% to 97.8% with 0.03 to 0.05 coefficient of variation. The results also identify the thighs and chest as the most salient body sites for lying posture tracking. Our findings in this article suggest that because accelerometers are ubiquitous and inexpensive sensors, they can be a viable source of information for pervasive monitoring of in-bed postures. | 翻訳日:2022-11-19 03:38:13 公開日:2020-06-19 |
| # squeezebert: コンピュータビジョンは効率的なニューラルネットワークについてnlpに何を教えますか? SqueezeBERT: What can computer vision teach NLP about efficient neural networks? ( http://arxiv.org/abs/2006.11316v1 ) ライセンス: Link先を確認 | Forrest N. Iandola, Albert E. Shaw, Ravi Krishna, Kurt W. Keutzer | (参考訳) 人間は毎日何十億ものメッセージを読み書きしています
さらに、大規模なデータセット、大規模コンピューティングシステム、ニューラルネットワークモデルの改善により、自然言語処理(NLP)技術は、これらのメッセージの理解、証明、整理に大きく貢献している。
したがって、Webユーザやソーシャルネットワーク、ビジネスを支援するために、無数のアプリケーションにNLPをデプロイする大きな機会があります。
特に、スマートフォンや他のモバイルデバイスは、大規模にNLPモデルをデプロイするための重要なプラットフォームだと考えています。
しかし、BERTやRoBERTaといった今日の高精度なNLPニューラルネットワークモデルは、Pixel 3スマートフォンでテキストスニペットを分類するのに1.7秒を要するため、非常に計算コストが高い。
本研究では,グループ畳み込みなどの手法がコンピュータビジョンネットワークにおいて重要なスピードアップをもたらしているが,これらの手法の多くはNLPニューラルネットワーク設計者によって採用されていない。
この手法を,Pixel 3のBERTベースより4.3倍高速に動作し,GLUEテストセット上での競合精度を実現した,SqueezeBERTという新しいネットワークアーキテクチャに応用する。
SqueezeBERTコードはリリースされる。 Humans read and write hundreds of billions of messages every day. Further, due to the availability of large datasets, large computing systems, and better neural network models, natural language processing (NLP) technology has made significant strides in understanding, proofreading, and organizing these messages. Thus, there is a significant opportunity to deploy NLP in myriad applications to help web users, social networks, and businesses. In particular, we consider smartphones and other mobile devices as crucial platforms for deploying NLP models at scale. However, today's highly-accurate NLP neural network models such as BERT and RoBERTa are extremely computationally expensive, with BERT-base taking 1.7 seconds to classify a text snippet on a Pixel 3 smartphone. In this work, we observe that methods such as grouped convolutions have yielded significant speedups for computer vision networks, but many of these techniques have not been adopted by NLP neural network designers. We demonstrate how to replace several operations in self-attention layers with grouped convolutions, and we use this technique in a novel network architecture called SqueezeBERT, which runs 4.3x faster than BERT-base on the Pixel 3 while achieving competitive accuracy on the GLUE test set. The SqueezeBERT code will be released. | 翻訳日:2022-11-19 03:31:53 公開日:2020-06-19 |
| # 離散層から連続畳み込み層へ From Discrete to Continuous Convolution Layers ( http://arxiv.org/abs/2006.11120v1 ) ライセンス: Link先を確認 | Assaf Shocher and Ben Feinstein and Niv Haim and Michal Irani | (参考訳) 畳み込みニューラルネットワーク(cnns)の基本的な操作は、特徴写像の空間的再サイズである。
これはstided convolution(donwscaling)またはtransposed convolution(upscaling)によって行われる。
このような操作は、所定の整数ステップ(ステップ)で動く固定フィルタに制限される。
連続するレイヤの空間サイズは、アーキテクチャ設計で定められた整数スケール因子によって関連付けられ、トレーニングと推論時間を通して固定される。
本稿では,離散層から連続畳み込み(CC)層への共通Conv層の一般化を提案する。
CC層は、フィルタをサブピクセル座標上の学習された連続関数として表現することで自然にConv層を拡張する。
これにより,任意のサイズの機能マップを動的かつ一貫したスケールで,学習可能かつ原則的に再サイズすることが可能になります。
一度トレーニングすると、cc層は推論時に選択された任意のスケール/サイズを出力するために使用できる。
スケールは非整数であり、軸によって異なる。
CCは、推論時の動的レイヤの形状や、各レイヤの小さな要素によってサイズが変化する段階的なアーキテクチャなど、アーキテクチャ設計に新たな自由をもたらす。
これにより、多くのCNNプロパティ、新しいアーキテクチャ設計機能、有用なアプリケーションが得られる。
さらに,現在のConv層はCC層によって改善される固有の不整合に悩まされていることを示す。 A basic operation in Convolutional Neural Networks (CNNs) is spatial resizing of feature maps. This is done either by strided convolution (donwscaling) or transposed convolution (upscaling). Such operations are limited to a fixed filter moving at predetermined integer steps (strides). Spatial sizes of consecutive layers are related by integer scale factors, predetermined at architectural design, and remain fixed throughout training and inference time. We propose a generalization of the common Conv-layer, from a discrete layer to a Continuous Convolution (CC) Layer. CC Layers naturally extend Conv-layers by representing the filter as a learned continuous function over sub-pixel coordinates. This allows learnable and principled resizing of feature maps, to any size, dynamically and consistently across scales. Once trained, the CC layer can be used to output any scale/size chosen at inference time. The scale can be non-integer and differ between the axes. CC gives rise to new freedoms for architectural design, such as dynamic layer shapes at inference time, or gradual architectures where the size changes by a small factor at each layer. This gives rise to many desired CNN properties, new architectural design capabilities, and useful applications. We further show that current Conv-layers suffer from inherent misalignments, which are ameliorated by CC layers. | 翻訳日:2022-11-19 03:31:30 公開日:2020-06-19 |
| # Few-Shot分類のための自己教師付きプロトタイプトランスファー学習 Self-Supervised Prototypical Transfer Learning for Few-Shot Classification ( http://arxiv.org/abs/2006.11325v1 ) ライセンス: Link先を確認 | Carlos Medina, Arnout Devos, Matthias Grossglauser | (参考訳) 少数ショット学習のほとんどのアプローチは、(事前)トレーニング中の目標タスクドメインに関連する高価な注釈付きデータに依存している。
近年,教師なしメタラーニング手法は,数発の分類性能の低下に対するアノテーション要件を交換している。
同時に、現実的なドメインシフトを伴う設定において、共通の転送学習は教師付きメタラーニングよりも優れていることが示されている。
そこで,これらの知見と自己教師あり学習の進歩に基づいて,ラベルのない原型標本とそれらの拡張を密に結合した計量埋め込みを構築するトランスファー学習手法を提案する。
この事前学習された埋め込みは、クラスクラスタと微調整を要約することで、少数ショットの分類の出発点となる。
我々は,ProtoTransferによる自己教師付きプロトタイプトランスファー学習手法が,Mini-ImageNetデータセットからの少数ショットタスクにおいて,最先端の教師なしメタラーニング手法より優れていることを示す。
ドメインシフトを用いた数ショットの実験では、我々のアプローチは教師付きメソッドに匹敵する性能を持つが、ラベルの桁数は桁違いである。 Most approaches in few-shot learning rely on costly annotated data related to the goal task domain during (pre-)training. Recently, unsupervised meta-learning methods have exchanged the annotation requirement for a reduction in few-shot classification performance. Simultaneously, in settings with realistic domain shift, common transfer learning has been shown to outperform supervised meta-learning. Building on these insights and on advances in self-supervised learning, we propose a transfer learning approach which constructs a metric embedding that clusters unlabeled prototypical samples and their augmentations closely together. This pre-trained embedding is a starting point for few-shot classification by summarizing class clusters and fine-tuning. We demonstrate that our self-supervised prototypical transfer learning approach ProtoTransfer outperforms state-of-the-art unsupervised meta-learning methods on few-shot tasks from the mini-ImageNet dataset. In few-shot experiments with domain shift, our approach even has comparable performance to supervised methods, but requires orders of magnitude fewer labels. | 翻訳日:2022-11-19 03:30:53 公開日:2020-06-19 |
| # 教師なし視覚異常検出のためのマニフォールド Manifolds for Unsupervised Visual Anomaly Detection ( http://arxiv.org/abs/2006.11364v1 ) ライセンス: Link先を確認 | Louise Naud and Alexander Lavin | (参考訳) 異常は定義上稀であり、ラベル付き例は非常に限定的か存在せず、予期せぬシナリオをカバーしない可能性が高い。
トレーニングの異常に必ずしも遭遇しない教師なしの学習方法は、非常に有用です。
生成的視覚モデルは、この点において有用であるが、正規および異常なデータ分布を十分に表していない。
この目的のために、教師なし視覚異常検出にデータ分布を埋め込むための定数曲率多様体を提案する。
多様体形状の理論的および経験的な探索を通じて、ジャイロプレーン層を持つ立体射影による新しい超球形変分オートエンコーダ(VAE)を開発した。
この射影によるアプローチはモデル一般化の観点から有益であり、より解釈可能な表現が得られる。
工業用AIシナリオにおける実世界の実用性を実証し、精密製造および検査における視覚異常ベンチマークの最先端結果を示す。
我々はさらに, 組織病理学の難解な問題に対するアプローチを実証する: 教師なしのアプローチは, ノイズの多い全身スライド画像から, 癌性脳組織を効果的に検出し, 医療専門家に解釈可能な決定ツールを提供する, 滑らかで潜伏した組織タイプの組織化を学習する。 Anomalies are by definition rare, thus labeled examples are very limited or nonexistent, and likely do not cover unforeseen scenarios. Unsupervised learning methods that don't necessarily encounter anomalies in training would be immensely useful. Generative vision models can be useful in this regard but do not sufficiently represent normal and abnormal data distributions. To this end, we propose constant curvature manifolds for embedding data distributions in unsupervised visual anomaly detection. Through theoretical and empirical explorations of manifold shapes, we develop a novel hyperspherical Variational Auto-Encoder (VAE) via stereographic projections with a gyroplane layer - a complete equivalent to the Poincar\'e VAE. This approach with manifold projections is beneficial in terms of model generalization and can yield more interpretable representations. We present state-of-the-art results on visual anomaly benchmarks in precision manufacturing and inspection, demonstrating real-world utility in industrial AI scenarios. We further demonstrate the approach on the challenging problem of histopathology: our unsupervised approach effectively detects cancerous brain tissue from noisy whole-slide images, learning a smooth, latent organization of tissue types that provides an interpretable decisions tool for medical professionals. | 翻訳日:2022-11-19 03:30:18 公開日:2020-06-19 |
| # 転校学習か自己監督学習か?
2つの事前学習パラダイムの物語 Transfer Learning or Self-supervised Learning? A Tale of Two Pretraining Paradigms ( http://arxiv.org/abs/2007.04234v1 ) ライセンス: Link先を確認 | Xingyi Yang, Xuehai He, Yuxiao Liang, Yue Yang, Shanghang Zhang, Pengtao Xie | (参考訳) プリトレーニングはコンピュータビジョンと自然言語処理の標準技術となり、パフォーマンスを大幅に向上させるのに役立つ。
これまで、最も支配的な事前学習方法は、ラベル付きデータを使用して良好な表現ネットワークを学ぶ転送学習(tl)である。
最近、自己教師付き学習(SSL)という新しい事前トレーニングアプローチが、幅広いアプリケーションで有望な結果を示している。
SSLはアノテーション付きラベルを必要としない。
入力データ例で定義された補助タスクを解いて、入力データに対して純粋に実行される。
現在のレポートでは、特定のアプリケーションではSSLがTLと他のアプリケーションよりも優れていることが示されている。
データとタスクのどの特性が一方のアプローチが他方より優れているかを明確に理解していない。
MLの研究者たちは、インフォームドガイドがなければ、両方の方法を試して、どちらが実験的に優れているかを見極める必要がある。
通常はそれを行うのに時間がかかる。
この作業では、この問題に取り組みます。
我々は、ソースタスクとターゲットタスクのドメイン差、事前トレーニングデータの量、ソースデータのクラス不均衡、追加事前トレーニングのためのターゲットデータの使用など、データとタスクの異なる特性下でよりうまく機能するSSLとTLの包括的な比較研究を行う。
比較研究から得られた知見は、機械学習研究者がアプリケーションの性質に基づいてどの方法を使うかを決定するのに役立つ。 Pretraining has become a standard technique in computer vision and natural language processing, which usually helps to improve performance substantially. Previously, the most dominant pretraining method is transfer learning (TL), which uses labeled data to learn a good representation network. Recently, a new pretraining approach -- self-supervised learning (SSL) -- has demonstrated promising results on a wide range of applications. SSL does not require annotated labels. It is purely conducted on input data by solving auxiliary tasks defined on the input data examples. The current reported results show that in certain applications, SSL outperforms TL and the other way around in other applications. There has not been a clear understanding on what properties of data and tasks render one approach outperforms the other. Without an informed guideline, ML researchers have to try both methods to find out which one is better empirically. It is usually time-consuming to do so. In this work, we aim to address this problem. We perform a comprehensive comparative study between SSL and TL regarding which one works better under different properties of data and tasks, including domain difference between source and target tasks, the amount of pretraining data, class imbalance in source data, and usage of target data for additional pretraining, etc. The insights distilled from our comparative studies can help ML researchers decide which method to use based on the properties of their applications. | 翻訳日:2022-11-19 03:29:21 公開日:2020-06-19 |
| # 速度制限と進化パラメータによるスケジューリング問題に対するパーティクルスワーム最適化 Particle Swarm Optimization with Velocity Restriction and Evolutionary Parameters Selection for Scheduling Problem ( http://arxiv.org/abs/2006.10935v1 ) ライセンス: Link先を確認 | Pavel Matrenin, Viktor Sekaev | (参考訳) 本稿では,スケジューリング問題に対するParticle Swarm最適化手法について述べる。
提案手法の性能向上のために,粒子速度の制限と進化的メタ最適化を実現した。
提案手法は粒子群最適化のパラメータの選択に遺伝的アルゴリズムを用いる。
ジョブショップスケジューリング問題のテストタスクについて実験を行った。
本研究は,本手法の適用性を実証し,Swarmインテリジェンス手法の行動パラメータを調整して高い性能を実現することの重要性を示す。 The article presents a study of the Particle Swarm optimization method for scheduling problem. To improve the method's performance a restriction of particles' velocity and an evolutionary meta-optimization were realized. The approach proposed uses the Genetic algorithms for selection of the parameters of Particle Swarm optimization. Experiments were carried out on test tasks of the job-shop scheduling problem. This research proves the applicability of the approach and shows the importance of tuning the behavioral parameters of the swarm intelligence methods to achieve a high performance. | 翻訳日:2022-11-19 03:28:58 公開日:2020-06-19 |
| # 連続学習を用いたニューラルトピックモデリング Neural Topic Modeling with Continual Lifelong Learning ( http://arxiv.org/abs/2006.10909v1 ) ライセンス: Link先を確認 | Pankaj Gupta and Yatin Chaudhary and Thomas Runkler and Hinrich Sch\"utze | (参考訳) 生涯学習は最近、将来の学習を支援するために知識の蓄積と伝達を継続的に行う機械学習システムの構築に注目を集めている。
教師なしトピックモデリングは、文書コレクションからトピックを発見するのに広く使われている。
しかし、トピックモデリングの応用は、例えば(短い)ドキュメントの小さなコレクションにおいて、データのスパーシティのために困難であり、従って、非一貫性なトピックと副最適ドキュメント表現を生成する。
そこで本研究では,複数の情報源からの知識の伝達により,文書コレクションのストリームを連続的に処理し,トピックを蓄積し,将来的なトピックモデリングタスクを導く神経話題モデリングのための生涯学習フレームワークを提案する。
生涯のプロセスにおいて,(1)生涯にわたって生成的ホモロジー(相対的話題)を共有し,(2)新しい選択的データ拡張,共同学習,話題規則化アプローチによって過去の学習を保ち続けるような破滅的な学習を最小化すること,の2つを共同で研究した。
文書コレクションのストリームを前提として、3つの疎疎な文書コレクションを将来のタスクとしてモデル化し、パープレキシティ、トピックコヒーレンス、情報検索タスクによって定量化されたパフォーマンス向上を示す。 Lifelong learning has recently attracted attention in building machine learning systems that continually accumulate and transfer knowledge to help future learning. Unsupervised topic modeling has been popularly used to discover topics from document collections. However, the application of topic modeling is challenging due to data sparsity, e.g., in a small collection of (short) documents and thus, generate incoherent topics and sub-optimal document representations. To address the problem, we propose a lifelong learning framework for neural topic modeling that can continuously process streams of document collections, accumulate topics and guide future topic modeling tasks by knowledge transfer from several sources to better deal with the sparse data. In the lifelong process, we particularly investigate jointly: (1) sharing generative homologies (latent topics) over lifetime to transfer prior knowledge, and (2) minimizing catastrophic forgetting to retain the past learning via novel selective data augmentation, co-training and topic regularization approaches. Given a stream of document collections, we apply the proposed Lifelong Neural Topic Modeling (LNTM) framework in modeling three sparse document collections as future tasks and demonstrate improved performance quantified by perplexity, topic coherence and information retrieval task. | 翻訳日:2022-11-19 03:23:26 公開日:2020-06-19 |
| # 探索的景観分析はサンプリング戦略に強く敏感である Exploratory Landscape Analysis is Strongly Sensitive to the Sampling Strategy ( http://arxiv.org/abs/2006.11135v1 ) ライセンス: Link先を確認 | Quentin Renau, Carola Doerr, Johann Dreo, Benjamin Doerr | (参考訳) 探索ランドスケープ分析(ELA)は,最適化問題の最も関連性の高い特徴を定量化する機能セットを提供することにより,自動アルゴリズム選択と構成のための教師付き学習手法をサポートする。
明示的な問題表現が利用できないブラックボックス最適化では、少数のサンプルポイントから特徴値を近似する必要がある。
実際には、一様にサンプリングされたランダム点集合とラテンハイパーキューブ構成はサンプリング戦略として一般的に用いられる。
本研究では,サンプリング手法とサンプルサイズが特徴値の近似値の品質に与える影響と,この品質が標準分類タスクの精度に与える影響を解析する。
意外なことに、サンプル点数の増加は、特徴値に対するより堅牢な見積もりをもたらすが、我々の驚きは、異なるサンプリング戦略に対する特徴値近似が同じ値に収束しないことである。
これは、近似された特徴値は、基礎となるサンプリング戦略とは独立に解釈できないことを意味する。
分類実験が示すように、これは分類器の訓練に使用される特徴近似が、実際の分類タスクで使用されるものと同じサンプリング戦略に由来することも示唆する。
その結果,ソボル系列に近似した特徴量を持つ分類器は,従来のサンプリング手法よりも高い精度が得られることがわかった。
これは、ERA学習機械学習モデルの改善可能性を示す可能性がある。 Exploratory landscape analysis (ELA) supports supervised learning approaches for automated algorithm selection and configuration by providing sets of features that quantify the most relevant characteristics of the optimization problem at hand. In black-box optimization, where an explicit problem representation is not available, the feature values need to be approximated from a small number of sample points. In practice, uniformly sampled random point sets and Latin hypercube constructions are commonly used sampling strategies. In this work, we analyze how the sampling method and the sample size influence the quality of the feature value approximations and how this quality impacts the accuracy of a standard classification task. While, not unexpectedly, increasing the number of sample points gives more robust estimates for the feature values, to our surprise we find that the feature value approximations for different sampling strategies do not converge to the same value. This implies that approximated feature values cannot be interpreted independently of the underlying sampling strategy. As our classification experiments show, this also implies that the feature approximations used for training a classifier must stem from the same sampling strategy as those used for the actual classification tasks. As a side result we show that classifiers trained with feature values approximated by Sobol' sequences achieve higher accuracy than any of the standard sampling techniques. This may indicate improvement potential for ELA-trained machine learning models. | 翻訳日:2022-11-19 03:22:32 公開日:2020-06-19 |
| # NROWAN-DQN: ノイズ低減と探索用オンライン重み調整機能を備えた安定ノイズネットワーク NROWAN-DQN: A Stable Noisy Network with Noise Reduction and Online Weight Adjustment for Exploration ( http://arxiv.org/abs/2006.10980v1 ) ライセンス: Link先を確認 | Shuai Han and Wenbo Zhou and Jing Liu and Shuai L\"u | (参考訳) 近年, 様々な複雑な制御タスクにおいて, 深層強化学習が広く適用されている。
ノイズの多いネットワークに対する効果的な探索は、深層強化学習において最も重要な問題の1つだ。
ノイズネットワークはエージェントに対して安定した出力を生成する傾向がある。
しかし、この傾向は、学習過程における効率と安定性を低下させるエージェントの安定的なポリシーを見つけるのに十分とは限らない。
本稿では,NoisyNetsに基づくNROWAN-DQN,すなわちノイズ低減とオンライン重み調整のアルゴリズムを提案する。
まず,NuisyNet-DQN のノイズ低減手法を開発し,エージェントに安定した動作をさせる。
第2に,騒音低減のためのオンライン重量調整戦略を考案し,性能を向上し,エージェントのスコアを高くする。
最後に、このアルゴリズムを4つの標準領域で評価し、ハイパーパラメータの特性を解析する。
この結果から,NROWAN-DQNはこれらの領域で先行アルゴリズムよりも優れていた。
さらにNROWAN-DQNは安定性も向上した。
NROWAN-DQNスコアの変動は、特に一部の行動感受性環境において顕著に減少する。
つまり、高い安定性が必要な環境では、NROWAN-DQNはNoisyNets-DQNよりも適切である。 Deep reinforcement learning has been applied more and more widely nowadays, especially in various complex control tasks. Effective exploration for noisy networks is one of the most important issues in deep reinforcement learning. Noisy networks tend to produce stable outputs for agents. However, this tendency is not always enough to find a stable policy for an agent, which decreases efficiency and stability during the learning process. Based on NoisyNets, this paper proposes an algorithm called NROWAN-DQN, i.e., Noise Reduction and Online Weight Adjustment NoisyNet-DQN. Firstly, we develop a novel noise reduction method for NoisyNet-DQN to make the agent perform stable actions. Secondly, we design an online weight adjustment strategy for noise reduction, which improves stable performance and gets higher scores for the agent. Finally, we evaluate this algorithm in four standard domains and analyze properties of hyper-parameters. Our results show that NROWAN-DQN outperforms prior algorithms in all these domains. In addition, NROWAN-DQN also shows better stability. The variance of the NROWAN-DQN score is significantly reduced, especially in some action-sensitive environments. This means that in some environments where high stability is required, NROWAN-DQN will be more appropriate than NoisyNets-DQN. | 翻訳日:2022-11-19 03:21:41 公開日:2020-06-19 |
| # 線形関数近似を用いた報酬フリー強化学習について On Reward-Free Reinforcement Learning with Linear Function Approximation ( http://arxiv.org/abs/2006.11274v1 ) ライセンス: Link先を確認 | Ruosong Wang, Simon S. Du, Lin F. Yang, Ruslan Salakhutdinov | (参考訳) Reward-free reinforcement learning (RL) は、バッチRL設定と多くの報酬関数がある設定の両方に適したフレームワークである。
探索段階では、エージェントは所定の報酬関数を使わずにサンプルを収集する。
探索フェーズ後、報酬関数が与えられ、探索フェーズ中に収集されたサンプルを使用して、ほぼ最適ポリシーを算出する。
ジンなど。
2020] では, 報酬のないrlに対して, エージェントは多項式数のサンプル(数状態, アクション数, 計画地平線)を収集するだけでよいことを示した。
しかし、実際には状態と動作の数が大きくなり、一般化には関数近似スキームが必要である。
本研究では,線形関数近似を用いた報酬のないRLに対して,正と負の両方の結果を与える。
我々は、遷移と報酬の両方が線形表現を許容する線形マルコフ決定過程において、報酬のないRLのアルゴリズムを与える。
我々のアルゴリズムのサンプル複雑性は特徴次元と計画地平線における多項式であり、状態と行動の数とは全く独立である。
さらに、最適$Q$-函数のみが線型表現を許容する設定において、報酬のない RL に対して指数的な下界を与える。
この結果は、報酬のないrlのサンプル複雑性に関するいくつかの興味深い指数関数的分離を示している。 Reward-free reinforcement learning (RL) is a framework which is suitable for both the batch RL setting and the setting where there are many reward functions of interest. During the exploration phase, an agent collects samples without using a pre-specified reward function. After the exploration phase, a reward function is given, and the agent uses samples collected during the exploration phase to compute a near-optimal policy. Jin et al. [2020] showed that in the tabular setting, the agent only needs to collect polynomial number of samples (in terms of the number states, the number of actions, and the planning horizon) for reward-free RL. However, in practice, the number of states and actions can be large, and thus function approximation schemes are required for generalization. In this work, we give both positive and negative results for reward-free RL with linear function approximation. We give an algorithm for reward-free RL in the linear Markov decision process setting where both the transition and the reward admit linear representations. The sample complexity of our algorithm is polynomial in the feature dimension and the planning horizon, and is completely independent of the number of states and actions. We further give an exponential lower bound for reward-free RL in the setting where only the optimal $Q$-function admits a linear representation. Our results imply several interesting exponential separations on the sample complexity of reward-free RL. | 翻訳日:2022-11-19 03:20:58 公開日:2020-06-19 |
| # バンド制限ソフトアクタ批評家モデル Band-limited Soft Actor Critic Model ( http://arxiv.org/abs/2006.11431v1 ) ライセンス: Link先を確認 | Miguel Campo, Zhengxing Chen, Luke Kung, Kittipat Virochsiri and Jianyu Wang | (参考訳) SAC(Soft Actor Critic)アルゴリズムは複雑なシミュレーション環境において顕著な性能を示す。
SACネットワークの鍵となる要素はエントロピー正規化であり、これはSACアクターが状態-作用値関数の微細な特徴(しばしば過渡的)に対して最適化することを防ぐ。
これにより、早期訓練時のサンプル効率が向上する。
この考え方をさらに一歩進めて,畳み込みフィルタを付加することで,対象とする批判的空間分解能を人工的にバンドリミットする。
線形の場合、閉形式解を導出し、バンドリミットにより状態-作用値近似の低周波成分と高周波成分の相互依存性が減少し、批判者がより速く学習できることを示す。
実験では、バンドリミテッドSACはいくつかのガイム環境において古典的な双極性SACよりも優れ、リターンの安定性が向上した。
SACに関する新しい知見は、確率的ノイズ障害を加えることによって導き出され、これは、現実の世界にうまく移行する堅牢なポリシーを学ぶために、ますます使われている技術である。 Soft Actor Critic (SAC) algorithms show remarkable performance in complex simulated environments. A key element of SAC networks is entropy regularization, which prevents the SAC actor from optimizing against fine grained features, oftentimes transient, of the state-action value function. This results in better sample efficiency during early training. We take this idea one step further by artificially bandlimiting the target critic spatial resolution through the addition of a convolutional filter. We derive the closed form solution in the linear case and show that bandlimiting reduces the interdependency between the low and high frequency components of the state-action value approximation, allowing the critic to learn faster. In experiments, the bandlimited SAC outperformed the classic twin-critic SAC in a number of Gym environments, and displayed more stability in returns. We derive novel insights about SAC by adding a stochastic noise disturbance, a technique that is increasingly being used to learn robust policies that transfer well to the real world counterparts. | 翻訳日:2022-11-19 03:20:37 公開日:2020-06-19 |