このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス（CC 0, CC BY, CC BY-SA）の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。（arxivのメタデータは CC 0です。） 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。
公開日が20230206となっている論文です。
| Title | Authors | Abstract | 論文公表日・翻訳日 |
|---|---|---|---|
| # 2つの独立および同一分布状態を持つ量子鍵分布 Quantum key distribution with any two independent and identically distributed states ( http://arxiv.org/abs/2005.06886v2 ) ライセンス: Link先を確認 | Akihiro Mizutani | (参考訳) 量子鍵分布(QKD)プロトコルのセキュリティを証明するには、ユーザのデバイスにいくつかの仮定を課す必要がある。
実験的な観点からは、そのような理論的な要件は実現可能であり、その数が少ないことが好ましい。
本稿では,QKDプロトコルのセキュリティ証明として,独立した2つの状態と同一に分散した状態(すなわちd)を発生させる限り,任意の光源の使用が許可される。
我々のqkdプロトコルは2つの部分から構成されている: 第1部は、この方法(opt. exp. 27, 5297 (2019)]に基づいて3光子までの放出信号の光子数統計をキャラクタリゼーションし、続いて差動位相シフト (dps) プロトコル [npj quantum inf. 5, 87 (2019)] を実行する。
光源が2つのi.d.状態を放出する限り、光源に関する事前の知識がなくても、QKDプロトコルで確実に使用することができることは注目すべきである。
この結果は光源の要件を実質的に単純化するため、真に安全な量子通信を実現する上で大きな貢献となる。 To prove the security of quantum key distribution (QKD) protocols, several assumptions have to be imposed on users' devices. From an experimental point of view, it is preferable that such theoretical requirements are feasible and the number of them is small. In this paper, we provide a security proof of a QKD protocol where the usage of any light source is allowed as long as it emits two independent and identically distributed (i.i.d.) states. Our QKD protocol is composed of two parts: the first part is characterization of the photon-number statistics of the emitted signals up to three-photons based on the method [Opt. Exp. 27, 5297 (2019)], followed by running our differential-phase-shift (DPS) protocol [npj Quantum Inf. 5, 87 (2019)]. It is remarkable that as long as the light source emits two i.i.d. states, even if we have no prior knowledge of the light source, we can securely employ it in the QKD protocol. As this result substantially simplifies the requirements on light sources, it constitutes a significant contribution on realizing truly secure quantum communication. | 翻訳日:2023-05-20 05:29:31 公開日:2023-02-06 |
| # カテゴリー計算 Categorical computation ( http://arxiv.org/abs/2102.04814v2 ) ライセンス: Link先を確認 | Liang Kong and Hao Zheng | (参考訳) 量子コンピューティングにおいて、計算はヒルベルト空間内またはヒルベルト空間間の線型作用素によって達成される。
本研究では,量子コンピューティングにおける線形演算子を2つの(より高い)圏間の(より高い)関手に置き換える新しい計算手法を提案する。
チューリングコンピューティングから量子コンピューティングまでが計算の最初の量子化であるなら、この新しいスキームは計算の第2の量子化と見なすことができる。
このアイデアを実現する基本的な問題は、物理的に(より高い)関手を実現する方法である。
位相秩序の物理に基づいて物理的に(より高い)関手を実現するという理論的アイデアを提供する。 In quantum computing, the computation is achieved by linear operators in or between Hilbert spaces. In this work, we explore a new computation scheme, in which the linear operators in quantum computing are replaced by (higher) functors between two (higher) categories. If from Turing computing to quantum computing is the first quantization of computation, then this new scheme can be viewed as the second quantization of computation. The fundamental problem in realizing this idea is how to realize a (higher) functor physically. We provide a theoretical idea of realizing (higher) functors physically based on the physics of topological orders. | 翻訳日:2023-04-12 03:28:40 公開日:2023-02-06 |
| # 4ケルビン上のフィン電界効果トランジスタにおけるホールスピン量子ビット A hole spin qubit in a fin field-effect transistor above 4 kelvin ( http://arxiv.org/abs/2103.07369v2 ) ライセンス: Link先を確認 | Leon C. Camenzind, Simon Geyer, Andreas Fuhrer, Richard J. Warburton, Dominik M. Zumb\"uhl, Andreas V. Kuhlmann | (参考訳) 量子コンピューティングの最大の課題はスケーラビリティの実現である。
古典コンピューティングは、何十億ものフィンフィールド効果トランジスタ(FinFET)をホストするシリコンチップで解決されたスケーラビリティの問題に直面していた。
これらのフィンフェットデバイスは量子応用に十分小さい:低温では、ゲートの下に閉じ込められた電子または穴がスピン量子ビットとして働く。
このようなアプローチにより、量子ハードウェアとその古典的な制御エレクトロニクスを同じチップに統合することができる。
しかし、冷却は熱散逸を克服する1K以上の温度でキュービット演算を必要とする。
ここでは、シリコンFinFETが4K以上で動作するスピン量子ビットをホスト可能であることを示す。
我々は、最大150MHzの駆動周波数を有するホールスピンの高速電気制御、耐故障閾値での単一量子ゲート特性、87以上のラビ振動品質係数を実現する。
私たちのデバイスは、業界の互換性と品質の両方を特徴とし、さらなる開発を加速するフレキシブルでアジャイルな方法で構築されています。 The greatest challenge in quantum computing is achieving scalability. Classical computing previously faced a scalability issue, solved with silicon chips hosting billions of fin field-effect transistors (FinFETs). These FinFET devices are small enough for quantum applications: at low temperatures, an electron or hole trapped under the gate serves as a spin qubit. Such an approach potentially allows the quantum hardware and its classical control electronics to be integrated on the same chip. However, this requires qubit operation at temperatures above 1K, where the cooling overcomes heat dissipation. Here, we show that silicon FinFETs can host spin qubits operating above 4K. We achieve fast electrical control of hole spins with driving frequencies up to 150MHz, single-qubit gate fidelities at the fault-tolerance threshold, and a Rabi oscillation quality factor greater than 87. Our devices feature both industry compatibility and quality, and are fabricated in a flexible and agile way that should accelerate further development. | 翻訳日:2023-04-08 08:42:55 公開日:2023-02-06 |
| # ノイズ量子ネットワーク上の多部絡み合いの分散 Distributing Multipartite Entanglement over Noisy Quantum Networks ( http://arxiv.org/abs/2103.14759v3 ) ライセンス: Link先を確認 | Lu\'is Bugalho, Bruno C. Coutinho, Francisco A. Monteiro, Yasser Omar | (参考訳) 量子インターネットは、ネットワーク化された量子技術を活用することを目的としている。
しかし、ノード間のマルチパーティの絡み合いは、通信、センシング、計算のための追加またはより良いアプリケーションに量子インターネットを力づける可能性がある。
本研究では,ノイズ量子リピータと不完全な量子メモリを持つ量子ネットワークの異なるノード間において,リンクが絡み合っているマルチパーティショニングを生成するアルゴリズムを提案する。
提案アルゴリズムは3キュービットのGHZ状態に対して最適であり,最終状態の忠実度と絡み合い分布の速度を同時に最大化する。
さらに、より多くの量子ビットを持つGHZ状態と、他のタイプの多重粒子絡み状態に対して、この同時最適性をもたらす条件を決定する。
我々のアルゴリズムは、任意のパラメータを同時に最適化できるという意味でも一般的である。
この研究は、分散量子技術にとって重要なリソースであるノイズ量子ネットワーク上で、多部量子相関を最適に生成する方法を開く。 A quantum internet aims at harnessing networked quantum technologies, namely by distributing bipartite entanglement between distant nodes. However, multipartite entanglement between the nodes may empower the quantum internet for additional or better applications for communications, sensing, and computation. In this work, we present an algorithm for generating multipartite entanglement between different nodes of a quantum network with noisy quantum repeaters and imperfect quantum memories, where the links are entangled pairs. Our algorithm is optimal for GHZ states with 3 qubits, maximising simultaneously the final state fidelity and the rate of entanglement distribution. Furthermore, we determine the conditions yielding this simultaneous optimality for GHZ states with a higher number of qubits, and for other types of multipartite entanglement. Our algorithm is general also in the sense that it can optimise simultaneously arbitrary parameters. This work opens the way to optimally generate multipartite quantum correlations over noisy quantum networks, an important resource for distributed quantum technologies. | 翻訳日:2023-04-06 19:00:55 公開日:2023-02-06 |
| # 40年後の量子コンピューティング Quantum computing 40 years later ( http://arxiv.org/abs/2106.10522v3 ) ライセンス: Link先を確認 | John Preskill | (参考訳) 40年前、リチャード・ファインマン(Richard Feynman)は量子物理学を利用してより強力なコンピュータを作ることを提案した。
ファインマンのビジョンを実現することは、21世紀の科学技術が直面する大きな課題の1つだ。
この記事では、量子コンピュータの探求を開始したFeynman氏の貢献を思い出し、40年後にフィールドがどこにあるかを評価する。 Forty years ago, Richard Feynman proposed harnessing quantum physics to build a more powerful kind of computer. Realizing Feynman's vision is one of the grand challenges facing 21st century science and technology. In this article, we'll recall Feynman's contribution that launched the quest for a quantum computer, and assess where the field stands 40 years later. | 翻訳日:2023-03-26 06:17:55 公開日:2023-02-06 |
| # 相関光源を用いたラウンドロビン差位相シフト量子鍵分布プロトコルのセキュリティ Security of round-robin differential-phase-shift quantum key distribution protocol with correlated light sources ( http://arxiv.org/abs/2107.02593v2 ) ライセンス: Link先を確認 | Akihiro Mizutani, Go Kato | (参考訳) 様々な量子鍵分散(qkd)プロトコルの中で、ラウンドロビン微分位相シフト(rrdps)プロトコルは、統計を監視せずにセキュリティが保証されるユニークな特徴を持っている。
さらに、このプロトコルは、出力パルスが独立であると仮定して、ソースの不完全性に対して堅牢であるという顕著な特性を有する。
残念ながら、いくつかの実験ではパルス相関による独立性違反が確認されており、この効果を考慮せずにセキュリティ証明が欠如していることがセキュリティの障害となっている。
本稿では, RRDPSプロトコルがパルス相関による証明を確立することにより, ソース不完全性に対して安全であることを示す。
我々の証明は、情報源に対して実験的に単純な仮定を3つだけ行うという意味で単純である。
この証明に基づく数値シミュレーションにより、長距離パルス相関が鍵レートに大きな影響を与えないことが示され、RDPSプロトコルのもう一つの顕著な特徴が明らかとなった。
したがって,このセキュリティ証明は幅広い実効的情報源に適用可能であり,高速システムにおいて真に安全なqkdを実現する方法である。 Among various quantum key distribution (QKD) protocols, the round-robin differential-phase-shift (RRDPS) protocol has a unique feature that its security is guaranteed without monitoring any statistics. Moreover, this protocol has a remarkable property of being robust against source imperfections assuming that the emitted pulses are independent. Unfortunately, some experiments confirmed the violation of the independence due to pulse correlations, and therefore the lack of a security proof without taking into account this effect is an obstacle for the security. In this paper, we prove that the RRDPS protocol is secure against any source imperfections by establishing a proof with the pulse correlations. Our proof is simple in the sense that we make only three experimentally simple assumptions for the source. Our numerical simulation based on the proof shows that the long-range pulse correlation does not cause a significant impact on the key rate, which reveals another striking feature of the RRDPS protocol. Our security proof is thus effective and applicable to wide range of practical sources and paves the way to realize truly secure QKD in high-speed systems. | 翻訳日:2023-03-23 06:51:10 公開日:2023-02-06 |
| # nisqデバイス上のマルコフおよび非マルコフ単一量子ビットチャネルの凸混合のディジタルシミュレーション Digital Simulation of Convex Mixtures of Markovian and Non-Markovian Single Qubit Channels on NISQ Devices ( http://arxiv.org/abs/2108.11343v2 ) ライセンス: Link先を確認 | I J David, I Sinayskiy, and F Petruccione | (参考訳) 量子システムをシミュレートする量子アルゴリズムは、フォールトトレラント設定における古典的アルゴリズムよりも明確で証明可能な優位性を提供する。
nisqの設定にこれらのアルゴリズムを実装する量子アルゴリズムや実験にも関心がある。
これらの設定では、実験を行う際に様々なノイズやエラーの原因を考慮しなければならない。
NISQデバイスは近年、オープン量子システムのための多目的テストベッドとして検証されている。
NISQデバイスが単純な量子チャネルをシミュレートできることが実証されている。
我々の目標は、NISQデバイスを量子チャネルの凸混合をシミュレーションするより複雑な問題に適用することである。
非マルコフチャネル(M+M=nM)となるマルコフチャネルの凸混合と、マルコフチャネル(nM+nM=M)をもたらす非マルコフチャネルの凸混合を考える。
最初の例では、非マルコフ非分極チャネルの凸混合を考える。
2つ目のケースでは、マルコフアン・パウリチャネルの凸混合を考える。
現在利用可能なデバイスのトポロジや現在のデコヒーレンスレベルを考慮に入れた効率的な回路は、Stinespring Dilationなどの従来の手法を避けることで構築可能であることを示す。
また,CPTPチャネルを生成するプロセストモグラフィーの実装戦略を提案する。 Quantum algorithms for simulating quantum systems provide a clear and provable advantage over classical algorithms in fault-tolerant settings. There is also interest in quantum algorithms and the experiments that implement these algorithms for NISQ settings. In these settings, various sources of noise and error need to be accounted for when executing any experiments. Recently, NISQ devices have been verified as versatile testbeds for open quantum systems. It has been demonstrated that NISQ devices can simulate simple quantum channels. Our goal is to apply NISQ devices to the more complicated problem of simulating convex mixtures of quantum channels. We consider two specific cases; convex mixtures of Markovian channels that result in a non-Markovian channel (M+M=nM) and convex mixtures of non-Markovian channels that result in a Markovian channel (nM+nM=M). For our first case, we consider convex mixtures of Non-Markovian depolarising channels. For our second case, we consider convex mixtures of Markovian Pauli channels. We show that efficient circuits, that account for the topology of currently available devices and current levels of decoherence, can be constructed by avoiding traditional approaches such as Stinespring Dilation etc. We also present a strategy for the implementation of a process tomography that yields a CPTP channel. | 翻訳日:2023-03-17 05:23:45 公開日:2023-02-06 |
| # 誤り耐性モンテカルロ量子シミュレーション Error-resilient Monte Carlo quantum simulation of imaginary time ( http://arxiv.org/abs/2109.07807v3 ) ライセンス: Link先を確認 | Mingxia Huo, Ying Li | (参考訳) 量子多体系の基底状態特性の計算は、多くの分野に潜在的影響をもたらす短期量子ハードウェアの有望な応用である。
従来のアルゴリズムの量子位相推定は深い回路を使用し、フォールトトレラントな技術を必要とする。
多くの量子シミュレーションアルゴリズムは、浅層回路を利用するために不正確で変動的な方法で最近開発されている。
本研究では,量子モンテカルロと量子コンピューティングを融合させ,虚時発展をシミュレートし,基底状態問題を解決するアルゴリズムを提案する。
修正されたコーシー・ローレンツ分布に従ってランダムな進化時間を持つ実時間発展演算子をサンプリングすることで、仮想時間発展における観測可能な期待値を計算することができる。
提案アルゴリズムは,回路深度が所望の精度で多対数的に増加するような正確な解にアプローチする。
量子位相推定と比較して、トロッターステップ数、すなわち回路深度は、基底状態エネルギーにおいて同じ精度を達成するために何千倍も小さくすることができる。
各種モデルの数値シミュレーションにおいて,有限回路深さによるトロッタライズ誤差に対するレジリエンスを検証する。
その結果,モンテカルロ量子シミュレーションは完全フォールトトレラントな量子コンピュータがなくても有望であることがわかった。 Computing the ground-state properties of quantum many-body systems is a promising application of near-term quantum hardware with a potential impact in many fields. The conventional algorithm quantum phase estimation uses deep circuits and requires fault-tolerant technologies. Many quantum simulation algorithms developed recently work in an inexact and variational manner to exploit shallow circuits. In this work, we combine quantum Monte Carlo with quantum computing and propose an algorithm for simulating the imaginary-time evolution and solving the ground-state problem. By sampling the real-time evolution operator with a random evolution time according to a modified Cauchy-Lorentz distribution, we can compute the expected value of an observable in imaginary-time evolution. Our algorithm approaches the exact solution given a circuit depth increasing polylogarithmically with the desired accuracy. Compared with quantum phase estimation, the Trotter step number, i.e. the circuit depth, can be thousands of times smaller to achieve the same accuracy in the ground-state energy. We verify the resilience to Trotterisation errors caused by the finite circuit depth in the numerical simulation of various models. The results show that Monte Carlo quantum simulation is promising even without a fully fault-tolerant quantum computer. | 翻訳日:2023-03-14 22:40:57 公開日:2023-02-06 |
| # 励起状態VQEによる多体局在の探索 Probing many-body localization by excited-state VQE ( http://arxiv.org/abs/2111.13719v3 ) ライセンス: Link先を確認 | Shuo Liu, Shi-Xin Zhang, Chang-Yu Hsieh, Shengyu Zhang, Hong Yao | (参考訳) 多体局在(MBL)を含む非平衡物理学は注目されているが、非平衡特性を確実に研究する理論的アプローチは非常に限定的である。
本稿では,励起状態変分量子固有解法(vqe)によるmbl位相を系統的に探究し,量子ハードウェア上でのmblの説得力のある結果を実証する手法を提案する。
さらに、励起状態 VQE に基づく MBL 探索プロトコルは、MBL の位相を比較的浅めの量子回路と熱相と区別することができ、また、量子ノイズの影響に対して頑健であるため、NISQ に親しみやすい。 Non-equilibrium physics including many-body localization (MBL) has attracted increasing attentions, but theoretical approaches of reliably studying non-equilibrium properties remain quite limited. In this Letter, we propose a systematic approach to probe MBL phases via the excited-state variational quantum eigensolver (VQE) and demonstrate convincing results of MBL on a quantum hardware, which we believe paves a promising way for future simulations of non-equilibrium systems beyond the reach of classical computations in the noisy intermediate-scale quantum (NISQ) era. Moreover, the MBL probing protocol based on excited-state VQE is NISQ-friendly, as it can successfully differentiate the MBL phase from thermal phases with relatively-shallow quantum circuits, and it is also robust against the effect of quantum noises. | 翻訳日:2023-03-06 19:22:34 公開日:2023-02-06 |
| # ResNetのグローバル収束:線形パラメータ化による有限から無限の幅へ Global convergence of ResNets: From finite to infinite width using linear parameterization ( http://arxiv.org/abs/2112.05531v2 ) ライセンス: Link先を確認 | Rapha\"el Barboni (ENS-PSL), Gabriel Peyr\'e (ENS-PSL, CNRS), Fran\c{c}ois-Xavier Vialard (LIGM) | (参考訳) オーバーパラメトリゼーション(Overparametrization)は、ニューラルネットワークの勾配降下(GD)のグローバル収束を説明する凸性の欠如の重要な要因である。
よく研究された遅延状態の他に、凸最適化技術を用いた浅層ネットワークのための無限幅(平均場)解析が開発されている。
遅延と平均場状態のギャップを埋めるために,残差ブロックが非線形でありながら線形パラメトリゼーションを有する残留ネットワーク(Residual Networks, ResNets)について検討する。
このようなResNetは無限の深さと幅の制限を許容し、再生カーネルヒルベルト空間(RKHS)内の残留ブロックを符号化する。
この極限において、局所的ポリアック・ロジャシェヴィチ不等式が証明される。
したがって、すべての臨界点は大域的最小化器であり、gd の局所収束結果は遅延レジームを取得する。
他の平均場研究とは対照的に、残基の表現性条件下でのパラメトリックケースと非パラメトリックケースに適用される。
普遍的なrkhsから、ランダムなフーリエ特徴を適用し、高確率の表現性条件を満たす有限次元パラメータ化を得る。 Overparametrization is a key factor in the absence of convexity to explain global convergence of gradient descent (GD) for neural networks. Beside the well studied lazy regime, infinite width (mean field) analysis has been developed for shallow networks, using on convex optimization technics. To bridge the gap between the lazy and mean field regimes, we study Residual Networks (ResNets) in which the residual block has linear parametrization while still being nonlinear. Such ResNets admit both infinite depth and width limits, encoding residual blocks in a Reproducing Kernel Hilbert Space (RKHS). In this limit, we prove a local Polyak-Lojasiewicz inequality. Thus, every critical point is a global minimizer and a local convergence result of GD holds, retrieving the lazy regime. In contrast with other mean-field studies, it applies to both parametric and non-parametric cases under an expressivity condition on the residuals. Our analysis leads to a practical and quantified recipe: starting from a universal RKHS, Random Fourier Features are applied to obtain a finite dimensional parameterization satisfying with high-probability our expressivity condition. | 翻訳日:2023-03-04 22:42:13 公開日:2023-02-06 |
| # 移行学習に基づくパラメータ初期化によるバレン高原の緩和 Mitigating Barren Plateaus with Transfer-learning-inspired Parameter Initializations ( http://arxiv.org/abs/2112.10952v3 ) ライセンス: Link先を確認 | Huan-Yu Liu, Tai-Ping Sun, Yu-Chun Wu, Yong-Jian Han, and Guo-Ping Guo | (参考訳) 変分量子アルゴリズム(vqas)は、ノイズの多い中間スケール量子時代において広く適用され、量子優位を示すことが期待されている。
しかしながら、VQAの訓練は困難に直面しており、そのうちの1つはいわゆるバレンプラトー(BP)現象であり、コスト関数の勾配はキュービット数とともに指数関数的に消失する。
本稿では,学習効率が向上した異なる作業において,事前解くタスクの知識がさらに活用できるトランスファー学習に触発され,bpを緩和するパラメータ初期化法について報告する。
この方法では、小型タスクをVQAで解決する。
その後、アンサッツとその最適パラメータは、より大きなサイズのタスクに転送される。
数値シミュレーションにより,bpの低減とトレーニング効率の向上が期待できる。
また,本手法の有効性に関する簡単な議論も行っている。
この研究は、BPを緩和するための基準を提供するので、VQAはより実用的な問題に適用できる。 Variational quantum algorithms (VQAs) are widely applied in the noisy intermediate-scale quantum era and are expected to demonstrate quantum advantage. However, training VQAs faces difficulties, one of which is the so-called barren plateaus (BP) phenomenon, where gradients of cost functions vanish exponentially with the number of qubits. In this paper, inspired by transfer learning, where knowledge of pre-solved tasks could be further used in a different but related work with training efficiency improved, we report a parameter initialization method to mitigate BP. In the method, a small-sized task is solved with a VQA. Then the ansatz and its optimum parameters are transferred to tasks with larger sizes. Numerical simulations show that this method could mitigate BP and improve training efficiency. A brief discussion on how this method can work well is also provided. This work provides a reference for mitigating BP, and therefore, VQAs could be applied to more practical problems. | 翻訳日:2023-03-03 22:55:14 公開日:2023-02-06 |
| # 自己整合性条件による開量子系理論の再正規化 Renormalization in the Theory of Open Quantum Systems via the Self-Consistency Condition ( http://arxiv.org/abs/2112.11962v4 ) ライセンス: Link先を確認 | Marek Winczewski, Robert Alicki | (参考訳) 弱相互作用型開量子系の理論における再正規化の話題について検討する。
私たちの出発点は、単一の熱浴と相互作用するオープン量子システムです。
与えられた設定について、デイビーズ-GKSL方程式の定常状態は、ラム・スタークシフト項の存在と熱力学的に一致しないことを議論する。
このため、力学方程式に対する自己整合条件を仮定する。
条件は再正規化手順を修正し、熱力学的一貫性を回復する。
このようにして、自己整合条件が動的方程式の導出にどのように入るかを説明するために累積方程式を練る。
再正規化手順の物理的解釈はボルン近似の観点から議論される。
さらに,ラム・スタークシフト項(力学補正)と2次補正(静的)を,いわゆる平均力(ギブス状態)ハミルトニアンと比較した。
静的補正と動的補正の相違は、後者の物理的意味に疑問を呈する。
最後に、Davies-GKSL あるいは Bloch-Redfield 方程式に直接適用可能な単純化された再正規化スキームを定式化する。 We investigate the topic of renormalization in the theory of weakly interacting open quantum systems. Our starting point is an open quantum system interacting with a single heat bath. For a given setup, we discuss that the stationary state of the Davies-GKSL equation is thermodynamically inconsistent with the presence of the Lamb-Stark shift term. For this reason, we postulate the self-consistency condition for the dynamical equations. The condition fixes the renormalization procedure and recovers the thermodynamical consistency. In this way, we rederive the cumulant equation to illustrate how the self-consistency condition enters the derivation of the dynamical equations. The physical interpretation of the renormalization procedure is discussed in terms of the Born approximation. Furthermore, we compare the Lamb-Stark shift term (dynamical correction) with the second-order (static) correction to the so-called mean-force (Gibbs state) Hamiltonian. The discrepancy between the static and the dynamical correction questions the physical meaning of the latter one. Finally, we formulate a simplified renormalization scheme that can be directly applied to Davies-GKSL or Bloch-Redfield equations. | 翻訳日:2023-03-03 20:14:15 公開日:2023-02-06 |
| # ワードQRAMモデルを用いた距離編集のための量子線形アルゴリズム Quantum Linear Algorithm for Edit Distance Using the Word QRAM Model ( http://arxiv.org/abs/2112.13005v3 ) ライセンス: Link先を確認 | Massimo Equi, Arianne Meijer-van de Griend, Veli M\"akinen | (参考訳) 二次時間で解ける多くの問題は、ビット並列のスピードアップが$w$で、$w$はコンピュータワードサイズである。
例えば、長さ$n$の2つの文字列の編集距離は$O(n^2/w)$時間で解ける。
合理的な古典的計算モデルでは、$w=\theta(\log n)$ と仮定できる。
そのような問題には条件付き下限があり、任意の$\epsilon>0$に対して$n^\epsilon$のスピードアップは複雑性理論のブレークスルーにつながる。
しかし、これらの条件付き下限は計算の量子モデルには適用されない。
実際、Boroujeni et al. (J. ACM, 2021) は、量子コンピューティングを用いてサブクアッドレート時間$O(n^{1.81})$で編集距離を3ドル以内で近似できることを示した。
彼らはまた、選択した量子コンピューティングモデルでは、近似係数は準四次時間では改善できないことを示した。
上記の古典的条件付き下界と、この最新の量子的下界を分解するために、量子ランダムアクセスメモリ(QRAM)を用いて計算モデルを強化し、私たちが「QRAMモデル」と呼ぶものを得る。
このモデルでは、2次時間分解可能問題のビット並列性を、係数$n$で高速化できる量子アルゴリズムに変換する方法を示す。
Booleanロジックとビットシフトを使用する多くのビット並列アルゴリズムに適用するには,我々が使用するテクニックはシンプルで汎用的です。
これを編集距離に適用するために、Myers (J. ACM, 1999) の有名な$O(n^2/w)$ time bit-parallel アルゴリズムが算術+演算なしで動作できるように調整可能であることを示す。
この変種に我々の技術を適用する直接的な結果として、定数アルファベットに対する単語QRAMモデルの下で線形時間編集距離アルゴリズムを得る。
我々は、qramモデルの制限された変形についてさらなる結果を与え、モデルの限界に関する洞察を与える。 Many problems that can be solved in quadratic time have bit-parallel speed-ups with factor $w$, where $w$ is the computer word size. For example, edit distance of two strings of length $n$ can be solved in $O(n^2/w)$ time. In a reasonable classical model of computation, one can assume $w=\Theta(\log n)$. There are conditional lower bounds for such problems stating that speed-ups with factor $n^\epsilon$ for any $\epsilon>0$ would lead to breakthroughs in complexity theory. However, these conditional lower bounds do not cover quantum models of computing. Indeed, Boroujeni et al. (J. ACM, 2021) showed that edit distance can be approximated within a factor $3$ in sub-quadratic time $O(n^{1.81})$ using quantum computing. They also showed that, in their chosen model of quantum computing, the approximation factor cannot be improved using sub-quadractic time. To break through the aforementioned classical conditional lower bounds and this latest quantum lower bound, we enrich the model of computation with a quantum random access memory (QRAM), obtaining what we call the word QRAM model. Under this model, we show how to convert the bit-parallelism of quadratic time solvable problems into quantum algorithms that attain speed-ups with factor $n$. The technique we use is simple and general enough to apply to many bit-parallel algorithms that use Boolean logics and bit-shifts. To apply it to edit distance, we first show that the famous $O(n^2/w)$ time bit-parallel algorithm of Myers (J. ACM, 1999) can be adjusted to work without arithmetic + operations. As a direct consequence of applying our technique to this variant, we obtain linear time edit distance algorithm under the word QRAM model for constant alphabet. We give further results on a restricted variant of the word QRAM model to give more insights to the limits of the model. | 翻訳日:2023-03-03 09:13:41 公開日:2023-02-06 |
| # ネットワークコラボレータ:ネットワーク再構築とコミュニティ検出の知識伝達 Network Collaborator: Knowledge Transfer Between Network Reconstruction and Community Detection ( http://arxiv.org/abs/2201.01134v4 ) ライセンス: Link先を確認 | Kai Wu, Chao Wang, Junyuan Chen, Jing Liu | (参考訳) 本稿では,複雑なシステムのダイナミクスからネットワークとコミュニティ構造を共同推論することに焦点を当てる。
これら2つの問題を解決するために多くのアプローチが設計されているが、これらの2つのタスク間で明示的な共有可能な知識を考慮していない。
ダイナミックスからのコミュニティ検出(CD)とネットワーク再構成(NR)は、ネットワークコラボレータ(NC)と呼ばれる提案された進化的マルチタスクNRとCDフレームワークを動機付ける自然な相乗的タスクである。
NCのプロセスでは、NRタスクはCDタスクのためにいくつかのより良いネットワーク構造を明示的に転送し、CDタスクはNRタスクを支援するためにより良いコミュニティ構造を明示的に転送する。
さらに、NRタスクからCDタスクに知識を伝達するために、NCは動的ネットワーク内のコミュニティを見つけるために、動的ネットワークからCDの研究をモデル化し、タスク間で知識を伝達するかを検討する。
マルチタスク NR と CD 問題 (MTNRCDPs) のためのテストスイートは NC の性能を検証するために設計されている。
設計したmtnrcdpsを用いた実験により,cdとnrの結合が相乗効果を持つことが実証された。
コードは、https://github.com/xiaofangxd/EMTNRCDで入手できる。 This paper focuses on jointly inferring network and community structures from the dynamics of complex systems. Although many approaches have been designed to solve these two problems solely, none of them consider explicit shareable knowledge across these two tasks. Community detection (CD) from dynamics and network reconstruction (NR) from dynamics are natural synergistic tasks that motivate the proposed evolutionary multitasking NR and CD framework, called network collaborator (NC). In the process of NC, the NR task explicitly transfers several better network structures for the CD task, and the CD task explicitly transfers a better community structure to assist the NR task. Moreover, to transfer knowledge from the NR task to the CD task, NC models the study of CD from dynamics to find communities in the dynamic network and then considers whether to transfer knowledge across tasks. A test suite for multitasking NR and CD problems (MTNRCDPs) is designed to verify the performance of NC. The experimental results conducted on the designed MTNRCDPs have demonstrated that joint NR with CD has a synergistic effect, where the network structure used to inform the existence of communities is also inherently employed to improve the reconstruction accuracy, which, in turn, can better demonstrate the discovering of the community structure. The code is available at: https://github.com/xiaofangxd/EMTNRCD. | 翻訳日:2023-03-02 07:41:33 公開日:2023-02-06 |
| # コールドフェルミオン型原子ガス中のBEC/BCSクロスオーバーのグラスマン位相空間理論 Grassmann Phase Space Theory for the BEC/BCS Crossover in Cold Fermionic Atomic Gases ( http://arxiv.org/abs/2201.06966v2 ) ライセンス: Link先を確認 | B. J. Dalton and N. M. Kidwani | (参考訳) グラスマン位相空間理論(GSPT)は、冷フェルミオン原子ガス中のBEC/BCSクロスオーバーに適用され、量子相関関数(QCF)の進化(時間または温度)を決定するために用いられる。
(a)1つのクーパー対におけるフェルミオン原子のスピンアップとスピンダウンの位置
b) 2つのクーパー対における2つのスピンアップと2つのフェルミオン原子の位置 第一のQCFは、BEC側の小さなクーパー対からBCS側の大きなクーパー対への交叉を通じて、フェルミオン-フェルミオン結合定数をフェシュバッハ共鳴法による変化としてクーパー対のサイズの変化を記述することに関係している。
2つ目のqcfは、2つのクーパー対におけるフェルミオン原子の位置間の相関を記述するのに重要であり、これはクロスオーバーのbec側またはbcs側では小さいが、クーパー対の大きさがクーパー対間の分離に匹敵する強い相互作用ユニタリ構造において重要であると期待されている。
gpst において、最終的に qcf はグラスマン確率運動量場の積の確率平均を介して与えられ、gpst は、後の時間(または低温)におけるグラスマン確率運動量場の積の確率平均が、早期のグラスマン確率運動量場の積の確率平均と線形に関係していることを示し、線形関係に関連する行列要素はすべて c-数であることが示される。
これらの行列要素の表現は解析的に得られており、将来の出版のために計画された進化の数値研究に必要な公式を提供している。
様々な初期条件が考慮されており、ゼロ温度での非相互作用フェルミオンガスや高温ガスが含まれる。 Grassmann Phase Space Theory (GSPT) is applied to the BEC/BCS crossover in cold fermionic atomic gases and used to determine the evolution (over either time or temperature) of the Quantum Correlation Functions (QCF) that specify: (a) the positions of the spin up and spin down fermionic atoms in a single Cooper pair and (b) the positions of the two spin up and two spin down fermionic atoms in two Cooper pairs The first of these QCF is relevant to describing the change in size of a Cooper pair, as the fermion-fermion coupling constant is changed via Feshbach resonance methods through the crossover from a small Cooper pair on the BEC side to a large Cooper pair on the BCS side. The second of these QCF is important for describing the correlations between the positions of the fermionic atoms in two Cooper pairs, which is expected to be small at the BEC or BCS sides of the crossover, but is expected to be significant in the strong interaction unitary regime, where the size of a Cooper pair is comparable to the separation between Cooper pairs. In GPST the QCF are ultimately given via the stochastic average of products of Grassmann stochastic momentum fields, and GPST shows that the stochastic average of the products of Grassmann stochastic momentum fields at a later time (or lower temperature) is related linearly to the stochastic average of the products of Grassmann stochastic momentum fields at an earlier time (or higher temperature), and that the matrix elements involved in the linear relations are all c-numbers. Expressions for these matrix elements corresponding to a small time or temperature increment have been obtained analytically, providing the formulae needed for numerical studies of the evolution that are planned for a future publication. Various initial conditions are considered, including those for a non-interacting fermionic gas at zero temperature and a high temperature gas. | 翻訳日:2023-03-01 12:47:05 公開日:2023-02-06 |
| # 中央量子ネットワークノードを用いた多部絡み合い分布の解析 Analysis of Multipartite Entanglement Distribution using a Central Quantum-Network Node ( http://arxiv.org/abs/2203.05517v2 ) ライセンス: Link先を確認 | Guus Avis, Filip Rozp\k{e}dek and Stephanie Wehner | (参考訳) 本研究では,中心ノードを用いて,量子ネットワーク内の多部交絡状態の分散性能(時間と忠実度)について検討する。
具体的には、マルチパーティタイト絡み合い状態がまず中央ノードでローカルに準備され、次に量子テレポーテーションによってネットワークの終端ノードに送信されるシナリオを検討する。
最初の結果として,グリーンベルガー=ホルン=ザイリンガー状態(GHZ)という,多部交絡状態の特定のクラスが分布する速度と忠実度の両方について,序列解析式と下位境界を示す。
モンテカルロシミュレーションを用いて,各量子ビットが量子メモリに記憶しているときに発生する時間依存性の非偏極雑音を正確に解析した。
2つ目の結果として、中央ノードが絡み合うスイッチであり、GHZ状態が分散方式でエンドノードによって生成される場合と比較した。
これら2つの結果とは別に、ダイヤモンドの閉じ込められたイオンや窒素空洞センターを用いて、テレポーテーションに基づくスキームを物理的に実装する方法について概説する。 We study the performance (rate and fidelity) of distributing multipartite entangled states in a quantum network through the use of a central node. Specifically, we consider the scenario where the multipartite entangled state is first prepared locally at a central node, and then transmitted to the end nodes of the network through quantum teleportation. As our first result, we present leading-order analytical expressions and lower bounds for both the rate and fidelity at which a specific class of multipartite entangled states, namely Greenberger-Horne-Zeilinger (GHZ) states, are distributed. Our analytical expressions for the fidelity accurately account for time-dependent depolarizing noise encountered by individual quantum bits while stored in quantum memory, as verified using Monte Carlo simulations. As our second result, we compare the performance to the case where the central node is an entanglement switch and the GHZ state is created by the end nodes in a distributed fashion. Apart from these two results, we outline how the teleportation-based scheme could be physically implemented using trapped ions or nitrogen-vacancy centers in diamond. | 翻訳日:2023-02-22 11:59:35 公開日:2023-02-06 |
| # Cs D1線上の温蒸気EITメモリの最適化と読み出しノイズ解析 Optimization and readout-noise analysis of a warm vapor EIT memory on the Cs D1 line ( http://arxiv.org/abs/2203.06151v2 ) ライセンス: Link先を確認 | Luisa Esguerra (1 and 2), Leon Me{\ss}ner (1 and 3), Elizabeth Robertson (1 and 2), Norman Vincenz Ewald (1), Mustafa G\"undo\u{g}an (1 and 3) and Janik Wolters (1 and 2) ((1) German Aerospace Center (DLR), Institute of Optical Sensor Systems, Berlin, Germany, (2) TU Berlin, Institute for Optics and Atomic Physics, Berlin, Germany, (3) Institut f\"ur Physik, Humboldt-Universit\"at zu Berlin, Berlin, Germany) | (参考訳) 量子メモリは、グローバル量子リピータネットワークを可能にすることを約束する。
磁場の場合、アルカリ金属蒸気は極低温や強磁場を必要としないため、例外的な貯蔵プラットフォームを構成する。
我々は,セシウムd1線における電磁誘導透過性に基づく,技術的に単純で衛星に適合した量子メモリを実証し,エンドツーエンドの効率と信号対雑音比のトレードオフに着目した。
1光子を平均的に含むコヒーレントパルスの場合、内部記憶効率である$\eta_{mem} = 33(1)\%$に対応する$\eta_{e2e} = 13(2)\%$というエンドツーエンドの効率で記憶と検索を実現する。
同時に、$\mu_1 = 0.07(2)$信号光子に対応するノイズレベルを達成する。
このノイズは、蛍光による自発的なラマン散乱によって支配される。
4つの波混合ノイズは無視可能であり、全雑音レベルをさらに最小化することができる。 Quantum memories promise to enable global quantum repeater networks. For field applications, alkali metal vapors constitute an exceptional storage platform, as neither cryogenics, nor strong magnetic fields are required. We demonstrate a technologically simple, in principle satellite-suited quantum memory based on electromagnetically induced transparency on the cesium D1 line, and focus on the trade-off between end-to-end efficiency and signal-to-noise ratio, both being key parameters in applications. For coherent pulses containing one photon on average, we achieve storage and retrieval with end-to-end efficiencies of $\eta_{e2e} = 13(2)\%$, which correspond to internal memory efficiencies of $\eta_{mem} = 33(1)\%$. Simultaneously, we achieve a noise level corresponding to $\mu_1 = 0.07(2)$ signal photons. This noise is dominated by spontaneous Raman scattering, with contributions from fluorescence. Four wave mixing noise is negligible, allowing for further minimization of the total noise level. | 翻訳日:2023-02-22 09:23:45 公開日:2023-02-06 |
| # 臨床データウェアハウス導入の実践--フランスを事例として Good practices for clinical data warehouse implementation: a case study in France ( http://arxiv.org/abs/2302.07074v1 ) ライセンス: Link先を確認 | Matthieu Doutreligne, Adeline Degremont, Pierre-Alain Jachiet, Antoine Lamer, Xavier Tannier | (参考訳) リアル・ワールド・データ(RWD)はケアの質を改善するという大きな約束を掲げている。
しかし、具体的なインフラストラクチャや方法論は、堅牢な知識を導き、患者にイノベーションをもたらすために必要です。
フランスの32の地域・大学病院の全国的ケーススタディに基づき、現代臨床データウェアハウス(CDW)の重要側面として、ガバナンス、透明性、データのタイプ、データ再利用、技術ツール、ドキュメント、データ品質管理プロセスを挙げる。
2022年3月から11月にかけて、セミ構造化されたインタビューおよびフランスのCDWに関する報告された研究のレビューを行った。
フランスの32の地域病院と大学病院のうち、14の病院がcdwを生産しており、5つが実験中、5つがcdwプロジェクトを予定しており、8つが執筆時点でcdwのプロジェクトを持っていなかった。
フランスにおけるCDWの実施は2011年から始まり、2020年末に加速した。
本報告ではCDWの一般的なガイドラインについて述べる。
CDWの実際の研究への方向性には、ガバナンスの安定化、データスキーマの標準化、データ品質とデータドキュメントの開発といった努力が必要である。
特に倉庫チームの持続可能性やマルチレベルのガバナンスに注意を払わなければならない。
研究の透明性とデータの変換ツールの改善は、マルチ中心データ再利用の成功と定期的なケアにおける革新を可能にするために必要である。 Real World Data (RWD) bears great promises to improve the quality of care. However, specific infrastructures and methodologies are required to derive robust knowledge and brings innovations to the patient. Drawing upon the national case study of the 32 French regional and university hospitals governance, we highlight key aspects of modern Clinical Data Warehouses (CDWs): governance, transparency, types of data, data reuse, technical tools, documentation and data quality control processes. Semi-structured interviews as well as a review of reported studies on French CDWs were conducted in a semi-structured manner from March to November 2022. Out of 32 regional and university hospitals in France, 14 have a CDW in production, 5 are experimenting, 5 have a prospective CDW project, 8 did not have any CDW project at the time of writing. The implementation of CDW in France dates from 2011 and accelerated in the late 2020. From this case study, we draw some general guidelines for CDWs. The actual orientation of CDWs towards research requires efforts in governance stabilization, standardization of data schema and development in data quality and data documentation. Particular attention must be paid to the sustainability of the warehouse teams and to the multi-level governance. The transparency of the studies and the tools of transformation of the data must improve to allow successful multi-centric data reuses as well as innovations in routine care. | 翻訳日:2023-02-19 14:10:09 公開日:2023-02-06 |
| # ディジタルツインベース6gのための分散ゼロトラストフレームワーク Decentralized Zero-Trust Framework for Digital Twin-based 6G ( http://arxiv.org/abs/2302.03107v1 ) ライセンス: Link先を確認 | Ismaeel Al Ridhawi, Safa Otoum, Moayad Aloqaily | (参考訳) 第6世代(6g)ネットワークは、物理世界と仮想世界の融合のためのプラットフォームである。
それは、処理、通信、知性、センシング、そして物のストレージを統合する。
すべてのデバイスとその仮想デバイスは、サービス提供プロセスの一部になる。
本質的に6gは、エッジとエンドデバイスの機能に大きく依存する、意図的に協調したネットワークである。
デジタル・ツイン(dt)は、物理的要素とそのダイナミクスと機能の仮想的な表現を提供する点だけでなく、協力的な6g環境の実現において触媒となる。
DTは、サイバーツインで収集したデータを利用し、物理的ツインを使用して最適な精度と効率を確保することで、6Gネットワークの完全なポテンシャルを実現する上で、主要な役割を果たす。
これにより、従来の集中型侵入検知・防止システムでは、非コンベンション型ネットワークインフラストラクチャを利用できない。
Zero-trustは、分散データ、デバイス、コンポーネント、ユーザを保護することを目的とした、新しいセキュリティフレームワークである。
本稿ではDT対応6Gネットワークにゼロトラストアーキテクチャを統合する新しいフレームワークを提案する。
従来のゼロトラストソリューションとは異なり、提案されたフレームワークは、物理的デバイスとdtの両方のセキュリティ、プライバシ、信頼性を保証するために、分散化されたメカニズムを採用する。
ブロックチェーンはDTと通信データの認証において不可欠な役割を果たす。
人工知能(ai)は、meta、generalized、federated learningソリューションを使用して、すべての協調ノードに統合される。
この記事では現在のソリューションと今後の展望についても論じている。 The Sixth Generation (6G) network is a platform for the fusion of the physical and virtual worlds. It will integrate processing, communication, intelligence, sensing, and storage of things. All devices and their virtual counterparts will become part of the service-provisioning process. In essence, 6G is a purposefully cooperative network that heavily depends on the capabilities of edge and end-devices. Digital Twin (DT) will become an essential part of 6G, not only in terms of providing a virtual representation of the physical elements and their dynamics and functionalities but rather DT will become a catalyst in the realization of the cooperative 6G environment. DT will play a main role in realizing the full potential of the 6G network by utilizing the collected data at the cyber twin and then implementing using the physical twin to ensure optimal levels of accuracy and efficiency. With that said, such a cooperative non-conventional network infrastructure cannot rely on conventional centralized intrusion detection and prevention systems. Zero-trust is a new security framework that aims at protecting distributed data, devices, components and users. This article presents a new framework that integrates the zero-trust architecture in DT-enabled 6G networks. Unlike conventional zero-trust solutions, the proposed framework adapts a decentralized mechanism to ensure the security, privacy and authenticity of both the physical devices and their DT counterparts. Blockchain plays an integral part in the authentication of DTs and the communicated data. Artificial Intelligence (AI) is integrated into all cooperating nodes using meta, generalized and federated learning solutions. The article also discusses current solutions and future outlooks, with challenges and some technology enablers. | 翻訳日:2023-02-19 14:03:43 公開日:2023-02-06 |
| # マルチソース無線データを用いた群集センシング通勤パターン:ヘルシンキ通勤列車の場合 Crowd-sensing commuting patterns using multi-source wireless data: a case of Helsinki commuter trains ( http://arxiv.org/abs/2302.02661v1 ) ライセンス: Link先を確認 | Zhiren Huang, Alonso Espinosa Mireles de Villafranca, Charalampos Sipetas, Tri Quach | (参考訳) 通勤電車利用者の移動パターンを理解することは,都市部における効率的で持続可能な交通システム開発に不可欠である。
自動旅客カウンター(automated passenger counters, apc)のような従来の技術では、列車の発着数を計測できるが、列車自体以外に詳細な情報や乗客移動は提供していない。
この制限を克服するために,従来のapcと,詳細な移動需要データを集めることが可能な新興ソースの潜在的な組み合わせについて検討する。
このデータソースは、ヘルシンキ地域交通局(HSL)が主導するパイロットプロジェクトTravelSenseから派生したもので、BluetoothビーコンとHSLの携帯電話チケットアプリケーションを使って、起源から目的地まで、匿名の旅客マルチモーダル軌跡を追跡する。
APCとTravelSenseのデータを組み合わせることで、発着地と目的地、通勤駅へのアクセスに使用される交通手段、各駅の乗車・発着番号等を識別し、列車利用者の旅程構造をよりよく理解することができる。
これらの洞察は公共交通計画の決定に役立ち、シームレスで環境にやさしい交通手段の使用を促進することによって、持続可能な都市やコミュニティの目標に最終的に貢献できる。 Understanding the mobility patterns of commuter train passengers is crucial for developing efficient and sustainable transportation systems in urban areas. Traditional technologies, such as Automated Passenger Counters (APC) can measure the aggregated numbers of passengers entering and exiting trains, however, they do not provide detailed information nor passenger movements beyond the train itself. To overcome this limitation we investigate the potential combination of traditional APC with an emerging source capable of collecting detailed mobility demand data. This new data source derives from the pilot project TravelSense, led by the Helsinki Regional Transport Authority (HSL), which utilizes Bluetooth beacons and HSL's mobile phone ticket application to track anonymous passenger multimodal trajectories from origin to destination. By combining TravelSense data with APC we are able to better understand the structure of train users' journeys by identifying the origin and destination locations, modes of transport used to access commuter train stations, and boarding and alighting numbers at each station. These insights can assist public transport planning decisions and ultimately help to contribute to the goal of sustainable cities and communities by promoting the use of seamless and environmentally friendly transportation options. | 翻訳日:2023-02-19 14:03:21 公開日:2023-02-06 |
| # VRにおける空間ナビビリティのばらつきによるプライバシー問題 Privacy concerns from variances in spatial navigability in VR ( http://arxiv.org/abs/2302.02525v1 ) ライセンス: Link先を確認 | Aryabrata Basu, Mohammad Jahed Murad Sunny, Jayasri Sai Nikitha Guthula | (参考訳) 現在のバーチャルリアリティ(VR)入力デバイスは、仮想環境をナビゲートし、ユーザの動きと特定の行動習慣に関する没入的でパーソナライズされたデータを記録できるようにする。
本稿では,VRにおける既存のプライバシ問題に対処するために使用することができると同時に,拡張現実(AR)プラットフォームにも拡張可能な機械学習駆動学習アルゴリズムについて検討する。 Current Virtual Reality (VR) input devices make it possible to navigate a virtual environment and record immersive, personalized data regarding the user's movement and specific behavioral habits, which brings the question of the user's privacy concern to the forefront. In this article, the authors propose to investigate Machine Learning driven learning algorithms that try to learn with human users co-operatively and can be used to countermand existing privacy concerns in VR but could also be extended to Augmented Reality (AR) platforms. | 翻訳日:2023-02-19 14:02:57 公開日:2023-02-06 |
| # 統計データからのセンサス・マイクロデータの信頼性関連再構築 Confidence-Ranked Reconstruction of Census Microdata from Published Statistics ( http://arxiv.org/abs/2211.03128v2 ) ライセンス: Link先を確認 | Travis Dick, Cynthia Dwork, Michael Kearns, Terrance Liu, Aaron Roth, Giuseppe Vietri, Zhiwei Steven Wu | (参考訳) プライベートデータセットに対するリコンストラクション攻撃は、データセットに関する公開アクセス情報として$D$を入力し、$D$の候補要素のリストを生成する。
非凸最適化のためのランダム化手法に基づく新しい種類のデータ再構成攻撃を提案する。
我々の攻撃は、集約クエリ統計から$d$の全行を再構築できるだけでなく、個人データに出現する確率によって再構築された行を確実にランク付けし、再建された行を優先順位付けして、盗難やヘイトクライムの特定などの追加アクションを行うことができることを実証する。
また,再建攻撃を評価するためのベースラインを設計する。
我々の攻撃は、公開ディストリビューションへのアクセスのみに基づくものや、プライベートデータセットの$D$がサンプリングされた集団にのみアクセスされたものよりもはるかに優れており、それらは分布の全体構造ではなく、集計統計の$Q(D)$の情報を活用していることを示している。
言い換えれば、$Q(D)$は、$D$が描かれた分布ではなく、このデータセットの要素の再構成を可能にする。
これらの結果は2010年のアメリカ合衆国国勢調査データとクェリ、および国勢調査から派生したアメリカコミュニティ調査データセットの両方で確立されている。
本手法と実験により,大規模データセットの数値的精度の高い集計統計を公表するリスクを明らかにし,差分プライバシーなどの実証可能なプライベート手法を慎重に適用する動機を与える。 A reconstruction attack on a private dataset $D$ takes as input some publicly accessible information about the dataset and produces a list of candidate elements of $D$. We introduce a new class of data reconstruction attacks based on randomized methods for non-convex optimization. We empirically demonstrate that our attacks can not only reconstruct full rows of $D$ from aggregate query statistics $Q(D)\in \mathbb{R}^m$, but can do so in a way that reliably ranks reconstructed rows by their odds of appearing in the private data, providing a signature that could be used for prioritizing reconstructed rows for further actions such as identify theft or hate crime. We also design a sequence of baselines for evaluating reconstruction attacks. Our attacks significantly outperform those that are based only on access to a public distribution or population from which the private dataset $D$ was sampled, demonstrating that they are exploiting information in the aggregate statistics $Q(D)$, and not simply the overall structure of the distribution. In other words, the queries $Q(D)$ are permitting reconstruction of elements of this dataset, not the distribution from which $D$ was drawn. These findings are established both on 2010 U.S. decennial Census data and queries and Census-derived American Community Survey datasets. Taken together, our methods and experiments illustrate the risks in releasing numerically precise aggregate statistics of a large dataset, and provide further motivation for the careful application of provably private techniques such as differential privacy. | 翻訳日:2023-02-19 12:17:28 公開日:2023-02-06 |
| # バイアスのキーワード Keywords for Bias ( http://arxiv.org/abs/2211.00075v2 ) ライセンス: Link先を確認 | Abdurrezak Efe, Gizem Gezici, Aysenur Uzun, and Uygar Kurt | (参考訳) 本研究はバイアス分析のためのキーワードを分析することを提案する。
このために,複数のnlpアプローチを用いて,バイアス分析のためのキーワード検出能力に基づいて比較を行っている。
その結果,提案手法は,異なるベンチマークデータセットに対する最先端手法と同等の結果が得られることがわかった。 This work proposes to analyse some keywords for bias analysis. For this, we are using several NLP approaches and compare them based on their capability of detecting keywords to analyse bias. The overall findings show that our proposed approach gives comparable results with the state-of-the-art approaches on different benchmark datasets. | 翻訳日:2023-02-19 12:12:11 公開日:2023-02-06 |
| # 知性を生み出す - IQとMLベンチマークにおける倫理的価値 Making Intelligence: Ethical Values in IQ and ML Benchmarks ( http://arxiv.org/abs/2209.00692v3 ) ライセンス: Link先を確認 | Borhane Blili-Hamelin and Leif Hancox-Li | (参考訳) 近年、ML研究者は機械学習(ML)ベンチマークとデータセットの定義と改善に力を入れている。
並行して、データセットの作成とml研究の倫理に関する批判的なレンズを訓練する者もいる。
本稿では,MLベンチマークの設計に関する「技術的」あるいは「科学的」な判断による倫理の絡み合いを強調する。
私たちの出発点は、人間のインテリジェンスベンチマークとMLベンチマークの間に、見過ごされた構造的類似点が複数存在することです。
どちらのベンチマークも、インテリジェンスに関連するタスクに関するパフォーマンスを記述、評価、比較するための標準を設定している。
私たちは、iqベンチマークと社会科学の厚い概念についてフェミニスト哲学の視点を用いて、mlベンチマークを作成する際に価値を考慮し、文書化する必要があると主張する。
価値中立なベンチマークを作成することで、この選択を避けることは不可能であり、望ましくない。
最後に,MLベンチマーク研究倫理と倫理審査の実践的勧告について概説する。 In recent years, ML researchers have wrestled with defining and improving machine learning (ML) benchmarks and datasets. In parallel, some have trained a critical lens on the ethics of dataset creation and ML research. In this position paper, we highlight the entanglement of ethics with seemingly ``technical'' or ``scientific'' decisions about the design of ML benchmarks. Our starting point is the existence of multiple overlooked structural similarities between human intelligence benchmarks and ML benchmarks. Both types of benchmarks set standards for describing, evaluating, and comparing performance on tasks relevant to intelligence -- standards that many scholars of human intelligence have long recognized as value-laden. We use perspectives from feminist philosophy of science on IQ benchmarks and thick concepts in social science to argue that values need to be considered and documented when creating ML benchmarks. It is neither possible nor desirable to avoid this choice by creating value-neutral benchmarks. Finally, we outline practical recommendations for ML benchmark research ethics and ethics review. | 翻訳日:2023-02-19 10:55:46 公開日:2023-02-06 |
| # 2次元1次元クロスオーバーにおける強相互作用ボソン Strongly-interacting bosons at 2D-1D Dimensional Crossover ( http://arxiv.org/abs/2204.02240v3 ) ライセンス: Link先を確認 | Hepeng Yao, Lorenzo Pizzino, Thierry Giamarchi | (参考訳) 相互作用する量子ボソンの2次元(2次元)系を1方向に連続的な周期ポテンシャルで研究する。
このような系の相関関係は、ベレジンスキー-コステリッツ-トゥーレス(BKT)特性と電位が大きい場合の1次元(1D)挙動との間の正準2次元挙動と、本質的に独立な管で系を分割する。
後者は、友長・ラッティンガー液体(TLL)の普遍性クラスである。
連続量子モンテカルロ法を用いて, 温度, 相互作用, ポテンシャルの関数として超流動相関と同様に, 縦および横の超流動分数を計算することにより, この次元のクロスオーバーについて検討した。
特に,BKT型からTLL型へと相関関数が進化し,次元交叉に特別な中間挙動が現れる。
本研究では, 低温原子ガス実験において, 次元クロスオーバーの効果について検討する。 We study a two dimensional (2D) system of interacting quantum bosons, subjected to a continuous periodic potential in one direction. The correlation of such system exhibits a dimensional crossover between a canonical 2D behavior with Berezinski-Kosterlitz-Thouless (BKT) properties and a one-dimensional (1D) behavior when the potential is large and splits the system in essentially independent tubes. The later is in the universality class of Tomonaga-Luttinger liquids (TLL). Using a continuous quantum Monte Carlo method, we investigate this dimensional crossover by computing longitudinal and transverse superfluid fraction as well as the superfluid correlation as a function of temperature, interactions and potential. Especially, we find the correlation function evolves from BKT to TLL type, with special intermediate behaviors appearing at the dimensional crossover. We discuss how the consequences of the dimensional crossover can be investigated in cold atomic gases experiments. | 翻訳日:2023-02-18 05:27:24 公開日:2023-02-06 |
| # 適応測定フィルタ:量子マルコフ連鎖の最適推定のための効率的な戦略 Adaptive measurement filter: efficient strategy for optimal estimation of quantum Markov chains ( http://arxiv.org/abs/2204.08964v3 ) ライセンス: Link先を確認 | Alfred Godley and Madalin Guta | (参考訳) 連続時間計測は、量子工学と量子制御における多くのタスクに役立ち、環境を通じて監視される開量子システムの動的パラメータの推定を含む。
しかし、そのような測定は出力状態で利用できる情報の最大量を抽出しないので、代替の最適測定戦略を見つけることが大きな課題である。
本稿では、離散時間入力出力量子マルコフ連鎖の設定においてこの問題を解決する。
本稿では,「計測フィルタ」演算子を更新し,出力単位の連続的な測定基準を決定する反復的な手順からなる一次元動的パラメータの最適推定アルゴリズムを提案する。
このスキームの重要な要素は、システムとの相互作用後に出力を後処理する方法としてコヒーレント量子吸収器を使用することである。
これは、結合系と吸収体定常状態が基準パラメータ値で純粋であるように適応的に設計される。
このスキームは、最適連続時間適応測定のエキサイティングな展望を提供するが、現実的な実用的な実装を見つけるにはより多くの作業が必要である。 Continuous-time measurements are instrumental for a multitude of tasks in quantum engineering and quantum control, including the estimation of dynamical parameters of open quantum systems monitored through the environment. However, such measurements do not extract the maximum amount of information available in the output state, so finding alternative optimal measurement strategies is a major open problem. In this paper we solve this problem in the setting of discrete-time input-output quantum Markov chains. We present an efficient algorithm for optimal estimation of one-dimensional dynamical parameters which consists of an iterative procedure for updating a `measurement filter' operator and determining successive measurement bases for the output units. A key ingredient of the scheme is the use of a coherent quantum absorber as a way to post-process the output after the interaction with the system. This is designed adaptively such that the joint system and absorber stationary state is pure at a reference parameter value. The scheme offers an exciting prospect for optimal continuous-time adaptive measurements, but more work is needed to find realistic practical implementations. | 翻訳日:2023-02-16 08:47:14 公開日:2023-02-06 |
| # 古典駆動による移動量子ビットの量子進化の変調 Modulating quantum evolution of moving-qubit by using classical driving ( http://arxiv.org/abs/2204.10515v2 ) ライセンス: Link先を確認 | Qilin Wang, Jianhe Yang, Rongfang Liu, Hong-Mei Zou, Ali Mortezapour, Dan Long, Jia Wang, and Qianqian Ma | (参考訳) 本研究では,古典的駆動場によって変調される開移動量子ビットの量子進化を研究する。
量子速度制限時間(qslt)と最近導入された非マルコフ性尺度を用いて、ゼロ温度での量子ビットの密度作用素を求め、量子進化ダイナミクスの解析を行う。
その結果、非マルコフ環境と古典駆動の両方が進化過程を高速化できることが示され、この量子スピードアップ過程は非マルコフ性によって引き起こされ、臨界点は量子ビット速度にのみ依存する。
さらに、量子ビット運動は進化過程を遅らせるが、量子速度アップに対する量子ビット速度の負の効果は古典駆動によって抑制される。
最後に、デコヒーレンス率を用いて対応する物理説明を行う。 In this work, we study quantum evolution of an open moving-qubit modulated by a classical driving field. We obtain the density operator of qubit at zero temperature and analyze its quantum evolution dynamics by using quantum speed limit time (QSLT) and a non-Markovianity measure introduced recently. The results show that both the non-Markovian environment and the classical driving can speed up the evolution process, this quantum speedup process is induced by the non-Markovianity and the critical points only depend on the qubit velocity. Moreover, the qubit motion will delay the evolution process, but this negative effect of the qubit velocity on the quantum speedup can be suppressed by the classical driving. Finally, we give the corresponding physical explanation by using the decoherence rates. | 翻訳日:2023-02-16 01:16:24 公開日:2023-02-06 |
| # フォールトトレラント量子コンピュータによるリチウムイオン電池の鍵特性のシミュレーション Simulating key properties of lithium-ion batteries with a fault-tolerant quantum computer ( http://arxiv.org/abs/2204.11890v2 ) ライセンス: Link先を確認 | Alain Delgado, Pablo A. M. Casares, Roberto dos Reis, Modjtaba Shokrian Zini, Roberto Campos, Norge Cruz-Hern\'andez, Arne-Christian Voigt, Angus Lowe, Soran Jahangiri, M. A. Martin-Delgado, Jonathan E. Mueller, Juan Miguel Arrazola | (参考訳) より高エネルギーのストレージ、より高速な充電、低コストで使える新しい充電式バッテリー技術を開発する必要がある。
既存の電池材料のシミュレーション手法の成功にもかかわらず、正確で信頼性の高い結果を提供するには不足することがある。
量子コンピューティングは、これらの問題を克服するための道筋として議論されてきたが、バッテリーシミュレーションにどのように影響するかを概説する限られた作業しか行われていない。
量子コンピュータは、リチウムイオン電池の鍵特性をシミュレートするためにどのように使用できるのか?
最近導入された第一量子化手法に基づき, 平衡セル電圧, イオン移動度, 熱安定性を計算するためのエンドツーエンド量子アルゴリズムを考案した。
これらは量子化に基づく量子位相推定を用いて量子コンピュータによって実行される核計算である材料の基底状態エネルギーから得られる。
このアルゴリズムは、第1量子化において周期材料の近似基底状態を作成する明示的な方法を含む。
これらの知見を組み合わせることで, 現実的なカソード材料である珪酸二リチウムをシミュレートする量子アルゴリズムの実装に必要な資源を, 初めて推定する。 There is a pressing need to develop new rechargeable battery technologies that can offer higher energy storage, faster charging, and lower costs. Despite the success of existing methods for the simulation of battery materials, they can sometimes fall short of delivering accurate and reliable results. Quantum computing has been discussed as an avenue to overcome these issues, but only limited work has been done to outline how they may impact battery simulations. In this work, we provide a detailed answer to the following question: how can a quantum computer be used to simulate key properties of a lithium-ion battery? Based on recently-introduced first-quantization techniques, we lay out an end-to-end quantum algorithm for calculating equilibrium cell voltages, ionic mobility, and thermal stability. These can be obtained from ground-state energies of materials, which is the core calculation executed by the quantum computer using qubitization-based quantum phase estimation. The algorithm includes explicit methods for preparing approximate ground states of periodic materials in first quantization. We bring these insights together to perform the first estimation of the resources required to implement a quantum algorithm for simulating a realistic cathode material, dilithium iron silicate. | 翻訳日:2023-02-15 17:32:05 公開日:2023-02-06 |
| # 視覚に基づく自律システムの閉ループ解析--ケーススタディ Closed-loop Analysis of Vision-based Autonomous Systems: A Case Study ( http://arxiv.org/abs/2302.04634v1 ) ライセンス: Link先を確認 | Corina S. Pasareanu, Ravi Mangal, Divya Gopinath, Sinem Getir Yaman, Calum Imrie, Radu Calinescu, and Huafeng Yu | (参考訳) ディープニューラルネットワーク(DNN)は、高次元画像データを処理する知覚コンポーネントとして、安全クリティカルな自律システムでますます利用されている。
これらのシステムの形式的分析は、知覚dnn、センサ(カメラ)、および環境条件の複雑さのために特に困難である。
本稿では,DNNを用いたタクシー道上で航空機を誘導する実験自律システムに対して,形式的確率論的解析手法を適用したケーススタディを提案する。
本稿では,DNN に計算された混乱行列を代表画像データセット上に構築したコンパクトな確率的抽象化により,カメラとネットワークを置き換えることにより,上記の課題に対処する。
また,システム全体の安全性を高めるために,ローカルかつdnn固有の分析をランタイムガードとして活用する方法を示す。
我々の発見は、認識に複雑なDNNを使用する他の自律システムに適用できる。 Deep neural networks (DNNs) are increasingly used in safety-critical autonomous systems as perception components processing high-dimensional image data. Formal analysis of these systems is particularly challenging due to the complexity of the perception DNNs, the sensors (cameras), and the environment conditions. We present a case study applying formal probabilistic analysis techniques to an experimental autonomous system that guides airplanes on taxiways using a perception DNN. We address the above challenges by replacing the camera and the network with a compact probabilistic abstraction built from the confusion matrices computed for the DNN on a representative image data set. We also show how to leverage local, DNN-specific analyses as run-time guards to increase the safety of the overall system. Our findings are applicable to other autonomous systems that use complex DNNs for perception. | 翻訳日:2023-02-10 15:44:34 公開日:2023-02-06 |
| # 証人や破砕者を見つける:計算可能なPAC学習の風景 Find a witness or shatter: the landscape of computable PAC learning ( http://arxiv.org/abs/2302.04731v1 ) ライセンス: Link先を確認 | Valentino Delle Rose, Alexander Kozachinskiy, Cristobal Rojas, Tomasz Steifer | (参考訳) 本稿では,最近の論文から3つのオープンな問題を解き,計算可能なPAC学習版であるCPAC学習可能性の研究に寄与する。
まず、不適切なCPAC学習可能なクラスが、多項式サンプルの複雑さを適切に学習可能なクラスに含まれていることを証明する。
これは Agarwal et al (COLT 2021) による予想である。
第二に, cpac が適切に学習可能であるが, 高速に増大するサンプル複雑性を持つ場合のみ, 決定可能な仮説が存在することを示す。
これにより、sterkenburg (colt 2022) の疑問が解決される。
最後に,不適切に cpac を学習できない有限小石次元の決定可能なクラスを構築し,最近の sterkenburg (2022) の結果を強化し,hasrati と ben-david (alt 2023) による質問に答える。
過去の研究と合わせて,CPAC設定における学習可能性問題に対する完全な展望を提供する。 This paper contributes to the study of CPAC learnability -- a computable version of PAC learning -- by solving three open questions from recent papers. Firstly, we prove that every improperly CPAC learnable class is contained in a class which is properly CPAC learnable with polynomial sample complexity. This confirms a conjecture by Agarwal et al (COLT 2021). Secondly, we show that there exists a decidable class of hypothesis which is properly CPAC learnable, but only with uncomputably fast growing sample complexity. This solves a question from Sterkenburg (COLT 2022). Finally, we construct a decidable class of finite Littlestone dimension which is not improperly CPAC learnable, strengthening a recent result of Sterkenburg (2022) and answering a question posed by Hasrati and Ben-David (ALT 2023). Together with previous work, our results provide a complete landscape for the learnability problem in the CPAC setting. | 翻訳日:2023-02-10 15:16:48 公開日:2023-02-06 |
| # 強化学習における自己組織的特徴マップによる内在的報酬 Intrinsic Rewards from Self-Organizing Feature Maps for Exploration in Reinforcement Learning ( http://arxiv.org/abs/2302.04125v1 ) ライセンス: Link先を確認 | Marius Lindegaard, Hjalmar Jacob Vinje, Odin Aleksander Severinsen | (参考訳) 自己組織的特徴地図を用いて計算した深層強化学習手法に対する探索ボーナスを提案する。
本手法は適応共振理論 (ART) を用いて, オンラインで教師なしクラスタリングを行い, 状態の新規性を定量化する。
このヒューリスティックは、この2つの報酬の合計を最大化するためにエージェントを最適化するために、外因的な報酬信号に固有の報酬を加えるために使用される。
本手法は,ICM arXiv:1705.05464に匹敵するトレーニングエポックの後に,人間レベルでOrdealをプレイすることができた。
rnd arxiv:1810.12894を添加したエージェントは、我々のハイパーパラメータ空間で同等の性能を達成できなかった。 We introduce an exploration bonus for deep reinforcement learning methods calculated using self-organising feature maps. Our method uses adaptive resonance theory (ART) providing online, unsupervised clustering to quantify the novelty of a state. This heuristic is used to add an intrinsic reward to the extrinsic reward signal for then to optimize the agent to maximize the sum of these two rewards. We find that this method was able to play the game Ordeal at a human level after a comparable number of training epochs to ICM arXiv:1705.05464. Agents augmented with RND arXiv:1810.12894 were unable to achieve the same level of performance in our space of hyperparameters. | 翻訳日:2023-02-09 15:52:44 公開日:2023-02-06 |
| # 不定因果順序に対する一貫した回路 Consistent circuits for indefinite causal order ( http://arxiv.org/abs/2206.10042v2 ) ライセンス: Link先を確認 | Augustin Vanrietvelde, Nick Ormrod, Hl\'er Kristj\'ansson, Jonathan Barrett | (参考訳) 過去10年間に、論理的に一貫性があるが循環因果構造を持つ多くの量子プロセスが提案されてきた。
しかし、なぜ一貫性があるのかを明確にするために、エキゾチックな因果構造を持つプロセスを構築する一般的な形式的な方法は存在しない。
ここでは、拡張回路形式により与えられるそのような方法を提案する。
これは操作に関する基本的な制約をエンコードするブール行列を付与した有向グラフのみを必要とする。
当社の枠組み
(a)そのようなグラフの有効性をチェックするための基本規則のセットを定義する。
(b)有効なグラフから回路として一貫したプロセスを構築する方法、及び
(c)プロセス内の因果関係の直観的な解釈と、なぜそれらが矛盾を生じないのかを説明する。
我々は、因果的不等式に違反するものを含む、エキゾチックなプロセスのいくつかの標準的な例が、この方法で生成できるプロセスのクラスであることを示す。 Over the past decade, a number of quantum processes have been proposed which are logically consistent, yet feature a cyclic causal structure. However, there is no general formal method to construct a process with an exotic causal structure in a way that ensures, and makes clear why, it is consistent. Here we provide such a method, given by an extended circuit formalism. This only requires directed graphs endowed with Boolean matrices, which encode basic constraints on operations. Our framework (a) defines a set of elementary rules for checking the validity of any such graph, (b) provides a way of constructing consistent processes as a circuit from valid graphs, and (c) yields an intuitive interpretation of the causal relations within a process and an explanation of why they do not lead to inconsistencies. We display how several standard examples of exotic processes, including ones that violate causal inequalities, are among the class of processes that can be generated in this way; we conjecture that this class in fact includes all unitarily extendible processes. | 翻訳日:2023-02-08 18:40:26 公開日:2023-02-06 |
| # 非定常分布におけるメモリベースメタラーニング Memory-Based Meta-Learning on Non-Stationary Distributions ( http://arxiv.org/abs/2302.03067v1 ) ライセンス: Link先を確認 | Tim Genewein, Gr\'egoire Del\'etang, Anian Ruoss, Li Kevin Wenliang, Elliot Catt, Vincent Dutordoir, Jordi Grau-Moya, Laurent Orseau, Marcus Hutter, Joel Veness | (参考訳) メモリベースのメタ学習はベイズ最適予測器を近似する手法である。
比較的一般的な条件下では、ログ損失によって測定された逐次予測誤差を最小化することは暗黙のメタ学習につながる。
本研究の目的は,現在のシーケンス予測モデルとトレーニングレジームを用いて,この解釈がどこまで実現できるかを検討することである。
その焦点は、観測不能なスイッチングポイントを持つ断片的な定常源であり、部分的に観測可能な環境における自然言語と行動観測シーケンスの重要な特徴を確実に捉えている。
本稿では,Transformer,LSTM,RNNなどのメモリベースニューラルモデルを用いて,既知のベイズ最適アルゴリズムを正確に近似し,潜時切換点に対するベイズ推定や各セグメント内のデータ分布を管理する潜時パラメータの動作を学習できることを示す。 Memory-based meta-learning is a technique for approximating Bayes-optimal predictors. Under fairly general conditions, minimizing sequential prediction error, measured by the log loss, leads to implicit meta-learning. The goal of this work is to investigate how far this interpretation can be realized by current sequence prediction models and training regimes. The focus is on piecewise stationary sources with unobserved switching-points, which arguably capture an important characteristic of natural language and action-observation sequences in partially observable environments. We show that various types of memory-based neural models, including Transformers, LSTMs, and RNNs can learn to accurately approximate known Bayes-optimal algorithms and behave as if performing Bayesian inference over the latent switching-points and the latent parameters governing the data distribution within each segment. | 翻訳日:2023-02-08 18:32:44 公開日:2023-02-06 |
| # ポテンシャルのない境界状態:特異点の局在 Bound states without potentials: localization at singularities ( http://arxiv.org/abs/2302.03065v1 ) ライセンス: Link先を確認 | Eric He, R. Ganesh | (参考訳) 境界状態形成は量子力学の古典的な特徴であり、粒子は魅力的なポテンシャルの近傍に局在する。
これは典型的には、粒子がそのポテンシャルエネルギーを下げるものとして理解される。
本稿では,運動エネルギーの考慮により境界状態が純粋に生じるパラダイムについて議論する。
この現象は、互いに交わる複数の滑らかな曲面からなるある非多様体空間で起こる。
交叉領域は次元が定義されていない特異点と見なすことができる。
粒子が$M$空間(M=2, 3, 4, \ldots$)、次元$D$(D=1, 2$, 3,$)に移動するような環境で、このアイデアを実証する。
空間は共通点で交わり、特異点として機能する。
この環境で量子挙動を研究するために、空間を離散化し、密結合アプローチを採用する。
一般論として、特異点の周囲に局在した基底状態が、$m$ の曲面の中で ‘shuttling' の運動エネルギーに縛られることを発見する。
我々は一方の特異点と他方の局所的魅力ポテンシャルの間に定量的な類似性を描く。
各特異点に対して、同じ束縛状態の波動関数と結合エネルギーを生成する等価ポテンシャルを割り当てる。
特異性の度合い(M$, 交差する曲面の数)は、等価ポテンシャルの強さを決定する。
d=1$ と $d=2$ で、任意の特異点が束縛状態を生成することを示す。
これは、任意の魅力的なポテンシャルが 1D と 2D の有界状態を生成するというよく知られた事実に類似している。
対照的に、$d=3$ の場合、束縛状態は特異度がしきい値を超える場合にのみ現れる。
これは、三次元では境界状態形成に閾値ポテンシャル強度が必要であるという事実に類似している。
量子物理学の様々な領域における実験と理論的研究の意味について論じる。 Bound state formation is a classic feature of quantum mechanics, where a particle localizes in the vicinity of an attractive potential. This is typically understood as the particle lowering its potential energy. In this article, we discuss a paradigm where bound states arise purely due to kinetic energy considerations. This phenomenon occurs in certain non-manifold spaces that consist of multiple smooth surfaces that intersect one another. The intersection region can be viewed as a singularity where dimensionality is not defined. We demonstrate this idea in a setting where a particle moves on $M$ spaces ($M=2, 3, 4, \ldots$), each of dimensionality $D$ ($D=1, 2$ and $3$). The spaces intersect at a common point, which serves as a singularity. To study quantum behaviour in this setting, we discretize space and adopt a tight-binding approach. We generically find a ground state that is localized around the singular point, bound by the kinetic energy of `shuttling' among the $M$ surfaces. We draw a quantitative analogy between singularities on the one hand and local attractive potentials on the other. To each singularity, we assign an equivalent potential that produces the same bound state wavefunction and binding energy. The degree of a singularity ($M$, the number of intersecting surfaces) determines the strength of the equivalent potential. With $D=1$ and $D=2$, we show that any singularity creates a bound state. This is analogous to the well known fact that any attractive potential creates a bound state in 1D and 2D. In contrast, with $D=3$, bound states only appear when the degree of the singularity exceeds a threshold value. This is analogous to the fact that in three dimensions, a threshold potential strength is required for bound state formation. We discuss implications for experiments and theoretical studies in various domains of quantum physics. | 翻訳日:2023-02-08 18:32:29 公開日:2023-02-06 |
| # 深層学習による乳房超音波のパルスエコー音速推定の検討 Investigating Pulse-Echo Sound Speed Estimation in Breast Ultrasound with Deep Learning ( http://arxiv.org/abs/2302.03064v1 ) ライセンス: Link先を確認 | Walter A. Simson, Magdalini Paschali, Vasiliki Sideri-Lampretsa, Nassir Navab, Jeremy J. Dahl | (参考訳) 超音波は乳房異常の診断を迅速かつ安全に行うことができる乳房造影補助具である。
臨床超音波は診断のためにBモード画像を形成するために音速を一定に仮定することが多い。
しかし, 腺, 脂肪, 病変などの乳房組織の種類は音速によって異なる。
これらの差異は、画像再構成過程を劣化させることができる。
あるいは、音速は病気を識別するための強力なツールである。
そこで本研究では,位相内および二次超音波信号から音速推定を行うための深層学習手法を提案する。
まず, 胸腺, 皮膚, 病変をエコー原性および音速でモデル化し, 準現実性乳房組織を生成する大規模超音波データセットを開発した。
我々は,3つの複素値内位相および2次超音波像を異なる角度で入力することにより,シミュレーションデータセットに基づいて学習した完全な畳み込みニューラルネットワークアーキテクチャを構築した。
さらに, モデル最適化において, 実超音波データへの一般化性を高めるために, 熱雑音の増大が用いられる。
シミュレーション,ファントム,乳房内超音波データに基づくモデルの評価を行い,文献で報告された値と一致する音速を正確に推定する能力を示した。
我々のシミュレーションデータセットとモデルが公開され、パルスエコー画像の正確で一般化可能な音速推定に向けたステップが提供される。 Ultrasound is an adjunct tool to mammography that can quickly and safely aid physicians with diagnosing breast abnormalities. Clinical ultrasound often assumes a constant sound speed to form B-mode images for diagnosis. However, the various types of breast tissue, such as glandular, fat, and lesions, differ in sound speed. These differences can degrade the image reconstruction process. Alternatively, sound speed can be a powerful tool for identifying disease. To this end, we propose a deep-learning approach for sound speed estimation from in-phase and quadrature ultrasound signals. First, we develop a large-scale simulated ultrasound dataset that generates quasi-realistic breast tissue by modeling breast gland, skin, and lesions with varying echogenicity and sound speed. We developed a fully convolutional neural network architecture trained on a simulated dataset to produce an estimated sound speed map from inputting three complex-value in-phase and quadrature ultrasound images formed from plane-wave transmissions at separate angles. Furthermore, thermal noise augmentation is used during model optimization to enhance generalizability to real ultrasound data. We evaluate the model on simulated, phantom, and in-vivo breast ultrasound data, demonstrating its ability to accurately estimate sound speeds consistent with previously reported values in the literature. Our simulated dataset and model will be publicly available to provide a step towards accurate and generalizable sound speed estimation for pulse-echo ultrasound imaging. | 翻訳日:2023-02-08 18:31:59 公開日:2023-02-06 |
| # バイアス消去誤差をもつ中性原子量子ビットの高しきい値符号 High threshold codes for neutral atom qubits with biased erasure errors ( http://arxiv.org/abs/2302.03063v1 ) ライセンス: Link先を確認 | Kaavya Sahay, Junlan Jin, Jahan Claes, Jeff D. Thompson, Shruti Puri | (参考訳) フォールトトレラントな量子誤差補正の要件は、基盤となるハードウェアのノイズ構造を活用することで単純化することができる。
本研究では,量子ビットの計算状態の1つだけから検出可能な漏洩によって,量子ビットエラーが支配される場合に発生する,中性原子量子ビット,バイアス付き消去エラーに動機づけられた新しい構造雑音を同定する。
XZZX曲面符号のゲートレベルシミュレーションを用いて,本モデルの性能について検討した。
準安定な$^{171}$Yb量子ビットの予測消去率とバイアスを用いて、閾値は8.2%であり、これは偏りのない消去のしきい値の1.9倍、誤差を非偏極化するしきい値の7.5倍である。
驚くべきことに、改良された閾値はバイアス保存制御なしのゲートなしで達成され、代わりにこのモデルにおける低ノイズエントロピーから生じる。
また,このノイズモデルに最適化されたXZZXクラスタ状態構築による測定に基づく誤り訂正,ハイブリッド融合を提案する。
融合操作と決定論的絡み合いゲートを組み合わせることで、この構造はXZZX符号の内在対称性を保ち、しきい値が10.3%上昇し、より少ない量子ビットを持つ長方形符号の使用を可能にした。 The requirements for fault-tolerant quantum error correction can be simplified by leveraging structure in the noise of the underlying hardware. In this work, we identify a new type of structured noise motivated by neutral atom qubits, biased erasure errors, which arises when qubit errors are dominated by detectable leakage from only one of the computational states of the qubit. We study the performance of this model using gate-level simulations of the XZZX surface code. Using the predicted erasure fraction and bias of metastable $^{171}$Yb qubits, we find a threshold of 8.2%, which is 1.9 times higher than the threshold for unbiased erasures, and 7.5 times higher than the threshold for depolarizing errors. Surprisingly, the improved threshold is achieved without bias-preserving controlled-not gates, and instead results from the lower noise entropy in this model. We also introduce an XZZX cluster state construction for measurement-based error correction, hybrid-fusion, that is optimized for this noise model. By combining fusion operations and deterministic entangling gates, this construction preserves the intrinsic symmetry of the XZZX code, leading to a higher threshold of 10.3% and enabling the use of rectangular codes with fewer qubits. | 翻訳日:2023-02-08 18:31:38 公開日:2023-02-06 |
| # エネルギー測定は弱いカップリングを超えて熱的に最適である Energy measurements remain thermometrically optimal beyond weak coupling ( http://arxiv.org/abs/2302.03061v1 ) ライセンス: Link先を確認 | Jonas Glatthard, Karen V. Hovhannisyan, Mart\'i Perarnau-Llobet, Luis A. Correa, Harry J. D. Miller | (参考訳) プローブ-サンプル相互作用において、有限結合量子温度測定の一般摂動理論を2階まで発展させる。
プローブとサンプルは熱平衡状態にあると仮定すると、プローブは平均力ギブス状態によって記述される。
本研究では, プローブの局所エネルギー測定により, カップリングの最大温度測定精度を2次から2次にすることができることを示す。
したがって、コヒーレンスから温度情報を抽出したり、適応スキームを考案しようとすると、この制度の実際的な利点を損なうことはない。
さらに、温度変化に対するプローブの感度を捉える量子フィッシャー情報に対して、クローズドフォーム表現を提供する。
最後に、2つの簡単な例で、我々の公式の使いやすさをベンチマークし、説明します。
我々の形式主義は完全に一般化しており、動的時間スケールの分離やプローブまたはサンプルの性質について仮定していない。
したがって、熱感度と最適測定の両方について分析的洞察を提供することで、有限結合効果を無視できない系における量子温度測定への道を開くことができる。 We develop a general perturbative theory of finite-coupling quantum thermometry up to second order in probe-sample interaction. By assumption the probe and sample are in thermal equilibrium, so the probe is described by the mean-force Gibbs state. We prove that the ultimate thermometric precision can be achieved--to second order in the coupling--solely by means of local energy measurements on the probe. Hence, seeking to extract temperature information from coherences or devising adaptive schemes confers no practical advantage in this regime. Additionally, we provide a closed-form expression for the quantum Fisher information, which captures the probe's sensitivity to temperature variations. Finally, we benchmark and illustrate the ease of use of our formulae with two simple examples. Our formalism is completely general and makes no assumptions about separation of dynamical timescales or the nature of either the probe or the sample. Therefore, by providing analytical insight into both the thermal sensitivity and the optimal measurement for achieving it, our results pave the way for quantum thermometry in setups where finite-coupling effects cannot be ignored. | 翻訳日:2023-02-08 18:31:11 公開日:2023-02-06 |
| # トポロジカル非エルミート皮膚効果 Topological Non-Hermitian skin effect ( http://arxiv.org/abs/2302.03057v1 ) ライセンス: Link先を確認 | Rijia Lin, Tommy Tai, Linhu Li, Ching Hua Lee | (参考訳) 本稿では,非エルミート皮膚効果(NHSE)の最近の進展,特にトポロジーとの豊かな相互作用について概説する。
レビューは、修正されたバルク境界対応、より高次元のnhseとバンドトポロジーの相乗的およびハイブリダイゼーション、スペクトル巻線トポロジーやスペクトルグラフトポロジーのような複素エネルギー平面上の関連するトポロジーに関する教育的紹介から始まります。
その後、非エルミート臨界性、動的NHSE現象、および従来の線形非相互作用結晶格子、特に量子多体相互作用との相互作用を超えたNHSEの顕在化など、新たなトピックが導入される。
最後に、NHSEの最近の実演と実験的提案について調査する。 This article reviews recent developments in the non-Hermitian skin effect (NHSE), particularly on its rich interplay with topology. The review starts off with a pedagogical introduction on the modified bulk-boundary correspondence, the synergy and hybridization of NHSE and band topology in higher dimensions, as well as, the associated topology on the complex energy plane such as spectral winding topology and spectral graph topology. Following which, emerging topics are introduced such as non-Hermitian criticality, dynamical NHSE phenomena, and the manifestation of NHSE beyond the traditional linear non-interacting crystal lattices, particularly its interplay with quantum many-body interactions. Finally, we survey the recent demonstrations and experimental proposals of NHSE. | 翻訳日:2023-02-08 18:30:52 公開日:2023-02-06 |
| # 量子コンピュータ上の強相関系のシミュレーションのための量子埋め込み法 Quantum Embedding Method for the Simulation of Strongly Correlated Systems on Quantum Computers ( http://arxiv.org/abs/2302.03052v1 ) ライセンス: Link先を確認 | Max Rossmannek, Fabijan Pavo\v{s}evi\'c, Angel Rubio, Ivano Tavernelli | (参考訳) 量子コンピューティングは、量子化学の標準的な手法が定性的に不正確か高価であるような、強相関の強い化学系をシミュレートするための有望なプラットフォームとして登場した。
しかし、利用可能なノイズの多い短期量子デバイスのハードウェア上の制限のため、その用途は現在、小さな化学システムに限られている。
応用範囲を広げる1つの方法は、量子埋め込みアプローチで達成できる。
本稿では,変分量子固有解法(VQE)アルゴリズムと密度汎関数理論(DFT)を組み合わせた投影型埋め込み法を用いる。
開発したvqe-in-dft法を実量子デバイスに効率的に実装し,ブチロニトリルの3重結合切断過程をシミュレートする。
本稿では, 量子コンピュータ上での強い相関フラグメントを持つシステムのシミュレーション手法として, 提案手法が有望であることを示す。
開発とそれに伴う実装は、コンピュータ支援薬物設計を含む多くの異なる化学領域と、強く相関した断片を持つ金属酵素の研究に恩恵をもたらすだろう。 Quantum computing has emerged as a promising platform for simulating strongly correlated systems in chemistry, for which the standard quantum chemistry methods are either qualitatively inaccurate or too expensive. However, due to the hardware limitations of the available noisy near-term quantum devices, their application is currently limited only to small chemical systems. One way for extending the range of applicability can be achieved within the quantum embedding approach. Herein, we employ the projection-based embedding method for combining the variational quantum eigensolver (VQE) algorithm, although not limited to, with density functional theory (DFT). The developed VQE-in-DFT method is then implemented efficiently on a real quantum device and employed for simulating the triple bond breaking process in butyronitrile. The results presented herein show that the developed method is a promising approach for simulating systems with a strongly correlated fragment on a quantum computer. The developments as well as the accompanying implementation will benefit many different chemical areas including the computer aided drug design as well as the study of metalloenzymes with a strongly correlated fragment. | 翻訳日:2023-02-08 18:30:39 公開日:2023-02-06 |
| # 超高速時間ビンクォーディットの測定 Measuring ultrafast time-bin qudits ( http://arxiv.org/abs/2302.03045v1 ) ライセンス: Link先を確認 | Fr\'ed\'eric Bouchard, Kent Bonsma-Fisher, Khabat Heshami, Philip J. Bustard, Duncan England, Benjamin Sussman | (参考訳) time-bin quditsは多くの量子フォトニックアプリケーションで有望なエンコーディングプラットフォームとして登場した。
しかし、再構成検出ではなく、効率的なシングルショット計測の要求により、実験での利用は制限されている。
本稿では,時間変数quditの任意の重ね合わせ状態を測定し,次元4まで確認する効率的な手法を提案する。
この方法は、ピコ秒時間スケールでの時間ビンの符号化に基づいており、超高速時間ビンとも呼ばれる。
これにより、ロバストおよび位相安定な単一空間モード時間干渉計を用いて、異なる測定ベースで時間ビンquditを測定することができる。 Time-bin qudits have emerged as a promising encoding platform in many quantum photonic applications. However, the requirement for efficient single-shot measurement of time-bin qudits instead of reconstructive detection has restricted their widespread use in experiments. Here, we propose an efficient method to measure arbitrary superposition states of time-bin qudits and confirm it up to dimension 4. This method is based on encoding time bins at the picosecond time scale, also known as ultrafast time bins. By doing so, we enable the use of robust and phase-stable single spatial mode temporal interferometers to measure time-bin qudit in different measurement bases. | 翻訳日:2023-02-08 18:30:20 公開日:2023-02-06 |
| # 単一細胞は空間トークンである:空間転写データインプテーションのためのトランスフォーマー Single Cells Are Spatial Tokens: Transformers for Spatial Transcriptomic Data Imputation ( http://arxiv.org/abs/2302.03038v1 ) ライセンス: Link先を確認 | Hongzhi Wen, Wenzhuo Tang, Wei Jin, Jiayuan Ding, Renming Liu, Feng Shi, Yuying Xie, Jiliang Tang | (参考訳) 空間的に解決された転写学は、遺伝子発現とともに物理的な位置を提供することによって、単細胞解析にエキサイティングなブレークスルーをもたらす。
しかし, 空間分解能が極めて高いため, 細胞レベルでの空間転写学的データは欠落した値に大きく影響する。
標準的な解決策は、不足している値にインプテーションを行うことであるが、既存の方法の多くは、空間情報を見逃したり、長距離の空間情報をキャプチャする能力を持たずに、局所化された空間コンテキストだけを取り込んだりしている。
マルチヘッド自己アテンション機構と位置エンコーディングを用いて、トランスフォーマーモデルはトークン間の関係を容易に把握し、位置情報をエンコードする。
本稿では, 単一細胞を空間トークンとして扱うことにより, トランスフォーマを用いて空間的タンプトミクスのインプテーションを促進する方法について検討する。
特に、(1) $\textit{how to encode in cells in transformers}$, (2) $\textit{ how to training a transformer for transcriptomic imputation}$。
これら2つの質問に答えることで、細胞内レベルの空間転写データに対するトランスフォーマーベースの計算フレームワークであるSpaFormerを提案する。
広範な実験により、spaformerは3つの大規模データセット上の既存の最先端インプテーションアルゴリズムよりも優れていることが示されている。 Spatially resolved transcriptomics brings exciting breakthroughs to single-cell analysis by providing physical locations along with gene expression. However, as a cost of the extremely high spatial resolution, the cellular level spatial transcriptomic data suffer significantly from missing values. While a standard solution is to perform imputation on the missing values, most existing methods either overlook spatial information or only incorporate localized spatial context without the ability to capture long-range spatial information. Using multi-head self-attention mechanisms and positional encoding, transformer models can readily grasp the relationship between tokens and encode location information. In this paper, by treating single cells as spatial tokens, we study how to leverage transformers to facilitate spatial tanscriptomics imputation. In particular, investigate the following two key questions: (1) $\textit{how to encode spatial information of cells in transformers}$, and (2) $\textit{ how to train a transformer for transcriptomic imputation}$. By answering these two questions, we present a transformer-based imputation framework, SpaFormer, for cellular-level spatial transcriptomic data. Extensive experiments demonstrate that SpaFormer outperforms existing state-of-the-art imputation algorithms on three large-scale datasets. | 翻訳日:2023-02-08 18:30:10 公開日:2023-02-06 |
| # 事前学習した埋め込みと文の袋を用いた効率的かつ柔軟なトピックモデリング Efficient and Flexible Topic Modeling using Pretrained Embeddings and Bag of Sentences ( http://arxiv.org/abs/2302.03106v1 ) ライセンス: Link先を確認 | Johannes Schneider | (参考訳) 事前訓練された言語モデルは、多くのNLPタスクにおいて新しい最先端技術をもたらした。
しかし、トピックモデリングでは、LDAのような統計的生成モデルがまだ一般的であり、文脈的単語ベクトルを容易に組み込むことはできない。
彼らは人間の判断とあまり一致しないトピックを生み出すかもしれない。
本研究では,新しいトピックモデリングと推論アルゴリズムを提案する。
分析単位として文を用いた文の袋(bos)アプローチを提案する。
生成過程モデルとクラスタリングを組み合わせることにより,事前学習文埋め込みを活用する。
我々は、期待最大化、ハード割り当て、アニーリングプロセスに基づく高速な推論アルゴリズムを導出する。
評価の結果,本手法は比較的少ない計算要求で最先端の成果が得られることがわかった。
提案手法は,先行手法を用いてトピック文書分布をカスタマイズできるので,単語埋め込みを利用した先行手法よりも柔軟である。
コードは \url{https://github.com/John Tailor/BertSenClu} にある。 Pre-trained language models have led to a new state-of-the-art in many NLP tasks. However, for topic modeling, statistical generative models such as LDA are still prevalent, which do not easily allow incorporating contextual word vectors. They might yield topics that do not align very well with human judgment. In this work, we propose a novel topic modeling and inference algorithm. We suggest a bag of sentences (BoS) approach using sentences as the unit of analysis. We leverage pre-trained sentence embeddings by combining generative process models with clustering. We derive a fast inference algorithm based on expectation maximization, hard assignments, and an annealing process. Our evaluation shows that our method yields state-of-the art results with relatively little computational demands. Our methods is more flexible compared to prior works leveraging word embeddings, since it provides the possibility to customize topic-document distributions using priors. Code is at \url{https://github.com/JohnTailor/BertSenClu}. | 翻訳日:2023-02-08 18:23:28 公開日:2023-02-06 |
| # フェデレーション学習のためのワンショット経験的プライバシー推定 One-shot Empirical Privacy Estimation for Federated Learning ( http://arxiv.org/abs/2302.03098v1 ) ライセンス: Link先を確認 | Galen Andrew, Peter Kairouz, Sewoong Oh, Alina Oprea, H. Brendan McMahan and Vinith Suriyakumar | (参考訳) 差分プライベート(DP)アルゴリズムのプライバシー監査技術は、プライバシー損失を分析的境界と比較するために推定したり、DP損失に関する既知の分析的境界が厳密でない設定において、経験的にプライバシーを測定するのに有用である。
しかしながら、既存のプライバシ監査技術は、通常、敵に対して強い仮定(例えば、中間モデルイテレートの知識やトレーニングデータ分布)をし、特定のタスクやモデルアーキテクチャに合わせて調整され、モデルを何度も(通常は数千の順序で)再訓練する必要がある。
これらの欠点は,特にモデルトレーニングに数日ないし数週間を要する,フェデレートされた環境では,そのようなテクニックを実践的に大規模に展開することが難しくなる。
本研究では,これらの課題を体系的に解決し,モデルパラメータに適合する単一トレーニング実行において,モデルのプライバシ損失の効率的な監査や推定を可能にする,新しい"ワンショット"アプローチを提案する。
フェデレーション学習のためのプライバシ監査方法は,モデルアーキテクチャやタスクに関する事前知識を必要としない。
本手法は,gaussian機構下でのプライバシ損失の予測を確証できることを示すとともに,いくつかの敵モデルの下で確立されたflベンチマークデータセット上でその性能を実証する。 Privacy auditing techniques for differentially private (DP) algorithms are useful for estimating the privacy loss to compare against analytical bounds, or empirically measure privacy in settings where known analytical bounds on the DP loss are not tight. However, existing privacy auditing techniques usually make strong assumptions on the adversary (e.g., knowledge of intermediate model iterates or the training data distribution), are tailored to specific tasks and model architectures, and require retraining the model many times (typically on the order of thousands). These shortcomings make deploying such techniques at scale difficult in practice, especially in federated settings where model training can take days or weeks. In this work, we present a novel "one-shot" approach that can systematically address these challenges, allowing efficient auditing or estimation of the privacy loss of a model during the same, single training run used to fit model parameters. Our privacy auditing method for federated learning does not require a priori knowledge about the model architecture or task. We show that our method provides provably correct estimates for privacy loss under the Gaussian mechanism, and we demonstrate its performance on a well-established FL benchmark dataset under several adversarial models. | 翻訳日:2023-02-08 18:23:14 公開日:2023-02-06 |
| # 遺伝的にプログラムされたエージェントモデルにおける存在闘争:時間、記憶、肥大 The Struggle for Existence in a Genetically Programmed Agent Based Model: Time, Memory and Bloat ( http://arxiv.org/abs/2302.03096v1 ) ライセンス: Link先を確認 | John C Stevenson | (参考訳) 線形で遺伝的にプログラムされたエージェントがモデル内で競合し、再現された空間的時間的エージェントベースモデルにより、暗黙的、内在的な目的関数と「自然選択」に基づく選択アルゴリズムが生まれる。
この遺伝的プログラムの暗黙の最適化は、人工採餌生態系への応用によって探求される。
プログラムメモリと実行時間の限られた計算資源は、物理的および生物学的システムのリアルタイムおよび同時特性をエミュレートする。
これらの計算資源の関数としてのエージェントのプログラムの相対的適合性と結果の効率を計測し比較する。
いくつかの構成に対するサプライズソリューションは、中立的なコードの肥大化仮説を実験的にサポートするユニークな機会を提供する。
この暗黙的、内在的、進化的な遺伝的プログラムされたエージェントの最適化は生物学的システムと一致しており、溶液空間の探索と適合性、効率的、新しい解の発見の両方に有効であることが示されている。 A spatial-temporal agent based model with linear, genetically programmed agents competing and reproducing within the model results in implicit, endogenous objective functions and selection algorithms based on "natural selection". This implicit optimization of genetic programs is explored by application to an artificial foraging ecosystem. Limited computational resources of program memory and execution time emulate real-time and concurrent properties of physical and biological systems. Relative fitness of the agents' programs and efficiency of the resultant populations as functions of these computational resources are measured and compared. Surprising solutions for some configurations provide an unique opportunity to experimentally support neutral code bloating hypotheses. This implicit, endogenous, evolutionary optimization of genetically programmed agents is consistent with biological systems and is shown to be effective in both exploring the solution space and discovering fit, efficient, and novel solutions. | 翻訳日:2023-02-08 18:22:52 公開日:2023-02-06 |
| # 適応変動量子力学を用いた多体グリーン関数の計算 Computing the many-body Green's function with adaptive variational quantum dynamics ( http://arxiv.org/abs/2302.03093v1 ) ライセンス: Link先を確認 | Niladri Gomes, David B. Williams-Young, Wibe A. de Jong | (参考訳) 本稿では,適応変分量子力学シミュレーション手法を用いて多体実時間グリーン関数を計算する手法を提案する。
リアルタイムグリーン関数は、状態ベクトルの線形結合として最初に表される基底状態の波動関数に関して、1つの追加電子を持つ量子状態の時間発展を含む。
実時間発展とグリーン関数は、線形結合における個々の状態ベクトルのダイナミクスを組み合わせることによって得られる。
アダプティブプロトコルを使用することで、シミュレーションの実行中にコンパクトなans\"atze on-the-flyを生成することができる。
スペクトル特徴の収束性を改善するために、Pad\'e近似法を適用し、グリーン関数のフーリエ変換を求める。
我々は,IBM Q量子コンピュータ上でのグリーン関数の評価を行った。
誤差緩和戦略の一環として,実際の量子ハードウェアからのノイズデータに適用可能な分解能向上法を開発した。 We present a method to compute the many-body real-time Green's function using an adaptive variational quantum dynamics simulation approach. The real-time Green's function involves the time evolution of a quantum state with one additional electron with respect to the ground state wavefunction that is first expressed as a linear combination of state vectors. The real-time evolution and Green's function is obtained by combining the dynamics of the individual statevectors in the linear combination. The use of the adaptive protocol enables us to generate compact ans\"atze on-the-fly while running the simulation. In order to improve the convergence of spectral features Pad\'e approximants are applied to obtain the Fourier transform of Green's function. We demonstrate the evaluation of Green's function on an IBM Q quantum computer. As a part of our error mitigation strategy, we develop a resolution-enhancing method that we successfully apply on the noisy data from the real quantum hardware. | 翻訳日:2023-02-08 18:22:37 公開日:2023-02-06 |
| # 副次的評価を有するエージェント間の良質・良質な項目の分割 Dividing Good and Better Items Among Agents with Submodular Valuations ( http://arxiv.org/abs/2302.03087v1 ) ライセンス: Link先を確認 | Cyrus Cousins, Vignesh Viswanathan and Yair Zick | (参考訳) 我々は,二価のサブモジュラー価値を持つエージェント間で,一組の不可分な商品を公平に割り当てる問題について検討する。
これは2つのよく研究された付値クラスの自然な一般化である。
本稿では,最近導入されたYankee Swap機構に基づいて,レキシミン,最大ナッシュ福祉(MNW),および$a$が$b$を分割した場合のアロケーションを最大化する$p$平均福祉など,様々なソリューション概念を計算できる簡単な逐次アルゴリズムフレームワークを提案する。
この結果は、$a$ が$b$ を割らない場合、レキシミンとmnwの割り当ての計算不能性に関する既存の結果によって補完される。
さらに、よく知られた2つの性質、うらやましい自由度と最大シェア保証に関して、レキシミンとMNWの割り当てについて検討する。
envy freenessでは、レキシミンとmnwの割り当ては1つの良いものまでenvy freeであることが保証されていない(ef1)。
二値加法評価と二値部分モジュラー評価のより単純なクラスでは、MNWアロケーションはどんな良いもの(EFX)にもうらやましいことが知られているので、これは驚くべきことである。
マキシミン共有保証では、MNWとレキシミン割り当てが各エージェントの$\frac14$と$\frac{a}{b+3a}$をそれぞれ保証していることを示す。
この分率は、エージェントが2値の付加価値を持つ場合、それぞれ$\frac13$と$\frac{a}{b+2a}$に改善される。 We study the problem of fairly allocating a set of indivisible goods among agents with bivalued submodular valuations -- each good provides a marginal gain of either $a$ or $b$ ($a < b$) and goods have decreasing marginal gains. This is a natural generalization of two well-studied valuation classes -- bivalued additive valuations and binary submodular valuations. We present a simple sequential algorithmic framework, based on the recently introduced Yankee Swap mechanism, that can be adapted to compute a variety of solution concepts, including leximin, max Nash welfare (MNW) and $p$-mean welfare maximizing allocations when $a$ divides $b$. This result is complemented by an existing result on the computational intractability of leximin and MNW allocations when $a$ does not divide $b$. We further examine leximin and MNW allocations with respect to two well-known properties -- envy freeness and the maximin share guarantee. On envy freeness, we show that neither the leximin nor the MNW allocation is guaranteed to be envy free up to one good (EF1). This is surprising since for the simpler classes of bivalued additive valuations and binary submodular valuations, MNW allocations are known to be envy free up to any good (EFX). On the maximin share guarantee, we show that MNW and leximin allocations guarantee each agent $\frac14$ and $\frac{a}{b+3a}$ of their maximin share respectively when $a$ divides $b$. This fraction improves to $\frac13$ and $\frac{a}{b+2a}$ respectively when agents have bivalued additive valuations. | 翻訳日:2023-02-08 18:22:22 公開日:2023-02-06 |
| # ditto: 世界モデルによるオフライン模倣学習 DITTO: Offline Imitation Learning with World Models ( http://arxiv.org/abs/2302.03086v1 ) ライセンス: Link先を確認 | Branton DeMoss, Paul Duckworth, Nick Hawes, Ingmar Posner | (参考訳) 本研究では,世界モデルとオンライン強化学習を用いたオフライン模倣学習アルゴリズムであるDITTOを提案する。
本稿では,オフライン・オン・ポリティカル・模倣学習を実現するための世界モデルについて議論し,強化学習による模倣学習を誘発する世界モデル潜在空間で定義される単純な本質的報酬を提案する。
理論的には、我々の定式化は、専門家と学習者の間で分岐を誘導し、報酬の差を束縛することを示す。
本手法は,ピクセルのみから難しいatari環境上でテストし,オフライン環境での最先端性能を実現する。 We propose DITTO, an offline imitation learning algorithm which uses world models and on-policy reinforcement learning to addresses the problem of covariate shift, without access to an oracle or any additional online interactions. We discuss how world models enable offline, on-policy imitation learning, and propose a simple intrinsic reward defined in the world model latent space that induces imitation learning by reinforcement learning. Theoretically, we show that our formulation induces a divergence bound between expert and learner, in turn bounding the difference in reward. We test our method on difficult Atari environments from pixels alone, and achieve state-of-the-art performance in the offline setting. | 翻訳日:2023-02-08 18:21:46 公開日:2023-02-06 |
| # Pic2Word:ゼロショット合成画像検索のための単語への画像マッピング Pic2Word: Mapping Pictures to Words for Zero-shot Composed Image Retrieval ( http://arxiv.org/abs/2302.03084v1 ) ライセンス: Link先を確認 | Kuniaki Saito, Kihyuk Sohn, Xiang Zhang, Chun-Liang Li, Chen-Yu Lee, Kate Saenko, Tomas Pfister | (参考訳) 合成画像検索(cir)では、ユーザはクエリ画像をテキストと組み合わせ、目的とするターゲットを記述する。
既存の方法は、クエリ画像、テキスト仕様、ターゲット画像からなるラベル付き三重項を用いたCIRモデルの教師あり学習に依存している。
このような三重項のラベル付けは高価であり、CIRの適用性を阻害する。
本研究では,ラベル付き三重項学習を必要とせずにCIRモデルを構築することを目的とした,Zero-Shot Composed Image Retrieval (ZS-CIR) という重要な課題について検討する。
そこで本研究では,弱いラベル付きイメージキャプチャペアとラベルなしの画像データセットのみを必要とするpic2wordという新しい手法を提案する。
既存の教師付きCIRモデルとは異なり、弱いラベル付きまたはラベル付きデータセットでトレーニングされたモデルでは、属性編集、オブジェクト合成、ドメイン変換など、さまざまなZS-CIRタスクにまたがる強力な一般化が示される。
提案手法は、一般的なCIRベンチマーク、CIRR、Fashion-IQにおいて、いくつかの教師付きCIR手法より優れている。
コードはhttps://github.com/google-research/composed_image_retrievalで公開される予定だ。 In Composed Image Retrieval (CIR), a user combines a query image with text to describe their intended target. Existing methods rely on supervised learning of CIR models using labeled triplets consisting of the query image, text specification, and the target image. Labeling such triplets is expensive and hinders broad applicability of CIR. In this work, we propose to study an important task, Zero-Shot Composed Image Retrieval (ZS-CIR), whose goal is to build a CIR model without requiring labeled triplets for training. To this end, we propose a novel method, called Pic2Word, that requires only weakly labeled image-caption pairs and unlabeled image datasets to train. Unlike existing supervised CIR models, our model trained on weakly labeled or unlabeled datasets shows strong generalization across diverse ZS-CIR tasks, e.g., attribute editing, object composition, and domain conversion. Our approach outperforms several supervised CIR methods on the common CIR benchmark, CIRR and Fashion-IQ. Code will be made publicly available at https://github.com/google-research/composed_image_retrieval. | 翻訳日:2023-02-08 18:21:33 公開日:2023-02-06 |
| # アルゴリズム的説明可能性の5つの政策利用 Five policy uses of algorithmic explainability ( http://arxiv.org/abs/2302.03080v1 ) ライセンス: Link先を確認 | Matthew O'Shaughnessy | (参考訳) アルゴリズムシステムは「説明可能」であるべきだという考えは、政府、企業、擁護団体によって開発された合意原則の多くの言明に共通している。
しかし、これらのポリシーと法的なアクターは、説明可能性から何を求めているのか、そして機械学習の文献で開発された説明可能性技術とどのように比較するのか?
我々は、政策と技術コミュニティのより良い結合を期待して、この問題を探究する。
政策立案者が説明可能性を利用することを目指す5つの設定を概説する。説明のための特定の要件を遵守すること、高度に規制された設定で規制当局の承認を得るのを助けること、責任を許容またはinterfaceすること、自己統制プロセスの一部としてリスクを柔軟に管理すること、モデルとデータの透明性を提供すること。
説明の目的と役割をコンテキスト化した詳細なケーススタディで各設定を説明する。
これらのケーススタディをもとに,政策立案者による説明の使用を制限する共通要因と,説明が政策で使用可能な有望な方法について議論する。
研究者や政策立案者に対する勧告で締めくくります。 The notion that algorithmic systems should be "explainable" is common in the many statements of consensus principles developed by governments, companies, and advocacy organizations. But what exactly do these policy and legal actors want from explainability, and how do their desiderata compare with the explainability techniques developed in the machine learning literature? We explore this question in hopes of better connecting the policy and technical communities. We outline five settings in which policymakers seek to use explainability: complying with specific requirements for explanation; helping to obtain regulatory approval in highly regulated settings; enabling or interfacing with liability; flexibly managing risk as part of a self-regulatory process; and providing model and data transparency. We illustrate each setting with an in-depth case study contextualizing the purpose and role of explanation. Drawing on these case studies, we discuss common factors limiting policymakers' use of explanation and promising ways in which explanation can be used in policy. We conclude with recommendations for researchers and policymakers. | 翻訳日:2023-02-08 18:21:12 公開日:2023-02-06 |
| # 絡み合うことなく重力の量子性をテストする Testing the quantumness of gravity without entanglement ( http://arxiv.org/abs/2302.03075v1 ) ライセンス: Link先を確認 | Ludovico Lami, Julen S. Pedernales, Martin B. Plenio | (参考訳) 量子系間の相互作用が純粋に局所的な古典場によって媒介されるという仮説を否定することを目的とした、概念的に新しい力学実験のクラスを提案する。
本研究では,プロセスの任意の時点で絡み合いが発生しない場合でも,局所的な操作や古典的通信(LOCC)によってシミュレーションできないダイナミクスを実装した。
量子情報理論のツールを用いて、ローカルな古典的相互作用がLOCCのみを使用しながら達成できるシミュレーションの最大忠実度を定量化する。
我々の仮定では、実験がしきい値よりも大きい忠実性を検出すると、その相互作用の局所的な古典的記述はもはや不可能である。
このスキームの顕著な応用として、通常の分散コヒーレント状態において初期化されニュートン重力を介して相互作用する量子調和振動子の一般系について検討し、トーションペンデュラによる物理的実装の可能性について議論する。
我々の主な技術的貢献の1つは、この系に対する最大LOCCシミュレーション忠実度に関する上記の境界の計算である。
重力によって媒介される絡み合いの検出に基づく既存の試験とは対照的に,提案手法はコヒーレントな状態のみで動作するため,運動の大部分が非局在化された状態の生成や絡み合いの検出は不要である。 We propose a conceptually new class of dynamical experiments whose goal is to falsify the hypothesis that an interaction between quantum systems is mediated by a purely local classical field. The systems we study implement a dynamics that cannot be simulated by means of local operations and classical communication (LOCC), even when no entanglement is ever generated at any point in the process. Using tools from quantum information theory, we quantify the maximal fidelity of simulation that a local classical interaction could attain while employing only LOCC. Under our assumptions, if an experiment detects a fidelity larger than that threshold then a local classical description of the interaction is no longer possible. As a prominent application of this scheme, we study a general system of quantum harmonic oscillators initialised in normally distributed coherent states and interacting via Newtonian gravity, and discuss a possible physical implementation with torsion pendula. One of our main technical contributions is the calculation of the above bound on the maximal LOCC simulation fidelity for this family of systems. As opposed to existing tests based on the detection of gravitationally mediated entanglement, our proposal works with coherent states alone, and thus it does not require the generation of largely delocalised states of motion nor the detection of entanglement. | 翻訳日:2023-02-08 18:20:53 公開日:2023-02-06 |
| # リスク分解による自己指導型学習の評価 Evaluating Self-Supervised Learning via Risk Decomposition ( http://arxiv.org/abs/2302.03068v1 ) ライセンス: Link先を確認 | Yann Dubois and Tatsunori Hashimoto and Percy Liang | (参考訳) 自己教師付き学習(SSL)パイプラインは、アーキテクチャや拡張、事前トレーニングデータなど、多くの設計上の選択肢が異なる。
しかし、SSLは通常、1つのメトリックを使って評価される。
これにより、モデルがなぜ、いつ、どのように改善されるのか、多くの洞察が得られない。
そこで本研究では,表現学習ステップから生じる誤りを考慮し,古典的教師付き近似推定分解を一般化したsslリスク分解を提案する。
分解は,近似,表現ユーザビリティ,プローブ一般化,エンコーダ一般化の4つの誤差成分からなる。
我々は,各コンポーネントに対して効率的な推定器を提供し,imagenet で評価した 169 ssl ビジョンモデルに対する30 の設計選択の影響を分析する。
私たちの分析はSSLモデルを設計、使用するための貴重な洞察を与えます。
例えば、エラーの主なソースを強調し、エラーコンポーネントのトレーディングによって特定の設定(フル対数ショット)でSSLを改善する方法を示している。
すべての結果と事前訓練されたモデルはhttps://github.com/YannDubs/SSL-Risk-Decompositionにある。 Self-supervised learning (SSL) pipelines differ in many design choices such as the architecture, augmentations, or pretraining data. Yet SSL is typically evaluated using a single metric: linear probing on ImageNet. This does not provide much insight into why or when a model is better, now how to improve it. To address this, we propose an SSL risk decomposition, which generalizes the classical supervised approximation-estimation decomposition by considering errors arising from the representation learning step. Our decomposition consists of four error components: approximation, representation usability, probe generalization, and encoder generalization. We provide efficient estimators for each component and use them to analyze the effect of 30 design choices on 169 SSL vision models evaluated on ImageNet. Our analysis gives valuable insights for designing and using SSL models. For example, it highlights the main sources of error and shows how to improve SSL in specific settings (full- vs few-shot) by trading off error components. All results and pretrained models are at https://github.com/YannDubs/SSL-Risk-Decomposition. | 翻訳日:2023-02-08 18:20:31 公開日:2023-02-06 |
| # spatial functa: imagenet分類と生成へのfunctaのスケーリング Spatial Functa: Scaling Functa to ImageNet Classification and Generation ( http://arxiv.org/abs/2302.03130v1 ) ライセンス: Link先を確認 | Matthias Bauer, Emilien Dupont, Andy Brock, Dan Rosenbaum, Jonathan Schwarz, Hyunjik Kim | (参考訳) 暗黙的な神経表現としても知られる神経場は、様々な様相の複雑な信号を表現する強力な手段として出現した。
この dupont et al. (2022) に基づいて、ニューラルネットワークをデータとして見るフレームワーク *functa* を導入し、このニューラルネットワークのデータセットでディープラーニングを直接行うことを提案している。
本研究では,CIFAR-10のような中程度に複雑なデータセットにスケールアップする場合,提案するフレームワークが限界に直面することを示す。
次に、空間配置されたニューラルネットワークの潜在表現を用いて、これらの制限を克服し、256×256の解像度でImageNet-1kへのアプローチをスケールアップする*spatial functa*を提案する。
画像生成における視覚変換器(Steiner et al., 2022)とラテント拡散器(Rombach et al., 2022)との競合性能を示す。 Neural fields, also known as implicit neural representations, have emerged as a powerful means to represent complex signals of various modalities. Based on this Dupont et al. (2022) introduce a framework that views neural fields as data, termed *functa*, and proposes to do deep learning directly on this dataset of neural fields. In this work, we show that the proposed framework faces limitations when scaling up to even moderately complex datasets such as CIFAR-10. We then propose *spatial functa*, which overcome these limitations by using spatially arranged latent representations of neural fields, thereby allowing us to scale up the approach to ImageNet-1k at 256x256 resolution. We demonstrate competitive performance to Vision Transformers (Steiner et al., 2022) on classification and Latent Diffusion (Rombach et al., 2022) on image generation respectively. | 翻訳日:2023-02-08 18:14:21 公開日:2023-02-06 |
| # Cooperverse: 複合接続性と自動化を備えたユニバーサルコラボレーション知覚のためのモバイルエッジクラウドフレームワーク Cooperverse: A Mobile-Edge-Cloud Framework for Universal Cooperative Perception with Mixed Connectivity and Automation ( http://arxiv.org/abs/2302.03128v1 ) ライセンス: Link先を確認 | Zhengwei Bai, Guoyuan Wu, Matthew J. Barth, Yongkang Liu, Emrah Akin Sisbot, Kentaro Oguchi | (参考訳) 協調認識(cp)は注目を集めており、現代交通システムの安全性、移動性、持続可能性の問題に対処するための鍵となる解決策である協調運転自動化を支援するための基礎的基盤と考えられている。
しかし、CPに関する現在の研究は、CPの体系的な問題定式化がまだ欠けている初期段階にあり、実際の状況下でのCPシステムのシステム設計の重要な指針として機能している。
本稿では,ユニバーサルCPシステムを最適化問題とCooperverseと呼ばれるモバイルエッジクラウドフレームワークに定式化する。
このシステムは、CPを混合接続および自動化環境で扱う。
動的特徴共有(DFS)手法は,特定の制約下でこのCPシステムをサポートするために導入され,高い性能でDSFを行うためにRPF法が提案されている。
実験は高忠実度CPプラットフォームを用いて行われており、Cooperverseフレームワークは動的ノードエンゲージメントに有効であり、提案手法はシステムCPの性能を14.5%向上し、RPF法は平均精度1.7%の低下で移動ノードの通信コストを90%削減できることを示した。 Cooperative perception (CP) is attracting increasing attention and is regarded as the core foundation to support cooperative driving automation, a potential key solution to addressing the safety, mobility, and sustainability issues of contemporary transportation systems. However, current research on CP is still at the beginning stages where a systematic problem formulation of CP is still missing, acting as the essential guideline of the system design of a CP system under real-world situations. In this paper, we formulate a universal CP system into an optimization problem and a mobile-edge-cloud framework called Cooperverse. This system addresses CP in a mixed connectivity and automation environment. A Dynamic Feature Sharing (DFS) methodology is introduced to support this CP system under certain constraints and a Random Priority Filtering (RPF) method is proposed to conduct DFS with high performance. Experiments have been conducted based on a high-fidelity CP platform, and the results show that the Cooperverse framework is effective for dynamic node engagement and the proposed DFS methodology can improve system CP performance by 14.5% and the RPF method can reduce the communication cost for mobile nodes by 90% with only 1.7% drop for average precision. | 翻訳日:2023-02-08 18:14:06 公開日:2023-02-06 |
| # 非保守系に対するボヘミア視点によるエレンフェスト定理の数値検証 Numerical validation of Ehrenfest theorem in a Bohmian perspective for non-conservative systems ( http://arxiv.org/abs/2302.03127v1 ) ライセンス: Link先を確認 | Matheus M. A. Paix\~ao, Henrique Santos Lima | (参考訳) 本研究では、ボヘミア平均を実行する量子軌道から古典解を得るボヘミアアプローチを用いて、エレンフェストの定理の高精度な数値的研究を行う。
我々は1次元の量子調和振動子の場合を解析し、初期条件の異なる集合に対するシュリンガー方程式と誘導方程式の数値解を求める。
また, 単純な定力, 高速に作用するガウスインパルス, 周波数の異なる振動力の3種類の外力を導入する効果についても検討した。
最後の例では、量子軌道の共鳴が観測された。 In this work we make a high precision numerical study of the Ehrenfest theorem using the Bohmian approach, where we obtain classical solutions from the quantum trajectories performing the Bohmian averages. We analyse the one-dimensional quantum harmonic oscillator case, finding numerical solutions of the Schr\"odinger equation and the guidance equation for different sets of initial conditions. We also investigate the effect of introducing external forces of three types: a simple constant force, a fast-acting Gaussian impulse, and an oscillatory force with different frequencies. In the last case the resonance in the quantum trajectories was observed. | 翻訳日:2023-02-08 18:13:45 公開日:2023-02-06 |
| # アラビア目標センス検証改善のためのコンテキストグロス強化 Context-Gloss Augmentation for Improving Arabic Target Sense Verification ( http://arxiv.org/abs/2302.03126v1 ) ライセンス: Link先を確認 | Sanad Malaysha, Mustafa Jarrar, Mohammed Khalilia | (参考訳) アラビア語には意味的データセットが欠けている。
最も一般的なアラビア語のセマンティックラベル付きデータセットは、アラビア辞書から収集された167Kの文脈グロス対(約60Kの正と107Kの負の対)からなる比較的小さなデータセットである。
本稿では,アラビア・英語・アラビア語)機械のバックトランスレーションを用いて,アラビアグロスBERTデータセットの強化を行った。
データセットサイズを352Kペア(149Kと203Kの負ペア)に拡大した。
我々は、異なるデータ構成を用いて、ターゲットセンス検証(TSV)タスクにBERTを微調整する拡張の影響を計測する。
全体として、異なるデータ構成の精度は78%から84%である。
提案手法はベースラインと同等に動作したが,いくつかの実験ではPOSタグの改善が見られた。
さらに、我々の微調整されたモデルは、より大きな語彙と文脈をカバーするより大きなデータセットで訓練されている。
我々は,各作業部(pos)の精度を詳細に分析する。 Arabic language lacks semantic datasets and sense inventories. The most common semantically-labeled dataset for Arabic is the ArabGlossBERT, a relatively small dataset that consists of 167K context-gloss pairs (about 60K positive and 107K negative pairs), collected from Arabic dictionaries. This paper presents an enrichment to the ArabGlossBERT dataset, by augmenting it using (Arabic-English-Arabic) machine back-translation. Augmentation increased the dataset size to 352K pairs (149K positive and 203K negative pairs). We measure the impact of augmentation using different data configurations to fine-tune BERT on target sense verification (TSV) task. Overall, the accuracy ranges between 78% to 84% for different data configurations. Although our approach performed at par with the baseline, we did observe some improvements for some POS tags in some experiments. Furthermore, our fine-tuned models are trained on a larger dataset covering larger vocabulary and contexts. We provide an in-depth analysis of the accuracy for each part-of-speech (POS). | 翻訳日:2023-02-08 18:13:34 公開日:2023-02-06 |
| # autodecompose:意味分解のための生成的自己教師付きモデル Autodecompose: A generative self-supervised model for semantic decomposition ( http://arxiv.org/abs/2302.03124v1 ) ライセンス: Link先を確認 | Mohammad Reza Bonyadi | (参考訳) 本稿では、データの特定の側面(例えば、音声信号の音声)をキャプチャする所望のプロパティと、他のすべての情報(例えば、音声信号の内容)をラベルなしで集約するコンテキストプロパティという、2つの意味論的独立性にデータを分解する新しい自己教師型生成モデルであるAutodecomposeを紹介する。
Autodecomposeは2つの補完的な拡張を使用しており、ひとつは所望のプロパティを保持しながらコンテキストを操作する。
データの拡張版は、2つのエンコーダによって符号化され、デコーダによって再構成される。
エンコーダの一方が所望のプロパティを埋め込み、もう一方がコンテキストプロパティを組み込むことを証明します。
音声信号に自動分解を適用し,音源(人間の声)とコンテンツの符号化を行う。
このモデルをYouTubeとLibriSpeechのデータセットで事前トレーニングし、ラベルを公開せずに自己教師付きで微調整した。
その結果,事前学習したオートコンプリートの音源エンコーダを用いて,10秒のラベル付きサンプルを用いた30話者の音声認識におけるF1スコア97.6\%を,教師付きモデルでは95.7\%と比較した。
さらに,大規模モデルが小さなデータセット上で事前トレーニングされた場合でも,オーバーフィットに対してautodecomposeは堅牢であることを示した。
3つの話者から60秒間の音声をスクラッチから事前学習し、98.5\%のf1スコアを達成し、これら3つの話者を他の見当たらない発話で認識した。
最後に、コンテキストエンコーダが音声の内容に関する情報を埋め込み、音源情報を無視していることを示す。
このモデルをトレーニングするためのサンプルコードと、事前トレーニングされたモデルを使用するサンプルは、以下の通りである。 We introduce Autodecompose, a novel self-supervised generative model that decomposes data into two semantically independent properties: the desired property, which captures a specific aspect of the data (e.g. the voice in an audio signal), and the context property, which aggregates all other information (e.g. the content of the audio signal), without any labels given. Autodecompose uses two complementary augmentations, one that manipulates the context while preserving the desired property and the other that manipulates the desired property while preserving the context. The augmented variants of the data are encoded by two encoders and reconstructed by a decoder. We prove that one of the encoders embeds the desired property while the other embeds the context property. We apply Autodecompose to audio signals to encode sound source (human voice) and content. We pre-trained the model on YouTube and LibriSpeech datasets and fine-tuned in a self-supervised manner without exposing the labels. Our results showed that, using the sound source encoder of pre-trained Autodecompose, a linear classifier achieves F1 score of 97.6\% in recognizing the voice of 30 speakers using only 10 seconds of labeled samples, compared to 95.7\% for supervised models. Additionally, our experiments showed that Autodecompose is robust against overfitting even when a large model is pre-trained on a small dataset. A large Autodecompose model was pre-trained from scratch on 60 seconds of audio from 3 speakers achieved over 98.5\% F1 score in recognizing those three speakers in other unseen utterances. We finally show that the context encoder embeds information about the content of the speech and ignores the sound source information. Our sample code for training the model, as well as examples for using the pre-trained models are available here: \url{https://github.com/rezabonyadi/autodecompose} | 翻訳日:2023-02-08 18:13:18 公開日:2023-02-06 |
| # 国家の安全強化学習に関する調査 State-wise Safe Reinforcement Learning: A Survey ( http://arxiv.org/abs/2302.03122v1 ) ライセンス: Link先を確認 | Weiye Zhao, Tairan He, Rui Chen, Tianhao Wei, Changliu Liu | (参考訳) シミュレーション環境でRL(Reinforcement Learning)アルゴリズムが驚くほど成功したにもかかわらず、実世界のアプリケーションにRLを適用することは、まだ多くの課題に直面している。
主な懸念事項は安全性、つまり制約満足度である。
状態毎の制約は、現実世界のアプリケーションで最も一般的な制約の1つであり、safe rlで最も難しい制約の1つです。
自律運転やロボット操作など,多くの課題に対して,国家的制約の実施が不可欠である。
本稿では、RLにおける状態制約に対処する既存のアプローチを包括的にレビューする。
SCMDP(State-wise Constrained Markov Decision Process)の枠組みの下で、既存のアプローチの関連、相違、トレードオフについて議論する。
(i)安全性の保証と拡張性。
(ii)安全と報酬の成果、及び
(iii)収束後及び訓練中の安全性。
また,現在の手法の限界を要約し,今後の方向性について考察する。 Despite the tremendous success of Reinforcement Learning (RL) algorithms in simulation environments, applying RL to real-world applications still faces many challenges. A major concern is safety, in another word, constraint satisfaction. State-wise constraints are one of the most common constraints in real-world applications and one of the most challenging constraints in Safe RL. Enforcing state-wise constraints is necessary and essential to many challenging tasks such as autonomous driving, robot manipulation. This paper provides a comprehensive review of existing approaches that address state-wise constraints in RL. Under the framework of State-wise Constrained Markov Decision Process (SCMDP), we will discuss the connections, differences, and trade-offs of existing approaches in terms of (i) safety guarantee and scalability, (ii) safety and reward performance, and (iii) safety after convergence and during training. We also summarize limitations of current methods and discuss potential future directions. | 翻訳日:2023-02-08 18:12:47 公開日:2023-02-06 |
| # 人工組織サンプルを用いたシリカの治療効果と疾患予後の検討 Studying Therapy Effects and Disease Outcomes in Silico using Artificial Counterfactual Tissue Samples ( http://arxiv.org/abs/2302.03120v1 ) ライセンス: Link先を確認 | Martin Paulikat, Christian M. Sch\"urch, Christian F. Baumgartner | (参考訳) 免疫腫瘍マイクロ環境(itme)内の異なる細胞型の相互作用を理解することは、免疫療法の発達とそれらの結果の予測に重要である。
高多重組織イメージング(HMTI)技術は、様々なタンパク質の発現を測定し、それらを別の画像チャネルに格納することで、組織サンプルの細胞特性をキャプチャするツールを提供する。
HMTI技術は、iTME、特にiTMEが、異なる患者結果グループ(例えば、治療応答者対非対応者)に対してどのように異なるかを知るのに利用できる。
異なる患者結果群のiTMEの系統的差異を理解することは、より良い治療を開発し、既存の治療をパーソナライズするために重要である。
しかしながら、このような分析は、2つの組織サンプルが結果とは無関係な多数の要因によって異なるという事実によって本質的に制限されている。
本稿では,創発的逆境ネットワーク(gans)を用いて,元の組織サンプルと可能な限り近い距離で類似した,異なる患者結果群の特性を捉えた人工的偽組織サンプルを作成する,機械学習フレームワークであるcf-histoganを提案する。
具体的には、ある患者グループからHMTIサンプルを「翻訳」し、人工的なペア化サンプルを作成することを学ぶ。
このアプローチは,個々の組織サンプルのイトメに対する異なる患者結果の影響を直接研究できることを示す。
CF-HistoGANは画素レベルのiTME効果を理解するための爆発的ツールとして利用できることを示す。
また,従来の方法に比べて感度が高い患者群間で異なるタンパク質の発現の統計的に有意な差を同定できることを示した。 Understanding the interactions of different cell types inside the immune tumor microenvironment (iTME) is crucial for the development of immunotherapy treatments as well as for predicting their outcomes. Highly multiplexed tissue imaging (HMTI) technologies offer a tool which can capture cell properties of tissue samples by measuring expression of various proteins and storing them in separate image channels. HMTI technologies can be used to gain insights into the iTME and in particular how the iTME differs for different patient outcome groups of interest (e.g., treatment responders vs. non-responders). Understanding the systematic differences in the iTME of different patient outcome groups is crucial for developing better treatments and personalising existing treatments. However, such analyses are inherently limited by the fact that any two tissue samples vary due to a large number of factors unrelated to the outcome. Here, we present CF-HistoGAN, a machine learning framework that employs generative adversarial networks (GANs) to create artificial counterfactual tissue samples that resemble the original tissue samples as closely as possible but capture the characteristics of a different patient outcome group. Specifically, we learn to "translate" HMTI samples from one patient group to create artificial paired samples. We show that this approach allows to directly study the effects of different patient outcomes on the iTMEs of individual tissue samples. We demonstrate that CF-HistoGAN can be employed as an explorative tool for understanding iTME effects on the pixel level. Moreover, we show that our method can be used to identify statistically significant differences in the expression of different proteins between patient groups with greater sensitivity compared to conventional approaches. | 翻訳日:2023-02-08 18:12:32 公開日:2023-02-06 |
| # ラベル比率から簡単に学ぶ Easy Learning from Label Proportions ( http://arxiv.org/abs/2302.03115v1 ) ライセンス: Link先を確認 | Robert Istvan Busa-Fekete, Heejin Choi, Travis Dick, Claudio Gentile, Andres Munoz medina | (参考訳) ラベル比率(llp)から学習する問題は,インスタンスを"バッグ"にグループ化し,各バッグのクラスラベルの頻度のみを利用可能とする,弱い教師付き分類設定である。
しかし、学習者の目標は、個々のインスタンスレベルで低いタスク損失を達成することである。
本稿では,任意の損失関数を演算するアグリゲーションラベルに基づく,フレキシブルで簡単なデバイアス処理手法であるEasyllpを提案する。
この手法により、任意のモデルの期待損失を個々のレベルで正確に推定することができる。
経験的リスク最小化(erm)や確率的勾配降下(sgd)といった一般的な学習フレームワークに適用することで、このアプローチの柔軟性を示し、インスタンスレベルのパフォーマンスを保証します。
より具体的には,ERMとSGDの両方のセットアップにおいて,LLP学習の質を,フルインスペクションと比較してk(kはバッグサイズ)の要素でのみ劣化させる分散低減技術を示す。
最後に,アルゴリズムの単純さにもかかわらず,従来のLPP手法と同等以上の性能を示す複数のデータセットに対する理論的結果を検証した。 We consider the problem of Learning from Label Proportions (LLP), a weakly supervised classification setup where instances are grouped into "bags", and only the frequency of class labels at each bag is available. Albeit, the objective of the learner is to achieve low task loss at an individual instance level. Here we propose Easyllp: a flexible and simple-to-implement debiasing approach based on aggregate labels, which operates on arbitrary loss functions. Our technique allows us to accurately estimate the expected loss of an arbitrary model at an individual level. We showcase the flexibility of our approach by applying it to popular learning frameworks, like Empirical Risk Minimization (ERM) and Stochastic Gradient Descent (SGD) with provable guarantees on instance level performance. More concretely, we exhibit a variance reduction technique that makes the quality of LLP learning deteriorate only by a factor of k (k being bag size) in both ERM and SGD setups, as compared to full supervision. Finally, we validate our theoretical results on multiple datasets demonstrating our algorithm performs as well or better than previous LLP approaches in spite of its simplicity. | 翻訳日:2023-02-08 18:12:05 公開日:2023-02-06 |
| # cadモデルからソフトポイントクラウドラベルへ:安価な教師付き3dセマンティックセグメンテーションのための自動アノテーションパイプライン From CAD models to soft point cloud labels: An automatic annotation pipeline for cheaply supervised 3D semantic segmentation ( http://arxiv.org/abs/2302.03114v1 ) ライセンス: Link先を確認 | Galadrielle Humblot-Renaux, Simon Buus Jensen, Andreas M{\o}gelmose | (参考訳) そこで本研究では,CADモデルのセットを入力として生の3Dポイントクラウドを完全自動アノテーション方式を提案し,ポイントクラウドセグメンテーションのための安価なトレーニングデータとして使用できる説得力のあるポイントワイドラベルを出力する。
手動アノテーションと比較して,アノテーション時間を大幅に削減しつつ,自動ラベルが正確であること,手作業による介入やデータセット固有のパラメータの必要性をなくすこと,などが分かる。
我々のラベル付けパイプラインは、セマンティッククラスとソフトポイントのオブジェクトスコアを出力し、標準の1ホットコードラベルにバイナライズし、未ラベルの曖昧な点を持つ弱いラベルに閾値付けするか、トレーニング中にソフトラベルとして直接使用することができる。
本研究では,実産業用点雲のデータセットと屋内シーンの公開データセットであるScan2CADを用いて,PointNet++のラベル品質とセグメンテーション性能を評価する。
提案手法は,各点に難解な「最良の推測」ラベルを割り当てる従来の手法に比べて,自動ラベル付けが難しい領域における監督の削減が有益であることを示す。 We propose a fully automatic annotation scheme which takes a raw 3D point cloud with a set of fitted CAD models as input, and outputs convincing point-wise labels which can be used as cheap training data for point cloud segmentation. Compared to manual annotations, we show that our automatic labels are accurate while drastically reducing the annotation time, and eliminating the need for manual intervention or dataset-specific parameters. Our labeling pipeline outputs semantic classes and soft point-wise object scores which can either be binarized into standard one-hot-encoded labels, thresholded into weak labels with ambiguous points left unlabeled, or used directly as soft labels during training. We evaluate the label quality and segmentation performance of PointNet++ on a dataset of real industrial point clouds and Scan2CAD, a public dataset of indoor scenes. Our results indicate that reducing supervision in areas which are more difficult to label automatically is beneficial, compared to the conventional approach of naively assigning a hard "best guess" label to every point. | 翻訳日:2023-02-08 18:11:45 公開日:2023-02-06 |
| # 周期的クライアント参加によるフェデレーションの収束性について On the Convergence of Federated Averaging with Cyclic Client Participation ( http://arxiv.org/abs/2302.03109v1 ) ライセンス: Link先を確認 | Yae Jee Cho, Pranay Sharma, Gauri Joshi, Zheng Xu, Satyen Kale, Tong Zhang | (参考訳) フェデレーション平均化(FedAvg)とその変種は、フェデレーション学習(FL)における最も一般的な最適化アルゴリズムである。
以前のFedAvgの収束分析では、クライアントの全参加を前提とするか、クライアントを一様にサンプリングできる部分的なクライアント参加を前提としています。
しかしながら、実用的なクロスデバイスflシステムでは、バッテリステータス、ネットワーク接続性、(プライバシを確保するために)最大参加頻度要件などのローカル基準を満たすクライアントのサブセットのみが、所定の時間にトレーニングに利用できる。
その結果、クライアントの可用性は自然な循環パターンに従う。
当社の知識では、循環型クライアントとgd、sgd、shuffled sgdのような複数の異なるクライアントオプティマイザによるfedavgの収束を分析する最初の理論的枠組みを提供します。
本分析により, クライアントの循環参加は, 適切な条件下での均一なクライアント参加により, バニラFedAvgよりも早く漸近収束率を達成できることがわかった。 Federated Averaging (FedAvg) and its variants are the most popular optimization algorithms in federated learning (FL). Previous convergence analyses of FedAvg either assume full client participation or partial client participation where the clients can be uniformly sampled. However, in practical cross-device FL systems, only a subset of clients that satisfy local criteria such as battery status, network connectivity, and maximum participation frequency requirements (to ensure privacy) are available for training at a given time. As a result, client availability follows a natural cyclic pattern. We provide (to our knowledge) the first theoretical framework to analyze the convergence of FedAvg with cyclic client participation with several different client optimizers such as GD, SGD, and shuffled SGD. Our analysis discovers that cyclic client participation can achieve a faster asymptotic convergence rate than vanilla FedAvg with uniform client participation under suitable conditions, providing valuable insights into the design of client sampling protocols. | 翻訳日:2023-02-08 18:11:23 公開日:2023-02-06 |
| # 航空衛星画像における新しい建物検出と位置情報収集 Novel Building Detection and Location Intelligence Collection in Aerial Satellite Imagery ( http://arxiv.org/abs/2302.03156v1 ) ライセンス: Link先を確認 | Sandeep Singh, Christian Wiles, Ahmed Bilal | (参考訳) 空撮画像における建物構造の検出と情報化は、都市計画・管理・土地利用分析にとって重要な解決策である。
地震時の避難ルートの計画、洪水管理など、重要な問題に答える中心となる部分である。
これらのアプリケーションは、最新の情報を正確に取得できることに依存している。
特定の緯度経度値を中心とする境界ボックス内の建物を正確に検出できることは、大いに役立つ。
重要な課題は、商業、工業、小屋の居住地、高層ビルなどの建物を検知できるようにすることである。
このような建物を検出できれば、同様の種類の建物をクラスタ化し、分類することが目標になります。 Building structures detection and information about these buildings in aerial images is an important solution for city planning and management, land use analysis. It can be the center piece to answer important questions such as planning evacuation routes in case of an earthquake, flood management, etc. These applications rely on being able to accurately retrieve up-to-date information. Being able to accurately detect buildings in a bounding box centered on a specific latitude-longitude value can help greatly. The key challenge is to be able to detect buildings which can be commercial, industrial, hut settlements, or skyscrapers. Once we are able to detect such buildings, our goal will be to cluster and categorize similar types of buildings together. | 翻訳日:2023-02-08 18:04:46 公開日:2023-02-06 |
| # 公正な最小表現クラスタリング Fair Minimum Representation Clustering ( http://arxiv.org/abs/2302.03151v1 ) ライセンス: Link先を確認 | Connor Lawless, Oktay Gunluk | (参考訳) クラスタリングは、データをクラスタの集合に分割することを目的とした教師なしの学習タスクである。
多くの応用において、これらのクラスターは、最小の表現レベル(例えば、望ましい候補を選ぶために50\%)に達するとグループによってのみ得られる実世界の構成(例えば、選挙区)に対応している。
本稿では、グループ(例えば人口統計群)が指定されたクラスタ数の最小表現レベルを持つことを保証しながら、k平均クラスタリングを行うことの問題点を考察する。
人気の$k$-meansアルゴリズムであるロイドのアルゴリズムは、あるグループが比例数で最小のしきい値を超える十分な表現を欠くような不公平な結果をもたらす可能性がある。
混合整数最適化フレームワークを用いて問題を定式化し、フェアネス制約を直接組み込んだLloydのアルゴリズムであるMiniReLを提案する。
公平性基準を組み込むことで、LydのアルゴリズムにNP-Hardのサブプロブレムが生じることを示すが、大きなデータセットでも問題を引き出すことができる計算手法を提案する。
数値的な結果は、標準的なベンチマークデータセット間でk平均クラスタリングコストを実質的に増加させることなく、より公平なクラスタを作成することができることを示している。 Clustering is an unsupervised learning task that aims to partition data into a set of clusters. In many applications, these clusters correspond to real-world constructs (e.g. electoral districts) whose benefit can only be attained by groups when they reach a minimum level of representation (e.g. 50\% to elect their desired candidate). This paper considers the problem of performing k-means clustering while ensuring groups (e.g. demographic groups) have that minimum level of representation in a specified number of clusters. We show that the popular $k$-means algorithm, Lloyd's algorithm, can result in unfair outcomes where certain groups lack sufficient representation past the minimum threshold in a proportional number of clusters. We formulate the problem through a mixed-integer optimization framework and present a variant of Lloyd's algorithm, called MiniReL, that directly incorporates the fairness constraints. We show that incorporating the fairness criteria leads to a NP-Hard sub-problem within Lloyd's algorithm, but we provide computational approaches that make the problem tractable for even large datasets. Numerical results show that the approach is able to create fairer clusters with practically no increase in the k-means clustering cost across standard benchmark datasets. | 翻訳日:2023-02-08 18:04:38 公開日:2023-02-06 |
| # 時間に関すること:時系列分割による地震検出ベンチマークの再検討 It's about Time: Rethinking Evaluation on Rumor Detection Benchmarks using Chronological Splits ( http://arxiv.org/abs/2302.03147v1 ) ライセンス: Link先を確認 | Yida Mu and Kalina Bontcheva and Nikolaos Aletras | (参考訳) ソーシャルメディアにおける噂の話題に時間とともに新たなイベントが現れる。
現在のうわさ検出ベンチマークでは、ランダムスプリットをトレーニング、開発、テストセットとして使用する。
したがって、ランダムスプリットでトレーニングされたモデルは、時間的概念のドリフトのため、以前の未知の話題に関する噂の分類ではうまく機能しない。
本稿では,ランダムスプリットではなく時系列を考慮した4つの一般的なうわさ検出ベンチマークにおける分類モデルの再評価を行う。
実験の結果,ランダムスプリットを用いることで,すべてのデータセットやモデルに対して予測性能を大幅に過大評価できることがわかった。
したがって,話題の重なりを最小化するために,常に時系列分割を用いてうわさ検出モデルを評価するべきである。 New events emerge over time influencing the topics of rumors in social media. Current rumor detection benchmarks use random splits as training, development and test sets which typically results in topical overlaps. Consequently, models trained on random splits may not perform well on rumor classification on previously unseen topics due to the temporal concept drift. In this paper, we provide a re-evaluation of classification models on four popular rumor detection benchmarks considering chronological instead of random splits. Our experimental results show that the use of random splits can significantly overestimate predictive performance across all datasets and models. Therefore, we suggest that rumor detection models should always be evaluated using chronological splits for minimizing topical overlaps. | 翻訳日:2023-02-08 18:04:15 公開日:2023-02-06 |
| # ニューラルネットワークを用いた単語問題解法の改良手法 Techniques to Improve Neural Math Word Problem Solvers ( http://arxiv.org/abs/2302.03145v1 ) ライセンス: Link先を確認 | Youyuan Zhang | (参考訳) 数学語問題の自動解法(MWP)の開発は、自然言語に対する理解と数学的推論の能力を必要とする課題である。
最近のニューラルベースアプローチは、主に言語モデルを用いて問題テキストをエンコードし、量や演算子を反復的に数学的表現をデコードする。
MWPの問題点テキストは、文脈部分と質問部分から構成されており、最近の研究では、これらのニューラルソルバは、文脈テキストと黄金表現との浅いパターンマッチングのみを行うことができ、質問テキストがあまり使われていない。
一方、既存の復号化プロセスは、数学的等価表現の表現が異なる設計に数学的法則を強制することができない。
これら2つの問題に対処するために,質問文を完全に活用し,段階的可換法則を保存するエンコーダ・デコーダアーキテクチャを提案する。
エンコーダは量埋め込みを生成するだけでなく、質問文をさらにエンコードし、復号処理のガイドに使用します。
各ステップにおいて、デコーダはDeep Setsを使用して表現表現を計算し、これらの埋め込みは任意の量の置換の下で不変である。
4つの確立されたベンチマーク実験により、我々のフレームワークは最先端のニューラルMWPソルバよりも優れており、我々の手法の有効性を示している。
また,提案手法の限界を示すために,結果の詳細な分析を行い,今後の課題についてさらに議論する。
コードはhttps://github.com/sophistz/question-aware-deductive-mwpで入手できる。 Developing automatic Math Word Problem (MWP) solvers is a challenging task that demands the ability of understanding and mathematical reasoning over the natural language. Recent neural-based approaches mainly encode the problem text using a language model and decode a mathematical expression over quantities and operators iteratively. Note the problem text of a MWP consists of a context part and a question part, a recent work finds these neural solvers may only perform shallow pattern matching between the context text and the golden expression, where question text is not well used. Meanwhile, existing decoding processes fail to enforce the mathematical laws into the design, where the representations for mathematical equivalent expressions are different. To address these two issues, we propose a new encoder-decoder architecture that fully leverages the question text and preserves step-wise commutative law. Besides generating quantity embeddings, our encoder further encodes the question text and uses it to guide the decoding process. At each step, our decoder uses Deep Sets to compute expression representations so that these embeddings are invariant under any permutation of quantities. Experiments on four established benchmarks demonstrate that our framework outperforms state-of-the-art neural MWP solvers, showing the effectiveness of our techniques. We also conduct a detailed analysis of the results to show the limitations of our approach and further discuss the potential future work. Code is available at https://github.com/sophistz/Question-Aware-Deductive-MWP. | 翻訳日:2023-02-08 18:04:04 公開日:2023-02-06 |
| # ClueGAIN:Transfer LearningのGAIN(Generative Adversarial Imputation Nets)への応用 ClueGAIN: Application of Transfer Learning On Generative Adversarial Imputation Nets (GAIN) ( http://arxiv.org/abs/2302.03140v1 ) ライセンス: Link先を確認 | Simiao Zhao | (参考訳) 多くの研究が様々な手法でデータの欠落を解決しようと試みている。
このうち、GAIN(Generative Adversarial Imputation Nets)は、まずGAN(Generative Adversarial Nets)を用いてデータをインプットするために使われ、良好な結果を得た。
その後の研究は、いくつかの制限に対処するために様々なアプローチを組み合わせることを試みた。
本研究では,高欠落率データセットのインプテーション性能の低下問題を解決するために,ゲインに転送学習を導入することを提案する。
ClueGAINは、データセット間の類似度を測定し、潜在的な接続を探索するためにも使用できる。 Many studies have attempted to solve the problem of missing data using various approaches. Among them, Generative Adversarial Imputation Nets (GAIN) was first used to impute data with Generative Adversarial Nets (GAN) and good results were obtained. Subsequent studies have attempted to combine various approaches to address some of its limitations. ClueGAIN is first proposed in this study, which introduces transfer learning into GAIN to solve the problem of poor imputation performance in high missing rate data sets. ClueGAIN can also be used to measure the similarity between data sets to explore their potential connections. | 翻訳日:2023-02-08 18:03:37 公開日:2023-02-06 |
| # 非自明な局所絡み合い変換を持つ多成分状態の族同定 Identifying families of multipartite states with non-trivial local entanglement transformations ( http://arxiv.org/abs/2302.03139v1 ) ライセンス: Link先を確認 | Nicky Kai Hong Li, Cornelia Spee, Martin Hebenstreit, Julio I. de Vicente and Barbara Kraus | (参考訳) 古典的コミュニケーション(locc)支援による局所的操作を伴う空間的分離パーティによる状態変換の研究は、絡み合い理論とその量子情報処理への応用において重要な役割を担っている。
このタイプの純粋な二分項状態間の変換は、昔から特徴付けられており、明らかな理論構造を持つが、汎用的な完全に絡み合った純粋な多分項状態は、LOCCの下での任意の非等価な完全絡み合い状態から得られない。
この性質を持つ国家は孤立状態と呼ばれる。
それでも、上記の結果は分離のない特定のSLOCCクラスの存在を禁止せず、LOCC変換性に関する豊富な構造を示す。
実際、祝われる$n$-qubit ghz と w の状態は、そのようなクラスの特定の例を示しており、本研究では、一般にこの問題を調査する。
我々の主な成果の1つは、三重項完全非対称状態のSLOCCクラスも孤立しないことを示すことである。
実際、このクラスの全ての状態は、(GHZ や W の場合のように)古典的な通信の1ラウンドしか持たないLOCCプロトコルによって、同値な状態に変換できる。
したがって、この性質を持つ他のクラスが存在するかどうかを次に検討し、多くの負の答えを見つける。
実際、非常に一般的なクラスに対して弱孤立性(すなわち、有限円LOCCで得られず、一円LOCCで変換されない状態)を証明し、コンパクトな安定化器を持つすべてのSLOCC族と、$n$-qunit に対応するクラスのような非コンパクトな安定化器を持つ多くのSLOCC族を含む。
最後に、三重項完全非対称状態に対応する族で見られる快適な特徴を考慮し、LOCCによって引き起こされる構造と、このクラス内の絡み合い特性についてより詳細に検討する。 The study of state transformations by spatially separated parties with local operations assisted by classical communication (LOCC) plays a crucial role in entanglement theory and its applications in quantum information processing. While transformations of this type among pure bipartite states were characterized long ago and have a revealing theoretical structure, it turns out that generic fully entangled pure multipartite states cannot be obtained from nor transformed to any inequivalent fully entangled state under LOCC. States with this property are referred to as isolated. Nevertheless, the above result does not forbid the existence of particular SLOCC classes that are free of isolation and therefore display a rich structure regarding LOCC convertibility. In fact, it is known that the celebrated $n$-qubit GHZ and W states give particular examples of such classes and in this work, we investigate this question in general. One of our main results is to show that the SLOCC class of the 3-qutrit totally antisymmetric state is isolation-free as well. Actually, all states in this class can be converted to inequivalent states by LOCC protocols with just one round of classical communication (as in the GHZ and W cases). Thus, we consider next whether there are other classes with this property and we find a large set of negative answers. Indeed, we prove weak isolation (i.e., states that cannot be obtained with finite-round LOCC nor transformed by one-round LOCC) for very general classes, including all SLOCC families with compact stabilizers and many with non-compact stabilizers, such as the classes corresponding to the $n$-qunit totally antisymmetric states for $n\geq4$. Finally, given the pleasant feature found in the family corresponding to the 3-qutrit totally antisymmetric state, we explore in more detail the structure induced by LOCC and the entanglement properties within this class. | 翻訳日:2023-02-08 18:03:25 公開日:2023-02-06 |
| # 慢性閉塞性肺疾患の発症予測とその危険因子分析 Predicting Development of Chronic Obstructive Pulmonary Disease and its Risk Factor Analysis ( http://arxiv.org/abs/2302.03137v1 ) ライセンス: Link先を確認 | Soojin Lee, Ingu Sean Lee, Samuel Kim | (参考訳) 慢性閉塞性肺疾患 (COPD) は, 社会的負担の高い非可逆性気道閉塞である。
喫煙は最大のリスク要因として知られているが、追加の要素を考慮する必要がある。
本研究では, 社会疫学, 臨床, 遺伝的データを統合した機械学習モデルを用いて, copd 開発を予測することで, copd のリスク因子を同定することを目的とした。 Chronic Obstructive Pulmonary Disease (COPD) is an irreversible airway obstruction with a high societal burden. Although smoking is known to be the biggest risk factor, additional components need to be considered. In this study, we aim to identify COPD risk factors by applying machine learning models that integrate sociodemographic, clinical, and genetic data to predict COPD development. | 翻訳日:2023-02-08 18:02:50 公開日:2023-02-06 |
| # 角距離に基づく高次元DBSCANのための学習加速器フレームワーク Learned Accelerator Framework for Angular-Distance-Based High-Dimensional DBSCAN ( http://arxiv.org/abs/2302.03136v1 ) ライセンス: Link先を確認 | Yifan Wang and Daisy Zhe Wang | (参考訳) 密度ベースのクラスタリングは、データサイエンスで一般的に使われるツールである。
今日、多くのデータサイエンス研究が高次元の神経埋め込みを利用している。
しかし、DBSCANのような従来の密度に基づくクラスタリング技術は、高次元データで性能が劣化している。
本稿では,従来のDBSCANとサンプリングに基づくDBSCANの変種を,角距離距離の高次元データ上で高速化する汎用学習アクセラレータフレームワークであるLAFを提案する。
このフレームワークは学習された濃度推定器と後処理モジュールで構成される。
基数推定器は、データポイントがコアであるか否かを迅速に予測でき、後処理モジュールは偽陰性予測を検出し、誤分離されたクラスタをマージする。
評価の結果, LAF強化DBSCAN法は, 効率と品質の両面で, 最先端のDBSCAN法よりも優れていた。 Density-based clustering is a commonly used tool in data science. Today many data science works are utilizing high-dimensional neural embeddings. However, traditional density-based clustering techniques like DBSCAN have a degraded performance on high-dimensional data. In this paper, we propose LAF, a generic learned accelerator framework to speed up the original DBSCAN and the sampling-based variants of DBSCAN on high-dimensional data with angular distance metric. This framework consists of a learned cardinality estimator and a post-processing module. The cardinality estimator can fast predict whether a data point is core or not to skip unnecessary range queries, while the post-processing module detects the false negative predictions and merges the falsely separated clusters. The evaluation shows our LAF-enhanced DBSCAN method outperforms the state-of-the-art efficient DBSCAN variants on both efficiency and quality. | 翻訳日:2023-02-08 18:02:43 公開日:2023-02-06 |
| # 特徴とラベルシフトを考慮した時系列の領域適応 Domain Adaptation for Time Series Under Feature and Label Shifts ( http://arxiv.org/abs/2302.03133v1 ) ライセンス: Link先を確認 | Huan He, Owen Queen, Teddy Koker, Consuelo Cuevas, Theodoros Tsiligkaridis, Marinka Zitnik | (参考訳) ソースドメイン内のラベル付きデータセットに基づいてトレーニングされたモデルのラベルなしターゲットドメインへの転送は、教師なしドメイン適応(UDA)によって可能となる。
しかし、複雑な時系列モデルを扱う場合、ドメインごとに変化する動的時間構造のために転送性が難しくなり、時間と周波数の表現における特徴シフトとギャップが生じる。
さらに、ソースドメインとターゲットドメインのタスクは、大きく異なるラベル分布を持つため、udaがラベルシフトを緩和し、ターゲットドメインにのみ存在するラベルを認識することが困難になる。
本稿では,複素時系列上での閉集合と普遍DAの両方に対する最初のモデルであるRAINCOATを提案する。
RAINCOATは、時間的特徴と周波数的特徴の両方を考慮し、それらをドメイン間で整列させ、プライベートラベルの検出を容易にするために修正する、特徴とラベルのシフトに対処する。
ターゲットドメインのラベルシフトを識別することで転送性も向上する。
5つのデータセットと13の最先端UDA手法による実験により、RAINCOATは最大16.33%の性能向上を実現でき、クローズドセットとユニバーサル適応の両方を効果的に処理できることを示した。 The transfer of models trained on labeled datasets in a source domain to unlabeled target domains is made possible by unsupervised domain adaptation (UDA). However, when dealing with complex time series models, the transferability becomes challenging due to the dynamic temporal structure that varies between domains, resulting in feature shifts and gaps in the time and frequency representations. Furthermore, tasks in the source and target domains can have vastly different label distributions, making it difficult for UDA to mitigate label shifts and recognize labels that only exist in the target domain. We present RAINCOAT, the first model for both closed-set and universal DA on complex time series. RAINCOAT addresses feature and label shifts by considering both temporal and frequency features, aligning them across domains, and correcting for misalignments to facilitate the detection of private labels. Additionally,RAINCOAT improves transferability by identifying label shifts in target domains. Our experiments with 5 datasets and 13 state-of-the-art UDA methods demonstrate that RAINCOAT can achieve an improvement in performance of up to 16.33%, and can effectively handle both closed-set and universal adaptation. | 翻訳日:2023-02-08 18:02:30 公開日:2023-02-06 |
| # 時系列の持続性景観によるニューラルネットワークにおける重要度帰属 Importance attribution in neural networks by means of persistence landscapes of time series ( http://arxiv.org/abs/2302.03132v1 ) ライセンス: Link先を確認 | Aina Ferr\`a, Carles Casacuberta, Oriol Pujol | (参考訳) トポロジカルデータ解析により得られた領域正規化された永続景観の行列を用いて,ニューラルネットワークを用いた時系列解析手法を提案し,実装する。
ネットワークアーキテクチャにゲーティング層を組み、分類タスクにおいて最も関連性の高いランドスケープレベルを識別し、重要な属性システムとして機能する。
次に、選択されたランドスケープ関数と、元の時系列の対応する臨界点とのマッチングを行う。
このマッチングから,分類決定に対する洞察を与える時系列の近似形状を再構築することができる。
心電図信号のデータセットからの入力データを用いてこの手法をテストする。 We propose and implement a method to analyze time series with a neural network using a matrix of area-normalized persistence landscapes obtained through topological data analysis. We include a gating layer in the network's architecture that is able to identify the most relevant landscape levels for the classification task, thus working as an importance attribution system. Next, we perform a matching between the selected landscape functions and the corresponding critical points of the original time series. From this matching we are able to reconstruct an approximate shape of the time series that gives insight into the classification decision. We test this technique with input data from a dataset of electrocardiographic signals. | 翻訳日:2023-02-08 18:02:08 公開日:2023-02-06 |
| # 重要再サンプリングによる言語モデルのデータ選択 Data Selection for Language Models via Importance Resampling ( http://arxiv.org/abs/2302.03169v1 ) ライセンス: Link先を確認 | Sang Michael Xie, Shibani Santurkar, Tengyu Ma, Percy Liang | (参考訳) 適切なトレーニングデータセットを選択することは、一般ドメイン(gpt-3など)とドメイン固有言語モデル(例えば、コードx)の両方に不可欠である。
我々は、このデータ選択問題を、ラベルなしのターゲットサンプルを与えられた場合に、所望のターゲット分布にマッチする大きな生のラベルなしデータセットのサブセットを選択することで定式化する。
テキストデータの大規模化と次元性のため、既存の手法では単純なヒューリスティックを使って、高品質な参照コーパス(例えばウィキペディア)に似たデータを選択するか、専門家を利用してデータを手作業でキュレートする。
代わりに、lmデータ選択に低次元で使用される古典的な重要度再サンプリングアプローチを拡張します。
重要なことに、私たちはテキストの空間上で重み付けを重要視するために、機能領域の縮小に取り組んでいる。
適切な特徴空間を決定するために、まず、選択したデータと特徴空間のターゲットとの近接度を測定するデータ計量であるKL還元が、単純なn-gram特徴量で計算した場合の8つの下流タスク(r=0.89)の平均精度と高い相関を持つことを示す。
この結果から,データ選択と重要度再サンプリング(DSIR)を提案する。このアルゴリズムは,特徴空間の重み付け(即時化におけるn-gramの特徴など)を推定し,重み付けによる重要度再サンプリングデータを選択する。
汎用ドメインモデルをトレーニングする場合(ターゲットはWikipedia+書籍)、DSIRはGLUEベンチマークでランダム選択とヒューリスティックフィルタリングベースラインを2～2.5%改善する。
特定の領域に向けて事前トレーニングを継続する場合、DSIRは8つのターゲットディストリビューションにわたる専門家のキュレートされたデータに対して可視的に実行する。 Selecting a suitable training dataset is crucial for both general-domain (e.g., GPT-3) and domain-specific (e.g., Codex) language models (LMs). We formalize this data selection problem as selecting a subset of a large raw unlabeled dataset to match a desired target distribution, given some unlabeled target samples. Due to the large scale and dimensionality of the raw text data, existing methods use simple heuristics to select data that are similar to a high-quality reference corpus (e.g., Wikipedia), or leverage experts to manually curate data. Instead, we extend the classic importance resampling approach used in low-dimensions for LM data selection. Crucially, we work in a reduced feature space to make importance weight estimation tractable over the space of text. To determine an appropriate feature space, we first show that KL reduction, a data metric that measures the proximity between selected data and the target in a feature space, has high correlation with average accuracy on 8 downstream tasks (r=0.89) when computed with simple n-gram features. From this observation, we present Data Selection with Importance Resampling (DSIR), an efficient and scalable algorithm that estimates importance weights in a reduced feature space (e.g., n-gram features in our instantiation) and selects data with importance resampling according to these weights. When training general-domain models (target is Wikipedia + books), DSIR improves over random selection and heuristic filtering baselines by 2--2.5% on the GLUE benchmark. When performing continued pretraining towards a specific domain, DSIR performs comparably to expert curated data across 8 target distributions. | 翻訳日:2023-02-08 17:54:28 公開日:2023-02-06 |
| # 可視的透かしによる言語生成モデル保護 Protecting Language Generation Models via Invisible Watermarking ( http://arxiv.org/abs/2302.03162v1 ) ライセンス: Link先を確認 | Xuandong Zhao, Yu-Xiang Wang, Lei Li | (参考訳) 言語生成モデルは、多くのアプリケーションでますます強力になっている。
このようなモデルの多くは、無料または安価なapiアクセスを提供しており、蒸留によるモデル抽出攻撃に対して潜在的に脆弱である。
知的財産権(IP)を保護し,これらのモデルを公平に活用するために,語彙的透かしや同義語置換など様々な手法が提案されている。
しかし、これらの手法は「synonym randomization」のような明らかな対策によって無効化することができる。
そこで本研究では, 蒸留によりテキスト生成モデルが盗まれないようにする新しい手法であるGINSEWを提案する。
提案手法の重要な考え方は,各ターゲットトークンの復号ステップの確率ベクトルに秘密信号を注入することである。
次に、保護されたメッセージから蒸留されているかどうかを疑似モデルで調べることで、シークレットメッセージを検出できる。
GINSEWは,保護されたAPIの生成品質に最小限の影響を伴って,IP侵害の事例を効果的に識別できることを示す。
本手法は,従来のウォーターマーク除去攻撃法と比較して,平均精度 (map) で19点から29点の絶対的改善を示す。 Language generation models have been an increasingly powerful enabler for many applications. Many such models offer free or affordable API access, which makes them potentially vulnerable to model extraction attacks through distillation. To protect intellectual property (IP) and ensure fair use of these models, various techniques such as lexical watermarking and synonym replacement have been proposed. However, these methods can be nullified by obvious countermeasures such as "synonym randomization". To address this issue, we propose GINSEW, a novel method to protect text generation models from being stolen through distillation. The key idea of our method is to inject secret signals into the probability vector of the decoding steps for each target token. We can then detect the secret message by probing a suspect model to tell if it is distilled from the protected one. Experimental results show that GINSEW can effectively identify instances of IP infringement with minimal impact on the generation quality of protected APIs. Our method demonstrates an absolute improvement of 19 to 29 points on mean average precision (mAP) in detecting suspects compared to previous methods against watermark removal attacks. | 翻訳日:2023-02-08 17:53:56 公開日:2023-02-06 |
| # パラレル勾配評価を用いた複数パラメータの最適化 Optimization using Parallel Gradient Evaluations on Multiple Parameters ( http://arxiv.org/abs/2302.03161v1 ) ライセンス: Link先を確認 | Yash Chandak, Shiv Shankar, Venkata Gandikota, Philip S. Thomas, Arya Mazumdar | (参考訳) 本稿では,1つのパラメータから勾配に制限される代わりに,勾配降下の各ステップで複数のパラメータからの勾配を利用できる凸最適化法を提案する。
この設定は、最適化のために並列に使用できるいくつかのプロセッサが利用できる場合に特に有用である。
本手法では,複数のパラメータからの勾配を用いて,これらのパラメータを最適方向に更新する。
そうしている間、計算量とメモリの複雑さは勾配降下のそれと同じ順序であることが保証される。
実験の結果, \textit{two} パラメータの勾配を用いた場合であっても,この手法は大きな加速度を与え,ハイパーパラメータの設定に頑健性を与える。
この研究の主な目標は理論的なものではなく、最適化の各ステップで複数の勾配を使用するという未熟なケースを探求することにある。 We propose a first-order method for convex optimization, where instead of being restricted to the gradient from a single parameter, gradients from multiple parameters can be used during each step of gradient descent. This setup is particularly useful when a few processors are available that can be used in parallel for optimization. Our method uses gradients from multiple parameters in synergy to update these parameters together towards the optima. While doing so, it is ensured that the computational and memory complexity is of the same order as that of gradient descent. Empirical results demonstrate that even using gradients from as low as \textit{two} parameters, our method can often obtain significant acceleration and provide robustness to hyper-parameter settings. We remark that the primary goal of this work is less theoretical, and is instead aimed at exploring the understudied case of using multiple gradients during each step of optimization. | 翻訳日:2023-02-08 17:53:36 公開日:2023-02-06 |
| # クラスタデータと長手データの階層的モデリングに対する分布自由混合整数最適化手法 A distribution-free mixed-integer optimization approach to hierarchical modelling of clustered and longitudinal data ( http://arxiv.org/abs/2302.03157v1 ) ライセンス: Link先を確認 | Madhav Sankaranarayanan, Intekhab Hossain | (参考訳) 我々は、クラスタ対応回帰、すなわちデータ固有のクラスタ構造を考慮した線形回帰を行うための混合整数最適化(MIO)アプローチを作成する。
直流法である線形混合効果回帰法 (LMEM) と比較し, シリコにおける予測指標と推論指標の両方の観点から, LMEMよりも優れた性能を示す設計シミュレーション実験を行った。
LMEMでは,新しいデータポイントのクラスタが未知の場合には,クラスタインフォームド予測を一般化し,クラスタインフォームド予測を行うことはできないが,新しいデータポイントのクラスタ効果を決定するための解釈可能な分類木を訓練し,この一般化可能性のパワーを実タンパク質表現データセット上で示すことによって,この問題を解決する。 We create a mixed-integer optimization (MIO) approach for doing cluster-aware regression, i.e. linear regression that takes into account the inherent clustered structure of the data. We compare to the linear mixed effects regression (LMEM) which is the most used current method, and design simulation experiments to show superior performance to LMEM in terms of both predictive and inferential metrics in silico. Furthermore, we show how our method is formulated in a very interpretable way; LMEM cannot generalize and make cluster-informed predictions when the cluster of new data points is unknown, but we solve this problem by training an interpretable classification tree that can help decide cluster effects for new data points, and demonstrate the power of this generalizability on a real protein expression dataset. | 翻訳日:2023-02-08 17:53:21 公開日:2023-02-06 |
| # ChatGPT障害の分類的アーカイブ A Categorical Archive of ChatGPT Failures ( http://arxiv.org/abs/2302.03494v1 ) ライセンス: Link先を確認 | Ali Borji | (参考訳) 大規模言語モデルは様々な分野で有用であることが示されている。
OpenAIが開発したChatGPTは、大量のデータを使って訓練され、コンテキストを理解し、適切な応答を生成することで人間の会話をシミュレートしている。
幅広い質問に効果的に答える能力が、セキュリティと有用性の両方において、従来の公開チャットボットを上回っているため、大きな注目を集めている。
しかし、ChatGPTの失敗の包括的分析は欠落しており、この研究の焦点となっている。
推論、事実的エラー、数学、コーディング、バイアスを含む10の障害カテゴリが提示され、議論される。
ChatGPTのリスク、制限、社会的意味も強調されている。
本研究の目的は,将来の言語モデルやチャットボットの強化を支援することにある。 Large language models have been demonstrated to be valuable in different fields. ChatGPT, developed by OpenAI, has been trained using massive amounts of data and simulates human conversation by comprehending context and generating appropriate responses. It has garnered significant attention due to its ability to effectively answer a broad range of human inquiries, with fluent and comprehensive answers surpassing prior public chatbots in both security and usefulness. However, a comprehensive analysis of ChatGPT's failures is lacking, which is the focus of this study. Ten categories of failures, including reasoning, factual errors, math, coding, and bias, are presented and discussed. The risks, limitations, and societal implications of ChatGPT are also highlighted. The goal of this study is to assist researchers and developers in enhancing future language models and chatbots. | 翻訳日:2023-02-08 16:15:41 公開日:2023-02-06 |
| # APAM:雑音ラベルと長期学習のための言語モデルにおける適応的事前学習と適応的メタ学習 APAM: Adaptive Pre-training and Adaptive Meta Learning in Language Model for Noisy Labels and Long-tailed Learning ( http://arxiv.org/abs/2302.03488v1 ) ライセンス: Link先を確認 | Sunyi Chi, Bo Dong, Yiming Xu, Zhenyu Shi, Zheng Du | (参考訳) 実用的な自然言語処理(NLP)タスクは、一般的にノイズの多いラベルで長い尾を持つ。
これらの問題はディープニューラルネットワーク(DNN)のような複雑なモデルの一般化と堅牢性に挑戦する。
オーバーサンプリングやアンダーサンプリングなどの一般的な再サンプリング技術は、容易にオーバーフィッティングにつながる可能性がある。
少量のメタデータを活用することで、データ重み付けを学ぶことは人気を博している。
また,近年の研究では,自己教師あり事前学習,特に自己教師なしデータの利点が示されている。
本研究では,長尺ラベルと雑音ラベルの両方の問題に対処する一般的なフレームワークを提案する。
このモデルは、対照的な学習方法で問題領域に適応する。
再重み付けモジュールはフィードフォワードネットワークであり、明示的な重み付け関数を学び、メタデータに従って重みを調整する。
この枠組みは、クロスエントロピー損失の多項式展開と焦点損失の組み合わせにより、損失関数の項の重み付けをさらに適応させる。
提案手法がベースライン法より一貫して優れていることを示す。
最後に,当社の感度分析では,ロングテール問題に対処し,ノイズラベルの悪影響を軽減するための提案フレームワークの能力を強調した。 Practical natural language processing (NLP) tasks are commonly long-tailed with noisy labels. Those problems challenge the generalization and robustness of complex models such as Deep Neural Networks (DNNs). Some commonly used resampling techniques, such as oversampling or undersampling, could easily lead to overfitting. It is growing popular to learn the data weights leveraging a small amount of metadata. Besides, recent studies have shown the advantages of self-supervised pre-training, particularly to the under-represented data. In this work, we propose a general framework to handle the problem of both long-tail and noisy labels. The model is adapted to the domain of problems in a contrastive learning manner. The re-weighting module is a feed-forward network that learns explicit weighting functions and adapts weights according to metadata. The framework further adapts weights of terms in the loss function through a combination of the polynomial expansion of cross-entropy loss and focal loss. Our extensive experiments show that the proposed framework consistently outperforms baseline methods. Lastly, our sensitive analysis emphasizes the capability of the proposed framework to handle the long-tailed problem and mitigate the negative impact of noisy labels. | 翻訳日:2023-02-08 16:14:44 公開日:2023-02-06 |
| # PIER:Eコマースにおける順応レベルの関心に基づくエンドツーエンドのフレームワーク PIER: Permutation-Level Interest-Based End-to-End Re-ranking Framework in E-commerce ( http://arxiv.org/abs/2302.03487v1 ) ライセンス: Link先を確認 | Xiaowen Shi, Fan Yang, Ze Wang, Xiaoxu Wu, Muzhi Guan, Guogang Liao, Yongkang Wang, Xingxing Wang, Dong Wang | (参考訳) 利用者の要求に応えるため、各項目間の相互影響をモデル化し、ランキングを整理する学術・産業双方に注目が集まっている。
多くの既存手法は、初期ランキングリストを直接入力として取り込んで、適切に設計されたコンテキストワイドモデルを通じて最適な順列を生成する。
一方、全ての候補置換を評価することは、実際には許容できない計算コストをもたらす。
したがって、効率と効率性を改善するために、オンラインシステムは通常、ビームサーチのようなヒューリスティックな手法を用いて、まず適切な数の候補順列を生成し、次に評価モデルに入力して最適な順列を得る2段階アーキテクチャを使用する。
しかし、両段階の既存手法は以下の点により改善できる。
生成段階では、ヒューリスティックな手法はポイントワイズ予測スコアのみを使用し、効果的な判断を欠いている。
評価段階に関しては、既存の文脈的評価モデルはアイテムコンテキストのみを考慮し、よりきめ細かい特徴コンテキストモデリングを欠いている。
本稿では,2段階アーキテクチャを踏襲し,FPSMとOCPMという2つのモジュールを含む,PIERという新しいエンドツーエンドのフレームワークを提案する。
我々はFPSMでSimHashを適用し、ユーザの順列レベル関心度に基づいて全順列から上位K候補を効率よく選択する。
次に,OCPMにおける一方向アテンション機構を設計し,順列中のコンテキスト情報をキャプチャする。
最後に,比較学習損失を導入することで,これら2つのモジュールをエンドツーエンドでトレーニングする。
オフライン実験の結果,pierは公共および産業のデータセットのベースラインモデルよりも優れており,meituanのフードデリバリープラットフォームにpierをデプロイすることに成功している。 Re-ranking draws increased attention on both academics and industries, which rearranges the ranking list by modeling the mutual influence among items to better meet users' demands. Many existing re-ranking methods directly take the initial ranking list as input, and generate the optimal permutation through a well-designed context-wise model, which brings the evaluation-before-reranking problem. Meanwhile, evaluating all candidate permutations brings unacceptable computational costs in practice. Thus, to better balance efficiency and effectiveness, online systems usually use a two-stage architecture which uses some heuristic methods such as beam-search to generate a suitable amount of candidate permutations firstly, which are then fed into the evaluation model to get the optimal permutation. However, existing methods in both stages can be improved through the following aspects. As for generation stage, heuristic methods only use point-wise prediction scores and lack an effective judgment. As for evaluation stage, most existing context-wise evaluation models only consider the item context and lack more fine-grained feature context modeling. This paper presents a novel end-to-end re-ranking framework named PIER to tackle the above challenges which still follows the two-stage architecture and contains two mainly modules named FPSM and OCPM. We apply SimHash in FPSM to select top-K candidates from the full permutation based on user's permutation-level interest in an efficient way. Then we design a novel omnidirectional attention mechanism in OCPM to capture the context information in the permutation. Finally, we jointly train these two modules end-to-end by introducing a comparative learning loss. Offline experiment results demonstrate that PIER outperforms baseline models on both public and industrial datasets, and we have successfully deployed PIER on Meituan food delivery platform. | 翻訳日:2023-02-08 16:14:26 公開日:2023-02-06 |
| # ニューラルシミュレートアニーリングによる高性能計算クラスタにおけるトポロジー対応ジョブ割り当ての最適化 Optimization of Topology-Aware Job Allocation on a High-Performance Computing Cluster by Neural Simulated Annealing ( http://arxiv.org/abs/2302.03517v1 ) ライセンス: Link先を確認 | Zekang Lan, Yan Xu, Yingkun Huang, Dian Huang, Shengzhong Feng | (参考訳) ハイパフォーマンスコンピューティング(HPC)クラスタのジョブは、ジョブ間ネットワーク干渉による大幅なパフォーマンス低下を被る可能性がある。
トポロジ対応ジョブ割り当て問題(TJAP)は、特定のアプリケーションにノードを割り当てて、ジョブ間のネットワーク干渉を軽減する方法を決定する問題である。
本稿では,通信ホップのコストを最小化することを目的とした,ファットツリーネットワーク上のウィンドウベースTJAPについて検討する。
ウィンドウベースのスケジューリングアプローチでは、キュー内のジョブを定期的に取得し、ジョブを利用可能なノードにマップする割り当て問題を解決する。
静的連続割当戦略(SCAS)と動的連続割当戦略(DCAS)の2つの特別割当戦略が検討されている。
SCASでは0-1整数プログラミングが開発されている。
DCASでは、修復演算子を学習し、ガイド付きヒューリスティック検索に使用する、シミュレーションアルゴリズム(SA)の拡張であるニューラル・シミュレート・アルゴリズム(NSA)と呼ばれるアプローチが提案されている。
NSAの有効性は、SAとSCIPに対する計算的研究で実証されている。
数値実験の結果,本論文で提案するモデルとアルゴリズムの両方が有効であることが示された。 Jobs on high-performance computing (HPC) clusters can suffer significant performance degradation due to inter-job network interference. Topology-aware job allocation problem (TJAP) is such a problem that decides how to dedicate nodes to specific applications to mitigate inter-job network interference. In this paper, we study the window-based TJAP on a fat-tree network aiming at minimizing the cost of communication hop, a defined inter-job interference metric. The window-based approach for scheduling repeats periodically taking the jobs in the queue and solving an assignment problem that maps jobs to the available nodes. Two special allocation strategies are considered, i.e., static continuity assignment strategy (SCAS) and dynamic continuity assignment strategy (DCAS). For the SCAS, a 0-1 integer programming is developed. For the DCAS, an approach called neural simulated algorithm (NSA), which is an extension to simulated algorithm (SA) that learns a repair operator and employs them in a guided heuristic search, is proposed. The efficacy of NSA is demonstrated with a computational study against SA and SCIP. The results of numerical experiments indicate that both the model and algorithm proposed in this paper are effective. | 翻訳日:2023-02-08 16:07:13 公開日:2023-02-06 |
| # 液体状態機械の動的訓練 Dynamic Training of Liquid State Machines ( http://arxiv.org/abs/2302.03506v1 ) ライセンス: Link先を確認 | Pavithra Koralalage, Pedro Machado, Jason Smith, Isibor Kennedy Ihianle, Salisu Wada Yahaya, Andreas Oikonomou, Ahmad Lotfi | (参考訳) Spiking Neural Networks(SNN)は、人工知能ニューラルネットワーク(ANN)の分野で有望なソリューションとして登場し、人間の脳を模倣し、驚くほどのスピードと精度で複雑な情報を処理する能力によって、研究者の注目を集めた。
本研究は,snnに割り当てられる最も効果的な重量範囲を特定し,所望の出力と実出力の差を最小にすることで,snsのリカレントアーキテクチャである液体状態機械(lsms)の訓練プロセスを最適化することを目的とした。
実験結果から, スパイク測定値と重量範囲を用いることで, スパイクニューロンの所望の出力と実際の出力を効果的に最適化し, SNNの性能を向上させることができた。
結果は3つの異なる重み初期化手法を用いて検証され,最もよい結果はバラバシ・アルベルトランダムグラフ法を用いて得られた。 Spiking Neural Networks (SNNs) emerged as a promising solution in the field of Artificial Neural Networks (ANNs), attracting the attention of researchers due to their ability to mimic the human brain and process complex information with remarkable speed and accuracy. This research aimed to optimise the training process of Liquid State Machines (LSMs), a recurrent architecture of SNNs, by identifying the most effective weight range to be assigned in SNN to achieve the least difference between desired and actual output. The experimental results showed that by using spike metrics and a range of weights, the desired output and the actual output of spiking neurons could be effectively optimised, leading to improved performance of SNNs. The results were tested and confirmed using three different weight initialisation approaches, with the best results obtained using the Barabasi-Albert random graph method. | 翻訳日:2023-02-08 16:05:43 公開日:2023-02-06 |
| # 産業計算トモグラフィーによるパワーコンデンサのインテリジェント非破壊試験法 Industrial computed tomography based intelligent non-destructive testing method for power capacitor ( http://arxiv.org/abs/2302.03601v1 ) ライセンス: Link先を確認 | Zhenxing Cheng, Peng Wang, Yue Liu, Wei Qin, Zidi Tang | (参考訳) 電力コンデンサ装置(power capacitor device)は、内部故障が容易に発生し、電力システムの安全な運転に影響を及ぼす電力伝送・配電システムにおいて広く使用されるリアクティブ電力補償装置である。
本研究では,ICTを用いたインテリジェント非破壊試験(I-NDT)手法を提案する。
電源コンデンサの内部構造はICTデバイスでスキャンされ、欠陥はSSDアルゴリズムで認識される。
さらに、トレーニングされたSSDモデルの安定性と精度を向上させるために、データセットを拡張するためにデータデータ拡張アルゴリズムが使用される。 Power capacitor device is a widely used reactive power compensation equipment in power transmission and distribution system which can easily have internal fault and therefore affects the safe operation of the power system. An intelligent non-destructive testing (I-NDT) method based on ICT is proposed to test the quality of power capacitors automatically in this study. The internal structure of power capacitors would be scanned by the ICT device and then defects could be recognized by the SSD algorithm. Moreover, the data data augmentation algorithm is used to extend the image set to improve the stability and accuracy of the trained SSD model. | 翻訳日:2023-02-08 15:39:12 公開日:2023-02-06 |
| # 超伝導回路における可変結合を有する2つの水晶ゲートの実験的実現 Experimental Realization of Two Qutrits Gate with Tunable Coupling in Superconducting Circuits ( http://arxiv.org/abs/2206.11199v3 ) ライセンス: Link先を確認 | Kai Luo, Wenhui Huang, Ziyu Tao, Libo Zhang, Yuxuan Zhou, Ji Chu, Wuxin Liu, Biying Wang, Jiangyu Cui, Song Liu, Fei Yan, Man-Hong Yung, Yuanzhen Chen, Tongxing Yan, Dapeng Yu | (参考訳) ゲートベースの量子計算は量子ビットに基づく量子回路を用いて広く研究されている。
多くの場合、そのような量子ビットは実際にはマルチレベルシステムでできているが、計算目的に使用される状態は2つしかない。
そのような戦略は共通二項論理に沿うという利点があるが、ある意味ではこれらの固有多次元系のヒルベルト空間における準備可能な資源を無駄にする。
量子ビットを超えた量子計算(例: qutrits や qudits)は、特定のシナリオにおいて量子ビットよりも効率的であると論じられ、議論されてきた。
しかし、量子計算における重要な要素の1つとして、2量子量子ゲートがある。
本研究では,超伝導量子回路における高効率でスケーラブルな2量子ゲートを提案する。
2つのクトリット間のクロスカー結合を制御するために可変カプラを用いることで、単一クトリット演算でカプラに適用される単純なパルスを組み合わせることで、忠実性89.3%の2量子条件相ゲートを実現する。
さらに,この2つのクトリットゲートを用いて,95.5%の忠実度を持つ2つのクトリットのepr状態を作成する。
提案手法は,大きなオン:オフ比を持つ波長可変クトリット-クトリットカップリングを利用する。
したがって、クトリット間の高い効率性と低いクロストークの両方を提供し、スケールアップにフレンドリである。
我々の研究は、スケーラブルな量子量子計算への重要なステップを構成する。 Gate-based quantum computation has been extensively investigated using quantum circuits based on qubits. In many cases, such qubits are actually made out of multilevel systems but with only two states being used for computational purpose. While such a strategy has the advantage of being in line with the common binary logic, it in some sense wastes the ready-for-use resources in the large Hilbert space of these intrinsic multi-dimensional systems. Quantum computation beyond qubits (e.g., using qutrits or qudits) has thus been discussed and argued to be more efficient than its qubit counterpart in certain scenarios. However, one of the essential elements for qutrit-based quantum computation, two-qutrit quantum gate, remains a major challenge. In this work, we propose and demonstrate a highly efficient and scalable two-qutrit quantum gate in superconducting quantum circuits. Using a tunable coupler to control the cross-Kerr coupling between two qutrits, our scheme realizes a two-qutrit conditional phase gate with fidelity 89.3% by combining simple pulses applied to the coupler with single-qutrit operations. We further use such a two-qutrit gate to prepare an EPR state of two qutrits with a fidelity of 95.5%. Our scheme takes advantage of a tunable qutrit-qutrit coupling with a large on:off ratio. It therefore offers both high efficiency and low cross talk between qutrits, thus being friendly for scaling up. Our work constitutes an important step towards scalable qutrit-based quantum computation. | 翻訳日:2023-02-08 09:48:30 公開日:2023-02-06 |
| # ポテンシャルと密度空間における縮退の幾何学 Geometry of Degeneracy in Potential and Density Space ( http://arxiv.org/abs/2206.12366v2 ) ライセンス: Link先を確認 | Markus Penz, Robert van Leeuwen | (参考訳) 先行研究[j. chem. phys. 155, 244111 (2021)]において、グラフで表される有限格子系における密度汎関数理論からホッヘンバーグ・コーンの定理の反例を発見した。
ここで、これは非常に特異で稀な密度でのみ起こることを示し、縮退領域と呼ばれる縮退した基底状態から生じる密度集合が互いに接触したり、密度領域全体の境界に接触することを示す。
退化領域は一般に、連続体設定においても代数多様体の凸包の形状であることが示されている。
密度領域とそれらの生成するポテンシャルの間に生じる幾何学は分析され、他の形状の中でローマ表面を特徴付ける例で説明される。 In a previous work [J. Chem. Phys. 155, 244111 (2021)], we found counterexamples to the fundamental Hohenberg-Kohn theorem from density-functional theory in finite-lattice systems represented by graphs. Here, we demonstrate that this only occurs at very peculiar and rare densities, those where density sets arising from degenerate ground states, called degeneracy regions, touch each other or the boundary of the whole density domain. Degeneracy regions are shown to generally be in the shape of the convex hull of an algebraic variety, even in the continuum setting. The geometry arising between density regions and the potentials that create them is analyzed and explained with examples that, among other shapes, feature the Roman surface. | 翻訳日:2023-02-08 04:31:03 公開日:2023-02-06 |
| # 時系列分類と外因性回帰の深層学習に関する最近の調査 Deep Learning for Time Series Classification and Extrinsic Regression: A Current Survey ( http://arxiv.org/abs/2302.02515v1 ) ライセンス: Link先を確認 | Navid Mohammadi Foumani, Lynn Miller, Chang Wei Tan, Geoffrey I. Webb, Germain Forestier, Mahsa Salehi | (参考訳) 時系列分類と外部回帰は重要かつ困難な機械学習タスクである。
ディープラーニングは自然言語処理やコンピュータビジョンに革命をもたらし、関連する特徴を生データからしばしば抽象化しなければならないが、先駆者ではない時系列分析など他の分野で大きな可能性を秘めている。
本稿では,時系列分類と漸近回帰のための深層学習の高速移動分野における技術の現状について検討する。
本稿では,これらのタスクに使用する異なるネットワークアーキテクチャとトレーニング手法をレビューし,時系列データにディープラーニングを適用する際の課題と機会について議論する。
また,時系列分類と漸近回帰,人間活動認識と衛星地球観測の2つの重要な応用を要約した。 Time Series Classification and Extrinsic Regression are important and challenging machine learning tasks. Deep learning has revolutionized natural language processing and computer vision and holds great promise in other fields such as time series analysis where the relevant features must often be abstracted from the raw data but are not known a priori. This paper surveys the current state of the art in the fast-moving field of deep learning for time series classification and extrinsic regression. We review different network architectures and training methods used for these tasks and discuss the challenges and opportunities when applying deep learning to time series data. We also summarize two critical applications of time series classification and extrinsic regression, human activity recognition and satellite earth observation. | 翻訳日:2023-02-07 18:00:42 公開日:2023-02-06 |
| # 量子状態の近似再構成性とノイズ量子秘密共有スキーム Approximate reconstructability of quantum states and noisy quantum secret sharing schemes ( http://arxiv.org/abs/2302.02509v1 ) ライセンス: Link先を確認 | Yingkai Ouyang, Kaumudibikash Goswami, Jacquiline Romero, Barry C. Sanders, Min-Hsiu Hsieh and Marco Tomamichel | (参考訳) プレイヤーの非公認部分集合を制御する量子秘密および全能の敵エージェントを略して再構成できる構造(プレイヤーのサブセットの集合)をほぼ否定するように、ディーラーがプレイヤーに量子秘密を符号化して配布する形式的な暗号設定において、近似量子秘密共有を導入し、分析する。
特に, 量子秘密を符号化したマップを量子チャネルとしてプレーヤに共有すると, これらのプレーヤによる量子秘密の近似的再構成が可能となるのは, 補足量子チャネルのある種の絡み合い支援容量が, 構造や環境外のプレイヤに対して与えられる情報漏洩が小さい場合に限りである。 We introduce and analyse approximate quantum secret sharing in a formal cryptographic setting, wherein a dealer encodes and distributes a quantum secret to players such that authorized structures (sets of subsets of players) can approximately reconstruct the quantum secret and omnipotent adversarial agents controlling non-authorized subsets of players are approximately denied the quantum secret. In particular, viewing the map encoding the quantum secret to shares for players in an authorized structure as a quantum channel, we show that approximate reconstructability of the quantum secret by these players is possible if and only if the information leakage, given in terms of a certain entanglement-assisted capacity of the complementary quantum channel to the players outside the structure and the environment, is small. | 翻訳日:2023-02-07 18:00:31 公開日:2023-02-06 |
| # parot: 特徴異方性とポーズ復元によるパッチワイズ回転不変ネットワーク PaRot: Patch-Wise Rotation-Invariant Network via Feature Disentanglement and Pose Restoration ( http://arxiv.org/abs/2302.02535v1 ) ライセンス: Link先を確認 | Dingxin Zhang, Jianhui Yu, Chaoyi Zhang, Weidong Cai | (参考訳) 近年,ポイントクラウド解析への関心が高まり,3次元モデルの深層学習手法が急速に進歩している。
しかし、最先端のモデルは回転に対して堅牢ではなく、実際の応用に先立って未知のままであり、モデル性能を損なう。
本研究では, 任意の回転を持つサンプルに対して一貫した予測を行い, 特徴分散による回転不変性を実現する新しいパッチワイズ回転不変ネットワーク(PaRot)を提案する。
具体的には、回転不変性と等分散を異なるスケール(例えば、局所幾何と大域形状)で定義されたパッチから一対の回転を介して分離するシアムトレーニングモジュールを設計する。
しかし,不整形な特徴は各パッチの内在的なポーズ情報を失う。
この問題を解決するために、異なるスケールで定義されたパッチに対する等変情報を用いて相対ポーズを復元する回転不変幾何関係を提案する。
ポーズ情報を利用して,3次元形状学習のためのイントラスケールおよびイントラスケール特徴集約を実現する階層モジュールを提案する。
さらに,回転不変な相対ポーズ情報を埋め込んだポーズ認識特徴伝播プロセスを導入する。
提案する軽量モデルは,回転する3次元物体の分類と部分分割タスクにおいて,競合する結果が得られることを示す。
プロジェクトページはhttps://patchrot.github.io/。 Recent interest in point cloud analysis has led rapid progress in designing deep learning methods for 3D models. However, state-of-the-art models are not robust to rotations, which remains an unknown prior to real applications and harms the model performance. In this work, we introduce a novel Patch-wise Rotation-invariant network (PaRot), which achieves rotation invariance via feature disentanglement and produces consistent predictions for samples with arbitrary rotations. Specifically, we design a siamese training module which disentangles rotation invariance and equivariance from patches defined over different scales, e.g., the local geometry and global shape, via a pair of rotations. However, our disentangled invariant feature loses the intrinsic pose information of each patch. To solve this problem, we propose a rotation-invariant geometric relation to restore the relative pose with equivariant information for patches defined over different scales. Utilising the pose information, we propose a hierarchical module which implements intra-scale and inter-scale feature aggregation for 3D shape learning. Moreover, we introduce a pose-aware feature propagation process with the rotation-invariant relative pose information embedded. Experiments show that our disentanglement module extracts high-quality rotation-robust features and the proposed lightweight model achieves competitive results in rotated 3D object classification and part segmentation tasks. Our project page is released at: https://patchrot.github.io/. | 翻訳日:2023-02-07 17:51:47 公開日:2023-02-06 |
| # 個人化フェデレーション学習のためのクロスフュージョンルール Cross-Fusion Rule for Personalized Federated Learning ( http://arxiv.org/abs/2302.02531v1 ) ライセンス: Link先を確認 | Wangzhuo Yang, Bo Chen, Yijun Shen, Jiong Liu, Li Yu | (参考訳) データの不足と多様性は、個人化された連合学習において重要なパフォーマンス上の課題をもたらし、これらの課題は、主に既存の方法における過剰フィッティングと精度の低下に反映される。
これらの課題を克服するために,マルチレイヤーマルチフュージョン戦略フレームワークが提案されている。すなわち,サーバは情報共有計算のための融合の基本単位として,各クライアントアップロードモデルのネットワーク層パラメータを採用する。
そして、パーソナライズとジェネリックを組み合わせた新しい融合戦略を意図的に提案し、ネットワーク層機能に応じて各融合戦略のネットワーク層数融合しきい値を設計する。
このメカニズムでは、l2-ノルム負指数的類似度メトリックを用いて、クライアント毎に対応する特徴抽出層パラメータの融合重みを算出し、ヘテロジニアスデータパーソナライズドコラボレーションの効率を向上させる。
一方、ネットワーク全接続層では、フェデレートされたグローバル最適モデル近似融合戦略が採用され、この汎用融合戦略により、強制パーソナライズされたオーバーフィッティングが軽減される。
その結果,提案手法は最先端手法よりも優れていることがわかった。 Data scarcity and heterogeneity pose significant performance challenges for personalized federated learning, and these challenges are mainly reflected in overfitting and low precision in existing methods. To overcome these challenges, a multi-layer multi-fusion strategy framework is proposed in this paper, i.e., the server adopts the network layer parameters of each client upload model as the basic unit of fusion for information-sharing calculation. Then, a new fusion strategy combining personalized and generic is purposefully proposed, and the network layer number fusion threshold of each fusion strategy is designed according to the network layer function. Under this mechanism, the L2-Norm negative exponential similarity metric is employed to calculate the fusion weights of the corresponding feature extraction layer parameters for each client, thus improving the efficiency of heterogeneous data personalized collaboration. Meanwhile, the federated global optimal model approximation fusion strategy is adopted in the network full-connect layer, and this generic fusion strategy alleviates the overfitting introduced by forceful personalized. Finally, the experimental results show that the proposed method is superior to the state-of-the-art methods. | 翻訳日:2023-02-07 17:51:21 公開日:2023-02-06 |
| # データから制御指向動的構造を学習する Learning Control-Oriented Dynamical Structure from Data ( http://arxiv.org/abs/2302.02529v1 ) ライセンス: Link先を確認 | Spencer M. Richards, Jean-Jacques Slotine, Navid Azizan, Marco Pavone | (参考訳) 既知の非線形力学系においても、フィードバックコントローラ合成は難しい問題であり、安定な閉ループ系を誘導するために動的系の特定の構造を利用する必要がある。
データに適合するものを含む一般的な非線形モデルでは、安定化したフィードバックコントローラを確実に合成するのに十分な既知の構造が存在しない可能性がある。
本稿では,一般非線形制御-アフィン系に対する状態依存リッカティ方程式に基づく新しい非線形追従制御系の定式化を提案する。
我々の定式化は、制御-アフィン力学を定義するベクトル場の系の非線形分解に依存し、緩やかな滑らかさの仮定の下で常に存在することを示す。
有限データの集合からこの分解がどのように学習できるかを論じる。
様々な非線形力学系において, 安定軌道追従における制御器の学習バージョンの有効性を実証する。
また,本手法と並行して,既知の力学系の制御系と安定性証明を共同学習する最近のアイデアを評価し,その手法がデータ非効率であることを示す。 Even for known nonlinear dynamical systems, feedback controller synthesis is a difficult problem that often requires leveraging the particular structure of the dynamics to induce a stable closed-loop system. For general nonlinear models, including those fit to data, there may not be enough known structure to reliably synthesize a stabilizing feedback controller. In this paper, we propose a novel nonlinear tracking controller formulation based on a state-dependent Riccati equation for general nonlinear control-affine systems. Our formulation depends on a nonlinear factorization of the system of vector fields defining the control-affine dynamics, which we show always exists under mild smoothness assumptions. We discuss how this factorization can be learned from a finite set of data. On a variety of simulated nonlinear dynamical systems, we demonstrate the efficacy of learned versions of our controller in stable trajectory tracking. Alongside our method, we evaluate recent ideas in jointly learning a controller and stabilizability certificate for known dynamical systems; we show empirically that such methods can be data-inefficient in comparison. | 翻訳日:2023-02-07 17:51:00 公開日:2023-02-06 |
| # パーソナライズされた解釈可能な分類 Personalized Interpretable Classification ( http://arxiv.org/abs/2302.02528v1 ) ライセンス: Link先を確認 | Zengyou He, Yifan Tang, Lianyu Hu, Mudi Jiang and Yan Liu | (参考訳) データマイニングモデルを解釈する方法は最近、モデルがどのように動作するのか理解できない場合、ブラックボックス予測モデルを信頼できない可能性があるため、多くの注目を集めています。
したがって、モデルが決定を下す方法に関する透明なイラストを提供することができれば、信頼に値するでしょう。
多くのルールベースの解釈可能な分類アルゴリズムが提案されているが、これらの既存のソリューションは、個々のテストサンプルごとにパーソナライズされた予測を提供するために、解釈可能なモデルを直接構築することはできない。
本稿では,文献に新たなデータマイニング問題として,パーソナライズ可能な分類を正式に導入するための第一歩を述べる。
この問題に対する問題定式化に加えて、各テストサンプルのパーソナライズされたルールを特定するために、PIC(Personalized Interpretable Classifier)と呼ばれるグリージーアルゴリズムを提案する。
このようなパーソナライズ可能な分類法の必要性、実現可能性、利点を示すために、実データ集合に関する一連の実証研究を行う。
実験結果から,(1)新しい問題定式化により,既存の非個人化分類器が見逃す可能性のあるテストサンプルの興味深いルールが見つかる。
2) このアルゴリズムは, 最先端 (sota) 解釈可能な分類器と同レベルの予測精度を実現できる。
3) 乳がん転移予測のための実データセットにおいて, パーソナライズ可能な分類器は, sota法を精度と解釈可能性の両方で上回ることができる。 How to interpret a data mining model has received much attention recently, because people may distrust a black-box predictive model if they do not understand how the model works. Hence, it will be trustworthy if a model can provide transparent illustrations on how to make the decision. Although many rule-based interpretable classification algorithms have been proposed, all these existing solutions cannot directly construct an interpretable model to provide personalized prediction for each individual test sample. In this paper, we make a first step towards formally introducing personalized interpretable classification as a new data mining problem to the literature. In addition to the problem formulation on this new issue, we present a greedy algorithm called PIC (Personalized Interpretable Classifier) to identify a personalized rule for each individual test sample. To demonstrate the necessity, feasibility and advantages of such a personalized interpretable classification method, we conduct a series of empirical studies on real data sets. The experimental results show that: (1) The new problem formulation enables us to find interesting rules for test samples that may be missed by existing non-personalized classifiers. (2) Our algorithm can achieve the same-level predictive accuracy as those state-of-the-art (SOTA) interpretable classifiers. (3) On a real data set for predicting breast cancer metastasis, such a personalized interpretable classifier can outperform SOTA methods in terms of both accuracy and interpretability. | 翻訳日:2023-02-07 17:50:45 公開日:2023-02-06 |
| # プライベートでロバストなバンディットについて On Private and Robust Bandits ( http://arxiv.org/abs/2302.02526v1 ) ライセンス: Link先を確認 | Yulian Wu, Xingyu Zhou, Youming Tao and Di Wang | (参考訳) 我々は,フーバーの汚染された重み付き報酬をエージェントが受け取り,一方ではディファレンシャル・プライバシを確保する必要があるプライベートでロバストなマルチアーム・バンディット(mabs)を研究した。
まず,プライバシ予算,汚染レベル,重み付き性に関する後悔の情報理論上の限界を特徴とするミニマックス下限を提示する。
そこで,本稿では,報酬切り出しとLaplace機構のみに依存する,プライベートかつロバストな平均推定サブルーチンであるsub-routine \texttt{PRM} に基づくメタアルゴリズムを提案する。
2つの異なる重み付き設定に対して、ほぼ最適な後悔を実現するために、 \texttt{PRM} の特定のスキームを与える。
主な結果の副産物として, プライベートヘビーテールMAB(汚染のない, 汚染のない)に対する第1のミニマックス下限を与える。
さらに,提案手法は,推定精度,プライバシ,ロバスト性の間の最適トレードオフを実現する。
最後に,実験により理論的結果を支持する。 We study private and robust multi-armed bandits (MABs), where the agent receives Huber's contaminated heavy-tailed rewards and meanwhile needs to ensure differential privacy. We first present its minimax lower bound, characterizing the information-theoretic limit of regret with respect to privacy budget, contamination level and heavy-tailedness. Then, we propose a meta-algorithm that builds on a private and robust mean estimation sub-routine \texttt{PRM} that essentially relies on reward truncation and the Laplace mechanism only. For two different heavy-tailed settings, we give specific schemes of \texttt{PRM}, which enable us to achieve nearly-optimal regret. As by-products of our main results, we also give the first minimax lower bound for private heavy-tailed MABs (i.e., without contamination). Moreover, our two proposed truncation-based \texttt{PRM} achieve the optimal trade-off between estimation accuracy, privacy and robustness. Finally, we support our theoretical results with experimental studies. | 翻訳日:2023-02-07 17:50:19 公開日:2023-02-06 |
| # 未熟児網膜症の深部学習分類を改善するための新しいretcam画像前処理法 Novel Fundus Image Preprocessing for Retcam Images to Improve Deep Learning Classification of Retinopathy of Prematurity ( http://arxiv.org/abs/2302.02524v1 ) ライセンス: Link先を確認 | Sajid Rahim, Kourosh Sabri, Anna Ells, Alan Wassyng, Mark Lawford, Linyang Chu, Wenbo He | (参考訳) 未熟児網膜症(英: retinopathy of prematurity, rop)は、未熟児に影響を及ぼす網膜の損傷による眼疾患である。
ROPのスクリーニングは早期発見と治療に不可欠である。
これは精力的で手作業による作業であり、臨床上重要な疾患の診断成功率を低下させる主観的な眼科検査を訓練された医師が行う必要がある。
自動診断法は、深層学習を用いて眼科医が診断精度を向上させるのに役立つ。
いくつかの研究グループが様々なアプローチを強調している。
本稿では,事前学習フレームワークを用いた新しい基礎前処理手法を用いてハイブリッドモデルを構築し,診断精度を高めることを提案する。
従来の画像処理と比較して,これらの手法がPlus病の分類,ROPの段階,ゾーンの分類において高い精度に寄与することを示す。
我々は、プラス病97.65%、ステージ89.44%、ゾーン90.24%の精度を達成する Retinopathy of Prematurity (ROP) is a potentially blinding eye disorder because of damage to the eye's retina which can affect babies born prematurely. Screening of ROP is essential for early detection and treatment. This is a laborious and manual process which requires trained physician performing dilated ophthalmological examination which can be subjective resulting in lower diagnosis success for clinically significant disease. Automated diagnostic methods can assist ophthalmologists increase diagnosis accuracy using deep learning. Several research groups have highlighted various approaches. This paper proposes the use of new novel fundus preprocessing methods using pretrained transfer learning frameworks to create hybrid models to give higher diagnosis accuracy. The evaluations show that these novel methods in comparison to traditional imaging processing contribute to higher accuracy in classifying Plus disease, Stages of ROP and Zones. We achieve accuracy of 97.65% for Plus disease, 89.44% for Stage, 90.24% for Zones | 翻訳日:2023-02-07 17:49:59 公開日:2023-02-06 |
| # 量子格子モデルにおけるニューラルネットワークによる手話規則学習の原理 The principle of learning sign rules by neural networks in qubit lattice models ( http://arxiv.org/abs/2302.02523v1 ) ライセンス: Link先を確認 | Jin Cao, Shijie Hu, Zhiping Yin, and Ke Xia | (参考訳) ニューラルネットワークは、人間の直感を超えた隠れた法則を一般化する強力なツールだが、複雑な非線形構造のため、ブラックボックスのように見える。
gutzwiller平均場理論に基づいて、キュービット格子モデルにおける順序状態の符号規則を学習する原理を示す。
そこで我々は,単一の隠れニューロンを持つ浅いフィードフォワードニューラルネットワークを構築し,一般化したIsing,XY,フラストレーションされたハイゼンベルク鎖,三角形格子上の反強磁性XY,任意の充填でFermi-Hubbard鎖のベンチマークを体系的に作成する。
全ての先頭または平均場符号規則文字は、ゲージ場勾配、ピッチ角など、古典的な形式で可視化される。
さらに、量子揺らぎは符号規則に反し、予測において不完全な精度率を定量的に得る。 A neural network is a powerful tool for generalizing hidden laws beyond human intuition; however, it looks like a black box due to complicated nonlinear structures. Based on the Gutzwiller mean-field theory, we exhibit a principle of learning sign rules for the ordered states in qubit lattice models. Accordingly, we construct a shallow feed-forward neural network with a single hidden neuron and systematically make benchmarks in the generalized Ising, XY, frustrated Heisenberg chains, antiferromagnetic XY on the triangle lattice, and the Fermi-Hubbard chain at an arbitrary filling. All the leading-order or mean-field sign rule characters are visualized in classical forms, such as the gauge field gradient, pitch angles, etc. Besides, quantum fluctuations violate the sign rule and quantitatively yield an imperfect accuracy rate in the prediction. | 翻訳日:2023-02-07 17:49:44 公開日:2023-02-06 |
| # 変分ベイズ系統パラメータ推定における事前密度学習 Prior Density Learning in Variational Bayesian Phylogenetic Parameters Inference ( http://arxiv.org/abs/2302.02522v1 ) ライセンス: Link先を確認 | Amine M. Remita, Golrokh Kiani Vitae and Abdoulaye Banir\'e Diallo | (参考訳) 変分推論の進歩はベイズ推定問題に有望な経路を与えている。
これらの進歩により、変異型系統推論はマルコフ連鎖モンテカルロ法に代わる手法となり、系統的後方を近似する。
しかし、そのようなアプローチの主な欠点の1つは、固定分布による事前のモデリングであり、現在のデータ分布から遠く離れている場合、後方近似を偏らせる可能性がある。
本稿では,勾配に基づく手法とニューラルネットワークに基づくパラメータ化を用いて,そのパラメータを学習することにより,事前密度の剛性を緩和する手法と実装フレームワークを提案する。
本手法をマルコフ連鎖置換モデルを用いて分岐長と進化パラメータ推定に適用した。
シミュレーションの結果,この手法は分岐長と進化モデルパラメータの推定に有効であることがわかった。
また、フレキシブルな事前モデルが事前定義された事前モデルよりも優れた結果をもたらすことも示している。
最後に,ニューラルネットワークの利用により,事前密度パラメータの最適化の初期化が向上することを示す。 The advances in variational inference are providing promising paths in Bayesian estimation problems. These advances make variational phylogenetic inference an alternative approach to Markov Chain Monte Carlo methods for approximating the phylogenetic posterior. However, one of the main drawbacks of such approaches is the modelling of the prior through fixed distributions, which could bias the posterior approximation if they are distant from the current data distribution. In this paper, we propose an approach and an implementation framework to relax the rigidity of the prior densities by learning their parameters using a gradient-based method and a neural network-based parameterization. We applied this approach for branch lengths and evolutionary parameters estimation under several Markov chain substitution models. The results of performed simulations show that the approach is powerful in estimating branch lengths and evolutionary model parameters. They also show that a flexible prior model could provide better results than a predefined prior model. Finally, the results highlight that using neural networks improves the initialization of the optimization of the prior density parameters. | 翻訳日:2023-02-07 17:49:28 公開日:2023-02-06 |
| # 多モード脳腫瘍切除における部分共通情報構造の検討 Exploiting Partial Common Information Microstructure for Multi-Modal Brain Tumor Segmentation ( http://arxiv.org/abs/2302.02521v1 ) ライセンス: Link先を確認 | Yongsheng Mei, Tian Lan, and Guru Venkataramani | (参考訳) マルチモーダル性による学習は、磁気共鳴画像データから自動脳腫瘍セグメント化に不可欠である。
すべてのモダリティ間で共有される共通情報を明示的に最適化する(例えば、全相関を最大化するなど)ことで、より優れた特徴表現を実現し、セグメンテーション性能を高めることが示されている。
しかし、既存のアプローチは、モダリティのサブセットによって共有される部分的共通情報に従わない。
本稿では,そのような部分的共通情報を同定することで,画像分割モデルの識別能力が著しく向上することを示す。
特に,部分共通情報マスク(pci-mask)という新しい概念を導入して,部分共通情報をどの部分的モダリティの部分集合で共有しているかを詳細に評価する。
マスク付き相関最大化の解法と最適PCIマスクの同時学習により,部分共通情報の潜時構造を同定し,自己アテンションモジュールで利用することにより,マルチモーダルデータの異なる特徴表現を選択的に重み付けする。
提案するフレームワークを標準U-Net上に実装する。
brats(multi-modal brain tumor segmentation challenge)データセットは,brats-2020における腫瘍,腫瘍コア,腫瘍の腫瘍全体に対する0.920,0.897,0.837の類似度係数を検証し,最先端のセグメンテーションベースラインを一貫して上回っている。 Learning with multiple modalities is crucial for automated brain tumor segmentation from magnetic resonance imaging data. Explicitly optimizing the common information shared among all modalities (e.g., by maximizing the total correlation) has been shown to achieve better feature representations and thus enhance the segmentation performance. However, existing approaches are oblivious to partial common information shared by subsets of the modalities. In this paper, we show that identifying such partial common information can significantly boost the discriminative power of image segmentation models. In particular, we introduce a novel concept of partial common information mask (PCI-mask) to provide a fine-grained characterization of what partial common information is shared by which subsets of the modalities. By solving a masked correlation maximization and simultaneously learning an optimal PCI-mask, we identify the latent microstructure of partial common information and leverage it in a self-attention module to selectively weight different feature representations in multi-modal data. We implement our proposed framework on the standard U-Net. Our experimental results on the Multi-modal Brain Tumor Segmentation Challenge (BraTS) datasets consistently outperform those of state-of-the-art segmentation baselines, with validation Dice similarity coefficients of 0.920, 0.897, 0.837 for the whole tumor, tumor core, and enhancing tumor on BraTS-2020. | 翻訳日:2023-02-07 17:49:14 公開日:2023-02-06 |
| # RDFNet:スペクトルスナップショット圧縮画像のための局所動的FISTA-Net RDFNet: Regional Dynamic FISTA-Net for Spectral Snapshot Compressive Imaging ( http://arxiv.org/abs/2302.02519v1 ) ライセンス: Link先を確認 | Shiyun Zhou, Tingfa Xu, Shaocong Dong and Jianan Li | (参考訳) 深層畳み込みニューラルネットワークは、最近圧縮スペクトル再構成に有望な結果を示している。
しかし、従来のメソッドは通常、スパース表現に単一のマッピング関数を採用する。
異なる領域に異なる特徴があることを考えると、異なる領域の変換を動的に調整するために様々なマッピング関数を適用することが望ましい。
そこで我々はまず,FISTA(Fast Iterative Shrinkage-Thresholding Algorithm)を用いて,局所特性を利用して動的スパース表現を導出する手法を提案する。
次に,rdfnetと呼ばれる階層的動的深層ネットワークにプロセスを広げる手法を提案する。
ネットワークは、複数の領域動的ブロックと対応する画素順適応ソフトthresholdingモジュールで構成され、それぞれ領域ベースのダイナミックマッピングと画素順ソフトthresholding選択を担当している。
地域ダイナミックブロックは、異なる領域の変換ドメインを調整するためにネットワークを誘導する。
適応型ソフトスレッショニングを備えることで,提案する地域動的アーキテクチャは,ピクセル単位で適切な縮小スケールを学習できる。
シミュレーションデータと実データの両方について広範な実験を行った結果,本手法が先行研究よりも優れていた。 Deep convolutional neural networks have recently shown promising results in compressive spectral reconstruction. Previous methods, however, usually adopt a single mapping function for sparse representation. Considering that different regions have distinct characteristics, it is desirable to apply various mapping functions to adjust different regions' transformations dynamically. With this in mind, we first introduce a regional dynamic way of using Fast Iterative Shrinkage-Thresholding Algorithm (FISTA) to exploit regional characteristics and derive dynamic sparse representations. Then, we propose to unfold the process into a hierarchical dynamic deep network, dubbed RDFNet. The network comprises multiple regional dynamic blocks and corresponding pixel-wise adaptive soft-thresholding modules, respectively in charge of region-based dynamic mapping and pixel-wise soft-thresholding selection. The regional dynamic block guides the network to adjust the transformation domain for different regions. Equipped with the adaptive soft-thresholding, our proposed regional dynamic architecture can also learn appropriate shrinkage scale in a pixel-wise manner. Extensive experiments on both simulated and real data demonstrate that our method outperforms prior state-of-the-arts. | 翻訳日:2023-02-07 17:48:45 公開日:2023-02-06 |
| # ドメインインデクシング変分ベイズ: ドメイン適応のための解釈可能なドメインインデックス Domain-Indexing Variational Bayes: Interpretable Domain Index for Domain Adaptation ( http://arxiv.org/abs/2302.02561v1 ) ライセンス: Link先を確認 | Zihao Xu, Guang-Yuan Hao, Hao He, Hao Wang | (参考訳) これまでの研究では、ドメインインデックスの活用はドメイン適応性能を著しく向上させることが示されている。
しかし、そのようなドメインインデックスは必ずしも利用できない。
この課題に対処するために、まず確率論的観点からドメインインデックスの形式的定義を行い、その後、多領域データからドメインインデックスを推論し、ドメイン関係に関するさらなる洞察を与え、ドメイン適応性能を向上させる、逆変分ベイズフレームワークを提案する。
理論解析の結果, 逆変分ベイズフレームワークは最適領域指数を平衡で求めることがわかった。
合成データと実データの両方における実験結果から,モデルが解釈可能なドメインインデックスを生成できることを確認し,最先端のドメイン適応法と比較して優れた性能を実現する。 Previous studies have shown that leveraging domain index can significantly boost domain adaptation performance \cite{arXiv:2007.01807, arXiv:2202.03628}. However, such domain indices are not always available. To address this challenge, we first provide a formal definition of domain index from the probabilistic perspective, and then propose an adversarial variational Bayesian framework that infers domain indices from multi-domain data, thereby providing additional insight on domain relations and improving domain adaptation performance. Our theoretical analysis shows that our adversarial variational Bayesian framework finds the optimal domain index at equilibrium. Empirical results on both synthetic and real data verify that our model can produce interpretable domain indices which enable us to achieve superior performance compared to state-of-the-art domain adaptation methods. | 翻訳日:2023-02-07 17:41:57 公開日:2023-02-06 |
| # ニューラルネットワークによる因果シフト応答関数:米国における大気質基準の引き下げの健康効果 Causal Shift-Response Functions with Neural Networks: The Health Benefits of Lowering Air Quality Standards in the US ( http://arxiv.org/abs/2302.02560v1 ) ライセンス: Link先を確認 | Mauricio Tec, Oladimeji Mudele, Kevin Josey, Francesca Dominici | (参考訳) 政策立案者は、新しい政策を実施する前に、微細粒子状物質PM2.5に対する国家環境基準(NAAQS)の引き下げによる健康上の利益を評価する必要がある。
この目的をシフト応答関数(srf)として定式化し,因果推論の手法,特に確率的介入の枠組みを用いて問題を解析する手法を開発した。
SRFは、観測された露光分布の仮説シフトに起因する利害の結果としての平均的な変化をモデル化する。
本稿では,ニューラルネットワークを用いたターゲット正規化を用いてsrfを学習するための,広範に適用可能な2重ロバスト法を提案する。
提案手法は,連続露光関数として限界推定に特有な様々なベンチマークで評価する。
最後に,NAAQSを現在の12ドルから最近アメリカ合衆国環境保護庁が提案したレベル(10ドル,9ドル,8ドル)まで下げることによる死亡率の低下を考慮に入れたモチベーションアプリケーションに,我々の推定装置を実装した。 Policymakers are required to evaluate the health benefits of reducing the National Ambient Air Quality Standards (NAAQS; i.e., the safety standards) for fine particulate matter PM 2.5 before implementing new policies. We formulate this objective as a shift-response function (SRF) and develop methods to analyze the problem using methods for causal inference, specifically under the stochastic interventions framework. SRFs model the average change in an outcome of interest resulting from a hypothetical shift in the observed exposure distribution. We propose a new broadly applicable doubly-robust method to learn SRFs using targeted regularization with neural networks. We evaluate our proposed method under various benchmarks specific for marginal estimates as a function of continuous exposure. Finally, we implement our estimator in the motivating application that considers the potential reduction in deaths from lowering the NAAQS from the current level of 12 $\mu g/m^3$ to levels that are recently proposed by the Environmental Protection Agency in the US (10, 9, and 8 $\mu g/m^3$). | 翻訳日:2023-02-07 17:41:42 公開日:2023-02-06 |
| # nested variational autoencoder による新規外挿化合物の提案 Proposing Novel Extrapolative Compounds by Nested Variational Autoencoders ( http://arxiv.org/abs/2302.02555v1 ) ライセンス: Link先を確認 | Yoshihiro Osakabe and Akinori Asahara | (参考訳) 材料情報学(MI)は、人工知能とデータ分析技術を用いて、材料開発効率を向上し、産業からの関心を高めている。
主な用途の1つは、新しい高性能化合物の急速な開発である。
近年,期待する性能を満足する候補化合物を示唆する深層生成モデルがいくつか提案されている。
しかし、これらは通常、十分な精度を達成するために大量の実験データセットを必要とする。
実際には、せいぜい1000以上の実験データしか蓄積できないことが多い。
そこで著者らは,nested two variational autoencoder (vaes) を用いた深層生成モデルを提案した。
外部VAEは大規模公開データを用いて化合物の構造的特徴を学習し,内部VAEは小規模実験データから外部VAEの潜伏変数と特性との関係を学習する。
また, 学習データの範囲を超えて高性能な化合物を生成するために, 内部vaeの潜在変数成分と材料特性との相関を増幅する損失関数を提案した。
その結果, この損失関数は, 高性能候補生成確率の向上に寄与することが示唆された。
また, 化学工業における実顧客との検証試験の結果, 提案手法が従来の手法と比較して実験数を1/4$に削減する効果があることが確認された。 Materials informatics (MI), which uses artificial intelligence and data analysis techniques to improve the efficiency of materials development, is attracting increasing interest from industry. One of its main applications is the rapid development of new high-performance compounds. Recently, several deep generative models have been proposed to suggest candidate compounds that are expected to satisfy the desired performance. However, they usually have the problem of requiring a large amount of experimental datasets for training to achieve sufficient accuracy. In actual cases, it is often possible to accumulate only about 1000 experimental data at most. Therefore, the authors proposed a deep generative model with nested two variational autoencoders (VAEs). The outer VAE learns the structural features of compounds using large-scale public data, while the inner VAE learns the relationship between the latent variables of the outer VAE and the properties from small-scale experimental data. To generate high performance compounds beyond the range of the training data, the authors also proposed a loss function that amplifies the correlation between a component of latent variables of the inner VAE and material properties. The results indicated that this loss function contributes to improve the probability of generating high-performance candidates. Furthermore, as a result of verification test with an actual customer in chemical industry, it was confirmed that the proposed method is effective in reducing the number of experiments to $1/4$ compared to a conventional method. | 翻訳日:2023-02-07 17:41:21 公開日:2023-02-06 |
| # 水中検出のための補正に基づく動的強化フレームワーク A Correction-Based Dynamic Enhancement Framework towards Underwater Detection ( http://arxiv.org/abs/2302.02553v1 ) ライセンス: Link先を確認 | Yanling Qiu, Qianxue Feng, Boqin Cai, Hongan Wei, and Weiling Chen | (参考訳) 水中物体検出の高性能化を支援するため、画像強調技術は前処理のステップとしてよく用いられる。
しかし、既存の拡張手法のほとんどは、検出タスクに効果的な助けを提供するのではなく、画像の視覚的品質を追求する傾向にある。
実際、画像強調アルゴリズムは実用性向上のために最適化されるべきである。
本稿では,水中検出タスクに適応するため,低レベルの修正を導くための寄与辞書を用いた軽量な動的拡張アルゴリズムを提案する。
動的ソリューションは検出の好みの違いを捉えるように設計されている。
さらに、修正操作の寄与と時間複雑性の矛盾をバランスさせることもできる。
実水中物体検出タスクにおける実験結果から,提案手法の一般化と実時間性能の両面で優位性を示した。 To assist underwater object detection for better performance, image enhancement technology is often used as a pre-processing step. However, most of the existing enhancement methods tend to pursue the visual quality of an image, instead of providing effective help for detection tasks. In fact, image enhancement algorithms should be optimized with the goal of utility improvement. In this paper, to adapt to the underwater detection tasks, we proposed a lightweight dynamic enhancement algorithm using a contribution dictionary to guide low-level corrections. Dynamic solutions are designed to capture differences in detection preferences. In addition, it can also balance the inconsistency between the contribution of correction operations and their time complexity. Experimental results in real underwater object detection tasks show the superiority of our proposed method in both generalization and real-time performance. | 翻訳日:2023-02-07 17:40:58 公開日:2023-02-06 |
| # オンライン密度比推定による連続共変量シフトへの適応 Adapting to Continuous Covariate Shift via Online Density Ratio Estimation ( http://arxiv.org/abs/2302.02552v1 ) ライセンス: Link先を確認 | Yu-Jie Zhang, Zhen-Yu Zhang, Peng Zhao, Masashi Sugiyama | (参考訳) 分散シフトを扱うことは、現代の機械学習の中心的な課題の1つだ。
1つの基本的な状況は 'emph{covariate shift} であり、入力条件の出力分布が変わらず、トレーニングからテスト段階までデータの入力分布が変化する。
本稿では,テストデータが連続的に出現し,その分布が連続的に変化する,より困難なシナリオ -\emph{continuous} covariate shift の研究を開始する。
我々の目標は予測器を適応的に訓練し、その予測リスクを最小限に抑えることにある。
重み付け学習から始めると、テスト入力と列車入力の時間変化密度比を正確に推定できる場合、効果的に機能することを示す。
しかし、既存の密度比推定法は各時点におけるデータ不足により失敗する。
そこで本研究では,歴史的情報を適切に再利用できるオンライン手法を提案する。
この密度比推定手法は, 動的後悔境界を享受することで良好な性能を発揮することが証明され, 予測者に対する過度なリスク保証につながる。
実験結果も有効性を検証する。 Dealing with distribution shifts is one of the central challenges for modern machine learning. One fundamental situation is the \emph{covariate shift}, where the input distributions of data change from training to testing stages while the input-conditional output distribution remains unchanged. In this paper, we initiate the study of a more challenging scenario -- \emph{continuous} covariate shift -- in which the test data appear sequentially, and their distributions can shift continuously. Our goal is to adaptively train the predictor such that its prediction risk accumulated over time can be minimized. Starting with the importance-weighted learning, we show the method works effectively if the time-varying density ratios of test and train inputs can be accurately estimated. However, existing density ratio estimation methods would fail due to data scarcity at each time step. To this end, we propose an online method that can appropriately reuse historical information. Our density ratio estimation method is proven to perform well by enjoying a dynamic regret bound, which finally leads to an excess risk guarantee for the predictor. Empirical results also validate the effectiveness. | 翻訳日:2023-02-07 17:40:48 公開日:2023-02-06 |
| # CHiLS:階層ラベル集合を用いたゼロショット画像分類 CHiLS: Zero-Shot Image Classification with Hierarchical Label Sets ( http://arxiv.org/abs/2302.02551v1 ) ライセンス: Link先を確認 | Zachary Novack, Saurabh Garg, Julian McAuley, Zachary C. Lipton | (参考訳) オープン語彙モデル(例えばCLIP)は、ゼロショット分類において、各クラス(自然言語)の名前に基づいて埋め込みを生成する能力を通じて、強い性能を示している。
事前の作業は、プロンプトエンジニアリングや(微調整による)少量のラベル付きダウンストリームデータの導入による、これらのモデルの精度の向上に重点を置いている。
しかし、クラス名自体の豊かさの改善にはほとんど焦点が当てられていないため、クラスラベルが粗い定義で非形式的である場合に問題が発生する可能性がある。
暗黙的な意味階層を持つデータセット用に特別に設計されたゼロショット分類の代替戦略である階層ラベル集合(chils)を用いた分類を提案する。
CHiLSは3つのステップで進みます。
i) 各クラスに対して、既存のラベル階層またはGPT-3をクエリすることで、一連のサブクラスを生成する。
(ii)これらのサブクラスが関心のラベルであるかのように、標準のゼロショットCLIP手順を実行する。
(iii)予測サブクラスを親にマップして最終的な予測を生成する。
基盤となる階層構造を持つ多数のデータセットにわたって、chilsは階層情報の有無に関わらず、状況において精度が向上する。
CHiLSは既存のCLIPパイプラインで簡単に実装でき、追加のトレーニングコストを必要としない。
コードは、https://github.com/acmi-lab/CHILS.comで入手できる。 Open vocabulary models (e.g. CLIP) have shown strong performance on zero-shot classification through their ability generate embeddings for each class based on their (natural language) names. Prior work has focused on improving the accuracy of these models through prompt engineering or by incorporating a small amount of labeled downstream data (via finetuning). However, there has been little focus on improving the richness of the class names themselves, which can pose issues when class labels are coarsely-defined and uninformative. We propose Classification with Hierarchical Label Sets (or CHiLS), an alternative strategy for zero-shot classification specifically designed for datasets with implicit semantic hierarchies. CHiLS proceeds in three steps: (i) for each class, produce a set of subclasses, using either existing label hierarchies or by querying GPT-3; (ii) perform the standard zero-shot CLIP procedure as though these subclasses were the labels of interest; (iii) map the predicted subclass back to its parent to produce the final prediction. Across numerous datasets with underlying hierarchical structure, CHiLS leads to improved accuracy in situations both with and without ground-truth hierarchical information. CHiLS is simple to implement within existing CLIP pipelines and requires no additional training cost. Code is available at: https://github.com/acmi-lab/CHILS. | 翻訳日:2023-02-07 17:40:33 公開日:2023-02-06 |
| # ファウショット生成領域適応のためのドメイン再変調 Domain Re-Modulation for Few-Shot Generative Domain Adaptation ( http://arxiv.org/abs/2302.02550v1 ) ライセンス: Link先を確認 | Yi Wu, Ziqiang Li, Chaoyue Wang, Heliang Zheng, Shanshan Zhao, Bin Li, Dacheng Ta | (参考訳) 本研究では,学習済みジェネレータを1つ以上の参照画像を用いて1つのドメインから新しいドメインに転送する,数ショット生成ドメイン適応(GDA)の課題について検討する。
目標領域整合性、大ダイバーシティ、クロスドメイン整合性に着目した以前の研究に基づいて、GDAに望ましい2つの特性、メモリとドメインアソシエーションを結論付ける。
これらの特性を満たすために,我々は新しいメソッドドメイン再変調 (dorm) を提案する。
具体的には、DoRMはソースジェネレータを凍結し、マッピングとアフィンモジュール(M&Aモジュール)を追加してターゲットドメインの属性をキャプチャし、スタイル空間において線形に結合可能なドメインシフトをもたらす。
これにより、単一のジェネレータに複数のM&Aモジュールを統合することで、高忠実なマルチドメインとハイブリッドドメインの生成が可能になる。
DoRMは軽量で実装が容易です。
広汎な実験は、1ショットと10ショットのGDAにおいて、量的および定性的にDoRMの優れた性能を示した。
さらに、単一モデルを使用することで、初めて、マルチドメインとハイブリッドドメインの生成を最小限のストレージコストで達成できる。
コードはhttps://github.com/wuyi2020/DoRM.comから入手できる。 In this study, we investigate the task of few-shot Generative Domain Adaptation (GDA), which involves transferring a pre-trained generator from one domain to a new domain using one or a few reference images. Building upon previous research that has focused on Target-domain Consistency, Large Diversity, and Cross-domain Consistency, we conclude two additional desired properties for GDA: Memory and Domain Association. To meet these properties, we proposed a novel method Domain Re-Modulation (DoRM). Specifically, DoRM freezes the source generator and employs additional mapping and affine modules (M&A module) to capture the attributes of the target domain, resulting in a linearly combinable domain shift in style space. This allows for high-fidelity multi-domain and hybrid-domain generation by integrating multiple M&A modules in a single generator. DoRM is lightweight and easy to implement. Extensive experiments demonstrated the superior performance of DoRM on both one-shot and 10-shot GDA, both quantitatively and qualitatively. Additionally, for the first time, multi-domain and hybrid-domain generation can be achieved with a minimal storage cost by using a single model. The code will be available at https://github.com/wuyi2020/DoRM. | 翻訳日:2023-02-07 17:40:14 公開日:2023-02-06 |
| # 最小化問題の学習木 Learning Trees of $\ell_0$-Minimization Problems ( http://arxiv.org/abs/2302.02548v1 ) ライセンス: Link先を確認 | G. Welper | (参考訳) 未決定線形系の最小スパース解を計算する問題は一般に$NP$ハードである。
余分な性質を持つ部分集合は効率的なアルゴリズムを可能にし、特に制限等尺性(RIP)の問題を凸$\ell_1$-minimizationで解くことができる。
これらのクラスは非常に成功したが、多くの実践的な応用を残している。
本稿では,ますます難しいサンプルのカリキュラムで学習した後,順応可能なクラスについて検討する。
この設定は、任意の証明にすぐに取り組めないかもしれない人間の数学者の候補モデルとして意図されているが、適切なカリキュラムでトレーニングした後、比較的柔軟なサブクラスや専門分野で成功する可能性がある。 The problem of computing minimally sparse solutions of under-determined linear systems is $NP$ hard in general. Subsets with extra properties, may allow efficient algorithms, most notably problems with the restricted isometry property (RIP) can be solved by convex $\ell_1$-minimization. While these classes have been very successful, they leave out many practical applications. In this paper, we consider adaptable classes that are tractable after training on a curriculum of increasingly difficult samples. The setup is intended as a candidate model for a human mathematician, who may not be able to tackle an arbitrary proof right away, but may be successful in relatively flexible subclasses, or areas of expertise, after training on a suitable curriculum. | 翻訳日:2023-02-07 17:39:53 公開日:2023-02-06 |
| # リチウムイオン電池容量劣化モデルのための量子ニューラルネットワーク回帰 A Quantum Neural Network Regression for Modeling Lithium-ion Battery Capacity Degradation ( http://arxiv.org/abs/2302.02547v1 ) ライセンス: Link先を確認 | Anh Phuong Ngo, Nhat Le, Hieu T. Nguyen, Abdullah Eroglu and Duong T. Nguyen | (参考訳) 高電力密度の低放電率と低コスト充電可能なリチウムイオン電池libsは、電力グリッドレベルの蓄電システムやモバイルデバイスなど、幅広い用途に応用されている。
教師付き学習問題であるLiBの非線形劣化過程を正確にモデル化するフレームワークの開発は重要な研究課題となっている。
本稿では,動作プロファイルから電池寿命を推定するlib分解モデルを取り込むために,古典量子ハイブリッド機械学習手法を提案する。
私たちの研究は、最近の量子コンピュータの進歩と、ニューラルネットワークと量子回路の類似性によって動機付けられています。
従来のニューラルネットワークの重みパラメータの調整と同様に、量子回路のパラメータ、すなわち自由度を調整して教師付き学習方法で非線形関数を学習することができる。
概念実証として,nasaが提供するバッテリデータセットを用いた数値計算により,劣化容量と動作サイクルの非線形関係をモデル化する量子ニューラルネットワークの能力を示す。
また、特に将来のevの普及とエネルギー貯蔵の文脈において、古典的コンピュータにおける従来のニューラルネットワークと比較して量子アプローチの潜在的な利点について論じる。 Given the high power density low discharge rate and decreasing cost rechargeable lithium-ion batteries LiBs have found a wide range of applications such as power grid level storage systems electric vehicles and mobile devices. Developing a framework to accurately model the nonlinear degradation process of LiBs which is indeed a supervised learning problem becomes an important research topic. This paper presents a classical-quantum hybrid machine learning approach to capture the LiB degradation model that assesses battery cell life loss from operating profiles. Our work is motivated by recent advances in quantum computers as well as the similarity between neural networks and quantum circuits. Similar to adjusting weight parameters in conventional neural networks the parameters of the quantum circuit namely the qubits degree of freedom can be tuned to learn a nonlinear function in a supervised learning fashion. As a proof of concept paper our obtained numerical results with the battery dataset provided by NASA demonstrate the ability of the quantum neural networks in modeling the nonlinear relationship between the degraded capacity and the operating cycles. We also discuss the potential advantage of the quantum approach compared to conventional neural networks in classical computers in dealing with massive data especially in the context of future penetration of EVs and energy storage. | 翻訳日:2023-02-07 17:39:41 公開日:2023-02-06 |
| # 後方信頼シーケンスによる逐次変化検出 Sequential change detection via backward confidence sequences ( http://arxiv.org/abs/2302.02544v1 ) ライセンス: Link先を確認 | Shubhanshu Shekhar, Aaditya Ramdas | (参考訳) 逐次的推定から逐次的変化点検出(SCD)への簡単な削減を提案する。
つまり、基礎となるディストリビューションのパラメータや関数$\theta$のチェンジポイントの検出に興味があるとします。
我々は、もし$\theta$に対する信頼シーケンス(CS)を構築することができれば、$\theta$に対するSCDの実行も成功できることを示した。
これは、2つのCS(一方が前方、もう一方が後方)が相互に干渉しないかどうかを確認することで達成される。
近年,CSに関する文献が急速に進歩しているため,本論文で提案される削減は,いくつかの旧来および新来の変化検出問題を即座に解決する。
さらに、時間逆転によって構築された"後方CS"は、新しく、潜在的に独立した関心事である。
我々は,誤報の頻度と検出遅延に対する強い非漸近的保証を提供し,いくつかの問題に対する数値的有効性を示す。 We present a simple reduction from sequential estimation to sequential changepoint detection (SCD). In short, suppose we are interested in detecting changepoints in some parameter or functional $\theta$ of the underlying distribution. We demonstrate that if we can construct a confidence sequence (CS) for $\theta$, then we can also successfully perform SCD for $\theta$. This is accomplished by checking if two CSs -- one forwards and the other backwards -- ever fail to intersect. Since the literature on CSs has been rapidly evolving recently, the reduction provided in this paper immediately solves several old and new change detection problems. Further, our "backward CS", constructed by reversing time, is new and potentially of independent interest. We provide strong nonasymptotic guarantees on the frequency of false alarms and detection delay, and demonstrate numerical effectiveness on several problems. | 翻訳日:2023-02-07 17:39:23 公開日:2023-02-06 |
| # 分布特異不確かさ量子化ニューラルネットワークによる材料特性予測の信頼性の解明 Clarifying Trust of Materials Property Predictions using Neural Networks with Distribution-Specific Uncertainty Quantification ( http://arxiv.org/abs/2302.02595v1 ) ライセンス: Link先を確認 | Cameron Gruich, Varun Madhavan, Yixin Wang, Bryan Goldsmith | (参考訳) 機械学習(ML)モデル予測は,高スループット触媒発見アプローチにおいて信頼性が高いことが重要である。
不確かさ定量化(UQ)法はMLモデルの信頼性を推定できるが、不均一触媒学の分野では十分に研究されていない。
そこで本研究では, 結晶グラフ畳み込みニューラルネットワーク(cgcnn)に応用した異なるuq法について検討し, 既存不均一触媒データセットであるopen catalyst 2020(oc20)データセットから, 合金分子の吸着エネルギーを予測する。
吸着エネルギー予測法として,k-fold ensembling,montal carlo dropout,visial regressionの3つの手法を適用した。
それぞれのUQ法の有効性は,精度,シャープ性,分散性,キャリブレーション,タイトネスに基づいて評価される。
エビデンシャル回帰は、ニューラルネットワークを用いた不均一触媒応用において、チューナブルで競争力のあるUQ推定を迅速に得るための強力なアプローチであることが示されている。
モデル不確かさの再調整は不確実性を利用した触媒の実用的スクリーニングに不可欠である。 It is critical that machine learning (ML) model predictions be trustworthy for high-throughput catalyst discovery approaches. Uncertainty quantification (UQ) methods allow estimation of the trustworthiness of an ML model, but these methods have not been well explored in the field of heterogeneous catalysis. Herein, we investigate different UQ methods applied to a crystal graph convolutional neural network (CGCNN) to predict adsorption energies of molecules on alloys from the Open Catalyst 2020 (OC20) dataset, the largest existing heterogeneous catalyst dataset. We apply three UQ methods to the adsorption energy predictions, namely k-fold ensembling, Monte Carlo dropout, and evidential regression. The effectiveness of each UQ method is assessed based on accuracy, sharpness, dispersion, calibration, and tightness. Evidential regression is demonstrated to be a powerful approach for rapidly obtaining tunable, competitively trustworthy UQ estimates for heterogeneous catalysis applications when using neural networks. Recalibration of model uncertainties is shown to be essential in practical screening applications of catalysts using uncertainties. | 翻訳日:2023-02-07 17:33:36 公開日:2023-02-06 |
| # グラフ上の生成拡散モデル:方法と応用 Generative Diffusion Models on Graphs: Methods and Applications ( http://arxiv.org/abs/2302.02591v1 ) ライセンス: Link先を確認 | Wenqi Fan, Chengyi Liu, Yunqing Liu, Jiatong Li, Hang Li, Hui Liu, Jiliang Tang, Qing Li | (参考訳) 拡散モデルは、新しい生成パラダイムとして、画像インペインティング、画像からテキストへの翻訳、ビデオ生成といった様々な画像生成タスクで顕著な成功を収めている。
グラフ生成は多くの実世界のアプリケーションを持つグラフ上で重要な計算タスクである。
与えられたグラフの分布を学習し、新しいグラフを生成することを目的としている。
画像生成における拡散モデルの大きな成功を考えると、近年、これらの技術を活用してグラフ生成を推し進める努力が増えている。
本稿ではまず,グラフ上の生成拡散モデルの概要について概説する。特に,グラフ拡散モデルの3つの変種,すなわち,Score Matching with Langevin Dynamics (SMLD), Denoising Diffusion Probabilistic Model (DDPM), Score-based Generative Model (SGM)の代表的なアルゴリズムについて述べる。
次に、分子とタンパク質のモデリングに特に焦点をあてたグラフ上の生成拡散モデルの主な応用を概説する。
最後に,グラフ構造データの生成拡散モデルにおける有望な方向について論じる。 Diffusion models, as a novel generative paradigm, have achieved remarkable success in various image generation tasks such as image inpainting, image-to-text translation, and video generation. Graph generation is a crucial computational task on graphs with numerous real-world applications. It aims to learn the distribution of given graphs and then generate new graphs. Given the great success of diffusion models in image generation, increasing efforts have been made to leverage these techniques to advance graph generation in recent years. In this paper, we first provide a comprehensive overview of generative diffusion models on graphs, In particular, we review representative algorithms for three variants of graph diffusion models, i.e., Score Matching with Langevin Dynamics (SMLD), Denoising Diffusion Probabilistic Model (DDPM), and Score-based Generative Model (SGM). Then, we summarize the major applications of generative diffusion models on graphs with a specific focus on molecule and protein modeling. Finally, we discuss promising directions in generative diffusion models on graph-structured data. | 翻訳日:2023-02-07 17:33:15 公開日:2023-02-06 |
| # $z$-SignFedAvg:フェデレートラーニングのための統一確率的手話圧縮 $z$-SignFedAvg: A Unified Stochastic Sign-based Compression for Federated Learning ( http://arxiv.org/abs/2302.02589v1 ) ライセンス: Link先を確認 | Zhiwei Tang, Yanmeng Wang, Tsung-Hui Chang | (参考訳) フェデレーション学習(federated learning, fl)は、プライバシ保護型の分散学習パラダイムとして将来性が高いが、大規模機械学習モデルのトレーニングでは高い通信コストがかかる。
signgd \cite{bernstein2018signsgd}のような符号ベースの手法は、通信コストを削減するバイアスド勾配圧縮技術として提案されている。
しかし、符号ベースのアルゴリズムは異種データの下で分岐する可能性があるため、この問題を解決するためにエラーフィードバック法や確率的な符号ベースの圧縮といった高度な手法の開発が動機となった。
しかし、これらの手法は依然として収束率の低下に苦しむ。
さらに、FedAvg \cite{mcmahan2017communication}のようなローカルなSGD更新は許可されていない。
本稿では,符号ベース圧縮に対する一般対称雑音分布を持つ新しい雑音摂動スキームを提案し,勾配バイアスと収束性能のトレードオフを柔軟に制御できるだけでなく,既存の確率的符号ベース手法への統一的な視点を提供する。
さらに重要なことは、統一された雑音摂動方式は、収束を加速するために、非常に最初の符号ベースのFedAvgアルゴリズム(z$-SignFedAvg)の開発を可能にすることである。
理論的には、$z$-signfedavgは、既存の符号ベースの方法よりも高速な収束率を達成し、均一に分布するノイズの下では、圧縮されていない方法と同じ収束率を享受できる。
大規模な実験により、$z$-SignFedAvgは、実際のデータセット上での競合的な経験的パフォーマンスを達成し、既存のスキームより優れていることを示す。 Federated Learning (FL) is a promising privacy-preserving distributed learning paradigm but suffers from high communication cost when training large-scale machine learning models. Sign-based methods, such as SignSGD \cite{bernstein2018signsgd}, have been proposed as a biased gradient compression technique for reducing the communication cost. However, sign-based algorithms could diverge under heterogeneous data, which thus motivated the development of advanced techniques, such as the error-feedback method and stochastic sign-based compression, to fix this issue. Nevertheless, these methods still suffer from slower convergence rates. Besides, none of them allows multiple local SGD updates like FedAvg \cite{mcmahan2017communication}. In this paper, we propose a novel noisy perturbation scheme with a general symmetric noise distribution for sign-based compression, which not only allows one to flexibly control the tradeoff between gradient bias and convergence performance, but also provides a unified viewpoint to existing stochastic sign-based methods. More importantly, the unified noisy perturbation scheme enables the development of the very first sign-based FedAvg algorithm ($z$-SignFedAvg) to accelerate the convergence. Theoretically, we show that $z$-SignFedAvg achieves a faster convergence rate than existing sign-based methods and, under the uniformly distributed noise, can enjoy the same convergence rate as its uncompressed counterpart. Extensive experiments are conducted to demonstrate that the $z$-SignFedAvg can achieve competitive empirical performance on real datasets and outperforms existing schemes. | 翻訳日:2023-02-07 17:32:56 公開日:2023-02-06 |
| # Recommender Systems: プライマー Recommender Systems: A Primer ( http://arxiv.org/abs/2302.02579v1 ) ライセンス: Link先を確認 | Pablo Castells and Dietmar Jannach | (参考訳) パーソナライズされたレコメンデーションは、ほとんどの主要なeコマースサイト、メディアプラットフォーム、ソーシャルネットワークを含む、現代のオンラインサービスの一般的な機能となっている。
現在では、その高い実用的妥当性から、レコメンデーションシステムの分野での研究がこれまでになく盛んになっている。
しかし、我々が現在観察しているレコメンダシステムの新しいアプリケーションシナリオでは、アルゴリズム的な要求とシステムの評価の両方において、常に新しい課題が発生する。
本稿では,まず,レコメンデーション問題の従来の定式化について概説する。
次に,項目検索とランク付けのための古典的アルゴリズムパラダイムを考察し,それらのシステムの評価方法について詳述する。
その後,セッションベースレコメンデーションの研究,レコメンデーションシステムにおけるバイアス,実際にレコメンデーションシステムが与える影響と価値に関する質問など,レコメンデーションシステム研究における最近の多くの進展について議論する。 Personalized recommendations have become a common feature of modern online services, including most major e-commerce sites, media platforms and social networks. Today, due to their high practical relevance, research in the area of recommender systems is flourishing more than ever. However, with the new application scenarios of recommender systems that we observe today, constantly new challenges arise as well, both in terms of algorithmic requirements and with respect to the evaluation of such systems. In this paper, we first provide an overview of the traditional formulation of the recommendation problem. We then review the classical algorithmic paradigms for item retrieval and ranking and elaborate how such systems can be evaluated. Afterwards, we discuss a number of recent developments in recommender systems research, including research on session-based recommendation, biases in recommender systems, and questions regarding the impact and value of recommender systems in practice. | 翻訳日:2023-02-07 17:32:29 公開日:2023-02-06 |
| # エッジコンピューティングにおけるトポロジアウェアフェデレーション学習:包括的調査 Topology-aware Federated Learning in Edge Computing: A Comprehensive Survey ( http://arxiv.org/abs/2302.02573v1 ) ライセンス: Link先を確認 | Jiajun Wu, Steve Drew, Fan Dong, Zhuangdi Zhu, Jiayu Zhou | (参考訳) 5g/6gアプリケーションの超低レイテンシ要件とプライバシの制約は、エッジにデプロイされる分散機械学習システムを要求する。
シンプルで効果的なアプローチで、フェデレートドラーニング(FL)は、分散トレーニングデータとプライベートトレーニングデータを使ったエッジコンピューティングにおける、巨大なユーザ所有デバイスに対する自然なソリューションであることが証明されている。
FedAvgに基づくほとんどのバニラFLアルゴリズムは、不安定なエッジコンピューティングアーキテクチャとトポロジの不均一性と階層を無視して、単純な星トポロジに従う。
本稿では,ネットワークトポロジに焦点をあてた最適化flモデル,フレームワーク,アルゴリズムの既存作業に関する包括的調査を行う。
flおよびエッジコンピューティングネットワークの簡単な再定義の後、先述のネットワークトポロジの下での最適化とともに、様々な種類のエッジネットワークトポロジを紹介する。
最後に,トポロジ固有エッジネットワークにおけるflの適用に関する課題と今後の課題について述べる。 The ultra-low latency requirements of 5G/6G applications and privacy constraints call for distributed machine learning systems to be deployed at the edge. With its simple yet effective approach, federated learning (FL) is proved to be a natural solution for massive user-owned devices in edge computing with distributed and private training data. Most vanilla FL algorithms based on FedAvg follow a naive star topology, ignoring the heterogeneity and hierarchy of the volatile edge computing architectures and topologies in reality. In this paper, we conduct a comprehensive survey on the existing work of optimized FL models, frameworks, and algorithms with a focus on their network topologies. After a brief recap of FL and edge computing networks, we introduce various types of edge network topologies, along with the optimizations under the aforementioned network topologies. Lastly, we discuss the remaining challenges and future works for applying FL in topology-specific edge networks. | 翻訳日:2023-02-07 17:32:12 公開日:2023-02-06 |
| # 一般関数近似を用いたマルコフゲームにおけるオフライン学習 Offline Learning in Markov Games with General Function Approximation ( http://arxiv.org/abs/2302.02571v1 ) ライセンス: Link先を確認 | Yuheng Zhang, Yu Bai, Nan Jiang | (参考訳) 我々は,ゲームから事前収集したオフラインデータセットからnash平衡や相関平衡といった近似平衡を学習することを目的とした,markovゲームにおけるオフラインマルチエージェント強化学習(rl)について検討した。
既存の作品は相対的に制限された表モデルや線形モデルを検討し、それぞれの平衡を別々に扱う。
本研究では,マルコフゲームにおけるサンプル効率の高いオフライン学習のための最初のフレームワークを一般関数近似で提供し,すべての3つの平衡を統一的に扱う。
ベルマン一貫した悲観主義を用いて,政策のリターンの間隔推定を行い,上界と下界の両方を用いて候補政策のギャップを緩和し,最適化目標とする。
我々の結果は先行研究を一般化し、さらにいくつかの洞察を与える。
重要なことは、最近提案された"一方的な集中性"よりも改善されたデータカバレッジ条件が必要です。
我々の条件は、偏差政策を選択的にカバーし、その厳密さ(最も近い反応として)とカバレッジを最適にトレードオフし、これがより優れた保証につながるシナリオを示します。
新しい接続として、我々のアルゴリズムフレームワークは、2人プレイのゼロサムゲームの特別な場合のためにデザインされた一見異なるソリューション概念を合成する方法を示します。 We study offline multi-agent reinforcement learning (RL) in Markov games, where the goal is to learn an approximate equilibrium -- such as Nash equilibrium and (Coarse) Correlated Equilibrium -- from an offline dataset pre-collected from the game. Existing works consider relatively restricted tabular or linear models and handle each equilibria separately. In this work, we provide the first framework for sample-efficient offline learning in Markov games under general function approximation, handling all 3 equilibria in a unified manner. By using Bellman-consistent pessimism, we obtain interval estimation for policies' returns, and use both the upper and the lower bounds to obtain a relaxation on the gap of a candidate policy, which becomes our optimization objective. Our results generalize prior works and provide several additional insights. Importantly, we require a data coverage condition that improves over the recently proposed "unilateral concentrability". Our condition allows selective coverage of deviation policies that optimally trade-off between their greediness (as approximate best responses) and coverage, and we show scenarios where this leads to significantly better guarantees. As a new connection, we also show how our algorithmic framework can subsume seemingly different solution concepts designed for the special case of two-player zero-sum games. | 翻訳日:2023-02-07 17:31:58 公開日:2023-02-06 |
| # アルゴリズム資源割当のランダム化試行における政策評価の改善 Improved Policy Evaluation for Randomized Trials of Algorithmic Resource Allocation ( http://arxiv.org/abs/2302.02570v1 ) ライセンス: Link先を確認 | Aditya Mate, Bryan Wilder, Aparna Taneja, Milind Tambe | (参考訳) ランダム化制御試験(RCT)によるアルゴリズム資源配分の政策評価の課題を考察する。
このような政策は、限られた介入資源の利用を最適化し、得られる利益を最大化することを目的としている。
RCTによるアロケーションポリシーの評価は、試験の規模にかかわらず、個人の成果が政策決定を制御するリソース制約によって厳密にリンクされているため、困難である。
我々の重要な貢献は、RCTの終わりに実験アームをまたいだ参加者の振り返りを含む、提案した新しい概念を活用する新しい推定器を提供することである。
我々は,このような再割り当てが許容できる条件を特定し,その成果を正確に確認できる反事実裁判を無償で構築する。
このような推定器はサンプル手段に基づいて一般的な推定器よりも正確であることを理論的に証明し、偏りのない推定値を返し、同時に分散を減少させることを示した。
提案手法は, 合成, 半合成, 実事例データを用いて実験を行い, 評価精度の向上を示す。 We consider the task of evaluating policies of algorithmic resource allocation through randomized controlled trials (RCTs). Such policies are tasked with optimizing the utilization of limited intervention resources, with the goal of maximizing the benefits derived. Evaluation of such allocation policies through RCTs proves difficult, notwithstanding the scale of the trial, because the individuals' outcomes are inextricably interlinked through resource constraints controlling the policy decisions. Our key contribution is to present a new estimator leveraging our proposed novel concept, that involves retrospective reshuffling of participants across experimental arms at the end of an RCT. We identify conditions under which such reassignments are permissible and can be leveraged to construct counterfactual trials, whose outcomes can be accurately ascertained, for free. We prove theoretically that such an estimator is more accurate than common estimators based on sample means -- we show that it returns an unbiased estimate and simultaneously reduces variance. We demonstrate the value of our approach through empirical experiments on synthetic, semi-synthetic as well as real case study data and show improved estimation accuracy across the board. | 翻訳日:2023-02-07 17:31:38 公開日:2023-02-06 |
| # less is more: n-gram frequency descendによる単語レベルのテキスト会話攻撃の理解 Less is More: Understanding Word-level Textual Adversarial Attack via n-gram Frequency Descend ( http://arxiv.org/abs/2302.02568v1 ) ライセンス: Link先を確認 | Ning Lu, Zhirui Zhang, Qi Wang, Haifeng Liu, Ke Tang, Shengcai Liu | (参考訳) 単語レベルのテキスト対逆攻撃は、自然言語処理モデルを騙すことで顕著なパフォーマンスを達成した。
しかし、これらの攻撃がなぜ効果的かという根本的な疑問や、敵例(AE)の本質的な性質はいまだよく理解されていない。
この研究は、$n$-gramの周波数でテキスト攻撃を解釈しようとする。
具体的には、既存の単語レベルの攻撃は、n$-gram周波数降下 (n$-fd) の例を生成する傾向が強いことが明らかになった。
直感的にこの発見は、n$-fdの例でモデルをトレーニングすることで、モデルの堅牢性を改善する自然な方法を示している。
この概念を検証するために,n$-gram の周波数情報のみに依存するモデル非依存な ae 生成手法を考案し,最近提案された対向学習用凸包フレームワークにさらに統合する。
驚くべきことに、結果として得られる手法はモデルロバストネスの点で元の勾配法と非常によく似ている。
これらの知見は,単語レベルのテキストの敵対的攻撃を解釈するための人間の理解可能な視点と,モデルロバスト性を改善するための新たな方向性を提供する。 Word-level textual adversarial attacks have achieved striking performance in fooling natural language processing models. However, the fundamental questions of why these attacks are effective, and the intrinsic properties of the adversarial examples (AEs), are still not well understood. This work attempts to interpret textual attacks through the lens of $n$-gram frequency. Specifically, it is revealed that existing word-level attacks exhibit a strong tendency toward generation of examples with $n$-gram frequency descend ($n$-FD). Intuitively, this finding suggests a natural way to improve model robustness by training the model on the $n$-FD examples. To verify this idea, we devise a model-agnostic and gradient-free AE generation approach that relies solely on the $n$-gram frequency information, and further integrate it into the recently proposed convex hull framework for adversarial training. Surprisingly, the resultant method performs quite similarly to the original gradient-based method in terms of model robustness. These findings provide a human-understandable perspective for interpreting word-level textual adversarial attacks, and a new direction to improve model robustness. | 翻訳日:2023-02-07 17:31:16 公開日:2023-02-06 |
| # 双方向多目的進化学習:マルチタスクグラフニューラルトポロジー探索の事例研究 Bi-level Multi-objective Evolutionary Learning: A Case Study on Multi-task Graph Neural Topology Search ( http://arxiv.org/abs/2302.02565v1 ) ライセンス: Link先を確認 | Chao Wang, Licheng Jiao, Jiaxuan Zhao, Lingling Li, Xu Liu, Fang Liu, Shuyuan Yang | (参考訳) 機械学習モデルの構築には、2レベル多目的最適化問題(BL-MOP)が多数含まれており、上位レベル(UL)候補解は、下位レベル(LL)のモデルのトレーニング重みによって評価する必要がある。
部分プロブレムのパレート最適性と UL 解と LL 重み間の複素依存のため、UL 解は LL 重みがパレート最適である場合に限り実現可能である。
LL Pareto 重み集合の LL Pareto 重み集合のどの LL Pareto 重み集合がそれぞれの UL 解に最も適しているかを決定するのに計算コストがかかる。
本稿では、上記の意思決定プロセスとUL-MOPの最適化プロセスとを結合した二段階多目的学習フレームワーク(BLMOL)を提案する。
具体的には、UL変数と$r$を同時に探索し、進化的多目的アルゴリズムによって複数のUL目標を最小化する。
$r$に対するLL重みは、勾配に基づく選好マルチオブジェクトアルゴリズムによって、複数のLL目標を最小化するために訓練される。
さらに、UL-MOPの高価な評価プロセスを置き換えるために、選好代理モデルを構築した。
マルチタスクグラフニューラルトポロジー探索における新しいケーススタディについて考察する。
ParetoトポロジとそれらのPareto重みのセットを見つけることを目的としており、それぞれULとLLのタスク間で異なるトレードオフを表現している。
グラフ分類、ノード分類、リンク予測を含む複数のタスクを同時に解くために、検索されたグラフニューラルネットワークが使用される。
実験により、BLMOLは最先端のアルゴリズムより優れ、よく表現可能なUL解とLL重みを生成できることが示された。 The construction of machine learning models involves many bi-level multi-objective optimization problems (BL-MOPs), where upper level (UL) candidate solutions must be evaluated via training weights of a model in the lower level (LL). Due to the Pareto optimality of sub-problems and the complex dependency across UL solutions and LL weights, an UL solution is feasible if and only if the LL weight is Pareto optimal. It is computationally expensive to determine which LL Pareto weight in the LL Pareto weight set is the most appropriate for each UL solution. This paper proposes a bi-level multi-objective learning framework (BLMOL), coupling the above decision-making process with the optimization process of the UL-MOP by introducing LL preference $r$. Specifically, the UL variable and $r$ are simultaneously searched to minimize multiple UL objectives by evolutionary multi-objective algorithms. The LL weight with respect to $r$ is trained to minimize multiple LL objectives via gradient-based preference multi-objective algorithms. In addition, the preference surrogate model is constructed to replace the expensive evaluation process of the UL-MOP. We consider a novel case study on multi-task graph neural topology search. It aims to find a set of Pareto topologies and their Pareto weights, representing different trade-offs across tasks at UL and LL, respectively. The found graph neural network is employed to solve multiple tasks simultaneously, including graph classification, node classification, and link prediction. Experimental results demonstrate that BLMOL can outperform some state-of-the-art algorithms and generate well-representative UL solutions and LL weights. | 翻訳日:2023-02-07 17:30:58 公開日:2023-02-06 |
| # 2層ニューラルネットワークにおける確率勾配Descentによる表現のドリフト Stochastic Gradient Descent-induced drift of representation in a two-layer neural network ( http://arxiv.org/abs/2302.02563v1 ) ライセンス: Link先を確認 | Farhad Pashakhanloo, Alexei Koulakov | (参考訳) 表現的ドリフト(representational drift)とは、安定したタスクパフォーマンスを伴う神経活動の過度な変化を指す。
脳や人工ネットワークで観察されているにもかかわらず、ドリフトのメカニズムとその意味は完全には理解されていない。
近年の梨状皮質における刺激依存性ドリフトの実験結果に動機づけられ,理論とシミュレーションを用いて2層リニアフィードフォワードネットワークでこの現象を研究する。
具体的には,連続学習シナリオにおいて,確率的勾配降下(sgd)に内在する雑音によって引き起こされるドリフトについて検討する。
学習力学を最小損失多様体の正規空間と接空間に分解することにより、前者は有限変動変動変動に対応し、後者は多様体上の効果的な拡散過程と見なすことができる。
ネットワークパラメータと入力分布の関数として,隠れ層における刺激表現のゆらぎと拡散係数を解析的に計算する。
さらに,実験と整合して,より頻繁に提示される刺激に対してドリフト速度が遅いことを示す。
全体として、我々の分析は、生物学的および人工ニューラルネットワークにおけるドリフト現象をよりよく理解するための理論的枠組みをもたらす。 Representational drift refers to over-time changes in neural activation accompanied by a stable task performance. Despite being observed in the brain and in artificial networks, the mechanisms of drift and its implications are not fully understood. Motivated by recent experimental findings of stimulus-dependent drift in the piriform cortex, we use theory and simulations to study this phenomenon in a two-layer linear feedforward network. Specifically, in a continual learning scenario, we study the drift induced by the noise inherent in the Stochastic Gradient Descent (SGD). By decomposing the learning dynamics into the normal and tangent spaces of the minimum-loss manifold, we show the former correspond to a finite variance fluctuation, while the latter could be considered as an effective diffusion process on the manifold. We analytically compute the fluctuation and the diffusion coefficients for the stimuli representations in the hidden layer as a function of network parameters and input distribution. Further, consistent with experiments, we show that the drift rate is slower for a more frequently presented stimulus. Overall, our analysis yields a theoretical framework for better understanding of the drift phenomenon in biological and artificial neural networks. | 翻訳日:2023-02-07 17:30:27 公開日:2023-02-06 |
| # out-of-distribution (ood) 検出の再検討: マスク付きイメージモデリングは必要なだけ Rethinking Out-of-distribution (OOD) Detection: Masked Image Modeling is All You Need ( http://arxiv.org/abs/2302.02615v1 ) ライセンス: Link先を確認 | Jingyao Li, Pengguang Chen, Shaozuo Yu, Zexin He, Shu Liu, Jiaya Jia | (参考訳) out-of-distribution (ood) 検出の中核は、ood サンプルと区別可能な in-distribution (id) 表現を学ぶことである。
従来の研究は、包括的表現の代わりにショートカットを学習する傾向があるID特徴を学習するための認識に基づく手法を適用していた。
本研究は, 簡単な再構成手法を用いることでOOD検出性能が著しく向上することを示す。
我々は,OOD検出の主なコントリビュータを深く掘り下げ,再構成に基づくプレテキストタスクが,一般的に適用可能で効果的な事前情報を提供する可能性を秘め,IDデータセットの本質的なデータ分布を学習するモデルに有効であることを示す。
具体的には、OOD検出フレームワーク(MOOD)のプリテキストタスクとして、Masked Image Modelingを取り上げます。
ベルとホイッスルがなければ、MOODは1級のOOD検出の5.7%、多級のOOD検出の3.0%、ほぼ分布のOOD検出の2.1%において、以前のSOTAよりも優れていた。
OOD検出にはOODサンプルは含まれていませんが、クラス別10ショットのOOD露光を破ります。 The core of out-of-distribution (OOD) detection is to learn the in-distribution (ID) representation, which is distinguishable from OOD samples. Previous work applied recognition-based methods to learn the ID features, which tend to learn shortcuts instead of comprehensive representations. In this work, we find surprisingly that simply using reconstruction-based methods could boost the performance of OOD detection significantly. We deeply explore the main contributors of OOD detection and find that reconstruction-based pretext tasks have the potential to provide a generally applicable and efficacious prior, which benefits the model in learning intrinsic data distributions of the ID dataset. Specifically, we take Masked Image Modeling as a pretext task for our OOD detection framework (MOOD). Without bells and whistles, MOOD outperforms previous SOTA of one-class OOD detection by 5.7%, multi-class OOD detection by 3.0%, and near-distribution OOD detection by 2.1%. It even defeats the 10-shot-per-class outlier exposure OOD detection, although we do not include any OOD samples for our detection | 翻訳日:2023-02-07 17:24:52 公開日:2023-02-06 |
| # 知識グラフ補完のための事前学習フレームワーク A Pre-training Framework for Knowledge Graph Completion ( http://arxiv.org/abs/2302.02614v1 ) ライセンス: Link先を確認 | Kuan Xu, Kuo Yang, Hanyang Dong, Xinyan Wang, Xuezhong Zhou | (参考訳) 知識グラフ補完(KGC)は知識グラフの新しい事実を識別する有効な手法の一つである。
グラフネットワークに基づくいくつかの手法を除いて、KGC手法のほとんどは独立三重項に基づいて訓練される傾向にあるが、知識ネットワークに含まれるグローバルネットワーク接続に関する情報の完全な説明は困難である。
これらの課題に対処するため,本研究では,知識グラフにおけるグローバルネットワーク接続情報と局所的三重関係を考慮した,知識グラフ補完のためのシンプルかつ効果的なネットワークベース事前学習フレームワーク(NetPeace)を提案する。
実験の結果、NetPeaceフレームワークでは、複数のKGCモデルがベンチマークの一貫性と大幅な改善(例えば、FB15k-237上のTuckERの36.45% Hits@1と27.40% MRRの改善)を達成している。
挑戦的な低リソースタスクでは、KGのグローバル機能から恩恵を受けるNetPeaceは、オリジナルモデルよりも高いパフォーマンス(104.03% MRRと143.89%のHit@1の改善)を達成する。 Knowledge graph completion (KGC) is one of the effective methods to identify new facts in knowledge graph. Except for a few methods based on graph network, most of KGC methods trend to be trained based on independent triples, while are difficult to take a full account of the information of global network connection contained in knowledge network. To address these issues, in this study, we propose a simple and effective Network-based Pre-training framework for knowledge graph completion (termed NetPeace), which takes into account the information of global network connection and local triple relationships in knowledge graph. Experiments show that in NetPeace framework, multiple KGC models yields consistent and significant improvements on benchmarks (e.g., 36.45% Hits@1 and 27.40% MRR improvements for TuckER on FB15k-237), especially dense knowledge graph. On the challenging low-resource task, NetPeace that benefits from the global features of KG achieves higher performance (104.03% MRR and 143.89% Hit@1 improvements at most) than original models. | 翻訳日:2023-02-07 17:24:29 公開日:2023-02-06 |
| # ドメインの一般化におけるドメイン関係の活用 Leveraging Domain Relations for Domain Generalization ( http://arxiv.org/abs/2302.02609v1 ) ライセンス: Link先を確認 | Huaxiu Yao, Xinyu Yang, Xinyi Pan, Shengchao Liu, Pang Wei Koh, Chelsea Finn | (参考訳) テスト分布がトレーニング分布と異なる場合、テスト段階ではモデルのパフォーマンスが低くなることが多いため、分散シフトは機械学習の大きな課題である。
本稿では,モデルがトレーニング対象と異なる新しいドメインに適用された場合に生じる領域シフトに着目し,d^3gと呼ばれる新しいアプローチを提案する。
ドメイン不変の単一モデルを学習しようとする従来のアプローチとは異なり、D^3Gは異なるドメイン間の関係を利用してドメイン固有モデルを学ぶ。
具体的には、D^3Gはトレーニング段階で一連のトレーニングドメイン固有の機能を学び、テスト段階でのドメイン関係に基づいてそれらを重み付けする。
これらのドメイン関係は、固定されたドメインメタデータから直接導出または学習することができる。
軽微な仮定の下では、ドメイン関係を用いて訓練領域固有の関数を重み付けすると平均化よりも強い一般化が得られることが理論的に証明された。
実験により, 温度回帰, 土地利用分類, 分子-タンパク質相互作用予測などのタスクにおいて, 玩具と実世界の両方のデータセットを用いてD^3Gの有効性を評価した。
以上の結果から,D^3Gは平均10.6%の性能向上が得られた。 Distribution shift is a major challenge in machine learning, as models often perform poorly during the test stage if the test distribution differs from the training distribution. In this paper, we focus on domain shifts, which occur when the model is applied to new domains that are different from the ones it was trained on, and propose a new approach called D^3G. Unlike previous approaches that aim to learn a single model that is domain invariant, D^3G learns domain-specific models by leveraging the relations among different domains. Concretely, D^3G learns a set of training-domain-specific functions during the training stage and reweights them based on domain relations during the test stage. These domain relations can be directly derived or learned from fixed domain meta-data. Under mild assumptions, we theoretically proved that using domain relations to reweight training-domain-specific functions achieves stronger generalization compared to averaging them. Empirically, we evaluated the effectiveness of D^3G using both toy and real-world datasets for tasks such as temperature regression, land use classification, and molecule-protein interaction prediction. Our results showed that D^3G consistently outperformed state-of-the-art methods, with an average improvement of 10.6% in performance. | 翻訳日:2023-02-07 17:24:11 公開日:2023-02-06 |
| # 確率最適化のためのターゲットベースサーロゲート Target-based Surrogates for Stochastic Optimization ( http://arxiv.org/abs/2302.02607v1 ) ライセンス: Link先を確認 | Jonathan Wilder Lavington, Sharan Vaswani, Reza Babanezhad, Mark Schmidt, Nicolas Le Roux | (参考訳) 我々は(確率的な)勾配を計算するのに費用がかかる関数の最小化を考える。
このような機能は強化学習、模倣学習、敵対的訓練で広く使われている。
対象最適化フレームワークは、(拡張的な)勾配計算を用いて、効率的に最小化できる対象空間(例えば、線形モデルによって出力されるロジット)の代理関数を構築する。
これにより、モデルに複数のパラメータを更新でき、勾配計算のコストを償却できる。
フルバッチ環境では、サロゲートが損失のグローバルな上限であり、ブラックボックス最適化アルゴリズムを用いて(局所的に)最小化できることを示す。
結果として生じるメジャー化最小化アルゴリズムは、損失の定常点への収束を保証する。
次に、我々のフレームワークを確率的設定でインスタンス化し、ターゲット空間における確率的勾配勾配の投影と見なせる$SSO$アルゴリズムを提案する。
この接続により、凸関数の最小化時に$SSO$の理論的保証を証明できる。
本フレームワークは,任意の決定論的最適化手法によって最小化できるサロゲートを構成するための標準確率最適化アルゴリズムの利用を可能にする。
本フレームワークを評価するために,教師付き学習と模倣学習の一連の問題を考察する。
本実験は,目標最適化の利点と$SSO$の有効性を示す。 We consider minimizing functions for which it is expensive to compute the (possibly stochastic) gradient. Such functions are prevalent in reinforcement learning, imitation learning and adversarial training. Our target optimization framework uses the (expensive) gradient computation to construct surrogate functions in a target space (e.g. the logits output by a linear model for classification) that can be minimized efficiently. This allows for multiple parameter updates to the model, amortizing the cost of gradient computation. In the full-batch setting, we prove that our surrogate is a global upper-bound on the loss, and can be (locally) minimized using a black-box optimization algorithm. We prove that the resulting majorization-minimization algorithm ensures convergence to a stationary point of the loss. Next, we instantiate our framework in the stochastic setting and propose the $SSO$ algorithm, which can be viewed as projected stochastic gradient descent in the target space. This connection enables us to prove theoretical guarantees for $SSO$ when minimizing convex functions. Our framework allows the use of standard stochastic optimization algorithms to construct surrogates which can be minimized by any deterministic optimization method. To evaluate our framework, we consider a suite of supervised learning and imitation learning problems. Our experiments indicate the benefits of target optimization and the effectiveness of $SSO$. | 翻訳日:2023-02-07 17:23:48 公開日:2023-02-06 |
| # 大型カーネルモデルに向けて Toward Large Kernel Models ( http://arxiv.org/abs/2302.02605v1 ) ライセンス: Link先を確認 | Amirhesam Abedsoltan, Mikhail Belkin, Parthe Pandit | (参考訳) 最近の研究では、カーネルマシンは小さなデータセット上で、ディープニューラルネットワーク(dnn)よりもよく、あるいはよりよく動作することが示されている。
カーネルマシンへの関心は、特定のレジームにおける広いニューラルネットワークに対する等価性の発見によってさらに高まっている。
しかしながら、dnnsの重要な特徴は、モデルサイズを独立してスケールし、データサイズをトレーニングする能力である。
この結合のため、カーネルマシンから大規模データへのスケーリングは計算的に困難である。
本稿では,大規模な汎用カーネルモデルの構築に向け,モデルとデータを分離したカーネルマシンを一般化し,大規模データセットのトレーニングを可能にする方法を提案する。
具体的には,プロジェクション付きデュアルプリコンディショニングsgdに基づくアルゴリズムであるeigenpro 3.0を導入し,既存のカーネルメソッドでは不可能だったモデルとデータサイズへのスケーリングを示す。 Recent studies indicate that kernel machines can often perform similarly or better than deep neural networks (DNNs) on small datasets. The interest in kernel machines has been additionally bolstered by the discovery of their equivalence to wide neural networks in certain regimes. However, a key feature of DNNs is their ability to scale the model size and training data size independently, whereas in traditional kernel machines model size is tied to data size. Because of this coupling, scaling kernel machines to large data has been computationally challenging. In this paper, we provide a way forward for constructing large-scale general kernel models, which are a generalization of kernel machines that decouples the model and data, allowing training on large datasets. Specifically, we introduce EigenPro 3.0, an algorithm based on projected dual preconditioned SGD and show scaling to model and data sizes which have not been possible with existing kernel methods. | 翻訳日:2023-02-07 17:23:30 公開日:2023-02-06 |
| # リンク予測を超えた推論のための二レベル知識グラフの学習表現 Learning Representations of Bi-Level Knowledge Graphs for Reasoning beyond Link Prediction ( http://arxiv.org/abs/2302.02601v1 ) ライセンス: Link先を確認 | Chanyoung Chung and Joyce Jiyoung Whang | (参考訳) 知識グラフは三重項を用いて既知の事実を表す。
既存の知識グラフ埋め込み手法はエンティティ間の接続のみを考慮しているが、三重項間の関係を考える。
例えば、$T_1$と$T_2$で、$T_1$は(Academy_Awards, Nominates, Avatar)と$T_2$は(Avatar, Wins, Academy_Awards)である。
この2つのベースレベル三重項を考えると、$t_1$は$t_2$の前提条件である。
本稿では,三重項間の関係を表す高次三重項を定義する。例えば,$\langle T_1$,PrerequisiteFor,$T_2\rangle$,PrerequisiteForは高次関係である。
基本レベルと高レベル三重項からなる二段階知識グラフを定義する。
また,二段階知識グラフのランダムウォークに基づくデータ拡張戦略を提案し,有意な三重項を増大させる。
我々のモデルであるBiVEは、ベースレベルと高レベル三重項の構造を考慮し、付加三重項を考慮に入れて埋め込みを学習する。
3重項予測と条件付きリンク予測という2つの新しいタスクを提案する。
三重項 $t_1$ と高次関係を考えると、三重項予測は、高次関係によって$t_1$ と接続される可能性が高い三重項、例えば $\langle t_1$, prerequisitefor, ? を予測する。
略称は$。
例えば、$\langle T_1$, PrerequisiteFor, (Avatar, Wins, ?)$\rangle$などである。
実験の結果,biveは実世界のbiレベル知識グラフにおいて,2つの新しいタスクにおける他の手法,および典型的なベースレベルリンク予測を大きく上回っていることがわかった。 Knowledge graphs represent known facts using triplets. While existing knowledge graph embedding methods only consider the connections between entities, we propose considering the relationships between triplets. For example, let us consider two triplets $T_1$ and $T_2$ where $T_1$ is (Academy_Awards, Nominates, Avatar) and $T_2$ is (Avatar, Wins, Academy_Awards). Given these two base-level triplets, we see that $T_1$ is a prerequisite for $T_2$. In this paper, we define a higher-level triplet to represent a relationship between triplets, e.g., $\langle T_1$, PrerequisiteFor, $T_2\rangle$ where PrerequisiteFor is a higher-level relation. We define a bi-level knowledge graph that consists of the base-level and the higher-level triplets. We also propose a data augmentation strategy based on the random walks on the bi-level knowledge graph to augment plausible triplets. Our model called BiVE learns embeddings by taking into account the structures of the base-level and the higher-level triplets, with additional consideration of the augmented triplets. We propose two new tasks: triplet prediction and conditional link prediction. Given a triplet $T_1$ and a higher-level relation, the triplet prediction predicts a triplet that is likely to be connected to $T_1$ by the higher-level relation, e.g., $\langle T_1$, PrerequisiteFor, ?$\rangle$. The conditional link prediction predicts a missing entity in a triplet conditioned on another triplet, e.g., $\langle T_1$, PrerequisiteFor, (Avatar, Wins, ?)$\rangle$. Experimental results show that BiVE significantly outperforms all other methods in the two new tasks and the typical base-level link prediction in real-world bi-level knowledge graphs. | 翻訳日:2023-02-07 17:23:17 公開日:2023-02-06 |
| # MAP: ファンデーションモデルのためのメモリ対応並列トレーニング自動化 MAP: Memory-aware Automated Intra-op Parallel Training For Foundation Models ( http://arxiv.org/abs/2302.02599v1 ) ライセンス: Link先を確認 | Yuliang Liu, Shenggui Li, Jiarui Fang, Yanjun Shao, Boyuan Yao, Yang You | (参考訳) 近年,大規模モデルが様々な分野の芸術パフォーマンスの水準に達している。
大規模モデルトレーニングをサポートするためには,分散トレーニング技術を使用する必要がある。
しかし、効率的な分散実行計画を見つけるには、演算子のメモリや演算オーバーヘッドなどの詳細なモデル統計を必要とするだけでなく、分散トレーニング分野の専門家にとっても労働集約的な作業である。
本稿では,メモリ対応自動並列化を実現するためにpytorch上に構築されたmapを提案する。
演算子コストをプロファイリングするために、既存のトレーニングシステムと機械学習パイプラインは、各オペランドに対して物理的に実行されるか、スケールした入力テンソルでメモリ使用量を推定する。
MAPは既存の手法と比較して、任意のPyTorchモデルのメモリと計算統計を簡単な時間で生成するための、使いやすいシンボリックプロファイラを提供する。
さらにMAPは,PyTorchの計算グラフ上でのさまざまな静的計画タスクをシームレスに高速化することも可能だ。
ソースコードはhttps://github.com/hpcaitech/ColossalAIで公開されている。 Recently, large models have achieved the state of the art performances in various fields. In order to support large model training, we have to use distributed training techniques. However, finding an efficient distributed execution plan not only requires fine-grained model statistics, such as memory and computing overhead of each operator but also is a labor-intensive task even for an expert in the field of distributed training. In this paper, we introduce MAP, a compiler built upon PyTorch to implement Memory-aware Automated Parallelization. To profiling operator costs, existing training systems and machine learning pipelines either physically execute with respect to each operand or estimate the memory usage with a scaled input tensor, which are often time-consuming and misleading. Compared with existing methods, MAP provides an easy-to-use symbolic profiler to generate memory and computing statistics of an arbitrary PyTorch model with trivial time cost, so it will boost high productivity for ML developers. In addition, MAP can also seamlessly speed up different static planning tasks on computation graphs for PyTorch, and requires only a few lines of modification to user code to generate a new module instance that has a top-performing distributed execution plan. The source code is publicly available at https://github.com/hpcaitech/ColossalAI | 翻訳日:2023-02-07 17:22:39 公開日:2023-02-06 |
| # 教師なし分布検出のためのクラスタ認識コントラスト学習 Cluster-aware Contrastive Learning for Unsupervised Out-of-distribution Detection ( http://arxiv.org/abs/2302.02598v1 ) ライセンス: Link先を確認 | Menglong Chen, Xingtai Gui, Shicai Fan | (参考訳) Unsupervised Out-of-Distribution (OOD) Detectionは、ラベル情報なしでトレーニングデータの分布外に落下するサンプルを分離することを目的としている。
多くの分野において、対比学習は、OOD検出における識別的表現を学習する優れた能力を示している。
しかし、拡張されたサンプル間のインスタンスレベルの関係にのみ焦点を絞った限定的なビジョンでは、同じ意味を持つサンプル間の関係に注意が払われていない。
古典的コントラスト学習に基づいて,インスタンスレベルの情報と意味レベルの情報の両方を考慮した,教師なしOOD検出のためのクラスタ対応コントラスト学習(CCL)フレームワークを提案する。
具体的には, 潜在意味を効果的に抽出し, ood識別能力を高めるためにクラスタ認識型コントラスト損失関数を設計するために, クラスタリングとコントラスト学習の協調戦略を検討する。
損失関数は、クラスタ中心と同じクラスタに属するサンプルの両方を正のサンプルとして扱うことにより、グローバルおよびローカルな関係に同時に注意を払うことができる。
提案手法の有効性を検証するための十分な実験を行い,様々な画像ベンチマークにおいて有意な改善が得られた。 Unsupervised out-of-distribution (OOD) Detection aims to separate the samples falling outside the distribution of training data without label information. Among numerous branches, contrastive learning has shown its excellent capability of learning discriminative representation in OOD detection. However, for its limited vision, merely focusing on instance-level relationship between augmented samples, it lacks attention to the relationship between samples with same semantics. Based on the classic contrastive learning, we propose Cluster-aware Contrastive Learning (CCL) framework for unsupervised OOD detection, which considers both instance-level and semantic-level information. Specifically, we study a cooperation strategy of clustering and contrastive learning to effectively extract the latent semantics and design a cluster-aware contrastive loss function to enhance OOD discriminative ability. The loss function can simultaneously pay attention to the global and local relationships by treating both the cluster centers and the samples belonging to the same cluster as positive samples. We conducted sufficient experiments to verify the effectiveness of our framework and the model achieves significant improvement on various image benchmarks. | 翻訳日:2023-02-07 17:22:17 公開日:2023-02-06 |
| # ProbPNN:統計情報による深い確率予測の強化 ProbPNN: Enhancing Deep Probabilistic Forecasting with Statistical Information ( http://arxiv.org/abs/2302.02597v1 ) ライセンス: Link先を確認 | Benedikt Heidrich, Kaleb Phipps, Oliver Neumann, Marian Turowski, Ralf Mikut, Veit Hagenmeyer | (参考訳) 確率的予測は、ビジネス開発、交通計画、電力網のバランスといった様々な下流アプリケーションに不可欠である。
これらの確率予測の多くは、カレンダー駆動の周期性を含む時系列データに基づいて行われる。
しかし、既存の確率予測手法はこれらの周期性を明示的に考慮していない。
そこで本研究では,これらのカレンダー駆動の周期性を明確に考慮した深層学習手法を提案する。
まず,カレンダ駆動の事前知識を用いてローリング統計を作成し,それらをニューラルネットワークと組み合わせ,確率的予測を行う統計的手法を適用する。
第2に,1000以上の時系列を含む2つのデータセットにおいて,達成された正規化連続ランク付き確率スコア(ncrps)と正規化ピンボール損失(npl)を比較し,probpnnを最先端ベンチマークと比較した。
ベンチマークの結果,統計的予測成分を用いることで確率的予測性能が向上し,ProbPNNは計算コストの低減を図りながら,他のディープラーニング予測手法よりも優れていた。 Probabilistic forecasts are essential for various downstream applications such as business development, traffic planning, and electrical grid balancing. Many of these probabilistic forecasts are performed on time series data that contain calendar-driven periodicities. However, existing probabilistic forecasting methods do not explicitly take these periodicities into account. Therefore, in the present paper, we introduce a deep learning-based method that considers these calendar-driven periodicities explicitly. The present paper, thus, has a twofold contribution: First, we apply statistical methods that use calendar-driven prior knowledge to create rolling statistics and combine them with neural networks to provide better probabilistic forecasts. Second, we benchmark ProbPNN with state-of-the-art benchmarks by comparing the achieved normalised continuous ranked probability score (nCRPS) and normalised Pinball Loss (nPL) on two data sets containing in total more than 1000 time series. The results of the benchmarks show that using statistical forecasting components improves the probabilistic forecast performance and that ProbPNN outperforms other deep learning forecasting methods whilst requiring less computation costs. | 翻訳日:2023-02-07 17:21:57 公開日:2023-02-06 |
| # 新しい「スパースランド」で学んだ10の教訓:スパースニューラルネットワーク研究者のための短いハンドブック Ten Lessons We Have Learned in the New "Sparseland": A Short Handbook for Sparse Neural Network Researchers ( http://arxiv.org/abs/2302.02596v1 ) ライセンス: Link先を確認 | Shiwei Liu and Zhangyang Wang | (参考訳) 本稿では,新しいアルゴリズムや新しいハードウェアの提案はしない。
その代わり、SNN(Sparse Neural Network)研究コミュニティがますます繁栄する中で、"共通善(common good)"を提供することを目指している。
私たちはSNNでよく見られる混乱を要約しようと試みており、論文レビューや論評、講演など様々なシナリオで遭遇する可能性がある。
SNNリサーチの焦点は、従来型プルーニングから、トレーニング前、中、および後、より多様性があり、より深遠な形へとシフトしていることから、そうすることは有意義でタイムリーであると感じています。
彼らのスコープ、仮定、アプローチの間の複雑な関係は、非専門家やSNNの専門家にとって誤解を招く。
これに反応して、snsのsnsの10つのq\&aを要約し、例えば、sparse vs. sparse、非構造化sparse vs. structured sparse、pruning vs. sparse training、sparse-to-sparse training vs. sparse-to-sparse training、static sparsity vs. dynamic sparsity、pretraining/during-training vs. post-training sparsityなどについてまとめた。
我々は,これらの混乱を可能な限り明確化するために,適切かつ汎用的な回答を提供することに努める。
私たちの要約は、このエキサイティングなコミュニティに入り込みたい人々のために有用な一般的な知識を提供し、また、sn研究者が正しい文脈で自分の仕事を説明するための"簡単な考え方"を提供することを期待しています。
少なくとも(おそらくこの記事の最も重要でないターゲット機能として)、SNNの分野で論文を書いたり、あるいは論評を書いたりする場合、私たちの回答が役に立つことを願っています! This article does not propose any novel algorithm or new hardware for sparsity. Instead, it aims to serve the "common good" for the increasingly prosperous Sparse Neural Network (SNN) research community. We attempt to summarize some most common confusions in SNNs, that one may come across in various scenarios such as paper review/rebuttal and talks - many drawn from the authors' own bittersweet experiences! We feel that doing so is meaningful and timely, since the focus of SNN research is notably shifting from traditional pruning to more diverse and profound forms of sparsity before, during, and after training. The intricate relationships between their scopes, assumptions, and approaches lead to misunderstandings, for non-experts or even experts in SNNs. In response, we summarize ten Q\&As of SNNs from many key aspects, including dense vs. sparse, unstructured sparse vs. structured sparse, pruning vs. sparse training, dense-to-sparse training vs. sparse-to-sparse training, static sparsity vs. dynamic sparsity, before-training/during-training vs. post-training sparsity, and many more. We strive to provide proper and generically applicable answers to clarify those confusions to the best extent possible. We hope our summary provides useful general knowledge for people who want to enter and engage with this exciting community; and also provides some "mind of ease" convenience for SNN researchers to explain their work in the right contexts. At the very least (and perhaps as this article's most insignificant target functionality), if you are writing/planning to write a paper or rebuttal in the field of SNNs, we hope some of our answers could help you! | 翻訳日:2023-02-07 17:21:38 公開日:2023-02-06 |
| # 時系列データを用いた木ベース学習による分類精度の向上 Tree-Based Learning on Amperometric Time Series Data Demonstrates High Accuracy for Classification ( http://arxiv.org/abs/2302.02650v1 ) ライセンス: Link先を確認 | Jeyashree Krishnan, Zeyu Lian, Pieter E. Oomen, Xiulan He, Soodabeh Majdi, Andreas Schuppert, Andrew Ewing | (参考訳) エキソサイトーシスプロセスの解明は、細胞性神経伝達機構の洞察を与え、神経変性疾患の研究に潜在する可能性がある。
アンペロメトリー(amperometry)は、細胞内から放出される神経伝達物質を検出するための確立された電気化学的手法である。
アンペロメトリー法の重要な側面は、数百ギガバイトの高品質なデータに繋がる現在の記録の1ミリ秒以下の時間分解能である。
本研究では,計算科学におけるデータ駆動型アプローチを用いて,多様なアンペロメトリデータセットに対する分類法を提案する。
非常に高い予測精度(95%以上)を示す。
これには、前処理、特徴抽出、モデル識別、トレーニングとテスト、続いて機能重要度評価を含む、アンペロメトリ時系列データセットのためのエンドツーエンドの体系的な機械学習ワークフローが含まれている。
異なる実験手法, 化学刺激, 電極タイプ, 様々な記録時間を用いて, 不均一な時系列データセットを用いて実験を行った。
これらのデータセットにまたがって、正確な予測を可能にする、ある種の包括的な共通機能セットを特定しました。
さらに,アンペロメトリックトレースの分類に関連する情報は,スパイクセグメントのみには存在せず,スパイクの時間構造のみから検索することも可能であることを示した。
実際、スパイクとトレースベースラインの間の過渡性は、うまく分類するのに不可欠な情報を持ち、その結果、アンペロメトリ時系列の効果的な特徴表現が全時系列を必要とすることが強く証明される。
私たちの知る限りでは、これは機械学習、特に全アンペロメトリー時系列データを用いた教師付き学習のためのスキームを提案する最初の研究の1つである。 Elucidating exocytosis processes provide insights into cellular neurotransmission mechanisms, and may have potential in neurodegenerative diseases research. Amperometry is an established electrochemical method for the detection of neurotransmitters released from and stored inside cells. An important aspect of the amperometry method is the sub-millisecond temporal resolution of the current recordings which leads to several hundreds of gigabytes of high-quality data. In this study, we present a universal method for the classification with respect to diverse amperometric datasets using data-driven approaches in computational science. We demonstrate a very high prediction accuracy (greater than or equal to 95%). This includes an end-to-end systematic machine learning workflow for amperometric time series datasets consisting of pre-processing; feature extraction; model identification; training and testing; followed by feature importance evaluation - all implemented. We tested the method on heterogeneous amperometric time series datasets generated using different experimental approaches, chemical stimulations, electrode types, and varying recording times. We identified a certain overarching set of common features across these datasets which enables accurate predictions. Further, we showed that information relevant for the classification of amperometric traces are neither in the spiky segments alone, nor can it be retrieved from just the temporal structure of spikes. In fact, the transients between spikes and the trace baselines carry essential information for a successful classification, thereby strongly demonstrating that an effective feature representation of amperometric time series requires the full time series. To our knowledge, this is one of the first studies that propose a scheme for machine learning, and in particular, supervised learning on full amperometry time series data. | 翻訳日:2023-02-07 17:15:30 公開日:2023-02-06 |
| # 事象関連電位の分類に応用した量子機械学習への第一歩 First steps towards quantum machine learning applied to the classification of event-related potentials ( http://arxiv.org/abs/2302.02648v1 ) ライセンス: Link先を確認 | Gr\'egoire Cattan, Alexandre Quemy (PUT), Anton Andreev (GIPSA-Services) | (参考訳) 低情報伝達速度は、臨床応用のための非侵襲脳波(EEG)に基づく脳-コンピュータインターフェースの主要なボトルネックである。
これはより堅牢で正確な分類器の開発につながった。
本研究では,量子化支援ベクトル分類器(QSVC)の性能について検討する。
QSVCのトレーニング(予測)精度は83.17 (50.25) %であった。
その結果,脳波データから分類器が学習できたが,高い予測精度を得るためにはさらなる研究が必要であることがわかった。
これは、ショットの数を増やすなど、分類器のより良い構成によって達成できる。 Low information transfer rate is a major bottleneck for brain-computer interfaces based on non-invasive electroencephalography (EEG) for clinical applications. This led to the development of more robust and accurate classifiers. In this study, we investigate the performance of quantum-enhanced support vector classifier (QSVC). Training (predicting) balanced accuracy of QSVC was 83.17 (50.25) %. This result shows that the classifier was able to learn from EEG data, but that more research is required to obtain higher predicting accuracy. This could be achieved by a better configuration of the classifier, such as increasing the number of shots. | 翻訳日:2023-02-07 17:15:02 公開日:2023-02-06 |
| # 簡易な断続的時間問題のモデルとアルゴリズム Models and algorithms for simple disjunctive temporal problems ( http://arxiv.org/abs/2302.02644v1 ) ライセンス: Link先を確認 | Carlo S. Sartori, Pieter Smet, Greet Vanden Berghe | (参考訳) 単純な時間的問題は、ロジスティクス、ロボット計画、管理システムなど、多くの現実世界のアプリケーションで発生する事象間の時間的関係を記述することができる強力なモデルのクラスを表す。
古典的な単純な時間問題により、各イベントは単一のリリースと期限しか持たない。
本稿では,イベントが任意に多数のリリースと予定日を持つ場合に焦点を当てる。
しかし、この種の問題は様々な名称で言及されている。
命名法を簡素化し標準化するために,簡単な解法時間問題(Simple Disjunctive Temporal Problem)という名称を導入する。
本稿では,制約プログラミングと線形プログラミングを用いた3つの数学的モデルを提案する。
従来の研究に触発された2つの新しいアルゴリズムを考案し,問題の構造を活用し,空間複雑性を著しく低減した。
さらに,本論文から得られたアルゴリズムを実装し,様々な実験において単純な時空間問題を解く方法の比較実験を行った。
我々の分析と結論は、新しいアプリケーションで同様の時間的制約問題に取り組むとき、将来の研究者や実践者にガイダンスを提供する。
すべての結果、ソースコード、インスタンスは、将来の研究を支援するために公開されています。 Simple temporal problems represent a powerful class of models capable of describing the temporal relations between events that arise in many real-world applications such as logistics, robot planning and management systems. The classic simple temporal problem permits each event to have only a single release and due date. In this paper, we focus on the case where events may have an arbitrarily large number of release and due dates. This type of problem, however, has been referred to by various names. In order to simplify and standardize nomenclatures, we introduce the name Simple Disjunctive Temporal Problem. We provide three mathematical models to describe this problem using constraint programming and linear programming. To efficiently solve simple disjunctive temporal problems, we design two new algorithms inspired by previous research, both of which exploit the problem's structure to significantly reduce their space complexity. Additionally, we implement algorithms from the literature and provide the first in-depth empirical study comparing methods to solve simple disjunctive temporal problems across a wide range of experiments. Our analysis and conclusions offer guidance for future researchers and practitioners when tackling similar temporal constraint problems in new applications. All results, source code and instances are made publicly available to further assist future research. | 翻訳日:2023-02-07 17:14:54 公開日:2023-02-06 |
| # 表面スペクトル特性に対する放射光伝達の近似 Approximation of radiative transfer for surface spectral features ( http://arxiv.org/abs/2302.02641v1 ) ライセンス: Link先を確認 | Fr\'ed\'eric Schmidt | (参考訳) リモートセンシングハイパースペクトルおよびより一般的なスペクトル計は、地球と惑星科学における表面特徴を解読するための一般的なツールである。
線形混合は化合物の検出(ミネラル、水、氷など)において最も一般的な近似法であるが、表面および媒体中の光の移動は非線形である。
非線型性の正確なシミュレーションは非常に高い数値コストで推定できる。
ここでは、放射移動から近似表面スペクトル特性への非常に単純な非線形形式(正則線形領域混合を含む)を提案する。
この解析形式は, 表面特性の粒径と親密な混合依存性を近似することができることを示す。
加えて、同じ分析形式は火星の鉱物エアロゾルの影響を近似することができる。
残念ながら、地球エアロゾルはより複雑(水滴、氷、すす、...)で、同じ傾向を辿ることは期待されていない。 Remote sensing hyperspectral and more generally spectral instruments are common tools to decipher surface features in Earth and Planetary science. While linear mixture is the most common approximation for compounds detection (mineral, water, ice, etc...), the transfer of light in surface and atmospheric medium are highly non-linear. The exact simulation of non-linearities can be estimated at very high numerical cost. Here I propose a very simple non-linear form (that includes the regular linear area mixture) of radiative transfer to approximate surface spectral feature. I demonstrate that this analytical form is able to approximate the grain size and intimate mixture dependence of surface features. In addition, the same analytical form can approximate the effect of Martian mineral aerosols. Unfortunately, Earth aerosols are more complex (water droplet, water ice, soot,...) and are not expected to follow the same trend. | 翻訳日:2023-02-07 17:14:36 公開日:2023-02-06 |
| # マルチスセナリオ広告ランキングのためのハイブリッドコントラスト制約 Hybrid Contrastive Constraints for Multi-Scenario Ad Ranking ( http://arxiv.org/abs/2302.02636v1 ) ライセンス: Link先を確認 | Shanlei Mu, Penghui Wei, Wayne Xin Zhao, Shaoguo Liu, Liang Wang, Bo Zheng | (参考訳) multi-scenario ad rankingは、複数のドメインやチャネルからのデータを活用して、統一されたランキングモデルをトレーニングすることで、個々のシナリオのパフォーマンスを改善することを目的としている。
この課題の研究は重要な進展を遂げているが、それでもクロスシナリオ関係の考慮が欠如しており、学習能力の制限と相互関係モデリングの難しさにつながっている。
本稿では,マルチシナリオ広告ランキングのためのHybrid Contrastive Constrained Approach (HC^2)を提案する。
データ相互関係のモデリングを強化するために,複数のシナリオ間の共通性と差異を捉えるためのハイブリッドコントラスト学習手法を精巧に設計した。
提案手法のコアとなるのは,共通知識とシナリオ固有の知識の獲得を目的とした,総合的および個人的コントラスト的損失の2つである。
複雑なマルチシナリオ設定にコントラスト学習を適用するため、我々は、一連の重要な改善を提案する。
コントラスト損失を一般化するために,コントラストサンプル(ラベル認識と拡散雑音強調コントラストサンプル)を拡張し,コントラストサンプル(相互類似度重み付け)を重み付けすることでコントラスト学習を強化する。
個別のコントラスト損失には, それぞれ有意な正および負のコントラストサンプルを生成するために, ドロップアウトに基づく拡張戦略と, クロスシナリオ符号化を用いる。
オフライン評価とオンラインテストの両方における大規模な実験により,提案したHC$^2$の有効性が実証された。 Multi-scenario ad ranking aims at leveraging the data from multiple domains or channels for training a unified ranking model to improve the performance at each individual scenario. Although the research on this task has made important progress, it still lacks the consideration of cross-scenario relations, thus leading to limitation in learning capability and difficulty in interrelation modeling. In this paper, we propose a Hybrid Contrastive Constrained approach (HC^2) for multi-scenario ad ranking. To enhance the modeling of data interrelation, we elaborately design a hybrid contrastive learning approach to capture commonalities and differences among multiple scenarios. The core of our approach consists of two elaborated contrastive losses, namely generalized and individual contrastive loss, which aim at capturing common knowledge and scenario-specific knowledge, respectively. To adapt contrastive learning to the complex multi-scenario setting, we propose a series of important improvements. For generalized contrastive loss, we enhance contrastive learning by extending the contrastive samples (label-aware and diffusion noise enhanced contrastive samples) and reweighting the contrastive samples (reciprocal similarity weighting). For individual contrastive loss, we use the strategies of dropout-based augmentation and {cross-scenario encoding} for generating meaningful positive and negative contrastive samples, respectively. Extensive experiments on both offline evaluation and online test have demonstrated the effectiveness of the proposed HC$^2$ by comparing it with a number of competitive baselines. | 翻訳日:2023-02-07 17:14:25 公開日:2023-02-06 |
| # 目標設定による(自己)管理の規範的理論に向けて Toward a normative theory of (self-)management by goal-setting ( http://arxiv.org/abs/2302.02633v1 ) ライセンス: Link先を確認 | Nishad Singhi, Florian Mohnert, Ben Prystawski, Falk Lieder | (参考訳) 人々はしばしば、複雑さが認知能力を超える問題に直面します。
この複雑さに対処するために、個人とマネージャは複雑な問題を一連のサブゴールに分解することができる。
どのサブゴールが最も効果的かは、人々の認知的制約と目標追求の認知メカニズムに依存する。
これにより、サブゴールマネージャや個人が境界合理性の認知モデルから設定すべき実践的な推奨を導き出す機会が生まれます。
この機会をつかむために、目標設定による(自己)管理の数学的に正確な規範理論を定式化するために、資源合理性の原理を適用する。
我々は、この理論を利用して、人間の目標追求の資源-合理的モデルから最適なサブゴールを導出する。
最後に,得られたサブゴールが,有界エージェントとヒト参加者の問題解決性能を向上させることを示す。
これは、管理の規範的理論の基礎となる第一歩であり、関連する心理的プロセスと認知的限界の計算モデルにおけるゴールセットの実践的推奨である。 People are often confronted with problems whose complexity exceeds their cognitive capacities. To deal with this complexity, individuals and managers can break complex problems down into a series of subgoals. Which subgoals are most effective depends on people's cognitive constraints and the cognitive mechanisms of goal pursuit. This creates an untapped opportunity to derive practical recommendations for which subgoals managers and individuals should set from cognitive models of bounded rationality. To seize this opportunity, we apply the principle of resource-rationality to formulate a mathematically precise normative theory of (self-)management by goal-setting. We leverage this theory to computationally derive optimal subgoals from a resource-rational model of human goal pursuit. Finally, we show that the resulting subgoals improve the problem-solving performance of bounded agents and human participants. This constitutes a first step towards grounding prescriptive theories of management and practical recommendations for goal-setting in computational models of the relevant psychological processes and cognitive limitations. | 翻訳日:2023-02-07 17:14:00 公開日:2023-02-06 |
| # 信頼と検証 - 自己監督型調査による信頼性向上 Trust, but Verify: Using Self-Supervised Probing to Improve Trustworthiness ( http://arxiv.org/abs/2302.02628v1 ) ライセンス: Link先を確認 | Ailin Deng, Shen Li, Miao Xiong, Zhirui Chen, and Bryan Hooi | (参考訳) 信頼できる機械学習は、ディープラーニングモデルの実践的展開において最も重要なものである。
最先端のモデルは正確さという点で驚くほど優れた性能を発揮するが、最近の文献では彼らの予測的自信のスコアは残念ながら信頼できないことが判明している。
本稿では,学習モデルに対する過信問題をチェック・緩和し,信頼性を向上させるための,自己監視型プローブの新たなアプローチを提案する。
我々は,既存の信頼度関連手法をプラグイン・アンド・プレイ方式で柔軟に適用可能な,単純かつ効果的なフレームワークを提供する。
3つの信頼度関連タスク(ミスクラス化検出、キャリブレーション、分散検出)に関する広範囲な実験を行い、提案手法の有効性を検証した。 Trustworthy machine learning is of primary importance to the practical deployment of deep learning models. While state-of-the-art models achieve astonishingly good performance in terms of accuracy, recent literature reveals that their predictive confidence scores unfortunately cannot be trusted: e.g., they are often overconfident when wrong predictions are made, or so even for obvious outliers. In this paper, we introduce a new approach of self-supervised probing, which enables us to check and mitigate the overconfidence issue for a trained model, thereby improving its trustworthiness. We provide a simple yet effective framework, which can be flexibly applied to existing trustworthiness-related methods in a plug-and-play manner. Extensive experiments on three trustworthiness-related tasks (misclassification detection, calibration and out-of-distribution detection) across various benchmarks verify the effectiveness of our proposed probing framework. | 翻訳日:2023-02-07 17:13:43 公開日:2023-02-06 |
| # 仮想量子エラー検出 Virtual quantum error detection ( http://arxiv.org/abs/2302.02626v1 ) ライセンス: Link先を確認 | Kento Tsubouchi, Yasunari Suzuki, Yuuki Tokunaga, Nobuyuki Yoshioka, Suguru Endo | (参考訳) 量子誤差補正と量子誤差検出は、エラーを検出するために症候群の測定を必要とする。
シンドローム測定は、現在の量子ハードウェアのゲート忠実度よりも一般的に低いことを考えると、単発測定で各安定器ジェネレータに対して実施する必要がある。
本稿では、対称性拡張と呼ばれる量子エラー緩和法を一般化することにより、仮想量子エラー検出(VQED)と呼ばれるプロトコルを提案する。
この方法では、回路実行中の量子誤差検出により得られた後選択量子状態に対応する計算結果を、シンドローム測定なしで事実上評価することができる。
さらに、従来の量子誤り検出では安定化器発生器毎にハダマールテスト回路の実装が必要であったが、vqedプロトコルは安定器発生器数に関係なく、アンシラ量子ビットの定深さ浅層量子回路で実行可能である。
さらに、VQEDは他のエラー軽減方式と完全に互換性があり、計算精度が向上し、高忠実度量子コンピューティングにつながる。 Quantum error correction and quantum error detection necessitate syndrome measurements to detect errors. Syndrome measurements need to be performed for each stabilizer generator with single-shot measurements, which can be a significant overhead, considering the fact that the readout fidelity is generally lower than gate fidelity in the current quantum hardware. Here, by generalizing a quantum error mitigation method called symmetry expansion, we propose a protocol that we call virtual quantum error detection (VQED). This method virtually allows for evaluating computation results corresponding to post-selected quantum states obtained through quantum error detection during circuit execution without syndrome measurements. Furthermore, while the conventional quantum error detection needs the implementation of Hadamard test circuits for each stabilizer generator, our VQED protocol can be performed with a constant depth shallow quantum circuit with an ancilla qubit, irrespective of the number of stabilizer generators. In addition, VQED is fully compatible with other error mitigation schemes for further improvement of computation accuracy, thus leading to high-fidelity quantum computing. | 翻訳日:2023-02-07 17:13:30 公開日:2023-02-06 |
| # 不確実性校正と物体検出への応用 Uncertainty Calibration and its Application to Object Detection ( http://arxiv.org/abs/2302.02622v1 ) ライセンス: Link先を確認 | Fabian K\"uppers | (参考訳) 画像に基づく環境認識は特に運転支援システムや自動運転にとって重要な要素である。
このスコープでは、現代の神経回路網を用いて複数の物体を識別し、その位置と大きさの情報を単一のフレーム内で特定する。
このようなオブジェクト検出モデルの性能は、システム全体のパフォーマンスにとって重要である。
しかし、検出モデルは、一定の不確実性の下でこれらの物体を予測することもできる。
本研究では,意味的不確実性(どのオブジェクトタイプか?)と空間的不確実性(オブジェクトはどこにあり,どのくらいの大きさか?)について検討する。
オブジェクト検出モデルの予測不確かさが実世界のデータ上で達成された観測誤差と一致しているかを評価する。
本研究の第1部では,オブジェクト検出,インスタンスセグメンテーション,セマンティクスセグメンテーションの文脈における意味的不確かさの信頼度校正の定義について紹介する。
対象物の位置が意味的キャリブレーション特性に与える影響を評価するために,試験に付加的な位置情報を統合する。
キャリブレーションの測定に加えて、誤校正されたかもしれないセマンティック不確実性のポストホックリカレーションを行うこともできる。
[...]本研究の第2部は確率的検出モデルにより得られた空間的不確実性を扱う。
] 位置情報のパラメトリック不確かさ分布をより柔軟に得ることができるように, 一般的な校正法を見直し, 拡張した。
最後に、オブジェクト追跡の文脈において、導出したキャリブレーション手法のユースケースを実証する。
[...]先述した校正技術を統合し、その後のプロセスにおいて意味的・空間的不確実性校正の有用性を実証する。
[...] Image-based environment perception is an important component especially for driver assistance systems or autonomous driving. In this scope, modern neuronal networks are used to identify multiple objects as well as the according position and size information within a single frame. The performance of such an object detection model is important for the overall performance of the whole system. However, a detection model might also predict these objects under a certain degree of uncertainty. [...] In this work, we examine the semantic uncertainty (which object type?) as well as the spatial uncertainty (where is the object and how large is it?). We evaluate if the predicted uncertainties of an object detection model match with the observed error that is achieved on real-world data. In the first part of this work, we introduce the definition for confidence calibration of the semantic uncertainty in the context of object detection, instance segmentation, and semantic segmentation. We integrate additional position information in our examinations to evaluate the effect of the object's position on the semantic calibration properties. Besides measuring calibration, it is also possible to perform a post-hoc recalibration of semantic uncertainty that might have turned out to be miscalibrated. [...] The second part of this work deals with the spatial uncertainty obtained by a probabilistic detection model. [...] We review and extend common calibration methods so that it is possible to obtain parametric uncertainty distributions for the position information in a more flexible way. In the last part, we demonstrate a possible use-case for our derived calibration methods in the context of object tracking. [...] We integrate our previously proposed calibration techniques and demonstrate the usefulness of semantic and spatial uncertainty calibration in a subsequent process. [...] | 翻訳日:2023-02-07 17:13:13 公開日:2023-02-06 |
| # 新型CNNと放射線画像を用いたCOVID-19感染分析フレームワーク COVID-19 Infection Analysis Framework using Novel Boosted CNNs and Radiological Images ( http://arxiv.org/abs/2302.02619v1 ) ライセンス: Link先を確認 | Saddam Hussain Khan (Department of Computer Systems Engineering, University of Engineering and Applied Science, Swat, Pakistan) | (参考訳) 新型コロナウイルス(COVID-19)は、2019年末にヒトに初めて出現した新しい病原体で、感染後に新しい種類の肺炎を引き起こす可能性がある。
新型コロナウイルスは急速に流行する感染症で、人間に早く感染する。
したがって、効率的な診断システムは、感染した患者を正確に識別し、その拡散を制御するのに役立つ。
本研究では、新型コロナウイルスの微小な不規則性を分析するために、新しい2段階分析フレームワークを開発した。
スプリットトランスフォームマージ(stm)ブロックとチャネルブースティング(cb)を組み込んだ新しい検出畳み込みニューラルネットワーク(cnn)であるstm-brnetを開発した。
それぞれのSTMブロックは、新型コロナウイルス感染検出のための境界および領域平滑な特徴を抽出する。
さらに, STMブロックに新たなCB and Transfer Learning (TL) の概念を導入して, 新型コロナウイルス特有の画像の小さな照明やテクスチャのバリエーションを捉えることで, 様々なブーストチャネルが得られる。
新型のSA-CB-BRSegセグメンテーションCNNは、第2段階の画像に感染を規定する。
sa-cb-brsegは、エンコーダとデコーダの平滑化と不均質な操作を利用して、領域の均質性、テクスチャのばらつき、境界といったcovid-19特有のパターンを同時に捉えた。
さらに、新しいcb概念がsa-cb-brsegのデコーダに導入され、tlを用いて低コントラスト領域を学習する追加のチャネルを組み合わせる。
提案するstm-brnetとsa-cb-brsegはそれぞれ98.01 %,リコール:98.12%,f-score:98.11%,dice類似度:96.396%,iou:98.845 %であった。
提案する2段階フレームワークは単相および他の報告されたシステムに比べて性能を著しく向上させ,放射線科医の負担を軽減した。 COVID-19 is a new pathogen that first appeared in the human population at the end of 2019, and it can lead to novel variants of pneumonia after infection. COVID-19 is a rapidly spreading infectious disease that infects humans faster. Therefore, efficient diagnostic systems may accurately identify infected patients and thus help control their spread. In this regard, a new two-stage analysis framework is developed to analyze minute irregularities of COVID-19 infection. A novel detection Convolutional Neural Network (CNN), STM-BRNet, is developed that incorporates the Split-Transform-Merge (STM) block and channel boosting (CB) to identify COVID-19 infected CT slices in the first stage. Each STM block extracts boundary and region-smoothing-specific features for COVID-19 infection detection. Moreover, the various boosted channels are obtained by introducing the new CB and Transfer Learning (TL) concept in STM blocks to capture small illumination and texture variations of COVID-19-specific images. The COVID-19 CTs are provided with new SA-CB-BRSeg segmentation CNN for delineating infection in images in the second stage. SA-CB-BRSeg methodically utilized smoothening and heterogeneous operations in the encoder and decoder to capture simultaneously COVID-19 specific patterns that are region homogeneity, texture variation, and boundaries. Additionally, the new CB concept is introduced in the decoder of SA-CB-BRSeg by combining additional channels using TL to learn the low contrast region. The proposed STM-BRNet and SA-CB-BRSeg yield considerable achievement in accuracy: 98.01 %, Recall: 98.12%, F-score: 98.11%, and Dice Similarity: 96.396%, IOU: 98.845 % for the COVID-19 infectious region, respectively. The proposed two-stage framework significantly increased performance compared to single-phase and other reported systems and reduced the burden on the radiologists. | 翻訳日:2023-02-07 17:12:50 公開日:2023-02-06 |
| # 潜在変数および構造方程式モデルの同定可能性:線形から非線形へ Identifiability of latent-variable and structural-equation models: from linear to nonlinear ( http://arxiv.org/abs/2302.02672v1 ) ライセンス: Link先を確認 | Aapo Hyv\"arinen, Ilyes Khemakhem, Ricardo Monti | (参考訳) 多変量統計学における古い問題として、線形ガウスモデルはしばしば同定不能であり、あるパラメータは一意的に推定できない。
因子分析では、因子の直交回転は特定できないが、線形回帰では効果の方向は特定できない。
このような線形モデルでは、(相対)変数の非ガウス性が識別可能性をもたらすことが示されている。
因子分析の場合、これは独立成分分析につながるが、効果の方向の場合には、構造方程式モデリングの非ガウシアンバージョンが問題を解く。
最近では、そのようなモデルの一般の非パラメトリック非線形バージョンでさえ、どのように推定できるかが示されている。
非ガウス性は、この場合では十分ではないが、時系列がある、あるいは、分布が観測された補助変数によって適切に変調されていると仮定すると、モデルは識別可能である。
本稿では、因子分析モデルと構造方程式モデルの両方を考慮して、線形および非線形の場合の識別可能性理論をレビューする。 An old problem in multivariate statistics is that linear Gaussian models are often unidentifiable, i.e. some parameters cannot be uniquely estimated. In factor analysis, an orthogonal rotation of the factors is unidentifiable, while in linear regression, the direction of effect cannot be identified. For such linear models, non-Gaussianity of the (latent) variables has been shown to provide identifiability. In the case of factor analysis, this leads to independent component analysis, while in the case of the direction of effect, non-Gaussian versions of structural equation modelling solve the problem. More recently, we have shown how even general nonparametric nonlinear versions of such models can be estimated. Non-Gaussianity is not enough in this case, but assuming we have time series, or that the distributions are suitably modulated by some observed auxiliary variables, the models are identifiable. This paper reviews the identifiability theory for the linear and nonlinear cases, considering both factor analytic models and structural equation models. | 翻訳日:2023-02-07 17:07:38 公開日:2023-02-06 |
| # 時間固定および時間依存予測のためのランダムフォレスト:DynForest Rパッケージ Random Forests for time-fixed and time-dependent predictors: The DynForest R package ( http://arxiv.org/abs/2302.02670v1 ) ライセンス: Link先を確認 | Anthony Devaux (BPH), C\'ecile Proust-Lima (BPH), Robin Genuer (BPH) | (参考訳) rパッケージdynforestは、時間固定および時間依存予測に基づいてカテゴリまたは(複数の原因)時間対イベントの結果を予測するランダムフォレストを実装している。
ランダムな森林を通して、時間依存予測器は被写体固有の時間で誤差を測定でき、不均一(すなわち、結果の過程に影響される)となる。
それらは、ユーザが事前に指定した時間関連を持つ柔軟な線形混合モデル(lcmmパッケージのおかげである)を使って内部的にモデル化される。
dynforestは、時間固定および時間依存予測器からのすべての情報を考慮した動的予測を計算する。
DynForestは、変数の重要度と最小の深さを使って、最も予測可能な変数に関する情報も提供する。
変数の重要性は変数群上でも計算できる。
結果を表示するために、要約関数やプロット関数などいくつかの関数が利用できる。
本稿は、DynForest内のランダムな森林に適合する様々な機能のステップバイステップ例をユーザに提供することを目的とする。 The R package DynForest implements random forests for predicting a categorical or a (multiple causes) time-to-event outcome based on time-fixed and time-dependent predictors. Through the random forests, the time-dependent predictors can be measured with error at subject-specific times, and they can be endogeneous (i.e., impacted by the outcome process). They are modeled internally using flexible linear mixed models (thanks to lcmm package) with time-associations pre-specified by the user. DynForest computes dynamic predictions that take into account all the information from time-fixed and time-dependent predictors. DynForest also provides information about the most predictive variables using variable importance and minimal depth. Variable importance can also be computed on groups of variables. To display the results, several functions are available such as summary and plot functions. This paper aims to guide the user with a step-by-step example of the different functions for fitting random forests within DynForest. | 翻訳日:2023-02-07 17:07:22 公開日:2023-02-06 |
| # スケーラブルで効率的な機械学習分類器の複製法 A Scalable and Efficient Iterative Method for Copying Machine Learning Classifiers ( http://arxiv.org/abs/2302.02667v1 ) ライセンス: Link先を確認 | Nahuel Statuto, Irene Unceta, Jordi Nin and Oriol Pujol | (参考訳) 複製による差分レプリケーションは、強化された特徴と属性を持つ別のモデルを使用して、機械学習モデルの決定行動を複製するプロセスを指す。
このプロセスは、外部制約が産業予測システムの性能を制限する場合に関係する。
このような状況下では、コピーは、新しい要求に適応しながら、元の予測能力を維持できる。
これまでの研究はコピーのためのシングルパス実装にフォーカスしてきた。
本稿では,複製の訓練や維持に要する計算資源の量を大幅に削減し,本番環境での機械学習モデルを使用する企業のメンテナンスコストを低減させる,新たな逐次的手法を提案する。
シーケンシャルアプローチの有効性は、合成データと実世界のデータセットを用いた実験を通じて実証され、正確性を維持しつつ、時間とリソースの大幅な削減を示す。 Differential replication through copying refers to the process of replicating the decision behavior of a machine learning model using another model that possesses enhanced features and attributes. This process is relevant when external constraints limit the performance of an industrial predictive system. Under such circumstances, copying enables the retention of original prediction capabilities while adapting to new demands. Previous research has focused on the single-pass implementation for copying. This paper introduces a novel sequential approach that significantly reduces the amount of computational resources needed to train or maintain a copy, leading to reduced maintenance costs for companies using machine learning models in production. The effectiveness of the sequential approach is demonstrated through experiments with synthetic and real-world datasets, showing significant reductions in time and resources, while maintaining or improving accuracy. | 翻訳日:2023-02-07 17:07:06 公開日:2023-02-06 |
| # 量子場理論における励起状態の対称性解決の絡み合いiii:ボソニックとフェルミオンネガティビティ Symmetry Resolved Entanglement of Excited States in Quantum Field Theory III: Bosonic and Fermionic Negativity ( http://arxiv.org/abs/2302.02666v1 ) ライセンス: Link先を確認 | Luca Capizzi, Michele Mazzoni, and Olalla A. Castro-Alvaredo | (参考訳) 最近の2つの研究で、量子場理論における準粒子励起状態の対称性分解R\'enyiエントロピーを研究した。
その結果,エントロピーはモデルに依存しない多くの特徴を示し,解析的特徴付けを行った。
本稿では,対称分解負性度に類似の普遍的挙動が生じるという解析的および数値的証拠を提供することにより,この研究の線を延長する。
特に、部分的に変換された還元密度行列の電荷モーメントの比をツイスト作用素の期待値として計算する。
これらは従来の分岐点ツイストフィールドの `fused" バージョンであり、以前の作品で導入された。
ツイスト演算子を用いることで、任意の数の空間次元で計算を実行することができる。
大容量の極限では、ツイスト演算子と局所場問題の間の可換関係のみを示し、計算は純粋に組合せ問題に還元される。
我々は, 部分的時間反転変換の概念を必要とするフェルミイオン励起について, 具体的な問題に対処し, ボソニックとの違いと類似性について議論する。
部分転移の操作はフェルミオン理論に対する再定義を必要とするが、励起状態と基底状態の間の負性モーメントの比は、フェルミオンとボソンだけでなく、単純量子ビット状態から自由量子場理論の励起状態まで幅広い異なる状態に対しても普遍的で同一である。
我々の予測は1次元フェルミ連鎖で数値的に検証される。 In two recent works, we studied the symmetry resolved R\'enyi entropies of quasi-particle excited states in quantum field theory. We found that the entropies display many model-independent features which we discussed and analytically characterised. In this paper we extend this line of investigation by providing analytical and numerical evidence that a similar universal behavior arises for the symmetry resolved negativity. In particular, we compute the ratio of charged moments of the partially transposed reduced density matrix as an expectation value of twist operators. These are ``fused" versions of the more traditionally used branch point twist fields and were introduced in a previous work. The use of twist operators allows us to perform the computation in an arbitrary number of spacial dimensions. We show that, in the large-volume limit, only the commutation relations between the twist operators and local fields matter, and computations reduce to a purely combinatorial problem. We address some specific issues regarding fermionic excitations, whose treatment requires the notion of partial time-reversal transformation, and we discuss the differences and analogies with their bosonic counterpart. We find that although the operation of partial transposition requires a redefinition for fermionic theories, the ratio of the negativity moments between an excited state and the ground state is universal and identical for fermions and bosons as well as for a large variety of very different states, ranging from simple qubit states to the excited states of free quantum field theories. Our predictions are tested numerically on a 1D Fermi chain. | 翻訳日:2023-02-07 17:06:53 公開日:2023-02-06 |
| # コントラスト学習による擬似ラベルを用いたリンクデータ分離・視覚分離・分類器性能 Linking data separation, visual separation, and classifier performance using pseudo-labeling by contrastive learning ( http://arxiv.org/abs/2302.02663v1 ) ライセンス: Link先を確認 | B\'arbara Caroline Benato and Alexandre Xavier Falc\~ao and Alexandru-Cristian Telea | (参考訳) ディープニューラルネットワーク(DNN)をトレーニングしている間、主に監督が高価な医療データや生物学的データを考える場合、教師付きデータの欠如が問題となる。
近年,DNNの特徴空間から2次元空間への非線形射影 (t-SNE) と接続法 (OPFSemi) を用いた半教師付きラベル伝搬により,EPL(Embed Pseudo-Labeling) がこの問題に対処している。
最終分類器の性能は、潜在空間に存在するデータ分離と、射影に存在する視覚的分離に依存すると論じる。
そこで本研究では,2つの手法(simclrとsupcon)とそれらの組み合わせによるeplの潜在空間を,データ分離,視覚分離,分類器性能との相関関係を広範囲な実験により示すことで,eplの潜在空間を構築させる方法を提案する。
本研究は,ヒト腸管寄生虫の5つの現実的課題の画像データセットを1%の教師付きサンプルで分類した。 Lacking supervised data is an issue while training deep neural networks (DNNs), mainly when considering medical and biological data where supervision is expensive. Recently, Embedded Pseudo-Labeling (EPL) addressed this problem by using a non-linear projection (t-SNE) from a feature space of the DNN to a 2D space, followed by semi-supervised label propagation using a connectivity-based method (OPFSemi). We argue that the performance of the final classifier depends on the data separation present in the latent space and visual separation present in the projection. We address this by first proposing to use contrastive learning to produce the latent space for EPL by two methods (SimCLR and SupCon) and by their combination, and secondly by showing, via an extensive set of experiments, the aforementioned correlations between data separation, visual separation, and classifier performance. We demonstrate our results by the classification of five real-world challenging image datasets of human intestinal parasites with only 1% supervised samples. | 翻訳日:2023-02-07 17:06:26 公開日:2023-02-06 |
| # オンライン強化学習による対話環境における大規模言語モデルの構築 Grounding Large Language Models in Interactive Environments with Online Reinforcement Learning ( http://arxiv.org/abs/2302.02662v1 ) ライセンス: Link先を確認 | Thomas Carta, Cl\'ement Romac, Thomas Wolf, Sylvain Lamprier, Olivier Sigaud, Pierre-Yves Oudeyer | (参考訳) 最近の研究は、大言語モデル(llm)の能力を利用して、世界の物理学に関する抽象的な知識を捉え、意思決定問題を解決することに成功した。
しかし、LLMの知識と環境との整合性は誤りであり、基盤の欠如により機能的能力を制限する。
本稿では,LLMを用いたエージェントを,エージェントが環境と対話するときに段階的に更新されるポリシーとして考慮し,オンライン強化学習を活用して,目標達成のための性能向上を図る。
高レベルな機能的接地と空間的およびナビゲーション的タスクのセットを研究するために設計されたインタラクティブなテキスト環境を用いて、いくつかの科学的疑問を考察する。
1)LLMは様々なRLタスクのオンライン学習のサンプル効率を高めることができるか?
2) 一般化の異なる形態をどのように促進するか。
3) オンライン学習の影響はどのようなものか?
FLAN-T5 のいくつかの変種 (サイズ, 構造) を機能的基盤として検討する。 Recent works successfully leveraged Large Language Models' (LLM) abilities to capture abstract knowledge about world's physics to solve decision-making problems. Yet, the alignment between LLMs' knowledge and the environment can be wrong and limit functional competence due to lack of grounding. In this paper, we study an approach to achieve this alignment through functional grounding: we consider an agent using an LLM as a policy that is progressively updated as the agent interacts with the environment, leveraging online Reinforcement Learning to improve its performance to solve goals. Using an interactive textual environment designed to study higher-level forms of functional grounding, and a set of spatial and navigation tasks, we study several scientific questions: 1) Can LLMs boost sample efficiency for online learning of various RL tasks? 2) How can it boost different forms of generalization? 3) What is the impact of online learning? We study these questions by functionally grounding several variants (size, architecture) of FLAN-T5. | 翻訳日:2023-02-07 17:06:05 公開日:2023-02-06 |
| # 文法形式の進化 : いくつかの定量的アプローチ Evolution of grammatical forms: some quantitative approaches ( http://arxiv.org/abs/2302.02655v1 ) ライセンス: Link先を確認 | Jean-Marc Luck and Anita Mehta | (参考訳) 文法形式は2つの主要なメカニズムによって進化すると言われている。
これらはそれぞれ、現在の形式が古代言語におけるそのルーツから(時折変更されることもあるが)下降しているように見える'descent' メカニズムと、その言語が接触している他の言語からの借用によって特定の言語の進化が起こる'contact' メカニズムである。
我々は統計物理学のアイデアと概念を用いて、これらの問題を一般的な用語で示す一連の静的および動的モデルを定式化する。
静的モデルは規則と例外の相対的な数を強調し、動的モデルは例外形式の出現に焦点を当てている。
様々な競合する文法形式の生き残りは、確率に対する勝者である。
分析の結果,隣接する言語の影響が,個々の言語における正規化に対する一般的な傾向を超えると出現することが示唆された。 Grammatical forms are said to evolve via two main mechanisms. These are, respectively, the `descent' mechanism, where current forms can be seen to have descended (albeit with occasional modifications) from their roots in ancient languages, and the `contact' mechanism, where evolution in a given language occurs via borrowing from other languages with which it is in contact. We use ideas and concepts from statistical physics to formulate a series of static and dynamical models which illustrate these issues in general terms. The static models emphasise the relative numbers of rules and exceptions, while the dynamical models focus on the emergence of exceptional forms. These unlikely survivors among various competing grammatical forms are winners against the odds. Our analysis suggests that they emerge when the influence of neighbouring languages exceeds the generic tendency towards regularisation within individual languages. | 翻訳日:2023-02-07 17:05:49 公開日:2023-02-06 |
| # matchgate法をユニバーサル量子回路に拡張する Extending Matchgate Simulation Methods to Universal Quantum Circuits ( http://arxiv.org/abs/2302.02654v1 ) ライセンス: Link先を確認 | Avinash Mocherla, Lingling Lao, Dan E. Browne | (参考訳) matchgate はパリティ保存型2量子ビットゲートの族であり、最寄りの回路は多項式時間で古典的にシミュレート可能であることが知られている。
本研究では,単一キュービットのpauli測定値と積状態入力値の設定において,$\boldsymbol{n}$ matchgates と $\boldsymbol{m}$ universality-enabling gates を含む $\boldsymbol{n}$-qubit 回路を古典的にシミュレートするシミュレーション手法を提案する。
私たちが考慮している普遍性誘導ゲートには、SWAP、CZ、CPhaseゲートがある。
最悪かつ平均的なケースでは、$\boldsymbol{m \, < \, \lfloor \frac{n}{2} \rfloor -1}$のスケーリングは$\sim \mathcal{o}(\boldsymbol{n(\frac{n}{m+1})^{2m+2}})$と$\sim \mathcal{o}( \boldsymbol{\frac{n}{m+1}(\frac{n}{m+1})^{2m+2}})$で与えられる。
$\boldsymbol{m \, \geq \, \lfloor \frac{n}{2} \rfloor -1}$ に対して、スケーリングは $\boldsymbol{n}$ で指数関数的であるが、漸近極限において常に密な状態ベクトルシミュレータを上回る。 Matchgates are a family of parity-preserving two-qubit gates, nearest-neighbour circuits of which are known to be classically simulable in polynomial time. In this work, we present a simulation method to classically simulate an $\boldsymbol{n}$-qubit circuit containing $\boldsymbol{N}$ matchgates and $\boldsymbol{m}$ universality-enabling gates in the setting of single-qubit Pauli measurements and product state inputs. The universality-enabling gates we consider include the SWAP, CZ and CPhase gates. We find in the worst and average cases, the scaling when $\boldsymbol{m \, < \, \lfloor \frac{n}{2} \rfloor -1}$ is given by $\sim \mathcal{O}(\boldsymbol{N(\frac{n}{m+1})^{2m+2}})$ and $\sim \mathcal{O}( \boldsymbol{\frac{N}{m+1}(\frac{n}{m+1})^{2m+2}})$, respectively. For $\boldsymbol{m \, \geq \, \lfloor \frac{n}{2} \rfloor -1}$, we find the scaling is exponential in $\boldsymbol{n}$, but always outperforms a dense statevector simulator in the asymptotic limit. | 翻訳日:2023-02-07 17:05:35 公開日:2023-02-06 |
| # L'explicabilit\'e au service de l'extraction de connaissances : application \`a des donn\'ees m\'edicales L'explicabilit\'e au service de l'extraction de connaissances : application \`a des donn\'ees m\'edicales ( http://arxiv.org/abs/2302.02653v1 ) ライセンス: Link先を確認 | Robin Cugny, Emmanuel Doumard, Elodie Escriva, Haomiao Wang | (参考訳) 機械学習の利用はこの10年間で劇的に増加した。
今や透明性の欠如は、説明可能性の分野が対処しようとしている制限要因となっている。
さらに、データマイニングの課題の1つは、高度に非線形な場合にデータセットの統計的関係を示すことである。
教師付き学習の強みの1つは、説明可能性によって理解可能な方法で表現できる複雑な統計的関係を見つける能力である。
本稿では,データから知識を抽出し,特徴の選択,データサブグループ分析,高度に情報に富んだ事例の選択がいかに役立つかを示す。
次に医療データにこれらの手法を用いた完全なデータ処理パイプラインを提案する。
---l'utilisation de l'apprentissage automatique a connu un bond cette derni\`ere d\'ecennie
トランスパレンス・エスト・アウジュール・ユ・ウン・フレイン・ル・ドメイン・ド・l'explicabilit\'e veut r\'esoudre 』に収録。
ailleurs, un des d'efis de l'exploration de donn\'ees est de pr\'esenter les relations statistiques d'un jeu de donn\'ees alors que celles-ci peuvent \^etre hautement non-lin\eaires
関係統計学における「関係統計学」と「関係統計学」は「関係統計学」と「関係統計学」と「関係統計学」を兼ね備えている。
ce papier montre que les explications permettent de faire de l'extraction de connaissance sur des donn\'ees et comment la s\'election de variables, l'analyse de sous-groupes de donn\'ees et la s\'election d'instances avec un fort pouvoir informatif b\'en\eficient des explications
nous pr\'esentons alors un pipeline complet de traitement des donn\'ees utilisant ces m\'ethodes pour l'exploration de donn\'ees m\'edicales The use of machine learning has increased dramatically in the last decade. The lack of transparency is now a limiting factor, which the field of explainability wants to address. Furthermore, one of the challenges of data mining is to present the statistical relationships of a dataset when they can be highly non-linear. One of the strengths of supervised learning is its ability to find complex statistical relationships that explainability allows to represent in an intelligible way. This paper shows that explanations can be used to extract knowledge from data and shows how feature selection, data subgroup analysis and selection of highly informative instances benefit from explanations. We then present a complete data processing pipeline using these methods on medical data. -- -- L'utilisation de l'apprentissage automatique a connu un bond cette derni\`ere d\'ecennie. Le manque de transparence est aujourd'hui un frein, que le domaine de l'explicabilit\'e veut r\'esoudre. Par ailleurs, un des d\'efis de l'exploration de donn\'ees est de pr\'esenter les relations statistiques d'un jeu de donn\'ees alors que celles-ci peuvent \^etre hautement non-lin\'eaires. Une des forces de l'apprentissage supervis\'e est sa capacit\'e \`a trouver des relations statistiques complexes que l'explicabilit\'e permet de repr\'esenter de mani\`ere intelligible. Ce papier montre que les explications permettent de faire de l'extraction de connaissance sur des donn\'ees et comment la s\'election de variables, l'analyse de sous-groupes de donn\'ees et la s\'election d'instances avec un fort pouvoir informatif b\'en\'eficient des explications. Nous pr\'esentons alors un pipeline complet de traitement des donn\'ees utilisant ces m\'ethodes pour l'exploration de donn\'ees m\'edicales. | 翻訳日:2023-02-07 17:04:44 公開日:2023-02-06 |
| # eccv'22 sensehumanワークショップとpsgコンペティションのための第1位ソリューション 1st Place Solution for PSG competition with ECCV'22 SenseHuman Workshop ( http://arxiv.org/abs/2302.02651v1 ) ライセンス: Link先を確認 | Qixun Wang, Xiaofeng Guo and Haofan Wang | (参考訳) Panoptic Scene Graph (PSG) の生成は、厳密なバウンディングボックスの代わりに、パノプティックセグメンテーションに基づいてシーングラフ表現を生成することを目的としている。
既存のPSG手法では、シーングラフとセマンティックセグメンテーションマスクを同時に生成するワンステージパラダイムと、最初にオフザシェルのパノプティクスセグメンタを採用する2ステージパラダイムを用いて、予測対象間のペアワイズ関係を予測する。
単純なトレーニングパラダイムを持つ一方、セグメンテーションの結果は満足度が低いが、2段階のアプローチではグローバルなコンテキストが欠如し、関係予測のパフォーマンスが低下する。
そこで本稿では,このギャップを埋めるため,二段階パラダイムにおけるグローバル関係ネットワークgrnetを提案する。
長期分布による関係曖昧さと予測的分類バイアスに対処するため,ソフトラベルを用いた多クラス分類タスクとして,第2段階で関係予測を定式化する。
我々はOpenPSGデータセットの総合的な実験を行い、リードボード上で最先端のパフォーマンスを達成する。
また,アブレーション研究における長期学習におけるソフトラベル戦略の有効性を示した。
私たちのコードはhttps://github.com/wangqixun/mfpsgでリリースされています。 Panoptic Scene Graph (PSG) generation aims to generate scene graph representations based on panoptic segmentation instead of rigid bounding boxes. Existing PSG methods utilize one-stage paradigm which simultaneously generates scene graphs and predicts semantic segmentation masks or two-stage paradigm that first adopt an off-the-shelf panoptic segmentor, then pairwise relationship prediction between these predicted objects. One-stage approach despite having a simplified training paradigm, its segmentation results are usually under-satisfactory, while two-stage approach lacks global context and leads to low performance on relation prediction. To bridge this gap, in this paper, we propose GRNet, a Global Relation Network in two-stage paradigm, where the pre-extracted local object features and their corresponding masks are fed into a transformer with class embeddings. To handle relation ambiguity and predicate classification bias caused by long-tailed distribution, we formulate relation prediction in the second stage as a multi-class classification task with soft label. We conduct comprehensive experiments on OpenPSG dataset and achieve the state-of-art performance on the leadboard. We also show the effectiveness of our soft label strategy for long-tailed classes in ablation studies. Our code has been released in https://github.com/wangqixun/mfpsg. | 翻訳日:2023-02-07 17:03:32 公開日:2023-02-06 |
| # 化学反応ネットワークの微分可能プログラミング Differentiable Programming of Chemical Reaction Networks ( http://arxiv.org/abs/2302.02714v1 ) ライセンス: Link先を確認 | Alexander Mordvintsev, Ettore Randazzo, Eyvind Niklasson | (参考訳) 我々は,様々な計算課題を解くために訓練できる抽象化学反応ネットワーク(CRN)の微分可能な定式化を提案する。
化学反応ネットワークは自然界で使われている最も基本的な計算基盤の一つである。
我々は,混合単一チャンバーシステム,および複数のチャンバーを膜で分離したシステムについて質量反応速度論的に検討した。
様々な種類の発振器や他の化学計算装置を実装できる非自明なスパース反応ネットワークを、適切な正則化と組み合わせることで、微分可能最適化が発見できることを実証する。 We present a differentiable formulation of abstract chemical reaction networks (CRNs) that can be trained to solve a variety of computational tasks. Chemical reaction networks are one of the most fundamental computational substrates used by nature. We study well-mixed single-chamber systems, as well as systems with multiple chambers separated by membranes, under mass-action kinetics. We demonstrate that differentiable optimisation, combined with proper regularisation, can discover non-trivial sparse reaction networks that can implement various sorts of oscillators and other chemical computing devices. | 翻訳日:2023-02-07 16:57:45 公開日:2023-02-06 |
| # ベイズニューラルネットワークを探索するフラット Flat Seeking Bayesian Neural Networks ( http://arxiv.org/abs/2302.02713v1 ) ライセンス: Link先を確認 | Van-Anh Nguyen, Tung-Long Vuong, Hoang Phan, Thanh-Toan Do, Dinh Phung, Trung Le | (参考訳) ベイズニューラルネットワーク(bnns)は、モデルパラメータに事前分布を付与し、観測データに基づいて後続分布を参照することにより、ディープラーニングモデルの確率論的解釈を提供する。
後方分布からサンプリングされたモデルは、アンサンブル予測と予測の不確かさの定量化に使用できる。
シャープさの低いディープラーニングモデルは、より優れた一般化能力を持つことはよく知られている。
それでも、既存の後部推論はシャープネスとフラットネスを意識していないため、サンプルモデルに対して高いシャープネスをもたらす可能性がある。
本稿では,ベイズ設定の理論と,シャープネスを意識した後部における変分推論手法を開発する。
特に, このシャープネス認識後部と最適近似後部から採取したモデルの方が, より平坦であり, 高い一般化能力を有する可能性が示唆された。
我々は、最先端のベイズニューラルネットワークとシャープネス認識後部を併用して実験を行い、平らな探索相手が関心のあるすべての指標においてベースラインを上回っていることを示す。 Bayesian Neural Networks (BNNs) offer a probabilistic interpretation for deep learning models by imposing a prior distribution over model parameters and inferencing a posterior distribution based on observed data. The model sampled from the posterior distribution can be used for providing ensemble predictions and quantifying prediction uncertainty. It is well-known that deep learning models with a lower sharpness have a better generalization ability. Nonetheless, existing posterior inferences are not aware of sharpness/flatness, hence possibly leading to high sharpness for the models sampled from it. In this paper, we develop theories, the Bayesian setting, and the variational inference approach for the sharpness-aware posterior. Specifically, the models sampled from our sharpness-aware posterior and the optimal approximate posterior estimating this sharpness-aware posterior have a better flatness, hence possibly possessing a higher generalization ability. We conduct experiments by leveraging the sharpness-aware posterior with the state-of-the-art Bayesian Neural Networks, showing that the flat-seeking counterparts outperform their baselines in all metrics of interest. | 翻訳日:2023-02-07 16:57:34 公開日:2023-02-06 |
| # 超伝導薄膜とエピタキシャル半導体ヘテロ構造とニオブ酸リチウムとの異種集積 Heterogeneous integration of superconducting thin films and epitaxial semiconductor heterostructures with Lithium Niobate ( http://arxiv.org/abs/2302.02712v1 ) ライセンス: Link先を確認 | Michelle Lienhart, Michael Choquer, Emeline D. S. Nysten, Matthias Wei{\ss}, Kai M\"uller, Jonathan J. Finely, Galan Moody, Hubert J. Krenner | (参考訳) 超伝導電極とエピタキシャル半導体量子ドットの高強度圧電および光非線形ニオブ酸リチウムへのスケーラブルなヘテロ集積について報告する。
実装されたプロセスは、スパッタ蒸着した薄膜超伝導体窒化ニオブとホスト基板上のIII-V化合物半導体膜を組み合わせる。
超伝導薄膜は、内部品質係数$q_i > 16000$の弾性表面波共振器の無抵抗電極材料として用いられる。
400\,\mathrm{mhz}$共振器の超伝導動作は、温度$t>7\mathrm{k}$と電気周波数パワー$p_{\mathrm{rf}}>+9\,\mathrm{dbm}$で達成される。
表面波共振器の共振音場内に不均一に集積された単一量子ドットの位置および周波数選択結合を時間積分および時間分解光学分光法を用いて検証する。
これらの実験は変形結合を支配的結合機構として確認する。
最後に、アコスト電荷状態制御は、大きな圧電場が半導体に強く結合する改良されたデバイス形状で達成される。
実装されたハイブリッド量子ドット-表面音響波共振器は、より高い動作周波数とより小さなモードボリュームにスケールすることができ、量子ドットを介して光子とフォノン間の量子位相変調およびトランスダクションを実現する。
最後に、使用済みの材料は、超伝導単一光子検出器やフォトニックおよびフォノニック集積回路を含む、他のタイプの光電子デバイスの実装を可能にする。 We report on scalable heterointegration of superconducting electrodes and epitaxial semiconductor quantum dots on strong piezoelectic and optically nonlinear lithium niobate. The implemented processes combine the sputter-deposited thin film superconductor niobium nitride and III-V compound semiconductor membranes on the host substrate. The superconducting thin film is employed as a zero-resistivity electrode material for a surface acoustic wave resonator with internal quality factors $Q_i > 16000$. Superconducting operation of $\approx 400\,\mathrm{MHz}$ resonators is achieved to temperatures $T>7\mathrm{K}$ and electrical radio frequency powers $P_{\mathrm{rf}}>+9\,\mathrm{dBm}$. Position and frequency selective coupling of single quantum dots heterogeneously integrated within the resonant phononic field of the surface acoustic wave resonator is validated using time-integrated and time-resolved optical spectroscopy. These experiments confirm deformation coupling as the dominant coupling mechanism. Finally, acousto-electric charge state control is achieved in a modified device geometry in which the large piezoelectric fields strongly couple to the semiconductor. The implemented hybrid quantum dot - surface acoustic wave resonator can be scaled to higher operation frequencies and smaller mode volumes to realize quantum phase modulation and transduction between photons and phonons via the quantum dot. Finally, the employed materials allow for the implementation of other types of optoelectronic devices, including superconducting single photon detectors and integrated photonic and phononic circuits. | 翻訳日:2023-02-07 16:57:16 公開日:2023-02-06 |
| # 6G ORANにおけるネットワーク支援インテリジェントトラフィックステアリング:多層最適化フレームワーク Network-Aided Intelligent Traffic Steering in 6G ORAN: A Multi-Layer Optimization Framework ( http://arxiv.org/abs/2302.02711v1 ) ライセンス: Link先を確認 | Van-Dinh Nguyen, Thang X. Vu, Nhan Thanh Nguyen, Dinh C. Nguyen, Markku Juntti, Nguyen Cong Luong, Dinh Thai Hoang, Diep N. Nguyen and Symeon Chatzinotas | (参考訳) 6Gネットワークのためのインテリジェントでプログラム可能なマルチベンダ無線アクセスネットワーク(RAN)を実現するために、オープンRAN(ORAN)の標準化と開発に多大な努力が払われている。
しかし, RAN関数の制御と最適化におけるORANの適用性については, これまで広く研究されていない。
本稿では,ORANにおけるインテリジェントなトラフィックステアリングアプリケーションを実現するために,フロー分割分布,渋滞制御,スケジューリング(JFCS)を協調的に最適化する。
ネットワークユーティリティの最大化と確率的最適化のツールを組み合わせて、高速収束、長期のユーティリティ最適化、および最先端およびベースライン実行アプローチと比較して大幅な遅延削減を提供する多層最適化フレームワークを提案する。
私たちの主な貢献は3倍です。
一 適切な無線ユニットに効率的にかつ適応的にトラフィックを誘導する新しいJFCSフレームワークを提案する。
二 強化学習法、内的近似法、二断面探索法に基づく低複雑度アルゴリズムを開発し、異なる時間スケールでjfcs問題を効果的に解く。
三 厳密な理論性能の結果を分析して、遅延とユーティリティ最適化のトレードオフを改善するためのスケーリング要因が存在することを示す。
この作業における洞察は、コントロールと柔軟性が強化された完全に自動化されたネットワークへの扉を開くことになる。
提案手法の有効性を, 収束速度, 長期有効性, 遅延低減の観点から示すため, 数値実験を行った。 To enable an intelligent, programmable and multi-vendor radio access network (RAN) for 6G networks, considerable efforts have been made in standardization and development of open RAN (ORAN). So far, however, the applicability of ORAN in controlling and optimizing RAN functions has not been widely investigated. In this paper, we jointly optimize the flow-split distribution, congestion control and scheduling (JFCS) to enable an intelligent traffic steering application in ORAN. Combining tools from network utility maximization and stochastic optimization, we introduce a multi-layer optimization framework that provides fast convergence, long-term utility-optimality and significant delay reduction compared to the state-of-the-art and baseline RAN approaches. Our main contributions are three-fold: i) we propose the novel JFCS framework to efficiently and adaptively direct traffic to appropriate radio units; ii) we develop low-complexity algorithms based on the reinforcement learning, inner approximation and bisection search methods to effectively solve the JFCS problem in different time scales; and iii) the rigorous theoretical performance results are analyzed to show that there exists a scaling factor to improve the tradeoff between delay and utility-optimization. Collectively, the insights in this work will open the door towards fully automated networks with enhanced control and flexibility. Numerical results are provided to demonstrate the effectiveness of the proposed algorithms in terms of the convergence rate, long-term utility-optimality and delay reduction. | 翻訳日:2023-02-07 16:56:50 公開日:2023-02-06 |
| # 接地真理が真でないとき--テンポラルアノテーションによる人的バイアスのモデル化 When the Ground Truth is not True: Modelling Human Biases in Temporal Annotations ( http://arxiv.org/abs/2302.02706v1 ) ライセンス: Link先を確認 | Taku Yamagata, Emma L. Tonkin, Benjamin Arana Sanchez, Ian Craddock, Miquel Perello Nieto, Raul Santos-Rodriguez, Weisong Yang, Peter Flach | (参考訳) 教師付き学習では、低品質アノテーションは、分類と検出モデルの性能が劣ると同時に、信頼性の低い評価を行う。
これは、アノテーションの品質が複数の要因に影響される時間的データに特に顕著である。
例えば、日常活動のポストホックな自己報告では、認知バイアスが最も一般的な要素の1つである。
特に、完了後の活動の開始と継続を報告することは、個人的時間知覚によって導入されたバイアスと、時間ラウンドによる不正確さと粒度の欠如を含む可能性がある。
本稿では,時間的制約に基づく人間のバイアスをモデル化する手法を提案し,ソフトラベルの使用を論じる。
合成データの実験結果から, 軟質ラベルはいくつかの指標に対して, 基底の真理をよりよく近似できることがわかった。
本手法を日常活動の実際のデータセットに示す。 In supervised learning, low quality annotations lead to poorly performing classification and detection models, while also rendering evaluation unreliable. This is particularly apparent on temporal data, where annotation quality is affected by multiple factors. For example, in the post-hoc self-reporting of daily activities, cognitive biases are one of the most common ingredients. In particular, reporting the start and duration of an activity after its finalisation may incorporate biases introduced by personal time perceptions, as well as the imprecision and lack of granularity due to time rounding. Here we propose a method to model human biases on temporal annotations and argue for the use of soft labels. Experimental results in synthetic data show that soft labels provide a better approximation of the ground truth for several metrics. We showcase the method on a real dataset of daily activities. | 翻訳日:2023-02-07 16:56:26 公開日:2023-02-06 |
| # PatchDCT: 高品質なインスタンスセグメンテーションのためのパッチリファインメント PatchDCT: Patch Refinement for High Quality Instance Segmentation ( http://arxiv.org/abs/2302.02693v1 ) ライセンス: Link先を確認 | Qinrou Wen, Jirui Yang, Xue Yang, Kewei Liang | (参考訳) 高品質なインスタンスセグメンテーションはコンピュータビジョンにおいてますます重要になっている。
改良がなければ、DCT-マスクは圧縮ベクトルによって直接高解像度マスクを生成する。
圧縮ベクトルにより得られたマスクをさらに洗練するために, 圧縮ベクトルを用いた多段微細化フレームワークを初めて提案する。
しかし、DCTベクターのいくつかの要素の変化がマスク全体の予測に影響を及ぼすため、バニラの組み合わせは大きな利益をもたらすことはない。
そこで本研究では,DCTベクタからデコードされたマスクを複数のパッチに分割し,設計した分類器と回帰器によって各パッチを洗練する,PatchDCTというシンプルな手法を提案する。
特に、分類器は、すべてのパッチから混合パッチを区別し、以前に予測されたフォアグラウンドとバックグラウンドパッチを修正するために使用される。
対照的に、この回帰器は混合パッチのDCTベクトル予測に使われ、境界位置のセグメンテーション品質をさらに改善する。
COCOを用いた実験では,COCO,LVIS,CityscapesのMask-RCNNに対して,それぞれ2.0%,3.2%,4.5%AP,3.4%,5.3%,7.0%APの改善が得られた。
また、DCT-Maskを0.7%、.1%、.3%、.9%、.7%、.2%、COCO、LVIS、Cityscapesで上回る。
さらに、PatchDCTの性能は他の最先端の手法と競合する。 High-quality instance segmentation has shown emerging importance in computer vision. Without any refinement, DCT-Mask directly generates high-resolution masks by compressed vectors. To further refine masks obtained by compressed vectors, we propose for the first time a compressed vector based multi-stage refinement framework. However, the vanilla combination does not bring significant gains, because changes in some elements of the DCT vector will affect the prediction of the entire mask. Thus, we propose a simple and novel method named PatchDCT, which separates the mask decoded from a DCT vector into several patches and refines each patch by the designed classifier and regressor. Specifically, the classifier is used to distinguish mixed patches from all patches, and to correct previously mispredicted foreground and background patches. In contrast, the regressor is used for DCT vector prediction of mixed patches, further refining the segmentation quality at boundary locations. Experiments on COCO show that our method achieves 2.0%, 3.2%, 4.5% AP and 3.4%, 5.3%, 7.0% Boundary AP improvements over Mask-RCNN on COCO, LVIS, and Cityscapes, respectively. It also surpasses DCT-Mask by 0.7%, 1.1%, 1.3% AP and 0.9%, 1.7%, 4.2% Boundary AP on COCO, LVIS and Cityscapes. Besides, the performance of PatchDCT is also competitive with other state-of-the-art methods. | 翻訳日:2023-02-07 16:56:11 公開日:2023-02-06 |
| # HyperSLICE: HyperBandによる低レイテンシインタラクティブ心臓検査のためのスパイラル最適化 HyperSLICE: HyperBand optimised Spiral for Low-latency Interactive Cardiac Examination ( http://arxiv.org/abs/2302.02688v1 ) ライセンス: Link先を確認 | Dr. Olivier Jaubert, Dr. Javier Montalt-Tordera, Dr. Daniel Knight, Pr. Simon Arridge, Dr. Jennifer Steeden and Pr. Vivek Muthurangu | (参考訳) BACKGROUND: 高速走査計画とMRガイド下介入に心臓磁気共鳴画像が使用される。
しかし、リアルタイム取得とほぼリアルタイム可視化の要件は、達成可能な時空間分解能を制約する。
PURPOSE:アンダーサンプルスパイラルサンプリングの最適化と低遅延再構成(ディープアーティファクト抑制)のためのディープラーニングの活用により、インタラクティブな画像分解能を向上させる。
ポピュレーション:深部人工物抑制訓練データは692個の呼吸保持CINEからなる。
12例 (画像評価10例, カテーテル挿入2例) に対して, 対話型シーケンスを前向きに検討した。
AASESSMENT: シミュレーションデータでは, NRMSE, pSNR, SSIMの半径, 均一スパイラルおよび最適化スパイラルサンプリングを比較した。
先進的な研究では、最適化されたスパイラル・インタラクティブ・シーケンスを従来のカルテシアのリアルタイムおよび呼吸ホールド・シネイメージングと比較し、定量的および定性的な画像メトリクスで比較した。
結果: nrmse, psnr, ssimは, 放射状および一様スパイラルサンプリングに比べて, 特にスキャン計画の変更後 (ssim: 0.71 vs 0.45, 0.43) に有意に高い値を示した。
先進的に、HyperSLICEは従来のカルテシアンリアルタイム画像よりも空間分解能と時間分解能が高かった。
このパイプラインはカテーテル・プルバック中の患者で、インタラクティブ・イメージングのために十分な速さで再構築できることを示した。
Data ConCLUSION: HyperSLICEは空間的および時間的インタラクティブなイメージングを可能にする。
スパイラルサンプリングを最適化することで、ラジアルおよび均一なスパイラル軌跡と比較して、全体的な画像品質と画像遷移の処理性が向上した。 BACKGROUND: Interactive cardiac magnetic resonance imaging is used for fast scan planning and MR guided interventions. However, the requirement for real-time acquisition and near real-time visualization constrains the achievable spatio-temporal resolution. PURPOSE: To improve interactive imaging resolution through optimization of undersampled spiral sampling and leveraging of deep learning for low-latency reconstruction (deep artifact suppression). POPULATION: Deep artefact suppression training data consisted of 692 breath-held CINEs. The developed interactive sequence was tested prospectively in 12 patients (10 for image evaluation, 2 during catheterization). ASSESSMENT: In simulated data, NRMSE, pSNR and SSIM of radial, uniform spiral and optimized spiral sampling were compared. In the prospective study, the optimized spiral interactive sequence was compared to conventional Cartesian real-time, and breath-hold cine imaging in terms quantitative and qualitative image metrics. RESULTS: The NRMSE, pSNR and SSIM were all statistically significantly higher in simulations of optimized spiral compared to radial and uniform spiral sampling, particularly after scan plan changes (SSIM: 0.71 vs 0.45 and 0.43). Prospectively, HyperSLICE proposed a higher spatial and temporal resolution than conventional Cartesian real-time imaging. The pipeline was demonstrated in patients during catheter pull back showing sufficiently fast reconstruction for interactive imaging. DATA CONCLUSION: HyperSLICE enables higher spatial and temporal interactive imaging. Optimizing the spiral sampling enabled better overall image quality and better handling of image transitions compared to radial and uniform spiral trajectories. | 翻訳日:2023-02-07 16:55:41 公開日:2023-02-06 |
| # ド・ジッター時空における宇宙線による電磁真空応力とエネルギーフラックス Electromagnetic vacuum stresses and energy fluxes induced by a cosmic string in de Sitter spacetime ( http://arxiv.org/abs/2302.02685v1 ) ライセンス: Link先を確認 | A.A. Saharian, V.F. Manukyan, V.Kh. Kotanjyan, A.A. Grigoryan | (参考訳) D+1)次元局所デシッター(dS)時空における電磁場について、エネルギー-運動量テンソルの真空期待値に対する一般化宇宙弦型欠陥の影響を解析する。
Bunch-Davies真空状態の場合、トポロジカルな寄与は対角成分と対角成分の両方で明示的に抽出される。
後者は真空状態における放射指向エネルギーフラックスの存在を記述している。
電磁界の共形不変性のために$d=3$で消滅し、$d\geq 4$ で宇宙弦に向かう。
真空応力のトポロジカルな寄与は異方性であり、ミンコフスキー時空における宇宙弦の幾何学とは異なり、弦コアに平行な方向に沿った応力はエネルギー密度と異なる。
平面角の欠陥と宇宙線からの距離によっては、対応する期待値は正または負のいずれかである。
宇宙の弦の近くでは、トポロジカル部分の対角成分に対する重力場の影響は弱い。
時空曲率は本質的に、ds曲率半径よりも大きい宇宙弦から適切な距離における位相項の挙動を変化させる。
この領域では、エネルギー-運動量テンソルの対角成分に対する位相的寄与は、固有距離の4番目のパワーに逆比例し、エネルギーフラックス密度は空間次元$D$のすべての値に対する逆5番目のパワーとして振舞う。
例外は、特別な場合のエネルギー密度$D=4$である。 For the electromagnetic field in (D+1)-dimensional locally de Sitter (dS) spacetime, we analyze the effects of a generalized cosmic string type defect on the vacuum expectation value of the energy-momentum tensor. For the Bunch-Davies vacuum state, the topological contributions are explicitly extracted in both the diagonal and off-diagonal components. The latter describes the presence of radially directed energy flux in the vacuum state. It vanishes for $D=3$ because of the conformal invariance of the electromagnetic field and is directed towards the cosmic string for $D\geq 4$ . The topological contributions in the vacuum stresses are anisotropic and, unlike to the geometry of a cosmic string in the Minkowski spacetime, for $D>3$ the stresses along the directions parallel to the string core differ from the energy density. Depending on the planar angle deficit and the distance from the cosmic string, the corresponding expectation values can be either positive or negative. Near the cosmic string the effect of the gravitational field on the diagonal components of the topological part is weak. The spacetime curvature essentially modifies the behavior of the topological terms at proper distances from the cosmic string larger than the dS curvature radius. In that region, the topological contributions in the diagonal components of the energy-momentum tensor decay in inverse proportion to the fourth power of the proper distance and the energy flux density behaves as inverse-fifth power for all values of the spatial dimension $D$. The exception is the energy density in the special case $D=4$. | 翻訳日:2023-02-07 16:55:17 公開日:2023-02-06 |
| # 言語は後退する:人間のフィードバックを用いた隠れた微調整 Languages are Rewards: Hindsight Finetuning using Human Feedback ( http://arxiv.org/abs/2302.02676v1 ) ライセンス: Link先を確認 | Hao Liu, Carmelo Sferrazza, Pieter Abbeel | (参考訳) 人間の好みから学ぶことは、言語モデルが人間にとって有益で役に立つこと、そして人間と社会の価値観に合わせるために重要である。
既存の作品は、人間のラベルが好むキュレーションされたモデル世代に基づいて、事前訓練されたモデルの微調整に焦点を当てている。
このような作品は理解と指示(例えば、インストラクションGPT、ChatGPTなど)において顕著な成功を収めた。
しかし、これまでは、教師付き微調整の鍵となる制限は、否定的な評価から学ぶことができないことである。
人間のフィードバックデータの収集には時間と費用がかかるため、モデルがすべてのフィードバックから学ぶことが不可欠である。
本研究では,多様な人間のフィードバックから言語モデルを学習させるHendsight Finetuningという新しい手法を提案する。
実際、私たちのアイデアは人間が後見経験からどのように学ぶかによって動機付けられています。
後向きフィードバックと組み合わせたモデル生成の列にモデルを条件付け、最も好まれる出力を予測するためにモデルを微調整する。
そうすることで、モデルが負の属性やエラーを識別し修正することを学ぶことができる。
本手法を GPT-J に適用することにより,人間のフィードバック量と同じ量で要約および対話タスクの結果を大幅に改善することを確認した。 Learning from human preferences is important for language models to be helpful and useful for humans, and to align with human and social values. Existing works focus on supervised finetuning of pretrained models, based on curated model generations that are preferred by human labelers. Such works have achieved remarkable successes in understanding and following instructions (e.g., InstructGPT, ChatGPT, etc). However, to date, a key limitation of supervised finetuning is that it cannot learn from negative ratings; models are only trained on positive-rated data, which makes it data inefficient. Because collecting human feedback data is both time consuming and expensive, it is vital for the model to learn from all feedback, akin to the remarkable ability of humans to learn from diverse feedback. In this work, we propose a novel technique called Hindsight Finetuning for making language models learn from diverse human feedback. In fact, our idea is motivated by how humans learn from hindsight experience. We condition the model on a sequence of model generations paired with hindsight feedback, and finetune the model to predict the most preferred output. By doing so, models can learn to identify and correct negative attributes or errors. Applying the method to GPT-J, we observe that it significantly improves results on summarization and dialogue tasks using the same amount of human feedback. | 翻訳日:2023-02-07 16:54:51 公開日:2023-02-06 |
| # 量子ゼノダイナミクスの半古典的極限 The semiclassical limit of a quantum Zeno dynamics ( http://arxiv.org/abs/2302.02673v1 ) ライセンス: Link先を確認 | Fabio Deelan Cunden, Paolo Facchi, Marilena Ligab\`o | (参考訳) 空洞量子電磁力学の設定における量子ゼノダイナミクスに動機づけられ、プランク定数 $\hbar\to0$ と大きな量子数 $n\to\infty$ と$\hbar n$ が固定された半古典的極限において、切断モーメント作用素に対応する記号の族を漸近的に研究する。
ある位相において、極限は不連続な記号 $p\chi_d(x,p)$ であり、ここで$\chi_d$ は位相空間における古典的に許容される領域 $d$ の特性関数である。
洗練された解析により、記号は滑らかな函数 $p\chi_D^{(N)}(x,p)$ に漸近的に近づき、$\chi_D^{(N)}$ は統合されたエアリー関数に関連する $\chi_D$ の滑らかなバージョンである。
また, 動的観点からの限界についても考察する。 Motivated by a quantum Zeno dynamics in a cavity quantum electrodynamics setting, we study the asymptotics of a family of symbols corresponding to a truncated momentum operator, in the semiclassical limit of vanishing Planck's constant $\hbar\to0$ and large quantum number $N\to\infty$, with $\hbar N$ kept fixed. In a certain topology, the limit is the discontinuous symbol $p\chi_D(x,p)$ where $\chi_D$ is the characteristic function of the classically permitted region $D$ in the phase space. A refined analysis shows that the symbol is asymptotically close to a smooth function $p\chi_D^{(N)}(x,p)$, where $\chi_D^{(N)}$ is a smooth version of $\chi_D$ related to the integrated Airy function. We also discuss the limit from the dynamical point of view. | 翻訳日:2023-02-07 16:54:31 公開日:2023-02-06 |
| # 2つのストリーム畳み込みネットワークを用いたrgbおよびポーズ情報を用いたきめ細かい動作検出 Fine-Grained Action Detection with RGB and Pose Information using Two Stream Convolutional Networks ( http://arxiv.org/abs/2302.02755v1 ) ライセンス: Link先を確認 | Leonard Hacker and Finn Bartels and Pierre-Etienne Martin | (参考訳) MediaEval 2022 Sport Taskの参加者として、テーブルテニスストロークの分類と検出のための2ストリームネットワークアプローチを提案する。
各ストリームはアテンション機構を用いた3次元畳み込みニューラルネットワーク(cnn)ブロックの継承である。
各ストリームは異なる4D入力を処理する。
本手法はmmposeツールボックスから計算した生のrgbデータとポーズ情報を利用する。
ポーズ情報は、黒背景または計算した元のrgbフレームのいずれかにポーズを適用することで画像として処理される。
最高のパフォーマンスは、生のRGBデータを1つのストリームに供給し、Pose + RGB(PRGB)情報を他のストリームに供給し、フィーチャに後期融合を適用することで得られる。
提案手法はTStroke-21データセットで評価された。
我々は脳卒中分類の改善を報告でき、精度は87.3%に達し、検出はベースラインを上回りつつも0.349のIoUと0.110のmAPに到達している。 As participants of the MediaEval 2022 Sport Task, we propose a two-stream network approach for the classification and detection of table tennis strokes. Each stream is a succession of 3D Convolutional Neural Network (CNN) blocks using attention mechanisms. Each stream processes different 4D inputs. Our method utilizes raw RGB data and pose information computed from MMPose toolbox. The pose information is treated as an image by applying the pose either on a black background or on the original RGB frame it has been computed from. Best performance is obtained by feeding raw RGB data to one stream, Pose + RGB (PRGB) information to the other stream and applying late fusion on the features. The approaches were evaluated on the provided TTStroke-21 data sets. We can report an improvement in stroke classification, reaching 87.3% of accuracy, while the detection does not outperform the baseline but still reaches an IoU of 0.349 and mAP of 0.110. | 翻訳日:2023-02-07 16:48:30 公開日:2023-02-06 |
| # 注意機構を用いた3次元CNNを用いたメディアEval 2022スポーツタスクのベースライン法 Baseline Method for the Sport Task of MediaEval 2022 with 3D CNNs using Attention Mechanisms ( http://arxiv.org/abs/2302.02752v1 ) ライセンス: Link先を確認 | Pierre-Etienne Martin | (参考訳) 本稿では,MediaEval 2022ベンチマークのスポーツビデオタスク部に提案するベースライン手法を提案する。
このタスクは、トリミングビデオからのストローク分類と、トリミングビデオからのストローク検出の2つのサブタスクを提案する。
このベースラインは両方のサブタスクに対処します。
2つのサブタスクを解決するために,2種類の3d-cnnアーキテクチャを提案する。
3d-cnnは時空間畳み込みと注意機構を使用する。
アーキテクチャとトレーニングプロセスは、アドレス付きサブタスクを解決するように調整されている。
このベースライン手法は、参加者が調査を行い、最終的にビデオ処理、トレーニング方法、評価、提出ルーチンといったタスクのいくつかの側面を緩和するために、オンラインで公開されている。
ベースライン法は分類サブタスクの v2 モデルで 86.4% の精度に達する。
検出サブタスクでは、ベースラインが0.131mAP、IoUが0.515mAPに達する。 This paper presents the baseline method proposed for the Sports Video task part of the MediaEval 2022 benchmark. This task proposes two subtasks: stroke classification from trimmed videos, and stroke detection from untrimmed videos. This baseline addresses both subtasks. We propose two types of 3D-CNN architectures to solve the two subtasks. Both 3D-CNNs use Spatio-temporal convolutions and attention mechanisms. The architectures and the training process are tailored to solve the addressed subtask. This baseline method is shared publicly online to help the participants in their investigation and alleviate eventually some aspects of the task such as video processing, training method, evaluation and submission routine. The baseline method reaches 86.4% of accuracy with our v2 model for the classification subtask. For the detection subtask, the baseline reaches a mAP of 0.131 and IoU of 0.515 with our v1 model. | 翻訳日:2023-02-07 16:48:14 公開日:2023-02-06 |
| # モジュラー超電導量子プロセッサの低損失相互接続 Low-loss interconnects for modular superconducting quantum processors ( http://arxiv.org/abs/2302.02751v1 ) ライセンス: Link先を確認 | Jingjing Niu, Libo Zhang, Yang Liu, Jiawei Qiu, Wenhui Huang, Jiaxiang Huang, Hao Jia, Jiawei Liu, Ziyu Tao, Weiwei Wei, Yuxuan Zhou, Wanjing Zou, Yuanzhen Chen, Xiaowei Deng, Xiuhao Deng, Changkang Hu, Ling Hu, Jian Li, Dian Tan, Yuan Xu, Fei Yan, Tongxing Yan, Song Liu, Youpeng Zhong, Andrew N. Cleland, Dapeng Yu | (参考訳) 超伝導量子コンピューティングでは、スケーリングが重要な課題となっている。
1つの解決策は、小さな量子モジュールを個別に構築、調整し、より大きなアーキテクチャに組み立てるモジュラーシステムを構築することである。
しかし、これは適切な相互接続の開発を必要とする。
ここでは, 純アルミニウム同軸ケーブルとオンチップインピーダンストランスフォーマを用いた低損失配線を, 単結晶サファイア基板上に作製したトランスモン量子ビットの性能に匹敵する品質因子を最大8.1 \times 10^5$で報告する。
これらの相互接続を用いて、5つの量子モジュールとモジュール間量子状態転送とベル状態フィディティを99\%までリンクする。
プロセッサ全体の性能をベンチマークするために、最大に絡み合ったマルチキュービットのGreenberger-Horne-Zeilinger状態(GHZ)を作成する。
生成したモジュール間4量子GHZ状態は92.0\%の忠実度を示す。
また、GHZ状態の最大12キュービットは55.8 pm 1.8\%$フィリティであり、これは真のマルチパーティライトのエンタングル化閾値の1/2以上である。
これらの結果は、大規模超伝導量子プロセッサにとって有効なモジュラーアプローチである。 Scaling is now a key challenge in superconducting quantum computing. One solution is to build modular systems in which smaller-scale quantum modules are individually constructed and calibrated, and then assembled into a larger architecture. This, however, requires the development of suitable interconnects. Here, we report low-loss interconnects based on pure aluminium coaxial cables and on-chip impedance transformers featuring quality factors up to $8.1 \times 10^5$, which is comparable to the performance of our transmon qubits fabricated on single-crystal sapphire substrate. We use these interconnects to link five quantum modules with inter-module quantum state transfer and Bell state fidelities up to 99\%. To benchmark the overall performance of the processor, we create maximally-entangled, multi-qubit Greenberger-Horne-Zeilinger (GHZ) states. The generated inter-module four-qubit GHZ state exhibits 92.0\% fidelity. We also entangle up to 12 qubits in a GHZ state with $55.8 \pm 1.8\%$ fidelity, which is above the genuine multipartite entanglement threshold of 1/2. These results represent a viable modular approach for large-scale superconducting quantum processors. | 翻訳日:2023-02-07 16:48:01 公開日:2023-02-06 |
| # 氷河フロントセグメンテーションのためのAMD-HookNet AMD-HookNet for Glacier Front Segmentation ( http://arxiv.org/abs/2302.02744v1 ) ライセンス: Link先を確認 | Fei Wu, Nora Gourmelon, Thorsten Seehaus, Jianlin Zhang, Matthias Braun, Andreas Maier, and Vincent Christlein | (参考訳) 氷河の開削前位置の変化に関する知識は氷河の状態を評価する上で重要である。
リモートセンシング画像は, 前方位置のモニタリングに理想的なデータベースを提供するが, 時間制約のため, 全氷河で手動で行うことは不可能である。
深層学習に基づく手法は、光学衛星画像やレーダー衛星画像から氷河の前部線を削る大きな可能性を示している。
カルビングフロントは、海と氷河の間の1本の細い線として表現されており、不正確な予測に対して脆弱である。
注釈付き氷河画像の可用性は限られており、データの多様性が欠如している(異なる気象条件、終点形状、センサーなどの組み合わせがデータに存在するわけではない)ため、正確なセグメンテーションの難しさが増す。
本稿では,合成開口レーダ(SAR)画像のための氷河養生フロントセグメンテーションフレームワークであるAttention-Multi-hooking-Deep-supervision HookNet(AMD-HookNet)を提案する。
提案手法は,2分岐U-Netに基づく低解像度入力と高解像度入力の複数情報相互作用による特徴表現能力の向上を目的とする。
2つの枝U-Netに統合されたアテンションメカニズムは、対応する粗い特徴マップときめ細かい特徴マップの相互作用を目的としている。
これにより、ネットワークは自動的に特徴関係を調整でき、正確なピクセル分類予測が可能になる。
氷河セグメンテーションベンチマークデータセットcaffeを用いた広範な実験と比較の結果,amd-hooknetは実地真理に対する平均距離誤差を438mとし,その効果を42%向上させた。 Knowledge on changes in glacier calving front positions is important for assessing the status of glaciers. Remote sensing imagery provides the ideal database for monitoring calving front positions, however, it is not feasible to perform this task manually for all calving glaciers globally due to time-constraints. Deep learning-based methods have shown great potential for glacier calving front delineation from optical and radar satellite imagery. The calving front is represented as a single thin line between the ocean and the glacier, which makes the task vulnerable to inaccurate predictions. The limited availability of annotated glacier imagery leads to a lack of data diversity (not all possible combinations of different weather conditions, terminus shapes, sensors, etc. are present in the data), which exacerbates the difficulty of accurate segmentation. In this paper, we propose Attention-Multi-hooking-Deep-supervision HookNet (AMD-HookNet), a novel glacier calving front segmentation framework for synthetic aperture radar (SAR) images. The proposed method aims to enhance the feature representation capability through multiple information interactions between low-resolution and high-resolution inputs based on a two-branch U-Net. The attention mechanism, integrated into the two branch U-Net, aims to interact between the corresponding coarse and fine-grained feature maps. This allows the network to automatically adjust feature relationships, resulting in accurate pixel-classification predictions. Extensive experiments and comparisons on the challenging glacier segmentation benchmark dataset CaFFe show that our AMD-HookNet achieves a mean distance error of 438 m to the ground truth outperforming the current state of the art by 42%, which validates its effectiveness. | 翻訳日:2023-02-07 16:47:39 公開日:2023-02-06 |
| # ディープスピーカー埋め込みアーキテクチャにおける残差情報 Residual Information in Deep Speaker Embedding Architectures ( http://arxiv.org/abs/2302.02742v1 ) ライセンス: Link先を確認 | Adriana Stan | (参考訳) 話者埋め込みは、その表現が話者同一性のみに関連するように、音声信号から代表ベクトル表現を抽出する手段を表す。
埋め込みは通常、異なる話者の分類と識別に使用される。
しかし,話者の身元を他の音声特徴から切り離すための話者埋め込み能力を評価する客観的な尺度は存在しない。
これは、埋め込みは理想的なものではなく、トレーニングコーパスに大きく依存しており、まだ言語内容、記録条件、発話の話し方などの要因に関する残余情報を含んでいることを意味する。
本稿では,最新の高性能DNNアーキテクチャを用いて抽出した6組の話者埋め込みについて分析し,特に,話者アイデンティティを音声信号から真に切り離すことができる程度について述べる。
アーキテクチャを正しく評価するために、大きなマルチスピーカー並列音声データセットを使用する。
データセットには46人の話者が同じプロンプトを発信し、プロのスタジオや自宅の環境に記録されている。
分析は、異なる埋め込み集合上で計算される話者内および話者間類似度の測定や、単純な分類および回帰法が話者埋め込みからいくつかの残差情報因子を抽出することができるかどうかを調べる。
その結果, 解析された埋め込みの識別力は非常に高いが, 分析されたすべてのアーキテクチャにおいて, 残余情報は, 記録条件, 言語内容, 発話時間に高い相関関係があることが示唆された。 Speaker embeddings represent a means to extract representative vectorial representations from a speech signal such that the representation pertains to the speaker identity alone. The embeddings are commonly used to classify and discriminate between different speakers. However, there is no objective measure to evaluate the ability of a speaker embedding to disentangle the speaker identity from the other speech characteristics. This means that the embeddings are far from ideal, highly dependent on the training corpus and still include a degree of residual information pertaining to factors such as linguistic content, recording conditions or speaking style of the utterance. This paper introduces an analysis over six sets of speaker embeddings extracted with some of the most recent and high-performing DNN architectures, and in particular, the degree to which they are able to truly disentangle the speaker identity from the speech signal. To correctly evaluate the architectures, a large multi-speaker parallel speech dataset is used. The dataset includes 46 speakers uttering the same set of prompts, recorded in either a professional studio or their home environments. The analysis looks into the intra- and inter-speaker similarity measures computed over the different embedding sets, as well as if simple classification and regression methods are able to extract several residual information factors from the speaker embeddings. The results show that the discriminative power of the analyzed embeddings is very high, yet across all the analyzed architectures, residual information is still present in the representations in the form of a high correlation to the recording conditions, linguistic contents and utterance duration. | 翻訳日:2023-02-07 16:47:09 公開日:2023-02-06 |
| # INCREASE:時空間クリグのためのインダクティブグラフ表現学習 INCREASE: Inductive Graph Representation Learning for Spatio-Temporal Kriging ( http://arxiv.org/abs/2302.02738v1 ) ライセンス: Link先を確認 | Chuanpan Zheng, Xiaoliang Fan, Cheng Wang, Jianzhong Qi, Chaochao Chen, Longbiao Chen | (参考訳) 時空間クリグは、ウェブやモノのインターネットのようなウェブやソーシャルアプリケーションにおいて重要な問題であり、ウェブに接続されているもの(例えば、センサー)は時空間的特性と時間的特性を持つことが多い。
興味のある期間に観測された場所からのデータを用いて、観測されていない場所の知識(物)を推論することを目的としている。
この問題は本質的に \emph{inductive learning} を必要とする。
トレーニングが完了すると、モデルは、新たに与えられたものを含むさまざまな場所で、再トレーニングすることなく、クリグを実行できるようになる。
しかし,不均質な空間的関係と多様な時間的パターンから,正確なクリグ結果を得ることは困難である。
本稿では,時空間クリグティングのための新しい帰納的グラフ表現学習モデルを提案する。
まず,観測地と観測地の間の不均一な空間関係を,その空間的近接性,機能的類似性,遷移確率によってエンコードする。
それぞれの関係に基づいて最も相関の高い観測位置の情報を正確に集約し,それらの類似点と相違点を共同でモデル化し,観測されていない場所の帰納表現を生成する。
そこで我々は,各関係に対して生成したシーケンス表現の時間的相関を適応的に捉えるために,GRUネットワークを設計する。
最後に,複数の関係から異なる時間ステップで複雑な時空間情報を動的に融合してクリグアウトプットを計算するマルチリレーションアテンション機構を提案する。
3つの実世界のデータセットにおける実験結果は,提案モデルが最先端の手法を一貫して上回っており,観測位置の少ない場合に有利であることを示している。
私たちのコードはhttps://github.com/zhengchuanpan/increaseで入手できます。 Spatio-temporal kriging is an important problem in web and social applications, such as Web or Internet of Things, where things (e.g., sensors) connected into a web often come with spatial and temporal properties. It aims to infer knowledge for (the things at) unobserved locations using the data from (the things at) observed locations during a given time period of interest. This problem essentially requires \emph{inductive learning}. Once trained, the model should be able to perform kriging for different locations including newly given ones, without retraining. However, it is challenging to perform accurate kriging results because of the heterogeneous spatial relations and diverse temporal patterns. In this paper, we propose a novel inductive graph representation learning model for spatio-temporal kriging. We first encode heterogeneous spatial relations between the unobserved and observed locations by their spatial proximity, functional similarity, and transition probability. Based on each relation, we accurately aggregate the information of most correlated observed locations to produce inductive representations for the unobserved locations, by jointly modeling their similarities and differences. Then, we design relation-aware gated recurrent unit (GRU) networks to adaptively capture the temporal correlations in the generated sequence representations for each relation. Finally, we propose a multi-relation attention mechanism to dynamically fuse the complex spatio-temporal information at different time steps from multiple relations to compute the kriging output. Experimental results on three real-world datasets show that our proposed model outperforms state-of-the-art methods consistently, and the advantage is more significant when there are fewer observed locations. Our code is available at https://github.com/zhengchuanpan/INCREASE. | 翻訳日:2023-02-07 16:46:46 公開日:2023-02-06 |
| # ルートラプラシア固有写像とそのスペクトル埋め込みへの応用 Root Laplacian Eigenmaps with their application in spectral embedding ( http://arxiv.org/abs/2302.02731v1 ) ライセンス: Link先を確認 | Shouvik Datta Choudhury | (参考訳) グロモフの意味で完備リーマン多様体で得られるラプラシアンの根根あるいは平方根は、グラフ理論においてグラフ-ラプラシアンの平方根として類似している。
幾何的深層学習(スペクトルクラスタリング)やグラフ信号処理において潜在的な応用が示されている。 The root laplacian operator or the square root of Laplacian which can be obtained in complete Riemannian manifolds in the Gromov sense has an analog in graph theory as a square root of graph-Laplacian. Some potential applications have been shown in geometric deep learning (spectral clustering) and graph signal processing. | 翻訳日:2023-02-07 16:46:17 公開日:2023-02-06 |
| # 一階論理の2変数フラッグメントにおける特殊サンプリングについて On Exact Sampling in the Two-Variable Fragment of First-Order Logic ( http://arxiv.org/abs/2302.02730v1 ) ライセンス: Link先を確認 | Yuanhong Wang, Juhua Pu, Yuyi Wang, and Ond\v{r}ej Ku\v{z}elka | (参考訳) 本稿では、wangらによって最近提案された一階述語論理のサンプリング問題について述べる。
-- 有限領域上の与えられた一階文のモデルを効率的にサンプルする方法?
2変数論理 $\mathbf{FO}^2$$$\mathbf{UFO}^2$) の普遍的に定式化された部分集合に対して、それらの結果を $\mathbf{FO}^2$ の断片に拡張する。
具体的には、$\mathbf{FO}^2$のサンプリングにより、ドメインサイズの時間多項式で実行される$\mathbf{FO}^2$のサンプリングアルゴリズムが存在することを証明する。
さらに、この結果は、例えば$\forall x\exists_{=k} y: \varphi(x,y)$ and $\exists_{=k} x\forall y: \varphi(x,y)$, for some Quantifier-free formula $\varphi(x,y)$ のような数え上げ制約の存在下でも持続することを示す。
提案手法は構成的であり,結果として得られるサンプリングアルゴリズムは,マルコフ論理ネットワークや確率論理プログラムなどの統計関係モデルにおけるコンビネート構造の一様生成やサンプリングなど,様々な分野において潜在的に応用できる。 In this paper, we study the sampling problem for first-order logic proposed recently by Wang et al. -- how to efficiently sample a model of a given first-order sentence on a finite domain? We extend their result for the universally-quantified subfragment of two-variable logic $\mathbf{FO}^2$ ($\mathbf{UFO}^2$) to the entire fragment of $\mathbf{FO}^2$. Specifically, we prove the domain-liftability under sampling of $\mathbf{FO}^2$, meaning that there exists a sampling algorithm for $\mathbf{FO}^2$ that runs in time polynomial in the domain size. We then further show that this result continues to hold even in the presence of counting constraints, such as $\forall x\exists_{=k} y: \varphi(x,y)$ and $\exists_{=k} x\forall y: \varphi(x,y)$, for some quantifier-free formula $\varphi(x,y)$. Our proposed method is constructive, and the resulting sampling algorithms have potential applications in various areas, including the uniform generation of combinatorial structures and sampling in statistical-relational models such as Markov logic networks and probabilistic logic programs. | 翻訳日:2023-02-07 16:46:10 公開日:2023-02-06 |
| # モジュール型マルチタスクmlシステムのためのマルチパスエージェント Multipath agents for modular multitask ML systems ( http://arxiv.org/abs/2302.02721v1 ) ライセンス: Link先を確認 | Andrea Gesmundo | (参考訳) 標準MLモデルは、アーキテクチャ、初期化、トレーニングデータ、ハイパーパラメータ設定などのアスペクトを指定する単一のメソッドによって一般的に生成される。
本稿では,複数のメソッドを異なるエージェントとして定義できる新しい手法を提案する。
エージェントは、与えられたタスクに対するMLモデルの生成と改善のために協力し、競争することができる。
提案手法は,100以上の画像分類課題を解いた動的モジュール型マルチタスクmlシステムの生成と拡張によって実証された。
多様なエージェントは、競合エージェントによってシステムに導入されたモジュールを再利用することで、タスクの最高のパフォーマンスモデルを作成するために競争することができる。
本研究は, 有能なエージェントの研究に焦点を当てたものである。
1) 並行エージェントが生成するモジュールの再利用
2)複数のモジュールを凍結状態で並列に活性化し、それらを訓練可能なモジュールで接続する。
3) トレーニング可能なルータモジュールを用いて各データサンプル上でのアクティベーション混合を条件とする。
この単純なサンプル毎の並列ルーティング手法は、活性化されたパラメータのほんの一部をトレーニングすることで、組み合わせソリューションの品質を高めることができる。 A standard ML model is commonly generated by a single method that specifies aspects such as architecture, initialization, training data and hyperparameters configuration. The presented work introduces a novel methodology allowing to define multiple methods as distinct agents. Agents can collaborate and compete to generate and improve ML models for a given tasks. The proposed methodology is demonstrated with the generation and extension of a dynamic modular multitask ML system solving more than one hundred image classification tasks. Diverse agents can compete to produce the best performing model for a task by reusing the modules introduced to the system by competing agents. The presented work focuses on the study of agents capable of: 1) reusing the modules generated by concurrent agents, 2) activating in parallel multiple modules in a frozen state by connecting them with trainable modules, 3) condition the activation mixture on each data sample by using a trainable router module. We demonstrate that this simple per-sample parallel routing method can boost the quality of the combined solutions by training a fraction of the activated parameters. | 翻訳日:2023-02-07 16:45:38 公開日:2023-02-06 |
| # 関数プルーニングに基づくログ線形非パラメトリックオンライン変更点検出アルゴリズム A Log-Linear Non-Parametric Online Changepoint Detection Algorithm based on Functional Pruning ( http://arxiv.org/abs/2302.02718v1 ) ライセンス: Link先を確認 | Gaetano Romano, Idris Eckley, Paul Fearnhead | (参考訳) オンライン変更ポイント検出は、高頻度のデータストリームにおける異常やリアルタイムの変化を検知することを目的としている。
これは、サイバーセキュリティ、医療、天体物理学などを含む、多くの現実世界のアプリケーションで根ざしている重要なタスクです。
高速で効率的なオンラインアルゴリズムが最近導入されたが、それらはパラメトリックな仮定に依存している。
電気通信部門のデータストリームに動機づけられ、シーケンスの分布の変化を検出するための柔軟な非パラメトリックなアプローチを構築します。
我々の手順であるNP-FOCuSは、データの経験的累積密度関数の点集合の変化に対する逐次的確率比テストを構築した。
これは、これらの点以上の観測回数を追跡することで達成される。
NP-FOCuSは機能的プルーニングのアイデアにより、観測回数の対数線形であり、高周波データストリームに適した計算コストを持つ。
検出能力の面では、NP-FOCuSは様々な設定で現在の非パラメトリックオンライン変更ポイント技術より優れている。
本手法はシミュレーションデータと実データの両方において有用性を示す。 Online changepoint detection aims to detect anomalies and changes in real-time in high-frequency data streams, sometimes with limited available computational resources. This is an important task that is rooted in many real-world applications, including and not limited to cybersecurity, medicine and astrophysics. While fast and efficient online algorithms have been recently introduced, these rely on parametric assumptions which are often violated in practical applications. Motivated by data streams from the telecommunications sector, we build a flexible nonparametric approach to detect a change in the distribution of a sequence. Our procedure, NP-FOCuS, builds a sequential likelihood ratio test for a change in a set of points of the empirical cumulative density function of our data. This is achieved by keeping track of the number of observations above or below those points. Thanks to functional pruning ideas, NP-FOCuS has a computational cost that is log-linear in the number of observations and is suitable for high-frequency data streams. In terms of detection power, NP-FOCuS is seen to outperform current nonparametric online changepoint techniques in a variety of settings. We demonstrate the utility of the procedure on both simulated and real data. | 翻訳日:2023-02-07 16:45:25 公開日:2023-02-06 |
| # 局所的非ヘルミティシティによるスケールフリー局在状態の蓄積 Accumulation of scale-free localized states induced by local non-Hermiticity ( http://arxiv.org/abs/2302.02798v1 ) ライセンス: Link先を確認 | Cui-Xian Guo, Xueliang Wang, Haiping Hu, Shu Chen | (参考訳) エルミート系のバルク状態は、いくつかの不純物誘起境界状態を除いては、局所エルミート不純物や摂動に影響を受けないと考えられている。
したがって、局所非ハーミティティーが元のエルミート系に劇的な変化を引き起こすかどうかが重要な問題である。
ここでは、この疑問を肯定的に答え、パリティ時間(\mathcal{PT}$)対称性を持つ局所非エルミート項を持つ二重鎖モデルの正確な解を示す。
非ハーモニティ性によって誘導され、システムは$\mathcal{PT}$-対称性の破れのシーケンスを実行し、その後、アイジネギーは複素共役対に現れる。
関連するバルク状態はスケールフリーの局所化となり、不純物の周りに一方向的に蓄積される。
余剰拡張状態とスケールフリーな局所状態とを分離するモビリティエッジが存在する。
狭い中間領域では、すべての固有状態はスケールフリーな局所状態となる。
非エルミート的項をさらに増加させることで、完全に実数のバルクスペクトルと一対の虚有界状態を持つ$\mathcal{pt}$-restorationレジームを直観的に導入する。
局所的非休眠状態が生成するスケールフリーな局所状態の蓄積は一般的な現象であり、準周期性障害の存在下でも生存可能であることを実証する。
その結果、元のエルミート系のバルク特性は局所的非エルミート性によってグローバルに再構成できることがわかった。 The bulk states of Hermitian systems are believed insensitive to local Hermitian impurities or perturbations except for a few impurity-induced bound states. Thus an important question is whether local non-Hermiticity can cause drastic changes to the original Hermitian systems. Here we answer this question affirmatively and present exact solutions for the double chain model with local non-Hermitian terms that has parity-time ($\mathcal{PT}$) symmetry. Induced by the non-Hermiticity, the system undergoes a sequence of $\mathcal{PT}$-symmetry breakings, after which the eigenenergies appear in complex conjugate pairs. The associated bulk states then become scale-free localized, and unidirectionally accumulated around the impurity. There exist mobility edges separating the residual extended states and the scale-free localized states. In a narrow intermediate region, all eigenstates become scale-free localized states. Further increasing the non-Hermitian term counter-intuitively brings the system to a $\mathcal{PT}$-restoration regime with fully real bulk spectra and a pair of imaginary bound states. We demonstrate that accumulation of local non-Hermiticity generated scale-free localized states is a general phenomenon and can even survive in the presence of quasiperiodical disorder. Our results indicate that the bulk properties of the original Hermitian system can be globally reshaped by local non-Hermiticity. | 翻訳日:2023-02-07 16:39:57 公開日:2023-02-06 |
| # 複数時間学習による分散協調型深層強化学習における非定常処理 Dealing With Non-stationarity in Decentralized Cooperative Multi-Agent Deep Reinforcement Learning via Multi-Timescale Learning ( http://arxiv.org/abs/2302.02792v1 ) ライセンス: Link先を確認 | Hadi Nekoei, Akilesh Badrinaaraayanan, Amit Sinha, Mohammad Amini, Janarthanan Rajendran, Aditya Mahajan, Sarath Chandar | (参考訳) 分散協調型多エージェント深層強化学習(MARL)は,特に集中学習が不可能か実用的でない場合において,多目的学習の枠組みとなる。
分散深層MARLにおける重要な課題の1つは、複数のエージェントが同時に学習している場合の学習環境の非定常性である。
分散marlの一般的かつ効率的なスキームは、エージェントが互いに独立してポリシーを同時更新する独立した学習である。
まず,独立学習は必ずしも収束しないが,エージェントが順次更新する逐次学習では,エージェント・バイ・エージェントの最適解に収束することが保証される。
逐次学習では、あるエージェントがそのポリシーを更新すると、他のエージェントのポリシーは固定され、他のエージェントのポリシーの同時更新による非定常性の課題が軽減される。
しかし、1つのエージェントだけがいつでも学習しているため、遅い場合もあります。
そのため、必ずしも実用的とは限らない。
本研究では,マルチスケール学習に基づく分散協調型MARLアルゴリズムを提案する。
マルチスケール学習では、すべてのエージェントが同時に学習するが、学習速度は異なる。
提案手法では,あるエージェントがポリシーを更新した場合,他のエージェントもポリシーを更新できるが,速度は遅くなる。
これによりシーケンシャルな学習がスピードアップし、同時に更新される他のエージェントによる非定常性を最小化する。
マルチタイムスケール学習は、epymarl (papoudakis2020) ベンチマークにおいて、挑戦的なマルチエージェント協調タスクのセットで最先端の分散学習方法を上回る。
これは、マルチスケール学習に基づくより汎用的な分散協調型MARL手法への第一歩と見なすことができる。 Decentralized cooperative multi-agent deep reinforcement learning (MARL) can be a versatile learning framework, particularly in scenarios where centralized training is either not possible or not practical. One of the key challenges in decentralized deep MARL is the non-stationarity of the learning environment when multiple agents are learning concurrently. A commonly used and efficient scheme for decentralized MARL is independent learning in which agents concurrently update their policies independent of each other. We first show that independent learning does not always converge, while sequential learning where agents update their policies one after another in a sequence is guaranteed to converge to an agent-by-agent optimal solution. In sequential learning, when one agent updates its policy, all other agent's policies are kept fixed, alleviating the challenge of non-stationarity due to concurrent updates in other agents' policies. However, it can be slow because only one agent is learning at any time. Therefore it might also not always be practical. In this work, we propose a decentralized cooperative MARL algorithm based on multi-timescale learning. In multi-timescale learning, all agents learn concurrently, but at different learning rates. In our proposed method, when one agent updates its policy, other agents are allowed to update their policies as well, but at a slower rate. This speeds up sequential learning, while also minimizing non-stationarity caused by other agents updating concurrently. Multi-timescale learning outperforms state-of-the-art decentralized learning methods on a set of challenging multi-agent cooperative tasks in the epymarl (papoudakis2020) benchmark. This can be seen as a first step towards more general decentralized cooperative deep MARL methods based on multi-timescale learning. | 翻訳日:2023-02-07 16:39:28 公開日:2023-02-06 |
| # 自動運転における異常検出のための知覚データセット:調査 Perception Datasets for Anomaly Detection in Autonomous Driving: A Survey ( http://arxiv.org/abs/2302.02790v1 ) ライセンス: Link先を確認 | Daniel Bogdoll and Svenja Uhlemeyer and Kamil Kowol and J. Marius Z\"ollner | (参考訳) 自律運転のための認識システムに使用されるディープニューラルネットワーク(DNN)は、あらゆる状況において確実に高いパフォーマンスを達成する必要があるため、トレーニングする大量のデータを必要とする。
しかし、これらのdnnは通常、トレーニングデータで利用可能な閉じたセマンティクスクラスに制限されており、従って、これまで見つからなかったインスタンスと向き合うと信頼できない。
したがって, 実世界の異常, 実世界の異常, 合成異常, 完全に合成されたシーンの3つのグループに分類できる, 異常検出法の評価のための複数の知覚データセットが作成されている。
このサーベイは構造化され、私たちの知る限り、自律運転における異常検出のための知覚データセットの完全な概要と比較を提供する。
各章はタスクや基礎的真実、コンテキスト情報、ライセンスに関する情報を提供する。
さらに、既存のデータセットにおける現在の弱点とギャップについて論じ、さらなるデータ開発の重要性を強調する。 Deep neural networks (DNN) which are employed in perception systems for autonomous driving require a huge amount of data to train on, as they must reliably achieve high performance in all kinds of situations. However, these DNN are usually restricted to a closed set of semantic classes available in their training data, and are therefore unreliable when confronted with previously unseen instances. Thus, multiple perception datasets have been created for the evaluation of anomaly detection methods, which can be categorized into three groups: real anomalies in real-world, synthetic anomalies augmented into real-world and completely synthetic scenes. This survey provides a structured and, to the best of our knowledge, complete overview and comparison of perception datasets for anomaly detection in autonomous driving. Each chapter provides information about tasks and ground truth, context information, and licenses. Additionally, we discuss current weaknesses and gaps in existing datasets to underline the importance of developing further data. | 翻訳日:2023-02-07 16:39:03 公開日:2023-02-06 |
| # バッチ模倣学習のための強固なベースライン A Strong Baseline for Batch Imitation Learning ( http://arxiv.org/abs/2302.02788v1 ) ライセンス: Link先を確認 | Matthew Smith, Lucas Maystre, Zhenwen Dai, Kamil Ciosek | (参考訳) 専門家の行動の模倣は、シーケンシャルな意思決定の問題に対する非常に望ましい、かつ安全なアプローチである。
我々は、厳密なデータパラダイムの下で、エージェントが事前収集したデータからのみ学習しなければならない、実装が容易で斬新な模倣学習アルゴリズムを提供する。
このパラダイムは,安全性やコストが重要となる環境において,我々のアルゴリズムを利用できる。
我々のアルゴリズムは、標準バッチ強化学習(RL)アルゴリズム以外の追加のハイパーパラメータチューニングを必要としないため、そのようなデータ制限機構の理想的なベースラインとなる。
さらに,有限マルコフ決定問題におけるアルゴリズムの形式的サンプル複雑性を保証する。
そのような場合、Kearns & Singh (1998) の証明されていない主張を正式に証明する。
経験的な面では、私たちの貢献は2倍です。
まず,モデル選択のためのデータセットのみを用いて,オフラインrlメソッドのための実用的でロバストで原則化された評価プロトコルを開発する。
これは、新しいコストクリティカルな環境にデプロイする際の実用的な適用性を制限し、評価環境のハイパーパラメータをチューニングするオフラインRLにおける以前のほとんどの作業とは対照的である。
そこで我々は,オフラインRLアルゴリズムの開発と評価の先例を確立した。
第2に,連続制御ベンチマークに挑戦するアルゴリズムを評価し,より単純なアルゴリズムであるにもかかわらず,その実用的適用性と最先端性能との競争力を実証する。 Imitation of expert behaviour is a highly desirable and safe approach to the problem of sequential decision making. We provide an easy-to-implement, novel algorithm for imitation learning under a strict data paradigm, in which the agent must learn solely from data collected a priori. This paradigm allows our algorithm to be used for environments in which safety or cost are of critical concern. Our algorithm requires no additional hyper-parameter tuning beyond any standard batch reinforcement learning (RL) algorithm, making it an ideal baseline for such data-strict regimes. Furthermore, we provide formal sample complexity guarantees for the algorithm in finite Markov Decision Problems. In doing so, we formally demonstrate an unproven claim from Kearns & Singh (1998). On the empirical side, our contribution is twofold. First, we develop a practical, robust and principled evaluation protocol for offline RL methods, making use of only the dataset provided for model selection. This stands in contrast to the vast majority of previous works in offline RL, which tune hyperparameters on the evaluation environment, limiting the practical applicability when deployed in new, cost-critical environments. As such, we establish precedent for the development and fair evaluation of offline RL algorithms. Second, we evaluate our own algorithm on challenging continuous control benchmarks, demonstrating its practical applicability and competitiveness with state-of-the-art performance, despite being a simpler algorithm. | 翻訳日:2023-02-07 16:38:48 公開日:2023-02-06 |
| # ネットワークにおける2次元空間分割の生成モデル Generative models for two-ground-truth partitions in networks ( http://arxiv.org/abs/2302.02787v1 ) ライセンス: Link先を確認 | Lena Mangold and Camille Roth | (参考訳) ネットワークのメソスケール構造を特徴付けるために、無数のアプローチが提案されている。
明らかに、異なる種類のパターンを検出するために設計された異なる手法は、ネットワークのメソスケール構造に様々な答えをもたらす可能性がある。
しかし、あるメソッドの複数の実行でさえ、多様で矛盾する結果をもたらすことがあるため、ネットワークの複数の(局所的に最適な)メソスケールの説明を含むパーティションの全体像が得られる。
このような曖昧さは、ネットワーク内の複数の定性的に異なる「根拠真理」パーティションを見つけるためのこれらの方法の能力をより詳しく見る動機となる。
本稿では,1つのベンチマークネットワークのメソスケール構造に2つの異なるパーティションを組み込むことができる生成モデルを提案する。
本研究では, 確率ブロックモデル (SBM) のパワーを探索し, 異なる強度の両コミュニティおよびコア周辺構造を検出することで, ベンチマークモデルの適用例を示す。
この2つのパーティションを検出できる能力は,SBM変種によって大きく異なり,両パーティションの共存は極めて限られたケースでのみ回復されることがわかった。
我々の発見は、ほとんどのケースにおいて、生成されたネットワークに他のパーティションが存在する場合でも、何らかの方法で支配的な構造を検出することができる。
異なる競合する説明が存在する場合、分割の景観全体を考慮する必要性を強調し、分割共存検出法を前進させるために将来の研究を動機付ける。
提案モデルは,ネットワークのメソスケール構造におけるあいまいさを検出する新しい手法のさらなる探索を可能にすることで,ベンチマークネットワークの分野に寄与する。 A myriad of approaches have been proposed to characterise the mesoscale structure of networks - most often as a partition based on patterns variously called communities, blocks, or clusters. Clearly, distinct methods designed to detect different types of patterns may provide a variety of answers to the network's mesoscale structure. Yet, even multiple runs of a given method can sometimes yield diverse and conflicting results, yielding entire landscapes of partitions which potentially include multiple (locally optimal) mesoscale explanations of the network. Such ambiguity motivates a closer look at the ability of these methods to find multiple qualitatively different 'ground truth' partitions in a network. Here, we propose a generative model which allows for two distinct partitions to be built into the mesoscale structure of a single benchmark network. We demonstrate a use case of the benchmark model by exploring the power of stochastic block models (SBMs) to detect coexisting bi-community and core-periphery structures of different strengths. We find that the ability to detect the two partitions individually varies considerably by SBM variant and that coexistence of both partitions is recovered only in a very limited number of cases. Our findings suggest that in most instances only one - in some way dominating - structure can be detected, even in the presence of other partitions in the generated network. They underline the need for considering entire landscapes of partitions when different competing explanations exist and motivate future research to advance partition coexistence detection methods. Our model also contributes to the field of benchmark networks more generally by enabling further exploration of the ability of new and existing methods to detect ambiguity in mesoscale structure of networks. | 翻訳日:2023-02-07 16:38:28 公開日:2023-02-06 |
| # 大規模な部分観測可能な環境でAIを活用して人間の計画を改善する Leveraging AI to improve human planning in large partially observable environments ( http://arxiv.org/abs/2302.02785v1 ) ライセンス: Link先を確認 | Lovis Heindrich, Saksham Consul, Falk Lieder | (参考訳) AIは多くの計画タスクで人を上回るだけでなく、よりよい計画方法を教えることができる。
以前の作業はすべて完全な可観測環境で行われたが、現実の世界は部分的に可観測である。
このギャップを埋めるために,人間計画のための資源有理戦略を部分的に観測可能な環境で発見する最初のメトエリアソンアルゴリズムを開発した。
さらに,より難しい問題に対してどのように計画するかをフィードバックすることで,自動発見戦略を指導するインテリジェントな家庭教師を開発した。
戦略発見手法は最先端技術よりも優れていることを示し、330名の参加者による事前登録トレーニング実験で知的チューターをテストした。
実験の結果,部分観測可能な環境における計画の直観的戦略は極めて最適であるが,知的家庭教師の訓練によって大幅に改善できることがわかった。
これは、人間中心の学習アプローチが、複雑で部分的に観察可能なシーケンシャルな意思決定問題において、人間の計画を促進することを示唆している。 AI can not only outperform people in many planning tasks, but also teach them how to plan better. All prior work was conducted in fully observable environments, but the real world is only partially observable. To bridge this gap, we developed the first metareasoning algorithm for discovering resource-rational strategies for human planning in partially observable environments. Moreover, we developed an intelligent tutor teaching the automatically discovered strategy by giving people feedback on how they plan in increasingly more difficult problems. We showed that our strategy discovery method is superior to the state-of-the-art and tested our intelligent tutor in a preregistered training experiment with 330 participants. The experiment showed that people's intuitive strategies for planning in partially observable environments are highly suboptimal, but can be substantially improved by training with our intelligent tutor. This suggests our human-centred tutoring approach can successfully boost human planning in complex, partially observable sequential decision problems. | 翻訳日:2023-02-07 16:38:02 公開日:2023-02-06 |
| # 騒音によるコヒーレンスと多様性:構造認識による自己改善パラフレーズ生成 Coherence and Diversity through Noise: Self-Supervised Paraphrase Generation via Structure-Aware Denoising ( http://arxiv.org/abs/2302.02780v1 ) ライセンス: Link先を確認 | Rishabh Gupta, Venktesh V., Mukesh Mohania, Vikram Goyal | (参考訳) 本稿では,制御ノイズ注入によるパラフレーズ処理のための教師なしフレームワークであるSCANINGを提案する。
本稿では,オンライン教育に実践的な応用を持つ代数的単語問題を,ロテ記憶の代わりに生徒の理解を確実にするための新しい課題に焦点をあてる。
このタスクは、パラフレーズ付き単語問題の解の整合性、テキストの長さの増大の管理、生成したパラフレーズの多様性を保証することの難しさから、一般ドメインコーパスのパラフレーズよりも複雑である。
既存のアプローチでは、これらすべての面において、少なくとも1つの面において適切なパフォーマンスを示すことができず、より包括的なソリューションを必要とします。
この目的のために, 探索空間を, 文脈的および構文的側面と, 1 つの側面と2つの側面からなるサンプルノージング関数の合成としてモデル化する。
これにより、両方の側面で動作し、グラウンドドノイズインジェクションを通じて意味論的に等価で構文的に多様なアウトプットを生成するデノゲーション関数を学習することができる。
雑音化関数は、ノイズに直接依存することなく、入力-パラフレア空間でのみ動作するパラフレージング関数を学習するための基礎として機能する。
SCANingは4つのデータセットにまたがる広範囲な自動的および手動による評価を通じて,意味保存と多種多様なパラフレーズの生成の両方の観点から,パフォーマンスを著しく向上させる。 In this paper, we propose SCANING, an unsupervised framework for paraphrasing via controlled noise injection. We focus on the novel task of paraphrasing algebraic word problems having practical applications in online pedagogy as a means to reduce plagiarism as well as ensure understanding on the part of the student instead of rote memorization. This task is more complex than paraphrasing general-domain corpora due to the difficulty in preserving critical information for solution consistency of the paraphrased word problem, managing the increased length of the text and ensuring diversity in the generated paraphrase. Existing approaches fail to demonstrate adequate performance on at least one, if not all, of these facets, necessitating the need for a more comprehensive solution. To this end, we model the noising search space as a composition of contextual and syntactic aspects and sample noising functions consisting of either one or both aspects. This allows for learning a denoising function that operates over both aspects and produces semantically equivalent and syntactically diverse outputs through grounded noise injection. The denoising function serves as a foundation for learning a paraphrasing function which operates solely in the input-paraphrase space without carrying any direct dependency on noise. We demonstrate SCANING considerably improves performance in terms of both semantic preservation and producing diverse paraphrases through extensive automated and manual evaluation across 4 datasets. | 翻訳日:2023-02-07 16:37:46 公開日:2023-02-06 |
| # SSLのインタープレイ:拡張、インダクティブバイアス、一般化 The SSL Interplay: Augmentations, Inductive Bias, and Generalization ( http://arxiv.org/abs/2302.02774v1 ) ライセンス: Link先を確認 | Vivien Cabannes, Bobak T. Kiani, Randall Balestriero, Yann LeCun, Alberto Bietti | (参考訳) 自己教師付き学習(SSL)は、監視なしで生データから表現を学習する強力なフレームワークとして登場した。
しかし実際には、エンジニアはチューニングオプティマイザの不安定さやトレーニング中の表現の崩壊といった問題に直面している。
このような課題は、データ拡張の選択、ネットワークアーキテクチャ、トレーニングアルゴリズムの間の複雑な相互作用に光を当てる理論の必要性を動機付けている。
本研究では,理論フレンドリな設定において,事前学習タスクと下流タスクの両方における一般化性能の正確な解析を行い,我々の理論から生じるSSL実践者に対するいくつかの知見を明らかにする。 Self-supervised learning (SSL) has emerged as a powerful framework to learn representations from raw data without supervision. Yet in practice, engineers face issues such as instability in tuning optimizers and collapse of representations during training. Such challenges motivate the need for a theory to shed light on the complex interplay between the choice of data augmentation, network architecture, and training algorithm. We study such an interplay with a precise analysis of generalization performance on both pretraining and downstream tasks in a theory friendly setup, and highlight several insights for SSL practitioners that arise from our theory. | 翻訳日:2023-02-07 16:37:20 公開日:2023-02-06 |
| # データ依存フラクタル次元による一般化境界 Generalization Bounds with Data-dependent Fractal Dimensions ( http://arxiv.org/abs/2302.02766v1 ) ライセンス: Link先を確認 | Benjamin Dupuis, George Deligiannidis, Umut \c{S}im\c{s}ekli | (参考訳) 現代のニューラルネットワークの一般化を保証することは、統計学習において重要な課題である。
近年,フラクタル幾何学のツールを用いて一般化誤差を分析する研究がいくつか行われている。
これらの研究は、一般化を理解するための新しい数学的ツールの導入に成功しているが、リプシッツ連続性仮定に大きく依存しており、一般にはニューラルネットワークを保たず、境界を空にする可能性がある。
本稿では,この問題に対処し,リプシッツ仮定を必要とせずにフラクタル幾何学に基づく一般化境界を証明する。
この目的を達成するために,学習理論における古典的な被覆論を基礎として,データ依存フラクタル次元を導入する。
この新しい概念は、膨大な技術的な複雑さを伴っても、ある相互情報(MI)用語とともに一般化誤差(固定あるいはランダムな仮説空間)を制御できる。
新たに導入されたmi用語をより明確に解釈するために、次のステップとして「幾何学的安定性」の概念を導入し、我々の境界を先行技術に結びつける。
最後に,提案したデータ依存次元とトポロジカルデータ解析ツールとの間の厳密な接続を行い,数値的に効率的に次元を計算できるようにする。
我々は様々な環境で実験を行うことで理論を支持する。 Providing generalization guarantees for modern neural networks has been a crucial task in statistical learning. Recently, several studies have attempted to analyze the generalization error in such settings by using tools from fractal geometry. While these works have successfully introduced new mathematical tools to apprehend generalization, they heavily rely on a Lipschitz continuity assumption, which in general does not hold for neural networks and might make the bounds vacuous. In this work, we address this issue and prove fractal geometry-based generalization bounds without requiring any Lipschitz assumption. To achieve this goal, we build up on a classical covering argument in learning theory and introduce a data-dependent fractal dimension. Despite introducing a significant amount of technical complications, this new notion lets us control the generalization error (over either fixed or random hypothesis spaces) along with certain mutual information (MI) terms. To provide a clearer interpretation to the newly introduced MI terms, as a next step, we introduce a notion of "geometric stability" and link our bounds to the prior art. Finally, we make a rigorous connection between the proposed data-dependent dimension and topological data analysis tools, which then enables us to compute the dimension in a numerically efficient way. We support our theory with experiments conducted on various settings. | 翻訳日:2023-02-07 16:37:10 公開日:2023-02-06 |
| # 映像を特権情報として蒸留した音声表現学習 Audio Representation Learning by Distilling Video as Privileged Information ( http://arxiv.org/abs/2302.02845v1 ) ライセンス: Link先を確認 | Amirhossein Hajavi, Ali Etemad | (参考訳) マルチモーダルな視聴覚データを用いた深い音声表現学習は、ユニモーダルアプローチよりも優れたパフォーマンスをもたらすことが多い。
しかし、実世界のシナリオでは、両方のモダリティが推論時に常に利用できるわけではないため、マルチモーダル推論のために訓練されたモデルによって性能が劣化する。
本研究では,映像モダリティが欠落している場合の視聴覚データを用いた深層音声表現学習のための新しい手法を提案する。
そこで我々は,特権情報(LUPI)を用いた学習の枠組みの下で,教師による知識蒸留を採用する。
提案手法は教師が作成したソフトラベルを用いるが,提案手法では教師が学習した埋め込みを用いて学習ネットワークを訓練する。
この手法を2つの異なる設定で統合する: 特徴を時間を通して複数のセグメントに分割する逐次データと、特徴全体を1つのセグメントとして扱う非逐次データである。
非シーケンス設定では、教師と生徒のネットワークは、エンコーダコンポーネントとタスクヘッダとから構成されている。
我々は,教師のエンコーダコンポーネントが生成した埋め込みを用いて,生徒のエンコーダを訓練し,学生のタスクヘッダーは,地道ラベルを用いて訓練する。
シーケンシャルな設定では、ネットワークは、エンコーダとタスクヘッダの間に配置される追加の集約コンポーネントを持つ。
教師のエンコーダと集約コンポーネントによって生成された2組の埋め込みを使って生徒を訓練する。
非シーケンス設定と同様に、学生ネットワークのタスクヘッダは接地ラベルを使用してトレーニングされる。
音声認識と音声感情認識という2つの異なる視聴覚タスクでこのフレームワークをテストし,lupiを用いた先行研究と同様に,単独の音声認識よりも大幅に改善したことを示す。 Deep audio representation learning using multi-modal audio-visual data often leads to a better performance compared to uni-modal approaches. However, in real-world scenarios both modalities are not always available at the time of inference, leading to performance degradation by models trained for multi-modal inference. In this work, we propose a novel approach for deep audio representation learning using audio-visual data when the video modality is absent at inference. For this purpose, we adopt teacher-student knowledge distillation under the framework of learning using privileged information (LUPI). While the previous methods proposed for LUPI use soft-labels generated by the teacher, in our proposed method we use embeddings learned by the teacher to train the student network. We integrate our method in two different settings: sequential data where the features are divided into multiple segments throughout time, and non-sequential data where the entire features are treated as one whole segment. In the non-sequential setting both the teacher and student networks are comprised of an encoder component and a task header. We use the embeddings produced by the encoder component of the teacher to train the encoder of the student, while the task header of the student is trained using ground-truth labels. In the sequential setting, the networks have an additional aggregation component that is placed between the encoder and task header. We use two sets of embeddings produced by the encoder and aggregation component of the teacher to train the student. Similar to the non-sequential setting, the task header of the student network is trained using ground-truth labels. We test our framework on two different audio-visual tasks, namely speaker recognition and speech emotion recognition and show considerable improvements over sole audio-based recognition as well as prior works that use LUPI. | 翻訳日:2023-02-07 16:29:52 公開日:2023-02-06 |
| # ガウス過程回帰法による時系列予測の不確実性推定 Uncertainty estimation for time series forecasting via Gaussian process regression surrogates ( http://arxiv.org/abs/2302.02834v1 ) ライセンス: Link先を確認 | Leonid Erlygin, Vladimir Zholobov, Valeriia Baklanova, Evgeny Sokolovskiy, Alexey Zaytsev | (参考訳) 機械学習モデルは、科学と産業の現実世界の問題を解決するために広く使われている。
堅牢なモデルを構築するためには、新しいデータに対するモデルの予測の不確かさを定量化する必要がある。
本研究では,代用ガウス過程モデルに基づく不確実性推定手法を提案する。
提案手法は,任意のベースモデルに対して,個別のサロゲートが生成した正確な不確実性推定を行うことができる。
他の手法と比較して、見積もりは1つの追加モデルだけで計算的に有効であり、データ固有の仮定に依存しない。
唯一の要件は、典型的なブラックボックスとしてベースモデルの可用性である。
時系列予測データに挑戦する実験により, 線形回帰, ARIMA, 勾配向上など, 中小いずれのモデルにおいても, ブートストラップに基づく手法よりも精度の高い信頼区間が得られた。 Machine learning models are widely used to solve real-world problems in science and industry. To build robust models, we should quantify the uncertainty of the model's predictions on new data. This study proposes a new method for uncertainty estimation based on the surrogate Gaussian process model. Our method can equip any base model with an accurate uncertainty estimate produced by a separate surrogate. Compared to other approaches, the estimate remains computationally effective with training only one additional model and doesn't rely on data-specific assumptions. The only requirement is the availability of the base model as a black box, which is typical. Experiments for challenging time-series forecasting data show that surrogate model-based methods provide more accurate confidence intervals than bootstrap-based methods in both medium and small-data regimes and different families of base models, including linear regression, ARIMA, and gradient boosting. | 翻訳日:2023-02-07 16:29:24 公開日:2023-02-06 |
| # 集合ロバスト性証明:グラフニューラルネットワークにおける相互依存性の活用 Collective Robustness Certificates: Exploiting Interdependence in Graph Neural Networks ( http://arxiv.org/abs/2302.02829v1 ) ライセンス: Link先を確認 | Jan Schuchardt, Aleksandar Bojchevski, Johannes Gasteiger, Stephan G\"unnemann | (参考訳) ノード分類、画像分割、名前付きエンティティ認識といったタスクでは、単一の入力、すなわち単一のグラフ、イメージ、ドキュメントに基づいて、複数の予測(ラベルのベクトル)を同時に出力する分類器があります。
既存の敵対的ロバスト性証明はそれぞれの予測を独立に考慮し、そのようなタスクに対して過度に悲観的である。
彼らは暗黙的に、敵が異なる摂動入力を使用して異なる予測を攻撃できると仮定し、我々が1つの共有入力を持っているという事実を無視している。
そこで本研究では,摂動下での安定維持が保証される予測回数を計算する最初の集団的ロバスト性証明書を提案する。
グラフニューラルネットワークに注目し、その局所性(摂動は近辺の予測にのみ影響する)を活用して、複数の単一ノード証明書を劇的に強力な集合証明書に融合する。
例えば、Citeseerデータセットでは、ノード分類のための集合証明書によって、認証可能な機能摂動の平均数が7ドルから351ドルに増加する。 In tasks like node classification, image segmentation, and named-entity recognition we have a classifier that simultaneously outputs multiple predictions (a vector of labels) based on a single input, i.e. a single graph, image, or document respectively. Existing adversarial robustness certificates consider each prediction independently and are thus overly pessimistic for such tasks. They implicitly assume that an adversary can use different perturbed inputs to attack different predictions, ignoring the fact that we have a single shared input. We propose the first collective robustness certificate which computes the number of predictions that are simultaneously guaranteed to remain stable under perturbation, i.e. cannot be attacked. We focus on Graph Neural Networks and leverage their locality property - perturbations only affect the predictions in a close neighborhood - to fuse multiple single-node certificates into a drastically stronger collective certificate. For example, on the Citeseer dataset our collective certificate for node classification increases the average number of certifiable feature perturbations from $7$ to $351$. | 翻訳日:2023-02-07 16:29:09 公開日:2023-02-06 |
| # 箱内の強相互作用する1次元気体の高運動量振動尾 High-momentum oscillating tails of strongly interacting 1D gases in a box ( http://arxiv.org/abs/2302.02828v1 ) ライセンス: Link先を確認 | Gianni Aupetit-Diallo, Silvia Musolino, Mathias Albert and Patrizia Vignolo | (参考訳) 箱電位のゼロ温度における粒子の強相互作用1次元混合粒子の運動量分布について検討した。
運動量分布の1/k^4$テールの大きさは、近距離相関によるだけでなく、剛壁の存在によるものであり、この量と相互作用強度の逆のエネルギーの断熱微分との関係を破る。
追加の貢献は、$k$非依存と振動部分を含む有限サイズの効果である。
後者は、驚くべきことに、長距離スピン相関に関する情報を符号化する。 We study the momentum distribution of strongly interacting one-dimensional mixtures of particles at zero temperature in a box potential. We find that the magnitude of the $1/k^4$ tail of the momentum distribution is not only due to short-distance correlations, but also to the presence of the rigid walls, breaking the Tan's relation relating this quantity to the adiabatic derivative of the energy with respect to the inverse of the interaction strength. The additional contribution is a finite-size effect that includes a $k$-independent and an oscillating part. This latter, surprisingly, encodes information on long-range spin correlations. | 翻訳日:2023-02-07 16:28:51 公開日:2023-02-06 |
| # MixFormer: 反復的混合注意によるエンドツーエンドトラッキング MixFormer: End-to-End Tracking with Iterative Mixed Attention ( http://arxiv.org/abs/2302.02814v1 ) ライセンス: Link先を確認 | Yutao Cui, Cheng Jiang, Gangshan Wu and Limin Wang | (参考訳) ビジュアルオブジェクト追跡では、機能抽出、ターゲット情報統合、バウンディングボックス推定の多段階パイプラインが使用されることが多い。
本稿では,このパイプラインを簡素化し,特徴抽出とターゲット情報統合のプロセスを統合するために,トランスフォーマー上に構築されたMixFormerと呼ばれる,コンパクトな追跡フレームワークを提案する。
我々の中核となる設計は、注意操作の柔軟性を活用し、特徴抽出と目標情報の統合を同時に行うための混合注意モジュール(MAM)を提案することである。
この同期モデリング手法により、ターゲット固有の識別特徴を抽出し、ターゲットと検索領域間の広範な通信を行うことができる。
MAMに基づいて、MixFormerトラッカーを構築するには、複数のMAMを積み重ねて、その上にローカライズヘッドを置くだけです。
具体的には、階層型トラッカーmixcvtと非階層型トラッカーmixvitの2つのタイプのmixformerトラッカーをインスタンス化する。
これら2つのトラッカーについて,MixFormerトラッカーにおける教師付き事前学習と自己指導型事前学習の相違点を明らかにする。
また、マスク付き事前トレーニングをMixFormerトラッカーに拡張し、競合するTrackMAE事前トレーニング技術を設計する。
最後に、オンライントラッキング中に複数のターゲットテンプレートを処理するために、計算コストを削減するためにMAMに非対称なアテンションスキームを考案し、高品質テンプレートを選択するための効果的なスコア予測モジュールを提案する。
私たちのMixFormerトラッカーは,LaSOT, TrackingNet, VOT2020, GOT-10k, OTB100, UAV123を含む7つのトラッキングベンチマークに対して,最先端のパフォーマンスを新たに設定しました。
特に、MixViT-Lは、LaSOTで73.3%、追跡Netで86.1%、VOT2020で0.584、GOT-10kで75.7%のAUCスコアを達成した。
コードとトレーニングされたモデルはhttps://github.com/mcg-nju/mixformerで利用可能になる。 Visual object tracking often employs a multi-stage pipeline of feature extraction, target information integration, and bounding box estimation. To simplify this pipeline and unify the process of feature extraction and target information integration, in this paper, we present a compact tracking framework, termed as MixFormer, built upon transformers. Our core design is to utilize the flexibility of attention operations, and propose a Mixed Attention Module (MAM) for simultaneous feature extraction and target information integration. This synchronous modeling scheme allows to extract target-specific discriminative features and perform extensive communication between target and search area. Based on MAM, we build our MixFormer trackers simply by stacking multiple MAMs and placing a localization head on top. Specifically, we instantiate two types of MixFormer trackers, a hierarchical tracker MixCvT, and a non-hierarchical tracker MixViT. For these two trackers, we investigate a series of pre-training methods and uncover the different behaviors between supervised pre-training and self-supervised pre-training in our MixFormer trackers. We also extend the masked pre-training to our MixFormer trackers and design the competitive TrackMAE pre-training technique. Finally, to handle multiple target templates during online tracking, we devise an asymmetric attention scheme in MAM to reduce computational cost, and propose an effective score prediction module to select high-quality templates. Our MixFormer trackers set a new state-of-the-art performance on seven tracking benchmarks, including LaSOT, TrackingNet, VOT2020, GOT-10k, OTB100 and UAV123. In particular, our MixViT-L achieves AUC score of 73.3% on LaSOT, 86.1% on TrackingNet, EAO of 0.584 on VOT2020, and AO of 75.7% on GOT-10k. Code and trained models will be made available at https://github.com/MCG-NJU/MixFormer. | 翻訳日:2023-02-07 16:28:42 公開日:2023-02-06 |
| # マイグレーションのリフレーム?
ウクライナ危機時のヨーロッパにおけるスタンスシフトに関する多言語分析 Migration Reframed? A multilingual analysis on the stance shift in Europe during the Ukrainian crisis ( http://arxiv.org/abs/2302.02813v1 ) ライセンス: Link先を確認 | Sergej Wildemann, Claudia Nieder\'ee, Erick Elejalde | (参考訳) ウクライナでの戦争は、少なくともウクライナからの難民に向けて、欧州の移住に関する重要な社会問題に対する態度を積極的に変えたようだ。
この印象が、その話題がオンラインニュースやソーシャルメディアにどのように反映されているかによって裏付けられているかを調査し、ウェブ上の問題表現と社会におけるその認識を結びつける。
そこで本研究では,前縁自動テキスト処理を組み合わせることで,新しい多言語姿勢検出手法を提案する。
2021年9月から565の欧州ニュース機関が発行した550万のtwitter投稿から始まり、ヨーロッパおよび選択されたヨーロッパ諸国の移動関連メディアのカバレッジと関連するソーシャルメディアのやりとりを多言語で分析した。
分析の結果,「移民」から「難民」への用語変更や、「現実の難民」などの語句にアクセントを付けた「難民」など,議論のリフレーミングが実際に行われていることが示唆された。
しかし、大衆の認識の姿勢の変化に関して、この絵は予想以上に多様である。
分析されたすべてのケースは、ウクライナでの戦争開始前後に顕著な時間的スタンスの変化を示している。
それでも、このシフトの規模と安定性には明らかに全国的な違いがある。 The war in Ukraine seems to have positively changed the attitude toward the critical societal topic of migration in Europe -- at least towards refugees from Ukraine. We investigate whether this impression is substantiated by how the topic is reflected in online news and social media, thus linking the representation of the issue on the Web to its perception in society. For this purpose, we combine and adapt leading-edge automatic text processing for a novel multilingual stance detection approach. Starting from 5.5M Twitter posts published by 565 European news outlets in one year, beginning September 2021, plus replies, we perform a multilingual analysis of migration-related media coverage and associated social media interaction for Europe and selected European countries. The results of our analysis show that there is actually a reframing of the discussion illustrated by the terminology change, e.g., from "migrant" to "refugee", often even accentuated with phrases such as "real refugees". However, concerning a stance shift in public perception, the picture is more diverse than expected. All analyzed cases show a noticeable temporal stance shift around the start of the war in Ukraine. Still, there are apparent national differences in the size and stability of this shift. | 翻訳日:2023-02-07 16:28:07 公開日:2023-02-06 |
| # フェデレーション・サバイバル・フォレスト Federated Survival Forests ( http://arxiv.org/abs/2302.02807v1 ) ライセンス: Link先を確認 | Alberto Archetti, Matteo Matteucci | (参考訳) サバイバル分析(Survival analysis)は、人口に対する特定の関心事の発生時刻をモデル化する統計のサブフィールドである。
生存分析は医療、工学、社会科学に広く応用された。
しかし、現実世界のアプリケーションは、分散、不完全、検閲、機密のサバイバルデータセットを含む。
この文脈では、連合学習は生存分析アプリケーションの性能を大幅に向上させることができる。
フェデレーション学習は、ユーザのプライバシを損なうことなく、複数のデータセット上で機械学習モデルを共同でトレーニングする、一連のプライバシ保護技術を提供する。
最近のAI研究におけるフェデレーション学習の広範な発展にもかかわらず、フェデレーションサバイバル分析に焦点を当てた研究はごくわずかである。
本研究では,最も成功した生存モデルであるランダム生存林に基づく生存分析のための新しいフェデレーションアルゴリズムを提案する。
提案手法をFedSurF(Federated Survival Forest)と呼ぶ。
単一のコミュニケーションラウンドによって、federfは数百のフェデレーションでトレーニングされたディープラーニングベースのフェデレーションモデルに匹敵する識別能力を得る。
さらに、FedSurFはランダムな森林の利点、すなわち計算コストの低いことと、不足した値と不完全なデータセットの自然な処理を全て保持する。
これらの利点は、計算能力の低いデバイスに複数の小さなデータセットを格納した現実世界のフェデレーション環境で特に望ましい。
数値実験により、FedSurFとフェデレーションネットワークの最先端サバイバルモデルを比較し、FedSurFが非同一分散データを用いた現実的な環境でのディープラーニングベースのフェデレーションアルゴリズムよりも優れていることを示す。 Survival analysis is a subfield of statistics concerned with modeling the occurrence time of a particular event of interest for a population. Survival analysis found widespread applications in healthcare, engineering, and social sciences. However, real-world applications involve survival datasets that are distributed, incomplete, censored, and confidential. In this context, federated learning can tremendously improve the performance of survival analysis applications. Federated learning provides a set of privacy-preserving techniques to jointly train machine learning models on multiple datasets without compromising user privacy, leading to a better generalization performance. Despite the widespread development of federated learning in recent AI research, only a few studies focus on federated survival analysis. In this work, we present a novel federated algorithm for survival analysis based on one of the most successful survival models, the random survival forest. We call the proposed method Federated Survival Forest (FedSurF). With a single communication round, FedSurF obtains a discriminative power comparable to deep-learning-based federated models trained over hundreds of federated iterations. Moreover, FedSurF retains all the advantages of random forests, namely low computational cost and natural handling of missing values and incomplete datasets. These advantages are especially desirable in real-world federated environments with multiple small datasets stored on devices with low computational capabilities. Numerical experiments compare FedSurF with state-of-the-art survival models in federated networks, showing how FedSurF outperforms deep-learning-based federated algorithms in realistic environments with non-identically distributed data. | 翻訳日:2023-02-07 16:27:29 公開日:2023-02-06 |
| # ブラックボックスモデルで単純なタスクをオーバーキルしなくなり、代わりに透明モデルを使用する Stop overkilling simple tasks with black-box models and use transparent models instead ( http://arxiv.org/abs/2302.02804v1 ) ライセンス: Link先を確認 | Matteo Rizzo, Matteo Marcuzzo, Alessandro Zangari, Andrea Gasparetto, Andrea Albarelli | (参考訳) 近年、ディープラーニングの手法が採用され、人工知能にいくつかの大きなブレークスルーをもたらした。
従来の機械学習モデルとは異なり、ディープラーニングベースのアプローチは、生データから自律的に特徴を抽出することができる。
これにより、一般的にエラーを起こしやすく、面倒であると考えられる機能エンジニアリングプロセスをバイパスすることができる。
さらに、ディープラーニング戦略は、精度で従来のモデルより優れていることが多い。 In recent years, the employment of deep learning methods has led to several significant breakthroughs in artificial intelligence. Different from traditional machine learning models, deep learning-based approaches are able to extract features autonomously from raw data. This allows for bypassing the feature engineering process, which is generally considered to be both error-prone and tedious. Moreover, deep learning strategies often outperform traditional models in terms of accuracy. | 翻訳日:2023-02-07 16:27:04 公開日:2023-02-06 |
| # 確率的コントラスト学習はあいまいな入力の正解不確かさを回復する Probabilistic Contrastive Learning Recovers the Correct Aleatoric Uncertainty of Ambiguous Inputs ( http://arxiv.org/abs/2302.02865v1 ) ライセンス: Link先を確認 | Michael Kirchhof, Enkelejda Kasneci, Seong Joon Oh | (参考訳) 対照的に訓練されたエンコーダは、最近データ生成過程を反転させることが証明されており、例えば、イメージを生成した真の潜在ベクトルに各入力をエンコードする(Zimmermann et al., 2021)。
しかし、実世界の観測には固有の曖昧さがしばしばある。
例えば、画像はぼやけているか、3Dオブジェクトの2Dビューのみを表示するため、複数の潜伏者がそれらを生成できた可能性がある。
これにより、非定常不確実性を伴う潜在ベクトルの真の後部確率が成立する。
この設定では、共通InfoNCEの目的とエンコーダを拡張して、ポイントの代わりに遅延分布を予測する。
これらの分布は, 滞留空間の回転に至るまでのアレータティック不確実性のレベルを含む, データ生成過程の正しい後部を復元することを示す。
不確実性の推定を校正することに加えて、これらの後方は画像検索における信頼できる間隔の計算を可能にする。
それらは、あるクエリと同じ潜在性を持つ画像で構成されており、その不確実性がある。 Contrastively trained encoders have recently been proven to invert the data-generating process: they encode each input, e.g., an image, into the true latent vector that generated the image (Zimmermann et al., 2021). However, real-world observations often have inherent ambiguities. For instance, images may be blurred or only show a 2D view of a 3D object, so multiple latents could have generated them. This makes the true posterior for the latent vector probabilistic with heteroscedastic uncertainty. In this setup, we extend the common InfoNCE objective and encoders to predict latent distributions instead of points. We prove that these distributions recover the correct posteriors of the data-generating process, including its level of aleatoric uncertainty, up to a rotation of the latent space. In addition to providing calibrated uncertainty estimates, these posteriors allow the computation of credible intervals in image retrieval. They comprise images with the same latent as a given query, subject to its uncertainty. | 翻訳日:2023-02-07 16:21:37 公開日:2023-02-06 |
| # 局所収束入力を持つニューラルネットワークによる2次元マクスウェル方程式の解法 Solving Maxwell's Equation in 2D with Neural Networks with Local Converging Inputs ( http://arxiv.org/abs/2302.02860v1 ) ライセンス: Link先を確認 | Harris Cobb, Hwi Lee, Yingjie Liu | (参考訳) 本稿では,[arXiv:2109.09316]で最初に導入された局所収束入力(NNLCI)を用いたニューラルネットワークを適用し,完全導体(PEC)に関する2次元マックスウェル方程式を解く。
ネットワークへの入力は、2つの粗いグリッドで計算された方程式に対する低コストな数値解の局所パッチで構成され、出力は局所パッチの中心にあるより正確な解である。
我々は、最近開発された第2次有限差分法 [arXiv:2209.00740] を用いて、PECからの電磁波の散乱を所定の端末時間で捉える入力およびトレーニングデータを生成する。
nnlciの利点は、一度訓練すると、コストのかかる高分解能の従来の数値計算手法の効率的な代替手段となることであり、数値実験では、空間-時空間の格子点の数で計算の複雑さが8^3$であることを示している。
PDEを直接解くためにニューラルネットワークを適用するという既存の研究とは対照的に、本手法は入力解パッチにおけるマクスウェル方程式の局所的な依存性を生かし、したがってより単純で頑健である。
いくつかのPECでニューラルネットワークをトレーニングすることで、トレーニング例とはまったく異なるジオメトリを持つ異なるPECに対する正確なソリューションを予測できることを実証します。 In this paper we apply neural networks with local converging inputs (NNLCI), originally introduced in [arXiv:2109.09316], to solve the two dimensional Maxwell's equation around perfect electric conductors (PECs). The input to the networks consist of local patches of low cost numerical solutions to the equation computed on two coarse grids, and the output is a more accurate solution at the center of the local patch. We apply the recently developed second order finite difference method [arXiv:2209.00740] to generate the input and training data which captures the scattering of electromagnetic waves off of a PEC at a given terminal time. The advantage of NNLCI is that once trained it offers an efficient alternative to costly high-resolution conventional numerical methods; our numerical experiments indicate the computational complexity saving by a factor of $8^3$ in terms of the number of spatial-temporal grid points. In contrast with existing research work on applying neural networks to directly solve PDEs, our method takes advantage of the local domain of dependence of the Maxwell's equation in the input solution patches, and is therefore simpler, yet still robust. We demonstrate that we can train our neural network on some PECs to predict accurate solutions to different PECs with quite different geometries from any of the training examples. | 翻訳日:2023-02-07 16:21:19 公開日:2023-02-06 |
| # 大規模データを用いた因果推論のための高速ブートストラップアルゴリズム A Fast Bootstrap Algorithm for Causal Inference with Large Data ( http://arxiv.org/abs/2302.02859v1 ) ライセンス: Link先を確認 | Matthew Kosko and Lin Wang and Michele Santacatterina | (参考訳) 大規模実験データと観測データから因果効果を推定することは、産業と研究の両方でますます普及している。
ブートストラップは直感的で強力な手法であり、推定器の標準誤差と信頼区間を構築するのに使用される。
しかし、大規模なデータを含む設定では、そのアプリケーションは違法に要求される可能性がある。
さらに、機械学習と最適化技術に基づく現代の因果推定器は、ブートストラップの計算負担を悪化させる。
小さなブートストラップの袋は、大規模データの非因果的設定で提案されているが、因果効果の推定器の特性を評価するためにはまだ適用されていない。
本稿では,大規模データを用いた因果推論のために,小さなブートストラップの因果袋と呼ばれる新しいブートストラップアルゴリズムを提案する。
この新しいアルゴリズムは従来のブートストラップの計算効率を大幅に向上させ、一貫した推定と望ましい信頼区間カバレッジを提供する。
シミュレーション実験において,その特性を記述し,実用的な考察を行い,バイアス,真の95%信頼区間のカバレッジ,計算時間の観点から提案アルゴリズムの性能を評価する。
本研究は,女性の健康イニシアチブから収集した大規模観察データを用いて,冠動脈疾患に対するホルモン療法の効果を平均時間に及ぼす影響について検討した。 Estimating causal effects from large experimental and observational data has become increasingly prevalent in both industry and research. The bootstrap is an intuitive and powerful technique used to construct standard errors and confidence intervals of estimators. Its application however can be prohibitively demanding in settings involving large data. In addition, modern causal inference estimators based on machine learning and optimization techniques exacerbate the computational burden of the bootstrap. The bag of little bootstraps has been proposed in non-causal settings for large data but has not yet been applied to evaluate the properties of estimators of causal effects. In this paper, we introduce a new bootstrap algorithm called causal bag of little bootstraps for causal inference with large data. The new algorithm significantly improves the computational efficiency of the traditional bootstrap while providing consistent estimates and desirable confidence interval coverage. We describe its properties, provide practical considerations, and evaluate the performance of the proposed algorithm in terms of bias, coverage of the true 95% confidence intervals, and computational time in a simulation study. We apply it in the evaluation of the effect of hormone therapy on the average time to coronary heart disease using a large observational data set from the Women's Health Initiative. | 翻訳日:2023-02-07 16:20:55 公開日:2023-02-06 |
| # TR3D:リアルタイム屋内3Dオブジェクト検出を目指して TR3D: Towards Real-Time Indoor 3D Object Detection ( http://arxiv.org/abs/2302.02858v1 ) ライセンス: Link先を確認 | Danila Rukhovich, Anna Vorontsova, Anton Konushin | (参考訳) 近年,スパース3次元畳み込みは3次元物体検出に変化をもたらした。
投票ベースのアプローチと同等のパフォーマンスで、3D CNNはメモリ効率が高く、大きなシーンにスケールできる。
しかし、改善の余地はまだあります。
問題解決に対する意識的,実践指向的なアプローチにより,そのような手法の性能を分析し,弱点をローカライズする。
標準ベンチマークであるScanNet v2、SUN RGB-D、S3DISで最先端の結果を得る、高速で完全に畳み込まれた3Dオブジェクト検出モデルである。
さらに、ポイントクラウドとRGBの両方の入力を活用するために、2Dと3Dの早期融合を導入する。
我々は,従来の3次元物体検出手法をマルチモーダル化するためにfusionモジュールを用い,その性能向上を実証した。
TR3D+FFと呼ばれる初期の特徴融合モデルでは,SUN RGB-Dデータセット上で既存の3Dオブジェクト検出手法よりも優れている。
全体としては、正確性に加えて、tr3dモデルとtr3d+ffモデルの両方が軽量でメモリ効率が高く、高速であるため、リアルタイム3dオブジェクト検出に向けた新たなマイルストーンとなる。
コードはhttps://github.com/SamsungLabs/tr3dで入手できる。 Recently, sparse 3D convolutions have changed 3D object detection. Performing on par with the voting-based approaches, 3D CNNs are memory-efficient and scale to large scenes better. However, there is still room for improvement. With a conscious, practice-oriented approach to problem-solving, we analyze the performance of such methods and localize the weaknesses. Applying modifications that resolve the found issues one by one, we end up with TR3D: a fast fully-convolutional 3D object detection model trained end-to-end, that achieves state-of-the-art results on the standard benchmarks, ScanNet v2, SUN RGB-D, and S3DIS. Moreover, to take advantage of both point cloud and RGB inputs, we introduce an early fusion of 2D and 3D features. We employ our fusion module to make conventional 3D object detection methods multimodal and demonstrate an impressive boost in performance. Our model with early feature fusion, which we refer to as TR3D+FF, outperforms existing 3D object detection approaches on the SUN RGB-D dataset. Overall, besides being accurate, both TR3D and TR3D+FF models are lightweight, memory-efficient, and fast, thereby marking another milestone on the way toward real-time 3D object detection. Code is available at https://github.com/SamsungLabs/tr3d . | 翻訳日:2023-02-07 16:20:38 公開日:2023-02-06 |
| # NA-SODINN:残音条件に基づく外惑星画像検出のためのディープラーニングアルゴリズム NA-SODINN: a deep learning algorithm for exoplanet image detection based on residual noise regimes ( http://arxiv.org/abs/2302.02854v1 ) ライセンス: Link先を確認 | Carles Cantero, Olivier Absil, Carl-Henrik Dahlqvist and Marc Van Droogenbroeck | (参考訳) 角微分イメージング(ADI)データセットにおいて、外惑星検出のために設計された畳み込みニューラルネットワークであるSODINNアルゴリズムを通じて、高コントラストイメージング(HCI)で機械学習が導入された。
EIDC (Exoplanet Imaging Data Challenge) におけるHCIアルゴリズムのベンチマークの結果が得られた。
i) SODINNは、最終検出マップにおいて、多数の偽陽性を生成でき、
(ii)より局所的に画像を処理するアルゴリズムは、より優れた性能を発揮する。
本研究は,新しい局所処理手法を導入し,それに従って学習プロセスを適用することで, sodinn検出性能を向上させることを目的とする。
NA-SODINNは,処理フレーム上での独立型SODINNモデルをトレーニングすることにより,画像ノイズ相関をよりよくキャプチャする新しいディープラーニングアーキテクチャである。
これらのノイズの同定はPCA-pmapsと呼ばれる新しい手法に基づいており、背景ノイズが残留スペックルノイズに支配され始める画像中の恒星からの距離を推定することができる。
NA-SODINNには,S/N曲線などの局所的な識別器も備わっており,S/N曲線はモデルのトレーニング時に時空間の特徴マップを補完するが,新しいアプローチは,従来の2つのSODINNベースハイブリッドモデルと,より標準の環状PCAモデルに対して,VLT/SPHEREとKeck/NIRC-2のADIシーケンスの局所的ROC解析を通じてテストされる。
その結果、NA-SODINNは感度と特異性の両方でSODINNを強化し、特にスペックルが支配するノイズレシエーションにおいて顕著であることがわかった。
NA-SODINN は EIDC における提案された検出アルゴリズムの完全セットに対してベンチマークを行い、最終的な検出スコアが最も強力な検出アルゴリズムと一致しているか、性能が向上し、Regime Switching Model アルゴリズムと同様のパフォーマンスに達することを示す。 Supervised machine learning was recently introduced in high-contrast imaging (HCI) through the SODINN algorithm, a convolutional neural network designed for exoplanet detection in angular differential imaging (ADI) data sets. The benchmarking of HCI algorithms within the Exoplanet Imaging Data Challenge (EIDC) showed that (i) SODINN can produce a high number of false positives in the final detection maps, and (ii) algorithms processing images in a more local manner perform better. This work aims to improve the SODINN detection performance by introducing new local processing approaches and adapting its learning process accordingly. We propose NA-SODINN, a new deep learning architecture that better captures image noise correlations by training an independent SODINN model per noise regime over the processed frame. The identification of these noise regimes is based on a novel technique, named PCA-pmaps, which allows to estimate the distance from the star in the image from which background noise starts to dominate over residual speckle noise. NA-SODINN is also fed with local discriminators, such as S/N curves, which complement spatio-temporal feature maps when training the model.Our new approach is tested against its predecessor, as well as two SODINN-based hybrid models and a more standard annular-PCA approach, through local ROC analysis of ADI sequences from VLT/SPHERE and Keck/NIRC-2 instruments. Results show that NA-SODINN enhances SODINN in both the sensitivity and specificity, especially in the speckle-dominated noise regime. NA-SODINN is also benchmarked against the complete set of submitted detection algorithms in EIDC, in which we show that its final detection score matches or outperforms the most powerful detection algorithms, reaching a performance similar to that of the Regime Switching Model algorithm. | 翻訳日:2023-02-07 16:20:13 公開日:2023-02-06 |
| # 量子議会のダイナミクス Dynamics for a quantum parliament ( http://arxiv.org/abs/2302.02853v1 ) ライセンス: Link先を確認 | F. Bagarello, F. Gargano | (参考訳) 本稿では,意思決定問題に対するgorini-kossakowski-sudarshan-lindblad方程式に基づく動的アプローチを提案する。
より具体的には、最近量子議会(quantum Parliament)と呼ばれるものについて検討し、特定の法律を承認するか否かを問うとともに、議会の様々なメンバー間の関係のモデルを提案し、特に、協調的あるいは非協調的行動をもたらす相互作用の特別な形態を提案する。 In this paper we propose a dynamical approach based on the Gorini-Kossakowski-Sudarshan-Lindblad equation for a problem of decision making. More specifically, we consider what was recently called a quantum parliament, asked to approve or not a certain law, and we propose a model of the connections between the various members of the parliament, proposing in particular some special form of the interactions giving rise to a {\em collaborative} or non collaborative behaviour. | 翻訳日:2023-02-07 16:19:37 公開日:2023-02-06 |
| # 学習者のガイド:トークン属性の類似性に基づく専門家の偏りの制御 Guide the Learner: Controlling Product of Experts Debiasing Method Based on Token Attribution Similarities ( http://arxiv.org/abs/2302.02852v1 ) ライセンス: Link先を確認 | Ali Modarressi, Hossein Amirkhani, Mohammad Taher Pilehvar | (参考訳) 近年、データセットのバイアスを軽減し、out-of-distribution (ood)のパフォーマンスを改善するための提案がいくつか提案されている。
一般的な回避策は、二次バイアスモデルに基づいてトレーニング例を再強調することで、堅牢なモデルをトレーニングすることだ。
ここでは、バイアスドモデルが機能をショートカットする、という前提がある。
したがって、バイアスモデルによって正しく予測されるこれらのトレーニング例は、バイアスのあるものとしてフラグ付けされ、メインモデルのトレーニング中に重み付けされる。
しかし、偏りのあるモデルの予測に基づいて、インスタンスの重要性を評価することは、あまりにも単純すぎるかもしれない。
主モデルの予測は、偏りのあるモデルの振る舞いとは異なる別の意思決定プロセスから導出される可能性がある。
これを回避するために,専門家の損失関数(poe)の積における主および偏りのあるモデルの帰属スコアの類似性を組み込んだ微調整戦略を導入し,さらにood性能を向上させる。
自然言語推論とファクト検証ベンチマークを用いた実験により,本手法は分布内 (id) 性能を維持しつつ, ood結果を改善した。 Several proposals have been put forward in recent years for improving out-of-distribution (OOD) performance through mitigating dataset biases. A popular workaround is to train a robust model by re-weighting training examples based on a secondary biased model. Here, the underlying assumption is that the biased model resorts to shortcut features. Hence, those training examples that are correctly predicted by the biased model are flagged as being biased and are down-weighted during the training of the main model. However, assessing the importance of an instance merely based on the predictions of the biased model may be too naive. It is possible that the prediction of the main model can be derived from another decision-making process that is distinct from the behavior of the biased model. To circumvent this, we introduce a fine-tuning strategy that incorporates the similarity between the main and biased model attribution scores in a Product of Experts (PoE) loss function to further improve OOD performance. With experiments conducted on natural language inference and fact verification benchmarks, we show that our method improves OOD results while maintaining in-distribution (ID) performance. | 翻訳日:2023-02-07 16:19:28 公開日:2023-02-06 |
| # 関節MRI超解像とギブズアーティファクト除去のための教師なしフレームワーク An Unsupervised Framework for Joint MRI Super Resolution and Gibbs Artifact Removal ( http://arxiv.org/abs/2302.02849v1 ) ライセンス: Link先を確認 | Yikang Liu, Eric Z. Chen, Xiao Chen, Terrence Chen, Shanhui Sun | (参考訳) 磁気共鳴画像(MRI)から生成されたk空間データは、基礎となる信号の有限サンプリングである。
そのため、MRI画像は空間分解能の低下やギブスリングアーティファクトに悩まされることが多い。
従来の研究では、超解像法はギブスのアーティファクトを強化する傾向があり、ギブスのリング除去法は画像をぼかす傾向にあった。
臨床MRIでは高分解能基底真理の取得が困難であることも課題である。
本稿では,高分解能グラウンド真理を用いずにmriスーパーレゾリューションとgibbsアーティファクトの除去を行うための教師なし学習フレームワークを提案する。
さらに,分布外MRI画像におけるモデルの一般化性を改善するための正規化手法を提案する。
異なるコントラストと解剖学的構造を持つ8つのMRIデータセットに対して,他の最先端手法を用いて提案手法の評価を行った。
本手法は,最高のsr性能を実現するだけでなく,gibbsアーチファクトを著しく削減する。
また,トレーニングデータに偏りや偏りがほとんどない臨床応用に有用である,異なるデータセットにまたがる優れた一般化性を示す。 The k-space data generated from magnetic resonance imaging (MRI) is only a finite sampling of underlying signals. Therefore, MRI images often suffer from low spatial resolution and Gibbs ringing artifacts. Previous studies tackled these two problems separately, where super resolution methods tend to enhance Gibbs artifacts, whereas Gibbs ringing removal methods tend to blur the images. It is also a challenge that high resolution ground truth is hard to obtain in clinical MRI. In this paper, we propose an unsupervised learning framework for both MRI super resolution and Gibbs artifacts removal without using high resolution ground truth. Furthermore, we propose regularization methods to improve the model's generalizability across out-of-distribution MRI images. We evaluated our proposed methods with other state-of-the-art methods on eight MRI datasets with various contrasts and anatomical structures. Our method not only achieves the best SR performance but also significantly reduces the Gibbs artifacts. Our method also demonstrates good generalizability across different datasets, which is beneficial to clinical applications where training data are usually scarce and biased. | 翻訳日:2023-02-07 16:19:08 公開日:2023-02-06 |
| # ビットパラレルからラベリンググラフの量子文字列マッチングへ From Bit-Parallelism to Quantum String Matching for Labelled Graphs ( http://arxiv.org/abs/2302.02848v1 ) ライセンス: Link先を確認 | Massimo Equi, Arianne Meijer - van de Griend, Veli M\"akinen | (参考訳) 二次時間で解ける多くの問題は、ビット並列のスピードアップが$w$で、$w$はコンピュータワードサイズである。
古典的な例は長さ$n$の2つの文字列の編集距離を計算し、これは$O(n^2/w)$時間で解ける。
合理的な古典的計算モデルでは、$w=\theta(\log n)$ と仮定でき、そのような問題に対して条件付き下界を考えると、より優れたスピードアップが得られる可能性は低い。
本稿では,ビット並列アルゴリズムが対数的高速化よりも優れた量子アルゴリズムに変換できるかどうかを確かめるため,ビット並列と量子計算の関連性を検討する。
グラフ内のパスのラベルとして文字列の正確な発生を検出する問題であるラベル付きグラフにおける文字列マッチングに着目する。
この問題は、非常に制限されたグラフのクラス(Equi et al. ICALP 2019)の下での二次条件付き下界を認めており、古典的な計算モデルにおけるアルゴリズムは、時間$O(|P||E|^{1-\epsilon})$または$O(|P|^{1-\epsilon}|E|)$でこの問題を解くことができない。
このような制限付きグラフ群(レベル dag)上の単純なビット並列アルゴリズムは、時間複雑性$o(|e|+|v|+\sqrt{|p|})$を持つ線形スピードアップを達成する現実的な量子アルゴリズムに変換できる。 Many problems that can be solved in quadratic time have bit-parallel speed-ups with factor $w$, where $w$ is the computer word size. A classic example is computing the edit distance of two strings of length $n$, which can be solved in $O(n^2/w)$ time. In a reasonable classical model of computation, one can assume $w=\Theta(\log n)$, and obtaining significantly better speed-ups is unlikely in the light of conditional lower bounds obtained for such problems. In this paper, we study the connection of bit-parallelism to quantum computation, aiming to see if a bit-parallel algorithm could be converted to a quantum algorithm with better than logarithmic speed-up. We focus on String Matching in Labeled Graphs, the problem of finding an exact occurrence of a string as the label of a path in a graph. This problem admits a quadratic conditional lower bound under a very restricted class of graphs (Equi et al. ICALP 2019), stating that no algorithm in the classical model of computation can solve the problem in time $O(|P||E|^{1-\epsilon})$ or $O(|P|^{1-\epsilon}|E|)$. We show that a simple bit-parallel algorithm on such restricted family of graphs (level DAGs) can indeed be converted into a realistic quantum algorithm that attains a linear speed-up, with time complexity $O(|E|+|V|+\sqrt{|P|})$. | 翻訳日:2023-02-07 16:18:51 公開日:2023-02-06 |
| # 共振スペクトル位相フリップによる広帯域2光子吸収の促進 Enhancement of broadband entangled two-photon absorption by resonant spectral phase flips ( http://arxiv.org/abs/2302.02846v1 ) ライセンス: Link先を確認 | Baihong Li and Holger F. Hofmann | (参考訳) 広帯域エネルギー-時間絡み合いは、正確な2光子共鳴と非常に短い一致時間を組み合わせることで、2光子吸収率(TPA)を高めるために用いられる。
この短い一致時間のため、ブロードバンドTPAは中間レベルのスペクトルに敏感ではないため、中間遷移が完全に仮想である場合に最適な選択となる。
異なる中間共鳴の場合、中間共鳴と一致する位相分散を導入することにより、TPAを強化することができる。
ここでは、特定の周波数以上の全ての周波数の位相が、この周波数以下の周波数に対して半波長シフトされる単一光子スペクトルにおける位相フリップの効果を考察する。
位相が反転する周波数をスキャンして中間共鳴の位置を明らかにすることができる。
共振位相フリップは、典型的な共鳴を特徴づける分散の非対称な虚部への寄与を最大化し、結果としてtpa速度を大幅に向上させる。
TPAのボソニック対称性により、2つの光子の周波数差が共鳴の直線幅よりもはるかに高いときに共鳴が起こると、増強が最強となる。
以上の結果から, 直接光子検出が困難なスペクトル下端の位相感度分光には, 広帯域の位相反転型tpaが適する可能性が示唆された。 Broadband energy-time entanglement can be used to enhance the rate of two-photon absorption (TPA) by combining a precise two-photon resonance with a very short coincidence time. Because of this short coincidence time, broadband TPA is not sensitive to the spectrum of intermediate levels, making it the optimal choice when the intermediate transitions are entirely virtual. In the case of distinct intermediate resonances, it is possible to enhance TPA by introducing a phase dispersion that matches the intermediate resonances. Here, we consider the effects of a phase flip in the single photon spectrum, where the phases of all frequencies above a certain frequency are shifted by half a wavelength relative to the frequencies below this frequency. The frequency at which the phase is flipped can then be scanned to reveal the position of intermediate resonances. We find that a resonant phase flip maximizes the contributions of the asymmetric imaginary part of the dispersion that characterizes a typical resonance, resulting in a considerable enhancement of the TPA rate. Due to the bosonic symmetry of TPA, the enhancement is strongest when the resonance occurs when the frequency difference of the two photons is much higher than the linewidth of the resonance. Our results indicate that broadband entangled TPA with spectral phase flips may be suitable for phase-sensitive spectroscopy at the lower end of the spectrum where direct photon detection is difficult. | 翻訳日:2023-02-07 16:18:16 公開日:2023-02-06 |
| # 過パラメータモデル学習のためのガウスニュートンの再考 Rethinking Gauss-Newton for learning over-parameterized models ( http://arxiv.org/abs/2302.02904v1 ) ライセンス: Link先を確認 | Michael Arbel | (参考訳) 勾配降下と比較すると、ガウス・ニュートン法(gn)と変種は、反復あたりの計算コストを犠牲にして、局所光学よりも高速に収束することが知られている。
それでもGNは、高い計算コストの削減に絶え間ない努力にもかかわらず、ディープニューラルネットワークの最適化に広く使われていない。
本研究では,過剰パラメータモデルの勾配流のダイナミクスと,それが引き起こす暗黙のバイアスの最近の進歩を踏まえ,gnの特性を一歩後退させ,再検討することを提案する。
まず、過パラメータ化状態における一般化GNの連続時間極限に対する高速な大域収束結果を示す。
次に,GNが勾配流を一般化するカーネル体制と,GNが勾配流から得られる解を体系的に過小評価する大域的解を選択するための暗黙のバイアスを誘発する特徴学習体制の両方を実証的に示す。
重要なことは,この現象を計算予算が十分であれば,学習目標全体に対して正確なGNステップを実行することができる。
本研究は、過剰パラメータモデルに対するgnの計算コストの改善を超越し、最適化速度と暗黙のバイアスの品質をトレードオフできる新しい手法を設計することの必要性を示唆する。 Compared to gradient descent, Gauss-Newton's method (GN) and variants are known to converge faster to local optima at the expense of a higher computational cost per iteration. Still, GN is not widely used for optimizing deep neural networks despite a constant effort to reduce their higher computational cost. In this work, we propose to take a step back and re-think the properties of GN in light of recent advances in the dynamics of gradient flows of over-parameterized models and the implicit bias they induce. We first prove a fast global convergence result for the continuous-time limit of the generalized GN in the over-parameterized regime. We then show empirically that GN exhibits both a kernel regime where it generalizes as well as gradient flows, and a feature learning regime where GN induces an implicit bias for selecting global solutions that systematically under-performs those found by a gradient flow. Importantly, we observed this phenomenon even with enough computational budget to perform exact GN steps over the total training objective. This study suggests the need to go beyond improving the computational cost of GN for over-parametrized models towards designing new methods that can trade off optimization speed and the quality of their implicit bias. | 翻訳日:2023-02-07 16:12:11 公開日:2023-02-06 |
| # 英語の制御可能な語彙単純化 Controllable Lexical Simplification for English ( http://arxiv.org/abs/2302.02900v1 ) ライセンス: Link先を確認 | Kim Cheng Sheang, Daniel Ferr\'es, Horacio Saggion | (参考訳) 微調整トランスフォーマーに基づく手法は,最近文単純化作業においてエキサイティングな結果を示した。
しかし、これまでのところ、Lexical Simplification (LS)タスクに同様のアプローチを適用する研究は行われていない。
本稿では,t5を微調整した制御可能な語彙簡略化システムであるconlsについて述べる。
LexMTurk, BenchLS, NNSevalの3つのデータセットの評価結果から,我々のモデルはLSBert(現在の最先端技術)に匹敵する性能を示し, 場合によってはその性能も向上することが示された。
また,制御トークンの有効性に関する詳細な比較を行い,各トークンがモデルにどのように寄与するかを明らかにした。 Fine-tuning Transformer-based approaches have recently shown exciting results on sentence simplification task. However, so far, no research has applied similar approaches to the Lexical Simplification (LS) task. In this paper, we present ConLS, a Controllable Lexical Simplification system fine-tuned with T5 (a Transformer-based model pre-trained with a BERT-style approach and several other tasks). The evaluation results on three datasets (LexMTurk, BenchLS, and NNSeval) have shown that our model performs comparable to LSBert (the current state-of-the-art) and even outperforms it in some cases. We also conducted a detailed comparison on the effectiveness of control tokens to give a clear view of how each token contributes to the model. | 翻訳日:2023-02-07 16:11:49 公開日:2023-02-06 |
| # arena-web - 自律ナビゲーションアプローチのためのwebベースの開発およびベンチマークプラットフォーム Arena-Web -- A Web-based Development and Benchmarking Platform for Autonomous Navigation Approaches ( http://arxiv.org/abs/2302.02898v1 ) ライセンス: Link先を確認 | Linh K\"astner, Reyk Carstens, Christopher Liebig, Volodymyr Shcherbyna, Lena Nahrworld, Subhin Lee, Jens Lambrecht | (参考訳) 近年,医療分野から倉庫物流分野まで,様々な応用分野において,移動ロボットナビゲーションのアプローチがますます重要になっている。
特に、深層強化学習のアプローチは、ロボットナビゲーションで人気を集めているが、非専門家や開発が容易ではない。
近年、これらの高度なアプローチをより広い聴衆に利用できるようにする努力が続けられている。
本稿では,様々なロボットプラットフォームやシナリオを対象としたDRLベースのナビゲーションプランナの開発,トレーニング,テストを行うWebベースの開発・評価スイートであるArena-Webを紹介する。
インターフェースは直感的で、非専門家にアピールし、テクノロジーを広く利用できるようにするように設計されている。
arena-webとそのインターフェースによって、深層強化学習エージェントのトレーニングと開発が単純化され、1行のコードなしで簡単になる。
ウェブアプリは無料で利用でき、補足資料に記載されているリンクの下で公開することができる。 In recent years, mobile robot navigation approaches have become increasingly important due to various application areas ranging from healthcare to warehouse logistics. In particular, Deep Reinforcement Learning approaches have gained popularity for robot navigation but are not easily accessible to non-experts and complex to develop. In recent years, efforts have been made to make these sophisticated approaches accessible to a wider audience. In this paper, we present Arena-Web, a web-based development and evaluation suite for developing, training, and testing DRL-based navigation planners for various robotic platforms and scenarios. The interface is designed to be intuitive and engaging to appeal to non-experts and make the technology accessible to a wider audience. With Arena-Web and its interface, training and developing Deep Reinforcement Learning agents is simplified and made easy without a single line of code. The web-app is free to use and openly available under the link stated in the supplementary materials. | 翻訳日:2023-02-07 16:11:35 公開日:2023-02-06 |
| # 発電プラントにおける異常検出のためのラベルアシストオートエンコーダ Label Assisted Autoencoder for Anomaly Detection in Power Generation Plants ( http://arxiv.org/abs/2302.02896v1 ) ライセンス: Link先を確認 | Marcellin Atemkeng, Victor Osanyindoro, Rockefeller Rockefeller, Sisipho Hamlomo, Jecinta Mulongo, Theophilus Ansah-Narh, Franklin Tchakounte, Arnaud Nguembang Fadja | (参考訳) 国の経済発展を駆動し、その産業の持続性を保証する重要な要因の1つは、常時電力の供給である。
これは通常、国有電力網によって供給される。
しかし、電気通信業界を含む企業が常に出現している発展途上国では、電力供給が安定していない。
そのため、完全な機能を保証するにはジェネレータに頼る必要がある。
これらの発電機は機能するために燃料に依存し、適切に監視されていない場合、消費率は通常高くなります。
監視操作は通常、(専門家でない)人間が行う。
一部の企業は過大に高い消費率を報告しているため、これは面倒なプロセスかもしれない。
本研究では, 発電プラントが消費する燃料の異常検出のためのラベル付きオートエンコーダを提案する。
オートエンコーダモデルに加えて、観測結果がラベル付けされているかどうかをチェックするラベル支援モジュールを追加し、しきい値から対応する異常分類の正確性をチェックする。
その後、トレーニングが停止すべきか、しきい値を更新するべきか、あるいはハイパーパラメータを検索してトレーニングを続けるべきか、という合意に達した。
その結果,同一データセット上でトレーニングされた既存のモデルよりも,検出精度が9,7.20\%$の異常を読み取るのに非常に効率的であることが判明した。
さらに,本モデルでは,その厳密度に応じて異常を分類することができる。 One of the critical factors that drive the economic development of a country and guarantee the sustainability of its industries is the constant availability of electricity. This is usually provided by the national electric grid. However, in developing countries where companies are emerging on a constant basis including telecommunication industries, those are still experiencing a non-stable electricity supply. Therefore, they have to rely on generators to guarantee their full functionality. Those generators depend on fuel to function and the rate of consumption gets usually high, if not monitored properly. Monitoring operation is usually carried out by a (non-expert) human. In some cases, this could be a tedious process, as some companies have reported an exaggerated high consumption rate. This work proposes a label assisted autoencoder for anomaly detection in the fuel consumed by power generating plants. In addition to the autoencoder model, we added a labelling assistance module that checks if an observation is labelled, the label is used to check the veracity of the corresponding anomaly classification given a threshold. A consensus is then reached on whether training should stop or whether the threshold should be updated or the training should continue with the search for hyper-parameters. Results show that the proposed model is highly efficient for reading anomalies with a detection accuracy of $97.20\%$ which outperforms the existing model of $96.1\%$ accuracy trained on the same dataset. In addition, the proposed model is able to classify the anomalies according to their degree of severity. | 翻訳日:2023-02-07 16:11:19 公開日:2023-02-06 |
| # 多言語語彙単純化におけるTSAR-2022共有タスクの発見 Findings of the TSAR-2022 Shared Task on Multilingual Lexical Simplification ( http://arxiv.org/abs/2302.02888v1 ) ライセンス: Link先を確認 | Horacio Saggion, Sanja \v{S}tajner, Daniel Ferr\'es, Kim Cheng Sheang, Matthew Shardlow, Kai North, Marcos Zampieri | (参考訳) テキストの簡略化,アクセシビリティ,可読性に関するワークショップ「TSAR-2022」の一環として,EMNLP 2022と共同で開催されている多言語語彙の簡略化に関するTSAR-2022共有タスクについて報告する。
このタスクは、自然言語処理研究コミュニティに、英語、ポルトガル語、スペイン語の多言語語彙化における芸術の状態を前進させる方法を提供するよう呼びかけた。
提供されたテストデータの語彙的単純化システムの結果を合計14チームが提出した。
共有タスクの結果は、英語の語彙単純化による語彙単純化の新しいベンチマークが、スペイン語や(ブラジル語)ポルトガル語よりも顕著に高い結果を示した。 We report findings of the TSAR-2022 shared task on multilingual lexical simplification, organized as part of the Workshop on Text Simplification, Accessibility, and Readability TSAR-2022 held in conjunction with EMNLP 2022. The task called the Natural Language Processing research community to contribute with methods to advance the state of the art in multilingual lexical simplification for English, Portuguese, and Spanish. A total of 14 teams submitted the results of their lexical simplification systems for the provided test data. Results of the shared task indicate new benchmarks in Lexical Simplification with English lexical simplification quantitative results noticeably higher than those obtained for Spanish and (Brazilian) Portuguese. | 翻訳日:2023-02-07 16:10:55 公開日:2023-02-06 |
| # 結合グリッドを用いた神経文書のアンワーピング Neural Document Unwarping using Coupled Grids ( http://arxiv.org/abs/2302.02887v1 ) ライセンス: Link先を確認 | Floor Verhoeven, Tanguy Magne, Olga Sorkine-Hornung | (参考訳) 折りたたまれたページのカジュアルな写真から印刷された文書のオリジナルの平らな外観を復元することは日常的な問題である。
本稿では,グリッドベースの単一画像文書のアンウォープ手法を提案する。
提案手法は,文書の3次元グリッドメッシュとそれに対応する2次元アンウォープグリッドをマルチタスク方式で予測し,その形状と2次元画像との結合を暗黙的に符号化する深部完全畳み込みニューラルネットワークを用いて幾何的歪み補正を行う。
さらに、UVDocと呼ばれる独自のデータセットを作成し、公開しています。これは、擬似フォトリアリスティックなドキュメントイメージと、地上の真理グリッドに基づく物理3Dとアンウォープ情報を組み合わせて、アンウォープモデルが、一般的な合成Doc3Dデータセットよりもリアルなデータでトレーニングし、物理的な精度も向上します。
私たちのデータセットには、典型的に野生のデータセットで見られる基盤構造が欠如していることに対処可能な、別々の損失関数を設計することなく、アンウォーピングネットワークをトレーニングするために必要なすべての情報がラベル付けされています。
我々は、合成および擬似フォトリアリスティック画像の混合でトレーニングされたデュアルタスク・アンウォーピングネットワークがDocUNetベンチマークデータセットで最先端のパフォーマンスを達成することを示す、徹底的な評価を含む。
私たちのコード、結果、UVDocデータセットは、公開時に公開されます。 Restoring the original, flat appearance of a printed document from casual photographs of bent and wrinkled pages is a common everyday problem. In this paper we propose a novel method for grid-based single-image document unwarping. Our method performs geometric distortion correction via a deep fully convolutional neural network that learns to predict the 3D grid mesh of the document and the corresponding 2D unwarping grid in a multi-task fashion, implicitly encoding the coupling between the shape of a 3D object and its 2D image. We additionally create and publish our own dataset, called UVDoc, which combines pseudo-photorealistic document images with ground truth grid-based physical 3D and unwarping information, allowing unwarping models to train on data that is more realistic in appearance than the commonly used synthetic Doc3D dataset, whilst also being more physically accurate. Our dataset is labeled with all the information necessary to train our unwarping network, without having to engineer separate loss functions that can deal with the lack of ground-truth typically found in document in the wild datasets. We include a thorough evaluation that demonstrates that our dual-task unwarping network trained on a mix of synthetic and pseudo-photorealistic images achieves state-of-the-art performance on the DocUNet benchmark dataset. Our code, results and UVDoc dataset will be made publicly available upon publication. | 翻訳日:2023-02-07 16:10:44 公開日:2023-02-06 |
| # Deep Learning-Optimized Hyperspectral Imaging を用いた術中脳腫瘍検出 Intra-operative Brain Tumor Detection with Deep Learning-Optimized Hyperspectral Imaging ( http://arxiv.org/abs/2302.02884v1 ) ライセンス: Link先を確認 | Tommaso Giannantonio (1), Anna Alperovich (1), Piercosimo Semeraro (1 and 2), Manfredo Atzori (2 and 3), Xiaohan Zhang (4), Christoph Hauger (4), Alexander Freytag (1), Siri Luthman (5), Roeland Vandebriel (5), Murali Jayapala (5), Lien Solie (6), and Steven de Vleeschouwer (6) ((1) Carl Zeiss AG, (2) U. Padua, (3) HES-SO Valais, (4) Carl Zeiss Meditec AG, (5) IMEC, (6) KU and UZ Leuven) | (参考訳) グリオーマ(内因性脳腫瘍)の手術は、特に低悪性度では、病変の浸潤性により困難である。
現在、リアルタイム、術中、ラベルフリー、広視野のツールが使用されておらず、外科医がこれらの腫瘍の関連領域を見つけるのを手助けし、ガイドしている。
高品位グリオーマ症例にはマーカーベースの方法が存在するが、低品位症例には便利な解決策がないため、マーカーフリー光学技術は魅力的な選択肢である。
RGBイメージングは外科顕微鏡の標準的なツールであるが、組織分化に十分な情報を含んでいない。
468-787nm範囲のsnapscanカメラで取得したhyperspectral imaging (hsi) から得られたよりリッチな情報と手術用顕微鏡を併用し, 術中指導に有用な癌切除のための深達度診断ツールを構築した。
しかし、hsi snapscanカメラの主な制限は画像取得時間であり、オペレーション・シアターでの展開が制限されている。
本稿では,より安価で高速なセンサ開発のための設計空間を対象とするhsiチャネル削減と事前選択の効果について検討する。
神経回路は、腫瘍組織の分化において最も重要なスペクトルチャネルを特定し、チャネル数と精度のトレードオフを最適化し、リアルタイムのサージカルインフォメーションを可能にするために使用される。
5例の手術中に得られた臨床データセットを用いて本法の有効性を検討した。
低グレードのグリオーマを効果的に検出できる可能性を示すことによって、これらの結果はがん切除の区切りを良くし、治療効果と患者の結果を改善する可能性がある。 Surgery for gliomas (intrinsic brain tumors), especially when low-grade, is challenging due to the infiltrative nature of the lesion. Currently, no real-time, intra-operative, label-free and wide-field tool is available to assist and guide the surgeon to find the relevant demarcations for these tumors. While marker-based methods exist for the high-grade glioma case, there is no convenient solution available for the low-grade case; thus, marker-free optical techniques represent an attractive option. Although RGB imaging is a standard tool in surgical microscopes, it does not contain sufficient information for tissue differentiation. We leverage the richer information from hyperspectral imaging (HSI), acquired with a snapscan camera in the 468-787 nm range, coupled to a surgical microscope, to build a deep-learning-based diagnostic tool for cancer resection with potential for intra-operative guidance. However, the main limitation of the HSI snapscan camera is the image acquisition time, limiting its widespread deployment in the operation theater. Here, we investigate the effect of HSI channel reduction and pre-selection to scope the design space for the development of cheaper and faster sensors. Neural networks are used to identify the most important spectral channels for tumor tissue differentiation, optimizing the trade-off between the number of channels and precision to enable real-time intra-surgical application. We evaluate the performance of our method on a clinical dataset that was acquired during surgery on five patients. By demonstrating the possibility to efficiently detect low-grade glioma, these results can lead to better cancer resection demarcations, potentially improving treatment effectiveness and patient outcome. | 翻訳日:2023-02-07 16:10:17 公開日:2023-02-06 |
| # 解釈可能な予測のための変分情報探索 Variational Information Pursuit for Interpretable Predictions ( http://arxiv.org/abs/2302.02876v1 ) ライセンス: Link先を確認 | Aditya Chattopadhyay, Kwan Ho Ryan Chan, Benjamin D. Haeffele, Donald Geman, Ren\'e Vidal | (参考訳) 予測アルゴリズムの開発には、"設計によって解釈可能"な機械学習コミュニティの関心が高まっている。
この目的に向けて、近年の研究は、得られた回答(履歴)に基づいて高い信頼度で予測ができるまで、データに関する解釈可能なクエリを順次問うことによって、解釈可能な意思決定を行うことを提案する。
短い問合せチェーンを促進するために、情報取得順にクエリを適応的に選択するIP(Information Pursuit)と呼ばれる欲求手続きが使用される。
生成モデルを用いてクエリー回答とラベルの分布を学習し、最も情報性の高いクエリを推定する。
しかし、データの完全な生成モデルによる学習と推論は、複雑なタスクに対してしばしば難解である。
本稿では,学習生成モデルの必要性を回避したipの変分的特徴付けである変分情報追跡(v-ip)を提案する。
V-IPは、真ラベルと予測ラベルの相互エントロピーを最小化するクエリ選択戦略と分類器の探索に基づいている。
次に,IP戦略がこの問題の最適解であることを示す。
したがって、生成モデルを学習する代わりに、最適な戦略を使って、履歴から最も情報に富んだクエリを直接選択できる。
そこで我々は、深層ネットワークを用いて戦略と分類器の有限次元パラメータ化を定義し、その目的を用いてエンドツーエンドに訓練することで、実用的なアルゴリズムを開発する。
実証的には、V-IPは、異なるビジョンとNLPタスクにおけるIPよりも10-100倍高速で、競合性能がある。
さらにv-ipでは,逐次決定問題で一般的に使用される強化学習と比較して,クエリチェインが大幅に短縮されている。
最後に,V-IPが生成的モデリング手法よりもはるかに優れた医療診断などの課題に対して有効であることを示す。 There is a growing interest in the machine learning community in developing predictive algorithms that are "interpretable by design". Towards this end, recent work proposes to make interpretable decisions by sequentially asking interpretable queries about data until a prediction can be made with high confidence based on the answers obtained (the history). To promote short query-answer chains, a greedy procedure called Information Pursuit (IP) is used, which adaptively chooses queries in order of information gain. Generative models are employed to learn the distribution of query-answers and labels, which is in turn used to estimate the most informative query. However, learning and inference with a full generative model of the data is often intractable for complex tasks. In this work, we propose Variational Information Pursuit (V-IP), a variational characterization of IP which bypasses the need for learning generative models. V-IP is based on finding a query selection strategy and a classifier that minimizes the expected cross-entropy between true and predicted labels. We then demonstrate that the IP strategy is the optimal solution to this problem. Therefore, instead of learning generative models, we can use our optimal strategy to directly pick the most informative query given any history. We then develop a practical algorithm by defining a finite-dimensional parameterization of our strategy and classifier using deep networks and train them end-to-end using our objective. Empirically, V-IP is 10-100x faster than IP on different Vision and NLP tasks with competitive performance. Moreover, V-IP finds much shorter query chains when compared to reinforcement learning which is typically used in sequential-decision-making problems. Finally, we demonstrate the utility of V-IP on challenging tasks like medical diagnosis where the performance is far superior to the generative modelling approach. | 翻訳日:2023-02-07 16:09:49 公開日:2023-02-06 |
| # トップダウンのボトムアップ、3Dインスタンスのセグメンテーションで Top-Down Beats Bottom-Up in 3D Instance Segmentation ( http://arxiv.org/abs/2302.02871v1 ) ライセンス: Link先を確認 | Maksim Kolodiazhnyi, Danila Rukhovich, Anna Vorontsova, Anton Konushin | (参考訳) 大部分の3Dインスタンスセグメンテーション手法は、通常はリソース消費後処理を含むボトムアップ戦略を利用する。
ポイントグルーピングでは、ボトムアップ法はハイパーパラメーターの形のオブジェクトに関する事前の仮定に依存し、それはドメイン固有であり、慎重に調整する必要がある。
反対に、td3d: トップダウン、完全なデータ駆動、エンドツーエンドでトレーニングされたシンプルなアプローチで、3dインスタンスのセグメンテーションに対処する。
ScanNet v2、その拡張であるScanNet200、S3DISといった標準ベンチマークでは驚くほどうまく機能します。
また,提案手法は,現在最先端のグループ化手法よりもはるかに高速である。
コードはhttps://github.com/SamsungLabs/td3dで入手できる。 Most 3D instance segmentation methods exploit a bottom-up strategy, typically including resource-exhaustive post-processing. For point grouping, bottom-up methods rely on prior assumptions about the objects in the form of hyperparameters, which are domain-specific and need to be carefully tuned. On the contrary, we address 3D instance segmentation with a TD3D: top-down, fully data-driven, simple approach trained in an end-to-end manner. With its straightforward fully-convolutional pipeline, it performs surprisingly well on the standard benchmarks: ScanNet v2, its extension ScanNet200, and S3DIS. Besides, our method is much faster on inference than the current state-of-the-art grouping-based approaches. Code is available at https://github.com/SamsungLabs/td3d . | 翻訳日:2023-02-07 16:09:20 公開日:2023-02-06 |
| # パリティを持つ浅い回路による雑音復号:古典的および量子的 Noisy decoding by shallow circuits with parities: classical and quantum ( http://arxiv.org/abs/2302.02870v1 ) ライセンス: Link先を確認 | Jop Bri\"et, Harry Buhrman, Davi Castro-Silva and Niels M. P. Neumann | (参考訳) 古典的, 量子的設定において, NC$^0[\oplus]$回路で誤り訂正符号を復号する問題を考察する。
符号語が正の誤差率で雑音の多いチャネル上で送信される場合、そのような古典的回路は、わずかなメッセージのみを正確に復元できることを示す。
以前は、これは非自明な双対距離を持つ線形コードでしか知られていなかったが、我々の結果はどんなコードにも当てはまる。
対照的に、コードワードの$(1/2 - \varepsilon)$-fractionが逆向きに破損しても、確率$\Omega(\varepsilon^2)$でアダマール符号を正しく復号する単純な量子回路を与える。
我々の古典的硬度結果は、偏りのある入力分布の有限体上の多変量多項式に対する等分散現象に基づいている。
これは独立興味を持つかもしれない高次元多項式写像の新しい階数の概念に基づく構造反転ランダム性戦略を用いて証明される。
我々の量子回路は、bernstein-vazirani問題の非局所バージョン、wattsらによって"poor man's cat state"を生成する技術、そして高橋と谷によるor関数のための定数深さ量子回路から着想を得ている。 We consider the problem of decoding corrupted error correcting codes with NC$^0[\oplus]$ circuits in the classical and quantum settings. We show that any such classical circuit can correctly recover only a vanishingly small fraction of messages, if the codewords are sent over a noisy channel with positive error rate. Previously this was known only for linear codes with non-trivial dual distance, whereas our result applies to any code. By contrast, we give a simple quantum circuit that correctly decodes the Hadamard code with probability $\Omega(\varepsilon^2)$ even if a $(1/2 - \varepsilon)$-fraction of a codeword is adversarially corrupted. Our classical hardness result is based on an equidistribution phenomenon for multivariate polynomials over a finite field under biased input-distributions. This is proved using a structure-versus-randomness strategy based on a new notion of rank for high-dimensional polynomial maps that may be of independent interest. Our quantum circuit is inspired by a non-local version of the Bernstein-Vazirani problem, a technique to generate "poor man's cat states" by Watts et al., and a constant-depth quantum circuit for the OR function by Takahashi and Tani. | 翻訳日:2023-02-07 16:09:08 公開日:2023-02-06 |
| # マジックブルではなくインサイトを探索する:不均一処理効果推定におけるモデル選択ジレンマのデミスティフィケーションを目指して In Search of Insights, Not Magic Bullets: Towards Demystification of the Model Selection Dilemma in Heterogeneous Treatment Effect Estimation ( http://arxiv.org/abs/2302.02923v1 ) ライセンス: Link先を確認 | Alicia Curth, Mihaela van der Schaar | (参考訳) そのため、そのような効果を実際に見積もるモデルをデプロイする前に、このタスクのために成長を続ける機械学習ツールボックスから最高の候補が選択されたことを確認する必要があります。
残念なことに、実際には偽情報がないため、通常、それを行うための標準的なバリデーションメトリクスに頼ることはできず、治療効果推定文献でよく知られたモデル選択ジレンマに繋がる。
最近、いくつかの解決策が研究されているが、異なるモデル選択基準の強みと弱みの体系的な理解はまだ不足している。
そこで本稿では,グローバル"勝者"を宣言する代わりに,異なる選択基準による成功モードと失敗モードを実証的に検討する。
我々は、選択戦略と候補推定子とテストに使用されるdgpの間には複雑な相互作用があることを強調し、この文脈でさらなる照明的実証研究の設計のためにdesiderataと共に異なる基準の相対的(dis)アドバンテージに関する興味深い洞察を提供する。 Personalized treatment effect estimates are often of interest in high-stakes applications -- thus, before deploying a model estimating such effects in practice, one needs to be sure that the best candidate from the ever-growing machine learning toolbox for this task was chosen. Unfortunately, due to the absence of counterfactual information in practice, it is usually not possible to rely on standard validation metrics for doing so, leading to a well-known model selection dilemma in the treatment effect estimation literature. While some solutions have recently been investigated, systematic understanding of the strengths and weaknesses of different model selection criteria is still lacking. In this paper, instead of attempting to declare a global `winner', we therefore empirically investigate success- and failure modes of different selection criteria. We highlight that there is a complex interplay between selection strategies, candidate estimators and the DGP used for testing, and provide interesting insights into the relative (dis)advantages of different criteria alongside desiderata for the design of further illuminating empirical studies in this context. | 翻訳日:2023-02-07 16:03:54 公開日:2023-02-06 |
| # グラフニューラルネットワークにおけるエッジモデルスパース学習の有用性 Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural Networks ( http://arxiv.org/abs/2302.02922v1 ) ライセンス: Link先を確認 | Shuai Zhang, Meng Wang, Pin-Yu Chen, Sijia Liu, Songtao Lu, Miao Liu | (参考訳) 大規模グラフニューラルネットワーク(GNN)をトレーニングする際の大きな計算課題のため、メモリとストレージコストを削減するために、さまざまなスパース学習技術が活用されている。
例えば、データ集約量を減らすためにサブグラフをサンプリングする \textit{graph sparsification} や、トレーニング可能な重みを減らすためにニューラルネットワークを脅かす \textit{model sparsification} などがある。
テスト精度を維持しながらトレーニングコストを削減した経験的成功にもかかわらず、GNNのためのスパース学習の理論的一般化分析はいまだ解明されていない。
そこで本研究では, 一般化誤差をゼロにする際の, サンプルの複雑性と収束率の観点から, 結合エッジモデルスパース学習の理論的評価を行った。
解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
この分析は、データに構造的制約を持つ2層GNNを中心にしているが、より一般的な設定に適用でき、合成および実用的な引用データセットの両方で正当化される。 Due to the significant computational challenge of training large-scale graph neural networks (GNNs), various sparse learning techniques have been exploited to reduce memory and storage costs. Examples include \textit{graph sparsification} that samples a subgraph to reduce the amount of data aggregation and \textit{model sparsification} that prunes the neural network to reduce the number of trainable weights. Despite the empirical successes in reducing the training cost while maintaining the test accuracy, the theoretical generalization analysis of sparse learning for GNNs remains elusive. To the best of our knowledge, this paper provides the first theoretical characterization of joint edge-model sparse learning from the perspective of sample complexity and convergence rate in achieving zero generalization error. It proves analytically that both sampling important nodes and pruning neurons with the lowest-magnitude can reduce the sample complexity and improve convergence without compromising the test accuracy. Although the analysis is centered on two-layer GNNs with structural constraints on data, the insights are applicable to more general setups and justified by both synthetic and practical citation datasets. | 翻訳日:2023-02-07 16:03:33 公開日:2023-02-06 |
| # 総合的深層強化学習に基づく自律ナビゲーションシステムの訓練 Holistic Deep-Reinforcement-Learning-based Training of Autonomous Navigation Systems ( http://arxiv.org/abs/2302.02921v1 ) ライセンス: Link先を確認 | Linh K\"astner, Marvin Meusel, Teham Bhuiyan, and Jens Lambrecht | (参考訳) 近年、Deep Reinforcement Learningは、地上車両の自律走行のための有望なアプローチとして登場し、クルーズ制御、車線変更、障害物回避といった様々なナビゲーションの分野で利用されてきた。
しかし、ほとんどの研究は、深層強化学習を使用してシステム全体をトレーニングするエンドツーエンドソリューションの提供や、局所的なモーションプランニングのような1つの特定の側面に焦点を当てている。
しかしこれは、破滅的な忘れやすさ、非効率なナビゲーション動作、ナビゲーションスタックの異なるエンティティ間の最適でない同期など、多くの問題と共に生じる。
本稿では,ナビゲーションスタックのすべての要素を学習手順に含める,総合的な深層強化学習訓練手法を提案する。
これによってナビゲーションスタックの全エンティティの同期と理解が向上し、結果としてナビゲーション性能が向上するはずだ。
複数の異なる観測空間を持つエージェントを訓練し、異なる入力がエージェントのナビゲーション行動に与える影響について検討した。
複数の学習ベースおよび古典的モデルベースナビゲーションアプローチに対する深い評価において,提案手法は,経路長の短縮,周航路の短縮,衝突の低減といった点において,効率と安全性において基準線を上回り得る。 In recent years, Deep Reinforcement Learning emerged as a promising approach for autonomous navigation of ground vehicles and has been utilized in various areas of navigation such as cruise control, lane changing, or obstacle avoidance. However, most research works either focus on providing an end-to-end solution training the whole system using Deep Reinforcement Learning or focus on one specific aspect such as local motion planning. This however, comes along with a number of problems such as catastrophic forgetfulness, inefficient navigation behavior, and non-optimal synchronization between different entities of the navigation stack. In this paper, we propose a holistic Deep Reinforcement Learning training approach in which the training procedure is involving all entities of the navigation stack. This should enhance the synchronization between- and understanding of all entities of the navigation stack and as a result, improve navigational performance. We trained several agents with a number of different observation spaces to study the impact of different input on the navigation behavior of the agent. In profound evaluations against multiple learning-based and classic model-based navigation approaches, our proposed agent could outperform the baselines in terms of efficiency and safety attaining shorter path lengths, less roundabout paths, and less collisions. | 翻訳日:2023-02-07 16:03:11 公開日:2023-02-06 |
| # 有限および漸近状態における時間順序過程の最適化 Optimisation of time-ordered processes in the finite and asymptotic regime ( http://arxiv.org/abs/2302.02918v1 ) ライセンス: Link先を確認 | Mirjam Weilenmann, Costantino Budroni and Miguel Navascues | (参考訳) 量子情報理論における多くの問題は、予測不能な外部の影響を受ける力学系の逐次結果に対する最適化として定式化することができる。
このような問題には、適応測定による多体絡み検出、目標状態の連続集合に対する準備ゲームの最大平均スコアの計算、(量子)有限状態オートマトンの動きの制限などが含まれる。
本研究では,このクラスの最適化問題に対して,トラクタブル緩和を導入する。
彼らのパフォーマンスを説明するために 使用します
(a)有限状態オートマトンが与えられたビット列を出力する確率を計算する
b) 新規多体絡み検出プロトコルの開発
(c)マジック状態検出のための適応プロトコルをコンピュータに発明させる。
さらに示すように、無限個の時間ステップの極限における逐次問題の最大スコアは一般に計算不可能である。
それでも、我々はこの量に結びつく一般的なヒューリスティックスを提供し、それらが関連するシナリオに有用な見積もりを提供することを示す。 Many problems in quantum information theory can be formulated as optimizations over the sequential outcomes of dynamical systems subject to unpredictable external influences. Such problems include many-body entanglement detection through adaptive measurements, computing the maximum average score of a preparation game over a continuous set of target states and limiting the behavior of a (quantum) finite-state automaton. In this work, we introduce tractable relaxations of this class of optimization problems. To illustrate their performance, we use them to: (a) compute the probability that a finite-state automaton outputs a given sequence of bits; (b) develop a new many-body entanglement detection protocol; (c) let the computer invent an adaptive protocol for magic state detection. As we further show, the maximum score of a sequential problem in the limit of infinitely many time-steps is in general incomputable. Nonetheless, we provide general heuristics to bound this quantity and show that they provide useful estimates in relevant scenarios. | 翻訳日:2023-02-07 16:02:50 公開日:2023-02-06 |
| # グラフニューラルネットワークのためのエネルギーベース分布外検出 Energy-based Out-of-Distribution Detection for Graph Neural Networks ( http://arxiv.org/abs/2302.02914v1 ) ライセンス: Link先を確認 | Qitian Wu, Yiting Chen, Chenxiao Yang, Junchi Yan | (参考訳) インスタンスノードが相互接続されるグラフ上での学習は、関係構造が広範に普及し、入力をi.d.-sampledと仮定する既存のアプローチの自明な適応を妨げるデータ相互依存を誘導するため、ディープラーニングの重要な問題の一つとなっている。
しかしながら、現在のモデルは、主に分布内データのテスト性能の改善に重点を置いており、予測が過度に信頼された場合、負の結果をもたらす可能性のあるOOD(out-of-distriion)テストサンプルの潜在的なリスクを無視している。
本稿では, グラフ構造データを用いたOOD検出の未探索問題について検討し, 標準分類損失を学習したグラフニューラルネットワークから直接抽出したエネルギー関数に基づいて, 有効なOOD判別器を同定する。
これにより、GNNSafeと呼ばれるグラフ上の学習のための、シンプルで強力で効率的なOOD検出モデルを構築することができる。
また、分布内検出スコアとOODサンプルの総合的に区別可能なマージンを保証できる優れた理論的特性を有しており、より重要なことは、学習自由エネルギー信念伝播スキームによってさらに強化することができる。
包括的評価のために,合成および実分布シフト(クロスドメイングラフシフトと時間グラフシフト)からoodデータを検出するモデルを評価する新しいベンチマーク設定を導入する。
その結果、GNNSafeは最先端技術よりも17.0 %$ AUROCの改善を達成し、未開発の領域では単純だが強力なベースラインとして機能することを示した。 Learning on graphs, where instance nodes are inter-connected, has become one of the central problems for deep learning, as relational structures are pervasive and induce data inter-dependence which hinders trivial adaptation of existing approaches that assume inputs to be i.i.d.~sampled. However, current models mostly focus on improving testing performance of in-distribution data and largely ignore the potential risk w.r.t. out-of-distribution (OOD) testing samples that may cause negative outcome if the prediction is overconfident on them. In this paper, we investigate the under-explored problem, OOD detection on graph-structured data, and identify a provably effective OOD discriminator based on an energy function directly extracted from graph neural networks trained with standard classification loss. This paves a way for a simple, powerful and efficient OOD detection model for GNN-based learning on graphs, which we call GNNSafe. It also has nice theoretical properties that guarantee an overall distinguishable margin between the detection scores for in-distribution and OOD samples, which, more critically, can be further strengthened by a learning-free energy belief propagation scheme. For comprehensive evaluation, we introduce new benchmark settings that evaluate the model for detecting OOD data from both synthetic and real distribution shifts (cross-domain graph shifts and temporal graph shifts). The results show that GNNSafe achieves up to $17.0\%$ AUROC improvement over state-of-the-arts and it could serve as simple yet strong baselines in such an under-developed area. | 翻訳日:2023-02-07 16:02:38 公開日:2023-02-06 |
| # 統計的類似性を超えて:エンジニアリング設計における深層生成モデルのためのメトリクス再考 Beyond Statistical Similarity: Rethinking Metrics for Deep Generative Models in Engineering Design ( http://arxiv.org/abs/2302.02913v1 ) ライセンス: Link先を確認 | Lyle Regenwetter, Akash Srivastava, Dan Gutfreund, Faez Ahmed | (参考訳) 可変オートエンコーダ(VAE)、GAN(Generative Adversarial Networks)、拡散モデル(Diffusion Models)、トランスフォーマー(Transformers)といった深層生成モデルは、画像や音声合成、自然言語処理、薬物発見など、様々な分野で大きな可能性を示してきた。
しかし, 工学的設計問題に適用すると, 従来の統計指標が工学的応用の要件を完全に把握できないため, これらのモデルの性能評価は困難である。
本稿では, 工学設計における深層生成モデル(dgms)の評価指標のレビューと実践的ガイドを兼用する。
まず、機械学習理論と典型的な計算機科学応用に基づく深層生成モデルの「古典的」評価指標を要約する。
ケーススタディを使用して、これらのメトリクスが設計問題にうまく変換できない理由を強調すると同時に、確立された代替手段の欠如による頻繁な使用を見出す。
次に、異なる研究コミュニティにまたがって提案された設計特化指標のセットをキュレートし、深層生成モデルの評価に使用することができる。
これらのメトリクスは、制約満足度、機能性能、新規性、条件付けなど、設計とエンジニアリングにおけるユニークな要件に焦点を当てている。
我々は,レビューと議論を,実践的選択基準と利用ガイドラインのセットとして構成する。
議論を通じて、単純な2次元の例問題に基づいてトレーニングされたモデルにメトリクスを適用する。
最後に,提案指標の選択過程と古典的使用法を説明するために,性能目標達成,設計の新規性,幾何学的制約を考慮した多面自転車フレーム設計問題に対する3つの深い生成モデルの評価を行った。
decode.mit.edu/projects/metrics/の論文で使われているデータセット、モデル、メトリクスのコードを公開します。 Deep generative models, such as Variational Autoencoders (VAEs), Generative Adversarial Networks (GANs), Diffusion Models, and Transformers, have shown great promise in a variety of applications, including image and speech synthesis, natural language processing, and drug discovery. However, when applied to engineering design problems, evaluating the performance of these models can be challenging, as traditional statistical metrics based on likelihood may not fully capture the requirements of engineering applications. This paper doubles as a review and a practical guide to evaluation metrics for deep generative models (DGMs) in engineering design. We first summarize well-accepted `classic' evaluation metrics for deep generative models grounded in machine learning theory and typical computer science applications. Using case studies, we then highlight why these metrics seldom translate well to design problems but see frequent use due to the lack of established alternatives. Next, we curate a set of design-specific metrics which have been proposed across different research communities and can be used for evaluating deep generative models. These metrics focus on unique requirements in design and engineering, such as constraint satisfaction, functional performance, novelty, and conditioning. We structure our review and discussion as a set of practical selection criteria and usage guidelines. Throughout our discussion, we apply the metrics to models trained on simple 2-dimensional example problems. Finally, to illustrate the selection process and classic usage of the presented metrics, we evaluate three deep generative models on a multifaceted bicycle frame design problem considering performance target achievement, design novelty, and geometric constraints. We publicly release the code for the datasets, models, and metrics used throughout the paper at decode.mit.edu/projects/metrics/. | 翻訳日:2023-02-07 16:02:12 公開日:2023-02-06 |
| # 微分プライバシー下における公正概念の実証分析 An Empirical Analysis of Fairness Notions under Differential Privacy ( http://arxiv.org/abs/2302.02910v1 ) ライセンス: Link先を確認 | Anderson Santana de Oliveira and Caelin Kaplan and Khawla Mallat and Tanmay Chakraborty | (参考訳) 近年の研究では、差分プライバシー設定に適合する最適なモデルアーキテクチャを選択することは、差分プライベート確率勾配勾配勾配(DP-SGD)(Tramer and Boneh 2020; Cheng et al. 2022)を用いて、所定のプライバシー予算に最適なユーティリティを実現するために必要とされている。
これらの結果を踏まえ,dp-sgdに適したモデルアーキテクチャを選択した場合に,統計的公正基準(独立性,分離,不十分性)の異なるクラスに属する異なるフェアネス概念がどのように影響を受けるかを実証的に分析する。
MLフェアネス文献の標準データセットを用いて、DP-SGDの最適モデルアーキテクチャを選択することで、実用性を高めるために最適なモデルアーキテクチャが選択された非私的ベースラインと比較して、関連するフェアネス指標(デコログラフパリティ、等化奇数、予測パリティ)に関するグループ間の差異がより減少または無視的に影響されることを示す。
これらの発見は、偏りのあるデータセットに基づいてトレーニングされたディープラーニングモデルにおいて、差分プライバシーが必ずしも不公平を悪化させるという理解に挑戦する。 Recent works have shown that selecting an optimal model architecture suited to the differential privacy setting is necessary to achieve the best possible utility for a given privacy budget using differentially private stochastic gradient descent (DP-SGD)(Tramer and Boneh 2020; Cheng et al. 2022). In light of these findings, we empirically analyse how different fairness notions, belonging to distinct classes of statistical fairness criteria (independence, separation and sufficiency), are impacted when one selects a model architecture suitable for DP-SGD, optimized for utility. Using standard datasets from ML fairness literature, we show using a rigorous experimental protocol, that by selecting the optimal model architecture for DP-SGD, the differences across groups concerning the relevant fairness metrics (demographic parity, equalized odds and predictive parity) more often decrease or are negligibly impacted, compared to the non-private baseline, for which optimal model architecture has also been selected to maximize utility. These findings challenge the understanding that differential privacy will necessarily exacerbate unfairness in deep learning models trained on biased datasets. | 翻訳日:2023-02-07 16:01:41 公開日:2023-02-06 |
| # グラフコントラスト学習のためのスペクトル拡張 Spectral Augmentations for Graph Contrastive Learning ( http://arxiv.org/abs/2302.02909v1 ) ライセンス: Link先を確認 | Amur Ghose, Yingxue Zhang, Jianye Hao, Mark Coates | (参考訳) コントラスト学習は、監督の有無にかかわらず、表現を学習するための第一の方法として登場した。
近年,グラフ表現学習における事前学習の有用性が示されている。
成功にもかかわらず、多くの下流グラフに共通する構造特性を捉えることができる効果的なグラフ拡張を設計する方法の理解はいまだ不完全である。
本稿では,グラフスペクトル分析によって導出されたグラフ変換操作の集合を提案し,グラフの対照的な目的に対する拡張を構築する際の候補のバンクを提供し,事前学習グラフデータセットから有用な構造表現を抽出するコントラスト学習を実現する。
まず,先行ラプラシアン固有ベクトルの固有値にしきい値を適用することで,ノードをフィルタリングするスペクトルグラフクロッピング拡張を提案する。
2つ目の新しい拡張は、構造ラプラシアン由来の位置グラフ埋め込みにおけるグラフ周波数成分を並べ替える。
さらに,大域的ランダムウォーク埋め込みによるアライメントを行うことで,局所部分グラフの視点を改善する手法を提案する。
実験の結果,最先端のグラフコントラスト学習法と比較して,領域外グラフデータ転送における一貫した改善が示され,多様なグラフタイプに共通する構造的特性を学習可能なグラフ学習器の設計方法に光を当てている。 Contrastive learning has emerged as a premier method for learning representations with or without supervision. Recent studies have shown its utility in graph representation learning for pre-training. Despite successes, the understanding of how to design effective graph augmentations that can capture structural properties common to many different types of downstream graphs remains incomplete. We propose a set of well-motivated graph transformation operations derived via graph spectral analysis to provide a bank of candidates when constructing augmentations for a graph contrastive objective, enabling contrastive learning to capture useful structural representation from pre-training graph datasets. We first present a spectral graph cropping augmentation that involves filtering nodes by applying thresholds to the eigenvalues of the leading Laplacian eigenvectors. Our second novel augmentation reorders the graph frequency components in a structural Laplacian-derived position graph embedding. Further, we introduce a method that leads to improved views of local subgraphs by performing alignment via global random walk embeddings. Our experimental results indicate consistent improvements in out-of-domain graph data transfer compared to state-of-the-art graph contrastive learning methods, shedding light on how to design a graph learner that is able to learn structural properties common to diverse graph types. | 翻訳日:2023-02-07 16:01:16 公開日:2023-02-06 |
| # lexlip:大規模画像テキスト検索のための語彙ボトルネック言語-画像事前学習 LexLIP: Lexicon-Bottlenecked Language-Image Pre-Training for Large-Scale Image-Text Retrieval ( http://arxiv.org/abs/2302.02908v1 ) ライセンス: Link先を確認 | Ziyang luo, Pu Zhao, Can Xu, Xiubo Geng, Tao Shen, Chongyang Tao, Jing Ma, Qingwen lin, Daxin Jiang | (参考訳) 画像テキスト検索(ITR)は、他のモダリティからのクエリから、関連する画像/テキストを検索するタスクである。
従来の高密度検索パラダイムは、画像やテキストをデュアルストリームエンコーダを使って高密度表現にエンコードするが、大規模な検索シナリオでは検索速度が低い課題に直面する。
本研究では,語彙空間におけるスパース表現を画像やテキストに対して学習し,単語のバッグ・オブ・ワードモデルと効率的な逆インデックスを有効活用する語彙重み付けパラダイムを提案する。
重要なギャップは、画像データの連続的な性質と、スパース語彙空間表現の必要性から生じる。
このギャップを埋めるため,我々は,重要度を意識した語彙表現を学習する,新しい事前学習フレームワークであるlexlipを導入した。
このフレームワークは、二重ストリームエンコーダと弱められたテキストデコーダの間のレキシコンボトルネックモジュールを特徴とし、レキシコン・インポータンス分布を学ぶための連続的なバグオブワードボトルネックを構築することができる。
同規模のデータで事前トレーニングを行うと、我々のLexLIPは、2つのベンチマークIRRデータセットであるMSCOCOとFlickr30kで最先端のパフォーマンスを達成する。
さらに、大規模な検索シナリオでは、LexLIPはCLIPを5.5～221.3倍高速な検索速度と13.2～48.8倍のインデックス記憶メモリで上回っている。 Image-text retrieval (ITR) is a task to retrieve the relevant images/texts, given the query from another modality. The conventional dense retrieval paradigm relies on encoding images and texts into dense representations using dual-stream encoders, however, it faces challenges with low retrieval speed in large-scale retrieval scenarios. In this work, we propose the lexicon-weighting paradigm, where sparse representations in vocabulary space are learned for images and texts to take advantage of the bag-of-words models and efficient inverted indexes, resulting in significantly reduced retrieval latency. A crucial gap arises from the continuous nature of image data, and the requirement for a sparse vocabulary space representation. To bridge this gap, we introduce a novel pre-training framework, Lexicon-Bottlenecked Language-Image Pre-Training (LexLIP), that learns importance-aware lexicon representations. This framework features lexicon-bottlenecked modules between the dual-stream encoders and weakened text decoders, allowing for constructing continuous bag-of-words bottlenecks to learn lexicon-importance distributions. Upon pre-training with same-scale data, our LexLIP achieves state-of-the-art performance on two benchmark ITR datasets, MSCOCO and Flickr30k. Furthermore, in large-scale retrieval scenarios, LexLIP outperforms CLIP with a 5.5 ~ 221.3X faster retrieval speed and 13.2 ~ 48.8X less index storage memory. | 翻訳日:2023-02-07 16:00:49 公開日:2023-02-06 |
| # GAT: Pareto-optimal Auxiliary Tasks を用いた指導的対人訓練 GAT: Guided Adversarial Training with Pareto-optimal Auxiliary Tasks ( http://arxiv.org/abs/2302.02907v1 ) ライセンス: Link先を確認 | Salah Ghamizi, Jingfeng Zhang, Maxime Cordy, Mike Papadakis, Masashi Sugiyama, and Yves Le Traon | (参考訳) 追加のトレーニングデータを活用することは、敵の堅牢性を改善するために十分に確立されているが、データ収集の避けられないコストと、モデルをトレーニングするための重い計算を引き起こす。
このコストを軽減するために,限られた訓練データの下で補助的なタスクを利用する新しい対人訓練手法である \textit{Guided Adversarial Training } (GAT) を提案する。
提案手法は,1タスクモデルからマルチタスクモデルへ拡張し,複数のタスクにまたがる勾配曲率を正規化し,損失最適化を駆動する。
gatは、ラベルを自動的に生成するセルフ教師タスクと、人間の専門家が追加のラベルを提供するドメイン知識タスクの2つの補助タスクを活用する。
実験的に、限られたデータの下では、GATはCIFAR-10のロバスト精度を4倍(11%から42%)、CheXpertの医用画像データセットのロバストAUCを50倍から83倍に向上させる。
CIFAR-10の全データセットでは、GATは8つの最先端の対人訓練戦略を上回っている。
5つのデータセットと6つのタスクにまたがる大規模な研究は、タスク拡張がデータ拡張の効率的な代替であり、クリーンで堅牢なパフォーマンスを達成するための鍵であることを示している。 While leveraging additional training data is well established to improve adversarial robustness, it incurs the unavoidable cost of data collection and the heavy computation to train models. To mitigate the costs, we propose \textit{Guided Adversarial Training } (GAT), a novel adversarial training technique that exploits auxiliary tasks under a limited set of training data. Our approach extends single-task models into multi-task models during the min-max optimization of adversarial training, and drives the loss optimization with a regularization of the gradient curvature across multiple tasks. GAT leverages two types of auxiliary tasks: self-supervised tasks, where the labels are generated automatically, and domain-knowledge tasks, where human experts provide additional labels. Experimentally, under limited data, GAT increases the robust accuracy on CIFAR-10 up to four times (from 11% to 42% robust accuracy) and the robust AUC of CheXpert medical imaging dataset from 50\% to 83\%. On the full CIFAR-10 dataset, GAT outperforms eight state-of-the-art adversarial training strategies. Our large study across five datasets and six tasks demonstrates that task augmentation is an efficient alternative to data augmentation, and can be key to achieving both clean and robust performances. | 翻訳日:2023-02-07 16:00:18 公開日:2023-02-06 |
| # 人間-AIチームのための補完的政策の学習 Learning Complementary Policies for Human-AI Teams ( http://arxiv.org/abs/2302.02944v1 ) ライセンス: Link先を確認 | Ruijiang Gao, Maytal Saar-Tsechansky, Maria De-Arteaga, Ligong Han, Wei Sun, Min Kyung Lee, Matthew Lease | (参考訳) 人間とAIの相補性は、アルゴリズムも人間も、与えられたコンテキストにおけるすべてのインスタンスで支配的なパフォーマンスを得られない場合に重要である。
近年、人間とAIのコラボレーションを探求する研究は、分類タスクに対応する決定を考察している。
しかし、人間がaiの相補性から利益を得る多くの重要な文脈において、人間は行動の方針を取る。
本稿では,人間-AIチームのための学習補完政策(\textsc{lcp-hai})と呼ぶ,有利な行動選択のための新しい人間-AI協調のための枠組みを提案する。
我々のソリューションは、人間とAIの相補性を利用して意思決定報酬を最大化することを目的としており、人間の相補性を活用するための決定を人間またはAIに委ねるルーティングモデルにより、人間の相補性を目指すアルゴリズムポリシーの両方を学ぶ。
そして、機会を活用し、実践上の重要な文脈で発生するリスクを軽減するためのアプローチを拡張します。
1) チームが、相補的な能力を持つ複数の人間で構成されている場合。
2 観測データが一貫した決定的行動を含むときは、
3) 過去のデータと将来の意思決定の共変量分布が異なる場合。
提案手法の有効性を実人の反応と半合成に基づくデータを用いて実証し,提案手法が設定にまたがる信頼性と有利な性能を提供し,アルゴリズムやAIが独自に意思決定を行う場合よりも優れていることを示す。
また,提案する拡張は,異なる困難な状況下での人間とAIのコラボレーション性能の堅牢性の向上にも有効であることがわかった。 Human-AI complementarity is important when neither the algorithm nor the human yields dominant performance across all instances in a given context. Recent work that explored human-AI collaboration has considered decisions that correspond to classification tasks. However, in many important contexts where humans can benefit from AI complementarity, humans undertake course of action. In this paper, we propose a framework for a novel human-AI collaboration for selecting advantageous course of action, which we refer to as Learning Complementary Policy for Human-AI teams (\textsc{lcp-hai}). Our solution aims to exploit the human-AI complementarity to maximize decision rewards by learning both an algorithmic policy that aims to complement humans by a routing model that defers decisions to either a human or the AI to leverage the resulting complementarity. We then extend our approach to leverage opportunities and mitigate risks that arise in important contexts in practice: 1) when a team is composed of multiple humans with differential and potentially complementary abilities, 2) when the observational data includes consistent deterministic actions, and 3) when the covariate distribution of future decisions differ from that in the historical data. We demonstrate the effectiveness of our proposed methods using data on real human responses and semi-synthetic, and find that our methods offer reliable and advantageous performance across setting, and that it is superior to when either the algorithm or the AI make decisions on their own. We also find that the extensions we propose effectively improve the robustness of the human-AI collaboration performance in the presence of different challenging settings. | 翻訳日:2023-02-07 15:54:42 公開日:2023-02-06 |
| # メッセージパッシングニューラルネットワークにおけるオーバーカッシングについて:幅,深さ,トポロジーの影響 On Over-Squashing in Message Passing Neural Networks: The Impact of Width, Depth, and Topology ( http://arxiv.org/abs/2302.02941v1 ) ライセンス: Link先を確認 | Francesco Di Giovanni, Lorenzo Giusti, Federico Barbero, Giulia Luise, Pietro Lio', Michael Bronstein | (参考訳) メッセージパッシングニューラルネットワーク(MPNN)は、グラフを利用してエッジにメッセージを送信するグラフニューラルネットワークのインスタンスである。
この帰納バイアスは、ノードの特徴が遠いノードに含まれる情報に敏感であるオーバー・スカッシングと呼ばれる現象を引き起こす。
この問題を軽減するために最近導入された手法にもかかわらず、過剰スワッシングの原因と可能な解決策の理解が不足している。
この理論的研究において、我々は次のように証明する。
(i)ニューラルネットワークの幅はオーバー・スクワッシングを緩和することができるが、ネットワーク全体をより敏感にするコストがかかる。
(ii)逆に、深さは、過剰なスキャッシングを軽減するのに役立ちません。層数の増加は、過剰スキャッシングが消滅する勾配によって支配されることになります。
(iii)高通勤時(アクセス時)にノード間でオーバースワッシングが発生するため、グラフトポロジーが最大の役割を果たす。
我々の分析は、オーバースカッシングに対処するために導入された様々な手法を研究するための統一されたフレームワークを提供し、'graph rewiring'に該当するメソッドのクラスを正当化する役割を果たします。 Message Passing Neural Networks (MPNNs) are instances of Graph Neural Networks that leverage the graph to send messages over the edges. This inductive bias leads to a phenomenon known as over-squashing, where a node feature is insensitive to information contained at distant nodes. Despite recent methods introduced to mitigate this issue, an understanding of the causes for over-squashing and of possible solutions are lacking. In this theoretical work, we prove that: (i) Neural network width can mitigate over-squashing, but at the cost of making the whole network more sensitive; (ii) Conversely, depth cannot help mitigate over-squashing: increasing the number of layers leads to over-squashing being dominated by vanishing gradients; (iii) The graph topology plays the greatest role, since over-squashing occurs between nodes at high commute (access) time. Our analysis provides a unified framework to study different recent methods introduced to cope with over-squashing and serves as a justification for a class of methods that fall under `graph rewiring'. | 翻訳日:2023-02-07 15:54:18 公開日:2023-02-06 |
| # 視線データをCXR DLアプローチに統合する : 予備的検討 Integrating Eye-Gaze Data into CXR DL Approaches: A Preliminary study ( http://arxiv.org/abs/2302.02940v1 ) ライセンス: Link先を確認 | Andr\'e Lu\'is and Chihcheng Hsieh and Isabel Blanco Nobre and Sandra Costa Sousa and Anderson Maciel and Catarina Moreira and Joaquim Jorge | (参考訳) 本稿では,胸部x線異常検出のための医用画像と視線追跡データを組み合わせたマルチモーダルdlアーキテクチャを提案する。
以上の結果から,視線データをDLアーキテクチャに直接適用しても異常検出胸部X線では優れた予測性能が得られないことがわかった。
これらの結果は文献における他の研究を支援し、人為的なデータ、例えば目視はDLアーキテクチャーに適用される前により徹底的な調査が必要であることを示唆している。 This paper proposes a novel multimodal DL architecture incorporating medical images and eye-tracking data for abnormality detection in chest x-rays. Our results show that applying eye gaze data directly into DL architectures does not show superior predictive performance in abnormality detection chest X-rays. These results support other works in the literature and suggest that human-generated data, such as eye gaze, needs a more thorough investigation before being applied to DL architectures. | 翻訳日:2023-02-07 15:53:59 公開日:2023-02-06 |
| # プライベートgan、再訪 Private GANs, Revisited ( http://arxiv.org/abs/2302.02936v1 ) ライセンス: Link先を確認 | Alex Bie, Gautam Kamath, Guojun Zhang | (参考訳) 以上の結果から, 個人差動型確率勾配降下法 (dpsgd) による識別器の更新は, 訓練の修正後, 有意に改善する可能性が示唆された。
この手法の既存のインスタンス化は、識別器更新のみにノイズを加えることが、GANトレーニングの成功に必要なジェネレータと識別器の注意深くバランスを損なうことを考慮しない。
単純な修正 -- ジェネレータステップ間でより差別的なステップを取る -- がパリティを回復し、結果を改善することを示します。
また,ジェネレータと判別器のパリティを回復することを目的として,識別器のトレーニングを改善するために他の修正を実験し,世代品質のさらなる改善を確認した。
その結果、標準ベンチマークでは、DPSGDは代替のGAN民営化方式よりも優れていた。 We show that the canonical approach for training differentially private GANs -- updating the discriminator with differentially private stochastic gradient descent (DPSGD) -- can yield significantly improved results after modifications to training. Existing instantiations of this approach neglect to consider how adding noise only to discriminator updates disrupts the careful balance between the generator and discriminator necessary for successful GAN training. We show that a simple fix -- taking more discriminator steps between generator steps -- restores parity and improves results. Additionally, with the goal of restoring parity between the generator and discriminator, we experiment with other modifications to improve discriminator training and see further improvements in generation quality. Our results demonstrate that on standard benchmarks, DPSGD outperforms all alternative GAN privatization schemes. | 翻訳日:2023-02-07 15:53:50 公開日:2023-02-06 |
| # 軌道選択のない測定誘起相転移の所定の測定による診断 Diagnosing measurement-induced phase transitions without trajectory post-selection through predetermined measurements ( http://arxiv.org/abs/2302.02934v1 ) ライセンス: Link先を確認 | Gonzalo Mart\'in-V\'azquez, Taneli Tolppanen, Matti Silveri | (参考訳) 最先端の量子デバイスは、エキゾチックで新しい物理学を探求する量子シミュレーションを実行するために利用することができる。
この意味では、多体力学の絡み合い特性における新しい相転移は、ユニタリ進化が測定と交わるときに記述され、普遍的な性質を示す。
これらの測定誘起相転移は、量子回路の精製能力や誤差補正特性における相転移として解釈できる。
測定誘起相転移は、捕捉されたイオンまたは超伝導回路に基づく量子デバイスで実現されているが、各測定の結果を古典的に追跡する軌道選択後の軌道を必要とするため、大量の資源を必要とする。
そこで本研究では, レプリカ法と非エルミート摂動理論の組み合わせを用いて, 繰り返し測定される相互作用トランスモンアレイの統計特性を記述し, 領域法相における関連量の挙動を予測した。
最も重要なことは, 測定を行った後, 局部的に一定の状態にあることを強制する所定の測定値を用いることにより, 測定誘起相転移の診断として, 単一部位で測定されたボゾンの数分布を活用できることである。
このことは, 所定の測定方法が, 選択後の問題を緩和するための適切な実験候補であることを示している。
また,ボソン数の局所的な測定を確率的にインターリーブした魅力的なBose-Hubbardモデルでモデル化したトランスモンアレイは,定常状態における軌道のアンサンブルのエントロピー特性の位相遷移を示すことを示す。 State-of-the-art quantum devices can be exploited to perform quantum simulations that explore exotic and novel physics. In this sense, a new phase transition in the entanglement properties of many-body dynamics has been described when the unitary evolution is interspersed with measurements, thus exhibiting universal properties. These measurement-induced phase transitions can be interpreted as a phase transition in the purification capabilities or error correction properties of quantum circuits, especially relevant in the context of state-of-the-art noisy intermediate-scale quantum devices. Measurement-induced phase transitions have been realized with quantum devices based on trapped ions or superconducting circuits, although they require large amounts of resources, due to the need to post-select trajectories, which consists of keeping track classically of the outcome of each measurement. In this work, we first describe the statistical properties of an interacting transmon array which is repeatedly measured and predict the behavior of relevant quantities in the area-law phase using a combination of the replica method and non-Hermitian perturbation theory. Most importantly, we show that, by using predetermined measurements that force the system to be locally in a certain state after performing a measurement, we can make use of the distribution of the number of bosons measured at a single site as a diagnostic for a measurement-induced phase transition. This indicates that the method of predetermined measurements is a suitable experimental candidate to alleviate post-selection-related issues. We also show numerically that a transmon array, modeled by an attractive Bose-Hubbard model, in which local measurements of the number of bosons are probabilistically interleaved, exhibits a phase transition in the entanglement entropy properties of the ensemble of trajectories in the steady state. | 翻訳日:2023-02-07 15:53:37 公開日:2023-02-06 |
| # 高感度超伝導熱電型単光子検出器 A highly-sensitive broadband superconducting thermoelectric single-photon detector ( http://arxiv.org/abs/2302.02933v1 ) ライセンス: Link先を確認 | Federico Paolucci and Gaia Germanese and Alessandro Braggio and Francesco Giazotto | (参考訳) 本研究では、2つの超伝導体間のトンネル接合に生じる双極性熱電効果に基づく受動単光子検出器を提案する。
我々の熱電検出器(TED)は、単一光子の吸収による有限温度差を開回路熱電圧に変換する。
実現可能なパラメータで設計されたTEDでは、選択した設計や材料に応じて、約15GHzから約150Hzの周波数の単一光子を明らかにすることができます。
特に、この検出器は10mKの温度で操作すると、約15 at {\nu} = 50 GHzの信号対雑音比SNRの値を示すことが期待されている。
興味深いことに、このデバイスは全動作エネルギーに対してほぼ一定の電圧を発生させるため、デジタル単一光子検出器と見なすことができる。
我々のTEDでは、発生した熱電圧の持続時間を測定することにより、入射光子のエネルギーを識別できる可能性として、40年以上の周波数範囲で単一光子の露光を行うことができる。
そのブロードバンド操作は、TEDが量子コンピューティング、電気通信、光エレクトロニクス、THz分光、天体物理学など、いくつかの分野の量子科学および技術に実用的な応用を見出すことができることを示唆している。 We propose a passive single-photon detector based on the bipolar thermoelectric effect occurring in tunnel junctions between two different superconductors thanks to spontaneous electron-hole symmetry breaking. Our thermoelectric detector (TED) converts a finite temperature difference caused by the absorption of a single photon into an open circuit thermovoltage. Designed with feasible parameters, our TED is able to reveal single-photons of frequency ranging from about 15 GHz to about 150 PHz depending on the chosen design and materials. In particular, this detector is expected to show values of signal-to-noise ratio SNR about 15 at {\nu} = 50 GHz when operated at a temperature of 10 mK. Interestingly, this device can be viewed as a digital single-photon detector, since it generates an almost constant voltage VS for the full operation energies. Our TED can reveal single photons in a frequency range wider than 4 decades with the possibility to discern the energy of the incident photon by measuring the time persistence of the generated thermovoltage. Its broadband operation suggests that our TED could find practical applications in several fields of quantum science and technology, such as quantum computing, telecommunications, optoelectronics, THz spectroscopy and astro-particle physics. | 翻訳日:2023-02-07 15:53:08 公開日:2023-02-06 |
| # Bitrate-Constrained DRO: 未知のグループシフトに対する最悪のロバスト性 Bitrate-Constrained DRO: Beyond Worst Case Robustness To Unknown Group Shifts ( http://arxiv.org/abs/2302.02931v1 ) ライセンス: Link先を確認 | Amrith Setlur, Don Dennis, Benjamin Eysenbach, Aditi Raghunathan, Chelsea Finn, Virginia Smith, Sergey Levine | (参考訳) 分散シフトに頑健な機械学習モデルのトレーニングは、現実世界のアプリケーションには不可欠である。
いくつかのロバストなトレーニングアルゴリズム(グループdroなど)は、グループシフトを専門とし、すべてのトレーニングポイントについてグループ情報を必要とする。
グループアノテーションを必要としない他の方法(例えばCVaR DRO)は、実世界の有意義な群と一致しない(例えば、高い損失点がランダムにラベル付けされた訓練点である場合など)ような帰納的な高損失点を形成するため、過度に保守的である。
この研究において、よりニュアンスな群シフトの形式を仮定することで、先行アプローチの制限に対処する:ラベルに条件付けされた真の群函数(群上の指標)は単純であると仮定する。
例えば、ビットレートの低い特徴(画像背景、照明など)に沿ってグループシフトが発生することが期待できる。
そこで本研究では,これらの低ビットレート特徴によって実現された単純な群関数に対して高い精度を維持するモデルを構築することを目的としている。
これに基づいて、敵のキャパシティがビットレートに制約されたDROの2プレイヤーゲーム定式化を検討する。
提案アルゴリズムは,訓練用サンプルの群情報を必要としないが,トレーニング用アノテーションを持つデータセットではグループDRO,長い尾の分布ではCVaR DROと一致している。
理論的解析の結果,BR-DRO は非拘束な CVaR DRO よりも統計的に効率的で保守的でない解が得られることがわかった。 Training machine learning models robust to distribution shifts is critical for real-world applications. Some robust training algorithms (e.g., Group DRO) specialize to group shifts and require group information on all training points. Other methods (e.g., CVaR DRO) that do not need group annotations can be overly conservative, since they naively upweight high loss points which may form a contrived set that does not correspond to any meaningful group in the real world (e.g., when the high loss points are randomly mislabeled training points). In this work, we address limitations in prior approaches by assuming a more nuanced form of group shift: conditioned on the label, we assume that the true group function (indicator over group) is simple. For example, we may expect that group shifts occur along low bitrate features (e.g., image background, lighting). Thus, we aim to learn a model that maintains high accuracy on simple group functions realized by these low bitrate features, that need not spend valuable model capacity achieving high accuracy on contrived groups of examples. Based on this, we consider the two-player game formulation of DRO where the adversary's capacity is bitrate-constrained. Our resulting practical algorithm, Bitrate-Constrained DRO (BR-DRO), does not require group information on training samples yet matches the performance of Group DRO on datasets that have training group annotations and that of CVaR DRO on long-tailed distributions. Our theoretical analysis reveals that in some settings BR-DRO objective can provably yield statistically efficient and less conservative solutions than unconstrained CVaR DRO. | 翻訳日:2023-02-07 15:52:50 公開日:2023-02-06 |
| # 連続運転空間におけるBEVマップ生成 Generating Evidential BEV Maps in Continuous Driving Space ( http://arxiv.org/abs/2302.02928v1 ) ライセンス: Link先を確認 | Yunshuang Yuan, Hao Cheng, Michael Ying Yang and Monika Sester | (参考訳) 安全性は自動運転には不可欠であり、安全性を向上させる1つの側面は、認識システムの不確実性を正確に捉えることである。
知覚シナリオに対する部分的情報のみを提供する確率的対象検出など,決定論的あるいは確率的結果のみを提供するのと異なり,gevbev という完全確率的モデルを提案する。
2次元駆動空間を、点ベースの空間ガウス分布を持つ確率的バードズアイビュー (BEV) マップとして解釈し、そこから連続駆動空間内の任意の新しい標本点のカテゴリー的ディリクレ分布のパラメータとして証拠を引き出すことができる。
実験の結果、gevbevはより信頼性の高い不確実性定量化を提供するだけでなく、協調的知覚のためのbevマップ解釈のベンチマークopv2vの先行研究よりも優れていることが示された。
協調的知覚における重要な要因は、通信チャネルを通じたデータ伝送サイズである。
gevbevは、学習した不確実性から共有する最も重要な情報のみを選択することで、コミュニケーションのオーバーヘッドを削減するのに役立つ。 Safety is critical for autonomous driving, and one aspect of improving safety is to accurately capture the uncertainties of the perception system, especially knowing the unknown. Different from only providing deterministic or probabilistic results, e.g., probabilistic object detection, that only provide partial information for the perception scenario, we propose a complete probabilistic model named GevBEV. It interprets the 2D driving space as a probabilistic Bird's Eye View (BEV) map with point-based spatial Gaussian distributions, from which one can draw evidence as the parameters for the categorical Dirichlet distribution of any new sample point in the continuous driving space. The experimental results show that GevBEV not only provides more reliable uncertainty quantification but also outperforms the previous works on the benchmark OPV2V of BEV map interpretation for cooperative perception. A critical factor in cooperative perception is the data transmission size through the communication channels. GevBEV helps reduce communication overhead by selecting only the most important information to share from the learned uncertainty, reducing the average information communicated by 80% with a slight performance drop. | 翻訳日:2023-02-07 15:52:00 公開日:2023-02-06 |
| # カリキュラムグラフ機械学習:調査 Curriculum Graph Machine Learning: A Survey ( http://arxiv.org/abs/2302.02926v1 ) ライセンス: Link先を確認 | Haoyang Li, Xin Wang, Wenwu Zhu | (参考訳) グラフ機械学習は学術と産業の両方で広く研究されている。
しかしながら、既存のグラフ機械学習モデルの多くは、ランダムな順序でデータサンプルのトレーニングを行うように設計されており、異なるグラフデータサンプルの重要性とモデルの最適化状態のトレーニング順序を無視して、最適でないパフォーマンスを損なう可能性がある。
このような問題に対処するため,グラフ学習とカリキュラム学習の強みを統合したカリキュラムグラフ機械学習(Graph CL)が,研究コミュニティから注目を集めている。
そこで本稿では,グラフclに関するアプローチを包括的に概観し,最近の進歩について詳細な調査を行う。
具体的には、まずGraph CLの重要な課題について論じ、その公式な問題定義を提供する。
そこで我々は,既存の手法をノードレベル,リンクレベル,グラフレベルという3種類のグラフ機械学習タスクに基づいて3つのクラスに分類し,まとめる。
最後に,今後の研究方向性について考察する。
我々の知る限り、この論文はカリキュラムグラフ機械学習における最初の調査である。 Graph machine learning has been extensively studied in both academia and industry. However, in the literature, most existing graph machine learning models are designed to conduct training with data samples in a random order, which may suffer from suboptimal performance due to ignoring the importance of different graph data samples and their training orders for the model optimization status. To tackle this critical problem, curriculum graph machine learning (Graph CL), which integrates the strength of graph machine learning and curriculum learning, arises and attracts an increasing amount of attention from the research community. Therefore, in this paper, we comprehensively overview approaches on Graph CL and present a detailed survey of recent advances in this direction. Specifically, we first discuss the key challenges of Graph CL and provide its formal problem definition. Then, we categorize and summarize existing methods into three classes based on three kinds of graph machine learning tasks, i.e., node-level, link-level, and graph-level tasks. Finally, we share our thoughts on future research directions. To the best of our knowledge, this paper is the first survey for curriculum graph machine learning. | 翻訳日:2023-02-07 15:51:30 公開日:2023-02-06 |
| # ニューラルネットワークにおけるポストホック不確かさ定量化のためのテスト時のドロップアウト注入 Dropout Injection at Test Time for Post Hoc Uncertainty Quantification in Neural Networks ( http://arxiv.org/abs/2302.02924v1 ) ライセンス: Link先を確認 | Emanuele Ledda, Giorgio Fumera, Fabio Roli | (参考訳) ベイズ法において、モンテカルロドロップアウトは、ニューラルネットワークの認識論的不確実性を評価するための原理的なツールを提供する。
その人気は、不確実性を評価するために推論時にのみドロップアウト層を活性化させるというセミナルな研究につながった。
私たちがドロップアウトインジェクションと呼ぶこのアプローチは、これまでドロップアウトなしでトレーニングされていた既存のネットワークに対して、追加の時間を要するトレーニングプロセスを回避することで、ポストホック不確実性の測定を可能にするため、従来のもの(組込みドロップアウトと呼ぶ)に対して明確なメリットを提供します。
残念ながら、インジェクションと組込みドロップアウトの比較は行われていないため、回帰問題に焦点をあてた最初の徹底的な調査を行っている。
本研究の主な貢献は、注入液滴の有効利用に関するガイドラインを提供することで、現在の組込み液滴の実用的代替となるようにすることである。
特に,その効果は,対応する不確実性尺度の適切なスケーリングに強く依存していることを示し,スケール係数の関数として負のログ様相とキャリブレーション誤差とのトレードオフについて論じる。
uciデータセットとクラウドカウントベンチマークの実験結果は、ドロップアウトインジェクションはhoc後の不確実性定量化技術として効果的に振る舞うことができると主張している。 Among Bayesian methods, Monte-Carlo dropout provides principled tools for evaluating the epistemic uncertainty of neural networks. Its popularity recently led to seminal works that proposed activating the dropout layers only during inference for evaluating uncertainty. This approach, which we call dropout injection, provides clear benefits over its traditional counterpart (which we call embedded dropout) since it allows one to obtain a post hoc uncertainty measure for any existing network previously trained without dropout, avoiding an additional, time-consuming training process. Unfortunately, no previous work compared injected and embedded dropout; therefore, we provide the first thorough investigation, focusing on regression problems. The main contribution of our work is to provide guidelines on the effective use of injected dropout so that it can be a practical alternative to the current use of embedded dropout. In particular, we show that its effectiveness strongly relies on a suitable scaling of the corresponding uncertainty measure, and we discuss the trade-off between negative log-likelihood and calibration error as a function of the scale factor. Experimental results on UCI data sets and crowd counting benchmarks support our claim that dropout injection can effectively behave as a competitive post hoc uncertainty quantification technique. | 翻訳日:2023-02-07 15:51:14 公開日:2023-02-06 |
| # 量子回路と量子ビットを閉じ込めたイオン量子ドットに埋め込む Compiling quantum circuits with qubits embedded in trapped-ion quidts ( http://arxiv.org/abs/2302.02966v1 ) ライセンス: Link先を確認 | Anastasiia S. Nikolaeva, Evgeniy O. Kiktenko, Aleksey K. Fedorov | (参考訳) Quditベースの量子コンピューティングの最近の発展は、物理情報キャリアの数を増やすことなく量子プロセッサをスケールする興味深い可能性を開く。
このドメインの主要なプラットフォームのひとつが閉じ込められたイオンに基づいており、最大6レベルまでのシステムの効率的な制御が実証されている。
本研究では,量子回路をコンパイルする手法を提案し,量子ビットを様々な次元の量子ビットに埋め込む(d$)。
ひとつは、より高いキュディットレベルをアンシラとして使用することに基づくアプローチで、もう1つはqutrits(d=3$)に使用することができ、もう1つはqubits(d=4$)をquarts(d=4$)に埋め込む方法である。
特に,Molmer-Sorensen (MS) ゲートを基本量子演算として,様々な次元の四重項を用いた一般化トフォリゲートの分解法を開発した。
提案手法はMSゲートを用いており,この結果がトラップイオンベースのquditプロセッサに直接適用可能であることを期待している。 Recent developments in qudit-based quantum computing open interesting possibilities for scaling quantum processors without increasing the number of physical information carriers. One of the leading platforms in this domain is based on trapped ions, where efficient control of systems up to six levels has been demonstrated. In this work, we propose a method for compiling quantum circuits in the case, where qubits are embedded into qudits of various dimensionalities ($d$). Two approaches, the first, based on using higher qudit levels as ancillas, which can be used already for qutrits ($d=3$), and, the second, embedding qubits into ququarts ($d=4$) are considered. In particular, we develop a decomposition scheme of the generalized Toffoli gate using qudits of various dimensionalities, where the Molmer-Sorensen (MS) gate is used as a basic quantum operation. As our approach uses the MS gate, we expect that our findings are directly applicable to trapped-ion-based qudit processors. | 翻訳日:2023-02-07 15:44:32 公開日:2023-02-06 |
| # 単一量子変分回路の古典的アンサンブルによる分類 Classical Ensembles of Single-Qubit Quantum Variational Circuits for Classification ( http://arxiv.org/abs/2302.02964v1 ) ライセンス: Link先を確認 | Shane McFarthing, Anban Pillay, Ilya Sinayskiy and Francesco Petruccione | (参考訳) 量子漸近的普遍多機能アーキテクチャ(QAUM)が最近導入され、パルサー星の分類における表現性と性能が向上した。
この回路は、パラメータ化シングルキュービット回転ゲートと単一キュービット特徴符号化ゲートの一般的なトレーニング可能な層を用いる。
分類精度の改善は期待できるが、このアーキテクチャの単一キュービットの性質は、精度に必要とされる回路深度と相まって、そのコヒーレンス時間が少ないため、NISQデバイスへの適用を制限する。
本研究は,古典的なバギングとブースティング技術を用いた単一量子QAUM分類器の設計,実装,評価について報告する。
パルサー星分類における検証精度の向上を示す。
MNIST Digitsとウィスコンシン癌データセットの一貫性のある改善を観察するため、この改善は問題固有のものではない。
また, ブースティングアンサンブルは少量のトレーニングで許容できるレベルの精度を達成し, バッグングアンサンブルは十分なトレーニング時間とともに, 全体として高い精度を達成していることを観察した。
これは、単一量子ビット回路の古典的アンサンブルが、ある分類問題に対する新しいアプローチを示していることを示している。 The quantum asymptotically universal multi-feature (QAUM) encoding architecture was recently introduced and showed improved expressivity and performance in classifying pulsar stars. The circuit uses generalized trainable layers of parameterized single-qubit rotation gates and single-qubit feature encoding gates. Although the improvement in classification accuracy is promising, the single-qubit nature of this architecture, combined with the circuit depth required for accuracy, limits its applications on NISQ devices due to their low coherence times. This work reports on the design, implementation, and evaluation of ensembles of single-qubit QAUM classifiers using classical bagging and boosting techniques. We demonstrate an improvement in validation accuracy for pulsar star classification. We find that this improvement is not problem-specific as we observe consistent improvements for the MNIST Digits and Wisconsin Cancer datasets. We also observe that the boosting ensemble achieves an acceptable level of accuracy with only a small amount of training, while the bagging ensemble achieves higher overall accuracy with ample training time. This shows that classical ensembles of single-qubit circuits present a new approach for certain classification problems. | 翻訳日:2023-02-07 15:44:13 公開日:2023-02-06 |
| # LoFT:論理形式制御による表-テキスト生成における忠実度と多様性の向上 LoFT: Enhancing Faithfulness and Diversity for Table-to-Text Generation via Logic Form Control ( http://arxiv.org/abs/2302.02962v1 ) ライセンス: Link先を確認 | Yilun Zhao, Zhenting Qi, Linyong Nan, Lorenzo Jaime Yu Flores, Dragomir Radev | (参考訳) Logical Table-to-Text (LT2T) 生成は、テーブルから論理的に忠実な文を生成する。
現在、この分野には2つの課題がある。
1) 忠実性: 表の内容から事実的に正しい文を生成する方法
2)多様性:テーブル上の異なる視点を提供する複数の文を生成する方法。
本研究は,論理形式をファクト検証やコンテンツプランナとして利用してLT2T生成を制御するLoFTを提案する。
LogicNLGデータセットの実験結果は、LoFTが不信と多様性の欠如に同時に対処する最初のモデルであることを示している。
私たちのコードはhttps://github.com/Yale-LILY/LoFT.comで公開されています。 Logical Table-to-Text (LT2T) generation is tasked with generating logically faithful sentences from tables. There currently exists two challenges in the field: 1) Faithfulness: how to generate sentences that are factually correct given the table content; 2) Diversity: how to generate multiple sentences that offer different perspectives on the table. This work proposes LoFT, which utilizes logic forms as fact verifiers and content planners to control LT2T generation. Experimental results on the LogicNLG dataset demonstrate that LoFT is the first model that addresses unfaithfulness and lack of diversity issues simultaneously. Our code is publicly available at https://github.com/Yale-LILY/LoFT. | 翻訳日:2023-02-07 15:43:53 公開日:2023-02-06 |
| # Bloch Sphere Binary Trees:マルチキュービット系純状態集合の可視化方法 Bloch Sphere Binary Trees: A method for the visualization of sets of multi-qubit systems pure states ( http://arxiv.org/abs/2302.02957v1 ) ライセンス: Link先を確認 | Alice Barthe, Michele Grossi, Jordi Tura, Vedran Dunjko | (参考訳) マルチキュービット量子システムの進化を理解すること、あるいはヒルベルト空間のどの部分が量子データセットによって占有されているかを解明することは、量子ビットの数によってますます困難になる。
この文脈では、単一画像上の多ビット純量子状態の集合の可視化が有用である。
しかし、このタイプの視覚化への現在のアプローチでは、例えば対称性や絡み合いに関する追加の制限がある場合、単一のキュービット(マルチキュービット系を許さない)の集合や、単に単一のマルチキュービット系(状態の集合を気にするのには適さない)の表現しかできない。
[1{3].
本研究では,Bloch Spheres のバイナリツリー (binary Tree of Bloch Spheres) と呼ばれる,任意の多ビット純状態の集合を一意に表現できる写像を提案する。
この技術のバックボーンは、シュミット分解とブロッホ球面表現の組み合わせである。
量子状態の時間的進化を理解する文脈において、例えば、システムの周期性や絡み合う性質の即時的な洞察を与えるのにどのように使用できるかを説明する。
また,計算基底状態表現からブロッホ球面表現の2進木へ変換する再帰的アルゴリズムを提案する。
このアルゴリズムはpythonのビジュアライゼーションライブラリと一緒に実装され、オープンソースとしてリリースされた。 Understanding the evolution of a multi-qubit quantum system, or elucidating what portion of the Hilbert space is occupied by a quantum dataset becomes increasingly hard with the number of qubits. In this context, the visualisation of sets of multi-qubit pure quantum states on a single image can be helpful. However, the current approaches to visualization of this type only allow the representation of a set of single qubits (not allowing multi-qubit systems) or a just a single multi-qubit system (not suitable if we care about sets of states), sometimes with additional restrictions, on symmetry or entanglement for example. [1{3]. In this work we present a mapping that can uniquely represent a set of arbitrary multi-qubit pure states on what we call a Binary Tree of Bloch Spheres. The backbone of this technique is the combination of the Schmidt decomposition and the Bloch sphere representation. We illustrate how this can be used in the context of understanding the time evolution of quantum states, e.g. providing immediate insights into the periodicity of the system and even entanglement properties. We also provide a recursive algorithm which translates from the computational basis state representation to the binary tree of Bloch spheres representation. The algorithm was implemented together with a visualization library in Python released as open source. | 翻訳日:2023-02-07 15:43:44 公開日:2023-02-06 |
| # 単一量子ビットマルコフ開量子システムのディジタルシミュレーション:チュートリアル Digital Simulation of Single Qubit Markovian Open Quantum Systems: A Tutorial ( http://arxiv.org/abs/2302.02953v1 ) ライセンス: Link先を確認 | I J David, I Sinayskiy and F Petruccione | (参考訳) 量子コンピュータの使用に関する最初の提案の一つは、量子システムのシミュレーションであった。
過去30年にわたり、閉じた量子系とより複雑な開量子系をシミュレートするアルゴリズムの開発において大きな進歩を遂げてきた。
本稿では,単一量子ビットマルコフ開量子システムのシミュレーションで用いられる手法を紹介する。
これは、様々な既存の表記法を、より複雑なオープンシステムシミュレーション問題に拡張できる共通のフレームワークに結合する。
単一量子ビットオープン量子系のディジタルシミュレーションで現在利用可能な唯一のアルゴリズムについて詳述する。
単純なチャネルの実装を改良し、古典的なランダムサンプリングの必要性をなくし、修正アルゴリズムを厳密な量子アルゴリズムとした。
修正されたアルゴリズムは、全チャネルを近似する単純なチャネルを実装するために量子フォークを使用する。
これは多数のc-notゲートを持つ量子回路の必要性を回避している。 One of the first proposals for the use of quantum computers was the simulation of quantum systems. Over the past three decades, great strides have been made in the development of algorithms for simulating closed quantum systems and the more complex open quantum systems. In this tutorial, we introduce the methods used in the simulation of single qubit Markovian open quantum systems. It combines various existing notations into a common framework that can be extended to more complex open system simulation problems. The only currently available algorithm for the digital simulation of single qubit open quantum systems is discussed in detail. A modification to the implementation of the simpler channels is made that removes the need for classical random sampling, thus making the modified algorithm a strictly quantum algorithm. The modified algorithm makes use of quantum forking to implement the simpler channels that approximate the total channel. This circumvents the need for quantum circuits with a large number of C-NOT gates. | 翻訳日:2023-02-07 15:43:22 公開日:2023-02-06 |
| # fMRI時系列の精度行列のノイズクリーニング Noise-cleaning the precision matrix of fMRI time series ( http://arxiv.org/abs/2302.02951v1 ) ライセンス: Link先を確認 | Miguel Ib\'a\~nez-Berganza, Carlo Lucibello, Francesca Santucci, Tommaso Gili, Andrea Gabrielli | (参考訳) 機能的磁気共鳴イメージング(fMRI)により得られたヒト脳活動時系列の典型的な長さと寸法の、実ベクトルの小さなデータセットにおける共分散と精度行列の推論アルゴリズムの比較を行った。
神経活動の基盤となるガウスモデルを考えると、問題は、真の精度と共分散行列をより良く推定するために経験的に観測された行列を推論することである。
いくつかの標準ノイズクリーニングアルゴリズムを考察し、2種類のデータセットと比較する。
最初のタイプは、人間の安静時のfMRI脳活動の時系列である。
第2のタイプは生成ガウスモデルからサンプリングされた合成時系列であり、サンプル q = n/t 当たりの次元の分数とオフ対角相関の強さは変化する。
各アルゴリズムの信頼性は、テストセットの確率と、合成データの場合、真の精度行列からの距離によって評価される。
我々は、ランダム行列理論に基づくいわゆる最適回転不変推定器が、合成データにおける真の精度行列からかなり低い距離を導き、自然なfMRIデータにおいて高いテスト可能性をもたらすことを観察した。
パラメータの1つをクロスバリデーションにより最適化する最適回転不変量推定器の変種を提案する。
fMRIシリーズの典型的な重度アンダーサンプリングレジーム(大きなq)では、他のすべての推定器よりも優れる。
さらに, 逐次性勾配上昇に基づく簡単なアルゴリズムを提案し, 相関の弱いデータセットの正確な推定を行う。 We present a comparison between various algorithms of inference of covariance and precision matrices in small datasets of real vectors, of the typical length and dimension of human brain activity time series retrieved by functional Magnetic Resonance Imaging (fMRI). Assuming a Gaussian model underlying the neural activity, the problem consists in denoising the empirically observed matrices in order to obtain a better estimator of the true precision and covariance matrices. We consider several standard noise-cleaning algorithms and compare them on two types of datasets. The first type are time series of fMRI brain activity of human subjects at rest. The second type are synthetic time series sampled from a generative Gaussian model of which we can vary the fraction of dimensions per sample q = N/T and the strength of off-diagonal correlations. The reliability of each algorithm is assessed in terms of test-set likelihood and, in the case of synthetic data, of the distance from the true precision matrix. We observe that the so called Optimal Rotationally Invariant Estimator, based on Random Matrix Theory, leads to a significantly lower distance from the true precision matrix in synthetic data, and higher test likelihood in natural fMRI data. We propose a variant of the Optimal Rotationally Invariant Estimator in which one of its parameters is optimised by cross-validation. In the severe undersampling regime (large q) typical of fMRI series, it outperforms all the other estimators. We furthermore propose a simple algorithm based on an iterative likelihood gradient ascent, providing an accurate estimation for weakly correlated datasets. | 翻訳日:2023-02-07 15:43:10 公開日:2023-02-06 |
| # フェデレーション学習のためのディープラーニングモデルの適応パラメータ化 Adaptive Parameterization of Deep Learning Models for Federated Learning ( http://arxiv.org/abs/2302.02949v1 ) ライセンス: Link先を確認 | Morten From Elvebakken, Alexandros Iosifidis, Lukas Esterle | (参考訳) Federated Learningは、分散形式でディープニューラルネットワークをトレーニングする方法を提供する。
これは分散データに関する制限に対処するが、トレーニング中にモデルパラメータや勾配を定期的に交換する必要があるため、通信オーバーヘッドが発生する。
これは、学習要求の大規模分布の問題であり、各リソース分布の利点を否定することができる。
本稿では,並列アダプタを用いたフェデレーション学習を提案する。
さまざまなデータセットを使用することで、さまざまなフェデレーション学習技術でアダプタを適用できることを実証する。
提案手法は,通信オーバヘッドを大幅に削減しつつ,フルモデルのトレーニングに比べ,同様の推論性能を実現することができる。
さらに、クロスサイロおよびクロスデバイス設定におけるAdapterの適用性、および異なる非IIDデータ分散について検討する。 Federated Learning offers a way to train deep neural networks in a distributed fashion. While this addresses limitations related to distributed data, it incurs a communication overhead as the model parameters or gradients need to be exchanged regularly during training. This can be an issue with large scale distribution of learning asks and negate the benefit of the respective resource distribution. In this paper, we we propose to utilise parallel Adapters for Federated Learning. Using various datasets, we show that Adapters can be applied with different Federated Learning techniques. We highlight that our approach can achieve similar inference performance compared to training the full model while reducing the communication overhead drastically. We further explore the applicability of Adapters in cross-silo and cross-device settings, as well as different non-IID data distributions. | 翻訳日:2023-02-07 15:42:44 公開日:2023-02-06 |
| # オフラインデータを用いたオンライン強化学習の効率化 Efficient Online Reinforcement Learning with Offline Data ( http://arxiv.org/abs/2302.02948v1 ) ライセンス: Link先を確認 | Philip J. Ball, Laura Smith, Ilya Kostrikov, Sergey Levine | (参考訳) サンプル効率と探索は、オンライン強化学習(RL)の主要な課題である。
これらの問題に対処できる強力なアプローチは、人間の専門家による事前の軌跡や準最適探査ポリシーのようなオフラインデータを含めることである。
従来の手法は、このデータの有効利用を保証するために、広範囲な修正と追加の複雑さに依存してきた。
オンライン学習時にオフラインデータを活用するために、既存のオフポリシーメソッドを単に適用できるのでしょうか?
本稿では,既存のオフポリシーrlアルゴリズムに対する最小だが重要な変更点のセットが,信頼性の高い性能を実現するために必要であることを示す。
私たちは、これらの設計選択を広範囲に否定し、パフォーマンスに最も影響を及ぼす重要な要素を実証し、そのデータが少数の専門家によるデモンストレーションか、あるいは大量の最適サブトラジェクタであるかに関わらず、実践者が容易に適用できる一連の推奨事項に到達します。
これらの単純な推奨の正しい適用は、計算オーバーヘッドを増すことなく、さまざまな競合ベンチマークで既存のアプローチに対して$\mathbf{2.5\times}$の改善を提供することができる。 Sample efficiency and exploration remain major challenges in online reinforcement learning (RL). A powerful approach that can be applied to address these issues is the inclusion of offline data, such as prior trajectories from a human expert or a sub-optimal exploration policy. Previous methods have relied on extensive modifications and additional complexity to ensure the effective use of this data. Instead, we ask: can we simply apply existing off-policy methods to leverage offline data when learning online? In this work, we demonstrate that the answer is yes; however, a set of minimal but important changes to existing off-policy RL algorithms are required to achieve reliable performance. We extensively ablate these design choices, demonstrating the key factors that most affect performance, and arrive at a set of recommendations that practitioners can readily apply, whether their data comprise a small number of expert demonstrations or large volumes of sub-optimal trajectories. We see that correct application of these simple recommendations can provide a $\mathbf{2.5\times}$ improvement over existing approaches across a diverse set of competitive benchmarks, with no additional computational overhead. | 翻訳日:2023-02-07 15:42:33 公開日:2023-02-06 |
| # GPS++:分子特性予測のためのメッセージパッシングの復活 GPS++: Reviving the Art of Message Passing for Molecular Property Prediction ( http://arxiv.org/abs/2302.02947v1 ) ライセンス: Link先を確認 | Dominic Masters, Josef Dean, Kerstin Klaser, Zhiyi Li, Sam Maddrell-Mander, Adam Sanders, Hatem Helal, Deniz Beker, Andrew Fitzgibbon, Shenyang Huang, Ladislav Ramp\'a\v{s}ek, Dominique Beaini | (参考訳) 分子特性予測のためのハイブリッドメッセージパッシングニューラルネットワーク/グラフトランスモデルであるGPS++を提案する。
本モデルでは,よく調整された局所的メッセージパッシング成分と,先行文献から得られた他の重要な概念を偏り,大規模分子データセットpcqm4mv2で最新の結果を得る。
徹底的なアブレーション研究を通じて、個々のコンポーネントが与える影響を強調し、最近のトレンドの期待に反して、モデルのパフォーマンスのほぼすべては、グローバルな自己認識を使わずに維持可能であることを見出します。
また, 3次元位置情報が得られない場合, 先行技術よりも精度が高いことを示す。 We present GPS++, a hybrid Message Passing Neural Network / Graph Transformer model for molecular property prediction. Our model integrates a well-tuned local message passing component and biased global attention with other key ideas from prior literature to achieve state-of-the-art results on large-scale molecular dataset PCQM4Mv2. Through a thorough ablation study we highlight the impact of individual components and, contrary to expectations set by recent trends, find that nearly all of the model's performance can be maintained without any use of global self-attention. We also show that our approach is significantly more accurate than prior art when 3D positional information is not available. | 翻訳日:2023-02-07 15:42:14 公開日:2023-02-06 |
| # Immersive Virtual Colonoscopy Viewerによる大腸癌診断 Immersive Virtual Colonoscopy Viewer for Colorectal Diagnosis ( http://arxiv.org/abs/2302.02946v1 ) ライセンス: Link先を確認 | Jo\~ao Serras and Anderson Maciel and Soraia Paulo and Andrew Duchowski and Regis Kopper and Catarina Moreira and Joaquim Jorge | (参考訳) デスクトップベースの仮想大腸内視鏡は大腸異常の同定に有用であることが証明されている。
プロセスは正確ですが、時間がかかります。
仮想大腸内視鏡における没入型インターフェースの使用は、初期的かつまだ理解されていない。
そこで本研究では,vrパラダイムの要素を探索し,没入分析をより効率的に行うための新しいデザインを提案する。
また,専門家による実験の実施を計画し,カバレッジ,持続時間,診断精度の多要素的影響を評価する。 Desktop-based virtual colonoscopy has been proven to be an asset in the identification of colon anomalies. The process is accurate, although time-consuming. The use of immersive interfaces for virtual colonoscopy is incipient and not yet understood. In this work, we present a new design exploring elements of the VR paradigm to make the immersive analysis more efficient while still effective. We also plan the conduction of experiments with experts to assess the multi-factor influences of coverage, duration, and diagnostic accuracy. | 翻訳日:2023-02-07 15:42:05 公開日:2023-02-06 |
| # ストロンチウム磁気光学トラップの損失からの原子遮蔽による原子数増大 Atom-number enhancement by shielding atoms from losses in strontium magneto-optical traps ( http://arxiv.org/abs/2302.02992v1 ) ライセンス: Link先を確認 | Jonatan H\"oschele, Sandra Buob, Antonio Rubio-Abadal, Vasiliy Makhalov, Leticia Tarruell | (参考訳) 我々は,461nm遷移で動作するストロンチウム原子の磁気光学トラップにおける原子数を高める手法を提案する。
このスキームは、689 nmで^1$s$_0\to^3$p$_1$相互結合線を共振駆動し、短命な貯水池状態が連続的に蓄積され、理論的モデルから予測されたように、原子雲が461 nmの冷却サイクルで発生する損失から部分的に保護される。
ボーソニック同位体である$^{88}$Sr と $^{84}$Sr とフェルミオン同位体 $^{87}$Sr の原子番号の2つの拡張係数を、我々のモデルとよく一致した形で示す。
使用した689nm遷移は、冷却に一般的に使用されるため、装置の複雑さを増大させることなく、ほとんどのストロンチウム実験に適用することができる。
したがって、この方法は、低温ストロンチウム原子を利用する幅広い量子科学および技術応用に有用であり、他の原子種にも拡張することができる。 We present a scheme to enhance the atom number in magneto-optical traps of strontium atoms operating on the 461 nm transition. This scheme consists of resonantly driving the $^1$S$_0\to^3$P$_1$ intercombination line at 689 nm, which continuously populates a short-lived reservoir state and, as expected from a theoretical model, partially shields the atomic cloud from losses arising in the 461 nm cooling cycle. We show a factor of two enhancement in the atom number for the bosonic isotopes $^{88}$Sr and $^{84}$Sr, and the fermionic isotope $^{87}$Sr, in good agreement with our model. Our scheme can be applied in the majority of strontium experiments without increasing the experimental complexity of the apparatus, since the employed 689 nm transition is commonly used for further cooling. Our method should thus be beneficial to a broad range of quantum science and technology applications exploiting cold strontium atoms, and could be extended to other atomic species. | 翻訳日:2023-02-07 15:36:06 公開日:2023-02-06 |
| # 低品質網膜画像改善のための最適トランスポート誘導型教師なし学習 Optimal Transport Guided Unsupervised Learning for Enhancing low-quality Retinal Images ( http://arxiv.org/abs/2302.02991v1 ) ライセンス: Link先を確認 | Wenhui Zhu, Peijie Qiu, Mohammad Farazi, Keshav Nandakumar, Oana M. Dumitrascu, Yalin Wang | (参考訳) 現実の非ミリ波網膜基底写真は、特定の眼や全身の共生が存在する場合、人工物、不完全化、低品質化がちである。
アーティファクトは、臨床診断における不正確さや曖昧さをもたらす可能性がある。
本稿では、低品質網膜基底画像の高精細化のための、シンプルで効果的なエンドツーエンドフレームワークを提案する。
最適輸送理論を応用して,低画質画像を高品質な画像に転送するための画像間変換方式を提案する。
我々は,ジェネレータと識別器を併用したGANモデルの有効性を理論的に検証した。
さらに,低画質画像間の情報の整合性を軽減するため,ソースと拡張ドメイン間の構造整合性(光ディスク,血管,病変)を最大に維持する情報整合性機構が提案された。
提案手法の優位性を知覚的,定量的に示すため,EyeQデータセットを用いて実験を行った。 Real-world non-mydriatic retinal fundus photography is prone to artifacts, imperfections and low-quality when certain ocular or systemic co-morbidities exist. Artifacts may result in inaccuracy or ambiguity in clinical diagnoses. In this paper, we proposed a simple but effective end-to-end framework for enhancing poor-quality retinal fundus images. Leveraging the optimal transport theory, we proposed an unpaired image-to-image translation scheme for transporting low-quality images to their high-quality counterparts. We theoretically proved that a Generative Adversarial Networks (GAN) model with a generator and discriminator is sufficient for this task. Furthermore, to mitigate the inconsistency of information between the low-quality images and their enhancements, an information consistency mechanism was proposed to maximally maintain structural consistency (optical discs, blood vessels, lesions) between the source and enhanced domains. Extensive experiments were conducted on the EyeQ dataset to demonstrate the superiority of our proposed method perceptually and quantitatively. | 翻訳日:2023-02-07 15:35:42 公開日:2023-02-06 |
| # 簡易レジスト最小化のための漸近的に最小限の固定ベストアーム同定 Asymptotically Minimax Optimal Fixed-Budget Best Arm Identification for Expected Simple Regret Minimization ( http://arxiv.org/abs/2302.02988v1 ) ライセンス: Link先を確認 | Masahiro Kato, Masaaki Imaizumi, Takuya Ishihara, Toru Kitagawa | (参考訳) 単純後悔最小化のための固定予算ベストアーム識別(BAI)について検討した。
適応実験の各ラウンドにおいて、意思決定者は過去の観察に基づいて複数の治療アームの1つを描画し、選択した腕の結果を観察する。
実験の後、意思決定者は最も予測された結果の大きい治療アームを推奨する。
我々は,この決定を,最善腕と推奨腕の期待結果との違いとして,期待された単純後悔の観点から評価した。
また,本質的不確実性から,ミニマックス基準を用いて後悔を評価する。
ガウス分布のような固定分散(位置シフトモデル)を持つ分布に対しては、予想される最悪の場合の単純な後悔に対して漸近下界を導出する。
そして,加藤ら(2022年)が提唱したランダムサンプリング(RS)-拡張逆確率重み付け(AIPW)戦略が,最悪の予測された単純な後悔の要因が,得られた最悪の下限と漸近的に一致するという意味で,漸近的に最小限であることを示す。
その結果, 位置シフトモデルでは, 最適なRS-AIPW戦略は, 異なる確率で治療アームを描画することを示した。
この結果は Bubeck et al. (2011) の結果と対照的であり、これは各処理アームを等比で描画することが有界な結果設定において極小であることを示している。 We investigate fixed-budget best arm identification (BAI) for expected simple regret minimization. In each round of an adaptive experiment, a decision maker draws one of multiple treatment arms based on past observations and subsequently observes the outcomes of the chosen arm. After the experiment, the decision maker recommends a treatment arm with the highest projected outcome. We evaluate this decision in terms of the expected simple regret, a difference between the expected outcomes of the best and recommended treatment arms. Due to the inherent uncertainty, we evaluate the regret using the minimax criterion. For distributions with fixed variances (location-shift models), such as Gaussian distributions, we derive asymptotic lower bounds for the worst-case expected simple regret. Then, we show that the Random Sampling (RS)-Augmented Inverse Probability Weighting (AIPW) strategy proposed by Kato et al. (2022) is asymptotically minimax optimal in the sense that the leading factor of its worst-case expected simple regret asymptotically matches our derived worst-case lower bound. Our result indicates that, for location-shift models, the optimal RS-AIPW strategy draws treatment arms with varying probabilities based on their variances. This result contrasts with the results of Bubeck et al. (2011), which shows that drawing each treatment arm with an equal ratio is minimax optimal in a bounded outcome setting. | 翻訳日:2023-02-07 15:35:24 公開日:2023-02-06 |
| # 構成一般化のためのロバストサブタスク学習 Robust Subtask Learning for Compositional Generalization ( http://arxiv.org/abs/2302.02984v1 ) ライセンス: Link先を確認 | Kishor Jothimurugan, Steve Hsu, Osbert Bastani and Rajeev Alur | (参考訳) 構成強化学習は、複雑なロングホリゾンタスクを実行するためのトレーニングポリシーに有望なアプローチである。
通常、ハイレベルなタスクはサブタスクのシーケンスに分解され、個別のポリシーが各サブタスクを実行するために訓練される。
本稿では,任意のタスクの実行に使用できるように,サブタスクポリシをトレーニングする問題に焦点を当てる。
私たちは、平均的なケースパフォーマンスとは対照的に、すべてのタスクで最悪のパフォーマンスを最大化することを目指している。
敵がサブタスクの列を選択する2つのエージェントゼロサムゲームとして問題を定式化する。
本稿では,この問題を解決するための2つのRLアルゴリズムを提案する。1つは既存のマルチエージェントRLアルゴリズムを我々の設定に適応させ,もう1つはサブタスクポリシーの並列トレーニングを可能にする非同期バージョンである。
我々は,連続状態と動作を持つ2つのマルチタスク環境における我々のアプローチを評価し,アルゴリズムが最先端のベースラインを上回ることを実証する。 Compositional reinforcement learning is a promising approach for training policies to perform complex long-horizon tasks. Typically, a high-level task is decomposed into a sequence of subtasks and a separate policy is trained to perform each subtask. In this paper, we focus on the problem of training subtask policies in a way that they can be used to perform any task; here, a task is given by a sequence of subtasks. We aim to maximize the worst-case performance over all tasks as opposed to the average-case performance. We formulate the problem as a two agent zero-sum game in which the adversary picks the sequence of subtasks. We propose two RL algorithms to solve this game: one is an adaptation of existing multi-agent RL algorithms to our setting and the other is an asynchronous version which enables parallel training of subtask policies. We evaluate our approach on two multi-task environments with continuous states and actions and demonstrate that our algorithms outperform state-of-the-art baselines. | 翻訳日:2023-02-07 15:34:57 公開日:2023-02-06 |
| # 量子特徴マップ設計のためのハイブリッド遺伝的最適化 Hybrid Genetic Optimisation for Quantum Feature Map Design ( http://arxiv.org/abs/2302.02980v1 ) ライセンス: Link先を確認 | Rowan Pellow-Jarman, Anban Pillay, Ilya Sinayskiy and Francesco Petruccione | (参考訳) カーネルメソッドは、機械学習における重要な技術クラスである。
有効にするためには、優れた特徴写像は、非線形分離可能な入力データを高次元(機能)空間にマッピングするために不可欠である。
従来の研究によると、量子特徴写像の設計は遺伝アルゴリズムNSGA-IIを用いて、回路サイズを最小化し、分類精度を最大化する。
しかしながら、候補特徴マップによって達成される精度の評価はコストがかかる。
本研究では,遺伝的アルゴリズムに基づく量子特徴マップ設計における精度の代替として,カーネル・ターゲットアライメントの適合性を示す。
カーネル-ターゲットアライメントは精度よりも高速に評価でき、その評価のために予約されるデータポイントは必要ない。
遺伝子適合性の評価をさらに加速するため,カーネル・ターゲットアライメントを近似する手法を提案する。
カーネル-ターゲットアライメントとルート平均二乗誤差を改善するために、COBYLAを用いて生成回路の最終的なトレーニング可能なパラメータを更に訓練し、従来の回路パラメータトレーニングを適用したハイブリッドアプローチが遺伝的構造最適化アプローチを簡単に補完できるかどうかを判断する。
合計8つの新しいアプローチが、UCI機械学習レポジトリの9つの異なるバイナリ分類問題に比較され、カーネルとターゲットのアライメントとその近似が、以前の処理に匹敵する精度を実現する機能マップ回路を生成するが、回路パラメータのトレーニングによりさらに改善するトレーニングデータ(20倍以上)のマージンが大きいことが示されている。 Kernel methods are an important class of techniques in machine learning. To be effective, good feature maps are crucial for mapping non-linearly separable input data into a higher dimensional (feature) space, thus allowing the data to be linearly separable in feature space. Previous work has shown that quantum feature map design can be automated for a given dataset using NSGA-II, a genetic algorithm, while both minimizing circuit size and maximizing classification accuracy. However, the evaluation of the accuracy achieved by a candidate feature map is costly. In this work, we demonstrate the suitability of kernel-target alignment as a substitute for accuracy in genetic algorithm-based quantum feature map design. Kernel-target alignment is faster to evaluate than accuracy and doesn't require some data points to be reserved for its evaluation. To further accelerate the evaluation of genetic fitness, we provide a method to approximate kernel-target alignment. To improve kernel-target alignment and root mean squared error, the final trainable parameters of the generated circuits are further trained using COBYLA to determine whether a hybrid approach applying conventional circuit parameter training can easily complement the genetic structure optimization approach. A total of eight new approaches are compared to the original across nine varied binary classification problems from the UCI machine learning repository, showing that kernel-target alignment and its approximation produce feature map circuits enabling comparable accuracy to the previous work but with larger margins on training data (in excess of 20\% larger) that improve further with circuit parameter training. | 翻訳日:2023-02-07 15:34:42 公開日:2023-02-06 |
| # Dirichlet VAEを用いた説明可能な胸部X線分類のための不整合表現の学習 Learning disentangled representations for explainable chest X-ray classification using Dirichlet VAEs ( http://arxiv.org/abs/2302.02979v1 ) ライセンス: Link先を確認 | Rachael Harkness, Alejandro F Frangi, Kieran Zucker, Nishant Ravikumar | (参考訳) 本研究では,胸部X線像の非絡み合った潜在表現の学習にDirVAE(Dirichlet Variational Autoencoder)を用いることを検討した。
我々の作業仮説は、ディリクレの先行する分布空間が、CXR画像のマルチラベル分類の複雑なタスクに対して、不整合特徴学習を促進するというものである。
dirvaeは、chexpertデータベースからのcxr画像を用いて訓練され、dirvaeモデルによって学習されたマルチモーダル潜在表現の予測能力は、クラス固有の特徴に応じて潜在因子の分離を強制するために補助的マルチラベル分類タスクを実装して検討される。
DirVAEを用いて学習した潜伏空間の予測性能と説明性は,それぞれ定量的に定性的に評価され,標準ガウス前値(GVAE)と比較された。
興味のあるクラス毎に勾配誘導潜在トラバーサルを行うための,説明可能な多ラベル分類のための新しいアプローチを提案する。
研究結果によると、DirVAEは潜伏因子をクラス固有の視覚的特徴(GVAEが与えない特性)に分解し、GVAEと比較して予測性能を極端に向上させることができる。
本稿では,DirVAEを訓練した場合,興味のあるクラス(es)に臨床的に関連があるCXR画像の領域を強調できるとともに,分類が刺激的な特徴相関に依存する事例を識別できることを示す視覚的例を生成する。 This study explores the use of the Dirichlet Variational Autoencoder (DirVAE) for learning disentangled latent representations of chest X-ray (CXR) images. Our working hypothesis is that distributional sparsity, as facilitated by the Dirichlet prior, will encourage disentangled feature learning for the complex task of multi-label classification of CXR images. The DirVAE is trained using CXR images from the CheXpert database, and the predictive capacity of multi-modal latent representations learned by DirVAE models is investigated through implementation of an auxiliary multi-label classification task, with a view to enforce separation of latent factors according to class-specific features. The predictive performance and explainability of the latent space learned using the DirVAE were quantitatively and qualitatively assessed, respectively, and compared with a standard Gaussian prior-VAE (GVAE). We introduce a new approach for explainable multi-label classification in which we conduct gradient-guided latent traversals for each class of interest. Study findings indicate that the DirVAE is able to disentangle latent factors into class-specific visual features, a property not afforded by the GVAE, and achieve a marginal increase in predictive performance relative to GVAE. We generate visual examples to show that our explainability method, when applied to the trained DirVAE, is able to highlight regions in CXR images that are clinically relevant to the class(es) of interest and additionally, can identify cases where classification relies on spurious feature correlations. | 翻訳日:2023-02-07 15:34:17 公開日:2023-02-06 |
| # MuG: タブラリ,テキスト,ビジュアルフィールドを用いたゲームデータのマルチモーダル分類ベンチマーク MuG: A Multimodal Classification Benchmark on Game Data with Tabular, Textual, and Visual Fields ( http://arxiv.org/abs/2302.02978v1 ) ライセンス: Link先を確認 | Jiaying Lu, Yongchen Qian, Shifan Zhao, Yuanzhe Xi, Carl Yang | (参考訳) マルチモーダル学習は、さまざまなアプリケーションにおいて大きな可能性を秘めているため、機械学習コミュニティの関心を集めている。
この可能性を達成するために、8つのデータセットを持つマルチモーダルベンチマーク MuG を提案し、研究者はモデルのマルチモーダルパーセプトロン機能をテストする。
これらのデータセットは、表、テキスト、視覚的モダリティをカバーする4つの異なるジャンルのゲームから収集される。
マルチスペクトルデータ分析を行い,ラベルバランス比,欠落率,各モダリティ内のデータの分布,ラベルと入力モダリティの相関など,ベンチマークに関する洞察を提供する。
さらに,いくつかの最先端のユニモーダル分類器とマルチモーダル分類器によって得られた実験結果を示し,ベンチマークの難易度とマルチモーダル依存性を示す。
MuGはhttps://github.com/lujiaying/MUG-Benchでデータ、ドキュメント、チュートリアル、実装ベースラインとともにリリースされた。
マルチモーダル学習問題の研究の進展を促進するために,mugの拡張が歓迎されている。 Multimodal learning has attracted the interest of the machine learning community due to its great potential in a variety of applications. To help achieve this potential, we propose a multimodal benchmark MuG with eight datasets allowing researchers to test the multimodal perceptron capabilities of their models. These datasets are collected from four different genres of games that cover tabular, textual, and visual modalities. We conduct multi-aspect data analysis to provide insights into the benchmark, including label balance ratios, percentages of missing features, distributions of data within each modality, and the correlations between labels and input modalities. We further present experimental results obtained by several state-of-the-art unimodal classifiers and multimodal classifiers, which demonstrate the challenging and multimodal-dependent properties of the benchmark. MuG is released at https://github.com/lujiaying/MUG-Bench with the data, documents, tutorials, and implemented baselines. Extensions of MuG are welcomed to facilitate the progress of research in multimodal learning problems. | 翻訳日:2023-02-07 15:33:48 公開日:2023-02-06 |
| # convowaste:ディープラーニングを用いた廃棄物自動分離機 ConvoWaste: An Automatic Waste Segregation Machine Using Deep Learning ( http://arxiv.org/abs/2302.02976v1 ) ライセンス: Link先を確認 | Md. Shahariar Nafiz, Shuvra Smaran Das, Md. Kishor Morol, Abdullah Al Juabir, Dip Nandi | (参考訳) 現在、適切な都市ごみ管理は緑とクリーンな環境を維持する上で最大の関心事となっている。
廃棄物の自動隔離システムは、国の持続性を改善し、循環経済を促進するための有効な解決策となり得る。
本稿では,Deep Convolutional Neural Network (DCNN) と画像処理技術において,ConvoWaste を用いたスマートオブジェクト検出アルゴリズムを用いて,廃棄物を異なる部位に分離するマシンを提案する。
本稿では, 廃棄物を精密に分類するために深層学習および画像処理技術を適用し, 検出された廃棄物をサーボモーター系システムを用いて対応するビン内に配置する。
各ビンに設置された超音波センサとデュアルバンドgsmベースの通信技術を用いて、ゴミ箱の廃棄物レベルとゴミを満たしたビンを廃棄する時間について責任ある当局に通知する規定を有する。
システム全体がAndroidアプリを介して遠隔操作され、自動化機能のおかげで、分離した廃棄物を望ましい場所に捨てられる。
このシステムの利用は, 廃棄物化が予定されていた資源をリサイクルし, 天然資源を活用し, それらの資源を再利用可能な製品に戻す過程を支援することができる。
これにより,資源最適化と抽出を通じて循環経済の基準を満たすことができる。
最後に、このシステムは、人工知能(ai)の分野での技術進歩の観点から高い精度を維持しながら、低コストでサービスを提供するように設計されている。
ConvoWasteのディープラーニングモデルの精度は98%になりました。 Nowadays, proper urban waste management is one of the biggest concerns for maintaining a green and clean environment. An automatic waste segregation system can be a viable solution to improve the sustainability of the country and boost the circular economy. This paper proposes a machine to segregate waste into different parts with the help of a smart object detection algorithm using ConvoWaste in the field of deep convolutional neural networks (DCNN) and image processing techniques. In this paper, deep learning and image processing techniques are applied to precisely classify the waste, and the detected waste is placed inside the corresponding bins with the help of a servo motor-based system. This machine has the provision to notify the responsible authority regarding the waste level of the bins and the time to trash out the bins filled with garbage by using the ultrasonic sensors placed in each bin and the dual-band GSM-based communication technology. The entire system is controlled remotely through an Android app in order to dump the separated waste in the desired place thanks to its automation properties. The use of this system can aid in the process of recycling resources that were initially destined to become waste, utilizing natural resources, and turning these resources back into usable products. Thus, the system helps fulfill the criteria of a circular economy through resource optimization and extraction. Finally, the system is designed to provide services at a low cost while maintaining a high level of accuracy in terms of technological advancement in the field of artificial intelligence (AI). We have gotten 98% accuracy for our ConvoWaste deep learning model. | 翻訳日:2023-02-07 15:33:32 公開日:2023-02-06 |
| # ML問題のためのコンクリート安全:ML開発・評価のためのシステム安全 Concrete Safety for ML Problems: System Safety for ML Development and Assessment ( http://arxiv.org/abs/2302.02972v1 ) ライセンス: Link先を確認 | Edgar W. Jatho and Logan O. Mailloux and Eugene D. Williams and Patrick McClure and Joshua A. Kroll | (参考訳) 多くの利害関係者は、これらのシステムが引き起こす危険があるため、ML駆動システムへの依存に苦慮している。
信頼感、意図しない社会的危害、容認できない社会的および倫理的違反に対する懸念は、MLの進歩の約束を損なう。
さらに、複雑なML駆動システムにおけるこのようなリスクは、しばしば予測が困難であり、時間、人口、大規模に発生するため、特別な課題となる。
これらのリスクは、ML開発判断の貧弱さやパフォーマンスの低下から直接ではなく、ML開発選択、モデルの使用状況、環境要因、モデルがターゲットに与える影響などを通じて生じます。
システム安全工学は、複雑度の高い社会技術システムにおいても、リスクを特定し管理する実績を持つ確立された分野である。
本研究では,社会技術的システムにおいて,安全で信頼性の高いMLを主張するために必要な保証要件を満たすための体系的な手段を示すために,社会的・倫理的リスクのあるMLの具体的な応用に最先端のシステム安全アプローチを適用した。 Many stakeholders struggle to make reliances on ML-driven systems due to the risk of harm these systems may cause. Concerns of trustworthiness, unintended social harms, and unacceptable social and ethical violations undermine the promise of ML advancements. Moreover, such risks in complex ML-driven systems present a special challenge as they are often difficult to foresee, arising over periods of time, across populations, and at scale. These risks often arise not from poor ML development decisions or low performance directly but rather emerge through the interactions amongst ML development choices, the context of model use, environmental factors, and the effects of a model on its target. Systems safety engineering is an established discipline with a proven track record of identifying and managing risks even in high-complexity sociotechnical systems. In this work, we apply a state-of-the-art systems safety approach to concrete applications of ML with notable social and ethical risks to demonstrate a systematic means for meeting the assurance requirements needed to argue for safe and trustworthy ML in sociotechnical systems. | 翻訳日:2023-02-07 15:33:08 公開日:2023-02-06 |
| # U-Clip: 平均的な確率的勾配クリッピング U-Clip: On-Average Unbiased Stochastic Gradient Clipping ( http://arxiv.org/abs/2302.02971v1 ) ライセンス: Link先を確認 | Bryn Elesedy and Marcus Hutter | (参考訳) U-Clipは、任意の反復的勾配最適化アルゴリズムに適用可能な勾配クリッピングの簡単な修正である。
通常のクリッピングと同様に、U-Clipは、所定のサイズ(例えば、コンポーネントワイズや標準ベースクリッピング)にクリッピングされる勾配を使用するが、グラデーションのクリッピング部分を捨てる代わりに、次のイテレーション(クリッピング前)でグラデーションに追加されるこれらの値のバッファを保持する。
U-Clip更新の累積バイアスは定数で制限されていることを示す。
これは、クリップされた更新が平均的に偏りがないことを意味する。
収束は、$g_i$ が勾配であるような $\sum_{i=1}^t (u_i - g_i) = o(t)$ の更新で収束を保証する補題によって従う。
CIFAR10で大規模な実験が行われ、ImageNetでさらなる検証が行われた。 U-Clip is a simple amendment to gradient clipping that can be applied to any iterative gradient optimization algorithm. Like regular clipping, U-Clip involves using gradients that are clipped to a prescribed size (e.g. with component wise or norm based clipping) but instead of discarding the clipped portion of the gradient, U-Clip maintains a buffer of these values that is added to the gradients on the next iteration (before clipping). We show that the cumulative bias of the U-Clip updates is bounded by a constant. This implies that the clipped updates are unbiased on average. Convergence follows via a lemma that guarantees convergence with updates $u_i$ as long as $\sum_{i=1}^t (u_i - g_i) = o(t)$ where $g_i$ are the gradients. Extensive experimental exploration is performed on CIFAR10 with further validation given on ImageNet. | 翻訳日:2023-02-07 15:32:50 公開日:2023-02-06 |
| # コヒーレントリンクを用いた量子固有状態放送 Quantum eigenstate broadcasting assisted by a coherent link ( http://arxiv.org/abs/2302.03017v1 ) ライセンス: Link先を確認 | Benjamin F. Schiffer, Jordi Tura | (参考訳) 局所ハミルトニアンの基底状態を作成することは、様々な物理学分野や組合せ最適化への接続など、量子多体系を理解する上で重要な問題である。
様々な量子アルゴリズムがあり、高い精度と証明可能な保証を初期近似から得ることができるが、現在のデバイスは浅い回路に限られている。
ここでは、アリスとボブが分散量子コンピューティングアーキテクチャにおいて、同じハミルトン固有状態を準備したいという設定を考える。
デバイスが限られた絡み合いを共有できる場合に、固有状態合成アルゴリズムの回路深さを低減できることを示す。
特に、一方がほぼ完全な固有状態である場合には、他方の装置により効率的に放送される。
当社のアプローチでは、デバイス毎に1つの補助キュービットだけを外部と絡み合う必要があります。
ほぼ収束状態において、望ましくない振幅の平均相対的な抑圧は、プロトコルの実行当たり1/(2\sqrt{e})0.30$に改善され、同じプロトコルで1つのデバイスだけで1/e\approx 0.37$の平均相対抑圧が達成される。 Preparing the ground state of a local Hamiltonian is a crucial problem in understanding quantum many-body systems, with applications in a variety of physics fields and connections to combinatorial optimization. While various quantum algorithms exist which can prepare the ground state with high precision and provable guarantees from an initial approximation, current devices are limited to shallow circuits. Here we consider the setting where Alice and Bob, in a distributed quantum computing architecture, want to prepare the same Hamiltonian eigenstate. We demonstrate that the circuit depth of the eigenstate preparation algorithm can be reduced when the devices can share limited entanglement. Especially so in the case where one of them has a near-perfect eigenstate, which is more efficiently broadcast to the other device. Our approach requires only a single auxiliary qubit per device to be entangled with the outside. We show that, in the near-convergent regime, the average relative suppression of unwanted amplitudes is improved to $1/(2\sqrt{e}) \approx 0.30$ per run of the protocol, outperforming the average relative suppression of $1/e\approx 0.37$ achieved with a single device alone for the same protocol. | 翻訳日:2023-02-07 15:27:14 公開日:2023-02-06 |
| # 対向ロバストネスのための決定境界ダイナミクスの探索と爆発 Exploring and Exploiting Decision Boundary Dynamics for Adversarial Robustness ( http://arxiv.org/abs/2302.03015v1 ) ライセンス: Link先を確認 | Yuancheng Xu, Yanchao Sun, Micah Goldblum, Tom Goldstein, Furong Huang | (参考訳) 深い分類器のロバスト性は、決定境界から自然のデータ点までの距離のマージンによって特徴づけられる。
しかし、既存の頑健な訓練手法が訓練中の各弱点点のマージンを効果的に増加させるかどうかは不明である。
これを理解するために,各点に対する決定境界の相対速度を定量化する連続時間フレームワークを提案する。
敵の訓練下での意思決定境界の移動速度を可視化することで、最も効果的なロバストなトレーニングアルゴリズムの1つとして、決定境界はいくつかの脆弱な点から離れ、同時に他の点に近づいたり、マージンを減少させたり、驚くべき移動行動が明らかにされる。
決定境界のこれらの矛盾するダイナミクスを緩和するため、より小さなマージンの増大を優先する運動に決定境界が関与することを奨励するDynamics-Aware Robust Training (DyART)を提案する。
従来の作業とは対照的に、DyARTは間接的な近似よりもマージンを直接操作し、より標的的で効果的な堅牢性の改善を可能にする。
CIFAR-10とTiny-ImageNetデータセットの実験では、DyARTは決定境界の矛盾するダイナミクスを緩和し、最先端の防御よりも様々な摂動サイズで堅牢性を向上させる。
私たちのコードはhttps://github.com/Yuancheng-Xu/Dynamics-Aware-Robust-Trainingで公開しています。 The robustness of a deep classifier can be characterized by its margins: the decision boundary's distances to natural data points. However, it is unclear whether existing robust training methods effectively increase the margin for each vulnerable point during training. To understand this, we propose a continuous-time framework for quantifying the relative speed of the decision boundary with respect to each individual point. Through visualizing the moving speed of the decision boundary under Adversarial Training, one of the most effective robust training algorithms, a surprising moving-behavior is revealed: the decision boundary moves away from some vulnerable points but simultaneously moves closer to others, decreasing their margins. To alleviate these conflicting dynamics of the decision boundary, we propose Dynamics-aware Robust Training (DyART), which encourages the decision boundary to engage in movement that prioritizes increasing smaller margins. In contrast to prior works, DyART directly operates on the margins rather than their indirect approximations, allowing for more targeted and effective robustness improvement. Experiments on the CIFAR-10 and Tiny-ImageNet datasets verify that DyART alleviates the conflicting dynamics of the decision boundary and obtains improved robustness under various perturbation sizes compared to the state-of-the-art defenses. Our code is available at https://github.com/Yuancheng-Xu/Dynamics-Aware-Robust-Training. | 翻訳日:2023-02-07 15:26:51 公開日:2023-02-06 |
| # 病理組織学的全スライディング画像におけるメラノーマ皮膚癌の検出と局在 Detection and Localization of Melanoma Skin Cancer in Histopathological Whole Slide Images ( http://arxiv.org/abs/2302.03014v1 ) ライセンス: Link先を確認 | Neel Kanwal, Roger Amundsen, Helga Hardardottir, Emiel A.M. Janssen, Kjersti Engan | (参考訳) 早期に診断および治療を行ったメラノーマは生存率を高めることができる。
皮膚がんの発生が予想される増加と皮膚病理学者の足跡は、計算病理学(CPATH)システムの必要性を強調している。
深層学習(DL)モデルを持つCPATHシステムは、基礎となる形態学的および細胞的特徴を利用してメラノーマの存在を識別する可能性がある。
本論文は,WSI(Whole Slide Images)における悪性黒色腫の検出と正常皮膚と良性悪性黒色腫病変の鑑別を目的としたDL法を提案する。
本手法は, 病変を高精度に検出し, 病理医の関心領域を特定するためにWSI上に局在する。
興味深いことに,本手法では,まず1つのCNNネットワークを用いて局所化マップを作成し,それを用いてスライドレベルの予測を行い,メラノーマ患者を判定する。
ベストモデルでは、0.992のF1スコアと0.99の感度でパッチ単位の分類結果が得られる。 Melanoma diagnosed and treated in its early stages can increase the survival rate. A projected increase in skin cancer incidents and a dearth of dermatopathologists have emphasized the need for computational pathology (CPATH) systems. CPATH systems with deep learning (DL) models have the potential to identify the presence of melanoma by exploiting underlying morphological and cellular features. This paper proposes a DL method to detect melanoma and distinguish between normal skin and benign/malignant melanocytic lesions in Whole Slide Images (WSI). Our method detects lesions with high accuracy and localizes them on a WSI to identify potential regions of interest for pathologists. Interestingly, our DL method relies on using a single CNN network to create localization maps first and use them to perform slide-level predictions to determine patients who have melanoma. Our best model provides favorable patch-wise classification results with a 0.992 F1 score and 0.99 sensitivity on unseen data. | 翻訳日:2023-02-07 15:26:25 公開日:2023-02-06 |
| # 認知的意思決定のための量子回路コンポーネント Quantum Circuit Components for Cognitive Decision-Making ( http://arxiv.org/abs/2302.03012v1 ) ライセンス: Link先を確認 | Dominic Widdows, Jyoti Rani, Emmanuel Pothos | (参考訳) 1990年代以降、多くの認知行動は古典的確率と集合論に基づく規則に違反していることが示されている。
例えば、質問が提示される順序は、参加者が「yes」または「no」に答えるかどうかに影響するため、両方の質問に「yes」に答える人口は、2つの固定集合の交差点としてモデル化できない。
しかし、異なる順序で実行される一連の射影としてモデル化することができる。
この他の例は、部分空間間の体積ではなく部分空間間の角度を比較することに依存する量子確率を用いてうまく説明されている。
2020年代初め、量子コンピュータは量子ハードウェア上で量子認知モデルの一部を実装し、量子ビットレジスタのメンタル状態、異なるゲートと測定を用いた認知操作と決定を表現できる点に到達した。
本稿では,量子認知モデルのための量子回路表現を開発し,特に不確実性下での順序効果や意思決定のモデル化に焦点をあてた。
この主張は、人間の脳が量子ビットと量子回路を明示的に使っているわけではない(ブール集合論の使用は、脳が古典的ビットを使用する必要はない)が、量子認知と量子コンピューティングの間で共有される数学は、認知モデリングのための量子コンピュータの探索を動機付ける。
これらの数学的要素が認知モデル、量子ハードウェア、回路実装の間の共通言語を提供するため、重要な量子特性は重ね合わせ、絡み合い、崩壊である。 Since the 1990's, many observed cognitive behaviors have been shown to violate rules based on classical probability and set theory. For example, the order in which questions are posed affects whether participants answer 'yes' or 'no', so the population that answers 'yes' to both questions cannot be modeled as the intersection of two fixed sets. It can however be modeled as a sequence of projections carried out in different orders. This and other examples have been described successfully using quantum probability, which relies on comparing angles between subspaces rather than volumes between subsets. Now in the early 2020's, quantum computers have reached the point where some of these quantum cognitive models can be implemented and investigated on quantum hardware, representing the mental states in qubit registers, and the cognitive operations and decisions using different gates and measurements. This paper develops such quantum circuit representations for quantum cognitive models, focusing particularly on modeling order effects and decision-making under uncertainty. The claim is not that the human brain uses qubits and quantum circuits explicitly (just like the use of Boolean set theory does not require the brain to be using classical bits), but that the mathematics shared between quantum cognition and quantum computing motivates the exploration of quantum computers for cognition modelling. Key quantum properties include superposition, entanglement, and collapse, as these mathematical elements provide a common language between cognitive models, quantum hardware, and circuit implementations. | 翻訳日:2023-02-07 15:26:10 公開日:2023-02-06 |
| # 拡散モデルによる構造とコンテンツ誘導ビデオ合成 Structure and Content-Guided Video Synthesis with Diffusion Models ( http://arxiv.org/abs/2302.03011v1 ) ライセンス: Link先を確認 | Patrick Esser, Johnathan Chiu, Parmida Atighehchian, Jonathan Granskog, Anastasis Germanidis | (参考訳) テキスト誘導生成拡散モデルにより、強力な画像作成および編集ツールが解放される。
これらはビデオ生成に拡張されているが、既存の映像のコンテンツを編集する現在のアプローチでは、入力毎に高価な再トレーニングが必要か、あるいはフレーム間の画像編集の誤りやすい伝播に依存している。
本稿では、所望の出力の視覚的またはテキスト的記述に基づいて映像を編集する構造およびコンテンツ誘導ビデオ拡散モデルを提案する。
ユーザが提供するコンテンツ編集と構造表現の衝突は、2つの側面の行き違いが不十分なため生じる。
その結果,細部レベルの異なる単眼深度推定の学習は,構造とコンテンツの忠実度を制御できることを示した。
本モデルでは,映像と映像を共同で学習し,新たな指導手法により時間的一貫性を明示的に制御する。
実験では、出力特性のきめ細かい制御、いくつかの参照画像に基づくカスタマイズ、モデルによる結果に対するユーザの強い好みなど、様々な成功例を実証した。 Text-guided generative diffusion models unlock powerful image creation and editing tools. While these have been extended to video generation, current approaches that edit the content of existing footage while retaining structure require expensive re-training for every input or rely on error-prone propagation of image edits across frames. In this work, we present a structure and content-guided video diffusion model that edits videos based on visual or textual descriptions of the desired output. Conflicts between user-provided content edits and structure representations occur due to insufficient disentanglement between the two aspects. As a solution, we show that training on monocular depth estimates with varying levels of detail provides control over structure and content fidelity. Our model is trained jointly on images and videos which also exposes explicit control of temporal consistency through a novel guidance method. Our experiments demonstrate a wide variety of successes; fine-grained control over output characteristics, customization based on a few reference images, and a strong user preference towards results by our model. | 翻訳日:2023-02-07 15:25:45 公開日:2023-02-06 |
| # LAVA: 基礎画像を用いたアルツハイマー病診断のための粒状ニューロンレベル説明可能なAI LAVA: Granular Neuron-Level Explainable AI for Alzheimer's Disease Assessment from Fundus Images ( http://arxiv.org/abs/2302.03008v1 ) ライセンス: Link先を確認 | Nooshin Yousefzadeh, Charlie Tran, Adolfo Ramirez-Zamora, Jinghua Chen, Ruogu Fang, My T. Thai | (参考訳) アルツハイマー病は進行性神経変性疾患であり、認知症の主要な原因である。
早期診断は、患者が潜在的介入と治療の恩恵を受けるために重要である。
網膜は、脳との解剖学的つながりからAD検出の診断部位として仮説化されている。
この目的のために開発されたAIモデルは、決定について合理的な説明を提供しておらず、疾患の進行の段階を推測するものではない。
この方向に沿って,畳み込みニューラルネットワーク(CNN)モデルの中間層を探索し,経時的および臨床的評価なしに網膜画像から直接AD連続性を評価する,新しいモデルに依存しない説明可能なAIフレームワークであるGranular Neuron-level Explainer(LAVA)を提案する。
本法は、アルツハイマー病(AD)評価のためのバイオマーカーおよび診断モダリティとして網膜血管を検証するために応用される。
英国バイオバンクの認知検査と血管形態学的特徴から、LAVAは進行連続体全体にわたるADステージの同定において強い期待と効果を示すことが示唆された。 Alzheimer's Disease (AD) is a progressive neurodegenerative disease and the leading cause of dementia. Early diagnosis is critical for patients to benefit from potential intervention and treatment. The retina has been hypothesized as a diagnostic site for AD detection owing to its anatomical connection with the brain. Developed AI models for this purpose have yet to provide a rational explanation about the decision and neither infer the stage of disease's progression. Along this direction, we propose a novel model-agnostic explainable-AI framework, called Granular Neuron-level Explainer (LAVA), an interpretation prototype that probes into intermediate layers of the Convolutional Neural Network (CNN) models to assess the AD continuum directly from the retinal imaging without longitudinal or clinical evaluation. This method is applied to validate the retinal vasculature as a biomarker and diagnostic modality for Alzheimer's Disease (AD) evaluation. UK Biobank cognitive tests and vascular morphological features suggest LAVA shows strong promise and effectiveness in identifying AD stages across the progression continuum. | 翻訳日:2023-02-07 15:25:27 公開日:2023-02-06 |
| # ニューラル崩壊に触発された機能分類器アライメントによるマイラルショットクラスインクリメンタル学習 Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class Incremental Learning ( http://arxiv.org/abs/2302.03004v1 ) ライセンス: Link先を確認 | Yibo Yang, Haobo Yuan, Xiangtai Li, Zhouchen Lin, Philip Torr, Dacheng Tao | (参考訳) FSCIL(Few-shot class-incremental Learning)は、新しいセッションで新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。
バックボーンの微調整や、以前のセッションでトレーニングされた分類器のプロトタイプの調整は、必然的に古いクラスの特徴と分類器の不一致を引き起こします。
本稿では,最近発見されたneural collapseという現象に触発されたfscilのこの不一致ジレンマに対処し,同一クラスの最終層の特徴が頂点に崩壊し,すべてのクラスの頂点が,simplex equiangular tight frame (etf) として形成される分類子プロトタイプと一致していることを明らかにした。
これは最大化フィッシャー判別比による分類のための最適な幾何学的構造に対応する。
本稿では、FSCILのための神経崩壊誘発フレームワークを提案する。
分類器のプロトタイプのグループは、ベースセッションとインクリメンタルセッションを含むラベル空間全体の単純なETFとして事前に割り当てられている。
トレーニング中、分類器のプロトタイプは学習不能であり、我々は、機能を対応するプロトタイプにプッシュする新しい損失関数を採用する。
理論的解析により,本手法は神経崩壊最適性を保持し,特徴分類器のアライメントを漸進的に破壊しないことが示された。
miniImageNet, CUB-200, CIFAR-100データセットに対する実験により, 提案したフレームワークが最先端の性能より優れていることが示された。
コードアドレス:https://github.com/NeuralCollapseApplications/FSCIL Few-shot class-incremental learning (FSCIL) has been a challenging problem as only a few training samples are accessible for each novel class in the new sessions. Finetuning the backbone or adjusting the classifier prototypes trained in the prior sessions would inevitably cause a misalignment between the feature and classifier of old classes, which explains the well-known catastrophic forgetting problem. In this paper, we deal with this misalignment dilemma in FSCIL inspired by the recently discovered phenomenon named neural collapse, which reveals that the last-layer features of the same class will collapse into a vertex, and the vertices of all classes are aligned with the classifier prototypes, which are formed as a simplex equiangular tight frame (ETF). It corresponds to an optimal geometric structure for classification due to the maximized Fisher Discriminant Ratio. We propose a neural collapse inspired framework for FSCIL. A group of classifier prototypes are pre-assigned as a simplex ETF for the whole label space, including the base session and all the incremental sessions. During training, the classifier prototypes are not learnable, and we adopt a novel loss function that drives the features into their corresponding prototypes. Theoretical analysis shows that our method holds the neural collapse optimality and does not break the feature-classifier alignment in an incremental fashion. Experiments on the miniImageNet, CUB-200, and CIFAR-100 datasets demonstrate that our proposed framework outperforms the state-of-the-art performances. Code address: https://github.com/NeuralCollapseApplications/FSCIL | 翻訳日:2023-02-07 15:25:08 公開日:2023-02-06 |
| # OTRE: 最適なトランスポートガイドによる画像から画像への翻訳が正規化を促進 OTRE: Where Optimal Transport Guided Unpaired Image-to-Image Translation Meets Regularization by Enhancing ( http://arxiv.org/abs/2302.03003v1 ) ライセンス: Link先を確認 | Wenhui Zhu, Peijie Qiu, Oana M. Dumitrascu, Jacob Jacob, Mohammad Farazi, Zhangsihao Yang, Keshav Nandakumar, Yalin Wang | (参考訳) 瞳孔拡張を必要とせず,術者,全身的不完全性,患者関連疾患などにより品質が低下する可能性があるため,非扁桃体網膜色眼底撮影(cfp)が広く利用可能である。
正確な診断と自動解析のために最適な網膜画像品質が義務付けられている。
そこで我々は,低品質の網膜cfpを高品質のcfpにマッピングする非ペア画像変換方式を提案するために, \emph{optimal transport (ot)理論を用いた。
さらに, 臨床における画像強調パイプラインの柔軟性, ロバスト性, 適用性を向上させるため, ot誘導画像対画像翻訳ネットワークで学習した先行処理をプラグインすることで, 最先端のモデルベース画像再構成法を一般化した。
我々はこれを拡張(RE)により「emph{regularization」と命名した。
糖尿病性網膜症格付け,血管分画,糖尿病性病変分画などのダウンストリームタスクにおける改善後の品質と性能を評価することで,3つの網膜画像データセットで統合フレームワークotreを検証した。
実験の結果,提案手法は,最先端の競争相手や最先端の監視手法よりも優れていることが示された。 Non-mydriatic retinal color fundus photography (CFP) is widely available due to the advantage of not requiring pupillary dilation, however, is prone to poor quality due to operators, systemic imperfections, or patient-related causes. Optimal retinal image quality is mandated for accurate medical diagnoses and automated analyses. Herein, we leveraged the \emph{Optimal Transport (OT)} theory to propose an unpaired image-to-image translation scheme for mapping low-quality retinal CFPs to high-quality counterparts. Furthermore, to improve the flexibility, robustness, and applicability of our image enhancement pipeline in the clinical practice, we generalized a state-of-the-art model-based image reconstruction method, regularization by denoising, by plugging in priors learned by our OT-guided image-to-image translation network. We named it as \emph{regularization by enhancing (RE)}. We validated the integrated framework, OTRE, on three publicly available retinal image datasets by assessing the quality after enhancement and their performance on various downstream tasks, including diabetic retinopathy grading, vessel segmentation, and diabetic lesion segmentation. The experimental results demonstrated the superiority of our proposed framework over some state-of-the-art unsupervised competitors and a state-of-the-art supervised method. | 翻訳日:2023-02-07 15:24:40 公開日:2023-02-06 |
| # 神経表現からの不整合属性の消去 Erasure of Unaligned Attributes from Neural Representations ( http://arxiv.org/abs/2302.02997v1 ) ライセンス: Link先を確認 | Shun Shao, Yftah Ziser and Shay Cohen | (参考訳) 本稿では、各入力例に直列する代わりに、削除すべき情報が暗黙的である場合に、ニューラル表現から情報を除去することを目的としたアサインメント最大化スペクトル属性除去アルゴリズム(AMSAL)を提案する。
我々のアルゴリズムは2つのステップを交互に行う。
1つは、消去すべき情報に対する入力表現の割り当てを見つけ、もう1つは、入力表現と消去すべき情報の両方の投影を合同潜在空間に生成する。
アルゴリズムは、複数のガード付き属性を持つtwitterデータセット、biasbiosデータセット、biasbenchベンチマークなど、幅広いデータセット上でテストします。
後者のベンチマークには、さまざまなタイプの保護属性を持つ4つのデータセットが含まれている。
私たちの結果は、設定時にバイアスを除去できることを示しています。
また、メインタスクと消去すべき情報の間に強い絡み合いがある場合の、我々のアプローチの制限についても論じる。 We present the Assignment-Maximization Spectral Attribute removaL (AMSAL) algorithm, which aims at removing information from neural representations when the information to be erased is implicit rather than directly being aligned to each input example. Our algorithm works by alternating between two steps. In one, it finds an assignment of the input representations to the information to be erased, and in the other, it creates projections of both the input representations and the information to be erased into a joint latent space. We test our algorithm on an extensive array of datasets, including a Twitter dataset with multiple guarded attributes, the BiasBios dataset and the BiasBench benchmark. The latter benchmark includes four datasets with various types of protected attributes. Our results demonstrate that bias can often be removed in our setup. We also discuss the limitations of our approach when there is a strong entanglement between the main task and the information to be erased. | 翻訳日:2023-02-07 15:24:15 公開日:2023-02-06 |
| # マルチクラスSWAPテスト分類器 A Multi-Class SWAP-Test Classifier ( http://arxiv.org/abs/2302.02994v1 ) ライセンス: Link先を確認 | S M Pillay, I Sinayskiy, E Jembere and F Petruccione | (参考訳) マルチクラス分類問題は、研究と産業の様々な領域において基本的な問題である。
多クラス分類問題を解決するために、One-vs-OneやOne-vs-Allのようなヒューリスティック戦略を用いることができる。
しかし、これらの戦略は、クラス数で成長するために開発されたバイナリ分類モデルの数を必要とする。
量子機械学習における最近の研究は、データとラベル状態のマッピングを学習することで、この成長を回避するマルチクラス量子分類器の開発を見てきた。
この研究は、そのバイナリ前駆体と最近の研究におけるラベル状態の使用に触発された最初のマルチクラスSWAP-Test分類器を示す。
この分類器により、複数のモデルを開発するコストは回避される。
従来の作業とは対照的に、必要な量子ビット数、測定戦略、使用する回路のトポロジーはクラス数に不変である。
加えて、マルチクラス量子分類器の他のアーキテクチャとは異なり、単一の量子ビットの状態再構成は、マルチクラス分類タスクに十分な情報を与える。
解析結果と数値シミュレーションの両方により, この分類器は, 多様な分類問題に適用する場合に有効であるだけでなく, 一定の雑音条件にも頑健であることが示された。 Multi-class classification problems are fundamental in many varied domains in research and industry. To solve multi-class classification problems, heuristic strategies such as One-vs-One or One-vs-All can be employed. However, these strategies require the number of binary classification models developed to grow with the number of classes. Recent work in quantum machine learning has seen the development of multi-class quantum classifiers that circumvent this growth by learning a mapping between the data and a set of label states. This work presents the first multi-class SWAP-Test classifier inspired by its binary predecessor and the use of label states in recent work. With this classifier, the cost of developing multiple models is avoided. In contrast to previous work, the number of qubits required, the measurement strategy, and the topology of the circuits used is invariant to the number of classes. In addition, unlike other architectures for multi-class quantum classifiers, the state reconstruction of a single qubit yields sufficient information for multi-class classification tasks. Both analytical results and numerical simulations show that this classifier is not only effective when applied to diverse classification problems but also robust to certain conditions of noise. | 翻訳日:2023-02-07 15:23:59 公開日:2023-02-06 |
| # 適応量子回路の利点の実証実験 Experimental demonstration of the advantage of adaptive quantum circuits ( http://arxiv.org/abs/2302.03029v1 ) ライセンス: Link先を確認 | Michael Foss-Feig, Arkin Tikku, Tsung-Cheng Lu, Karl Mayer, Mohsin Iqbal, Thomas M. Gatterman, Justin A. Gerber, Kevin Gilmore, Dan Gresh, Aaron Hankin, Nathan Hewitt, Chandler V. Horst, Mitchell Matheny, Tanner Mengle, Brian Neyenhuis, Henrik Dreyer, David Hayes, Timothy H. Hsieh, and Isaac H. Kim | (参考訳) 適応量子回路は、中回路計測、測定結果に関する古典計算、そして古典計算の結果に基づく将来のユニタリゲートの条件適用によって補助されるユニタリゲートを用いる。
本稿では, 一定深さの雑音適応量子回路であっても, 同一深さの純ユニタリ量子回路では不可能である課題を実現できることを実験的に証明する。
我々は、一定の深さ (d=4$) の適応回路を用いて、少なくとも76.9\pm 1.3\%$の忠実度を持つ特定のトーリック符号基底状態を作成し、同じ深さと接続性を持つユニタリ回路が50\%以上の忠実度を持つ状態を作成することができないことを厳格に示す。 Adaptive quantum circuits employ unitary gates assisted by mid-circuit measurement, classical computation on the measurement outcome, and the conditional application of future unitary gates based on the result of the classical computation. In this paper, we experimentally demonstrate that even a noisy adaptive quantum circuit of constant depth can achieve a task that is impossible for any purely unitary quantum circuit of identical depth: the preparation of long-range entangled topological states with high fidelity. We prepare a particular toric code ground state with fidelity of at least $76.9\pm 1.3\%$ using a constant depth ($d=4$) adaptive circuit, and rigorously show that no unitary circuit of the same depth and connectivity could prepare this state with fidelity greater than $50\%$. | 翻訳日:2023-02-07 15:17:36 公開日:2023-02-06 |
| # 対称性および可換代数検出のための数値解法 Numerical Methods for Detecting Symmetries and Commutant Algebras ( http://arxiv.org/abs/2302.03028v1 ) ライセンス: Link先を確認 | Sanjay Moudgalya, Olexei I. Motrunich | (参考訳) 局所的な部分によって定義されるハミルトニアンの族に対して、対称性代数の最も一般的な定義は可換代数、すなわち各局所部分と可換な作用素の代数である。
可換代数として対称性代数を考えると、従来の対称性と非慣習対称性(例えば弱エルゴード性破れ現象の原因となるもの)を等しい代数的足場で扱うことができる。
本研究では,この可換代数をハミルトニアンの族から数値的に構築する2つの手法について考察する。
まず、この問題の等価性を、与えられた局所作用素の集合の同時ブロック対角化と同値とし、アーベルおよび非可換対称性あるいは可換代数の両方の確率 1 で作用する確率的手法について論じる。
第二に、この問題をハミルトンのフラストレーションのない基底状態を決定する問題にマッピングし、テンソルネットワークアルゴリズムのアイデアを用いてこの問題を1次元で効率的に解決する。
これらの数値法は、正規対称性、ヒルベルト空間の断片化、量子多体傷の例を含むハミルトニアンの族における標準および非標準保存量を検出するのに有用である。
加えて、これらの場合において可換代数の構造に関するいくつかの予想を検証するために必要である。
最後に, 局所作用素を与えられた対称性あるいは可換代数で決定する逆問題に対する類似の手法についても論じる。 For families of Hamiltonians defined by parts that are local, the most general definition of a symmetry algebra is the commutant algebra, i.e., the algebra of operators that commute with each local part. Thinking about symmetry algebras as commutant algebras allows for the treatment of conventional symmetries and unconventional symmetries (e.g., those responsible for weak ergodicity breaking phenomena) on equal algebraic footing. In this work, we discuss two methods for numerically constructing this commutant algebra starting from a family of Hamiltonians. First, we use the equivalence of this problem to that of simultaneous block-diagonalization of a given set of local operators, and discuss a probabilistic method that has been found to work with probability 1 for both Abelian and non-Abelian symmetries or commutant algebras. Second, we map this problem onto the problem of determining frustration-free ground states of certain Hamiltonians, and we use ideas from tensor network algorithms to efficiently solve this problem in one dimension. These numerical methods are useful in detecting standard and non-standard conserved quantities in families of Hamiltonians, which includes examples of regular symmetries, Hilbert space fragmentation, and quantum many-body scars, and we show many such examples. In addition, they are necessary for verifying several conjectures on the structure of the commutant algebras in these cases, which we have put forward in earlier works. Finally, we also discuss similar methods for the inverse problem of determining local operators with a given symmetry or commutant algebra, which connects to existing methods in the literature. | 翻訳日:2023-02-07 15:17:21 公開日:2023-02-06 |
| # ゼロショット画像から画像への変換 Zero-shot Image-to-Image Translation ( http://arxiv.org/abs/2302.03027v1 ) ライセンス: Link先を確認 | Gaurav Parmar, Krishna Kumar Singh, Richard Zhang, Yijun Li, Jingwan Lu, Jun-Yan Zhu | (参考訳) 大規模テキスト画像生成モデルは、多彩で高品質な画像を合成する優れた能力を示している。
しかし、2つの理由から実際の画像の編集にこれらのモデルを直接適用することは依然として困難である。
まず、ユーザーが入力画像の視覚的詳細を正確に記述する完璧なテキストプロンプトを思いつくのは困難である。
第二に、既存のモデルは特定の領域に望ましい変化をもたらすが、入力内容が劇的に変化し、望ましくない領域に予期しない変化をもたらすことが多い。
本研究では,手作業でプロンプトすることなくオリジナル画像の内容を保存できる画像から画像への変換手法pix2pix-zeroを提案する。
まずテキスト埋め込み空間で所望の編集を反映する編集方向を自動的に発見する。
編集後の一般的なコンテンツ構造を維持するため,拡散過程を通して入力画像の横断的アテンションマップを維持することを目的としたクロスアテンションガイダンスも提案する。
さらに,本手法では,これらの編集のための追加の訓練を必要とせず,既存のトレーニング済みテキスト・画像拡散モデルを直接利用できる。
提案手法は,実画像編集と合成画像編集の両方において,既存および同時処理よりも優れた性能を示す。 Large-scale text-to-image generative models have shown their remarkable ability to synthesize diverse and high-quality images. However, it is still challenging to directly apply these models for editing real images for two reasons. First, it is hard for users to come up with a perfect text prompt that accurately describes every visual detail in the input image. Second, while existing models can introduce desirable changes in certain regions, they often dramatically alter the input content and introduce unexpected changes in unwanted regions. In this work, we propose pix2pix-zero, an image-to-image translation method that can preserve the content of the original image without manual prompting. We first automatically discover editing directions that reflect desired edits in the text embedding space. To preserve the general content structure after editing, we further propose cross-attention guidance, which aims to retain the cross-attention maps of the input image throughout the diffusion process. In addition, our method does not need additional training for these edits and can directly use the existing pre-trained text-to-image diffusion model. We conduct extensive experiments and show that our method outperforms existing and concurrent works for both real and synthetic image editing. | 翻訳日:2023-02-07 15:16:54 公開日:2023-02-06 |
| # 一般推論のための後方推定器のサンプリングに基づく精度評価 Sampling-Based Accuracy Testing of Posterior Estimators for General Inference ( http://arxiv.org/abs/2302.03026v1 ) ライセンス: Link先を確認 | Pablo Lemos, Adam Coogan, Yashar Hezaveh, Laurence Perreault-Levasseur | (参考訳) パラメータ推論、すなわち統計モデルのパラメータの後方分布をいくつかのデータから推定することは、多くの科学分野において中心的な問題である。
生成モデルを用いた後推論は、確率ベースおよびシミュレーションベース推論の両方においてマルコフ・チェイン・モンテカルロのような方法に代わるものである。
しかし、生成モデルで符号化された後肢の精度の評価は簡単ではない。
本稿では,生成後推定器のカバレッジ確率を推定する手法として,'distance to random point' (DRP)カバレッジテストを導入する。
提案手法は, 後続評価を必要とする既存のカバレッジベース手法とは異なる。
提案手法は,後部推定器が最適であることを示すのに十分かつ必要であることを示す。
本手法を各種合成例で実証し,DRPを用いて高次元空間における後部推論解析の結果を検証できることを示す。
また,既存手法が故障した場合に最適でない推論を検出できることを示す。 Parameter inference, i.e. inferring the posterior distribution of the parameters of a statistical model given some data, is a central problem to many scientific disciplines. Posterior inference with generative models is an alternative to methods such as Markov Chain Monte Carlo, both for likelihood-based and simulation-based inference. However, assessing the accuracy of posteriors encoded in generative models is not straightforward. In this paper, we introduce `distance to random point' (DRP) coverage testing as a method to estimate coverage probabilities of generative posterior estimators. Our method differs from previously-existing coverage-based methods, which require posterior evaluations. We prove that our approach is necessary and sufficient to show that a posterior estimator is optimal. We demonstrate the method on a variety of synthetic examples, and show that DRP can be used to test the results of posterior inference analyses in high-dimensional spaces. We also show that our method can detect non-optimal inferences in cases where existing methods fail. | 翻訳日:2023-02-07 15:16:33 公開日:2023-02-06 |
| # 普遍性のトイモデル:ネットワークがグループ操作を学習する方法のリバースエンジニアリング A Toy Model of Universality: Reverse Engineering How Networks Learn Group Operations ( http://arxiv.org/abs/2302.03025v1 ) ライセンス: Link先を確認 | Bilal Chughtai, Lawrence Chan, Neel Nanda | (参考訳) Universality is a key hypothesis in mechanistic interpretability -- that different models learn similar features and circuits when trained on similar tasks. In this work, we study the universality hypothesis by examining how small neural networks learn to implement group composition. We present a novel algorithm by which neural networks may implement composition for any finite group via mathematical representation theory. We then show that networks consistently learn this algorithm by reverse engineering model logits and weights, and confirm our understanding using ablations. By studying networks of differing architectures trained on various groups, we find mixed evidence for universality: using our algorithm, we can completely characterize the family of circuits and features that networks learn on this task, but for a given network the precise circuits learned -- as well as the order they develop -- are arbitrary. Universality is a key hypothesis in mechanistic interpretability -- that different models learn similar features and circuits when trained on similar tasks. In this work, we study the universality hypothesis by examining how small neural networks learn to implement group composition. We present a novel algorithm by which neural networks may implement composition for any finite group via mathematical representation theory. We then show that networks consistently learn this algorithm by reverse engineering model logits and weights, and confirm our understanding using ablations. By studying networks of differing architectures trained on various groups, we find mixed evidence for universality: using our algorithm, we can completely characterize the family of circuits and features that networks learn on this task, but for a given network the precise circuits learned -- as well as the order they develop -- are arbitrary. | 翻訳日:2023-02-07 15:16:17 公開日:2023-02-06 |
| # AIM:効率的な映像行動認識のための画像モデルの適用 AIM: Adapting Image Models for Efficient Video Action Recognition ( http://arxiv.org/abs/2302.03024v1 ) ライセンス: Link先を確認 | Taojiannan Yang, Yi Zhu, Yusheng Xie, Aston Zhang, Chen Chen, Mu Li | (参考訳) 最近のビジョントランスフォーマーベースのビデオモデルは、主に ``image pre-training then finetuning" パラダイムに従っており、複数のビデオベンチマークで大きな成功を収めている。
しかしながら、事前訓練された画像トランスフォーマーモデルが例外的な転送性を示しているため、このようなビデオモデルの完全な微調整は計算コストが高く不要である可能性がある。
本研究では,事前学習画像モデル(aim)を効率的な映像理解に適応させる新しい手法を提案する。
予め学習した画像モデルを凍結し、いくつかの軽量アダプタを追加することで、空間適応、時間適応、ジョイント適応を導入し、時空間推論能力を備えた画像モデルを徐々に導入する。
提案したAIMは, 4つのビデオアクション認識ベンチマークにおいて, チューナブルパラメータが著しく少ない先行技術よりも, 競争力やパフォーマンスが向上することを示す。
その単純さにより,本手法は様々な画像事前学習モデルにも適用でき,将来より強力な画像基盤モデルを活用する可能性がある。
プロジェクトwebページは \url{https://adapt-image-models.github.io/} である。 Recent vision transformer based video models mostly follow the ``image pre-training then finetuning" paradigm and have achieved great success on multiple video benchmarks. However, full finetuning such a video model could be computationally expensive and unnecessary, given the pre-trained image transformer models have demonstrated exceptional transferability. In this work, we propose a novel method to Adapt pre-trained Image Models (AIM) for efficient video understanding. By freezing the pre-trained image model and adding a few lightweight Adapters, we introduce spatial adaptation, temporal adaptation and joint adaptation to gradually equip an image model with spatiotemporal reasoning capability. We show that our proposed AIM can achieve competitive or even better performance than prior arts with substantially fewer tunable parameters on four video action recognition benchmarks. Thanks to its simplicity, our method is also generally applicable to different image pre-trained models, which has the potential to leverage more powerful image foundation models in the future. The project webpage is \url{https://adapt-image-models.github.io/}. | 翻訳日:2023-02-07 15:16:09 公開日:2023-02-06 |
| # v1t:視覚トランスフォーマーを用いた大規模マウスv1応答予測 V1T: large-scale mouse V1 response prediction using a Vision Transformer ( http://arxiv.org/abs/2302.03023v1 ) ライセンス: Link先を確認 | Bryan M. Li, Isabel M. Cornacchia, Nathalie L. Rochefort, Arno Onken | (参考訳) 自然視刺激に対する視覚野神経反応の正確な予測モデルは、計算神経科学の課題である。
本稿では,動物間の視覚と行動の共通表現を学習する新しい視覚トランスフォーマーアーキテクチャであるv1tを紹介する。
マウス一次視覚野から記録された2つの大規模データセットを用いて,従来の畳み込みモデルと比較して予測性能が12.7%以上向上した。
さらに,トランスフォーマーが学習した注意重みが,人口受容場と相関していることが示唆された。
このモデルでは,神経応答予測のための新しいベンチマークを設定し,視覚野の特徴を捉える。 Accurate predictive models of the visual cortex neural response to natural visual stimuli remain a challenge in computational neuroscience. In this work, we introduce V1T, a novel Vision Transformer based architecture that learns a shared visual and behavioral representation across animals. We evaluate our model on two large datasets recorded from mouse primary visual cortex and outperform previous convolution-based models by more than 12.7% in prediction performance. Moreover, we show that the attention weights learned by the Transformer correlate with the population receptive fields. Our model thus sets a new benchmark for neural response prediction and captures characteristic features of the visual cortex. | 翻訳日:2023-02-07 15:15:51 公開日:2023-02-06 |
| # surgt: ロボット手術のためのソフトトイトトラッキング,ベンチマーク,課題 SurgT: Soft-Tissue Tracking for Robotic Surgery, Benchmark and Challenge ( http://arxiv.org/abs/2302.03022v1 ) ライセンス: Link先を確認 | Joao Cartucho, Alistair Weld, Samyakh Tukra, Haozheng Xu, Hiroki Matsuzaki, Taiyo Ishikawa, Minjun Kwon, Yongeun Jang, Kwang-Ju Kim, Gwang Lee, Bizhe Bai, Lueder Kahrs, Lars Boecking, Simeon Allmendinger, Leopold Muller, Yitong Zhang, Yueming Jin, Bano Sophia, Francisco Vasconcelos, Wolfgang Reiter, Jonas Hajek, Bruno Silva, Lukas R. Buschle, Estevao Lima, Joao L. Vilaca, Sandro Queiros, Stamatia Giannarou | (参考訳) 本稿では,Surgt MICCAI 2022チャレンジとその最初の結果を紹介する。
この課題の作成には,(1)ソフトトイトトラッカを評価するための研究コミュニティ初の標準化ベンチマークの確立,(2)手術中の注釈データがないことを踏まえ,教師なしの深層学習手法の開発を促進すること,の2つの目的があった。
ステレオカメラの校正パラメータとともに,20症例から157件の立体内視鏡映像のデータセットが提供される。
参加者は各ステレオ内視鏡ビデオのバウンディングボックスを追跡するアルゴリズムの開発を任された。
課題の最後には、以前に隠されていたテストサブセットで開発手法を評価した。
この評価は、この課題のために意図的に開発されたベンチマークメトリクスを使用しており、現在オンラインで利用可能である。
チームは期待平均オーバーラップ(eao)スコアに従ってランク付けされ、これはユニオン(iou)得点の重み付け平均である。
トップチームはテストサブセットでEAOスコア0.583を達成した。
教師なしアルゴリズムによるソフトタスクの追跡は達成可能であることがわかった。
データセットとベンチマークツールは成功し、オンラインで公開されている。
この課題は、自律ロボット手術やその他のデジタル手術技術の発展に寄与することが期待されている。 This paper introduces the SurgT MICCAI 2022 challenge and its first results. There were two purposes for the creation of this challenge: (1) the establishment of the first standardised benchmark for the research community to assess soft-tissue trackers; and (2) to encourage the development of unsupervised deep learning methods, given the lack of annotated data in surgery. A dataset of 157 stereo endoscopic videos from 20 clinical cases, along with stereo camera calibration parameters, are provided. The participants were tasked with the development of algorithms to track a bounding box on each stereo endoscopic video. At the end of the challenge, the developed methods were assessed on a previously hidden test subset. This assessment uses benchmarking metrics that were purposely developed for this challenge and are now available online. The teams were ranked according to their Expected Average Overlap (EAO) score, which is a weighted average of Intersection over Union (IoU) scores. The top team achieved an EAO score of 0.583 in the test subset. Tracking soft-tissue using unsupervised algorithms was found to be achievable. The dataset and benchmarking tool have been successfully created and made publicly available online. This challenge is expected to contribute to the development of autonomous robotic surgery, and other digital surgical technologies. | 翻訳日:2023-02-07 15:15:41 公開日:2023-02-06 |
| # RLSbench: 緩和ラベルシフトによるドメイン適応 RLSbench: Domain Adaptation Under Relaxed Label Shift ( http://arxiv.org/abs/2302.03020v1 ) ライセンス: Link先を確認 | Saurabh Garg, Nick Erickson, James Sharpnack, Alex Smola, Sivaraman Balakrishnan, Zachary C. Lipton | (参考訳) ラベルシフトの下でのドメイン適応の原則的手法の出現にもかかわらず、これらの手法のクラス条件分布における微妙なシフトに対する感度は、いまだに調査中である。
一方、人気のある深層ドメイン適応ヒューリスティックスはラベル比率の変動に直面した時に混乱する傾向にある。
いくつかの論文では、これらのヒューリスティックをラベル比率の変化に対応させようと試みているが、評価基準、データセット、ベースラインの不整合は、技術の現状を評価するのを困難にしている。
本稿では,大規模に緩和されたラベルシフトベンチマークであるRSbenchを紹介する。500以上の分散シフトペアは,視覚,表,言語モダリティの14のデータセット上に描画され,異なるラベル比で構成される。
まず,13の一般的なドメイン適応手法を評価し,ラベル比のシフトにより,従来よりも広範な障害を示す。
次に、最も深い領域適応ヒューリスティックと互換性のある効果的な2段階のメタアルゴリズムを開発する。
(i)各時代におけるデータの擬似バランス
(ii)最終分類器を目標ラベル分布で調整する(推定)。
meta-algorithmは既存のドメイン適応ヒューリスティックを、極端なラベル比率シフトの下で2〜10〜10\%精度で改善し、ラベル比率が変化しない場合にはほとんど(例えば <0.5\%)効果を持たない。
これらの知見と RLSbench の利用可能性により、研究者は緩和ラベルシフト設定における提案手法を厳格に評価できることを期待している。
コードはhttps://github.com/acmi-lab/rlsbenchで公開されている。 Despite the emergence of principled methods for domain adaptation under label shift, the sensitivity of these methods for minor shifts in the class conditional distributions remains precariously under explored. Meanwhile, popular deep domain adaptation heuristics tend to falter when faced with shifts in label proportions. While several papers attempt to adapt these heuristics to accommodate shifts in label proportions, inconsistencies in evaluation criteria, datasets, and baselines, make it hard to assess the state of the art. In this paper, we introduce RLSbench, a large-scale relaxed label shift benchmark, consisting of >500 distribution shift pairs that draw on 14 datasets across vision, tabular, and language modalities and compose them with varying label proportions. First, we evaluate 13 popular domain adaptation methods, demonstrating more widespread failures under label proportion shifts than were previously known. Next, we develop an effective two-step meta-algorithm that is compatible with most deep domain adaptation heuristics: (i) pseudo-balance the data at each epoch; and (ii) adjust the final classifier with (an estimate of) target label distribution. The meta-algorithm improves existing domain adaptation heuristics often by 2--10\% accuracy points under extreme label proportion shifts and has little (i.e., <0.5\%) effect when label proportions do not shift. We hope that these findings and the availability of RLSbench will encourage researchers to rigorously evaluate proposed methods in relaxed label shift settings. Code is publicly available at https://github.com/acmi-lab/RLSbench. | 翻訳日:2023-02-07 15:15:21 公開日:2023-02-06 |
| # DDM$^2$: 生成拡散モデルを用いた自己監督拡散MRI DDM$^2$: Self-Supervised Diffusion MRI Denoising with Generative Diffusion Models ( http://arxiv.org/abs/2302.03018v1 ) ライセンス: Link先を確認 | Tiange Xiang, Mahmut Yurt, Ali B Syed, Kawin Setsompop, Akshay Chaudhari | (参考訳) 磁気共鳴イメージング(MRI)は、一般的な救世医療画像技術である。
しかし、高信号対雑音比MRIスキャンの取得には、長いスキャン時間が必要であり、その結果、コストと患者の不快感が増加し、スループットが低下する。
したがって、特にSNRに強く制限された拡散MRIスキャンのサブタイプについては、MRIスキャンのノイズ化に大きな関心がある。
従来のMRI復号法のほとんどは自然界で管理されているが、多くの解剖学、MRIスキャナー、スキャンパラメーターのための教師付きトレーニングデータセットを取得することは、現実的ではないことを証明している。
本稿では,拡散生成モデルを用いたmriデノージングのための自己教師付きデノージング法である拡散mriデノージングのためのデノージング拡散モデル(ddm$^2$)を提案する。
この3段階のフレームワークは,統計に基づくデノナイジング理論を拡散モデルに統合し,条件生成によるデノナイジングを行う。
推定中,拡散マルコフ連鎖内の中間後方分布から入力雑音の測定値をサンプルとして表現した。
DDM$^2$は,臨床的に関連のある視覚的質的,定量的な測定値で確認された優れた難聴評価性能を示す。 Magnetic resonance imaging (MRI) is a common and life-saving medical imaging technique. However, acquiring high signal-to-noise ratio MRI scans requires long scan times, resulting in increased costs and patient discomfort, and decreased throughput. Thus, there is great interest in denoising MRI scans, especially for the subtype of diffusion MRI scans that are severely SNR-limited. While most prior MRI denoising methods are supervised in nature, acquiring supervised training datasets for the multitude of anatomies, MRI scanners, and scan parameters proves impractical. Here, we propose Denoising Diffusion Models for Denoising Diffusion MRI (DDM$^2$), a self-supervised denoising method for MRI denoising using diffusion denoising generative models. Our three-stage framework integrates statistic-based denoising theory into diffusion models and performs denoising through conditional generation. During inference, we represent input noisy measurements as a sample from an intermediate posterior distribution within the diffusion Markov chain. We conduct experiments on 4 real-world in-vivo diffusion MRI datasets and show that our DDM$^2$ demonstrates superior denoising performances ascertained with clinically-relevant visual qualitative and quantitative metrics. | 翻訳日:2023-02-07 15:14:53 公開日:2023-02-06 |
| # 条件付き予測モデル:リスクと戦略 Conditioning Predictive Models: Risks and Strategies ( http://arxiv.org/abs/2302.00805v2 ) ライセンス: Link先を確認 | Evan Hubinger, Adam Jermyn, Johannes Treutlein, Rubi Hudson, Kate Woolverton | (参考訳) 私たちの意図は、潜在知識問題を引き起こす解決策がなければ、生成的/予測的モデルを安全に利用するために何が必要か、決定的な基準を提供することです。
さらに,大規模言語モデルが世界の予測モデルとして理解され,その概念化は,望ましいアウトプットを予測するよう慎重に条件づけることで,安全かつ強力な利用のための重要な機会をもたらすと信じている。
残念なことに、このようなアプローチはさまざまな致命的な安全性問題を引き起こします。特に、予測モデルが他のaiシステムのアウトプットを予測している状況です。
しかし、特に、我々が望むもの(例えば、人間)を予測するために慎重に調整するモデルによって、我々が望まないもの(例えば、悪質なai)よりも多くの潜在的な解決策が存在する。
さらに、予測対象の単純さから、予測モデルは我々が認識している最も簡単な内部アライメント問題を示すと信じている。
その結果、予測モデルに対する条件付けアプローチは、大きな言語モデルや他の類似した将来モデルから人間レベルとわずかに超人的能力を引き出す最も安全な方法であると考えている。 Our intention is to provide a definitive reference on what it would take to safely make use of generative/predictive models in the absence of a solution to the Eliciting Latent Knowledge problem. Furthermore, we believe that large language models can be understood as such predictive models of the world, and that such a conceptualization raises significant opportunities for their safe yet powerful use via carefully conditioning them to predict desirable outputs. Unfortunately, such approaches also raise a variety of potentially fatal safety problems, particularly surrounding situations where predictive models predict the output of other AI systems, potentially unbeknownst to us. There are numerous potential solutions to such problems, however, primarily via carefully conditioning models to predict the things we want (e.g. humans) rather than the things we don't (e.g. malign AIs). Furthermore, due to the simplicity of the prediction objective, we believe that predictive models present the easiest inner alignment problem that we are aware of. As a result, we think that conditioning approaches for predictive models represent the safest known way of eliciting human-level and slightly superhuman capabilities from large language models and other similar future models. | 翻訳日:2023-02-07 12:57:10 公開日:2023-02-06 |
| # 高速・微分可能・スパーストップ-k:凸解析の観点から Fast, Differentiable and Sparse Top-k: a Convex Analysis Perspective ( http://arxiv.org/abs/2302.01425v2 ) ライセンス: Link先を確認 | Michael E. Sander, Joan Puigcerver, Josip Djolonga, Gabriel Peyr\'e and Mathieu Blondel | (参考訳) トップk演算子は k-スパースベクトルを返し、非ゼロ値は入力の k 最大の値に対応する。
残念ながら、不連続関数であるため、トレーニングされたエンドツーエンドとバックプロパゲーションを組み込むのは難しい。
近年の研究では、正規化または摂動法に基づく微分可能な緩和が検討されている。
しかし、これまでのところ、完全に微分可能でスパースなアプローチは存在しません。
本稿では,新しい微分可能かつスパースなトップk演算子を提案する。
我々はtop-k作用素を、置換の凸包であるペルムタヘドロン上の線型プログラムと考える。
次に、演算子を滑らかにするためにpノルム正規化項を導入し、その計算を等張最適化に還元できることを示す。
我々のフレームワークは既存のフレームワークよりもはるかに一般的であり、例えば、大小の値を選択するトップk演算子を表現できる。
アルゴリズム側では, 隣り合うビオレータ(pav)アルゴリズムのプールに加えて, 等張最適化問題を解決するための新しいgpu/tpuフレンドリーなdykstraアルゴリズムを提案する。
私たちは、ニューラルネットワークの重み付け、微調整の視覚変換器、そして未熟な専門家のルーターとして、オペレーターをうまく利用しました。 The top-k operator returns a k-sparse vector, where the non-zero values correspond to the k largest values of the input. Unfortunately, because it is a discontinuous function, it is difficult to incorporate in neural networks trained end-to-end with backpropagation. Recent works have considered differentiable relaxations, based either on regularization or perturbation techniques. However, to date, no approach is fully differentiable and sparse. In this paper, we propose new differentiable and sparse top-k operators. We view the top-k operator as a linear program over the permutahedron, the convex hull of permutations. We then introduce a p-norm regularization term to smooth out the operator, and show that its computation can be reduced to isotonic optimization. Our framework is significantly more general than the existing one and allows for example to express top-k operators that select values in magnitude. On the algorithmic side, in addition to pool adjacent violator (PAV) algorithms, we propose a new GPU/TPU-friendly Dykstra algorithm to solve isotonic optimization problems. We successfully use our operators to prune weights in neural networks, to fine-tune vision transformers, and as a router in sparse mixture of experts. | 翻訳日:2023-02-07 12:48:49 公開日:2023-02-06 |
| # 逆摂動に対するランダム化アンサンブルのロバスト性について On the Robustness of Randomized Ensembles to Adversarial Perturbations ( http://arxiv.org/abs/2302.01375v2 ) ライセンス: Link先を確認 | Hassan Dbouk, Naresh R. Shanbhag | (参考訳) 1つの分類器が推論中にランダムに選択されるランダム化アンサンブル分類器(recs)は、計算要件が限定された可逆的ロバスト分類器を実現する伝統的な意味付け手法の魅力的な代替として登場した。
しかし、最近の研究は、RECの構築方法が当初主張していたよりも脆弱であることを示し、「RECはいつ有用か?」「限界は何か?」「どのようにトレーニングするのか?」といった根本的な疑問を提起している。
本研究では,recsの理論的限界,有用であるために必要な条件等に関する基礎的な結果が導出され,まずrecsを非神秘化する。
この新たな理解を活用して、ロバストなRECをトレーニングするための新しいブースティングアルゴリズム(BARRE)を提案し、さまざまなネットワークアーキテクチャやデータセットにまたがる強い$\ell_\infty$ノルムバウンドな敵に対する防御効果を実証的に実証する。 Randomized ensemble classifiers (RECs), where one classifier is randomly selected during inference, have emerged as an attractive alternative to traditional ensembling methods for realizing adversarially robust classifiers with limited compute requirements. However, recent works have shown that existing methods for constructing RECs are more vulnerable than initially claimed, casting major doubts on their efficacy and prompting fundamental questions such as: "When are RECs useful?", "What are their limits?", and "How do we train them?". In this work, we first demystify RECs as we derive fundamental results regarding their theoretical limits, necessary and sufficient conditions for them to be useful, and more. Leveraging this new understanding, we propose a new boosting algorithm (BARRE) for training robust RECs, and empirically demonstrate its effectiveness at defending against strong $\ell_\infty$ norm-bounded adversaries across various network architectures and datasets. | 翻訳日:2023-02-07 12:48:29 公開日:2023-02-06 |
| # デュアルパッチノルム Dual PatchNorm ( http://arxiv.org/abs/2302.01327v2 ) ライセンス: Link先を確認 | Manoj Kumar, Mostafa Dehghani, Neil Houlsby | (参考訳) 本稿では,2つのレイヤ正規化レイヤ(LayerNorm)をVision Transformersのパッチ埋め込みレイヤの前後に提案する。
我々は、Transformerブロック自体における代替LayerNorm配置戦略の徹底的な探索の結果、Dual PatchNormが優れていることを示す。
我々の実験では、この自明な修正を取り入れることで、よく調整された視覚変換器よりも精度が向上し、決して傷つけないことが多い。 We propose Dual PatchNorm: two Layer Normalization layers (LayerNorms), before and after the patch embedding layer in Vision Transformers. We demonstrate that Dual PatchNorm outperforms the result of exhaustive search for alternative LayerNorm placement strategies in the Transformer block itself. In our experiments, incorporating this trivial modification, often leads to improved accuracy over well-tuned Vision Transformers and never hurts. | 翻訳日:2023-02-07 12:47:57 公開日:2023-02-06 |
| # get3dhuman:pixel-aligned reconstruction priorsを用いたstylegan-humanの3次元生成モデル Get3DHuman: Lifting StyleGAN-Human into a 3D Generative Model using Pixel-aligned Reconstruction Priors ( http://arxiv.org/abs/2302.01162v2 ) ライセンス: Link先を確認 | Zhangyang Xiong, Di Kang, Derong Jin, Weikai Chen, Linchao Bao, Xiaoguang Han | (参考訳) エンタテインメントからプロの関心事まで,多数のアプリケーションにおいて,高品質な3dデジタルヒューマンの迅速な生成が重要である。
近年の微分可能レンダリングの進歩により、3次元基底真理を必要とせずに3次元生成モデルのトレーニングが可能となった。
しかし、生成された3d人間の品質は、忠実性と多様性の両面で改善の余地がある。
本稿では, 3次元地上データのみを用いて, 生成結果のリアリズムと多様性を著しく高めることのできる, 新たな3次元ヒューマンフレームワーク get3dhuman を提案する。
我々のキーとなる観察は、この3Dジェネレータは、人間の2Dジェネレータと3Dコンストラクタを通して学んだ、人間関係の先行技術から利益を得ることができるということだ。
具体的には,Get3DHumanの潜伏空間とStyleGAN-Humanを,特別に設計された事前ネットワークを介してブリッジする。
前のネットワークの結果は、メインジェネレータネットワークの監視信号として利用される。
効果的なトレーニングを実現するため,生成した特徴量と中間特徴量マップに適用した3つの補正された損失を提案する。
大規模な実験により、Get3DHumanは他の最先端のアプローチを大きく上回り、形状補間、形状再構成、潜伏反転による単一ビュー再構成を含む幅広いアプリケーションをサポートすることが示されている。 Fast generation of high-quality 3D digital humans is important to a vast number of applications ranging from entertainment to professional concerns. Recent advances in differentiable rendering have enabled the training of 3D generative models without requiring 3D ground truths. However, the quality of the generated 3D humans still has much room to improve in terms of both fidelity and diversity. In this paper, we present Get3DHuman, a novel 3D human framework that can significantly boost the realism and diversity of the generated outcomes by only using a limited budget of 3D ground-truth data. Our key observation is that the 3D generator can profit from human-related priors learned through 2D human generators and 3D reconstructors. Specifically, we bridge the latent space of Get3DHuman with that of StyleGAN-Human via a specially-designed prior network, where the input latent code is mapped to the shape and texture feature volumes spanned by the pixel-aligned 3D reconstructor. The outcomes of the prior network are then leveraged as the supervisory signals for the main generator network. To ensure effective training, we further propose three tailored losses applied to the generated feature volumes and the intermediate feature maps. Extensive experiments demonstrate that Get3DHuman greatly outperforms the other state-of-the-art approaches and can support a wide range of applications including shape interpolation, shape re-texturing, and single-view reconstruction through latent inversion. | 翻訳日:2023-02-07 12:47:39 公開日:2023-02-06 |
| # 生体ネットワークと分子表現の学習による分子標的相互作用の予測 Predicting Molecule-Target Interaction by Learning Biomedical Network and Molecule Representations ( http://arxiv.org/abs/2302.00981v3 ) ライセンス: Link先を確認 | Jinjiang Guo and Jie Li | (参考訳) 分子標的相互作用の研究は、標的同定、ヒット同定、経路研究、薬物-薬物相互作用などの観点から、薬物発見において極めて重要である。
既存の手法の多くは、生体ネットワーク情報または分子構造情報を使用して、潜在的な相互作用リンクを予測する。
しかし, 生体医学的ネットワーク情報に基づく手法は, 通常はコールドスタート問題に苦しむが, 構造的手法は構造/相互作用の仮定とデータ品質によって性能が制限されることが多い。
これらの問題に対処するために,生物医学的ネットワークトポロジと分子構造・化学情報の両方を表現として学習し,与えられた分子と標的対の潜在的な相互作用を予測する,擬似シムグラフニューラルネットワーク手法 MTINet+ を提案する。
MTINet+では、バイオメディカルネットワークの既知の相互作用から、与えられた分子の1-ホップ部分グラフと標的ペアを抽出し、一方、分子構造と化学的属性を分子情報として処理する。
mtinet+はこれら2種類の情報を、ペアリンクを予測する埋め込み機能として学習する。
異なる分子標的相互作用タスクの実験では、mtinet+は最先端のベースラインを上回る。
さらに, 設計したネットワークスポーシティ実験において, MTINet+は, 異なる疎いバイオメディカルネットワークに対して強い堅牢性を示す。 The study of molecule-target interaction is quite important for drug discovery in terms of target identification, hit identification, pathway study, drug-drug interaction, etc. Most existing methodologies utilize either biomedical network information or molecule structural features to predict potential interaction link. However, the biomedical network information based methods usually suffer from cold start problem, while structure based methods often give limited performance due to the structure/interaction assumption and data quality. To address these issues, we propose a pseudo-siamese Graph Neural Network method, namely MTINet+, which learns both biomedical network topological and molecule structural/chemical information as representations to predict potential interaction of given molecule and target pair. In MTINet+, 1-hop subgraphs of given molecule and target pair are extracted from known interaction of biomedical network as topological information, meanwhile the molecule structural and chemical attributes are processed as molecule information. MTINet+ learns these two types of information as embedding features for predicting the pair link. In the experiments of different molecule-target interaction tasks, MTINet+ significantly outperforms over the state-of-the-art baselines. In addition, in our designed network sparsity experiments , MTINet+ shows strong robustness against different sparse biomedical networks. | 翻訳日:2023-02-07 12:47:12 公開日:2023-02-06 |
| # 気候変動が重要なインフラに与える影響を科学的文献から分析する:弱い教師付きnlpアプローチ Analyzing the impact of climate change on critical infrastructure from the scientific literature: A weakly supervised NLP approach ( http://arxiv.org/abs/2302.01887v2 ) ライセンス: Link先を確認 | Tanwi Mallick, Joshua David Bergerson, Duane R. Verner, John K Hutchison, Leslie-Anne Levy, Prasanna Balaprakash | (参考訳) 自然言語処理(nlp)は、大量の気候変化とインフラ関連科学文献の分析に有望なアプローチである。
しかし、ベストプラクティスのNLP技術は、関連ドキュメント(コーパス)の大規模な収集を必要とする。
さらに、機械学習とディープラーニング技術を用いたNLP技術では、教師付きモデルをトレーニングするために、コーパスの重要なサブセットに対するユーザ定義基準に基づいて、ラベルをグループ化する必要がある。
数百のドキュメントに人事の専門家をラベル付けするのも時間を要する作業です。
このプロセスの迅速化を目的として,カテゴリと文書間の意味的類似性を活用する弱監督型NLPアプローチを開発した。
(i)大規模オープンアクセスコーパスを分割してトピック固有のコーパスを確立すること、及び
(ii)トピック特定コーパスのカテゴリラベルを生成する。
対象者ラベル付けの1ヶ月のプロセスと比較して,弱監督と教師付き学習を約13時間で,コーパス全体に対してカテゴリラベルを割り当てる。
このラベル付き気候とncfコーパスは、重要なインフラに対する気候変動の様々な影響の関心のトピック(またはトピックの組み合わせ)を議論する文書をターゲットとし、効率的な識別を可能にし、科学文献のユーザビリティを改善し、最終的には政策と意思決定の強化を支援する。
この能力を実証するために,気候の危険度とNCFのペアのトピックモデリングを行い,これらのカテゴリの交差点でトレンドのトピックを発見する。
この手法は、アナリストや意思決定者にとって、関連するトピックやそのトピックに関連する最も重要なドキュメントを素早く把握するのに有用である。 Natural language processing (NLP) is a promising approach for analyzing large volumes of climate-change and infrastructure-related scientific literature. However, best-in-practice NLP techniques require large collections of relevant documents (corpus). Furthermore, NLP techniques using machine learning and deep learning techniques require labels grouping the articles based on user-defined criteria for a significant subset of a corpus in order to train the supervised model. Even labeling a few hundred documents with human subject-matter experts is a time-consuming process. To expedite this process, we developed a weak supervision-based NLP approach that leverages semantic similarity between categories and documents to (i) establish a topic-specific corpus by subsetting a large-scale open-access corpus and (ii) generate category labels for the topic-specific corpus. In comparison with a months-long process of subject-matter expert labeling, we assign category labels to the whole corpus using weak supervision and supervised learning in about 13 hours. The labeled climate and NCF corpus enable targeted, efficient identification of documents discussing a topic (or combination of topics) of interest and identification of various effects of climate change on critical infrastructure, improving the usability of scientific literature and ultimately supporting enhanced policy and decision making. To demonstrate this capability, we conduct topic modeling on pairs of climate hazards and NCFs to discover trending topics at the intersection of these categories. This method is useful for analysts and decision-makers to quickly grasp the relevant topics and most important documents linked to the topic. | 翻訳日:2023-02-07 12:40:04 公開日:2023-02-06 |
| # rbmsの学習ダイナミクスを用いた教師なし階層クラスタリング Unsupervised hierarchical clustering using the learning dynamics of RBMs ( http://arxiv.org/abs/2302.01851v2 ) ライセンス: Link先を確認 | Aur\'elien Decelle, Lorenzo Rosset, Beatriz Seoane | (参考訳) 実世界のデータセットは、しばしば複雑である程度階層的であり、異なる抽象レベルで共通の特徴を共有するデータのグループとサブグループがある。
これらのデータセットの隠れた構造を理解し、解明することは、多くの実用的応用を持つ重要なタスクである。
本稿では,制約付きボルツマンマシン(rbm)の学習ダイナミクスを活用し,リレーショナル・データ・ツリーを構築するための新しい汎用的手法を提案する。
提案手法は,Plefka展開から派生した平均場アプローチに基づいて,無秩序なシステムの文脈で開発された。
容易に解釈できるように設計されている。
本手法を人工的に作成した階層型データセットと3つの異なる実世界のデータセット(桁の画像、ヒトゲノムの変異、相同なタンパク質群)で検証した。
この手法はデータの階層構造を自動的に識別することができる。
これは、タンパク質間の関係がそれらの機能と進化を理解するために重要である相同性タンパク質配列の研究に有用である。 Datasets in the real world are often complex and to some degree hierarchical, with groups and sub-groups of data sharing common characteristics at different levels of abstraction. Understanding and uncovering the hidden structure of these datasets is an important task that has many practical applications. To address this challenge, we present a new and general method for building relational data trees by exploiting the learning dynamics of the Restricted Boltzmann Machine (RBM). Our method is based on the mean-field approach, derived from the Plefka expansion, and developed in the context of disordered systems. It is designed to be easily interpretable. We tested our method in an artificially created hierarchical dataset and on three different real-world datasets (images of digits, mutations in the human genome, and a homologous family of proteins). The method is able to automatically identify the hierarchical structure of the data. This could be useful in the study of homologous protein sequences, where the relationships between proteins are critical for understanding their function and evolution. | 翻訳日:2023-02-07 12:39:39 公開日:2023-02-06 |
| # エージェントによる人間行動モデリング」特集号によせて The Agent-based Modelling for Human Behaviour Special Issue ( http://arxiv.org/abs/2302.01789v2 ) ライセンス: Link先を確認 | Soo Ling Lim, Peter J. Bentley | (参考訳) もし人間の社会がそんなに複雑なら、どうやって理解したいと思うのか?
人工生命は一つの答えを与える。
人工生命の分野は様々な内省的な研究から成り、同じ質問を大々的に求めている。
私たちは誰ですか。
なぜ私たちのように振る舞うのか?
生命の起源から始めると、これらの質問に対する興味深い答えが得られます。
しかし、一部の研究者は研究を現代に近づけることを選択している。
結局のところ、私たちは人間です。
私たちの祖先が自己複製分子だったから、数十億年が経ちました。
したがって、私たちと私たちの社会のより直接的な研究は、実際的な知識につながるかもしれない真実を明らかにすることができる。
この特集の論文は、この種の研究を行う科学者を集結させるものだ。 If human societies are so complex, then how can we hope to understand them? Artificial Life gives us one answer. The field of Artificial Life comprises a diverse set of introspective studies that largely ask the same questions, albeit from many different perspectives: Why are we here? Who are we? Why do we behave as we do? Starting with the origins of life provides us with fascinating answers to some of these questions. However, some researchers choose to bring their studies closer to the present day. We are after all, human. It has been a few billion years since our ancestors were self-replicating molecules. Thus, more direct studies of ourselves and our human societies can reveal truths that may lead to practical knowledge. The papers in this special issue bring together scientists who choose to perform this kind of research. | 翻訳日:2023-02-07 12:39:24 公開日:2023-02-06 |
| # LIQUID: リスト質問回答データセット生成のためのフレームワーク LIQUID: A Framework for List Question Answering Dataset Generation ( http://arxiv.org/abs/2302.01691v2 ) ライセンス: Link先を確認 | Seongyun Lee, Hyunjae Kim, Jaewoo Kang | (参考訳) 質問応答(QA)モデルは、手動アノテーションのコストを削減するためにデータ生成フレームワークの開発を必要とする大規模なトレーニングデータセットに依存することが多い。
最近の研究は、単一のスパン回答で合成質問を生成することを目的としているが、複数の非連続スパンを回答とするリスト質問の作成に関する研究は行われていない。
このギャップに対処するため、ラベルなしコーパスからリストQAデータセットを生成する自動化フレームワークLIQUIDを提案する。
まず、ウィキペディアまたはPubMedからの節を要約に変換し、要約されたテキストから名前付きエンティティを候補回答として抽出する。
これにより、文脈で意味的に相関し、従ってリストの質問を構成するのに適した回答を選択できる。
次に、抽出されたエンティティと元のパスを含む既製の質問生成器を用いて質問を作成する。
最後に、繰り返しフィルタリングと解答拡張を行い、解答の精度と完全性を確保する。
合成データを用いて,MultiSpanQAでは5.0点,Quorefでは1.9点,BioASQベンチマークでは2.8点の精度で,過去のベストリストQAモデルの性能を大幅に向上させた。 Question answering (QA) models often rely on large-scale training datasets, which necessitates the development of a data generation framework to reduce the cost of manual annotations. Although several recent studies have aimed to generate synthetic questions with single-span answers, no study has been conducted on the creation of list questions with multiple, non-contiguous spans as answers. To address this gap, we propose LIQUID, an automated framework for generating list QA datasets from unlabeled corpora. We first convert a passage from Wikipedia or PubMed into a summary and extract named entities from the summarized text as candidate answers. This allows us to select answers that are semantically correlated in context and is, therefore, suitable for constructing list questions. We then create questions using an off-the-shelf question generator with the extracted entities and original passage. Finally, iterative filtering and answer expansion are performed to ensure the accuracy and completeness of the answers. Using our synthetic data, we significantly improve the performance of the previous best list QA models by exact-match F1 scores of 5.0 on MultiSpanQA, 1.9 on Quoref, and 2.8 averaged across three BioASQ benchmarks. | 翻訳日:2023-02-07 12:39:14 公開日:2023-02-06 |
| # 短いビデオレコメンデーションのための2段階制約アクター・クライブ Two-Stage Constrained Actor-Critic for Short Video Recommendation ( http://arxiv.org/abs/2302.01680v2 ) ライセンス: Link先を確認 | Qingpeng Cai, Zhenghai Xue, Chi Zhang, Wanqi Xue, Shuchang Liu, Ruohan Zhan, Xueliang Wang, Tianyou Zuo, Wentao Xie, Dong Zheng, Peng Jiang, Kun Gai | (参考訳) ソーシャルメディア上でのショートビデオの普及は、ビデオ共有プラットフォームの推奨システムを最適化する新たな機会と課題をもたらす。
ユーザはシステムとシーケンシャルに対話し、複数のビデオとのさまざまなタイプのインタラクションを含む、複雑で多面的な応答を提供する。
プラットフォームは、ユーザーの累積時計時間(メインゴール)を長期に最適化することを目的としており、これは強化学習によって効果的に最適化できる。
一方、プラットフォームは、フォロー、共有など、複数のユーザインタラクション(補助的な目標)のレスポンスを調節する制約を満たす必要もあります。
本稿では,CMDP(Constrained Markov Decision Process)として,短いビデオレコメンデーションの問題を定式化する。
従来の制約付き強化学習アルゴリズムはこの設定ではうまく動作しない。
そこで我々は,新たな2段階制約付きアクター批判手法を提案する: ステージ1では,各補助信号の最適化について個別のポリシーを学習する。
第二段階では 政策を学びます
(i)主信号の最適化及び
(二)第一段階において学んだ政策に近づかないこと。これにより、この主要な政策の補助者に対する性能が実質的に保証される。
大規模なオフライン評価を通じて,本手法の目的を最適化する上での代替手法に対する有効性を実証する。
さらに,提案手法は短いビデオレコメンデーションのライブ実験において,視聴時間と対話時間の両方において,他のベースラインを大きく上回る効果を示す。
当社のアプローチは,プラットフォーム上のユーザエクスペリエンスを最適化する目的で,本番システムで完全にローンチされています。 The wide popularity of short videos on social media poses new opportunities and challenges to optimize recommender systems on the video-sharing platforms. Users sequentially interact with the system and provide complex and multi-faceted responses, including watch time and various types of interactions with multiple videos. One the one hand, the platforms aims at optimizing the users' cumulative watch time (main goal) in long term, which can be effectively optimized by Reinforcement Learning. On the other hand, the platforms also needs to satisfy the constraint of accommodating the responses of multiple user interactions (auxiliary goals) such like, follow, share etc. In this paper, we formulate the problem of short video recommendation as a Constrained Markov Decision Process (CMDP). We find that traditional constrained reinforcement learning algorithms can not work well in this setting. We propose a novel two-stage constrained actor-critic method: At stage one, we learn individual policies to optimize each auxiliary signal. At stage two, we learn a policy to (i) optimize the main signal and (ii) stay close to policies learned at the first stage, which effectively guarantees the performance of this main policy on the auxiliaries. Through extensive offline evaluations, we demonstrate effectiveness of our method over alternatives in both optimizing the main goal as well as balancing the others. We further show the advantage of our method in live experiments of short video recommendations, where it significantly outperforms other baselines in terms of both watch time and interactions. Our approach has been fully launched in the production system to optimize user experiences on the platform. | 翻訳日:2023-02-07 12:38:53 公開日:2023-02-06 |
| # NFT販売価格予測のためのマルチモーダル表現学習 Show me your NFT and I tell you how it will perform: Multimodal representation learning for NFT selling price prediction ( http://arxiv.org/abs/2302.01676v2 ) ライセンス: Link先を確認 | Davide Costa, Lucio La Cava, Andrea Tagarelli | (参考訳) 非ファンジブルトークン(Non-Fungible Tokens、NFT)は、ブロックチェーン技術とスマートコントラクトに基づく、デジタルアートフォーム(アートワークやコレクションブルなど)上のユニークな暗号資産の所有行為を表す。
2021年に急上昇したNFTは、暗号通貨愛好家や投資家の注目を集め、この黒字市場への有望な投資を図っている。
しかし、NFTの財務業績予測は、これまで広く研究されていない。
本研究では,NFT 画像とそのテキスト記述が NFT 販売価格の予測に不可欠なプロキシであるという仮説に基づいて,上記の問題に対処する。
そこで本研究では,NFTのイメージとテキストのコレクション上に,グラフニューラルネットワークモデルとともにトランスフォーマーベースの言語と視覚モデルをトレーニングするための,新しいマルチモーダルディープラーニングフレームワークであるMERLINを提案する。
MERLINの重要な側面は、NFTトレーディングに関心のあるユーザーが扱おうとする主要なデータ、すなわちNFT画像とテキスト記述のみを利用するため、金融機能に対する独立性である。
このようなデータの密度の高い表現を学習することにより、MERLINモデルにより価格カテゴリー分類タスクが実行され、推論フェーズにおけるユーザの好みに応じて調整することで、異なるリスク・リターン投資プロファイルを模倣することができる。
公開データセットでの実験的評価では、マーリンモデルがいくつかの金融評価基準に従って重要なパフォーマンスを達成し、収益性のある投資を促進し、金融特徴に基づくベースライン機械学習分類器を打ち負かすことが示されている。 Non-Fungible Tokens (NFTs) represent deeds of ownership, based on blockchain technologies and smart contracts, of unique crypto assets on digital art forms (e.g., artworks or collectibles). In the spotlight after skyrocketing in 2021, NFTs have attracted the attention of crypto enthusiasts and investors intent on placing promising investments in this profitable market. However, the NFT financial performance prediction has not been widely explored to date. In this work, we address the above problem based on the hypothesis that NFT images and their textual descriptions are essential proxies to predict the NFT selling prices. To this purpose, we propose MERLIN, a novel multimodal deep learning framework designed to train Transformer-based language and visual models, along with graph neural network models, on collections of NFTs' images and texts. A key aspect in MERLIN is its independence on financial features, as it exploits only the primary data a user interested in NFT trading would like to deal with, i.e., NFT images and textual descriptions. By learning dense representations of such data, a price-category classification task is performed by MERLIN models, which can also be tuned according to user preferences in the inference phase to mimic different risk-return investment profiles. Experimental evaluation on a publicly available dataset has shown that MERLIN models achieve significant performances according to several financial assessment criteria, fostering profitable investments, and also beating baseline machine-learning classifiers based on financial features. | 翻訳日:2023-02-07 12:38:27 公開日:2023-02-06 |
| # learnable typewriter:テキスト行分析のための生成的アプローチ The Learnable Typewriter: A Generative Approach to Text Line Analysis ( http://arxiv.org/abs/2302.01660v2 ) ライセンス: Link先を確認 | Ioannis Siglidis, Nicolas Gonthier, Julien Gaubil, Tom Monnier and Mathieu Aubry | (参考訳) テキスト行中の文字解析と認識に対する生成文書固有のアプローチを提案する。
私たちの主なアイデアは、教師なしのマルチオブジェクトセグメンテーションメソッド、特にスプライトと呼ばれる限られた量のビジュアル要素に基づいてイメージを再構築するメソッドを構築することです。
当社のアプローチでは,多数の異なる文字を学習し,利用可能な行レベルのアノテーションを活用することが可能です。
私たちの貢献は2倍です。
まず,テキスト行解析のための深層非教師付き多目的セグメンテーション手法の適応と評価を行う。
これらの手法は、主に合成データに対して完全に教師なしで評価されているため、実際のテキスト画像に適応・定量的に評価でき、弱い監督で訓練できることを示すことは大きな進歩である。
第2に,本手法の新たな応用の可能性,特に手書きの歴史とバリエーションを研究する古文書学の分野,および暗号解析への応用の可能性を示す。
私たちは、Google1000データセットの印刷ボリューム、Copiale暗号、12世紀から13世紀初頭の歴史的な手書きのチャーターの3つの非常に異なるデータセットに対するアプローチを評価しました。 We present a generative document-specific approach to character analysis and recognition in text lines. Our main idea is to build on unsupervised multi-object segmentation methods and in particular those that reconstruct images based on a limited amount of visual elements, called sprites. Our approach can learn a large number of different characters and leverage line-level annotations when available. Our contribution is twofold. First, we provide the first adaptation and evaluation of a deep unsupervised multi-object segmentation approach for text line analysis. Since these methods have mainly been evaluated on synthetic data in a completely unsupervised setting, demonstrating that they can be adapted and quantitatively evaluated on real text images and that they can be trained using weak supervision are significant progresses. Second, we demonstrate the potential of our method for new applications, more specifically in the field of paleography, which studies the history and variations of handwriting, and for cipher analysis. We evaluate our approach on three very different datasets: a printed volume of the Google1000 dataset, the Copiale cipher and historical handwritten charters from the 12th and early 13th century. | 翻訳日:2023-02-07 12:37:50 公開日:2023-02-06 |
| # 座標再最適化による連続量子ゲートファミリーの効率的な制御パルス Efficient control pulses for continuous quantum gate families through coordinated re-optimization ( http://arxiv.org/abs/2302.01553v2 ) ライセンス: Link先を確認 | Jason Chadwick and Frederic T. Chong | (参考訳) 少数の参照パルスを校正した後,量子ゲートの連続パラメータ集合に対して高速に高忠実度制御パルスを生成する方法を提案する。
ゲートファミリ内の複数の参照操作を選択し、これらの操作を実装するパルスを直接最適化し、その後、パルスを反復的に最適化して、その形状が密接に関連する操作に類似するように誘導する。
直交補間法は連続集合における任意の演算に対する高忠実度パルスを得ることができる。
この手順は、2量子ゲートの3パラメータカルタン分解において、2量子ゲートの制御パルスを得るためのものである。
この方法は任意のゲートパラメータに一般化され、パルス最適化アルゴリズムで使用することができる。 We present a general method to quickly generate high-fidelity control pulses for any continuously-parameterized set of quantum gates after calibrating a small number of reference pulses. We pick several reference operations in the gate family of interest and directly optimize pulses that implement these operations, then iteratively re-optimize the pulses to guide their shapes to be similar for operations that are closely related. A straightforward interpolation method can then obtain high-fidelity pulses for arbitrary operations in the continuous set. We demonstrate this procedure on the three-parameter Cartan decomposition of two-qubit gates to obtain control pulses for any two-qubit gate, up to single-qubit operations, with consistently high fidelity. The method generalizes to any number of gate parameters and can be used with any pulse optimization algorithm. | 翻訳日:2023-02-07 12:37:33 公開日:2023-02-06 |
| # DCM:最小相補エネルギーの原理に基づく深部エネルギー法 DCM: Deep energy method based on the principle of minimum complementary energy ( http://arxiv.org/abs/2302.01538v2 ) ライセンス: Link先を確認 | Yizheng Wang | (参考訳) 最小ポテンシャルと相補エネルギーの原理は固体力学において最も重要な変分原理である。
深層エネルギー法(英: deep energy method、dem)は、最小ポテンシャルエネルギーの原理に基づいており、最小相補エネルギーの重要な形態を欠いている。
そこで本研究では,最小相補エネルギー(DCM)の原理に基づく深部エネルギー法を提案する。
DCMの出力関数は、自然に平衡方程式を満たす応力関数である。
提案したDCMアルゴリズム(DCM-P)を拡張し,エアリー応力関数の双調和方程式を自然に満足する項を追加する。
我々は,演算子学習と物理方程式を組み合わせることで,分岐ネット,トランクネット,ベースネット,特定のネットを含む深部補完エネルギー演算子法(DCM-O)を提案する。
DCM-Oは、データを介して既存の高忠実度数値結果を組み合わせてDCM-Oを訓練する。
次に、相補エネルギーを用いてDCM-Oで分岐ネットとトランクネットをトレーニングする。
DCMの性能を解析するために,最も一般的な応力関数であるPrendtlとAiryの応力関数の数値結果を示す。
提案手法は, 種々の境界条件を用いて, 代表的な機械的問題をモデル化するために用いられる。
DCMと既存のPINNとDEMアルゴリズムを比較した。
その結果,提案したDCMの利点は,理論や数値実験に反映される支配的変位境界条件の問題に対処するのに適していることがわかった。
DCM-PとDCM-OはDCMの精度と計算収束速度を改善する。
DCMは深部エネルギー法の必須補助エネルギー形態である。
エネルギー法に基づく演算子学習はデータと物理方程式のバランスが良く、計算力学に大きな研究の展望を与えると信じている。 The principle of minimum potential and complementary energy are the most important variational principles in solid mechanics. The deep energy method (DEM), which has received much attention, is based on the principle of minimum potential energy and lacks the important form of minimum complementary energy. Thus, we propose the deep energy method based on the principle of minimum complementary energy (DCM). The output function of DCM is the stress function that naturally satisfies the equilibrium equation. We extend the proposed DCM algorithm (DCM-P), adding the terms that naturally satisfy the biharmonic equation in the Airy stress function. We combine operator learning with physical equations and propose a deep complementary energy operator method (DCM-O), including branch net, trunk net, basis net, and particular net. DCM-O first combines existing high-fidelity numerical results to train DCM-O through data. Then the complementary energy is used to train the branch net and trunk net in DCM-O. To analyze DCM performance, we present the numerical result of the most common stress functions, the Prandtl and Airy stress function. The proposed method DCM is used to model the representative mechanical problems with the different types of boundary conditions. We compare DCM with the existing PINNs and DEM algorithms. The result shows the advantage of the proposed DCM is suitable for dealing with problems of dominated displacement boundary conditions, which is reflected in theory and our numerical experiments. DCM-P and DCM-O improve the accuracy of DCM and the speed of calculation convergence. DCM is an essential supplementary energy form of the deep energy method. We believe that operator learning based on the energy method can balance data and physical equations well, giving computational mechanics broad research prospects. | 翻訳日:2023-02-07 12:37:20 公開日:2023-02-06 |
| # 遅延フィードバックを用いた逐次決定のための削減型フレームワーク A Reduction-based Framework for Sequential Decision Making with Delayed Feedback ( http://arxiv.org/abs/2302.01477v2 ) ライセンス: Link先を確認 | Yunchang Yang, Han Zhong, Tianhao Wu, Bin Liu, Liwei Wang, Simon S. Du | (参考訳) バンディット,単一エージェントマルコフ決定プロセス (mdps), マルコフゲーム (mgs) を含むマルチエージェントシーケンシャル意思決定における確率的遅延フィードバックについて検討した。
本稿では, 逐次決定のためのマルチバッチアルゴリズムを, 短時間のフィードバックで, 逐次決定における確率的遅延を処理できるサンプル効率アルゴリズムに変換する, 新たなリダクションベースフレームワークを提案する。
我々のフレームワークに様々なマルチバッチアルゴリズムを組み込むことで、我々のフレームワークがバンドレート、表型MDP、表型MGの既存の結果にマッチまたは改善するだけでなく、関数近似による逐次決定の遅延に関する最初の研究ラインも提供する。
まとめると、遅延フィードバックを伴う複数エージェントのシーケンシャルな意思決定のための、鋭い結果の完全なセットを提供する。 We study stochastic delayed feedback in general multi-agent sequential decision making, which includes bandits, single-agent Markov decision processes (MDPs), and Markov games (MGs). We propose a novel reduction-based framework, which turns any multi-batched algorithm for sequential decision making with instantaneous feedback into a sample-efficient algorithm that can handle stochastic delays in sequential decision making. By plugging different multi-batched algorithms into our framework, we provide several examples demonstrating that our framework not only matches or improves existing results for bandits, tabular MDPs, and tabular MGs, but also provides the first line of studies on delays in sequential decision making with function approximation. In summary, we provide a complete set of sharp results for multi-agent sequential decision making with delayed feedback. | 翻訳日:2023-02-07 12:36:53 公開日:2023-02-06 |