このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス（CC 0, CC BY, CC BY-SA）の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。（arxivのメタデータは CC 0です。） 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。
公開日が20230215となっている論文です。
| Title | Authors | Abstract | 論文公表日・翻訳日 |
|---|---|---|---|
| # T-Normsによる機械学習の損失関数 T-Norms Driven Loss Functions for Machine Learning ( http://arxiv.org/abs/1907.11468v5 ) ライセンス: Link先を確認 | Giuseppe Marra, Francesco Giannini, Michelangelo Diligenti, Marco Maggini and Marco Gori | (参考訳) ニューラルシンボリックアプローチは、この知識をデータから導き出すことなく、学習者に事前知識を注入することが最近人気を集めている。
これらのアプローチは、教師付きデータの量を大幅に削減した競合ソリューションを学習する可能性がある。
ニューラルシンボリックアプローチの大きなクラスは、事前知識を表す一階述語論理に基づいており、ファジィ論理を用いて微分可能な形式に緩和される。
本稿では、t-ノルム生成器の選択により、これらのニューラルシンボリック学習タスクを表現する損失関数を曖昧に決定できることを示す。
教師付き学習に制限された場合、提案された理論装置は一般的なクロスエントロピー損失をきれいに正当化し、より高速な収束と、非常に深い構造における消滅する勾配問題を低減することが示されている。
しかし,提案する学習定式化は,交叉エントロピー損失の利点を,ニューラルシンボリック法で表現できる一般的な知識にまで拡張する。
したがって、この手法は、実験結果に示されている新しい種類の損失関数の開発を可能にし、文献で提案されたアプローチよりも高速な収束率をもたらす。 Neural-symbolic approaches have recently gained popularity to inject prior knowledge into a learner without requiring it to induce this knowledge from data. These approaches can potentially learn competitive solutions with a significant reduction of the amount of supervised data. A large class of neural-symbolic approaches is based on First-Order Logic to represent prior knowledge, relaxed to a differentiable form using fuzzy logic. This paper shows that the loss function expressing these neural-symbolic learning tasks can be unambiguously determined given the selection of a t-norm generator. When restricted to supervised learning, the presented theoretical apparatus provides a clean justification to the popular cross-entropy loss, which has been shown to provide faster convergence and to reduce the vanishing gradient problem in very deep structures. However, the proposed learning formulation extends the advantages of the cross-entropy loss to the general knowledge that can be represented by a neural-symbolic method. Therefore, the methodology allows the development of a novel class of loss functions, which are shown in the experimental results to lead to faster convergence rates than the approaches previously proposed in the literature. | 翻訳日:2023-03-25 04:22:36 公開日:2023-02-15 |
| # 単一画像における共分散検出のためのエンドツーエンドネットワーク An End-to-End Network for Co-Saliency Detection in One Single Image ( http://arxiv.org/abs/1910.11819v2 ) ライセンス: Link先を確認 | Yuanhao Yue, Qin Zou, Hongkai Yu, Qian Wang, Zhongyuan Wang and Song Wang | (参考訳) 単一の画像内の共サリエンシー検出は、ほとんど注意を払われず、まだ十分に対処されていない共通のビジョン問題である。
既存の手法ではボトムアップ戦略を用いて、色や形状などの視覚的プリミティブをまず検出し、グループ化してコ・サリエンシマップにマージした画像において、コ・サリエンシを推定する。
しかし、人間の視覚ではボトムアップ戦略とトップダウン戦略が組み合わさって、本質的には共給性は複雑に知覚される。
そこで本研究では,バックボーンネットと2つの分岐ネットからなるエンドツーエンドのトレーニングネットワークを提案する。
バックボーンネットは,サリエンシ予測のためのトップダウンガイダンスとしてグラウンドトルースマスクを用いており,一方2つのブランチネットは,地域特徴マッピングとクラスタリングのためのトリプルト提案を構築しており,ネットワークはコサリアント領域に敏感なボトムアップとなる。
提案手法を評価するために,各画像に共存する2,019個の自然画像のデータセットを構築した。
実験の結果,28fpsの動作速度で最先端の精度が得られることがわかった。 Co-saliency detection within a single image is a common vision problem that has received little attention and has not yet been well addressed. Existing methods often used a bottom-up strategy to infer co-saliency in an image in which salient regions are firstly detected using visual primitives such as color and shape and then grouped and merged into a co-saliency map. However, co-saliency is intrinsically perceived complexly with bottom-up and top-down strategies combined in human vision. To address this problem, this study proposes a novel end-to-end trainable network comprising a backbone net and two branch nets. The backbone net uses ground-truth masks as top-down guidance for saliency prediction, whereas the two branch nets construct triplet proposals for regional feature mapping and clustering, which drives the network to be bottom-up sensitive to co-salient regions. We construct a new dataset of 2,019 natural images with co-saliency in each image to evaluate the proposed method. Experimental results show that the proposed method achieves state-of-the-art accuracy with a running speed of 28 fps. | 翻訳日:2023-03-25 04:12:45 公開日:2023-02-15 |
| # VideoSum: 外科的ビデオ要約のためのPythonライブラリ VideoSum: A Python Library for Surgical Video Summarization ( http://arxiv.org/abs/2303.10173v1 ) ライセンス: Link先を確認 | Luis C. Garcia-Peraza-Herrera, Sebastien Ourselin and Tom Vercauteren | (参考訳) ディープラーニング(DL)アルゴリズムの性能は,注釈付きデータの量や品質に大きく影響されている。
しかし、外科データサイエンスでは、それへのアクセスは限られている。
したがって、注釈付きSDSデータの不足を緩和する手法を開発するために、かなりの研究努力がなされている。
並行して、CAI(Computer Assisted Interventions)データセットの数が増加しているが、その規模は限られている。
これらの前提で、データキュレーションは多くのSDS研究の重要要素になりつつある。
手術用ビデオデータセットは、キュレーションを要求しており、専用のサポートツールの恩恵を受ける。
本稿では,映像の可視化,注釈,処理を容易にするために,代表的なフレームのストーリーボードやコラージュに手術映像を要約する。
自然画像ではビデオ要約が確立されている。
しかし、最先端の手法は通常、人工アノテーションで訓練されたモデルに依存し、手術ビデオで評価された方法はほとんどなく、作業のためのソフトウェアパッケージは限られている。
さまざまな教師なし手法を含む外科的ビデオからストーリーボードを生成するための,使いやすくオープンソースのPythonライブラリである videoum を提案する。 The performance of deep learning (DL) algorithms is heavily influenced by the quantity and the quality of the annotated data. However, in Surgical Data Science, access to it is limited. It is thus unsurprising that substantial research efforts are made to develop methods aiming at mitigating the scarcity of annotated SDS data. In parallel, an increasing number of Computer Assisted Interventions (CAI) datasets are being released, although the scale of these remain limited. On these premises, data curation is becoming a key element of many SDS research endeavors. Surgical video datasets are demanding to curate and would benefit from dedicated support tools. In this work, we propose to summarize surgical videos into storyboards or collages of representative frames to ease visualization, annotation, and processing. Video summarization is well-established for natural images. However, state-of-the-art methods typically rely on models trained on human-made annotations, few methods have been evaluated on surgical videos, and the availability of software packages for the task is limited. We present videosum, an easy-to-use and open-source Python library to generate storyboards from surgical videos that contains a variety of unsupervised methods. | 翻訳日:2023-03-25 03:36:25 公開日:2023-02-15 |
| # log(n$) qubitsを用いたn$-vertex maxcut問題を解くための雑音中規模量子コンピューティングアルゴリズム Noisy intermediate-scale quantum computing algorithm for solving an $n$-vertex MaxCut problem with log($n$) qubits ( http://arxiv.org/abs/2110.10788v3 ) ライセンス: Link先を確認 | Marko J. Ran\v{c}i\'c | (参考訳) 量子コンピュータは、従来のコンピュータに比べてより効率的な問題の解法を可能にするデバイスである。
量子エラー修正コンピュータの開発スケジュールは不明だが、量子コンピューティングコミュニティは現在利用可能なノイズの多い中間規模量子コンピュータ(NISQ)のためのアルゴリズムの開発に多くの注意を払っている。
これまでのところ、nisqでは最適化問題は最もよく研究されており、量子近似最適化アルゴリズム (quantum approximation optimization algorithm,qaoa) に取り組まれていることが多い。
このアルゴリズムは、エッジの最大分離(MaxCut)を持つグラフ分割の計算でよく知られているが、グラフに関連する他の問題を簡単に計算できる。
本稿では,qaoaと比較して指数関数的に少ない量子ビットを用いる新しい量子最適化アルゴリズムを提案する。
このようなパフォーマンスの改善により、公開可能な5量子ビットゲートベースの量子コンピュータ上で、32ノードのグラフを分割できるようになりました。
これらの結果は、Google Sycamoreのようなゲートベースの量子コンピュータにおける最先端の実験と比較して、グラフサイズが40%増加することを示している。
得られた下限は、実際のハードウェアベンチマークのソリューションでは54.9%、理想的な量子コンピュータのシミュレータでは77.6%である。
さらに、128ノードのグラフで表される大規模な最適化問題は、量子コンピュータのシミュレータに取り組み、再びより小さなサブプロブレムに分割することなく67.9%の低い解が得られる。
量子コンピュータのシナジーにおける強力な遺伝的最適化手法に関する研究 Quantum computers are devices, which allow more efficient solutions of problems as compared to their classical counterparts. As the timeline to developing a quantum-error corrected computer is unclear, the quantum computing community has dedicated much attention to developing algorithms for currently available noisy intermediate-scale quantum computers (NISQ). Thus far, within NISQ, optimization problems are one of the most commonly studied and are quite often tackled with the quantum approximate optimization algorithm (QAOA). This algorithm is best known for computing graph partitions with a maximal separation of edges (MaxCut), but can easily calculate other problems related to graphs. Here, I present a novel quantum optimization algorithm, which uses exponentially less qubits as compared to the QAOA while requiring a significantly reduced number of quantum operations to solve the MaxCut problem. Such an improved performance allowed me to partition graphs with 32 nodes on publicly available 5 qubit gate-based quantum computers without any preprocessing such as division of the graph into smaller subgraphs. These results represent a 40% increase in graph size as compared to state-of-art experiments on gate-based quantum computers such as Google Sycamore. The obtained lower bound is 54.9% on the solution for actual hardware benchmarks and 77.6% on ideal simulators of quantum computers. Furthermore, large-scale optimization problems represented by graphs of a 128 nodes are tackled with simulators of quantum computers, again without any predivision into smaller subproblems and a lower solution bound of 67.9% is achieved. The study presented here paves way to using powerful genetic optimizer in synergy with quantum computers | 翻訳日:2023-03-10 23:42:27 公開日:2023-02-15 |
| # ws$_2$単層における励起子のカソードルミネッセンスにおけるブロブディングナギアン光子束 Brobdingnagian photon bunching in cathodoluminescence of excitons in WS$_2$ monolayer ( http://arxiv.org/abs/2111.07596v4 ) ライセンス: Link先を確認 | Saskia Fiedler, Sergii Morozov, Leonid Iliushyn, Sergejs Boroviks, Martin Thomaschewski, Jianfang Wang, Timothy J. Booth, Nicolas Stenger, Christian Wolff, N. Asger Mortensen | (参考訳) カソードルミネッセンス分光法は$g_2(\tau)$の二階自己相関測定と共に、低次元構造における量子光源の同期を広範囲に研究できる。
二次元遷移金属ジカルコゲナイド単分子膜の共存励起子は、電子によって同時に励起される同一の量子エミッタの大きな源を提供する。
本稿では,二硫化タングステン単分子層を最大$g_2(0)$156\pm16$で束ねる大きな光子が電子ビーム電流密度に強く依存することを示す。
励起同期と電子-エミッタ相互作用をさらに改善するために、単純でコンパクトな幾何 -- 細い単結晶の金ナノディスク -- を慎重に選択することで、記録的な最高束である最大2,152 pm236$を実現できる例を示す。
この手法は, 励起子の電子励起を制御し, アンサンブル中の量子エミッタの同期を可能にするため, 量子情報処理と計算技術のさらなる進歩が重要である。 Cathodoluminescence spectroscopy in conjunction with second-order auto-correlation measurements of $g_2(\tau)$ allows to extensively study the synchronization of quantum light sources in low-dimensional structures. Co-existing excitons in two-dimensional transition metal dichalcogenide monolayers provide a great source of identical quantum emitters which can be simultaneously excited by an electron. In this article, we demonstrate large photon bunching with $g_2(0)$ up to $156\pm16$ of a tungsten disulfide monolayer, exhibiting a strong dependence on the electron-beam current density. To further improve the excitation synchronization and the electron-emitter interaction, we show exemplary that the careful selection of a simple and compact geometry -- a thin, monocrystalline gold nanodisk -- can be used to realize a record-high bunching $g_2(0)$ of up to $2152\pm236$. This approach to control the electron excitation of excitons in a \ce{WS2} monolayer allows for the synchronization of quantum emitters in an ensemble, which is important to further advance quantum information processing and computing technologies. | 翻訳日:2023-03-08 02:33:32 公開日:2023-02-15 |
| # 干渉による深層学習可能なテキストセマンティックコミュニケーションの性能限界 Performance Limits of a Deep Learning-Enabled Text Semantic Communication under Interference ( http://arxiv.org/abs/2302.14702v1 ) ライセンス: Link先を確認 | Tilahun M. Getu, Walid Saad, Georges Kaddoum, and Mehdi Bennis | (参考訳) セマンティック通信(Semantic Communication, SemCom)は、電力使用量、帯域使用量、伝送遅延を最小限に抑えつつ、6Gイネーブルとして登場した。
しかし、このようなセマンティック中心の設計の利点は、相当なセマンティックノイズを引き起こす電波干渉(RFI)によって制限される。
干渉によるセマンティックノイズの影響は、干渉耐性とロバスト(IR$^2$)SemCom設計を用いて緩和することができる。
しかし、そのようなデザインは存在しない。
この知識ギャップを明らかにし、IR$^2$ SemComに関する基礎研究を刺激するために、DeepSCという名前のテキストSemComシステムの性能限界をシングルインターフェラーRFIとマルチインターフェラーRFIの存在下で研究した。
SemComの原則的確率的フレームワークを導入することで、シングルインターフェラーとマルチインターフェラーRFIのパワーが非常に大きくなるにつれて、DeepSCが意味的に無関係な文を生成することを示す。
モンテカルロのシミュレーションによって裏付けられたこれらの性能制限は、セムコムの技術(ディープSCなど)が非常に低信号対雑音比のシステマティクスでうまく機能するという理論的に根拠のない感情に反して、IR$^2$SemComに関する設計上の洞察を提供する。
性能制限により、DeepSC と SemCom の脆弱性が RFI を使用した無線攻撃に露呈する。
さらに,提案した確率的フレームワークは,主にDeepSCにインスパイアされた多くのテキストSemCom技術の性能解析を刺激する。 Semantic communication (SemCom) has emerged as a 6G enabler while promising to minimize power usage, bandwidth consumption, and transmission delay by minimizing irrelevant information transmission. However, the benefits of such a semantic-centric design can be limited by radio frequency interference (RFI) that causes substantial semantic noise. The impact of semantic noise due to interference can be alleviated using an interference-resistant and robust (IR$^2$) SemCom design. Nevertheless, no such design exists yet. To shed light on this knowledge gap and stimulate fundamental research on IR$^2$ SemCom, the performance limits of a text SemCom system named DeepSC is studied in the presence of single- and multi-interferer RFI. By introducing a principled probabilistic framework for SemCom, we show that DeepSC produces semantically irrelevant sentences as the power of single- and multi-interferer RFI gets very large. Corroborated by Monte Carlo simulations, these performance limits offer design insights -- regarding IR$^2$ SemCom -- contrary to the theoretically unsubstantiated sentiment that SemCom techniques (such as DeepSC) work well in very low signal-to-noise ratio regimes. The performance limits also reveal the vulnerability of DeepSC and SemCom to a wireless attack using RFI. Furthermore, our introduced probabilistic framework inspires the performance analysis of many text SemCom techniques, as they are chiefly inspired by DeepSC. | 翻訳日:2023-03-05 05:33:00 公開日:2023-02-15 |
| # 量子計算における非線形変換について On nonlinear transformations in quantum computation ( http://arxiv.org/abs/2112.12307v2 ) ライセンス: Link先を確認 | Zo\"e Holmes, Nolan Coble, Andrew T. Sornborger, Yi\u{g}it Suba\c{s}{\i} | (参考訳) 量子コンピュータは線形演算の実装に自然に適しているが、量子コンピュータに非線形演算を実装する方法はあまり明確ではない。
しかし、非線形サブルーチンは、非線形方程式の解法からデータ処理や量子機械学習まで、量子コンピューティングの様々な応用の鍵となるかもしれない。
本稿では,入力量子状態の非線形変換を実現するための一連の基本サブルーチンを開発する。
我々のアルゴリズムは、量子回路と古典的後処理の両方を含む操作手順の出力を記述する数学的実体である重み付け状態の概念を中心に構築されている。 While quantum computers are naturally well-suited to implementing linear operations, it is less clear how to implement nonlinear operations on quantum computers. However, nonlinear subroutines may prove key to a range of applications of quantum computing from solving nonlinear equations to data processing and quantum machine learning. Here we develop a series of basic subroutines for implementing nonlinear transformations of input quantum states. Our algorithms are framed around the concept of a weighted state, a mathematical entity describing the output of an operational procedure involving both quantum circuits and classical post-processing. | 翻訳日:2023-03-03 18:06:46 公開日:2023-02-15 |
| # 超低損失シリコンフォトニクスプラットフォームによる量子技術のサポート Supporting quantum technologies with an ultra-low loss silicon photonics platform ( http://arxiv.org/abs/2201.04715v4 ) ライセンス: Link先を確認 | Matteo Cherchi, Arijit Bera, Antti Kemppinen, Jaani Nissil\"a, Kirsi Tappura, Marco Caputo, Lauri Lehtim\"aki, Janne Lehtinen, Joonas Govenius, Tomi Hassinen, Mika Prunnila and Timo Aalto | (参考訳) フォトニック集積回路(PIC)は、その安定性とスケーラビリティにより、進行中の第2量子革命において重要な役割を果たすことが期待されている。
それでも、量子デバイスの要求を満たすためには、利用可能なPICプラットフォームに対して大きなアップグレードが必要である。
本稿では、超低伝搬損失、低繊維結合損失、超伝導素子の統合、ファラデー回転子、高速かつ効率的な検出器、低損失および/または低エネルギー消費の位相変調器などを含む、従来のシリコンフォトニクスプラットフォームをこのような目標にアップグレードする最近の進歩を概観する。
量子鍵分布 (quantum key distribution) - はるかに高い鍵レートを達成するために、そして大規模な量子コンピュータ - および低温量子コンピュータ - は、クライオスタットへの電気接続を光ファイバーで置き換えるために、我々の開発とビジョンの関連性を示す。 Photonic integrated circuits (PICs) are expected to play a significant role in the ongoing second quantum revolution, thanks to their stability and scalability. Still, major upgrades are needed for available PIC platforms to meet the demanding requirements of quantum devices. In this paper, we present a review of our recent progress in upgrading an unconventional silicon photonics platform towards such goal, including ultra-low propagation losses, low fibre coupling losses, integration of superconducting elements, Faraday rotators, fast and efficient detectors, as well as phase modulators with low loss and/or low energy consumption. We show the relevance of our developments and of our vision in two main applications: quantum key distribution - to achieve significantly higher key rates and large-scale deployment - and cryogenic quantum computers - to replace electrical connections to the cryostat with optical fibres. | 翻訳日:2023-03-01 08:29:41 公開日:2023-02-15 |
| # 相関スキームによる正則グラフからの部分因子 Subfactors from regular graphs induced by association schemes ( http://arxiv.org/abs/2201.07310v2 ) ライセンス: Link先を確認 | Radhakrishnan Balu | (参考訳) 正則グラフ上でのファッショニング量子ウォークを可能にする数学的構造と固有系におけるそれらの実現との関係を明らかにする。
我々の主人公は、下因子の正準構造を持つタイプII行列から合成できるアソシエーションスキームである。
このようにして、Fock空間と相互作用する関係スキームによって誘導される距離正則グラフの増大に量子ウォークを設定し、サブファクタによって記述される任意のシステムとそれらを関連付ける。
このアプローチで扱われる可能性のあるグラフの大規模なファミリーについて詳しく論じる。
関連スキームと実現可能なanyonシステムの分類は複雑な組合せ問題であり、量子ウォークアプリケーションに基づくアプローチでその一部に取り組む。 We clarify the relations between the mathematical structures that enable fashioning quantum walks on regular graphs and their realizations in anyonic systems. Our protagonist is association schemes that may be synthesized from type-II matrices which have a canonical construction of subfactors. This way we set up quantum walks on growing distance-regular graphs induced by association schemes via interacting Fock spaces and relate them to anyon systems described by subfactors. We discuss in detail a large family of graphs that may be treated within this approach. Classification of association schemes and realizable anyon systems are complex combinatorial problems and we tackle a part of it with a quantum walk application based approach. | 翻訳日:2023-02-28 20:32:01 公開日:2023-02-15 |
| # 量子チャネルの絡み合いコストの計算可能下限 Computable lower bounds on the entanglement cost of quantum channels ( http://arxiv.org/abs/2201.09257v2 ) ライセンス: Link先を確認 | Ludovico Lami, Bartosz Regula | (参考訳) 量子状態の絡み合いコストに対する下限のクラスは、最近[arXiv:2111.02438]において、誘電性強靭性と誘電性負性として知られる絡み合いモノトンの形で導入された。
ここでは、それらの定義を点から点への量子チャネルに拡張し、有限次元でも無限次元でも任意のチャネルの漸近絡み合いコストの下限を確立する。
これは、特に半定値プログラムとして計算可能で、量子相対エントロピーに基づくものを含む、既知の下限を上回ることができる境界につながる。
証明の過程では、量子状態と量子チャネルの絡み合いのロバスト性の間に有用なリンクを確立する。これは、トレースクラス作用素の空間間の有界線型写像上の弱*演算位相におけるチャネルの絡み合いのロバスト性のロバスト性を示すなど、いくつかの技術的発展を必要とする。 A class of lower bounds for the entanglement cost of any quantum state was recently introduced in [arXiv:2111.02438] in the form of entanglement monotones known as the tempered robustness and tempered negativity. Here we extend their definitions to point-to-point quantum channels, establishing a lower bound for the asymptotic entanglement cost of any channel, whether finite or infinite dimensional. This leads, in particular, to a bound that is computable as a semidefinite program and that can outperform previously known lower bounds, including ones based on quantum relative entropy. In the course of our proof we establish a useful link between the robustness of entanglement of quantum states and quantum channels, which requires several technical developments such as showing the lower semicontinuity of the robustness of entanglement of a channel in the weak*-operator topology on bounded linear maps between spaces of trace class operators. | 翻訳日:2023-02-28 02:27:39 公開日:2023-02-15 |
| # 広帯域スクイーズマイクロ波とジョセフソントラベリングパラメトリック増幅器による増幅 Broadband Squeezed Microwaves and Amplification with a Josephson Traveling-Wave Parametric Amplifier ( http://arxiv.org/abs/2201.11261v3 ) ライセンス: Link先を確認 | Jack Y. Qiu, Arne Grimsmo, Kaidong Peng, Bharath Kannan, Benjamin Lienhard, Youngkyu Sung, Philip Krantz, Vladimir Bolkhovsky, Greg Calusine, David Kim, Alex Melville, Bethany M. Niedzielski, Jonilyn Yoder, Mollie E. Schwartz, Terry P. Orlando, Irfan Siddiqi, Simon Gustavsson, Kevin P. O'Brien, William D. Oliver | (参考訳) 電磁真空のスクイージングは、重力波検出、生体顕微鏡、量子情報科学にまたがる応用において、量子ノイズを低減するために用いられる重要な計測技術である。
超伝導回路では、従来のマイクロ波発生に使用される共振器ベースのジョセフソン接合パラメトリック増幅器は狭い帯域幅と低ダイナミックレンジで制約される。
そこで本研究では,56dbの位相感受性消滅率と単一モードスクイーズとを最良共振器系スクイーズと組み合わせたデュアルポンプ・広帯域ジョセフソン進行波パラメトリック増幅器を開発した。
また、ギガヘルツ帯域の帯域幅が現在の共振器ベースのスクイーサーの2桁近いマイクロ波周波数を2モードスクイーズすることを示す。
我々の増幅器は、高忠実度量子ビット読み出し、量子照明、テレポーテーションなどの潜在的な応用により、大きな周波数分離を伴う絡み合ったマイクロ波光子対を同時に生成することができる。 Squeezing of the electromagnetic vacuum is an essential metrological technique used to reduce quantum noise in applications spanning gravitational wave detection, biological microscopy, and quantum information science. In superconducting circuits, the resonator-based Josephson-junction parametric amplifiers conventionally used to generate squeezed microwaves are constrained by a narrow bandwidth and low dynamic range. In this work, we develop a dual-pump, broadband Josephson traveling-wave parametric amplifier that combines a phase-sensitive extinction ratio of 56 dB with single-mode squeezing on par with the best resonator-based squeezers. We also demonstrate two-mode squeezing at microwave frequencies with bandwidth in the gigahertz range that is almost two orders of magnitude wider than that of contemporary resonator-based squeezers. Our amplifier is capable of simultaneously creating entangled microwave photon pairs with large frequency separation, with potential applications including high-fidelity qubit readout, quantum illumination and teleportation. | 翻訳日:2023-02-27 18:34:07 公開日:2023-02-15 |
| # ARIS: モバイル学習体験を開発するためのオープンソースのプラットフォーム ARIS: An open source platform for developing mobile learning experiences ( http://arxiv.org/abs/2302.09291v1 ) ライセンス: Link先を確認 | David J. Gagnon | (参考訳) モバイル、インターネット対応コンピューティング、教育ゲームデザインの成熟に触発されたarisプロジェクトは、ロケーション、インタラクティブ、物語中心の教育体験を迅速に生産するためのオープンソースツールを設計した。
ソフトウェアに加えて、このプロジェクトは、アクティブデザイナーのグローバルなコミュニティと、そのようなデザインの学習者に魅力的な仕組みの集合に貢献している。 Inspired by mobile, Internet enabled computing and the maturing field of educational game design, the ARIS project has designed an open source tool for rapidly producing locative, interactive, narrative-centric, educational experiences. In addition to the software, the project contributes a global community of active designers and a growing set of compelling mechanics for learners in such designs. | 翻訳日:2023-02-26 14:55:56 公開日:2023-02-15 |
| # 認知能力増強における情報型の影響 The Effect of Information Type on Human Cognitive Augmentation ( http://arxiv.org/abs/2302.09069v1 ) ライセンス: Link先を確認 | Ron Fulbright, Samuel McGaha | (参考訳) タスクのみを実行する場合、人間は特定のレベルのパフォーマンスを達成する。
人間がツールや自動化によって同じタスクを遂行するのを助けると、パフォーマンスが向上する(強化)。
近年開発された認知システムは、ある領域において人間のレベル以上で認知処理を行うことができる。
人間とコグが協調して働く場合、認知処理の強化は明確かつ測定可能であると期待する。
本稿では,コグがアンサンブルに寄与する情報の性質に依存し,認知能力の向上の程度を示す。
実験の結果,概念情報は,認知的正確性,認知的正確性,認知能力の増大をもたらす最も効果的な情報であることが示された。 When performing a task alone, humans achieve a certain level of performance. When humans are assisted by a tool or automation to perform the same task, performance is enhanced (augmented). Recently developed cognitive systems are able to perform cognitive processing at or above the level of a human in some domains. When humans work collaboratively with such cogs in a human/cog ensemble, we expect augmentation of cognitive processing to be evident and measurable. This paper shows the degree of cognitive augmentation depends on the nature of the information the cog contributes to the ensemble. Results of an experiment are reported showing conceptual information is the most effective type of information resulting in increases in cognitive accuracy, cognitive precision, and cognitive power. | 翻訳日:2023-02-26 14:54:55 公開日:2023-02-15 |
| # chatgpt と dall-e 2 の意思決定と空間推論に関するパイロット評価 A Pilot Evaluation of ChatGPT and DALL-E 2 on Decision Making and Spatial Reasoning ( http://arxiv.org/abs/2302.09068v1 ) ライセンス: Link先を確認 | Zhisheng Tang, Mayank Kejriwal | (参考訳) 最近リリースされた2つの生成トランスモデル、ChatGPTとDALL-E 2の認知能力(意思決定と空間推論)を選択的に評価する。
入力プロンプトは、敵意ではなく、中立的な事前ガイドラインに従って構築された。
出力のポストホック定性的分析により、DALL-E 2は各空間的推論プロンプトに対して少なくとも1つの正しい画像を生成することができるが、ほとんどの画像は誤りである(モデルがプロンプトで言及されているオブジェクトを明確に理解しているように見える)。
同様に、古典的な Von Neumann-Morgenstern の効用定理の下で開発された有理性公理について ChatGPT の評価において、ある種の有理性決定のレベルを示すが、その決定の多くは、選好、賭け、意思決定のプロンプトの合理的な構成の下でも少なくとも1つの公理に反する。
このような問題に対するchatgptのアウトプットは一般的に予測不可能であり、単純な意思決定問題に対して不合理な決定(あるいは不正確な推論プロセス)を行ったとしても、より複雑な賭け構造に対して正しい結論を導くことができた。
このような「認知的」評価のスケールアップや、解答キーの閉じたセット(「地上真実」)の実行に関わるニュアンスや課題について、これらのモデルが本質的に生成的で、プロンプトに対応してオープンなものであることを考慮し、簡単にコメントする。 We conduct a pilot study selectively evaluating the cognitive abilities (decision making and spatial reasoning) of two recently released generative transformer models, ChatGPT and DALL-E 2. Input prompts were constructed following neutral a priori guidelines, rather than adversarial intent. Post hoc qualitative analysis of the outputs shows that DALL-E 2 is able to generate at least one correct image for each spatial reasoning prompt, but most images generated are incorrect (even though the model seems to have a clear understanding of the objects mentioned in the prompt). Similarly, in evaluating ChatGPT on the rationality axioms developed under the classical Von Neumann-Morgenstern utility theorem, we find that, although it demonstrates some level of rational decision-making, many of its decisions violate at least one of the axioms even under reasonable constructions of preferences, bets, and decision-making prompts. ChatGPT's outputs on such problems generally tended to be unpredictable: even as it made irrational decisions (or employed an incorrect reasoning process) for some simpler decision-making problems, it was able to draw correct conclusions for more complex bet structures. We briefly comment on the nuances and challenges involved in scaling up such a 'cognitive' evaluation or conducting it with a closed set of answer keys ('ground truth'), given that these models are inherently generative and open-ended in responding to prompts. | 翻訳日:2023-02-26 14:54:46 公開日:2023-02-15 |
| # 低次元Kinectデータのクラスタリングによる筋力回復解析 Mimetic Muscle Rehabilitation Analysis Using Clustering of Low Dimensional 3D Kinect Data ( http://arxiv.org/abs/2302.09295v1 ) ライセンス: Link先を確認 | Sumit Kumar Vishwakarma, Sanjeev Kumar, Shrey Aggarwal, and Jan Mare\v{s} | (参考訳) 顔面神経麻痺は頭頸部手術後に発生する重篤な合併症であり、これは構音障害、顔面非対称性、非言語コミュニケーションにおける重篤な問題を引き起こす。
術後の顔面麻痺の副作用を克服するためには、リハビリテーションは数週間かかる必要がある。
本報告では, 筋損傷による顔面麻痺患者のリハビリテーションに対する非観血的アプローチについて述べる。
本研究の目的は,現在の主観的アプローチであるhouse-brackmann(hb)スケールと比較して,リハビリテーションプロセスを客観的にすることにある。
また,リハビリテーションにおける改善の評価において,作業負荷を削減し,臨床医を支援する。
本稿では,リハビリテーションプロセスを監視するクラスタリングアプローチについて述べる。
本稿では,同一データセットの様々な形式,すなわち動的形式,b-スプライン基底展開を用いた関数データとして表現されたデータについて,クラスタリングアルゴリズムから得られた結果を比較し,機能データの主成分を求める。
この研究は、kinectステレオビジョンカメラで得られた120の測定値を持つ85人の異なる患者のデータセットを含んでいる。
この方法は顔面麻痺の度合いが最も低い患者と最大の患者を効果的に区別するが、隣接する麻痺の度合いの患者にはいくつかの課題がある。
さらに,クラスタ結果とHBスケールの出力を比較した。 Facial nerve paresis is a severe complication that arises post-head and neck surgery; This results in articulation problems, facial asymmetry, and severe problems in non-verbal communication. To overcome the side effects of post-surgery facial paralysis, rehabilitation requires which last for several weeks. This paper discusses an unsupervised approach to rehabilitating patients who have temporary facial paralysis due to damage in mimetic muscles. The work aims to make the rehabilitation process objective compared to the current subjective approach, such as House-Brackmann (HB) scale. Also, the approach will assist clinicians by reducing their workload in assessing the improvement during rehabilitation. This paper focuses on the clustering approach to monitor the rehabilitation process. We compare the results obtained from different clustering algorithms on various forms of the same data set, namely dynamic form, data expressed as functional data using B-spline basis expansion, and by finding the functional principal components of the functional data. The study contains data set of 85 distinct patients with 120 measurements obtained using a Kinect stereo-vision camera. The method distinguish effectively between patients with the least and greatest degree of facial paralysis, however patients with adjacent degrees of paralysis provide some challenges. In addition, we compared the cluster results to the HB scale outputs. | 翻訳日:2023-02-26 14:44:27 公開日:2023-02-15 |
| # 高等教育のためのプラットフォーム非依存・カリキュラム指向知能アシスタント Platform-Independent and Curriculum-Oriented Intelligent Assistant for Higher Education ( http://arxiv.org/abs/2302.09294v1 ) ライセンス: Link先を確認 | Ramteja Sajja, Yusuf Sermet, David Cwiertny, Ibrahim Demir | (参考訳) インストラクターと学生間のコミュニケーションとコミュニケーションの課題は、後2次学習における主要な障壁の1つである。
学生はしばしば、不確実性や紛争のスケジューリングのために、勤務時間中に質問する機会を避けたり見逃したりする。
さらに、学生は、概念的理解の構築と創造的思考スキルの発達に必要な自己観念の自由と時間を得るために、自身のペースで働く必要がある。
学生のエンゲージメントに対する障壁を排除するため、学術機関は継続的学習を認識する柔軟な教育経路を提案し、教育に対する基本的なアプローチを再定義する必要がある。
そこで我々は,学習水準や学習水準に関わらず,コース固有の知的アシスタントを自動的に生成するパワー言語モデル(GPT-3)に基づく,AIを活用したインテリジェントな教育支援フレームワークを開発した。
仮想インテリジェント・インテリジェンス・アシスタント(TA)システムは、カリキュラム、物流、コースポリシーに関するコース固有の質問に答えることができる音声対応のヘルパーとして機能する。
学生のコース関連情報へのアクセスを改善し,インストラクターやtasの作業量を削減することが期待されている。
GPT-3に基づく知識発見コンポーネントと一般化されたシステムアーキテクチャは,システム精度と性能の方法論的評価を伴う。 Miscommunication and communication challenges between instructors and students represents one of the primary barriers to post-secondary learning. Students often avoid or miss opportunities to ask questions during office hours due to insecurities or scheduling conflicts. Moreover, students need to work at their own pace to have the freedom and time for the self-contemplation needed to build conceptual understanding and develop creative thinking skills. To eliminate barriers to student engagement, academic institutions need to redefine their fundamental approach to education by proposing flexible educational pathways that recognize continuous learning. To this end, we developed an AI-augmented intelligent educational assistance framework based on a power language model (i.e., GPT-3) that automatically generates course-specific intelligent assistants regardless of discipline or academic level. The virtual intelligent teaching assistant (TA) system will serve as a voice-enabled helper capable of answering course-specific questions concerning curriculum, logistics and course policies. It is envisioned to improve access to course-related information for the students and reduce logistical workload for the instructors and TAs. Its GPT-3-based knowledge discovery component as well as the generalized system architecture is presented accompanied by a methodical evaluation of the system accuracy and performance. | 翻訳日:2023-02-26 14:44:04 公開日:2023-02-15 |
| # 時系列データへの周期性インテンシティの洞察:3つのユースケース Periodicity Intensity Reveals Insights into Time Series Data: Three Use Cases ( http://arxiv.org/abs/2302.09293v1 ) ライセンス: Link先を確認 | Alan F. Smeaton and Feiyan Hu | (参考訳) 周期現象は、多くの自然発生時系列で見られる振動信号である。
周期図は、時系列全体を通して異なる周波数での振動の強度を測定するために用いられるが、特定の周波数における周期強度が時系列全体を通してどのように変化するかを測定することに興味がある。
これは、ウィンドウ内の周期強度を計算し、ウィンドウの強度をスライディングして再計算することで実現でき、特定の周波数での周期強度がシリーズ全体でどのように変化するかを示すことができる。
まず、24時間周期性の強さが群れ全体でどのように増加し、同期的に減少するかを示す新生子牛群の動きについて、本研究の3つの応用例を示す。
また,家庭内センサから検出された活動の24時間周期強度の変化が全体のウェルネスの指標となることを示す。
これを、23人の高齢者の家庭から収集された数週間のセンサーデータで説明する。
第3の応用は、仮想学習環境(VLE)からオンラインリソースにアクセスする何百人もの大学生の7日間の周期性の強さと、週次学習行動の規則性がどのように変化するかである。
本論文は, 時系列データにおける周期性強度が, その他の分析方法を用いて見えない洞察をいかに示すかを示す。 Periodic phenomena are oscillating signals found in many naturally-occurring time series. A periodogram can be used to measure the intensities of oscillations at different frequencies over an entire time series but sometimes we are interested in measuring how periodicity intensity at a specific frequency varies throughout the time series. This can be done by calculating periodicity intensity within a window then sliding and recalculating the intensity for the window, giving an indication of how periodicity intensity at a specific frequency changes throughout the series. We illustrate three applications of this the first of which is movements of a herd of new-born calves where we show how intensity of the 24h periodicity increases and decreases synchronously across the herd. We also show how changes in 24h periodicity intensity of activities detected from in-home sensors can be indicative of overall wellness. We illustrate this on several weeks of sensor data gathered from each of the homes of 23 older adults. Our third application is the intensity of 7-day periodicity of hundreds of University students accessing online resources from a virtual learning environment (VLE) and how the regularity of their weekly learning behaviours changes throughout a teaching semester. The paper demonstrates how periodicity intensity reveals insights into time series data not visible using other forms of analysis | 翻訳日:2023-02-26 14:43:44 公開日:2023-02-15 |
| # 逆問題に対するプラグアンドプレイ深部エネルギーモデル Plug-and-Play Deep Energy Model for Inverse problems ( http://arxiv.org/abs/2302.11570v1 ) ライセンス: Link先を確認 | Jyothi Rikabh Chand, Mathews Jacob | (参考訳) プラグアンドプレイ(PnP)画像回復のための新しいエネルギー定式化を導入する。
畳み込みニューラルネットワーク(CNN)を用いた従来のPnP法は、エネルギーベースの定式化を持たない。
この研究の主な焦点は、トレーニングデータから画像のログを学習するCNNに依存するエネルギーベースのPnP定式化の導入である。
スコア関数は、共有エンコーダとデコーダ重みを持つUNETに類似したエネルギーモデルの勾配として評価される。
提案したスコア関数は、古典的PnPモデルとの大きな違いである保守的ベクトル場に制約される。
エネルギーに基づく定式化は、学習したスコアモデルが収縮でない場合でも収束を保証するアルゴリズムを提供する。
収縮制約の緩和により、提案モデルはより複雑な事前学習が可能となり、従来のPnPスキームよりも性能が向上した。
磁気共鳴画像再構成実験では,従来のpnp法よりも,提案するエネルギーモデルによる性能向上が実証された。 We introduce a novel energy formulation for Plug- and-Play (PnP) image recovery. Traditional PnP methods that use a convolutional neural network (CNN) do not have an energy based formulation. The primary focus of this work is to introduce an energy-based PnP formulation, which relies on a CNN that learns the log of the image prior from training data. The score function is evaluated as the gradient of the energy model, which resembles a UNET with shared encoder and decoder weights. The proposed score function is thus constrained to a conservative vector field, which is the key difference with classical PnP models. The energy-based formulation offers algorithms with convergence guarantees, even when the learned score model is not a contraction. The relaxation of the contraction constraint allows the proposed model to learn more complex priors, thus offering improved performance over traditional PnP schemes. Our experiments in magnetic resonance image reconstruction demonstrates the improved performance offered by the proposed energy model over traditional PnP methods. | 翻訳日:2023-02-26 13:24:08 公開日:2023-02-15 |
| # DKT-STDRL:学習性能予測のための空間的・時間的表現学習 DKT-STDRL: Spatial and Temporal Representation Learning Enhanced Deep Knowledge Tracing for Learning Performance Prediction ( http://arxiv.org/abs/2302.11569v1 ) ライセンス: Link先を確認 | Liting Lyu, Zhifeng Wang, Haihong Yun, Zexue Yang, Ya Li | (参考訳) 知識追跡(KT)は知的教育システムの主要な部分である。
現在のktの多くは、専門家の判断に頼るか、学習機能の完全な表現に影響を与える単一のネットワーク構造のみを利用する。
本稿では,学生の学習過程の特徴を適切に掘り下げるために,空間的および時間的深層表現による学習性能予測学習(DKT-STDRL)を提案する。
dkt-stdrlは,学生の学習履歴列から空間的特徴を抽出し,さらに時間的特徴を抽出して深い隠れ情報を抽出する。
具体的には、まずDKT-STDRLモデルを用いて、学生の運動シーケンスの空間的特徴情報を抽出する。
そして, 空間的特徴を, 共同学習機能として, 元の学生の運動特徴に関連付ける。
そして、その関節特徴をBiLSTM部に入力する。
そして、BiLSTM部は、共同学習特徴から時間的特徴を抽出し、次のステップで学生が正しく答えるかどうかの予測情報を得る。
ASSISTment2009, ASSISTment2015, Synthetic-5, ASSISTchall, Statics 2011 の公開教育データセットの実験では、DKT-STDRL が DKT や CKT よりも優れた予測効果を達成できることが示された。 Knowledge tracing (KT) serves as a primary part of intelligent education systems. Most current KTs either rely on expert judgments or only exploit a single network structure, which affects the full expression of learning features. To adequately mine features of students' learning process, Deep Knowledge Tracing Based on Spatial and Temporal Deep Representation Learning for Learning Performance Prediction (DKT-STDRL) is proposed in this paper. DKT-STDRL extracts spatial features from students' learning history sequence, and then further extracts temporal features to extract deeper hidden information. Specifically, firstly, the DKT-STDRL model uses CNN to extract the spatial feature information of students' exercise sequences. Then, the spatial features are connected with the original students' exercise features as joint learning features. Then, the joint features are input into the BiLSTM part. Finally, the BiLSTM part extracts the temporal features from the joint learning features to obtain the prediction information of whether the students answer correctly at the next time step. Experiments on the public education datasets ASSISTment2009, ASSISTment2015, Synthetic-5, ASSISTchall, and Statics2011 prove that DKT-STDRL can achieve better prediction effects than DKT and CKT. | 翻訳日:2023-02-26 13:23:53 公開日:2023-02-15 |
| # vdhla:可変深度ハイブリッド学習オートマトンとそのbitcoinの利己的なマイニング攻撃に対する防御への応用 VDHLA: Variable Depth Hybrid Learning Automaton and Its Application to Defense Against the Selfish Mining Attack in Bitcoin ( http://arxiv.org/abs/2302.12096v1 ) ライセンス: Link先を確認 | Ali Nikhalat-Jahromi, Ali Mohammad Saghiri, Mohammad Reza Meybodi | (参考訳) 学習オートマトン(LA)は、未知の環境との相互作用を通じて行動選択を改善する適応的な自己組織化モデルである。
有限作用集合を持つlaは、固定構造と可変構造という2つの主要なカテゴリに分類できる。
さらに、可変アクションセット学習オートマトン(VASLA)は、可変構造学習オートマトンの主要なサブセットの1つである。
本稿では、固定構造と可変動作集合学習オートマトンを組み合わせた新しいハイブリッド学習オートマトンモデルであるVDHLAを提案する。
提案モデルでは、可変アクションセット学習オートマトンは、動作切り替えフェーズ中に固定構造学習オートマトンの深さを増加、減少、または残すことができる。
さらに、提案モデルの深さは、対称(SVDHLA)または非対称(AVDHLA)の方法で変化することができる。
我々の知る限りでは、固定構造学習オートマトンの深さをインテリジェントに変化させる最初のハイブリッドモデルである。
静止環境および非定常環境における報酬の総数および行動スイッチングについて,提案モデルの性能を計算機シミュレーションにより検討した。
提案モデルとFSLAとVSLAを比較した。
提案したモデルの性能を実用的に適用するために,実証型ブロックチェーン環境のインセンティブ適合性を脅かす利己的なマイニング攻撃を検討する。
提案したモデルは、Bitcoinの自己中心的なマイニング攻撃に対する防御に応用され、よく知られた防御機構であるタイブレーキングメカニズムと比較される。
すべての環境におけるシミュレーション結果から,提案モデルの有効性が示された。 Learning Automaton (LA) is an adaptive self-organized model that improves its action-selection through interaction with an unknown environment. LA with finite action set can be classified into two main categories: fixed and variable structure. Furthermore, variable action-set learning automaton (VASLA) is one of the main subsets of variable structure learning automaton. In this paper, we propose VDHLA, a novel hybrid learning automaton model, which is a combination of fixed structure and variable action set learning automaton. In the proposed model, variable action set learning automaton can increase, decrease, or leave unchanged the depth of fixed structure learning automaton during the action switching phase. In addition, the depth of the proposed model can change in a symmetric (SVDHLA) or asymmetric (AVDHLA) manner. To the best of our knowledge, it is the first hybrid model that intelligently changes the depth of fixed structure learning automaton. Several computer simulations are conducted to study the performance of the proposed model with respect to the total number of rewards and action switching in stationary and non-stationary environments. The proposed model is compared with FSLA and VSLA. In order to determine the performance of the proposed model in a practical application, the selfish mining attack which threatens the incentive-compatibility of a proof-of-work based blockchain environment is considered. The proposed model is applied to defend against the selfish mining attack in Bitcoin and compared with the tie-breaking mechanism, which is a well-known defense. Simulation results in all environments have shown the superiority of the proposed model. | 翻訳日:2023-02-26 13:14:43 公開日:2023-02-15 |
| # 解釈可能性のためのアンボックス木アンサンブル:階層的可視化ツールと多変量最適再構築木 Unboxing Tree Ensembles for interpretability: a hierarchical visualization tool and a multivariate optimal re-built tree ( http://arxiv.org/abs/2302.07580v1 ) ライセンス: Link先を確認 | Giulia Di Teodoro, Marta Monaci and Laura Palagi | (参考訳) アルゴリズムによる決定が現実世界のアプリケーションに与える影響が増しているため、モデルの解釈性は機械学習において重要な問題となっている。
Random ForestsやXgBoostのようなツリーアンサンブル手法は、分類タスクのための強力な学習ツールである。
しかし、複数の木を組み合わせることで、単一の木よりも高い予測品質が得られるが、「ブラックボックス」モデルをもたらす解釈性は犠牲になる。
そこで我々は,木組モデルの解釈可能な表現を開発することを目指しており,その振る舞いに関する貴重な洞察を提供する。
まず,対象樹木群集モデルを用いて,その特徴の頻度と重要度を指標として,森林の特徴量の熱マップ表現に基づく階層的可視化ツールを開発する。
次に、ターゲットモデル予測を正確に模倣する単一の最適多変量木を構築するための混合整数線形計画法(milp)を提案する。
目標は、斜め超平面分割に基づく解釈可能なサロゲートモデルを提供することである。
milpモデルは、スプリットのスパース性をさらに引き起こすために、森林における頻度に基づく特徴選択のペナルティを含む。
自然定式化が強化され,混合インテガーソフトウェアの計算性能が向上した。
UCIリポジトリのベンチマークデータセット上で、最先端のオフザシェルフソルバを使用して計算経験を実行する。
提案手法は,木組決定関数を近似した浅い解釈可能な木を得るのに有効であることを示す。 The interpretability of models has become a crucial issue in Machine Learning because of algorithmic decisions' growing impact on real-world applications. Tree ensemble methods, such as Random Forests or XgBoost, are powerful learning tools for classification tasks. However, while combining multiple trees may provide higher prediction quality than a single one, it sacrifices the interpretability property resulting in "black-box" models. In light of this, we aim to develop an interpretable representation of a tree-ensemble model that can provide valuable insights into its behavior. First, given a target tree-ensemble model, we develop a hierarchical visualization tool based on a heatmap representation of the forest's feature use, considering the frequency of a feature and the level at which it is selected as an indicator of importance. Next, we propose a mixed-integer linear programming (MILP) formulation for constructing a single optimal multivariate tree that accurately mimics the target model predictions. The goal is to provide an interpretable surrogate model based on oblique hyperplane splits, which uses only the most relevant features according to the defined forest's importance indicators. The MILP model includes a penalty on feature selection based on their frequency in the forest to further induce sparsity of the splits. The natural formulation has been strengthened to improve the computational performance of mixed-integer software. Computational experience is carried out on benchmark datasets from the UCI repository using a state-of-the-art off-the-shelf solver. Results show that the proposed model is effective in yielding a shallow interpretable tree approximating the tree-ensemble decision function. | 翻訳日:2023-02-20 17:02:04 公開日:2023-02-15 |
| # 量子揺らぎ, 粒子, 絡み合い: 量子計測問題の解法 Quantum fluctuations, particles and entanglement: solving the quantum measurement problems ( http://arxiv.org/abs/2302.08892v1 ) ライセンス: Link先を確認 | Kenichi Konishi | (参考訳) いわゆる量子計測問題は、新しい観点から解決される。
主な観察の1つは、世界の基本的な実体は、素粒子、あるいは複合粒子であるということである。
それぞれの初等過程、従ってその中心における各測定過程は時空、点のような事象である。
もう1つの重要なアイデアは、マイクロシステム$\psi$が実験装置と接触すると、$\psi$の分解が急速に失敗し、絡み合った混合状態が現れることである。
異なる測定結果のためのマイクロシステム-アパラトゥス結合系の波動関数は、時空サポートの重複を欠く。
これは各測定結果の余波が和の1つの項であることを意味する: ``wave-function collapse" である。
対角密度行列である $\rho= {\rm diag} ( |c_1|^2, \ldots, |c_n|^2, \ldots )$ は、波動関数 $|\psi\rangle = \sum_n c_n | n \rangle $ に符号化された情報が、実験装置と環境との絡み合いによって、相対周波数 ${\cal P}_n = |c_n|^2$ に変換されることを示す。
我々の議論は、ボルンの法則に基づく従来の解釈の論理的ギャップを埋める最初の重要なステップであり、量子力学のより明確な理解に置き換えるものである。
量子揺らぎの客観的な現実を受け入れ、いかなる実験にもよらず、人間の存在とは独立に、基礎的かつ完全な自然理論において、それぞれの実験の結果は必ずしも予測可能であるべきであるという考えを捨てる。 The so-called quantum measurement problems are solved from a new perspective. One of the main observations is that the basic entities of our world are {\it particles}, elementary or composite. It follows that each elementary process, hence each measurement process at its core, is a spacetime, pointlike, event. Another key idea is that, when a microsystem $\psi$ gets into contact with the experimental device, factorization of $\psi$ rapidly fails and entangled mixed states appear. The wave functions for the microsystem-apparatus coupled system for different measurement outcomes then lack overlapping spacetime support. It means that the aftermath of each measurement is a single term in the sum: a ``wave-function collapse". Our discussion leading to a diagonal density matrix, $\rho= {\rm diag} ( |c_1|^2, \ldots, |c_n|^2, \ldots )$ shows how the information encoded in the wave function $|\psi\rangle = \sum_n c_n | n \rangle $ gets transcribed, via entanglement with the experimental device and environment, into the relative frequencies ${\cal P}_n = |c_n|^2$ for various experimental outcomes $F=f_n$. Our discussion represents the first, significant steps towards filling in the logical gaps in the conventional interpretation based on Born's rule, replacing it with a clearer understanding of quantum mechanics. Accepting objective reality of quantum fluctuations, independent of any experiments, and independently of human presence, one renounces the idea that in a fundamental, complete theory of Nature the result of each single experiment must necessarily be predictable. | 翻訳日:2023-02-20 14:34:37 公開日:2023-02-15 |
| # マヨラナ境界状態によるJaynes-Cummingsはしごの再構成 Reshaping the Jaynes-Cummings ladder with Majorana bound states ( http://arxiv.org/abs/2203.16185v2 ) ライセンス: Link先を確認 | L. S. Ricco, V. K. Kozin, A. C. Seridonio and I. A. Shelykh | (参考訳) 量子ドット(qd)と光マイクロキャビティのフォトニックモードとマヨラナナノワイヤ(マヨラナ結合状態(mbss)を対端に有する位相的超伝導セグメント)とを共鳴結合させたハイブリッドデバイスの光学特性について検討した。
強い光物質結合の過程において、マヨラナモードのQDへの漏れは、キャビティ光子と物質励起のハイブリッド化によって形成される偏光状態間の新しい光遷移を開き、ジャイアンス・カミングス・ラダーが再形成され、放射スペクトルにおける共振器固有周波におけるロバスト単一ピークの形成につながることが示されている。
さらに、高度に孤立したMBSと重なり合うMBSとMBSがナノワイヤの端でうまく局在していない場合に、低域と高周波領域の弱い衛星ピークが明らかにされる。 We study the optical properties of a hybrid device composed by a quantum dot (QD) resonantly coupled to a photonic mode of an optical microcavity and a Majorana nanowire: a topological superconducting segment hosting Majorana bound states (MBSs) at the opposite ends. In the regime of strong light-matter coupling, it is demonstrated that the leakage of the Majorana mode into the QD opens new optical transitions between polaritonic states formed due to hybridisation of material excitation with cavity photons, which leads to the reshaping of the Jaynes-Cummings ladder and can lead to the formation of a robust single-peak at cavity eigenfrequency in the emission spectrum. Moreover, weak satellite peaks in the low and high frequency regions are revealed for the distinct cases of highly isolated MBSs, overlapped MBSs and MBSs not well localized at the nanowire ends. | 翻訳日:2023-02-20 07:14:22 公開日:2023-02-15 |
| # ChatGPTは汎用自然言語処理タスクか? Is ChatGPT a General-Purpose Natural Language Processing Task Solver? ( http://arxiv.org/abs/2302.06476v2 ) ライセンス: Link先を確認 | Chengwei Qin, Aston Zhang, Zhuosheng Zhang, Jiaao Chen, Michihiro Yasunaga, Diyi Yang | (参考訳) 大規模化の進展により、大規模言語モデル(LLM)は、下流データに適応することなく、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証した。
近年のChatGPTの登場は、人間の入力に対する高品質な応答と、その後の会話に基づく自己修正の誤りを生成できるという事実から、自然言語処理(NLP)コミュニティから大きな注目を集めている。
しかし、ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
本研究では,ChatGPTのゼロショット学習能力を7つの代表的なタスクカテゴリをカバーする20のNLPデータセット上で評価することにより,実証的に解析する。
広範な実証研究により,現在のChatGPTの有効性と限界を実証した。
ChatGPTは推論能力(例えば算術的推論)を好む多くのタスクでよく機能するが、シーケンシャルタグ付けのような特定のタスクを解く際にはまだ課題に直面している。
また,定性ケーススタディを通じて詳細な分析を行う。 Spurred by advancements in scale, large language models (LLMs) have demonstrated the ability to perform a variety of natural language processing (NLP) tasks zero-shot -- i.e., without adaptation on downstream data. Recently, the debut of ChatGPT has drawn a great deal of attention from the natural language processing (NLP) community due to the fact that it can generate high-quality responses to human input and self-correct previous mistakes based on subsequent conversations. However, it is not yet known whether ChatGPT can serve as a generalist model that can perform many NLP tasks zero-shot. In this work, we empirically analyze the zero-shot learning ability of ChatGPT by evaluating it on 20 popular NLP datasets covering 7 representative task categories. With extensive empirical studies, we demonstrate both the effectiveness and limitations of the current version of ChatGPT. We find that ChatGPT performs well on many tasks favoring reasoning capabilities (e.g., arithmetic reasoning) while it still faces challenges when solving specific tasks such as sequence tagging. We additionally provide in-depth analysis through qualitative case studies. | 翻訳日:2023-02-19 14:21:49 公開日:2023-02-15 |
| # 現実の鍵からオーラクリズまで。
bitcoinのオラクルの歴史を深く掘り下げる From Reality Keys to Oraclize. A Deep Dive into the History of Bitcoin Oracles ( http://arxiv.org/abs/2302.07911v1 ) ライセンス: Link先を確認 | Giulio Caldarelli | (参考訳) ethereumのような代替ブロックチェーンが登場する前は、分散化の未来はbitcoinの手にかかっていた。
nakamoto自身と共に、初期のデベロッパーはbitcoinの潜在能力を活用して、従来の集中型アプリケーションを分散化しようとしていた。
しかし、Bitcoinは分散化されたマシンであり、非信頼できるオラクルは適していないと考えられていた。
そのため、生まれたばかりのシナリオでいわゆるoracleの問題を解決するための戦略を練らなければならなかった。
初期の開発者をインタビューし、初期のフォーラムやリポジトリをクロールすることで、bitcoinでオラクルを生んだイベントや貢献の連鎖を追跡し、再構築することを目的としています。
早期信頼モデルとオラクル問題の解決へのアプローチの進化についても概説する。
Bitcoin上のオラクルを構築するための技術的および社会的障壁を分析することで、Ethereumへの移行についても議論する。 Before the advent of alternative blockchains such as Ethereum, the future of decentralization was all in the hands of Bitcoin. Together with Nakamoto itself, early developers were trying to leverage Bitcoin potential to decentralize traditionally centralized applications. However, being Bitcoin a decentralized machine, available non-trustless oracles were considered unsuitable. Therefore, strategies had to be elaborated to solve the so-called oracle problem in the newborn scenario. By interviewing early developers and crawling early forums and repositories, this paper aims to retrace and reconstruct the chain of events and contributions that gave birth to oracles on Bitcoin. The evolution of early trust models and approaches to solving the oracle problem is also outlined. Analyzing technical and social barriers to building oracles on Bitcoin, the transition to Ethereum will also be discussed. | 翻訳日:2023-02-19 14:13:05 公開日:2023-02-15 |
| # 医療機器の技術・臨床安全保証の分離 Separating Technological and Clinical Safety Assurance for Medical Devices ( http://arxiv.org/abs/2302.07873v1 ) ライセンス: Link先を確認 | Spencer Deevy, Tiago de Moraes Machado, Amen Modhafar, Wesley O'Beirne, Richard Paige and Alan Wassyng | (参考訳) 医療機器の安全性と臨床効果は、臨床における特定の使用と密接に関連している。
安全性と臨床効果の確保は困難である。
異なる人は、生理学や遺伝学の変動により、同じ治療に対して異なる反応をすることがある。
したがって, デバイス自体の出力や動作を考慮し, 様々な患者を治療するためのデバイスの使用の効果を検討する必要がある。
高強度集束超音波システムと放射線治療装置は、これが主な関心事であるシステムの例である。
従来のモノリシックな保証ケースは複雑であり、この複雑さはこれらの懸念に適切に対処する能力に影響を与える。
関心事の分離原理に基づき,臨床治療におけるこの種のシステムの使用の保証を2つの関連した保証事例に分けることを提案する。
第1の保証ケースは、臨床治療とは無関係に製造者の装置の安全性を示す。
第2に、特定の臨床治療で使用される際の装置の安全性と臨床効果を示す。
我々は,これらの別個の保証ケースの考え方を紹介し,それらの分離とリンクの仕方を簡潔に説明する。 The safety and clinical effectiveness of medical devices are closely associated with their specific use in clinical treatments. Assuring safety and the desired clinical effectiveness is challenging. Different people may react differently to the same treatment due to variability in their physiology and genetics. Thus, we need to consider the outputs and behaviour of the device itself as well as the effect of using the device to treat a wide variety of patients. High-intensity focused ultrasound systems and radiation therapy machines are examples of systems in which this is a primary concern. Conventional monolithic assurance cases are complex, and this complexity affects our ability to address these concerns adequately. Based on the principle of separation of concerns, we propose separating the assurance of the use of these types of systems in clinical treatments into two linked assurance cases. The first assurance case demonstrates the safety of the manufacturer's device independent of the clinical treatment. The second demonstrates the safety and clinical effectiveness of the device when it is used in a specific clinical treatment. We introduce the idea of these separate assurance cases, and describe briefly how they are separated and linked. | 翻訳日:2023-02-19 14:12:51 公開日:2023-02-15 |
| # コンテンツ規制政策の実施評価:YouTube上での選挙不正情報のクラウドソース監査 Assessing enactment of content regulation policies: A post hoc crowd-sourced audit of election misinformation on YouTube ( http://arxiv.org/abs/2302.07836v1 ) ライセンス: Link先を確認 | Prerna Juneja, Md Momen Bhuiyan, Tanushree Mitra | (参考訳) 2022年の米国中間選挙が近づき、2020年の大統領選挙に関する陰謀的な主張は、ユーザーの選挙プロセスへの信頼を脅かし続けている。
選挙情報を規制するため、YouTubeはそのようなコンテンツを検索やレコメンデーションから削除するポリシーを導入した。
本稿では、YouTube上で9日間のクラウドソースによる監査を行い、こうしたポリシーの実施範囲を評価する。
2020年の選挙に関する45のビデオと88の検索クェリで、最新のレコメンデーションパスと検索結果を収集できるブラウザエクステンションをインストールした99名のユーザを募集した。
検索クエリのバイアスに関わらず、YouTubeの検索結果には、選挙の誤報を支持するのではなく、反対するビデオがたくさん含まれていることがわかりました。
しかし、いまだに不正な選挙ビデオを見ることは、最新の道筋で少数の誤報ビデオに繋がる。
結果から、youtubeは選挙不正情報の規制に成功しているようにみえるが、改善の余地はまだある。 With the 2022 US midterm elections approaching, conspiratorial claims about the 2020 presidential elections continue to threaten users' trust in the electoral process. To regulate election misinformation, YouTube introduced policies to remove such content from its searches and recommendations. In this paper, we conduct a 9-day crowd-sourced audit on YouTube to assess the extent of enactment of such policies. We recruited 99 users who installed a browser extension that enabled us to collect up-next recommendation trails and search results for 45 videos and 88 search queries about the 2020 elections. We find that YouTube's search results, irrespective of search query bias, contain more videos that oppose rather than support election misinformation. However, watching misinformative election videos still lead users to a small number of misinformative videos in the up-next trails. Our results imply that while YouTube largely seems successful in regulating election misinformation, there is still room for improvement. | 翻訳日:2023-02-19 14:12:37 公開日:2023-02-15 |
| # 炎と戦え! ソーシャルメディアの誤報をハックするハッカーたち Fight Fire with Fire: Hacktivists' Take on Social Media Misinformation ( http://arxiv.org/abs/2302.07788v1 ) ライセンス: Link先を確認 | Filipo Sharevski and Benjamin Kessell | (参考訳) 本研究では,ソーシャルメディア上での誤情報の増大について,22名の著名なハックティビストにインタビューを行った。
いずれも、プロパガンダの政治的(カントリー)調停と普及を目的として、トロルとミームの悪評を歓迎する者はいなかった。
元々のハッカーのエソスによれば、誤報はインターネットの民主的ビジョンへの脅威と見なされており、"ミスインフォーマー"をデプラットフォーム化したり、資金提供や採用に関する情報をドックスしたりリークしたりするようなハックティビストの方法に直面する必要がある。
ハッカーの大多数は、標的とするハッキングキャンペーンに加えて、誤情報リテラシーを高めるための介入を推奨した。
本研究は,造形的かつ事実的ソーシャルメディア論説を擁護するハッキビズムの創発的再キャストとの関連性について考察する。 In this study, we interviewed 22 prominent hacktivists to learn their take on the increased proliferation of misinformation on social media. We found that none of them welcomes the nefarious appropriation of trolling and memes for the purpose of political (counter)argumentation and dissemination of propaganda. True to the original hacker ethos, misinformation is seen as a threat to the democratic vision of the Internet, and as such, it must be confronted on the face with tried hacktivists' methods like deplatforming the "misinformers" and doxing or leaking data about their funding and recruitment. The majority of the hacktivists also recommended interventions for raising misinformation literacy in addition to targeted hacking campaigns. We discuss the implications of these findings relative to the emergent recasting of hacktivism in defense of a constructive and factual social media discourse. | 翻訳日:2023-02-19 14:12:19 公開日:2023-02-15 |
| # 社会技術システムにおける公正性--ウィキペディアを事例として Fairness in Socio-technical Systems: a Case Study of Wikipedia ( http://arxiv.org/abs/2302.07787v1 ) ライセンス: Link先を確認 | Mir Saeed Damadi and Alan Davoust | (参考訳) 一般にアルゴリズムバイアスとして知られる問題は、観察されたバイアスが単一の自動決定アルゴリズムに直接帰属できない複雑な社会工学システム(sts)の文脈で頻繁に発生する。
STSにおけるフェアネスの最初の調査として、ウィキペディアの事例に焦点を当てる。
アルゴリズム的公平性研究の確立した害概念を分類し,関連づけたウィキペディアのバイアスの種類を記述した75の論文を体系的に検討した。
観察された現象間の因果関係を解析することにより,社会工学的プロセスが害をもたらす複雑さを実証する。
最後に、異なる問題に関連する公平性の規範的期待を識別し、機械学習駆動意思決定システムに提案されている既存の基準の適用性について議論する。 Problems broadly known as algorithmic bias frequently occur in the context of complex socio-technical systems (STS), where observed biases may not be directly attributable to a single automated decision algorithm. As a first investigation of fairness in STS, we focus on the case of Wikipedia. We systematically review 75 papers describing different types of bias in Wikipedia, which we classify and relate to established notions of harm from algorithmic fairness research. By analysing causal relationships between the observed phenomena, we demonstrate the complexity of the socio-technical processes causing harm. Finally, we identify the normative expectations of fairness associated with the different problems and discuss the applicability of existing criteria proposed for machine learning-driven decision systems. | 翻訳日:2023-02-19 14:12:04 公開日:2023-02-15 |
| # Redditのニュース討論におけるイデオロギー的分離よりもデモグラフィーの証拠 Evidence of Demographic rather than Ideological Segregation in News Discussion on Reddit ( http://arxiv.org/abs/2302.07598v1 ) ライセンス: Link先を確認 | Corrado Monti, Jacopo D'Ignazi, Michele Starnini, Gianmarco De Francisci Morales | (参考訳) 我々は、イデオロギーグループと人口統計グループの間で、典型的な意見形成コンテキストにおけるホモフィアとヘテロフィアリーを評価する:現在のニュースのオンライン議論。
われわれはRedditのr/newsコミュニティで5年間にわたってユーザーインタラクションを分析している。
次に,これらのユーザの人口動態とイデオロギー特性を推定する。
注意深いネットワークヌルモデルとの比較により、どの属性のペアが相互作用を助長し、どれがそれを阻害するかを確立した。
個人は反対のイデオロギー的側面に関わり、これはエコー室の物語と矛盾する。
個人が自身のグループ内で相互作用する傾向があるため、そのような属性が直接観察できないオンライン環境においても、人口動態群はホモフレンドリである。
特に、年齢と収入の分離は、何年にもわたって一貫して観察され、ユーザーは異なるグループに属している場合の相互作用を避ける傾向にある。
これらの結果は、異なるニューストピックにおける各人口集団の関心度を制御した後も継続する。
本研究は,ソーシャルメディア上のイデオロギー的なエコー・チェンバーではなく,より分断された社会との関わりが増しているという,情緒的分極理論と一致している。
私たちは匿名化されたデータセットと結果を再現するすべてのコードを公開した。 We evaluate homophily and heterophily among ideological and demographic groups in a typical opinion formation context: online discussions of current news. We analyze user interactions across five years in the r/news community on Reddit, one of the most visited websites in the United States. Then, we estimate demographic and ideological attributes of these users. Thanks to a comparison with a carefully-crafted network null model, we establish which pairs of attributes foster interactions and which ones inhibit them. Individuals prefer to engage with the opposite ideological side, which contradicts the echo chamber narrative. Instead, demographic groups are homophilic, as individuals tend to interact within their own group - even in an online setting where such attributes are not directly observable. In particular, we observe age and income segregation consistently across years: users tend to avoid interactions when belonging to different groups. These results persist after controlling for the degree of interest by each demographic group in different news topics. Our findings align with the theory that affective polarization - the difficulty in socializing across political boundaries-is more connected with an increasingly divided society, rather than ideological echo chambers on social media. We publicly release our anonymized data set and all the code to reproduce our results: https://github.com/corradomonti/demographic-homophily | 翻訳日:2023-02-19 14:11:52 公開日:2023-02-15 |
| # 非計測コンバウンディングによるリスク評価 Counterfactual Risk Assessments under Unmeasured Confounding ( http://arxiv.org/abs/2212.09844v3 ) ライセンス: Link先を確認 | Ashesh Rambachan and Amanda Coston and Edward Kennedy | (参考訳) 統計的リスクアセスメントは、提案された決定(例えば、このローンが承認された場合、応募者はデフォルトになるか?
しかし、歴史的データにおける決定と結果に共同で影響を及ぼした共同設立者がいないかもしれない。
本研究では,無測定の共同設立者が平均的な結果に影響を及ぼす範囲を限定した平均結果感度モデルを提案する。
平均結果感度モデルは、提案した決定、一般的な予測性能指標、予測格差に基づく結果の条件付き可能性の一部を部分的に識別する。
本研究は,それらの集合を導出し,統計的リスク評価の評価・評価を行う。
本研究では,提案する決定の下での結果条件付き確率の限界に対する非パラメトリック回帰法を提案し,予測性能と不一致の限界を推定する。
オーストラリアの大手金融機関から現実の信用評価業務にメソッドを適用することで、未測定の資金調達に対する様々な仮定が、信用スコアの予測と予測格差の評価に実質的変化をもたらすことを示す。 Statistical risk assessments inform consequential decisions, such as pretrial release in criminal justice and loan approvals in consumer finance, by counterfactually predicting an outcome under a proposed decision (e.g., would the applicant default if we approved this loan?). There may, however, have been unmeasured confounders that jointly affected decisions and outcomes in the historical data. We propose a mean outcome sensitivity model that bounds the extent to which unmeasured confounders could affect outcomes on average. The mean outcome sensitivity model partially identifies the conditional likelihood of the outcome under the proposed decision, popular predictive performance metrics, and predictive disparities. We derive their identified sets and develop procedures for the confounding-robust learning and evaluation of statistical risk assessments. We propose a nonparametric regression procedure for the bounds on the conditional likelihood of the outcome under the proposed decision, and estimators for the bounds on predictive performance and disparities. Applying our methods to a real-world credit-scoring task from a large Australian financial institution, we show how varying assumptions on unmeasured confounding lead to substantive changes in the credit score's predictions and evaluations of its predictive disparities. | 翻訳日:2023-02-19 13:10:30 公開日:2023-02-15 |
| # ニューヨーク市における100%電化輸送のモデル化 Modeling 100% Electrified Transportation in NYC ( http://arxiv.org/abs/2211.11581v2 ) ライセンス: Link先を確認 | Jingrong Zhang, Amber Jiang, Brian Newborn, Sara Kou, Robert Mieth | (参考訳) そこで本稿では,将来的な電力輸送分野を想定し,社会経済,人口,地理的データを用いて通勤者からの電力需要を推定する手法を提案する。
さらに、各個体のモード選択の可能性について検討し、集団全体のモードミックスシナリオを作成する。
我々は,最先端電池と電気駆動技術の技術的仕様と異なる充電シナリオを組み合わせて,各シナリオの電力需要を定量化する。
ニューヨーク市のデータセットを用いて,インフラ投資の必要性,柔軟な充電ポリシーの有用性,マイクロモビリティや大量輸送オプションのインセンティブによるポジティブな影響を浮き彫りにした。
私たちのモデルと結果はインタラクティブダッシュボードとして公開されています。 Envisioning a future 100\% electrified transportation sector, this paper proposes a uses socio-economic, demographic, and geographic data to asses electric energy demand from commuter traffic. Additionally, we explore the possible mode choices of each individual, which allows to create mode-mix scenarios for the entire population. We quantify the electric energy demand for each scenario using technical specifications of state-of-the-art battery and electric drives technology in combination with different charging scenarios. Using data sets for New York City, our results highlight the need for infrastructure investments, the usefulness of flexible charging policies and the positive impact of incentivizing micromobility and mass-transit options. Our model and results are publicly available as interactive dashboard. | 翻訳日:2023-02-19 12:34:48 公開日:2023-02-15 |
| # 法に基づく自己検閲:香港国家安全保障法を事例として Self-Censorship Under Law: A Case Study of The Hong Kong National Security Law ( http://arxiv.org/abs/2210.11636v2 ) ライセンス: Link先を確認 | Mona Wang and Jonathan Mayer | (参考訳) 我々は、最近の香港の国家安全保障法を事例として、言論を制限する法律がオンラインの自己検閲を誘発し、オンラインの言論を変更する方法を研究する。
香港のユーザーから700万の歴史的ツイートのデータセットを収集し、他の研究者が収集したツイートストリームの歴史的スナップショットを補完します。
我々は、国家安全法施行前後のオンライン活動を比較し、香港の利用者が2種類の自己検閲を示すことが判明した。
まず、香港のユーザーは、過去のツイートストリームのスナップショットからランダムにサンプリングされたコントロールグループよりも、過去のオンラインアクティビティを削除する可能性が高い。
具体的には、香港のユーザーは、コントロールグループよりもアカウントを削除または制限する確率が3分の1以上で、過去の投稿を2倍以上削除する可能性がある。
第2に、香港のユーザーは中国本土のソーシャルメディアで検閲された政治的にセンシティブな話題についてあまり投稿していない。
この傾向は増え続けている。 We study how legislation that restricts speech can induce online self-censorship and alter online discourse, using the recent Hong Kong national security law as a case study. We collect a dataset of 7 million historical Tweets from Hong Kong users, supplemented with historical snapshots of Tweet streams collected by other researchers. We compare online activity before and after enactment of the national security law, and we find that Hong Kong users demonstrate two types of self-censorship. First, Hong Kong users are more likely than a control group, sampled randomly from historical snapshots of Tweet streams, to remove past online activity. Specifically, Hong Kong users are over a third more likely than the control group to delete or restrict their account and over twice as likely to delete past posts. Second, we find that Hong Kong users post less often about politically sensitive topics that have been censored on social media in mainland China. This trend continues to increase. | 翻訳日:2023-02-19 11:57:29 公開日:2023-02-15 |
| # 属性予測器による公正度の推定と制御 Estimating and Controlling for Fairness via Sensitive Attribute Predictors ( http://arxiv.org/abs/2207.12497v3 ) ライセンス: Link先を確認 | Beepul Bharti, Paul Yi, Jeremias Sulam | (参考訳) 機械学習ツールの現実世界における責任ある使用は、過小評価されたグループに対する潜在的な偏見を監査し、制御することを要求する高い意思決定要求である。
このプロセスは、人口統計、性別、その他の潜在的に敏感な特徴など、コントロールしたいと思う属性にアクセスする必要がある。
残念ながら、この情報は入手できないことが多い。
本研究では,敏感な属性予測器から派生したプロキシに敏感な属性を用いて公平性を確実に推定し,最終的に制御できることを実証する。
具体的には、まず、完全なデータ分布について少しの知識があれば、機密属性予測器を用いて分類器の真の公正度測定値の境界を求めることができることを示す。
次に,真に敏感な属性に対する分類器の最悪のフェアネス違反を,プロキシに敏感な属性に関してフェアネスを制御できることを実証する。
我々の結果は,これまでの研究よりもかなり穏やかな仮定のもとに存在し,これらの結果を合成データと実データを用いた実験で示す。 The responsible use of machine learning tools in real world high-stakes decision making demands that we audit and control for potential biases against underrepresented groups. This process naturally requires access to the sensitive attribute one desires to control, such as demographics, gender, or other potentially sensitive features. Unfortunately, this information is often unavailable. In this work we demonstrate that one can still reliably estimate, and ultimately control, for fairness by using proxy sensitive attributes derived from a sensitive attribute predictor. Specifically, we first show that with just a little knowledge of the complete data distribution, one may use a sensitive attribute predictor to obtain bounds of the classifier's true fairness metric. Second, we demonstrate how one can provably control a classifier's worst-case fairness violation with respect to the true sensitive attribute by controlling for fairness with respect to the proxy sensitive attribute. Our results hold under assumptions that are significantly milder than previous works, and we illustrate these results with experiments on synthetic and real datasets. | 翻訳日:2023-02-19 10:05:11 公開日:2023-02-15 |
| # プライバシーをキープして食べることも: ソーシャルメディアのアルゴリズムを公益に活用するプラットフォーム支援の監査 Having your Privacy Cake and Eating it Too: Platform-supported Auditing of Social Media Algorithms for Public Interest ( http://arxiv.org/abs/2207.08773v2 ) ライセンス: Link先を確認 | Basileal Imana, Aleksandra Korolova, John Heidemann | (参考訳) ソーシャルメディアプラットフォームは、情報や機会へのアクセスをキュレートし、今日、公共の言論を形作る上で重要な役割を果たす。
これらのプラットフォームがコンテンツのキュレーションに使用する不透明なアルゴリズムは、社会的な疑問を引き起こす。
これまでの研究ではブラックボックス法を用いて、これらのアルゴリズムが偏見や差別的な結果をもたらすことを示した。
しかし,既存の監査手法はプラットフォームに依存しないため,基本的な制約に直面している。
潜在的危害の懸念は、米国と英国の両方で、veted外部研究者がソーシャルメディアプラットフォームへの特権的なアクセスを許可する新しい形態の監査を義務付ける法律の提案を促した。
残念ながら、これまでこのような監査を提供する具体的な技術的提案は存在せず、大規模な監査はユーザのプライベートデータとプラットフォーム独自のアルゴリズムの開示を危険にさらす。
本稿では,提案法の目標を満たすプラットフォーム支援型監査手法を提案する。
最初の貢献は、これらのポリシーを大規模に実装する既存の監査手法の課題を列挙することです。
第2に,外部研究者によるプラットフォーム支援型監査を可能にする上では,関連性推定者への限定的アクセスが重要であることを示唆する。
第3に、これらのリスクから保護する監査フレームワークを提案することにより、プラットフォームが支援する監査は、ユーザのプライバシーやプラットフォームのビジネス上の利益の開示を危険にさらす必要はないことを示す。
特定の公正度尺度では、正確な監査に必要なサンプル数において、プライバシーを確保することは、小さな定数係数(上界6.34x、典型的なパラメータ4x)だけを課すことが示されている。
当社の技術的貢献は、現在進行中の法と政策の取り組みと相まって、プライバシとvsの透明性のハードルを乗り越えることで、ソーシャルメディアプラットフォームが個人と社会にどう影響するかを公共の監視を可能にします。 Social media platforms curate access to information and opportunities, and so play a critical role in shaping public discourse today. The opaque nature of the algorithms these platforms use to curate content raises societal questions. Prior studies have used black-box methods to show that these algorithms can lead to biased or discriminatory outcomes. However, existing auditing methods face fundamental limitations because they function independent of the platforms. Concerns of potential harm have prompted proposal of legislation in both the U.S. and the E.U. to mandate a new form of auditing where vetted external researchers get privileged access to social media platforms. Unfortunately, to date there have been no concrete technical proposals to provide such auditing, because auditing at scale risks disclosure of users' private data and platforms' proprietary algorithms. We propose a new method for platform-supported auditing that can meet the goals of the proposed legislation. Our first contribution is to enumerate the challenges of existing auditing methods to implement these policies at scale. Second, we suggest that limited, privileged access to relevance estimators is the key to enabling generalizable platform-supported auditing by external researchers. Third, we show platform-supported auditing need not risk user privacy nor disclosure of platforms' business interests by proposing an auditing framework that protects against these risks. For a particular fairness metric, we show that ensuring privacy imposes only a small constant factor increase (6.34x as an upper bound, and 4x for typical parameters) in the number of samples required for accurate auditing. Our technical contributions, combined with ongoing legal and policy efforts, can enable public oversight into how social media platforms affect individuals and society by moving past the privacy-vs-transparency hurdle. | 翻訳日:2023-02-19 09:56:13 公開日:2023-02-15 |
| # 量子コンピュータ上の基底状態問題としての変分ダイナミクス Variational dynamics as a ground-state problem on a quantum computer ( http://arxiv.org/abs/2204.03454v2 ) ライセンス: Link先を確認 | Stefano Barison, Filippo Vicentini, Ignacio Cirac, Giuseppe Carleo | (参考訳) 本研究では,量子システムの実時間ダイナミクスを基底状態問題として研究するための変分量子アルゴリズムを提案する。
この方法は、時間を補助量子ビットのレジスタにエンコードするFeynman と Kitaev の当初の提案に基づいている。
合成系に量子ビット演算子として作用するFeynman-Kitaev Hamiltonianを作成し、変分量子固有解器を用いて近似基底状態を求める。
このアルゴリズムを,スピン数の増加と時間ステップの増大を伴う横フィールドIsing鎖の動的特性の研究に適用し,2つのキュービットゲートの数で好適なスケーリングを証明した。
数値実験により, 雑音に対するロバスト性について検討し, 量子系の力学特性を評価し, ロスシュミットエコーの測定により動的量子相転移の存在を検出できることを示した。 We propose a variational quantum algorithm to study the real time dynamics of quantum systems as a ground-state problem. The method is based on the original proposal of Feynman and Kitaev to encode time into a register of auxiliary qubits. We prepare the Feynman-Kitaev Hamiltonian acting on the composed system as a qubit operator and find an approximate ground state using the Variational Quantum Eigensolver. We apply the algorithm to the study of the dynamics of a transverse field Ising chain with an increasing number of spins and time steps, proving a favorable scaling in terms of the number of two qubit gates. Through numerical experiments, we investigate its robustness against noise, showing that the method can be use to evaluate dynamical properties of quantum systems and detect the presence of dynamical quantum phase transitions by measuring Loschmidt echoes. | 翻訳日:2023-02-17 23:56:12 公開日:2023-02-15 |
| # 深層学習モデルは分子ドッキングにおける従来のアプローチより優れているか? Do Deep Learning Models Really Outperform Traditional Approaches in Molecular Docking? ( http://arxiv.org/abs/2302.07134v2 ) ライセンス: Link先を確認 | Yuejiang Yu, Shuqi Lu, Zhifeng Gao, Hang Zheng and Guolin Ke | (参考訳) タンパク質上のリガンド分子とリガンド結合部位(「ポケット」と呼ばれる)が与えられた分子ドッキングは、タンパク質-リガンド複合体の結合様式を予測するものであり、薬物設計において広く用いられている技法である。
多くのディープラーニングモデルが分子ドッキングのために開発されているが、既存のディープラーニングモデルの多くは、通常の分子ドッキングアプローチのように特定のポケットではなく、タンパク質全体にドッキングを行う。
さらに、従来の分子ドッキングよりも性能が良いと主張しているが、従来の方法ではポケットなしでタンパク質全体をドッキングするように設計されていないため、比較のアプローチは不公平だ。
本稿では,これらの深層学習モデルと従来の手法の実際の性能を検討するための一連の実験を設計する。
公平な比較のために,タンパク質全体のドッキングを,ポケット検索とポケットドッキングという2つのステップに分割し,従来の手法と深層学習をそれぞれ評価するためのパイプラインを構築した。
ディープラーニングモデルは実際にポケット検索に長けていますが、従来の手法は、特定のポケットにドッキングする深層学習モデルよりも優れています。
全体として、我々の研究は分子ドッキングのディープラーニングモデルにおける潜在的な問題を明らかにし、今後の研究にいくつかの提案を提供する。 Molecular docking, given a ligand molecule and a ligand binding site (called ``pocket'') on a protein, predicting the binding mode of the protein-ligand complex, is a widely used technique in drug design. Many deep learning models have been developed for molecular docking, while most existing deep learning models perform docking on the whole protein, rather than on a given pocket as the traditional molecular docking approaches, which does not match common needs. What's more, they claim to perform better than traditional molecular docking, but the approach of comparison is not fair, since traditional methods are not designed for docking on the whole protein without a given pocket. In this paper, we design a series of experiments to examine the actual performance of these deep learning models and traditional methods. For a fair comparison, we decompose the docking on the whole protein into two steps, pocket searching and docking on a given pocket, and build pipelines to evaluate traditional methods and deep learning methods respectively. We find that deep learning models are actually good at pocket searching, but traditional methods are better than deep learning models at docking on given pockets. Overall, our work explicitly reveals some potential problems in current deep learning models for molecular docking and provides several suggestions for future works. | 翻訳日:2023-02-17 16:24:54 公開日:2023-02-15 |
| # VA-DepthNet: 単一画像深度予測への変分アプローチ VA-DepthNet: A Variational Approach to Single Image Depth Prediction ( http://arxiv.org/abs/2302.06556v2 ) ライセンス: Link先を確認 | Ce Liu, Suryansh Kumar, Shuhang Gu, Radu Timofte, Luc Van Gool | (参考訳) 本稿では,単一画像深度予測(SIDP)問題に対する,シンプルで効果的かつ正確なディープニューラルネットワークアプローチであるVA-DepthNetを紹介する。
提案手法は古典的な一階変分制約をこの問題に用いている。
SIDPのための最先端のディープニューラルネットワーク手法は、監督された設定で画像からシーンの深さを学習するが、多くの場合、シーンの規則性のような厳密なシーン空間における価値ある不変性や先行性を見落としている。
この論文の主な貢献は、SIDPタスクのためのニューラルネットワーク設計における古典的および十分に確立された変動制約の利点を明らかにすることである。
シーン空間における一階変動制約とエンコーダ-デコーダベースネットワークアーキテクチャの設計は、教師付きSIDPタスクに優れた結果をもたらすことを示す。
与えられた一階変動制約により、ネットワークはシーン空間の深さ勾配、すなわち正規性を認識する。
提案手法は,KITTI,NYU Depth V2,SUN RGB-Dなどのベンチマークデータセットに対して,広範囲な評価とアブレーション解析により有用性を示す。
テスト時のVA-DepthNetは,先行技術に比べて深度予測精度が大幅に向上し,シーン空間の高周波領域でも精度が向上した。
本論文の執筆時点では,kitti depth-prediction evaluation set benchmarks上でテストしたva-depthnetと呼ばれる手法が最先端の成果を示し,最もパフォーマンスの高い公開手法である。 We introduce VA-DepthNet, a simple, effective, and accurate deep neural network approach for the single-image depth prediction (SIDP) problem. The proposed approach advocates using classical first-order variational constraints for this problem. While state-of-the-art deep neural network methods for SIDP learn the scene depth from images in a supervised setting, they often overlook the invaluable invariances and priors in the rigid scene space, such as the regularity of the scene. The paper's main contribution is to reveal the benefit of classical and well-founded variational constraints in the neural network design for the SIDP task. It is shown that imposing first-order variational constraints in the scene space together with popular encoder-decoder-based network architecture design provides excellent results for the supervised SIDP task. The imposed first-order variational constraint makes the network aware of the depth gradient in the scene space, i.e., regularity. The paper demonstrates the usefulness of the proposed approach via extensive evaluation and ablation analysis over several benchmark datasets, such as KITTI, NYU Depth V2, and SUN RGB-D. The VA-DepthNet at test time shows considerable improvements in depth prediction accuracy compared to the prior art and is accurate also at high-frequency regions in the scene space. At the time of writing this paper, our method -- labeled as VA-DepthNet, when tested on the KITTI depth-prediction evaluation set benchmarks, shows state-of-the-art results, and is the top-performing published approach. | 翻訳日:2023-02-17 16:24:05 公開日:2023-02-15 |
| # Clebsch-Gordan係数の古典的極限の改善について Note on an improved classical limit of Clebsch-Gordan coefficients ( http://arxiv.org/abs/2302.07737v1 ) ライセンス: Link先を確認 | J. S. Dowker | (参考訳) フレンケルとハートノールが行列球面調和の要素の近似計算に用いた対称性シフトは、さらに研究され、エドモンズ古典極限の拡張を与える3-j記号の置換対称性と関連していることが示されている。
いくつかのグラフが表示されます。 A symmetrising shift employed by Frenkel and Hartnoll in the approximate computation of the elements of matrix spherical harmonics is further explored and shown to be related to the permutation symmetry of 3-j symbols yielding an extension of the Edmonds classical limit. Some graphs are displayed. | 翻訳日:2023-02-17 16:15:39 公開日:2023-02-15 |
| # 最適損失許容しきい値を用いた線形光論理ベル状態測定 Linear optical logical Bell state measurements with optimal loss-tolerance threshold ( http://arxiv.org/abs/2302.07908v1 ) ライセンス: Link先を確認 | Paul Hilaire, Yaron Castor, Edwin Barnes, Sophia E. Economou, Fr\'ed\'eric Grosshans | (参考訳) 量子しきい値定理は、量子情報を処理するハードウェア能力に厳しい制限を課す。
我々は,線形光学ベル測定の固有確率的性質を考慮に入れて,異なる線形光学量子情報処理環境における損失許容しきい値に対する厳密で基本的な上限を求める。
論理ベル状態測定(フォトニック量子情報におけるユビキタスな操作)については、線形光学がリーらの研究(Phys)に従っても、閉包定理によって課される基本的な損失閾値を達成できることを解析的に実証する。
A100,052303 (2019)では、制約はより厳格であると広く想定された。
後者の出版の仮定にスポットライトを当て、適応的物理線形光学ベル測定から構築された論理ベル測定のバウンドホールドを見つける。
また、非適応ベル測定に対してより厳密な境界を与える。 Quantum threshold theorems impose hard limits on the hardware capabilities to process quantum information. We derive tight and fundamental upper bounds to loss-tolerance thresholds in different linear-optical quantum information processing settings through an adversarial framework, taking into account the intrinsically probabilistic nature of linear optical Bell measurements. For logical Bell state measurements - ubiquitous operations in photonic quantum information - we demonstrate analytically that linear optics can achieve the fundamental loss threshold imposed by the no-cloning theorem even though, following the work of Lee et al., (Phys. Rev. A 100, 052303 (2019)), the constraint was widely assumed to be stricter. We spotlight the assumptions of the latter publication and find their bound holds for a logical Bell measurement built from adaptive physical linear-optical Bell measurements. We also give an explicit even stricter bound for non-adaptive Bell measurements. | 翻訳日:2023-02-17 16:07:25 公開日:2023-02-15 |
| # 2次元熱状態の等尺テンソルネットワーク表現 Isometric tensor network representations of two-dimensional thermal states ( http://arxiv.org/abs/2302.07905v1 ) ライセンス: Link先を確認 | Wilhelm Kadow, Frank Pollmann, Michael Knap | (参考訳) テンソルネットワークは、低次元複素多体系を記述するのに有用なツールである。
2次元の有限温度シミュレーションにこれらの手法を用いる効率的なアルゴリズムを見つけることは継続的な課題である。
ここでは、最近導入された等尺テンソルネットワーク状態(isoTNS)のクラスを使用し、量子コンピュータ上のユニタリゲートで直接実現することができる。
横磁場イジングモデルの熱状態を効率的に表現するために, 精製アンサッツを用いる。
無限温度から始まる想像上の時間進化を行うことにより、この手法は有限温度の状態を表現するために計算の複雑さが低い新しい方法を提供する。 Tensor networks provide a useful tool to describe low-dimensional complex many-body systems. Finding efficient algorithms to use these methods for finite temperature simulations in two dimensions is a continuing challenge. Here, we use the class of recently introduced isometric tensor network states (isoTNS), which can also be directly realized with unitary gates on a quantum computer. We utilize a purification ansatz to efficiently represent thermal states of the transverse field Ising model. By performing an imaginary time evolution starting from infinite temperature, we find that this approach offers a new way with low computational complexity to represent states at finite temperatures. | 翻訳日:2023-02-17 16:07:08 公開日:2023-02-15 |
| # 半古典的時間を超えた量子宇宙論のダイナミクス Beyond semiclassical time: dynamics in quantum cosmology ( http://arxiv.org/abs/2302.07903v1 ) ライセンス: Link先を確認 | Leonardo Chataignier | (参考訳) ヒルベルト空間の定義に対する2つのアプローチと、量子重力のおもちゃモデルとしてよく用いられる局所的時間分離不変性を持つ力学理論の進化について概説する。
第1のアプローチは不変リレーショナル可観測性の定義に基づいているが、第2の形式主義はヒルベルト空間の摂動的構成とハミルトンの制約の弱結合拡張から成り、量子宇宙論におけるボルン・オッペンハイマーの扱いの一部として頻繁に行われる。
両アプローチが通常のファドデエフ・ポポフ手順の作用素版を通してゲージ固定された内部積を示すか、そして第二のアプローチでは、有効シュルンディンガー進化のユニタリ性がどのように摂動的に成立するかを議論する。
物理的状態の条件付き確率解釈が可能であることに注意し、両方の形式主義が関係力学を持つ量子力学の例である。 We review two approaches to the definition of the Hilbert space and evolution in mechanical theories with local time-reparametrization invariance, which are often used as toy models of quantum gravity. The first approach is based on the definition of invariant relational observables, whereas the second formalism consists of a perturbative construction of the Hilbert space and a weak-coupling expansion of the Hamiltonian constraint, which is frequently performed as part of the Born-Oppenheimer treatment in quantum cosmology. We discuss in which sense both approaches exhibit an inner product that is gauge-fixed via an operator version of the usual Faddeev-Popov procedure, and, in the second approach, how the unitarity of the effective Schr\"{o}dinger evolution is established perturbatively. We note that a conditional probability interpretation of the physical states is possible, so that both formalisms are examples of quantum mechanics with a relational dynamics. | 翻訳日:2023-02-17 16:06:57 公開日:2023-02-15 |
| # 量子プロセッサ上の可逆ワームホールダイナミクス」へのコメント Comment on "Traversable wormhole dynamics on a quantum processor" ( http://arxiv.org/abs/2302.07897v1 ) ライセンス: Link先を確認 | Bryce Kobrin, Thomas Schuster, Norman Y. Yao | (参考訳) 最近の論文[nature 612, 51-55 (2022)]は、実験で可逆的なワームホールダイナミクスを観察していると主張している。
この主張は、5つの完全可換項を持つ7つのマヨラナフェルミオンからなるハミルトニアンを用いてテレポーテーションプロトコルを実行することに基づいている。
Hamiltonianは、Sachdev-Ye-Kitaev(SYK)モデルのテレポーテーション動作を再現するために設計された機械学習手順によって生成される。
著者らは、ハミルトニアンはSYKモデルの重力力学を再現し、創発的なワームホールを通して重力的テレポーテーションを示すと主張している。
以下に示す。
i) これらの主張とは対照的に、学習されたハミルトニアンは熱化を示さない。
(II)テレポーテーション信号は、機械学習訓練に使用された演算子のSYKモデルにのみ似ている。
(iii)観察された完全サイズの巻線は、実際には、小型で完全可換なモデルの一般的な特徴であり、大型の完全可換モデルや同等のシステムサイズで非可換モデルでは持続しないように見える。 A recent article [Nature 612, 51-55 (2022)] claims to observe traversable wormhole dynamics in an experiment. This claim is based upon performing a teleportation protocol using a Hamiltonian that consists of seven Majorana fermions with five fully-commuting terms. The Hamiltonian is generated via a machine-learning procedure designed to replicate the teleportation behavior of the Sachdev-Ye-Kitaev (SYK) model. The authors claim that the learned Hamiltonian reproduces gravitational dynamics of the SYK model and demonstrates gravitational teleportation through an emergent wormhole. We find: (i) in contrast to these claims, the learned Hamiltonian does not exhibit thermalization; (ii) the teleportation signal only resembles the SYK model for operators that were used in the machine-learning training; (iii) the observed perfect size winding is in fact a generic feature of small-size, fully-commuting models, and does not appear to persist in larger-size fully-commuting models or in non-commuting models at equivalent system sizes | 翻訳日:2023-02-17 16:06:39 公開日:2023-02-15 |
| # 安定化剤エントロピーの相転移と効率的な純度推定 Phase transition in Stabilizer Entropy and efficient purity estimation ( http://arxiv.org/abs/2302.07895v1 ) ライセンス: Link先を確認 | Lorenzo Leone, Salvatore F. E. Oliviero, Gianluca Esposito, Alioscia Hamma | (参考訳) 安定化器エントロピー(SE)は、パウリ作用素に基づいて状態の拡散を定量化する。
非安定化性の計算可能な尺度であり、量子計算に有用な資源である。
seは量子システムの周りを移動でき、その複雑な特徴からサブシステムを効果的に浄化することができる。
残余サブシステムseに非クリフォード資源の密度関数としての相転移が存在することを示す。
この相転移は、以下の重要な操作上の結果をもたらす: 安定状態から状態を準備する$t$非cliffordゲートを含む回路に対して、$o(\operatorname{poly}(n)2^t)$多くのクエリを必要とするサブシステム純度推定プロトコルの開始を示す。
したがって、$t=O(\log n)$の場合、多項式資源による純度を推定し、高い絡み合った状態に対しては、既知の最先端アルゴリズムよりも指数的なスピードアップを達成する。 Stabilizer Entropy (SE) quantifies the spread of a state in the basis of Pauli operators. It is a computationally tractable measure of non-stabilizerness and thus a useful resource for quantum computation. SE can be moved around a quantum system, effectively purifying a subsystem from its complex features. We show that there is a phase transition in the residual subsystem SE as a function of the density of non-Clifford resources. This phase transition has important operational consequences: it marks the onset of a subsystem purity estimation protocol that requires $O(\operatorname{poly}(n)2^t)$ many queries to a circuit containing $t$ non-Clifford gates that prepares the state from a stabilizer state. Thus, for $t=O(\log n)$, it estimates the purity with polynomial resources and, for highly entangled states, attains an exponential speed-up over the known state-of-the-art algorithms. | 翻訳日:2023-02-17 16:06:18 公開日:2023-02-15 |
| # メゾスコピック量子状態と回路形成のためのrydberg原子の量子制御 Quantum control of Rydberg atoms for mesoscopic-scale quantum state and circuit preparation ( http://arxiv.org/abs/2302.07893v1 ) ライセンス: Link先を確認 | Valerio Crescimanna, Jacob Taylor, Aaron Z. Goldberg, Khabat Heshami | (参考訳) 個別に閉じ込められたRydberg原子は、スケーラブルな量子シミュレーションとプログラム可能な量子コンピュータの開発のためのプラットフォームとして大きな可能性を示している。
特に、Rydbergブロック効果は、物理量子ビットを符号化する低次電子状態を介して、高速な量子ビット相互作用と長いコヒーレンス時間の両方を促進するために用いられる。
既存のRydberg-atom-based platformをフォールトトレラント量子計算に近づけるために、5つの原子からなるシステムで高忠実性状態と回路準備を示す。
具体的には、完全に接続されたクラスタ状態を確実に生成し、Laflammeらによる 'Perfect Quantum Error Correcting Code' に基づいて誤り訂正符号化回路をシミュレートするために量子制御が利用できることを示す。
[Phys. Rev. Lett. 77, 198 (1996)]
本研究は,これらのアイデアと実装を実験に直接アクセスし,実験誤差に対する耐雑音性を示すものである。
このアプローチでは、最小量子ビットモジュールの直接および高忠実性実装のための標準ゲート型量子回路と組み合わせて、小さなサブシステムにおける量子制御の適用を動機付ける。 Individually trapped Rydberg atoms show significant promise as a platform for scalable quantum simulation and for development of programmable quantum computers. In particular, the Rydberg blockade effect can be used to facilitate both fast qubit-qubit interactions and long coherence times via low-lying electronic states encoding the physical qubits. To bring existing Rydberg-atom-based platforms a step closer to fault-tolerant quantum computation, we demonstrate high-fidelity state and circuit preparation in a system of five atoms. We specifically show that quantum control can be used to reliably generate fully connected cluster states and to simulate the error-correction encoding circuit based on the 'Perfect Quantum Error Correcting Code' by Laflamme et al. [Phys. Rev. Lett. 77, 198 (1996)]. Our results make these ideas and their implementation directly accessible to experiments and demonstrate a promising level of noise tolerance with respect to experimental errors. With this approach, we motivate the application of quantum control in small subsystems in combination with the standard gate-based quantum circuits for direct and high-fidelity implementation of few-qubit modules. | 翻訳日:2023-02-17 16:06:02 公開日:2023-02-15 |
| # 世界のホログラムは Holograms In Our World ( http://arxiv.org/abs/2302.07892v1 ) ライセンス: Link先を確認 | Raphael Bousso and Geoff Penington | (参考訳) AdS/CFT において、絡み合いウェッジ EW$(B)$ は境界領域 $B$ から再構成できるバルク幾何学の一部であり、言い換えれば EW$(B)$ は B$ のホログラムである。
この概念を任意の時空に拡張する。
任意の重力領域 $a$ が与えられると、max- と min-アンタグルメント wedge, $e_{\rm max}(a)$ と $e_{\rm min}(a)$ を定義するので、$e_{\rm min}(a)\supset e_{\rm max}(a)\supset a$ となる。
AdS/CFTの類似物とは異なり、この2つの時空領域は、一般化エントロピーが領域によって近似されるとき、古典的なレベルで既に異なることができる。
a$ in $e_{\rm max}(a)$ 以外の全ての情報は、中間ホモロジー曲面の領域によって容量が制御される量子チャネルを通して、a$ に向かって内向きに流れることができる。
対照的に、$e_{\rm min}(a)$ 以外の全ての情報は外部へ流れることができる。
適切な絡み合いのウェッジの一般化エントロピーは強い部分付加性に従い、通常の量子系のフォン・ノイマンエントロピーを表すことを示唆している。
適度に独立な領域の絡み合いは、非閉関係を満たす。
これは、a$の半古典的記述を超越するリソースを使って、a$のオブザーバーが、空間的な関連点から情報を$e_{\rm max}(a)$で呼び出すことができることを示唆している。 In AdS/CFT, the entanglement wedge EW$(B)$ is the portion of the bulk geometry that can be reconstructed from a boundary region $B$; in other words, EW$(B)$ is the hologram of $B$. We extend this notion to arbitrary spacetimes. Given any gravitating region $a$, we define a max- and a min-entanglement wedge, $e_{\rm max}(a)$ and $e_{\rm min}(a)$, such that $e_{\rm min}(a)\supset e_{\rm max}(a)\supset a$. Unlike their analogues in AdS/CFT, these two spacetime regions can differ already at the classical level, when the generalized entropy is approximated by the area. All information outside $a$ in $e_{\rm max}(a)$ can flow inwards towards $a$, through quantum channels whose capacity is controlled by the areas of intermediate homology surfaces. In contrast, all information outside $e_{\rm min}(a)$ can flow outwards. The generalized entropies of appropriate entanglement wedges obey strong subadditivity, suggesting that they represent the von Neumann entropies of ordinary quantum systems. The entanglement wedges of suitably independent regions satisfy a no-cloning relation. This suggests that it may be possible for an observer in $a$ to summon information from spacelike related points in $e_{\rm max}(a)$, using resources that transcend the semiclassical description of $a$. | 翻訳日:2023-02-17 16:05:39 公開日:2023-02-15 |
| # ラウンドロビン微分位相シフトプロトコルにおける高次元符号化 High-dimensional Encoding in the Round-Robin Differential-Phase-Shift Protocol ( http://arxiv.org/abs/2302.07888v1 ) ライセンス: Link先を確認 | Mikka Stasiuk, Felix Hufnagel, Xiaoqin Gao, Fr\'ed\'eric Bouchard, Ebrahim Karimi, Khabat Heshami | (参考訳) 量子鍵分布(QKD)では、プロトコルは、高い鍵レート、高いノイズレベルの操作、実用的なセキュリティ考慮など、望ましい実験属性を採用するように調整される。
ラウンドロビン差動位相シフトプロトコル(rrdps)は差動位相シフトプロトコルの一種であり、信号の乱れをモニターするなどのセキュリティ解析の制約を取り除くために導入された。
RRDPSプロトコルは高次元の量子状態において単一光子の符号化を必要とするが、少なくとも1ビットの秘密鍵しか分散しない。
しかし、別のプロトコルのファミリ、すなわち高次元(HD) QKDは、符号化アルファベットを拡張し、単一の光子がそれぞれ1ビット以上の秘密鍵を運ぶことができる。
高次元のBB84プロトコルは、鍵レートや耐雑音性などの符号化方式の潜在的な利点を実証している。
本稿では、RDPS QKDを任意に大きなエンコードアルファベットに拡張し、セキュリティ効果を探索するアプローチを考案する。
本稿では,概念実証実験を用いて,プロトコルパラメータを最適化することで,様々な実験条件に適応できることを実証する。
提案手法は,hd と dps qkd の両方の情報エンコーディングに対するユニークなアプローチを活用することで,一見非互換な量子通信方式とのギャップを埋めるための洞察を与える。 In quantum key distribution (QKD), protocols are tailored to adopt desirable experimental attributes, including high key rates, operation in high noise levels, and practical security considerations. The round-robin differential phase shift protocol (RRDPS), falling in the family of differential phase shift protocols, was introduced to remove restrictions on the security analysis, such as the requirement to monitor signal disturbances. While the RRDPS protocol requires the encoding of single photons in high-dimensional quantum states, at most, only one bit of secret key is distributed per sifted photon. However, another family of protocols, namely high-dimensional (HD) QKD, enlarges the encoding alphabet, allowing single photons to carry more than one bit of secret key each. The high-dimensional BB84 protocol exemplifies the potential benefits of such an encoding scheme, such as larger key rates and higher noise tolerance. Here, we devise an approach to extend the RRDPS QKD to an arbitrarily large encoding alphabet and explore the security consequences. We demonstrate our new framework with a proof-of-concept experiment and show that it can adapt to various experimental conditions by optimizing the protocol parameters. Our approach offers insight into bridging the gap between seemingly incompatible quantum communication schemes by leveraging the unique approaches to information encoding of both HD and DPS QKD. | 翻訳日:2023-02-17 16:05:07 公開日:2023-02-15 |
| # ニューロインスパイアフォトニックコンピューティングに基づく超高速単一チャネルマシンビジョン Ultrafast single-channel machine vision based on neuro-inspired photonic computing ( http://arxiv.org/abs/2302.07875v1 ) ライセンス: Link先を確認 | Tomoya Yamaguchi, Kohei Arai, Tomoaki Niiyama, Atsushi Uchida, and Satoshi Sunada | (参考訳) 高速機械ビジョンは科学と技術の両方において重要性を高めている。
ニューロインスパイアされたフォトニックコンピューティングは、超低レイテンシでマシンビジョン処理をスピードアップするための有望なアプローチである。
しかし、処理速度はイメージセンサの低フレームレート(通常は数十ヘルツで動作)によって基本的に制限される。
本稿では、ランダムな時空間符号化技術に基づいて、単一の入力チャネルのみを用いて、実世界の視覚情報を光学的に処理する画像センサフリーマシンビジョンフレームワークを提案する。
このアプローチは、ギガヘルツレートで単一のチャネルで視覚情報を圧縮的に取得し、従来のアプローチよりも優れ、フォトニック貯水池コンピュータを時間領域で直接フォトニック処理することができる。
本研究では,提案手法が高速画像認識と異常検出が可能であることを実験的に証明し,さらに高速画像検出に使用できることを示す。
提案手法は多目的であり,ナノ秒以下の現象の追跡,制御,キャプチャなど,幅広い用途に拡張可能である。 High-speed machine vision is increasing its importance in both scientific and technological applications. Neuro-inspired photonic computing is a promising approach to speed-up machine vision processing with ultralow latency. However, the processing rate is fundamentally limited by the low frame rate of image sensors, typically operating at tens of hertz. Here, we propose an image-sensor-free machine vision framework, which optically processes real-world visual information with only a single input channel, based on a random temporal encoding technique. This approach allows for compressive acquisitions of visual information with a single channel at gigahertz rates, outperforming conventional approaches, and enables its direct photonic processing using a photonic reservoir computer in a time domain. We experimentally demonstrate that the proposed approach is capable of high-speed image recognition and anomaly detection, and furthermore, it can be used for high-speed imaging. The proposed approach is multipurpose and can be extended for a wide range of applications, including tracking, controlling, and capturing sub-nanosecond phenomena. | 翻訳日:2023-02-17 16:04:43 公開日:2023-02-15 |
| # 学習把握予測モデルを用いたオンラインツール選択 Online Tool Selection with Learned Grasp Prediction Models ( http://arxiv.org/abs/2302.07940v1 ) ライセンス: Link先を確認 | Khashayar Rohanimanesh, Jake Metzger, William Richards, and Aviv Tamar | (参考訳) 深層学習に基づく把握予測モデルは,ロボットビンピッキングシステムの業界標準となっている。
ピック成功を最大化するために、プロダクション環境はターゲットオブジェクトに基づいて、オンザフライで交換できるいくつかのエンドエフェクタツールを備えていることが多い。
しかし、ツールの変更には時間がかかる。
実行すべき把握の順序とそれに対応するツール変更アクションを選択することで、システムのスループットが向上します。
ツールの変更を計画する上での最大の課題は不確実性です。
そこで我々は,待ち行列と入場制御の問題に着想を得て,予測スループットを最大化することを目的としたマルコフ決定プロセス(mdp)として問題をモデル化し,モデル予測制御に基づく近似解を追求する。
提案手法の特長は,未知の物体が存在するような幾何学的境界である空白領域の考え方であり,計画中は説明できない。
我々の計画問題は整数線形プログラミング(ILP)を用いて解くことができる。
しかし、スパースツリー探索に基づく近似解は、わずかな時間で最適性能に近い結果が得られることがわかった。
もうひとつの疑問は、ツール変更計画のパフォーマンスを測定する方法だ。 スループットだけでは、繊細で滑らかな振る舞いを捉えられず、原則に基づいた代替案を提案する。
最後に,我々のアルゴリズムを実世界のビンピッキングタスクの両方で実演する。 Deep learning-based grasp prediction models have become an industry standard for robotic bin-picking systems. To maximize pick success, production environments are often equipped with several end-effector tools that can be swapped on-the-fly, based on the target object. Tool-change, however, takes time. Choosing the order of grasps to perform, and corresponding tool-change actions, can improve system throughput; this is the topic of our work. The main challenge in planning tool change is uncertainty - we typically cannot see objects in the bin that are currently occluded. Inspired by queuing and admission control problems, we model the problem as a Markov Decision Process (MDP), where the goal is to maximize expected throughput, and we pursue an approximate solution based on model predictive control, where at each time step we plan based only on the currently visible objects. Special to our method is the idea of void zones, which are geometrical boundaries in which an unknown object will be present, and therefore cannot be accounted for during planning. Our planning problem can be solved using integer linear programming (ILP). However, we find that an approximate solution based on sparse tree search yields near optimal performance at a fraction of the time. Another question that we explore is how to measure the performance of tool-change planning: we find that throughput alone can fail to capture delicate and smooth behavior, and propose a principled alternative. Finally, we demonstrate our algorithms on both synthetic and real world bin picking tasks. | 翻訳日:2023-02-17 15:57:50 公開日:2023-02-15 |
| # 汎用性を用いたスケーラブルなマルチエージェント強化学習 Scalable Multi-Agent Reinforcement Learning with General Utilities ( http://arxiv.org/abs/2302.07938v1 ) ライセンス: Link先を確認 | Donghao Ying, Yuhao Ding, Alec Koppel, Javad Lavaei | (参考訳) チームの長期的状態行動占有度尺度の非線形関数として定義される汎用性を備えたスケーラブルなマルチエージェント強化学習(MARL)について検討する。
目的は、チーム内の各エージェントの完全な可観測性なしに、チームのローカルユーティリティ関数の平均を最大化する、ローカライズされたポリシーを見つけることである。
本研究では,ネットワーク構造の空間相関減衰特性を生かして,(1)シャドウ報酬推定,(2)シャドウq関数推定,(3)カットポリシー勾配推定,(3)ポリシー更新の3ステップからなる,シャドウ報酬とローカライズポリシーを備えたスケーラブルな分散ポリシ勾配アルゴリズムを提案する。
我々のアルゴリズムは、高い確率で$\epsilon$-stationarityに収束し、$\widetilde{\mc{o}}(\epsilon^{-2})$サンプルは、通信半径で指数関数的に減少する近似誤差まで収束する。
これは、完全な可観測性を必要としない汎用性を持つマルチエージェントRLに関する文献の最初の結果である。 We study the scalable multi-agent reinforcement learning (MARL) with general utilities, defined as nonlinear functions of the team's long-term state-action occupancy measure. The objective is to find a localized policy that maximizes the average of the team's local utility functions without the full observability of each agent in the team. By exploiting the spatial correlation decay property of the network structure, we propose a scalable distributed policy gradient algorithm with shadow reward and localized policy that consists of three steps: (1) shadow reward estimation, (2) truncated shadow Q-function estimation, and (3) truncated policy gradient estimation and policy update. Our algorithm converges, with high probability, to $\epsilon$-stationarity with $\widetilde{\mc{O}}(\epsilon^{-2})$ samples up to some approximation error that decreases exponentially in the communication radius. This is the first result in the literature on multi-agent RL with general utilities that does not require the full observability. | 翻訳日:2023-02-17 15:57:25 公開日:2023-02-15 |
| # 通常の層のみをチューニングする表現力 The Expressive Power of Tuning Only the Norm Layers ( http://arxiv.org/abs/2302.07937v1 ) ライセンス: Link先を確認 | Angeliki Giannou, Shashank Rajput, Dimitris Papailiopoulos | (参考訳) BatchやLayer-Normalizationといった特徴正規化変換は、最先端のディープニューラルネットワークの必須要素となっている。
近年の微調整型大規模事前学習モデルの研究は、これらのアフィン変換のパラメータを調整するだけで下流タスクの精度が向上することを示している。
これらの知見は、凍結ネットワークの正規化層をチューニングする表現力に関する疑問を提起する。
本稿では,この問題への第一歩として,ランダムなReLUネットワークにおいて,正規化層のみを微調整することで,$O(\sqrt{\text{width}})$倍のターゲットネットワークを再構築可能であることを示す。
従来の経験的作業と一致して、十分な過パラメータ化の下でランダムに分散されたネットワークであっても、これは成り立つことを示す。 Feature normalization transforms such as Batch and Layer-Normalization have become indispensable ingredients of state-of-the-art deep neural networks. Recent studies on fine-tuning large pretrained models indicate that just tuning the parameters of these affine transforms can achieve high accuracy for downstream tasks. These findings open the questions about the expressive power of tuning the normalization layers of frozen networks. In this work, we take the first step towards this question and show that for random ReLU networks, fine-tuning only its normalization layers can reconstruct any target network that is $O(\sqrt{\text{width}})$ times smaller. We show that this holds even for randomly sparsified networks, under sufficient overparameterization, in agreement with prior empirical work. | 翻訳日:2023-02-17 15:57:07 公開日:2023-02-15 |
| # マルチビュー学習のための解釈可能な深層学習法 Interpretable Deep Learning Methods for Multiview Learning ( http://arxiv.org/abs/2302.07930v1 ) ライセンス: Link先を確認 | Hengkang Wang, Han Lu, Ju Sun, Sandra E Safo | (参考訳) 技術的な進歩により、独特で補完的なデータやビュー(ゲノム学、プロテオミクス、メタボロミクスなど)の生成が可能となり、新しい生物医学的な発見につながる可能性のあるマルチビュー学習研究の新しい時代が開かれた。
本稿では,マルチビュー学習のための解釈型ディープラーニング手法ideepviewlearnを提案する。
iDeepViewLearnは、ディープラーニングの柔軟性と、データと知識駆動型機能選択の統計的メリットを組み合わせて、解釈可能な結果を提供する。
深層ニューラルネットワークは、観測データと再構成データの違いを最小限に抑える最適化問題を通じて、ビュー非依存の低次元埋め込みを学習し、再構成データに正規化ペナルティを課す。
グラフの正規化ラプラシアンは、各ビューにおける変数間の二元関係をモデル化するために使用され、従って関連する変数の選択を促進する。
iDeepViewLearnは、乳がん関連遺伝子の発現とメチル化データを含む、2つの実世界のデータでテストされている。
ideepviewlearnは競合する分類結果を示し、乳癌で死亡した人とそうでない人とを区別する遺伝子とcpg部位を同定した。
その結果,iDeepViewLearnはマルチビュー学習における他の深層学習法と比較して,サンプルサイズが小さい実データアプリケーションとシミュレーションの結果から,小型のサンプルサイズの問題に対して有用な方法である可能性が示唆された。 Technological advances have enabled the generation of unique and complementary types of data or views (e.g. genomics, proteomics, metabolomics) and opened up a new era in multiview learning research with the potential to lead to new biomedical discoveries. We propose iDeepViewLearn (Interpretable Deep Learning Method for Multiview Learning) for learning nonlinear relationships in data from multiple views while achieving feature selection. iDeepViewLearn combines deep learning flexibility with the statistical benefits of data and knowledge-driven feature selection, giving interpretable results. Deep neural networks are used to learn view-independent low-dimensional embedding through an optimization problem that minimizes the difference between observed and reconstructed data, while imposing a regularization penalty on the reconstructed data. The normalized Laplacian of a graph is used to model bilateral relationships between variables in each view, therefore, encouraging selection of related variables. iDeepViewLearn is tested on simulated and two real-world data, including breast cancer-related gene expression and methylation data. iDeepViewLearn had competitive classification results and identified genes and CpG sites that differentiated between individuals who died from breast cancer and those who did not. The results of our real data application and simulations with small to moderate sample sizes suggest that iDeepViewLearn may be a useful method for small-sample-size problems compared to other deep learning methods for multiview learning. | 翻訳日:2023-02-17 15:56:54 公開日:2023-02-15 |
| # 会話型AIのためのコモンセンス推論:最先端技術に関する調査 Commonsense Reasoning for Conversational AI: A Survey of the State of the Art ( http://arxiv.org/abs/2302.07926v1 ) ライセンス: Link先を確認 | Christopher Richardson and Larry Heck | (参考訳) BERT、GPT、T5のような大きなトランスフォーマーベースの事前訓練された言語モデルは、文脈意味論と言語構文の深い理解を示している。
彼らの成功は会話型aiにおいて大きな進歩をもたらし、コヒーレントで有能な会話ができるオープンダイアログシステムの開発、質問への回答、カジュアルな会話、完全なタスクなどを可能にした。
しかし、最先端のモデルは高いレベルの推論を含むタスクといまだに苦労している。
本稿では,コモンセンス推論に着目した近年の会話型AI研究について報告する。
論文は関連するトレーニングデータセットをリストアップし、会話型aiにcommonsenseを含めるための主要なアプローチを説明する。
また、会話型AI問題におけるコモンセンスの評価に用いられるベンチマークについても論じる。
最後に,2つの最先端オープン対話モデルであるblenderbot3とlamdaのコモンセンス能力と,その自然相互作用に対する負の影響について予備的な観察を行った。
これらの観察は、会話型AIにおける常識推論の研究をさらに動機付けている。 Large, transformer-based pretrained language models like BERT, GPT, and T5 have demonstrated a deep understanding of contextual semantics and language syntax. Their success has enabled significant advances in conversational AI, including the development of open-dialogue systems capable of coherent, salient conversations which can answer questions, chat casually, and complete tasks. However, state-of-the-art models still struggle with tasks that involve higher levels of reasoning - including commonsense reasoning that humans find trivial. This paper presents a survey of recent conversational AI research focused on commonsense reasoning. The paper lists relevant training datasets and describes the primary approaches to include commonsense in conversational AI. The paper also discusses benchmarks used for evaluating commonsense in conversational AI problems. Finally, the paper presents preliminary observations of the limited commonsense capabilities of two state-of-the-art open dialogue models, BlenderBot3 and LaMDA, and its negative effect on natural interactions. These observations further motivate research on commonsense reasoning in conversational AI. | 翻訳日:2023-02-17 15:56:28 公開日:2023-02-15 |
| # 重力波干渉計の非線形ダイナミクス制御のための深層学習法 A Deep Learning Technique to Control the Non-linear Dynamics of a Gravitational-wave Interferometer ( http://arxiv.org/abs/2302.07921v1 ) ライセンス: Link先を確認 | Peter Xiangyuan Ma, Gabriele Vajente | (参考訳) 本研究では,非線形動的制御問題を解くための深層学習手法を開発した。
制御問題を直接解決する代わりに,確率的ニューラルネットワークとKalman-Filterにインスパイアされたモデルを組み合わせて,システムの非線形状態推定器を構築した。
次に、推定状態を使用して、現在完全に観測可能なシステムのための自明なコントローラを実装しました。
我々はこの手法を、干渉波重力波観測装置LIGOシステムの動作中に発生する重要な非線形制御問題に適用した。
シミュレーションにより,本手法がシステムの状態を推定するためにデータから学習できることを示し,干渉計のミラーの制御に成功した。
また、LIGOデジタル制御システムにおけるソリューション実装の鍵となる要件の一つとして、1つの現代的なCPUコア上で、高速にサンプリングレートでリアルタイムに実行できる計算効率のよいモデルを開発した。
これらの技術は、他のアプリケーションで同様の非線形制御問題に取り組むのに役立つと信じている。 In this work we developed a deep learning technique that successfully solves a non-linear dynamic control problem. Instead of directly tackling the control problem, we combined methods in probabilistic neural networks and a Kalman-Filter-inspired model to build a non-linear state estimator for the system. We then used the estimated states to implement a trivial controller for the now fully observable system. We applied this technique to a crucial non-linear control problem that arises in the operation of the LIGO system, an interferometric gravitational-wave observatory. We demonstrated in simulation that our approach can learn from data to estimate the state of the system, allowing a successful control of the interferometer's mirror . We also developed a computationally efficient model that can run in real time at high sampling rate on a single modern CPU core, one of the key requirements for the implementation of our solution in the LIGO digital control system. We believe these techniques could be used to help tackle similar non-linear control problems in other applications. | 翻訳日:2023-02-17 15:56:13 公開日:2023-02-15 |
| # InfoNCEの損失はおそらくクラスタ保存表現を学習する InfoNCE Loss Provably Learns Cluster-Preserving Representations ( http://arxiv.org/abs/2302.07920v1 ) ライセンス: Link先を確認 | Advait Parulekar, Liam Collins, Karthikeyan Shanmugam, Aryan Mokhtari, Sanjay Shakkottai | (参考訳) 学習とは、例えば犬の'dogness'のように、同じ内容のサンプルを表現によって生成された空間内で互いに近接して保持することで、基盤となるクラスタを保存する表現を学習することである。
この教師なし学習問題に取り組むための一般的かつ成功したアプローチは、トレーニングサンプルに関連する情報損失を最小化することであり、各サンプルは、その増強(回転、作物などの正のサンプル)と負のサンプル(無関係のサンプル)のバッチに関連付けられる。
我々の知る限りでは、InfoNCEの損失を最小限にして学習した表現が基盤となるデータクラスタを保存している場合、それは、拡張に忠実な表現、すなわち画像とその拡張が同じ表現を持つことの学習のみを促進するためである。
本研究の主な成果は,クラスタ内の増分集合が重複しないが,学習関数クラスの複雑性に比較して密接かつ絡み合っているという条件の下で,InfoNCEが有限個の負のサンプルで学んだ表現が,データのクラスタと一致していることを示すことである。 The goal of contrasting learning is to learn a representation that preserves underlying clusters by keeping samples with similar content, e.g. the ``dogness'' of a dog, close to each other in the space generated by the representation. A common and successful approach for tackling this unsupervised learning problem is minimizing the InfoNCE loss associated with the training samples, where each sample is associated with their augmentations (positive samples such as rotation, crop) and a batch of negative samples (unrelated samples). To the best of our knowledge, it was unanswered if the representation learned by minimizing the InfoNCE loss preserves the underlying data clusters, as it only promotes learning a representation that is faithful to augmentations, i.e., an image and its augmentations have the same representation. Our main result is to show that the representation learned by InfoNCE with a finite number of negative samples is also consistent with respect to clusters in the data, under the condition that the augmentation sets within clusters may be non-overlapping but are close and intertwined, relative to the complexity of the learning function class. | 翻訳日:2023-02-17 15:55:57 公開日:2023-02-15 |
| # COVID-VTS:短いビデオプラットフォーム上でのファクト抽出と検証 COVID-VTS: Fact Extraction and Verification on Short Video Platforms ( http://arxiv.org/abs/2302.07919v1 ) ライセンス: Link先を確認 | Fuxiao Liu, Yaser Yacoob, Abhinav Shrivastava | (参考訳) 実世界と機械生成の両方から、COVID19に焦点を当てた短距離ビデオを含むマルチモーダル情報をファクトチェックするための、新しいベンチマークであるCOVID-VTSを導入する。
TwtrDetectiveは,異なるモードでトークンレベルの悪意のある改ざんを検知し,説明を生成するために,クロスメディア整合性チェックを組み込んだ効果的なモデルである。
トレーニングデータの不足のため,イベント操作や敵とのマッチングによって,誤解を招くビデオ投稿を自動的に生成する,効率的かつスケーラブルなアプローチも開発しています。
いくつかの最先端モデルを調査し、TwtrDetectiveの優位性を実証する。 We introduce a new benchmark, COVID-VTS, for fact-checking multi-modal information involving short-duration videos with COVID19- focused information from both the real world and machine generation. We propose, TwtrDetective, an effective model incorporating cross-media consistency checking to detect token-level malicious tampering in different modalities, and generate explanations. Due to the scarcity of training data, we also develop an efficient and scalable approach to automatically generate misleading video posts by event manipulation or adversarial matching. We investigate several state-of-the-art models and demonstrate the superiority of TwtrDetective. | 翻訳日:2023-02-17 15:55:35 公開日:2023-02-15 |
| # 属性プライバシ,フェアネス,ユーティリティ間のコンピュータビジョンにおけるトレードオフの評価 Evaluating Trade-offs in Computer Vision Between Attribute Privacy, Fairness and Utility ( http://arxiv.org/abs/2302.07917v1 ) ライセンス: Link先を確認 | William Paul, Philip Mathew, Fady Alajaji, Philippe Burlina | (参考訳) 本稿では,コンピュータビジョンにおける有用性,公平性,属性プライバシのトレードオフについて検討する。
プライバシに関しては、特に属性推論攻撃という、扱いにくいプライバシ形式のコンテキストにおいて、この重要な問題に目を向けます。
好みの異なる様々なモデルを作成するために、フェアネスとプライバシに関連する属性に干渉する逆法を用いる。
フェアネスとユーティリティ、プライバシとユーティリティ、プライバシとフェアネスの間には、ある種のトレードオフが存在することが分かっています。
結果は、これらのトレードオフと相互作用は直観が示唆するよりも複雑で非線形であることを示している。 This paper investigates to what degree and magnitude tradeoffs exist between utility, fairness and attribute privacy in computer vision. Regarding privacy, we look at this important problem specifically in the context of attribute inference attacks, a less addressed form of privacy. To create a variety of models with different preferences, we use adversarial methods to intervene on attributes relating to fairness and privacy. We see that that certain tradeoffs exist between fairness and utility, privacy and utility, and between privacy and fairness. The results also show that those tradeoffs and interactions are more complex and nonlinear between the three goals than intuition would suggest. | 翻訳日:2023-02-17 15:55:25 公開日:2023-02-15 |
| # 低リソース言語のニーズを満たす:事前学習モデルによる自動アライメントの価値 Meeting the Needs of Low-Resource Languages: The Value of Automatic Alignments via Pretrained Models ( http://arxiv.org/abs/2302.07912v1 ) ライセンス: Link先を確認 | Abteen Ebrahimi, Arya D. McCarthy, Arturo Oncevay, Luis Chiruzzo, John E. Ortega, Gustavo A. Gim\'enez-Lugo, Rolando Coto-Solano, Katharina Kann | (参考訳) 大規模多言語モデルは、モデルの事前学習言語でうまく機能する新しい種類の単語アライメント手法にインスピレーションを与えている。
しかしながら、自動アライメントを必要とする言語は低リソースであるため、通常、事前学習データには含まれない。
現代のライナーは、未知の言語でどのように振る舞うのか、そしてそれらは従来の方法よりも優れているのか?
我々は、ブリブリ語-スペイン語-グアラニ語-スペイン語-ケチュア語-スペイン語-およびルシボ-コニボ語-スペイン語に対する金本位制の調整を行っている。
そこで本研究では,対象言語へのモデル適応と非対応性の評価を行った。
最後に、結果のアライメントを2つの下流タスク(名前付きエンティティ認識とpart-of-speech tagging)を通して評価する。
トランスフォーマーに基づく手法は,従来のモデルよりも一般的に優れているが,2種類のアプローチは相反する。 Large multilingual models have inspired a new class of word alignment methods, which work well for the model's pretraining languages. However, the languages most in need of automatic alignment are low-resource and, thus, not typically included in the pretraining data. In this work, we ask: How do modern aligners perform on unseen languages, and are they better than traditional methods? We contribute gold-standard alignments for Bribri--Spanish, Guarani--Spanish, Quechua--Spanish, and Shipibo-Konibo--Spanish. With these, we evaluate state-of-the-art aligners with and without model adaptation to the target language. Finally, we also evaluate the resulting alignments extrinsically through two downstream tasks: named entity recognition and part-of-speech tagging. We find that although transformer-based methods generally outperform traditional models, the two classes of approach remain competitive with each other. | 翻訳日:2023-02-17 15:55:12 公開日:2023-02-15 |
| # クーディ・パウリ群:非可換対、非可換集合、構造定理 The qudit Pauli group: non-commuting pairs, non-commuting sets, and structure theorems ( http://arxiv.org/abs/2302.07966v1 ) ライセンス: Link先を確認 | Rahul Sarkar, Theodore J. Yoder | (参考訳) 局所次元 $d>2$ を持つ qudits は、ユニークな構造を持ち、 qubits (d=2$) では不可能である。
qudit pauli演算子は、qudit状態と演算子の空間の非常に有用な基礎を提供する。
クディット・パウリ群の構造について、合成を含め、いくつかの点で$d$について研究する。
任意の特定の可換関係に対して、これらの関係を満たすキュディット・パウリの集合を構築する。
また、互いに非可換なパウリ集合の最大サイズと、ペアで非可換な集合についても検討する。
最後に、パウリ部分群の最小生成集合を見つけ、パウリ部分群の大きさを計算し、クディット安定化符号の論理演算子の基底を見つける方法を与える。
この研究で有用なツールは、可換環上の線型代数からの正規形式であり、スミス正規形式、交互スミス正規形式、ハウェル正規形式を含む。 Qudits with local dimension $d>2$ can have unique structure and uses that qubits ($d=2$) cannot. Qudit Pauli operators provide a very useful basis of the space of qudit states and operators. We study the structure of the qudit Pauli group for any, including composite, $d$ in several ways. For any specified set of commutation relations, we construct a set of qudit Paulis satisfying those relations. We also study the maximum size of sets of Paulis that mutually non-commute and sets that non-commute in pairs. Finally, we give methods to find near minimal generating sets of Pauli subgroups, calculate the sizes of Pauli subgroups, and find bases of logical operators for qudit stabilizer codes. Useful tools in this study are normal forms from linear algebra over commutative rings, including the Smith normal form, alternating Smith normal form, and Howell normal form of matrices. | 翻訳日:2023-02-17 15:49:46 公開日:2023-02-15 |
| # 最適輸送による階数エネルギー統計:連続性、収束性、変化点検出について On Rank Energy Statistics via Optimal Transport: Continuity, Convergence, and Change Point Detection ( http://arxiv.org/abs/2302.07964v1 ) ライセンス: Link先を確認 | Matthew Werenski, Shoaib Bin Masud, James M. Murphy, Shuchin Aeron | (参考訳) 本稿では,最近提案された最適輸送に基づく多変量試験統計,すなわち,非教師なし非パラメトリック変化点検出(CPD)問題に対して,エントロピカルに正規化された最適輸送から導かれるソフトランクエネルギーを用いて検討する。
その結果, ソフトランクエネルギーは, 統計収束速度とロバスト連続性特性の両方を享受し, 実データ集合の性能が向上することを示した。
理論的解析により、それまでそのような値を得るのに必要だった再サンプリングや外拡張の必要性が排除される。
対照的に、ランクエネルギーは統計的推定における次元の呪いに苦しめられ、さらに任意に小さい摂動から変化点を知らせることができ、cpdでの誤報の割合が高くなる。
さらに, 穏やかな正規性条件下では, ソフトランクエネルギーとランクエネルギーの差を正規化パラメータの観点から定量化する。
最後に,本手法は,他のいくつかの最適輸送方式や平均誤差の最大値と比較して,数値実験において良好な性能を示す。 This paper considers the use of recently proposed optimal transport-based multivariate test statistics, namely rank energy and its variant the soft rank energy derived from entropically regularized optimal transport, for the unsupervised nonparametric change point detection (CPD) problem. We show that the soft rank energy enjoys both fast rates of statistical convergence and robust continuity properties which lead to strong performance on real datasets. Our theoretical analyses remove the need for resampling and out-of-sample extensions previously required to obtain such rates. In contrast the rank energy suffers from the curse of dimensionality in statistical estimation and moreover can signal a change point from arbitrarily small perturbations, which leads to a high rate of false alarms in CPD. Additionally, under mild regularity conditions, we quantify the discrepancy between soft rank energy and rank energy in terms of the regularization parameter. Finally, we show our approach performs favorably in numerical experiments compared to several other optimal transport-based methods as well as maximum mean discrepancy. | 翻訳日:2023-02-17 15:49:28 公開日:2023-02-15 |
| # レシピ中の材料を代用する学習 Learning to Substitute Ingredients in Recipes ( http://arxiv.org/abs/2302.07960v1 ) ライセンス: Link先を確認 | Bahare Fatemi, Quentin Duval, Rohit Girdhar, Michal Drozdzal, Adriana Romero-Soriano | (参考訳) 成分置換によるレシピのパーソナライズは、食事のニーズや好みを満たし、アレルゲンの可能性を回避し、全員の台所で料理の探索を容易にする。
成分置換に対処するため,標準スプリット,評価指標,ベースラインを備えた置換ペアのデータセットからなるベンチマークを構築した。
さらに、グラフ内で符号化された一般的な成分関係情報とともに、レシピのコンテキストを活用する新しいモデルであるグラフベースのIngredient Substitution Module (GISMo)を導入する。
我々は、GISMoが平均的相互ランクにおいて、最高のパフォーマンスベースラインを超えるという総合的な実験的検証を通して示す。
最後に、GISMoを改良された画像合成パイプラインに統合し、ユーザ介入によるレシピのパーソナライズを可能にすることにより、GISMoのメリットを強調した。
定量的・定性的な結果は,本システムの有効性を示し,真のパーソナライズされた調理と味覚体験への道を開く。 Recipe personalization through ingredient substitution has the potential to help people meet their dietary needs and preferences, avoid potential allergens, and ease culinary exploration in everyone's kitchen. To address ingredient substitution, we build a benchmark, composed of a dataset of substitution pairs with standardized splits, evaluation metrics, and baselines. We further introduce Graph-based Ingredient Substitution Module (GISMo), a novel model that leverages the context of a recipe as well as generic ingredient relational information encoded within a graph to rank plausible substitutions. We show through comprehensive experimental validation that GISMo surpasses the best performing baseline by a large margin in terms of mean reciprocal rank. Finally, we highlight the benefits of GISMo by integrating it in an improved image-to-recipe generation pipeline, enabling recipe personalization through user intervention. Quantitative and qualitative results show the efficacy of our proposed system, paving the road towards truly personalized cooking and tasting experiences. | 翻訳日:2023-02-17 15:49:10 公開日:2023-02-15 |
| # 探索的タスククラスタリングによるメタ強化学習 Meta-Reinforcement Learning via Exploratory Task Clustering ( http://arxiv.org/abs/2302.07958v1 ) ライセンス: Link先を確認 | Zhendong Chu, Hongning Wang | (参考訳) メタ強化学習(Meta-RL)は、従来のタスクからの知識を活用することで、新しいタスクを迅速に解決することを目的としている。
しかし、以前の研究では、タスク間の構造的不均一性を無視した単一モードの均質なタスク分布を仮定することが多かった。
このような構造を活用することで、関連するタスク間の知識共有が容易になり、サンプル効率が向上する。
本稿では,メタRLを改善するためにクラスタリングによるタスク間の構造的不均一性を検討する。
我々は,分断・分断によるタスク構造発見のための専門的な探索政策を開発する。
識別されたクラスタの知識は、タスク固有の情報の検索スペースを狭めるのに役立ち、より効率的なポリシー適応をもたらす。
様々な MuJoCo タスクの実験により、提案手法は、報酬と状態ダイナミクスの両方においてクラスタ構造を効果的に解き放つことができ、最先端のベースラインに対する強力なアドバンテージが証明された。 Meta-reinforcement learning (meta-RL) aims to quickly solve new tasks by leveraging knowledge from prior tasks. However, previous studies often assume a single mode homogeneous task distribution, ignoring possible structured heterogeneity among tasks. Leveraging such structures can better facilitate knowledge sharing among related tasks and thus improve sample efficiency. In this paper, we explore the structured heterogeneity among tasks via clustering to improve meta-RL. We develop a dedicated exploratory policy to discover task structures via divide-and-conquer. The knowledge of the identified clusters helps to narrow the search space of task-specific information, leading to more sample efficient policy adaptation. Experiments on various MuJoCo tasks showed the proposed method can unravel cluster structures effectively in both rewards and state dynamics, proving strong advantages against a set of state-of-the-art baselines. | 翻訳日:2023-02-17 15:48:51 公開日:2023-02-15 |
| # 微分プライベート機械学習の厳密な監査 Tight Auditing of Differentially Private Machine Learning ( http://arxiv.org/abs/2302.07956v1 ) ライセンス: Link先を確認 | Milad Nasr, Jamie Hayes, Thomas Steinke, Borja Balle, Florian Tram\`er, Matthew Jagielski, Nicholas Carlini, Andreas Terzis | (参考訳) 差分プライバシー利用の監査メカニズムは、アルゴリズムのプライバシーレベルを経験的に推定する確率的手段である。
プライベート機械学習では、既存の監査メカニズムは厳格である。(ほぼ)経験的なプライバシー推定は、アルゴリズムの証明可能なプライバシー保証と一致する。
しかし、これらの監査技術には2つの制限がある。
第一に、最悪な仮定(例えば、完全な逆データセット)の下での正確な見積もりしか与えない。
第二に、プライバシ漏洩の統計的な推定を行うには、数千から数百万のトレーニングが必要です。
この仕事は両方の問題に対処する。
対戦相手がトレーニング中にすべてのモデル更新を見ることができる場合、私たちは、自然な(逆向きではない)データセットの厳密なプライバシ見積を生成する、改善された監査スキームを設計します。
事前監査作業は同じ仮定に基づいており、これは標準差分プライバシー脅威モデルの下で許可されている。
この脅威モデルは、例えばフェデレートされた学習設定でも適用できる。
さらに,この監査方式では,厳密な構成定理の最近の進歩を微分プライバシに適用することにより,厳密なプライバシ推定を行うためのトレーニング実行を2回(数千回ではなく)しか必要としない。
我々は,事前監査手法を解明したプライベート機械学習コードの実装バグを克服し,改善された監査方式の有用性を実証する。 Auditing mechanisms for differential privacy use probabilistic means to empirically estimate the privacy level of an algorithm. For private machine learning, existing auditing mechanisms are tight: the empirical privacy estimate (nearly) matches the algorithm's provable privacy guarantee. But these auditing techniques suffer from two limitations. First, they only give tight estimates under implausible worst-case assumptions (e.g., a fully adversarial dataset). Second, they require thousands or millions of training runs to produce non-trivial statistical estimates of the privacy leakage. This work addresses both issues. We design an improved auditing scheme that yields tight privacy estimates for natural (not adversarially crafted) datasets -- if the adversary can see all model updates during training. Prior auditing works rely on the same assumption, which is permitted under the standard differential privacy threat model. This threat model is also applicable, e.g., in federated learning settings. Moreover, our auditing scheme requires only two training runs (instead of thousands) to produce tight privacy estimates, by adapting recent advances in tight composition theorems for differential privacy. We demonstrate the utility of our improved auditing schemes by surfacing implementation bugs in private machine learning code that eluded prior auditing techniques. | 翻訳日:2023-02-17 15:48:34 公開日:2023-02-15 |
| # 汎用ロボットシステムに対するaiセキュリティの脅威: 次世代サイバーセキュリティ労働者のためのコース AI Security Threats against Pervasive Robotic Systems: A Course for Next Generation Cybersecurity Workforce ( http://arxiv.org/abs/2302.07953v1 ) ライセンス: Link先を確認 | Sudip Mittal, Jingdao Chen | (参考訳) ロボティクス、自動化、および関連する人工知能(AI)システムは、セキュリティ、安全性、正確性、信頼に関する懸念を広めている。
人間の身近に働く物理的ロボットへの依存が高まる中、これらのシステムのセキュリティは、プライバシー侵害、重大な操作の妨害、身体的危害につながるサイバー攻撃を防ぐためにますます重要になっている。
こうした制度を擁護できる専門家の現在の不足は、そのようなカリキュラムの開発と統合を必要としている。
このコースの説明には、"広汎なロボットシステムに対するAIセキュリティ脅威"に関する7つの自己完結型および適応型モジュールの詳細が含まれている。
トピックは以下の通り。
1)導入,攻撃例,動機
2) - ロボットAIによる攻撃面と浸透試験; 3)入力センサのアタックパターンとセキュリティ戦略
4) 攻撃と関連するセキュリティ戦略の訓練
5) - 推論攻撃と関連するセキュリティ戦略。
6) - アクチュエータ攻撃及び関連するセキュリティ戦略
7) - AI、ロボティクス、サイバーセキュリティの倫理。 Robotics, automation, and related Artificial Intelligence (AI) systems have become pervasive bringing in concerns related to security, safety, accuracy, and trust. With growing dependency on physical robots that work in close proximity to humans, the security of these systems is becoming increasingly important to prevent cyber-attacks that could lead to privacy invasion, critical operations sabotage, and bodily harm. The current shortfall of professionals who can defend such systems demands development and integration of such a curriculum. This course description includes details about seven self-contained and adaptive modules on "AI security threats against pervasive robotic systems". Topics include: 1) Introduction, examples of attacks, and motivation; 2) - Robotic AI attack surfaces and penetration testing; 3) - Attack patterns and security strategies for input sensors; 4) - Training attacks and associated security strategies; 5) - Inference attacks and associated security strategies; 6) - Actuator attacks and associated security strategies; and 7) - Ethics of AI, robotics, and cybersecurity. | 翻訳日:2023-02-17 15:48:08 公開日:2023-02-15 |
| # トポロジカル・ニューラル離散表現学習 Topological Neural Discrete Representation Learning \`a la Kohonen ( http://arxiv.org/abs/2302.07950v1 ) ライセンス: Link先を確認 | Kazuki Irie, R\'obert Csord\'as, J\"urgen Schmidhuber | (参考訳) ニューラルネットワーク(NN)における連続表現からの離散表現の教師なし学習は、今日のいくつかのアプリケーションの基盤となっている。
ベクトル量子化(VQ)は、特に変分オートエンコーダ(VAE)のような生成モデルのコンテキストにおいて、そのような表現を実現する一般的な方法となっている。
例えば、指数移動平均ベースVQ (EMA-VQ) アルゴリズムはよく用いられる。
本稿では,EMA-VQが特別な場合であるKSOM(Kohonen Self-Organising Maps)の学習規則に基づく代替VQアルゴリズムについて検討する。
実際、KSOMは古典的なVQアルゴリズムであり、KSOMは実験的により高速なVQを実行することが知られており、KSOMによって学習された離散表現は、ノードが離散的なシンボルである格子上の位相構造を形成し、結果として脳内の地形図の人工バージョンとなる。
画像処理にKSOMをVQ-VAEに使用することにより,これらの特性を再検討する。
特に, 実験の結果, 十分に構成されたEMA-VQと比較して, KSOMはトレーニング開始時にのみ観測可能であるが, KSOMは初期化スキームの選択など, EMA-VQよりもはるかに堅牢であることがわかった。
私たちのコードは公開されています。 Unsupervised learning of discrete representations from continuous ones in neural networks (NNs) is the cornerstone of several applications today. Vector Quantisation (VQ) has become a popular method to achieve such representations, in particular in the context of generative models such as Variational Auto-Encoders (VAEs). For example, the exponential moving average-based VQ (EMA-VQ) algorithm is often used. Here we study an alternative VQ algorithm based on the learning rule of Kohonen Self-Organising Maps (KSOMs; 1982) of which EMA-VQ is a special case. In fact, KSOM is a classic VQ algorithm which is known to offer two potential benefits over the latter: empirically, KSOM is known to perform faster VQ, and discrete representations learned by KSOM form a topological structure on the grid whose nodes are the discrete symbols, resulting in an artificial version of the topographic map in the brain. We revisit these properties by using KSOM in VQ-VAEs for image processing. In particular, our experiments show that, while the speed-up compared to well-configured EMA-VQ is only observable at the beginning of training, KSOM is generally much more robust than EMA-VQ, e.g., w.r.t. the choice of initialisation schemes. Our code is public. | 翻訳日:2023-02-17 15:47:55 公開日:2023-02-15 |
| # 第2量子化:ナノスケール浮遊ゲートからの単一電子の逐次除去による量子ドットのゲーティング Second Quantization: Gating a Quantum Dot Through the Sequential Removal of Single Electrons from a Nanoscale Floating Gate ( http://arxiv.org/abs/2302.07949v1 ) ライセンス: Link先を確認 | Artem O. Denisov, Gordian Fuchs, Seong W. Oh, and Jason R. Petta | (参考訳) 原子間力顕微鏡(AFM)の先端を用いてSi/SiGeヘテロ構造の表面に定義された浮遊金属ゲートを充電する。
AFMチップは理想的かつ可動的な低温スイッチとして機能し、フローティングゲートを特定の電圧にバイアスし、チップを取り出すことでゲートの電荷をロックすることができる。
AFMチップを使用すると、量子ドットフローティングゲート電極のサイズを$\sim100~\mathrm{nm}$に削減できる。
浮遊ゲートの下に形成された量子ドットによるコンダクタンスの測定は、電荷が離散的なステップで変化することを示している。
単一電子漏洩事象の統計から、フローティングゲートリーク抵抗 $r \sim 10^{19}~ \mathrm{ohm}$ - 従来の手法では測定できない値を決定する。 We use the tip of an atomic force microscope (AFM) to charge floating metallic gates defined on the surface of a Si/SiGe heterostructure. The AFM tip serves as an ideal and movable cryogenic switch, allowing us to bias a floating gate to a specific voltage and then lock the charge on the gate by withdrawing the tip. Biasing with an AFM tip allows us to reduce the size of a quantum dot floating gate electrode down to $\sim100~\mathrm{nm}$. Measurements of the conductance through a quantum dot formed beneath the floating gate indicate that its charge changes in discrete steps. From the statistics of the single-electron leakage events, we determine the floating gate leakage resistance $R \sim 10^{19}~ \mathrm{Ohm}$ - a value immeasurable by conventional means. | 翻訳日:2023-02-17 15:47:31 公開日:2023-02-15 |
| # 分散機械学習のためのARMとRISC-Vシステムの導入実験 Experimenting with Emerging ARM and RISC-V Systems for Decentralised Machine Learning ( http://arxiv.org/abs/2302.07946v1 ) ライセンス: Link先を確認 | Gianluca Mittone, Nicol\`o Tonci, Robert Birke, Iacopo Colonnelli, Doriana Medi\'c, Andrea Bartolini, Roberto Esposito, Emanuele Parisi, Francesco Beneventi, Mirko Polato, Massimo Torquati, Luca Benini, Marco Aldinucci | (参考訳) 分散機械学習(DML)は、集中的な入力データなしで協調的な機械学習を可能にする。
フェデレーション学習(fl)とエッジ推論は、dmlの例である。
DML(特にFL)のツールは繁栄し始めているが、その多くは新しいシステム(例えばRISC-V)、完全に接続されていないトポロジ、非同期の協調スキームを試すには柔軟でポータブルではない。
これらの制限をドメイン固有の言語で克服し、DMLスキームを基盤となるミドルウェア、すなわち \ff並列プログラミングライブラリにマッピングする。
2つの新しいアーキテクチャ(ARM-v8, RISC-V)とx86-64プラットフォーム上で異なる動作DMLスキームを生成する実験を行った。
提案方式とシステムの性能とエネルギー効率を特徴付ける。
副産物として、我々の知識に初めて公開されているpytorchフレームワークのrisc-vポートを紹介します。 Decentralised Machine Learning (DML) enables collaborative machine learning without centralised input data. Federated Learning (FL) and Edge Inference are examples of DML. While tools for DML (especially FL) are starting to flourish, many are not flexible and portable enough to experiment with novel systems (e.g., RISC-V), non-fully connected topologies, and asynchronous collaboration schemes. We overcome these limitations via a domain-specific language allowing to map DML schemes to an underlying middleware, i.e. the \ff parallel programming library. We experiment with it by generating different working DML schemes on two emerging architectures (ARM-v8, RISC-V) and the x86-64 platform. We characterise the performance and energy efficiency of the presented schemes and systems. As a byproduct, we introduce a RISC-V porting of the PyTorch framework, the first publicly available to our knowledge. | 翻訳日:2023-02-17 15:47:14 公開日:2023-02-15 |
| # グラフ生成からグラフ分類へ From Graph Generation to Graph Classification ( http://arxiv.org/abs/2302.07989v1 ) ライセンス: Link先を確認 | Oliver Schulte | (参考訳) 本稿では,グラフ生成モデル(GGM)を利用したグラフの分類手法について述べる。
グラフとそのクラスラベル上の合同確率分布を定義する ggm を仮定すると、私はグラフが与えられたクラスラベルの確率の分類公式を導出する。
新しい条件付きelboは、識別のための生成グラフオートエンコーダモデルを訓練するために使用できる。
生成モデルを分類に活用することは、非関係データ、すなわちデータに対してよく研究されているが、我々の知識では、グラフ分類に対する新しいアプローチである。 This note describes a new approach to classifying graphs that leverages graph generative models (GGM). Assuming a GGM that defines a joint probability distribution over graphs and their class labels, I derive classification formulas for the probability of a class label given a graph. A new conditional ELBO can be used to train a generative graph auto-encoder model for discrimination. While leveraging generative models for classification has been well explored for non-relational i.i.d. data, to our knowledge it is a novel approach to graph classification. | 翻訳日:2023-02-17 15:40:17 公開日:2023-02-15 |
| # ブラックボックスモデルの勾配統計による非線形性の検出と定量化について On the Detection and Quantification of Nonlinearity via Statistics of the Gradients of a Black-Box Model ( http://arxiv.org/abs/2302.07986v1 ) ライセンス: Link先を確認 | G. Tsialiamanis, C.R. Farrar | (参考訳) 非線形性の検出と同定は構造力学において重要な課題である。
線形領域で動作するように設計された構造物の非線形性の検出は、損傷の存在を示す可能性がある。
したがって、構造物が非線形な挙動を示すかを検出することは、安全性上の理由からも重要である。
本研究では,関心構造から取得したデータに基づくデータ駆動モデルの勾配分布に基づいて,非線形性を検出する手法を提案する。
このデータ駆動モデルはニューラルネットワークである。
このようなモデルの選択は、ユーザがモデルの線形性や非線形性を決定することを許さず、ニューラルネットワークのトレーニングアルゴリズムがトレーニングデータに従って非線形性のレベルを形作るために行われた。
ニューラルネットワークは、前のタイムインスタンスのアクセラレーション、すなわちワンステップアヘッド予測を用いて、タイムインスタンスの構造のアクセラレーションを予測するように訓練される。
その後、入力に対するニューラルネットワークの出力の勾配を算出する。
構造が線形であることを考えると、上述の勾配の分布は非常にピークでなければならないが、非線形な構造の場合、勾配の分布はより広く、潜在的に多様である。
上記の仮定を検証するために、実験構造からのデータを考察する。
構造は異なるシナリオでテストされ、一部は線形であり、一部は非線形である。
異なるシナリオの勾配の分布の統計は、非線形性が存在する場合を特定するのに使うことができる。
さらに, 提案手法により, 「より非線形」なシナリオに対する勾配分布の標準偏差の高次値を観察し, 非線形性を定量化することができる。 Detection and identification of nonlinearity is a task of high importance for structural dynamics. Detecting nonlinearity in a structure, which has been designed to operate in its linear region, might indicate the existence of damage. Therefore, it is important, even for safety reasons, to detect when a structure exhibits nonlinear behaviour. In the current work, a method to detect nonlinearity is proposed, based on the distribution of the gradients of a data-driven model, which is fitted on data acquired from the structure of interest. The data-driven model herein is a neural network. The selection of such a type of model was done in order to not allow the user to decide how linear or nonlinear the model shall be, but to let the training algorithm of the neural network shape the level of nonlinearity according to the training data. The neural network is trained to predict the accelerations of the structure for a time-instant using as inputs accelerations of previous time-instants, i.e. one-step-ahead predictions. Afterwards, the gradients of the output of the neural network with respect to its inputs are calculated. Given that the structure is linear, the distribution of the aforementioned gradients should be quite peaked, while in the case of a structure with nonlinearities, the distribution of the gradients shall be more spread and, potentially, multimodal. To test the above assumption, data from an experimental structure are considered. The structure is tested under different scenarios, some of which are linear and some nonlinear. The statistics of the distributions of the gradients for the different scenarios can be used to identify cases where nonlinearity is present. Moreover, via the proposed method one is able to quantify the nonlinearity by observing higher values of standard deviation of the distribution of the gradients for "more nonlinear" scenarios. | 翻訳日:2023-02-17 15:40:06 公開日:2023-02-15 |
| # 確率的政策のための信頼地域自由政策最適化 Trust-Region-Free Policy Optimization for Stochastic Policies ( http://arxiv.org/abs/2302.07985v1 ) ライセンス: Link先を確認 | Mingfei Sun, Benjamin Ellis, Anuj Mahajan, Sam Devlin, Katja Hofmann, Shimon Whiteson | (参考訳) 信頼領域ポリシー最適化(英: trust region policy optimization、trpo)は、信頼領域の制約を反復毎に強制する反復的手法である。
代理的目標最大化と信託地域執行の組み合わせは、単調な政策改善を保証するために重要であることが示されている。
しかし、多くの共役勾配と多数のオンラインサンプルを必要とするため、信頼領域制約付き最適化問題の解法は計算集約的である。
本稿では,ポリシーに対する信頼領域制約を,基礎となるモノトニック改善保証を損なうことなく,信頼領域自由制約によって安全に置き換えることができることを示す。
重要なアイデアは、trpoで使用されるサロゲートの目標を、ポリシー間の最大アドバンテージ重み付け比率を制約した結果、依然として単調な改善保証が現れるように一般化することである。
この新たな制約は、反復的な政策最適化のための保守的なメカニズムを概説し、一般化された代理目的を最適化する実践的な方法に光を当てる。
汎用目的関数を実際に最適化する場合、保守的であることで、新しい制約を効果的に実施できることを示す。
信頼領域の明示的な制約から解放されたアルゴリズムを信頼領域自由ポリシー最適化(trefree)と呼ぶ。
実証実験の結果,TREFree は TRPO と PPO を政策性能とサンプル効率で上回っていることがわかった。 Trust Region Policy Optimization (TRPO) is an iterative method that simultaneously maximizes a surrogate objective and enforces a trust region constraint over consecutive policies in each iteration. The combination of the surrogate objective maximization and the trust region enforcement has been shown to be crucial to guarantee a monotonic policy improvement. However, solving a trust-region-constrained optimization problem can be computationally intensive as it requires many steps of conjugate gradient and a large number of on-policy samples. In this paper, we show that the trust region constraint over policies can be safely substituted by a trust-region-free constraint without compromising the underlying monotonic improvement guarantee. The key idea is to generalize the surrogate objective used in TRPO in a way that a monotonic improvement guarantee still emerges as a result of constraining the maximum advantage-weighted ratio between policies. This new constraint outlines a conservative mechanism for iterative policy optimization and sheds light on practical ways to optimize the generalized surrogate objective. We show that the new constraint can be effectively enforced by being conservative when optimizing the generalized objective function in practice. We call the resulting algorithm Trust-REgion-Free Policy Optimization (TREFree) as it is free of any explicit trust region constraints. Empirical results show that TREFree outperforms TRPO and Proximal Policy Optimization (PPO) in terms of policy performance and sample efficiency. | 翻訳日:2023-02-17 15:39:41 公開日:2023-02-15 |
| # イオン擬ポテンシャルを用いた電池材料の量子シミュレーション Quantum simulation of battery materials using ionic pseudopotentials ( http://arxiv.org/abs/2302.07981v1 ) ライセンス: Link先を確認 | Modjtaba Shokrian Zini, Alain Delgado, Roberto dos Reis, Pablo A. M. Casares, Jonathan E. Mueller, Arne-Christian Voigt, Juan Miguel Arrazola | (参考訳) イオン擬ポテンシャルは、核と核電子による有効ポテンシャルをモデル化するために、材料の古典的シミュレーションで広く使われている。
電子の少ないモデリングは、システムの状態を正確に表すのに必要な平面波の数を明示的に減少させる。
本研究では,疑似ポテンシャルを用いた量子コンピュータ上での周期的物質シミュレーションのコストを削減する量子アルゴリズムを提案する。
平面波に基づくハミルトニアンの第一量子化表現を用いた量子化に基づく量子位相推定アルゴリズムを用いる。
我々は、ハミルトニアンの量子化のための高度に最適化されたコンパイル戦略を開発することにより、擬ポテンシャルの複雑さを量子シミュレーションに組み込むという課題に対処する。
これは分離可能な擬ポテンシャルの形式を利用するユニタリ分解の線形結合を含んでいる。
我々の戦略は、量子読み取り専用メモリサブルーチンを量子算術のより効率的な代替手段として利用する。
我々は, リチウム含有カソード材料をシミュレートするための計算コストを推定し, より正確なシミュレーションを行い, 余剰容量に対する可逆アクセスを得るための戦略を提示する必要がある。
我々は,酸化マンガンリチウム,酸化マンガンリチウム,フッ化マンガンリチウムの3つの材料について,十分な精度のシミュレーションを行うために必要なキュービット数とトフォリゲート数を推定した。
最適化されたコンパイル戦略は, 固定目標精度のために, 全実行時を4桁下回った疑似ポテンシャルベースの量子アルゴリズムを実現する。 Ionic pseudopotentials are widely used in classical simulations of materials to model the effective potential due to the nucleus and the core electrons. Modeling fewer electrons explicitly results in a reduction in the number of plane waves needed to accurately represent the states of a system. In this work, we introduce a quantum algorithm that uses pseudopotentials to reduce the cost of simulating periodic materials on a quantum computer. We use a qubitization-based quantum phase estimation algorithm that employs a first-quantization representation of the Hamiltonian in a plane-wave basis. We address the challenge of incorporating the complexity of pseudopotentials into quantum simulations by developing highly-optimized compilation strategies for the qubitization of the Hamiltonian. This includes a linear combination of unitaries decomposition that leverages the form of separable pseudopotentials. Our strategies make use of quantum read-only memory subroutines as a more efficient alternative to quantum arithmetic. We estimate the computational cost of applying our algorithm to simulating lithium-excess cathode materials for batteries, where more accurate simulations are needed to inform strategies for gaining reversible access to the excess capacity they offer. We estimate the number of qubits and Toffoli gates required to perform sufficiently accurate simulations with our algorithm for three materials: lithium manganese oxide, lithium nickel-manganese oxide, and lithium manganese oxyfluoride. Our optimized compilation strategies result in a pseudopotential-based quantum algorithm with a total runtime four orders of magnitude lower than the previous state of the art for a fixed target accuracy. | 翻訳日:2023-02-17 15:39:16 公開日:2023-02-15 |
| # メタラーニングによる構造物の個体群モデリング A Meta-Learning Approach to Population-Based Modelling of Structures ( http://arxiv.org/abs/2302.07980v1 ) ライセンス: Link先を確認 | G. Tsialiamanis, N. Dervilis, D. J. Wagg, K. Worden | (参考訳) 構造力学における機械学習アプローチの大きな問題は、構造データの頻繁な欠如である。
最近の人口ベースの構造健康モニタリング(pbshm)の分野と、この新分野におけるトランスファーラーニングの利用に触発され、現在の研究は、構造集団内で知識を伝達できるモデルの作成を試みている。
メタラーニング(メタラーニング)は、さまざまなタスクの集団からの知識を活用して、新しく提示されたタスクでうまく機能するニューラルネットワークモデルを作成するために開発されたもので、最小限のトレーニングと、新しいタスクからの少数のデータサンプルを備える。
本手法は,タスクの個体群内で自動的に移動学習を行おうとする。
人口ベース構造モデリングの目的のために、異なるタスクは異なる構造を参照する。
本手法は, 環境パラメータの関数として応答を予測するために, シミュレーションされた構造物群に適用される。
ここで使用されるメタラーニングアプローチは、モデルに依存しないメタラーニング(MAML)アプローチであり、従来のデータ駆動型モデリングアプローチであるガウス的プロセスと比較される。
メタラーニングアプローチを用いて訓練されたモデルでは, 少数のサンプルしか得られない個体群の構造を推測する従来の機械学習手法を上回ることができることが観察された。
さらに、これらのモデルは問題の物理の一部を学ぶことを証明しており、通常の機械学習アルゴリズムよりも堅牢である。
この方法のもう1つの利点は、知識伝達を実行するために構造をパラメータ化する必要がなくなることである。 A major problem of machine-learning approaches in structural dynamics is the frequent lack of structural data. Inspired by the recently-emerging field of population-based structural health monitoring (PBSHM), and the use of transfer learning in this novel field, the current work attempts to create models that are able to transfer knowledge within populations of structures. The approach followed here is meta-learning, which is developed with a view to creating neural network models which are able to exploit knowledge from a population of various tasks to perform well in newly-presented tasks, with minimal training and a small number of data samples from the new task. Essentially, the method attempts to perform transfer learning in an automatic manner within the population of tasks. For the purposes of population-based structural modelling, the different tasks refer to different structures. The method is applied here to a population of simulated structures with a view to predicting their responses as a function of some environmental parameters. The meta-learning approach, which is used herein is the model-agnostic meta-learning (MAML) approach; it is compared to a traditional data-driven modelling approach, that of Gaussian processes, which is a quite effective alternative when few data samples are available for a problem. It is observed that the models trained using meta-learning approaches, are able to outperform conventional machine learning methods regarding inference about structures of the population, for which only a small number of samples are available. Moreover, the models prove to learn part of the physics of the problem, making them more robust than plain machine-learning algorithms. Another advantage of the methods is that the structures do not need to be parametrised in order for the knowledge transfer to be performed. | 翻訳日:2023-02-17 15:38:50 公開日:2023-02-15 |
| # preditor: diffusion priorによるテキストガイド画像編集 PRedItOR: Text Guided Image Editing with Diffusion Prior ( http://arxiv.org/abs/2302.07979v1 ) ライセンス: Link先を確認 | Hareesh Ravi, Sachin Kelkar, Midhun Harikumar, Ajinkya Kale | (参考訳) 拡散モデルは、テキストで条件づけられた高品質で創造的な画像を生成する素晴らしい能力を示している。
このようなモデルの興味深い応用は、テキストガイド画像編集の構造保存である。
既存のアプローチでは、安定拡散やimagenのようなテキスト条件拡散モデルに依存しており、テキスト埋め込みの計算集約的な最適化や、テキストガイド画像編集のためのモデルの重み付けが必要となる。
DALLE-2と同様のハイブリッド拡散モデル(HDM)アーキテクチャを用いてテキストガイド画像編集を行う。
我々のアーキテクチャは、テキストプロンプト上に条件付きCLIP画像埋め込みを生成する拡散先行モデルと、CLIP画像埋め込みに条件付き画像を生成するために訓練されたカスタムラテント拡散モデルで構成されている。
拡散先行モデルを用いて,CLIP画像埋め込み空間上でテキストガイドによる概念編集を行うことができ,微調整や最適化は行わない。
これを逆ddimなどの既存手法を用いて画像デコーダ上の編集を保存する構造と組み合わせることで、テキスト案内画像編集を行う。
我々のアプローチでは、PRedItORは、微調整、最適化、目的といった追加の入力を必要とせず、ベースラインを質的かつ定量的に比較するよりも、同等または良質な結果を示す。
我々は拡散先行モデルのさらなる分析と理解を提供し、拡散モデル研究の新たな可能性を開くと信じている。 Diffusion models have shown remarkable capabilities in generating high quality and creative images conditioned on text. An interesting application of such models is structure preserving text guided image editing. Existing approaches rely on text conditioned diffusion models such as Stable Diffusion or Imagen and require compute intensive optimization of text embeddings or fine-tuning the model weights for text guided image editing. We explore text guided image editing with a Hybrid Diffusion Model (HDM) architecture similar to DALLE-2. Our architecture consists of a diffusion prior model that generates CLIP image embedding conditioned on a text prompt and a custom Latent Diffusion Model trained to generate images conditioned on CLIP image embedding. We discover that the diffusion prior model can be used to perform text guided conceptual edits on the CLIP image embedding space without any finetuning or optimization. We combine this with structure preserving edits on the image decoder using existing approaches such as reverse DDIM to perform text guided image editing. Our approach, PRedItOR does not require additional inputs, fine-tuning, optimization or objectives and shows on par or better results than baselines qualitatively and quantitatively. We provide further analysis and understanding of the diffusion prior model and believe this opens up new possibilities in diffusion models research. | 翻訳日:2023-02-17 15:38:25 公開日:2023-02-15 |
| # 分散スキュー下におけるマルチタスクディファレンシャルプライバシー Multi-Task Differential Privacy Under Distribution Skew ( http://arxiv.org/abs/2302.07975v1 ) ライセンス: Link先を確認 | Walid Krichene, Prateek Jain, Shuang Song, Mukund Sundararajan, Abhradeep Thakurta, Li Zhang | (参考訳) ユーザレベルでの差分プライバシー下でのマルチタスク学習の課題について検討し,各ユーザのサブセットを含む$m$タスクにデータをコントリビュートする。
この問題の1つの重要な側面は、品質に大きな影響を与えうる、タスク間の分布スキューである。
特定のタスクは、他のタスクよりもはるかに少ないデータサンプルを持ち、プライバシに付加されるノイズの影響を受けやすい。
アルゴリズムがこのスキューに適応して全体の有用性を向上させることができるかどうかを問うのは当然である。
本稿では,タスク間でユーザのプライバシ予算を最適に割り当てる方法について,その問題を体系的に分析する。
本稿では,経験的損失の適応的再重み付けに基づく汎用アルゴリズムを提案し,タスク分布スキューが存在する場合,過剰な経験的リスクを定量的に改善することを示す。
小タスクのロングテールを示すレコメンデーション問題に関する実験的研究は、我々の手法が有用性を大幅に改善し、2つの標準ベンチマークで技術の現状を達成することを実証している。 We study the problem of multi-task learning under user-level differential privacy, in which $n$ users contribute data to $m$ tasks, each involving a subset of users. One important aspect of the problem, that can significantly impact quality, is the distribution skew among tasks. Certain tasks may have much fewer data samples than others, making them more susceptible to the noise added for privacy. It is natural to ask whether algorithms can adapt to this skew to improve the overall utility. We give a systematic analysis of the problem, by studying how to optimally allocate a user's privacy budget among tasks. We propose a generic algorithm, based on an adaptive reweighting of the empirical loss, and show that when there is task distribution skew, this gives a quantifiable improvement of excess empirical risk. Experimental studies on recommendation problems that exhibit a long tail of small tasks, demonstrate that our methods significantly improve utility, achieving the state of the art on two standard benchmarks. | 翻訳日:2023-02-17 15:38:01 公開日:2023-02-15 |
| # 自然言語と数学的言語のツリーベース表現と生成 Tree-Based Representation and Generation of Natural and Mathematical Language ( http://arxiv.org/abs/2302.07974v1 ) ライセンス: Link先を確認 | Alexander Scarlatos and Andrew Lan | (参考訳) 科学コミュニケーションや教育シナリオにおける数理言語は、自然言語と比較して比較的未熟である。
数学的言語に関する最近の研究は、単独の数学的表現、特に自然木形式における表現、あるいは事前訓練された自然言語モデルにおける数学的推論に焦点をあてている。
自然および数学の言語を共同でモデル化し、生成する研究は、数学的表現の構造的特性を考慮せずに、単に数学的表現をテキストとして扱う。
本稿では, 数式を演算木形式におけるノードトークンのシーケンスとして表現し, 数式の意味的および構造的性質を保存するために数学記号と木の位置埋め込みを使用し, 制約付き復号法を用いて数学的に有効な表現を生成する, 既存の言語モデルに対する一連の修正を提案する。
我々はGPT-2で修正を行い、その結果、モデルMathGPTとなり、数学的表現生成タスクのベースラインよりも優れていることを示す。 Mathematical language in scientific communications and educational scenarios is important yet relatively understudied compared to natural languages. Recent works on mathematical language focus either on representing stand-alone mathematical expressions, especially in their natural tree format, or mathematical reasoning in pre-trained natural language models. Existing works on jointly modeling and generating natural and mathematical languages simply treat mathematical expressions as text, without accounting for the rigid structural properties of mathematical expressions. In this paper, we propose a series of modifications to existing language models to jointly represent and generate text and math: representing mathematical expressions as sequences of node tokens in their operator tree format, using math symbol and tree position embeddings to preserve the semantic and structural properties of mathematical expressions, and using a constrained decoding method to generate mathematically valid expressions. We ground our modifications in GPT-2, resulting in a model MathGPT, and demonstrate that it outperforms baselines on mathematical expression generation tasks. | 翻訳日:2023-02-17 15:37:42 公開日:2023-02-15 |
| # 非決定論的量子プログラムの検証 Verification of Nondeterministic Quantum Programs ( http://arxiv.org/abs/2302.07973v1 ) ライセンス: Link先を確認 | Yuan Feng and Yingte Xu | (参考訳) 非決定論的選択は、実装の詳細を指定せずにプログラムの振る舞いを記述する方法を提供する有用なプログラム構成である。
ソフトウェア開発で有用であることが証明された、プログラムの段階的な洗練をサポートする。
非決定性は量子プログラミングにも導入され、非決定性量子プログラムの終了は広く分析されてきた。
本稿では,ヒルベルト空間上のエルミート作用素の集合によって性質が与えられる非決定論的量子プログラムの検証について,終端解析を超えて検討する。
部分的および全体的正しさに対するフーア型論理系を提案し, 対応する意味的正しさに関して, 音質と相対的に完全であることが判明した。
これらの証明システムの有用性を示すために、量子誤差補正スキーム、deutschアルゴリズム、非決定論的量子ウォークなどの量子アルゴリズムを解析する。
最後に、非決定論的量子プログラムの自動推論を支援するために、証明アシスタントプロトタイプが実装されている。 Nondeterministic choice is a useful program construct that provides a way to describe the behaviour of a program without specifying the details of possible implementations. It supports the stepwise refinement of programs, a method that has proven useful in software development. Nondeterminism has also been introduced in quantum programming, and the termination of nondeterministic quantum programs has been extensively analysed. In this paper, we go beyond termination analysis to investigate the verification of nondeterministic quantum programs where properties are given by sets of hermitian operators on the associated Hilbert space. Hoare-type logic systems for partial and total correctness are proposed, which turn out to be both sound and relatively complete with respect to their corresponding semantic correctness. To show the utility of these proof systems, we analyse some quantum algorithms, such as quantum error correction scheme, the Deutsch algorithm, and a nondeterministic quantum walk. Finally, a proof assistant prototype is implemented to aid in the automated reasoning of nondeterministic quantum programs. | 翻訳日:2023-02-17 15:37:25 公開日:2023-02-15 |
| # 単一基底真理ラベルを用いた骨盤の自己教師あり登録とセグメンテーション Self-supervised Registration and Segmentation of the Ossicles with A Single Ground Truth Label ( http://arxiv.org/abs/2302.07967v1 ) ライセンス: Link先を確認 | Yike Zhang and Jack Noble | (参考訳) AI支援手術は、実際の手術成功率の改善に対する影響から、医療画像研究コミュニティの注目を集めている。
コクラーインプラント(CI)のような画像ガイド下手術では、正確な物体分割が手術前に外科医に有用な情報を提供する。
最近発表された機械学習を利用した画像分割手法は、通常、多くの手動で定義された基底真理ラベルに依存している。
しかし、データセットを準備するのは手間と時間を要する作業です。
本稿では,アトラスとオシクルのアトラスに基づくセグメンテーションに使用できる対象画像との密な変形場を生成する自己教師付き3d-unetを用いた新しい手法を提案する。
その結果,本手法は従来の画像分割法を上回り,ダイス類似度係数と点間誤差の比較に基づいて,オシクル周辺のより正確な境界を生成することがわかった。
提案手法により平均ダイス係数が8.51%向上した。 AI-assisted surgeries have drawn the attention of the medical image research community due to their real-world impact on improving surgery success rates. For image-guided surgeries, such as Cochlear Implants (CIs), accurate object segmentation can provide useful information for surgeons before an operation. Recently published image segmentation methods that leverage machine learning usually rely on a large number of manually predefined ground truth labels. However, it is a laborious and time-consuming task to prepare the dataset. This paper presents a novel technique using a self-supervised 3D-UNet that produces a dense deformation field between an atlas and a target image that can be used for atlas-based segmentation of the ossicles. Our results show that our method outperforms traditional image segmentation methods and generates a more accurate boundary around the ossicles based on Dice similarity coefficient and point-to-point error comparison. The mean Dice coefficient is improved by 8.51% with our proposed method. | 翻訳日:2023-02-17 15:37:10 公開日:2023-02-15 |
| # A-la-carte Prompt Tuning (APT): Composable Promptingによる個別データの組み合わせ \`A-la-carte Prompt Tuning (APT): Combining Distinct Data Via Composable Prompting ( http://arxiv.org/abs/2302.07994v1 ) ライセンス: Link先を確認 | Benjamin Bowman, Alessandro Achille, Luca Zancato, Matthew Trager, Pramuditha Perera, Giovanni Paolini, Stefano Soatto | (参考訳) A-la-carte Prompt Tuning (APT) は、異なるデータに対してプロンプトを任意に合成できるように、トランスフォーマーベースのスキームである。
個々のプロンプトは、異なるデバイス、異なる時間、異なるディストリビューションやドメインで、分離してトレーニングすることができる。
さらに各プロンプトには、トレーニング中に公開されたデータのサブセットに関する情報のみが含まれている。
推論の間、モデルは「\`a-la-carte learning」と呼ばれる任意のデータソースの選択に基づいて組み立てることができる。
A-la-carte学習は、各ユーザの個々のアクセス権と嗜好に特有のbespokeモデルの構築を可能にする。
私たちは、スクラッチから再トレーニングすることなく、対応するプロンプトを追加または削除するだけで、モデルから情報を追加または削除できます。
a-la-carte で構築されたモデルは,各ソースの結合に基づいてトレーニングされたモデルの 5 % の範囲内で,トレーニングや推論時間において同等のコストで精度を実現する。
連続学習ベンチマークである Split CIFAR-100 と CORe50 では,最先端の性能を実現する。 We introduce \`A-la-carte Prompt Tuning (APT), a transformer-based scheme to tune prompts on distinct data so that they can be arbitrarily composed at inference time. The individual prompts can be trained in isolation, possibly on different devices, at different times, and on different distributions or domains. Furthermore each prompt only contains information about the subset of data it was exposed to during training. During inference, models can be assembled based on arbitrary selections of data sources, which we call "\`a-la-carte learning". \`A-la-carte learning enables constructing bespoke models specific to each user's individual access rights and preferences. We can add or remove information from the model by simply adding or removing the corresponding prompts without retraining from scratch. We demonstrate that \`a-la-carte built models achieve accuracy within $5\%$ of models trained on the union of the respective sources, with comparable cost in terms of training and inference time. For the continual learning benchmarks Split CIFAR-100 and CORe50, we achieve state-of-the-art performance. | 翻訳日:2023-02-17 15:28:22 公開日:2023-02-15 |
| # 低エネルギー散乱パラメータ:任意の角運動量に対する有効範囲と散乱長の理論的導出 Low-energy scattering parameters: A theoretical derivation of the effective range and scattering length for arbitrary angular momentum ( http://arxiv.org/abs/2302.08331v1 ) ライセンス: Link先を確認 | Jordi Pera and Jordi Boronat | (参考訳) 低エネルギー散乱の研究で最も重要なパラメータは、s波とp波の散乱長とs波の有効範囲である。
我々は散乱問題を解くとともに、ウィグナーしきい値法が成立する限り、散乱長と任意の角運動量に対する有効範囲の2つの有用な公式を求める。
この形式を用いて, 4種類のモデルポテンシャルの角運動量散乱パラメータ(ハードスフィア, ソフトスフィア, 球面井戸, well-barrier potential)に対して有用な式を導出する。
フェシュバッハ共鳴に近い散乱パラメータの挙動も解析した。
我々の導出は散乱理論を学ぶためのハンズオン活動として有用である。 The most important parameters in the study of low-energy scattering are the s-wave and p-wave scattering lengths and the s-wave effective range. We solve the scattering problem and find two useful formulas for the scattering length and the effective range for any angular momentum, as long as the Wigner threshold law holds. Using that formalism, we obtain a set of useful formulas for the angular-momentum scattering parameters of four different model potentials: hard-sphere, soft-sphere, spherical well, and well-barrier potentials. The behavior of the scattering parameters close to Feshbach resonances is also analyzed. Our derivations can be useful as hands-on activities for learning scattering theory. | 翻訳日:2023-02-17 13:39:45 公開日:2023-02-15 |
| # 産業環境における深部畳み込み型ニューラルネットワークによるプレム上昇測定 Deep Convolutional Neural Network for Plume Rise Measurements in Industrial Environments ( http://arxiv.org/abs/2302.07416v1 ) ライセンス: Link先を確認 | Mohammad Koushafar, Gunho Sohn, Mark Gordon | (参考訳) プルーム雲の高さの推定は、大気質の輸送モデル、地域環境アセスメントケース、地球規模の気候モデルに必要不可欠である。
煙突によって汚染物質が放出されると、プルーム上昇はプルーム雲の運動量は減少し、プルーム雲の温度と周囲温度は等しくなるため、プルーム雲が下降する一定の高さである。
ほとんどの大気質モデルで異なるパラメータ化と方程式がプルーム上昇を予測するために使われているが、この30年でこれらのパラメータ化の検証は制限されている。
検証以外にも、空気品質予測の精度を向上させるために、プルーム上昇のリアルタイム測定にも価値がある。
本稿では,スモークスタックプラムをモニタし,プラム上昇の長期リアルタイム測定を行い,予測可能性の向上を図る,低コストな計測技術を提案する。
これを実現するために,深層畳み込みニューラルネットワークを用いた2段階法を開発した。
第1段階では、改良されたMask R-CNNを用いて、雲の境界を検知し、背景や他の物体と区別する。
このモデルはDeep Plume Rise Net (DPRNet)と呼ばれる。
第2段階では、近傍の監視局からの風向情報を介して幾何変換位相を適用して、異なるパラメータの実寿命測定を行う。
最後に、羽根雲の境界を求め、羽根上昇を算出する。
DPRNetトレーニングアルゴリズムでは、昼、夜、曇り、霧などの異なる大気条件の様々な画像が選択されている。
その結果,提案手法は,梅雨雲境界検出および認識において,広く利用されているネットワークよりも優れていた。 The estimation of plume cloud height is essential for air-quality transport models, local environmental assessment cases, and global climate models. When pollutants are released by a smokestack, plume rise is the constant height at which the plume cloud is carried downwind as its momentum dissipates and the temperatures of the plume cloud and the ambient equalize. Although different parameterizations and equations are used in most air quality models to predict plume rise, verification of these parameterizations has been limited in the past three decades. Beyond validation, there is also value in real-time measurement of plume rise to improve the accuracy of air quality forecasting. In this paper, we propose a low-cost measurement technology that can monitor smokestack plumes and make long-term, real-time measurements of plume rise, improving predictability. To do this, a two-stage method is developed based on deep convolutional neural networks. In the first stage, an improved Mask R-CNN is applied to detect the plume cloud borders and distinguish the plume from its background and other objects. This proposed model is called Deep Plume Rise Net (DPRNet). In the second stage, a geometric transformation phase is applied through the wind direction information from a nearby monitoring station to obtain real-life measurements of different parameters. Finally, the plume cloud boundaries are obtained to calculate the plume rise. Various images with different atmospheric conditions, including day, night, cloudy, and foggy, have been selected for DPRNet training algorithm. Obtained results show the proposed method outperforms widely-used networks in plume cloud border detection and recognition. | 翻訳日:2023-02-16 16:12:08 公開日:2023-02-15 |
| # カーネル2サンプルテストの可変選択 Variable Selection for Kernel Two-Sample Tests ( http://arxiv.org/abs/2302.07415v1 ) ライセンス: Link先を確認 | Jie Wang and Santanu S. Dey and Yao Xie | (参考訳) サンプルを2つのグループと区別する上で,最も有用な特徴を選択することを目的とした2サンプルテストの変数選択問題を考察する。
この問題を解決するためにカーネル最大平均差分法(MMD)フレームワークを提案し、さらに線形、二次、ガウス型のカーネル関数に対して等価な混合整数計画法を導出する。
提案フレームワークは計算効率と優れた統計特性の両方の利点を認めている。
i) 線形カーネルケースに対して閉形式解が提供される。
np難易度にもかかわらず、二次カーネルケースに対する完全混合整数半定義型プログラミング式を提供し、さらに、完全および近似アルゴリズムの開発を動機付ける。
本稿では,ガウス核の場合の臨界点を求める凸凹法を提案する。
(2)Nullおよび代替シナリオの下で提案した定式化の漸近的でない不確実性定量化を提供する。
実験の結果,フレームワークの性能は良好であった。 We consider the variable selection problem for two-sample tests, aiming to select the most informative features to best distinguish samples from two groups. We propose a kernel maximum mean discrepancy (MMD) framework to solve this problem and further derive its equivalent mixed-integer programming formulations for linear, quadratic, and Gaussian types of kernel functions. Our proposed framework admits advantages of both computational efficiency and nice statistical properties: (i) A closed-form solution is provided for the linear kernel case. Despite NP-hardness, we provide an exact mixed-integer semi-definite programming formulation for the quadratic kernel case, which further motivates the development of exact and approximation algorithms. We propose a convex-concave procedure that finds critical points for the Gaussian kernel case. (ii) We provide non-asymptotic uncertainty quantification of our proposed formulation under null and alternative scenarios. Experimental results demonstrate good performance of our framework. | 翻訳日:2023-02-16 16:11:42 公開日:2023-02-15 |
| # 望ましいものの理論 A theory of desirable things ( http://arxiv.org/abs/2302.07412v1 ) ライセンス: Link先を確認 | Jasper De Bock | (参考訳) 不正確な確率の分野で不確実性をモデル化するために用いられる望ましいギャンブルの理論に触発されて、私は望ましいものの理論を示す。
目的は、対象が望ましいものについての信念をモデル化することである。
物事が何であるかは重要ではなく、彼らが望ましいということでもない。
ギャンブルに当てはまり、被験者がそれを受け入れた場合には望ましいが、ピザにも当てはまるし、友人のアーサーが食べるのが好きなら望ましいと言うこともできる。
この理論を応用できる他の有用な例としては、命題、馬の宝くじ、または上記のいずれかの間の選好がある。
考慮される特定のものにかかわらず、推論規則は抽象閉包演算子によって課され、これらの規則に従うモデルはコヒーレント(coherent)と呼ばれる。
私は2つのタイプのモデルを考えます。それぞれが、望ましいもの、望ましいもの、望ましいもの、望ましいもの、という、対象の信念を捉えることができます。
重要な結果として、後者の型は前者のセットで表現できる。 Inspired by the theory of desirable gambles that is used to model uncertainty in the field of imprecise probabilities, I present a theory of desirable things. Its aim is to model a subject's beliefs about which things are desirable. What the things are is not important, nor is what it means for them to be desirable. It can be applied to gambles, calling them desirable if a subject accepts them, but it can just as well be applied to pizzas, calling them desirable if my friend Arthur likes to eat them. Other useful examples of things one might apply this theory to are propositions, horse lotteries, or preferences between any of the above. Regardless of the particular things that are considered, inference rules are imposed by means of an abstract closure operator, and models that adhere to these rules are called coherent. I consider two types of models, each of which can capture a subject's beliefs about which things are desirable: sets of desirable things and sets of desirable sets of things. A crucial result is that the latter type can be represented by a set of the former. | 翻訳日:2023-02-16 16:11:27 公開日:2023-02-15 |
| # バッチバイナリ分類を超えた量子学習理論 Quantum Learning Theory Beyond Batch Binary Classification ( http://arxiv.org/abs/2302.07409v1 ) ライセンス: Link先を確認 | Preetham Mohan, Ambuj Tewari | (参考訳) Arunachalam と De Wolf (2018) は、ブール関数の量子バッチ学習のサンプル複雑性が、実現可能で不可知的な設定において、対応する古典的なサンプル複雑度と同じ形式と順序を持つことを示した。
本稿では、これを表向きは意外なことに、バッチマルチクラス学習、オンラインブール学習、オンラインマルチクラス学習に拡張する。
オンライン学習の結果について、我々はまずダウィドとテワリの古典的モデル(2022年)の適応的逆変種を考える。
次に、量子実例を用いたオンライン学習の最初の(私たちの知る限りの)モデルを紹介します。 Arunachalam and De Wolf (2018) showed that the sample complexity of quantum batch learning of boolean functions, in the realizable and agnostic settings, has the same form and order as the corresponding classical sample complexities. In this paper, we extend this, ostensibly surprising, message to batch multiclass learning, online boolean learning, and online multiclass learning. For our online learning results, we first consider an adaptive adversary variant of the classical model of Dawid and Tewari (2022). Then, we introduce the first (to the best of our knowledge) model of online learning with quantum examples. | 翻訳日:2023-02-16 16:11:10 公開日:2023-02-15 |
| # 2次元から3次元の人物位置推定のための不確かさ誘導型変圧器 Pose-Oriented Transformer with Uncertainty-Guided Refinement for 2D-to-3D Human Pose Estimation ( http://arxiv.org/abs/2302.07408v1 ) ライセンス: Link先を確認 | Han Li, Bowen Shi, Wenrui Dai, Hongwei Zheng, Botao Wang, Yu Sun, Min Guo, Chenlin Li, Junni Zou, Hongkai Xiong | (参考訳) 近年,長期的依存関係をモデル化する上で強力な能力を持つ3次元ポーズ推定(HPE)へのトランスフォーマー導入への関心が高まっている。
しかし、既存のトランスフォーマーベースの手法では、身体関節を等しく重要な入力として扱い、自己着脱機構におけるヒト骨格トポロジーの事前知識を無視している。
この問題に対処するために,我々は3次元HPEのための不確かさをガイドしたPOT(Pose-Oriented Transformer)を提案する。
具体的には,人間骨格トポロジーを明示的に活用するために,ポットの姿勢指向セルフアテンション機構と距離関連位置埋め込み機構を初めて開発した。
ポーズ指向の自己アテンション機構は、明確に身体関節間のトポロジカルな相互作用をモデル化する一方、距離に関連した位置埋め込みは、歯根関節との距離をエンコードし、異なる回帰困難を有する関節群を識別する。
さらに, 不確実性誘導型サンプリング戦略と自己保持機構による各関節の不確かさを考慮し,POTからのポーズ予測を洗練するための不確実性誘導型リファインメントネットワーク(UGRN)を提案する。
この手法はHuman3.6MやMPI-INF-3DHPといった3次元HPEベンチマークにおいて,モデルパラメータの削減による最先端の手法よりも優れていた。 There has been a recent surge of interest in introducing transformers to 3D human pose estimation (HPE) due to their powerful capabilities in modeling long-term dependencies. However, existing transformer-based methods treat body joints as equally important inputs and ignore the prior knowledge of human skeleton topology in the self-attention mechanism. To tackle this issue, in this paper, we propose a Pose-Oriented Transformer (POT) with uncertainty guided refinement for 3D HPE. Specifically, we first develop novel pose-oriented self-attention mechanism and distance-related position embedding for POT to explicitly exploit the human skeleton topology. The pose-oriented self-attention mechanism explicitly models the topological interactions between body joints, whereas the distance-related position embedding encodes the distance of joints to the root joint to distinguish groups of joints with different difficulties in regression. Furthermore, we present an Uncertainty-Guided Refinement Network (UGRN) to refine pose predictions from POT, especially for the difficult joints, by considering the estimated uncertainty of each joint with uncertainty-guided sampling strategy and self-attention mechanism. Extensive experiments demonstrate that our method significantly outperforms the state-of-the-art methods with reduced model parameters on 3D HPE benchmarks such as Human3.6M and MPI-INF-3DHP | 翻訳日:2023-02-16 16:11:00 公開日:2023-02-15 |
| # 確率論的文脈自由文法によるベイズ決定木 Bayesian Decision Trees via Tractable Priors and Probabilistic Context-Free Grammars ( http://arxiv.org/abs/2302.07407v1 ) ライセンス: Link先を確認 | Colin Sullivan, Mo Tiwari, Sebastian Thrun, Chris Piech | (参考訳) 決定木(Decision Tree)は、現在最も人気のある機械学習モデルのひとつだ。
決定木モデルは、しばしば、ジーニの不純物やエントロピーのようなヒューリスティックな探索基準によって、トップダウンの方法で優雅に構築される。
しかし、この方法で構築された木は、トレーニングデータの小さなゆらぎに敏感であり、過度に適合する傾向がある。
対照的に、木構築に対するベイズ的アプローチは、選択過程を後部推論問題として定式化し、そのようなアプローチはより安定であり、より理論的な保証を提供する。
しかし、ベイズ決定木の生成は通常、複雑で多モードな後続分布からのサンプリングを必要とする。
現在のマルコフ連鎖モンテカルロに基づくベイズ決定木サンプリングのアプローチは、モード崩壊と長い混合時間の傾向があり、現実的ではない。
本稿では,ベイズ決定木を訓練するための新しい基準を提案する。
我々の基準はBCART-PCFGを生じさせ、データから得られた木々の後方分布から決定木を効率よくサンプリングし、最大後葉(MAP)木を見つけることができる。
後方学習とサンプラーのトレーニングは、データセットサイズの多項式である時間内に行うことができる。
後輪が学習されると、木を効率的に(ノード数に線形に)サンプリングすることができる。
本手法の核となるのは,確率論的文脈自由文法からの導出をサンプリングするための後部サンプリングの削減である。
BCART-PCFGによってサンプリングされた木は、いくつかのデータセットの分類精度において、優雅に構築された決定木に匹敵する、あるいはそれより優れている。
さらに、BCART-PCFGで採取された木は、時には20倍も小さくなっている。 Decision Trees are some of the most popular machine learning models today due to their out-of-the-box performance and interpretability. Often, Decision Trees models are constructed greedily in a top-down fashion via heuristic search criteria, such as Gini impurity or entropy. However, trees constructed in this manner are sensitive to minor fluctuations in training data and are prone to overfitting. In contrast, Bayesian approaches to tree construction formulate the selection process as a posterior inference problem; such approaches are more stable and provide greater theoretical guarantees. However, generating Bayesian Decision Trees usually requires sampling from complex, multimodal posterior distributions. Current Markov Chain Monte Carlo-based approaches for sampling Bayesian Decision Trees are prone to mode collapse and long mixing times, which makes them impractical. In this paper, we propose a new criterion for training Bayesian Decision Trees. Our criterion gives rise to BCART-PCFG, which can efficiently sample decision trees from a posterior distribution across trees given the data and find the maximum a posteriori (MAP) tree. Learning the posterior and training the sampler can be done in time that is polynomial in the dataset size. Once the posterior has been learned, trees can be sampled efficiently (linearly in the number of nodes). At the core of our method is a reduction of sampling the posterior to sampling a derivation from a probabilistic context-free grammar. We find that trees sampled via BCART-PCFG perform comparable to or better than greedily-constructed Decision Trees in classification accuracy on several datasets. Additionally, the trees sampled via BCART-PCFG are significantly smaller -- sometimes by as much as 20x. | 翻訳日:2023-02-16 16:10:33 公開日:2023-02-15 |
| # 会話型AI駆動設計: デザイナー、ユーザ、製品としてのChatGPT Conversational AI-Powered Design: ChatGPT as Designer, User, and Product ( http://arxiv.org/abs/2302.07406v1 ) ライセンス: Link先を確認 | A. Baki Kocaballi | (参考訳) 近年のLLM(Large Language Models)の進歩、特にChatGPTのような会話型LLMは、設計を含む様々な分野に変化をもたらしている。
本研究では,人間中心の設計プロセスにおけるChatGPTの機能について検討する。
この目的のために、ChatGPTを用いてペルソナを生成し、架空のユーザとのインタビューをシミュレートし、新しいデザインアイデアを作成し、架空のプロトタイプと架空のユーザ間の会話をシミュレートし、最後にユーザ体験を評価する仮説設計プロジェクトが行われた。
その結果,chatgptは設計者,ユーザ,あるいは製品として割り当てられたタスクを効果的に実行し,ほぼ適切な応答を提供した。
しかしこの研究は、忘れられた情報、部分的な応答、出力の多様性の欠如といったいくつかの欠点を浮き彫りにしている。
デザインにおける会話型LLMのメリットと限界を説明し,その意義を論じ,急速に発展する領域における今後の研究の方向性を提案する。 The recent advancements in Large Language Models (LLMs), particularly conversational LLMs like ChatGPT, have prompted changes in a range of fields, including design. This study aims to examine the capabilities of ChatGPT in a human-centered design process. To this end, a hypothetical design project was conducted, where ChatGPT was utilized to generate personas, simulate interviews with fictional users, create new design ideas, simulate usage scenarios and conversations between an imaginary prototype and fictional users, and lastly evaluate user experience. The results show that ChatGPT effectively performed the tasks assigned to it as a designer, user, or product, providing mostly appropriate responses. The study does, however, highlight some drawbacks such as forgotten information, partial responses, and a lack of output diversity. The paper explains the potential benefits and limitations of using conversational LLMs in design, discusses its implications, and suggests directions for future research in this rapidly evolving area. | 翻訳日:2023-02-16 16:10:05 公開日:2023-02-15 |
| # 反応拡散生物学モデルにおける教師なし物理情報ニューラルネットワーク(潰瘍性大腸炎とクローン病例) Unsupervised physics-informed neural network in reaction-diffusion biology models (Ulcerative colitis and Crohn's disease cases) A preliminary study ( http://arxiv.org/abs/2302.07405v1 ) ライセンス: Link先を確認 | Ahmed Rebai, Louay Boukhris, Radhi Toujani, Ahmed Gueddiche, Fayad Ali Banna, Fares Souissi, Ahmed Lasram, Elyes Ben Rayana, Hatem Zaag | (参考訳) クローン病や潰瘍性大腸炎などの慢性炎症性腸疾患の伝播をモデル化するために用いられる偏微分方程式(PDE)のクラスを解く際の物理情報ニューラルネットワーク(PINN)の可能性を検討する。
教師なしのアプローチは、ディープニューラルネットワークトレーニング中に特権化された。
本研究の目的は, 複雑なフィードバックループと高品質データの利用率の制限を特徴とする生体システムの複雑さを考慮し, PDEの解決におけるPINNの可能性を探ることである。
この探索的評価の提供に加えて,我々は,我々のアプローチにおける再現性と透明性の原則を強調し,人工知能の利用による堅牢性と一般化性を保証することに注力する。
我々は, PINN法といくつかの線形PDEと非線形PDEの関係を, 生物学との関係で定量化する。
しかし、最終解が初期条件、選択された境界条件、ニューラルネットワークアーキテクチャに依存することに注意する必要がある。 We propose to explore the potential of physics-informed neural networks (PINNs) in solving a class of partial differential equations (PDEs) used to model the propagation of chronic inflammatory bowel diseases, such as Crohn's disease and ulcerative colitis. An unsupervised approach was privileged during the deep neural network training. Given the complexity of the underlying biological system, characterized by intricate feedback loops and limited availability of high-quality data, the aim of this study is to explore the potential of PINNs in solving PDEs. In addition to providing this exploratory assessment, we also aim to emphasize the principles of reproducibility and transparency in our approach, with a specific focus on ensuring the robustness and generalizability through the use of artificial intelligence. We will quantify the relevance of the PINN method with several linear and non-linear PDEs in relation to biology. However, it is important to note that the final solution is dependent on the initial conditions, chosen boundary conditions, and neural network architectures. | 翻訳日:2023-02-16 16:09:46 公開日:2023-02-15 |
| # 半導波路量子電磁力学系における多光子干渉によるマイクロ波増幅 Microwave amplification via interfering multi-photon processes in a half-waveguide quantum electrodynamics system ( http://arxiv.org/abs/2302.07442v1 ) ライセンス: Link先を確認 | Fahad Aziz, Kuan Ting Lin, Ping Yi Wen, Samina, Yu Chen Lin, Emely Wiegand, Ching-Ping Lee, Yu-Ting Cheng, Ching-Yeh Chen, Chin-Hsun Chien, Kai-Min Hsieh, Yu-Huan Huang, Ian Hou, Jeng-Chung Chen, Yen-Hsiang Lin, Anton Frisk Kockum, Guin Dar Lin, and Io-Chun Hoi | (参考訳) 1次元半無限伝送線路の終端に強く結合した超伝導人工原子トランスモンによるマイクロ波プローブ信号の増幅について検討した。
伝送線路の終端はマイクロ波場の鏡として機能する。
人工原子の非調和性が弱いため、強いポンプ場は服装状態の間に多光子励起を生成する。
これらの状態、ラビ側バンド間の遷移は弱いプローブの増幅または減衰をもたらす。
我々は,rabiサイドバンド間の構成的干渉により,従来の1つの人工原子を用いた実験よりも約18%高い振幅増幅率を得た。
また,自発放射スペクトルを測定することで,システムの雑音特性を特徴付ける。 We investigate the amplification of a microwave probe signal by a superconducting artificial atom, a transmon, strongly coupled to the end of a one-dimensional semi-infinite transmission line. The end of the transmission line acts as a mirror for microwave fields. Due to the weak anharmonicity of the artificial atom, a strong pump field creates multi-photon excitations among the dressed states. Transitions between these dressed states, Rabi sidebands, give rise to either amplification or attenuation of the weak probe. We obtain a maximum amplitude amplification of about 18 %, higher than in any previous experiment with a single artificial atom, due to constructive interference between Rabi sidebands. We also characterize the noise properties of the system by measuring the spectrum of spontaneous emission. | 翻訳日:2023-02-16 16:02:57 公開日:2023-02-15 |
| # 拡散モデルによる塗装による道路安全向上のための道路再設計技術 Road Redesign Technique Achieving Enhanced Road Safety by Inpainting with a Diffusion Model ( http://arxiv.org/abs/2302.07440v1 ) ライセンス: Link先を確認 | Sumit Mishra, Medhavi Mishra, Taeyoung Kim, and Dongsoo Har | (参考訳) 道路インフラは道路事故の発生に影響を与える可能性がある。
そのため、事故確率の高い道路特徴の特定が不可欠である。
本稿では,現行の道路構造に最小限の介入で安全な道路設計を実現するために,当局を支援するイメージインペインティングを提案する。
画像インペインティングは、道路画像中の安全な道路要素のインペイントに基づいており、拡散モデルを用いて事故予防(ap)機能を置き換える。
オブジェクトレベルのセグメンテーションの後、事故ホットスポットの特性によって識別されたAP特徴は、人間のオペレーターによってマスクされ、安全な道路要素が塗装される。
イメージインペインティングの平均時間は2分で、事故ホットスポットに分類された画像の確率は平均11.85%低下する。
また、居酒屋などの通勤者の人的要因を考慮して、安全な都市空間を設計できる。
そこで本研究では,道路景観の色彩変化を示唆するサリーエンシ向上手法を提案する。 Road infrastructure can affect the occurrence of road accidents. Therefore, identifying roadway features with high accident probability is crucial. Here, we introduce image inpainting that can assist authorities in achieving safe roadway design with minimal intervention in the current roadway structure. Image inpainting is based on inpainting safe roadway elements in a roadway image, replacing accident-prone (AP) features by using a diffusion model. After object-level segmentation, the AP features identified by the properties of accident hotspots are masked by a human operator and safe roadway elements are inpainted. With only an average time of 2 min for image inpainting, the likelihood of an image being classified as an accident hotspot drops by an average of 11.85%. In addition, safe urban spaces can be designed considering human factors of commuters such as gaze saliency. Considering this, we introduce saliency enhancement that suggests chrominance alteration for a safe road view. | 翻訳日:2023-02-16 16:02:47 公開日:2023-02-15 |
| # ランダム制御量子状態トモグラフィーのロバスト性 Robustness of random-control quantum-state tomography ( http://arxiv.org/abs/2302.07439v1 ) ライセンス: Link先を確認 | Jingcheng Wang, Shaoliang Zhang, Jianming Cai, Zhenyu Liao, Christian Arenz, and Ralf Betzholz | (参考訳) 最近実証された量子状態トモグラフィースキーム[Phys. Rev. Lett. 124, 010405 (2020)]では、ランダム制御場がマルチパーティイト系に局所的に適用され、単一観測可能な測定によってシステムの完全な量子状態が再構成される。
本稿では,測定誤差に対するトモグラフィスキームのロバスト性を分析する。
トモグラフィプロセスを完全に記述した線形システムの条件数対数を用いて,測定誤差に対する感度を特徴付ける。
ランダム行列理論の結果を用いて、ハールランダム進化を考慮した場合のシステムサイズに関して、この条件数の対数のスケーリング則を導出する。
この式はhaarランダムネスの生成方法に依存しないが、単一ランダム制御場によって駆動される2つの特定の量子系に対するロバストネスの時間的挙動を調べる数値シミュレーションも行う。
興味深いことに、運転時間の関数としての条件数の対数の平均値がHaar-random進化の予測値に漸近的に近づく前に、システムサイズとともに長さが増加する台地に達する。 In a recently demonstrated quantum-state tomography scheme [Phys. Rev. Lett. 124, 010405 (2020)], a random control field is locally applied to a multipartite system to reconstruct the full quantum state of the system through single-observable measurements. Here, we analyze the robustness of such a tomography scheme against measurement errors. We characterize the sensitivity to measurement errors using the logarithm of the condition number of a linear system that fully describes the tomography process. Using results from random matrix theory we derive the scaling law of the logarithm of this condition number with respect to the system size when Haar-random evolutions are considered. While this expression is independent on how Haar randomness is created, we also perform numerical simulations to investigate the temporal behavior of the robustness for two specific quantum systems that are driven by a single random control field. Interestingly, we find that before the mean value of the logarithm of the condition number as a function of the driving time asymptotically approaches the value predicted for a Haar-random evolution, it reaches a plateau whose length increases with the system size. | 翻訳日:2023-02-16 16:02:32 公開日:2023-02-15 |
| # 量子臨界状態の変分量子シミュレーション Variational quantum simulation of the quantum critical regime ( http://arxiv.org/abs/2302.07438v1 ) ライセンス: Link先を確認 | Zhi-Quan Shi, Xu-Dan Xie, Dan-Bo Zhang | (参考訳) 量子臨界レジームは、臨界点周辺の量子揺らぎが有限温度において重要な役割を果たす相図のゾーンを示す。
物理的には非常に興味深いが、量子臨界状態のシミュレーションはその固有の複雑さのために古典的なコンピュータでは困難である。
本稿では,量子コンピュータ上での量子臨界レジームをシミュレートし,同定するために,変動自由エネルギーを最小化する変分的手法を提案する。
変分量子アルゴリズムは、初期状態からエントロピーを解析的に得ることができる単一量子ビット混合状態の積上でユニタリ演算子を実行し、自由エネルギーを簡便にアクセスしてアンサッツを採用する。
数値シミュレーションにより, 1次元キタエフ模型を実演として, 温度クロスオーバー線を正確に評価することにより, 量子臨界レジームを同定できることを示した。
また,温度との相関長と位相コヒーレンス時間の両方の依存性を熱状態に対して評価した。
我々の研究は、量子臨界系を数キュービットの量子デバイス上で有限温度で探すための、実用的な方法と第一歩を示唆している。 The quantum critical regime marks a zone in the phase diagram where quantum fluctuation around the critical point plays a significant role at finite temperatures. While it is of great physical interest, simulation of the quantum critical regime can be difficult on a classical computer due to its intrinsic complexity. In this paper, we propose a variational approach, which minimizes the variational free energy, to simulate and locate the quantum critical regime on a quantum computer. The variational quantum algorithm adopts an ansatz by performing an unitary operator on a product of a single-qubit mixed state, in which the entropy can be analytically obtained from the initial state, and thus the free energy can be accessed conveniently. With numeral simulation, we show, using the one-dimensional Kitaev model as a demonstration, the quantum critical regime can be identified by accurately evaluating the temperature crossover line. Moreover, the dependence of both the correlation length and the phase coherence time with the temperature are evaluated for the thermal states. Our work suggests a practical way as well as a first step for investigating quantum critical systems at finite temperatures on quantum devices with few qubits. | 翻訳日:2023-02-16 16:02:10 公開日:2023-02-15 |
| # ユーザビリティギャップの橋渡し--隠れマルコフモデルのスペクトル学習のための理論的および方法論的進歩 Bridging the Usability Gap: Theoretical and Methodological Advances for Spectral Learning of Hidden Markov Models ( http://arxiv.org/abs/2302.07437v1 ) ライセンス: Link先を確認 | Xiaoyuan Ma, Jordan Rodu | (参考訳) Baum-Welch (B-W) アルゴリズムは隠れマルコフモデル (HMM) を推論する最も広く受け入れられている手法である。
しかし、ローカルの最適化では立ち往生する傾向があり、多くのリアルタイムアプリケーションでは遅すぎる可能性がある。
モーメント法(MOM)に基づくHMM(SHMM)のスペクトル学習は,これらの障害を克服するために文献で提案されている。
その約束にもかかわらず、SHMMの漸近理論は解明され、SHMMの長期性能は、未確認の誤りの発散により劣化する可能性がある。
本稿では,(1) SHMMが推定した推定誤差の近似的誤差に対する漸近分布を提案し,(2) 誤り拡散の問題を緩和する投影型SHMM (PSHMM) と呼ばれる新しいアルゴリズムを提案し,(3) 潜在的な非定常性に対応するSHMMとPSHMMの両方のオンライン学習変種を開発する。
SHMMの性能をPSHMMと比較し、実世界のアプリケーションからのデータとシミュレーションデータの両方でB-Wアルゴリズムを用いて推定し、PSHMMがSHMMの計算上の優位性を保持するだけでなく、より堅牢な推定と予測を提供することを示した。 The Baum-Welch (B-W) algorithm is the most widely accepted method for inferring hidden Markov models (HMM). However, it is prone to getting stuck in local optima, and can be too slow for many real-time applications. Spectral learning of HMMs (SHMMs), based on the method of moments (MOM) has been proposed in the literature to overcome these obstacles. Despite its promises, asymptotic theory for SHMM has been elusive, and the long-run performance of SHMM can degrade due to unchecked propogation of error. In this paper, we (1) provide an asymptotic distribution for the approximate error of the likelihood estimated by SHMM, and (2) propose a novel algorithm called projected SHMM (PSHMM) that mitigates the problem of error propogation, and (3) develop online learning variantions of both SHMM and PSHMM that accommodate potential nonstationarity. We compare the performance of SHMM with PSHMM and estimation through the B-W algorithm on both simulated data and data from real world applications, and find that PSHMM not only retains the computational advantages of SHMM, but also provides more robust estimation and forecasting. | 翻訳日:2023-02-16 16:01:51 公開日:2023-02-15 |
| # RashbaとDresselhausのスピン軌道相互作用共存下における半導体重孔の非断熱的ベリー相 Non-adiabatic Berry phase for semiconductor heavy holes under the coexistence of Rashba and Dresselhaus spin-orbit interactions ( http://arxiv.org/abs/2302.07436v1 ) ライセンス: Link先を確認 | Tatsuki Tojo and Kyozaburo Takeda | (参考訳) 多重バンド系に対して非アベリアベリー接続 (tensor $\mathbb R$) と位相 (matrix $\boldsymbol \Gamma$) を定式化し、Rashba と Dresselhaus のスピン軌道相互作用の共存の下で半導体ホールに適用する。
この目的のために、電子構造とスピンテクスチャを拡張された$\boldsymbol{k}\cdot\boldsymbol{p}$アプローチで探究する2次元量子井戸に閉じ込められた重い穴に焦点を当てる。
原子価帯内の強いサブバンド間相互作用は、ブリルアンゾーン中心のポイント$\gamma$を除いて準縮退点を引き起こす。
これらの点が特異点として機能し、アベリア・ベリー位相はアディアバティック過程の下で$\pi$の量子化によって変化する。
非断熱的過程の影響を探るために、時間依存のschr\"{o}dinger方程式とサイクロトロン運動の半古典的方程式を組み合わせることで、等価エネルギー面に沿って忠実に$\mathbb r$の輪郭積分を行い、計算的に$\boldsymbol \gamma$のエネルギー依存性を計算する。
ディラック様特異点としての関数に加えて、準退化点は非断熱過程を通じてバンド間遷移を強化する。
その結果、オフ対角成分は$\mathbb R$ と $\boldsymbol \Gamma$ の両方で生成され、Abelian Berry 相にある単純な $\pi$-quantization が破られる。
より興味深いことに、これらの非対角的な項は準退化エネルギーにおいて「共鳴反発」を引き起こし、$\boldsymbol \Gamma$のエネルギープロファイルの不連続をもたらす。 We formulate the non-Abelian Berry connection (tensor $\mathbb R$) and phase (matrix $\boldsymbol \Gamma$) for a multiband system and apply them to semiconductor holes under the coexistence of Rashba and Dresselhaus spin-orbit interactions. For this purpose, we focus on the heavy-mass holes confined in a SiGe two-dimensional quantum well, whose electronic structure and spin texture are explored by the extended $\boldsymbol{k}\cdot\boldsymbol{p}$ approach. The strong intersubband interaction in the valence band causes quasi-degenerate points except for point $\Gamma$ of the Brillouin zone center. These points work as the singularity and change the Abelian Berry phase by the quantization of $\pi$ under the adiabatic process. To explore the influence by the non-adiabatic process, we perform the contour integral of $\mathbb R$ faithfully along the equi-energy surface by combining the time-dependent Schr\"{o}dinger equation with the semi-classical equation-of-motion for cyclotron motion and then calculate the energy dependence of $\boldsymbol \Gamma$ computationally. In addition to the function as a Dirac-like singularity, the quasi-degenerate point functions in enhancing the intersubband transition via the non-adiabatic process. Consequently, the off-diagonal components generate both in $\mathbb R$ and $\boldsymbol \Gamma$, and the simple $\pi$-quantization found in the Abelian Berry phase is violated. More interestingly, these off-diagonal terms cause "resonant repulsion" at the quasi-degenerate energy and result in the discontinuity in the energy profile of $\boldsymbol \Gamma$. | 翻訳日:2023-02-16 16:01:30 公開日:2023-02-15 |
| # 不均衡配送時間推定のためのデュアルグラフマルチタスクフレームワーク Dual Graph Multitask Framework for Imbalanced Delivery Time Estimation ( http://arxiv.org/abs/2302.07429v1 ) ライセンス: Link先を確認 | Lei Zhang, Mingliang Wang, Xin Zhou, Xingyu Wu, Yiming Cao, Yonghui Xu, Lizhen Cui, Zhiqi Shen | (参考訳) 配送時間推定(Delivery Time Estimation, DTE)は、Eコマースサプライチェーンの重要なコンポーネントであり、商業情報に基づいて配送時間を予測する。
正確なDTEはプラットフォーム収益を高め、顧客の苦情や返金を減らす。
しかし、産業データの不均衡は、以前のモデルが十分な予測性能に達することを妨げている。
不均衡回帰法はDTEタスクに適用できるが, 全体的な性能を犠牲にして, 低ショットデータサンプルの予測性能が向上することが実験的に確認された。
そこで本研究では,不均衡配送時間推定(DGM-DTE)のための新しいデュアルグラフマルチタスクフレームワークを提案する。
当社のフレームワークはまず,パッケージ配信時間をヘッドとテールデータに分類します。
次に、双対グラフモデルを用いて、データの2つのカテゴリの表現を学習する。
特にDGM-DTEは、カーネル密度を推定することで、テールデータの埋め込みを再重み付けする。
グラフベースの2つの表現を融合して、ハイショットデータとローショットデータの両方をキャプチャする。
実世界のTaobaoロジスティクスデータセットの実験は、ベースラインと比較してDGM-DTEの優れた性能を示している。 Delivery Time Estimation (DTE) is a crucial component of the e-commerce supply chain that predicts delivery time based on merchant information, sending address, receiving address, and payment time. Accurate DTE can boost platform revenue and reduce customer complaints and refunds. However, the imbalanced nature of industrial data impedes previous models from reaching satisfactory prediction performance. Although imbalanced regression methods can be applied to the DTE task, we experimentally find that they improve the prediction performance of low-shot data samples at the sacrifice of overall performance. To address the issue, we propose a novel Dual Graph Multitask framework for imbalanced Delivery Time Estimation (DGM-DTE). Our framework first classifies package delivery time as head and tail data. Then, a dual graph-based model is utilized to learn representations of the two categories of data. In particular, DGM-DTE re-weights the embedding of tail data by estimating its kernel density. We fuse two graph-based representations to capture both high- and low-shot data representations. Experiments on real-world Taobao logistics datasets demonstrate the superior performance of DGM-DTE compared to baselines. | 翻訳日:2023-02-16 16:00:50 公開日:2023-02-15 |
| # ニューラルネットワークを効率的に学習する: どんな仮定が十分か? Efficiently Learning Neural Networks: What Assumptions May Suffice? ( http://arxiv.org/abs/2302.07426v1 ) ライセンス: Link先を確認 | Amit Daniely, Nathan Srebro, Gal Vardi | (参考訳) ニューラルネットワークが効率的に学習できるかを理解することは、学習理論の基本的な問題である。
既存の硬さは、効率的なアルゴリズムを得るためには入力分布とネットワークの重みの両方の仮定が必要であることを示唆している。
さらに, 入力分布がガウス的であり, 重み行列が非退化であると仮定して, 深さ$2$ネットワークを効率的に学習できることを示した。
本研究では,これらの仮定が深いネットワークの学習に十分であるかどうかを検証し,否定的な結果を示す。
ガウス入力分布下での学習深度3$ReLUネットワークは,ネットワークのパラメータにランダムノイズが付加されるスムーズな解析フレームワークにおいても困難であることを示す。
これは、ガウス分布の下での学習深さ-3$ relu ネットワークは、重み行列が非退化であっても難しいことを意味する。
さらに,ネットワークパラメータと入力分布の両方がスムーズであるスムーズな解析フレームワークにおいて,深度2ドルのネットワークを考慮し,学習の難しさを示す。
我々の硬度結果は、局所擬似ランダム発生器の存在についてよく研究された仮定の下にある。 Understanding when neural networks can be learned efficiently is a fundamental question in learning theory. Existing hardness results suggest that assumptions on both the input distribution and the network's weights are necessary for obtaining efficient algorithms. Moreover, it was previously shown that depth-$2$ networks can be efficiently learned under the assumptions that the input distribution is Gaussian, and the weight matrix is non-degenerate. In this work, we study whether such assumptions may suffice for learning deeper networks and prove negative results. We show that learning depth-$3$ ReLU networks under the Gaussian input distribution is hard even in the smoothed-analysis framework, where a random noise is added to the network's parameters. It implies that learning depth-$3$ ReLU networks under the Gaussian distribution is hard even if the weight matrices are non-degenerate. Moreover, we consider depth-$2$ networks, and show hardness of learning in the smoothed-analysis framework, where both the network parameters and the input distribution are smoothed. Our hardness results are under a well-studied assumption on the existence of local pseudorandom generators. | 翻訳日:2023-02-16 16:00:34 公開日:2023-02-15 |
| # バンド・ソーシャル・ラーニング : 神秘的行動による探索 Bandit Social Learning: Exploration under Myopic Behavior ( http://arxiv.org/abs/2302.07425v1 ) ライセンス: Link先を確認 | Kiarash Banihashem, MohammadTaghi Hajiaghayi, Suho Shin, Aleksandrs Slivkins | (参考訳) エージェントが単純なマルチアームバンディットプロトコルに従う社会学習のダイナミクスについて検討する。
エージェントは順次到着し、腕を選び、関連する報酬を受け取る。
各エージェントは、前のエージェントの完全な履歴(武器と報酬)を観察し、プライベートシグナルは存在しない。
協力してエージェントは探索と探索のトレードオフに直面しますが、それぞれのエージェントは探査に関して無差別に行動します。
モチベーションシナリオは、オンラインプラットフォームにおけるレビューと評価に関するものだ。
我々は、「偏見のない」行動や様々な行動バイアスを含む、(パラメータ化された)信頼区間と整合した幅広い筋電図的行動を許容する。
これらの行動の極端なバージョンはよく知られたバンディットアルゴリズムに対応しているが、より穏健なバージョンは究極の探索失敗につながり、結果としてエージェント数に線形な後悔率をもたらすことを証明している。
我々は「適度に楽観的な」エージェントを分析して後悔の上限を一致させる。
独立利害関係の特別な場合として,多腕バンディットにおけるグリーディアルゴリズムの故障に関する一般的な結果を得る。
これは私たちの知る限りでは 文学における最初の結果です We study social learning dynamics where the agents collectively follow a simple multi-armed bandit protocol. Agents arrive sequentially, choose arms and receive associated rewards. Each agent observes the full history (arms and rewards) of the previous agents, and there are no private signals. While collectively the agents face exploration-exploitation tradeoff, each agent acts myopically, without regards to exploration. Motivating scenarios concern reviews and ratings on online platforms. We allow a wide range of myopic behaviors that are consistent with (parameterized) confidence intervals, including the "unbiased" behavior as well as various behaviorial biases. While extreme versions of these behaviors correspond to well-known bandit algorithms, we prove that more moderate versions lead to stark exploration failures, and consequently to regret rates that are linear in the number of agents. We provide matching upper bounds on regret by analyzing "moderately optimistic" agents. As a special case of independent interest, we obtain a general result on failure of the greedy algorithm in multi-armed bandits. This is the first such result in the literature, to the best of our knowledge | 翻訳日:2023-02-16 16:00:13 公開日:2023-02-15 |
| # 深層学習機械による空間的不均一学習 Spatially heterogeneous learning by a deep student machine ( http://arxiv.org/abs/2302.07419v1 ) ライセンス: Link先を確認 | Hajime Yoshino | (参考訳) 素晴らしい成功にもかかわらず、膨大な調整可能なパラメータを持つディープニューラルネットワーク(DNN)はほとんどブラックボックスのままである。
DNNの隠蔽層に光を当てるために,教師学生設定と呼ばれる統計力学手法を用いて,DNNの幅$N$と深さ$L$のパーセプトロンと$c$入力からなる教師学習について検討した。
我々は,教師機械が提供した3次元インプット/アウトプット関係の$M$集合を正確に再現する学生機械の集合を考える。
我々はレプリカ法(H)を用いて理論的にアンサンブルを解析した。
吉野(2020年)および数値計算によるモンテカルロシミュレーション
高次元データに作用するレプリカ理論 $N \gg 1$ は 'dense limit' $N \gg c \gg 1$ および $M \gg 1$ において、固定$\alpha=M/c$ で完全となる。
この理論とシミュレーションは、dnnによる学習がネットワーク空間では非常に異質であることを示唆している: マシンの構成は入出力境界に近い層内でより相関しており、中央領域は過度なパラメータ化のために相関が小さい。
中央領域の相関が低いため、システムはより速くリラックスする。
この理論とシミュレーションの両方が、システムの過度なパラメータ化が強まるような深い極限$L \gg 1$であっても、学生機械の一般化可能性は消滅しないことを示唆している。
また,データの有効次元 $d(\leq n)$ の影響を隠れ多様体モデル (s) を用いて検討する。
Goldt et al (2020) をモデルに組み込んだ。
レプリカ理論は、ネットワーク内の異なるノード間の相関を反映する密集限界へのループ補正が、幅$\n$を減少させるか、データの有効次元$d$を減少させることによって強化されることを意味する。
シミュレーションは両方とも一般化可能性を大幅に改善することを示唆している。 Despite the spectacular successes, deep neural networks (DNN) with a huge number of adjustable parameters remain largely black boxes. To shed light on the hidden layers of DNN, we study supervised learning by a DNN of width $N$ and depth $L$ consisting of perceptrons with $c$ inputs by a statistical mechanics approach called the teacher-student setting. We consider an ensemble of student machines that exactly reproduce $M$ sets of $N$ dimensional input/output relations provided by a teacher machine. We analyze the ensemble theoretically using a replica method (H. Yoshino (2020)) and numerically performing greedy Monte Carlo simulations. The replica theory which works on high dimensional data $N \gg 1$ becomes exact in 'dense limit' $N \gg c \gg 1$ and $M \gg 1$ with fixed $\alpha=M/c$. Both the theory and the simulation suggest learning by the DNN is quite heterogeneous in the network space: configurations of the machines are more correlated within the layers closer to the input/output boundaries while the central region remains much less correlated due to over-parametrization. Deep enough systems relax faster thanks to the less correlated central region. Remarkably both the theory and simulation suggest generalization-ability of the student machines does not vanish even in the deep limit $L \gg 1$ where the system becomes strongly over-parametrized. We also consider the impact of effective dimension $D(\leq N)$ of data by incorporating the hidden manifold model (S. Goldt et al (2020)) into our model. The replica theory implies that the loop corrections to the dense limit, which reflect correlations between different nodes in the network, become enhanced by either decreasing the width $\ N$ or decreasing the effective dimension $D$ of the data. Simulation suggests both leads to significant improvements in generalization-ability. | 翻訳日:2023-02-16 15:59:55 公開日:2023-02-15 |
| # MRI再建のためのエッジ重み付きpFISTA-Net Edge-weighted pFISTA-Net for MRI Reconstruction ( http://arxiv.org/abs/2302.07468v1 ) ライセンス: Link先を確認 | Jianpeng Cao | (参考訳) 非ローリングアルゴリズムに基づくディープラーニングは、MRI(Accelerated Magnetic resonance imaging)の有効な方法として機能している。
しかし、多くの手法は、MRI再建を支援するためにエッジ情報の直接的使用を無視する。
本研究では,検出したエッジマップをpFISTA-Netのソフト保持部に直接適用するエッジ重み付きpFISTA-Netを提案する。
エッジマップに従って、異なる領域のソフトスレッショルド値を調整する。
パブリック脳データセットの実験結果から,提案手法は,最先端のディープラーニング手法と比較して,エラーの少ない再現と,アーティファクトの抑制性を向上することが示された。
エッジ重み付きpFISTA-Netはまた、異なるアンダーサンプリングマスクとエッジ検出演算子に対して堅牢性を示す。
さらに,エッジ重み付き構造を関節再建・セグメント化ネットワークに拡張し,改良された再建性能とより正確なセグメント化結果を得る。 Deep learning based on unrolled algorithm has served as an effective method for accelerated magnetic resonance imaging (MRI). However, many methods ignore the direct use of edge information to assist MRI reconstruction. In this work, we present the edge-weighted pFISTA-Net that directly applies the detected edge map to the soft-thresholding part of pFISTA-Net. The soft-thresholding value of different regions will be adjusted according to the edge map. Experimental results of a public brain dataset show that the proposed yields reconstructions with lower error and better artifact suppression compared with the state-of-the-art deep learning-based methods. The edge-weighted pFISTA-Net also shows robustness for different undersampling masks and edge detection operators. In addition, we extend the edge weighted structure to joint reconstruction and segmentation network and obtain improved reconstruction performance and more accurate segmentation results. | 翻訳日:2023-02-16 15:54:24 公開日:2023-02-15 |
| # 大規模言語モデルにおける道徳的自己補正能力 The Capacity for Moral Self-Correction in Large Language Models ( http://arxiv.org/abs/2302.07459v1 ) ライセンス: Link先を確認 | Deep Ganguli, Amanda Askell, Nicholas Schiefer, Thomas Liao, Kamil\.e Luko\v{s}i\=ut\.e, Anna Chen, Anna Goldie, Azalia Mirhoseini, Catherine Olsson, Danny Hernandez, Dawn Drain, Dustin Li, Eli Tran-Johnson, Ethan Perez, Jackson Kernion, Jamie Kerr, Jared Mueller, Joshua Landau, Kamal Ndousse, Karina Nguyen, Liane Lovitt, Michael Sellitto, Nelson Elhage, Noemi Mercado, Nova DasSarma, Robert Lasenby, Robin Larson, Sam Ringer, Sandipan Kundu, Saurav Kadavath, Scott Johnston, Shauna Kravec, Sheer El Showk, Tamera Lanham, Timothy Telleen-Lawton, Tom Henighan, Tristan Hume, Yuntao Bai, Zac Hatfield-Dodds, Ben Mann, Dario Amodei, Nicholas Joseph, Sam McCandlish, Tom Brown, Christopher Olah, Jack Clark, Samuel R. Bowman, Jared Kaplan | (参考訳) 人間のフィードバック(RLHF)から強化学習で訓練された言語モデルには、有害なアウトプットの発生を避けるために、"道徳的に自己修正"する能力がある、という仮説をテストする。
3つの異なる実験でこの仮説を支持する強力な証拠が得られ、それぞれが道徳的自己補正の異なる側面を明らかにしている。
道徳的自己補正能力は22Bモデルパラメータで出現し,モデルサイズの増加とRLHFトレーニングによって改善される。
このレベルでは、言語モデルはモラルの自己修正に使用できる2つの能力を得ると信じている: (1) 命令に従うことができ、(2) ステレオタイプ、バイアス、差別のような複雑な規範概念を学ぶことができる。
そのため、ある種の道徳的に有害なアウトプットを避けるための指示に従うことができる。
我々の結果は、倫理的原則に従うために言語モデルを訓練する能力に関する慎重な楽観主義の原因であると考えています。 We test the hypothesis that language models trained with reinforcement learning from human feedback (RLHF) have the capability to "morally self-correct" -- to avoid producing harmful outputs -- if instructed to do so. We find strong evidence in support of this hypothesis across three different experiments, each of which reveal different facets of moral self-correction. We find that the capability for moral self-correction emerges at 22B model parameters, and typically improves with increasing model size and RLHF training. We believe that at this level of scale, language models obtain two capabilities that they can use for moral self-correction: (1) they can follow instructions and (2) they can learn complex normative concepts of harm like stereotyping, bias, and discrimination. As such, they can follow instructions to avoid certain kinds of morally harmful outputs. We believe our results are cause for cautious optimism regarding the ability to train language models to abide by ethical principles. | 翻訳日:2023-02-16 15:54:04 公開日:2023-02-15 |
| # CUTS: 不規則時系列データによるニューラル因果発見 CUTS: Neural Causal Discovery from Irregular Time-Series Data ( http://arxiv.org/abs/2302.07458v1 ) ライセンス: Link先を確認 | Yuxiao Cheng, Runzhao Yang, Tingxiong Xiao, Zongren Li, Jinli Suo, Kunlun He, Qionghai Dai | (参考訳) 時系列データからの因果発見は、機械学習の中心的なタスクである。
近年,新たなディープニューラルネットワークとの互換性が向上し,説明可能性が高くなったため,グレンジャー因果推論が勢いを増している。
しかし、既存の方法の多くは構造化された入力データを仮定し、ランダムに欠落したエントリや不均一なサンプリング周波数を持つデータに遭遇した場合に大きく縮退する。
この問題に対処するために、CUTS(Neural Granger causal discovery algorithm)を提案する。これは、観測されていないデータポイントを共同でインプットし、2つのモジュールを反復的なフレームワークにプラグインすることで因果グラフを構築するニューラルネットワークである。
(i)潜伏データ予測段階:高次元かつ複雑な分布を持つ非構造化データを幻覚し登録するために遅延監視グラフニューラルネットワーク(dsgnn)を設計する。
(ii)因果グラフフィッティングステージ:疎ペナルティの下で不純データを持つ因果隣接行列を構築する。
実験により,CUTSは非構造化時系列データから因果グラフを効果的に推定し,既存の手法よりも優れた性能を示した。
提案手法は,非理想的な観測を行う実アプリケーションに因果発見を適用するための有望なステップである。 Causal discovery from time-series data has been a central task in machine learning. Recently, Granger causality inference is gaining momentum due to its good explainability and high compatibility with emerging deep neural networks. However, most existing methods assume structured input data and degenerate greatly when encountering data with randomly missing entries or non-uniform sampling frequencies, which hampers their applications in real scenarios. To address this issue, here we present CUTS, a neural Granger causal discovery algorithm to jointly impute unobserved data points and build causal graphs, via plugging in two mutually boosting modules in an iterative framework: (i) Latent data prediction stage: designs a Delayed Supervision Graph Neural Network (DSGNN) to hallucinate and register unstructured data which might be of high dimension and with complex distribution; (ii) Causal graph fitting stage: builds a causal adjacency matrix with imputed data under sparse penalty. Experiments show that CUTS effectively infers causal graphs from unstructured time-series data, with significantly superior performance to existing methods. Our approach constitutes a promising step towards applying causal discovery to real applications with non-ideal observations. | 翻訳日:2023-02-16 15:53:35 公開日:2023-02-15 |
| # 実演による専門知識の理解: オフライン逆強化学習のための最大可能性フレームワーク Understanding Expertise through Demonstrations: A Maximum Likelihood Framework for Offline Inverse Reinforcement Learning ( http://arxiv.org/abs/2302.07457v1 ) ライセンス: Link先を確認 | Siliang Zeng, Chenliang Li, Alfredo Garcia, Mingyi Hong | (参考訳) オフライン逆強化学習(オフラインirl)は、専門家エージェントによる固定された有限のデモンストレーションで観察された動作を裏付ける報酬と環境ダイナミクスの構造を回復することを目的としている。
タスクの実行に関する専門知識の正確なモデルは、臨床意思決定や自動運転といった安全性に敏感な応用に応用できる。
しかし、観察された行動において暗黙的な専門家の選好の構造は、専門家の環境力学のモデル(すなわち「世界」)と密接に関連している。
したがって、限られた範囲の有限データから得られた世界の不正確なモデルは、推定報酬において不正確を複雑にする可能性がある。
この問題に対処するため,我々は,専門家の政策(下位レベル)の保守的モデルに基づいて上層レベルが最大化されるような推定タスクの2レベル最適化手法を提案する。
政策モデルは、世界の推定モデルの不確実性の増大するペナルティの対象となる報酬を最大化するという点で保守的である。
本稿では,二段階最適化問題の定式化を解いた新しいアルゴリズムフレームワークを提案し,関連する報酬推定器の性能の統計的および計算的保証を提供する。
最後に、提案アルゴリズムは、MuJoCoの連続制御タスクとD4RLベンチマークの異なるデータセットに対して、最先端のオフラインIRLと模倣学習ベンチマークを大きなマージンで上回ることを示す。 Offline inverse reinforcement learning (Offline IRL) aims to recover the structure of rewards and environment dynamics that underlie observed actions in a fixed, finite set of demonstrations from an expert agent. Accurate models of expertise in executing a task has applications in safety-sensitive applications such as clinical decision making and autonomous driving. However, the structure of an expert's preferences implicit in observed actions is closely linked to the expert's model of the environment dynamics (i.e. the ``world''). Thus, inaccurate models of the world obtained from finite data with limited coverage could compound inaccuracy in estimated rewards. To address this issue, we propose a bi-level optimization formulation of the estimation task wherein the upper level is likelihood maximization based upon a conservative model of the expert's policy (lower level). The policy model is conservative in that it maximizes reward subject to a penalty that is increasing in the uncertainty of the estimated model of the world. We propose a new algorithmic framework to solve the bi-level optimization problem formulation and provide statistical and computational guarantees of performance for the associated reward estimator. Finally, we demonstrate that the proposed algorithm outperforms the state-of-the-art offline IRL and imitation learning benchmarks by a large margin, over the continuous control tasks in MuJoCo and different datasets in the D4RL benchmark. | 翻訳日:2023-02-16 15:52:59 公開日:2023-02-15 |
| # ニューラルネットワーク探索と知識蒸留に基づくエレクトロルミネッセンス画像における太陽電池欠陥検出のための軽量ネットワーク A lightweight network for photovoltaic cell defect detection in electroluminescence images based on neural architecture search and knowledge distillation ( http://arxiv.org/abs/2302.07455v1 ) ライセンス: Link先を確認 | Jinxia Zhang, Xinyi Chen, Haikun Wei, Kanjian Zhang | (参考訳) 近年,太陽光発電(PV)発電所の急速な開発は,現場における太陽光発電モジュールの信頼性向上と故障診断を必要としている。
この効果により、既存のPV細胞の自動欠陥検出に畳み込みニューラルネットワーク(CNN)が広く用いられている。
しかし、これらのcnnベースのモデルのパラメータは非常に大きく、厳密なハードウェアリソースを必要とし、実際の産業プロジェクトに適用することは困難である。
これらの問題を解決するために,ニューラルアーキテクチャ探索と知識蒸留に基づくEL画像におけるPVセルの自動欠陥検出のための軽量な高速モデルを提案する。
効果的な軽量モデルを自動設計するために,まず,pvセル欠陥分類の分野にニューラルネットワーク検索を導入する。
欠陥は任意のサイズにできるため,ネットワークの適切な探索構造を設計し,マルチスケール特性をより活用する。
検索された軽量モデルの全体的な性能を向上させるため,既存の学習済み大規模モデルの知識を知識蒸留に基づいて伝達する。
注意情報、特徴情報、ロジット情報、タスク指向情報など、さまざまな種類の知識が活用され、転送される。
実験により,提案モデルは,オンラインデータ拡張によるEL画像の公開PVセルデータセットの精度91.74%,パラメータ1.85Mにおいて,最先端の性能を実現することが示された。
提案した軽量高性能モデルは、実際の産業プロジェクトのエンドデバイスに容易に展開でき、精度を維持できる。 Nowadays, the rapid development of photovoltaic(PV) power stations requires increasingly reliable maintenance and fault diagnosis of PV modules in the field. Due to the effectiveness, convolutional neural network (CNN) has been widely used in the existing automatic defect detection of PV cells. However, the parameters of these CNN-based models are very large, which require stringent hardware resources and it is difficult to be applied in actual industrial projects. To solve these problems, we propose a novel lightweight high-performance model for automatic defect detection of PV cells in electroluminescence(EL) images based on neural architecture search and knowledge distillation. To auto-design an effective lightweight model, we introduce neural architecture search to the field of PV cell defect classification for the first time. Since the defect can be any size, we design a proper search structure of network to better exploit the multi-scale characteristic. To improve the overall performance of the searched lightweight model, we further transfer the knowledge learned by the existing pre-trained large-scale model based on knowledge distillation. Different kinds of knowledge are exploited and transferred, including attention information, feature information, logit information and task-oriented information. Experiments have demonstrated that the proposed model achieves the state-of-the-art performance on the public PV cell dataset of EL images under online data augmentation with accuracy of 91.74% and the parameters of 1.85M. The proposed lightweight high-performance model can be easily deployed to the end devices of the actual industrial projects and retain the accuracy. | 翻訳日:2023-02-16 15:52:37 公開日:2023-02-15 |
| # DRAGONのトレーニング方法 - 一般化可能なDense Retrievalに向けての多角的拡張 How to Train Your DRAGON: Diverse Augmentation Towards Generalizable Dense Retrieval ( http://arxiv.org/abs/2302.07452v1 ) ライセンス: Link先を確認 | Sheng-Chieh Lin, Akari Asai, Minghan Li, Barlas Oguz, Jimmy Lin, Yashar Mehdad, Wen-tau Yih, Xilun Chen | (参考訳) 近年,教師なしコントラスト学習や擬似クエリ生成など,高密度検索(DR)を改善する技術が開発されている。
しかし、既存のdrsは教師付き検索とゼロショット検索の効率上のトレードオフに苦しむことが多い。
この仮説と矛盾し、一般化可能なdrはモデルサイズを増加させることなく教師付き検索とゼロショット検索の両方において高い精度を達成するように訓練できることを示した。
特に、データ拡張(DA)の枠組みの下で、DRの対照的な学習を体系的に検討する。
本研究は,生成モデルを用いたクエリ拡張やクロスエンコーダを用いた擬似関係ラベル生成といった一般的なdaプラクティスが,しばしば非効率で最適であることを示す。
そこで我々は,より複雑な遅延相互作用(colbertv2 と splade++)を用いたモデルと競合する,教師付きおよびゼロショット評価の両方において最先端の有効性を実現した最初のbertベースサイズのdrであるdragonを提案する。 Various techniques have been developed in recent years to improve dense retrieval (DR), such as unsupervised contrastive learning and pseudo-query generation. Existing DRs, however, often suffer from effectiveness tradeoffs between supervised and zero-shot retrieval, which some argue was due to the limited model capacity. We contradict this hypothesis and show that a generalizable DR can be trained to achieve high accuracy in both supervised and zero-shot retrieval without increasing model size. In particular, we systematically examine the contrastive learning of DRs, under the framework of Data Augmentation (DA). Our study shows that common DA practices such as query augmentation with generative models and pseudo-relevance label creation using a cross-encoder, are often inefficient and sub-optimal. We hence propose a new DA approach with diverse queries and sources of supervision to progressively train a generalizable DR. As a result, DRAGON, our dense retriever trained with diverse augmentation, is the first BERT-base-sized DR to achieve state-of-the-art effectiveness in both supervised and zero-shot evaluations and even competes with models using more complex late interaction (ColBERTv2 and SPLADE++). | 翻訳日:2023-02-16 15:52:12 公開日:2023-02-15 |
| # FedABC:個人化フェデレーション学習における公正競争を狙う FedABC: Targeting Fair Competition in Personalized Federated Learning ( http://arxiv.org/abs/2302.07450v1 ) ライセンス: Link先を確認 | Dui Wang, Li Shen, Yong Luo, Han Hu, Kehua Su, Yonggang Wen, Dacheng Tao | (参考訳) Federated Learningは、クライアントのローカルなプライベートデータにアクセスせずに、モデルを協調的にトレーニングすることを目的としている。
データは異なるクライアントに対して非IIDになり、結果としてパフォーマンスが低下する可能性がある。
近年,パーソナライズド・フェデレーション・ラーニング(PFL)は,局所最適化における正規化や,サーバ上でのモデル集約方式の改善によって,非IIDデータの処理に大きな成功を収めている。
しかし、PFLのアプローチのほとんどは、不均衡なデータ分散と各クライアントのいくつかのクラスに対する正のサンプルの欠如に起因する不公平な競合の問題を考慮していない。
この問題に対処するために、FedABCと呼ばれるバイナリ分類によるフェデレート平均化という、新規で汎用的なPFLフレームワークを提案する。
特に,各クラスに対してパーソナライズされたバイナリ分類問題を構築することにより,クラス間の不公平な競合を軽減するために,各クライアントに‘one-vs-all’トレーニング戦略を採用する。
これはクラス不均衡の課題を悪化させ、アンダーサンプリングとハードサンプルマイニングの両方を組み込んだ新しいパーソナライズされたバイナリ分類の損失が設計されている。
異なる設定の2つの人気のあるデータセットで広範な実験が行われ、その結果、feedabcは既存のデータセットを大きく上回ることができることが判明した。 Federated learning aims to collaboratively train models without accessing their client's local private data. The data may be Non-IID for different clients and thus resulting in poor performance. Recently, personalized federated learning (PFL) has achieved great success in handling Non-IID data by enforcing regularization in local optimization or improving the model aggregation scheme on the server. However, most of the PFL approaches do not take into account the unfair competition issue caused by the imbalanced data distribution and lack of positive samples for some classes in each client. To address this issue, we propose a novel and generic PFL framework termed Federated Averaging via Binary Classification, dubbed FedABC. In particular, we adopt the ``one-vs-all'' training strategy in each client to alleviate the unfair competition between classes by constructing a personalized binary classification problem for each class. This may aggravate the class imbalance challenge and thus a novel personalized binary classification loss that incorporates both the under-sampling and hard sample mining strategies is designed. Extensive experiments are conducted on two popular datasets under different settings, and the results demonstrate that our FedABC can significantly outperform the existing counterparts. | 翻訳日:2023-02-16 15:51:48 公開日:2023-02-15 |
| # 特徴スクリーニングとランダム森林による再帰的特徴除去のためのモデルフリー特徴選択手法 A model-free feature selection technique of feature screening and random forest based recursive feature elimination ( http://arxiv.org/abs/2302.07449v1 ) ライセンス: Link先を確認 | Siwei Xia and Yuehan Yang | (参考訳) 本稿では,質量特性を持つ超高次元データに対するモデルフリー特徴選択法を提案する。
本稿では,ランダムフォレストをベースとした RFE を融合したコルモゴロフフィルタを用いてモデル制限を除去し,計算複雑性を低減するための2段階の手法を提案する。
この手法は完全に非パラメトリックであり、様々な種類のデータセットを扱うことができる。
精度、モデルフリー、計算効率などいくつかの魅力的な特徴を持ち、マルチクラス分類、非パラメトリック回帰、ポアソン回帰などの実践的な問題で広く利用することができる。
提案手法は,弱い正則性条件下での選択一貫性と$L_2$整合性を示す。
さらに,シミュレーションや実データ例による既存手法と比較して,提案手法の優れた性能を示す。 In this paper, we propose a model-free feature selection method for ultra-high dimensional data with mass features. This is a two phases procedure that we propose to use the fused Kolmogorov filter with the random forest based RFE to remove model limitations and reduce the computational complexity. The method is fully nonparametric and can work with various types of datasets. It has several appealing characteristics, i.e., accuracy, model-free, and computational efficiency, and can be widely used in practical problems, such as multiclass classification, nonparametric regression, and Poisson regression, among others. We show that the proposed method is selection consistent and $L_2$ consistent under weak regularity conditions. We further demonstrate the superior performance of the proposed method over other existing methods by simulations and real data examples. | 翻訳日:2023-02-16 15:51:22 公開日:2023-02-15 |
| # 非同期マルチエージェント帯域に対するオンデマンド通信 On-Demand Communication for Asynchronous Multi-Agent Bandits ( http://arxiv.org/abs/2302.07446v1 ) ライセンス: Link先を確認 | Yu-Zhen Janice Chen, Lin Yang, Xuchuang Wang, Xutong Liu, Mohammad Hajiesmaili, John C.S. Lui, Don Towsley | (参考訳) 本稿では,エージェントが非同期に動作し,エージェントのプルタイムとレートが未知,不規則,異種であるようなマルチエージェントのマルチエージェント確率バンディット問題について検討する。
エージェントは報酬情報を共有して、追加のコミュニケーションコストで学習プロセスをスピードアップすることができる。
我々は,実証的なプル時間に基づいて,各エージェントの通信を調整したオンデマンド通信プロトコルであるODCを提案する。
ODCは、エージェントのプル時間が非常に均一であり、その通信の複雑さはエージェントの実証的なプル時間に依存する。
ODCは一般的なプロトコルであり、性能を劣化させることなく、ほとんどの協調バンディットアルゴリズムに統合することができる。
次に,OCC を UCB アルゴリズムと AAE アルゴリズムの自然拡張に組み込んで,コミュニケーション効率の良い2つの協調アルゴリズムを提案する。
分析の結果,両アルゴリズムがほぼ最適であることがわかった。 This paper studies a cooperative multi-agent multi-armed stochastic bandit problem where agents operate asynchronously -- agent pull times and rates are unknown, irregular, and heterogeneous -- and face the same instance of a K-armed bandit problem. Agents can share reward information to speed up the learning process at additional communication costs. We propose ODC, an on-demand communication protocol that tailors the communication of each pair of agents based on their empirical pull times. ODC is efficient when the pull times of agents are highly heterogeneous, and its communication complexity depends on the empirical pull times of agents. ODC is a generic protocol that can be integrated into most cooperative bandit algorithms without degrading their performance. We then incorporate ODC into the natural extensions of UCB and AAE algorithms and propose two communication-efficient cooperative algorithms. Our analysis shows that both algorithms are near-optimal in regret. | 翻訳日:2023-02-16 15:51:09 公開日:2023-02-15 |
| # シミュレーションユーザ研究によるML説明書の設計評価に関する事例研究 A Case Study on Designing Evaluations of ML Explanations with Simulated User Studies ( http://arxiv.org/abs/2302.07444v1 ) ライセンス: Link先を確認 | Ada Martin, Valerie Chen, S\'ergio Jesus, Pedro Saleiro | (参考訳) 意思決定支援におけるモデル説明の有用性を確認するためにユーザ調査を行う場合には,実世界のユースケースやデータ,ユーザの利用が重要である。
しかし、このプロセスはリソース集約的であり、限られた数の説明方法しか評価できない。
機械学習モデルを用いたシミュレーションユーザ評価(SimEvals)は,有望な説明方法を選択する中間段階として提案されている。
本研究は,eコマース不正検出におけるML支援意思決定を支援するために,実世界のユースケースでSimEvalsを初めて実施する。
我々は,SimEvalsが,この不正検出コンテキストで実施したユーザ調査から得られた知見を裏付けることができるかどうかを検討する。
特に、SimEvals氏は、すべての考慮された説明者は同等にパフォーマンスがあり、説明なしではベースラインを破らないことを示唆している。
このような結果と元のユーザスタディとの対応は、ユーザスタディを実行する前にSimEvalsを使うことを優先する最初の証拠となる。
また、SimEvalsを安価なプロキシとして使用して、代替ユーザスタディのセットアップについても検討する。
この研究は、SimEvalsが現実世界の評価設計にいつ、どのように使われるべきかについて、さらなる研究の動機となることを願っている。 When conducting user studies to ascertain the usefulness of model explanations in aiding human decision-making, it is important to use real-world use cases, data, and users. However, this process can be resource-intensive, allowing only a limited number of explanation methods to be evaluated. Simulated user evaluations (SimEvals), which use machine learning models as a proxy for human users, have been proposed as an intermediate step to select promising explanation methods. In this work, we conduct the first SimEvals on a real-world use case to evaluate whether explanations can better support ML-assisted decision-making in e-commerce fraud detection. We study whether SimEvals can corroborate findings from a user study conducted in this fraud detection context. In particular, we find that SimEvals suggest that all considered explainers are equally performant, and none beat a baseline without explanations -- this matches the conclusions of the original user study. Such correspondences between our results and the original user study provide initial evidence in favor of using SimEvals before running user studies. We also explore the use of SimEvals as a cheap proxy to explore an alternative user study set-up. We hope that this work motivates further study of when and how SimEvals should be used to aid in the design of real-world evaluations. | 翻訳日:2023-02-16 15:50:53 公開日:2023-02-15 |
| # 確率的ライジングバンドのためのベストアーム識別 Best Arm Identification for Stochastic Rising Bandits ( http://arxiv.org/abs/2302.07510v1 ) ライセンス: Link先を確認 | Marco Mussi, Alessandro Montenegro, Francesco Trov\'o, Marcello Restelli and Alberto Maria Metelli | (参考訳) 確率的ライジングバンド(Stochastic Rising Bandits)は、オプションが選択されるたびに、期待される報酬の値が増加する設定である。
このフレームワークは、利用可能なオプションが時間とともにパフォーマンスが向上するエンティティを学習する幅広いシナリオをモデル化する。
本稿では,確率的レストアップバンディットにおけるベストアーム識別(BAI)問題に着目した。
このシナリオでは、一定の予算が与えられたラウンドに対して、選択プロセスの終了時に最適な選択肢を推奨するように求められます。
提案手法は, UCBのようなアプローチを取り入れたR-UCBEと, 逐次リジェクション手法を用いたR-SRという2つのアルゴリズムを提案する。
学習プロセスの最後に最適な選択肢を適切に特定する確率を保証していることを示す。
最後に,提案したアルゴリズムを合成・現実的に検証し,現在利用可能なBAI戦略と比較する。 Stochastic Rising Bandits is a setting in which the values of the expected rewards of the available options increase every time they are selected. This framework models a wide range of scenarios in which the available options are learning entities whose performance improves over time. In this paper, we focus on the Best Arm Identification (BAI) problem for the stochastic rested rising bandits. In this scenario, we are asked, given a fixed budget of rounds, to provide a recommendation about the best option at the end of the selection process. We propose two algorithms to tackle the above-mentioned setting, namely R-UCBE, which resorts to a UCB-like approach, and R-SR, which employs a successive reject procedure. We show that they provide guarantees on the probability of properly identifying the optimal option at the end of the learning process. Finally, we numerically validate the proposed algorithms in synthetic and realistic environments and compare them with the currently available BAI strategies. | 翻訳日:2023-02-16 15:44:57 公開日:2023-02-15 |
| # 間接ラビ相互作用による超ラジアント相転移 Superradiant phase transition induced by the indirect Rabi interaction ( http://arxiv.org/abs/2302.07506v1 ) ライセンス: Link先を確認 | Wen Huang, Ying Wu, Xin-You L\"u | (参考訳) 理論的には, 2レベル系と単モードボソニック場を補助ボソニック場に結合した間接ラビモデルにおいて, 超ラジアント相転移(spt)を理論的に研究する。
補助場の仮想励起によって引き起こされる間接スピン場結合は臨界点におけるsptの発生を許容し、通常のrabiモデルにおけるいわゆる$a^2$項の影響を自然に回避できることがわかった。
大規模デチューニングシステムでは、元のシステムパラメータの観点から量子臨界点の解析式を提示する。
臨界原子-磁場結合強度は調整可能であり、SPTを実現する際の条件を緩める。
ハイブリッドマグノン-キャビティ-量子ビット系を考慮し、量子メトロジーや量子情報処理に応用可能な、実現可能な実験パラメータで生成されたマグノンの圧縮猫状態を予測する。 We theoretically study the superradiant phase transition (SPT) in an indirect Rabi model, where both a two-level system and a single mode bosonic field couple to an auxiliary bosonic field. We find that the indirect spin-field coupling induced by the virtual excitation of the auxiliary field can allow the occurrence of a SPT at a critical point, and the influence of the so-called $A^2$ term in the normal Rabi model is naturally avoided. In the large detuning regime, we present the analytical expression of quantum critical point in terms of the original system parameters. The critical atom-field coupling strength is tunable, which will loosen the conditions on realizing the SPT. Considering a hybrid magnon-cavity-qubit system, we predict the squeezed cat state of magnon generated with feasible experimental parameters, which has potential applications in quantum metrology and quantum information processing. | 翻訳日:2023-02-16 15:44:42 公開日:2023-02-15 |
| # 弱い依存下における深層学習の過剰リスク Excess risk bound for deep learning under weak dependence ( http://arxiv.org/abs/2302.07503v1 ) ライセンス: Link先を確認 | William Kengne | (参考訳) 本稿では,回帰推定,時系列予測,時系列分類などの一般的な枠組みにおいて,弱依存過程を学習するためのディープニューラルネットワークについて考察する。
考慮される$\psi$-weak依存構造は非常に大きく、ミキシング、アソシエーション、$\ldots$といった他の条件をカバーする。
我々は、任意のコンパクト集合$\mx$ 上で定義される任意の h\"{o}lder smooth関数を近似するために、ディープニューラルネットワークの必要な深さ、幅、スパーシティを導出する。
第2に、深層ニューラルネットワークによる弱依存性観測の学習における過剰リスクの限界を確立する。
対象関数が十分に滑らかであれば、この境界は通常の $\mathcal{O}(n^{-1/2})$ に近い。 This paper considers deep neural networks for learning weakly dependent processes in a general framework that includes, for instance, regression estimation, time series prediction, time series classification. The $\psi$-weak dependence structure considered is quite large and covers other conditions such as mixing, association,$\ldots$ Firstly, the approximation of smooth functions by deep neural networks with a broad class of activation functions is considered. We derive the required depth, width and sparsity of a deep neural network to approximate any H\"{o}lder smooth function, defined on any compact set $\mx$. Secondly, we establish a bound of the excess risk for the learning of weakly dependent observations by deep neural networks. When the target function is sufficiently smooth, this bound is close to the usual $\mathcal{O}(n^{-1/2})$. | 翻訳日:2023-02-16 15:44:28 公開日:2023-02-15 |
| # モノトンメートル法によるガウス量子照明 Gaussian Quantum Illumination via Monotone Metrics ( http://arxiv.org/abs/2302.07498v1 ) ライセンス: Link先を確認 | Dong Hwan Kim, Yonggi Jo, Duk Y. Kim, Taek Jeong, Jihwan Kim, Nam Hun Park, Zaeill Kim, Su-Yong Lee | (参考訳) 量子照明は低い反射率のターゲットの有無を識別することであり、誤差確率は使用するコピー数で指数関数的に減少する。
目標反射率が小さいとき、目標の存在や不在を区別することが難しいとき、指数減衰定数はモノトーン計量と呼ばれる対象のクラスに該当する。
我々は一階モーメントと共分散行列の観点からガウス状態に制限された単調計量を評価する。
低反射率目標の仮定の下で、任意のガウス入力状態の減衰定数の解析式を明示的に導出する。
特に、大きな背景雑音と低い反射率の限界において、通常減衰定数の計算を複雑にするシンプレクティック対角化は不要である。
まず,固定信号平均光子数を持つ純ガウス状態のうち,2モード圧縮真空(TMSV)状態が最適プローブであることを示す。
第2に, 平均光子数の高いTMSV状態を作成する代わりに, 平均光子数が少ないTMSV状態を作成し, 信号モードを分解する方が, 性能を劣化させることなく, より実験的に実現可能であることを示す。
第3に、コヒーレント状態を打ち負かす効率的なアイドラーメモリを用意し、信号パワー、バックグラウンドノイズ、アイドラーメモリノイズの観点からアイドラーメモリ透過率の解析的境界を与えることが最も重要であることを示す。
最後に、コヒーレント状態に打ち勝つことができる信号とアイドラーモードの間の物理的に可能な相関領域を同定する。 Quantum illumination is to discern the presence or absence of a low reflectivity target, where the error probability decays exponentially in the number of copies used. When the target reflectivity is small so that it is hard to distinguish target presence or absence, the exponential decay constant falls into a class of objects called monotone metrics. We evaluate monotone metrics restricted to Gaussian states in terms of first-order moments and covariance matrix. Under the assumption of a low reflectivity target, we explicitly derive analytic formulae for decay constant of an arbitrary Gaussian input state. Especially, in the limit of large background noise and low reflectivity, there is no need of symplectic diagonalization which usually complicates the computation of decay constants. First, we show that two-mode squeezed vacuum (TMSV) states are the optimal probe among pure Gaussian states with fixed signal mean photon number. Second, as an alternative to preparing TMSV states with high mean photon number, we show that preparing a TMSV state with low mean photon number and displacing the signal mode is a more experimentally feasible setup without degrading the performance that much. Third, we show that it is of utmost importance to prepare an efficient idler memory to beat coherent states and provide analytic bounds on the idler memory transmittivity in terms of signal power, background noise, and idler memory noise. Finally, we identify the region of physically possible correlations between the signal and idler modes that can beat coherent states. | 翻訳日:2023-02-16 15:44:14 公開日:2023-02-15 |
| # クロスサイロ連合学習に対する適応的インセンティブ--マルチエージェント強化学習アプローチ Adaptive incentive for cross-silo federated learning: A multi-agent reinforcement learning approach ( http://arxiv.org/abs/2302.07493v1 ) ライセンス: Link先を確認 | Shijing Yuan, Hongze Liu, Hongtao Lv, Zhanbo Feng, Jie Li, Hongyang Chen and Chentao Wu | (参考訳) クロスサイロ連合学習(cross-silo federated learning, fl)は、組織(金融や医療など)が孤立したデータ上でグローバルモデルをトレーニングできる典型的なflである。
適切なインセンティブは、組織にデータ提供を促すための鍵です。
しかしながら、クロスサイロflのインセンティブ化に関する既存の研究は、環境力学(例えば、訓練されたグローバルモデルと、訓練プロセス中に不確定なクライアントが所有するデータの正確さ)の考慮を欠いている。
さらに、多くの場合、組織はプライベート情報を共有していると仮定している。
このような制約を克服するため,我々は,組織にデータ提供を奨励し,よりダイナミックなトレーニング環境における長期給付を最大化するための,クロスサイロFLの新しい適応メカニズムを提案する。
このメカニズムはマルチエージェント強化学習に基づいており、組織のプライベート情報なしで潜在的ゲームの歴史からほぼ最適なデータコントリビューション戦略を学ぶ。
実験により、我々のメカニズムは適応的なインセンティブを達成し、組織に対する長期的な報酬を効果的に改善することを示した。 Cross-silo federated learning (FL) is a typical FL that enables organizations(e.g., financial or medical entities) to train global models on isolated data. Reasonable incentive is key to encouraging organizations to contribute data. However, existing works on incentivizing cross-silo FL lack consideration of the environmental dynamics (e.g., precision of the trained global model and data owned by uncertain clients during the training processes). Moreover, most of them assume that organizations share private information, which is unrealistic. To overcome these limitations, we propose a novel adaptive mechanism for cross-silo FL, towards incentivizing organizations to contribute data to maximize their long-term payoffs in a real dynamic training environment. The mechanism is based on multi-agent reinforcement learning, which learns near-optimal data contribution strategy from the history of potential games without organizations' private information. Experiments demonstrate that our mechanism achieves adaptive incentive and effectively improves the long-term payoffs for organizations. | 翻訳日:2023-02-16 15:43:52 公開日:2023-02-15 |
| # 次世代ドキュメントリーダーの構想 Envisioning the Next-Gen Document Reader ( http://arxiv.org/abs/2302.07492v1 ) ライセンス: Link先を確認 | Catherine Yeh, Nedim Lipka, Franck Dernoncourt | (参考訳) 人々は毎日デジタル文書を読み、電子的な設定で情報を共有し、交換し、理解する。
しかし、現在のドキュメントリーダーは、静的で独立した読書体験を作成しており、より多くの知識を獲得し、ドキュメントインタラクションを通じて追加のタスクを実行するというユーザの目標をサポートしない。
本研究では,ユーザの理解を深め,よりつながりがあり信頼性の高い情報体験を創出する次世代文書読取装置の展望を示す。
既存のドキュメントリーダーに追加するための18のNLP機能について説明し、https://github.com/catherinesyeh/nextgen-prototypesで利用可能な3つの探索的なUIプロトタイプを通じて、ユーザが読み書き体験をよりカスタマイズできる新しいプラグインマーケットプレイスを提案する。 People read digital documents on a daily basis to share, exchange, and understand information in electronic settings. However, current document readers create a static, isolated reading experience, which does not support users' goals of gaining more knowledge and performing additional tasks through document interaction. In this work, we present our vision for the next-gen document reader that strives to enhance user understanding and create a more connected, trustworthy information experience. We describe 18 NLP-powered features to add to existing document readers and propose a novel plug-in marketplace that allows users to further customize their reading experience, as demonstrated through 3 exploratory UI prototypes available at https://github.com/catherinesyeh/nextgen-prototypes | 翻訳日:2023-02-16 15:43:32 公開日:2023-02-15 |
| # 時間的・構造的強度アライメントを用いた自己教師付き時間グラフ学習 Self-Supervised Temporal Graph learning with Temporal and Structural Intensity Alignment ( http://arxiv.org/abs/2302.07491v1 ) ライセンス: Link先を確認 | Meng Liu, Ke Liang, Bin Xiao, Sihang Zhou, Wenxuan Tu, Yue Liu, Xihong Yang, Xinwang Liu | (参考訳) 時間グラフ学習は、近年注目を集めている動的情報とともに、グラフベースのタスクの高品質な表現を生成することを目的としている。
静的グラフとは異なり、時間グラフは通常、隣接行列の代わりに連続的にノード間の相互作用シーケンスの形で構成される。
ほとんどの時間的グラフ学習法は、過去の情報を時間とともに組み合わせて現在の相互作用をモデル化する。
しかし、このような手法は、重要な高次構造情報を無視しながら1次時間情報のみを考慮し、準最適性能をもたらす。
そこで本稿では,時間的および構造的な情報を抽出して,より情報的なノード表現を学習することにより,時間的グラフ学習のための自己教師付き手法S2Tを提案する。
1次時間情報と高次構造情報は、それぞれ初期ノード表現によって異なる方法で結合され、2つの条件強度が計算される。
次に、アライメント損失を導入し、2つのインテンシティ間のギャップを狭めることにより、ノード表現をより情報的に最適化する。
具体的には,近隣の歴史的配列を用いた時間情報のモデル化に加えて,地域レベルとグローバルレベルの両方からの構造情報についても検討する。
局所レベルでは、高次近傍列から特徴を集約することで構造強度を生成する。
グローバルレベルでは、すべてのノードに基づいてグローバル表現を生成し、異なるノードのアクティブな状態に応じて構造的な強度を調整する。
大規模な実験により、提案手法であるS2Tは、いくつかのデータセットにおける最先端の競合と比較して、少なくとも10.13%の性能向上を達成した。 Temporal graph learning aims to generate high-quality representations for graph-based tasks along with dynamic information, which has recently drawn increasing attention. Unlike the static graph, a temporal graph is usually organized in the form of node interaction sequences over continuous time instead of an adjacency matrix. Most temporal graph learning methods model current interactions by combining historical information over time. However, such methods merely consider the first-order temporal information while ignoring the important high-order structural information, leading to sub-optimal performance. To solve this issue, by extracting both temporal and structural information to learn more informative node representations, we propose a self-supervised method termed S2T for temporal graph learning. Note that the first-order temporal information and the high-order structural information are combined in different ways by the initial node representations to calculate two conditional intensities, respectively. Then the alignment loss is introduced to optimize the node representations to be more informative by narrowing the gap between the two intensities. Concretely, besides modeling temporal information using historical neighbor sequences, we further consider the structural information from both local and global levels. At the local level, we generate structural intensity by aggregating features from the high-order neighbor sequences. At the global level, a global representation is generated based on all nodes to adjust the structural intensity according to the active statuses on different nodes. Extensive experiments demonstrate that the proposed method S2T achieves at most 10.13% performance improvement compared with the state-of-the-art competitors on several datasets. | 翻訳日:2023-02-16 15:43:15 公開日:2023-02-15 |
| # EdgeYOLO:Edge-Real-Timeオブジェクト検出器 EdgeYOLO: An Edge-Real-Time Object Detector ( http://arxiv.org/abs/2302.07483v1 ) ライセンス: Link先を確認 | Shihan Liu, Junlin Zha, Jian Sun, Zhuo Li and Gang Wang | (参考訳) 本稿では,最先端コンピューティングプラットフォーム上でリアルタイムに実装可能な,最先端のYOLOフレームワークに基づく,効率的で低複雑さかつアンカーフリーなオブジェクト検出器を提案する。
学習中の過剰フィッティングを効果的に抑制する拡張データ拡張法を開発し,小型物体の検出精度を向上させるためにハイブリッドランダム損失関数を設計した。
FCOSにインスパイアされたより軽量で効率の良い疎結合ヘッドが提案され、精度を損なうことなく推論速度を向上することができる。
我々のベースラインモデルは、MS COCO2017データセットで50.6%のAP50:95と69.8%のAP50、VisDrone2019-DETデータセットで26.4%のAP50と44.8%のAP50に達し、エッジコンピューティングデバイスNvidia Jetson AGX Xavier上でリアルタイム要求(FPS>=30)を満たす。
また、コンピューティングパワーの低いエッジコンピューティングデバイスのパラメータが少ない軽量モデルも設計し、パフォーマンスも向上しました。
当社のソースコード、ハイパーパラメータ、モデルウェイトはすべて、https://github.com/lsh9832/edgeyoloで利用可能です。 This paper proposes an efficient, low-complexity and anchor-free object detector based on the state-of-the-art YOLO framework, which can be implemented in real time on edge computing platforms. We develop an enhanced data augmentation method to effectively suppress overfitting during training, and design a hybrid random loss function to improve the detection accuracy of small objects. Inspired by FCOS, a lighter and more efficient decoupled head is proposed, and its inference speed can be improved with little loss of precision. Our baseline model can reach the accuracy of 50.6% AP50:95 and 69.8% AP50 in MS COCO2017 dataset, 26.4% AP50:95 and 44.8% AP50 in VisDrone2019-DET dataset, and it meets real-time requirements (FPS>=30) on edge-computing device Nvidia Jetson AGX Xavier. We also designed lighter models with less parameters for edge computing devices with lower computing power, which also show better performances. Our source code, hyper-parameters and model weights are all available at https://github.com/LSH9832/edgeyolo. | 翻訳日:2023-02-16 15:42:53 公開日:2023-02-15 |
| # 一様エルゴード割引マルコフ決定過程に対する強化学習の最適サンプル複雑性 Optimal Sample Complexity of Reinforcement Learning for Uniformly Ergodic Discounted Markov Decision Processes ( http://arxiv.org/abs/2302.07477v1 ) ライセンス: Link先を確認 | Shengbo Wang, Jose Blanchet, and Peter Glynn | (参考訳) マルコフ決定過程(MDP)において,無限地平面割引報酬を制御するための表型強化学習(RL)の最適サンプル複雑性理論を考察する。
この設定において、表形式 RL に対して最適な min-max 複雑性の結果が開発され、$\gamma$ と $\epsilon$ の形での複雑さ依存のサンプルが $\tilde \Theta((1-\gamma)^{-3}\epsilon^{-2})$ となり、$\gamma$ は割引係数、$\epsilon$ は許容解誤差となる。
しかし、多くの応用において、最適政策(または全ての政策)は混合を引き起こす。
これらの設定において、最適なmin-max複雑性は$\tilde \theta(t_{\text{minorize}}(1-\gamma)^{-2}\epsilon^{-2})$であり、ここで$t_{\text{minorize}}$ は全変分混合時間の等価な係数である。
本分析は, 一般状態空間mdpにおける関連する問題の研究に使用できるため, 個別の関心を持つ再生型アイデアに基づくものである。 We consider the optimal sample complexity theory of tabular reinforcement learning (RL) for controlling the infinite horizon discounted reward in a Markov decision process (MDP). Optimal min-max complexity results have been developed for tabular RL in this setting, leading to a sample complexity dependence on $\gamma$ and $\epsilon$ of the form $\tilde \Theta((1-\gamma)^{-3}\epsilon^{-2})$, where $\gamma$ is the discount factor and $\epsilon$ is the tolerance solution error. However, in many applications of interest, the optimal policy (or all policies) will induce mixing. We show that in these settings the optimal min-max complexity is $\tilde \Theta(t_{\text{minorize}}(1-\gamma)^{-2}\epsilon^{-2})$, where $t_{\text{minorize}}$ is a measure of mixing that is within an equivalent factor of the total variation mixing time. Our analysis is based on regeneration-type ideas, that, we believe are of independent interest since they can be used to study related problems for general state space MDPs. | 翻訳日:2023-02-16 15:42:30 公開日:2023-02-15 |
| # sparse-signsgdによるコミュニケーション効率のよい分散学習 Sparse-SignSGD with Majority Vote for Communication-Efficient Distributed Learning ( http://arxiv.org/abs/2302.07475v1 ) ライセンス: Link先を確認 | Chanho Park and Namyoon Lee | (参考訳) 複雑なディープラーニングモデルのトレーニング効率は、分散最適化を用いることで大幅に向上することができる。
しかし、このプロセスは、イテレーション中にワーカとパラメータサーバ間の通信コストの増大によってしばしば妨げられる。
このボトルネックに対処するため,本稿では,${\sf S}^3$GD-MVと呼ばれるスカラー化と符号量子化の相乗効果を提供する通信効率のアルゴリズムを提案する。
{\sf s}^3$gd-mvの作業員は、ローカル勾配ベクトルの最上位の$k$マグニチュードのコンポーネントを選択し、これらのコンポーネントのサインをサーバに送信します。
その後、サーバはサインを集約し、多数決ルールで結果を返す。
分析の結果、ある穏やかな条件下では、${\sf S}^3$GD-MVは、労働者数とディープラーニングモデルのサイズに基づいて、疎化パラメータ$K$が適切に選択された場合、符号SGDと同じ速度で収束し、通信コストを大幅に削減できることがわかった。
Independent and samely distributed (IID) と non-IID の2つのデータセットを用いて実験した結果,${\sf S}^3$GD-MV が signSGD よりも精度が高く,通信コストが大幅に削減された。
これらの結果は、深層学習における通信効率の高い分散最適化のための有望なソリューションとして、${\sf S}^3$GD-MVの可能性を示している。 The training efficiency of complex deep learning models can be significantly improved through the use of distributed optimization. However, this process is often hindered by a large amount of communication cost between workers and a parameter server during iterations. To address this bottleneck, in this paper, we present a new communication-efficient algorithm that offers the synergistic benefits of both sparsification and sign quantization, called ${\sf S}^3$GD-MV. The workers in ${\sf S}^3$GD-MV select the top-$K$ magnitude components of their local gradient vector and only send the signs of these components to the server. The server then aggregates the signs and returns the results via a majority vote rule. Our analysis shows that, under certain mild conditions, ${\sf S}^3$GD-MV can converge at the same rate as signSGD while significantly reducing communication costs, if the sparsification parameter $K$ is properly chosen based on the number of workers and the size of the deep learning model. Experimental results using both independent and identically distributed (IID) and non-IID datasets demonstrate that the ${\sf S}^3$GD-MV attains higher accuracy than signSGD, significantly reducing communication costs. These findings highlight the potential of ${\sf S}^3$GD-MV as a promising solution for communication-efficient distributed optimization in deep learning. | 翻訳日:2023-02-16 15:42:01 公開日:2023-02-15 |
| # 実世界の治療最適化アプリケーションのための深部オフライン強化学習 Deep Offline Reinforcement Learning for Real-World Treatment Optimization Applications ( http://arxiv.org/abs/2302.07549v1 ) ライセンス: Link先を確認 | Milashini Nambiar and Supriyo Ghosh and Priscilla Ong and Yu En Chan and Yong Mong Bee and Pavitra Krishnaswamy | (参考訳) 多くの慢性疾患管理およびクリティカルケアアプリケーションにおいて、最適な治療戦略を動的に選択するためのデータ駆動アプローチへの関心が高まっている。
強化学習方法は、このシーケンシャルな意思決定問題に適しているが、オンラインの直接探索が安全で実現不可能であるため、振り返りの医療記録データセットでのみ訓練され、評価されなければならない。
この要件にもかかわらず、動的処理最適化研究の大多数は、純粋にオフライン設定では性能が悪いことが知られているオフポリシーrl法(例えば、ダブルディープqネットワーク(ddqn)またはその変種)を使用している。
保守的なQ-Learning(CQL)など、オフラインRLの最近の進歩は、適切な代替手段を提供する。
しかし、これらのアプローチを現実のアプリケーションに適用する上での課題は、サブ最適例がレトロスペクティブデータセットを支配し、厳格な安全制約を満たす必要があることだ。
本研究では,オフラインRLトレーニングにおける動作不均衡に対処するための実践的な遷移サンプリング手法と,ポリシー実行中に厳しい制約を強制するための直感的なヒューリスティックを導入する。
提案手法がCQLよりも優れていることを示すため,理論的解析を行った。
糖尿病と敗血症の治療最適化のための2つの実世界のタスクを広範囲に実験し,提案手法の性能を著明なオフ・ポリシーとオフラインのrlベースライン(ddqnとcql)と比較した。
提案手法は, 原則的, 臨床的に関連のある指標にまたがって, 期待される健康成果の大幅な改善と, 関連する診療ガイドライン, 安全ガイドラインとの整合性が期待できることを示す。 There is increasing interest in data-driven approaches for dynamically choosing optimal treatment strategies in many chronic disease management and critical care applications. Reinforcement learning methods are well-suited to this sequential decision-making problem, but must be trained and evaluated exclusively on retrospective medical record datasets as direct online exploration is unsafe and infeasible. Despite this requirement, the vast majority of dynamic treatment optimization studies use off-policy RL methods (e.g., Double Deep Q Networks (DDQN) or its variants) that are known to perform poorly in purely offline settings. Recent advances in offline RL, such as Conservative Q-Learning (CQL), offer a suitable alternative. But there remain challenges in adapting these approaches to real-world applications where suboptimal examples dominate the retrospective dataset and strict safety constraints need to be satisfied. In this work, we introduce a practical transition sampling approach to address action imbalance during offline RL training, and an intuitive heuristic to enforce hard constraints during policy execution. We provide theoretical analyses to show that our proposed approach would improve over CQL. We perform extensive experiments on two real-world tasks for diabetes and sepsis treatment optimization to compare performance of the proposed approach against prominent off-policy and offline RL baselines (DDQN and CQL). Across a range of principled and clinically relevant metrics, we show that our proposed approach enables substantial improvements in expected health outcomes and in consistency with relevant practice and safety guidelines. | 翻訳日:2023-02-16 15:36:01 公開日:2023-02-15 |
| # activity cliff予測:データセットとベンチマーク Activity Cliff Prediction: Dataset and Benchmark ( http://arxiv.org/abs/2302.07541v1 ) ライセンス: Link先を確認 | Ziqiao Zhang, Bangyi Zhao, Ailin Xie, Yatao Bian, Shuigeng Zhou | (参考訳) 活性崖(英: Activity cliffs、AC)は、通常、同じバイオターゲットに対して活性を持つが結合能が著しく異なる構造的に類似した分子の対として定義される。
これまでのところ、一対の分子が交流関係を示すかどうかを予測するAC予測問題は、まだ完全には研究されていない。
本稿では,AC 予測のための大規模データセット ACNet について紹介する。
ACNetは、20K MMPクリフと380K非AC MMPを含む190のターゲットに対して400K以上のマッチング分子ペア(MMP)をキュレートし、モデル開発と評価のための5つのサブセットを提供する。
そこで我々は,深部ニューラルネットワークで符号化された分子表現の予測性能をAC予測のためにベンチマークするベースラインフレームワークを提案し,実験により16モデルの評価を行った。
実験結果から,ACNetデータセットの不均衡,低データ化,アウト・オブ・ディストリビューションの両面において,モデルが十分な量のデータを持つタスクでトレーニングされた場合,ディープラーニングモデルは優れた性能を発揮することが示された。
さらに、従来のECFP法は、MMP-cliff予測に対して自然な優位性を示し、多くのデータサブセットで他のディープラーニングモデルよりも優れている。
我々の知る限り、我々の研究は、AC予測のための最初の大規模なデータセットを構築し、AC予測モデルの研究を刺激し、AI支援薬物発見のさらなるブレークスルーを促す可能性がある。
コードとデータセットはhttps://drugai.github.io/acnet/でアクセスできる。 Activity cliffs (ACs), which are generally defined as pairs of structurally similar molecules that are active against the same bio-target but significantly different in the binding potency, are of great importance to drug discovery. Up to date, the AC prediction problem, i.e., to predict whether a pair of molecules exhibit the AC relationship, has not yet been fully explored. In this paper, we first introduce ACNet, a large-scale dataset for AC prediction. ACNet curates over 400K Matched Molecular Pairs (MMPs) against 190 targets, including over 20K MMP-cliffs and 380K non-AC MMPs, and provides five subsets for model development and evaluation. Then, we propose a baseline framework to benchmark the predictive performance of molecular representations encoded by deep neural networks for AC prediction, and 16 models are evaluated in experiments. Our experimental results show that deep learning models can achieve good performance when the models are trained on tasks with adequate amount of data, while the imbalanced, low-data and out-of-distribution features of the ACNet dataset still make it challenging for deep neural networks to cope with. In addition, the traditional ECFP method shows a natural advantage on MMP-cliff prediction, and outperforms other deep learning models on most of the data subsets. To the best of our knowledge, our work constructs the first large-scale dataset for AC prediction, which may stimulate the study of AC prediction models and prompt further breakthroughs in AI-aided drug discovery. The codes and dataset can be accessed by https://drugai.github.io/ACNet/. | 翻訳日:2023-02-16 15:35:37 公開日:2023-02-15 |
| # ラベルは半教師付き学習に有益か?
--不足データメカニズムの推定と活用 Are labels informative in semi-supervised learning? -- Estimating and leveraging the missing-data mechanism ( http://arxiv.org/abs/2302.07540v1 ) ライセンス: Link先を確認 | Aude Sportisse (CRISAM,3iA C\^ote d'Azur, MAASAI, UCA), Hugo Schmutz (CRISAM, TIRO-MATOs, JAD,3iA C\^ote d'Azur, MAASAI, UCA), Olivier Humbert (UNICANCER/CAL, TIRO-MATOs, UCA), Charles Bouveyron (MAASAI, CRISAM,3iA C\^ote d'Azur, UCA), Pierre-Alexandre Mattei (MAASAI, CRISAM,3iA C\^ote d'Azur, UCA) | (参考訳) 半教師付き学習は、ラベル付きデータを活用して機械学習モデルを改善する強力な手法であるが、一部のクラスが他のクラスよりもラベル付けされる傾向にある 'informative' ラベルの存在に影響される可能性がある。
欠落したデータ文献では、そのようなラベルをランダムに欠落と呼ぶ。
本稿では,データ拡張を含む任意のSSLアルゴリズムをデバイアス化するために,欠落データ機構を推定し,逆の確率重み付けを用いてこの問題に対処する新しい手法を提案する。
また,ラベルが真に有益かどうかを評価するための確率比試験も提案する。
最後に, 疑似現実的欠落データシナリオを設計するための2つの医療データセットにおいて, 異なるデータセットにおける提案手法の性能を示す。 Semi-supervised learning is a powerful technique for leveraging unlabeled data to improve machine learning models, but it can be affected by the presence of ``informative'' labels, which occur when some classes are more likely to be labeled than others. In the missing data literature, such labels are called missing not at random. In this paper, we propose a novel approach to address this issue by estimating the missing-data mechanism and using inverse propensity weighting to debias any SSL algorithm, including those using data augmentation. We also propose a likelihood ratio test to assess whether or not labels are indeed informative. Finally, we demonstrate the performance of the proposed methods on different datasets, in particular on two medical datasets for which we design pseudo-realistic missing data scenarios. | 翻訳日:2023-02-16 15:35:09 公開日:2023-02-15 |
| # 量子計測による任意の関数の信頼性最適化 Reliable optimization of arbitrary functions over quantum measurements ( http://arxiv.org/abs/2302.07534v1 ) ライセンス: Link先を確認 | Jing Luo and Jiangwei Shang | (参考訳) 古典と量子世界の接続として、量子計測は量子情報処理の時代においてユニークな役割を果たす。
量子測定の任意の関数が与えられた場合、その最適値を得る方法は、様々な応用において基本的な重要な問題とみなされる。
例えば、量子計測トモグラフィーにおける可能性関数の最適化、ベル試験実験におけるベルパラメータの探索、量子チャネルの容量の計算などである。
本研究では,gilbertのアルゴリズムとある種の勾配アルゴリズムを組み合わせることで,量子計測空間上で任意の関数を最適化する信頼性の高いアルゴリズムを提案する。
広範な応用により、凸関数と非凸関数の両方でアルゴリズムの有効性を示す。 As the connection between classical and quantum worlds, quantum measurements play a unique role in the era of quantum information processing. Given an arbitrary function of quantum measurements, how to obtain its optimal value is often considered as a basic yet important problem in various applications. Typical examples include but not limited to optimizing the likelihood functions in quantum measurement tomography, searching the Bell parameters in Bell-test experiments, and calculating the capacities of quantum channels. In this work, we propose reliable algorithms for optimizing arbitrary functions over the space of quantum measurements by combining the so-called Gilbert's algorithm for convex optimization with certain gradient algorithms. With extensive applications, we demonstrate the efficacy of our algorithms with both convex and nonconvex functions. | 翻訳日:2023-02-16 15:34:56 公開日:2023-02-15 |
| # 2つの原子アンサンブル間の巨視的最大絡み合い状態形成 Macroscopic maximally entangled state preparation between two atomic ensembles ( http://arxiv.org/abs/2302.07526v1 ) ライセンス: Link先を確認 | Manish Chaudhary, Ebubechukwu O. Ilo-Okeke, Valentin Ivannikov and Tim Byrnes | (参考訳) 適応量子非復調(QND)測定を用いて、2つの原子アンサンブル間のマクロ的最大絡み合い状態(MMES)を調製する手法を開発した。
システムの量子状態は、QND測定の連続とそれに続く適応的なユニタリを用いて進化し、望まれる測定結果は漸近的に単位確率で得られる。
この手順は z と x のスピン基底で交互に繰り返され、状態は最大絡み合った状態に向かって決定的に収束する。
局所スピン-基底回転では、最大エンタングル状態は全スピン角運動量ゼロ、すなわち一重項状態である。
我々のプロトコルはポストセレクションを実行せず、Holstein-Primakoff則を超えて原子スピン自由度を計算し、真のマクロな絡み合いを生み出す。 We develop a scheme to prepare a macroscopic maximally entangled state (MMES) between two atomic ensembles using adaptive quantum nondemolition (QND) measurements. The quantum state of the system is evolved using a sequence of QND measurements followed by adaptive unitaries, such that the desired measurement outcome is obtained with asymptotically unit probability. This procedure is repeated in z and x spin basis alternately such that the state converges deterministically towards the maximally entangled state. Up to a local spin-basis rotation, the maximally entangled state has zero total spin angular momentum, i.e. it is a singlet state. Our protocol does not perform postselection and works beyond the Holstein-Primakoff regime for the atomic spin degrees of freedom, producing genuine macroscopic entanglement. | 翻訳日:2023-02-16 15:34:46 公開日:2023-02-15 |
| # 初期化と精製を再考する:不完全で欠落するグラフインプットネットワーク Revisiting Initializing Then Refining: An Incomplete and Missing Graph Imputation Network ( http://arxiv.org/abs/2302.07524v1 ) ライセンス: Link先を確認 | Wenxuan Tu, Bin Xiao, Xinwang Liu, Sihang Zhou, Zhiping Cai, and Jieren Cheng | (参考訳) ソーシャルネットワークやナレッジグラフなどの様々なアプリケーションの開発により、グラフデータは現実世界に広く普及してきた。
残念ながら、グラフは通常、プライバシー保護ポリシーやデータ収集時の著作権制限のために欠落している。
グラフデータの欠如は、属性不完全と属性許容の状況に大まかに分類できる。
具体的には、属性不完全は全てのノードの属性ベクトルの一部が不完全であることを示しているが、属性欠落は部分ノードの属性ベクトル全体が欠落していることを示している。
多くの努力が費やされているが、どちらのグラフデータも同時に存在しない共通の状況のためにカスタムデザインされていない。
このギャップを埋めるために、我々はRevisiting Initializing Then Refining (RITR)と呼ばれる新しいネットワークを開発し、新しい初期化初期化計算基準の指導のもと、属性不完全および属性欠落サンプルの両方を完成させる。
具体的には,まずネットワーク学習前にガウス雑音を用いて不完全属性を初期化し,構造属性相関行列を高次構造行列に近似して不完全値を洗練するための構造属性一貫性制約を導入する。
まず, 属性欠落サンプルの埋め込みを埋め込み初期化として導入し, 動的親和性構造に従って属性不完全サンプルの信頼性情報を適応的に集約することで初期値を改良する。
私たちの知る限りでは、この新設計の手法は、ハイブリッド-抽象グラフを扱うための最初の教師なしフレームワークです。
4つのデータセットに対する大規模な実験により、我々の手法が既存の最先端の競合より一貫して優れていることが確認された。 With the development of various applications, such as social networks and knowledge graphs, graph data has been ubiquitous in the real world. Unfortunately, graphs usually suffer from being absent due to privacy-protecting policies or copyright restrictions during data collection. The absence of graph data can be roughly categorized into attribute-incomplete and attribute-missing circumstances. Specifically, attribute-incomplete indicates that a part of the attribute vectors of all nodes are incomplete, while attribute-missing indicates that the whole attribute vectors of partial nodes are missing. Although many efforts have been devoted, none of them is custom-designed for a common situation where both types of graph data absence exist simultaneously. To fill this gap, we develop a novel network termed Revisiting Initializing Then Refining (RITR), where we complete both attribute-incomplete and attribute-missing samples under the guidance of a novel initializing-then-refining imputation criterion. Specifically, to complete attribute-incomplete samples, we first initialize the incomplete attributes using Gaussian noise before network learning, and then introduce a structure-attribute consistency constraint to refine incomplete values by approximating a structure-attribute correlation matrix to a high-order structural matrix. To complete attribute-missing samples, we first adopt structure embeddings of attribute-missing samples as the embedding initialization, and then refine these initial values by adaptively aggregating the reliable information of attribute-incomplete samples according to a dynamic affinity structure. To the best of our knowledge, this newly designed method is the first unsupervised framework dedicated to handling hybrid-absent graphs. Extensive experiments on four datasets have verified that our methods consistently outperform existing state-of-the-art competitors. | 翻訳日:2023-02-16 15:34:32 公開日:2023-02-15 |
| # 複雑度とマルチバウンダリーワームホール Complexity and Multi-boundary Wormholes ( http://arxiv.org/abs/2302.07522v1 ) ライセンス: Link先を確認 | Hamed Zolfi | (参考訳) 3次元ワームホールはアインシュタイン・ヒルベルト作用の全体解である。
これらの時空は、大域 AdS$_{3}$ の一部の商であり、複数の漸近領域を持ち、それぞれ共形境界 $S^{1}\times\mathbb{R}$ を持ち、水平線で分離される。
それぞれの外側領域はbtzブラックホールに等距離的であり、地平線の裏側には複雑なトポロジーが存在する。
これらの測地線の主な性質は、既知のCFT状態と双対であることである。
本稿では,3つの漸近AdS境界を持つ2+1 $ dimensional Lorentzian wormhole spacetime の単純な場合におけるホログラフィック複雑性のフルタイム依存性を,複雑性等量(CV)予想を用いて評価する。
複雑性の増大は非線形であり、遅くとも飽和していると結論づける。 Three dimensional wormholes are global solutions of Einstein-Hilbert action. These space-times which are quotients of a part of global AdS$_{3}$ have multiple asymptotic regions, each with conformal boundary $S^{1}\times\mathbb{R}$, and separated from each other by horizons. Each outer region is isometric to BTZ black hole, and behind the horizons, there is a complicated topology. The main virtue of these geometries is that they are dual to known CFT states. In this paper, we evaluate the full time dependence of holographic complexity for the simplest case of $ 2+1 $ dimensional Lorentzian wormhole spacetime, which has three asymptotic AdS boundaries, using the complexity equals volume (CV) conjecture. We conclude that the growth of complexity is non-linear and saturates at late times. | 翻訳日:2023-02-16 15:34:03 公開日:2023-02-15 |
| # 非特異運動を有するxrユーザの伸縮性モーションベース同定 Extensible Motion-based Identification of XR Users with Non-Specific Motion ( http://arxiv.org/abs/2302.07517v1 ) ライセンス: Link先を確認 | Christian Schell, Konstantin Kobs, Tamara Fernando, Andreas Hotho, Marc Erich Latoschik | (参考訳) 最近出現したソリューションは、拡張現実(XR)アプリケーションと対話するユーザの動きが識別情報を持ち、識別に活用できることを実証している。
このようなソリューションは数秒でXRユーザを識別できるが、現在のシステムは1つまたは他のトレードオフを必要とする。
あるいは、より強力な機械学習モデルを使用し、任意の動きでも機能する分類ベースのアプローチを使うが、新しいユーザーを登録するには完全なリトレーニングが必要になる。
本稿では,深層メトリック学習を活用した組込み型アプローチを用いて,両手法の強みを組み合わせることを提案する。
我々は,VRゲーム『Half-Life: Alyx』をプレイするユーザのデータセット上でモデルをトレーニングし,複数の実験と分析を行う。
その結果,埋め込み型手法が有効であった。
1)参照データの数分で,非特定動作から新規ユーザを識別できる。
2)新しいユーザーを数秒で登録できる一方で、同じ分類ベースのアプローチをトレーニングするのにほぼ1日かかる。
3)参照データが少ない場合に、ベースライン分類ベースのアプローチよりも信頼性が高い。
4) 異なるVRデバイスで記録された別のデータセットから新しいユーザーを特定するために使用することができる。
我々のソリューションは、XRユーザ識別システムを簡単に拡張できる基盤であり、非特異な動作にも適用できる。
また、専門知識やハードウェア、あるいはディープラーニングモデルをトレーニングするためのデータを必要としない、XR実践者が使用可能なプロダクション対応モデルの道を開く。 Recently emerged solutions demonstrate that the movements of users interacting with extended reality (XR) applications carry identifying information and can be leveraged for identification. While such solutions can identify XR users within a few seconds, current systems require one or the other trade-off: either they apply simple distance-based approaches that can only be used for specific predetermined motions. Or they use classification-based approaches that use more powerful machine learning models and thus also work for arbitrary motions, but require full retraining to enroll new users, which can be prohibitively expensive. In this paper, we propose to combine the strengths of both approaches by using an embedding-based approach that leverages deep metric learning. We train the model on a dataset of users playing the VR game "Half-Life: Alyx" and conduct multiple experiments and analyses. The results show that the embedding-based method 1) is able to identify new users from non-specific movements using only a few minutes of reference data, 2) can enroll new users within seconds, while retraining a comparable classification-based approach takes almost a day, 3) is more reliable than a baseline classification-based approach when only little reference data is available, 4) can be used to identify new users from another dataset recorded with different VR devices. Altogether, our solution is a foundation for easily extensible XR user identification systems, applicable even to non-specific movements. It also paves the way for production-ready models that could be used by XR practitioners without the requirements of expertise, hardware, or data for training deep learning models. | 翻訳日:2023-02-16 15:33:46 公開日:2023-02-15 |
| # ビデオインスタンス分割のためのオフライン・オンライン知識蒸留 Offline-to-Online Knowledge Distillation for Video Instance Segmentation ( http://arxiv.org/abs/2302.07516v1 ) ライセンス: Link先を確認 | Hojin Kim, Seunghun Lee, and Sunghoon Im | (参考訳) 本稿では,ビデオインスタンス分割のためのオフラインからオンラインまでの知識蒸留(OOKD)について述べる。
オンラインモデルとオフラインモデルの両方を採用する従来の方法とは異なり、当社のオンラインモデルは、オフラインの知識を蒸留することで両方のモデルを活用する。
知識を正確に伝達するために,クエリフィルタリングとアソシエーション(QFA)を提案する。
我々のQFAを用いたKDは、長距離グローバル情報によって補完された単一のフレームからオブジェクト中心の特徴を符号化することで、特徴マッチングの堅牢性を高める。
また,全クラスの知識をオンラインモデルに公平に伝達するvisタスクにおいて,知識蒸留のための簡易データ拡張スキームを提案する。
広範囲な実験により,ビデオインスタンスのセグメンテーション,特に長大な動的シーケンスを含むデータセットに対する性能が著しく向上することが示された。
また,YTVIS-21,YTVIS-22,OVISデータセットのmAPスコアは46.1%,43.6%,31.1%であった。 In this paper, we present offline-to-online knowledge distillation (OOKD) for video instance segmentation (VIS), which transfers a wealth of video knowledge from an offline model to an online model for consistent prediction. Unlike previous methods that having adopting either an online or offline model, our single online model takes advantage of both models by distilling offline knowledge. To transfer knowledge correctly, we propose query filtering and association (QFA), which filters irrelevant queries to exact instances. Our KD with QFA increases the robustness of feature matching by encoding object-centric features from a single frame supplemented by long-range global information. We also propose a simple data augmentation scheme for knowledge distillation in the VIS task that fairly transfers the knowledge of all classes into the online model. Extensive experiments show that our method significantly improves the performance in video instance segmentation, especially for challenging datasets including long, dynamic sequences. Our method also achieves state-of-the-art performance on YTVIS-21, YTVIS-22, and OVIS datasets, with mAP scores of 46.1%, 43.6%, and 31.1%, respectively. | 翻訳日:2023-02-16 15:33:23 公開日:2023-02-15 |
| # TiZero: カリキュラム学習とセルフプレイによるマルチエージェントフットボールのマスタリング TiZero: Mastering Multi-Agent Football with Curriculum Learning and Self-Play ( http://arxiv.org/abs/2302.07515v1 ) ライセンス: Link先を確認 | Fanqi Lin, Shiyu Huang, Tim Pearce, Wenze Chen, Wei-Wei Tu | (参考訳) マルチエージェントフットボールは、AI研究において未解決の課題を提起する。
既存の作業では、ゲームの単純なシナリオに取り組むこと、あるいは専門家によるデモンストレーションを活用することに注力している。
本稿では,実演なしでフル11対11のゲームモードを再生するマルチエージェントシステムの開発を行う。
このゲームモードは、現代の強化学習アルゴリズム(マルチエージェント調整、長期計画、非遷移性)に大きな課題をもたらす側面を含む。
このような課題に対処するために,我々は,スクラッチから学習する自己進化型マルチエージェントシステムであるtizeroを提案する。
TiZeroは、適応的なカリキュラム学習、新しいセルフプレイ戦略、複数のエージェントのポリシーを共同で最適化する目的など、いくつかのイノベーションを導入している。
実験的に、Google Research Football環境における従来のシステムよりも大きく、勝利率が30%以上向上した。
TiZeroのイノベーションの一般化を示すため、オーバークッキング、マルチエージェント粒子環境、Tic-Tac-Toe、Connect-Fourなど、サッカー以外のいくつかの環境で評価されている。 Multi-agent football poses an unsolved challenge in AI research. Existing work has focused on tackling simplified scenarios of the game, or else leveraging expert demonstrations. In this paper, we develop a multi-agent system to play the full 11 vs. 11 game mode, without demonstrations. This game mode contains aspects that present major challenges to modern reinforcement learning algorithms; multi-agent coordination, long-term planning, and non-transitivity. To address these challenges, we present TiZero; a self-evolving, multi-agent system that learns from scratch. TiZero introduces several innovations, including adaptive curriculum learning, a novel self-play strategy, and an objective that optimizes the policies of multiple agents jointly. Experimentally, it outperforms previous systems by a large margin on the Google Research Football environment, increasing win rates by over 30%. To demonstrate the generality of TiZero's innovations, they are assessed on several environments beyond football; Overcooked, Multi-agent Particle-Environment, Tic-Tac-Toe and Connect-Four. | 翻訳日:2023-02-16 15:33:02 公開日:2023-02-15 |
| # ハイパーキューブ上の量子ウォーク状態転移 Quantum walk state transfer on a hypercube ( http://arxiv.org/abs/2302.07581v1 ) ライセンス: Link先を確認 | Martin Stefanak and Stanislav Skoupy | (参考訳) 本研究では,送信側と受信側頂点が重み付きループでマークされる量子ウォークを用いて,ハイパーキューブの状態遷移を調べる。
まず,1回の実行後に送信側から受信側へ重み付きループを切り替えることにより,任意の頂点間の状態伝達に使用できる1つのマーク付き頂点の探索を解析する。
次に、対脚頂点間の状態移動を考察する。
ループの重みをチューニングして、スイッチによる状態転送と比較して、短い実行時間で高い忠実度で状態転送を達成することができることを示す。
最後に,任意の距離の頂点間の状態伝達について検討する。
送受信機と受信機の間の距離が少なくとも2である場合、反ポッドに対して導出された結果は十分に適用可能である。
送信側と受信側が直接隣接している場合、進化は若干異なる経路をたどる。
それでも、高い忠実度を持つ状態転送は同じ実行時間で達成される。 We investigate state transfer on a hypercube by means of a quantum walk where the sender and the receiver vertices are marked by a weighted loops. First, we analyze search for a single marked vertex, which can be used for state transfer between arbitrary vertices by switching the weighted loop from the sender to the receiver after one run-time. Next, state transfer between antipodal vertices is considered. We show that one can tune the weight of the loop to achieve state transfer with high fidelity in shorter run-time in comparison to the state transfer with a switch. Finally, we investigate state transfer between vertices of arbitrary distance. It is shown that when the distance between the sender and the receiver is at least 2, the results derived for the antipodes are well applicable. If the sender and the receiver are direct neighbours the evolution follows a slightly different course. Nevertheless, state transfer with high fidelity is achieved in the same run-time. | 翻訳日:2023-02-16 15:26:53 公開日:2023-02-15 |
| # ベイズニューラルネットワークによる不確実性と変分モデルによる半監督深部回帰 Semi-Supervised Deep Regression with Uncertainty Consistency and Variational Model Ensembling via Bayesian Neural Networks ( http://arxiv.org/abs/2302.07579v1 ) ライセンス: Link先を確認 | Weihang Dai, Xiaomeng Li, Kwang-Ting Cheng | (参考訳) 深い回帰は、多くのアプリケーションにおいて重要な問題である。
これらは、写真からの年齢推定などのコンピュータビジョンタスクから、疾患追跡のためのエコー心電図からの退院率推定のような医療タスクまで様々である。
しかし、深い回帰に対する半教師付きアプローチは、分類やセグメンテーションのタスクと比べて明らかに未探索である。
クラス擬似ラベルを生成するためのしきい値関数に依存する分類タスクとは異なり、回帰タスクは実数目標予測を直接擬似ラベルとして使用するため、予測品質に敏感である。
本研究では,半教師付き回帰,すなわち不確実性連続変分モデル(UCVME)に対して,高品質な擬似ラベルを生成してトレーニングを改善する手法を提案する。
アレオータの不確実性は、定義によって入力データにのみ依存し、同じ入力に対して等しくなければならないと仮定すると、共学習モデルに対する新しい不確実性一貫性損失を示す。
整合性損失は不確実性評価を著しく改善し,不整合回帰の下では,高品質な擬似ラベルをより重要視することができる。
さらに,予測ノイズを低減し,よりロバストな擬似ラベルを生成する新しい変分モデルセンシング手法を提案する。
本手法はラベルなしデータに対して高い品質のターゲットを生成し,さらにトレーニングを改善する。
実験により,本手法は様々なタスクにおける最先端の代替手段よりも優れており,フルラベルを用いた教師付き手法と競合することを示す。
私たちのコードはhttps://github.com/xmed-lab/ucvmeで利用可能です。 Deep regression is an important problem with numerous applications. These range from computer vision tasks such as age estimation from photographs, to medical tasks such as ejection fraction estimation from echocardiograms for disease tracking. Semi-supervised approaches for deep regression are notably under-explored compared to classification and segmentation tasks, however. Unlike classification tasks, which rely on thresholding functions for generating class pseudo-labels, regression tasks use real number target predictions directly as pseudo-labels, making them more sensitive to prediction quality. In this work, we propose a novel approach to semi-supervised regression, namely Uncertainty-Consistent Variational Model Ensembling (UCVME), which improves training by generating high-quality pseudo-labels and uncertainty estimates for heteroscedastic regression. Given that aleatoric uncertainty is only dependent on input data by definition and should be equal for the same inputs, we present a novel uncertainty consistency loss for co-trained models. Our consistency loss significantly improves uncertainty estimates and allows higher quality pseudo-labels to be assigned greater importance under heteroscedastic regression. Furthermore, we introduce a novel variational model ensembling approach to reduce prediction noise and generate more robust pseudo-labels. We analytically show our method generates higher quality targets for unlabeled data and further improves training. Experiments show that our method outperforms state-of-the-art alternatives on different tasks and can be competitive with supervised methods that use full labels. Our code is available at https://github.com/xmed-lab/UCVME. | 翻訳日:2023-02-16 15:26:39 公開日:2023-02-15 |
| # 効果的な教師: YOLOv5の半教師対象検出 Efficient Teacher: Semi-Supervised Object Detection for YOLOv5 ( http://arxiv.org/abs/2302.07577v1 ) ライセンス: Link先を確認 | Bowen Xu, Mingtao Chen, Wenlong Guan, Lulu Hu | (参考訳) SSOD(Semi-Supervised Object Detection)は、R-CNNシリーズとアンカーフリー検出器の両方の性能向上に成功している。
しかし、1段のアンカーベースの検出器は高品質または柔軟な擬似ラベルを生成する構造を欠いているため、YOLOv5のようなSSODでは深刻な不整合の問題が発生する。
本稿では,Dense Detector,Pseudo Label Assigner,Epoch Adaptorで構成される,スケーラブルで効果的なワンステージアンカーベースのSSODトレーニングのための効率的な教師フレームワークを提案する。
Dense Detectorは、YOLOv5にインスパイアされた高密度サンプリング技術でRetinaNetを拡張するベースラインモデルである。
Efficient Teacher フレームワークは Pseudo Label Assigner という新しい擬似ラベル割り当て機構を導入し、Dense Detector の擬似ラベルをより洗練されたものにしている。
Epoch Adaptorは、Dense Detectorの安定的で効率的な半教師付きトレーニングスケジュールを可能にする方法である。
Pseudo Label Assignerは、学生と教師の相互学習機構においてDense Detectorに干渉する可能性のある多数の低品質な擬似ラベルによるバイアスの発生を防止し、Epoch Adaptorはドメインと分散適応を利用してDense Detectorがグローバルに分散した一貫した特徴を学習し、ラベル付きデータの比率に依存しない訓練を行う。
実験の結果,従来の手法よりも少ないFLOPを用いて,VOC,COCO標準,COCO付加による最先端の成果が得られた。
私たちの知る限りでは、これはSemi-Supervised Object DetectionをYOLOv5に適用する最初の試みである。 Semi-Supervised Object Detection (SSOD) has been successful in improving the performance of both R-CNN series and anchor-free detectors. However, one-stage anchor-based detectors lack the structure to generate high-quality or flexible pseudo labels, leading to serious inconsistency problems in SSOD, such as YOLOv5. In this paper, we propose the Efficient Teacher framework for scalable and effective one-stage anchor-based SSOD training, consisting of Dense Detector, Pseudo Label Assigner, and Epoch Adaptor. Dense Detector is a baseline model that extends RetinaNet with dense sampling techniques inspired by YOLOv5. The Efficient Teacher framework introduces a novel pseudo label assignment mechanism, named Pseudo Label Assigner, which makes more refined use of pseudo labels from Dense Detector. Epoch Adaptor is a method that enables a stable and efficient end-to-end semi-supervised training schedule for Dense Detector. The Pseudo Label Assigner prevents the occurrence of bias caused by a large number of low-quality pseudo labels that may interfere with the Dense Detector during the student-teacher mutual learning mechanism, and the Epoch Adaptor utilizes domain and distribution adaptation to allow Dense Detector to learn globally distributed consistent features, making the training independent of the proportion of labeled data. Our experiments show that the Efficient Teacher framework achieves state-of-the-art results on VOC, COCO-standard, and COCO-additional using fewer FLOPs than previous methods. To the best of our knowledge, this is the first attempt to apply Semi-Supervised Object Detection to YOLOv5. | 翻訳日:2023-02-16 15:26:13 公開日:2023-02-15 |
| # 深層学習による生物発生エミッションマップの強化 Enhancing Biogenic Emission Maps Using Deep Learning ( http://arxiv.org/abs/2302.07570v1 ) ライセンス: Link先を確認 | Antonio Giganti, Sara Mandelli, Paolo Bestagini, Marco Marcon, Stefano Tubaro | (参考訳) 生物揮発性有機化合物(BVOC)は、大気圏と大気圏の相互作用において重要な役割を担い、大気や気候の物理的および化学的性質において重要な要素である。
大きめできめ細かなBVOCエミッションマップの取得は高価で時間を要するため、利用可能なBVOCデータのほとんどは、緩やかなサンプリンググリッドや小さな領域で取得される。
しかし、高解像度のBVOCデータは、大気質、大気化学、気候モニタリングなど多くの用途で望ましい。
本研究では,植物とこれらの化合物の関係を説明する上で,bvocの獲得性を高める可能性について検討する。
我々は,シングルイメージ・スーパーレゾリューション(sisr)のために提案された最先端ニューラルネットワークの性能を比較することにより,プリプロセッシングによるエミッションデータの適切に処理する方法を示す。
さらに,時間的制約と地理的制約を考慮した現実的なシナリオも検討する。
最後に,超解法(SR)の一般化の観点から,スケール不変性や未知化合物からの超解離放出を考慮した今後の発展の可能性を示す。 Biogenic Volatile Organic Compounds (BVOCs) play a critical role in biosphere-atmosphere interactions, being a key factor in the physical and chemical properties of the atmosphere and climate. Acquiring large and fine-grained BVOC emission maps is expensive and time-consuming, so most of the available BVOC data are obtained on a loose and sparse sampling grid or on small regions. However, high-resolution BVOC data are desirable in many applications, such as air quality, atmospheric chemistry, and climate monitoring. In this work, we propose to investigate the possibility of enhancing BVOC acquisitions, taking a step forward in explaining the relationships between plants and these compounds. We do so by comparing the performances of several state-of-the-art neural networks proposed for Single-Image Super-Resolution (SISR), showing how to adapt them to correctly handle emission data through preprocessing. Moreover, we also consider realistic scenarios, considering both temporal and geographical constraints. Finally, we present possible future developments in terms of Super-Resolution (SR) generalization, considering the scale-invariance property and super-resolving emissions from unseen compounds. | 翻訳日:2023-02-16 15:25:41 公開日:2023-02-15 |
| # VLSI回路の性能予測のための定性的データ拡張 Qualitative Data Augmentation for Performance Prediction in VLSI circuits ( http://arxiv.org/abs/2302.07566v1 ) ライセンス: Link先を確認 | Prasha Srivastava, Pawan Kumar, Zia Abbas | (参考訳) アナログおよびデジタルIC設計の自動化と最適化に機械学習(ML)技術を用いることの利点が示されている。
データ不足は依然として電子設計の問題であり、高精度なmlモデルをトレーニングしている。
本研究は,回路データにGAN(Generative Adversarial Network)を用いて人工データを生成し,評価することにより,小さなトレーニングデータセットでトレーニングしたMLモデルの精度を向上する。
トレーニングデータは、TSMC 180nmおよび22nmCMOS技術ノードを用いたCadence Virtuoso、HSPICE、Microcap設計環境における様々なシミュレーションによって得られる。
人工データは、アナログおよびデジタル回路の適切なセットに対して生成およびテストされる。
実験の結果,提案した人工データ生成はMLモデルを大幅に改善し,以前は不十分なデータでトレーニングされていた元のパーセンテージ誤差の50%以上を削減した。
さらに,本研究は,VLSI設計と技術分野におけるAI/MLの広範な応用に寄与することを目的とした。 Various studies have shown the advantages of using Machine Learning (ML) techniques for analog and digital IC design automation and optimization. Data scarcity is still an issue for electronic designs, while training highly accurate ML models. This work proposes generating and evaluating artificial data using generative adversarial networks (GANs) for circuit data to aid and improve the accuracy of ML models trained with a small training data set. The training data is obtained by various simulations in the Cadence Virtuoso, HSPICE, and Microcap design environment with TSMC 180nm and 22nm CMOS technology nodes. The artificial data is generated and tested for an appropriate set of analog and digital circuits. The experimental results show that the proposed artificial data generation significantly improves ML models and reduces the percentage error by more than 50\% of the original percentage error, which were previously trained with insufficient data. Furthermore, this research aims to contribute to the extensive application of AI/ML in the field of VLSI design and technology by relieving the training data availability-related challenges. | 翻訳日:2023-02-16 15:25:21 公開日:2023-02-15 |
| # 伸縮したコヒーレント状態 Stretched Coherent States ( http://arxiv.org/abs/2302.07563v1 ) ライセンス: Link先を確認 | Nick Laskin | (参考訳) 最近導入されたストレッチドコヒーレント状態の基本特性について検討した。
伸長コヒーレント状態は標準コヒーレント状態の基本特性を保持し、統一性の解決や完全性条件を一般化し、n$フォトンが伸長コヒーレント状態にある確率分布を一般化することが示されている。
伸縮変位および伸縮スクイーズ演算子を導入し、伸縮変位演算子の乗法を確立する。
ストレッチされた変位とストレッチされたスクイーズ演算子の真空およびフォック状態に対する作用結果を示す。
ストレッチストレッチドストレッチドコヒーレント状態とストレッチドストレッチドストレッチド変位数状態を導入し、その特性について検討する。
2つの量子力学的ベクトルの内部積は、その拡張されたコヒーレント状態表現によって定義され、ヒルベルト空間が導入された。 The fundamental properties of recently introduced stretched coherent states are investigated. It has been shown that stretched coherent states retain the fundamental properties of standard coherent states and generalize the resolution of unity, or completeness condition, and the probability distribution that $n$ photons are in a stretched coherent state. The stretched displacement and stretched squeezing operators are introduced and the multiplication law for stretched displacement operator is established. The results of the action of the stretched displacement and stretched squeezing operators on the vacuum and the Fock states are presented. Stretched squeezed stretched coherent states and stretched squeezed stretched displaced number states are introduced and their properties are studied. The inner product of two quantum mechanical vectors was defined in terms of their stretched coherent state representations, and functional Hilbert space was introduced. | 翻訳日:2023-02-16 15:25:04 公開日:2023-02-15 |
| # 鳥の歌録音データセットの品質向上のための教師なし分類 Unsupervised classification to improve the quality of a bird song recording dataset ( http://arxiv.org/abs/2302.07560v1 ) ライセンス: Link先を確認 | F\'elix Michaud (ISYEB ), J\'er\^ome Sueur (ISYEB ), Maxime Le Cesne (ISYEB ), Sylvain Haupert (ISYEB ) | (参考訳) Xeno-Cantoのようなオープンオーディオデータベースは、鳥のレパートリーを探索するためのデータセットの構築や、ディープラーニングアルゴリズムによる鳥の音の自動分類のためのモデルのトレーニングに広く利用されている。
しかし、そのようなデータベースは、鳥の鳴き声が弱くラベル付けされているという事実に悩まされている。
手動アノテーションはこの問題を解決できるが、それらは時間を消費し、専門家に依存しており、大規模なデータセットでは実行できない。
別の解決策は、各セグメント音声サンプルにラベルを割り当てる前に自動的に音声録音をセグメント化するラベル機能を使用することである。
強いラベル割り当てを促進するためにラベル機能を導入したが、その分類性能はほとんど不明である。
この問題に対処し、大きな鳥の歌のデータセットにおけるラベルノイズを低減するために、3つのステップからなるデータ中心の新規ラベル機能を導入する。
1)時間周波数音声単位分割
2)各音響ユニットの特徴計算、及び
3)各音単位を教師なしdbscanアルゴリズムまたは教師なしbirdnetニューラルネットワークで鳥の歌または雑音として分類する。
ラベリング機能は最適化され、検証され、44の西-中腕共通鳥類の鳴き声でテストされた。
まず,鳥の鳴き声のみのセグメンテーションが,ラベルノイズの10%から83%に集約されたことを示した。
また,我々のラベル付け機能は,データセットに存在する初期ラベルノイズを最大3倍に低減できることを示した。
最後に,高品質な動物鳴き声を最小限の専門的アノテーションで構築するための適切なラベル付け関数を設計する様々な機会について論じる。 Open audio databases such as Xeno-Canto are widely used to build datasets to explore bird song repertoire or to train models for automatic bird sound classification by deep learning algorithms. However, such databases suffer from the fact that bird sounds are weakly labelled: a species name is attributed to each audio recording without timestamps that provide the temporal localization of the bird song of interest. Manual annotations can solve this issue, but they are time consuming, expert-dependent, and cannot run on large datasets. Another solution consists in using a labelling function that automatically segments audio recordings before assigning a label to each segmented audio sample. Although labelling functions were introduced to expedite strong label assignment, their classification performance remains mostly unknown. To address this issue and reduce label noise (wrong label assignment) in large bird song datasets, we introduce a data-centric novel labelling function composed of three successive steps: 1) time-frequency sound unit segmentation, 2) feature computation for each sound unit, and 3) classification of each sound unit as bird song or noise with either an unsupervised DBSCAN algorithm or the supervised BirdNET neural network. The labelling function was optimized, validated, and tested on the songs of 44 West-Palearctic common bird species. We first showed that the segmentation of bird songs alone aggregated from 10% to 83% of label noise depending on the species. We also demonstrated that our labelling function was able to significantly reduce the initial label noise present in the dataset by up to a factor of three. Finally, we discuss different opportunities to design suitable labelling functions to build high-quality animal vocalizations with minimum expert annotation effort. | 翻訳日:2023-02-16 15:24:43 公開日:2023-02-15 |
| # トレーニング領域を超えたPINNの一般化に影響を与えるハイパーパラメータについて On the Hyperparameters influencing a PINN's generalization beyond the training domain ( http://arxiv.org/abs/2302.07557v1 ) ライセンス: Link先を確認 | Andrea Bonfanti, Roberto Santana, Marco Ellero, Babak Gholami | (参考訳) 物理情報ニューラルネットワーク(英: Physics-Informed Neural Networks、PINN)は、微分方程式の解を、解データなしでエミュレートするよう訓練されたニューラルネットワークアーキテクチャである。
それらは、柔軟で有望な設定のため、現在科学文献でユビキタスである。
しかし、利用可能な研究のごく一部は、そのようなアーキテクチャとその機能をより定量的に理解することを目的とした実践的研究を提供している。
本稿では,様々なアーキテクチャのハイパーパラメータとアルゴリズムの設定に対するピンの性能を,新しい誤差メトリクスやトレーニング時間などの要素に基づいて解析する。
提案するメトリックとアプローチは、pinnがトレーニングドメイン外のポイントにどの程度うまく一般化するかを評価するために調整される。
また,学習領域内外におけるpinnの結果予測に対するアルゴリズム構成の影響を調査し,各ハイパーパラメータの効果について検討した。
本研究では,PINNのアルゴリズム設定が一般化のポテンシャルにどのように影響するかを評価し,精度の高い一般化のためのPINNのポテンシャルを最大化する設定を導出する。
我々が提示する研究は洞察力に富み、時にはピンで直観的な結果に逆らう。
これらの結果は、モデルを定義、評価するときにpinnアプリケーションで有用である。 Physics-Informed Neural Networks (PINNs) are Neural Network architectures trained to emulate solutions of differential equations without the necessity of solution data. They are currently ubiquitous in the scientific literature due to their flexible and promising settings. However, very little of the available research provides practical studies that aim for a better quantitative understanding of such architecture and its functioning. In this paper, we analyze the performance of PINNs for various architectural hyperparameters and algorithmic settings based on a novel error metric and other factors such as training time. The proposed metric and approach are tailored to evaluate how well a PINN generalizes to points outside its training domain. Besides, we investigate the effect of the algorithmic setup on the outcome prediction of a PINN, inside and outside its training domain, to explore the effect of each hyperparameter. Through our study, we assess how the algorithmic setup of PINNs influences their potential for generalization and deduce the settings which maximize the potential of a PINN for accurate generalization. The study that we present returns insightful and at times counterintuitive results on PINNs. These results can be useful in PINN applications when defining the model and evaluating it. | 翻訳日:2023-02-16 15:24:13 公開日:2023-02-15 |
| # パルス単一マイクロ波光子検出器に近づいた軸索探索 Stepping closer to pulsed single microwave photon detectors for axions search ( http://arxiv.org/abs/2302.07556v1 ) ライセンス: Link先を確認 | A. D'Elia, A. Rettaroli, S. Tocci, D. Babusci, C. Barone, M. Beretta, B. Buonomo, F. Chiarello, N. Chikhi, D. Di Gioacchino, G. Felici, G. Filatrella, M. Fistul, L. G. Foggetta, C. Gatti, E. Il'ichev, C. Ligi, M. Lisitskiy, G. Maccarrone, F. Mattioli, G. Oelsner, S. Pagano, L. Piersanti, B. Ruggiero, G. Torrioli and A. Zagoskin | (参考訳) 軸索検出は、単一の光子限界まで究極の感度を必要とする。
マイクロ波領域では、これはyJ領域のエネルギーに対応する。
この極度の感度は、マイクロ波光子への軸イオン変換の確率が非常に低いため、非常に低い暗カウントレートと組み合わせる必要がある。
この複雑な課題に直面するために、ジョセフソン効果に基づく超伝導デバイスの使用に依存する2つの有望なアプローチに従った。
1つ目は、1つのジョセフソン接合(JJ)をスイッチング検出器(マイクロ波光子の存在下で超伝導を通常の状態遷移に利用)として使用することである。
我々は、電流バイアスのジョセフソン接合で終端するコプラナー導波路からなるデバイスを設計した。
この構成は実際の軸探索実験に近いため、パルス(パルス持続時間10 ns)マイクロ波信号に対してその効率をテストした。
デバイスが周波数8ghzの10光子のオーダーの検出能力にどのように到達できるかを示す。
第2のアプローチは、超伝導量子ビットネットワーク(SQN)を介してのみ結合された2つの共振器によって形成される固有量子デバイスに基づいている。
このアプローチは共振器光子の量子的非劣化測定に依存する。
共振器にRF電力を注入すると、伝送係数(S21)の共振器滴の周波数位置を最大4MHzまで変調できることを示す。
一度最適化すれば、両方のデバイスは単一光子感度に達する可能性があると予測している。 Axions detection requires the ultimate sensitivity down to the single photon limit. In the microwave region this corresponds to energies in the yJ range. This extreme sensitivity has to be combined with an extremely low dark count rate, since the probability of axions conversion into microwave photons is supposed to be very low. To face this complicated task, we followed two promising approaches that both rely on the use of superconducting devices based on the Josephson effect. The first one is to use a single Josephson junction (JJ) as a switching detector (i.e. exploiting the superconducting to normal state transition in presence of microwave photons). We designed a device composed of a coplanar waveguide terminated on a current biased Josephson junction. We tested its efficiency to pulsed (pulse duration 10 ns) microwave signals, since this configuration is closer to an actual axions search experiment. We show how our device is able to reach detection capability of the order of 10 photons with frequency 8 GHz. The second approach is based on an intrinsically quantum device formed by two resonators coupled only via a superconducting qubit network (SQN). This approach relies on quantum nondemolition measurements of the resonator photons. We show that injecting RF power into the resonator, the frequency position of the resonant drop in the transmission coefficient (S21) can be modulated up to 4 MHz. We anticipate that, once optimized, both the devices have the potential to reach single photon sensitivity. | 翻訳日:2023-02-16 15:23:54 公開日:2023-02-15 |
| # ATLAS実験における液体アルゴンカロリー計に蓄積されたエネルギーの計算のためのリカレントニューラルネットワークのファームウェア実装 Firmware implementation of a recurrent neural network for the computation of the energy deposited in the liquid argon calorimeter of the ATLAS experiment ( http://arxiv.org/abs/2302.07555v1 ) ライセンス: Link先を確認 | Georges Aad, Thomas Calvet, Nemer Chiedde, Robert Faure, Etienne Marie Fortin, Lauri Laatu, Emmanuel Monnier, Nairit Sur | (参考訳) ATLAS実験は、LHCにおける陽子-陽子衝突の産物である粒子の特性を測定する。
ATLAS検出器はLHCの高輝度化に先立って大幅にアップグレードされる。
ATLAS液体アルゴンカロリー計は検出器内で電磁的に相互作用する粒子のエネルギーを測定する。
このカロリー計の読み出し電子機器は、前述のATLASアップグレード中に交換される。
新しい電子ボードは、ファームウェアに埋め込まれたニューラルネットワークの実装を可能にするIntelの最先端のフィールドプログラマブルゲートアレイ(FPGA)に基づいている。
ニューラルネットワークは、カロリメータに蓄積されるエネルギーを計算するのに使用される現在の最適フィルタリングアルゴリズムよりも優れていることが示されている。
本稿では,ストラティックス10fpga上の熱量計に蓄積されるエネルギーの再構成を可能にするリカレントニューラルネットワーク(recurrent neural network, rnn)の実装について述べる。
高レベル合成(hls)言語の実装は高速プロトタイピングを可能にしたが、リソース使用量とレイテンシの面では厳しい要件を満たすには至らなかった。
超高速集積回路ハードウェア記述言語(VHDL)のさらなる最適化により、125 ns未満のレイテンシでFPGA当たりの384チャンネルの処理要求を満たすことができた。 The ATLAS experiment measures the properties of particles that are products of proton-proton collisions at the LHC. The ATLAS detector will undergo a major upgrade before the high luminosity phase of the LHC. The ATLAS liquid argon calorimeter measures the energy of particles interacting electromagnetically in the detector. The readout electronics of this calorimeter will be replaced during the aforementioned ATLAS upgrade. The new electronic boards will be based on state-of-the-art field-programmable gate arrays (FPGA) from Intel allowing the implementation of neural networks embedded in firmware. Neural networks have been shown to outperform the current optimal filtering algorithms used to compute the energy deposited in the calorimeter. This article presents the implementation of a recurrent neural network (RNN) allowing the reconstruction of the energy deposited in the calorimeter on Stratix 10 FPGAs. The implementation in high level synthesis (HLS) language allowed fast prototyping but fell short of meeting the stringent requirements in terms of resource usage and latency. Further optimisations in Very High-Speed Integrated Circuit Hardware Description Language (VHDL) allowed fulfilment of the requirements of processing 384 channels per FPGA with a latency smaller than 125 ns. | 翻訳日:2023-02-16 15:23:31 公開日:2023-02-15 |
| # 物理関数によるポストプロセッシングによる量子鍵分布 Quantum key distribution with post-processing driven by physical unclonable functions ( http://arxiv.org/abs/2302.07623v1 ) ライセンス: Link先を確認 | Georgios M. Nikolopoulos and Marc Fischlin | (参考訳) 量子鍵分配プロトコル(quantum key-distribution protocol)は、2人の誠実な遠隔当事者が強力な敵の存在下で共通の真のランダムな秘密鍵を確立することを可能にする。
このプリ共有秘密鍵は、量子通信の段階で得られた古典データの後処理において主に認証目的で使用され、中間者攻撃を防止する。
事前共有鍵の必要性は通常、量子鍵分配プロトコルの主な欠点と見なされる。
そこで本稿では,現在利用可能な量子鍵分配システムにおいて,物理的に実行不能な関数を統合できる条件について検討し,必要な事前共有鍵の生成と配布を容易にするため,システムのセキュリティに最小のコストを課す。
さらに、量子鍵分配ネットワークにおける物理的に不安定な関数の統合により、ネットワークに接続されたデバイスのリアルタイム認証が可能になる。 Quantum key-distribution protocols allow two honest distant parties to establish a common truly random secret key in the presence of powerful adversaries, provided that the two users share beforehand a short secret key. This pre-shared secret key is used mainly for authentication purposes in the post-processing of classical data that have been obtained during the quantum communication stage, and it prevents a man-in-the-middle attack. The necessity of a pre-shared key is usually considered as the main drawback of quantum key-distribution protocols, which becomes even stronger for large networks involving more that two users. Here we discuss the conditions under which physical unclonable function can be integrated in currently available quantum key-distribution systems, in order to facilitate the generation and the distribution of the necessary pre-shared key, with the smallest possible cost in the security of the systems. Moreover, the integration of physical unclonable functions in quantum key-distribution networks allows for real-time authentication of the devices that are connected to the network. | 翻訳日:2023-02-16 15:17:29 公開日:2023-02-15 |
| # 類似性・圧縮・局所ステップ:分散変分不等式のための効率的なコミュニケーションの3つの柱 Similarity, Compression and Local Steps: Three Pillars of Efficient Communications for Distributed Variational Inequalities ( http://arxiv.org/abs/2302.07615v1 ) ライセンス: Link先を確認 | Aleksandr Beznosikov, Alexander Gasnikov | (参考訳) 変分不等式は、最小化、サドル点、固定点問題を特別の場合として含む、広く柔軟な問題のクラスである。
そのため、平衡探索から逆学習まで様々な応用で変分不等式が用いられている。
データとモデルのサイズが増大する現在の現実は、現実世界の機械学習問題に対して並列コンピューティングと分散コンピューティングを必要とし、そのほとんどは変分不等式として表現できる。
一方、ほとんどの分散アプローチは通信コストという大きなボトルネックを抱えています。
通信ラウンドの総数と1ラウンドのコストの両方を削減する3つの主要な手法は、ローカル関数の類似性、送信された情報の圧縮、ローカル更新の利用である。
本稿では,これらすべてのアプローチを組み合わせる。
このような三重シナジーは、変分不等式やサドル問題、あるいは最小化問題に対しても以前に存在しなかった。
本稿では,通信複雑性の理論的保証が最良であり,分散変動不等式に対する他の手法よりもはるかに優れていることを示す。
理論的結果は、合成データセットと実データセットの逆学習実験によって確認される。 Variational inequalities are a broad and flexible class of problems that includes minimization, saddle point, fixed point problems as special cases. Therefore, variational inequalities are used in a variety of applications ranging from equilibrium search to adversarial learning. Today's realities with the increasing size of data and models demand parallel and distributed computing for real-world machine learning problems, most of which can be represented as variational inequalities. Meanwhile, most distributed approaches has a significant bottleneck - the cost of communications. The three main techniques to reduce both the total number of communication rounds and the cost of one such round are the use of similarity of local functions, compression of transmitted information and local updates. In this paper, we combine all these approaches. Such a triple synergy did not exist before for variational inequalities and saddle problems, nor even for minimization problems. The methods presented in this paper have the best theoretical guarantees of communication complexity and are significantly ahead of other methods for distributed variational inequalities. The theoretical results are confirmed by adversarial learning experiments on synthetic and real datasets. | 翻訳日:2023-02-16 15:17:13 公開日:2023-02-15 |
| # 最適圧縮に向けて:ジョイントプルーニングと量子化 Towards Optimal Compression: Joint Pruning and Quantization ( http://arxiv.org/abs/2302.07612v1 ) ライセンス: Link先を確認 | Ben Zandonati, Glenn Bucagu, Adrian Alan Pol, Maurizio Pierini, Olya Sirkin, Tal Kopetz | (参考訳) 深層ニューラルネットワークの圧縮は、リソース制約のあるハードウェア上でのモデル推論を最適化するために必要な段階となっている。
本稿では,ニューラルネットワーク探索とベイズに基づく手法の代替として,階層的な混合精度量子化とプルーニングを単一ヒューリスティックで統一するFITCompressを提案する。
FITCompressはFisher Information Metricと圧縮空間による経路計画を組み合わせることで、与えられたサイズと操作制約を単一ショットの微調整で選択する。
ImageNetの実験では,本手法の有効性を検証し,ベースラインと比較して精度と効率のトレードオフが良好であることを示す。
コンピュータビジョンベンチマークの他に、言語理解タスクにおいてBERTモデルを実験し、その最適圧縮への道を開いた。 Compression of deep neural networks has become a necessary stage for optimizing model inference on resource-constrained hardware. This paper presents FITCompress, a method for unifying layer-wise mixed precision quantization and pruning under a single heuristic, as an alternative to neural architecture search and Bayesian-based techniques. FITCompress combines the Fisher Information Metric, and path planning through compression space, to pick optimal configurations given size and operation constraints with single-shot fine-tuning. Experiments on ImageNet validate the method and show that our approach yields a better trade-off between accuracy and efficiency when compared to the baselines. Besides computer vision benchmarks, we experiment with the BERT model on a language understanding task, paving the way towards its optimal compression. | 翻訳日:2023-02-16 15:16:55 公開日:2023-02-15 |
| # 分布外検出のための正規化ログによる不確かさ推定 Uncertainty-Estimation with Normalized Logits for Out-of-Distribution Detection ( http://arxiv.org/abs/2302.07608v1 ) ライセンス: Link先を確認 | Mouxiao Huang, Yu Qiao | (参考訳) アウト・オブ・ディストリビューション(OOD)検出は、ディープラーニングモデルが誤った予測を行い、人工知能システムの安全性を確保するために重要である。
特に医療診断や自動運転のような安全クリティカルなアプリケーションでは、不正確な判断のコストは通常耐えられない。
しかしながら、ニューラルネットワークは過信問題に悩まされることが多く、トレーニングプロセス中に見られず、トレーニングデータ、すなわちIDデータとは無関係であるOODデータに対して高い信頼を与える。
予測の信頼性を決定することは依然として困難で難しい作業です。
本研究では,OOD検出のための頑健な学習手法であるUE-NL(Uncertainty-Estimation with Normalized Logits)を提案する。
1) UE-NLを用いたニューラルネットワークは,入力データの不確かさスコアを予測し,その不確かさをソフトマックス関数に付加することにより,トレーニング期間中に容易で硬いサンプルの学習強度を調整し,モデルが堅牢かつ正確に学習できるようにする。
2) UE-NLは、出力ノルムの増加が最適化プロセスから切り離すためにロジット上の定数ベクトルノルムを強制し、過信問題をある程度引き起こす。
(3)UE-NLはOODデータを検出するための新しい指標である不確実性スコアの尺度を提供する。
実験により、UE-NLは一般的なOODベンチマークで最高性能を達成し、他の方法でOODデータと誤解される可能性のあるノイズの多いIDデータに対してより堅牢であることが示された。 Out-of-distribution (OOD) detection is critical for preventing deep learning models from making incorrect predictions to ensure the safety of artificial intelligence systems. Especially in safety-critical applications such as medical diagnosis and autonomous driving, the cost of incorrect decisions is usually unbearable. However, neural networks often suffer from the overconfidence issue, making high confidence for OOD data which are never seen during training process and may be irrelevant to training data, namely in-distribution (ID) data. Determining the reliability of the prediction is still a difficult and challenging task. In this work, we propose Uncertainty-Estimation with Normalized Logits (UE-NL), a robust learning method for OOD detection, which has three main benefits. (1) Neural networks with UE-NL treat every ID sample equally by predicting the uncertainty score of input data and the uncertainty is added into softmax function to adjust the learning strength of easy and hard samples during training phase, making the model learn robustly and accurately. (2) UE-NL enforces a constant vector norm on the logits to decouple the effect of the increasing output norm from optimization process, which causes the overconfidence issue to some extent. (3) UE-NL provides a new metric, the magnitude of uncertainty score, to detect OOD data. Experiments demonstrate that UE-NL achieves top performance on common OOD benchmarks and is more robust to noisy ID data that may be misjudged as OOD data by other methods. | 翻訳日:2023-02-16 15:16:42 公開日:2023-02-15 |
| # レイリー距離近傍における2つの非コヒーレント光点源の同時測定 Joint optimal measurement for locating two incoherent optical point sources near the Rayleigh distance ( http://arxiv.org/abs/2302.07606v1 ) ライセンス: Link先を確認 | Yingying Shi and Xiao-Ming Lu | (参考訳) セントロイド推定と2つの非コヒーレント光学点源の分離推定の同時最適化は、不整合係数によるトレードオフ関係によって制限される。
レイリー距離において、非可換係数は消滅するので、トレードオフ関係はジョイント推定のための測定の同時最適化をもはや制限しない。
我々は、対称対数微分の作用素代数に関する精巧な解析により、そのような合同最適測定を構築する。
本研究は,この特異なイメージングモデルに対する協調的最適測定の存在を確かめるだけでなく,一般マルチパラメータ推定問題に対する測定適合性の条件を特徴付ける有望な方法を与える。 The simultaneous optimization of the centroid estimation and the separation estimation of two incoherent optical point sources is restricted by a tradeoff relation through an incompatibility coefficient. At the Rayleigh distance the incompatibility coefficient vanishes and thus the tradeoff relation no longer restricts the simultaneous optimization of measurement for a joint estimation. We construct such a joint optimal measurement by an elaborated analysis on the operator algebra of the symmetric logarithmic derivative. Our work not only confirms the existence of a joint optimal measurement for this specific imaging model, but also gives a promising method to characterize the condition on measurement compatibility for general multiparameter estimation problems. | 翻訳日:2023-02-16 15:16:13 公開日:2023-02-15 |
| # GSM支援ミリ波MIMOシステムにおける有限フィードバックを用いたハイブリッドビームフォーミングの深層学習 Deep Learning for Hybrid Beamforming with Finite Feedback in GSM Aided mmWave MIMO Systems ( http://arxiv.org/abs/2302.07601v1 ) ライセンス: Link先を確認 | Zhilin Lu, Xudong Zhang, Rui Zeng and Jintao Wang | (参考訳) ハイブリッドビームフォーミングはミリ波多重出力(MIMO)システムにおいて重要な技術として広く認識されている。
スペクトル効率を改善するため、一般化空間変調(GSM)も導入された。
しかし、ビームフォーミングに関する既存の研究の多くは、実用システムでは非現実的な完全チャネル状態情報(CSI)を前提としている。
本稿では,gsm assisted frequency division duplexing (fdd) mmwave mimoシステムにおいて,ダウンリンクパイロット訓練,チャネル推定,csiフィードバック,ハイブリッドビームフォーミングの合同最適化を検討する。
ディープラーニングの助けを借りて、GSMハイブリッドビームフォーマは、教師なし学習をエンドツーエンドで設計する。
実験の結果,GsmEFBNetというマルチレゾリューションネットワークは,従来のアルゴリズムよりも少ないフィードバックビットで達成可能な速度に到達できることがわかった。 Hybrid beamforming is widely recognized as an important technique for millimeter wave (mmWave) multiple input multiple output (MIMO) systems. Generalized spatial modulation (GSM) is further introduced to improve the spectrum efficiency. However, most of the existing works on beamforming assume the perfect channel state information (CSI), which is unrealistic in practical systems. In this paper, joint optimization of downlink pilot training, channel estimation, CSI feedback, and hybrid beamforming is considered in GSM aided frequency division duplexing (FDD) mmWave MIMO systems. With the help of deep learning, the GSM hybrid beamformers are designed via unsupervised learning in an end-to-end way. Experiments show that the proposed multi-resolution network named GsmEFBNet can reach a better achievable rate with fewer feedback bits compared with the conventional algorithm. | 翻訳日:2023-02-16 15:16:00 公開日:2023-02-15 |
| # Xilinx Versal上でのディープラーニング推論のための行列乗算に向けて Toward matrix multiplication for deep learning inference on the Xilinx Versal ( http://arxiv.org/abs/2302.07594v1 ) ライセンス: Link先を確認 | Jie Lei, Jos\'e Flich, Enrique S. Quintana-Ort\'i | (参考訳) ディープニューラルネットワークの多くの人工知能(AI)タスクに対する顕著なポジティブな影響は、様々な高性能アルゴリズムや特別なプロセッサやアクセラレータの開発につながった。
本稿では,従来のプロセッサアーキテクチャにおける汎用行列乗法(GEMM)の現代的実現の基礎となる原理が,Xilinx Versalプラットフォームに埋め込まれたAIエンジン(AIE)タイルのようなエキゾチックなアクセラレータ上での深層学習(DL)で発生する演算のタイプに対して,高い性能を実現する上でも有効であることを示す。
特に、Xilinx Versal VCK190上のGEMMカーネルのプロトタイプ実装による実験結果により、AIEタイル上で期待できる理論ピークの86.7%に近い性能を16ビット整数オペランドに対して提供する。 The remarkable positive impact of Deep Neural Networks on many Artificial Intelligence (AI) tasks has led to the development of various high performance algorithms as well as specialized processors and accelerators. In this paper we address this scenario by demonstrating that the principles underlying the modern realization of the general matrix multiplication (GEMM) in conventional processor architectures, are also valid to achieve high performance for the type of operations that arise in deep learning (DL) on an exotic accelerator such as the AI Engine (AIE) tile embedded in Xilinx Versal platforms. In particular, our experimental results with a prototype implementation of the GEMM kernel, on a Xilinx Versal VCK190, delivers performance close to 86.7% of the theoretical peak that can be expected on an AIE tile, for 16-bit integer operands. | 翻訳日:2023-02-16 15:15:47 公開日:2023-02-15 |
| # ARGUS: ステルスIoT侵入攻撃のコンテキストベース検出 ARGUS: Context-Based Detection of Stealthy IoT Infiltration Attacks ( http://arxiv.org/abs/2302.07589v1 ) ライセンス: Link先を確認 | Phillip Rieger, Marco Chilese, Reham Mohamed, Markus Miettinen, Hossein Fereidooni, Ahmad-Reza Sadeghi | (参考訳) IoTアプリケーションドメイン、デバイスの多様性、接続性は急速に伸びている。
iotデバイスは、スマートホームや建物、スマートシティ、スマートファクトリーなどのさまざまな機能を制御し、攻撃者にとって魅力的なターゲットとなる。
一方、異なるアプリケーションのシナリオの大きなばらつきとデバイス固有の異種性は、異常なIoTデバイスの振る舞いを確実に検出し、良質な振る舞いと区別することが非常に困難である。
既存の攻撃検出のアプローチは、主に個々のIoTデバイスを直接競合する攻撃に限られている。
iotシステムのコントロールプレーンを利用して、スマートホーム住民がいない間にスマートロックを開く、など、意図しない/危険なコンテキストでアクションをトリガーする攻撃は検出できない。
本稿では,この問題に対処し,攻撃者がIoTデバイスアクションを悪意を持って実行して目標を達成する,IoT環境に対するコンテキスト攻撃を検出する最初の自己学習侵入検知システムARGUSを提案する。
ARGUSは、環境中のIoTデバイスの状態と動作に基づいてコンテキスト設定を監視する。
教師なしディープニューラルネットワーク(DNN)は、典型的なコンテキストデバイス動作をモデル化し、異常なコンテキスト設定で実行されるアクションを検出するために使用される。
この教師なしのアプローチにより、ARGUSは既知の攻撃を検出するだけでなく、新たな攻撃を検出することができる。
我々は、異質な実世界のスマートホーム設定でARGUSを評価し、設定毎に少なくとも99.64%のF1スコアを達成し、偽陽性率(FPR)は0.03%である。 IoT application domains, device diversity and connectivity are rapidly growing. IoT devices control various functions in smart homes and buildings, smart cities, and smart factories, making these devices an attractive target for attackers. On the other hand, the large variability of different application scenarios and inherent heterogeneity of devices make it very challenging to reliably detect abnormal IoT device behaviors and distinguish these from benign behaviors. Existing approaches for detecting attacks are mostly limited to attacks directly compromising individual IoT devices, or, require predefined detection policies. They cannot detect attacks that utilize the control plane of the IoT system to trigger actions in an unintended/malicious context, e.g., opening a smart lock while the smart home residents are absent. In this paper, we tackle this problem and propose ARGUS, the first self-learning intrusion detection system for detecting contextual attacks on IoT environments, in which the attacker maliciously invokes IoT device actions to reach its goals. ARGUS monitors the contextual setting based on the state and actions of IoT devices in the environment. An unsupervised Deep Neural Network (DNN) is used for modeling the typical contextual device behavior and detecting actions taking place in abnormal contextual settings. This unsupervised approach ensures that ARGUS is not restricted to detecting previously known attacks but is also able to detect new attacks. We evaluated ARGUS on heterogeneous real-world smart-home settings and achieve at least an F1-Score of 99.64% for each setup, with a false positive rate (FPR) of at most 0.03%. | 翻訳日:2023-02-16 15:15:29 公開日:2023-02-15 |
| # 次の単語予測に基づく深層ニューラルネットワークにおける単語クラス表現の自然発生 Word class representations spontaneously emerge in a deep neural network trained on next word prediction ( http://arxiv.org/abs/2302.07588v1 ) ライセンス: Link先を確認 | Kishore Surendra, Achim Schilling, Paul Stoewer, Andreas Maier and Patrick Krauss | (参考訳) 人間はどのようにして言語を学習し、最初の言語を全く学べるのか?
これらの基本的な疑問はいまだに議論されている。
現代言語学では、全く正反対の答えを与える2つの主要な学派がある。
チョムスキーの普遍文法理論によれば、子供は言語環境において十分なデータに晒されていないため、言語は学べない。
対照的に、用法に基づく言語モデルでは、言語構造と言語使用の間に深い関係がある。
特に、文脈的精神処理と精神表現は、あらゆるレベルで実際の言語の使用の複雑さを捉える認知能力を有すると仮定される。
主な例は構文、すなわち、単語が文のようなより大きな単位に組み立てられる規則である。
通常、構文規則は単語クラスのシーケンスとして表現される。
しかし, 言語習得において, 言語クラスが自然であるかどうか, 普遍文法によって示唆されるか, あるいは言語習得中に現れるかは, 使用法に基づくアプローチによって示唆されている。
本稿では,機械学習と自然言語処理の観点からこの問題に対処する。
特に,次の単語の予測に人工深層ニューラルネットワークを訓練し,連続した単語のシーケンスを入力として提供した。
その後,ニューラルネットワークの隠れ層における活性化パターンの解析を行った。
ニューラルネットワークは、学習中に構文規則や単語のクラスに関する明示的な情報を受け取らなかったが、9ワード入力シーケンスの内部表現は出力として予測される単語クラスに従ってクラスタ化されていることがわかった。
この驚くべき結果は、人間の脳でも、言語習得中の予測符号化と処理の結果、単語クラスのような抽象的な表現カテゴリーが自然に現れることを示唆している。 How do humans learn language, and can the first language be learned at all? These fundamental questions are still hotly debated. In contemporary linguistics, there are two major schools of thought that give completely opposite answers. According to Chomsky's theory of universal grammar, language cannot be learned because children are not exposed to sufficient data in their linguistic environment. In contrast, usage-based models of language assume a profound relationship between language structure and language use. In particular, contextual mental processing and mental representations are assumed to have the cognitive capacity to capture the complexity of actual language use at all levels. The prime example is syntax, i.e., the rules by which words are assembled into larger units such as sentences. Typically, syntactic rules are expressed as sequences of word classes. However, it remains unclear whether word classes are innate, as implied by universal grammar, or whether they emerge during language acquisition, as suggested by usage-based approaches. Here, we address this issue from a machine learning and natural language processing perspective. In particular, we trained an artificial deep neural network on predicting the next word, provided sequences of consecutive words as input. Subsequently, we analyzed the emerging activation patterns in the hidden layers of the neural network. Strikingly, we find that the internal representations of nine-word input sequences cluster according to the word class of the tenth word to be predicted as output, even though the neural network did not receive any explicit information about syntactic rules or word classes during training. This surprising result suggests, that also in the human brain, abstract representational categories such as word classes may naturally emerge as a consequence of predictive coding and processing during language acquisition. | 翻訳日:2023-02-16 15:15:03 公開日:2023-02-15 |
| # ForceFormer: 歩行者軌道予測のためのソーシャルフォースとトランスフォーマー ForceFormer: Exploring Social Force and Transformer for Pedestrian Trajectory Prediction ( http://arxiv.org/abs/2302.07583v1 ) ライセンス: Link先を確認 | Weicheng Zhang, Hao Cheng, Fatema T. Johora and Monika Sester | (参考訳) 高度にインタラクティブなシーンにおける目標情報に基づく歩行者の軌道予測は、インテリジェントな交通システムと自動運転への重要な一歩である。
課題は,(1)歩行者密度の高いシナリオにおける複雑な社会的相互作用と,(2)過去の行動情報と効果的に関連づけるための目標情報の限られた利用である。
これらの課題に対処するため,社会力をトランスフォーマーベースの確率的生成モデルバックボーンに統合し,ForceFormerと呼ばれる新たな目標ベースの軌道予測器を提案する。
目的地位置を入力特徴として単純に使用するほとんどの先行作品と区別し、目的地からの駆動力を利用して歩行者の目標の誘導を効率的にシミュレートする。
さらに、近隣の歩行者の回避行動を記述する別の入力特徴として、反発力が用いられる。
広汎な実験により,提案手法は最先端モデルとの距離誤差によって測定されるオンパー性能を実現するが,特に広く使用されている歩行者データセットの密度の高い歩行者シナリオにおいて,衝突を明らかに減少させることがわかった。 Predicting trajectories of pedestrians based on goal information in highly interactive scenes is a crucial step toward Intelligent Transportation Systems and Autonomous Driving. The challenges of this task come from two key sources: (1) complex social interactions in high pedestrian density scenarios and (2) limited utilization of goal information to effectively associate with past motion information. To address these difficulties, we integrate social forces into a Transformer-based stochastic generative model backbone and propose a new goal-based trajectory predictor called ForceFormer. Differentiating from most prior works that simply use the destination position as an input feature, we leverage the driving force from the destination to efficiently simulate the guidance of a target on a pedestrian. Additionally, repulsive forces are used as another input feature to describe the avoidance action among neighboring pedestrians. Extensive experiments show that our proposed method achieves on-par performance measured by distance errors with the state-of-the-art models but evidently decreases collisions, especially in dense pedestrian scenarios on widely used pedestrian datasets. | 翻訳日:2023-02-16 15:14:36 公開日:2023-02-15 |
| # 部分空間投影によるオートエンコーダに基づく異常検出 A Subspace Projection Approach to Autoencoder-based Anomaly Detection ( http://arxiv.org/abs/2302.07643v1 ) ライセンス: Link先を確認 | Jinho Choi, Jihong Park, Abhinav Japesh, Adarsh | (参考訳) Autoencoder(AE)は、ニューラルネットワーク(NN)アーキテクチャで、出力時に入力を再構築するように訓練されている。
新しい入力サンプルの再構成誤差を測定することで、AEはトレーニングされたデータ分布から逸脱した異常サンプルを検出することができる。
成功の鍵は、反復的再訓練を通じて一般的にバランスをとるべきトレーニングデータを超えて、AEの一般化能力を制限する一方で、高忠実度再構築(HFR)を達成することである。
あるいは、トレーニングされたAEがHFRを達成する部分空間に新たな入力を投影することにより、正常と異常なサンプル再構成エラーのギャップを増大させることにより、AEに基づく異常検出の新たなフレームワーク、HFR-AEを提案する。
シミュレーションの結果、HFR-AEは、Vanilla AEベースの異常検出と比較して、異なるAEアーキテクチャと設定の下で受信機動作特性曲線(AUROC)の領域を最大13.4%改善する。 Autoencoder (AE) is a neural network (NN) architecture that is trained to reconstruct an input at its output. By measuring the reconstruction errors of new input samples, AE can detect anomalous samples deviated from the trained data distribution. The key to success is to achieve high-fidelity reconstruction (HFR) while restricting AE's capability of generalization beyond training data, which should be balanced commonly via iterative re-training. Alternatively, we propose a novel framework of AE-based anomaly detection, coined HFR-AE, by projecting new inputs into a subspace wherein the trained AE achieves HFR, thereby increasing the gap between normal and anomalous sample reconstruction errors. Simulation results corroborate that HFR-AE improves the area under receiver operating characteristic curve (AUROC) under different AE architectures and settings by up to 13.4% compared to Vanilla AE-based anomaly detection. | 翻訳日:2023-02-16 15:06:56 公開日:2023-02-15 |
| # ファイバベースパルスレーザーアブレーションを用いた小型原子源 Compact atom source using fiber-based pulsed laser ablation ( http://arxiv.org/abs/2302.07639v1 ) ライセンス: Link先を確認 | Alto Osada, Ryuta Tamaki, Wenbo Lin, Ippei Nakamura, and Atsushi Noguchi | (参考訳) ファイバベースのパルスレーザーアブレーションに基づく原子源の設計, 実証, 特性評価を行った。
105〜$\mu$mコアのマルチモードファイバを介して、最大225〜$\mu$jのナノ秒パルスレーザーを商業的に利用可能なミニチュアレンズシステムを用いて、srtio$_3$ターゲットをアブレーションし、中性ストロンチウム原子のジェットを生成することに成功した。
この装置は、ファイバフェセットやレンズに明らかなダメージを与えることなく、6万サイクルのパルス送達と照射に耐える。
生成したストロンチウムビームは分光法により特徴付けられ、パルスレーザーアブレーションに基づく原子源の典型的な800〜Kの逆温度と2\,300~m/sの長手速度を示す。
単一のアブレーションパルスによって生成される原子の数は2\times 10^5$と推定される。
本装置は、小型でcryo互換のファイバピグテール原子源を提供し、デバイスフットプリントを最小化し、真空システムの複雑さを低減し、コールド原子実験の開発をさらに促進する。
また、原子・分子科学にも興味深い応用が考えられる。 We designed, demonstrated, and characterized an atom source based on fiber-based pulsed laser ablation. By using commercially available miniature lens system for focusing nanosecond pulsed laser of up to 225~$\mu$J delivered through a multimode fiber of 105~$\mu$m core, we successfully ablate a SrTiO$_3$ target and generate a jet of neutral strontium atoms, though our method can be applied to other transparent ablation targets containing materials under concern. Our device endures 6\,000 cycles of pulse delivery and irradiation without noticeable damage on the fiber facets and lenses. The generated strontium beam is characterized with spectroscopic method and is revealed to exhibit the transverse temperature of 800~K and longitudinal velocity of 2\,300~m/s, which are typical of pulsed-laser-ablation-based atom source. The number of atoms generated by a single ablation pulse is estimated to be $2\times 10^5$. Our device provides a compact, cryo-compatible fiber-pigtailed atom source with minimized device footprints and reduced complexity of vacuum systems to further promote the developments of cold-atom experiments. It may also find interesting applications in atomic and molecular sciences. | 翻訳日:2023-02-16 15:06:24 公開日:2023-02-15 |
| # DP-BARTによる局所微分プライバシー下でのプライバタイズテキストの書き直し DP-BART for Privatized Text Rewriting under Local Differential Privacy ( http://arxiv.org/abs/2302.07636v1 ) ライセンス: Link先を確認 | Timour Igamberdiev and Ivan Habernal | (参考訳) プライバタイズされたテキストの書き直しとローカル差分プライバシー(LDP)は、個人に対するプライバシー保護を正式に保証しながら機密文書の共有を可能にする最近のアプローチである。
しかし、既存のシステムは、形式的な数学的欠陥、非現実的なプライバシー保証、個々の単語のみの民営化、透明性と再現性の欠如など、いくつかの問題に直面している。
本稿では,既存の LDP システムに大きく勝る「DP-BART」を提案する。
提案手法では,新しいクリッピング法,反復プルーニング法,さらに,dp保証に必要なノイズ量を大幅に削減する内部表現の訓練を行う。
異なるサイズの5つのテキストデータセット上で実験を行い、異なるプライバシー保証で書き直し、下流のテキスト分類タスクで書き直したテキストを評価する。
最後に, 民営化テキスト書き換え手法とその限界について, 高ノイズ要求につながるldpパラダイムにおける厳格なテキスト隣接制約の問題など, 徹底的に議論する。 Privatized text rewriting with local differential privacy (LDP) is a recent approach that enables sharing of sensitive textual documents while formally guaranteeing privacy protection to individuals. However, existing systems face several issues, such as formal mathematical flaws, unrealistic privacy guarantees, privatization of only individual words, as well as a lack of transparency and reproducibility. In this paper, we propose a new system 'DP-BART' that largely outperforms existing LDP systems. Our approach uses a novel clipping method, iterative pruning, and further training of internal representations which drastically reduces the amount of noise required for DP guarantees. We run experiments on five textual datasets of varying sizes, rewriting them at different privacy guarantees and evaluating the rewritten texts on downstream text classification tasks. Finally, we thoroughly discuss the privatized text rewriting approach and its limitations, including the problem of the strict text adjacency constraint in the LDP paradigm that leads to the high noise requirement. | 翻訳日:2023-02-16 15:06:01 公開日:2023-02-15 |
| # 時間依存パラメータを持つ比例ステップダブルバリアオプションの経路積分法 Path Integral Method for Pricing Proportional Step Double-Barrier Option with Time Dependent Parameters ( http://arxiv.org/abs/2302.07631v1 ) ライセンス: Link先を確認 | Qi Chen and Chao Guo | (参考訳) 量子力学におけるパス積分法は、バリアオプション価格の新しい考え方を提供する。
比例二重バリアステップ(PDBS)では、オプション価格変更プロセスは有限対称二乗ポテンシャル井戸内を移動する粒子に類似している。
我々は、時間依存利子率とボラティリティを備えたPDBSオプションの価格カーネルを導出した。
資産価格の関数としてのオプション価格の数値的な結果も示される。
経路積分法は、曲線境界を持つPDBSオプションの価格設定に容易に一般化できる。 Path integral method in quantum mechanics provides a new thinking for barrier option pricing. For proportional double-barrier step (PDBS) options, the option price changing process is analogous to a particle moving in a finite symmetric square potential well. We have derived the pricing kernel of PDBS options with time dependent interest rate and volatility. Numerical results of option price as a function of underlying asset price are shown as well. Path integral method can be easily generalized to the pricing of PDBS options with curved boundaries. | 翻訳日:2023-02-16 15:05:43 公開日:2023-02-15 |
| # SNNのためのフレームワーク: データサイエンス指向ソフトウェアの概要とSpykeTorchの拡張 Frameworks for SNNs: a Review of Data Science-oriented Software and an Expansion of SpykeTorch ( http://arxiv.org/abs/2302.07624v1 ) ライセンス: Link先を確認 | Davide Liberato Manna, Alex Vicente-Sola, Paul Kirkland, Trevor Joseph Bihl, Gaetano Di Caterina | (参考訳) ニューロモルフィック(NM)分野における機械学習(ML)応用のための効果的な学習システムの開発には、広範な実験とシミュレーションが必要である。
ソフトウェアフレームワークは、研究者が活用できる利用可能なツールセットを提供することで、このプロセスを援助し、緩和する。
最近のnm技術に対する関心は、これを行ういくつかの新しいフレームワークの開発を目にしており、神経科学分野に属する既存のライブラリのパノラマを補っている。
この研究は、データサイエンスアプリケーションに特化したスパイキングニューラルネットワーク(SNN)の開発のための9つのフレームワークをレビューする。
我々は、スパイクニューロンモデルと学習ルールが利用可能であることを強調し、異なるタイプの研究を行うための最も適切なフレームワークに関する決定をより容易に直接的に行えるようにする。
さらに、私たちはSpykeTorchフレームワークを拡張して、SNNに組み込むニューロンモデルのより広範な選択肢にアクセスし、コードを公開しています。 Developing effective learning systems for Machine Learning (ML) applications in the Neuromorphic (NM) field requires extensive experimentation and simulation. Software frameworks aid and ease this process by providing a set of ready-to-use tools that researchers can leverage. The recent interest in NM technology has seen the development of several new frameworks that do this, and that add up to the panorama of already existing libraries that belong to neuroscience fields. This work reviews 9 frameworks for the development of Spiking Neural Networks (SNNs) that are specifically oriented towards data science applications. We emphasize the availability of spiking neuron models and learning rules to more easily direct decisions on the most suitable frameworks to carry out different types of research. Furthermore, we present an extension to the SpykeTorch framework that gives users access to a much broader choice of neuron models to embed in SNNs and make the code publicly available. | 翻訳日:2023-02-16 15:05:37 公開日:2023-02-15 |
| # グラフベースリエントレンシーフリー意味解析について On graph-based reentrancy-free semantic parsing ( http://arxiv.org/abs/2302.07679v1 ) ライセンス: Link先を確認 | Alban Petit, Caio Corro | (参考訳) 本稿では,(1)Seq2seqモデルが合成一般化タスクで失敗する,(2)句構造解析を用いた以前の研究は,木バンクで観察された意味解析の全てをカバーできない,という2つの問題を解消する意味解析手法を提案する。
MAP推論と潜在タグアンカリング(弱教師付き学習が要求される)の両方がNPハード問題であることを示す。
本稿では,制約平滑化と条件勾配に基づく2つの最適化アルゴリズムを提案する。
実験的に、我々はGeoquery, Scan, Clevrについて、すなわち分割と合成一般化のテストの両方について、最先端の結果を提供する。 We propose a novel graph-based approach for semantic parsing that resolves two problems observed in the literature: (1) seq2seq models fail on compositional generalization tasks; (2) previous work using phrase structure parsers cannot cover all the semantic parses observed in treebanks. We prove that both MAP inference and latent tag anchoring (required for weakly-supervised learning) are NP-hard problems. We propose two optimization algorithms based on constraint smoothing and conditional gradient to approximately solve these inference problems. Experimentally, our approach delivers state-of-the-art results on Geoquery, Scan and Clevr, both for i.i.d. splits and for splits that test for compositional generalization. | 翻訳日:2023-02-16 14:59:30 公開日:2023-02-15 |
| # ランダム化グラウバー状態を用いた量子鍵分布 Quantum Public Key Distribution using Randomized Glauber States ( http://arxiv.org/abs/2302.07678v1 ) ライセンス: Link先を確認 | Randy Kuang, Nicolas Bettenburg | (参考訳) 最先端量子鍵分布(qkd)は量子測定における量子ビットの不確実性原理に基づいており、理論的には無条件に安全であることが証明されている。
過去30年間で、QKDは単一の光子を情報担体として探索されてきた。
近年,情報担体として弱コヒーレントレーザーパルスの利用が注目されている。
本稿では,ランダム化グラウバー状態を用いた純光チャネル上の新しい量子鍵分布機構を提案する。
提案機構は公開鍵封筒の量子力学的実装によく似ている。
提案手法では,経路認証と中間者攻撃回避のための物理的対策を検討する。
他の攻撃ベクトルもQPKE、不確実性原理、DPSK変調技術を利用して効果的に軽減することができる。 State-of-the-art Quantum Key Distribution (QKD) is based on the uncertainty principle of qubits on quantum measurements and is theoretically proven to be unconditionally secure. Over the past three decades, QKD has been explored with single photons as the information carrier. More recently, attention has shifted towards using weak coherent laser pulses as the information carrier. In this paper, we propose a novel quantum key distribution mechanism over a pure optical channel using randomized Glauber states. The proposed mechanism closely resembles a quantum mechanical implementation of the public key envelope idea. For the proposed solution, we explore physical countermeasures to provide path authentication and to avoid man-in-the-middle attacks. Other attack vectors can also be effectively mitigated by leveraging the QPKE, the uncertainty principle and the DPSK modulation technique. | 翻訳日:2023-02-16 14:59:16 公開日:2023-02-15 |
| # 統計モデルに対するベイズ連関推論 Bayesian Federated Inference for Statistical Models ( http://arxiv.org/abs/2302.07677v1 ) ライセンス: Link先を確認 | Marianne A. Jonker, Hassan Pazira, Anthony CC Coolen | (参考訳) 多変量統計分析による予測因子の同定は、利用可能なデータセットが小さすぎるため、稀な疾患では不可能であることが多い。
異なる医療センターからのデータを単一の(より大きな)データベースに組み込むことでこの問題が軽減されるが、実際には規制とロジスティックの問題のために困難である。
Federated Learning(FL)は、データセットがマージされた場合に推論されたであろう、別のデータセンターのローカル推論から構築することを目的とした機械学習アプローチである。
実際にデータを生成することなく、より大きなデータセットの統計力を収集しようとしている。
FL戦略は必ずしも小さなデータセットに対して実現可能であるとは限らない。
そこで本稿では,FLと同じ目的のマルチセンターデータに対して,ベイズ連邦推論(BFI)フレームワークを改良し,実装する。
BFIフレームワークは、最適なパラメータ値だけでなく、後続パラメータ分布の付加的な特徴をローカルに推論することで、小さなデータセットに対処するように設計されており、FLで使用される情報以上の情報を取得する。
BFIには、中心をまたいだ単一の推論サイクルが十分であるという利点があるが、FLには複数のサイクルが必要である。
シミュレーションおよび実生活データに基づいて提案手法の性能を定量化する。 Identifying predictive factors via multivariable statistical analysis is for rare diseases often impossible because the data sets available are too small. Combining data from different medical centers into a single (larger) database would alleviate this problem, but is in practice challenging due to regulatory and logistic problems. Federated Learning (FL) is a machine learning approach that aims to construct from local inferences in separate data centers what would have been inferred had the data sets been merged. It seeks to harvest the statistical power of larger data sets without actually creating them. The FL strategy is not always feasible for small data sets. Therefore, in this paper we refine and implement an alternative Bayesian Federated Inference (BFI) framework for multi center data with the same aim as FL. The BFI framework is designed to cope with small data sets by inferring locally not only the optimal parameter values, but also additional features of the posterior parameter distribution, capturing information beyond that is used in FL. BFI has the additional benefit that a single inference cycle across the centers is sufficient, whereas FL needs multiple cycles. We quantify the performance of the proposed methodology on simulated and real life data. | 翻訳日:2023-02-16 14:59:03 公開日:2023-02-15 |
| # DIVOTrack: DIVerse Open Scenesにおけるクロスビューマルチオブジェクトトラッキングのための新しいデータセットとベースライン手法 DIVOTrack: A Novel Dataset and Baseline Method for Cross-View Multi-Object Tracking in DIVerse Open Scenes ( http://arxiv.org/abs/2302.07676v1 ) ライセンス: Link先を確認 | Shenghao Hao, Peiyuan Liu, Yibing Zhan, Kaixun Jin, Zuozhu Liu, Mingli Song, Jenq-Neng Hwang, Gaoang Wang | (参考訳) クロスビューマルチオブジェクトトラッキングは、フレームとカメラビューの間のオブジェクトをかなりのオーバーラップでリンクすることを目的としている。
近年、クロスビューマルチオブジェクト追跡が注目されているが、既存のデータセットにはいくつかの問題がある。
1)現実のシナリオの欠如。
2)多様な場面の欠如
3)少数の線路を所有している。
4) 静止カメラのみを含むこと、及び
5) 標準ベンチマークの欠如は,クロスビュー追跡手法の調査と比較を妨げている。
上記の問題を解決するために、DIVOTrackを紹介した。DIVOTrackは、DIVerse Openのシーンに、現実的および非実験的な環境で歩行者を密に追跡するクロスビューマルチオブジェクト追跡データセットである。
私たちのdivotrackには、10の異なるシナリオと550のクロスビュートラックがあり、現在利用可能なすべてのクロスビューマルチオブジェクトトラッキングデータセットを上回っています。
さらに、オブジェクト検出、単一ビューアソシエーション、オールインワン埋め込みモデルとのクロスビューマッチングを学習するCrossMOTという、統合されたジョイント検出およびクロスビュートラッキングフレームワークを備えた新しいベースラインクロスビュートラッキング手法を提案する。
最後に,現在の手法の概要と標準ベンチマークのセットをdivotrackと合わせて,公平な比較を行い,現在のアプローチと提案するクロスモットを総合的に分析する。
データセットとコードはhttps://github.com/shengyuhao/divotrackで入手できる。 Cross-view multi-object tracking aims to link objects between frames and camera views with substantial overlaps. Although cross-view multi-object tracking has received increased attention in recent years, existing datasets still have several issues, including 1) missing real-world scenarios, 2) lacking diverse scenes, 3) owning a limited number of tracks, 4) comprising only static cameras, and 5) lacking standard benchmarks, which hinder the investigation and comparison of cross-view tracking methods. To solve the aforementioned issues, we introduce DIVOTrack: a new cross-view multi-object tracking dataset for DIVerse Open scenes with dense tracking pedestrians in realistic and non-experimental environments. Our DIVOTrack has ten distinct scenarios and 550 cross-view tracks, surpassing all cross-view multi-object tracking datasets currently available. Furthermore, we provide a novel baseline cross-view tracking method with a unified joint detection and cross-view tracking framework named CrossMOT, which learns object detection, single-view association, and cross-view matching with an all-in-one embedding model. Finally, we present a summary of current methodologies and a set of standard benchmarks with our DIVOTrack to provide a fair comparison and conduct a comprehensive analysis of current approaches and our proposed CrossMOT. The dataset and code are available at https://github.com/shengyuhao/DIVOTrack. | 翻訳日:2023-02-16 14:58:45 公開日:2023-02-15 |
| # コンフォーマル予測による超信頼性低レイテンシトラフィックの動的スケジューリング Guaranteed Dynamic Scheduling of Ultra-Reliable Low-Latency Traffic via Conformal Prediction ( http://arxiv.org/abs/2302.07675v1 ) ライセンス: Link先を確認 | Kfir M. Cohen, Sangwoo Park, Osvaldo Simeone, Petar Popovski, and Shlomo Shamai (Shitz) | (参考訳) アップリンクにおける超信頼性・低遅延トラフィック(urllc)の動的スケジューリングは、必要に応じてリソースを割り当てるだけで、モバイルブロードバンド(embb)デバイスなどの共存サービスの効率を大幅に向上させることができる。
主な課題は、URLLCパケット生成のプロセスの不確実性によるものである。
実際には、そのような予測は生成されるURLLCデータの量を過大評価または過小評価し、URLLCパケットに対してプリエンプティブに割り当てられるリソースの過剰または不足を生じる可能性がある。
本稿では,urllcパケット用の新しいスケジューラを提案する。urllcトラフィック予測器の品質に関わらず,信頼性とレイテンシに関する形式的保証を提供する。
提案手法は,オンライン整合予測(CP)の最近の進歩を活用し,設計者が設定した信頼性とレイテンシの要件を満たすために,割り当てリソースの量を動的に調整する原理に従う。 The dynamic scheduling of ultra-reliable and low-latency traffic (URLLC) in the uplink can significantly enhance the efficiency of coexisting services, such as enhanced mobile broadband (eMBB) devices, by only allocating resources when necessary. The main challenge is posed by the uncertainty in the process of URLLC packet generation, which mandates the use of predictors for URLLC traffic in the coming frames. In practice, such prediction may overestimate or underestimate the amount of URLLC data to be generated, yielding either an excessive or an insufficient amount of resources to be pre-emptively allocated for URLLC packets. In this paper, we introduce a novel scheduler for URLLC packets that provides formal guarantees on reliability and latency irrespective of the quality of the URLLC traffic predictor. The proposed method leverages recent advances in online conformal prediction (CP), and follows the principle of dynamically adjusting the amount of allocated resources so as to meet reliability and latency requirements set by the designer. | 翻訳日:2023-02-16 14:58:20 公開日:2023-02-15 |
| # 離散ヒルベルト空間におけるシャノン完全秘密性 Shannon Perfect Secrecy in a Discrete Hilbert Space ( http://arxiv.org/abs/2302.07671v1 ) ライセンス: Link先を確認 | Randy Kuang, Nicolas Bettenburg | (参考訳) ワンタイムパッド (OTP) は1949年にシャノンによって完全に安全であることが数学的に証明された。
我々は古典的 OTP を n ビット有限体から有限体上の対称群全体へ拡張することを提案する。
この文脈において、対称群は n ビットの計算基底上の離散ヒルベルト球面 (DHS) で表すことができる。
量子コンピューティングにおいて複素体上で定義される連続ヒルベルト空間とは異なり、 DHS は有限体 GF(2) 上で定義される。
この DHS 内において、対称群全体は n ビット二進置換行列の完全集合によって完全に記述することができる。
プレーンテキストの符号化は、対称群から順列行列をランダムに選択して、符号化されるデータに対応する状態に対応する計算基底ベクトルに乗算することで行うことができる。
そして、得られたベクトルを暗号文として出力状態に変換する。
復号は同一の手順であるが、事前共有置換行列の転置を伴う。
この拡張の下では、古典的 OTP の 1-to-1 写像は、離散ヒルベルト空間において等しく分離される。
置換行列間の不確実性関係は、選択されたパッドを保護し、M置換行列(Quantum permutation pad、QPP)と呼ばれる。
QPPは古典的定式化の完全秘密性を維持できるだけでなく、完全秘密性を無効にすることなく再利用することができる。
拡張されたシャノン完全機密は、暗号文Cが平文Pとパッドに関する情報を全く与えないように記述される。 The One-time-pad (OTP) was mathematically proven to be perfectly secure by Shannon in 1949. We propose to extend the classical OTP from an n-bit finite field to the entire symmetric group over the finite field. Within this context the symmetric group can be represented by a discrete Hilbert sphere (DHS) over an n-bit computational basis. Unlike the continuous Hilbert space defined over a complex field in quantum computing, a DHS is defined over the finite field GF(2). Within this DHS, the entire symmetric group can be completely described by the complete set of n-bit binary permutation matrices. Encoding of a plaintext can be done by randomly selecting a permutation matrix from the symmetric group to multiply with the computational basis vector associated with the state corresponding to the data to be encoded. Then, the resulting vector is converted to an output state as the ciphertext. The decoding is the same procedure but with the transpose of the pre-shared permutation matrix. We demonstrate that under this extension, the 1-to-1 mapping in the classical OTP is equally likely decoupled in Discrete Hilbert Space. The uncertainty relationship between permutation matrices protects the selected pad, consisting of M permutation matrices (also called Quantum permutation pad, or QPP). QPP not only maintains the perfect secrecy feature of the classical formulation but is also reusable without invalidating the perfect secrecy property. The extended Shannon perfect secrecy is then stated such that the ciphertext C gives absolutely no information about the plaintext P and the pad. | 翻訳日:2023-02-16 14:58:01 公開日:2023-02-15 |
| # 類似分布校正による教師なしハッシュ Unsupervised Hashing via Similarity Distribution Calibration ( http://arxiv.org/abs/2302.07669v1 ) ライセンス: Link先を確認 | Kam Woh Ng, Xiatian Zhu, Jiun Tian Hoe, Chee Seng Chan, Tianyu Zhang, Yi-Zhe Song, Tao Xiang | (参考訳) 既存の教師なしハッシュ法は、典型的には特徴類似性保存パラダイムを採用する。
その結果、連続的な特徴と離散的なハッシュ符号空間との間の固有の類似性キャパシティの相違を見落としている。
具体的には、特徴類似度分布は本質的にバイアス(例えば、負の対の適度な正の類似度スコア)であるため、正の対と負の対のハッシュ符号類似度はしばしば分離できない(すなわち、類似度崩壊問題)。
そこで本稿では,新しい類似度分布校正法(sdc)を提案する。
個別のペアワイズ類似度スコアと一致する代わりに、SDCはハッシュコードの類似度分布をキャリブレーション分布(例えばベータ分布)に整列し、類似度容量/範囲全体にわたって十分な広がりを保ち、類似度崩壊問題を緩和する。
広範な実験によって、当社のsdcは、粗いカテゴリレベルとインスタンスレベルのイメージ検索タスクの両方において、最先端の代替案を上回ることが分かりました。
コードはhttps://github.com/kamwoh/sdcで入手できる。 Existing unsupervised hashing methods typically adopt a feature similarity preservation paradigm. As a result, they overlook the intrinsic similarity capacity discrepancy between the continuous feature and discrete hash code spaces. Specifically, since the feature similarity distribution is intrinsically biased (e.g., moderately positive similarity scores on negative pairs), the hash code similarities of positive and negative pairs often become inseparable (i.e., the similarity collapse problem). To solve this problem, in this paper a novel Similarity Distribution Calibration (SDC) method is introduced. Instead of matching individual pairwise similarity scores, SDC aligns the hash code similarity distribution towards a calibration distribution (e.g., beta distribution) with sufficient spread across the entire similarity capacity/range, to alleviate the similarity collapse problem. Extensive experiments show that our SDC outperforms the state-of-the-art alternatives on both coarse category-level and instance-level image retrieval tasks, often by a large margin. Code is available at https://github.com/kamwoh/sdc. | 翻訳日:2023-02-16 14:57:40 公開日:2023-02-15 |
| # CERiL: 継続的イベントベースの強化学習 CERiL: Continuous Event-based Reinforcement Learning ( http://arxiv.org/abs/2302.07667v1 ) ライセンス: Link先を確認 | Celyn Walters, Simon Hadfield | (参考訳) 本稿では,連続時間強化学習を可能にするイベントカメラの可能性を探る。
我々は、同期しない観測の連続ストリームを使用して、環境に対して対応する出力アクションのストリームを生成する問題を定式化する。
この同期性の欠如により、反応性が大幅に向上する。
本稿では、標準RL環境から派生したイベントストリームを学習し、提案した連続時間RL問題を解く方法を提案する。
CERiLアルゴリズムは、イベントを定量化イメージフレームに集約するのではなく、イベントストリーム上で直接動作する特殊なネットワーク層を使用する。
より頻度の低いRGB画像に対してイベントストリームの利点を示す。
提案システムはRLで使用されるネットワークよりも優れており,従来の課題では解決できない。
また、イベントストリームを用いた標準SNNベースラインに対するCERiLアプローチの価値を示す。 This paper explores the potential of event cameras to enable continuous time reinforcement learning. We formalise this problem where a continuous stream of unsynchronised observations is used to produce a corresponding stream of output actions for the environment. This lack of synchronisation enables greatly enhanced reactivity. We present a method to train on event streams derived from standard RL environments, thereby solving the proposed continuous time RL problem. The CERiL algorithm uses specialised network layers which operate directly on an event stream, rather than aggregating events into quantised image frames. We show the advantages of event streams over less-frequent RGB images. The proposed system outperforms networks typically used in RL, even succeeding at tasks which cannot be solved traditionally. We also demonstrate the value of our CERiL approach over a standard SNN baseline using event streams. | 翻訳日:2023-02-16 14:57:17 公開日:2023-02-15 |
| # 奥行きとセマンティクスを考慮したマルチモーダル領域翻訳:lidar点雲からの3次元パノラマカラー画像の生成 Depth- and Semantics-aware Multi-modal Domain Translation: Generating 3D Panoramic Color Images from LiDAR Point Clouds ( http://arxiv.org/abs/2302.07661v1 ) ライセンス: Link先を確認 | Tiago Cortinhal, Eren Erdal Aksoy | (参考訳) 本研究は,LiDARとカメラセンサのマルチモーダル構成によるクロスドメイン画像・画像変換のための,深度とセマンティックスを考慮した新しい条件生成モデルTITAN-Nextを提案する。
提案モデルでは,シーンセマンティクスを中間レベル表現として活用し,シーンセグメントのみに依存して生のLiDAR点雲をRGB-Dカメラ画像に変換する。
我々は、これがこの種の最初のフレームワークであり、フェールセーフなメカニズムを提供し、ターゲット画像領域で利用可能なデータを増やすなど、自動運転車に実践的な応用があると主張している。
提案モデルは,大規模かつ挑戦的なセマンティック・キティデータセットに基づいて評価され,実験結果から,元のTITAN-Netや他の強力なベースラインよりも23.7$\%のマージンをかなり上回ることがわかった。 This work presents a new depth- and semantics-aware conditional generative model, named TITAN-Next, for cross-domain image-to-image translation in a multi-modal setup between LiDAR and camera sensors. The proposed model leverages scene semantics as a mid-level representation and is able to translate raw LiDAR point clouds to RGB-D camera images by solely relying on semantic scene segments. We claim that this is the first framework of its kind and it has practical applications in autonomous vehicles such as providing a fail-safe mechanism and augmenting available data in the target image domain. The proposed model is evaluated on the large-scale and challenging Semantic-KITTI dataset, and experimental findings show that it considerably outperforms the original TITAN-Net and other strong baselines by 23.7$\%$ margin in terms of IoU. | 翻訳日:2023-02-16 14:57:04 公開日:2023-02-15 |
| # 強化学習に基づく電力グリッドデイアヘッド計画とAI支援制御 Reinforcement Learning Based Power Grid Day-Ahead Planning and AI-Assisted Control ( http://arxiv.org/abs/2302.07654v1 ) ライセンス: Link先を確認 | Anton R. Fuxj\"ager, Kristian Kozak, Matthias Dorfer, Patrick M. Blies, Marcel Wasserer (enliteAI) | (参考訳) 再生可能エネルギーへの継続的な移行は、風力や太陽のような変動する電源のシェアを増大させ、電力グリッドのボラティリティを高め、グリッドの運用を複雑でコストがかかるようにしている。
先行研究では,機械学習に基づくトポロジ最適化エージェントと組み合わせた再配置オプティマイザによる混雑管理手法を導入した。
典型的な再配置専用エージェントと比較して、シミュレーショングリッドの動作を長く保ちながら、同時に運用コストを削減できた。
当社のアプローチは、欧州最大のグリッドオペレータであるRTEによるL2RPN 2022コンペティションでも第1位にランクインした。
本論文の目的は,この有望な技術が,電力網運用の現実の世界に近づけることである。
私たちは、この新技術のメリットと欠点を示すために、既存のワークフローに似た2つの設定でRLベースのエージェントをデプロイします。
次に, 混雑, 再パッチング, スイッチングプロファイルの解析を行い, 基本感度解析を行い, 動作のロバスト性を垣間見る。
実際の制御室への道はまだ長いですが、この論文とプロトタイプはギャップを狭め、明日の電力網にRLエージェントを安全に配置する道を開くのに役立つと考えています。 The ongoing transition to renewable energy is increasing the share of fluctuating power sources like wind and solar, raising power grid volatility and making grid operation increasingly complex and costly. In our prior work, we have introduced a congestion management approach consisting of a redispatching optimizer combined with a machine learning-based topology optimization agent. Compared to a typical redispatching-only agent, it was able to keep a simulated grid in operation longer while at the same time reducing operational cost. Our approach also ranked 1st in the L2RPN 2022 competition initiated by RTE, Europe's largest grid operator. The aim of this paper is to bring this promising technology closer to the real world of power grid operation. We deploy RL-based agents in two settings resembling established workflows, AI-assisted day-ahead planning and realtime control, in an attempt to show the benefits and caveats of this new technology. We then analyse congestion, redispatching and switching profiles, and elementary sensitivity analysis providing a glimpse of operation robustness. While there is still a long way to a real control room, we believe that this paper and the associated prototypes help to narrow the gap and pave the way for a safe deployment of RL agents in tomorrow's power grids. | 翻訳日:2023-02-16 14:56:45 公開日:2023-02-15 |
| # 時間的自己スーパービジョンを用いた音声・視覚コントラスト学習 Audio-Visual Contrastive Learning with Temporal Self-Supervision ( http://arxiv.org/abs/2302.07702v1 ) ライセンス: Link先を確認 | Simon Jenni, Alexander Black, John Collomosse | (参考訳) 人間の監督なしにRGBフレームと付随するオーディオの両方の表現を学習するビデオのための自己教師付き学習手法を提案する。
静的シーンの外観をキャプチャする画像とは対照的に、ビデオには音や時間的なシーンのダイナミクスも含まれている。
ビデオに固有の時間的・聴覚的次元を活用するため,本手法は時間的自己監督を音声視覚設定に拡張し,マルチモーダルコントラスト目的と統合する。
時間的自己スーパービジョンとして,再生速度と方向認識を両モダリティで提案し,時間的順序付けタスクを提案する。
さらに,通常のペアに追加のサンプル依存性の正と,進化する特徴空間から採取した負を補足する,新しい対照的な目的を設計する。
本モデルでは,ビデオクリップと,その時間的対応音声クリップの間に,そのような損失を適用する。
我々は,広範囲なアブレーション実験におけるモデル設計を検証するとともに,UCF101およびHMBD51の動作認識と検索,ESC50の音声分類,VGG-Soundの堅牢なビデオフィンガープリンティング,最新技術による評価を行った。 We propose a self-supervised learning approach for videos that learns representations of both the RGB frames and the accompanying audio without human supervision. In contrast to images that capture the static scene appearance, videos also contain sound and temporal scene dynamics. To leverage the temporal and aural dimension inherent to videos, our method extends temporal self-supervision to the audio-visual setting and integrates it with multi-modal contrastive objectives. As temporal self-supervision, we pose playback speed and direction recognition in both modalities and propose intra- and inter-modal temporal ordering tasks. Furthermore, we design a novel contrastive objective in which the usual pairs are supplemented with additional sample-dependent positives and negatives sampled from the evolving feature space. In our model, we apply such losses among video clips and between videos and their temporally corresponding audio clips. We verify our model design in extensive ablation experiments and evaluate the video and audio representations in transfer experiments to action recognition and retrieval on UCF101 and HMBD51, audio classification on ESC50, and robust video fingerprinting on VGG-Sound, with state-of-the-art results. | 翻訳日:2023-02-16 14:50:35 公開日:2023-02-15 |
| # ブラザーのガンマ線変動のモデル化のための自己教師付き学習 Self-Supervised Learning for Modeling Gamma-ray Variability in Blazars ( http://arxiv.org/abs/2302.07700v1 ) ライセンス: Link先を確認 | Aryeh Brill | (参考訳) ブラザールは活発な銀河核であり、相対論的噴流は地球にほぼ直接向けられている。
ブラザールは、ほぼ全ての観測された波長と時間スケールにおいて、強い、明らかに確率的フラックス変動によって特徴づけられ、その物理的起源は未だよく分かっていない。
高エネルギーガンマ線帯では、フェルミ宇宙望遠鏡(fermi-lat)の大型望遠鏡が2008年から何千ものブラザールを定期的に観測している。
深層学習は、パラメトリック統計モデリングや手動特徴工学に基づく従来の手法が見逃す可能性のあるガンマ線ブレザーの複雑な変動パターンの構造を明らかにするのに役立つ。
本研究では,blazar gamma-ray 変動の効果的な表現を構築するために,自己教師付きトランスフォーマエンコーダアーキテクチャを提案する。
測定誤差、上限、欠落データは学習エンコーディングを用いて対応付けられる。
モデルは、確率過程によって生成されたデータを記述するのに自然に適したアーキテクチャである各時間ステップにおけるフラックス確率分布のクォンタイルのセットを予測する。
モデル出力が科学的に関連した情報を抽出するためにどのように分析できるかの実証として、ガンマ線ブラザール光曲線における毎週の時間スケールの時間反転非対称性の予備探索を行い、非対称性の有意な証拠は見つからなかった。 Blazars are active galactic nuclei with relativistic jets pointed almost directly at Earth. Blazars are characterized by strong, apparently stochastic flux variability at virtually all observed wavelengths and timescales, from minutes to years, the physical origin of which is still poorly understood. In the high-energy gamma-ray band, the Large Area Telescope aboard the Fermi space telescope (Fermi-LAT) has conducted regular monitoring of thousands of blazars since 2008. Deep learning can help uncover structure in gamma-ray blazars' complex variability patterns that traditional methods based on parametric statistical modeling or manual feature engineering may miss. In this work, we propose using a self-supervised Transformer encoder architecture to construct an effective representation of blazar gamma-ray variability. Measurement errors, upper limits, and missing data are accommodated using learned encodings. The model predicts a set of quantiles for the flux probability distribution at each time step, an architecture naturally suited for describing data generated by a stochastic process. As a proof of concept for how the model output can be analyzed to extract scientifically relevant information, a preliminary search for weekly-timescale time-reversal asymmetry in gamma-ray blazar light curves was conducted, finding no significant evidence for asymmetry. | 翻訳日:2023-02-16 14:50:11 公開日:2023-02-15 |
| # 刺激ブリルアン散乱によるフォトニック貯水池の計算 Photonic reservoir computing enabled by stimulated Brillouin scattering ( http://arxiv.org/abs/2302.07698v1 ) ライセンス: Link先を確認 | Sendy Phang | (参考訳) ai(artificial intelligence, 人工知能)は、人間の生活と働きを阻害する未来の技術を生み出し、タスクやアクティビティへのアプローチ方法を変える新しいソリューションを生み出しますが、多くのデータ処理、大量のデータ転送、そしてコンピューティングのスピードを必要とします。
これは脳のアーキテクチャ、特にフォトニック技術、高速、低消費電力、より大きな帯域幅の利点を生かした脳のアーキテクチャにインスパイアされた新しいタイプのコンピューティングプラットフォームの開発に対する研究の関心が高まっている。
本稿では,励起ブリルアン散乱の非線形波動光学ダイナミクスを利用したフォトニック貯水池計算アーキテクチャに基づく新しい計算プラットフォームについて報告する。
新しいフォトニック貯水池計算システムのカーネルは、完全にパッシブな光学系で構成されている。
さらに、リアルタイム人工知能を実現するために、高性能な光多重化技術と併用するのに適している。
ここでは,新しいフォトニック貯水池計算の動作条件を最適化する手法について述べる。
ここで説明した新しいアーキテクチャは、AIのためのフォトニクスの応用を強調する、AIハードウェアを実現する新しい方法を提供する。 Artificial Intelligence (AI) drives the creation of future technologies that disrupt the way humans live and work, creating new solutions that change the way we approach tasks and activities, but it requires a lot of data processing, large amounts of data transfer, and computing speed. It has led to a growing interest of research in developing a new type of computing platform which is inspired by the architecture of the brain specifically those that exploit the benefits offered by photonic technologies, fast, low-power, and larger bandwidth. Here, a new computing platform based on the photonic reservoir computing architecture exploiting the non-linear wave-optical dynamics of the stimulated Brillouin scattering is reported. The kernel of the new photonic reservoir computing system is constructed of an entirely passive optical system. Moreover, it is readily suited for use in conjunction with high performance optical multiplexing techniques to enable real-time artificial intelligence. Here, a methodology to optimise the operational condition of the new photonic reservoir computing is described which is found to be strongly dependent on the dynamics of the stimulated Brillouin scattering system. The new architecture described here offers a new way of realising AI-hardware which highlight the application of photonics for AI. | 翻訳日:2023-02-16 14:49:48 公開日:2023-02-15 |
| # 遺伝的多腕バンディット:シミュレーションによる離散最適化のための強化学習手法 Genetic multi-armed bandits: a reinforcement learning approach for discrete optimization via simulation ( http://arxiv.org/abs/2302.07695v1 ) ライセンス: Link先を確認 | Deniz Preil, Michael Krapp | (参考訳) 本稿では,マルチアームバンディットの強化学習領域の概念と遺伝的アルゴリズムの領域からのランダム探索戦略を組み合わせて,離散確率最適化問題をシミュレーションにより解くGMABと呼ばれる新しいアルゴリズムを提案する。
特に、ノイズの多い大規模問題に焦点が当てられ、それはしばしば複数の次元と複数の局所最適化を含む。
本研究の目的は, 揮発性シミュレーション観測に対処するマルチアームバンディットの特性と, 膨大な数の実現可能な解を伴う高次元解空間を扱う遺伝的アルゴリズムの能力を組み合わせることである。
この目的のために、マルチアームバンディットフレームワークが基礎として機能し、各観測されたシミュレーションをGMABのメモリに組み込む。
この記憶に基づいて、遺伝操作者は探索と搾取のための強力なツールを提供するため、探索を導く。
実験結果から, GMABは, 各種試験問題における文献からのベンチマークアルゴリズムと比較して, 優れた性能を示した。
すべての実験において、gmabは、既存の方法によって生成されたものよりも類似または(はるかに)優れた解を達成するために、かなり少ないシミュレーションを必要とした。
同時に、GMABの要求ランタイムに対するオーバーヘッドは、メモリのツリーベースの実装が提案されているため、非常に小さい。
さらに、シミュレーションの努力が無限に進むにつれて、グローバルな最適化の集合に収束することが証明される。 This paper proposes a new algorithm, referred to as GMAB, that combines concepts from the reinforcement learning domain of multi-armed bandits and random search strategies from the domain of genetic algorithms to solve discrete stochastic optimization problems via simulation. In particular, the focus is on noisy large-scale problems, which often involve a multitude of dimensions as well as multiple local optima. Our aim is to combine the property of multi-armed bandits to cope with volatile simulation observations with the ability of genetic algorithms to handle high-dimensional solution spaces accompanied by an enormous number of feasible solutions. For this purpose, a multi-armed bandit framework serves as a foundation, where each observed simulation is incorporated into the memory of GMAB. Based on this memory, genetic operators guide the search, as they provide powerful tools for exploration as well as exploitation. The empirical results demonstrate that GMAB achieves superior performance compared to benchmark algorithms from the literature in a large variety of test problems. In all experiments, GMAB required considerably fewer simulations to achieve similar or (far) better solutions than those generated by existing methods. At the same time, GMAB's overhead with regard to the required runtime is extremely small due to the suggested tree-based implementation of its memory. Furthermore, we prove its convergence to the set of global optima as the simulation effort goes to infinity. | 翻訳日:2023-02-16 14:49:31 公開日:2023-02-15 |
| # 手話認識モデルの微調整:技術報告 Fine-tuning of sign language recognition models: a technical report ( http://arxiv.org/abs/2302.07693v1 ) ライセンス: Link先を確認 | Maxim Novopoltsev, Leonid Verkhovtsev, Ruslan Murtazin, Dmitriy Milevich, Iuliia Zemtsova | (参考訳) 手話認識(SLR)は手の動き、身体姿勢、さらには表情の高速かつ複雑な動きによって手話が実行されるため、必須かつ困難な課題である。
%Skeleton Aware Multi-modal Sign Language Recognition この研究では、他の手話言語からのデータセットの微調整が、手話認識の品質向上に役立つか、GPUを使わずにリアルタイムで手話認識が可能かどうか、という2つの質問に焦点をあてた。
3つの異なる言語データセット(WLASL、トルコ語 - AUTSL、ロシア語 - RSL)がモデルの検証に使用されている。
このシステムの平均速度は毎秒3つの予測に達し、リアルタイムシナリオの要件を満たす。
このモデル(プロトタイプ)は、音声や聴覚障害者が他のトラフインターネットと会話するのに役立つだろう。
また,別の手話におけるモデル追加訓練が認識の質に与える影響についても検討した。
その結果、他の手話のデータに対するモデルのさらなる訓練は、ほとんどの場合、ジェスチャー認識の質の向上につながることが示された。
また、モデル学習実験を再現し、モデルをONNXフォーマットに変換し、リアルタイムジェスチャー認識のための推論を行うコードも提供する。 Sign Language Recognition (SLR) is an essential yet challenging task since sign language is performed with the fast and complex movement of hand gestures, body posture, and even facial expressions. %Skeleton Aware Multi-modal Sign Language Recognition In this work, we focused on investigating two questions: how fine-tuning on datasets from other sign languages helps improve sign recognition quality, and whether sign recognition is possible in real-time without using GPU. Three different languages datasets (American sign language WLASL, Turkish - AUTSL, Russian - RSL) have been used to validate the models. The average speed of this system has reached 3 predictions per second, which meets the requirements for the real-time scenario. This model (prototype) will benefit speech or hearing impaired people talk with other trough internet. We also investigated how the additional training of the model in another sign language affects the quality of recognition. The results show that further training of the model on the data of another sign language almost always leads to an improvement in the quality of gesture recognition. We also provide code for reproducing model training experiments, converting models to ONNX format, and inference for real-time gesture recognition. | 翻訳日:2023-02-16 14:49:09 公開日:2023-02-15 |
| # マルコフデータを用いた非線形確率近似のオンライン統計推論 Online Statistical Inference for Nonlinear Stochastic Approximation with Markovian Data ( http://arxiv.org/abs/2302.07690v1 ) ライセンス: Link先を確認 | Xiang Li, Jiadong Liang, Zhihua Zhang | (参考訳) マルコフデータの単一軌跡を用いた非線形確率近似アルゴリズムの統計的推定について検討した。
提案手法は,SGD(Stochastic Gradient Descent)や非同期Q-Learning(Q-Learning)など,様々なシナリオで実用化されている。
対象パラメータを推定するために標準確率近似(SA)フレームワークを利用することで、その部分和過程に対する関数中心極限定理、$\boldsymbol{\phi}_T$を確立する。
この理論をさらに裏付けるために、l\'evy-prokhorov計量で測定された弱収束に関するマッチング半パラメトリック効率的な下界と非漸近上界を提供する。
この関数中心極限定理は、我々の推論法の基礎となる。
任意の連続スケール不変関数 $f$ を選択することで、漸近的なピボット統計学 $f(\boldsymbol{\phi}_T)$ がアクセス可能となり、漸近的に有効な信頼区間を構築することができる。
汎函数の族 $f_m$, $m \in \mathbb{N}$, 理論的および数値的手段による拒絶確率を解析する。
シミュレーションの結果,本手法の有効性と有効性を示した。 We study the statistical inference of nonlinear stochastic approximation algorithms utilizing a single trajectory of Markovian data. Our methodology has practical applications in various scenarios, such as Stochastic Gradient Descent (SGD) on autoregressive data and asynchronous Q-Learning. By utilizing the standard stochastic approximation (SA) framework to estimate the target parameter, we establish a functional central limit theorem for its partial-sum process, $\boldsymbol{\phi}_T$. To further support this theory, we provide a matching semiparametric efficient lower bound and a non-asymptotic upper bound on its weak convergence, measured in the L\'evy-Prokhorov metric. This functional central limit theorem forms the basis for our inference method. By selecting any continuous scale-invariant functional $f$, the asymptotic pivotal statistic $f(\boldsymbol{\phi}_T)$ becomes accessible, allowing us to construct an asymptotically valid confidence interval. We analyze the rejection probability of a family of functionals $f_m$, indexed by $m \in \mathbb{N}$, through theoretical and numerical means. The simulation results demonstrate the validity and efficiency of our method. | 翻訳日:2023-02-16 14:48:47 公開日:2023-02-15 |
| # 投影潜在空間におけるビデオ確率拡散モデル Video Probabilistic Diffusion Models in Projected Latent Space ( http://arxiv.org/abs/2302.07685v1 ) ライセンス: Link先を確認 | Sihyun Yu, Kihyuk Sohn, Subin Kim, Jinwoo Shin | (参考訳) 深部生成モデルの顕著な進歩にもかかわらず、高解像度かつ時間的コヒーレントなビデオの合成は、その高次元性と複雑な時間的ダイナミクスと大きな空間的変動により依然として課題である。
拡散モデルに関する最近の研究は、この課題を解決する可能性を示しているが、スケーラビリティを制限する厳密な計算とメモリ効率に悩まされている。
そこで本研究では,低次元潜時空間における映像分布を学習し,限られた資源で高分解能映像を効率的に訓練できる確率的拡散モデルであるpvdm(projected latent video diffusion model)を提案する。
具体的にはPVDMは2つのコンポーネントから構成される。
(a)ビデオ画素の複雑な立方体構造を分解する2D字型潜在ベクトルとして映像を投影するオートエンコーダ
b)新しい因子化潜在空間と任意の長さの映像を単一のモデルで合成する訓練/サンプリング手順に特化した拡散モデルアーキテクチャ。
例えば、PVDMはUCF-101長ビデオ(128フレーム)生成ベンチマークでFVDスコア639.7を取得し、従来の最先端の1773.4を改善している。 Despite the remarkable progress in deep generative models, synthesizing high-resolution and temporally coherent videos still remains a challenge due to their high-dimensionality and complex temporal dynamics along with large spatial variations. Recent works on diffusion models have shown their potential to solve this challenge, yet they suffer from severe computation- and memory-inefficiency that limit the scalability. To handle this issue, we propose a novel generative model for videos, coined projected latent video diffusion models (PVDM), a probabilistic diffusion model which learns a video distribution in a low-dimensional latent space and thus can be efficiently trained with high-resolution videos under limited resources. Specifically, PVDM is composed of two components: (a) an autoencoder that projects a given video as 2D-shaped latent vectors that factorize the complex cubic structure of video pixels and (b) a diffusion model architecture specialized for our new factorized latent space and the training/sampling procedure to synthesize videos of arbitrary length with a single model. Experiments on popular video generation datasets demonstrate the superiority of PVDM compared with previous video synthesis methods; e.g., PVDM obtains the FVD score of 639.7 on the UCF-101 long video (128 frames) generation benchmark, which improves 1773.4 of the prior state-of-the-art. | 翻訳日:2023-02-16 14:47:32 公開日:2023-02-15 |
| # 薬物・標的相互作用のフェデレーション学習ベンチマーク A Federated Learning Benchmark for Drug-Target Interaction ( http://arxiv.org/abs/2302.07684v1 ) ライセンス: Link先を確認 | Filip Svoboda, Gianluca Mittone, Nicholas D. Lane, Pietro Lio | (参考訳) 薬物・標的相互作用(DTI)ドメインにおける医薬品データの集約は、生命維持のブレークスルーをもたらす可能性がある。
しかし、規制の制約と商業上の利益のために、それは非常に難しい。
本研究は,企業データやその他の高レベルの概要を明らかにする情報を共有する必要がなくなるため,産業の制約と調和できると考えるフェデレートラーニングの適用を提案する。
代表的なGraphDTAモデルとKIBAデータセットで使用すると、最高の非プライバシ保存代替手段と比較して最大15%パフォーマンスが向上する。
広範な実験の結果,dtiデータセット内の非iidデータ分布がfl性能を低下させることはないことがわかった。
さらに、新しいデータを追加するメリットと、より多くのクライアントを追加するコストの間には、実質的なトレードオフがあります。 Aggregating pharmaceutical data in the drug-target interaction (DTI) domain has the potential to deliver life-saving breakthroughs. It is, however, notoriously difficult due to regulatory constraints and commercial interests. This work proposes the application of federated learning, which we argue to be reconcilable with the industry's constraints, as it does not require sharing of any information that would reveal the entities' data or any other high-level summary of it. When used on a representative GraphDTA model and the KIBA dataset it achieves up to 15% improved performance relative to the best available non-privacy preserving alternative. Our extensive battery of experiments shows that, unlike in other domains, the non-IID data distribution in the DTI datasets does not deteriorate FL performance. Additionally, we identify a material trade-off between the benefits of adding new data, and the cost of adding more clients. | 翻訳日:2023-02-16 14:47:09 公開日:2023-02-15 |
| # TFormer:IoTデバイス用のトランスミッションフレンドリーなViTモデル TFormer: A Transmission-Friendly ViT Model for IoT Devices ( http://arxiv.org/abs/2302.07734v1 ) ライセンス: Link先を確認 | Zhichao Lu, Chuntao Ding, Felix Juefei-Xu, Vishnu Naresh Boddeti, Shangguang Wang, and Yun Yang | (参考訳) 高品質なビジョンサービスを提供するために、ユビキタスモノのインターネット(IoT)デバイスに高性能なビジョントランスフォーマー(ViT)モデルをデプロイすることは、私たちの生活、仕事、世界との対話の方法に革命をもたらす。
IoTデバイスの限られたリソースとリソース集約型ViTモデルの矛盾により、ViTモデルのトレーニングを支援するクラウドサーバの利用が主流になっている。
しかし、既存のViTモデルのパラメータや浮動小数点演算(FLOP)の数が多いため、クラウドサーバが送信するモデルパラメータは大きく、リソースに制約のあるIoTデバイス上での実行は困難である。
そこで本稿では,クラウドサーバの助けを借りて,リソース制約のIoTデバイスに展開するトランスミッションフレンドリーなViTモデルであるTFormerを提案する。
tformerの高性能かつ少数のモデルパラメータとフラップは,提案するハイブリッド層と,提案する部分接続フィードフォワードネットワーク (pcs-ffn) によるものである。
ハイブリッド層は、学習不能なモジュールと、TFormerの性能を改善するために、少数のパラメータとFLOPしか持たないマルチタイプおよびマルチスケールの機能を得ることができるポイントワイズ・コンボリューションで構成されている。
PCS-FFNはパラメータ数を減らすためにグループ畳み込みを採用している。
本稿では,リソース制約されたIoTデバイス上で動作させるアプリケーションが,VTモデルの性能向上を享受するために,モデルパラメータの少ないTFormerとFLOPを提案する。
ImageNet-1K、MS COCO、ADE20Kデータセットによる画像分類、オブジェクト検出、セマンティックセグメンテーションタスクの実験結果は、提案モデルが他の最先端モデルよりも優れていることを示している。
具体的には、TFormer-SはResNet18よりもImageNet-1Kの方が5%高い精度で1.4$\times$少ないパラメータとFLOPを実現している。 Deploying high-performance vision transformer (ViT) models on ubiquitous Internet of Things (IoT) devices to provide high-quality vision services will revolutionize the way we live, work, and interact with the world. Due to the contradiction between the limited resources of IoT devices and resource-intensive ViT models, the use of cloud servers to assist ViT model training has become mainstream. However, due to the larger number of parameters and floating-point operations (FLOPs) of the existing ViT models, the model parameters transmitted by cloud servers are large and difficult to run on resource-constrained IoT devices. To this end, this paper proposes a transmission-friendly ViT model, TFormer, for deployment on resource-constrained IoT devices with the assistance of a cloud server. The high performance and small number of model parameters and FLOPs of TFormer are attributed to the proposed hybrid layer and the proposed partially connected feed-forward network (PCS-FFN). The hybrid layer consists of nonlearnable modules and a pointwise convolution, which can obtain multitype and multiscale features with only a few parameters and FLOPs to improve the TFormer performance. The PCS-FFN adopts group convolution to reduce the number of parameters. The key idea of this paper is to propose TFormer with few model parameters and FLOPs to facilitate applications running on resource-constrained IoT devices to benefit from the high performance of the ViT models. Experimental results on the ImageNet-1K, MS COCO, and ADE20K datasets for image classification, object detection, and semantic segmentation tasks demonstrate that the proposed model outperforms other state-of-the-art models. Specifically, TFormer-S achieves 5% higher accuracy on ImageNet-1K than ResNet18 with 1.4$\times$ fewer parameters and FLOPs. | 翻訳日:2023-02-16 14:41:51 公開日:2023-02-15 |
| # ベイズ学習による量子ビット読み出しの強化 Enhancing qubit readout with Bayesian Learning ( http://arxiv.org/abs/2302.07725v1 ) ライセンス: Link先を確認 | F. Cosco and N. Lo Gullo | (参考訳) シングルキュービット状態とマルチキュービット状態に対する効率的かつ正確な読み出し量測定手法を提案する。
提案手法は,検出応答関数の参照特性に基づいて,各キュービット状態の割り当て確率分布を構築するためにベイズ推定を用いる。
これにより、計算基礎の割り当てにおけるシステムの不完全さと熱雑音を考慮できる。
5つの超伝導量子ビットを持つ量子デバイス上でのプロトコルのベンチマーク、単一および2量子ビット状態の初期状態準備のテスト、および5つの量子ビット上で実行されるbernstein-vaziraniアルゴリズムの適用。
本手法は,読み出し誤差を大幅に低減し,短期および将来の量子デバイスに対する利点を約束する。 We introduce an efficient and accurate readout measurement scheme for single and multi-qubit states. Our method uses Bayesian inference to build an assignment probability distribution for each qubit state based on a reference characterization of the detector response functions. This allows us to account for system imperfections and thermal noise within the assignment of the computational basis. We benchmark our protocol on a quantum device with five superconducting qubits, testing initial state preparation for single and two-qubits states and an application of the Bernstein-Vazirani algorithm executed on five qubits. Our method shows a substantial reduction of the readout error and promises advantages for near-term and future quantum devices. | 翻訳日:2023-02-16 14:39:07 公開日:2023-02-15 |
| # L_1$-Norm PCAにおける非グレーディアルゴリズムの有限ステップ収束について On Finite-Step Convergence of the Non-Greedy Algorithm for $L_1$-Norm PCA and Beyond ( http://arxiv.org/abs/2302.07712v1 ) ライセンス: Link先を確認 | Yuning Yang | (参考訳) \cite{nie2011robust} で提案された $l_1$-norm pca の非欲なアルゴリズムを再検討し、その収束特性について検討する。
このアルゴリズムはまず条件付き部分勾配あるいは交互極大化法として解釈される。
条件付き準次数として扱うことによって、アルゴリズムによって生成される反復点は、あるフルランクの仮定の下で有限個のステップで変化しない。
アルゴリズムを交互最大化として扱うことにより、目的値は少なくとも$\left\lceil \frac{F^{\max}}{\tau_0} \right\rceil$ steps以降は変化しないことが証明される。
停止点は一定の最適条件を満たす。
次に,収束特性を改良した変種アルゴリズムについて検討した。
アルゴリズムが生成する反復点は、最大$\left\lceil \frac{2f^{\max}}{\tau} \right\rceil$ ステップの後には変化せず、停止点は十分小さい$\tau$ の与えられた特定の最適条件を満たす。
同様の有限ステップ収束は、最近、あるフルランクの仮定の下で \cite{wang2021linear} で提案された PAMe のわずかな修正のためにも確立されている。
このような仮定は、射影次元が 1 であれば取り除くこともできる。 The non-greedy algorithm for $L_1$-norm PCA proposed in \cite{nie2011robust} is revisited and its convergence properties are studied. The algorithm is first interpreted as a conditional subgradient or an alternating maximization method. By treating it as a conditional subgradient, the iterative points generated by the algorithm will not change in finitely many steps under a certain full-rank assumption; such an assumption can be removed when the projection dimension is one. By treating the algorithm as an alternating maximization, it is proved that the objective value will not change after at most $\left\lceil \frac{F^{\max}}{\tau_0} \right\rceil$ steps. The stopping point satisfies certain optimality conditions. Then, a variant algorithm with improved convergence properties is studied. The iterative points generated by the algorithm will not change after at most $\left\lceil \frac{2F^{\max}}{\tau} \right\rceil$ steps and the stopping point also satisfies certain optimality conditions given a small enough $\tau$. Similar finite-step convergence is also established for a slight modification of the PAMe proposed in \cite{wang2021linear} very recently under a certain full-rank assumption. Such an assumption can also be removed when the projection dimension is one. | 翻訳日:2023-02-16 14:38:57 公開日:2023-02-15 |
| # 鉛ハライドペロブスカイト型中赤外検出器用量子井戸のサブバンド間遷移 Intersubband Transitions in Lead Halide Perovskite-Based Quantum Wells for Mid-Infrared Detectors ( http://arxiv.org/abs/2302.07703v1 ) ライセンス: Link先を確認 | Xinxin Li and Wanyi Nie and Xuedan Ma | (参考訳) 優れた光学的および電気的性質と多目的な成長と製造プロセスにより、鉛ハロゲン化ペロブスカイトは、グリーンエネルギーおよび光電子関連応用の有望な候補として広く考えられてきた。
本稿では, 鉛ハロゲン化物ペロブスカイト系量子井戸系におけるサブバンド間遷移をモデル化し, 赤外線の応用の可能性を検討する。
シングルウェル構造とダブルウェル構造の両方を研究し、そのエネルギーレベルと対応する波動関数とサブバンド間遷移エネルギーを1次元シュリンガー方程式を解くことによって計算する。
量子井戸とバリアの厚みを調整することで、サブバンド間遷移エネルギーを調整して、幅広い赤外波長をカバーすることができる。
また、鉛ハロゲン化ペロブスカイト系量子井戸は高い吸収係数を有しており、赤外光検出器の潜在的な応用に有用である。
ペロブスカイト系量子井戸系の広く波長可変な遷移エネルギーと高吸収係数は、その特異な物質と電気的性質を組み合わせることで、赤外線光検出器の開発のための代替材料システムが可能になるかもしれない。 Due to their excellent optical and electrical properties as well as versatile growth and fabrication processes, lead halide perovskites have been widely considered as promising candidates for green energy and opto-electronic related applications. Here, we investigate their potential applications at infrared wavelengths by modeling the intersubband transitions in lead halide perovskite-based quantum well systems. Both single-well and double-well structures are studied and their energy levels as well as the corresponding wavefunctions and intersubband transition energies are calculated by solving the one-dimensional Schr\"odinger equations. By adjusting the quantum well and barrier thicknesses, we are able to tune the intersubband transition energies to cover a broad range of infrared wavelengths. We also find that the lead-halide perovskite-based quantum wells possess high absorption coefficients, which are beneficial for their potential applications in infrared photodetectors. The widely tunable transition energies and high absorption coefficients of the perovskite-based quantum well systems, combined with their unique material and electrical properties, may enable an alternative material system for the development of infrared photodetectors. | 翻訳日:2023-02-16 14:38:30 公開日:2023-02-15 |
| # XploreNAS:非理想的Xbarのための逆ロバストでハードウェア効率の良いニューラルネットワーク XploreNAS: Explore Adversarially Robust & Hardware-efficient Neural Architectures for Non-ideal Xbars ( http://arxiv.org/abs/2302.07769v1 ) ライセンス: Link先を確認 | Abhiroop Bhattacharjee, Abhishek Moitra, and Priyadarshini Panda | (参考訳) メムリシティブクロスバーのような計算インメモリプラットフォームは、高い領域と計算効率でディープニューラルネットワーク(DNN)の加速を促進することで注目されている。
しかし、クロスバーにおける計算の類似性に関連する本質的な非理想性は、デプロイされたDNNの性能を制限している。
さらに、DNNは敵の攻撃に弱いことが示され、大規模な展開において深刻なセキュリティ上の脅威が生じる。
したがって、非理想のクロスバーに対して逆向きに堅牢なDNNアーキテクチャを見つけることは、エッジ上でのDNNの安全かつセキュアなデプロイに不可欠である。
この研究はXploreNASと呼ばれる二相アルゴリズム-ハードウェア共最適化アプローチを提案し、非理想的クロスバープラットフォームのためのハードウェア効率と対角的堅牢なニューラルネットワークアーキテクチャを探索する。
我々はone-shot neural architecture search (nas) アプローチを用いて,クロスバー認識とサンプルロバストなサブネットを用いた大規模スーパーネットのトレーニングを行い,ハードウェア効率の競争力を維持した。
ベンチマークデータセット(svhn、cifar10、cifar100)を用いたクロスバー実験では、クロスバー対応の対向学習を受けたベースラインresnet-18モデルに対する検索サブネットの対向ロバスト性が8-16%向上した。
我々は,neurosimツールを用いたエネルギデレーエリア製品(edaps)のためのロバストなサブネットのベンチマークを行い,ハードウェア効率による最適化により,resnet-18ベースラインよりも1.5～1.6倍低いedapが得られることを確認した。 Compute In-Memory platforms such as memristive crossbars are gaining focus as they facilitate acceleration of Deep Neural Networks (DNNs) with high area and compute-efficiencies. However, the intrinsic non-idealities associated with the analog nature of computing in crossbars limits the performance of the deployed DNNs. Furthermore, DNNs are shown to be vulnerable to adversarial attacks leading to severe security threats in their large-scale deployment. Thus, finding adversarially robust DNN architectures for non-ideal crossbars is critical to the safe and secure deployment of DNNs on the edge. This work proposes a two-phase algorithm-hardware co-optimization approach called XploreNAS that searches for hardware-efficient & adversarially robust neural architectures for non-ideal crossbar platforms. We use the one-shot Neural Architecture Search (NAS) approach to train a large Supernet with crossbar-awareness and sample adversarially robust Subnets therefrom, maintaining competitive hardware-efficiency. Our experiments on crossbars with benchmark datasets (SVHN, CIFAR10 & CIFAR100) show upto ~8-16% improvement in the adversarial robustness of the searched Subnets against a baseline ResNet-18 model subjected to crossbar-aware adversarial training. We benchmark our robust Subnets for Energy-Delay-Area-Products (EDAPs) using the Neurosim tool and find that with additional hardware-efficiency driven optimizations, the Subnets attain ~1.5-1.6x lower EDAPs than ResNet-18 baseline. | 翻訳日:2023-02-16 14:31:38 公開日:2023-02-15 |
| # 高速多成分状態生成のための超伝導回路の断熱性への近道 Shortcuts to adiabaticity in superconducting circuits for fast multi-partite state generation ( http://arxiv.org/abs/2302.07762v1 ) ライセンス: Link先を確認 | F. A. C\'ardenas-L\'opez, J. C. Retamal, and Xi. Chen | (参考訳) adiabaticityへのショートカットは、adiabatic criteriaを超えて量子制御タスクを加速し、改善する柔軟な方法を提供する。
本稿では,複数のフィールドモードに結合した量子ビット群間の長手結合を設計するためのリバースエンジニアリング手法を提案し,フォトニックや量子ビットベースのアーキテクチャにおけるマルチパーティタイト量子ゲートの高速生成を実現する。
その結果、生成時間の増大はナノ秒スケールであり、システムコンポーネントの数ではスケールしないことがわかった。
また, 本プロトコルは, 散逸のダイナミクスにより, 明らかに有害な影響を及ぼさない。
最後に、実装は最先端の量子電磁力学アーキテクチャで議論される。 Shortcuts to adiabaticity provides a flexible method to accelerate and improve a quantum control task beyond adiabatic criteria. Here we propose the reverse-engineering approach to design the longitudinal coupling between a set of qubits coupled to several field modes, for achieving a fast generation of multi-partite quantum gates in photonic or qubit-based architecture. We show that the enhancing generation time is at the nanosecond scale that does not scale with the number of system components. In addition, our protocol does not suffer noticeable detrimental effects due to the dissipative dynamics. Finally, the possible implementation is discussed with the state-of-the-art circuit quantum electrodynamics architecture. | 翻訳日:2023-02-16 14:31:09 公開日:2023-02-15 |
| # 学習ループにおける説明付きモデルの合理化 Streamlining models with explanations in the learning loop ( http://arxiv.org/abs/2302.07760v1 ) ライセンス: Link先を確認 | Francesco Lomuscio, Paolo Bajardi, Alan Perotti, and Elvio G. Amparore | (参考訳) いくつかの説明可能なai手法により、機械学習のユーザはローカルな線形説明の形でブラックボックスモデルの分類プロセスについて洞察を得ることができる。
このような情報により、ユーザーは、どの特徴が分類結果に局所的に関連しているかを判断し、モデルがどのように原因であるかを理解することができる。
標準教師付き学習プロセスは、オリジナルの特徴とターゲットラベルによって純粋に駆動され、ポストホックな説明によって識別された特徴の局所的関連性によってフィードバックループが通知されることはない。
本稿では,新たに得られた情報を利用して,説明と特徴値を組み合わせた特徴工学フェーズをデザインする。
これを実現するために,反復データセット重み付けとターゲット代替値という2つの異なる戦略を開発し,ユーザが提示する説明プロセスをよりよく模倣した,合理化されたモデルを生成する。
これらの合理化モデルは、新たに作成された説明の精度とコンパクト性の観点から、元のブラックボックス分類器と比較する。 Several explainable AI methods allow a Machine Learning user to get insights on the classification process of a black-box model in the form of local linear explanations. With such information, the user can judge which features are locally relevant for the classification outcome, and get an understanding of how the model reasons. Standard supervised learning processes are purely driven by the original features and target labels, without any feedback loop informed by the local relevance of the features identified by the post-hoc explanations. In this paper, we exploit this newly obtained information to design a feature engineering phase, where we combine explanations with feature values. To do so, we develop two different strategies, named Iterative Dataset Weighting and Targeted Replacement Values, which generate streamlined models that better mimic the explanation process presented to the user. We show how these streamlined models compare to the original black-box classifiers, in terms of accuracy and compactness of the newly produced explanations. | 翻訳日:2023-02-16 14:30:58 公開日:2023-02-15 |
| # SynGraphy: 小さな合成代表グラフによる大規模ネットワークの帰属要約 SynGraphy: Succinct Summarisation of Large Networks via Small Synthetic Representative Graphs ( http://arxiv.org/abs/2302.07755v1 ) ライセンス: Link先を確認 | J\'er\^ome Kunegis, Pawan Kumar, Jun Sun, Anna Samoilenko, Giuseppe Pirr\'o | (参考訳) 入力グラフに類似した構造特性を持つ小さなグラフを描画することにより,大規模ネットワークデータセットの構造を視覚的に要約する手法であるSynGraphyについて述べる。
複雑なネットワークを視覚化することは、ネットワーク化されたデータとその表現する関係を理解し、理解するために重要である。
facebookやtwitterのような大規模なネットワークを描く単純な方法は、ほとんど、あるいは全く情報を伝達しないグラフィックに繋がる。
現代のグラフレイアウトアルゴリズムは大規模ネットワークに計算的にスケールすることができるが、その出力は共通の「ヘアボール」な外観になりがちであり、異なるグラフを区別することさえ困難である。
グラフサンプリングとグラフ粗化技術はこれらの制限に部分的に対処するが、元のグラフの性質のサブセットを保存できるだけである。
本稿では,新しい視点から大きなグラフを可視化する問題を取り上げる。我々は元のグラフのノードとエッジを置き去りにし,その代わりに,元のグラフと構造的特性が一致する完全に新しいグラフを生成することによって,クラスタリング係数や二分率などの特性を要約する。
この手法を他のグラフ可視化アルゴリズムと比較して有用性を検証するため,実験対象(グラフマイニングおよび関連領域のプロ)に対して,与えられた2つのグラフのどの構造的特性を有するかを繰り返し質問し,どの可視化アルゴリズムが正解同定に寄与したかを評価した。
我々の要約アプローチのシンフォグラフィーは、様々なネットワーク上の他の技術と比較して好適である。 We describe SynGraphy, a method for visually summarising the structure of large network datasets that works by drawing smaller graphs generated to have similar structural properties to the input graphs. Visualising complex networks is crucial to understand and make sense of networked data and the relationships it represents. Due to the large size of many networks, visualisation is extremely difficult; the simple method of drawing large networks like those of Facebook or Twitter leads to graphics that convey little or no information. While modern graph layout algorithms can scale computationally to large networks, their output tends to a common "hairball" look, which makes it difficult to even distinguish different graphs from each other. Graph sampling and graph coarsening techniques partially address these limitations but they are only able to preserve a subset of the properties of the original graphs. In this paper we take the problem of visualising large graphs from a novel perspective: we leave the original graph's nodes and edges behind, and instead summarise its properties such as the clustering coefficient and bipartivity by generating a completely new graph whose structural properties match that of the original graph. To verify the utility of this approach as compared to other graph visualisation algorithms, we perform an experimental evaluation in which we repeatedly asked experimental subjects (professionals in graph mining and related areas) to determine which of two given graphs has a given structural property and then assess which visualisation algorithm helped in identifying the correct answer. Our summarisation approach SynGraphy compares favourably to other techniques on a variety of networks. | 翻訳日:2023-02-16 14:30:42 公開日:2023-02-15 |
| # SupSiam:分子コンバータから学ぶための非競合補助損失 SupSiam: Non-contrastive Auxiliary Loss for Learning from Molecular Conformers ( http://arxiv.org/abs/2302.07754v1 ) ライセンス: Link先を確認 | Michael Maser, Ji Won Park, Joshua Yao-Yu Lin, Jae Hyeon Lee, Nathan C. Frey, Andrew Watkins | (参考訳) 分子コンフォーメータの拡張サンプルの組込み学習のためのシアムネットワークについて検討する。
非矛盾性(正ペアのみ)の補助タスクは、ユークリッドニューラルネットワーク(e3nn)の教師付きトレーニングを支援し、ポイントクラウドジオメトリ周辺の多様体滑らかさ(ms)を増加させる。
我々は,複数の薬剤活性予測タスクに対して,関連するパフォーマンス指標を維持しながらこの特性を実証し,確率的および回帰的設定へのmsの拡張を提案する。
我々は,表象崩壊の分析を行い,タスク重み付け,潜在次元,正規化の実質的な効果を見出した。
我々は,提案プロトコルが分子適合体からの信頼性の高いe3nnの開発を支援することを期待する。 We investigate Siamese networks for learning related embeddings for augmented samples of molecular conformers. We find that a non-contrastive (positive-pair only) auxiliary task aids in supervised training of Euclidean neural networks (E3NNs) and increases manifold smoothness (MS) around point-cloud geometries. We demonstrate this property for multiple drug-activity prediction tasks while maintaining relevant performance metrics, and propose an extension of MS to probabilistic and regression settings. We provide an analysis of representation collapse, finding substantial effects of task-weighting, latent dimension, and regularization. We expect the presented protocol to aid in the development of reliable E3NNs from molecular conformers, even for small-data drug discovery programs. | 翻訳日:2023-02-16 14:30:15 公開日:2023-02-15 |
| # 何が新しいの?
物語における新しい出来事の展開を特定する Whats New? Identifying the Unfolding of New Events in Narratives ( http://arxiv.org/abs/2302.07748v1 ) ライセンス: Link先を確認 | Seyed Mahed Mousavi, Shohei Tanaka, Gabriel Roccabruna, Koichiro Yoshino, Satoshi Nakamura, Giuseppe Riccardi | (参考訳) ナラティブには、時間とコンテキストにまたがる豊富なイベントソースが含まれている。
これらの出来事の自動的な理解は、さらなる計算(推論など)のために物語を要約した理解を提供するかもしれない。
本稿では,イベントの情報状況(IS)を調査し,物語における新たなイベントの自動識別という,新たな課題を提案する。
イベントは主題、述語、オブジェクトの三重項として定義します。
イベントは、談話の文脈と、コモンセンス推論によって推測できるかどうかに関して、新しく分類される。
我々は,人間の注釈を用いて,新しい出来事を文レベルで表現した物語の公開コーパスを注釈した。
本稿では,アノテーションの質と課題の難しさの検証を目的としたアノテーションプロトコルと研究について述べる。
ナラティブ理解のための新しいイベント抽出タスクのために,アノテーション付きデータセット,アノテーション資料,機械学習ベースラインモデルを公開する。 Narratives include a rich source of events unfolding over time and context. Automatic understanding of these events may provide a summarised comprehension of the narrative for further computation (such as reasoning). In this paper, we study the Information Status (IS) of the events and propose a novel challenging task: the automatic identification of new events in a narrative. We define an event as a triplet of subject, predicate, and object. The event is categorized as new with respect to the discourse context and whether it can be inferred through commonsense reasoning. We annotated a publicly available corpus of narratives with the new events at sentence level using human annotators. We present the annotation protocol and a study aiming at validating the quality of the annotation and the difficulty of the task. We publish the annotated dataset, annotation materials, and machine learning baseline models for the task of new event extraction for narrative understanding. | 翻訳日:2023-02-16 14:29:59 公開日:2023-02-15 |
| # オフラインのゴールスワッピング体験リプレイの優先順位付け Prioritized offline Goal-swapping Experience Replay ( http://arxiv.org/abs/2302.07741v1 ) ライセンス: Link先を確認 | Wenyan Yang, Joni Pajarinen, Dinging Cai, Joni K\"am\"ar\"ainen | (参考訳) 目標条件付きオフライン強化学習では、エージェントは以前収集したデータから任意の目標に到達するために学習する。
オフラインデータは有限個のトラジェクタしか含まないため、より多くのデータを生成する方法が主な課題である。
ゴールスワッピングは軌道目標を切り替えることで追加データを生成するが、その一方で多数の無効な軌道を生成する。
この問題に対処するため,我々はpgser(priorized goal-swapping experience replay)を提案する。
pgserは事前訓練されたq関数を使用して、目標を達成するための遷移を目標に優先する重みを割り当てる。
実験では、pgserは広範囲のベンチマークタスクにおいてベースラインよりも大幅に改善され、過去に失敗に終わったデクスタブルな手操作タスクにも挑戦する。 In goal-conditioned offline reinforcement learning, an agent learns from previously collected data to go to an arbitrary goal. Since the offline data only contains a finite number of trajectories, a main challenge is how to generate more data. Goal-swapping generates additional data by switching trajectory goals but while doing so produces a large number of invalid trajectories. To address this issue, we propose prioritized goal-swapping experience replay (PGSER). PGSER uses a pre-trained Q function to assign higher priority weights to goal swapped transitions that allow reaching the goal. In experiments, PGSER significantly improves over baselines in a wide range of benchmark tasks, including challenging previously unsuccessful dexterous in-hand manipulation tasks. | 翻訳日:2023-02-16 14:29:48 公開日:2023-02-15 |
| # 原子核-電子軌道(NEO)理論の量子計算による実装:分子量子系の実効前オッペンハイマー定式化に向けて A Quantum Computing Implementation of Nuclear-Electronic Orbital (NEO) Theory: Towards an Exact pre-Born-Oppenheimer Formulation of Molecular Quantum Systems ( http://arxiv.org/abs/2302.07814v1 ) ライセンス: Link先を確認 | Arseny Kovyrshin, M{\aa}rten Skogh, Anders Broo, Stefano Mensa, Emre Sahin, Jason Crain, Ivano Tavernelli | (参考訳) ボルン=オッペンハイマー近似以外の核量子現象は、化学および生物学的プロセスの増加において重要な役割を果たすことが知られている。
結合電子-原子核量子力学の厳密で効率的な実装に関するユニークなコンセンサスはないが、これらの問題は古典的プロセッサのシステムサイズと指数関数的にスケールし、量子コンピューティングの実装の恩恵を受ける可能性があると認識されている。
本稿では、核電子軌道(neo)アプローチに基づく、短期量子コンピュータにおける電子-核問題の効率的な量子処理手法を提案する。
我々は,neoフレームワークに内在する対称性を利用して電子2量子ビットテーパリングスキームを一般化し,ハミルトニアン次元,量子ビット数,ゲート数,計算に必要な測定値を削減する。
また,パラメータ転送および初期化手法を開発し,従来の初期化に対する収束挙動を改善する。
これらの手法はh$_2$とマロンアルデヒドに適用され、原子核-電子軌道完全配置相互作用と核-電子軌道完全活性空間配置相互作用ベンチマークと一致し、基底状態エネルギーは10^{-6}$ha以内、絡み合いエントロピーは10^{-4}$以内となる。
これらの実装は、高い精度を維持しながら、短期量子デバイス上の分子の完全な量子シミュレーションのリソース要求を著しく低減する。 Nuclear quantum phenomena beyond the Born-Oppenheimer approximation are known to play an important role in a growing number of chemical and biological processes. While there exists no unique consensus on a rigorous and efficient implementation of coupled electron-nuclear quantum dynamics, it is recognised that these problems scale exponentially with system size on classical processors and therefore may benefit from quantum computing implementations. Here, we introduce a methodology for the efficient quantum treatment of the electron-nuclear problem on near-term quantum computers, based upon the Nuclear-Electronic Orbital (NEO) approach. We generalize the electronic two-qubit tapering scheme to include nuclei by exploiting symmetries inherent in the NEO framework; thereby reducing the hamiltonian dimension, number of qubits, gates, and measurements needed for calculations. We also develop parameter transfer and initialisation techniques, which improve convergence behavior relative to conventional initialisation. These techniques are applied to H$_2$ and malonaldehyde for which results agree with Nuclear-Electronic Orbital Full Configuration Interaction and Nuclear-Electronic Orbital Complete Active Space Configuration Interaction benchmarks for ground state energy to within $10^{-6}$ Ha and entanglement entropy to within $10^{-4}$. These implementations therefore significantly reduce resource requirements for full quantum simulations of molecules on near-term quantum devices while maintaining high accuracy. | 翻訳日:2023-02-16 14:22:52 公開日:2023-02-15 |
| # OCT 3D画像を用いた正確な網膜層分割のためのAIパイプライン AI pipeline for accurate retinal layer segmentation using OCT 3D images ( http://arxiv.org/abs/2302.07806v1 ) ライセンス: Link先を確認 | Mayank Goswami | (参考訳) マルチスペクトル動物イメージングシステムによる画像データセットは,2つの問題に対処するために用いられる。
(a)マウス眼球運動及び眼球運動による光コヒーレンス断層撮影(OCT)画像における発振の登録
b)厚い容器・構造物の陰影領域を抑制すること。
動物イメージングシステムを組み合わせたデータとの互換性を確認するために、複数の古典的およびAIベースのアルゴリズムを組み合わせて各タスクをテストする。
光フローによるAIのハイブリッド化とホログラフィー変換は、登録のために動作する(相関値>0.7)。
Resnet50のバックボーンは、損失値0.9の有名なU-netモデルよりも優れていることが示されている。
簡単な実装による分析式は、平均画素値の1%増分と零点数の77%減の明るさ操作に取り組んでいることが示されている。
提案する方程式は、ゼロ数の最小化、ピクセル値の標準偏差、平均画素値の最大化のための制御因子 {\alpha} を用いて制約最適化問題を定式化することができる。
Layerセグメンテーションでは、標準のU-netモデルが使用される。
aiパイプラインはcnn、optical flow、rcnn、ピクセル操作モデル、u-netモデルで構成される。
厚み推定プロセスは、手動の注釈付き標準データと比較して6%の誤差がある。 Image data set from a multi-spectral animal imaging system is used to address two issues: (a) registering the oscillation in optical coherence tomography (OCT) images due to mouse eye movement and (b) suppressing the shadow region under the thick vessels/structures. Several classical and AI-based algorithms in combination are tested for each task to see their compatibility with data from the combined animal imaging system. Hybridization of AI with optical flow followed by Homography transformation is shown to be working (correlation value>0.7) for registration. Resnet50 backbone is shown to be working better than the famous U-net model for shadow region detection with a loss value of 0.9. A simple-to-implement analytical equation is shown to be working for brightness manipulation with a 1% increment in mean pixel values and a 77% decrease in the number of zeros. The proposed equation allows formulating a constraint optimization problem using a controlling factor {\alpha} for minimization of number of zeros, standard deviation of pixel value and maximizing the mean pixel value. For Layer segmentation, the standard U-net model is used. The AI-Pipeline consists of CNN, Optical flow, RCNN, pixel manipulation model, and U-net models in sequence. The thickness estimation process has a 6% error as compared to manual annotated standard data. | 翻訳日:2023-02-16 14:22:27 公開日:2023-02-15 |
| # 拡散モデルにおけるデータ法医学:メンバーシッププライバシの体系的分析 Data Forensics in Diffusion Models: A Systematic Analysis of Membership Privacy ( http://arxiv.org/abs/2302.07801v1 ) ライセンス: Link先を確認 | Derui Zhu, Dingfan Chen, Jens Grossklags, Mario Fritz | (参考訳) 近年、拡散モデルは画像生成の分野で大きな成功を収め、AIベースの画像処理アプリケーションの最先端技術となった。
拡散モデルの最近の進歩によってもたらされた多くの利点にもかかわらず、その潜在的な誤用、特にプライバシー侵害と知的財産侵害に関する懸念もある。
特に、それらのユニークな特徴は、そのようなモデルの現実世界の展開を考えると、新しい攻撃面を開く。
攻撃ベクトルの徹底的な研究により,拡散モデルに対するメンバシップ推論攻撃の系統的解析を開発し,拡散モデルに特有な攻撃シナリオに合わせた新たな攻撃手法を提案する。
提案手法は容易に入手可能な量を利用して,現実的なシナリオにおいてほぼ完全な攻撃性能(>0.9 AUCROC)を実現する。
提案手法の有効性を実証し,画像生成タスクにおける拡散モデルを用いた場合のプライバシと知的財産権リスクを検討することの重要性を強調した。 In recent years, diffusion models have achieved tremendous success in the field of image generation, becoming the stateof-the-art technology for AI-based image processing applications. Despite the numerous benefits brought by recent advances in diffusion models, there are also concerns about their potential misuse, specifically in terms of privacy breaches and intellectual property infringement. In particular, some of their unique characteristics open up new attack surfaces when considering the real-world deployment of such models. With a thorough investigation of the attack vectors, we develop a systematic analysis of membership inference attacks on diffusion models and propose novel attack methods tailored to each attack scenario specifically relevant to diffusion models. Our approach exploits easily obtainable quantities and is highly effective, achieving near-perfect attack performance (>0.9 AUCROC) in realistic scenarios. Our extensive experiments demonstrate the effectiveness of our method, highlighting the importance of considering privacy and intellectual property risks when using diffusion models in image generation tasks. | 翻訳日:2023-02-16 14:22:07 公開日:2023-02-15 |
| # エンタングルuv-c及び赤外線光子の波長可変ファイバ源 Tunable fiber source of entangled UV-C and infrared photons ( http://arxiv.org/abs/2302.07798v1 ) ライセンス: Link先を確認 | Santiago Lopez-Huidobro, Maria V. Chekhova, and Nicolas Y. Joly | (参考訳) 両光子の絡み合った光子のペアは、量子応用には不可欠である。
しかし、紫外線のような重要なスペクトル範囲は、これまでそれらにアクセスできない。
ここでは,キセノン充填単環フォトニック結晶繊維に4波混合を施し,紫外線中の光子と赤外スペクトル領域の絡み合ったパートナーの2光子を生成する。
ファイバ内部のガス圧を変化させ、繊維の分散景観を調整し、バイフォトンを周波数で調整する。
紫外線光子は271nmから235nmまで調整可能であり、その絡み合ったパートナーはそれぞれ764nmから1342nmである。
調整性は最大170 THzで、ガス圧をわずか0.57バールで調整する。
1.32バーでは、ペアの光子は2オクターブ以上で分離される。
紫外波長へのアクセスは、このスペクトル範囲の未検出光子による分光とセンシングの可能性を開く。 Pairs of entangled photons -- biphotons -- are indispensable in quantum applications. However, some important spectral ranges, like ultraviolet, have been inaccessible to them so far. Here, we use four-wave mixing in a xenon-filled single-ring photonic crystal fiber to generate biphotons with one of the photons in the ultraviolet and its entangled partner in the infrared spectral range. We tune the biphotons in frequency by varying the gas pressure inside the fiber and thus tailoring the fiber dispersion landscape. The ultraviolet photons are tunable from 271 nm to 235 nm and their entangled partners, from 764 nm to 1342 nm, respectively. The tunability up to 170 THz is achieved by adjusting the gas pressure by only 0.57 bar. At 1.32 bar, the photons of a pair are separated by more than 2 octaves. The access to ultraviolet wavelengths opens the possibility for spectroscopy and sensing with undetected photons in this spectral range. | 翻訳日:2023-02-16 14:21:51 公開日:2023-02-15 |
| # Aariz: 自動ケパロメトリランドマーク検出とCVMステージ分類のためのベンチマークデータセット 'Aariz: A Benchmark Dataset for Automatic Cephalometric Landmark Detection and CVM Stage Classification ( http://arxiv.org/abs/2302.07797v1 ) ライセンス: Link先を確認 | Muhammad Anwaar Khalid, Kanwal Zulfiqar, Ulfat Bashir, Areeba Shaheen, Rida Iqbal, Zarnab Rizwan, Ghina Rizwan, Muhammad Moazam Fraz | (参考訳) 脳波ランドマークの正確な同定と正確な位置決定は、解剖学的異常の分類と定量化を可能にする。
側面脳波で頭蓋計測のランドマークをマークする伝統的な方法は、単調で時間を要する仕事である。
自動ランドマーク検出システムの開発への取り組みは絶え間なく行われているが、信頼性のあるデータセットが利用できないため、矯正的応用には不十分である。
我々は、定量的形態計測分析のための堅牢なAIソリューションの開発を容易にする新しい最先端データセットを提案した。
データセットには、解像度の異なる7つの異なるX線画像装置から得られた1000個の側方X線写真(LCR)が含まれている。
私たちのチームの臨床専門家は、各X線写真に29の頭蓋計測のランドマークを細心の注意で注釈付けしました。
また,X線写真では頸部椎体成熟期(CVM)と診断し,このデータセットがCVM分類の標準基準となった。
このデータセットは、矯正治療などに用いられる信頼性の高い自動ランドマーク検出フレームワークの開発に役立ちます。 The accurate identification and precise localization of cephalometric landmarks enable the classification and quantification of anatomical abnormalities. The traditional way of marking cephalometric landmarks on lateral cephalograms is a monotonous and time-consuming job. Endeavours to develop automated landmark detection systems have persistently been made, however, they are inadequate for orthodontic applications due to unavailability of a reliable dataset. We proposed a new state-of-the-art dataset to facilitate the development of robust AI solutions for quantitative morphometric analysis. The dataset includes 1000 lateral cephalometric radiographs (LCRs) obtained from 7 different radiographic imaging devices with varying resolutions, making it the most diverse and comprehensive cephalometric dataset to date. The clinical experts of our team meticulously annotated each radiograph with 29 cephalometric landmarks, including the most significant soft tissue landmarks ever marked in any publicly available dataset. Additionally, our experts also labelled the cervical vertebral maturation (CVM) stage of the patient in a radiograph, making this dataset the first standard resource for CVM classification. We believe that this dataset will be instrumental in the development of reliable automated landmark detection frameworks for use in orthodontics and beyond. | 翻訳日:2023-02-16 14:21:36 公開日:2023-02-15 |
| # 線形機械量子コンピューティングのためのプラットフォームの開発 Developing a platform for linear mechanical quantum computing ( http://arxiv.org/abs/2302.07791v1 ) ライセンス: Link先を確認 | Hong Qiao, Etienne Dumur, Gustav Andersson, Haoxiong Yan, Ming-Han Chou, Joel Grebel, Christopher R. Conner, Yash J. Joshi, Jacob M. Miller, Rhys G. Povey, Xuntao Wu, Andrew N. Cleland | (参考訳) 線形光量子コンピューティングは、必要な要素の短いリストを持つ量子コンピューティングに対する望ましいアプローチを提供する。
光子とフォノンの類似性は、光子の代わりにフォノンを用いる線形機械量子コンピューティング(LMQC)の興味深い可能性を示している。
単一フォノン源と検出器が実証されているが、フォノンビームスプリッター素子は依然として顕著な要件である。
ここでは、2つの超伝導量子ビットを用いてビームスプリッターを単一フォノンで完全に特徴づける。
我々はさらに、ビームスプリッターを用いて、lmqcに必要なツールボックスを完了させる2量子ゲートの要求である2フォノン干渉を実証する。
この進歩は、線形量子コンピューティングを完全な固体系に持ち込み、イテナントフォノンと超伝導量子ビット間の直接変換をもたらす。 Linear optical quantum computing provides a desirable approach to quantum computing, with a short list of required elements. The similarity between photons and phonons points to the interesting potential for linear mechanical quantum computing (LMQC), using phonons in place of photons. While single-phonon sources and detectors have been demonstrated, a phononic beamsplitter element remains an outstanding requirement. Here we demonstrate such an element, using two superconducting qubits to fully characterize a beamsplitter with single phonons. We further use the beamsplitter to demonstrate two-phonon interference, a requirement for two-qubit gates, completing the toolbox needed for LMQC. This advance brings linear quantum computing to a fully solid-state system, along with straightforward conversion between itinerant phonons and superconducting qubits. | 翻訳日:2023-02-16 14:21:16 公開日:2023-02-15 |
| # 最適・変動多パラメータ量子メトロロジーとベクトル場センシング Optimal and Variational Multi-Parameter Quantum Metrology and Vector Field Sensing ( http://arxiv.org/abs/2302.07785v1 ) ライセンス: Link先を確認 | Raphael Kaubruegger, Athreya Shankar, Denis V. Vasilyev, Peter Zoller | (参考訳) su(2)$量子干渉法のためにベイズフレームワーク内の2次元および3次元ベクトル場のマルチパラメータセンシングについて検討した。
我々は,複数のパラメータを同時に推定する精度の基本的な限界を$N$-atomセンサーで決定する,最適量子センサを決定する方法を確立する。
現在の実験プラットフォームを念頭に置いて、絡み合い能力に乏しいセンサを提示すると同時に、絡み合いなく動作するセンサを著しく上回り、性能面で最適な量子センサに接近する。
さらに,これらのセンサを,量子回路の変動を考慮した現在のプログラム可能な量子センサに実装する方法を示す。
得られた回路は、所定のセンサプラットフォームで利用可能なネイティブな絡み合いリソースが与えられた場合に、最適な量子センサを実現するために、調整された絡み合い状態を作成し、適切な絡み合いベースで測定を行う。
注目すべき例としては、2dおよび3d量子 ``compass'' と2dセンサーがあり、アンエンタングルセンサよりもスケーラブルな改善を提供する。
最適および変分多パラメータ量子メトロロジーの結果は、基礎科学における精度測定の進歩と量子コンピュータの安定性の確保に有用であり、量子フィードバックループにおける最適な量子センサの導入によって実現可能である。 We study multi-parameter sensing of 2D and 3D vector fields within the Bayesian framework for $SU(2)$ quantum interferometry. We establish a method to determine the optimal quantum sensor, which establishes the fundamental limit on the precision of simultaneously estimating multiple parameters with an $N$-atom sensor. Keeping current experimental platforms in mind, we present sensors that have limited entanglement capabilities, and yet, significantly outperform sensors that operate without entanglement and approach the optimal quantum sensor in terms of performance. Furthermore, we show how these sensors can be implemented on current programmable quantum sensors with variational quantum circuits by minimizing a metrological cost function. The resulting circuits prepare tailored entangled states and perform measurements in an appropriate entangled basis to realize the best possible quantum sensor given the native entangling resources available on a given sensor platform. Notable examples include a 2D and 3D quantum ``compass'' and a 2D sensor that provides a scalable improvement over unentangled sensors. Our results on optimal and variational multi-parameter quantum metrology are useful for advancing precision measurements in fundamental science and ensuring the stability of quantum computers, which can be achieved through the incorporation of optimal quantum sensors in a quantum feedback loop. | 翻訳日:2023-02-16 14:21:02 公開日:2023-02-15 |
| # 微調整の不安定性の測定 Measuring the Instability of Fine-Tuning ( http://arxiv.org/abs/2302.07778v1 ) ライセンス: Link先を確認 | Yupei Du and Dong Nguyen | (参考訳) 様々なランダムなシードを持つ下流タスク上の微調整済み言語モデルは、特に小さなデータセットでは不安定であることが示されている。
以前の多くの研究はこの不安定性を調査し、緩和する方法を提案した。
しかし、ほとんどの研究はパフォーマンススコア(SD)の標準偏差を測定基準として用いており、これは不安定性の狭い特徴である。
本稿では,様々な粒度で不安定性を定量化するsdおよび他の6つの測定値を分析した。
さらに,本手法の有効性を評価するための体系的枠組みを提案する。
最後に,既存の不安定緩和法を再評価することにより,異なる尺度間の一貫性と差異を分析する。
私たちの結果は、微調整不安定性のより良い測定方法の開発に役立てることを願っています。 Fine-tuning pre-trained language models on downstream tasks with varying random seeds has been shown to be unstable, especially on small datasets. Many previous studies have investigated this instability and proposed methods to mitigate it. However, most studies only used the standard deviation of performance scores (SD) as their measure, which is a narrow characterization of instability. In this paper, we analyze SD and six other measures quantifying instability at different levels of granularity. Moreover, we propose a systematic framework to evaluate the validity of these measures. Finally, we analyze the consistency and difference between different measures by reassessing existing instability mitigation methods. We hope our results will inform the development of better measurements of fine-tuning instability. | 翻訳日:2023-02-16 14:20:40 公開日:2023-02-15 |
| # 共変量子組合せ論とゼロエラー通信への応用 Covariant quantum combinatorics with applications to zero-error communication ( http://arxiv.org/abs/2302.07776v1 ) ライセンス: Link先を確認 | Dominic Verdon | (参考訳) 有限次元の共変集合において、すべての系(有限次元$C^*$-代数)がコンパクトな量子群$G$の作用を持ち、すべてのチャネル(正の正の$G$-不変状態を保存する写像)が$G$-作用に関して共変であるような量子(非可換性)関係と量子(非可換性)グラフの理論を開発する。
我々は、対称性制約を持つゼロエラー量子通信理論への応用による定義の動機付けを行う。
主な結果は以下の通りである。
1)共変量子関係を共変チャネルの基底関係とするために必要な十分条件を与える。
2) 共変チャネルの共変チャネルの共変グラフとして、g$-作用を持つすべての量子可換グラフ(これを量子 $g$-graph と呼ぶ)が出現することを示す。
3) 共変チャネルは共変チャネルの可積分性が$G$-graph であるときに正確に可逆であることを示す。
4) $g$ が準三角である場合(これはすべてのコンパクト群を含む)、共変ゼロエラーのソースチャネル符号化スキームは、共変準同型である。 We develop the theory of quantum (a.k.a. noncommutative) relations and quantum (a.k.a. noncommutative) graphs in the finite-dimensional covariant setting, where all systems (finite-dimensional $C^*$-algebras) carry an action of a compact quantum group $G$, and all channels (completely positive maps preserving the canonical $G$-invariant state) are covariant with respect to the $G$-actions. We motivate our definitions by applications to zero-error quantum communication theory with a symmetry constraint. Some key results are the following: 1) We give a necessary and sufficient condition for a covariant quantum relation to be the underlying relation of a covariant channel. 2) We show that every quantum confusability graph with a $G$-action (which we call a quantum $G$-graph) arises as the confusability graph of a covariant channel. 3) We show that a covariant channel is reversible precisely when its confusability $G$-graph is discrete. 4) When $G$ is quasitriangular (this includes all compact groups), we show that covariant zero-error source-channel coding schemes are classified by covariant homomorphisms between confusability $G$-graphs. | 翻訳日:2023-02-16 14:20:32 公開日:2023-02-15 |
| # 量子膨張器に関する一考察 A note on quantum expanders ( http://arxiv.org/abs/2302.07772v1 ) ライセンス: Link先を確認 | C\'ecilia Lancien, Pierre Youssef | (参考訳) 我々は、弱いモーメント仮定を持つランダム行列としてサンプリングされ、大きなスペクトルギャップを示し、従って最適な量子展開器であるクラウス作用素の少ないランダム量子チャネルの広いクラスを証明している。
特に,この結果は,古典的(ランダムあるいは決定論的)対応子からランダム量子展開器を構築するためのレシピを提供する。
これは、これまで少数の例に限られていた最適量子展開器の既知の構成のリストを大きく拡大する。
我々の証明は、依存と非均一性を持つランダム行列の作用素ノルムの研究の最近の進歩に依存しており、量子情報のいくつかの領域でさらなる応用が期待できる。 We prove that a wide class of random quantum channels with few Kraus operators, sampled as random matrices with mild moment assumptions, exhibit a large spectral gap, and are therefore optimal quantum expanders. In particular, our result provides a recipe to construct random quantum expanders from their classical (random or deterministic) counterparts. This considerably enlarges the list of known constructions of optimal quantum expanders, which was previously limited to few examples. Our proofs rely on recent progress in the study of the operator norm of random matrices with dependence and non-homogeneity, which we expect to have further applications in several areas of quantum information. | 翻訳日:2023-02-16 14:20:05 公開日:2023-02-15 |
| # 非凸最適化における準凸関数の連続加速 Continuized Acceleration for Quasar Convex Functions in Non-Convex Optimization ( http://arxiv.org/abs/2302.07851v1 ) ライセンス: Link先を確認 | Jun-Kun Wang and Andre Wibisono | (参考訳) 擬似凸性 ( Quasar convexity) は、最適化ランドスケープが凸でない場合でも、いくつかの一階法で関数を効率的に最小化できる条件である。
従来の研究では、このクラスの関数を最小化するための近似加速アルゴリズムが開発されていたが、各繰り返しにおける勾配評価を複数呼び出すバイナリサーチのサブルーチンが必要であり、結果として、勾配評価の総数は既知の下界と一致しない。
本研究では,最近提案された連続ネステロフ加速度を準凸関数の最小化に適用し,高い確率で最適境界を達成することを示す。
さらに, 一般化線形モデル(glm)の訓練対象関数はクエーサー凸性を満たすことが判明し, 関連するアルゴリズムの適用性が高まる一方で, 非凸学習におけるクエーサー凸性の実例が文献に乏しい。
また, 平滑かつ一点強凸, ポリアク・ロジャシェヴィチ, あるいは二次成長関数がクエーサー凸性を満たす場合, ある種の条件下では, 関数を最小化するための加速線形速度が得られるが, 加速度は一般には分かっていない。 Quasar convexity is a condition that allows some first-order methods to efficiently minimize a function even when the optimization landscape is non-convex. Previous works develop near-optimal accelerated algorithms for minimizing this class of functions, however, they require a subroutine of binary search which results in multiple calls to gradient evaluations in each iteration, and consequently the total number of gradient evaluations does not match a known lower bound. In this work, we show that a recently proposed continuized Nesterov acceleration can be applied to minimizing quasar convex functions and achieves the optimal bound with a high probability. Furthermore, we find that the objective functions of training generalized linear models (GLMs) satisfy quasar convexity, which broadens the applicability of the relevant algorithms, while known practical examples of quasar convexity in non-convex learning are sparse in the literature. We also show that if a smooth and one-point strongly convex, Polyak-Lojasiewicz, or quadratic-growth function satisfies quasar convexity, then attaining an accelerated linear rate for minimizing the function is possible under certain conditions, while acceleration is not known in general for these classes of functions. | 翻訳日:2023-02-16 14:14:07 公開日:2023-02-15 |
| # 基礎モデルのないゼロショット異常検出 Zero-Shot Anomaly Detection without Foundation Models ( http://arxiv.org/abs/2302.07849v1 ) ライセンス: Link先を確認 | Aodong Li, Chen Qiu, Marius Kloft, Padhraic Smyth, Maja Rudolph, Stephan Mandt | (参考訳) 異常検出(AD)は、与えられたデータセットの標準から逸脱するデータインスタンスを識別しようとする。
データ分布は分布シフトを受けるため、「正規性」という概念も流れ、異常検出のためのゼロショット適応アプローチの必要性が高まっている。
しかし、現在のゼロショットADメソッドはドメイン(自然言語や自然言語など)に制限された基礎モデルに依存しているため、コストがかかり、しばしばプロプライエタリなアプローチが求められている。
本稿では,様々な既定広告手法と互換性のある簡易かつ高効率なゼロショット広告手法を提案する。
当社のソリューションでは,オフセットの異常検出器(ディープsvddなど)をバッチ正規化と組み合わせて,関連するデータ分散セットにトレーニングする。
この単純なレシピ-バッチ正規化とメタトレーニング-は、非常に効果的で多用途なツールです。
本研究では,表データに対するゼロショット異常検出結果と,特定領域の画像データに対するソータゼロショット広告結果を示す。 Anomaly detection (AD) tries to identify data instances that deviate from the norm in a given data set. Since data distributions are subject to distribution shifts, our concept of ``normality" may also drift, raising the need for zero-shot adaptation approaches for anomaly detection. However, the fact that current zero-shot AD methods rely on foundation models that are restricted in their domain (natural language and natural images), are costly, and oftentimes proprietary, asks for alternative approaches. In this paper, we propose a simple and highly effective zero-shot AD approach compatible with a variety of established AD methods. Our solution relies on training an off-the-shelf anomaly detector (such as a deep SVDD) on a set of inter-related data distributions in combination with batch normalization. This simple recipe--batch normalization plus meta-training--is a highly effective and versatile tool. Our results demonstrate the first zero-shot anomaly detection results for tabular data and SOTA zero-shot AD results for image data from specialized domains. | 翻訳日:2023-02-16 14:13:43 公開日:2023-02-15 |
| # stylegan2のハイブリッド潜在空間を用いたワンショット映像再生 One-Shot Face Video Re-enactment using Hybrid Latent Spaces of StyleGAN2 ( http://arxiv.org/abs/2302.07848v1 ) ライセンス: Link先を確認 | Trevine Oorloff and Yaser Yacoob | (参考訳) 最近の研究は、StyleGANの高忠実な肖像画生成の助けを借りて、ワンショット映像の再演の低解像度な制約を徐々に克服してきたが、これらのアプローチは以下の少なくとも1つに依存している: 明示的な2D/3D先行、運動記述子としての光フローベースのワープ、オフ・ザ・シェルフエンコーダなど、その性能(例えば、一貫性のない予測、顔の詳細やアクセサリーを捉えることができないこと、一般化の貧弱さ、アーティファクト)。
本稿では,映像生成のための顔属性編集,顔の動きと変形,顔識別制御を同時にサポートするエンドツーエンドフレームワークを提案する。
Identity latent, $\mathcal{W}_{ID}$, Facial deformation latent, $\mathcal{S}_F$は、それぞれStyleGAN2の$W+$と$SS$のスペースに格納される。
これにより、$w+$の編集性障害トレードオフと$ss$の高乱れ性が組み合わさる。
これらのハイブリッド潜水剤は、高忠実度顔ビデオ再生を1024^2$で達成するためにStyleGAN2ジェネレータを使用する。
さらに、モデルは、他の潜在意味編集(例えば、ひげ、年齢、化粧など)を含むリアルな再現ビデオの生成をサポートする。
最先端手法に対する定性的および定量的分析は,提案手法の優位性を示す。 While recent research has progressively overcome the low-resolution constraint of one-shot face video re-enactment with the help of StyleGAN's high-fidelity portrait generation, these approaches rely on at least one of the following: explicit 2D/3D priors, optical flow based warping as motion descriptors, off-the-shelf encoders, etc., which constrain their performance (e.g., inconsistent predictions, inability to capture fine facial details and accessories, poor generalization, artifacts). We propose an end-to-end framework for simultaneously supporting face attribute edits, facial motions and deformations, and facial identity control for video generation. It employs a hybrid latent-space that encodes a given frame into a pair of latents: Identity latent, $\mathcal{W}_{ID}$, and Facial deformation latent, $\mathcal{S}_F$, that respectively reside in the $W+$ and $SS$ spaces of StyleGAN2. Thereby, incorporating the impressive editability-distortion trade-off of $W+$ and the high disentanglement properties of $SS$. These hybrid latents employ the StyleGAN2 generator to achieve high-fidelity face video re-enactment at $1024^2$. Furthermore, the model supports the generation of realistic re-enactment videos with other latent-based semantic edits (e.g., beard, age, make-up, etc.). Qualitative and quantitative analyses performed against state-of-the-art methods demonstrate the superiority of the proposed approach. | 翻訳日:2023-02-16 14:13:27 公開日:2023-02-15 |
| # nl2cmd: 自然言語からbashコマンドへの変換をアップデートしたワークフロー NL2CMD: An Updated Workflow for Natural Language to Bash Commands Translation ( http://arxiv.org/abs/2302.07845v1 ) ライセンス: Link先を確認 | Quchen Fu, Zhongwei Teng, Marco Georgaklis, Jules White, Douglas C. Schmidt | (参考訳) 自然言語をBash Commandsに翻訳することは近年注目されている研究分野である。
ほとんどの努力はより正確な翻訳モデルの作成に集中している。
私たちの知る限りでは、2つのデータセットしか利用できません。
どちらのデータセットも、既知のデータソース(stack overflowやクラウドソーシングなどを通じて)をスクレイピングし、英語テキストまたはbashコマンドの検証と修正を行う専門家を雇う。
本稿では,Bashコマンドをスクラッチから合成する研究に2つの貢献をする。
まず、対応する英文からBashコマンドを生成するための最先端翻訳モデルについて述べる。
第2に、NL2CMDデータセットを新たに導入し、自動生成し、人間の介入を最小限に抑え、以前のデータセットの6倍以上の規模となる。
生成パイプラインは既存のBashコマンドに依存しないので、分散とコマンドの種類をカスタマイズすることができる。
私たちの実験結果は、データセットのスケールと多様性が、セマンティック解析研究者にユニークな機会を提供することを示す。 Translating natural language into Bash Commands is an emerging research field that has gained attention in recent years. Most efforts have focused on producing more accurate translation models. To the best of our knowledge, only two datasets are available, with one based on the other. Both datasets involve scraping through known data sources (through platforms like stack overflow, crowdsourcing, etc.) and hiring experts to validate and correct either the English text or Bash Commands. This paper provides two contributions to research on synthesizing Bash Commands from scratch. First, we describe a state-of-the-art translation model used to generate Bash Commands from the corresponding English text. Second, we introduce a new NL2CMD dataset that is automatically generated, involves minimal human intervention, and is over six times larger than prior datasets. Since the generation pipeline does not rely on existing Bash Commands, the distribution and types of commands can be custom adjusted. Our empirical results show how the scale and diversity of our dataset can offer unique opportunities for semantic parsing researchers. | 翻訳日:2023-02-16 14:12:54 公開日:2023-02-15 |
| # 拡張言語モデル: 調査 Augmented Language Models: a Survey ( http://arxiv.org/abs/2302.07842v1 ) ライセンス: Link先を確認 | Gr\'egoire Mialon, Roberto Dess\`i, Maria Lomeli, Christoforos Nalmpantis, Ram Pasunuru, Roberta Raileanu, Baptiste Rozi\`ere, Timo Schick, Jane Dwivedi-Yu, Asli Celikyilmaz, Edouard Grave, Yann LeCun, and Thomas Scialom | (参考訳) この調査は、言語モデル(LM)が推論スキルとツールの使用能力で強化されているかのレビューを行う。
前者は、潜在的に複雑なタスクをより単純なサブタスクに分解し、後者はコードインタプリタのような外部モジュールを呼び出すことで定義される。
LMはこれらの拡張を別々に、あるいはヒューリスティックを通じて組み合わせて利用したり、デモからそれを学べる。
標準的なトークン予測の目標に固執する一方で、拡張LMは様々な、おそらくパラメトリックでない外部モジュールを使用してコンテキスト処理能力を拡張できるため、純粋な言語モデリングパラダイムから離れることができる。
したがって、それらをALM(Augmented Language Models)と呼ぶ。
トークンの目的の欠如により、ALMは推論、ツールの使用、さらには動作を学ぶことができ、標準の自然言語タスクを実行しながら、いくつかのベンチマークでほとんどの通常のLMを上回ります。
本稿では,almsの最近の進歩を振り返って,この新たな研究の方向性は,解釈可能性,一貫性,スケーラビリティといった従来のlmmの一般的な制限に対処できる可能性があると結論づける。 This survey reviews works in which language models (LMs) are augmented with reasoning skills and the ability to use tools. The former is defined as decomposing a potentially complex task into simpler subtasks while the latter consists in calling external modules such as a code interpreter. LMs can leverage these augmentations separately or in combination via heuristics, or learn to do so from demonstrations. While adhering to a standard missing tokens prediction objective, such augmented LMs can use various, possibly non-parametric external modules to expand their context processing ability, thus departing from the pure language modeling paradigm. We therefore refer to them as Augmented Language Models (ALMs). The missing token objective allows ALMs to learn to reason, use tools, and even act, while still performing standard natural language tasks and even outperforming most regular LMs on several benchmarks. In this work, after reviewing current advance in ALMs, we conclude that this new research direction has the potential to address common limitations of traditional LMs such as interpretability, consistency, and scalability issues. | 翻訳日:2023-02-16 14:12:36 公開日:2023-02-15 |
| # 離散可変量子系の畳み込み的アプローチ A Convolutional Approach for Discrete-Variable Quantum Systems ( http://arxiv.org/abs/2302.07841v1 ) ライセンス: Link先を確認 | Kaifeng Bu, Weichen Gu, Arthur Jaffe | (参考訳) 離散変数(dv)量子系をquditsに基づいて研究する枠組みを提案する。
これは平均状態(MS)、最小の安定射影状態(MSPS)、新しい畳み込みの概念に依存している。
興味深い結果として、MSは与えられた状態の相対エントロピーに対して最も近いMSPSであり、MS状態はフォン・ノイマンエントロピーに対して極大であり、「DV系における最大エントロピー原理」を示す。
我々は、ゼロ平均量子状態の畳み込みを反復して中央極限定理を確立し、これを ms に収束させることを示す。
DVビームスプリッタとDV増幅器の2つの例について詳述する。 We introduce a framework to study discrete-variable (DV) quantum systems based on qudits. It relies on notions of a mean state (MS), a minimal stabilizer-projection state (MSPS), and a new convolution. Some interesting consequences are: The MS is the closest MSPS to a given state with respect to the relative entropy; the MS state is extremal with respect to the von Neumann entropy, demonstrating a ''maximal entropy principle in DV systems.'' We obtain a series of inequalities for quantum entropies and for Fisher information based on convolution, giving a ''second law of thermodynamics for quantum convolutions.'' We show that the convolution of two stabilizer states is a stabilizer state. We establish a central limit theorem, based on iterating the convolution of a zero-mean quantum state, and show this converges to an MS. The rate of convergence is characterized by the "magic gap," which we define in terms of the support of the characteristic function of the state. We elaborate on two examples: the DV beam splitter and the DV amplifier. | 翻訳日:2023-02-16 14:12:15 公開日:2023-02-15 |
| # ラベリング予算制約下での深い異常検出 Deep Anomaly Detection under Labeling Budget Constraints ( http://arxiv.org/abs/2302.07832v1 ) ライセンス: Link先を確認 | Aodong Li, Chen Qiu, Padhraic Smyth, Marius Kloft, Stephan Mandt, Maja Rudolph | (参考訳) 専門家のフィードバックに対する情報的データポイントの選択は、医療診断や不正検出など、さまざまなコンテキストにおける異常検出(AD)のパフォーマンスを著しく向上させることができる。
本稿では,ラベル付きクエリからラベル付きデータへの異常スコアを一般化する理論的条件の集合を決定する。
これらの結果から,予算制約の下で最適なデータカバレッジを持つデータラベリング戦略を提案する。
さらに,半教師付きADのための新しい学習フレームワークを提案する。
画像, 表, ビデオデータセットの大規模な実験により, 予算制約下での最先端の半教師付きAD性能が得られた。 Selecting informative data points for expert feedback can significantly improve the performance of anomaly detection (AD) in various contexts, such as medical diagnostics or fraud detection. In this paper, we determine a set of theoretical conditions under which anomaly scores generalize from labeled queries to unlabeled data. Motivated by these results, we propose a data labeling strategy with optimal data coverage under labeling budget constraints. In addition, we propose a new learning framework for semi-supervised AD. Extensive experiments on image, tabular, and video data sets show that our approach results in state-of-the-art semi-supervised AD performance under labeling budget constraints. | 翻訳日:2023-02-16 14:11:56 公開日:2023-02-15 |
| # 低ランクマトリクスセンシングのための昇降による超パラメトリゼーション:スプリアス溶液の厳密なサドル点への変換 Over-parametrization via Lifting for Low-rank Matrix Sensing: Conversion of Spurious Solutions to Strict Saddle Points ( http://arxiv.org/abs/2302.07828v1 ) ライセンス: Link先を確認 | Ziye Ma, Igor Molybog, Javad Lavaei, Somayeh Sojoudi | (参考訳) 本稿では,非凸最適化問題の解法におけるオーバーパラメトリゼーションの役割について検討する。
本研究では,非凸問題の無限階層を昇降法とバーラー・モンテイロ因子分解を用いて提案する,低ランク行列センシングの重要なクラスに焦点をあてる。
これは、行列の次元によって探索ランクが制限され、任意の次数のリッチなオーバーパラメトリゼーションを許さない既存のオーバーパラメトリゼーション手法とは対照的である。
この問題のスプリアス解は階層を通して定常点であり続けるが、それらは(いくつかの技術的条件の下で)厳密な鞍点へと変換され、局所探索法によって回避される。
これは、過パラメトリゼーションが急激な解を逃れるために負の曲率を生み出すことを示す文献の最初の結果である。
また、急激な解の除去を可能にするために、過度なパラメトリゼーションがどれだけ必要かという境界も導き出す。 This paper studies the role of over-parametrization in solving non-convex optimization problems. The focus is on the important class of low-rank matrix sensing, where we propose an infinite hierarchy of non-convex problems via the lifting technique and the Burer-Monteiro factorization. This contrasts with the existing over-parametrization technique where the search rank is limited by the dimension of the matrix and it does not allow a rich over-parametrization of an arbitrary degree. We show that although the spurious solutions of the problem remain stationary points through the hierarchy, they will be transformed into strict saddle points (under some technical conditions) and can be escaped via local search methods. This is the first result in the literature showing that over-parametrization creates a negative curvature for escaping spurious solutions. We also derive a bound on how much over-parametrization is requited to enable the elimination of spurious solutions. | 翻訳日:2023-02-16 14:11:44 公開日:2023-02-15 |
| # Powers-St{\o}rmerの不等式による量子仮説テストの推定について On an Estimation in quantum hypothesis testing via Powers-St{\o}rmer's Inequality ( http://arxiv.org/abs/2302.07818v1 ) ライセンス: Link先を確認 | Mohsen Kian and Mohammad Sal Moslehian | (参考訳) 2つの量子状態間での判別の誤差の確率について、$$ \mathrm{tr}(A+B) - \mathrm{tr}|A-B|\leq 2\, \mathrm{tr}\big(f(A)g(B)\big)$$$$が全ての正の行列単調関数$f$、$g(x)=x/f(x)$、およびすべての正の行列$A$と$B$に対して成り立つことが知られている。
この不等式を満たす関数のクラスには追加要素が含まれており、量子チャーンオフ境界に関するより良い推定を提供する。
また,行列パースペクティブ関数を考慮した場合,行列単トン減少関数と行列不等式についても検討した。 Regarding finding possible upper bounds for the probability of error for discriminating between two quantum states, it is known that $$ \mathrm{tr}(A+B) - \mathrm{tr}|A-B|\leq 2\, \mathrm{tr}\big(f(A)g(B)\big) $$ holds for every positive matrix monotone function $f$, where $g(x)=x/f(x)$, and all positive matrices $A$ and $B$. We show that the class of functions satisfying this inequality contains additional elements and we provide a better estimation concerning the quantum Chernoff bound. We also investigate the case of matrix monotone decreasing functions and present a matrix inequality, when the matrix perspective function is considered. | 翻訳日:2023-02-16 14:11:25 公開日:2023-02-15 |
| # 視覚に基づく3次元semantic occupancy 予測のための3次元視点 Tri-Perspective View for Vision-Based 3D Semantic Occupancy Prediction ( http://arxiv.org/abs/2302.07817v1 ) ライセンス: Link先を確認 | Yuanhui Huang, Wenzhao Zheng, Yunpeng Zhang, Jie Zhou, Jiwen Lu | (参考訳) 視覚中心の自律運転知覚のための現代の手法は、3Dシーンを記述するために鳥の目視(BEV)表現を広く採用している。
ボクセル表現よりも効率が良いにもかかわらず、シーンの微細な3次元構造を単一の平面で記述することは困難である。
そこで本研究では,bev に2つの垂直平面を付加した3次元ビュー (tpv) 表現を提案する。
3次元空間の各点を3次元平面上の投影された特徴をまとめてモデル化する。
画像特徴を3次元TPV空間に引き上げるために,変換器を用いたTPVエンコーダ(TPVFormer)を提案する。
我々は,各問合せに対応する画像特徴を各tpv平面に集約するアテンション機構を用いる。
実験結果から,本モデルは全ボクセルのセマンティック占有率を効果的に予測できることがわかった。
nuScenes上のLiDARセグメンテーションタスクにおいて,カメラ入力のみを用いることで,LiDAR法と同等の性能が得られることを示す。
コード:https://github.com/wzzheng/TPVFormer。 Modern methods for vision-centric autonomous driving perception widely adopt the bird's-eye-view (BEV) representation to describe a 3D scene. Despite its better efficiency than voxel representation, it has difficulty describing the fine-grained 3D structure of a scene with a single plane. To address this, we propose a tri-perspective view (TPV) representation which accompanies BEV with two additional perpendicular planes. We model each point in the 3D space by summing its projected features on the three planes. To lift image features to the 3D TPV space, we further propose a transformer-based TPV encoder (TPVFormer) to obtain the TPV features effectively. We employ the attention mechanism to aggregate the image features corresponding to each query in each TPV plane. Experiments show that our model trained with sparse supervision effectively predicts the semantic occupancy for all voxels. We demonstrate for the first time that using only camera inputs can achieve comparable performance with LiDAR-based methods on the LiDAR segmentation task on nuScenes. Code: https://github.com/wzzheng/TPVFormer. | 翻訳日:2023-02-16 14:11:02 公開日:2023-02-15 |
| # 適応型オンライン学習によるオンラインコンフォーマル予測の改善 Improved Online Conformal Prediction via Strongly Adaptive Online Learning ( http://arxiv.org/abs/2302.07869v1 ) ライセンス: Link先を確認 | Aadyot Bhatnagar, Huan Wang, Caiming Xiong, Yu Bai | (参考訳) 本研究では,データ分布が時間とともに任意に変化するようなオンライン環境で,予測セットによる不確実性定量化の問題を考察する。
近年、オンライン学習文献から最小化アルゴリズムを利用して、ほぼ有効なカバレッジと少ない後悔を伴う予測セットを学習するオンラインコンフォメーション予測手法が開発されている。
しかし、標準的な後悔の最小化は環境の変化を扱うには不十分であり、パフォーマンス保証はフルタイムの地平線だけでなく、すべての(サブ)時間間隔でも望まれる。
提案手法は, 一定の長さのすべての区間において最悪の後悔を計測する, 強い適応的後悔を最小限に抑える新しいオンラインコンフォメーション予測法を開発した。
提案手法は,全区間にわたってほぼ最適に適応し,ほぼ妥当なカバレッジが得られることを示す。
実験により,本手法は,時系列予測や分布シフトによる画像分類など,実世界の課題に対する既存の手法よりも,網羅的かつ少ない予測セットが得られることがわかった。 We study the problem of uncertainty quantification via prediction sets, in an online setting where the data distribution may vary arbitrarily over time. Recent work develops online conformal prediction techniques that leverage regret minimization algorithms from the online learning literature to learn prediction sets with approximately valid coverage and small regret. However, standard regret minimization could be insufficient for handling changing environments, where performance guarantees may be desired not only over the full time horizon but also in all (sub-)intervals of time. We develop new online conformal prediction methods that minimize the strongly adaptive regret, which measures the worst-case regret over all intervals of a fixed length. We prove that our methods achieve near-optimal strongly adaptive regret for all interval lengths simultaneously, and approximately valid coverage. Experiments show that our methods consistently obtain better coverage and smaller prediction sets than existing methods on real-world tasks, such as time series forecasting and image classification under distribution shift. | 翻訳日:2023-02-16 14:04:55 公開日:2023-02-15 |
| # グラフトランスフォーマを用いた生成逆向ネットワークを用いた薬物候補分子のターゲット特異的 de novo 設計 Target Specific De Novo Design of Drug Candidate Molecules with Graph Transformer-based Generative Adversarial Networks ( http://arxiv.org/abs/2302.07868v1 ) ライセンス: Link先を確認 | Atabey \"Unl\"u, Elif \c{C}evrim, Ahmet Sar{\i}g\"un, Hayriye \c{C}elikbilek, Heval Ata\c{s} G\"uvenilir, Altay Koya\c{s}, Deniz Cansen Kahraman, Ahmet Rifaio\u{g}lu, Abdurrahman Ol\u{g}a\c{c} | (参考訳) 新規薬物候補分子の発見は、薬物開発における最も基本的で重要なステップの1つである。
確率分布を与えられた合成データを生成する生成的深層学習モデルは、部分的に知られている空間から完全に新しいサンプルを選択するために開発された。
生成モデルは、デノボ分子を設計するための高い可能性を提供するが、それらが実生活の薬物開発パイプラインで有用になるためには、これらのモデルは、この分野で次のステップであるターゲット特異的分子を設計できるべきである。
本研究では,選択された標的タンパク質と相互作用する薬物候補分子のデノボ設計のための薬物遺伝子を提案する。
提案システムは, 化合物とタンパク質の構造をグラフとして表現し, グラフ変換器からなる2つの生成逆数ネットワークを直列接続して処理する。
医薬品は、ChEMBLと標的特異的な生物活性分子からの大量の化合物のデータセットを用いて訓練され、AKT1タンパク質に対して効果的で特異的な阻害分子を設計する。
基本的なベンチマークでは、薬物発生モデルは他の方法と競合するか、より良い性能を持つ。
ターゲット特異的な生成性能を評価するため,分子ドッキングと深層学習に基づく生物活性予測を用いてシリコ解析を行った。
以上の結果から,de novo分子はakt1タンパク質構造と相互作用する可能性が高いことが示唆された。
ドラッグジェンは完全に新規で効果的な標的特異的な薬物候補分子を創薬可能なタンパク質、与えられた標的特徴と実験的な生物活性のデータセットのために設計することができる。
DrugGENのコードベース、データセット、結果、トレーニングされたモデルはhttps://github.com/HUBioDataLab/DrugGENで入手できる。 Discovering novel drug candidate molecules is one of the most fundamental and critical steps in drug development. Generative deep learning models, which create synthetic data given a probability distribution, have been developed with the purpose of picking completely new samples from a partially known space. Generative models offer high potential for designing de novo molecules; however, in order for them to be useful in real-life drug development pipelines, these models should be able to design target-specific molecules, which is the next step in this field. In this study, we propose DrugGEN, for the de novo design of drug candidate molecules that interact with selected target proteins. The proposed system represents compounds and protein structures as graphs and processes them via serially connected two generative adversarial networks comprising graph transformers. DrugGEN is trained using a large dataset of compounds from ChEMBL and target-specific bioactive molecules, to design effective and specific inhibitory molecules against the AKT1 protein, which has critical importance for developing treatments against various types of cancer. On fundamental benchmarks, DrugGEN models have either competitive or better performance against other methods. To assess the target-specific generation performance, we conducted further in silico analysis with molecular docking and deep learning-based bioactivity prediction. Results indicate that de novo molecules have high potential for interacting with the AKT1 protein structure in the level of its native ligand. DrugGEN can be used to design completely novel and effective target-specific drug candidate molecules for any druggable protein, given target features and a dataset of experimental bioactivities. Code base, datasets, results and trained models of DrugGEN are available at https://github.com/HUBioDataLab/DrugGEN | 翻訳日:2023-02-16 14:04:40 公開日:2023-02-15 |
| # パフォーマンス改善型コード編集の学習 Learning Performance-Improving Code Edits ( http://arxiv.org/abs/2302.07867v1 ) ライセンス: Link先を確認 | Aman Madaan, Alexander Shypula, Uri Alon, Milad Hashemi, Parthasarathy Ranganathan, Yiming Yang, Graham Neubig, Amir Yazdanbakhsh | (参考訳) ムーアの法則の弱体化は、技術産業の焦点を、継続的なパフォーマンス向上のための代替手段へとシフトさせた。
コンパイラの最適化は、プログラム効率を向上させるための標準的なツールであるが、プログラマは、より良いパフォーマンス特性でコードの作成とリファクタリングの責任を負い続けている。
本稿では,大規模言語モデル(LLM)が機能的に正しいこと,コード編集の性能向上を示唆する能力について検討する。
静的解析だけでは不可能な方法で言語モデルがそのような編集を提案できるという仮説を立てる。
本稿では,大規模なパフォーマンス改善編集データセット(PIE)をキュレートすることにより,これらの課題を考察する。
PIEにはプログラムの軌跡が含まれており、プログラマは最初の遅いバージョンから始まり、反復的にプログラムのパフォーマンスを改善する。
我々はPIEを用いて、大規模言語モデルの能力を評価し、改善する。
具体的には、PIEから10億ドル規模のTransformer-decoderモデルであるCODEGENの微調整に例を挙げる。
さらに、PIEの例を使って、数発のプロンプトを使用してOpenAIのCODEXをプロンプトします。
PIEを利用すると、CODEXとCODEGENの両方がパフォーマンス改善の編集を生成でき、C++とPythonの25%以上のプログラムでは、C++プログラムがO3最適化レベルを使用してコンパイルされた後も、2.5倍以上のスピードアップが可能であることが分かる。
重要なことは、PIEがCODEXよりもオープンソースで10倍小さいモデルであるCODEGENをCODEXの性能に匹敵するものであることを示す。
全体として、この作業はプログラマーが効率的なコードを書くのに役立つシステムやメソッドを作るための新しい扉を開く。 The waning of Moore's Law has shifted the focus of the tech industry towards alternative methods for continued performance gains. While optimizing compilers are a standard tool to help increase program efficiency, programmers continue to shoulder much responsibility in crafting and refactoring code with better performance characteristics. In this paper, we investigate the ability of large language models (LLMs) to suggest functionally correct, performance improving code edits. We hypothesize that language models can suggest such edits in ways that would be impractical for static analysis alone. We investigate these questions by curating a large-scale dataset of Performance-Improving Edits, PIE. PIE contains trajectories of programs, where a programmer begins with an initial, slower version and iteratively makes changes to improve the program's performance. We use PIE to evaluate and improve the capacity of large language models. Specifically, use examples from PIE to fine-tune multiple variants of CODEGEN, a billion-scale Transformer-decoder model. Additionally, we use examples from PIE to prompt OpenAI's CODEX using a few-shot prompting. By leveraging PIE, we find that both CODEX and CODEGEN can generate performance-improving edits, with speedups of more than 2.5x for over 25% of the programs, for C++ and Python, even after the C++ programs were compiled using the O3 optimization level. Crucially, we show that PIE allows CODEGEN, an open-sourced and 10x smaller model than CODEX, to match the performance of CODEX on this challenging task. Overall, this work opens new doors for creating systems and methods that can help programmers write efficient code. | 翻訳日:2023-02-16 14:04:13 公開日:2023-02-15 |
| # 深層ニューラルネットワークは合成性を算術推論で捉えるか? Do Deep Neural Networks Capture Compositionality in Arithmetic Reasoning? ( http://arxiv.org/abs/2302.07866v1 ) ライセンス: Link先を確認 | Keito Kudo, Yoichi Aoki, Tatsuki Kuribayashi, Ana Brassard, Masashi Yoshikawa, Keisuke Sakaguchi, Kentaro Inui | (参考訳) 構成性は象徴的推論の重要な性質である。
しかし、最近のニューラルモデルが構成性をいかにうまく捉えているかは、シンボリック推論タスクにおいて未検討のままである。
本研究は,最近発表された事前学習セq2seqモデルを,マルチホップ算術記号推論の注意深く制御されたデータセットを用いて体系的に検討することにより,この問題を実証的に解決する。
体系性,生産性,置換率という3つの構成性次元とともに,複雑性の階層的レベルを定義する算術的記号推論において,構成性に関するスキルツリーを導入する。
実験の結果,3種類の構成のうち,比較的単純な構成であっても,モデルが最も体系性に苦慮していることが判明した。
この難しさは、中間推論ステップでモデルを訓練しても解決しなかった。 Compositionality is a pivotal property of symbolic reasoning. However, how well recent neural models capture compositionality remains underexplored in the symbolic reasoning tasks. This study empirically addresses this question by systematically examining recently published pre-trained seq2seq models with a carefully controlled dataset of multi-hop arithmetic symbolic reasoning. We introduce a skill tree on compositionality in arithmetic symbolic reasoning that defines the hierarchical levels of complexity along with three compositionality dimensions: systematicity, productivity, and substitutivity. Our experiments revealed that among the three types of composition, the models struggled most with systematicity, performing poorly even with relatively simple compositions. That difficulty was not resolved even after training the models with intermediate reasoning steps. | 翻訳日:2023-02-16 14:03:47 公開日:2023-02-15 |
| # データセットインタフェース:制御可能な偽物生成を用いたモデル障害の診断 Dataset Interfaces: Diagnosing Model Failures Using Controllable Counterfactual Generation ( http://arxiv.org/abs/2302.07865v1 ) ライセンス: Link先を確認 | Joshua Vendrow, Saachi Jain, Logan Engstrom, Aleksander Madry | (参考訳) 分散シフトは、デプロイされた機械学習モデルの障害の主な原因である。
しかしながら, 分散シフトによるモデルの信頼性評価は, 特に特定のシフトを示す反実例の取得が困難であるため, 困難である。
本研究では,あるデータセットから,そのような偽物例を確実に合成できるフレームワークであるデータセットインタフェースを紹介する。
具体的には、入力データセットから各クラスをテキストから画像への拡散モデルのテキスト空間内のカスタムトークンとして表現する。
これらのトークンを自然言語プロンプトに組み込むことで、所望の分散シフトの下でデータセット内のオブジェクトのインスタンス化を生成することができる。
我々は、ImageNetデータセットにフレームワークを適用することで、背景、照明、オブジェクト自体の属性など、さまざまなシフトのモデル動作を研究することができることを示す。
コードはhttps://github.com/madrylab/dataset-interfaces。 Distribution shifts are a major source of failure of deployed machine learning models. However, evaluating a model's reliability under distribution shifts can be challenging, especially since it may be difficult to acquire counterfactual examples that exhibit a specified shift. In this work, we introduce dataset interfaces: a framework which allows users to scalably synthesize such counterfactual examples from a given dataset. Specifically, we represent each class from the input dataset as a custom token within the text space of a text-to-image diffusion model. By incorporating these tokens into natural language prompts, we can then generate instantiations of objects in that dataset under desired distribution shifts. We demonstrate how applying our framework to the ImageNet dataset enables us to study model behavior across a diverse array of shifts, including variations in background, lighting, and attributes of the objects themselves. Code available at https://github.com/MadryLab/dataset-interfaces. | 翻訳日:2023-02-16 14:03:35 公開日:2023-02-15 |
| # 野生におけるロバスト画像超解像の拡散確率モデル Denoising Diffusion Probabilistic Models for Robust Image Super-Resolution in the Wild ( http://arxiv.org/abs/2302.07864v1 ) ライセンス: Link先を確認 | Hshmat Sahak, Daniel Watson, Chitwan Saharia, David Fleet | (参考訳) 拡散モデルは、単一画像の超解像や他の画像から画像への変換タスクにおいて有望な結果を示している。
この成功にもかかわらず、彼らは、入力画像が分布から外れ、未知の劣化を伴う、より困難な超解像課題において、最先端のGANモデルよりも優れていない。
本稿では,ブラインド超解像のための拡散モデルSR3+を紹介する。
そこで本研究では,複合化とパラメータ化による自己教師付き学習と,訓練とテストにおけるノイズコンディショニング強化を組み合わせた自己教師付き学習を提案する。
これらのイノベーション、大規模な畳み込みアーキテクチャ、大規模なデータセットにより、SR3+はSR3を大きく上回っている。
DRealSR FIDスコアは36.82対37.22で、さらに大きなモデルで32.37のFIDに改善され、さらに大きなトレーニングセットで、同じデータでトレーニングされた場合、Real-ESRGANより優れていた。 Diffusion models have shown promising results on single-image super-resolution and other image- to-image translation tasks. Despite this success, they have not outperformed state-of-the-art GAN models on the more challenging blind super-resolution task, where the input images are out of distribution, with unknown degradations. This paper introduces SR3+, a diffusion-based model for blind super-resolution, establishing a new state-of-the-art. To this end, we advocate self-supervised training with a combination of composite, parameterized degradations for self-supervised training, and noise-conditioing augmentation during training and testing. With these innovations, a large-scale convolutional architecture, and large-scale datasets, SR3+ greatly outperforms SR3. It outperforms Real-ESRGAN when trained on the same data, with a DRealSR FID score of 36.82 vs. 37.22, which further improves to FID of 32.37 with larger models, and further still with larger training sets. | 翻訳日:2023-02-16 14:03:22 公開日:2023-02-15 |
| # 大きな小さなトランスフォーマデコーダ Big Little Transformer Decoder ( http://arxiv.org/abs/2302.07863v1 ) ライセンス: Link先を確認 | Sehoon Kim, Karttikeya Mangalam, Jitendra Malik, Michael W. Mahoney, Amir Gholami, Kurt Keutzer | (参考訳) トランスフォーマーアーキテクチャに基づく大規模言語モデルの近年の出現は、自然言語処理の分野で劇的な進歩を可能にしている。
しかし、これらのモデルには長い推論遅延があり、デプロイメントが制限されるため、様々なリアルタイムアプリケーションにとって非常にコストがかかる。
モデルがトークンレベルの並列化を生かさずに連続的にトークンを生成するために反復的に実行する必要があるため、推論の遅延は自己回帰的な生成タスクによってさらに悪化する。
そこで本研究では,幅広いテキスト生成アプリケーションに対して,推論効率と遅延性を向上するフレームワークであるBig Little Decoder (BiLD)を提案する。
BiLDフレームワークには、テキストを共同生成する大きさの異なる2つのモデルが含まれている。
小モデルは、推論コストの低いテキストを生成するために自己回帰的に動作し、大モデルは、非自己回帰的な方法で小モデルの不正確な予測を洗練するために時々のみ呼び出される。
小型モデルと大規模モデルの調整には,(1)大モデルにいつ制御を委譲するかを決定するフォールバックポリシ,(2)大モデルの不正確な予測をいつレビューし修正する必要があるかを決定するロールバックポリシ,という2つの単純な効果的なポリシーを導入する。
IWSLT 2017 と WMT 2014 De-En の機械翻訳,CNN/DailyMail の要約,WikiText-2 の言語モデリングなど,さまざまなテキスト生成シナリオに BiLD を適用する。
NVIDIA Titan Xp GPUでは,パフォーマンス低下を伴わずに最大2.13倍の高速化を実現し,最大2.38倍の高速化を実現した。
さらに、私たちのフレームワークは、モデルアーキテクチャのトレーニングや修正を必要としないので、完全にプラグインアンドプレイです。
私たちのコードはオープンソースになります。 The recent emergence of Large Language Models based on the Transformer architecture has enabled dramatic advancements in the field of Natural Language Processing. However, these models have long inference latency, which limits their deployment, and which makes them prohibitively expensive for various real-time applications. The inference latency is further exacerbated by autoregressive generative tasks, as models need to run iteratively to generate tokens sequentially without leveraging token-level parallelization. To address this, we propose Big Little Decoder (BiLD), a framework that can improve inference efficiency and latency for a wide range of text generation applications. The BiLD framework contains two models with different sizes that collaboratively generate text. The small model runs autoregressively to generate text with a low inference cost, and the large model is only invoked occasionally to refine the small model's inaccurate predictions in a non-autoregressive manner. To coordinate the small and large models, BiLD introduces two simple yet effective policies: (1) the fallback policy that determines when to hand control over to the large model; and (2) the rollback policy that determines when the large model needs to review and correct the small model's inaccurate predictions. To evaluate our framework across different tasks and models, we apply BiLD to various text generation scenarios encompassing machine translation on IWSLT 2017 De-En and WMT 2014 De-En, summarization on CNN/DailyMail, and language modeling on WikiText-2. On an NVIDIA Titan Xp GPU, our framework achieves a speedup of up to 2.13x without any performance drop, and it achieves up to 2.38x speedup with only ~1 point degradation. Furthermore, our framework is fully plug-and-play as it does not require any training or modifications to model architectures. Our code will be open-sourced. | 翻訳日:2023-02-16 14:03:04 公開日:2023-02-15 |
| # 有界勾配を仮定しない確率的勾配法のほぼ確実にサドル回避 Almost Sure Saddle Avoidance of Stochastic Gradient Methods without the Bounded Gradient Assumption ( http://arxiv.org/abs/2302.07862v1 ) ライセンス: Link先を確認 | Jun Liu, Ye Yuan | (参考訳) 確率勾配勾配降下法(SGD)、確率重球法(SHB)、確率ネステロフ加速勾配法(SNAG)など、様々な確率勾配勾配降下法が、厳密なサドル多様体をほぼ確実に避けていることを示す。
我々の知る限り、SHB法とSNAG法でこのような結果が得られるのは今回が初めてである。
さらに,目的関数の有界勾配と一様有界雑音を除去し,sgdに関するこれまでの研究を拡張した。
その代わりに,ニューラルネットワークのトレーニングでよく見られる経験的リスク最小化問題において自然に満足される雑音勾配に対して,より実用的な局所的境界性仮定を導入する。 We prove that various stochastic gradient descent methods, including the stochastic gradient descent (SGD), stochastic heavy-ball (SHB), and stochastic Nesterov's accelerated gradient (SNAG) methods, almost surely avoid any strict saddle manifold. To the best of our knowledge, this is the first time such results are obtained for SHB and SNAG methods. Moreover, our analysis expands upon previous studies on SGD by removing the need for bounded gradients of the objective function and uniformly bounded noise. Instead, we introduce a more practical local boundedness assumption for the noisy gradient, which is naturally satisfied in empirical risk minimization problems typically seen in training of neural networks. | 翻訳日:2023-02-16 14:02:35 公開日:2023-02-15 |
| # 辞書に基づく機械翻訳のための大規模言語モデルのフレーズレベルプロンプト Dictionary-based Phrase-level Prompting of Large Language Models for Machine Translation ( http://arxiv.org/abs/2302.07856v1 ) ライセンス: Link先を確認 | Marjan Ghazvininejad, Hila Gonen, Luke Zettlemoyer | (参考訳) 大規模言語モデル(LLM)は、このタスクのために明示的に訓練されていないにもかかわらず、プロンプトによって機械翻訳(MT)能力を示す。
しかし、トレーニングされている膨大なデータを考えると、LLMは低リソースやドメイン転送のシナリオで一般的なまれな単語で入力を翻訳するのに苦労する可能性がある。
LLMプロンプトは、バイリンガル辞書からの事前知識を用いてプロンプトの制御ヒントを提供することにより、稀な単語に対する効果的な解決策を提供することができることを示す。
本稿では,入力単語のサブセットに対して可能な翻訳のセットを提供する新しい手法であるdimmtを提案する。
広範な実験により、dimtは低リソースmtとドメイン外mtの両方でベースラインよりも優れており、我々はさらに、このアプローチの利点と限界を定性的に分析し、達成される制御可能性の全体レベルを含めた。 Large language models (LLMs) demonstrate remarkable machine translation (MT) abilities via prompting, even though they were not explicitly trained for this task. However, even given the incredible quantities of data they are trained on, LLMs can struggle to translate inputs with rare words, which are common in low resource or domain transfer scenarios. We show that LLM prompting can provide an effective solution for rare words as well, by using prior knowledge from bilingual dictionaries to provide control hints in the prompts. We propose a novel method, DiPMT, that provides a set of possible translations for a subset of the input words, thereby enabling fine-grained phrase-level prompted control of the LLM. Extensive experiments show that DiPMT outperforms the baseline both in low-resource MT, as well as for out-of-domain MT. We further provide a qualitative analysis of the benefits and limitations of this approach, including the overall level of controllability that is achieved. | 翻訳日:2023-02-16 14:02:21 公開日:2023-02-15 |
| # 連続時間モデルを用いた多発性硬化症の経時的モデリング Longitudinal Modeling of Multiple Sclerosis using Continuous Time Models ( http://arxiv.org/abs/2302.07854v1 ) ライセンス: Link先を確認 | Alexander Norcliffe, Lev Proleev, Diana Mincu, Fletcher Lee Hartsell, Katherine Heller, Subhrajit Roy | (参考訳) 多発性硬化症(multiple sclerosis)は、脳と脊髄に影響を及ぼす疾患であり、深刻な障害を引き起こし、既知の治療法を持たない。
多発性硬化症のための機械学習における以前の研究の大部分は、磁気共鳴画像スキャンや検査による研究が中心であり、これらのモダリティは、取得に費用がかかり、信頼性に欠ける。
近年の論文では,pom(performance outcome measures)と人口統計データを用いて,疾患の進行を効果的に予測できることが示されている。
当社の作業では、POMの継続的な時間モデルと人口統計データを使って進捗を予測することによって、モデリング側に注力しています。
公開されている多発性硬化症データセットを用いて4つの連続時間モデルを評価する。
連続したモデルは、しばしば離散的な時間モデルよりも優れています。
また、パフォーマンス向上の源を見つけるために広範囲にアブレーションを行い、既存の機能を標準化することで、欠落している機能を補間するよりも大きなパフォーマンス向上につながることを見出しました。 Multiple sclerosis is a disease that affects the brain and spinal cord, it can lead to severe disability and has no known cure. The majority of prior work in machine learning for multiple sclerosis has been centered around using Magnetic Resonance Imaging scans or laboratory tests; these modalities are both expensive to acquire and can be unreliable. In a recent paper it was shown that disease progression can be predicted effectively using performance outcome measures (POMs) and demographic data. In our work we extend on this to focus on the modeling side, using continuous time models on POMs and demographic data to predict progression. We evaluate four continuous time models using a publicly available multiple sclerosis dataset. We find that continuous models are often able to outperform discrete time models. We also carry out an extensive ablation to discover the sources of performance gains, we find that standardizing existing features leads to a larger performance increase than interpolating missing features. | 翻訳日:2023-02-16 14:02:02 公開日:2023-02-15 |
| # User-Centered Design (IX):人工知能時代の"User Experience 3.0"パラダイムフレームワーク User-Centered Design (IX): A "User Experience 3.0" Paradigm Framework in the Intelligence Era ( http://arxiv.org/abs/2302.06681v2 ) ライセンス: Link先を確認 | Wei Xu | (参考訳) ユーザ中心設計」のデザイン哲学に基づくユーザエクスペリエンス(UX)の分野は、インテリジェンスの時代に向かっている。
それでも、既存のUXパラダイムは主にインテリジェントでないシステムを対象としており、インテリジェントなシステムに対するUXに対する体系的なアプローチが欠けている。
UXの開発を通じて、UXパラダイムは技術横断時代の進化特性を示している。
現在、インテリジェンス時代はUXパラダイムに対する新たな要求を提起している。
そこで本稿では,インテリジェンス時代の"UX 3.0"パラダイムフレームワークと,それに対応するUX方法論システムを提案する。
UX 3.0"パラダイムフレームワークには、エコロジーエクスペリエンス、イノベーション対応エクスペリエンス、AI対応エクスペリエンス、ヒューマン-AIインタラクションベースエクスペリエンス、ヒューマン-AIコラボレーションベースのエクスペリエンスメソッドの5つのカテゴリが含まれている。
UX 3.0"パラダイムの提案は、既存のUXメソッドの改善を支援し、インテリジェントシステム開発におけるUXの研究と応用に対する方法論的なサポートを提供する。
最後に、この論文は「UX 3.0」パラダイムの今後の研究と応用を楽しみにしている。 The field of user experience (UX) based on the design philosophy of "user-centered design" is moving towards the intelligence era. Still, the existing UX paradigm mainly aims at non-intelligent systems and lacks a systematic approach to UX for intelligent systems. Throughout the development of UX, the UX paradigm shows the evolution characteristics of the cross-technology era. At present, the intelligence era has put forward new demands on the UX paradigm. For this reason, this paper proposes a "UX 3.0" paradigm framework and the corresponding UX methodology system in the intelligence era. The "UX 3.0" paradigm framework includes five categories of UX methods: ecological experience, innovation-enabled experience, AI-enabled experience, human-AI interaction-based experience, and human-AI collaboration-based experience methods, each of which includes corresponding multiple UX paradigmatic orientations. The proposal of the "UX 3.0" paradigm helps improve the existing UX methods and provides methodological support for the research and application of UX in developing intelligent systems. Finally, this paper looks forward to future research and application of the "UX 3.0" paradigm. | 翻訳日:2023-02-16 11:35:59 公開日:2023-02-15 |
| # その急激なエスカレート:アラート優先順位付けのためのMLフレームワーク That Escalated Quickly: An ML Framework for Alert Prioritization ( http://arxiv.org/abs/2302.06648v2 ) ライセンス: Link先を確認 | Ben Gelman, Salma Taoufiq, Tam\'as V\"or\"os, Konstantin Berlin | (参考訳) 社内ソリューションに代わり、組織はますます、サイバー防衛のためのマネージドサービスに向かっている。
セキュリティ・オペレーション・センター(Security Operations Centers)は、組織の防衛に責任を持つ専門のサイバーセキュリティ部門だが、脅威検出の大規模な集中化により、SOCは圧倒的な量の偽陽性警報に耐えている。
不正確なセンサーの大規模なコレクション、既知の偽陽性に適応できないこと、脅威環境の進化、そしてアナリスト時間の非効率的な使用は、いずれも警告疲労問題に寄与する。
これらの問題に対処するため、警告レベルとインシデントレベルの動作性を予測することで、SOCワークフローの変更を最小限に抑えながら、アラート疲労を低減する機械学習フレームワークであるThing Escalated Quickly(TEQ)を提示する。
実世界のデータでは、システムは実行可能なインシデントに対応するのに要する時間を229.9\%$に減らし、偽陽性の54.1\%$を検出率95.1\%に抑え、アナリストが特異なインシデント内で調査する必要があるアラートの数を14\%$に減らすことができる。 In place of in-house solutions, organizations are increasingly moving towards managed services for cyber defense. Security Operations Centers are specialized cybersecurity units responsible for the defense of an organization, but the large-scale centralization of threat detection is causing SOCs to endure an overwhelming amount of false positive alerts -- a phenomenon known as alert fatigue. Large collections of imprecise sensors, an inability to adapt to known false positives, evolution of the threat landscape, and inefficient use of analyst time all contribute to the alert fatigue problem. To combat these issues, we present That Escalated Quickly (TEQ), a machine learning framework that reduces alert fatigue with minimal changes to SOC workflows by predicting alert-level and incident-level actionability. On real-world data, the system is able to reduce the time it takes to respond to actionable incidents by $22.9\%$, suppress $54\%$ of false positives with a $95.1\%$ detection rate, and reduce the number of alerts an analyst needs to investigate within singular incidents by $14\%$. | 翻訳日:2023-02-16 11:35:43 公開日:2023-02-15 |
| # スティッチブルニューラルネットワーク Stitchable Neural Networks ( http://arxiv.org/abs/2302.06586v2 ) ライセンス: Link先を確認 | Zizheng Pan, Jianfei Cai, Bohan Zhuang | (参考訳) 巨大な事前訓練されたモデルファミリー(例えばResNet/DeiT)を含むパブリックモデル動物園は、これまでになく前例のない範囲に達し、ディープラーニングの成功に大きく貢献している。
各モデルファミリは、様々なスケール(例えば、DeiT-Ti/S/B)で事前訓練されたモデルで構成されているため、実行時に動的精度と効率のトレードオフのために、これらの容易なモデルをファミリにどのように効率的に組み立てるかという根本的な問題が発生する。
そこで本研究では,モデル展開のための新しいスケーラブルで効率的なフレームワークであるstitchable neural networks (sn-net)を提案する。
具体的には、SN-Netはアンカーをブロック/レイヤに分割し、単純な縫合層で縫合して、アンカーから別のアンカーへのアクティベーションをマッピングする。
SN-Netはトレーニングのごく一部で、様々なスケールのアンカーのパフォーマンスを効果的に補間する。
実行時にSN-Netは、縫合位置を切り替えることで、動的リソース制約に即座に適応できる。
ImageNet分類に関する大規模な実験では、SN-Netは、さまざまなデプロイメントシナリオをサポートしながら、訓練された多くのネットワークよりも、オンパーまたはさらに優れたパフォーマンスを得ることができることが示されている。
例えば、Swin Transformerを縫い合わせることで、単一のネットワークを持つTimモデル動物園の数百のモデルに挑戦する。
この新しい弾力性モデルフレームワークは、より広いコミュニティにおけるさらなる研究の強力なベースラインとなると信じています。 The public model zoo containing enormous powerful pretrained model families (e.g., ResNet/DeiT) has reached an unprecedented scope than ever, which significantly contributes to the success of deep learning. As each model family consists of pretrained models with diverse scales (e.g., DeiT-Ti/S/B), it naturally arises a fundamental question of how to efficiently assemble these readily available models in a family for dynamic accuracy-efficiency trade-offs at runtime. To this end, we present Stitchable Neural Networks (SN-Net), a novel scalable and efficient framework for model deployment which cheaply produces numerous networks with different complexity and performance trade-offs given a family of pretrained neural networks, which we call anchors. Specifically, SN-Net splits the anchors across the blocks/layers and then stitches them together with simple stitching layers to map the activations from one anchor to another. With only a few epochs of training, SN-Net effectively interpolates between the performance of anchors with varying scales. At runtime, SN-Net can instantly adapt to dynamic resource constraints by switching the stitching positions. Extensive experiments on ImageNet classification demonstrate that SN-Net can obtain on-par or even better performance than many individually trained networks while supporting diverse deployment scenarios. For example, by stitching Swin Transformers, we challenge hundreds of models in Timm model zoo with a single network. We believe this new elastic model framework can serve as a strong baseline for further research in wider communities. | 翻訳日:2023-02-16 11:35:20 公開日:2023-02-15 |
| # 運転場面における時空間融合による映像水滴除去 Video Waterdrop Removal via Spatio-Temporal Fusion in Driving Scenes ( http://arxiv.org/abs/2302.05916v2 ) ライセンス: Link先を確認 | Qiang Wen, Yue Wu, Qifeng Chen | (参考訳) 運転中のフロントガラスの水滴は、視覚障害を引き起こし、自動車事故を引き起こす可能性がある。
一方、水滴は自律運転におけるコンピュータビジョンシステムの性能を低下させることもできる。
そこで本研究では,複数のフレームから時空間表現を融合し,水滴による視覚情報を復元する注意に基づくフレームワークを提案する。
映像水滴除去のためのトレーニングデータがないことから,雨天時の複雑な運転シーンにおける水滴シミュレーションを用いた大規模合成データセットを提案する。
提案手法の汎用性を向上させるため,合成ビデオと実世界の画像を組み合わせたクロスモーダルトレーニング戦略を採用した。
提案手法は,複雑な実世界の運転シーンにおいて,優れた水滴除去性能を実現することができることを示す。 The waterdrops on windshields during driving can cause severe visual obstructions, which may lead to car accidents. Meanwhile, the waterdrops can also degrade the performance of a computer vision system in autonomous driving. To address these issues, we propose an attention-based framework that fuses the spatio-temporal representations from multiple frames to restore visual information occluded by waterdrops. Due to the lack of training data for video waterdrop removal, we propose a large-scale synthetic dataset with simulated waterdrops in complex driving scenes on rainy days. To improve the generality of our proposed method, we adopt a cross-modality training strategy that combines synthetic videos and real-world images. Extensive experiments show that our proposed method can generalize well and achieve the best waterdrop removal performance in complex real-world driving scenes. | 翻訳日:2023-02-16 11:34:33 公開日:2023-02-15 |
| # ConceptFusion:オープンセットマルチモーダル3Dマッピング ConceptFusion: Open-set Multimodal 3D Mapping ( http://arxiv.org/abs/2302.07241v2 ) ライセンス: Link先を確認 | Krishna Murthy Jatavallabhula and Alihusein Kuwajerwala and Qiao Gu and Mohd Omama and Tao Chen and Shuang Li and Ganesh Iyer and Soroush Saryazdi and Nikhil Keetha and Ayush Tewari and Joshua B. Tenenbaum and Celso Miguel de Melo and Madhava Krishna and Liam Paull and Florian Shkurti and Antonio Torralba | (参考訳) 環境の3Dマップの構築は、ロボットナビゲーション、計画、シーン内のオブジェクトとのインタラクションの中心である。
意味論的概念を3Dマップと統合する既存のアプローチは、ほとんどクローズドセットの設定に限られており、訓練時に事前に定義された有限な概念の集合についてしか推論できない。
さらに、これらのマップは、クラスラベルまたは最近の作業でのみ、テキストプロンプトを使用してクエリすることができる。
この2つの課題は,(1)基本的オープンセットのシーン表現であるConceptFusionによって解決され,概念の閉じた集合を超えて推論が可能となり,(ii)本質的にマルチモーダルであり,言語,画像,オーディオ,3次元幾何学など,様々な3Dマップへのクエリが可能となる。
conceptfusionは、インターネットスケールデータで事前トレーニングされた今日の基盤モデルのオープンセット機能を活用して、自然言語、画像、音声といったモダリティにまたがる概念を推論する。
従来のslamとマルチビュー融合による3dマップにピクセル指向のオープンセット機能を融合できることを実証した。
これにより、追加のトレーニングや微調整を必要とせず、効果的なゼロショット空間推論が可能となり、3D IoUでは40%以上のマージンを達成できる。
実世界のデータセット,シミュレートされたホーム環境,実世界のテーブルトップ操作タスク,自律運転プラットフォーム上でのコンセプトフュージョンを広範囲に評価した。
基礎モデルと3次元オープンセットマルチモーダルマッピングをブレンドする新しい方法を紹介する。
詳しくは、プロジェクトページ https://concept-fusion.github.io または、5分間の解説ビデオ https://www.youtube.com/watch?
v=rkXgws8fiDs Building 3D maps of the environment is central to robot navigation, planning, and interaction with objects in a scene. Most existing approaches that integrate semantic concepts with 3D maps largely remain confined to the closed-set setting: they can only reason about a finite set of concepts, pre-defined at training time. Further, these maps can only be queried using class labels, or in recent work, using text prompts. We address both these issues with ConceptFusion, a scene representation that is (1) fundamentally open-set, enabling reasoning beyond a closed set of concepts and (ii) inherently multimodal, enabling a diverse range of possible queries to the 3D map, from language, to images, to audio, to 3D geometry, all working in concert. ConceptFusion leverages the open-set capabilities of today's foundation models pre-trained on internet-scale data to reason about concepts across modalities such as natural language, images, and audio. We demonstrate that pixel-aligned open-set features can be fused into 3D maps via traditional SLAM and multi-view fusion approaches. This enables effective zero-shot spatial reasoning, not needing any additional training or finetuning, and retains long-tailed concepts better than supervised approaches, outperforming them by more than 40% margin on 3D IoU. We extensively evaluate ConceptFusion on a number of real-world datasets, simulated home environments, a real-world tabletop manipulation task, and an autonomous driving platform. We showcase new avenues for blending foundation models with 3D open-set multimodal mapping. For more information, visit our project page https://concept-fusion.github.io or watch our 5-minute explainer video https://www.youtube.com/watch?v=rkXgws8fiDs | 翻訳日:2023-02-16 11:26:58 公開日:2023-02-15 |
| # Team DETR: 検出トランスフォーマーのプロフェッショナルチームとしてのガイドクエリ Team DETR: Guide Queries as a Professional Team in Detection Transformers ( http://arxiv.org/abs/2302.07116v2 ) ライセンス: Link先を確認 | Tian Qiu, Linyun Zhou, Wenxiang Xu, Lechao Cheng, Zunlei Feng, Mingli Song | (参考訳) 近年提案された DETR 変種は,プロセスの合理化や性能の向上により,様々なシナリオにおいて大きな進歩を遂げている。
しかしながら、学習されたクエリは通常、最終セットの予測を生成するためにグローバルコンテキストを探索し、冗長な負担と不適切な結果をもたらす。
より具体的に言うと、クエリは一般的に、異なるスケールと位置のオブジェクトに責任を持ち、クエリ自体の課題であり、クエリ間の空間的リソース競合を引き起こす。
この問題を軽減するため,我々は,クエリのコラボレーションと位置制約を利用してより正確に対象を取り込むteam detrを提案する。
また,各問合せメンバの予測嗜好にも動的に対応し,クエリのスケールと空間優先性が向上した。
さらに、提案されたTeam DETRは、パラメータや計算量を増やすことなく既存のDETRに適応できるほど柔軟である。
cocoデータセットに関する広範囲な実験により、team detrは特に小さなオブジェクトと大きなオブジェクトで顕著な成果を上げている。
コードは \url{https://github.com/horrible-dong/TeamDETR} で公開されている。 Recent proposed DETR variants have made tremendous progress in various scenarios due to their streamlined processes and remarkable performance. However, the learned queries usually explore the global context to generate the final set prediction, resulting in redundant burdens and unfaithful results. More specifically, a query is commonly responsible for objects of different scales and positions, which is a challenge for the query itself, and will cause spatial resource competition among queries. To alleviate this issue, we propose Team DETR, which leverages query collaboration and position constraints to embrace objects of interest more precisely. We also dynamically cater to each query member's prediction preference, offering the query better scale and spatial priors. In addition, the proposed Team DETR is flexible enough to be adapted to other existing DETR variants without increasing parameters and calculations. Extensive experiments on the COCO dataset show that Team DETR achieves remarkable gains, especially for small and large objects. Code is available at \url{https://github.com/horrible-dong/TeamDETR}. | 翻訳日:2023-02-16 11:26:20 公開日:2023-02-15 |
| # 固定周波数トランスモンカプラを用いた超伝導量子ビットの全マイクロ波操作 All-microwave manipulation of superconducting qubits with a fixed-frequency transmon coupler ( http://arxiv.org/abs/2302.06930v2 ) ライセンス: Link先を確認 | Shotaro Shirai, Yuta Okubo, Kohei Matsuura, Alto Osada, Yasunobu Nakamura, Atsushi Noguchi | (参考訳) 固定周波数超伝導量子コンピューティング回路の全マイクロ波制御は、ノイズチャネルと配線コストを最小化するのに有利である。
本稿では,マイクロ波駆動下での2つのデータトランスモン間のスワップ相互作用について紹介する。
相互作用を解析的および数値的にモデル化し、全マイクロ波制御Zゲートの実装に使用する。
カプラアシストスワップ遷移に基づくゲートは、データトランスモン間の広範囲なデチューニングにおいて、高い駆動効率と小さな残差相互作用を維持する。 All-microwave control of fixed-frequency superconducting quantum computing circuits is advantageous for minimizing the noise channels and wiring costs. Here we introduce a swap interaction between two data transmons assisted by the third-order nonlinearity of a coupler transmon under a microwave drive. We model the interaction analytically and numerically and use it to implement an all-microwave controlled-Z gate. The gate based on the coupler-assisted swap transition maintains high drive efficiency and small residual interaction over a wide range of detuning between the data transmons. | 翻訳日:2023-02-16 11:26:02 公開日:2023-02-15 |
| # ロバスト強化学習のためのレグレトベース最適化 Regret-Based Optimization for Robust Reinforcement Learning ( http://arxiv.org/abs/2302.06912v2 ) ライセンス: Link先を確認 | Roman Belaire, Pradeep Varakantham, David Lo | (参考訳) 深層強化学習(DRL)の政策は、観測において小さな敵対的雑音に弱いことが示されている。
このような敵対的ノイズは、安全クリティカルな環境において破滅的な結果をもたらす可能性がある。
例えば、近くの標識(例えば、速度制限標識として知覚されるように物理的に変化した停止標識)や物体(例えば、木として認識されるように変更された車)に関する逆向きに乱れた感覚観察を受ける自動運転車は致命的である。
既存のRLアルゴリズムを観測摂動敵に堅牢にするためのアプローチは、各イテレーションで生成された敵の例に対して反復的に改善するリアクティブアプローチに焦点を当てている。
このような手法は、通常のRL法よりも改善されていることが示されているが、それらは反応性が高く、訓練中に特定のカテゴリの逆例が生成されない場合、著しく悪化する可能性がある。
そのために私たちは,期待値ではなく,十分に検討されたロバストネス尺度を直接最適化する,より積極的なアプローチを追求します。
我々は、受信した「観測」に対する観察の「近隣」に対する最大の後悔を最小限に抑える、原則化されたアプローチを提供する。
我々の後悔の基準は、既存の値およびポリシーベースのDeep RLメソッドの変更に利用できる。
当社のアプローチは,より堅牢なDeep RLに対する主要なアプローチに対して,さまざまなベンチマークで大幅なパフォーマンス向上を実現しています。 Deep Reinforcement Learning (DRL) policies have been shown to be vulnerable to small adversarial noise in observations. Such adversarial noise can have disastrous consequences in safety-critical environments. For instance, a self-driving car receiving adversarially perturbed sensory observations about nearby signs (e.g., a stop sign physically altered to be perceived as a speed limit sign) or objects (e.g., cars altered to be recognized as trees) can be fatal. Existing approaches for making RL algorithms robust to an observation-perturbing adversary have focused on reactive approaches that iteratively improve against adversarial examples generated at each iteration. While such approaches have been shown to provide improvements over regular RL methods, they are reactive and can fare significantly worse if certain categories of adversarial examples are not generated during training. To that end, we pursue a more proactive approach that relies on directly optimizing a well-studied robustness measure, regret instead of expected value. We provide a principled approach that minimizes maximum regret over a "neighborhood" of observations to the received "observation". Our regret criterion can be used to modify existing value- and policy-based Deep RL methods. We demonstrate that our approaches provide a significant improvement in performance across a wide variety of benchmarks against leading approaches for robust Deep RL. | 翻訳日:2023-02-16 11:25:55 公開日:2023-02-15 |
| # 都市景観における異常セグメンテーションのためのエネルギー誘導による自己監督的嗜好推定 Self-supervised Likelihood Estimation with Energy Guidance for Anomaly Segmentation in Urban Scenes ( http://arxiv.org/abs/2302.06815v2 ) ライセンス: Link先を確認 | Yuanpeng Tu, Yuxi Li, Boshen Zhang, Liang Liu, Jiangning Zhang, Yabiao Wang, Chengjie Wang, Cai Rong Zhao | (参考訳) ロバストな自動運転は、都市部における予期せぬエリアを正確に識別するエージェントを必要とする。
この目的のために、いくつかの重要な問題が開かれている: 適応可能なメトリクスを設計して異常を計測する方法と、異常データのトレーニングサンプルを適切に生成する方法?
以前の作業では、通常、分類タスクからの不確実性推定とサンプル合成に頼り、コンテキスト情報を無視し、細かなアノテーションを持つ補助データセットを必要とする。
一方,本論文では,セグメンテーションタスクの強い文脈依存性を活用し,自己生成した異常画素の可能性を最大化して異常ヘッドを最適化する,エネルギー誘導型異常セグメンテーションのための自己組織化フレームワークを設計する。
この目的のために,単純なタスク非依存な二分推定器とタスク指向エネルギーモデルの残差として異常推定を表現した2つの推定器を設計する。
提案手法に基づき,提案手法を精度の高いマスクリファインメントプロセスと統合し,モデルの学習に有用なアノマリー画素を抽出する。
魚の風景や道路異常のベンチマークを徹底的に実験し、補助データや合成モデルがなければ、他のsoma方式と競合する性能が得られることを示した。 Robust autonomous driving requires agents to accurately identify unexpected areas in urban scenes. To this end, some critical issues remain open: how to design advisable metric to measure anomalies, and how to properly generate training samples of anomaly data? Previous effort usually resorts to uncertainty estimation and sample synthesis from classification tasks, which ignore the context information and sometimes requires auxiliary datasets with fine-grained annotations. On the contrary, in this paper, we exploit the strong context-dependent nature of segmentation task and design an energy-guided self-supervised frameworks for anomaly segmentation, which optimizes an anomaly head by maximizing the likelihood of self-generated anomaly pixels. To this end, we design two estimators for anomaly likelihood estimation, one is a simple task-agnostic binary estimator and the other depicts anomaly likelihood as residual of task-oriented energy model. Based on proposed estimators, we further incorporate our framework with likelihood-guided mask refinement process to extract informative anomaly pixels for model training. We conduct extensive experiments on challenging Fishyscapes and Road Anomaly benchmarks, demonstrating that without any auxiliary data or synthetic models, our method can still achieves competitive performance to other SOTA schemes. | 翻訳日:2023-02-16 11:25:32 公開日:2023-02-15 |
| # 非局所Rydberg媒体における最適光フェライトホイールソリトン Optimal optical Ferris wheel solitons in a nonlocal Rydberg medium ( http://arxiv.org/abs/2302.06813v2 ) ライセンス: Link先を確認 | Jia-Bin Qiu, Lu Qin, Xing-Dong Zhao, Jing Qian | (参考訳) 本稿では,非局所Rydberg電磁誘導透過(EIT)媒体における安定な光フェライトホイール(OFW)ソリトンの生成手法を提案する。
原子密度と1光子デチューニングの両方に対する慎重な最適化により、ライドバーグ状態における強い原子間相互作用によって得られる適切な非局所ポテンシャルを得ることができ、プローブofw場の回折を完全に補うことができる。
数値計算の結果, 拡散距離が160以上の場合, 忠実度は0.96以上であることがわかった。
任意の巻数を持つ高次 OFWソリトンについても論じる。
本研究では,寒冷リドベルクガスの非局所応答領域において,空間光学ソリトンを生成するための簡単な経路を提供する。 We propose a scheme for the creation of stable optical Ferris wheel(OFW) solitons in a nonlocal Rydberg electromagnetically induced transparency(EIT) medium. Depending on a careful optimization to both the atomic density and the one-photon detuning, we obtain an appropriate nonlocal potential provided by the strong interatomic interaction in Rydberg states which can perfectly compensate for the diffraction of the probe OFW field. Numerical results show that the fidelity keeps larger than 0.96 while the propagation distance has exceeded 160 diffraction lengths. Higher-order OFW solitons with arbitrary winding numbers are also discussed. Our study provides a straightforward route to generate spatial optical solitons in the nonlocal response region of cold Rydberg gases. | 翻訳日:2023-02-16 11:25:10 公開日:2023-02-15 |
| # 分離メタラベル除去器を用いた雑音ラベルからの学習 Learning from Noisy Labels with Decoupled Meta Label Purifier ( http://arxiv.org/abs/2302.06810v2 ) ライセンス: Link先を確認 | Yuanpeng Tu, Boshen Zhang, Yuxi Li, Liang Liu, Jian Li, Jiangning Zhang, Yabiao Wang, Chengjie Wang, Cai Rong Zhao | (参考訳) ディープニューラルネットワーク(DNN)をノイズラベルでトレーニングすることは、DNNが不正確なラベルを記憶しやすく、一般化能力の低下につながるため、難しい。
近年,メタラーニングに基づくラベル修正戦略が広く採用され,潜在的なノイズラベルの識別と修正を,少数のクリーンな検証データの助けを借りて行っている。
純粋ラベルを用いたトレーニングはパフォーマンスを効果的に向上させることができるが、メタラーニングの問題を解決するには、必然的にモデルウェイトとハイパーパラメータ(ラベル分布)の間の二段階最適化のネストループが伴う。
妥協点として、以前の方法では、交互更新を伴う結合学習プロセスを採用している。
本稿では,モデル重みとラベル分布の両方に対する同時最適化が最適ルーチンを達成することができないことを実証的に見出し,バックボーンの表現能力と補正ラベルの精度を制限した。
本報告では, DMLPと呼ばれる多段ラベルの新規精製法を提案する。
DMLPはラベル訂正プロセスをラベルなし表現学習と単純なメタラベル精製器に分離する。
このようにして、DMLPは2つの異なる段階において識別的特徴とラベル補正を抽出することに集中することができる。
DMLPはプラグ・アンド・プレイ・ラベル・パーファイアであり、この精製されたラベルは、直感的なエンドツーエンドのネットワークリトレーニングや他の堅牢な学習手法で直接再利用することができる。 Training deep neural networks(DNN) with noisy labels is challenging since DNN can easily memorize inaccurate labels, leading to poor generalization ability. Recently, the meta-learning based label correction strategy is widely adopted to tackle this problem via identifying and correcting potential noisy labels with the help of a small set of clean validation data. Although training with purified labels can effectively improve performance, solving the meta-learning problem inevitably involves a nested loop of bi-level optimization between model weights and hyper-parameters (i.e., label distribution). As compromise, previous methods resort to a coupled learning process with alternating update. In this paper, we empirically find such simultaneous optimization over both model weights and label distribution can not achieve an optimal routine, consequently limiting the representation ability of backbone and accuracy of corrected labels. From this observation, a novel multi-stage label purifier named DMLP is proposed. DMLP decouples the label correction process into label-free representation learning and a simple meta label purifier. In this way, DMLP can focus on extracting discriminative feature and label correction in two distinctive stages. DMLP is a plug-and-play label purifier, the purified labels can be directly reused in naive end-to-end network retraining or other robust learning methods, where state-of-the-art results are obtained on several synthetic and real-world noisy datasets, especially under high noise levels. | 翻訳日:2023-02-16 11:24:58 公開日:2023-02-15 |
| # 自己教師型雑音マスキングによる雑音ラベルの学習 Learning with Noisy labels via Self-supervised Adversarial Noisy Masking ( http://arxiv.org/abs/2302.06805v2 ) ライセンス: Link先を確認 | Yuanpeng Tu, Boshen Zhang, Yuxi Li, Liang Liu, Jian Li, Jiangning Zhang, Yabiao Wang, Chengjie Wang, Cai Rong Zhao | (参考訳) 大規模なデータセットの収集は、深層モデルのトレーニングに不可欠であり、データを注釈付けすることは必然的にノイズのラベルを生み出し、ディープラーニングアルゴリズムに課題をもたらす。
以前の取り組みでは、ノイズのあるサンプルを特定し除去したり、トレーニングサンプル内の統計的特性(損失値など)に従ってラベルを修正したりすることでこの問題を軽減する傾向がある。
本稿では,新しい視点からこの問題に取り組み,深い特徴マップを考察し,クリーンで誤ったラベル付きサンプルで訓練されたモデルが識別可能なアクティベーション特徴分布を示すことを実証的に発見する。
この観察から,敵対的ノイズマスキングと呼ばれる新しいロバストなトレーニング手法を提案する。
そのアイデアは、入力データとラベルを同時に適応的に変調するラベル品質ガイドマスクスキームで深い機能を調整し、ノイズの多いサンプルを過度に適合させることである。
さらに、入力データを再構成する補助タスクを設計し、自然にノイズのない自己教師付き信号を提供し、深層モデルの一般化能力を補強する。
提案手法は単純でフレキシブルであり,従来の最先端手法よりも大幅に改善された合成および実世界のノイズデータセットで検証される。 Collecting large-scale datasets is crucial for training deep models, annotating the data, however, inevitably yields noisy labels, which poses challenges to deep learning algorithms. Previous efforts tend to mitigate this problem via identifying and removing noisy samples or correcting their labels according to the statistical properties (e.g., loss values) among training samples. In this paper, we aim to tackle this problem from a new perspective, delving into the deep feature maps, we empirically find that models trained with clean and mislabeled samples manifest distinguishable activation feature distributions. From this observation, a novel robust training approach termed adversarial noisy masking is proposed. The idea is to regularize deep features with a label quality guided masking scheme, which adaptively modulates the input data and label simultaneously, preventing the model to overfit noisy samples. Further, an auxiliary task is designed to reconstruct input data, it naturally provides noise-free self-supervised signals to reinforce the generalization ability of deep models. The proposed method is simple and flexible, it is tested on both synthetic and real-world noisy datasets, where significant improvements are achieved over previous state-of-the-art methods. | 翻訳日:2023-02-16 11:24:33 公開日:2023-02-15 |
| # OpenHLS:実験科学のための低レイテンシディープニューラルネットワークのための高レベル合成 OpenHLS: High-Level Synthesis for Low-Latency Deep Neural Networks for Experimental Science ( http://arxiv.org/abs/2302.06751v2 ) ライセンス: Link先を確認 | Maksim Levental, Arham Khan, Ryan Chard, Kazutomo Yoshi, Kyle Chard, Ian Foster | (参考訳) 高エネルギー物理学、物質科学、宇宙論など、多くの実験駆動科学領域において、高データレート実験はデータ取得システムに対して厳しい制約を課している。
他のフィルタリングタスクに有効なディープニューラルネットワークは、設計とデプロイメントの困難のため、このようなデータ取得システムに広く採用されていない。
我々は,高度なニューラルネットワークの高レベル表現を低レベル表現に変換するための,高レベル合成技術に基づくOpenHLSという,プロプライエタリな依存関係のないオープンソースで軽量なコンパイラフレームワークを提案する。
各種ワークロード上でOpenHLSを評価し,高エネルギー回折顕微鏡を用いたブラッグピーク検出のためのディープニューラルネットワークのケーススタディ実装を提案する。
我々は、openhlsがスループット4.8$\mu$s/sampleでネットワークの実装を作成できることを示し、これは既存の実装よりも約4$\times$の改善である。 In many experiment-driven scientific domains, such as high-energy physics, material science, and cosmology, high data rate experiments impose hard constraints on data acquisition systems: collected data must either be indiscriminately stored for post-processing and analysis, thereby necessitating large storage capacity, or accurately filtered in real-time, thereby necessitating low-latency processing. Deep neural networks, effective in other filtering tasks, have not been widely employed in such data acquisition systems, due to design and deployment difficulties. We present an open source, lightweight, compiler framework, without any proprietary dependencies, OpenHLS, based on high-level synthesis techniques, for translating high-level representations of deep neural networks to low-level representations, suitable for deployment to near-sensor devices such as field-programmable gate arrays. We evaluate OpenHLS on various workloads and present a case-study implementation of a deep neural network for Bragg peak detection in the context of high-energy diffraction microscopy. We show OpenHLS is able to produce an implementation of the network with a throughput 4.8 $\mu$s/sample, which is approximately a 4$\times$ improvement over the existing implementation | 翻訳日:2023-02-16 11:24:12 公開日:2023-02-15 |
| # マシンラーニングモデルの帰属課題 Machine Learning Model Attribution Challenge ( http://arxiv.org/abs/2302.06716v2 ) ライセンス: Link先を確認 | Elizabeth Merkhofer, Deepesh Chaudhari, Hyrum S. Anderson, Keith Manville, Lily Wong, Jo\~ao Gante | (参考訳) 本稿では,機械学習モデルの帰属課題であるhttps://mlmac.io。
微調整された機械学習モデルは、明らかな帰属特性のない他の訓練されたモデルに由来する可能性がある。
この課題では、参加者は匿名で微調整された大規模言語モデル(LLM)のセットを、テキスト出力のみを使用して、一般に利用可能なベースモデルを特定する。
競技者は最も微調整されたモデルを正しく分類することを目的としており、その関係は、微調整モデルのapiへの呼び出しが少ないソリューションを使う競技者によって破られる。
最も成功したアプローチは手動で、参加者はモデルのアウトプット間の類似性を観察し、ベースモデルの公開ドキュメントに基づいた帰属ヒューリスティックを開発した。 We present the findings of the Machine Learning Model Attribution Challenge https://mlmac.io. Fine-tuned machine learning models may derive from other trained models without obvious attribution characteristics. In this challenge, participants identify the publicly-available base models that underlie a set of anonymous, fine-tuned large language models (LLMs) using only textual output of the models. Contestants aim to correctly attribute the most fine-tuned models, with ties broken in the favor of contestants whose solutions use fewer calls to the fine-tuned models' API. The most successful approaches were manual, as participants observed similarities between model outputs and developed attribution heuristics based on public documentation of the base models, though several teams also submitted automated, statistical solutions. | 翻訳日:2023-02-16 11:23:53 公開日:2023-02-15 |