このサイトではarxivの論文のうち、30ページ以下でCreative Commonsライセンス（CC 0, CC BY, CC BY-SA）の論文を日本語訳しています。 本文がCCでない論文、長すぎる論文はメタデータのみを翻訳しています。（arxivのメタデータは CC 0です。） 翻訳文のライセンスはCC BY-SA 4.0です。 翻訳にはFugu-Machine Translatorを利用しています。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。
公開日が20230201となっている論文です。
| Title | Authors | Abstract | 論文公表日・翻訳日 |
|---|---|---|---|
| # 新型コロナウイルス(covid-19)とデジタルレジリエンス:uber eatsの証拠 COVID-19 and Digital Resilience: Evidence from Uber Eats ( http://arxiv.org/abs/2006.07204v2 ) ライセンス: Link先を確認 | Manav Raj, Arun Sundararajan, Calum You | (参考訳) Uber Technologiesの注文レベルのデータを用いて、新型コロナウイルスのパンデミックと、2020年の米国でのビジネス閉鎖が、Uber Eatsプラットフォームの小規模ビジネスレストランの供給と需要にどのように影響するかを調査した。
ダイニングイン・チャンネルの閉鎖後,小食堂のプラットフォーム上での活動が著しく増加したという証拠が得られた。
我々は,デジタルチャネルを介した活動量の増加の大きさを,地域性やレストラン特有の特性がいかに緩やかしているかを文書化し,需要と供給側のショックによる増加の可能性を説明する。
我々は、経済ショック後の競争効果の強さの増大を観察し、プラットフォーム上のプロバイダ数の増加が市場拡大とプロビデント間競争の高まりの両方を誘発することを示した。
ショックに対する高いプラットフォーム活動は、短期的な影響に留まらず、より大きな需要ショックを持つレストランは、ロックダウンから1年後にプラットフォーム上での生存率が高くなり、危機後の長期的なレジリエンスに寄与することが示唆された。
今回の調査結果は,パンデミック時のプラットフォームの異質な影響を文書化し,デジタル技術が経済におけるビジネスのレジリエンスを実現する上で果たす重要な役割を強調するとともに,市場拡大と成長目標のバランスと既存プロバイダの競争的利益のバランスにおいて,プラットフォームが競合するインセンティブをどのように管理できるか,という知見を提供する。 Using order-level data from Uber Technologies, we study how the COVID-19 pandemic and the ensuing shutdown of businesses in the United States in 2020 affected small business restaurant supply and demand on the Uber Eats platform. We find evidence that small restaurants experience significant increases in activity on the platform following the closure of the dine-in channel. We document how locality- and restaurant-specific characteristics moderate the size of the increase in activity through the digital channel and explain how these increases may be due to both demand- and supply-side shock. We observe an increase in the intensity of competitive effects following the economic shock and show that growth in the number of providers on a platform induces both market expansion and heightened inter-provider competition. Higher platform activity in response to the shock does not only have short-run implications: restaurants with larger demand shocks had a higher on-platform survival rate one year after the lockdown, suggesting that the platform channel contributes towards long-run resilience following a crisis. Our findings document the heterogeneous effects of platforms during the pandemic, underscore the critical role that digital technologies play in enabling business resilience in the economy, and provide insight into how platforms can manage competing incentives when balancing market expansion and growth goals with the competitive interests of their incumbent providers. | 翻訳日:2023-05-15 22:23:28 公開日:2023-02-01 |
| # オープン量子システムのための安定化符号 Stabilizer codes for Open Quantum Systems ( http://arxiv.org/abs/2107.11914v4 ) ライセンス: Link先を確認 | Francisco Revson F. Pereira and Stefano Mancini and Giuliano G. La Guardia | (参考訳) リンドブラッドマスター方程式は、様々な開量子系の進化を記述する。
いくつかの開量子系の重要な性質はデコヒーレンス自由部分空間の存在である。
デコヒーレンスのない部分空間からの量子状態は一元的に進化する。
しかし、デコヒーレンスのない部分空間を構築するための手続き的かつ最適な方法はない。
本稿では,Lindbladマスター方程式が支配するオープン量子系のデコヒーレンスフリー安定化器符号を構築するためのツールを開発する。
これは、パウリ誤差作用素の有名な群構造を超えた安定化形式の拡張を追求することによって行われる。
次に, 計算量の低いハイゼンベルク極限スケーリングを達成するために, 量子メトロロジーにおけるデコヒーレンスフリー安定化符号の活用法を示す。 The Lindblad master equation describes the evolution of a large variety of open quantum systems. An important property of some open quantum systems is the existence of decoherence-free subspaces. A quantum state from a decoherence-free subspace will evolve unitarily. However, there is no procedural and optimal method for constructing a decoherence-free subspace. In this paper, we develop tools for constructing decoherence-free stabilizer codes for open quantum systems governed by Lindblad master equation. This is done by pursuing an extension of the stabilizer formalism beyond the celebrated group structure of Pauli error operators. We then show how to utilize decoherence-free stabilizer codes in quantum metrology in order to attain the Heisenberg limit scaling with low computational complexity. | 翻訳日:2023-03-20 21:43:58 公開日:2023-02-01 |
| # スピン鎖のバーグマン表現 Bargmann Representation of Spin Chains ( http://arxiv.org/abs/2108.10626v9 ) ライセンス: Link先を確認 | M. W. AlMasri, M. R. B. Wahiddin | (参考訳) スピンチェーンハミルトニアンは、ジョルダン・シュウィンガー写像のバーグマン表現を用いて複素微分作用素の項で書くことができる。
この場合、固有函数は複素平面における位相空間座標 $z_{i}=Q_{i}+i P_{i}$ の正規直交単項の積として表される。
さらに、各位相空間座標から構築された級数は複素平面の任意のコンパクト領域に一様収束する。
位相空間座標に関するスピン鎖の定式化は、古典的極限と準確率分布の計算における議論に役立つ。 Spin chain Hamiltonians can be written in terms of complex differential operators using the Bargmann representation of Jordan-Schwinger map. In this case, the eigenfunctions are expressed as product of orthonormal monomials of the phase-space coordinates $z_{i}=Q_{i}+i P_{i}$ in the complex plane. Furthermore, the series constructed from each phase-space coordinate converges uniformly in any compact domain of the complex plane. Formulating spin chains with respect to the phase-space coordinates helps in discussing their classical limit and in the calculations of quasi-probability distributions. | 翻訳日:2023-03-17 07:47:23 公開日:2023-02-01 |
| # 固有状態に温度を割り当てる Assigning Temperatures to Eigenstates ( http://arxiv.org/abs/2111.05083v2 ) ライセンス: Link先を確認 | Phillip C. Burke, Goran Nakerst, Masudul Haque | (参考訳) 有限孤立量子系における熱化の研究において、不可解な問題は温度の定義である。
我々は、エネルギーに温度を割り当てる様々な方法、あるいはそのようなシステムの固有状態と等価な方法を検討し、比較する。
熱化の文脈で一般的に用いられる温度の割り当ては、エネルギー固有値のみに依存し、固有状態の構造に依存しない標準エネルギー-温度関係に基づいている。
固有状態に対しては、固有状態密度行列と標準密度行列の間の距離を最小化して温度を定義する。
完全固有状態の場合、最小化温度は選択した距離測度に依存し、トレース距離の標準温度と一致するが、2つの行列は近接しない。
密度行列の減少により、最小化温度はサブシステムやシステムサイズとスケールする変動を持つが、距離測定とは無関係であるように見える。
特に、温度が標準温度の傾向にある間、2つの行列は等価になる。 In the study of thermalization in finite isolated quantum systems, an inescapable issue is the definition of temperature. We examine and compare different possible ways of assigning temperatures to energies or equivalently to eigenstates in such systems. A commonly used assignment of temperature in the context of thermalization is based on the canonical energy-temperature relationship, which depends only on energy eigenvalues and not on the structure of eigenstates. For eigenstates, we consider defining temperature by minimizing the distance between (full or reduced) eigenstate density matrices and canonical density matrices. We show that for full eigenstates, the minimizing temperature depends on the distance measure chosen and matches the canonical temperature for the trace distance; however, the two matrices are not close. With reduced density matrices, the minimizing temperature has fluctuations that scale with subsystem and system size but appears to be independent of distance measure. In particular limits, the two matrices become equivalent while the temperature tends to the canonical temperature. | 翻訳日:2023-03-08 18:17:24 公開日:2023-02-01 |
| # ポントリャーギンニューラルネットワークの最適量子制御問題への応用 An Application of Pontryagin Neural Networks to Solve Optimal Quantum Control Problems ( http://arxiv.org/abs/2302.09143v1 ) ライセンス: Link先を確認 | Nahid Binandeh Dehaghani and A. Pedro Aguiar | (参考訳) 信頼性の高い高忠実性量子状態変換は、常に量子情報処理の不可分な部分と見なされてきた。
この点において、ポントリャーギンの最大原理は最適時間またはエネルギーにおける最大忠実度を達成するために重要な役割を果たすことが証明されている。
そこで本研究では,二線形シュロディンガー方程式を満たす量子系において,時間とエネルギーを最小化することを目的とした制御制約付き最適制御問題を定式化する。
我々は,ポントリャーギン最大値 (minimum) 原理の適用により,一階最適条件が導出され,境界値問題が発生する。
次に、効率の良い数値結果を得るために、ポントリャーギンの最大原理に基づく間接的手法に取り組むために特別に設計された物理に変形したニューラルネットワーク群を利用する。
この手法は量子コンテキストではまだ研究されていないが、プロセスを大幅に高速化することができる。
この目的のために、我々はまず一連の関係を求め、最終的に最適制御戦略を計算し、有界制御を持つ量子ハミルトニアンにより、一般的な初期状態を目標状態に駆動する時間とエネルギーの最適プロトコルを決定する。
我々は、pythonのいわゆる"qutip"パッケージと、新しく開発された"tfc"pythonパッケージを利用しています。 Reliable high-fidelity quantum state transformation has always been considered as an inseparable part of quantum information processing. In this regard, Pontryagin maximum principle has proved to play an important role to achieve the maximum fidelity in an optimum time or energy. Motivated by this, in this work, we formulate a control constrained optimal control problem where we aim to minimize time and also energy subjected to a quantum system satisfying the bilinear Schrodinger equation. We derive the first order optimality conditions through the application of Pontryagin Maximum (minimum) Principle, which results in a boundary value problem. Next, in order to obtain efficient numerical results, we exploit a particular family of physics-informed neural networks that are specifically designed to tackle the indirect method based on the Maximum Principle of Pontryagin. This method has not yet been studied in the quantum context, but it can significantly speed up the process. To this end, we first obtain a set of relations which finally let us compute the optimal control strategy to determine the time- and energy-optimal protocol driving a general initial state to a target state by a quantum Hamiltonian with bounded control. We make use of the so-called "qutip" package in python, and the newly developed "tfc" python package. | 翻訳日:2023-02-26 14:55:48 公開日:2023-02-01 |
| # certvit: 事前訓練された視覚トランスフォーマーのロバスト性 CertViT: Certified Robustness of Pre-Trained Vision Transformers ( http://arxiv.org/abs/2302.10287v1 ) ライセンス: Link先を確認 | Kavya Gupta and Sagar Verma | (参考訳) Lipschitzのバウンドニューラルネットワークは、確実に堅牢であり、クリーンと認定の正確性の間に良いトレードオフがある。
既存のリプシッツバウンディングメソッドはスクラッチからトレーニングされ、適度なサイズのネットワーク (6mパラメータ) に限定されている。
それらはかなりの量のハイパーパラメータチューニングを必要とし、ビジョントランスフォーマー(5Mから660Mパラメータ)のような大規模ネットワークでは計算が禁じられている。
変圧器のロバスト性が保証されることは、現在の方法の非スカラビリティと非フレキシビリティのため実現不可能である。
本研究では,2段階の近近射影法であるCertViTを提案する。
近位ステップはリプシッツ結合を下げ、投影ステップは事前訓練された重みのクリーンな精度を維持しようとする。
CertViTネットワークは、最先端のLipschitzトレーニングネットワークよりも精度が高いことを示す。
我々は、CertViTを事前訓練された視覚変換器の様々な変種に適用し、標準攻撃による敵の堅牢性を示す。
コード: https://github.com/sagarverma/transformer-lipschitz Lipschitz bounded neural networks are certifiably robust and have a good trade-off between clean and certified accuracy. Existing Lipschitz bounding methods train from scratch and are limited to moderately sized networks (< 6M parameters). They require a fair amount of hyper-parameter tuning and are computationally prohibitive for large networks like Vision Transformers (5M to 660M parameters). Obtaining certified robustness of transformers is not feasible due to the non-scalability and inflexibility of the current methods. This work presents CertViT, a two-step proximal-projection method to achieve certified robustness from pre-trained weights. The proximal step tries to lower the Lipschitz bound and the projection step tries to maintain the clean accuracy of pre-trained weights. We show that CertViT networks have better certified accuracy than state-of-the-art Lipschitz trained networks. We apply CertViT on several variants of pre-trained vision transformers and show adversarial robustness using standard attacks. Code : https://github.com/sagarverma/transformer-lipschitz | 翻訳日:2023-02-26 14:28:31 公開日:2023-02-01 |
| # PM2.5推定精度向上のための衛星マルチセンサAOD検索のデータレベルと決定レベル融合に関する研究 Data level and decision level fusion of satellite multi-sensor AOD retrievals for improving PM2.5 estimations, a study on Tehran ( http://arxiv.org/abs/2302.10278v1 ) ライセンス: Link先を確認 | Ali Mirzaei, Hossein Bagheri and Mehran Sattari | (参考訳) 直径2.5マイクロメートル (PM2.5) 以下の表面粒子濃度を推定する手法の1つは、エアロゾル光学深度 (AOD) 生成物を用いている。
様々なAOD製品は、MODISやVIIRSのような様々な衛星センサーからディープブルーやダークターゲットといった様々なアルゴリズムによって回収される。
したがって、それらは同じ精度と空間分解能を持っていない。
さらに、aod検索におけるアルゴリズムの弱さは、特に曇りや雪の多い地域での製品の空間的カバレッジを減少させる。
その結果,Deep Blue および Dark Target アルゴリズムにより得られたMODIS および VIIRS センサの観測結果から,AOD 生成物を拡散させてPM2.5 をより正確に推定できる可能性について検討した。
この目的のために、AOD製品はデータレベルと意思決定レベルという2つのレベルで異なる融合戦略を使用して機械学習アルゴリズムによって融合された。
まず,AODデータを用いたPM2.5推定アルゴリズムの性能評価を行った。
その後、提案した融合戦略のベースモデルとしてXGBoostアルゴリズムが選択された。
その後、AOD製品が融合した。
核融合実験の結果, RMSE, MAE, R2の3つの指標で推定PM2.5精度が向上した(R2=0.64)。
データレベル融合法の単純さと計算コストの低下にもかかわらず, 核融合プロセスによる粗悪なデータ除去により空間被覆は著しく改善されなかった。
その後、意思決定レベルでの製品の統合は11のシナリオで続いた。
このようにして、最も良い結果はMODISとVIIRSセンサー(R2=0.81)のディープブルー生成物を融合させることで得られる。 One of the techniques for estimating the surface particle concentration with a diameter of fewer than 2.5 micrometers (PM2.5) is using aerosol optical depth (AOD) products. Different AOD products are retrieved from various satellite sensors, like MODIS and VIIRS, by various algorithms, such as Deep Blue and Dark Target. Therefore, they do not have the same accuracy and spatial resolution. Additionally, the weakness of algorithms in AOD retrieval reduces the spatial coverage of products, particularly in cloudy or snowy areas. Consequently, for the first time, the present study investigated the possibility of fusing AOD products from observations of MODIS and VIIRS sensors retrieved by Deep Blue and Dark Target algorithms to estimate PM2.5 more accurately. For this purpose, AOD products were fused by machine learning algorithms using different fusion strategies at two levels: the data level and the decision level. First, the performance of various machine learning algorithms for estimating PM2.5 using AOD data was evaluated. After that, the XGBoost algorithm was selected as the base model for the proposed fusion strategies. Then, AOD products were fused. The fusion results showed that the estimated PM2.5 accuracy at the data level in all three metrics, RMSE, MAE, and R2, was improved (R2=0.64). Despite the simplicity and lower computational cost of the data level fusion method, the spatial coverage did not improve considerably due to eliminating poor quality data through the fusion process. Afterward, the fusion of products at the decision level was followed in eleven scenarios. In this way, the best result was obtained by fusing Deep Blue products of MODIS and VIIRS sensors (R2=0.81) | 翻訳日:2023-02-26 14:26:36 公開日:2023-02-01 |
| # 完全非正の部分変換が真に絡み合った部分空間 Fully non-positive-partial-transpose genuinely entangled subspaces ( http://arxiv.org/abs/2203.16902v2 ) ライセンス: Link先を確認 | Owidiusz Makuta, B{\l}a\.zej Kuzaka, and Remigiusz Augusiak | (参考訳) 真に絡み合った部分空間は、真に絡み合った状態のみからなる多成分ヒルベルト空間における部分空間のクラスである。
これらは多成分の絡み合いの文脈において興味深い研究対象である。
ここでは、真に絡み合うだけでなく、すべての混合状態が任意の二分割にわたって非正の部分転置を持つという意味で、完全非正の非正の部分転置(NPT)を構成する。
我々の構成は、量子エラー補正で知られている安定化形式主義に由来する。
この目的のために、まず、与えられた非自明な安定化部分空間の任意の状態が真に多重な絡み合いであるかどうかを評価するためのいくつかの基準を導入する。
次に、これらの基準を用いて、任意の個数および任意の局所次元に対して真に絡み合った安定化部分空間を構築し、安定化器形式論の中で達成可能な極大次元であると推測する。
同時に、真に絡み合ったすべての部分空間が上記の意味で完全にNPTであることを証明し、真に絡み合った安定化部分空間がPPTの絡み合った状態をサポートできないという驚くべき事実を示唆する。 Genuinely entangled subspaces are a class of subspaces in the multipartite Hilbert spaces that are composed of only genuinely entangled states. They are thus an interesting object of study in the context of multipartite entanglement. Here we provide a construction of multipartite subspaces that are not only genuinely entangled but also fully non-positive-partial-transpose (NPT) in the sense that any mixed state supported on them has non-positive partial transpose across any bipartition. Our construction originates from the stabilizer formalism known for its use in quantum error correction. To this end, we first introduce a couple of criteria allowing to assess whether any state from a given non-trivial stabilizer subspace is genuinely multipartite entangled. We then use these criteria to construct genuinely entangled stabilizer subspaces for any number of parties and arbitrary local dimension and conjecture them to be of maximal dimension achievable within the stabilizer formalism. At the same time, we prove that every genuinely entangled subspace is fully NPT in the above sense, which implies a quite surprising fact that no genuinely entangled stabilizer subspace can support PPT entangled states. | 翻訳日:2023-02-20 05:10:26 公開日:2023-02-01 |
| # 都市規模総合自動車旅行データ City-scale synthetic individual-level vehicle trip data ( http://arxiv.org/abs/2206.03273v3 ) ライセンス: Link先を確認 | Guilong Li, Yixian Chen, Yimin Wang, Zhi Yu, Peilin Nie, Zhaocheng He | (参考訳) 道路網上の各車両の走行行動を記録するトリップデータは、個々の視点から都市交通の運行を記述しており、交通研究には極めて有用である。
しかし、データプライバシによって制限されているため、個々のレベルのトリップデータはすべての研究者に対して公開できない。
本稿では,都市規模での個人レベルの自動車走行データを作成し,各個人に対して過去の旅行データに基づいて,可用性と旅行データのプライバシ保護のバランスをとる。
プライバシー保護は必然的にデータの可用性に影響を及ぼす。
そこで我々は,様々な次元および粒度の合成データの性能と信頼性を実証する実験を数多く実施し,ユーザが実行可能なタスクを適切に判断できるように支援した。
その結果、合成データは、集約されたレベルでの実データ(すなわち歴史的データ)と一致し、個々の観点から合理的であることが示された。 Trip data that records each vehicle's trip activity on the road network describes the operation of urban traffic from the individual perspective, and it is extremely valuable for transportation research. However, restricted by data privacy, the trip data of individual-level cannot be opened for all researchers, while the need for it is very urgent. In this paper, we produce a city-scale synthetic individual-level vehicle trip dataset by generating for each individual based on the historical trip data, where the availability and trip data privacy protection are balanced. Privacy protection inevitably affects the availability of data. Therefore, we have conducted numerous experiments to demonstrate the performance and reliability of the synthetic data in different dimensions and at different granularities to help users properly judge the tasks it can perform. The result shows that the synthetic data is consistent with the real data (i.e., historical data) on the aggregated level and reasonable from the individual perspective. | 翻訳日:2023-02-19 17:36:34 公開日:2023-02-01 |
| # 外乱認識対象検出のための正規化フローベース特徴合成 Normalizing Flow based Feature Synthesis for Outlier-Aware Object Detection ( http://arxiv.org/abs/2302.07106v1 ) ライセンス: Link先を確認 | Nishant Kumar, Sini\v{s}a \v{S}egvi\'c, Abouzar Eslami, Stefan Gumhold | (参考訳) 自律運転のようなアプリケーションには、信頼性の高いオブジェクト検出器の現実的な展開が不可欠である。
しかし、Faster R-CNNのような汎用オブジェクト検出器は、不整形物体の過信予測を提供する傾向にある。
最近の異常物体検出手法は, クラス条件ガウシアンによるインスタンスワイド特徴の密度を推定し, 低様領域から合成外乱特徴を訓練する。
しかし、この戦略は、合成された外層特徴が他のクラス条件ガウス多様体に従えば低い確率を持つことを保証しない。
そこで本研究では,逆正規化フローを用いて,すべての異常クラスの合同データ分布を学習することにより,異常値と異常値の区別を学習する,新しい外れ値認識型オブジェクト検出フレームワークを提案する。
フローモデルは、合成された外れ値が全てのオブジェクトクラスの外れ値よりも低い可能性を持つことを保証するので、外れ値と外れ値の間のより良い決定境界をモデル化する。
提案手法は,画像データとビデオデータの両方において,外部認識オブジェクト検出の最先端性を大幅に向上させる。 Real-world deployment of reliable object detectors is crucial for applications such as autonomous driving. However, general-purpose object detectors like Faster R-CNN are prone to providing overconfident predictions for outlier objects. Recent outlier-aware object detection approaches estimate the density of instance-wide features with class-conditional Gaussians and train on synthesized outlier features from their low-likelihood regions. However, this strategy does not guarantee that the synthesized outlier features will have a low likelihood according to the other class-conditional Gaussians. We propose a novel outlier-aware object detection framework that learns to distinguish outliers from inlier objects by learning the joint data distribution of all inlier classes with an invertible normalizing flow. The flow model ensures that the synthesized outliers have a lower likelihood than inliers of all object classes, thereby modeling a better decision boundary between inlier and outlier objects. Our approach significantly outperforms the state-of-the-art for outlier-aware object detection on both image and video datasets. | 翻訳日:2023-02-19 14:23:21 公開日:2023-02-01 |
| # ネット市民,アカデミアン,情報専門家のaiに対する意見 : chatgptを中心に Netizens, Academicians, and Information Professionals' Opinions About AI With Special Reference To ChatGPT ( http://arxiv.org/abs/2302.07136v1 ) ライセンス: Link先を確認 | Subaveerapandiyan A, Vinoth A, Neelam Tiwary | (参考訳) 本研究は,ソーシャルメディアのコメントを収集,分析することで,ChatGPT-3に対する学者の認識と意見を理解することを目的として,図書館や情報科学の専門家による調査を行った。
この研究は、コンテンツ分析手法を用いており、chatgpt-3は研究と執筆に有用なツールであるが、100%正確ではなく、クロスチェックされるべきである。
また、一部の研究者はChatGPT-3を受け入れていないが、多くは受け入れ始めている。
この研究は、学者、コンテンツ開発者、図書館員にとって有益である。 This study aims to understand the perceptions and opinions of academicians towards ChatGPT-3 by collecting and analyzing social media comments, and a survey was conducted with library and information science professionals. The research uses a content analysis method and finds that while ChatGPT-3 can be a valuable tool for research and writing, it is not 100% accurate and should be cross-checked. The study also finds that while some academicians may not accept ChatGPT-3, most are starting to accept it. The study is beneficial for academicians, content developers, and librarians. | 翻訳日:2023-02-19 14:11:19 公開日:2023-02-01 |
| # 医師・研究者のための包括的でユーザフレンドリーながん患者データベース Comprehensive and user-analytics-friendly cancer patient database for physicians and researchers ( http://arxiv.org/abs/2302.01337v1 ) ライセンス: Link先を確認 | Ali Firooz, Avery T. Funkhouser, Julie C. Martin, W. Jeffery Edenfield, Homayoun Valafar, and Anna V. Blenda | (参考訳) がんの発生と臨床経過は、患者の一般的な健康状態、生殖細胞および腫瘍突然変異、共同病原性、環境の影響で多因子であるので、ニュアンス癌患者のケアが必要である。
各患者に個別化された治療を効果的に調整するには、その多因子データを提供者に簡単にアクセスでき、分析しやすい方法で提示する必要がある。
癌クリティカル遺伝子変異, 血清ガレクチンプロファイル, 血清および腫瘍グリコミクスプロファイルと, 個々のがん患者の臨床的, 人口統計学的, ライフスタイルデータポイントを統合したリレーショナル・データベースが開発されている。
データベースはバックエンドとして、医師や研究者に、がんのプロファイリングデータの単一のリポジトリを提供し、個々の治療を補助し、強化する。
対話型データベースにより, ケア提供者は, 遺伝子変異, ガレクチン血清レベル, グリカン組成, 患者臨床データおよび生活習慣選択の組み合わせに基づいて, 異なるデータ型と「分子シグネチャ」の相関関係を見出すことができる。
本研究は, がんステージおよびサブタイプにわたる分子・臨床パターンを解析し, 診断・予後能力を高めるための統合的, 対話的, 成長するデータベースの枠組みを提供する。 Nuanced cancer patient care is needed, as the development and clinical course of cancer is multifactorial with influences from the general health status of the patient, germline and neoplastic mutations, co-morbidities, and environment. To effectively tailor an individualized treatment to each patient, such multifactorial data must be presented to providers in an easy-to-access and easy-to-analyze fashion. To address the need, a relational database has been developed integrating status of cancer-critical gene mutations, serum galectin profiles, serum and tumor glycomic profiles, with clinical, demographic, and lifestyle data points of individual cancer patients. The database, as a backend, provides physicians and researchers with a single, easily accessible repository of cancer profiling data to aid-in and enhance individualized treatment. Our interactive database allows care providers to amalgamate cohorts from these groups to find correlations between different data types with the possibility of finding "molecular signatures" based upon a combination of genetic mutations, galectin serum levels, glycan compositions, and patient clinical data and lifestyle choices. Our project provides a framework for an integrated, interactive, and growing database to analyze molecular and clinical patterns across cancer stages and subtypes and provides opportunities for increased diagnostic and prognostic power. | 翻訳日:2023-02-19 14:01:14 公開日:2023-02-01 |
| # エントロピーに基づく農業における衛星画像の利用に関する書誌学的・社会ネットワーク分析 Bibliometric and social network analysis on the use of satellite imagery in agriculture: an entropy-based approach ( http://arxiv.org/abs/2302.01282v1 ) ライセンス: Link先を確認 | Riccardo Dainelli, Fabio Saracco | (参考訳) 衛星画像は天然資源への影響を下げ、農家の利益を増やす貴重なツールとして人気を集めている。
本研究の目的は,この研究領域の構造を明らかにするための科学的文献を発掘し,科学的な成果がどの程度広く一般に公開されるかを調査することである。
これらを満たすために、それぞれWeb of ScienceとTwitterデータセットを検索して分析した。
学術文献については、出版論文と研究者の両面で、米国と中国が主要な俳優となったなど、各国の様々な業績が観察された。
分類されたキーワードの中で、最もよく使われるのは「解像度」、「ランドサット」、「収量」、「小麦」、「マルチスペクトル」である。
そこで, 衛星リモートセンシングにおける研究のさまざまな側面から, 様々な要約で使用されている単語の意味ネットワークを分析した。
リモートセンシングによる気象パラメータの検索と植生指標の広範な利用の重要性が浮かび上がった。
新しいトピックとして、土地利用評価と作物認識のための分類タスクが、ハイパースペクトルセンサーの使用とともに際立っている。
学界と一般大衆の交流について分析したところ、Twitter上では事実上欠落していることがわかった。
したがって、学術と他の社会セクターのアクターの間にはまだコミュニケーションギャップがある。 Satellite imagery is gaining popularity as a valuable tool to lower the impact on natural resources and increase profits for farmers. The purpose of this study is twofold: to mine the scientific literature for revealing the structure of this research domain and to investigate to what extent scientific results are able to reach a wider public. To fulfill these, respectively, a Web of Science and a Twitter dataset were retrieved and analysed. Regarding academic literature, different performances of the various countries were observed: the USA and China resulted as the leading actors, both in terms of published papers and employed researchers. Among the categorised keywords, "resolution", "Landsat", "yield", "wheat" and "multispectral" are the most used. Then, analysing the semantic network of the words used in the various abstracts, the different facets of the research in satellite remote sensing were detected. It emerged the importance of retrieving meteorological parameters through remote sensing and the broad use of vegetation indexes. As emerging topics, classification tasks for land use assessment and crop recognition stand out, together with the use of hyperspectral sensors. Regarding the interaction of academia with the public, the analysis showed that it is practically absent on Twitter: most of the activity therein is due to private companies advertising their business. Therefore, there is still a communication gap between academia and actors from other societal sectors. | 翻訳日:2023-02-19 14:00:49 公開日:2023-02-01 |
| # 北米大学におけるコンピュータサイエンス大学院生の多様性に関する探索的研究 An exploratory study of diversity among computer science graduate students at top North American universities ( http://arxiv.org/abs/2302.00589v1 ) ライセンス: Link先を確認 | Ghazal Kalhor, Tanin Zeraati, Behnam Bahrak | (参考訳) 異なる組織は学界の多様性に対する政策を定義しているが、少数派は偏りのために大学への入学が不利であると主張する者もいる。
本研究では,北米25大学におけるコンピュータサイエンスを専攻する大学院生13,936人の情報を収集し,統計的仮説テストを用いて,入学過程における性別と国籍の選好性について検討した。
偏りのパターンに加えて、男女・国籍の多様性と研究チームの科学的成果との関係について論じる。
その結果,大学院生の研究グループへの入学には性別偏りは認められなかったが,学生の国籍の偏りが観察された。 Although different organizations have defined policies toward diversity in academia, many argue that minorities are still disadvantaged in being admitted to universities due to biases. In this study, we collected the information of 13,936 graduate students majoring in computer science at the top 25 North American universities and used statistical hypothesis tests to realize whether there is a preference for students' gender and nationality in the admission processes. In addition to partiality patterns, we discuss the relations between gender/nationality diversity and the scientific achievements of research teams. Our findings show that there is no gender bias in graduate students' admission to research groups, but we observed partiality in students' nationality. | 翻訳日:2023-02-19 13:59:59 公開日:2023-02-01 |
| # お前はボットだ!
--Twitterにおけるボット非難の展開に関する研究 You are a Bot! -- Studying the Development of Bot Accusations on Twitter ( http://arxiv.org/abs/2302.00546v1 ) ライセンス: Link先を確認 | Dennis Assenmacher, Leon Fr\"ohling, Claudia Wagner | (参考訳) ソーシャルメディアプラットフォーム上で社会を操作できると推定されるソーシャルボットの特性と検出は、過去10年間に多くの研究努力の対象となり、ボットの影響と、それに伴う現象がプラットフォームユーザや社会に与える影響にギャップが残されている。
この体系的データ駆動研究では,構築ボットに対するユーザの認識を大規模に調査し,ボットに対する批判の進化に焦点をあてた。
2007年以降,ソーシャルメディアプラットフォームであるTwitterで発生したボットの告発をもとに,これらの特定のコミュニケーション状況の意味と状況に関する洞察を提供する新たなデータセットを作成し,分析する。
ボットという言葉が技術的意味から脱却し、議論を偏極化し、最終的に相手を非人間化するために特に使われる「侮辱」になったという証拠を見つける。 The characterization and detection of social bots with their presumed ability to manipulate society on social media platforms have been subject to many research endeavors over the last decade, leaving a research gap on the impact of bots and accompanying phenomena on platform users and society. In this systematic data-driven study, we explore the users' perception of the construct bot at a large scale, focusing on the evolution of bot accusations over time. We create and analyze a novel dataset consisting of bot accusations that have occurred on the social media platform Twitter since 2007, providing insights into the meanings and contexts of these particular communication situations. We find evidence that over time the term bot has moved away from its technical meaning to become an "insult" specifically used in polarizing discussions to discredit and ultimately dehumanize the opponent. | 翻訳日:2023-02-19 13:59:46 公開日:2023-02-01 |
| # 大型トラックの効率的な輸送電化に向けて--トラックルーティングと充電のジョイントスケジューリング Toward Efficient Transportation Electrification of Heavy-Duty Trucks: Joint Scheduling of Truck Routing and Charging ( http://arxiv.org/abs/2302.00240v1 ) ライセンス: Link先を確認 | Mikhail A. Bragin, Zuzhao Ye, Nanpeng Yu | (参考訳) 顧客への商品のタイムリーな輸送は経済活動の重要な要素である。
しかし、商品を届ける重厚なディーゼルトラックは、ロサンゼルス、ニューヨーク、サンフランシスコを含む多くの大都市圏の温室効果ガス排出に大きく貢献している。
貨物の電化を容易にするために,電気トラックの連系ルーティングと充電(JRC)スケジューリングを提案する。
関連する最適化問題の目的は、輸送、充電、重荷のコストを最小限に抑えることである。
道路セグメントの多数の組み合わせの結果、電動トラックは、可能な充電決定と充電期間の多くの組み合わせを取ることができる。
結果として生じる混合整数線形プログラミング問題(MILP)は、決定論的ケースにおいても組合せ複雑性のため、極めて困難である。
そこで, レベルベースサーロゲートラグランジアン緩和法を用いて, 問題全体の分解とコーディネートを, 複雑度の低いトラックサブプロブレムに分解する。
調整面では、各トラックのサブプロブレムは他のサブプロブレムとは独立に、充電コスト、重大さ、ラグランジアン乗算器の値に基づいて解決される。
トラックの誘導と調整の手段としての役割に加えて、乗算器はトラックによる透明で説明的な意思決定の基盤としても機能する。
実験の結果,数日間の解決の後,棚上解法CPLEXを用いて小さなインスタンスでも解決できないことがわかった。
一方,本手法では,小症例では数分以内に,大症例では30分以内に,最適に近い解が得られる。
さらに、バッテリ容量が増加するにつれて、総コストが大幅に減少し、さらに充電電力が増加するにつれて、必要なトラックの数が減少することが示されている。 The timely transportation of goods to customers is an essential component of economic activities. However, heavy-duty diesel trucks that deliver goods contribute significantly to greenhouse gas emissions within many large metropolitan areas, including Los Angeles, New York, and San Francisco. To facilitate freight electrification, this paper proposes joint routing and charging (JRC) scheduling for electric trucks. The objective of the associated optimization problem is to minimize the cost of transportation, charging, and tardiness. As a result of a large number of combinations of road segments, electric trucks can take a large number of combinations of possible charging decisions and charging duration as well. The resulting mixed-integer linear programming problem (MILP) is extremely challenging because of the combinatorial complexity even in the deterministic case. Therefore, a Level-Based Surrogate Lagrangian Relaxation method is employed to decompose and coordinate the overall problem into truck subproblems that are significantly less complex. In the coordination aspect, each truck subproblem is solved independently of other subproblems based on charging cost, tardiness, and the values of Lagrangian multipliers. In addition to serving as a means of guiding and coordinating trucks, multipliers can also serve as a basis for transparent and explanatory decision-making by trucks. Testing results demonstrate that even small instances cannot be solved using the over-the-shelf solver CPLEX after several days of solving. The new method, on the other hand, can obtain near-optimal solutions within a few minutes for small cases, and within 30 minutes for large ones. Furthermore, it has been demonstrated that as battery capacity increases, the total cost decreases significantly; moreover, as the charging power increases, the number of trucks required decreases as well. | 翻訳日:2023-02-19 13:59:20 公開日:2023-02-01 |
| # CS-JEDI : CS博士課程学生のDeI教育 CS-JEDI: Required DEI Education, by CS PhD Students, for CS PhD Students ( http://arxiv.org/abs/2301.13045v2 ) ライセンス: Link先を確認 | Bailey Flanigan, Ananya A Joshi, Sara McAllister, Catalina Vajiac | (参考訳) コンピュータ科学(CS)は歴史的に多様性、公平性、包摂性(DEI)に関する問題に悩まされてきた。
これらの課題が博士課程の学生にどのように影響を与えているかに基づき,博士課程の学生に求められるdei教育を,博士課程における博士課程経験を改善する上で,潜在的に高インパクトなアプローチとして捉えた。
既存のカリキュラムが望ましい基準を満たしていないことを踏まえると、私たちは(PhDの学生)、学校の他の多くの学生とともにCS-JEDI: Justice, Equity, Diversity, Inclusion in Computer Scienceを開発した。
CS-JEDI は6週間の DEI カリキュラムであり、現在、当科の1年生全員によって受け取られている。
本稿では,CS-JEDIのモチベーションと目標を取り上げ,CS-JEDIのエビデンスベースのカリキュラムが,これらの目標とCS PhDコンテキストにどのように適合しているかを述べるとともに,2022年春のCS-JEDIの最初の提供範囲をデータ駆動で評価する。 Computer science (CS) has historically struggled with issues related to diversity, equity, and inclusion (DEI). Based on how these issues were affecting PhD students in our department, we identified required DEI education for PhD students as a potentially high-impact approach to improving the PhD student experience in our program. Given that no existing curriculum met the desired criteria, we (PhD students) - along with many others at our school - developed and implemented CS-JEDI: Justice, Equity, Diversity, and Inclusion in Computer Science. CS-JEDI is a 6-week DEI curriculum that is now taken by all first-year PhD students in our department. This paper covers CS-JEDI's motivation and goals; describes how its evidence-based curriculum is tailored to these goals and to the CS PhD context; and gives a data-driven evaluation of the extent to which CS-JEDI's first offering, in Spring 2022, achieved these goals. | 翻訳日:2023-02-19 13:57:14 公開日:2023-02-01 |
| # 公平分類における可変性, 自己整合性, 任意性 Variance, Self-Consistency, and Arbitrariness in Fair Classification ( http://arxiv.org/abs/2301.11562v2 ) ライセンス: Link先を確認 | A. Feder Cooper, Solon Barocas, Christopher De Sa, Siddhartha Sen | (参考訳) 公平な分類では、モデルを訓練し、異なる部分群固有のエラー率を比較し、修正することが一般的である。
しかし、たとえモデルの分類決定が公平度基準を満たすとしても、これらの決定が等しく自信を持つとは限らない。
トレーニングデータのサブセットを除く学習プロセスのすべてを修正し、複数のモデルをトレーニングし、各テスト例の予測における(dis)偏差を測定し、その分類決定に関して学習プロセスがより不安定であることを意味するように不一致を解釈する。
経験的に、いくつかの決定は実際には不安定であり、事実上任意である。
この任意性を抑えるため,学習過程の自己整合性の概念を定式化し,自己整合性を良好に向上するアンサンブルアルゴリズムを開発し,その有効性を実証的に実証し,公平性と精度をよく向上させる。
さらに,本評価では, 共通フェア分類ベンチマークを適用すれば, 共通前処理, 内処理, 後処理のフェアネス介入を使わずに, サブグループ誤差率の相違を著しく低減できることを示す。
この結果から,特に小データセットにおける分散は,公正性に関する結論の信頼性を損なう可能性が示唆された。
ひとつの解決策は、より大きなベンチマークタスクを開発することです。
この目的のために、我々はHome Mortgage Disclosure Actデータセットを将来の研究に容易に利用できるようにするツールキットをリリースする。 In fair classification, it is common to train a model, and to compare and correct subgroup-specific error rates for disparities. However, even if a model's classification decisions satisfy a fairness metric, it is not necessarily the case that these decisions are equally confident. This becomes clear if we measure variance: We can fix everything in the learning process except the subset of training data, train multiple models, measure (dis)agreement in predictions for each test example, and interpret disagreement to mean that the learning process is more unstable with respect to its classification decision. Empirically, some decisions can in fact be so unstable that they are effectively arbitrary. To reduce this arbitrariness, we formalize a notion of self-consistency of a learning process, develop an ensembling algorithm that provably increases self-consistency, and empirically demonstrate its utility to often improve both fairness and accuracy. Further, our evaluation reveals a startling observation: Applying ensembling to common fair classification benchmarks can significantly reduce subgroup error rate disparities, without employing common pre-, in-, or post-processing fairness interventions. Taken together, our results indicate that variance, particularly on small datasets, can muddle the reliability of conclusions about fairness. One solution is to develop larger benchmark tasks. To this end, we release a toolkit that makes the Home Mortgage Disclosure Act datasets easily usable for future research. | 翻訳日:2023-02-19 13:54:28 公開日:2023-02-01 |
| # 三角関数の一般球面調和ブラケット重なり積分 General spherical harmonic bra-ket overlap integrals of trigonometric functions ( http://arxiv.org/abs/2205.02337v2 ) ライセンス: Link先を確認 | Giuseppe Lingetti, Paolo Pani | (参考訳) Clebsch-Gordan係数の二重和の閉公式は、幅広い三角関数のブラケット球面調和重なり積分の評価のために計算される。
これらの解析式は、一般的な相対論的摂動論、電磁論、量子論など、異なる角モード間のカップリングから重なり合う積分が生じるような非分離波動方程式に関わる問題に有用である。 Closed formulas in terms of double sums of Clebsch-Gordan coefficients are computed for the evaluation of bra-ket spherical harmonic overlap integrals of a wide class of trigonometric functions. These analytical expressions can find useful application in problems involving non-separable wave equations, e.g. general-relativistic perturbation theory, electromagnetism, quantum theory, etc, wherein the overlap integrals arise from the coupling among different angular modes. | 翻訳日:2023-02-14 08:48:21 公開日:2023-02-01 |
| # 正確な屋内測位のための無線・カメラセンサデータの融合 Fusion of Radio and Camera Sensor Data for Accurate Indoor Positioning ( http://arxiv.org/abs/2302.02952v1 ) ライセンス: Link先を確認 | Savvas Papaioannou, Hongkai Wen, Andrew Markham and Niki Trigoni | (参考訳) 近年,屋内ナビゲーションやスマートビルディングなど,多くの位置情報サービスの重要性から,屋内位置決めシステムが注目されている。
wifiと慣性センシングに基づく軽量なソリューションが人気を集めているが、専門家の博物館ガイドや工業的な設定など、通常サブメートルの位置情報を必要とするアプリケーションには適していない。
本稿では,広く普及しているカメラ・インフラで撮影される匿名の視覚検出と無線読み取り(wi-fi無線データなど)を融合する位置決めシステムravel (radio and vision enhanced localization)を提案する。
視覚トラッカは位置決め精度は優れるが、閉塞やシーンの入出入といった問題に悩まされ、ロバストなトラッキングソリューションとしての使用を妨げている。
無線計測を組み込むことで、視覚的に曖昧または欠如したデータをマルチハイポテーゼトラッキングによって解決することができる。
我々は,暗い照明と複数の人が展示スタンドで散らばった空間を動き回る複雑な博物館環境において,システムを評価した。
我々の実験では、WiFi測定はそれ自体が十分正確ではないが、カメラデータと融合すると、不明瞭で断片化され、匿名の視覚トラックレットを正確に連続的な経路へと引き寄せる触媒となり、1m未満の典型的なエラーが生じる。 Indoor positioning systems have received a lot of attention recently due to their importance for many location-based services, e.g. indoor navigation and smart buildings. Lightweight solutions based on WiFi and inertial sensing have gained popularity, but are not fit for demanding applications, such as expert museum guides and industrial settings, which typically require sub-meter location information. In this paper, we propose a novel positioning system, RAVEL (Radio And Vision Enhanced Localization), which fuses anonymous visual detections captured by widely available camera infrastructure, with radio readings (e.g. WiFi radio data). Although visual trackers can provide excellent positioning accuracy, they are plagued by issues such as occlusions and people entering/exiting the scene, preventing their use as a robust tracking solution. By incorporating radio measurements, visually ambiguous or missing data can be resolved through multi-hypothesis tracking. We evaluate our system in a complex museum environment with dim lighting and multiple people moving around in a space cluttered with exhibit stands. Our experiments show that although the WiFi measurements are not by themselves sufficiently accurate, when they are fused with camera data, they become a catalyst for pulling together ambiguous, fragmented, and anonymous visual tracklets into accurate and continuous paths, yielding typical errors below 1 meter. | 翻訳日:2023-02-12 13:04:03 公開日:2023-02-01 |
| # レーザレンジングによる低コストカメラを用いた環境マッピングのための物体次元抽出 Object Dimension Extraction for Environment Mapping with Low Cost Cameras Fused with Laser Ranging ( http://arxiv.org/abs/2302.01387v1 ) ライセンス: Link先を確認 | E.M.S.P. Ekanayake, T.H.M.N.C. Thelasingha, U.V.B.L. Udugama, G.M.R.I. Godaliyadda, M.P.B. Ekanayake, B.G.L.T. Samaranayake, J.V. Wijayakulasooriya | (参考訳) 未知の地形を様々な用途にマッピングする方法を持つことが不可欠である。
人的アクセスが不可能な場所では、環境を特定する方法が提案されるべきである。
探検、災害救助、輸送、その他多くの用途は、環境の地図が利用可能であれば便利である。
ステレオカメラで人間の視覚システムを再現することは最適な解決法である。
本研究では,ステレオカメラと融合したレーザー測位技術を用いて,物体の寸法をマッピングに抽出する。
歪みはカメラの数学的モデルを用いて校正された。
半大域ブロックマッチング [1] パリティマップが生成され、拡張によるパリティマップの新しいノイズ低減法を用いてノイズを低減した。
レーザーレンジファインダ(lrf)とノイズ低減視覚データからのデータは、物体パラメータの同定に使用されている。 It is essential to have a method to map an unknown terrain for various applications. For places where human access is not possible, a method should be proposed to identify the environment. Exploration, disaster relief, transportation and many other purposes would be convenient if a map of the environment is available. Replicating the human vision system using stereo cameras would be an optimum solution. In this work, we have used laser ranging based technique fused with stereo cameras to extract dimension of objects for mapping. The distortions were calibrated using mathematical model of the camera. By means of Semi Global Block Matching [1] disparity map was generated and reduces the noise using novel noise reduction method of disparity map by dilation. The Data from the Laser Range Finder (LRF) and noise reduced vision data has been used to identify the object parameters. | 翻訳日:2023-02-06 18:26:15 公開日:2023-02-01 |
| # 垂直線を垂直スパイラルに歪ませた時空における量子フラックスの影響下でのポテンシャルと相互作用する非相対論的粒子 Non-Relativistic Particles Interact with Potential Under the effect of Quantum flux in a space-time with a distortion of a vertical line into a vertical spiral ( http://arxiv.org/abs/2302.01438v1 ) ライセンス: Link先を確認 | Prabir Rudra, Faizuddin Ahmed, Houcine Aounallah | (参考訳) 非相対論的粒子の量子運動とアハロノフ・ボーム(ab)フラックス場の存在下での電位と相互作用し, 鉛直線から鉛直スパイラルへの歪みに対応するねじ転位に伴う位相的欠陥形状について検討した。
非調和発振子ポテンシャル(高調波発振器+逆二乗ポテンシャルの重畳)を持つ放射状schr\"{o}dinger波動方程式を導出し、ハーン方程式を通じて固有値解を得る。
放射モード $n=1$ に対する基底状態エネルギーレベルと放射波関数の式を解析する。
次に、この固有値解を分子ポテンシャルモデル(pseudoharmonicとshifted pseudoharmonic potentials)に利用し、固有値解を提示した。
量子流束場の存在下で逆2乗ポテンシャルを持つ量子系について検討し、同じ方法で基底状態エネルギーレベルと放射波関数を得た。
固有値解は、パラメータ $\beta$ と量子束場 $\phi_{ab}$ によって特徴づけられるスクリュー転位の位相的欠陥と、エネルギースペクトルのシフトを引き起こし、アハロノフ-ボーム効果の重力類似性を示す量子フラックス場 $\phi_{ab}$ に影響されている。 The quantum motions of the non-relativistic particles interact with potential in the presence of the Aharonov-Bohm (AB) flux field in a topological defect geometry associated to screw dislocation, which corresponds to a distortion of a vertical line into a vertical spiral are investigated. We derived the radial Schr\"{o}dinger wave equation with anharmonic oscillator potential (superposition of harmonic oscillator plus inverse square potential) and obtain the eigenvalue solution through the Heun equation. The expressions for the ground state energy level and the radial wave function for the radial mode $n=1$ are analyzed. Then, we utilize this eigenvalue solution to molecular potential models (pseudoharmonic and shifted pseudoharmonic potentials) and presented the eigenvalue solutions. We study the quantum system with inverse square potential in the presence of the quantum flux field and obtained the ground state energy level and the radial wave function through the same procedure. We show that the eigenvalue solutions are influenced by the topological defect of screw dislocation characterized by the parameter $\beta$ and the quantum flux field $\Phi_{AB}$ which causes the shift in the energy spectrum and shows the gravitational analogue to the Aharonov-Bohm effect. | 翻訳日:2023-02-06 18:07:48 公開日:2023-02-01 |
| # BackdoorBox: バックドア学習のためのPythonツールボックス BackdoorBox: A Python Toolbox for Backdoor Learning ( http://arxiv.org/abs/2302.01762v1 ) ライセンス: Link先を確認 | Yiming Li, Mengxi Ya, Yang Bai, Yong Jiang, Shu-Tao Xia | (参考訳) サードパーティのリソース(サンプル、バックボーン、トレーニング済みモデルなど)は、一般的にディープニューラルネットワーク(DNN)のトレーニングに関与しており、新たなトレーニングフェーズの脅威としてバックドア攻撃をもたらす。
一般的に、バックドア攻撃者はDNNに隠れたバックドアを埋め込むことを意図しているため、攻撃されたDNNは通常、良性サンプルで振る舞うが、攻撃者が特定したトリガーパターンによって隠れたバックドアがアクティベートされた場合、その予測は悪意的に定義済みのターゲットラベルに変更される。
よりセキュアなトレーニングスキームとディフェンスの研究と開発を容易にするため、我々は、統一的で柔軟なフレームワークの下で、代表的で高度なバックドア攻撃とディフェンスを実装するオープンソースのPythonツールボックスを設計する。
当社のツールボックスには,一貫性,シンプルさ,柔軟性,共同開発など,4つの重要かつ有望な特徴があります。
研究者や開発者は、ベンチマークやローカルデータセットでさまざまなメソッドを簡単に実装し、比較することができる。
このPythonツールボックス、つまり \texttt{BackdoorBox} は \url{https://github.com/THUYimingLi/BackdoorBox} で利用可能である。 Third-party resources ($e.g.$, samples, backbones, and pre-trained models) are usually involved in the training of deep neural networks (DNNs), which brings backdoor attacks as a new training-phase threat. In general, backdoor attackers intend to implant hidden backdoor in DNNs, so that the attacked DNNs behave normally on benign samples whereas their predictions will be maliciously changed to a pre-defined target label if hidden backdoors are activated by attacker-specified trigger patterns. To facilitate the research and development of more secure training schemes and defenses, we design an open-sourced Python toolbox that implements representative and advanced backdoor attacks and defenses under a unified and flexible framework. Our toolbox has four important and promising characteristics, including consistency, simplicity, flexibility, and co-development. It allows researchers and developers to easily implement and compare different methods on benchmark or their local datasets. This Python toolbox, namely \texttt{BackdoorBox}, is available at \url{https://github.com/THUYimingLi/BackdoorBox}. | 翻訳日:2023-02-06 16:11:20 公開日:2023-02-01 |
| # DANES: ソーシャルおよびテクスト対応フェイクニュース検出のためのディープニューラルネットワークアンサンブルアーキテクチャ DANES: Deep Neural Network Ensemble Architecture for Social and Textual Context-aware Fake News Detection ( http://arxiv.org/abs/2302.01756v1 ) ライセンス: Link先を確認 | Ciprian-Octavian Truic\u{a} and Elena-Simona Apostol and Panagiotis Karras | (参考訳) ソーシャルメディアプラットフォームの人気が高まり、ニュース記事の作成と配布が簡単になっただけでなく、偽ニュースを広めるための導管も作られた。
その結果、効果的な文脈認識による偽ニュース検出メカニズムの必要性が生まれ、文脈情報は、投稿のテキストコンテンツか、利用可能なソーシャルデータ(例えば、ユーザに関する情報、投稿への反応、あるいはソーシャルネットワーク)から構築することができる。
本稿では,社会的・テキスト的文脈認識に基づく偽ニュース検出のための深層ニューラルネットワークアンサンブルアーキテクチャであるdanesを提案する。
DANESはテキストコンテンツベースのコンテキストのためのテキストブランチと、ソーシャルコンテキストのためのソーシャルブランチで構成される。
これら2つのブランチは、新しいNetwork Embeddingを作成するために使用される。
3つの現実世界のデータセット、すなわちbuzzface、twitter15、twitter16の予備的なアブレーション結果は、ソーシャルとテキストの両方のコンテンツ機能を使う際に最先端のソリューションを上回る精度で期待されている。 The growing popularity of social media platforms has simplified the creation and distribution of news articles but also creates a conduit for spreading fake news. In consequence, the need arises for effective context-aware fake news detection mechanisms, where the contextual information can be built either from the textual content of posts or from available social data (e.g., information about the users, reactions to posts, or the social network). In this paper, we propose DANES, a Deep Neural Network Ensemble Architecture for Social and Textual Context-aware Fake News Detection. DANES comprises a Text Branch for a textual content-based context and a Social Branch for the social context. These two branches are used to create a novel Network Embedding. Preliminary ablation results on 3 real-world datasets, i.e., BuzzFace, Twitter15, and Twitter16, are promising, with an accuracy that outperforms state-of-the-art solutions when employing both social and textual content features. | 翻訳日:2023-02-06 16:10:19 公開日:2023-02-01 |
| # 雑音性連続変数系の量子速度限界 Quantum speed limit of a noisy continuous-variable system ( http://arxiv.org/abs/2207.02438v3 ) ライセンス: Link先を確認 | Wei Wu and Jun-Hong An | (参考訳) 量子系の最小時間境界を2つの区別可能な状態の間で発展させるように設定すると、量子速度制限(QSL)はシステムのスピードアップにおける潜在能力を特徴づける。
多くの量子技術において量子優位性を決定するために応用されている。
しかし, 以前の結果は, ボルン・マルコフ近似力学における環境誘起デコヒーレンスにより, 一般的にそのようなスピードアップ能力が破壊されることを示した。
本稿では,非マルコフフレームワーク内での散逸的連続変数系における高速化能力の回復手法を提案する。
その結果、システムとその環境からなる全システムのエネルギースペクトルにおける境界状態の形成は、qslを無ノイズ性能に復元するために使用できることがわかった。
提案手法は,QSL保存における本質的なメカニズムを付与し,実効連続変数系における量子タスクを高速化するための指針を提供する。 Setting the minimal-time bound for a quantum system to evolve between two distinguishable states, the quantum speed limit (QSL) characterizes the latent capability in speeding up of the system. It has found applications in determining the quantum superiority in many quantum technologies. However, previous results showed that such a speedup capability is generally destroyed by the environment induced decoherence in the Born-Markovian approximate dynamics. We here propose a scheme to recover the speedup capability in a dissipative continuous-variable system within the exact non-Markovian framework. It is found that the formation of a bound state in the energy spectrum of the total system consisting of the system and its environment can be used to restore the QSL to its noiseless performance. Giving an intrinsic mechanism in preserving the QSL, our scheme supplies a guideline to speed up certain quantum tasks in practical continuous-variable systems. | 翻訳日:2023-02-06 09:56:01 公開日:2023-02-01 |
| # グローバーアルゴリズムのための断熱オラクル An adiabatic oracle for Grover's algorithm ( http://arxiv.org/abs/2207.05665v2 ) ライセンス: Link先を確認 | Bin Yan and Nikolai A. Sinitsyn | (参考訳) グロバーの探索アルゴリズムはもともと回路ベースの量子コンピュータのために提案された。
その重要な部分は、オラクル -- ブラックボックスのユニタリ操作 -- を問い合わせることである。
このオラクルの生成は、公式にはオリジナルのアルゴリズム設計を超えている。
本稿では,量子アニーリングによる大規模探索問題に対するgroverのオラクルの実現を提案する。
このステップの時間は、データベースのサイズと対数的にのみ増加する。
これは、グローバーのアルゴリズムを実際に重要な問題に適用するための効率的な経路である、例えば、その基底状態上のスペクトルギャップを持つハミルトンの基底状態を見つけるなどである。 Grover's search algorithm was originally proposed for circuit-based quantum computers. A crucial part of it is to query an oracle -- a black-box unitary operation. Generation of this oracle is formally beyond the original algorithm design. Here, we propose a realization of Grover's oracle for a large class of searching problems using a quantum annealing step. The time of this step grows only logarithmically with the size of the database. This suggests an efficient path to application of Grover's algorithm to practically important problems, such as finding the ground state of a Hamiltonian with a spectral gap over its ground state. | 翻訳日:2023-02-05 09:28:33 公開日:2023-02-01 |
| # ショートカットファインチューニングによるDDPMサンプリングの最適化 Optimizing DDPM Sampling with Shortcut Fine-Tuning ( http://arxiv.org/abs/2301.13362v2 ) ライセンス: Link先を確認 | Ying Fan, Kangwook Lee | (参考訳) 本研究では,事前学習した拡散拡散確率モデル(DDPM)の高速サンプリングに挑戦する新しいアプローチであるショートカットファインチューニング(SFT)を提案する。
SFTは、後方拡散過程を学ぶ代わりに、積分確率メトリック(IPM)の直接最小化によるDDPMサンプリングの微調整を提唱している。
これにより、サンプルは後方拡散プロセスから逸脱して、より効率的で効率的なサンプリングショートカットを見つけることができる。
また,特定の仮定の下で拡散モデルの勾配降下がポリシー勾配アプローチと等価であることを証明し,ddpmを微調整するためのポリシー勾配法と類似した新しいアルゴリズムを提案する。
実験結果から,本手法は既存の高速ddpmサンプラーをさらに向上させ,様々なデータセットにまたがるフルステップモデルに匹敵する,あるいは匹敵する品質のサンプルが得られることを示した。 In this study, we propose Shortcut Fine-Tuning (SFT), a new approach for addressing the challenge of fast sampling of pretrained Denoising Diffusion Probabilistic Models (DDPMs). SFT advocates for the fine-tuning of DDPM samplers through the direct minimization of Integral Probability Metrics (IPM), instead of learning the backward diffusion process. This enables samplers to discover an alternative and more efficient sampling shortcut, deviating from the backward diffusion process. We also propose a new algorithm that is similar to the policy gradient method for fine-tuning DDPMs by proving that under certain assumptions, the gradient descent of diffusion models is equivalent to the policy gradient approach. Through empirical evaluation, we demonstrate that our fine-tuning method can further enhance existing fast DDPM samplers, resulting in sample quality comparable to or even surpassing that of the full-step model across various datasets. | 翻訳日:2023-02-03 16:44:40 公開日:2023-02-01 |
| # 高エネルギー物理のための超高エネルギーモデル Versatile Energy-Based Models for High Energy Physics ( http://arxiv.org/abs/2302.00695v1 ) ライセンス: Link先を確認 | Taoli Cheng, Aaron Courville | (参考訳) エネルギーベースのモデルは、エネルギー関数の形での柔軟性の自然な利点を持つ。
近年,コンピュータビジョンや自然言語処理における高次元データモデリングにおいて,エネルギーモデルが大きな成功を収めている。
これらの進展の兆候に応じて、大型ハドロン衝突型加速器における高エネルギー物理事象の多用途エネルギーベースモデルを構築した。
このフレームワークは強力な生成モデルに基づいており、高次の粒子間相互作用を記述する。
異なるエンコーディングアーキテクチャに適合し、暗黙的な生成に基づいている。
応用面では、強力なパラメータ化イベント生成器、一般的な異常信号検出器、拡張イベント分類器として機能する。 Energy-based models have the natural advantage of flexibility in the form of the energy function. Recently, energy-based models have achieved great success in modeling high-dimensional data in computer vision and natural language processing. In accordance with these signs of progress, we build a versatile energy-based model for High Energy Physics events at the Large Hadron Collider. This framework builds on a powerful generative model and describes higher-order inter-particle interactions. It suits different encoding architectures and builds on implicit generation. As for applicational aspects, it can serve as a powerful parameterized event generator, a generic anomalous signal detector, and an augmented event classifier. | 翻訳日:2023-02-03 16:36:42 公開日:2023-02-01 |
| # マルチポートビームスプリッタを用いた実験絡み合い発生 Experimental entanglement generation using multiport beam splitters ( http://arxiv.org/abs/2302.00694v1 ) ライセンス: Link先を確認 | Shreya Kumar, Daniel Bhatti, Alex E. Jones, and Stefanie Barz | (参考訳) 多光子絡み合いは光量子技術において中心的な役割を果たす。
2つの光子を絡める方法の1つは、直交する内部状態(例えば2つの偏光)でそれらを準備し、バランスの取れたビームスプリッターを通して送信することである。
各出力ポートに1つの光子が存在する場合の後で選択すると、最大絡み合う状態となる。
このアイデアは、より大きな絡み合った状態のポスト選択後の生成のスキームにまで拡張することができる。
通常、異なる種類の絡み合った状態の切り替えはビームスプリッターの配置が異なるため、新しい実験的な設定が必要となる。
そこで本研究では, 1つの実験的なセットアップで, 異なる種類の実三部絡み状態を生成するための, 単純で多用途なスキームを示す。
3ポートスプリッタを通して3つの光子を送り、特定の出力分布に先立って内部状態を変化させる。
この結果、三部構造W、G、GHZ状態が生成される。
それぞれの理想状態について、最大$(87.3 \pm 1.1)\%$の忠実度を取得し、真の三部構造絡みの生成を成功させる。 Multi-photon entanglement plays a central role in optical quantum technologies. One way to entangle two photons is to prepare them in orthogonal internal states, for example, in two polarisations, and then send them through a balanced beam splitter. Post-selecting on the cases where there is one photon in each output port results in a maximally entangled state. This idea can be extended to schemes for the post-selected generation of larger entangled states. Typically, switching between different types of entangled states require different arrangements of beam splitters and so a new experimental setup. Here, we demonstrate a simple and versatile scheme to generate different types of genuine tripartite entangled states with only one experimental setup. We send three photons through a three-port splitter and vary their internal states before post-selecting on certain output distributions. This results in the generation of tripartite W, G and GHZ states. We obtain fidelities of up to $(87.3 \pm 1.1)\%$ with regard to the respective ideal states, confirming a successful generation of genuine tripartite entanglement. | 翻訳日:2023-02-03 16:36:34 公開日:2023-02-01 |
| # 位相的絡み合いエントロピー上の普遍的下界 Universal lower bound on topological entanglement entropy ( http://arxiv.org/abs/2302.00689v1 ) ライセンス: Link先を確認 | Isaac H. Kim, Michael Levin, Ting-Chun Lin, Daniel Ranard, Bowen Shi | (参考訳) 二次元ギャップ基底状態のエンタングルメントエントロピーは、位相エンタングルメントエントロピー(TEE)と呼ばれる一定の補正項を持つ領域法則を満たすことが期待されている。
多くのモデルにおいて、TEEは基礎となる位相位相を特徴づける普遍的な値を取る。
しかし、TEEは真に普遍的ではなく、常に同じ位相にある定数深度回路によって関係する2つの状態でも異なることができる。
TEEとエノン理論によって予測される値との差は、しばしばスプリアストポロジ的絡み合いエントロピーと呼ばれる。
この散発的な寄与は常に非負であることを示し、アノン理論によって予測される値は普遍的な下界を与える。
この観測はまた、定数深さ量子回路の下で不変である TEE の定義につながる。 Entanglement entropies of two-dimensional gapped ground states are expected to satisfy an area law, with a constant correction term known as the topological entanglement entropy (TEE). In many models, the TEE takes a universal value that characterizes the underlying topological phase. However, the TEE is not truly universal: it can differ even for two states related by constant-depth circuits, which are necessarily in the same phase. The difference between the TEE and the value predicted by the anyon theory is often called the spurious topological entanglement entropy. We show that this spurious contribution is always nonnegative, thus the value predicted by the anyon theory provides a universal lower bound. This observation also leads to a definition of TEE which is invariant under constant-depth quantum circuits. | 翻訳日:2023-02-03 16:36:14 公開日:2023-02-01 |
| # LHCおよび将来の衝突器における弱ゲージボソン生成におけるベルの不等式と量子絡み合い Bell inequalities and quantum entanglement in weak gauge bosons production at the LHC and future colliders ( http://arxiv.org/abs/2302.00683v1 ) ライセンス: Link先を確認 | M. Fabbrichesi, R. Floreanini, E. Gabrielli, and L. Marzola | (参考訳) 衝突器で生成する弱い相互作用ゲージボソンの量子絡み合いは、対応する分極密度行列を計算することで探究できる。
この目的のために、ヒッグス粒子は$H\to W W^*$と$H\to Z Z^*$で崩壊し、そこでは$W^*$と$Z^*$はオフシェル状態、そして$WW$、$WZ$および$ZZ$は陽子衝突におけるダイボソン生成である。
ディボソン状態の分極密度行列は、生成プロセスの振幅によって決定され、ゲージボソンが崩壊する荷電レプトンのモーメントの角分布から実験的に再構成することができる。
ヒッグス粒子の崩壊においてベル不等式が適切な場合が破られ、現在のデータを用いてlhcで高い精度でテストできる程度であることを示す。
同じベルの不等式は900GeV以上の不変質量に対する$WW$と$ZZ$ボソン対と、質量フレームの中心における$\pi/2$に近い散乱角に対して違反される。
この場合、ベルの不等式違反を十分な精度で検出するために、高輝度LHCデータが必要である。
また, ダイボソン最終状態におけるベル不等式違反を将来の$e^+e^-$およびミューオン衝突器で検出する可能性も分析した。
ダイボソン系における分極エンタングルメントの量に低いバウンドを与えるさらなるオブザーバブルを各プロセスで計算する。
偏光密度行列の解析式は、Appendixで完全に表現される。
またベルの不等式テストに必要な最適化手順に必要なユニタリ行列も提供する。 Quantum entanglement of weak interaction gauge bosons produced at colliders can be explored by computing the corresponding polarization density matrix. To this end, we consider the Higgs boson decays $H\to W W^*$ and $H\to Z Z^*$, in which $W^*$ and $Z^*$ are off-shell states, and the $WW$, $WZ$ and $ZZ$ di-boson production in proton collisions. The polarization density matrix of the di-boson state is determined by the amplitude of the production process and can be experimentally reconstructed from the angular distribution of the momenta of the charged leptons into which the gauge boson decays. We show that a suitable instance of the Bell inequality is violated in the Higgs boson decays to a degree that can be tested with high accuracy at the LHC already with present data. The same Bell inequality is violated in the production of $WW$ and $ZZ$ boson pairs for invariant masses above 900 GeV and scattering angles close to $\pi/2$ in the center of mass frame. In this case high luminosity LHC data are needed to detect violations of the Bell inequality with sufficient accuracy. We also analyze the prospects for detecting Bell inequality violations in di-boson final states at future $e^+e^-$ and muon colliders. A further observable that provides a lower bound on the amount of polarization entanglement in the di-boson system is computed for each of the examined processes. The analytic expressions for the polarization density matrices are presented in full in an Appendix. We also provide the unitary matrices required in the optimization procedure necessary in testing the Bell inequalities. | 翻訳日:2023-02-03 16:36:02 公開日:2023-02-01 |
| # 純粋古典的効果としての無秩序局在 Disorder-Free Localization as a Purely Classical Effect ( http://arxiv.org/abs/2302.00681v1 ) ライセンス: Link先を確認 | Pablo Sala, Giuliano Giudici, Jad C. Halimeh | (参考訳) 乱れのない局在(dfl)は、格子ゲージ理論において、膨大な数のゲージ超選択セクタにまたがる初期状態のクエンチダイナミクスにおいて生じるエルゴディシティ破壊機構である。
dflが本質的に量子干渉効果なのか、それとも古典的に生じるのかは、ゲージ理論の平衡ダイナミクスをより深く理解するために分解能が関連する公開問題のままである。
本研究では,セルオートマトン回路を用いて,大規模量子リンクモデル(qlm)定式化(1+1)$d量子電磁力学のクエンチダイナミクスをモデル化する。
以上の結果から, DFLはQLM定式化におけるゲージ場作用素の有限サイズ正規化から生じる純粋に古典的な効果として熱力学的極限に留まり, 量子干渉は必要条件ではないものの, DFLの強化に利用される可能性が示唆された。 Disorder-free localization (DFL) is an ergodicity breaking mechanism that has been shown to occur in lattice gauge theories in the quench dynamics of initial states spanning an extensive number of gauge superselection sectors. Whether DFL is intrinsically a quantum interference effect or can arise classically has hitherto remained an open question whose resolution is pertinent to further understanding the far-from-equilibrium dynamics of gauge theories. In this work, we utilize cellular automaton circuits to model the quench dynamics of large-scale quantum link model (QLM) formulations of $(1+1)$D quantum electrodynamics, showing excellent agreement with the exact quantum case for small system sizes. Our results demonstrate that DFL persists in the thermodynamic limit as a purely classical effect arising from the finite-size regularization of the gauge-field operator in the QLM formulation, and that quantum interference, though not a necessary condition, may be employed to enhance DFL. | 翻訳日:2023-02-03 16:35:30 公開日:2023-02-01 |
| # 量子エンジンと冷蔵庫 Quantum Engines and Refrigerators ( http://arxiv.org/abs/2302.00726v1 ) ライセンス: Link先を確認 | Loris Maria Cangemi, Chitrak Bhadra and Amikam Levy | (参考訳) エンジンは、ある形態のエネルギーを別の形態に変換するシステムとデバイスであり、通常、作業を行うより有用な形態に変換される。
古典的な設定では、物理的、化学的、生物学的なエンジンは熱を仕事へと変換する。
このエネルギー変換は熱力学の法則と原理の中核であり、教科書の材料でコード化されている。
しかし、量子状態においては、量子現象が作用するため、エネルギー変換の原理は曖昧になる。
古典的な熱力学と同様に、基本原理はエンジンや冷凍機を通して探索することができるが、量子の場合、これらのデバイスは小型化され、その操作はユニークな量子効果を伴う。
我々の研究は、量子エンジンと冷蔵庫のこの活発な分野を概観し、最新の理論的提案と実験的実現をレビューしている。
これらの装置の無数の側面をカバーし、量子アナログの基本概念から古典的な熱力学サイクルに始まり、多くの量子力学の分野にまたがるエネルギー変換の異なる量子特性を継続する。
これらの特徴には、マイクロスケールで支配的になる量子揺らぎ、エンジンを燃やす非熱的資源、多体熱機関の集団現象を考慮に入れた加工媒体のサイズを拡大する可能性が含まれる。
さらに, 強系バス結合系で動作する量子エンジンと, 非マルコフ現象を含む量子エンジンについて検討する。
量子エンジンにおける量子計測やフィードバックを含む熱電デバイスや量子情報の観点からの最近の進歩についても述べる。 Engines are systems and devices that convert one form of energy into another, typically into a more useful form that can perform work. In the classical setup, physical, chemical, and biological engines largely involve the conversion of heat into work. This energy conversion is at the core of thermodynamic laws and principles and is codified in textbook material. In the quantum regime, however, the principles of energy conversion become ambiguous, since quantum phenomena come into play. As with classical thermodynamics, fundamental principles can be explored through engines and refrigerators, but, in the quantum case, these devices are miniaturized and their operations involve uniquely quantum effects. Our work provides a broad overview of this active field of quantum engines and refrigerators, reviewing the latest theoretical proposals and experimental realizations. We cover myriad aspects of these devices, starting with the basic concepts of quantum analogs to the classical thermodynamic cycle and continuing with different quantum features of energy conversion that span many branches of quantum mechanics. These features include quantum fluctuations that become dominant in the microscale, non-thermal resources that fuel the engines, and the possibility of scaling up the working medium's size, to account for collective phenomena in many-body heat engines. Furthermore, we review studies of quantum engines operating in the strong system-bath coupling regime and those that include non-Markovian phenomena. Recent advances in thermoelectric devices and quantum information perspectives, including quantum measurement and feedback in quantum engines, are also presented. | 翻訳日:2023-02-03 16:27:24 公開日:2023-02-01 |
| # ディープラーニングに関するサーベイ:活性化からトランスフォーマーへ A Survey of Deep Learning: From Activations to Transformers ( http://arxiv.org/abs/2302.00722v1 ) ライセンス: Link先を確認 | Johannes Schneider and Michalis Vlachos | (参考訳) ディープラーニングは過去10年間、大きな進歩を遂げてきた。
重要な成功要因は、近年出現した大量のアーキテクチャ、レイヤ、目的、最適化技術である。
これには、注意、正規化、スキップ接続、トランスフォーマー、自己教師型学習スキームなど、無数のバリエーションが含まれている。
深層学習の基本的な理解をすでに持っている人に、これらの領域で最も重要な最近の研究の概観を提供する。
我々は、影響力のある、総合的で統一された治療が、研究者が様々な深層学習領域の間に新しいつながりを形成するのに役立つことを願っている。 Deep learning has made tremendous progress in the last decade. A key success factor is the large amount of architectures, layers, objectives, and optimization techniques that have emerged in recent years. They include a myriad of variants related to attention, normalization, skip connection, transformer and self-supervised learning schemes -- to name a few. We provide a comprehensive overview of the most important, recent works in these areas to those who already have a basic understanding of deep learning. We hope that a holistic and unified treatment of influential, recent works helps researchers to form new connections between diverse areas of deep learning. | 翻訳日:2023-02-03 16:27:00 公開日:2023-02-01 |
| # 超伝導量子ビットを持つパリティ制御多ビットゲートのスキーム Scheme for parity-controlled multi-qubit gates with superconducting qubits ( http://arxiv.org/abs/2302.00719v1 ) ライセンス: Link先を確認 | Kasper Sangild Christensen, Nikolaj Thomas Zinner, Morten Kjaergaard | (参考訳) マルチ量子ビットパリティ測定は、多くの量子誤差補正スキームの中核である。
マルチキュービットパリティ情報の抽出は通常、複数の2キュービットゲートのシーケンスを使用する。
本稿では,マルチキュービットパリティ制御ゲート(PCG)をネイティブにサポートした超伝導回路デバイスを提案する。
これらは隣接するキュービットのマルチキュービットパリティ演算子に基づいてパリティアンシラ上で回転するゲートであり、直接マルチキュービットパリティ測定を行うために使用できる。
この回路は一組の連結ジョセフソン環変調器から構成されており、強い長手近傍結合を持つトランモン様量子ビットの集合を効果的に実現している。
PCGは特定の周波数でパリティアンシラにマイクロ波駆動を適用することで実装される。
実測パラメータ選択とデコヒーレンス率を用いて数値シミュレーションを行い,30 nsで4量子PCGを動作させることで,プロセス忠実度が99%を超えることを確かめた。
さらに, パラメータ障害と隣接量子ビット間の疎結合の影響について検討した。
以上の結果から,pcgの実現に向けたアプローチは,短期的量子誤差補正実験の興味深い候補であることが示唆された。 Multi-qubit parity measurements are at the core of many quantum error correction schemes. Extracting multi-qubit parity information typically involves using a sequence of multiple two-qubit gates. In this paper, we propose a superconducting circuit device with native support for multi-qubit parity-controlled gates (PCG). These are gates that perform rotations on a parity ancilla based on the multi-qubit parity operator of adjacent qubits, and can be directly used to perform multi-qubit parity measurements. The circuit consists of a set of concatenated Josephson ring modulators and effectively realizes a set of transmon-like qubits with strong longitudinal nearest-neighbor couplings. PCGs are implemented by applying microwave drives to the parity ancilla at specific frequencies. We investigate the scheme's performance with numerical simulation using realistic parameter choices and decoherence rates, and find that the device can perform four-qubit PCGs in 30 ns with process fidelity surpassing 99%. Furthermore, we study the effects of parameter disorder and spurious coupling between next-nearest neighboring qubits. Our results indicate that this approach to realizing PCGs constitute an interesting candidate for near-term quantum error correction experiments. | 翻訳日:2023-02-03 16:26:51 公開日:2023-02-01 |
| # Van der Waals相互作用に対する機能的アプローチ A functional approach to the Van der Waals interaction ( http://arxiv.org/abs/2302.00714v1 ) ライセンス: Link先を確認 | C. D. Fosco and G. Hansen | (参考訳) 微視的モデルに基づき、2つの中性原子間の量子相互作用エネルギーを評価するために関数積分法を用いる。
各原子は双極子項を介して電磁場(EM)に結合し、ハーモニックポテンシャルを介して核に結合した電子によって生成される。
得られたエネルギーの表現は、長距離と短距離の両方の挙動を包含する微細構造定数の力の拡張において、最初の非自明な順序でファンデルワールス相互作用エネルギーとなることを示す。
また、相互作用エネルギーに対する結果と真空崩壊確率の存在のしきい値である正反対の強い結合限界を、有効作用の想像的部分として提示する。
弱結合限界では、原子の内部構造に一般的な中心ポテンシャルを用いる効果も研究する。 Based on a microscopic model, we use a functional integral approach to evaluate the quantum interaction energy between two neutral atoms. Each atom is coupled to the electromagnetic (EM) field via a dipole term, generated by an electron bound to the nucleus via a harmonic potential. We show that the resulting expression for the energy becomes the Van der Waals interaction energy at the first non-trivial order in an expansion in powers of the fine structure constant, encompassing both the long and short distance behaviours. We also explore the opposite, strong-coupling limit, which yields a result for the interaction energy as well as a threshold for the existence of a vacuum decay probability, manifested here as an imaginary part for the effective action. In the weak-coupling limit, we also study the effect of using a general central potential for the internal structure of the atoms. | 翻訳日:2023-02-03 16:26:33 公開日:2023-02-01 |
| # Weisfeiler-Lehman距離:再解釈とGNNとのつながり The Weisfeiler-Lehman Distance: Reinterpretation and Connection with GNNs ( http://arxiv.org/abs/2302.00713v1 ) ライセンス: Link先を確認 | Samantha Chen, Sunhyuk Lim, Facundo M\'emoli, Zhengchao Wan, and Yusu Wang | (参考訳) 本稿では,2022年にchenらによって導入されたweisfeiler-lehman (wl) 距離の新たな解釈について,確率過程の概念を用いて述べる。
WL距離はグラフとノードの特徴を比較することを目的としており、古典的なWeisfeiler-Lehmanグラフ同型テストと同じ識別力を持ち、グロモフ-ワッサーシュタイン距離と深い関係を持つ。
この新たな解釈は、WL距離と確率過程の距離に関する文献を結びつけ、距離の解釈をより分かりやすく直感的にする。
さらに、WL距離と特定のメッセージパッシングニューラルネットワークの接続について検討し、これらのネットワークのリプシッツ特性と普遍近似結果を理解するためのWL距離の影響について考察する。 In this paper, we present a novel interpretation of the so-called Weisfeiler-Lehman (WL) distance, introduced by Chen et al. (2022), using concepts from stochastic processes. The WL distance aims at comparing graphs with node features, has the same discriminative power as the classic Weisfeiler-Lehman graph isomorphism test and has deep connections to the Gromov-Wasserstein distance. This new interpretation connects the WL distance to the literature on distances for stochastic processes, which also makes the interpretation of the distance more accessible and intuitive. We further explore the connections between the WL distance and certain Message Passing Neural Networks, and discuss the implications of the WL distance for understanding the Lipschitz property and the universal approximation results for these networks. | 翻訳日:2023-02-03 16:26:18 公開日:2023-02-01 |
| # 可逆目的関数の最小化のためのリーマン確率近似 Riemannian Stochastic Approximation for Minimizing Tame Nonsmooth Objective Functions ( http://arxiv.org/abs/2302.00709v1 ) ライセンス: Link先を確認 | Johannes Aspmann, Vyacheslav Kungurtsev, Reza Roohi Seraji | (参考訳) 多くの学習応用において、モデルのパラメータは、リーマン多様体上に横たわっているようにモデル化できる方法で構造的に制約される。
リーマン最適化は、多様体に制約される反復最小化列を強制する手順で、そのようなモデルを訓練するために用いられる。
同時に、タメ幾何は、トレーニングニューラルネットワークやその他の非滑らか写像を持つ連続非線形関数の構造的構成を持つ重要なモデルの風景に現れる非滑らか関数の重要なトポロジ的記述となっている。
本稿では、多様体上のそのような成層関数の性質と、その関数を最小化するために、段差を小さくした引き算確率勾配降下の挙動について検討する。 In many learning applications, the parameters in a model are structurally constrained in a way that can be modeled as them lying on a Riemannian manifold. Riemannian optimization, wherein procedures to enforce an iterative minimizing sequence to be constrained to the manifold, is used to train such models. At the same time, tame geometry has become a significant topological description of nonsmooth functions that appear in the landscapes of training neural networks and other important models with structural compositions of continuous nonlinear functions with nonsmooth maps. In this paper, we study the properties of such stratifiable functions on a manifold and the behavior of retracted stochastic gradient descent, with diminishing stepsizes, for minimizing such functions. | 翻訳日:2023-02-03 16:26:01 公開日:2023-02-01 |
| # 弱い値を測定する量子回路とKirkwood-Dirac準確率分布とその応用 Quantum circuits measuring weak values and Kirkwood-Dirac quasiprobability distributions, with applications ( http://arxiv.org/abs/2302.00705v1 ) ライセンス: Link先を確認 | Rafael Wagner, Zohar Schwartzman-Nowik, Ismael L. Paiva, Amit Te'eni, Antonio Ruiz-Molero, Rui Soares Barbosa, Eliahu Cohen, Ernesto F. Galv\~ao | (参考訳) 弱値とカークウッド-ディラック(KD)準確率分布は、量子論の基本問題と量子計量学の利点の両方に独立に関係している。
本稿では,弱い値,KD分布,密度行列のスペクトルを測定するための簡単な量子回路を提案する。
これは、バーグマン不変量の関数として、量子状態のユニタリ不変、関係性を測定することで達成される。
また,後選択パラメータ推定におけるオフオブタイムコリエータ(otocs)や量子フィッシャー情報など,kd分布の様々な応用を直接実験的に実装することを可能にした。
この結果、全てのタスクにおいて非古典性に対する統一的な見解がもたらされる。
特に、バーグマン不変量の負性や虚性が集合コヒーレンスとどのように関係するかについて議論する。 Weak values and Kirkwood--Dirac (KD) quasiprobability distributions have been independently associated with both foundational issues in quantum theory and advantages in quantum metrology. We propose simple quantum circuits to measure weak values, KD distributions, and density matrix spectra without the need for post-selection. This is achieved by measuring unitary-invariant, relational properties of quantum states, as functions of Bargmann invariants. Our circuits also enable direct experimental implementation of various applications of KD distributions, such as out-of-time-ordered correlators (OTOCs) and the quantum Fisher information in post-selected parameter estimation, among others. This results in a unified view of nonclassicality in all those tasks. In particular, we discuss how negativity and imaginarity of Bargmann invariants relate to set coherence. | 翻訳日:2023-02-03 16:25:48 公開日:2023-02-01 |
| # 深層集合における予測多様性の病理 Pathologies of Predictive Diversity in Deep Ensembles ( http://arxiv.org/abs/2302.00704v1 ) ライセンス: Link先を確認 | Taiga Abe, E. Kelly Buchanan, Geoff Pleiss, John P. Cunningham | (参考訳) 古典的な結果は、小さなモデルのアンサンブルが、袋詰めやブースティングなどを通じて、予測の多様性が奨励されるときに利益をもたらすことを証明している。
ここでは、この直観が分類に使用されるディープニューラルネットワークのアンサンブルに受け継がれず、実際にはその逆が真であることを示す。
回帰モデルや小さな(信頼できる)分類器とは異なり、大きな(信頼できる)ニューラルネットワークからの予測は確率単純性の頂点に集中する。
したがって、これらの点の分離は必ずしもアンサンブル予測を頂点から遠ざけ、決定境界を越える信頼と移動ポイントを損なう。
大規模実験により,多様性向上型正規化器は,分類に用いる高容量深層アンサンブルの性能を損なうことを示した。
さらに驚くべきことに、予測の多様性を損なうことは有益である。
この研究は、深層アンサンブルにとって最善の戦略は、より正確だがより多様でないコンポーネントモデルを活用することだと強く示唆している。 Classical results establish that ensembles of small models benefit when predictive diversity is encouraged, through bagging, boosting, and similar. Here we demonstrate that this intuition does not carry over to ensembles of deep neural networks used for classification, and in fact the opposite can be true. Unlike regression models or small (unconfident) classifiers, predictions from large (confident) neural networks concentrate in vertices of the probability simplex. Thus, decorrelating these points necessarily moves the ensemble prediction away from vertices, harming confidence and moving points across decision boundaries. Through large scale experiments, we demonstrate that diversity-encouraging regularizers hurt the performance of high-capacity deep ensembles used for classification. Even more surprisingly, discouraging predictive diversity can be beneficial. Together this work strongly suggests that the best strategy for deep ensembles is utilizing more accurate, but likely less diverse, component models. | 翻訳日:2023-02-03 16:25:32 公開日:2023-02-01 |
| # カスケード光機械システム Cascaded Optomechanical systems ( http://arxiv.org/abs/2302.00698v1 ) ライセンス: Link先を確認 | Claudio Pellitteri, G.Massimo Palma and Salvatore Lorenzo | (参考訳) 一方向の導波路と散逸的に相互作用する一対の光力学系のダイナミクスについて検討した。
定常状態と過渡状態の2つの力学モードの間に確立された古典的および量子的相関の挙動について検討する。
一定量の定常相関が長い時間で存在することが分かる。
さらに、出力ガイド場のパワースペクトルを分析し、そのようなスペクトルから各ミラーのスペクトルを再構成する方法を示す。
最後に、一方向結合により、周波数変調に依存するミラー間の温度勾配が確立されていることを示す。 We study the dynamics of a pair of optomechanical systems interacting dissipatively with a wave guide in a unidirectional way. We investigate the behaviour of both classical and quantum correlations established between the two mechanical modes both in the transient and in the stationary regime. We find that a constant amount of steady correlations can exists at long times. We furthermore analyze the power spectrum of the output guide field and we show how from such spectrum it is possible to reconstruct the spectra of each single mirror. Finally we show that that, thanks to the unidirectional coupling, a temperature gradient between the mirrors depending on the frequencies detuning is established . | 翻訳日:2023-02-03 16:25:15 公開日:2023-02-01 |
| # マルチポートスプリッタを用いたグリーンベルガー・ホルン・ザイリンガー状態の生成 Generating Greenberger-Horne-Zeilinger states using multiport splitters ( http://arxiv.org/abs/2302.00697v1 ) ライセンス: Link先を確認 | Daniel Bhatti and Stefanie Barz | (参考訳) 対称マルチポートスプリッターは光量子情報処理における多用途ツールである。
それらは多粒子散乱の研究、識別性と混合性の研究、および多粒子交絡量子状態の生成に使用できる。
ここでは,N-光子N-モードグリーンベルガー・ホルン・ザイリンガー状態(GHZ)を対称マルチポートビームスプリッターを用いて生成可能であることを示す。
入力状態の内部自由度の変化と特定の光子数分布への後選択は、任意の光子数を持つGHZ状態の確率的生成を可能にする。
本稿では,対称マルチポートスプリッタを用いてghz状態を生成し,2nポートネットワークと標準ポスト選択方式を用いた戦略と比較する。 Symmetric multiport splitters are versatile tools in optical quantum information processing. They can be used for studying multiparticle scattering, studying distinguishability and mixedness, and also for the generation of multipartite entangled quantum states. Here, we show that N-photon N-mode Greenberger-Horne-Zeilinger (GHZ) states can be generated using symmetric multiport beam splitters. Varying the input states' internal degrees of freedom and post-selecting onto certain photon-number distributions allows the probabilistic generation of GHZ states with arbitrary photon numbers. We present two novel schemes, one for odd and one for even numbers of photons, to generate GHZ states using symmetric multiport splitters and compare them to a strategy utilizing a 2N-port network as well as the standard post-selection method. | 翻訳日:2023-02-03 16:25:07 公開日:2023-02-01 |
| # 階層的縮小ガウス過程:コンピュータコードエミュレーションと動的システム回復への応用 Hierarchical shrinkage Gaussian processes: applications to computer code emulation and dynamical system recovery ( http://arxiv.org/abs/2302.00755v1 ) ライセンス: Link先を確認 | Tao Tang, Simon Mak, David Dunson | (参考訳) 科学や工学の多くの分野において、コンピュータシミュレーションは物理的実験のプロキシとして広く使われており、実現不可能あるいは非倫理的である。
このようなシミュレーションは計算コストがかかることが多く、エミュレータを訓練して所望の応答面を効率的に予測することができる。
広く使われているエミュレータは、効率的な予測と不確実性定量化のための柔軟なフレームワークを提供するgaussian process (gp)である。
しかし、標準GPは、多くの応用、特に物理科学において、基礎となる応答面上の構造された空間を捉えない。
そこで本研究では,gpフレームワーク内の累積縮小プリエントによる構造を組み込んだ階層的縮小gp (hiergp) を提案する。
実験結果の分析において,HierGPはエフェクト・スペーサ性,遺伝性,階層性の原理を暗黙的に組み込んでおり,このモデルにより限られたデータで応答面から構造的スパース特徴を識別することができる。
モデルトレーニングと予測のための効率的な後方サンプリングアルゴリズムを提案し、HierGPの望ましい整合性を証明する。
最後に,既存のモデルに対するhiergpの性能向上を数値実験のスイートとして実証し,動的システムのリカバリに応用する。 In many areas of science and engineering, computer simulations are widely used as proxies for physical experiments, which can be infeasible or unethical. Such simulations can often be computationally expensive, and an emulator can be trained to efficiently predict the desired response surface. A widely-used emulator is the Gaussian process (GP), which provides a flexible framework for efficient prediction and uncertainty quantification. Standard GPs, however, do not capture structured sparsity on the underlying response surface, which is present in many applications, particularly in the physical sciences. We thus propose a new hierarchical shrinkage GP (HierGP), which incorporates such structure via cumulative shrinkage priors within a GP framework. We show that the HierGP implicitly embeds the well-known principles of effect sparsity, heredity and hierarchy for analysis of experiments, which allows our model to identify structured sparse features from the response surface with limited data. We propose efficient posterior sampling algorithms for model training and prediction, and prove desirable consistency properties for the HierGP. Finally, we demonstrate the improved performance of HierGP over existing models, in a suite of numerical experiments and an application to dynamical system recovery. | 翻訳日:2023-02-03 16:18:33 公開日:2023-02-01 |
| # AIによるソースコード脆弱性検出のためのハンズオンラボの開発 Developing Hands-on Labs for Source Code Vulnerability Detection with AI ( http://arxiv.org/abs/2302.00750v1 ) ライセンス: Link先を確認 | Maryam Taeb | (参考訳) As the role of information and communication technologies gradually increases in our lives, source code security becomes a significant issue to protect against malicious attempts Furthermore with the advent of data-driven techniques, there is now a growing interest in leveraging machine learning and natural language processing as a source code assurance method to build trustworthy systems Therefore training our future software developers to write secure source code is in high demand In this thesis we propose a framework including learning modules and hands on labs to guide future IT professionals towards developing secure programming habits and mitigating source code vulnerabilities at the early stages of the software development lifecycle In this thesis our goal is to design learning modules with a set of hands on labs that will introduce students to secure programming practices using source code and log file analysis tools to predict and identify vulnerabilities In a Secure Coding Education framework we will improve students skills and awareness on source code vulnerabilities detection tools and mitigation techniques integrate concepts of source code vulnerabilities from Function API and library level to bad programming habits and practices leverage deep learning NLP and static analysis tools for log file analysis to introduce the root cause of source code vulnerabilities As the role of information and communication technologies gradually increases in our lives, source code security becomes a significant issue to protect against malicious attempts Furthermore with the advent of data-driven techniques, there is now a growing interest in leveraging machine learning and natural language processing as a source code assurance method to build trustworthy systems Therefore training our future software developers to write secure source code is in high demand In this thesis we propose a framework including learning modules and hands on labs to guide future IT professionals towards developing secure programming habits and mitigating source code vulnerabilities at the early stages of the software development lifecycle In this thesis our goal is to design learning modules with a set of hands on labs that will introduce students to secure programming practices using source code and log file analysis tools to predict and identify vulnerabilities In a Secure Coding Education framework we will improve students skills and awareness on source code vulnerabilities detection tools and mitigation techniques integrate concepts of source code vulnerabilities from Function API and library level to bad programming habits and practices leverage deep learning NLP and static analysis tools for log file analysis to introduce the root cause of source code vulnerabilities | 翻訳日:2023-02-03 16:17:49 公開日:2023-02-01 |
| # universal soldier: バックドア攻撃を検出するためにuniversal adversarial perturbationを使用する Universal Soldier: Using Universal Adversarial Perturbations for Detecting Backdoor Attacks ( http://arxiv.org/abs/2302.00747v1 ) ライセンス: Link先を確認 | Xiaoyun Xu, Oguzhan Ersoy, Stjepan Picek | (参考訳) ディープラーニングモデルは、多くの機械学習タスクで優れたパフォーマンスを達成します。
しかし、敵の例や毒殺(バックドア)攻撃などセキュリティ関連の問題に苦しんでいる。
ディープラーニングモデルは、バックドアデータによるトレーニングや、内部ネットワークパラメータの変更によって悪用される。
そして、クリーンな入力を受けると、バックドアモデルが期待通りに実行されるが、「トリガー」と呼ばれる予め設計されたパターンで押されたバックドア入力を受けると誤分類される。
残念ながら、トリガーの事前知識なしでは、クリーンモデルとバックドアモデルの区別が難しい。
本稿では,特定のタイプの攻撃,uap(universal adversarial perturbation)とバックドアトリガーとの類似性を利用したバックドア検出手法を提案する。
バックドアモデルから生成されたUAPは、クリーンモデルからのUAPよりもモデルを誤解させるのに、より少ない摂動を必要とする。
バックドアモデルのUAPは、バックドアトリガによって構築されたすべてのクラスからターゲットクラスへのショートカットを利用する傾向がある。
UAPによるバックドア検出(USB)とリバースエンジニアリング潜在的なバックドアトリガのためのUniversal Soldierという新しい手法を提案する。
複数のデータセットでトレーニングされた345モデルの実験では、usbが注入されたバックドアを効果的に検出し、最先端の方法と同等あるいは優れた結果を提供することが示された。 Deep learning models achieve excellent performance in numerous machine learning tasks. Yet, they suffer from security-related issues such as adversarial examples and poisoning (backdoor) attacks. A deep learning model may be poisoned by training with backdoored data or by modifying inner network parameters. Then, a backdoored model performs as expected when receiving a clean input, but it misclassifies when receiving a backdoored input stamped with a pre-designed pattern called "trigger". Unfortunately, it is difficult to distinguish between clean and backdoored models without prior knowledge of the trigger. This paper proposes a backdoor detection method by utilizing a special type of adversarial attack, universal adversarial perturbation (UAP), and its similarities with a backdoor trigger. We observe an intuitive phenomenon: UAPs generated from backdoored models need fewer perturbations to mislead the model than UAPs from clean models. UAPs of backdoored models tend to exploit the shortcut from all classes to the target class, built by the backdoor trigger. We propose a novel method called Universal Soldier for Backdoor detection (USB) and reverse engineering potential backdoor triggers via UAPs. Experiments on 345 models trained on several datasets show that USB effectively detects the injected backdoor and provides comparable or better results than state-of-the-art methods. | 翻訳日:2023-02-03 16:17:34 公開日:2023-02-01 |
| # 多言語単語リストからの部分語彙化の推論 Inference of Partial Colexifications from Multilingual Wordlists ( http://arxiv.org/abs/2302.00739v1 ) ライセンス: Link先を確認 | Johann-Mattis List | (参考訳) 過去数年間、個々の言語族、特に世界の言語における語彙化パターンの調査に費やされた研究が大幅に増加してきた。
具体的には、科学的な構造としてのコレキシフィケーションは操作が容易であるという事実から利益を得ており、研究者はクロス言語データの大規模なコレクションに対してコレキシフィケーションパターンを推測することができる。
しかし、部分的語彙化(単語全体ではなく、単語の様々な部分を含む語彙化パターン)に関する研究は、これまでほとんど行われていない。
部分コレクサフィケーションは計算のアプローチでは扱いにくく、偽の正の一致によって生じるあらゆる種類のノイズに苦しむ可能性があるため、これは驚くべきことではない。
この問題に対処するために,(1)部分照合パターンを表現可能な新しいモデルを提案すること,(2)多言語ワードリストから様々なタイプの部分照合パターンを推測する上で有効な手法とワークフローを開発すること,(3)部分照合パターンの計算的解析とインタラクティブな可視化を行うことによる部分照合処理の新しいアプローチを提案する。 The past years have seen a drastic rise in studies devoted to the investigation of colexification patterns in individual languages families in particular and the languages of the world in specific. Specifically computational studies have profited from the fact that colexification as a scientific construct is easy to operationalize, enabling scholars to infer colexification patterns for large collections of cross-linguistic data. Studies devoted to partial colexifications -- colexification patterns that do not involve entire words, but rather various parts of words--, however, have been rarely conducted so far. This is not surprising, since partial colexifications are less easy to deal with in computational approaches and may easily suffer from all kinds of noise resulting from false positive matches. In order to address this problem, this study proposes new approaches to the handling of partial colexifications by (1) proposing new models with which partial colexification patterns can be represented, (2) developing new efficient methods and workflows which help to infer various types of partial colexification patterns from multilingual wordlists, and (3) illustrating how inferred patterns of partial colexifications can be computationally analyzed and interactively visualized. | 翻訳日:2023-02-03 16:17:08 公開日:2023-02-01 |
| # マージナルコントリビューションを伴わないシェープリー値の近似 Approximating the Shapley Value without Marginal Contributions ( http://arxiv.org/abs/2302.00736v1 ) ライセンス: Link先を確認 | Patrick Kolpaczki, Viktor Bengs, Eyke H\"ullermeier | (参考訳) Shapleyの値は、最近機械学習の様々な分野、特に説明可能な人工知能において集中的に使われている協調ゲームにおいて、プレイヤーに有意義な貢献価値を割り当てる最も一般的なアプローチである。
意味性は、シャプリー値のみが満足する公理的性質によるものであるが、エージェントの数で指数関数的に増加する正確な計算を犠牲にしている。
したがって、多くの研究がシェープリーの値の効率的な近似に費やされており、それらはエージェントの限界貢献の概念に反するものである。
本稿では,余剰貢献の概念から分離されたShapley値の表現に基づいて,SVARM と Stratified SVARM の2つのパラメータフリーおよびドメイン非依存近似アルゴリズムを提案する。
近似品質に関する不一致の理論的保証を証明し, 満足できる実験結果を提供する。 The Shapley value is arguably the most popular approach for assigning a meaningful contribution value to players in a cooperative game, which has recently been used intensively in various areas of machine learning, most notably in explainable artificial intelligence. The meaningfulness is due to axiomatic properties that only the Shapley value satisfies, which, however, comes at the expense of an exact computation growing exponentially with the number of agents. Accordingly, a number of works are devoted to the efficient approximation of the Shapley values, all of which revolve around the notion of an agent's marginal contribution. In this paper, we propose with SVARM and Stratified SVARM two parameter-free and domain-independent approximation algorithms based on a representation of the Shapley value detached from the notion of marginal contributions. We prove unmatched theoretical guarantees regarding their approximation quality and provide satisfying empirical results. | 翻訳日:2023-02-03 16:16:47 公開日:2023-02-01 |
| # MTP-GO:ニューラルネットワークを用いたグラフベース確率的多エージェント軌道予測 MTP-GO: Graph-Based Probabilistic Multi-Agent Trajectory Prediction with Neural ODEs ( http://arxiv.org/abs/2302.00735v1 ) ライセンス: Link先を確認 | Theodor Westny, Joel Oskarsson, Bj\"orn Olofsson and Erik Frisk | (参考訳) レジリエントな自律運動計画を実現するには、周囲の道路利用者の将来行動の堅牢な予測が必要である。
このニーズと関連する課題に応えて,我々はMTP-GOというモデルを紹介した。
このモデルは、テンポラリグラフニューラルネットワークを使用してシーンをエンコードし、基盤となる動きモデルへの入力を生成する。
運動モデルは、状態遷移関数がモデルの残りの部分で学習される神経常微分方程式を用いて実装される。
多モード確率予測は混合密度ネットワークとカルマンフィルタリングの概念を組み合わせることで得られる。
その結果,提案モデルの予測性能が様々なデータセットにまたがって示され,複数の測定値において最先端の手法を上回った。 Enabling resilient autonomous motion planning requires robust predictions of surrounding road users' future behavior. In response to this need and the associated challenges, we introduce our model, titled MTP-GO. The model encodes the scene using temporal graph neural networks to produce the inputs to an underlying motion model. The motion model is implemented using neural ordinary differential equations where the state-transition functions are learned with the rest of the model. Multi-modal probabilistic predictions are provided by combining the concept of mixture density networks and Kalman filtering. The results illustrate the predictive capabilities of the proposed model across various data sets, outperforming several state-of-the-art methods on a number of metrics. | 翻訳日:2023-02-03 16:16:34 公開日:2023-02-01 |
| # 問題:モード絡み合いスピン配列原子状態を持つ分散量子センシング Matters Arising: Distributed quantum sensing with mode-entangled spin-squeezed atomic states ( http://arxiv.org/abs/2302.00733v1 ) ライセンス: Link先を確認 | Liam P. McGuinness | (参考訳) モード絡み合うスピンスクイーズ原子状態を用いた「分散量子センシング」における自然(2022年)、マリアら
al. 絡み合いを用いてクロックネットワークの精度を向上させる。
特に、最大4つのノードでクロックネットワークを絡めることにより、量子プロジェクションノイズ限界(すなわち、絡みのない精度)よりも精度11.6\,dBがよいことが報告される。
これらの主張は間違っている、maliaなど。
al. エンタングルメントによる精度の向上は行わない。
ここでは、これらの実演が量子射影雑音限界よりも2桁以上悪いことを示す。 In ``Distributed quantum sensing with mode-entangled spin-squeezed atomic states" Nature (2022), Malia et. al. claim to improve the precision of a network of clocks by using entanglement. In particular, by entangling a clock network with up to four nodes, a precision 11.6\,dB better than the quantum projection noise limit (i.e. precision without any entanglement) is reported. These claims are incorrect, Malia et. al. do not achieve an improved precision with entanglement. Here we show their demonstration is more than two orders of magnitude worse than the quantum projection noise limit. | 翻訳日:2023-02-03 16:16:23 公開日:2023-02-01 |
| # ツリーベース自動機械学習におけるレキシケース選択による収束の高速化 Faster Convergence with Lexicase Selection in Tree-based Automated Machine Learning ( http://arxiv.org/abs/2302.00731v1 ) ライセンス: Link先を確認 | Nicholas Matsumoto, Anil Kumar Saini, Pedro Ribeiro, Hyunjun Choi, Alena Orlenko, Leo-Pekka Lyytik\"ainen, Jari O Laurikka, Terho Lehtim\"aki, Sandra Batista, and Jason H. Moore | (参考訳) 多くの進化的計算システムにおいて、親選択法は解への収束に影響を与えうる。
本稿では,Tree-based Pipeline Optimization Tool (TPOT)と呼ばれる自動機械学習システムにおいて,機械学習パイプラインの進化における2つの一般的な親選択手法の役割を比較する。
具体的には、複数のデータセットの実験を用いて、レキシケースの選択がTPOTのNSGA-IIと比較してはるかに高速な収束をもたらすことを示した。
また,探索されたパイプラインに関する情報を含むトリエデータ構造を用いて,これらの選択手法による検索空間の探索を比較する。 In many evolutionary computation systems, parent selection methods can affect, among other things, convergence to a solution. In this paper, we present a study comparing the role of two commonly used parent selection methods in evolving machine learning pipelines in an automated machine learning system called Tree-based Pipeline Optimization Tool (TPOT). Specifically, we demonstrate, using experiments on multiple datasets, that lexicase selection leads to significantly faster convergence as compared to NSGA-II in TPOT. We also compare the exploration of parts of the search space by these selection methods using a trie data structure that contains information about the pipelines explored in a particular run. | 翻訳日:2023-02-03 16:16:14 公開日:2023-02-01 |
| # カーネルベースq-learningのサンプル複雑性 Sample Complexity of Kernel-Based Q-Learning ( http://arxiv.org/abs/2302.00727v1 ) ライセンス: Link先を確認 | Sing-Yuan Yeh, Fu-Chieh Chang, Chang-Wei Yueh, Pei-Yuan Wu, Alberto Bernacchia, Sattar Vakili | (参考訳) 現代の強化学習(RL)は、しばしば巨大な状態行動空間に直面している。
既存の分析結果は通常、少数の状態作用を持つ設定や、線形モデル化されたQ-関数のような単純なモデルに当てはまる。
大規模状態-作用空間を扱う統計的に効率的なRLポリシーをより一般的なQ-関数で導出するために、最近の研究ではカーネルリッジ回帰を用いた非線形関数近似が検討されている。
本研究では,生成モデルが存在する場合,カーネルベースq-learningのサンプル複雑性を導出する。
非パラメトリックQ-ラーニングアルゴリズムを提案し、任意のスケールの割引MDPで$\epsilon$-optimal Policyを求める。
提案アルゴリズムのサンプル複雑性は、$\epsilon$ と(情報ゲインの観点から)カーネルの複雑性に関して順序最適である。
我々の知る限りでは、このような一般モデルの下で有限標本複雑性を示す最初の結果である。 Modern reinforcement learning (RL) often faces an enormous state-action space. Existing analytical results are typically for settings with a small number of state-actions, or simple models such as linearly modeled Q-functions. To derive statistically efficient RL policies handling large state-action spaces, with more general Q-functions, some recent works have considered nonlinear function approximation using kernel ridge regression. In this work, we derive sample complexities for kernel based Q-learning when a generative model exists. We propose a nonparametric Q-learning algorithm which finds an $\epsilon$-optimal policy in an arbitrarily large scale discounted MDP. The sample complexity of the proposed algorithm is order optimal with respect to $\epsilon$ and the complexity of the kernel (in terms of its information gain). To the best of our knowledge, this is the first result showing a finite sample complexity under such a general model. | 翻訳日:2023-02-03 16:15:57 公開日:2023-02-01 |
| # Kinodynamic Constraints を用いた安全なインターバルパス計画 Safe Interval Path Planning With Kinodynamic Constraints ( http://arxiv.org/abs/2302.00776v1 ) ライセンス: Link先を確認 | Zain Alabedeen Ali and Konstantin Yakovlev | (参考訳) セーフインターバルパス計画(SIPP)は、エージェントがグラフに制限され、このグラフの特定の頂点/辺が、環境に散らばる動的障害により、一定の時間間隔でブロックされるとき、単一エージェントパスフィニング問題を解決する強力なアルゴリズムである。
元のSIPPアルゴリズムは、エージェントが即座に停止できるという仮定に依存している。
しかし、この仮定は実際には成立しないことが多く、例えば、巡航速度で動く移動ロボットはすぐに止まることができず、時間を要するフルストップに徐々に減速する必要がある。
言い換えれば、ロボットは運動力学的制約を受けることになる。
残念なことに、我々がこの研究で示したように、そのような場合、元のSIPPは不完全である。
そこで本研究では,加速/減速を伴う計画に最適で完全であるSIPPの新たな変種を提案する。
実験的な評価では、元のSIPPの鍵特性が改良版に対してまだ保たれていることが示され、A*よりもはるかに少ない拡張を行い、その結果、顕著に高速である。 Safe Interval Path Planning (SIPP) is a powerful algorithm for solving single-agent pathfinding problem when the agent is confined to a graph and certain vertices/edges of this graph are blocked at certain time intervals due to dynamic obstacles that populate the environment. Original SIPP algorithm relies on the assumption that the agent is able to stop instantaneously. However, this assumption often does not hold in practice, e.g. a mobile robot moving with a cruising speed is not able to stop immediately but rather requires gradual deceleration to a full stop that takes time. In other words, the robot is subject to kinodynamic constraints. Unfortunately, as we show in this work, in such a case original SIPP is incomplete. To this end, we introduce a novel variant of SIPP that is provably complete and optimal for planning with acceleration/deceleration. In the experimental evaluation we show that the key property of the original SIPP still holds for the modified version -- it performs much less expansions compared to A* and, as a result, is notably faster. | 翻訳日:2023-02-03 16:09:57 公開日:2023-02-01 |
| # 使用済み機械学習モデルのモデルモニタリングとロバスト性:人口安定指数を用いたデータ分布シフトの定量化 Model Monitoring and Robustness of In-Use Machine Learning Models: Quantifying Data Distribution Shifts Using Population Stability Index ( http://arxiv.org/abs/2302.00775v1 ) ライセンス: Link先を確認 | Aria Khademi, Michael Hopka, Devesh Upadhyay | (参考訳) 安全が第一だ
人工知能(AI)と機械学習(ML)モデルの堅牢性に関する業界安全基準を満たし維持するには、障害やパフォーマンス低下の継続的な監視が必要である。
ディープラーニングモデルは、例えばコンピュータビジョンなどの産業アプリケーションで広く使われているが、製品上での環境変化(例えば、ノイズ)に対するそれらの性能の感受性は、現在よく知られている。
主な課題は、次のようなデータ分散シフトを検出して比較することである。
(i)aiおよびmlモデルの発達段階、すなわちトレイン/バリデーション/テストからbfへ
(ii)環境における製品(すなわち「テスト」の後でさえ)の展開段階。
自律運転に関連するコンピュータビジョンの例に注目し,画像にノイズを付加した結果として発生するシフトの検出を目標とする。
我々は、人口安定指数(PSI)をシフトの存在と強度の尺度として使用し、実証実験の結果からPSIに有望な可能性を示唆した。
さらに、業界安全基準の堅牢性を達成するために、分析される必要のあるモデル監視と堅牢性の複数の側面について論じる。
本稿では,頑健さのモニタリングが求められる問題クラスや事例の「emph{categorizations}」の必要性と研究方向について提案し,今後の課題と課題を,「emph{practical}」の観点から提示する。 Safety goes first. Meeting and maintaining industry safety standards for robustness of artificial intelligence (AI) and machine learning (ML) models require continuous monitoring for faults and performance drops. Deep learning models are widely used in industrial applications, e.g., computer vision, but the susceptibility of their performance to environment changes (e.g., noise) \emph{after deployment} on the product, are now well-known. A major challenge is detecting data distribution shifts that happen, comparing the following: {\bf (i)} development stage of AI and ML models, i.e., train/validation/test, to {\bf (ii)} deployment stage on the product (i.e., even after `testing') in the environment. We focus on a computer vision example related to autonomous driving and aim at detecting shifts that occur as a result of adding noise to images. We use the population stability index (PSI) as a measure of presence and intensity of shift and present results of our empirical experiments showing a promising potential for the PSI. We further discuss multiple aspects of model monitoring and robustness that need to be analyzed \emph{simultaneously} to achieve robustness for industry safety standards. We propose the need for and the research direction toward \emph{categorizations} of problem classes and examples where monitoring for robustness is required and present challenges and pointers for future work from a \emph{practical} perspective. | 翻訳日:2023-02-03 16:09:39 公開日:2023-02-01 |
| # シンボリック回帰のためのニューラルネットワーク Neural Networks for Symbolic Regression ( http://arxiv.org/abs/2302.00773v1 ) ライセンス: Link先を確認 | Ji\v{r}\'i Kubal\'ik, Erik Derner, Robert Babu\v{s}ka | (参考訳) 多くの現実世界のシステムは、人間の理解しやすく、分析しやすく、システムの振る舞いを説明するのに役立つ数学的公式によって記述することができる。
シンボリック回帰(英: symbolic regression)は、解析式という形でデータから非線形モデルを生成する手法である。
歴史的に、象徴的回帰は遺伝的プログラミングによって主に実現されてきたが、これは遺伝子操作者が交叉と突然変異によってサンプリングされる候補解の集団を反復的に進化させる方法である。
この勾配のない進化的アプローチはいくつかの欠点に悩まされている: トレーニングデータ中の変数やサンプルの数にうまく対応せず、モデルが適切な精度を得ることなくサイズや複雑さが大きくなる傾向にあり、遺伝的演算子だけで内部モデル係数を微調整することは困難である。
近年,勾配に基づく最適化アルゴリズムを用いて,解析式全体,すなわちその構造と係数の学習にニューラルネットワークが適用されている。
本稿では,限られたトレーニングデータとシステムに関する事前知識に基づいて,物理的に妥当なモデルを構築するニューラルネットワークに基づく記号回帰手法を提案する。
本手法では,複数の損失関数項を効果的に扱える適応重み付け方式と,局所最適度が低い場合に立ち往生する確率を抑えるエポックな学習過程を用いる。
さらに,学習過程全体を通して生成されたモデルの中から,最適な補間と補間性能を持つモデルを選択するパラメータフリー手法を提案する。
本研究では,TurtleBot 2移動ロボット,磁気操作システム,2つの抵抗の等価抵抗,およびアンチロックブレーキシステムに対するアプローチを実験的に評価した。
その結果,従来の知識に適合する疎密で正確なモデルを見つける方法の可能性が明らかとなった。 Many real-world systems can be described by mathematical formulas that are human-comprehensible, easy to analyze and can be helpful in explaining the system's behaviour. Symbolic regression is a method that generates nonlinear models from data in the form of analytic expressions. Historically, symbolic regression has been predominantly realized using genetic programming, a method that iteratively evolves a population of candidate solutions that are sampled by genetic operators crossover and mutation. This gradient-free evolutionary approach suffers from several deficiencies: it does not scale well with the number of variables and samples in the training data, models tend to grow in size and complexity without an adequate accuracy gain, and it is hard to fine-tune the inner model coefficients using just genetic operators. Recently, neural networks have been applied to learn the whole analytic formula, i.e., its structure as well as the coefficients, by means of gradient-based optimization algorithms. We propose a novel neural network-based symbolic regression method that constructs physically plausible models based on limited training data and prior knowledge about the system. The method employs an adaptive weighting scheme to effectively deal with multiple loss function terms and an epoch-wise learning process to reduce the chance of getting stuck in poor local optima. Furthermore, we propose a parameter-free method for choosing the model with the best interpolation and extrapolation performance out of all models generated through the whole learning process. We experimentally evaluate the approach on the TurtleBot 2 mobile robot, the magnetic manipulation system, the equivalent resistance of two resistors in parallel, and the anti-lock braking system. The results clearly show the potential of the method to find sparse and accurate models that comply with the prior knowledge provided. | 翻訳日:2023-02-03 16:09:16 公開日:2023-02-01 |
| # 欧州人権裁判所における法的判断予測におけるタスク依存と対比学習の活用 Leveraging task dependency and contrastive learning for Legal Judgement Prediction on the European Court of Human Rights ( http://arxiv.org/abs/2302.00768v1 ) ライセンス: Link先を確認 | Santosh T.Y.S.S, Marcel Perez San Blas, Phillip Kemper, Matthias Grabmair | (参考訳) 本論文は,欧州人権裁判所における法的判断予測実験について報告し,本モデルがまず,州が違反しているとされる条約条項を事例事実記述から予測し,その情報を用いて裁判所による違反発見の予測を行う。
これら2つのタスク間の依存性を,機能レベルと結果レベルで評価する。
さらに,階層的コントラスト損失を利用して,高レベルなケースの具体的表現をプルアップし,個々の記事クラスタを識別し,その結果に基づいて各記事クラスタのケースをプルし,類似した結果を持つケースのサブクラスタへと導く。
実験の結果,静的な事前学習エンコーダを用いて,コントラスト損失のないシングルタスクモデルとジョイントモデルに対して,予測性能が小さいが一貫した改善が得られた。 We report on an experiment in legal judgement prediction on European Court of Human Rights cases where our model first learns to predict the convention articles allegedly violated by the state from case facts descriptions, and subsequently utilizes that information to predict a finding of a violation by the court. We assess the dependency between these two tasks at the feature and outcome level. Furthermore, we leverage a hierarchical contrastive loss to pull together article specific representations of cases at the higher level level, leading to distinctive article clusters, and further pulls the cases in each article cluster based on their outcome leading to sub-clusters of cases with similar outcomes. Our experiment results demonstrate that, given a static pre-trained encoder, our models produce a small but consistent improvement in prediction performance over single-task and joint models without contrastive loss. | 翻訳日:2023-02-03 16:08:47 公開日:2023-02-01 |
| # ImageNomer:機能接続における人種バイアスを検出するfMRIとオミクス可視化ツールの開発 ImageNomer: developing an fMRI and omics visualization tool to detect racial bias in functional connectivity ( http://arxiv.org/abs/2302.00767v1 ) ライセンス: Link先を確認 | Anton Orlichenko, Grant Daly, Anqi Liu, Hui Shen, Hong-Wen Deng, Yu-Ping Wang | (参考訳) 大規模で高次元のfMRIやオミクスデータセットでトレンドを特定し、品質管理を行うことは困難である。
そこで我々は,主観レベルとコホートレベルの両方の特徴を検査できるデータ可視化解析ツールであるImageNomerを開発した。
このツールは機能接続(FC)、部分接続(PC)、辞書コンポーネント(PCAと我々の方法)、ゲノムデータ(単一ヌクレオチド多型、SNP)との表現型相関の可視化を可能にする。
さらに、任意のmlモデルからの重みの可視化も可能だ。
ImageNomerはPythonバックエンドとVueフロントエンドで構築されている。
健常青年のマルチタスクfMRIとSNPデータを含むフィラデルフィア神経発達コホート(PNC)データセットを用いて画像Nomerを検証する。
相関, 欲求選択, モデルウェイトを用いて, 10 のFC特徴集合が年齢変化の15%を説明できるのに対し, フル34,716特徴モデルでは35%であることがわかった。
4つの重要なfcは、両側デフォルトモードネットワーク(dmn)または空間的に近位皮質下領域の間である。
さらに,fc (fmri) とsnps (genomic) の2つの機能は,知性の変化の10～15%を占めるが,この予測能力は競争制御時に消失することを示した。
その結果,性別予測の精度は78%に対して,FC機能は85%の精度でレースを予測できることがわかった。
ImageNomerを使って、この研究は、健康な青年のfMRIやSNPにおいて、偏見のない知性に関連する特徴を見つける可能性に疑問を投げかける。 It can be difficult to identify trends and perform quality control in large, high-dimensional fMRI or omics datasets. To remedy this, we develop ImageNomer, a data visualization and analysis tool that allows inspection of both subject-level and cohort-level features. The tool allows visualization of phenotype correlation with functional connectivity (FC), partial connectivity (PC), dictionary components (PCA and our own method), and genomic data (single-nucleotide polymorphisms, SNPs). In addition, it allows visualization of weights from arbitrary ML models. ImageNomer is built with a Python backend and a Vue frontend. We validate ImageNomer using the Philadelphia Neurodevelopmental Cohort (PNC) dataset, which contains multitask fMRI and SNP data of healthy adolescents. Using correlation, greedy selection, or model weights, we find that a set of 10 FC features can explain 15% of variation in age, compared to 35% for the full 34,716 feature model. The four most significant FCs are either between bilateral default mode network (DMN) regions or spatially proximal subcortical areas. Additionally, we show that whereas both FC (fMRI) and SNPs (genomic) features can account for 10-15% of intelligence variation, this predictive ability disappears when controlling for race. We find that FC features can be used to predict race with 85% accuracy, compared to 78% accuracy for sex prediction. Using ImageNomer, this work casts doubt on the possibility of finding unbiased intelligence-related features in fMRI and SNPs of healthy adolescents. | 翻訳日:2023-02-03 16:08:31 公開日:2023-02-01 |
| # 相対エントロピー境界を用いた異方性ランゲヴィンダイナミクスのプライバシーリスク Privacy Risk for anisotropic Langevin dynamics using relative entropy bounds ( http://arxiv.org/abs/2302.00766v1 ) ライセンス: Link先を確認 | Anastasia Borovykh, Nikolas Kantas, Panos Parpas, Greg Pavliotis | (参考訳) 付加的等方性ノイズを伴うランジュバンダイナミクスのプライバシー保護特性は広く研究されている。
しかし、等方性ノイズの仮定は非常に制限的です。
(a) 既存の学習アルゴリズムに雑音を加えることで、プライバシーを保ち、出力の相対的な大きさとその相関性を考慮して可能な限りの精度を維持すること。
(b)確率勾配降下(およびその連続時間限界)のような一般的なアルゴリズムは異方性共分散特性を持つように見える。
異方性雑音の場合のプライバシーリスクを調べるには、ドリフトと拡散係数の異なる2つの確率微分方程式の法則間の相対エントロピーに関する一般的な結果が必要である。
我々の主な貢献は、関数的不等式によるフォッカー・プランク方程式の解に対する安定性推定を用いてそのような境界を確立することである。
追加の仮定では、相対エントロピー境界は$(\epsilon,\delta)$-differential privacy boundを意味する。
本稿では,2次損失の最適化やニューラルネットワークの校正において,異方性雑音の利点を数値計算により示す。 The privacy preserving properties of Langevin dynamics with additive isotropic noise have been extensively studied. However, the isotropic noise assumption is very restrictive: (a) when adding noise to existing learning algorithms to preserve privacy and maintain the best possible accuracy one should take into account the relative magnitude of the outputs and their correlations; (b) popular algorithms such as stochastic gradient descent (and their continuous time limits) appear to possess anisotropic covariance properties. To study the privacy risks for the anisotropic noise case, one requires general results on the relative entropy between the laws of two Stochastic Differential Equations with different drifts and diffusion coefficients. Our main contribution is to establish such a bound using stability estimates for solutions to the Fokker-Planck equations via functional inequalities. With additional assumptions, the relative entropy bound implies an $(\epsilon,\delta)$-differential privacy bound. We discuss the practical implications of our bound related to privacy risk in different contexts.Finally, the benefits of anisotropic noise are illustrated using numerical results on optimising a quadratic loss or calibrating a neural network. | 翻訳日:2023-02-03 16:07:58 公開日:2023-02-01 |
| # 低リソース言語における視覚的単語検出と局所化 Visually Grounded Keyword Detection and Localisation for Low-Resource Languages ( http://arxiv.org/abs/2302.00765v1 ) ライセンス: Link先を確認 | Kayode Kolawole Olaleye | (参考訳) 本研究は,音声におけるキーワードの局所化における視覚下地音声(vgs)モデルの利用について検討する。
本研究は,(1)vgsモデルでキーワードのローカライズは可能か,(2)キーワードのローカライズを真の低リソース環境で言語横断的に行うことができるか,という2つの主な研究課題に焦点を当てている。
ローカライズのための4つの手法が提案され、イングランドのデータセット上で評価され、最も精度の高い方法は57%である。
ヨルバ語で話されるキャプションを含む新しいデータセットも収集され、言語間キーワードのローカライゼーションのためにリリースされた。
言語横断モデルは、実際のキーワードの局所化において16%の精度を得ることができ、この性能は、英語データに事前訓練されたモデルから初期化することで向上することができる。
本研究は,モデルの成功と失敗モードの詳細な分析を行い,低リソース環境でのキーワードローカライズにvgsモデルを使用することの課題を強調する。 This study investigates the use of Visually Grounded Speech (VGS) models for keyword localisation in speech. The study focusses on two main research questions: (1) Is keyword localisation possible with VGS models and (2) Can keyword localisation be done cross-lingually in a real low-resource setting? Four methods for localisation are proposed and evaluated on an English dataset, with the best-performing method achieving an accuracy of 57%. A new dataset containing spoken captions in Yoruba language is also collected and released for cross-lingual keyword localisation. The cross-lingual model obtains a precision of 16% in actual keyword localisation and this performance can be improved by initialising from a model pretrained on English data. The study presents a detailed analysis of the model's success and failure modes and highlights the challenges of using VGS models for keyword localisation in low-resource settings. | 翻訳日:2023-02-03 16:07:39 公開日:2023-02-01 |
| # 具体的推論のための言語モデルとのコラボレーション Collaborating with language models for embodied reasoning ( http://arxiv.org/abs/2302.00763v1 ) ライセンス: Link先を確認 | Ishita Dasgupta, Christine Kaeser-Chen, Kenneth Marino, Arun Ahuja, Sheila Babayan, Felix Hill, Rob Fergus | (参考訳) 複雑で曖昧な環境での推論は、強化学習(RL)エージェントの重要な目標である。
いくつかの高度なrlエージェントは難しいタスクをうまく解決できるが、大量のトレーニングデータを必要とし、しばしば新しい目に見えない環境や新しいタスクへの一般化に苦労する。
一方で、大規模言語モデル(lslms)は、コンテキスト内学習を通じて、強力な推論能力と新しいタスクへの適応能力を示している。
しかし、LSLMは本来、環境に対して尋問や介入を行う能力を持っていない。
本研究では,プランナー,アクター,レポーターの3つの部分からなる単一システムにおいて,これらの補完能力をどのように組み合わせるかを検討する。
plannerは事前学習された言語モデルで、単純な具体化エージェント(アクター)にコマンドを発行し、リポーターはプランナーと通信して次のコマンドを知らせる。
本稿では,ゼロショットを一般化し,故障事例を調査するシステムの能力を検証し,性能向上のために強化学習を用いてシステムのコンポーネントをどのように訓練するかを示す。 Reasoning in a complex and ambiguous environment is a key goal for Reinforcement Learning (RL) agents. While some sophisticated RL agents can successfully solve difficult tasks, they require a large amount of training data and often struggle to generalize to new unseen environments and new tasks. On the other hand, Large Scale Language Models (LSLMs) have exhibited strong reasoning ability and the ability to to adapt to new tasks through in-context learning. However, LSLMs do not inherently have the ability to interrogate or intervene on the environment. In this work, we investigate how to combine these complementary abilities in a single system consisting of three parts: a Planner, an Actor, and a Reporter. The Planner is a pre-trained language model that can issue commands to a simple embodied agent (the Actor), while the Reporter communicates with the Planner to inform its next command. We present a set of tasks that require reasoning, test this system's ability to generalize zero-shot and investigate failure cases, and demonstrate how components of this system can be trained with reinforcement-learning to improve performance. | 翻訳日:2023-02-03 16:07:22 公開日:2023-02-01 |
| # AmbiCoref: 曖昧な干渉に対する人間とモデル感度の評価 AmbiCoref: Evaluating Human and Model Sensitivity to Ambiguous Coreference ( http://arxiv.org/abs/2302.00762v1 ) ライセンス: Link先を確認 | Yuewei Yuan, Chaitanya Malaviya, Mark Yatskar | (参考訳) アビーがコートニーを動揺させたとブリトニーに告げた」という文を与えられたとき、「彼女」が誰を指しているのかを理解するのに苦労し、明確化を求めた。
しかし、"upset"という言葉が"hugged"に置き換えられた場合、"she"は曖昧にAbbyを指す。
現代のコアパラメータ分解モデルがそのような曖昧さに敏感かどうかを検討する。
この目的のために,不明瞭かつ曖昧な参照を持つ最小文対の診断コーパスである AmbiCoref を構築した。
本例では,動詞の特定の配列とその引数に関する曖昧さに対する人間の知覚に関する心理言語学的研究を一般化する。
分析の結果,(1)あいまいなAmbiCorefの例では,ヒトはあいまいな例よりも参照率を低く,(2)ほとんどのコア参照モデルはあいまいなペアとあいまいなペアの出力にはほとんど差がないことがわかった。
我々はAmbiCorefを、モデルが人間のように曖昧性を扱うかどうかをテストするための診断コーパスとしてリリースする。 Given a sentence "Abby told Brittney that she upset Courtney", one would struggle to understand who "she" refers to, and ask for clarification. However, if the word "upset" were replaced with "hugged", "she" unambiguously refers to Abby. We study if modern coreference resolution models are sensitive to such pronominal ambiguity. To this end, we construct AmbiCoref, a diagnostic corpus of minimal sentence pairs with ambiguous and unambiguous referents. Our examples generalize psycholinguistic studies of human perception of ambiguity around particular arrangements of verbs and their arguments. Analysis shows that (1) humans are less sure of referents in ambiguous AmbiCoref examples than unambiguous ones, and (2) most coreference models show little difference in output between ambiguous and unambiguous pairs. We release AmbiCoref as a diagnostic corpus for testing whether models treat ambiguity similarly to human. | 翻訳日:2023-02-03 16:07:05 公開日:2023-02-01 |
| # 光ソリトンの量子減衰 Quantum Decay of an Optical Soliton ( http://arxiv.org/abs/2302.00756v1 ) ライセンス: Link先を確認 | Stuart Ward, Rouzbeh Allahverdi, and Arash Mafi | (参考訳) 光ソリトンは古典的には摂動に強い安定な天体として知られている。
本研究では、量子力学的効果により、最初は古典的なソリトンコヒーレント状態にある光学ソリトンが光子を連続体に流し込み、結果として崩壊することを示す。
量子化されたソリトンの標準定式化は、古典ソリトンの背景に量子非線形シュロディンガー方程式の線形バージョンを用いるが、量子化されたソリトンはこの近似では安定である。
高次相互作用項を考慮に入れれば、ソリトンはもはや安定ではなく、その光子数はソリトンサイクルの数の関数として二次的に減少する。
連続体放射のパワースペクトルを計算し、初期ソリトン幅に逆比例するカットオフを持つ初期ソリトン運動量について局所化された狭帯域を求める。 Optical solitons are known to be classically stable objects which are robust to perturbations. In this work, we show that due to quantum mechanical effects, an optical soliton that is initially in a classical soliton coherent state will shed photons into the continuum and hence decay. The standard formulation of the quantized soliton uses the linearized version of the quantum nonlinear Schrodinger equation in the background of the classical soliton, and the quantized soliton remains stable in this approximation. We show that if higher-order interaction terms are taken into account, the soliton is no longer stable, and its photon number decreases quadratically as a function of the number of soliton cycles. We compute the power spectrum for the continuum radiation and find a narrow band that is localized about the initial soliton momentum with a cut-off that is inversely proportional to the initial soliton width. | 翻訳日:2023-02-03 16:06:49 公開日:2023-02-01 |
| # 時間知識グラフに対する教師なしエンティティアライメント Unsupervised Entity Alignment for Temporal Knowledge Graphs ( http://arxiv.org/abs/2302.00796v1 ) ライセンス: Link先を確認 | Xiaoze Liu, Junyang Wu, Tianyi Li, Lu Chen, Yunjun Gao | (参考訳) エンティティアライメント(EA)は、異なる知識グラフ(KG)間の等価エンティティを識別する基本的なデータ統合タスクである。
時間的知識グラフ(tkg)は、タイムスタンプを導入することで従来の知識グラフを拡張する。
最先端のEA研究は、TKGの時間的情報はEAのパフォーマンスを促進することを示唆している。
しかし、既存の研究はtkgの時間的情報の利点を十分に活用していない。
また、労働集約的で非効率なエンティティペアを事前調整することでEAを実行する。
本稿では,EAにおける関係情報と時間情報を効果的に融合したDualMatchを提案する。
dualmatch は tkg 上の ea を重み付きグラフマッチング問題に転送する。
より具体的には、DualMatchには教師なしの方法があり、種子のアライメントを必要とせずにEAを達成する。
DualMatchには2つのステップがある。
一 新規なラベルフリーエンコーダ、デュアルエンコーダを用いて、時間的及び関係的な情報を別々に埋め込みに符号化すること
(2)新しいグラフマッチングベースのデコーダ,GM-Decoderを用いて,両情報を融合してアライメントに変換する。
DualMatchは、時間的情報を効果的にキャプチャする能力のため、TKG上でEAを実行することができる。
3つの現実世界のTKGデータセットに対する大規模な実験は、DualMatchがH@1の2.4%から10.7%、MRRの1.7%から7.6%で最先端の手法より優れているという洞察を与える。 Entity alignment (EA) is a fundamental data integration task that identifies equivalent entities between different knowledge graphs (KGs). Temporal Knowledge graphs (TKGs) extend traditional knowledge graphs by introducing timestamps, which have received increasing attention. State-of-the-art time-aware EA studies have suggested that the temporal information of TKGs facilitates the performance of EA. However, existing studies have not thoroughly exploited the advantages of temporal information in TKGs. Also, they perform EA by pre-aligning entity pairs, which can be labor-intensive and thus inefficient. In this paper, we present DualMatch which effectively fuses the relational and temporal information for EA. DualMatch transfers EA on TKGs into a weighted graph matching problem. More specifically, DualMatch is equipped with an unsupervised method, which achieves EA without necessitating seed alignment. DualMatch has two steps: (i) encoding temporal and relational information into embeddings separately using a novel label-free encoder, Dual-Encoder; and (ii) fusing both information and transforming it into alignment using a novel graph-matching-based decoder, GM-Decoder. DualMatch is able to perform EA on TKGs with or without supervision, due to its capability of effectively capturing temporal information. Extensive experiments on three real-world TKG datasets offer the insight that DualMatch outperforms the state-of-the-art methods in terms of H@1 by 2.4% - 10.7% and MRR by 1.7% - 7.6%, respectively. | 翻訳日:2023-02-03 16:00:52 公開日:2023-02-01 |
| # 測定に基づく変分量子固有解法の応用と資源削減 Applications and resource reductions in measurement-based variational quantum eigensolvers ( http://arxiv.org/abs/2302.00795v1 ) ライセンス: Link先を確認 | F. K. Marqversen and N. T. Zinner | (参考訳) 本稿では、量子回路図によって与えられる量子アルゴリズムの計測に基づく実装を得るための手順と、所定の測定に基づく計算に必要なリソースの削減方法について論じる。
これは短期的にはフォトニックシステムにおける量子コンピューティングの基礎となる。
これらのアイデアが十分に基礎づけられていることを実証するために、変分量子固有ソルバアルゴリズム(mbvqe)の計測に基づく実装を用いて3つの異なる問題を解く。
標準のCNOTのような標準ゲートではなくネイティブな計測ゲートを利用することにより、MBQCは浅く、簡単な接続性を持ち、同時に大きな表現性を示すことができることを示す。
MBVQEは、現在すでに利用可能になっているリソース状態に程遠い、有望な見通しを持っていると結論づける。 We discuss the procedure for obtaining measurement-based implementations of quantum algorithms given by quantum circuit diagrams and how to reduce the required resources needed for a given measurement-based computation. This forms the foundation for quantum computing on photonic systems in the near term. To demonstrate that these ideas are well grounded we present three different problems which are solved by employing a measurement-based implementation of the variational quantum eigensolver algorithm (MBVQE). We show that by utilising native measurement-based gates rather than standard gates, such as the standard CNOT, MBQCs may be obtained that are both shallow and have simple connectivity while simultaneously exhibiting a large expressibility. We conclude that MBVQE has promising prospects for resource states that are not far from what is already available today. | 翻訳日:2023-02-03 16:00:28 公開日:2023-02-01 |
| # 機械学習を使ってスマート反射テストプロトコルを開発する Using Machine Learning to Develop Smart Reflex Testing Protocols ( http://arxiv.org/abs/2302.00794v1 ) ライセンス: Link先を確認 | Matthew McDermott, Anand Dighe, Peter Szolovits, Yuan Luo, Jason Baron | (参考訳) 目的:反射検査プロトコルにより、臨床検査所は既存の検体について、初期注文試験の結果に基づいて第二線診断を行うことができる。
反射テストは、最適な臨床検査の順序付けと診断をサポートする。
現在の臨床実践では、反射テストは一般的に単純な"if-then"ルールに依存しているが、ほとんどのテスト順序付けの決定には単純なルール以上の複雑さが伴うため、スコープが制限される。
本稿では,analyte ferritinを例に,従来のルールベースアプローチよりも広い範囲と大きな影響を持つ,スマートな反射テストに対する機械学習ベースのアプローチを提案する。
方法: 患者データを用いて, cbcテストを受ける患者がフェリチンテストも順序づけられるかどうかを予測し, このモデルの「スマート」反射テストへの応用を検討し, その性能を可能なルールベースアプローチと比較することで評価する機械学習モデルを開発した。
結果: 基礎となる機械学習モデルはフェリチンテストの順序予測に適度に成功し, 規則ベースのアプローチよりも反射テストに適していた。
チャートレビューを用いて,本モデルがフェリチン試験順序を改善することを実証した。
最後に, 2次目標として, フェリチン試験結果が無作為性(MNAR)に欠けていないことを示す。
結論: 機械学習は、臨床診断と臨床利用管理の強化による新しいタイプの反射検査の基礎を提供する可能性がある。 Objective: Reflex testing protocols allow clinical laboratories to perform second line diagnostic tests on existing specimens based on the results of initially ordered tests. Reflex testing can support optimal clinical laboratory test ordering and diagnosis. In current clinical practice, reflex testing typically relies on simple "if-then" rules; however, this limits their scope since most test ordering decisions involve more complexity than a simple rule will allow. Here, using the analyte ferritin as an example, we propose an alternative machine learning-based approach to "smart" reflex testing with a wider scope and greater impact than traditional rule-based approaches. Methods: Using patient data, we developed a machine learning model to predict whether a patient getting CBC testing will also have ferritin testing ordered, consider applications of this model to "smart" reflex testing, and evaluate the model by comparing its performance to possible rule-based approaches. Results: Our underlying machine learning models performed moderately well in predicting ferritin test ordering and demonstrated greater suitability to reflex testing than rule-based approaches. Using chart review, we demonstrate that our model may improve ferritin test ordering. Finally, as a secondary goal, we demonstrate that ferritin test results are missing not at random (MNAR), a finding with implications for unbiased imputation of missing test results. Conclusions: Machine learning may provide a foundation for new types of reflex testing with enhanced benefits for clinical diagnosis and laboratory utilization management. | 翻訳日:2023-02-03 16:00:16 公開日:2023-02-01 |
| # 変分オートエンコーダは脳波に基づく肥満分類のためのより良い特徴表現を学習する Variational Autoencoder Learns Better Feature Representations for EEG-based Obesity Classification ( http://arxiv.org/abs/2302.00789v1 ) ライセンス: Link先を確認 | Yuan Yue, Jeremiah D. Deng, Dirk De Ridder, Patrick Manning, Divya Adhia | (参考訳) 現代の社会では肥満が一般的な問題であり、様々な病気や生活の質を著しく低下させる可能性がある。
現在,肥満に関連する神経学的特徴を明らかにする目的で,安静時脳波(electroencephalogram)信号の検討が行われている。
本研究では,肥満とリーンの被験者分類のための脳波特徴を抽出する深層学習に基づくフレームワークを提案する。
具体的には、新しい変分オートエンコーダフレームワークを用いて、生の脳波信号から主題不変の特徴を抽出し、1次元畳み込みニューラルネットワークによって分類する。
従来の機械学習およびディープラーニング手法と比較して,特徴抽出にvaeを用いた場合,特徴表現における識別精度,可視化精度の向上,不純物対策の低減が反映される。
今後の研究は、神経学的視点から提案モデルによって学習された空間パターンに関する深い理解を得るとともに、時間的関連情報を明らかにすることにより、提案モデルの解釈可能性を向上させることに向けることができる。 Obesity is a common issue in modern societies today that can lead to various diseases and significantly reduced quality of life. Currently, research has been conducted to investigate resting state EEG (electroencephalogram) signals with an aim to identify possible neurological characteristics associated with obesity. In this study, we propose a deep learning-based framework to extract the resting state EEG features for obese and lean subject classification. Specifically, a novel variational autoencoder framework is employed to extract subject-invariant features from the raw EEG signals, which are then classified by a 1-D convolutional neural network. Comparing with conventional machine learning and deep learning methods, we demonstrate the superiority of using VAE for feature extraction, as reflected by the significantly improved classification accuracies, better visualizations and reduced impurity measures in the feature representations. Future work can be directed to gaining an in-depth understanding regarding the spatial patterns that have been learned by the proposed model from a neurological view, as well as improving the interpretability of the proposed model by allowing it to uncover any temporal-related information. | 翻訳日:2023-02-03 15:59:50 公開日:2023-02-01 |
| # 量子ニューロンによる生成モデリング Generative Modeling with Quantum Neurons ( http://arxiv.org/abs/2302.00788v1 ) ライセンス: Link先を確認 | Kaitlin Gili, Rohan S. Kumar, Mykolas Sveistrys, C. J. Ballance | (参考訳) 最近提案されたQuantum Neuron Born Machine (QNBM)は、非線形アクティベーションを備えた最初の量子生成機械学習(ML)モデルとして、品質の初期性能を示している。
しかし、モデルの学習性やシミュラビリティに関して、これまでの調査は範囲に限られていた。
本研究では, 生成モデルとしてのQNBMのポテンシャルを深く掘り下げることで, 飛躍的に前進する。
まず、qnbmのネットワーク表現が古典的に効率的にシミュレーションされることは非自明であることを示す。
この結果、より広い確率分布の集合を学習(表現と訓練)するモデルの能力を示し、古典的制限ボルツマンマシン(RBM)に対して性能をベンチマークする。
QNBMは、シミュレーションの中で最も最適に訓練されたRBMであっても、この古典的モデルを全ての分布で上回ることができる。
具体的には、QNBMはRBMよりも75.3x、6.4x、3.5xで、それぞれ個別のガウス、濃度制限、Bars、Stripesの分布が優れている。
最後に,モデルの一般化能力に関する初期調査を行い,klテストを用いて,限られた量のデータへのアクセスが与えられた場合,モデルがトレーニング分布よりも精度良く基底真理分布を近似できることを示す。
全体として,より大規模な生成タスクにQNBMを併用する上で,より強力な事例を提示した。 The recently proposed Quantum Neuron Born Machine (QNBM) has demonstrated quality initial performance as the first quantum generative machine learning (ML) model proposed with non-linear activations. However, previous investigations have been limited in scope with regards to the model's learnability and simulatability. In this work, we make a considerable leap forward by providing an extensive deep dive into the QNBM's potential as a generative model. We first demonstrate that the QNBM's network representation makes it non-trivial to be classically efficiently simulated. Following this result, we showcase the model's ability to learn (express and train on) a wider set of probability distributions, and benchmark the performance against a classical Restricted Boltzmann Machine (RBM). The QNBM is able to outperform this classical model on all distributions, even for the most optimally trained RBM among our simulations. Specifically, the QNBM outperforms the RBM with an improvement factor of 75.3x, 6.4x, and 3.5x for the discrete Gaussian, cardinality-constrained, and Bars and Stripes distributions respectively. Lastly, we conduct an initial investigation into the model's generalization capabilities and use a KL test to show that the model is able to approximate the ground truth probability distribution more closely than the training distribution when given access to a limited amount of data. Overall, we put forth a stronger case in support of using the QNBM for larger-scale generative tasks. | 翻訳日:2023-02-03 15:59:32 公開日:2023-02-01 |
| # favor#: 正のランダム特徴の新しいクラスによる鋭い注意のカーネル近似 FAVOR#: Sharp Attention Kernel Approximations via New Classes of Positive Random Features ( http://arxiv.org/abs/2302.00787v1 ) ライセンス: Link先を確認 | Valerii Likhosherstov, Krzysztof Choromanski, Avinava Dubey, Frederick Liu, Tamas Sarlos, Adrian Weller | (参考訳) ガウスあるいはソフトマックスカーネルによって誘導される線形作用素の効率的な近似の問題は、しばしば、演算子の結果の偏りのない近似をもたらすランダム特徴(RF)を用いて解決される。
このような演算子は、カーネルメソッドから効率的なトランスフォーマーまで、重要なアプリケーションに現れる。
本稿では,ガウスおよびソフトマックスカーネルを近似したパラメータ化,正の非三角性RFを提案する。
従来のRF近似とは対照的に、これらの新しい手法のパラメータは近似の分散を減らすために最適化することができ、最適は閉じた形で表現できる。
本手法は,カーネル回帰タスクにおいて,従来手法よりも分散低減(e^{10}$-times smaller variance and beyond)し,従来手法よりも優れていた。
提案するメカニズムを用いて、トランスフォーマーにおける自己アテンション近似の方法である favor# も提案する。
FAVOR#は、音声モデリングや自然言語処理において、他のランダムな特徴法よりも優れていることを示す。 The problem of efficient approximation of a linear operator induced by the Gaussian or softmax kernel is often addressed using random features (RFs) which yield an unbiased approximation of the operator's result. Such operators emerge in important applications ranging from kernel methods to efficient Transformers. We propose parameterized, positive, non-trigonometric RFs which approximate Gaussian and softmax-kernels. In contrast to traditional RF approximations, parameters of these new methods can be optimized to reduce the variance of the approximation, and the optimum can be expressed in closed form. We show that our methods lead to variance reduction in practice ($e^{10}$-times smaller variance and beyond) and outperform previous methods in a kernel regression task. Using our proposed mechanism, we also present FAVOR#, a method for self-attention approximation in Transformers. We show that FAVOR# outperforms other random feature methods in speech modelling and natural language processing. | 翻訳日:2023-02-03 15:59:08 公開日:2023-02-01 |
| # SkinCon:詳細なモデルデバッギングと分析のためにドメインの専門家が高密度に注釈を付けた皮膚疾患データセット SkinCon: A skin disease dataset densely annotated by domain experts for fine-grained model debugging and analysis ( http://arxiv.org/abs/2302.00785v1 ) ライセンス: Link先を確認 | Roxana Daneshjou, Mert Yuksekgonul, Zhuo Ran Cai, Roberto Novoa, James Zou | (参考訳) 医療などのリスクの高い環境で人工知能(AI)をデプロイするには、解釈可能性/説明可能性を提供する方法や、きめ細かいエラー分析を可能にする方法が不可欠である。
解釈可能性/説明可能性およびきめ細かいエラー分析の手法の多くは、人間にとって意味的に意味のあるメタラベルである概念を使用する。
しかし、概念レベルのメタラベルを含むデータセットはごくわずかであり、これらのメタラベルのほとんどは、ドメインの専門知識を必要としない自然画像に関係しています。
医学における厳密な注釈付きデータセットは、メラノーマのような単一の疾患に関連するメタラベルに焦点を当てている。
皮膚科では、皮膚疾患は確立された臨床用語を用いて記述され、臨床医は互いに身体検査の所見を記述できる。
SkinConは,皮膚科医が高頻度に注釈を付した皮膚疾患データセットで,複数の疾患プロセスに有用なアノテーションを付加した医用データセットである。
SkinConにはFitzpatrick 17kデータセットから3230枚の画像が含まれており、48の臨床的概念が濃密に注釈付けされている。
2人の皮膚科医が皮膚病変を記述するための臨床記述語として用いた。
例えば、"plaque"、"scale"、"erosion"などがある。
同じ概念は、ディバース・ダーマトロジー・イメージ・データセットから656個の皮膚疾患の画像にラベル付けするためにも用いられ、皮膚のトーン表現が多様である追加の外部データセットを提供する。
我々は、探索モデル、概念に基づく説明、概念ボトルネックなど、SkinConデータセットの潜在的な応用についてレビューする。
さらにskinconを使って,既存のdermatology aiモデルのコンセプトによるエラーのデバッグと,ポストホックなコンセプトボトルネックモデルによる解釈可能なモデルの開発という,2つのユースケースを実証した。 For the deployment of artificial intelligence (AI) in high-risk settings, such as healthcare, methods that provide interpretability/explainability or allow fine-grained error analysis are critical. Many recent methods for interpretability/explainability and fine-grained error analysis use concepts, which are meta-labels that are semantically meaningful to humans. However, there are only a few datasets that include concept-level meta-labels and most of these meta-labels are relevant for natural images that do not require domain expertise. Densely annotated datasets in medicine focused on meta-labels that are relevant to a single disease such as melanoma. In dermatology, skin disease is described using an established clinical lexicon that allows clinicians to describe physical exam findings to one another. To provide a medical dataset densely annotated by domain experts with annotations useful across multiple disease processes, we developed SkinCon: a skin disease dataset densely annotated by dermatologists. SkinCon includes 3230 images from the Fitzpatrick 17k dataset densely annotated with 48 clinical concepts, 22 of which have at least 50 images representing the concept. The concepts used were chosen by two dermatologists considering the clinical descriptor terms used to describe skin lesions. Examples include "plaque", "scale", and "erosion". The same concepts were also used to label 656 skin disease images from the Diverse Dermatology Images dataset, providing an additional external dataset with diverse skin tone representations. We review the potential applications for the SkinCon dataset, such as probing models, concept-based explanations, and concept bottlenecks. Furthermore, we use SkinCon to demonstrate two of these use cases: debugging mistakes of an existing dermatology AI model with concepts and developing interpretable models with post-hoc concept bottleneck models. | 翻訳日:2023-02-03 15:58:52 公開日:2023-02-01 |
| # 品質多様性を利用したMinecraftのフライングマシンの進化 Evolving Flying Machines in Minecraft Using Quality Diversity ( http://arxiv.org/abs/2302.00782v1 ) ライセンス: Link先を確認 | Alejandro Medina and Melanie Richey and Mark Mueller and Jacob Schrum | (参考訳) Minecraftは人間の創造性に優れたテストベッドであり、様々な構造や、飛行機械を含む機能する機械の設計にインスピレーションを与えている。
EvoCraftはMinecraftでプログラムで構造を生成するためのAPIだが、この領域での最初の作業は飛行機械を進化させることができなかった。
本稿では,飛行機械を進化させるために,適合性に基づく進化と品質多様性探索を適用する。
フィットネスだけでは時々空飛ぶ機械を生産できるが、かつて使用されていたより高度なフィットネス機能のおかげで、品質の多様性のアルゴリズムであるmap-elitesは、少なくとも多様なソリューションを探索するために適切な行動特徴付けを使用する場合に、飛行機械をより確実に発見することができる。 Minecraft is a great testbed for human creativity that has inspired the design of various structures and even functioning machines, including flying machines. EvoCraft is an API for programmatically generating structures in Minecraft, but the initial work in this domain was not capable of evolving flying machines. This paper applies fitness-based evolution and quality diversity search in order to evolve flying machines. Although fitness alone can occasionally produce flying machines, thanks in part to a more sophisticated fitness function than was used previously, the quality diversity algorithm MAP-Elites is capable of discovering flying machines much more reliably, at least when an appropriate behavior characterization is used to guide the search for diverse solutions. | 翻訳日:2023-02-03 15:58:20 公開日:2023-02-01 |
| # 時系列スペクトル分析によるInSARデータのブラジル尾部ダム崩壊, 反射前兆モニタリング Brazilian tailing dam collapse, retrospective precursory monitoring of InSAR data using spectral analysis of time series ( http://arxiv.org/abs/2302.00781v1 ) ライセンス: Link先を確認 | Sourav Das, Anuradha Priyadarshana, Stephen Grebby | (参考訳) 斜面崩壊は破壊力を持ち、生命とインフラの両方に大きな損傷を与える。
したがって、不安定な斜面をモニタリングすることは、その失敗によって引き起こされるリスクを軽減するために重要である。
斜面モニタリングの目的は,斜面が変形する変位率の変化など,安定性問題の前兆を検出することである。
この情報は、早期警告を提供するために、差し迫った失敗のタイミングや確率を予測するのに使うことができる。
本研究では, 直列相関変位時系列データのスペクトル解析に基づいて, より客観的な統計的学習アルゴリズムを提案し, 斜面崩壊のリスクを検出し, 特徴付ける。
このアルゴリズムは、衛星ベースのインターフェロメトリ合成レーダー(InSAR)の変位時系列データに適用され、ブラジルにおける2019年のブルマディンホ尾翼ダム崩壊のリスクを遡及的に分析する。
2つの潜在的なリスクマイルストーンが特定され、決定的だが突発的なリスクの兆候(2018年2月27日 - 2018年8月26日)と、尾根ダムの崩壊の差し迫ったリスク(2018年6月27日 - 2018年12月24日)がアルゴリズムによって検出される。
重要なのは、2019年1月25日のダム崩壊の少なくとも5ヶ月前には、この障害リスクの前兆が検出されることだ。
本研究の結果は,insar変位時系列データのスペクトル法と2次統計特性の組み合わせにより,不安定な変形状態への遷移の兆しが明らかとなり,このアルゴリズムは破壊的斜面崩壊を緩和するのに十分な早期警告を与えることができることを示した。 Slope failures possess destructive power that can cause significant damage to both life and infrastructure. Monitoring slopes prone to instabilities is therefore critical in mitigating the risk posed by their failure. The purpose of slope monitoring is to detect precursory signs of stability issues, such as changes in the rate of displacement with which a slope is deforming. This information can then be used to predict the timing or probability of an imminent failure in order to provide an early warning. In this study, a more objective, statistical-learning algorithm is proposed to detect and characterise the risk of a slope failure, based on spectral analysis of serially correlated displacement time series data. The algorithm is applied to satellite-based interferometric synthetic radar (InSAR) displacement time series data to retrospectively analyse the risk of the 2019 Brumadinho tailings dam collapse in Brazil. Two potential risk milestones are identified and signs of a definitive but emergent risk (27 February 2018 to 26 August 2018) and imminent risk of collapse of the tailings dam (27 June 2018 to 24 December 2018) are detected by the algorithm. Importantly, this precursory indication of risk of failure is detected as early as at least five months prior to the dam collapse on 25 January 2019. The results of this study demonstrate that the combination of spectral methods and second order statistical properties of InSAR displacement time series data can reveal signs of a transition into an unstable deformation regime, and that this algorithm can provide sufficient early warning that could help mitigate catastrophic slope failures. | 翻訳日:2023-02-03 15:58:07 公開日:2023-02-01 |
| # 聖書翻訳ツールの改良のためのユーザスタディ User Study for Improving Tools for Bible Translation ( http://arxiv.org/abs/2302.00778v1 ) ライセンス: Link先を確認 | Joel Mathew, Ulf Hermjakob | (参考訳) テクノロジーは聖書の翻訳プロセスにおいて不可欠な部分になりつつある。
時間とともに、翻訳プロセスと関連する技術の両方が大幅に進化した。
近年、自然言語処理(nlp)の分野は、以前考えられていなかった問題を解く上で大きな進歩を遂げている。
本研究を通じて,聖書翻訳プロセスにおける現在の景観のセグメントについて理解を深め,コミュニケーションを図り,関連する問題を特定することに努める。
複数の組織から異なるレベルの聖書翻訳プロセスに従事している個人にインタビューを行い、テクノロジー(最近のAIの進歩を含む)が翻訳時間を短縮し、全体的な品質を改善する上で重要な役割を果たす可能性があるギャップとボトルネックを特定する。 Technology has increasingly become an integral part of the Bible translation process. Over time, both the translation process and relevant technology have evolved greatly. More recently, the field of Natural Language Processing (NLP) has made great progress in solving some problems previously thought impenetrable. Through this study we endeavor to better understand and communicate about a segment of the current landscape of the Bible translation process as it relates to technology and identify pertinent issues. We conduct several interviews with individuals working in different levels of the Bible translation process from multiple organizations to identify gaps and bottlenecks where technology (including recent advances in AI) could potentially play a pivotal role in reducing translation time and improving overall quality. | 翻訳日:2023-02-03 15:57:39 公開日:2023-02-01 |
| # 説明可能なAIにおける社会技術ギャップのチャート化 - XAIのギャップに対処するためのフレームワーク Charting the Sociotechnical Gap in Explainable AI: A Framework to Address the Gap in XAI ( http://arxiv.org/abs/2302.00799v1 ) ライセンス: Link先を確認 | Upol Ehsan, Koustuv Saha, Munmun De Choudhury, Mark O. Riedl | (参考訳) 説明可能なai(xai)システムは、本質的には社会技術的であり、技術的余裕と社会的ニーズの間の社会技術的ギャップの対象となる。
しかし、このギャップのチャート化は難しい。
XAIの文脈では、このギャップをグラフ化することで問題理解が向上し、説明可能性を改善するための実用的な洞察を反射的に提供できると論じる。
異なる領域における2つのケーススタディを利用して、XAIの文脈でAIガイドラインを接続し、そのギャップに対処する方法を解明することにより、社会技術的ギャップの体系的なチャート作成を促進する枠組みを実証的に導き出した。
フレームワークを新しいドメインの第3のケースに適用し、その余裕を示します。
最後に,フレームワークの概念的意味を議論し,その運用に関する実践的考察を共有し,新たなコンテキストへ移行するためのガイダンスを提供する。
XAIの社会技術的ギャップを理解するための概念的かつ実践的な貢献により、このフレームワークはXAIデザイン空間を拡張している。 Explainable AI (XAI) systems are sociotechnical in nature; thus, they are subject to the sociotechnical gap--divide between the technical affordances and the social needs. However, charting this gap is challenging. In the context of XAI, we argue that charting the gap improves our problem understanding, which can reflexively provide actionable insights to improve explainability. Utilizing two case studies in distinct domains, we empirically derive a framework that facilitates systematic charting of the sociotechnical gap by connecting AI guidelines in the context of XAI and elucidating how to use them to address the gap. We apply the framework to a third case in a new domain, showcasing its affordances. Finally, we discuss conceptual implications of the framework, share practical considerations in its operationalization, and offer guidance on transferring it to new contexts. By making conceptual and practical contributions to understanding the sociotechnical gap in XAI, the framework expands the XAI design space. | 翻訳日:2023-02-03 15:49:17 公開日:2023-02-01 |
| # ゲーム理論強化学習における木探索,生成モデル,ナッシュ交渉概念の組み合わせ Combining Tree-Search, Generative Models, and Nash Bargaining Concepts in Game-Theoretic Reinforcement Learning ( http://arxiv.org/abs/2302.00797v1 ) ライセンス: Link先を確認 | Zun Li, Marc Lanctot, Kevin R. McKee, Luke Marris, Ian Gemp, Daniel Hennes, Paul Muller, Kate Larson, Yoram Bachrach, Michael P. Wellman | (参考訳) マルチエージェント強化学習(MARL)は、人口ベースおよびゲーム理論のトレーニング体制から大きな恩恵を受けている。
Policy-Space Response Oracles (PSRO) というアプローチでは、標準的な強化学習を使用して、最も近いレスポンスを通じてレスポンスポリシーを計算し、メタストラテジー選択を通じてそれらを組み合わせている。
我々は,世界を生成的にサンプリングする新たなサーチ手順を追加することでPSROを強化し,ナッシュバーゲインソリューションに基づく2つのメタストラテジー解法を導入する。
我々は,PSROの近似ナッシュ均衡計算能力と2つのネゴシエーションゲーム(Colored Trails,Deal or No Deal)のパフォーマンスを評価する。
我々は、人間の参加者がエージェントと交渉する行動研究を行う(N = 346$)。
生成的モデリングによる検索は、トレーニング時間とテスト時間の両方において強力なポリシーを見つけ、オンラインベイズの共同プレイヤー予測を可能にし、人間との取引として人間と同等の社会福祉を実現するエージェントを生み出すことができる。 Multiagent reinforcement learning (MARL) has benefited significantly from population-based and game-theoretic training regimes. One approach, Policy-Space Response Oracles (PSRO), employs standard reinforcement learning to compute response policies via approximate best responses and combines them via meta-strategy selection. We augment PSRO by adding a novel search procedure with generative sampling of world states, and introduce two new meta-strategy solvers based on the Nash bargaining solution. We evaluate PSRO's ability to compute approximate Nash equilibrium, and its performance in two negotiation games: Colored Trails, and Deal or No Deal. We conduct behavioral studies where human participants negotiate with our agents ($N = 346$). We find that search with generative modeling finds stronger policies during both training time and test time, enables online Bayesian co-player prediction, and can produce agents that achieve comparable social welfare negotiating with humans as humans trading among themselves. | 翻訳日:2023-02-03 15:48:58 公開日:2023-02-01 |
| # 最適強度・トーネストレードオフを有するミクロ組織複合材料の計算的発見 Computational Discovery of Microstructured Composites with Optimal Strength-Toughness Trade-Offs ( http://arxiv.org/abs/2302.01078v1 ) ライセンス: Link先を確認 | Beichen Li, Bolei Deng, Wan Shou, Tae-Hyun Oh, Yuanming Hu, Yiyue Luo, Liang Shi, Wojciech Matusik | (参考訳) 強度と硬さの対立は、工学材料設計における根本的な問題である。
しかし, シミュレーションと現実の相違とパレートフロント全体のデータ効率のよい探索の欠如により, 最適強度・強度トレードオフを有する複合材料の系統的発見は証明されていない。
本稿では, 物理実験, 数値シミュレーション, ニューラルネットワークを用いて, 同時に頑丈かつ強靭なマイクロ構造設計を効率的に発見するパイプラインについて報告する。
物理ベースのシミュレータを適度な複雑さで使用し、ネストループ方式でデータ駆動の提案検証ワークフローを実行し、シミュレーションと現実のギャップを高いサンプル効率で埋める。
材料設計に関する専門知識がなければ,従来から試行錯誤やバイオミミクリーによって発見されてきた既存の強靭性向上機構を自動的に識別する。
我々は, 従来の科学的アプローチを逆転させ, 高分子化学, 流体力学, 気象学, ロボット工学など, 複合材料以外の幅広い研究課題に適用可能な最適設計の計算的発見のための青写真を提供する。 The conflict between strength and toughness is a fundamental problem in engineering materials design. However, systematic discovery of microstructured composites with optimal strength-toughness trade-offs has never been demonstrated due to the discrepancies between simulation and reality and the lack of data-efficient exploration of the entire Pareto front. Here, we report a widely applicable pipeline harnessing physical experiments, numerical simulations, and artificial neural networks to efficiently discover microstructured designs that are simultaneously tough and strong. Using a physics-based simulator with moderate complexity, our strategy runs a data-driven proposal-validation workflow in a nested-loop fashion to bridge the gap between simulation and reality in high sample efficiency. Without any prescribed expert knowledge of materials design, our approach automatically identifies existing toughness enhancement mechanisms that were traditionally discovered through trial-and-error or biomimicry. We provide a blueprint for the computational discovery of optimal designs, which inverts traditional scientific approaches, and is applicable to a wide range of research problems beyond composites, including polymer chemistry, fluid dynamics, meteorology, and robotics. | 翻訳日:2023-02-03 13:51:59 公開日:2023-02-01 |
| # 忠実な思考連鎖の推論 Faithful Chain-of-Thought Reasoning ( http://arxiv.org/abs/2301.13379v2 ) ライセンス: Link先を確認 | Qing Lyu, Shreya Havaldar, Adam Stein, Li Zhang, Delip Rao, Eric Wong, Marianna Apidianaki, Chris Callison-Burch | (参考訳) CoT(Chain-of-Thought)が言語モデル(LM)のパフォーマンスを、複雑な推論タスクで促進する一方で、生成された推論チェーンは、モデルが解答(すなわち忠実性)にどのように到着するかを必ずしも反映していない。
我々は,論理処理を翻訳(自然言語クエリ$\rightarrow$シンボリック推論チェーン)と問題解決(reasoning chain$\rightarrow$ answer)の2段階に分解し,それぞれlmと決定論的解法を用いて忠実に構成するフレームワークであるfancy cotを提案する。
4つの異なるドメインから10の推論データセットに対して,提案手法の有効性を示す。
10つのデータセットのうち9つで、平均精度は4.4で、計画では1.9で、マルチホップ質問回答(QA)では4.0で、論理推論では18.1で上回っている。
自己一貫性のデコードと合わせて、10のデータセットのうち7つで新しい最先端の少数ショット性能を達成し、忠実性と正確性の間に強い相乗効果を示す。 While Chain-of-Thought (CoT) prompting boosts Language Models' (LM) performance on a gamut of complex reasoning tasks, the generated reasoning chain does not necessarily reflect how the model arrives at the answer (aka. faithfulness). We propose Faithful CoT, a faithful-by-construction framework that decomposes a reasoning task into two stages: Translation (Natural Language query $\rightarrow$ symbolic reasoning chain) and Problem Solving (reasoning chain $\rightarrow$ answer), using an LM and a deterministic solver respectively. We demonstrate the efficacy of our approach on 10 reasoning datasets from 4 diverse domains. It outperforms traditional CoT prompting on 9 out of the 10 datasets, with an average accuracy gain of 4.4 on Math Word Problems, 1.9 on Planning, 4.0 on Multi-hop Question Answering (QA), and 18.1 on Logical Inference, under greedy decoding. Together with self-consistency decoding, we achieve new state-of-the-art few-shot performance on 7 out of the 10 datasets, showing a strong synergy between faithfulness and accuracy. | 翻訳日:2023-02-03 10:15:44 公開日:2023-02-01 |
| # DisDiff:拡散確率モデルの教師なし解離 DisDiff: Unsupervised Disentanglement of Diffusion Probabilistic Models ( http://arxiv.org/abs/2301.13721v2 ) ライセンス: Link先を確認 | Tao Yang, Yuwang Wang, Yan Lv, Nanning Zheng | (参考訳) 本稿では,これらの因子の観測と条件生成プロセスのモデル化の背景となる要因を理解することを目的として,DPMの顕著なモデリング能力を活用するために,拡散確率モデル(DPM)の非絡み合いという新たな課題を提案する。
この課題に対処するために、DisDiffという教師なしのアプローチをさらに考案する。
拡散確率モデルの枠組みにおいて, 初めて絡み合った表現学習を実現する。
事前訓練されたDPMが与えられたとき、DisDiffは画像データの背後にある固有の因子を自動的に発見し、各因子の表現に基づいてDPMの勾配場を下位段階の場に分解する。
本稿では,ディディフのためのディスタングルロス(Disentangling Loss for DisDiff)を提案する。
合成および実世界のデータセットに関する広範な実験は、DisDiffの有効性を示している。 In this paper, targeting to understand the underlying explainable factors behind observations and modeling the conditional generation process on these factors, we propose a new task, disentanglement of diffusion probabilistic models (DPMs), to take advantage of the remarkable modeling ability of DPMs. To tackle this task, we further devise an unsupervised approach named DisDiff. For the first time, we achieve disentangled representation learning in the framework of diffusion probabilistic models. Given a pre-trained DPM, DisDiff can automatically discover the inherent factors behind the image data and disentangle the gradient fields of DPM into sub-gradient fields, each conditioned on the representation of each discovered factor. We propose a novel Disentangling Loss for DisDiff to facilitate the disentanglement of the representation and sub-gradients. The extensive experiments on synthetic and real-world datasets demonstrate the effectiveness of DisDiff. | 翻訳日:2023-02-02 18:47:09 公開日:2023-02-01 |
| # ビジュアルインテクスト学習のよい例は何か? What Makes Good Examples for Visual In-Context Learning? ( http://arxiv.org/abs/2301.13670v2 ) ライセンス: Link先を確認 | Yuanhan Zhang, Kaiyang Zhou, Ziwei Liu | (参考訳) 広範データでトレーニングされた大規模モデルは最近、その強力な一般化性能のため、コンピュータビジョンにおける主流アーキテクチャとなっている。
本稿では,大規模ビジョンモデルにおける創発的能力に着目し,モデルパラメータを更新することなく,コンテキスト内例(a.k.a.~prompt)を条件に,未知タスクの推論を可能にする。
この概念は自然言語処理でよく知られているが、近年では大きな視覚モデルに対してのみ研究されている。
我々は初めて、コンピュータビジョンにおける文脈内例の影響に関する包括的な調査を行い、その性能が文脈内例の選択に非常に敏感であることを見出した。
そこで本研究では,テキスト内サンプルの選択を自動化するための検索フレームワークを提案する。
具体的には,(1)オフザシェルフモデルを用いた最寄りサンプル探索に基づく教師なしプロンプト検索手法,(2)ニューラルネットワークをトレーニングして,文脈内学習性能を直接最大化する事例を選択する教師なしプロンプト検索手法を提案する。
その結果,本手法は,一般のランダム選択と比較して,視覚的な文脈学習に非自明な改善をもたらすことが判明した。 Large-scale models trained on broad data have recently become the mainstream architecture in computer vision due to their strong generalization performance. In this paper, the main focus is on an emergent ability in large vision models, known as in-context learning, which allows inference on unseen tasks by conditioning on in-context examples (a.k.a.~prompt) without updating the model parameters. This concept has been well-known in natural language processing but has only been studied very recently for large vision models. We for the first time provide a comprehensive investigation on the impact of in-context examples in computer vision, and find that the performance is highly sensitive to the choice of in-context examples. To overcome the problem, we propose a prompt retrieval framework to automate the selection of in-context examples. Specifically, we present (1) an unsupervised prompt retrieval method based on nearest example search using an off-the-shelf model, and (2) a supervised prompt retrieval method, which trains a neural network to choose examples that directly maximize in-context learning performance. The results demonstrate that our methods can bring non-trivial improvements to visual in-context learning in comparison to the commonly-used random selection. | 翻訳日:2023-02-02 18:46:52 公開日:2023-02-01 |
| # 変分振幅増幅によるqubo問題の解法 Variational Amplitude Amplification for Solving QUBO Problems ( http://arxiv.org/abs/2301.13665v2 ) ライセンス: Link先を確認 | Daniel Koch, Massimiliano Cutugno, Saahil Patel, Laura Wessing, Paul M. Alsing | (参考訳) 組合せ最適化問題の解法として,量子コンピューティングのゲートベースモデルにおける振幅増幅法について検討する。
本研究は主にqubo(quadratic unconstrained binary optimization)問題に焦点をあてる。
具体的には、QUBOを‘コストオラクル’演算としてエンコードする回路設計を、標準Grover拡散演算子$U_{\textrm{C}}$と組み合わせると、最適および近似最適解に対応する状態の測定確率が高くなることを示す。
これらの確率を達成するためには、単一のスカラーパラメータ $p_{\textrm{s}}$ が必要である。 We investigate the use of amplitude amplification on the gate-based model of quantum computing as a means for solving combinatorial optimization problems. This study focuses primarily on QUBO (quadratic unconstrained binary optimization) problems, which are well-suited for qubit superposition states. Specifically, we demonstrate circuit designs which encode QUBOs as `cost oracle' operations $U_{\textrm{C}}$, which when combined with the standard Grover diffusion operator $U_{\textrm{s}}$ lead to high probabilities of measurement for states corresponding to the optimal and near optimal solutions. In order to achieve these probabilities, a single scalar parameter $p_{\textrm{s}}$ is required, which we show can be found through a variational quantum-classical hybrid approach. | 翻訳日:2023-02-02 18:46:31 公開日:2023-02-01 |
| # cmlcompiler: 古典的機械学習のための統一コンパイラ CMLCompiler: A Unified Compiler for Classical Machine Learning ( http://arxiv.org/abs/2301.13441v2 ) ライセンス: Link先を確認 | Xu Wen, Wanling Gao, Anzheng Li, Lei Wang, Zihan Jiang, Jianfeng Zhan | (参考訳) 古典的な機械学習(CML)は、プロダクションアプリケーションにおける機械学習パイプラインの半分近くを占めている。
残念ながら、現状のデバイスを十分に活用できず、性能が良くない。
統合されたフレームワークがなければ、ディープラーニング(DL)とCMLのハイブリッドデプロイメントも、厳しいパフォーマンスとポータビリティの問題に悩まされる。
本稿では,CML推論のためのCMLコンパイラ (CML Compiler) の設計について述べる。
演算子表現と拡張計算グラフの2つの統合抽象化を提案する。
CMLCompilerフレームワークは、2つの統合された抽象化に基づいて変換とグラフの最適化を行い、最適化された計算グラフをDLコンパイラやフレームワークに出力する。
我々はTVMにCMLコンパイラを実装した。
この評価はCMLコンパイラのポータビリティと優れた性能を示している。
CPUでは最大4.38倍のスピードアップ、GPUでは3.31倍のスピードアップ、IoTデバイスでは5.09倍のスピードアップを実現している。
CMLとDL混合パイプラインの性能は、クロスフレームワークの実装と比較して最大3.04倍のスピードアップを実現しています。 Classical machine learning (CML) occupies nearly half of machine learning pipelines in production applications. Unfortunately, it fails to utilize the state-of-the-practice devices fully and performs poorly. Without a unified framework, the hybrid deployments of deep learning (DL) and CML also suffer from severe performance and portability issues. This paper presents the design of a unified compiler, called CMLCompiler, for CML inference. We propose two unified abstractions: operator representations and extended computational graphs. The CMLCompiler framework performs the conversion and graph optimization based on two unified abstractions, then outputs an optimized computational graph to DL compilers or frameworks. We implement CMLCompiler on TVM. The evaluation shows CMLCompiler's portability and superior performance. It achieves up to 4.38x speedup on CPU, 3.31x speedup on GPU, and 5.09x speedup on IoT devices, compared to the state-of-the-art solutions -- scikit-learn, intel sklearn, and hummingbird. Our performance of CML and DL mixed pipelines achieves up to 3.04x speedup compared with cross-framework implementations. | 翻訳日:2023-02-02 18:46:16 公開日:2023-02-01 |
| # GaitSADA:mm波歩行認識のための自己調整型ドメイン適応 GaitSADA: Self-Aligned Domain Adaptation for mmWave Gait Recognition ( http://arxiv.org/abs/2301.13384v2 ) ライセンス: Link先を確認 | Ekkasit Pinyoanuntapong, Ayman Ali, Kalvik Jakkala, Pu Wang, Minwoo Lee, Qucheng Peng, Chen Chen, Zhi Sun | (参考訳) mmWaveレーダを用いた歩行認識は,mmWaveレーダの帰還信号から人間の歩行バイオメトリックスを捉える新しいユーザ識別法である。
この技術はプライバシー保護を提供し、天候や照明条件に耐性がある。
しかし、その一般化性能はまだ不明であり、実際の展開を制限している。
この問題に対処するため,本論文では,mmWave測位データにおける空間的・時間的領域シフトの存在を明らかにするために,非合成データセットを収集,解析し,識別精度に大きな影響を及ぼす。
この問題に対処するために、GaitSADAと呼ばれる新しい自己整合ドメイン適応法を提案する。
GaitSADAは2段階の半教師付きモデルトレーニング手法を用いてシステム一般化性能を向上させる。
第1段階は半教師付きコントラスト学習、第2段階は半教師付き一貫性トレーニングとセントロイドアライメントを用いる。
大規模な実験により、GaitSADAはデータレギュレーションの低い場合の平均15.41%で代表的ドメイン適応法より優れていた。 mmWave radar-based gait recognition is a novel user identification method that captures human gait biometrics from mmWave radar return signals. This technology offers privacy protection and is resilient to weather and lighting conditions. However, its generalization performance is yet unknown and limits its practical deployment. To address this problem, in this paper, a non-synthetic dataset is collected and analyzed to reveal the presence of spatial and temporal domain shifts in mmWave gait biometric data, which significantly impacts identification accuracy. To address this issue, a novel self-aligned domain adaptation method called GaitSADA is proposed. GaitSADA improves system generalization performance by using a two-stage semi-supervised model training approach. The first stage uses semi-supervised contrastive learning and the second stage uses semi-supervised consistency training with centroid alignment. Extensive experiments show that GaitSADA outperforms representative domain adaptation methods by an average of 15.41% in low data regimes. | 翻訳日:2023-02-02 18:45:59 公開日:2023-02-01 |
| # PaCaNet:中国絵画・書画の多様化のための移行学習によるCycleGANの研究 PaCaNet: A Study on CycleGAN with Transfer Learning for Diversifying Fused Chinese Painting and Calligraphy ( http://arxiv.org/abs/2301.13082v3 ) ライセンス: Link先を確認 | Zuhao Yang, Huajun Bai, Zhang Luo, Yang Xu, Wei Pang, Yue Wang, Yisheng Yuan, Yingfang Yuan | (参考訳) AI-Generated Content(AIGC)は、その高効率性と本番環境での一貫性、カスタマイズと多様化の能力によって、最近人気が高まっている。
ほとんどのAIGC技術における表現学習メカニズムのクロスモダリティの性質は、過去には不可能だった新しいタイプのアートを探索する際の、より自由で柔軟性をもたらす。
漢字のピクトグラムのサブセットに触発されて、私たちは、伝統的な中国絵画と書道という2つの異なる芸術タイプを融合させる、新しい芸術作品を制作するためのサイクガンベースのパイプラインであるpacanetを提案しました。
安定的で多様化したアウトプットを生み出すために、私たちは3つの主要な技術革新を採用しました。
1 ワンショット学習を用いて、事前学習したモデルの創造性を高め、融合画像の内容の多様化を図る。
2. 事前学習モデルにおけるランダムサンプリングパラメータの凍結による中国語書道に対する嗜好の制御
3.中国絵画に類似した画像の制作を奨励するために正規化法を用いる。
さらに,中国絵画と書道の多様化にともなうPaCaNetの性能について,系統的研究を行い,満足な結果を得た。
結論として,絵画の視覚情報と中国書道の脳卒中の特徴を融合させることにより,芸術を創造する新たな方向性を提案する。
われわれのアプローチは、中国語のヒエログリフ文字の起源に根ざした独特の美的体験を生み出す。
また、伝統的な美術品を深く掘り下げて、伝統的遺産の保存と再生に有意義な影響を及ぼす特別な機会でもある。 AI-Generated Content (AIGC) has recently gained a surge in popularity, powered by its high efficiency and consistency in production, and its capability of being customized and diversified. The cross-modality nature of the representation learning mechanism in most AIGC technology allows for more freedom and flexibility in exploring new types of art that would be impossible in the past. Inspired by the pictogram subset of Chinese characters, we proposed PaCaNet, a CycleGAN-based pipeline for producing novel artworks that fuse two different art types, traditional Chinese painting and calligraphy. In an effort to produce stable and diversified output, we adopted three main technical innovations: 1. Using one-shot learning to increase the creativity of pre-trained models and diversify the content of the fused images. 2. Controlling the preference over generated Chinese calligraphy by freezing randomly sampled parameters in pre-trained models. 3. Using a regularization method to encourage the models to produce images similar to Chinese paintings. Furthermore, we conducted a systematic study to explore the performance of PaCaNet in diversifying fused Chinese painting and calligraphy, which showed satisfying results. In conclusion, we provide a new direction of creating arts by fusing the visual information in paintings and the stroke features in Chinese calligraphy. Our approach creates a unique aesthetic experience rooted in the origination of Chinese hieroglyph characters. It is also a unique opportunity to delve deeper into traditional artwork and, in doing so, to create a meaningful impact on preserving and revitalizing traditional heritage. | 翻訳日:2023-02-02 18:45:43 公開日:2023-02-01 |
| # 反対例からの指紋を用いたリバースエンジニアリング逆行攻撃 Reverse engineering adversarial attacks with fingerprints from adversarial examples ( http://arxiv.org/abs/2301.13869v2 ) ライセンス: Link先を確認 | David Aaron Nicholson, Vincent Emanuele | (参考訳) 強い研究努力にもかかわらず、ディープニューラルネットワークは敵の例に弱いままである。
逆例は典型的には、良性入力に追加される摂動を最適化する攻撃アルゴリズムによって生成される。
多くのアルゴリズムが開発されている。
もし敵の例から攻撃アルゴリズムをリバースエンジニアリングできるなら、帰属の可能性から悪役を抑えることができる。
ここでは,アルゴリズムやパラメータを表すクラスに逆例を割り当てることを目的として,教師付き学習問題としてリバースエンジニアリングを定式化する。
我々の知る限り、これが可能かどうかは以前にも示されていない。
まず,無防備な単一ラベル画像分類モデルに対する攻撃により,画像に付加される摂動を分類できるかどうかを検証する。
のアプローチを採用することで、深層ニューラルネットワークの感度を敵の例に利用し、これらの摂動を分類するように訓練します。
17クラスのデータセット(それぞれ4つのepsilon値で区切られた5つの攻撃)では、摂動をトレーニングしたresnet50モデルで99.4%の精度を達成しました。
次に、このタスクを摂動にアクセスせずに実行可能かどうかを問う。信号処理アルゴリズムを用いてそれらを推定し、これを「フィンガープリント」と呼ぶアプローチを得る。
JPEGアルゴリズムは単純だが効果的な指紋認証(85.05%の精度)として機能し、将来の作業に強力なベースラインを提供する。
我々は,無知で学習可能な指紋や,未知の攻撃を伴うオープンワールドシナリオに対して,我々のアプローチがどのように拡張されるかについて議論する。 In spite of intense research efforts, deep neural networks remain vulnerable to adversarial examples: an input that forces the network to confidently produce incorrect outputs. Adversarial examples are typically generated by an attack algorithm that optimizes a perturbation added to a benign input. Many such algorithms have been developed. If it were possible to reverse engineer attack algorithms from adversarial examples, this could deter bad actors because of the possibility of attribution. Here we formulate reverse engineering as a supervised learning problem where the goal is to assign an adversarial example to a class that represents the algorithm and parameters used. To our knowledge it has not been previously shown whether this is even possible. We first test whether we can classify the perturbations added to images by attacks on undefended single-label image classification models. Taking a "fight fire with fire" approach, we leverage the sensitivity of deep neural networks to adversarial examples, training them to classify these perturbations. On a 17-class dataset (5 attacks, 4 bounded with 4 epsilon values each), we achieve an accuracy of 99.4% with a ResNet50 model trained on the perturbations. We then ask whether we can perform this task without access to the perturbations, obtaining an estimate of them with signal processing algorithms, an approach we call "fingerprinting". We find the JPEG algorithm serves as a simple yet effective fingerprinter (85.05% accuracy), providing a strong baseline for future work. We discuss how our approach can be extended to attack agnostic, learnable fingerprints, and to open-world scenarios with unknown attacks. | 翻訳日:2023-02-02 18:36:15 公開日:2023-02-01 |
| # ユークリッドグラフのための完全ニューラルネットワーク Complete Neural Networks for Euclidean Graphs ( http://arxiv.org/abs/2301.13821v2 ) ライセンス: Link先を確認 | Snir Hordan, Tal Amir, Steven J. Gortler, Nadav Dym | (参考訳) 2-wl-様幾何グラフ同型検定を提案し,$\mathbb{r}^3$ のユークリッドグラフに適用すると完備であることが証明する。
次に,マルチセット埋め込みに関する最近の結果を用いて,等価分離パワーを持つ効率的な幾何gnnモデルを考案する。
我々は,GNNモデルが特に難解な合成例を分離できることを実証的に検証し,化学特性予測問題に対するその有用性を示す。 We propose a 2-WL-like geometric graph isomorphism test and prove it is complete when applied to Euclidean Graphs in $\mathbb{R}^3$. We then use recent results on multiset embeddings to devise an efficient geometric GNN model with equivalent separation power. We verify empirically that our GNN model is able to separate particularly challenging synthetic examples, and demonstrate its usefulness for a chemical property prediction problem. | 翻訳日:2023-02-02 18:35:50 公開日:2023-02-01 |
| # ニューラルウェーブレット領域拡散による3次元形状生成・反転・操作 Neural Wavelet-domain Diffusion for 3D Shape Generation, Inversion, and Manipulation ( http://arxiv.org/abs/2302.00190v1 ) ライセンス: Link先を確認 | Jingyu Hu, Ka-Hei Hui, Zhengzhe Liu, Ruihui Li and Chi-Wing Fu | (参考訳) 本稿では,ウェーブレット領域における連続的暗黙表現の直接生成モデルを用いて,3次元形状生成,反転,操作を行う新しい手法を提案する。
具体的には, 縮小符号付き距離関数と多元的バイオ正方形ウェーブレットを通した3次元形状を暗黙的に表現するための, 2対の粗大かつ細密な係数体積を持つコンパクトウェーブレット表現を提案する。
次に, 拡散型生成器を用いて, 粗い係数体積の形で様々な形状を生成可能なニューラルネットワークと, 微細構造や細部を導入するための互換性のある詳細係数体積を生成する詳細予測器を設計する。
さらに、エンコーダネットワークを共同で訓練することで、形状を反転させる潜在空間を学習し、多様な形状や領域を認識できる形状操作を可能にする。
定量的および定性的な実験結果から,最先端手法に対する我々のアプローチの説得力のある形状生成,反転,操作能力が示された。 This paper presents a new approach for 3D shape generation, inversion, and manipulation, through a direct generative modeling on a continuous implicit representation in wavelet domain. Specifically, we propose a compact wavelet representation with a pair of coarse and detail coefficient volumes to implicitly represent 3D shapes via truncated signed distance functions and multi-scale biorthogonal wavelets. Then, we design a pair of neural networks: a diffusion-based generator to produce diverse shapes in the form of the coarse coefficient volumes and a detail predictor to produce compatible detail coefficient volumes for introducing fine structures and details. Further, we may jointly train an encoder network to learn a latent space for inverting shapes, allowing us to enable a rich variety of whole-shape and region-aware shape manipulations. Both quantitative and qualitative experimental results manifest the compelling shape generation, inversion, and manipulation capabilities of our approach over the state-of-the-art methods. | 翻訳日:2023-02-02 18:13:14 公開日:2023-02-01 |
| # 信頼性のある少数ショット画像生成のための安定属性グループ編集 Stable Attribute Group Editing for Reliable Few-shot Image Generation ( http://arxiv.org/abs/2302.00179v1 ) ライセンス: Link先を確認 | Guanqi Ding, Xinzhe Han, Shuhui Wang, Xin Jin, Dandan Tu, Qingming Huang | (参考訳) 少数ショット画像生成は、少数のサンプルのみに基づいて、見えないカテゴリのデータを生成することを目的としている。
基本的なコンテンツ生成とは別に、ダウンストリームアプリケーションは、低データ検出や数ショットの分類など、このタスクの恩恵を期待できる。
この目的を達成するために、生成した画像は、視覚的品質と多様性を超えた分類のカテゴリー保持を保証する必要がある。
予備的な作業では,信頼性の高い少数ショット画像生成のための<editing-based'フレームワークであるAttribute Group Editing(AGE)を提案する。
それでも、下流分類におけるAGEのパフォーマンスは、期待したほど満足できない。
本稿では,クラス不整合問題を調査し,より安定したクラス関連画像生成のためのstable attribute group editing (sage)を提案する。
SAGEは与えられたいくつかの画像をすべて利用し、カテゴリ関連属性辞書に基づいてクラスセンターの埋め込みを推定する。
一方、カテゴリ関連属性辞書の投影重みによると、類似のカテゴリからカテゴリ関連属性を選択することができる。
その結果、SAGEはStyleGANの潜在空間に新しいクラスの分布全体を注入し、生成した画像のカテゴリ保持と安定性を保っている。
さらに,gan生成画像の下流分類では,クラス不整合が一般的な問題であることが判明した。
生成された画像はフォトリアリスティックに見え、カテゴリ関連編集を必要としないが、通常は下流分類の助けとなる。
生成モデルと分類モデルの両方の観点からこの問題を体系的に議論し、画素および周波数成分の増大によるSAGEの下流分類性能の向上を提案する。 Few-shot image generation aims to generate data of an unseen category based on only a few samples. Apart from basic content generation, a bunch of downstream applications hopefully benefit from this task, such as low-data detection and few-shot classification. To achieve this goal, the generated images should guarantee category retention for classification beyond the visual quality and diversity. In our preliminary work, we present an ``editing-based'' framework Attribute Group Editing (AGE) for reliable few-shot image generation, which largely improves the generation performance. Nevertheless, AGE's performance on downstream classification is not as satisfactory as expected. This paper investigates the class inconsistency problem and proposes Stable Attribute Group Editing (SAGE) for more stable class-relevant image generation. SAGE takes use of all given few-shot images and estimates a class center embedding based on the category-relevant attribute dictionary. Meanwhile, according to the projection weights on the category-relevant attribute dictionary, we can select category-irrelevant attributes from the similar seen categories. Consequently, SAGE injects the whole distribution of the novel class into StyleGAN's latent space, thus largely remains the category retention and stability of the generated images. Going one step further, we find that class inconsistency is a common problem in GAN-generated images for downstream classification. Even though the generated images look photo-realistic and requires no category-relevant editing, they are usually of limited help for downstream classification. We systematically discuss this issue from both the generative model and classification model perspectives, and propose to boost the downstream classification performance of SAGE by enhancing the pixel and frequency components. | 翻訳日:2023-02-02 18:12:55 公開日:2023-02-01 |
| # 一次元量子スピン系のニューラルネットワーク状態表現の効率性 Efficiency of neural-network state representations of one-dimensional quantum spin systems ( http://arxiv.org/abs/2302.00173v1 ) ライセンス: Link先を確認 | Ruizhi Pan (1), Charles W. Clark (1 and 2) ((1) Joint Quantum Institute, NIST/University of Maryland, College Park, MD, USA, (2) National Institute of Standards and Technology, Gaithersburg, Maryland, USA) | (参考訳) 量子多体系のニューラルネットワーク状態表現は注目され、その表現性や複雑性に関する厳密な定量的分析が保証されている。
1次元(1D)量子スピン系の制限ボルツマンマシン(RBM)状態表現の解析は、その計算複雑性に関する新たな洞察を与える。
我々は、トランケーション誤差の量子的上限を持つ長距離高速デカイ(LRFD)RBM状態のクラスを定義し、ほとんどの多項式複素数のLRFD RBMによって近似される可能性のある1次元量子系の大規模なクラスに関する数値的証拠を提供する。
これらの結果は、より広い範囲の量子系の基底状態が、他の状態表現がより効率的でない場合であっても、正確にLRFD RBMまたはそれらの変種によって表される可能性があるという予想を導いた。
最後に、複数の典型的な状態多様体の間の関係を提供する。
本研究は、自然にこの多様体のさらなる分類をもたらす汎用長距離rbmの複雑性解析を行うためのパラダイムを提案する。
このパラダイムと、それらの非局所構造の特徴は、RBMによって記述された量子多体状態の自然測度を理解する方法となり、高次元システムやディープニューラルネットワーク量子状態に対して一般化できる。 Neural-network state representations of quantum many-body systems are attracting great attention and more rigorous quantitative analysis about their expressibility and complexity is warranted. Our analysis of the restricted Boltzmann machine (RBM) state representation of one-dimensional (1D) quantum spin systems provides new insight into their computational complexity. We define a class of long-range-fast-decay (LRFD) RBM states with quantifiable upper bounds on truncation errors and provide numerical evidence for a large class of 1D quantum systems that may be approximated by LRFD RBMs of at most polynomial complexities. These results lead us to conjecture that the ground states of a wide range of quantum systems may be exactly represented by LRFD RBMs or a variant of them, even in cases where other state representations become less efficient. At last, we provide the relations between multiple typical state manifolds. Our work proposes a paradigm for doing complexity analysis for generic long-range RBMs which naturally yields a further classification of this manifold. This paradigm and our characterization of their nonlocal structures may pave the way for understanding the natural measure of complexity for quantum many-body states described by RBMs and are generalizable for higher-dimensional systems and deep neural-network quantum states. | 翻訳日:2023-02-02 18:12:28 公開日:2023-02-01 |
| # 安全かつ効率的なインタラクション計画のためのアクティブ不確実性削減:シールド型デュアル制御アプローチ Active Uncertainty Reduction for Safe and Efficient Interaction Planning: A Shielding-Aware Dual Control Approach ( http://arxiv.org/abs/2302.00171v1 ) ライセンス: Link先を確認 | Haimin Hu, David Isele, Sangjae Bae, Jaime F. Fisac | (参考訳) 相手の行動を正確に予測する能力は、人間とロボットのインタラクションやマルチロボットのチーム作業など、インタラクティブな環境でのロボットシステムの安全性と効率性の中心である。
残念ながら、ロボットは多くの場合、敵の目標、注意、協力意欲など、これらの予測が係わる重要な情報へのアクセスを欠いている。
二重制御理論は、予測モデルの未知のパラメータを隠蔽状態として扱い、システム操作中に収集された情報を用いて実行時にそれらの値を推測することでこの問題に対処する。
探索と搾取を最適かつ自動的にトレードオフできるが、双対制御は一般的な対話型モーションプランニングには計算的に難解である。
本稿では,暗黙的二重制御パラダイムに基づく対話型動作計画における能動的不確実性低減を実現するアルゴリズムを提案する。
提案手法は,確率的動的プログラミングのサンプリングに基づく近似に依拠し,モデル予測制御問題を引き起こす。
結果として得られた方針は、連続的およびカテゴリー的不確実性の両方を持つ幅広い予測モデルに対する双対制御効果を保つことが示される。
対話型エージェントの安全な運用を確保するために,安全クリティカルなイベントが間近に迫った場合,egoエージェントのデュアルコントロールポリシを安全フォールバック戦略でオーバーライドする,‘shielding’と呼ばれる監督制御スキームを利用する。
そこで我々は,最近提案された遮蔽対応の頑健な計画スキームの改良により,二元制御の枠組みを改良し,低確率相手の行動に起因した高コスト緊急操作のリスクと名目計画性能を積極的にバランスさせる。
シミュレーション駆動例と1/10スケールの自律走行車を用いたハードウェア実験により,本手法の有効性を実証した。 The ability to accurately predict the opponent's behavior is central to the safety and efficiency of robotic systems in interactive settings, such as human-robot interaction and multi-robot teaming tasks. Unfortunately, robots often lack access to key information on which these predictions may hinge, such as opponent's goals, attention, and willingness to cooperate. Dual control theory addresses this challenge by treating unknown parameters of a predictive model as hidden states and inferring their values at runtime using information gathered during system operation. While able to optimally and automatically trade off exploration and exploitation, dual control is computationally intractable for general interactive motion planning. In this paper, we present a novel algorithmic approach to enable active uncertainty reduction for interactive motion planning based on the implicit dual control paradigm. Our approach relies on sampling-based approximation of stochastic dynamic programming, leading to a model predictive control problem. The resulting policy is shown to preserve the dual control effect for a broad class of predictive models with both continuous and categorical uncertainty. To ensure the safe operation of the interacting agents, we leverage a supervisory control scheme, oftentimes referred to as ``shielding'', which overrides the ego agent's dual control policy with a safety fallback strategy when a safety-critical event is imminent. We then augment the dual control framework with an improved variant of the recently proposed shielding-aware robust planning scheme, which proactively balances the nominal planning performance with the risk of high-cost emergency maneuvers triggered by low-probability opponent's behaviors. We demonstrate the efficacy of our approach with both simulated driving examples and hardware experiments using 1/10 scale autonomous vehicles. | 翻訳日:2023-02-02 18:12:05 公開日:2023-02-01 |
| # 高分解能太陽予報のための拡散モデル Diffusion Models for High-Resolution Solar Forecasts ( http://arxiv.org/abs/2302.00170v1 ) ライセンス: Link先を確認 | Yusuke Hatanaka, Yannik Glaser, Geoff Galgon, Giuseppe Torri, Peter Sadowski | (参考訳) 将来の天候や気候を予測することは本質的に難しい。
機械学習は予測の精度と計算効率を向上させる新しいアプローチを提供するが、現在の手法では高次元予測における不確実性を正確にモデル化することはできない。
スコアに基づく拡散モデルは,多くの従属変数の確率分布をモデル化する新しい手法を提供し,本研究では,前例のない解像度,速度,精度で気象・気候変数の確率的予測を提供する方法を示す。
本手法は,高分解能気象衛星観測に高分解能気象予測を訓練した拡散モデルから多くの試料を生成することにより,日頭太陽照度予測に適用する。 Forecasting future weather and climate is inherently difficult. Machine learning offers new approaches to increase the accuracy and computational efficiency of forecasts, but current methods are unable to accurately model uncertainty in high-dimensional predictions. Score-based diffusion models offer a new approach to modeling probability distributions over many dependent variables, and in this work, we demonstrate how they provide probabilistic forecasts of weather and climate variables at unprecedented resolution, speed, and accuracy. We apply the technique to day-ahead solar irradiance forecasts by generating many samples from a diffusion model trained to super-resolve coarse-resolution numerical weather predictions to high-resolution weather satellite observations. | 翻訳日:2023-02-02 18:11:36 公開日:2023-02-01 |
| # Materia cu\'antica y din\'amica por mediciones Materia cu\'antica y din\'amica por mediciones ( http://arxiv.org/abs/2302.00167v1 ) ライセンス: Link先を確認 | Santiago F. Caballero-Benitez | (参考訳) 本稿では,2022年のUNAMのサマー・スクール・オブ・物理XXIXにおける「量子物質と測定誘起力学」のコースについて述べる。
光子損失によって引き起こされる動力学を研究するための有用な概念を記述し、シミュレーションの手法(量子軌道)を要約し、光学格子と高qキャビティのモデルの詳細を述べる。
メモはスペイン語です。
Materia cu\'antica y din\'amica inducida por medici\'on" de la escuela de verano de F\'isica XXIX (2022) en la UNAM。
las notas describes para estudiar la din\'amica emergente por efectos de medici\'on de fotones, se resume el m\'etodo para simulaci\'on (trayectorias cu\'anticas) y se dan detalles de modelos de materia cu\'antica y cavidades de alta reflectancia This article discusses some details of the course on "Quantum matter and measurement induced dynamics" given in the Summer School of Physics XXIX at UNAM in 2022. The notes describe useful concepts to study the dynamics induced by photon losses, the method for simulation (quantum trajectories) is summarized and details of models in optical lattices and high-Q cavities are given. The notes are in Spanish. En este art\'iculo se discuten algunos detalles del curso sobre "Materia cu\'antica y din\'amica inducida por medici\'on" de la escuela de verano de F\'isica XXIX (2022) en la UNAM. Las notas describen conceptos \'utiles para estudiar la din\'amica emergente por efectos de medici\'on de fotones, se resume el m\'etodo para simulaci\'on (trayectorias cu\'anticas) y se dan detalles de modelos de materia cu\'antica y cavidades de alta reflectancia. | 翻訳日:2023-02-02 18:11:25 公開日:2023-02-01 |
| # FLSTRA: 成層圏におけるフェデレーションラーニング FLSTRA: Federated Learning in Stratosphere ( http://arxiv.org/abs/2302.00163v1 ) ライセンス: Link先を確認 | Amin Farajzadeh, Animesh Yadav, Omid Abbasi, Wael Jaafar, Halim Yanikomeroglu | (参考訳) 本研究では,高高度プラットフォームステーション(haps)が多数の地上クライアントに対して,トレーニングデータを共有することなく協調的にグローバルモデルを学習させる,成層圏におけるフェデレート学習(flstra)システムを提案する。
FLSTRAは、クライアント参加の制限やマルチホップ通信による収束の遅さや通信遅延などの、地上ネットワークにおけるFLが直面する課題を克服する。
HAPSはその高度とサイズを活用して、ライン・オブ・ライト(LoS)リンクと強力なサーバの配置によるより多くのクライアントの参加を可能にする。
しかし、多くのクライアントを同時に扱うと、計算と送信の遅延が発生する。
そこで我々は、FLSTRAの遅延精度トレードオフを得る。
具体的には,エネルギー・サービス品質(qos)制約によるfl遅延を最小限に抑えるため,まず,アップリンク・ダウンリンクのためのクライアント選択・リソース割り当てアルゴリズムを開発した。
次に,通信・計算資源認識アルゴリズム(CCRA-FL)を提案し,その収束率の上限を導出しながら目標FL精度を実現する。
定式化問題は非凸であり,その解法として反復アルゴリズムを提案する。
シミュレーション結果は、FL遅延と精度の観点から、地上ベンチマークと比較して提案したFLSTRAシステムの有効性を示す。 We propose a federated learning (FL) in stratosphere (FLSTRA) system, where a high altitude platform station (HAPS) felicitates a large number of terrestrial clients to collaboratively learn a global model without sharing the training data. FLSTRA overcomes the challenges faced by FL in terrestrial networks, such as slow convergence and high communication delay due to limited client participation and multi-hop communications. HAPS leverages its altitude and size to allow the participation of more clients with line-of-sight (LoS) links and the placement of a powerful server. However, handling many clients at once introduces computing and transmission delays. Thus, we aim to obtain a delay-accuracy trade-off for FLSTRA. Specifically, we first develop a joint client selection and resource allocation algorithm for uplink and downlink to minimize the FL delay subject to the energy and quality-of-service (QoS) constraints. Second, we propose a communication and computation resource-aware (CCRA-FL) algorithm to achieve the target FL accuracy while deriving an upper bound for its convergence rate. The formulated problem is non-convex; thus, we propose an iterative algorithm to solve it. Simulation results demonstrate the effectiveness of the proposed FLSTRA system, compared to terrestrial benchmarks, in terms of FL delay and accuracy. | 翻訳日:2023-02-02 18:10:05 公開日:2023-02-01 |
| # 連続セグメント:CTスキャンにおける143個の全身臓器の単一・統一・アクセス可能な連続セグメントモデル Continual Segment: Towards a Single, Unified and Accessible Continual Segmentation Model of 143 Whole-body Organs in CT Scans ( http://arxiv.org/abs/2302.00162v1 ) ライセンス: Link先を確認 | Zhanghexuan Ji, Dazhou Guo, Puyang Wang, Ke Yan, Jia Ge, Xianghua Ye, Minfeng Xu, Jingren Zhou, Le Lu, Mingchen Gao, Dakai Jin | (参考訳) 深層学習は、主流の医療画像セグメンテーション方法を促進する。
それでも現在のディープセグメンテーションアプローチでは、新しいインクリメンタルセグメンテーションクラス(新しいトレーニングデータセットなど)を追加する必要がある場合、トレーニングされたモデルの効率的かつ効果的な適応と更新ができない。
実際の臨床環境では、患者のプライバシやデータストレージの障害により、以前のトレーニングデータセットに(再)アクセスすることなく、セグメント化モデルを動的に新しい臓器や腫瘍に拡張することが望ましい。
このプロセスは連続的セマンティックセグメンテーション(CSS)問題と見なすことができ、マルチ組織セグメンテーションのために検討されている。
本研究では,143個の全身臓器をセグメント化するための1つの深部分割モデルを学習するための新しいアーキテクチャCSS学習フレームワークを提案する。
エンコーダ/デコーダネットワーク構造を用いて、段階的に付加されたデコーダと組み合わされた連続的に訓練された冷凍エンコーダが、新しいクラスを後続かつ有効にセグメント化するための十分な代表画像特徴を抽出し保存できることを実証する。
単一ネットワークモデルの複雑性を維持するために,ニューラルネットワーク探索と教師-学生による知識蒸留を用いて,各デコーダを段階的にトリミングする。
異なるデータセットに現れる健全な臓器と病理組織の両方を組み込むため、異なるデコーダに由来する重複する臓器の予測をマージするために、新しい異常認識および信頼性学習モジュールが提案されている。
4つのデータセットから2500人以上の患者の3次元CTスキャンをトレーニングし、検証し、我々の1つのネットワークは、合計143体の臓器を非常に高い精度で分割することができ、4つの別々のセグメンテーションモデル(データセット/タスク毎の1モデル)をトレーニングすることで、上界のパフォーマンスレベルに近づきます。 Deep learning empowers the mainstream medical image segmentation methods. Nevertheless current deep segmentation approaches are not capable of efficiently and effectively adapting and updating the trained models when new incremental segmentation classes (along with new training datasets or not) are required to be added. In real clinical environment, it can be preferred that segmentation models could be dynamically extended to segment new organs/tumors without the (re-)access to previous training datasets due to obstacles of patient privacy and data storage. This process can be viewed as a continual semantic segmentation (CSS) problem, being understudied for multi-organ segmentation. In this work, we propose a new architectural CSS learning framework to learn a single deep segmentation model for segmenting a total of 143 whole-body organs. Using the encoder/decoder network structure, we demonstrate that a continually-trained then frozen encoder coupled with incrementally-added decoders can extract and preserve sufficiently representative image features for new classes to be subsequently and validly segmented. To maintain a single network model complexity, we trim each decoder progressively using neural architecture search and teacher-student based knowledge distillation. To incorporate with both healthy and pathological organs appearing in different datasets, a novel anomaly-aware and confidence learning module is proposed to merge the overlapped organ predictions, originated from different decoders. Trained and validated on 3D CT scans of 2500+ patients from four datasets, our single network can segment total 143 whole-body organs with very high accuracy, closely reaching the upper bound performance level by training four separate segmentation models (i.e., one model per dataset/task). | 翻訳日:2023-02-02 18:09:44 公開日:2023-02-01 |
| # マルチグレード深層学習 Multi-Grade Deep Learning ( http://arxiv.org/abs/2302.00150v1 ) ライセンス: Link先を確認 | Yuesheng Xu | (参考訳) 現在のディープラーニングモデルは、単一の非凸最適化問題を解決することで、ディープニューラルネットワークを学習するシングルグレードのモデルである。
ニューラルネットワークの層数が大きければ、そのようなタスクを効率的に実行することは計算的に困難である。
我々は,学級別に学習を配置する人間教育プロセスに着想を得て,学級に編成された小規模の最適化問題の多くを逐次解決し,学級ごとに浅いニューラルネットワークを学習するマルチグレード学習モデルを提案する。
具体的には、現在のグレードは、前のグレードから残りを学習することである。
それぞれの段階において、ニューラルネットワークの上部に積み重ねられた浅いニューラルネットワークを学習し、前段階で学習し、現在の段階と将来の段階のトレーニングでは変わらないままである。
深層ニューラルネットワークを学習していくつかの浅いニューラルネットワークを学ぶタスクを分割することにより、元の最適化問題の非凸性の深刻さを軽減できる。
学習のすべての段階が完了すると、学習された最後のニューラルネットワークは、すべての段階から学習されたネットワークの重ね合わせである階段型ニューラルネットワークである。
このようなモデルにより、ディープニューラルネットワークをより効率的かつ効率的に学習することができる。
さらに、マルチグレード学習は自然に適応学習につながる。
関数近似の文脈において、新しいグレードによって生成されたニューラルネットワークが非自明であれば、そのグレードの最適誤差は前のグレードの最適誤差から厳密に低減される。
さらに,提案する多段モデルが従来の単段モデルを大幅に上回り,従来モデルよりもはるかに頑健であることを示す,概念実証の数値例をいくつか提示する。 The current deep learning model is of a single-grade, that is, it learns a deep neural network by solving a single nonconvex optimization problem. When the layer number of the neural network is large, it is computationally challenging to carry out such a task efficiently. Inspired by the human education process which arranges learning in grades, we propose a multi-grade learning model: We successively solve a number of optimization problems of small sizes, which are organized in grades, to learn a shallow neural network for each grade. Specifically, the current grade is to learn the leftover from the previous grade. In each of the grades, we learn a shallow neural network stacked on the top of the neural network, learned in the previous grades, which remains unchanged in training of the current and future grades. By dividing the task of learning a deep neural network into learning several shallow neural networks, one can alleviate the severity of the nonconvexity of the original optimization problem of a large size. When all grades of the learning are completed, the final neural network learned is a stair-shape neural network, which is the superposition of networks learned from all grades. Such a model enables us to learn a deep neural network much more effectively and efficiently. Moreover, multi-grade learning naturally leads to adaptive learning. We prove that in the context of function approximation if the neural network generated by a new grade is nontrivial, the optimal error of the grade is strictly reduced from the optimal error of the previous grade. Furthermore, we provide several proof-of-concept numerical examples which demonstrate that the proposed multi-grade model outperforms significantly the traditional single-grade model and is much more robust than the traditional model. | 翻訳日:2023-02-02 18:09:09 公開日:2023-02-01 |
| # 生成的対向対称性発見 Generative Adversarial Symmetry Discovery ( http://arxiv.org/abs/2302.00236v1 ) ライセンス: Link先を確認 | Jianke Yang, Robin Walters, Nima Dehmamy, Rose Yu | (参考訳) 科学応用における等価ニューラルネットワークの成功にもかかわらず、それらは対称性群 a を事前に知る必要がある。
しかし、実際に誘導バイアスとして使用する適切な対称性を知ることは困難であり、間違った対称性を強制することは性能を損なう可能性がある。
本稿では,生成的対人訓練に類似したパラダイムを用いて,データセットから同値を自動的に検出するフレームワークLieGANを提案する。
具体的には、ジェネレータがデータに適用された変換群を学習し、元の分布を保持し、判別器を騙す。
リーGANは対称性を解釈可能なリー代数基底として表現し、回転群 $\mathrm{SO}(n)$ や制限ローレンツ群 $\mathrm{SO}(1,3)^+$ のような様々な対称性を軌道予測やトップクォークタグタスクにおいて発見することができる。
学習された対称性は、予測の精度と一般化を改善するために、既存の同変ニューラルネットワークで容易に利用できる。 Despite the success of equivariant neural networks in scientific applications, they require knowing the symmetry group a priori. However, it may be difficult to know the right symmetry to use as an inductive bias in practice and enforcing the wrong symmetry could hurt the performance. In this paper, we propose a framework, LieGAN, to automatically discover equivariances from a dataset using a paradigm akin to generative adversarial training. Specifically, a generator learns a group of transformations applied to the data, which preserves the original distribution and fools the discriminator. LieGAN represents symmetry as interpretable Lie algebra basis and can discover various symmetries such as rotation group $\mathrm{SO}(n)$ and restricted Lorentz group $\mathrm{SO}(1,3)^+$ in trajectory prediction and top quark tagging tasks. The learned symmetry can also be readily used in several existing equivariant neural networks to improve accuracy and generalization in prediction. | 翻訳日:2023-02-02 18:03:20 公開日:2023-02-01 |
| # 量子センサを用いたフォノンコヒーレンスの研究 Studying phonon coherence with a quantum sensor ( http://arxiv.org/abs/2302.00221v1 ) ライセンス: Link先を確認 | Agnetta Y. Cleland, E. Alex Wollack, Amir H. Safavi-Naeini | (参考訳) 量子技術の分野では、ナノメカニカル発振器はそのコンパクトなサイズ、長寿命、力や動きを検出する能力から、多くの有用な特性を提供する。
超伝導量子回路との統合により、機械的なコヒーレント状態の重ね合わせに基づくハードウェア効率の高い計算アーキテクチャと誤り訂正プロトコルが期待できる。
このアプローチの1つの制限は、機械振動子に影響を与えるデコヒーレンスプロセスである。
特に興味深いのは、共振器ホスト材料の2レベルシステム(tls)欠陥であり、主に材料損失接点の測定によって古典領域で広く研究されている。
本原稿では,量子センサとして超伝導量子ビットを用い,フォノン数分解測定をフォノン結晶空洞上で行う。
これにより、メカニカルな散逸と可変サイズのコヒーレント状態(平均音素数$\navg\simeq1-10$)の強調の高分解能な研究が可能になる。
我々は,TLSとの相互作用に起因する非指数エネルギー崩壊と脱落速度の状態サイズ依存的な減少を観察する。
数値モデルを用いて、機械的放出によるエネルギー崩壊シグネチャ(およびより少ない程度、デファス化シグネチャ)を、飽和で急速にデファス化するTLSの小さなアンサンブル(N=5$)に再現する。
量子状態におけるTLSによるフォノン脱コヒーレンスを詳細に検討した。 In the field of quantum technology, nanomechanical oscillators offer a host of useful properties given their compact size, long lifetimes, and ability to detect force and motion. Their integration with superconducting quantum circuits shows promise for hardware-efficient computation architectures and error-correction protocols based on superpositions of mechanical coherent states. One limitation of this approach is decoherence processes affecting the mechanical oscillator. Of particular interest are two-level system (TLS) defects in the resonator host material, which have been widely studied in the classical domain, primarily via measurements of the material loss tangent. In this manuscript, we use a superconducting qubit as a quantum sensor to perform phonon number-resolved measurements on a phononic crystal cavity. This enables a high-resolution study of mechanical dissipation and dephasing in coherent states of variable size (mean phonon number $\navg\simeq1-10$). We observe nonexponential energy decay and a state size-dependent reduction of the dephasing rate, which we attribute to interactions with TLS. Using a numerical model, we reproduce the energy decay signatures (and to a lesser extent, the dephasing signatures) via mechanical emission into a small ensemble ($N=5$) of saturable and rapidly dephasing TLS. Our findings comprise a detailed examination of TLS-induced phonon decoherence in the quantum regime. | 翻訳日:2023-02-02 18:03:01 公開日:2023-02-01 |
| # グラフ上の知識蒸留:調査 Knowledge Distillation on Graphs: A Survey ( http://arxiv.org/abs/2302.00219v1 ) ライセンス: Link先を確認 | Yijun Tian, Shichao Pei, Xiangliang Zhang, Chuxu Zhang, Nitesh V. Chawla | (参考訳) グラフニューラルネットワーク(GNN)は、グラフデータを扱う能力を示すことで、大きな注目を集めている。
しかし、モデルのサイズやマルチホップデータ依存によるスケーラビリティの制約により、リソース制限されたデバイスにデプロイすることは困難である。
加えて、現実世界のグラフは通常複雑な構造情報と特徴を持っている。
したがって、GNNの適用性を改善し、複雑なトポロジ情報を完全にエンコードするために、グラフ上の知識蒸留(KDG)を導入し、より小型で効果的なモデルを構築し、データからより多くの知識を活用することにより、モデル圧縮と性能の向上を実現している。
近年、KDGは多くの研究でかなりの進歩を遂げている。
本稿では,これらの研究を体系的にレビューする。
具体的には、まずKDGの課題と基礎を紹介し、次に、以下の3つの質問に答えることで、KDGの既存の成果を分類し、要約する。
1)何を蒸留するか。
2)誰が誰に,そして
3)蒸留の仕方。
最後に,今後の研究方向性について考察する。 Graph Neural Networks (GNNs) have attracted tremendous attention by demonstrating their capability to handle graph data. However, they are difficult to be deployed in resource-limited devices due to model sizes and scalability constraints imposed by the multi-hop data dependency. In addition, real-world graphs usually possess complex structural information and features. Therefore, to improve the applicability of GNNs and fully encode the complicated topological information, knowledge distillation on graphs (KDG) has been introduced to build a smaller yet effective model and exploit more knowledge from data, leading to model compression and performance improvement. Recently, KDG has achieved considerable progress with many studies proposed. In this survey, we systematically review these works. Specifically, we first introduce KDG challenges and bases, then categorize and summarize existing works of KDG by answering the following three questions: 1) what to distillate, 2) who to whom, and 3) how to distillate. Finally, we share our thoughts on future research directions. | 翻訳日:2023-02-02 18:02:37 公開日:2023-02-01 |
| # 連続的なスピン環境をもつスピン緩和ダイナミクス--運動方程式の解法 Spin relaxation dynamics with a continuous spin environment: the dissipaton equation of motion approach ( http://arxiv.org/abs/2302.00215v1 ) ライセンス: Link先を確認 | Wenxiang Ying, Yu Su, Zi-Hao Chen, Yao Wang, Pengfei Huo | (参考訳) スピンカップリングの量子力学を、ディシパトン運動方程式(DEOM)を用いて独立スピンの浴に提示する。
連続的なスペクトル密度関数によって特徴づけられる浴は、su(2) リー代数によって記述される独立したレベル系であるスピンからなる。
これはアンハーモニックな環境の極端なクラスを表している。
Based on the conclusion drawn by Suarez and Silbey [J. Chem. Phys. 95, 9115 (1991)] and Makri [J. Chem. Phys. 111, 6164 (1999)] that the spin bath can be mapped to a Gaussian environment under its linear response limit, we derive the fluctuation-dissipation theorem (FDT) of the spin bath from a microscopic perspective, and generalize the discussion to the case of arbitrary bath spin quantum number S. Next, the time-domain Prony fitting decomposition scheme is applied to the bare-bath time correlation function (TCF) given by FDT to generate the exponential decay basis (or pseudo modes) for DEOM construction.
この戦略の正確性と効率は様々な数値結果によって正当化されている。
我々はこの研究が、任意のTCFまたはスペクトル密度を持つ特定の種類の無調和環境に階層的運動方程式(HEOM)とDEOMアプローチを拡張するための新しい洞察を提供することを期待している。 We present the quantum dynamics of a spin coupling to a bath of independent spins via the dissipaton equation of motion (DEOM) approach. The bath, characterized by a continuous spectral density function, is composed of spins that are independent level systems described by the su(2) Lie algebra. This represents an extreme class of anharmonic environment. Based on the conclusion drawn by Suarez and Silbey [J. Chem. Phys. 95, 9115 (1991)] and Makri [J. Chem. Phys. 111, 6164 (1999)] that the spin bath can be mapped to a Gaussian environment under its linear response limit, we derive the fluctuation-dissipation theorem (FDT) of the spin bath from a microscopic perspective, and generalize the discussion to the case of arbitrary bath spin quantum number S. Next, the time-domain Prony fitting decomposition scheme is applied to the bare-bath time correlation function (TCF) given by FDT to generate the exponential decay basis (or pseudo modes) for DEOM construction. The accuracy and efficiency of this strategy has been justified by a variety of numerical results. We envision this work provides new insights to extend the hierarchical equations of motion (HEOM) and DEOM approach to certain types of anharmonic enviroments with arbitrary TCF or spectral density | 翻訳日:2023-02-02 18:02:21 公開日:2023-02-01 |
| # エッジネットワークにおける分散トラフィック合成と分類:フェデレーション型自己教師型学習アプローチ Distributed Traffic Synthesis and Classification in Edge Networks: A Federated Self-supervised Learning Approach ( http://arxiv.org/abs/2302.00207v1 ) ライセンス: Link先を確認 | Yong Xiao, Rong Xia, Yingyu Li, Guangming Shi, Diep N. Nguyen, Dinh Thai Hoang, Dusit Niyato, Marwan Krunz | (参考訳) ワイヤレスサービスの需要が高まり、データ保護の必要性に対する認識が高まる中、既存のネットワークトラフィック分析と管理アーキテクチャは、ますます多様化するサービスやアプリケーションの分類と合成において、前例のない課題に直面している。
本稿では,多種多様なデータセットを対象とした自動トラフィック解析と合成を支援する,フェデレーション付き自己教師付き学習フレームワークFS-GANを提案する。
FS-GANは、複数の分散型ジェネレータネットワーク(GAN)で構成され、各ジェネレータは、個々のサービストラフィックの分布に従って合成データサンプルを生成するように設計され、各識別器は、ローカルデータセットの合成データサンプルと実際のデータサンプルを区別するように訓練されている。
異なるデータセットにまたがる異なるganのローカルモデルトレーニングプロセスを調整するために、連合学習ベースのフレームワークが採用されている。
FS-GANは未知のサービスのデータを分類し、未知のタイプのトラフィック分布をキャプチャする合成サンプルを作成する。
FS-GANは,全データセットにおける実データ分布と合成データサンプル間のJensen-Shannon Divergence (JSD) を最小化できることを示す。
FS-GANはまた、異なるジェネレータによって生成されたデータサンプルの分布の中でJSDを最大化し、それぞれのジェネレータは特定のサービスタイプと同じ分布に従う合成データサンプルを生成する。
FS-GANの分類精度は,最先端クラスタリングに基づくトラフィック解析アルゴリズムと比較して平均20%以上向上している。
FS-GANは、人間ラベルのデータサンプルを必要とせずに、非常に複雑な交通種類の混合物を合成する機能もある。 With the rising demand for wireless services and increased awareness of the need for data protection, existing network traffic analysis and management architectures are facing unprecedented challenges in classifying and synthesizing the increasingly diverse services and applications. This paper proposes FS-GAN, a federated self-supervised learning framework to support automatic traffic analysis and synthesis over a large number of heterogeneous datasets. FS-GAN is composed of multiple distributed Generative Adversarial Networks (GANs), with a set of generators, each being designed to generate synthesized data samples following the distribution of an individual service traffic, and each discriminator being trained to differentiate the synthesized data samples and the real data samples of a local dataset. A federated learning-based framework is adopted to coordinate local model training processes of different GANs across different datasets. FS-GAN can classify data of unknown types of service and create synthetic samples that capture the traffic distribution of the unknown types. We prove that FS-GAN can minimize the Jensen-Shannon Divergence (JSD) between the distribution of real data across all the datasets and that of the synthesized data samples. FS-GAN also maximizes the JSD among the distributions of data samples created by different generators, resulting in each generator producing synthetic data samples that follow the same distribution as one particular service type. Extensive simulation results show that the classification accuracy of FS-GAN achieves over 20% improvement in average compared to the state-of-the-art clustering-based traffic analysis algorithms. FS-GAN also has the capability to synthesize highly complex mixtures of traffic types without requiring any human-labeled data samples. | 翻訳日:2023-02-02 18:02:03 公開日:2023-02-01 |
| # 相互情報基準を用いた非侵襲的胎児心電図抽出のための電極選択 Electrode Selection for Noninvasive Fetal Electrocardiogram Extraction using Mutual Information Criteria ( http://arxiv.org/abs/2302.00206v1 ) ライセンス: Link先を確認 | Reza Sameni and Fr\'ed\'eric Vrins and Fabienne Parmentier and Christophe H\'erail and Vincent Vigneron and Michel Verleysen and Christian Jutten and Mohammad B. Shamsollahi | (参考訳) ブラインドソース分離(BSS)技術は、バイオメディカル信号処理の応用において有望なアプローチであることが判明した。
特に,胎児心電図の全成分の抽出が困難であった母体腹部記録から胎児心信号の非侵襲的抽出について検討した。
これまでの研究では、妊婦の腹部によく配置された慎重に選択された電極は、胎児の全成分を抽出するために、bssに必要な「情報」を含んでいると考えられている。
この考え方に基づき、従来のワークスアレイ記録システムと、相互情報(mi)基準に基づくセンサ選択戦略が開発されている。
本稿では, 心臓電気活動の三次元的側面を考慮し, 先行研究を拡張した。
提案手法は, 模擬および実母性腹腔鏡を用いて検討した。
以上の結果から,MI基準とともに,胎児心電図成分に関する最も「情報」を含むチャネルを72レコードの配列から選択するために,新たなセンサ選択戦略を効果的に活用できることが示唆された。
この手法は、胎児の位置や運動が異なることを考慮して、オンラインアプリケーションにおいて最も情報に富むチャネルの選択に有用であると考えられている。 Blind source separation (BSS) techniques have revealed to be promising approaches for, among other, biomedical signal processing applications. Specifically, for the noninvasive extraction of fetal cardiac signals from maternal abdominal recordings, where conventional filtering schemes have failed to extract the complete fetal ECG components. From previous studies, it is now believed that a carefully selected array of electrodes well-placed over the abdomen of a pregnant woman contains the required `information' for BSS, to extract the complete fetal components. Based on this idea, in previous works array recording systems and sensor selection strategies based on the Mutual Information (MI) criterion have been developed. In this paper the previous works have been extended, by considering the 3-dimensional aspects of the cardiac electrical activity. The proposed method has been tested on simulated and real maternal abdominal recordings. The results show that the new sensor selection strategy together with the MI criterion, can be effectively used to select the channels containing the most `information' concerning the fetal ECG components from an array of 72 recordings. The method is hence believed to be useful for the selection of the most informative channels in online applications, considering the different fetal positions and movements. | 翻訳日:2023-02-02 18:01:31 公開日:2023-02-01 |
| # エンド・ツー・エンドフル原子抗体設計 End-to-End Full-Atom Antibody Design ( http://arxiv.org/abs/2302.00203v1 ) ライセンス: Link先を確認 | Xiangzhe Kong, Wenbing Huang, Yang Liu | (参考訳) 抗体の設計は治療や生物学といった様々な分野において必須だが困難な課題である。
現在の学習手法には2つの大きな欠陥がある。
1) 抗体設計パイプライン全体の特定のサブタスクのみに取り組むことで, 最適あるいは資源集約化を実現した。
2) フレームワーク領域またはサイドチェーンのどちらかを省略することで、フル原子の形状を捉えることができない。
これらの落とし穴に対処するために, エピトープと不完全配列を付与したE(3)-equivariant 抗体設計のためのエンド・ツー・エンドフル原子モデルである動的マルチチャネル等価型graAph Network (dyMEAN)を提案する。
具体的には、まず、抗体構造の知識に富んだ推測として構造初期化を探求し、エピトープ-抗体結合をブリッジするシャドーパラトープを提案する。
1D配列と3D構造は、完全な原子を考える際に、可変サイズのタンパク質残基を処理できる適応型多チャンネル同変エンコーダによって更新される。
最後に、更新された抗体は、シャドウパラトープのアライメントを介してエピトープにドッキングされる。
エピトープ結合型cdr-h3設計、複雑な構造予測、親和性最適化の実験は、エンドツーエンドフレームワークとフルアトムモデリングの優位性を示しています。 Antibody design is an essential yet challenging task in various domains like therapeutics and biology. There are two major defects in current learning-based methods: 1) tackling only a certain subtask of the whole antibody design pipeline, making them suboptimal or resource-intensive. 2) omitting either the framework regions or side chains, thus incapable of capturing the full-atom geometry. To address these pitfalls, we propose dynamic Multi-channel Equivariant grAph Network (dyMEAN), an end-to-end full-atom model for E(3)-equivariant antibody design given the epitope and the incomplete sequence of the antibody. Specifically, we first explore structural initialization as a knowledgeable guess of the antibody structure and then propose shadow paratope to bridge the epitope-antibody connections. Both 1D sequences and 3D structures are updated via an adaptive multi-channel equivariant encoder that is able to process protein residues of variable sizes when considering full atoms. Finally, the updated antibody is docked to the epitope via the alignment of the shadow paratope. Experiments on epitope-binding CDR-H3 design, complex structure prediction, and affinity optimization demonstrate the superiority of our end-to-end framework and full-atom modeling. | 翻訳日:2023-02-02 18:01:11 公開日:2023-02-01 |
| # 重量予測はAdamWの収束を高める Weight Prediction Boosts the Convergence of AdamW ( http://arxiv.org/abs/2302.00195v1 ) ライセンス: Link先を確認 | Lei Guan | (参考訳) 本稿では、ディープニューラルネットワーク(DNN)モデルをトレーニングする際の収束を高めるために、AdamWオプティマイザに重み予測を導入する。
特に、各ミニバッチトレーニングの前に、AdamWの更新ルールに従って将来の重量を予測し、予測された将来の重量を前方通過と後方伝播の両方に応用する。
このように、AdamWオプティマイザは、常に現在の重みではなく将来の重みの勾配を利用してDNNパラメータを更新し、AdamWオプティマイザはより良い収束を達成する。
提案手法は単純で実装が容易だが, DNN トレーニングの収束性向上に有効である。
提案手法の有効性を検証するため,画像分類と言語モデリングタスクについて広範な実験を行った。
実験の結果,提案手法はDNNモデルのトレーニングにおいて,AdamWの収束を向上し,AdamWよりも精度がよいことがわかった。 In this paper, we introduce weight prediction into the AdamW optimizer to boost its convergence when training the deep neural network (DNN) models. In particular, ahead of each mini-batch training, we predict the future weights according to the update rule of AdamW and then apply the predicted future weights to do both forward pass and backward propagation. In this way, the AdamW optimizer always utilizes the gradients w.r.t. the future weights instead of current weights to update the DNN parameters, making the AdamW optimizer achieve better convergence. Our proposal is simple and straightforward to implement but effective in boosting the convergence of DNN training. We performed extensive experimental evaluations on image classification and language modeling tasks to verify the effectiveness of our proposal. The experimental results validate that our proposal can boost the convergence of AdamW and achieve better accuracy than AdamW when training the DNN models. | 翻訳日:2023-02-02 18:00:49 公開日:2023-02-01 |
| # ドメイン敵トレーニングのための無料ランチ:環境ラベル平滑化 Free Lunch for Domain Adversarial Training: Environment Label Smoothing ( http://arxiv.org/abs/2302.00194v1 ) ライセンス: Link先を確認 | YiFan Zhang, Xue Wang, Jian Liang, Zhang Zhang, Liang Wang, Rong Jin, Tieniu Tan | (参考訳) 機械学習モデルの基本的な課題は、ood(out-of-distribution)データの学習モデルを一般化する方法である。
様々なアプローチの中で、ドメイン敵訓練(dat)による不変特徴の活用が広く注目を集めた。
DAT からのトレーニング不安定性は,DAT の信頼性が高すぎる領域判別器と環境ラベルノイズが原因である。
この問題に対処するため,我々は,識別器がソフト確率を出力することを奨励する環境ラベル平滑化(ELS)を提案し,識別器の信頼性を低下させ,ノイズの多い環境ラベルの影響を軽減する。
我々は,elsが学習安定性,局所収束性,雑音環境ラベルのロバスト性を向上させることを実験的および理論的に実証する。
DAT手法にESSを組み込むことで、特に環境ラベルが騒がしい場合に、幅広い領域の一般化/適応タスクに対して最先端の結果を得ることができる。 A fundamental challenge for machine learning models is how to generalize learned models for out-of-distribution (OOD) data. Among various approaches, exploiting invariant features by Domain Adversarial Training (DAT) received widespread attention. Despite its success, we observe training instability from DAT, mostly due to over-confident domain discriminator and environment label noise. To address this issue, we proposed Environment Label Smoothing (ELS), which encourages the discriminator to output soft probability, which thus reduces the confidence of the discriminator and alleviates the impact of noisy environment labels. We demonstrate, both experimentally and theoretically, that ELS can improve training stability, local convergence, and robustness to noisy environment labels. By incorporating ELS with DAT methods, we are able to yield state-of-art results on a wide range of domain generalization/adaptation tasks, particularly when the environment labels are highly noisy. | 翻訳日:2023-02-02 18:00:32 公開日:2023-02-01 |
| # $\rm A^2Q$: グラフニューラルネットワークの集約型量子化 $\rm A^2Q$: Aggregation-Aware Quantization for Graph Neural Networks ( http://arxiv.org/abs/2302.00193v1 ) ライセンス: Link先を確認 | Zeyu Zhu, Fanrong Li, Zitao Mo, Qinghao Hu, Gang Li, Zejian Liu, Xiaoyao Liang, Jian Cheng | (参考訳) グラフデータのサイズが大きくなるにつれて、推論中の膨大なレイテンシとメモリ消費が、グラフニューラルネットワーク(GNN)の現実的な展開に重大な課題をもたらす。
量子化はGNNの複雑性を低減するための強力なアプローチであるが、GNNの量子化に関するこれまでのほとんどの研究は、GNNの特異な特性を利用することができず、精度の低下に悩まされていた。
GNNのトポロジを詳細に分析することにより、グラフのトポロジがノード間で大きな違いをもたらすのを観察し、グラフ内のほとんどのノードは小さなアグリゲーション値を持っているように見える。
本稿では,グラフの各ノードに適切なビット幅を自動的に学習して割り当てるGNNに対して,Aggregation-Aware Mixed-precision Quantization(\rm A^2Q$)を提案する。
そこで,ノード間の疎結合による消失勾配問題を軽減するため,ノード特徴の量子化誤差を学習中の監視として適用する局所勾配法を提案する。
また,未知グラフの一般化を扱うための最寄りの近傍戦略を考案する。
8つの公開ノードレベルおよびグラフレベルのデータセットに対する大規模な実験により、提案手法の汎用性と堅牢性を示す。
FP32モデルと比較して、我々の手法は18.6x(すなわち1.70bit)の圧縮比を無視できる精度で達成できる。
さらに,現状の量子化法と比較して,ノードレベルとグラフレベルのタスクでは最大11.4\%,9.5\%の精度向上を実現し,専用ハードウェアアクセラレータでは最大2倍の高速化を実現している。 As graph data size increases, the vast latency and memory consumption during inference pose a significant challenge to the real-world deployment of Graph Neural Networks (GNNs). While quantization is a powerful approach to reducing GNNs complexity, most previous works on GNNs quantization fail to exploit the unique characteristics of GNNs, suffering from severe accuracy degradation. Through an in-depth analysis of the topology of GNNs, we observe that the topology of the graph leads to significant differences between nodes, and most of the nodes in a graph appear to have a small aggregation value. Motivated by this, in this paper, we propose the Aggregation-Aware mixed-precision Quantization ($\rm A^2Q$) for GNNs, where an appropriate bitwidth is automatically learned and assigned to each node in the graph. To mitigate the vanishing gradient problem caused by sparse connections between nodes, we propose a Local Gradient method to serve the quantization error of the node features as the supervision during training. We also develop a Nearest Neighbor Strategy to deal with the generalization on unseen graphs. Extensive experiments on eight public node-level and graph-level datasets demonstrate the generality and robustness of our proposed method. Compared to the FP32 models, our method can achieve up to a 18.6x (i.e., 1.70bit) compression ratio with negligible accuracy degradation. Morever, compared to the state-of-the-art quantization method, our method can achieve up to 11.4\% and 9.5\% accuracy improvements on the node-level and graph-level tasks, respectively, and up to 2x speedup on a dedicated hardware accelerator. | 翻訳日:2023-02-02 18:00:16 公開日:2023-02-01 |
| # 自律運転における高精度モデルのリアルタイムレンダリング技術の開発 Development of Real-time Rendering Technology for High-Precision Models in Autonomous Driving ( http://arxiv.org/abs/2302.00291v1 ) ライセンス: Link先を確認 | Zhang Whencheng and Wang Chengyi | (参考訳) 私たちの自動運転シミュレーションラボは、駐車場をシミュレートする高精度の3dモデルを作成します。
しかしながら、現在のモデルは、いくつかの点でレンダリング品質が劣っている。
本研究では,モデルのレンダリングを改善し,レンダリングされたモデルの品質を評価するシステムを開発する。 Our autonomous driving simulation lab produces a high-precision 3D model simulating the parking lot. However, the current model still has poor rendering quality in some aspects. In this work, we develop a system to improve the rendering of the model and evaluate the quality of the rendered model. | 翻訳日:2023-02-02 17:53:24 公開日:2023-02-01 |
| # 参照ボックス制約による多スペクトル歩行者検出とモダリティバランス最適化 Multispectral Pedestrian Detection via Reference Box Constrained Cross Attention and Modality Balanced Optimization ( http://arxiv.org/abs/2302.00290v1 ) ライセンス: Link先を確認 | Yinghui Xing, Song Wang, Guoqiang Liang, Qingyi Li, Xiuwei Zhang, Shizhou Zhang, Yanning Zhang | (参考訳) 可視・熱変調は特に低照度条件下で相補的な情報を提供することができるため、多スペクトル歩行者検出は、多くの時空応用にとって重要な課題である。
利用可能なマルチスペクトル歩行者検出器における手動設計部品の影響を低減するため,変形可能なDETRをマルチモーダルパラダイムに拡張したマルチスペクトル歩行者検出TRansformer (MS-DETR)を提案する。
マルチモーダル学習プロセスを容易にするために、まず、参照ボックスと参照ボックスとの融合分岐を仲介するマルチモーダルトランスデコーダに、制約付きクロスアテンション(rcca)モジュールを導入して、可視性と熱的モダリティの相互作用を可能にする。
そこで本研究では,3枝のインスタンスレベルの重みを適応的に調整することで,デコーダのスロットを整列させるモダリティバランス最適化戦略を設計する。
我々のエンドツーエンドのMS-DETRは、挑戦的なKAISTとCVC-14ベンチマークデータセットよりも優れた性能を示している。 Multispectral pedestrian detection is an important task for many around-the-clock applications, since the visible and thermal modalities can provide complementary information especially under low light conditions. To reduce the influence of hand-designed components in available multispectral pedestrian detectors, we propose a MultiSpectral pedestrian DEtection TRansformer (MS-DETR), which extends deformable DETR to multi-modal paradigm. In order to facilitate the multi-modal learning process, a Reference box Constrained Cross-Attention (RCCA) module is firstly introduced to the multi-modal Transformer decoder, which takes fusion branch together with the reference boxes as intermediaries to enable the interaction of visible and thermal modalities. To further balance the contribution of different modalities, we design a modality-balanced optimization strategy, which aligns the slots of decoders by adaptively adjusting the instance-level weight of three branches. Our end-to-end MS-DETR shows superior performance on the challenging KAIST and CVC-14 benchmark datasets. | 翻訳日:2023-02-02 17:53:21 公開日:2023-02-01 |
| # 反統一と一般化:調査 Anti-unification and Generalization: A Survey ( http://arxiv.org/abs/2302.00277v1 ) ライセンス: Link先を確認 | David M. Cerna and Temur Kutsia | (参考訳) anti-unification (au) または generalization,1 はインダクティブな in-2 参照に使われる基本演算であり、定理証明の基礎における an3 演算である。
AIと関連するコミュニティ5からのAUの4分の1は成長しているが、6の概念の体系的な研究や既存の研究の調査がなければ、調査7はしばしば、既存のアプローチによってカバーされる可能性のあるアプリケーション固有のmeth-8 odの開発に頼っている。
We9は、AU研究とそのap-10に関する最初の調査と、既存の開発と将来の開発を分類する11の一般的なフレームワークを提供する。 Anti-unification (AU), also known as generalization,1 is a fundamental operation used for inductive in-2 ference and is the dual operation to unification, an3 operation at the foundation of theorem proving. In-4 terest in AU from the AI and related communities5 is growing, but without a systematic study of the6 concept, nor surveys of existing work, investigations7 often resort to developing application specific meth-8 ods that may be covered by existing approaches. We9 provide the first survey of AU research and its ap-10 plications, together with a general framework for11 categorizing existing and future developments. | 翻訳日:2023-02-02 17:53:01 公開日:2023-02-01 |
| # 表面コードにおけるブレンド量子回路最適化の硬さ Hardness of braided quantum circuit optimization in the surface code ( http://arxiv.org/abs/2302.00273v1 ) ライセンス: Link先を確認 | Kunihiro Wasa, Shin Nishio, Koki Suetsugu, Michael Hanks, Ashley Stephens, Yu Yokoi, and Kae Nemoto | (参考訳) 大規模量子情報処理では、量子デバイスにおけるノイズの影響を軽減するために、量子エラー訂正符号を使用する必要がある。
表面符号のような位相的誤り訂正符号は、2次元の物理量子ビット配列における局所的相互作用のみを用いて実装できるので、有望な候補である。
欠陥ブレイディングや格子手術のような手順は、そのような位相符号の論理空間上のゲートのフォールトトレラントな普遍集合を実現するのに使うことができる。
しかし、誤り訂正は計算時間、物理量子ビット数、物理ゲート数にも大きなオーバーヘッドをもたらす。
このオーバーヘッドを最小限に抑えるためにフォールトトレラント回路を最適化することは重要であるが、このような最適化問題の計算複雑性は依然として不明である。
この曖昧さは、大規模な量子コンピュータのためにフォールトトレラント回路をコンパイルする最も効果的な方法を取り巻く疑念を招いている。
本稿では,最適化問題の多項式時間削減により,ブレイド量子回路の特別な部分集合の最適化がNPハードであることを示し,Planar Rectilinear 3SATと呼ばれる特定の問題に分解する。 Large-scale quantum information processing requires the use of quantum error correcting codes to mitigate the effects of noise in quantum devices. Topological error-correcting codes, such as surface codes, are promising candidates as they can be implemented using only local interactions in a two-dimensional array of physical qubits. Procedures such as defect braiding and lattice surgery can then be used to realize a fault-tolerant universal set of gates on the logical space of such topological codes. However, error correction also introduces a significant overhead in computation time, the number of physical qubits, and the number of physical gates. While optimizing fault-tolerant circuits to minimize this overhead is critical, the computational complexity of such optimization problems remains unknown. This ambiguity leaves room for doubt surrounding the most effective methods for compiling fault-tolerant circuits for a large-scale quantum computer. In this paper, we show that the optimization of a special subset of braided quantum circuits is NP-hard by a polynomial-time reduction of the optimization problem into a specific problem called Planar Rectilinear 3SAT. | 翻訳日:2023-02-02 17:52:48 公開日:2023-02-01 |
| # catfl: 6gセマンティクス通信のための認証不要認証ベース信頼連合学習 CATFL: Certificateless Authentication-based Trustworthy Federated Learning for 6G Semantic Communications ( http://arxiv.org/abs/2302.00271v1 ) ライセンス: Link先を確認 | Gaolei Li, Yuanyuan Zhao, Yi Li | (参考訳) フェデレートラーニング(FL)は、セマンティック通信システムのセマンティックエンコーダ/デコーダモデルをデバイスを離れることなく、協調的にトレーニングするための新しいアプローチを提供する。
信頼に値するflに関する既存の研究の多くは、悪意のあるクライアントが生成するデータ中毒の脅威を排除することを目的としているが、多くの場合、偽のサーバによってもたらされるモデル中毒攻撃の排除も重要な目的である。
本稿では,クライアントとサーバの同一性を相互に認証する,認証不要な認証に基づく信頼できるフェデレーション学習(CATFL)フレームワークを提案する。
CATFLでは、各クライアントが配信されたグローバルモデルを受け入れる前にサーバの署名情報を検証し、グローバルモデルが偽サーバによって配信されないことを保証する。
逆にサーバは、配信されたモデル更新を受け取る前にサーバのシグネチャ情報を検証することで、認証されたクライアントによって送信されることを保証する。
PKIベースの手法と比較して、CATFLは証明書管理のオーバーヘッドが高すぎることを回避できる。
一方、クライアントの匿名性はデータ中毒攻撃を防ぎ、実名登録はユーザー固有のプライバシー漏洩リスクを被る可能性がある。
そのため、IDトレーサビリティとユーザ匿名のトレードオフを実現するために、CATFLにも擬名生成戦略が提示され、ユーザ固有のプライバシリークを条件付きで防止することが不可欠である。
理論的セキュリティ解析と評価結果は、CATFLの優位性を検証する。 Federated learning (FL) provides an emerging approach for collaboratively training semantic encoder/decoder models of semantic communication systems, without private user data leaving the devices. Most existing studies on trustworthy FL aim to eliminate data poisoning threats that are produced by malicious clients, but in many cases, eliminating model poisoning attacks brought by fake servers is also an important objective. In this paper, a certificateless authentication-based trustworthy federated learning (CATFL) framework is proposed, which mutually authenticates the identity of clients and server. In CATFL, each client verifies the server's signature information before accepting the delivered global model to ensure that the global model is not delivered by false servers. On the contrary, the server also verifies the server's signature information before accepting the delivered model updates to ensure that they are submitted by authorized clients. Compared to PKI-based methods, the CATFL can avoid too high certificate management overheads. Meanwhile, the anonymity of clients shields data poisoning attacks, while real-name registration may suffer from user-specific privacy leakage risks. Therefore, a pseudonym generation strategy is also presented in CATFL to achieve a trade-off between identity traceability and user anonymity, which is essential to conditionally prevent from user-specific privacy leakage. Theoretical security analysis and evaluation results validate the superiority of CATFL. | 翻訳日:2023-02-02 17:52:29 公開日:2023-02-01 |
| # オープンボキャブラリー映像関係検出のための運動手がかりを用いた構成的プロンプトチューニング Compositional Prompt Tuning with Motion Cues for Open-vocabulary Video Relation Detection ( http://arxiv.org/abs/2302.00268v1 ) ライセンス: Link先を確認 | Kaifeng Gao, Long Chen, Hanwang Zhang, Jun Xiao, Qianru Sun | (参考訳) 大規模な事前訓練された視覚言語モデルによるプロンプトチューニングは、オブジェクトの分類や検出など、限られたベースカテゴリでトレーニングされたオープン語彙の予測を可能にする。
本稿では,映像データの合成予測のための拡張型プロンプトチューニングパラダイムであるモーションキューを用いた合成プロンプトチューニングを提案する。
特に,従来のプロンプトチューニングが特定の対象と対象の組み合わせや動作パターンに偏りやすいオープンボキャブラリー映像視覚関係検出(open-vidvrd)のための関係プロンプト(repro)を提案する。
この目的のために、ReProはOpen-VidVRDの2つの技術的課題に対処する。
1)プロンプトトークンは,対象と対象の2つの異なる意味的役割を尊重すべきである。
2) 調律は, 対象物組成の時空間的運動パターンの多様性を考慮すべきである。
私たちのreproは、ベーストレーニングオブジェクトと述語カテゴリだけでなく、目に見えない2つのvidvrdベンチマークで、新たな最先端のパフォーマンスを実現しています。
また,提案したプロンプトの合成および多モード設計の有効性を示した。
コードはhttps://github.com/Dawn-LX/OpenVoc-VidVRDで入手できる。 Prompt tuning with large-scale pretrained vision-language models empowers open-vocabulary predictions trained on limited base categories, e.g., object classification and detection. In this paper, we propose compositional prompt tuning with motion cues: an extended prompt tuning paradigm for compositional predictions of video data. In particular, we present Relation Prompt (RePro) for Open-vocabulary Video Visual Relation Detection (Open-VidVRD), where conventional prompt tuning is easily biased to certain subject-object combinations and motion patterns. To this end, RePro addresses the two technical challenges of Open-VidVRD: 1) the prompt tokens should respect the two different semantic roles of subject and object, and 2) the tuning should account for the diverse spatio-temporal motion patterns of the subject-object compositions. Without bells and whistles, our RePro achieves a new state-of-the-art performance on two VidVRD benchmarks of not only the base training object and predicate categories, but also the unseen ones. Extensive ablations also demonstrate the effectiveness of the proposed compositional and multi-mode design of prompts. Code is available at https://github.com/Dawn-LX/OpenVoc-VidVRD. | 翻訳日:2023-02-02 17:52:05 公開日:2023-02-01 |
| # InQuIR:相互接続型量子コンピュータの中間表現 InQuIR: Intermediate Representation for Interconnected Quantum Computers ( http://arxiv.org/abs/2302.00267v1 ) ライセンス: Link先を確認 | Shin Nishio and Ryo Wakizaka | (参考訳) 様々な物理的制約は単一の量子プロセッサに実装できる量子ビットの数を制限するため、量子インターコネクトを介して複数の量子プロセッサを接続する必要がある。
相互接続型量子コンピュータのためのいくつかのコンパイラ実装が提案されているが、そのコンパイル対象として適切な表現は存在しない。
このような表現の欠如は、コンパイルされたプログラムの再利用性を損なうものであり、分散量子プログラムの複雑な振る舞いを正式に推論することは困難である。
分散量子システム上での通信と計算を表現できる中間表現であるInQuIRを提案する。
InQuIRには形式的な意味論があり、分散量子プログラムの挙動を正確に記述することができる。
デッドロックなどの分散プログラムで発生する問題を説明するために,InQuIRで記述した例を示す。
このような問題に対処するために,型システムを用いた静的検証のロードマップを示す。
また、様々な条件下で量子回路の計算コストを問い合わせ評価するためのソフトウェアツールを提供する。
私たちのツールはhttps://github.com/team-InQuIR/InQuIRで利用可能です。 Various physical constraints limit the number of qubits that can be implemented in a single quantum processor, and thus it is necessary to connect multiple quantum processors via quantum interconnects. While several compiler implementations for interconnected quantum computers have been proposed, there is no suitable representation as their compilation target. The lack of such representation impairs the reusability of compiled programs and makes it difficult to reason formally about the complicated behavior of distributed quantum programs. We propose InQuIR, an intermediate representation that can express communication and computation on distributed quantum systems. InQuIR has formal semantics that allows us to describe precisely the behaviors of distributed quantum programs. We give examples written in InQuIR to illustrate the problems arising in distributed programs, such as deadlock. We present a roadmap for static verification using type systems to deal with such a problem. We also provide software tools for InQuIR and evaluate the computational costs of quantum circuits under various conditions. Our tools are available at https://github.com/team-InQuIR/InQuIR. | 翻訳日:2023-02-02 17:51:44 公開日:2023-02-01 |
| # 辞書に基づくマニフォールド学習 Dictionary-based Manifold Learning ( http://arxiv.org/abs/2302.00263v1 ) ライセンス: Link先を確認 | Hanyu Zhang, Samson Joelle, Marina Meila | (参考訳) 本稿では,科学データ解析のためのマニフォールド学習のパラダイムを提案し,科学者が提案する意味のあるドメイン関連関数の辞書から$d$の滑らかな関数を持つ多様体をパラメータ化する。
このようなパラメトリゼーションが存在する場合、より標準的な多様体学習アルゴリズムをバイパスして、多様体接バンドル内のスパース非線形回帰に基づくそれを見つけるアルゴリズムを提供する。
また, 関数空間におけるそのようなパラメータ化の存在条件と, 有限サンプルからの回復を成功させる条件についても考察した。
我々は,本手法を実科学領域から実験的に検証した。 We propose a paradigm for interpretable Manifold Learning for scientific data analysis, whereby we parametrize a manifold with $d$ smooth functions from a scientist-provided dictionary of meaningful, domain-related functions. When such a parametrization exists, we provide an algorithm for finding it based on sparse non-linear regression in the manifold tangent bundle, bypassing more standard manifold learning algorithms. We also discuss conditions for the existence of such parameterizations in function space and for successful recovery from finite samples. We demonstrate our method with experimental results from a real scientific domain. | 翻訳日:2023-02-02 17:51:30 公開日:2023-02-01 |
| # QLAB: ディープラーニングのための擬似損失近似に基づく最適学習率 QLAB: Quadratic Loss Approximation-Based Optimal Learning Rate for Deep Learning ( http://arxiv.org/abs/2302.00252v1 ) ライセンス: Link先を確認 | Minghan Fu, Fang-Xiang Wu | (参考訳) 降下最適化のための学習率適応方式であるQLABを提案する。
損失関数の二次近似を最適化することでqlabを導出し、降下更新方向を提供できる任意のオプティマイザとqlabを組み合わせることができる。
QLABによる適応学習率の計算は、余分な損失関数値のみを計算する必要がある。
qlabによる降下オプティマイザの収束を理論的に証明する。
本稿では,確率勾配勾配と運動量による確率勾配勾配とを組み合わせ,様々な最適化問題におけるQLABの有効性を示す。
この性能は、MNISTとCIFAR10という2つのデータセットで、多層ニューラルネットワーク、CNN、VGG-Net、ResNet、ShuffleNetで検証されている。 We propose a learning rate adaptation scheme, called QLAB, for descent optimizers. We derive QLAB by optimizing the quadratic approximation of the loss function and QLAB can be combined with any optimizer who can provide the descent update direction. The computation of an adaptive learning rate with QLAB requires only computing an extra loss function value. We theoretically prove the convergence of the descent optimizers with QLAB. We demonstrate the effectiveness of QLAB in a range of optimization problems by combining with conclusively stochastic gradient descent, stochastic gradient descent with momentum, and Adam. The performance is validated on multi-layer neural networks, CNN, VGG-Net, ResNet and ShuffleNet with two datasets, MNIST and CIFAR10. | 翻訳日:2023-02-02 17:51:21 公開日:2023-02-01 |
| # 階層列モデルによる混合整数線形計画のための学習カット選択 Learning Cut Selection for Mixed-Integer Linear Programming via Hierarchical Sequence Model ( http://arxiv.org/abs/2302.00244v1 ) ライセンス: Link先を確認 | Zhihai Wang, Xijun Li, Jie Wang, Yufei Kuang, Mingxuan Yuan, Jia Zeng, Yongdong Zhang, Feng Wu | (参考訳) カットプレーン(カット)は、様々な重要な実世界の応用を定式化する混合整数線形プログラム(MILP)の解決に重要である。
カット選択 -- 候補カットの適切なサブセットを選択してMILPを解く効率を改善する - は、(P1)、(P2)、(P2)、選択すべきカット数に大きく依存する。
多くの現代のMILPソルバは、手動で設計したヒューリスティックスによって(P1)-(P2)に取り組むが、機械学習は特定のアプリケーションから収集されたMILPからより効果的なヒューリスティックスを学ぶための有望なアプローチを提供する。
しかしながら、既存の学習ベースの手法の多くは、選択すべきカット数を学ぶことの重要性を無視して、どのカットが望ましいかを学ぶことに焦点を当てている。
さらに, 広範囲にわたる実験結果から, (p3) 選択されたカットの順序が, ミルプの解く効率にも大きな影響を与えていることを確認した。
この課題に対処するために,強化学習を通じてカット選択方針を学ぶための新しい階層的シーケンスモデル(hem)を提案する。
具体的には,(1)選択すべきカット数を学習する上位モデル,(2)シーケンス学習問題に対するシーケンスとしてカット選択タスクを定式化する下位モデル,(2)上位モデルによって決定されるサイズで順序付けられたサブセットを選択するポリシを学習する2レベルモデルで構成されている。
我々の知る限りでは、HEMはデータ駆動の観点から(P1)-(P3)のカット選択に対処できる最初の方法である。
実験により、HEMはMIPLIB 2017を含む、人工および大規模現実世界MILPの人間設計および学習ベースラインと比較して、MILPの解法効率を著しく改善することが示された。
さらに、実験により、HEMはトレーニング中に見られるものよりもかなり大きいMILPによく一般化することが示された。 Cutting planes (cuts) are important for solving mixed-integer linear programs (MILPs), which formulate a wide range of important real-world applications. Cut selection -- which aims to select a proper subset of the candidate cuts to improve the efficiency of solving MILPs -- heavily depends on (P1) which cuts should be preferred, and (P2) how many cuts should be selected. Although many modern MILP solvers tackle (P1)-(P2) by manually designed heuristics, machine learning offers a promising approach to learn more effective heuristics from MILPs collected from specific applications. However, many existing learning-based methods focus on learning which cuts should be preferred, neglecting the importance of learning the number of cuts that should be selected. Moreover, we observe from extensive empirical results that (P3) what order of selected cuts should be preferred has a significant impact on the efficiency of solving MILPs as well. To address this challenge, we propose a novel hierarchical sequence model (HEM) to learn cut selection policies via reinforcement learning. Specifically, HEM consists of a two-level model: (1) a higher-level model to learn the number of cuts that should be selected, (2) and a lower-level model -- that formulates the cut selection task as a sequence to sequence learning problem -- to learn policies selecting an ordered subset with the size determined by the higher-level model. To the best of our knowledge, HEM is the first method that can tackle (P1)-(P3) in cut selection simultaneously from a data-driven perspective. Experiments show that HEM significantly improves the efficiency of solving MILPs compared to human-designed and learning-based baselines on both synthetic and large-scale real-world MILPs, including MIPLIB 2017. Moreover, experiments demonstrate that HEM well generalizes to MILPs that are significantly larger than those seen during training. | 翻訳日:2023-02-02 17:51:07 公開日:2023-02-01 |
| # 量子力学における非線形補正の存在下での重力相互作用の量子特性の実験 On Tests of the Quantum Nature of Gravitational Interactions in Presence of Non-linear Corrections to Quantum Mechanics ( http://arxiv.org/abs/2302.00365v1 ) ライセンス: Link先を確認 | Giovanni Spaventa, Ludovico Lami, Martin B. Plenio | (参考訳) 相互作用が重力によって支配され、局所力学が量子力学の法則に従う2つの粒子に対して、絡み合いの動的生成は重力相互作用の量子特性を意味する。
ここでは、このような絡み合いのダイナミクスは、局所的な量子力学に対する弱い非線形補正と、より弱い量子相互作用と、より短い距離で古典的または完全に欠如している重力相互作用に対しても観察可能であることを示す。
これは、重力の量子特性の決定的なテストは、エンタングルメント検出を超えて、少なくとも、大質量の領域における量子力学に対する可能な非線形補正の他の量子力の強さに対する量的境界の試験を包含する必要があることを証明している。 For two particles whose interaction is dominated by gravity and whose local dynamics follows the laws of quantum mechanics, the dynamical generation of entanglement is held to imply the quantum character of gravitational interactions. Here we show that such an entanglement dynamics may be observed also for a gravitational interaction that is classical or altogether absent at short distances when, simultaneously, a much weaker quantum interaction {\em and} a weak non-linear corrections to local quantum mechanics are present. This demonstrates that a conclusive test of the quantum character of gravity needs to go beyond entanglement detection and encompass, at least, the test of quantitative bounds on the strength of other quantum forces {\em and} of possible non-linear corrections to quantum mechanics in the regime of large masses. | 翻訳日:2023-02-02 17:44:26 公開日:2023-02-01 |
| # YODOアルゴリズム:ベイズネットワークにおける感度解析のための効率的な計算フレームワーク The YODO algorithm: An efficient computational framework for sensitivity analysis in Bayesian networks ( http://arxiv.org/abs/2302.00364v1 ) ライセンス: Link先を確認 | Rafael Ballester-Ripoll, Manuele Leonelli | (参考訳) 感度分析は、ベイズネットワークのパラメータが特定の値を取る変数の確率など、ネットワークによって定義された関心量に与える影響を測定する。
このような影響を定量化する様々な感度尺度が定義されており、最も一般的にはネットワークの条件付き確率に関する関心の部分微分の量の関数である。
しかし、数千のパラメータを持つ大規模ネットワークでのこれらの測定値の計算は非常に高価になる可能性がある。
本稿では,自動微分と精度推定を組み合わせたアルゴリズムを提案し,単一パスにおける感度測定を効率的に計算する。
最初は変数除去(英語版)などを用いてネットワーク全体を疎外し、次にこの操作をバックプロパゲートして全ての入力パラメータの勾配を求める。
本手法は,一方向および多方向の感度解析と許容領域の導出に使用できる。
シミュレーション研究では,最大10万のパラメータを持つ大規模ネットワークにスケールすることで,アルゴリズムの効率性を強調し,汎用的マルチウェイ解析の可能性を検討する。
第一に人道危機の国家リスクをモデル化し、第二に、テクノロジーの利用と、新型コロナウイルス(COVID-19)パンデミックにおける社会的孤立の心理的影響との関係について研究する。
一般的な機械学習ライブラリであるPyTorchを使ったメソッドの実装は無料で利用可能である。 Sensitivity analysis measures the influence of a Bayesian network's parameters on a quantity of interest defined by the network, such as the probability of a variable taking a specific value. Various sensitivity measures have been defined to quantify such influence, most commonly some function of the quantity of interest's partial derivative with respect to the network's conditional probabilities. However, computing these measures in large networks with thousands of parameters can become computationally very expensive. We propose an algorithm combining automatic differentiation and exact inference to efficiently calculate the sensitivity measures in a single pass. It first marginalizes the whole network once, using e.g. variable elimination, and then backpropagates this operation to obtain the gradient with respect to all input parameters. Our method can be used for one-way and multi-way sensitivity analysis and the derivation of admissible regions. Simulation studies highlight the efficiency of our algorithm by scaling it to massive networks with up to 100'000 parameters and investigate the feasibility of generic multi-way analyses. Our routines are also showcased over two medium-sized Bayesian networks: the first modeling the country-risks of a humanitarian crisis, the second studying the relationship between the use of technology and the psychological effects of forced social isolation during the COVID-19 pandemic. An implementation of the methods using the popular machine learning library PyTorch is freely available. | 翻訳日:2023-02-02 17:44:12 公開日:2023-02-01 |
| # 仮想全方位視のためのフレキシブルフレームワークによる操作者状況認識の改善 A Flexible Framework for Virtual Omnidirectional Vision to Improve Operator Situation Awareness ( http://arxiv.org/abs/2302.00362v1 ) ライセンス: Link先を確認 | Martin Oehler and Oskar von Stryk | (参考訳) 移動ロボットの遠隔操作においては,単一のミスがミッション失敗に繋がるおそれがあるため,オペレーターの状況把握が重要である。
カメラストリームは遠隔操作に広く使われているが、視野は限られている。
本稿では,ロボットのどこに設置した複数のカメラを融合させる新しい手法に基づいて,仮想投影のためのフレキシブルなフレームワークを提案する。
さらに,カメラ画像と幾何学的3Dライダーデータを融合させることでシーン理解を改善するための補完的手法を提案する。
コンパクト全方位カメラの実装はシステムの複雑さを大幅に低減し、アクティベートされたパンティルトユニットのような従来のアプローチと比較して、フットプリントの複数のユースケースを解決する。
最後に,boston dynamics spotのマルチカメラシステムへの適用により,このアプローチの汎用性を示す。
ソフトウェア実装はプロジェクトページ https://tu-darmstadt-ros-pkg.github.io/omnidirectional_vision でオープンソースROSパッケージとして公開されている。 During teleoperation of a mobile robot, providing good operator situation awareness is a major concern as a single mistake can lead to mission failure. Camera streams are widely used for teleoperation but offer limited field-of-view. In this paper, we present a flexible framework for virtual projections to increase situation awareness based on a novel method to fuse multiple cameras mounted anywhere on the robot. Moreover, we propose a complementary approach to improve scene understanding by fusing camera images and geometric 3D Lidar data to obtain a colorized point cloud. The implementation on a compact omnidirectional camera reduces system complexity considerably and solves multiple use-cases on a much smaller footprint compared to traditional approaches such as actuated pan-tilt units. Finally, we demonstrate the generality of the approach by application to the multi-camera system of the Boston Dynamics Spot. The software implementation is available as open-source ROS packages on the project page https://tu-darmstadt-ros-pkg.github.io/omnidirectional_vision. | 翻訳日:2023-02-02 17:43:50 公開日:2023-02-01 |
| # Bandit Convex Optimisation Revisited: FTRL Achieves $\tilde{O}(t^{1/2})$ Regret Bandit Convex Optimisation Revisited: FTRL Achieves $\tilde{O}(t^{1/2})$ Regret ( http://arxiv.org/abs/2302.00358v1 ) ライセンス: Link先を確認 | David Young, Douglas Leith, George Iosifidis | (参考訳) 本稿では,複数の関数評価を用いたカーネル推定器を標本ベース帯域推定器に容易に変換可能であることを示す。
このようなバンドイット推定器を標準的なftrlアルゴリズムに差し込むと、逆時変凸損失関数に対して$\tilde{o}(t^{1/2})$ regret を達成するバンドイット凸最適化アルゴリズムが得られる。 We show that a kernel estimator using multiple function evaluations can be easily converted into a sampling-based bandit estimator with expectation equal to the original kernel estimate. Plugging such a bandit estimator into the standard FTRL algorithm yields a bandit convex optimisation algorithm that achieves $\tilde{O}(t^{1/2})$ regret against adversarial time-varying convex loss functions. | 翻訳日:2023-02-02 17:43:32 公開日:2023-02-01 |
| # 表面音響波による希土類イオンのフォノン抵抗状態 Phonon-Dressed States of Rare-Earth Ions Generated by Surface Acoustic Waves ( http://arxiv.org/abs/2302.00327v1 ) ライセンス: Link先を確認 | Ryuichi Ohta, Gregoire Lelu, Xuejun Xu, Tomohiro Inaba, Kenichi Hitachi, Yoshitaka Taniyasu, Haruki Sanada, Atsushi Ishizawa, Takehiko Tawara, Katsuya Oguri, Hiroshi Yamaguchi, and Hajime Okamoto | (参考訳) 結晶中の長寿命エルビウムイオンの音響誘起服装状態を示す。
これらの状態は、イオンアンサンブルの光線幅を超える表面音波によって誘導されるひずみによって、2レベル系の非断熱変調によって形成される。
表面近傍に現れる複数のサイドバンドとコヒーレントなトンネル破壊は、音響波とイオンとの強い相互作用の証拠である。
この開発により、長寿命イオンのオンチップ制御が可能となり、通信光子、音響フォノン、電子と高度にコヒーレントなハイブリッド量子システムへの道を開くことができる。 Acoustically induced dressed states of long-lived erbium ions in a crystal are demonstrated. These states are formed by non-adiabatic modulation of two-level systems via strain induced by surface acoustic waves whose frequencies exceed the optical linewidth of the ion ensemble. Multiple sidebands and coherent destruction of tunneling appearing near the surface are evidence of a strong interaction between the acoustic waves and the ions. This development allows for on-chip control of long-lived ions and paves the way to highly coherent hybrid quantum systems with telecom photons, acoustic phonons, and electrons. | 翻訳日:2023-02-02 17:43:22 公開日:2023-02-01 |
| # TCFDレポートの評価:気候関連財務情報へのゼロショット分析の新しい応用 Evaluating TCFD Reporting: A New Application of Zero-Shot Analysis to Climate-Related Financial Disclosures ( http://arxiv.org/abs/2302.00326v1 ) ライセンス: Link先を確認 | Alix Auzepy, Elena T\"onjes, David Lenz, Christoph Funk | (参考訳) 我々は、気候関連金融開示委員会(tcfd)の勧告を公式に支持した銀行が公表した報告書の大規模なサンプルで、気候関連開示について検討する。
そこで我々は,ゼロショットテキスト分類の新しい応用について紹介する。
微粒なTFDラベルの開発により、ゼロショット分析は、さらなるモデルトレーニングを伴わずに、気候関連の開示を分類するのに有用なツールであることが示される。
総じて、tcfd勧告の開始後、企業の気候関連の情報開示が動的に増加したことを示している。
しかし、推奨公開トピックによる報告の程度には顕著な違いがあり、いくつかの推奨項目はまだ完全に満たされていないことを示唆している。
本研究は,気候関連情報開示フレームワークの設計に重要な結論を与える。 We examine climate-related disclosures in a large sample of reports published by banks that officially endorsed the recommendations of the Task Force for Climate-related Financial Disclosures (TCFD). In doing so, we introduce a new application of the zero-shot text classification. By developing a set of fine-grained TCFD labels, we show that zero-shot analysis is a useful tool for classifying climate-related disclosures without further model training. Overall, our findings indicate that corporate climate-related disclosures grew dynamically after the launch of the TCFD recommendations. However, there are marked differences in the extent of reporting by recommended disclosure topic, suggesting that some recommendations have not yet been fully met. Our findings yield important conclusions for the design of climate-related disclosure frameworks. | 翻訳日:2023-02-02 17:43:12 公開日:2023-02-01 |
| # 単一表面からの量子欠陥は強い相互相互作用を示す Quantum defects from single surface exhibit strong mutual interactions ( http://arxiv.org/abs/2302.00318v1 ) ライセンス: Link先を確認 | Chih-Chiao Hung, Tim Kohler and Kevin D. Osborn | (参考訳) 2レベルシステム(TLS)欠陥は量子情報科学の主要なデコヒーレンス源であるが、一般的には堆積膜よりも材料界面では理解されていない。
本稿では, 共振器の真空ギャップ(VG)コンデンサ内の準均一場を用いて, 金属-空気界面の表面TLSについて検討する。
VGコンデンサは、回路QEDで使用される典型的な共振器よりも、金属-空気界面からマグニチュードの大きなコントリビューションを生成するナノギャップを有する。
3つの現象を計測し、相互作用するtlsモデルと定性的な一致を見いだし、近共振tlssは、遠波長低周波tlsの状態切替からかなりの周波数ジッタを経験する。
まず、VG共振器の損失は、堆積誘電体膜のデータとは対照的に、弱いか対数的にパワー依存であることがわかった。
第2に、送信測定に電力$P_{in}$の飽和音を加え、TLS Rabi周波数$\Omega_{0}$を得る。
これらのデータは、標準の非相互作用TLSモデルからの予測よりも、$\Omega_{0}$への依存がかなり弱いことを示している。
最後に, 電力依存損失と位相雑音の測定値から, 温度を上昇させ, TLSジッタ率と減音率をそれぞれ増加させる。
また,低周波TLS密度とジッタレートを低下させるアニール試料も得られたが,単光子損失は変化しない。
結果は高速スイッチング相互作用TLSモデルと定性的に一致し、TLSを独立に記述するTLSの標準モデルと対比する。 Two-level system (TLS) defects constitute a major decoherence source of quantum information science, but they are generally less understood at material interfaces than in deposited films. Here we study surface TLSs at the metal-air interface, by probing them using a quasi-uniform field within vacuum-gap (VG) capacitors of resonators. The VG capacitor has a nano-gap which creates an order-of-magnitude larger contribution from the metal-air interface than typical resonators used in circuit QED. We measure three phenomena and find qualitative agreement with an interacting TLS model, where near-resonant TLSs experience substantial frequency jitter from the state switching of far-detuned low-frequency TLSs. First, we find that the loss in all of our VG resonators is weakly or logarithmically power dependent, in contrast to data from deposited dielectric films. Second, we add a saturation tone with power $P_{in}$ to a transmission measurement and obtain the TLS Rabi frequency $\Omega_{0}$. These data show a substantially weaker $P_{in}$ dependence of $\Omega_{0}$ than the prediction from the standard non-interacting TLS model. Lastly, we increase the temperature and find an increased TLS jitter rate and dephasing rate from power-dependent loss and phase noise measurements, respectively. We also anneal samples, which lowers the low-frequency TLS density and jitter rate, but the single-photon loss is found to be unchanged. The results are qualitatively consistent with a fast-switching interacting-TLS model and they contrast the standard model of TLSs which describes TLSs independently. | 翻訳日:2023-02-02 17:42:58 公開日:2023-02-01 |
| # クリックスルー率予測のための深い行動経路マッチングネットワーク A Deep Behavior Path Matching Network for Click-Through Rate Prediction ( http://arxiv.org/abs/2302.00302v1 ) ライセンス: Link先を確認 | Jian Dong, Yisong Yu, Yapeng Zhang, Yimin Lv, Shuli Wang, Beihong Jin, Yongkang Wang, Xingxing Wang and Dong Wang | (参考訳) eコマースアプリのユーザーの行動は、アイテムに対する異なる種類のフィードバックを含むだけでなく、ユーザーの意思決定の認知的手がかりを暗示することもある。
ユーザ決定の背後にある心理的手順を理解するため、動作経路を示し、ユーザの現在の行動経路と過去の行動経路を一致させて、アプリのユーザの行動を予測することを提案する。
さらに、行動経路マッチングのためのディープニューラルネットワークを設計し、行動経路の空間性、ノイズ干渉、行動経路の正確なマッチングという3つの困難をモデル化する。
特に,コントラスト学習を利用してユーザの行動経路を補強し,ノイズの影響を軽減するための行動経路の自己活性化を行い,最も適切な候補を特定するために2段階マッチング機構を採用する。
本モデルでは,2つの実世界のデータセットにおいて,最先端のCTRモデルよりも優れた性能を示す。
さらに,我々のモデルはMeituanフードデリバリープラットフォーム上に展開され,CTRが1.6%,広告収入が1.8%向上した。 User behaviors on an e-commerce app not only contain different kinds of feedback on items but also sometimes imply the cognitive clue of the user's decision-making. For understanding the psychological procedure behind user decisions, we present the behavior path and propose to match the user's current behavior path with historical behavior paths to predict user behaviors on the app. Further, we design a deep neural network for behavior path matching and solve three difficulties in modeling behavior paths: sparsity, noise interference, and accurate matching of behavior paths. In particular, we leverage contrastive learning to augment user behavior paths, provide behavior path self-activation to alleviate the effect of noise, and adopt a two-level matching mechanism to identify the most appropriate candidate. Our model shows excellent performance on two real-world datasets, outperforming the state-of-the-art CTR model. Moreover, our model has been deployed on the Meituan food delivery platform and has accumulated 1.6% improvement in CTR and 1.8% improvement in advertising revenue. | 翻訳日:2023-02-02 17:42:31 公開日:2023-02-01 |
| # 確率的ラベルから学ぶ Learning from Stochastic Labels ( http://arxiv.org/abs/2302.00299v1 ) ライセンス: Link先を確認 | Meng Wei, Zhongnian Li, Yong Zhou, Qiaoyu Guo, Xinzheng Xu | (参考訳) マルチクラスインスタンスのアノテーションは、機械学習の分野で重要なタスクである。
残念ながら、候補ラベルの長いシーケンスから正しいクラスラベルを識別するのは、時間と労力を要する。
この問題を軽減するために,確率ラベルと呼ばれる新しいラベリング機構を設計する。
この設定では、確率ラベルには2つのケースがある。
1) 少数のランダムに与えられたラベルから正しいクラスラベルを識別すること。
2) 与えられたラベルが正しいクラスラベルを含まない場合、Noneラベルでインスタンスに注釈を付ける。
本稿では,これらの確率ラベルから学習するための新しいアプローチを提案する。
確率ラベルにおける教師の少ない情報を利用してマルチクラス分類器を訓練する非バイアス推定器を得る。
さらに,提案手法の誤差境界を導出することにより理論的に妥当である。
最後に,広く使用されているベンチマークデータセットについて広範な実験を行い,既存の最先端手法と比較することにより,提案手法の優越性を検証する。 Annotating multi-class instances is a crucial task in the field of machine learning. Unfortunately, identifying the correct class label from a long sequence of candidate labels is time-consuming and laborious. To alleviate this problem, we design a novel labeling mechanism called stochastic label. In this setting, stochastic label includes two cases: 1) identify a correct class label from a small number of randomly given labels; 2) annotate the instance with None label when given labels do not contain correct class label. In this paper, we propose a novel suitable approach to learn from these stochastic labels. We obtain an unbiased estimator that utilizes less supervised information in stochastic labels to train a multi-class classifier. Additionally, it is theoretically justifiable by deriving the estimation error bound of the proposed method. Finally, we conduct extensive experiments on widely-used benchmark datasets to validate the superiority of our method by comparing it with existing state-of-the-art methods. | 翻訳日:2023-02-02 17:42:16 公開日:2023-02-01 |
| # 因果関係の方法・課題・展望に関する調査 A Survey of Methods, Challenges and Perspectives in Causality ( http://arxiv.org/abs/2302.00293v1 ) ライセンス: Link先を確認 | Ga\"el Gendron, Michael Witbrock and Gillian Dobbie | (参考訳) 因果関係を明らかにするための体系的な方法を見つけることを目的としている。
このような手法は、多くの研究分野に応用され、この分野に対する大きな関心を正当化することができる。
機械学習モデルは、高次元データから相関パターンを抽出することで、様々なタスクで成功したが、初期分布を一般化する際にはまだ苦労している。
因果エンジンはデータ配信から独立したメカニズムを学習することを目的としているため、機械学習と因果関係を組み合わせることで、2つの分野にメリットをもたらす可能性がある。
私たちの仕事では、この仮定にモチベーションを与え、アプリケーションを提供します。
まず、様々な観点から因果関係の理論と方法について概観する。
次に、因果関係と機械学習の関係をより深く観察し、2つのドメインが直面する課題について説明する。
フィールドをまとめようという初期の試みと、将来の展望を示します。
私たちはCausalityのテクニックに対して、さまざまなアプリケーションを提供することで終了します。 The Causality field aims to find systematic methods for uncovering cause-effect relationships. Such methods can find applications in many research fields, justifying a great interest in this domain. Machine Learning models have shown success in a large variety of tasks by extracting correlation patterns from high-dimensional data but still struggle when generalizing out of their initial distribution. As causal engines aim to learn mechanisms that are independent from a data distribution, combining Machine Learning with Causality has the potential to bring benefits to the two fields. In our work, we motivate this assumption and provide applications. We first perform an extensive overview of the theories and methods for Causality from different perspectives. We then provide a deeper look at the connections between Causality and Machine Learning and describe the challenges met by the two domains. We show the early attempts to bring the fields together and the possible perspectives for the future. We finish by providing a large variety of applications for techniques from Causality. | 翻訳日:2023-02-02 17:42:03 公開日:2023-02-01 |
| # 観測エントロピーの連続性境界と相対エントロピーの測定 Continuity bounds on observational entropy and measured relative entropies ( http://arxiv.org/abs/2302.00400v1 ) ライセンス: Link先を確認 | Joseph Schindler, Andreas Winter | (参考訳) 我々は、一般のPOVM測定のための観測エントロピーに縛られる測定非依存の漸近連続性を導出し、その有界凹凸の性質を必須に活用する。
同じ洞察を他のエントロピー量に対する連続性境界を得るために使用し、一般的な測定セットの下で一連の状態の対流に対して測定された相対エントロピー距離を含む。
特別の場合として、別の(測定されていない)サブシステムの量子状態に条件付された1つの(測定された)サブシステムにおける観測エントロピーである条件付き観測エントロピーを定義し、研究する。
また,共同チャネルに対する相対エントロピーの連続性についても検討し,観測エントロピーが測定関数として一様連続であることを発見した。
しかし、この測定の下での連続性は具体的な漸近境界の形ではあり得ないという例を示す。 We derive a measurement-independent asymptotic continuity bound on the observational entropy for general POVM measurements, making essential use of its property of bounded concavity. The same insight is used to obtain continuity bounds for other entropic quantities, including the measured relative entropy distance to a convex a set of states under a general set of measurements. As a special case, we define and study conditional observational entropy, which is an observational entropy in one (measured) subsystem conditioned on the quantum state in another (unmeasured) subsystem. We also study continuity of relative entropy with respect to a jointly applied channel, finding that observational entropy is uniformly continuous as a function of the measurement. But we show by means of an example that this continuity under measurements cannot have the form of a concrete asymptotic bound. | 翻訳日:2023-02-02 17:34:48 公開日:2023-02-01 |
| # マルチモダリティ表現学習:進化,事前学習とその応用に関する調査 Multimodality Representation Learning: A Survey on Evolution, Pretraining and Its Applications ( http://arxiv.org/abs/2302.00389v1 ) ライセンス: Link先を確認 | Muhammad Arslan Manzoor, Sarah Albarri, Ziting Xian, Zaiqiao Meng, Preslav Nakov, and Shangsong Liang | (参考訳) マルチモダリティ表現学習(multimodality representation learning)は、異なるモダリティとその相関から情報を埋め込む手法として、視覚質問応答(vqa)、自然言語 for visual reasoning(nlvr)、視覚言語検索(vlr)といった様々なアプリケーションで顕著な成功を収めている。
これらのアプリケーションの中で、高度なモデルが任意のマルチモーダルタスク、例えば、理解、認識、検索、生成を最適に行うためには、クロスモーダル相互作用と異なるモダリティからの補完的情報が必要である。
研究者はこれらの課題に対処するための様々な方法を提案している。
異なる変圧器ベースのアーキテクチャは、複数のモダリティで特別に実行された。
本調査は,多言語・現代多モーダルタスクにおけるテキスト,視覚,音声の特徴を扱うための,深層学習型マルチモーダルアーキテクチャの進化と強化に関する包括的な文献を提示する。
本研究は概説する。
(i)近年のタスク特化深層学習手法
(ii)プリトレーニングタイプとマルチモーダルプリトレーニング目的。
(iii)最先端の事前学習したマルチモーダルアプローチからアーキテクチャ統一へ
(4)マルチモーダルなタスクカテゴリと、よりよいマルチモーダルな学習のために考案できる将来の改善の可能性。
さらに,プリトレーニングや微調整のためのベンチマークの大部分をカバーする,新たな研究者のためのデータセットセクションも用意する。
最後に、大きな課題、ギャップ、潜在的研究トピックについて検討する。
本調査に関連する定期的なペーパーリストは,https://github.com/marslanm/multimodality-representation-learningで維持されている。 Multimodality Representation Learning, as a technique of learning to embed information from different modalities and their correlations, has achieved remarkable success on a variety of applications, such as Visual Question Answering (VQA), Natural Language for Visual Reasoning (NLVR), and Vision Language Retrieval (VLR). Among these applications, cross-modal interaction and complementary information from different modalities are crucial for advanced models to perform any multimodal task, e.g., understand, recognize, retrieve, or generate optimally. Researchers have proposed diverse methods to address these tasks. The different variants of transformer-based architectures performed extraordinarily on multiple modalities. This survey presents the comprehensive literature on the evolution and enhancement of deep learning multimodal architectures to deal with textual, visual and audio features for diverse cross-modal and modern multimodal tasks. This study summarizes the (i) recent task-specific deep learning methodologies, (ii) the pretraining types and multimodal pretraining objectives, (iii) from state-of-the-art pretrained multimodal approaches to unifying architectures, and (iv) multimodal task categories and possible future improvements that can be devised for better multimodal learning. Moreover, we prepare a dataset section for new researchers that covers most of the benchmarks for pretraining and finetuning. Finally, major challenges, gaps, and potential research topics are explored. A constantly-updated paperlist related to our survey is maintained at https://github.com/marslanm/multimodality-representation-learning. | 翻訳日:2023-02-02 17:34:31 公開日:2023-02-01 |
| # 状態空間ガウス過程を用いた太陽エネルギーの短期予測とフィルタリング Short-term Prediction and Filtering of Solar Power Using State-Space Gaussian Processes ( http://arxiv.org/abs/2302.00388v1 ) ライセンス: Link先を確認 | Sean Nassimiha, Peter Dudfield, Jack Kelly, Marc Peter Deisenroth, So Takao | (参考訳) 太陽光発電エネルギー(pv)生産の短期予測は発電所管理に重要である。
理想的には、これらの予測はエラーバーを備えており、下流の決定が不確実性を説明することができる。
この設定でエラーバーによる予測を生成するために、イギリスにおける太陽熱発電のモデル化と予測のためのガウス過程(GP)を検討する。
PVの時系列データに対するGP回帰の標準的な適用は、PVの読み出しの大きなデータサイズと非ガウス性のために実現不可能である。
しかし、これは最近のスケーラブルなGP推論の進歩、特に現代の変分推論技術と組み合わせたGPの状態空間形式を利用することによって実現されている。
結果として得られるモデルは、大規模なデータセットにスケーラブルであるだけでなく、Kalmanフィルタによる継続的データストリームも処理できる。 Short-term forecasting of solar photovoltaic energy (PV) production is important for powerplant management. Ideally these forecasts are equipped with error bars, so that downstream decisions can account for uncertainty. To produce predictions with error bars in this setting, we consider Gaussian processes (GPs) for modelling and predicting solar photovoltaic energy production in the UK. A standard application of GP regression on the PV timeseries data is infeasible due to the large data size and non-Gaussianity of PV readings. However, this is made possible by leveraging recent advances in scalable GP inference, in particular, by using the state-space form of GPs, combined with modern variational inference techniques. The resulting model is not only scalable to large datasets but can also handle continuous data streams via Kalman filtering. | 翻訳日:2023-02-02 17:34:07 公開日:2023-02-01 |
| # ZX計算によるマルチコントロール量子ゲートの切断 Cutting multi-control quantum gates with ZX calculus ( http://arxiv.org/abs/2302.00387v1 ) ライセンス: Link先を確認 | Christian Ufrecht, Maniraman Periyasamy, Sebastian Rietsch, Daniel D. Scherer, Axel Plinge, Christopher Mutschler | (参考訳) 量子回路を独立した分割に分解する回路切断は、ノイズ-中間スケール量子(nisq)時代のより大きな量子回路実験への有望な道筋となっている。
従来, qubitワイヤの切断や2qubitゲートの切断に重点を置いてきたが, 本研究ではマルチコントロールzゲートの切断手法を提案する。
ここでは、回路上のカット数として$K$となるサンプリングオーバーヘッドに対して、分解を構築し、上限$\mathcal{O}(6^{2K})$を証明する。
この境界は制御量子ビットの数とは独立であるが、CCZゲートの特別の場合、さらに$\mathcal{O}(4.5^{2K})$に還元できる。
さらに,ibmのハードウェアに関する提案を評価し,カット回路におけるcnotゲートの強い低減によるノイズレジリエンスを実験的に示した。 Circuit cutting, the decomposition of a quantum circuit into independent partitions, has become a promising avenue towards experiments with larger quantum circuits in the noisy-intermediate scale quantum (NISQ) era. While previous work focused on cutting qubit wires or two-qubit gates, in this work we introduce a method for cutting multi-controlled Z gates. We construct a decomposition and prove the upper bound $\mathcal{O}(6^{2K})$ on the associated sampling overhead, where $K$ is the number of cuts in the circuit. This bound is independent of the number of control qubits but can be further reduced to $\mathcal{O}(4.5^{2K})$ for the special case of CCZ gates. Furthermore, we evaluate our proposal on IBM hardware and experimentally show noise resilience due to the strong reduction of CNOT gates in the cut circuits. | 翻訳日:2023-02-02 17:33:55 公開日:2023-02-01 |
| # EfficientRep:ハードウェア対応ニューラルネットワーク設計による効率的なRepvggスタイルのConvNet EfficientRep:An Efficient Repvgg-style ConvNets with Hardware-aware Neural Network Design ( http://arxiv.org/abs/2302.00386v1 ) ライセンス: Link先を確認 | Kaiheng Weng, Xiangxiang Chu, Xiaoming Xu, Junshi Huang and Xiaoming Wei | (参考訳) 本稿では,repvggライクなアーキテクチャを持つ畳み込みニューラルネットワークのハードウェア効率の高いアーキテクチャを提案する。
Flopsまたはパラメータは、計算能力やメモリ帯域幅を含むハードウェアに敏感でないネットワークの効率を評価する伝統的なメトリクスである。
したがって、ハードウェアの計算能力とメモリ帯域を効率的に利用するニューラルネットワークを設計する方法が重要な問題である。
本稿では,ハードウェア対応ニューラルネットワークの設計手法を提案する。
この手法に基づいて,高速計算ハードウェア(GPUなど)であるEfficientRepシリーズの畳み込みネットワークを設計し,YOLOv6オブジェクト検出フレームワークに適用した。
YOLOv6は、YOLOv6N/YOLOv6S/YOLOv6M/YOLOv6Lモデルをv1とv2バージョンでリリースした。 We present a hardware-efficient architecture of convolutional neural network, which has a repvgg-like architecture. Flops or parameters are traditional metrics to evaluate the efficiency of networks which are not sensitive to hardware including computing ability and memory bandwidth. Thus, how to design a neural network to efficiently use the computing ability and memory bandwidth of hardware is a critical problem. This paper proposes a method how to design hardware-aware neural network. Based on this method, we designed EfficientRep series convolutional networks, which are high-computation hardware(e.g. GPU) friendly and applied in YOLOv6 object detection framework. YOLOv6 has published YOLOv6N/YOLOv6S/YOLOv6M/YOLOv6L models in v1 and v2 versions. | 翻訳日:2023-02-02 17:33:42 公開日:2023-02-01 |
| # 環上の二元ボソン混合系の超流動-ドロップレットクロスオーバー:一次元の素粒子系に対する厳密な対角化解 Superfluid-droplet crossover in a binary boson mixture on a ring: Exact diagonalization solutions for few-particle systems in one dimension ( http://arxiv.org/abs/2302.00385v1 ) ライセンス: Link先を確認 | L. Chergui, J. Bengtsson, J. Bjerlin, P. St\"urmer, G.M. Kavoulakis and S.M. Reimann | (参考訳) ボソニック原子の1次元二元混合系における自己結合量子液滴の形成を, フルハミルトニアンの数値対角化法を用いて検討した。
励起スペクトルと基底状態の相関は、臨界種間相互作用の領域を横切る際に、少数粒子の液滴の形成を示唆する。
自己結合は回転励起に影響を与え、多体限界における超流動性に関連する負の曲率から剛体回転のほぼパラボリックな曲率へのエネルギー分散の変化を示す。
我々は, 遷移行列要素と呼吸モードダイナミクスの観点から, 系の2つの大域的対称性を利用して, 極小体モードをさらに解析する。
厳密な結果は、拡張グロス・ピタエフスキー方程式における高次寄与の通常のアドホックな包含と比較され、1次元の熱力学的限界との顕著な一致を示した。 We investigate the formation of self-bound quantum droplets in a one-dimensional binary mixture of bosonic atoms, applying the method of numerical diagonalization of the full Hamiltonian. The excitation spectra and ground-state pair correlations signal the formation of a few-boson droplet when crossing the region of critical inter-species interactions. The self-binding affects the rotational excitations, displaying a change in the energy dispersion from negative curvature, associated with superfluidity in the many-body limit, to a nearly parabolic curvature indicative of rigid body rotation. We exploit two global symmetries of the system to further analyze the few-body modes in terms of transition matrix elements and breathing mode dynamics. The exact results are compared to the usual ad-hoc inclusion of higher-order contributions in the extended Gross-Pitaevskii equation, showing a remarkable agreement between the few-body regime and the thermodynamic limit in one dimension. | 翻訳日:2023-02-02 17:33:29 公開日:2023-02-01 |
| # Alphazzle: 深いモンテカルロ木探索を備えたJigsawのパズルソルバー Alphazzle: Jigsaw Puzzle Solver with Deep Monte-Carlo Tree Search ( http://arxiv.org/abs/2302.00384v1 ) ライセンス: Link先を確認 | Marie-Morgane Paumard, Hedi Tabia, David Picard | (参考訳) ジグソーパズルを解くには,パッチのシーケンスの視覚的特徴を把握し,シーケンス長とともに指数関数的に増加する解空間を効率的に探索する必要がある。
したがって、視覚深部強化学習(DRL)は、ニューラルネットワークと結合した最適化解法よりも効率よくこの問題に答えるべきである。
この仮定に基づき,マルチプレイヤーモンテカルロ木探索(mcts)に基づく再構成アルゴリズムであるalphazzleを提案する。
DRLアルゴリズムとの大きな違いは、MCTSのゲーム報酬の不有効性であり、ニューラルネットワークによる視覚入力からそれを推定する方法を示す。
この制約はパズル解決タスクによって引き起こされ、タスクの複雑さ(と興味)を劇的に増やします。
我々は,mctsとニューラルネットワークが協調して働くことの重要性を示す深部アブレーション研究を行う。
DRLと視覚的特徴学習の組み合わせについて,優れた結果とエキサイティングな洞察を得た。 Solving jigsaw puzzles requires to grasp the visual features of a sequence of patches and to explore efficiently a solution space that grows exponentially with the sequence length. Therefore, visual deep reinforcement learning (DRL) should answer this problem more efficiently than optimization solvers coupled with neural networks. Based on this assumption, we introduce Alphazzle, a reassembly algorithm based on single-player Monte Carlo Tree Search (MCTS). A major difference with DRL algorithms lies in the unavailability of game reward for MCTS, and we show how to estimate it from the visual input with neural networks. This constraint is induced by the puzzle-solving task and dramatically adds to the task complexity (and interest!). We perform an in-deep ablation study that shows the importance of MCTS and the neural networks working together. We achieve excellent results and get exciting insights into the combination of DRL and visual feature learning. | 翻訳日:2023-02-02 17:33:12 公開日:2023-02-01 |
| # 周期的焼成系における量子相転移 Quantum Phase Transitions in periodically quenched systems ( http://arxiv.org/abs/2302.00382v1 ) ライセンス: Link先を確認 | \'A. S\'aiz, J. Khalouf-Rivera, J. M. Arias, P. P\'erez-Fern\'andez, and J. Casado-Pascual | (参考訳) 量子相転移(QPT)の概念は、2つ(またはそれ以上)の可能な対称性を示す量子系で起こる様々な現象を包含する。
ある対称性から別の対称性への遷移は、系の時間非依存ハミルトニアンに存在する制御パラメータを連続的に変化させることによって達成される。
ここでは、システムの様々な対称性を不連続に切り替える時間周期ハミルトニアンを用いて、驚くほど同じ結果を与える別のアプローチを提案する。
このアプローチは、Floquetエンジニアリングを使用してQPTを研究するための新しい道を開く。 The concept of quantum phase transition (QPT) encompasses a variety of phenomena that occur in quantum systems exhibiting two (or more) possible symmetries. The transition from one symmetry to another is achieved by continuously varying a control parameter present in the time-independent Hamiltonian of the system. Here, an alternative approach that provides surprisingly identical results is proposed by using a time-periodic Hamiltonian that switches discontinuously between the various symmetries of the system. This approach opens new avenues to study QPTs using Floquet engineering. | 翻訳日:2023-02-02 17:32:57 公開日:2023-02-01 |
| # HOAX:ニューラルネットワークのためのハイパーパラメータ最適化アルゴリズムエクスプローラ HOAX: A Hyperparameter Optimization Algorithm Explorer for Neural Networks ( http://arxiv.org/abs/2302.00374v1 ) ライセンス: Link先を確認 | Albert Thie, Maximilian F. S. J. Menger, Shirin Faraji | (参考訳) 計算化学は分子の性質と反応を予測し理解するための重要なツールとなっている。
近年、量子化学計算を高速化する新しいアルゴリズムや計算手法が急速に伸びているが、光誘起過程を研究する軌道ベースの方法のボトルネックは依然として膨大な数の電子構造計算である。
本研究では,人工知能の領域から借用された機械学習アルゴリズムと手法を用いることで,電子構造計算の量を劇的に削減する革新的なソリューションを提案する。
しかし、これらのアルゴリズムを適用するには最適なハイパーパラメータを見つける必要がある。
本稿では,ニューラルネットワークのハイパーパラメータ最適化を実現するための,ユーザフレンドリな自動フレームワークHOAXを提案する。
ニューラルネットワークが生成するポテンシャルエネルギー面(PES)は、ab initioベースのPSSと比較して計算コストを削減します。
本研究では,様々なハイパーパラメータオプティミジエーションアルゴリズム(グリッド探索,シミュレーションアニーリング,遺伝的アルゴリズム,ベイズ最適化など)の性能比較を行い,小型有機分子のpesに適合するためにニューラルネットワークを構築するのに必要な最適なハイパーパラメータを求める。
以上の結果から,この自動ツールキットは,ハイパーパラメータ最適化を行うための簡単な方法であるだけでなく,ニューラルネットワークに基づく生成されたPSSも,b initioベースのPSSと合理的に一致していることがわかった。 Computational chemistry has become an important tool to predict and understand molecular properties and reactions. Even though recent years have seen a significant growth in new algorithms and computational methods that speed up quantum chemical calculations, the bottleneck for trajectory-based methods to study photoinduced processes is still the huge number of electronic structure calculations. In this work, we present an innovative solution, in which the amount of electronic structure calculations is drastically reduced, by employing machine learning algorithms and methods borrowed from the realm of artificial intelligence. However, applying these algorithms effectively requires finding optimal hyperparameters, which remains a challenge itself. Here we present an automated user-friendly framework, HOAX, to perform the hyperparameter optimization for neural networks, which bypasses the need for a lengthy manual process. The neural network generated potential energy surfaces (PESs) reduces the computational costs compared to the ab initio-based PESs. We perform a comparative investigation on the performance of different hyperparameter optimiziation algorithms, namely grid search, simulated annealing, genetic algorithm, and bayesian optimizer in finding the optimal hyperparameters necessary for constructing the well-performing neural network in order to fit the PESs of small organic molecules. Our results show that this automated toolkit not only facilitate a straightforward way to perform the hyperparameter optimization but also the resulting neural networks-based generated PESs are in reasonable agreement with the ab initio-based PESs. | 翻訳日:2023-02-02 17:32:48 公開日:2023-02-01 |
| # 単純かつ効果的なグラデーションフリーグラフ畳み込みネットワーク Simple yet Effective Gradient-Free Graph Convolutional Networks ( http://arxiv.org/abs/2302.00371v1 ) ライセンス: Link先を確認 | Yulin Zhu, Xing Ai, Qimai Li, Xiao-Ming Wu, Kai Zhou | (参考訳) 近年,グラフ表現学習において線形化グラフニューラルネットワーク (GNN) が注目されている。
非線形グラフニューラルネットワーク(GNN)モデルと比較して、線形化されたGNNはより時間効率が良く、ノード分類のような典型的な下流タスクで同等のパフォーマンスが得られる。
いくつかの線形化gnn変種は、``over-smoothing'を緩和するために意図的に作られたものであるが、実証的な研究は、まだこの問題に苦しむことを証明している。
そこで本稿では, 過度に平滑化を克服し, モデルの一般化を促進できる, より効率的かつ効率的な線形化GNNを実現するために, 勾配のないトレーニングフレームワークを構築する。
実験の結果,本手法は,深さやコストの異なるノード分類タスクにおいて,より良く,より安定した性能が得られることがわかった。 Linearized Graph Neural Networks (GNNs) have attracted great attention in recent years for graph representation learning. Compared with nonlinear Graph Neural Network (GNN) models, linearized GNNs are much more time-efficient and can achieve comparable performances on typical downstream tasks such as node classification. Although some linearized GNN variants are purposely crafted to mitigate ``over-smoothing", empirical studies demonstrate that they still somehow suffer from this issue. In this paper, we instead relate over-smoothing with the vanishing gradient phenomenon and craft a gradient-free training framework to achieve more efficient and effective linearized GNNs which can significantly overcome over-smoothing and enhance the generalization of the model. The experimental results demonstrate that our methods achieve better and more stable performances on node classification tasks with varying depths and cost much less training time. | 翻訳日:2023-02-02 17:32:25 公開日:2023-02-01 |
| # 条件付きフローマッチング:シミュレーションフリーな動的最適輸送 Conditional Flow Matching: Simulation-Free Dynamic Optimal Transport ( http://arxiv.org/abs/2302.00482v1 ) ライセンス: Link先を確認 | Alexander Tong, Nikolay Malkin, Guillaume Huguet, Yanlei Zhang, Jarrid Rector-Brooks, Kilian Fatras, Guy Wolf, Yoshua Bengio | (参考訳) 連続正規化フロー(cnfs)は魅力的な生成的モデリング手法であるが、シミュレーションに基づく最大確率トレーニングの限界によって、これまでのところ後退している。
本稿では,cnfsのためのシミュレーションフリーなトレーニング目標である条件付きフローマッチング(cfm)と呼ばれる新しい手法を提案する。
cfmは拡散モデルの確率的流れを訓練するために使われるような安定した回帰目標を持っているが、決定論的フローモデルの効率的な推論を享受している。
拡散モデルとそれ以前のCNFトレーニングアルゴリズムとは対照的に、我々のCFMの目的はソース分布をガウス的あるいは密度評価を必要としない。
この新たな目的に基づき、実験で評価したように、トレーニングに安定なより単純なフローを生成し、より高速な推論をもたらす最適な輸送CFM(OT-CFM)も導入する。
CFMを用いたCNFのトレーニングでは、単一セルダイナミクスの推測、教師なし画像翻訳、Schr\odingerブリッジ推論などの条件付きおよび非条件生成タスクの結果が改善されている。
コードはhttps://github.com/atong01/conditional-flow-matchingで入手できる。 Continuous normalizing flows (CNFs) are an attractive generative modeling technique, but they have thus far been held back by limitations in their simulation-based maximum likelihood training. In this paper, we introduce a new technique called conditional flow matching (CFM), a simulation-free training objective for CNFs. CFM features a stable regression objective like that used to train the stochastic flow in diffusion models but enjoys the efficient inference of deterministic flow models. In contrast to both diffusion models and prior CNF training algorithms, our CFM objective does not require the source distribution to be Gaussian or require evaluation of its density. Based on this new objective, we also introduce optimal transport CFM (OT-CFM), which creates simpler flows that are more stable to train and lead to faster inference, as evaluated in our experiments. Training CNFs with CFM improves results on a variety of conditional and unconditional generation tasks such as inferring single cell dynamics, unsupervised image translation, and Schr\"odinger bridge inference. Code is available at https://github.com/atong01/conditional-flow-matching . | 翻訳日:2023-02-02 17:26:03 公開日:2023-02-01 |
| # カスケード量子井戸からの絡み合った多光子状態の制御放出 Controlled emission of entangled multiphoton states from cascaded quantum wells ( http://arxiv.org/abs/2302.00474v1 ) ライセンス: Link先を確認 | Amir Sivan and Meir Orenstein | (参考訳) 本稿では、カスケード量子井戸構造のはしごからの自然放出に基づく絡み合った多光子状態の発生源を提案する。
量子井戸間の結合は、3つのモードにおける光子数結合状態の放出を伴う多経路進化を可能にする。
多光子状態は、2つの多光子モード間の絡み合いを3つの測定によって制御するなど、ユニークな性質を持つ。
本稿では,誤差検出アンシラを用いたqubit-pairソースとしてのアプリケーションについて概説する。 We propose a source of entangled multiphoton states based on spontaneous emission from a ladder of a cascaded quantum well structure. The coupling between the quantum wells enables a many-path evolution with the emission of photon-number combination states in three modes. The multiphoton state has unique properties, such as control of the entanglement between two multiphoton modes by measuring the third. We discuss briefly an application as a qubit-pair source with an error-detection ancilla. | 翻訳日:2023-02-02 17:25:42 公開日:2023-02-01 |
| # 格子場理論における量子コンピューティングの展望 Review on Quantum Computing for Lattice Field Theory ( http://arxiv.org/abs/2302.00467v1 ) ライセンス: Link先を確認 | Lena Funcke, Tobias Hartung, Karl Jansen, Stefan K\"uhn | (参考訳) 本稿では,量子コンピューティングを格子場理論に適用する最近の進歩を概観する。
量子コンピューティングは、有限バリオン密度、位相項、平衡外力学といったサイン・プロブレムが伴う規則のような、従来のモンテカルロのアプローチにほとんどアクセスできないパラメータ系における格子場理論をシミュレートする可能性を提供する。
1+1次元の格子ゲージ理論に関する最初の概念量子計算が達成され、(1+1)次元と(2+1)次元の格子ゲージ理論に対する最初の資源効率の量子アルゴリズムが開発された。
Lattice QCDを含む3+1次元格子ゲージ理論の量子計算への道は、量子ハードウェアと量子アルゴリズムの両方を改善するための漸進的なステップを必要とする。
これらの要件と最近の進歩を振り返って、主な課題と今後の方向性について論じる。 In these proceedings, we review recent advances in applying quantum computing to lattice field theory. Quantum computing offers the prospect to simulate lattice field theories in parameter regimes that are largely inaccessible with the conventional Monte Carlo approach, such as the sign-problem afflicted regimes of finite baryon density, topological terms, and out-of-equilibrium dynamics. First proof-of-concept quantum computations of lattice gauge theories in (1+1) dimensions have been accomplished, and first resource-efficient quantum algorithms for lattice gauge theories in (1+1) and (2+1) dimensions have been developed. The path towards quantum computations of (3+1)-dimensional lattice gauge theories, including Lattice QCD, requires many incremental steps of improving both quantum hardware and quantum algorithms. After reviewing these requirements and recent advances, we discuss the main challenges and future directions. | 翻訳日:2023-02-02 17:25:36 公開日:2023-02-01 |
| # 最大重量傾きに対する実効性およびヒューリスティックアルゴリズムの改良 Improved Exact and Heuristic Algorithms for Maximum Weight Clique ( http://arxiv.org/abs/2302.00458v1 ) ライセンス: Link先を確認 | Roman Erhardt, Kathrin Hanauer, Nils Kriege, Christian Schulz, Darren Strash | (参考訳) 多くの応用でグラフ理論においてよく知られた問題である最大重量傾き問題を解くための改良された精度とヒューリスティックなアルゴリズムを提案する。
提案アルゴリズムは,局所的なグラフ構造を用いて最適な解を維持しながら頂点と辺を識別・除去する,新しいデータ還元規則を用いた手法を応用した。
我々は,アルゴリズムを合成および実世界のグラフで評価し,ほとんどの入力においてその技術の現状よりも優れていることを示す。
我々のデータリダクションは、既存のデータリダクションだけでなく、グラフを小さくする。
その結果、我々の正確なアルゴリズムMWCReduは、自然重み付き中規模の地図ラベリンググラフとランダムな双曲グラフで解のオーダーを桁違いに高速化する。
私たちのヒューリスティックアルゴリズムであるMWCPeelは、これらのインスタンスで競合他社より優れていますが、非常に密度の高いインスタンスや大きめのインスタンスでは若干効果がありません。 We propose improved exact and heuristic algorithms for solving the maximum weight clique problem, a well-known problem in graph theory with many applications. Our algorithms interleave successful techniques from related work with novel data reduction rules that use local graph structure to identify and remove vertices and edges while retaining the optimal solution. We evaluate our algorithms on a range of synthetic and real-world graphs, and find that they outperform the current state of the art on most inputs. Our data reductions always produce smaller reduced graphs than existing data reductions alone. As a result, our exact algorithm, MWCRedu, finds solutions orders of magnitude faster on naturally weighted, medium-sized map labeling graphs and random hyperbolic graphs. Our heuristic algorithm, MWCPeel, outperforms its competitors on these instances, but is slightly less effective on extremely dense or large instances. | 翻訳日:2023-02-02 17:25:20 公開日:2023-02-01 |
| # ハイパーパラメータ最適化のための深部電力法則 Deep Power Laws for Hyperparameter Optimization ( http://arxiv.org/abs/2302.00441v1 ) ライセンス: Link先を確認 | Arlind Kadra, Maciej Janowski, Martin Wistuba, Josif Grabocka | (参考訳) ハイパーパラメータ最適化は、ピーク性能を達成するために選択されたアルゴリズムのハイパーパラメータをチューニングすることに焦点を当てた機械学習の重要なサブフィールドである。
近年,ハイパーパラメータ最適化の問題に対処する手法が多数存在するが,ほとんどの手法は学習曲線のスケーリング法則を利用していない。
本研究では,ニューラルネットワークモデルの集合体であるDeep Power Laws (DPL)を提案する。
提案手法は,グレーボックス評価を用いて,どの設定を停止し,段階的に訓練するかを動的に決定する。
57のタスクをカバーする表、画像、NLPデータセットに関連する3つのベンチマークで、最先端の競合7つを比較した。
提案手法は,すべてのベンチマークにおいて,すべての競合相手と比較して,最高のリアルタイム結果を得ることによって,最良の結果を得る。 Hyperparameter optimization is an important subfield of machine learning that focuses on tuning the hyperparameters of a chosen algorithm to achieve peak performance. Recently, there has been a stream of methods that tackle the issue of hyperparameter optimization, however, most of the methods do not exploit the scaling law property of learning curves. In this work, we propose Deep Power Laws (DPL), an ensemble of neural network models conditioned to yield predictions that follow a power-law scaling pattern. Our method dynamically decides which configurations to pause and train incrementally by making use of gray-box evaluations. We compare our method against 7 state-of-the-art competitors on 3 benchmarks related to tabular, image, and NLP datasets covering 57 diverse tasks. Our method achieves the best results across all benchmarks by obtaining the best any-time results compared to all competitors. | 翻訳日:2023-02-02 17:25:03 公開日:2023-02-01 |
| # 注意:大規模エンゲージメント予測データセットとベースライン Do I Have Your Attention: A Large Scale Engagement Prediction Dataset and Baselines ( http://arxiv.org/abs/2302.00431v1 ) ライセンス: Link先を確認 | Monisha Singh, Ximi Hoque, Donghuo Zeng, Yanan Wang, Kazushi Ikeda, Abhinav Dhall | (参考訳) 機械と相互作用しながら個人が表示する集中度、熱意、楽観性、情熱の度合いを「ユーザエンゲージメント」と呼ぶ。
エンゲージメントは、行動的、認知的、および関連する手がかりからなる。
実際の環境で動作可能なエンゲージメント予測システムを作成するには、豊富な多様なデータセットから学ぶことが不可欠である。
この目的のために,ワイルドデータセットにおける大規模多面的関与を提案する。
異なる照明条件を表す127人の参加者の31時間データを記録する。
様々な特徴のアクションユニット、目視、頭ポーズ、トランスフォーマーの適用性について、詳細な実験が行われた。
データセットのリッチな性質をさらに検証するために、EngageWildデータセットでも評価が行われる。
実験の結果,提案するデータセットの有用性が示された。
コード、モデル、データセットは公開される予定だ。 The degree of concentration, enthusiasm, optimism, and passion displayed by individual(s) while interacting with a machine is referred to as `user engagement'. Engagement comprises of behavioural, cognitive, and affect related cues. To create engagement predictions systems, which can work in real-world conditions it is quintessential to learn from rich diverse datasets. To this end, a large scale multi-faceted engagement in the wild dataset is proposed. 31 hours duration data of 127 participants representing different illumination conditions is recorded. Thorough experiments are performed exploring applicability of different features action units, eye gaze and head pose and transformers. To further validate the rich nature of the dataset, evaluation is also performed on the EngageWild dataset. The experiments show the usefulness of the proposed dataset. The code, models and dataset will be made publicly available. | 翻訳日:2023-02-02 17:24:51 公開日:2023-02-01 |
| # 量子緩和に基づく最適化アルゴリズムにおける絡み合いの役割 The Role of Entanglement in Quantum-Relaxation Based Optimization Algorithms ( http://arxiv.org/abs/2302.00429v1 ) ライセンス: Link先を確認 | Kosei Teramoto and Rudy Raymond and Hiroshi Imai | (参考訳) 量子ランダムアクセス最適化アルゴリズム(Quantum Random Access Optimizer, QRAO)は、フラーらによって提案された量子ランダムアクセス符号(QRAC)を用いて、単一量子ビットでバイナリ最適化の複数の変数を符号化する最適化アルゴリズムである。
qaoaのような標準量子最適化とは違って、計算基底において対角的でない局所量子ハミルトニアンの固有状態を利用する。
対角ハミルトニアンの極大固有状態が古典的状態を含むため、標準的な量子最適化器で二進最適化問題を解くために量子絡み合いは必要ない。
本研究では、量子緩和の性能が常に向上するわけではないが、量子緩和が量子化の助けを借りて最適解を見つけるのに成功する事例がいくつか存在することを観察した。
この結果から,QRAOは限定量子コンピュータで解ける二項最適化問題のインスタンスをスケールできるだけでなく,量子絡み合いの恩恵を受けることが示唆された。 Quantum Random Access Optimizer (QRAO) is a quantum-relaxation based optimization algorithm proposed by Fuller et al. that utilizes Quantum Random Access Code (QRAC) to encode multiple variables of binary optimization in a single qubit. Differing from standard quantum optimizers such as QAOA, it utilizes the eigenstates of local quantum Hamiltonians that are not diagonal in the computational basis. There are indications that quantum entanglement may not be needed to solve binary optimization problems with standard quantum optimizers because their maximal eigenstates of diagonal Hamiltonians include classical states. In this study, while quantumness does not always improve the performance of quantum relaxations, we observed that there exist some instances in which quantum relaxation succeeds to find optimal solutions with the help of quantumness. Our results suggest that QRAO not only can scale the instances of binary optimization problems solvable with limited quantum computers but also can benefit from quantum entanglement. | 翻訳日:2023-02-02 17:24:40 公開日:2023-02-01 |
| # 光機械的キャビティにおける超強結合近傍の不安定性 Instabilities near ultrastrong coupling in an optomechanical cavity ( http://arxiv.org/abs/2302.00421v1 ) ライセンス: Link先を確認 | Soumya Ranjan Das, Sourav Majumder, Sudhir Kumar Sahu, Ujjawal Singhal, Tanmoy Bera, and Vibhor Singh | (参考訳) 人工的に構築されたシステムでは、超強結合(USC)として知られるモード周波数に匹敵するコヒーレント相互作用率を実現することができる。
超伝導導波路キャビティと機械共振器を用いたキャビティ・エレクトロメカニクス装置を実験的に実現した。
強いポンプの存在下では、機械偏光子分裂は機械周波数の81%に近づき、散逸速度を超過することができる。
USC限界を超えて、定常状態の応答は不安定になる。
ポンプパラメータを変化させながら不安定応答の境界を系統的に測定する。
不安定なダイナミクスは、自己誘起振動、周期双曲分岐、周期的トリップ振動などの豊富な位相を示し、最終的にカオス的な振る舞いをもたらす。
実験結果と理論的モデリングにより,弱散逸状態における残留非線形相互作用項の重要性が示唆された。 With artificially engineered systems, it is now possible to realize the coherent interaction rate, which can become comparable to the mode frequencies, a regime known as ultrastrong coupling (USC). We experimentally realize a cavity-electromechanical device using a superconducting waveguide cavity and a mechanical resonator. In the presence of a strong pump, the mechanical-polaritons splitting can nearly reach 81% of the mechanical frequency, overwhelming all the dissipation rates. Beyond the USC limit, the steady-state response becomes unstable. We systematically measure the boundary of the unstable response while varying the pump parameters. The unstable dynamics display rich phases, such as self-induced oscillations, period-doubling bifurcation, period-tripling oscillations, and ultimately leading to the chaotic behaviour. The experimental results and their theoretical modelling suggest the importance of residual nonlinear interaction terms in the weak-dissipative regime. | 翻訳日:2023-02-02 17:24:20 公開日:2023-02-01 |
| # ジェンダーバイアス研究における不足について:異種グラフ注意ネットワークを用いた中国語のジェンダー予測 For the Underrepresented in Gender Bias Research: Chinese Name Gender Prediction with Heterogeneous Graph Attention Network ( http://arxiv.org/abs/2302.00419v1 ) ライセンス: Link先を確認 | Zihao Pan, Kai Peng, Shuai Ling, Haipeng Zhang | (参考訳) 男女平等の実現は、人類の持続可能な未来にとって重要な柱である。
データ駆動性バイアス研究のパイオニア化は、科学論文、特許、企業登録などの大規模な公開記録に基づいており、女性研究者、発明家、起業家などをカバーする。
性別情報はしばしば関連するデータセットに欠けているため、研究は名前から性別を推測するツールに依存している。
しかし、利用可能なオープンソースである中国のジェンダーグジェスティングツールは科学的目的にはまだ適していないため、女性中国人が主流のジェンダーバイアス研究で過小評価され、その普遍性に影響を与える可能性がある。
具体的には、複数の文字名の漢字の組み合わせや、文字の構成要素や発音が重要なメッセージを伝えるという事実を見越しながら、文字レベルの情報に焦点を当てている。
最初の試みとして,中国の異種グラフ注意(CHGAT)モデルを設計し,成分関係の不均一性を捉え,文字の発音を組み込む。
我々のモデルは現在のツールをはるかに上回り、最先端のアルゴリズムよりも優れています。
最後に、最も人気のある中国の名前生成データセットは、信頼性の低いソースからの女性のカバレッジがはるかに低く、当然関連する研究を妨げるシングルキャラクタである。
私たちは、私たちのコードとともに、よりバランスの取れたマルチ文字データセットを公式ソースからオープンソースとして公開しています。 Achieving gender equality is an important pillar for humankind's sustainable future. Pioneering data-driven gender bias research is based on large-scale public records such as scientific papers, patents, and company registrations, covering female researchers, inventors and entrepreneurs, and so on. Since gender information is often missing in relevant datasets, studies rely on tools to infer genders from names. However, available open-sourced Chinese gender-guessing tools are not yet suitable for scientific purposes, which may be partially responsible for female Chinese being underrepresented in mainstream gender bias research and affect their universality. Specifically, these tools focus on character-level information while overlooking the fact that the combinations of Chinese characters in multi-character names, as well as the components and pronunciations of characters, convey important messages. As a first effort, we design a Chinese Heterogeneous Graph Attention (CHGAT) model to capture the heterogeneity in component relationships and incorporate the pronunciations of characters. Our model largely surpasses current tools and also outperforms the state-of-the-art algorithm. Last but not least, the most popular Chinese name-gender dataset is single-character based with far less female coverage from an unreliable source, naturally hindering relevant studies. We open-source a more balanced multi-character dataset from an official source together with our code, hoping to help future research promoting gender equality. | 翻訳日:2023-02-02 17:24:06 公開日:2023-02-01 |
| # ガウス過程による選択関数の学習 Learning Choice Functions with Gaussian Processes ( http://arxiv.org/abs/2302.00406v1 ) ライセンス: Link先を確認 | Alessio Benavoli, Dario Azzimonti, Dario Piga | (参考訳) 消費者理論において、利用可能なオブジェクトを選好関係でランク付けすると、個々の選択の最も一般的な記述が得られる。
しかし、嗜好に基づくモデルでは、(1) 対象のペア間でのみ好みを与える; (2) 常に最も好まれる対象を選択することができる。
多くの場合、彼らは2つ以上の要素からなる集合から選択する代わりに、情報や非互換性(矛盾する特性を持つオブジェクト)の欠如により、最も好まれる1つのオブジェクトを選択できない可能性がある。
これらの状況に対処するには、個人が設定された選択を表現できる選択モデルが必要である。
選択関数はそのような数学的枠組みを提供する。
選択データから選択関数を学習するためのガウス過程モデルを提案する。
提案モデルでは,Pareto合理化の概念に基づく選択関数の多目的表現を仮定し,これらの潜伏する複数のユーティリティの数と値の両方を学習する戦略を導出する。
シミュレーション実験により,提案モデルが最先端の手法より優れていることが示された。 In consumer theory, ranking available objects by means of preference relations yields the most common description of individual choices. However, preference-based models assume that individuals: (1) give their preferences only between pairs of objects; (2) are always able to pick the best preferred object. In many situations, they may be instead choosing out of a set with more than two elements and, because of lack of information and/or incomparability (objects with contradictory characteristics), they may not able to select a single most preferred object. To address these situations, we need a choice-model which allows an individual to express a set-valued choice. Choice functions provide such a mathematical framework. We propose a Gaussian Process model to learn choice functions from choice-data. The proposed model assumes a multiple utility representation of a choice function based on the concept of Pareto rationalization, and derives a strategy to learn both the number and the values of these latent multiple utilities. Simulation experiments demonstrate that the proposed model outperforms the state-of-the-art methods. | 翻訳日:2023-02-02 17:23:42 公開日:2023-02-01 |
| # ガウスボソンサンプリングによるグラフ問題に対する量子インスピレーション付き古典的アルゴリズム Quantum-inspired classical algorithm for graph problems by Gaussian boson sampling ( http://arxiv.org/abs/2302.00536v1 ) ライセンス: Link先を確認 | Changhun Oh, Liang Jiang, Nicol\'as Quesada | (参考訳) 本稿では,最も高密度な$k$-部分グラフの探索や最大重みの傾きの探索など,グラフ理論上の問題に応用可能な量子インスピレーション付き古典的アルゴリズムを提案する。
ガウスボソンサンプリング器の主な観測は、ガウスボソンサンプリング器に符号化されるグラフの隣接行列が非負であり、量子干渉を必要としないことである。
まず,与えられたグラフ問題を効率的な古典アルゴリズムにプログラムする方法を提案する。
次に, 理想と損失の大きいガウスボソンサンプリング器, 量子インスパイアされた古典的なサンプリング器, および最も高密度な$k$-サブグラフを発見し, 最大重量傾きを求める均一なサンプリング器の性能を比較し, ガウスボソンサンプリング器の利点が一般に有意でないことを示す。
提案したサンプリング器に対するガウスボソンサンプリング器の可能性について論じる。 We present a quantum-inspired classical algorithm that can be used for graph-theoretical problems, such as finding the densest $k$-subgraph and finding the maximum weight clique, which are proposed as applications of a Gaussian boson sampler. The main observation from Gaussian boson samplers is that a given graph's adjacency matrix to be encoded in a Gaussian boson sampler is nonnegative, which does not necessitate quantum interference. We first provide how to program a given graph problem into our efficient classical algorithm. We then numerically compare the performance of ideal and lossy Gaussian boson samplers, our quantum-inspired classical sampler, and the uniform sampler for finding the densest $k$-subgraph and finding the maximum weight clique and show that the advantage from Gaussian boson samplers is not significant in general. We finally discuss the potential advantage of a Gaussian boson sampler over the proposed sampler. | 翻訳日:2023-02-02 17:16:55 公開日:2023-02-01 |
| # 量子井戸による微小空洞内の強い機械スクイーズ Strong mechanical squeezing in microcavity with a quantum well ( http://arxiv.org/abs/2302.00534v1 ) ライセンス: Link先を確認 | Muhammad Asjad, Berihu Teklu, and Hichem Eleuch | (参考訳) 二色レーザーで励起された移動端ミラーを備えたキャビティ内に2つの量子井戸を配置したハイブリッド量子システムにおいて、メカニカル共振器のスクイーズ状態を生成する。
エキシトンモードとメカニカル共振器はマイクロキャビティフィールドを介して間接的に相互作用する。
生成した結合条件下では, 実験パラメータで解決されたサイドバンド状態を超えて, 機械モードのスクイーズを予測できる。
最後に, メカニカルモードのスクイーズは, フォノン熱浴温度に対して頑健であることを示す。 We address the creation of squeezed states of a mechanical resonator in a hybrid quantum system consisting of two quantum wells placed inside a cavity with a moving end mirror pumped by bichromatic laser fields. The exciton mode and mechanical resonator interact indirectly via microcavity fields. Under the conditions of the generated coupling, we predict squeezing of the mechanical-mode beyond the resolved side-band regime with available experimental parameters. Finally, we show that the squeezing of the mechanical mode is robust against the phonon thermal bath temperature. | 翻訳日:2023-02-02 17:16:35 公開日:2023-02-01 |
| # アーティファクト評価による教師なしmr画像品質制御のための潜在空間 A latent space for unsupervised MR image quality control via artifact assessment ( http://arxiv.org/abs/2302.00528v1 ) ライセンス: Link先を確認 | Lianrui Zuo, Yuan Xue, Blake E. Dewey, Yihao Liu, Jerry L. Prince, Aaron Carass | (参考訳) 画像品質制御(IQC)は、自動磁気共鳴(MR)画像解析において、未取得またはアーティファクトラデン画像による誤った結果を排除するために用いられる。
既存のmrイメージングのためのiqc手法では、有意義な特徴の作成や教師付きトレーニングのための大規模データセットのラベル付けに人間の努力が必要となる。
mr画像の品質に基づくラベル付けは主観的課題であるので、人的労働の関与は負担と偏りを伴います。
本稿では,mr画像中のアーティファクトの量を監視せずに評価する自動iqc手法を提案する。
特に,コントラスト学習に基づくアーティファクト表現を学習するアーティファクト符号化ネットワークを設計する。
次に正規化フローを用いて教師なし分類のための学習表現の密度を推定する。
大規模マルチコホートmrデータセットを用いた実験により,提案手法は,高レベルのアーティファクトを有する画像を正確に検出し,欠陥のあるデータについて下流解析タスクに通知できることを示す。 Image quality control (IQC) can be used in automated magnetic resonance (MR) image analysis to exclude erroneous results caused by poorly acquired or artifact-laden images. Existing IQC methods for MR imaging generally require human effort to craft meaningful features or label large datasets for supervised training. The involvement of human labor can be burdensome and biased, as labeling MR images based on their quality is a subjective task. In this paper, we propose an automatic IQC method that evaluates the extent of artifacts in MR images without supervision. In particular, we design an artifact encoding network that learns representations of artifacts based on contrastive learning. We then use a normalizing flow to estimate the density of learned representations for unsupervised classification. Our experiments on large-scale multi-cohort MR datasets show that the proposed method accurately detects images with high levels of artifacts, which can inform downstream analysis tasks about potentially flawed data. | 翻訳日:2023-02-02 17:16:27 公開日:2023-02-01 |
| # 運動による不確かさ駆動型2ビュー構造 Uncertainty-Driven Dense Two-View Structure from Motion ( http://arxiv.org/abs/2302.00523v1 ) ライセンス: Link先を確認 | Weirong Chen, Suryansh Kumar, Fisher Yu | (参考訳) 本研究は、動き(SfM)問題から高密度な2次元構造への効果的かつ実用的な解を導入する。
1つの重要な疑問は、正確なポーズ推定のために2つのフレーム間のピクセルごとの光学的フロー対応をどのように慎重に使うかである。
注意深く推定されたカメラポーズと画素ごとの光フロー対応により、シーンの深度を計算する。
その後, 厳格なsfmに固有の依存性を生かして, 光フローマッチングの信頼性, カメラポーズ, 深さをさらに向上させる反復的精細化法が導入された。
提案する基本的な考え方は、光学フロー推定における画素当たりの不確かさの恩恵を受け、オンラインリファインメントを通じて密度の高いSfMシステムにロバスト性を提供することである。
具体的には パイプラインを紹介します
i) 一致の信頼度と画素ごとの対応性を提供する不確実性を考慮した高密度光フロー推定手法
二 ポーズ及び深さを洗練するために、光流の不確かさ及び双方向光流の一貫性に依存する重み付き密束調整定式化
(iii)エピポーラ制約を尊重する推定ポーズと光学フローとの整合性を考慮した深さ推定ネットワーク。
大規模な実験により,提案手法は,DeMoN,YFCC100M,ScanNetなどのベンチマークデータセットでテストした場合,SuperPointとSuperGlueの精度に代えて,顕著な深度精度と最先端カメラのポーズが得られた。 This work introduces an effective and practical solution to the dense two-view structure from motion (SfM) problem. One vital question addressed is how to mindfully use per-pixel optical flow correspondence between two frames for accurate pose estimation -- as perfect per-pixel correspondence between two images is difficult, if not impossible, to establish. With the carefully estimated camera pose and predicted per-pixel optical flow correspondences, a dense depth of the scene is computed. Later, an iterative refinement procedure is introduced to further improve optical flow matching confidence, camera pose, and depth, exploiting their inherent dependency in rigid SfM. The fundamental idea presented is to benefit from per-pixel uncertainty in the optical flow estimation and provide robustness to the dense SfM system via an online refinement. Concretely, we introduce a pipeline consisting of (i) an uncertainty-aware dense optical flow estimation approach that provides per-pixel correspondence with their confidence score of matching; (ii) a weighted dense bundle adjustment formulation that depends on optical flow uncertainty and bidirectional optical flow consistency to refine both pose and depth; (iii) a depth estimation network that considers its consistency with the estimated poses and optical flow respecting epipolar constraint. Extensive experiments show that the proposed approach achieves remarkable depth accuracy and state-of-the-art camera pose results superseding SuperPoint and SuperGlue accuracy when tested on benchmark datasets such as DeMoN, YFCC100M, and ScanNet. | 翻訳日:2023-02-02 17:16:07 公開日:2023-02-01 |
| # 多列3D/4DMRIのための合成に基づく画像差分表現学習 Synthesis-based Imaging-Differentiation Representation Learning for Multi-Sequence 3D/4D MRI ( http://arxiv.org/abs/2302.00517v1 ) ライセンス: Link先を確認 | Luyi Han, Tao Tan, Tianyu Zhang, Yunzhi Huang, Xin Wang, Yuan Gao, Jonas Teuwen, Ritse Mann | (参考訳) 多シーケンスMRIは, 臨床実践において, シーケンス内の補足情報による信頼性診断に必要である。
しかし、冗長な情報はシーケンス間で存在し、現代の機械学習やディープラーニングモデルによる効率的な表現のマイニングを妨げる。
様々な臨床シナリオを扱うために,画像差分表現学習のためのシーケンス・ツー・シーケンス生成フレームワーク(Seq2Seq)を提案する。
本研究では,1つのモデル内で任意の3d/4dシーケンス生成を提案し,任意のターゲットシーケンスを生成するだけでなく,シーケンス生成の難しさを推定する新しい指標に基づいて,各シーケンスの重要性をランク付けすることができる。
さらに,モデルの生成不能を生かして,各シーケンスに固有の情報を含む領域を抽出する。
We conduct extensive experiments using three datasets including a toy dataset of 20,000 simulated subjects, a brain MRI dataset of 1,251 subjects, and a breast MRI dataset of 2,101 subjects, to demonstrate that (1) our proposed Seq2Seq is efficient and lightweight for complex clinical datasets and can achieve excellent image quality; (2) top-ranking sequences can be used to replace complete sequences with non-inferior performance; (3) combining MRI with our imaging-differentiation map leads to better performance in clinical tasks such as glioblastoma MGMT promoter methylation status prediction and breast cancer pathological complete response status prediction.
私たちのコードはhttps://github.com/fiy2w/mri_seq2seqで利用可能です。 Multi-sequence MRIs can be necessary for reliable diagnosis in clinical practice due to the complimentary information within sequences. However, redundant information exists across sequences, which interferes with mining efficient representations by modern machine learning or deep learning models. To handle various clinical scenarios, we propose a sequence-to-sequence generation framework (Seq2Seq) for imaging-differentiation representation learning. In this study, not only do we propose arbitrary 3D/4D sequence generation within one model to generate any specified target sequence, but also we are able to rank the importance of each sequence based on a new metric estimating the difficulty of a sequence being generated. Furthermore, we also exploit the generation inability of the model to extract regions that contain unique information for each sequence. We conduct extensive experiments using three datasets including a toy dataset of 20,000 simulated subjects, a brain MRI dataset of 1,251 subjects, and a breast MRI dataset of 2,101 subjects, to demonstrate that (1) our proposed Seq2Seq is efficient and lightweight for complex clinical datasets and can achieve excellent image quality; (2) top-ranking sequences can be used to replace complete sequences with non-inferior performance; (3) combining MRI with our imaging-differentiation map leads to better performance in clinical tasks such as glioblastoma MGMT promoter methylation status prediction and breast cancer pathological complete response status prediction. Our code is available at https://github.com/fiy2W/mri_seq2seq. | 翻訳日:2023-02-02 17:15:43 公開日:2023-02-01 |
| # ダイナミックな産業環境における人々の追跡 Tracking People in Highly Dynamic Industrial Environments ( http://arxiv.org/abs/2302.00503v1 ) ライセンス: Link先を確認 | Savvas Papaioannou, Andrew Markham, and Niki Trigoni | (参考訳) これまで、ポジショニングシステムの大部分は、長期安定なマクロ構造と潜在的に小規模なダイナミクスを持つ環境内で動作するように設計されてきた。
これらの仮定により、既存の測位システムは安定した地図を作成、利用することができる。
しかし、高度にダイナミックな工業環境では、これらの仮定はもはや有効ではなく、構造が急速に変化するため、人々を追跡する仕事はより困難である。
本稿では,建設現場などの高ダイナミックな産業環境における人々を追跡できる新しい位置決めシステムを提案する。
提案システムは,多くの産業環境にある既存のCCTVカメラのインフラと,作業者の携帯電話内の無線・慣性センサーを利用して,複数の人物を正確に追跡する。
このマルチターゲットマルチセンサトラッキングフレームワークは,環境ダイナミクスに対処するために,クロスモダリティトレーニングも可能にする。
特に,閉塞マップを利用して環境変化(すなわち新しい壁)を自動的に追跡するために,我々のシステムがクロスモダリティトレーニングをどのように利用するかを示す。
さらに,これらの地図が社会的力と連動して人間の動きを正確に予測し,追跡精度を高める方法を示す。
我々は, クロスモダリティ訓練と社会力の利用を通じて, かなりの精度向上を示した建設現場で, 広範囲な実世界実験を行った。 To date, the majority of positioning systems have been designed to operate within environments that have long-term stable macro-structure with potential small-scale dynamics. These assumptions allow the existing positioning systems to produce and utilize stable maps. However, in highly dynamic industrial settings these assumptions are no longer valid and the task of tracking people is more challenging due to the rapid large-scale changes in structure. In this paper we propose a novel positioning system for tracking people in highly dynamic industrial environments, such as construction sites. The proposed system leverages the existing CCTV camera infrastructure found in many industrial settings along with radio and inertial sensors within each worker's mobile phone to accurately track multiple people. This multi-target multi-sensor tracking framework also allows our system to use cross-modality training in order to deal with the environment dynamics. In particular, we show how our system uses cross-modality training in order to automatically keep track environmental changes (i.e. new walls) by utilizing occlusion maps. In addition, we show how these maps can be used in conjunction with social forces to accurately predict human motion and increase the tracking accuracy. We have conducted extensive real-world experiments in a construction site showing significant accuracy improvement via cross-modality training and the use of social forces. | 翻訳日:2023-02-02 17:15:22 公開日:2023-02-01 |
| # 確率論理プログラミングのハイブリッド:推論と学習 Hybrid Probabilistic Logic Programming: Inference and Learning ( http://arxiv.org/abs/2302.00496v1 ) ライセンス: Link先を確認 | Nitesh Kumar | (参考訳) この論文は確率論的論理プログラミング(PLP)の発展に焦点を当て、不確実性の確率理論と関係性のための論理プログラミングを組み合わせたものである。
この論文は、数値データを持つアプリケーションに必要な離散変数と連続変数の両方をサポートするためにPLPを拡張することを目的としている。
最初の貢献は、計算のゲインにコンテキスト固有の非依存を利用する新しいサンプリングアルゴリズムcs-lw(context-specific likelihood weighting)の導入である。
次に、新しいハイブリッドPLPであるDC#が導入され、分散クロースとベイズ論理プログラムの構文を統合し、3種類の非依存性を表す。
一 ベイズネットワークでモデル化された条件不一致(CI)
二 論理規則で表される文脈特化独立度(CSIs)
三 規則の組み合わせにより表される関係モデルにおける関連対象の属性の差分
スケーラブルな推論アルゴリズムFO-CS-LWがDC#で導入された。
最後に、この論文は、ハイブリッドPLPの構造とパラメータを学習し、リレーショナルオートコンプリート問題に取り組むDiceMLの導入によって、リレーショナルデータとバックグラウンド知識からハイブリッドPLPを学ぶためのアプローチの欠如に対処する。
この結論は,ハイブリッドPLPの今後の方向性と課題を論じるものである。 This thesis focuses on the advancement of probabilistic logic programming (PLP), which combines probability theory for uncertainty and logic programming for relations. The thesis aims to extend PLP to support both discrete and continuous random variables, which is necessary for applications with numeric data. The first contribution is the introduction of context-specific likelihood weighting (CS-LW), a new sampling algorithm that exploits context-specific independencies for computational gains. Next, a new hybrid PLP, DC#, is introduced, which integrates the syntax of Distributional Clauses with Bayesian logic programs and represents three types of independencies: i) conditional independencies (CIs) modeled in Bayesian networks; ii) context-specific independencies (CSIs) represented by logical rules, and iii) independencies amongst attributes of related objects in relational models expressed by combining rules. The scalable inference algorithm FO-CS-LW is introduced for DC#. Finally, the thesis addresses the lack of approaches for learning hybrid PLP from relational data and background knowledge with the introduction of DiceML, which learns the structure and parameters of hybrid PLP and tackles the relational autocompletion problem. The conclusion discusses future directions and open challenges for hybrid PLP. | 翻訳日:2023-02-02 17:15:01 公開日:2023-02-01 |
| # 通信複雑度を損なう非局所的ボックスの未知領域の拡張 Extending the Known Region of Nonlocal Boxes that Collapse Communication Complexity ( http://arxiv.org/abs/2302.00488v1 ) ライセンス: Link先を確認 | Marc-Olivier Proulx, Anne Broadbent, Pierre Botteron | (参考訳) ノンシグナリングボックス(non-signalling box, n)は、光速通信の原理によって定義される理論的資源である。
量子相関 (q) を一般化し、通信複雑性 (cc) を崩壊させることが知られている。
しかし、この崩壊は自然界では達成不可能であると強く信じられており、その研究はQをよりよく理解している。
NSのいくつかのスライスでは、この条件は楕円の外側の領域と一致することを示す。 Non-signalling boxes (NS) are theoretical resources defined by the principle of no-faster-than-light communication. They generalize quantum correlations (Q), and some of them are known to collapse communication complexity (CC). However, this collapse is strongly believed to be unachievable in Nature, so its study leads to a better understanding of Q. In the present letter, we find a better sufficient condition for a nonlocal box to collapse CC, thus extending the known collapsing region. In some slices of NS, we show this condition coincides with an area outside of an ellipse. | 翻訳日:2023-02-02 17:14:41 公開日:2023-02-01 |
| # 結晶材料発見のための等変メッセージパッシングニューラルネットワーク Equivariant Message Passing Neural Network for Crystal Material Discovery ( http://arxiv.org/abs/2302.00485v1 ) ライセンス: Link先を確認 | Astrid Klipfel, Olivier Peltre, Najwa Harrati, Ya\"el Fregier, Adlane Sayede, Zied Bouraoui | (参考訳) 望ましい性質を持つ自動材料発見は、物質科学の基本的な課題である。
近年、安定な結晶構造の生成に注目が集まっている。
既存の研究は、特性予測のような教師付きタスクで顕著に成功したが、物質生成のような教師なしタスクの進行は、同じ結晶の同等な幾何学的表現が考慮される範囲で妨げられている。
そこで本研究では,非教師あり方式で結晶格子変形を学習する周期同変メッセージパッシングニューラルネットワークempnnを提案する。
本モデルは, 結晶生成, 緩和, 最適化に適した変形作用により, 格子上で等価に作用する。
提案手法の有効性を示す実験的評価を行った。 Automatic material discovery with desired properties is a fundamental challenge for material sciences. Considerable attention has recently been devoted to generating stable crystal structures. While existing work has shown impressive success on supervised tasks such as property prediction, the progress on unsupervised tasks such as material generation is still hampered by the limited extent to which the equivalent geometric representations of the same crystal are considered. To address this challenge, we propose EMPNN a periodic equivariant message-passing neural network that learns crystal lattice deformation in an unsupervised fashion. Our model equivalently acts on lattice according to the deformation action that must be performed, making it suitable for crystal generation, relaxation and optimisation. We present experimental evaluations that demonstrate the effectiveness of our approach. | 翻訳日:2023-02-02 17:14:32 公開日:2023-02-01 |
| # 都市物流におけるデジタルツイン応用:概要 Digital Twin Applications in Urban Logistics: An Overview ( http://arxiv.org/abs/2302.00484v1 ) ライセンス: Link先を確認 | Abdo Abouelrous, Laurens Bliek, Yingqian Zhang | (参考訳) 商業・産業交通による都市交通は、汚染や渋滞に関連する外部の影響により、都市の生活水準に大きく影響している。
これに対抗するため、スマートシティは持続可能性を達成するために技術ツールを展開する。
そのようなツールには、実際の物理システムの仮想レプリカであるDigital Twins (DT)が含まれる。
DTは、常にパフォーマンスを最適化することで、物理的なシステムを制御する方法において非常に有益である、と研究は示唆している。
この概念は製造業のような他の技術主導の産業で広く研究されている。
しかし、都市物流への応用については、ほとんど研究されていない。
本稿では,dtsを都市物流ネットワークに容易に適用できる枠組みを提案する。
そこで,本稿では,都市物流における動的意思決定の重要な要因について述べる。
また, 都市ロジスティクスにおけるdt応用に関するこれまでの研究から, 総括的概観が不足していることが判明した。
この知識と特徴を組み合わせて,都市の物流デジタル双生児のオントロジー,学習能力,最適化技術を定量的モデルにより記述した概念モデルを構築した。
我々は、これまでの研究と実践経験に基づいて、潜在的研究利益と限界に関する議論を締めくくります。 Urban traffic attributed to commercial and industrial transportation is observed to largely affect living standards in cities due to external effects pertaining to pollution and congestion. In order to counter this, smart cities deploy technological tools to achieve sustainability. Such tools include Digital Twins (DT)s which are virtual replicas of real-life physical systems. Research suggests that DTs can be very beneficial in how they control a physical system by constantly optimizing its performance. The concept has been extensively studied in other technology-driven industries like manufacturing. However, little work has been done with regards to their application in urban logistics. In this paper, we seek to provide a framework by which DTs could be easily adapted to urban logistics networks. To do this, we provide a characterization of key factors in urban logistics for dynamic decision-making. We also survey previous research on DT applications in urban logistics as we found that a holistic overview is lacking. Using this knowledge in combination with the characterization, we produce a conceptual model that describes the ontology, learning capabilities and optimization prowess of an urban logistics digital twin through its quantitative models. We finish off with a discussion on potential research benefits and limitations based on previous research and our practical experience. | 翻訳日:2023-02-02 17:14:21 公開日:2023-02-01 |
| # 可視化レコメンデーションシステムのための機械学習:オープンチャレンジと今後の方向性 Machine Learning for Visualization Recommendation Systems: Open Challenges and Future Directions ( http://arxiv.org/abs/2302.00569v1 ) ライセンス: Link先を確認 | Luca Podo, Bardh Prenkaj, Paola Velardi | (参考訳) ビジュアライゼーション・レコメンデーション・システム(VRS)は、データから洞察力のある視覚化を自動的に生成し、情報発見のプロセスにおいて専門家でないユーザを支援することを目的とした、新しくて困難な研究分野である。
ビッグデータ時代における膨大な応用可能性にもかかわらず、この分野の進歩は、レコメンデーションアルゴリズムを訓練するための標準化データセットの欠如、生成されたプロットの有効性を評価する定量的基準の定義の困難など、いくつかの障害によって妨げられている。
本稿では,VRSの現状を要約するだけでなく,将来的な研究の方向性を概説する。 Visualization Recommendation Systems (VRS) are a novel and challenging field of study, whose aim is to automatically generate insightful visualizations from data, to support non-expert users in the process of information discovery. Despite its enormous application potential in the era of big data, progress in this area of research is being held back by several obstacles among which are the absence of standardized datasets to train recommendation algorithms, and the difficulty in defining quantitative criteria to assess the effectiveness of the generated plots. In this paper, we aim not only to summarize the state-of-the-art of VRS, but also to outline promising future research directions. | 翻訳日:2023-02-02 17:08:11 公開日:2023-02-01 |
| # 計測に基づく量子クラスタリングアルゴリズム Measurement-Based Quantum Clustering Algorithms ( http://arxiv.org/abs/2302.00566v1 ) ライセンス: Link先を確認 | Srushti Patil, Shreya Banerjee, Prasanta K. Panigrahi | (参考訳) 機械学習では、ラベルのないデータセットからクラスタを見つけるための重要なアプローチは教師なし学習アルゴリズムである。
本稿では,2つの新しい計測に基づくクラスタリングアルゴリズムを提案する。
ユークリッド距離計量は、データポイント間の類似性の尺度として用いられる。
量子並列性と量子絡み合いの鍵となる考え方はクラスタリングに使用される。
各クラスタのバウンドは、使用するアンシラの数に基づいて決定される。
クラスタリングのためのガウス確率振幅を持つエフェクト演算子の集合を構成するアンシャープ測定に基づいて、別の量子インスパイアされたアルゴリズムを提案する。
我々は,同心円型データセット,都市のchurrtizデータセット,ウィスコンシン乳がんデータセットにアルゴリズムを実装した。 In machine learning, the key approach to finding clusters out of unlabelled datasets is unsupervised learning algorithms. In this paper, two novel measurement-based clustering algorithms are proposed. The Euclidean distance metric is used as a measure of similarity between the data points. The key idea of quantum parallelism and quantum entanglement is used for clustering. The bound for each cluster is determined based on the number of ancillae used. Another quantum-inspired algorithm is proposed based on unsharp measurements where we construct a set of effect operators with a gaussian probability amplitude for clustering. We implemented algorithms on a concentric circle data set, the Churrtiz data set of cities, and the Wisconsin breast cancer dataset. | 翻訳日:2023-02-02 17:07:58 公開日:2023-02-01 |
| # モノリシック無線周波数トラップにおける100イオン以上の2次元クーロン結晶の制御 Controlling two-dimensional Coulomb crystals of more than 100 ions in a monolithic radio-frequency trap ( http://arxiv.org/abs/2302.00565v1 ) ライセンス: Link先を確認 | Dominik Kiesenhofer, Helene Hainzer, Artem Zhdanov, Philip C. Holz, Matthias Bock, Tuomas Ollikainen, Christian F. Roos | (参考訳) 電波周波数(rf)トラップに閉じ込められた原子イオンの線形弦は、量子シミュレーション実験の主要なプラットフォームの一つであり、相互作用する量子物質の研究を可能にする。
しかし、線形イオン弦は、$\sim 50$の粒子を超えるスケールの困難さや、複数の空間次元を持つスピンモデルが自然に実装できないなど、欠点がある。
そこで本研究では, 平面クーロン結晶(約100$^{40}$ca$^+$ ions)を用いたモノリシックなrfトラップ実験を行い, 単粒子制御による2次元スピンモデルの量子シミュレーションの基礎を明らかにした。
結晶画像の解析によりトラップ電位を特徴付け, 観察した結晶配置と数値シミュレーションを比較した。
さらに,構造変化のない大きな結晶の安定な閉じ込めを実証し,将来の量子シミュレーション実験では,結晶のrf加熱が障害にならないことを見出した。
最後に, 電磁誘導透過冷却により最大105イオンの基底状態に近い平面結晶の面外運動モードを作製し, 長距離絡み合い相互作用を実現するための重要な前提条件とした。 Linear strings of trapped atomic ions held in radio-frequency (rf) traps constitute one of the leading platforms for quantum simulation experiments, allowing for the investigation of interacting quantum matter. However, linear ion strings have drawbacks, such as the difficulty to scale beyond $\sim 50$ particles as well as the inability to naturally implement spin models with more than one spatial dimension. Here, we present experiments with planar Coulomb crystals of about 100 $^{40}$Ca$^+$ ions in a novel monolithic rf trap, laying the groundwork for quantum simulations of two-dimensional spin models with single-particle control. We characterize the trapping potential by analysis of crystal images and compare the observed crystal configurations with numerical simulations. We further demonstrate stable confinement of large crystals, free of structural configuration changes, and find that rf heating of the crystal is not an obstacle for future quantum simulation experiments. Finally, we prepare the out-of-plane motional modes of planar crystals consisting of up to 105 ions close to their ground state by electromagnetically-induced transparency cooling, an important prerequisite for implementing long-range entangling interactions. | 翻訳日:2023-02-02 17:07:49 公開日:2023-02-01 |
| # 宝物へのトラッシュ:物のデザインにテキスト・ツー・イメージ・モデルを使う Trash to Treasure: Using text-to-image models to inform the design of physical artefacts ( http://arxiv.org/abs/2302.00561v1 ) ライセンス: Link先を確認 | Amy Smith, Hope Schroeder, Ziv Epstein, Michael Cook, Simon Colton, Andrew Lippman | (参考訳) テキストから画像への生成モデルは、最近人気とアクセシビリティで爆発的になった。
これまでのところ、2dデジタル世界と物理的なアーティファクトの創造を橋渡しする創造的なタスクにおけるこれらのモデルの使用は、未検討のままである。
本研究は,彫刻活動に先立って,創造的プロセスにおける上流タスク,例えば想像や可視化などを支援するために,テキスト・ツー・イメージ・モデルをどのように活用できるかを,試行的に検討する。
30人の参加者が彫刻素材を選択し、安定拡散テキスト画像生成装置を用いて3つの画像を生成し、それぞれが選択したテキストのプロンプトを入力し、物理的彫刻を作成する。
参加者の大多数(23/30)は、生成した画像が彫刻に通知したと報告し、28/30はテキスト・ツー・イメージ・モデルによる創造的な作業への関心を報告した。
我々は、いくつかの迅速なエンジニアリング戦略を特定し、参加者のプロンプト戦略が創造プロセスにおける彼らのステージに関係していることを見出す。
本稿では,デザインプロセスの異なる段階におけるユーザ支援と,物理的アーティファクト設計にテキストから画像へのモデルの利用について考察する。 Text-to-image generative models have recently exploded in popularity and accessibility. Yet so far, use of these models in creative tasks that bridge the 2D digital world and the creation of physical artefacts has been understudied. We conduct a pilot study to investigate if and how text-to-image models can be used to assist in upstream tasks within the creative process, such as ideation and visualization, prior to a sculpture-making activity. Thirty participants selected sculpture-making materials and generated three images using the Stable Diffusion text-to-image generator, each with text prompts of their choice, with the aim of informing and then creating a physical sculpture. The majority of participants (23/30) reported that the generated images informed their sculptures, and 28/30 reported interest in using text-to-image models to help them in a creative task in the future. We identify several prompt engineering strategies and find that a participant's prompting strategy relates to their stage in the creative process. We discuss how our findings can inform support for users at different stages of the design process and for using text-to-image models for physical artefact design. | 翻訳日:2023-02-02 17:07:28 公開日:2023-02-01 |
| # グラフニューラルネットワークを用いた幾何設計のための物理シミュレーションのサロゲートモデル Graph Neural Network Based Surrogate Model of Physics Simulations for Geometry Design ( http://arxiv.org/abs/2302.00557v1 ) ライセンス: Link先を確認 | Jian Cheng Wong, Chin Chun Ooi, Joyjit Chattoraj, Lucas Lestandi, Guoying Dong, Umesh Kizhakkinan, David William Rosen, Mark Hyunpong Jhon, My Ha Dao | (参考訳) 計算知能(ci)技術は高価な物理学シミュレーションの代理モデルとして大きな可能性を示しており、場合によっては精度を犠牲にして、高速な予測ができることを示した。
幾何学的設計を含む多くの科学的・工学的な問題に対して、サロゲートモデルは幾何の変化を正確に記述し、その結果を予測することが望ましい。
このような状況下では,グラフニューラルネットワーク(GNN)を物理シミュレーションの高速サロゲートモデルとして開発し,非構造化メッシュやポイントクラウドで表される2/3次元形状設計のモデルを,明示的あるいは手作りのパラメータ化を必要とせずに直接訓練することができる。
ノードレベルとグラフレベルの両方で柔軟に予測できるエンコーダ・プロセッサ・デコーダ型アーキテクチャを利用する。
提案するgnnベースのサロゲートモデルの性能は,加法工学領域の特徴設計と空力分野の翼設計という2つの応用例で実証された。
これらのモデルは、トレーニング後のテストジオメトリの別セットでの予測において、必要な高い忠実度シミュレーションのo(hour)と比較して、ほぼ瞬時に予測速度を示す。 Computational Intelligence (CI) techniques have shown great potential as a surrogate model of expensive physics simulation, with demonstrated ability to make fast predictions, albeit at the expense of accuracy in some cases. For many scientific and engineering problems involving geometrical design, it is desirable for the surrogate models to precisely describe the change in geometry and predict the consequences. In that context, we develop graph neural networks (GNNs) as fast surrogate models for physics simulation, which allow us to directly train the models on 2/3D geometry designs that are represented by an unstructured mesh or point cloud, without the need for any explicit or hand-crafted parameterization. We utilize an encoder-processor-decoder-type architecture which can flexibly make prediction at both node level and graph level. The performance of our proposed GNN-based surrogate model is demonstrated on 2 example applications: feature designs in the domain of additive engineering and airfoil design in the domain of aerodynamics. The models show good accuracy in their predictions on a separate set of test geometries after training, with almost instant prediction speeds, as compared to O(hour) for the high-fidelity simulations required otherwise. | 翻訳日:2023-02-02 17:07:04 公開日:2023-02-01 |
| # 対応のないオンラインヒューマンモーションリターゲティング Correspondence-free online human motion retargeting ( http://arxiv.org/abs/2302.00556v1 ) ライセンス: Link先を確認 | Mathieu Marsot, Rim Rekik, Stefanie Wuhrer, Jean-S\'ebastien Franco and Anne-H\'el\`ene Olivier | (参考訳) 本稿では,対象物体の形状を音源運動でアニメーション化する,教師なしヒューマンモーションリターゲティングのための新しいデータ駆動フレームワークを提案する。
これにより、ターゲット対象をソース対象の動作でアニメーションすることで、異なる文字間での動きを再ターゲティングすることができる。
本手法では, ソースとターゲット形状間の空間的対応も, ソースの異なるフレーム間の時間的対応も不要である。
提案手法は,動作中の人間の任意の配列を対象とする形状を直接アニメーション化し,おそらく4d取得プラットフォームやコンシューマデバイスを用いてキャプチャする。
我々のフレームワークは、表面的詳細を考慮しつつ、再ターゲティング中に秒間1ドルという長期的状況を考慮している。
これを実現するため、我々は、表面の細部を犠牲にして、長期の時間的文脈を活用する骨格運動再ターゲティングと、長期の時間的文脈を考慮せずに表面的な詳細を保存する表面ベースの再ターゲティングという、既存の2つの作業からインスピレーションを得た。
学習したスキンフィールドと骨格再ターゲティングアプローチを組み合わせることで、これらの作業の利点を統一する。
推論中、このメソッドはオンラインで実行され、~\ie 入力は連続的に処理でき、再ターゲティングはフレーム毎に1回のフォワードパスで実行される。
トレーニング中の長期的時間的文脈を含む実験は、再標的とした骨格運動と細部保存の両方の観点から、方法の精度を向上させる。
さらに, 非観察運動や身体形状をよく一般化する。
提案フレームワークが2つのテストデータセットで最先端の結果が得られることを実証する。 We present a novel data-driven framework for unsupervised human motion retargeting which animates a target body shape with a source motion. This allows to retarget motions between different characters by animating a target subject with a motion of a source subject. Our method is correspondence-free,~\ie neither spatial correspondences between the source and target shapes nor temporal correspondences between different frames of the source motion are required. Our proposed method directly animates a target shape with arbitrary sequences of humans in motion, possibly captured using 4D acquisition platforms or consumer devices. Our framework takes into account long-term temporal context of $1$ second during retargeting while accounting for surface details. To achieve this, we take inspiration from two lines of existing work: skeletal motion retargeting, which leverages long-term temporal context at the cost of surface detail, and surface-based retargeting, which preserves surface details without considering long-term temporal context. We unify the advantages of these works by combining a learnt skinning field with a skeletal retargeting approach. During inference, our method runs online,~\ie the input can be processed in a serial way, and retargeting is performed in a single forward pass per frame. Experiments show that including long-term temporal context during training improves the method's accuracy both in terms of the retargeted skeletal motion and the detail preservation. Furthermore, our method generalizes well on unobserved motions and body shapes. We demonstrate that the proposed framework achieves state-of-the-art results on two test datasets. | 翻訳日:2023-02-02 17:06:45 公開日:2023-02-01 |
| # マイクロwasp脳コネクトームの領域外シナプス検出課題 An Out-of-Domain Synapse Detection Challenge for Microwasp Brain Connectomes ( http://arxiv.org/abs/2302.00545v1 ) ライセンス: Link先を確認 | Jingpeng Wu, Yicong Li, Nishika Gupta, Kazunori Shinomiya, Pat Gunn, Alexey Polilov, Hanspeter Pfister, Dmitri Chklovskii, Donglai Wei | (参考訳) コネクトロミクス研究における画像スタックのサイズは、今やテラバイトに達し、しばしばペタバイトのスケールに達し、脳の領域やサンプルの外観は様々である。
しかしながら、神経構造の手動アノテーション、例えばシナプスは時間を要するため、テストデータの0.001\%以下に制限されたトレーニングデータが生成される。
ドメイン外ベンチマークの欠如によりコネクトミクスデータでは評価が低かった自然画像に対して,ドメイン適応と一般化のアプローチが提案されている。 The size of image stacks in connectomics studies now reaches the terabyte and often petabyte scales with a great diversity of appearance across brain regions and samples. However, manual annotation of neural structures, e.g., synapses, is time-consuming, which leads to limited training data often smaller than 0.001\% of the test data in size. Domain adaptation and generalization approaches were proposed to address similar issues for natural images, which were less evaluated on connectomics data due to a lack of out-of-domain benchmarks. | 翻訳日:2023-02-02 17:06:11 公開日:2023-02-01 |
| # 言語モデルにおける個人識別情報漏洩の分析 Analyzing Leakage of Personally Identifiable Information in Language Models ( http://arxiv.org/abs/2302.00539v1 ) ライセンス: Link先を確認 | Nils Lukas, Ahmed Salem, Robert Sim, Shruti Tople, Lukas Wutschitz and Santiago Zanella-B\'eguelin | (参考訳) 言語モデル (LM) は、文レベルメンバーシップ推論と再構築攻撃を通じて、トレーニングデータに関する情報を漏洩させる。
PII(Personally Identible Information)に漏洩するLMのリスクを理解することは、PIIの漏洩を防ぐためにスクラブなどのデータセットキュレーション技術が十分であるという誤った仮定によるものである。
スクレイビング技術は、PII漏洩のリスクを防止しない: 実際には、スレービングは不完全であり、開示の最小化とデータセットの有用性の維持の間のトレードオフをバランスさせなければならない。
一方,PIIの開示を防止するために,文レベルのプライバシーやユーザレベルのプライバシーを保証するために設計された差分プライバシーなどのアルゴリズムによる防御がどの程度かは明らかでない。
本研究で提案する
i) LMにおけるPII漏れの分類
(二)PII漏洩の定量化のための指標、及び
三) PII 漏洩が実際は脅威であることを示す攻撃。
我々の分類学は、LMへのAPIアクセスのみによるブラックボックス抽出、推論、再構築攻撃によるPII漏洩の厳密な定義を提供する。
我々は,ケースロー,医療,電子メールの3つのドメインで微調整されたgpt-2モデルに対する攻撃を経験的に評価する。
私たちの主な貢献は
(i)既存の攻撃の最大10倍のpii配列を抽出することができる新規な攻撃
(ii) 文レベルの差分プライバシーはPII開示のリスクを低減させるが、PIIシークエンスの約3%は漏洩し、
(iii)記録レベルのメンバーシップ推論とpii再構成との微妙な関係 Language Models (LMs) have been shown to leak information about training data through sentence-level membership inference and reconstruction attacks. Understanding the risk of LMs leaking Personally Identifiable Information (PII) has received less attention, which can be attributed to the false assumption that dataset curation techniques such as scrubbing are sufficient to prevent PII leakage. Scrubbing techniques reduce but do not prevent the risk of PII leakage: in practice scrubbing is imperfect and must balance the trade-off between minimizing disclosure and preserving the utility of the dataset. On the other hand, it is unclear to which extent algorithmic defenses such as differential privacy, designed to guarantee sentence- or user-level privacy, prevent PII disclosure. In this work, we propose (i) a taxonomy of PII leakage in LMs, (ii) metrics to quantify PII leakage, and (iii) attacks showing that PII leakage is a threat in practice. Our taxonomy provides rigorous game-based definitions for PII leakage via black-box extraction, inference, and reconstruction attacks with only API access to an LM. We empirically evaluate attacks against GPT-2 models fine-tuned on three domains: case law, health care, and e-mails. Our main contributions are (i) novel attacks that can extract up to 10 times more PII sequences as existing attacks, (ii) showing that sentence-level differential privacy reduces the risk of PII disclosure but still leaks about 3% of PII sequences, and (iii) a subtle connection between record-level membership inference and PII reconstruction. | 翻訳日:2023-02-02 17:06:02 公開日:2023-02-01 |
| # 固有値問題に対する低ランクテンソルモデルの実験的観察 Experimental observation on a low-rank tensor model for eigenvalue problems ( http://arxiv.org/abs/2302.00538v1 ) ライセンス: Link先を確認 | Jun Hu and Pengzhan Jin | (参考訳) 本稿では,関数近似として低ランクテンソルモデル(LTM)と勾配降下法を組み合わせて,ラプラシア作用素や高調波発振器などの固有値問題を解く。
実験の結果,多項式ベース低ランクテンソルモデル (PLTM) はテンソルニューラルネットワーク (TNN) よりも優れていることが示された。
また,MNISTデータセットの分類問題に対して,このような低ランクアーキテクチャを検証した。 Here we utilize a low-rank tensor model (LTM) as a function approximator, combined with the gradient descent method, to solve eigenvalue problems including the Laplacian operator and the harmonic oscillator. Experimental results show the superiority of the polynomial-based low-rank tensor model (PLTM) compared to the tensor neural network (TNN). We also test such low-rank architectures for the classification problem on the MNIST dataset. | 翻訳日:2023-02-02 17:05:34 公開日:2023-02-01 |
| # MLによるマルウェア検出における移動目標防御の有効性 Effectiveness of Moving Target Defenses for Adversarial Attacks in ML-based Malware Detection ( http://arxiv.org/abs/2302.00537v1 ) ライセンス: Link先を確認 | Aqib Rashid, Jose Such | (参考訳) 近年、敵ML攻撃に対抗するための移動目標防御(MTD)が提案されている。
mtdは、攻撃者が防御の特定の要素を定期的に変更することで攻撃を行うことの難しさを増すと主張している。
これらの主張を検討するために,マルウェア検出領域に適用された敵ML攻撃に対する最近のMTDの有効性を初めて検討した。
異なる脅威モデルの下では,Android と Windows にまたがる既存および新規攻撃戦略を通じて,トランスファービリティとクエリアタック戦略が,これらの防御に対する高いレベルの回避を可能にすることを示す。
また, 指紋認証や偵察も可能であり, 攻撃者がどうやって重要な防御ハイパーパラメータを取得できるか, 予測方法に関する情報も示す。
本研究は,ML ベースのマルウェア検出における敵攻撃に対する効果的な MTD の開発について,今後の課題について提案する。 Several moving target defenses (MTDs) to counter adversarial ML attacks have been proposed in recent years. MTDs claim to increase the difficulty for the attacker in conducting attacks by regularly changing certain elements of the defense, such as cycling through configurations. To examine these claims, we study for the first time the effectiveness of several recent MTDs for adversarial ML attacks applied to the malware detection domain. Under different threat models, we show that transferability and query attack strategies can achieve high levels of evasion against these defenses through existing and novel attack strategies across Android and Windows. We also show that fingerprinting and reconnaissance are possible and demonstrate how attackers may obtain critical defense hyperparameters as well as information about how predictions are produced. Based on our findings, we present key recommendations for future work on the development of effective MTDs for adversarial attacks in ML-based malware detection. | 翻訳日:2023-02-02 17:05:26 公開日:2023-02-01 |
| # 後方参照マップに基づく大域的誤差基準を用いた損失量子音源符号化 Lossy Quantum Source Coding with a Global Error Criterion based on a Posterior Reference Map ( http://arxiv.org/abs/2302.00625v1 ) ライセンス: Link先を確認 | Touheed Anwar Atif and Mohammad Aamir Sohail and S. Sandeep Pradhan | (参考訳) 我々は、与えられた量子源をそのフォン・ノイマンエントロピー以下で圧縮する、損失のある量子源符号化問題を考える。
古典的設定におけるレート歪みとチャネル符号化の二重性接続に着想を得て、損失量子源符号化問題に対する新しい定式化を提案する。
この定式化は、既存の量子速度歪み理論とは2つの点で異なる。
第一に, 圧縮量子源の再構成は, 標準レートゆがみ設定で用いられるサンプル単位の局所誤差基準とは対照的に, 大域的誤差制約を満たさなければならない。
第二に、歪みを観測できる代わりに、後方量子チャネルという概念を用いて、再構成誤差を測定するために「後方参照マップ」と呼ぶ。
これらを用いて、与えられた後部参照マップのシングルレターコヒーレント情報の観点から、損失量子源符号化問題の漸近的性能限界を特徴づける。
提案手法では,提案したグローバルエラー基準を満たす復号化を行い,漸近的な性能限界を達成し,符号化と復号を行うプロトコルを実証する。
このプロトコルは、コヒーレント情報を2つのホールボ情報量の差として分解し、量子通信問題における先行研究からヒントを得たものである。
さらに, 量子古典的・古典的変種に対する類似の定式化を開発し, 後部参照マップに類似する適切に定義されたチャネルに対して, シングルレター相互情報量の観点から漸近的な性能限界を表現した。
また, 3つの定式化の様々な例を示し, 可能な限り標準速度歪み定式化との接続に光を当てた。 We consider the lossy quantum source coding problem where the task is to compress a given quantum source below its von Neumann entropy. Inspired by the duality connections between the rate-distortion and channel coding problems in the classical setting, we propose a new formulation for the lossy quantum source coding problem. This formulation differs from the existing quantum rate-distortion theory in two aspects. Firstly, we require that the reconstruction of the compressed quantum source fulfill a global error constraint as opposed to the sample-wise local error criterion used in the standard rate-distortion setting. Secondly, instead of a distortion observable, we employ the notion of a backward quantum channel, which we refer to as a "posterior reference map", to measure the reconstruction error. Using these, we characterize the asymptotic performance limit of the lossy quantum source coding problem in terms of single-letter coherent information of the given posterior reference map. We demonstrate a protocol to encode (at the specified rate) and decode, with the reconstruction satisfying the provided global error criterion, and therefore achieving the asymptotic performance limit. The protocol is constructed by decomposing coherent information as a difference of two Holevo information quantities, inspired from prior works in quantum communication problems. To further support the findings, we develop analogous formulations for the quantum-classical and classical variants and express the asymptotic performance limit in terms of single-letter mutual information quantities with respect to appropriately defined channels analogous to posterior reference maps. We also provide various examples for the three formulations, and shed light on their connection to the standard rate-distortion formulation wherever possible. | 翻訳日:2023-02-02 17:00:04 公開日:2023-02-01 |
| # 補間重み最適化による開語彙ビデオモデルへのCLIP変換 Transforming CLIP to an Open-vocabulary Video Model via Interpolated Weight Optimization ( http://arxiv.org/abs/2302.00624v1 ) ライセンス: Link先を確認 | Zejia Weng, Xitong Yang, Ang Li, Zuxuan Wu, Yu-Gang Jiang | (参考訳) コントラスト型言語イメージプリトレーニング(clip)は、画像理解のための印象的なゼロショット学習能力を示しているが、ゼロショットビデオ認識のためのクリップを調査するために限定的な努力がなされている。
これは、CLIPを強力なゼロショットビデオ分類器に変換し、テスト時に目に見えないアクションやイベントを認識する、シンプルで効果的なアプローチである。
私たちのフレームワークはクリップを最小限の修正で拡張し、ビデオ内の空間と時間の関係をモデル化します。
我々は,Open-VCLIPのトレーニングが,履歴データゼロの連続学習と等価であることを示す。
そこで本研究では,トレーニング時間とテスト時間の両方において重み補間の利点を生かした補間重み最適化を提案する。
提案手法は,様々なゼロショット評価プロトコルに従って,人気かつ挑戦的な3つの行動認識データセット上で評価し,そのアプローチが最先端の手法よりも明確なマージンで優れていることを示す。
特に,UCF,HMDB,Kineetics-600では,87.9%,58.3%,81.1%のゼロショット精度を達成し,最先端の手法では8.3%,7.8%,12.2%を上回った。 Contrastive Language-Image Pretraining (CLIP) has demonstrated impressive zero-shot learning abilities for image understanding, yet limited effort has been made to investigate CLIP for zero-shot video recognition. We introduce Open-VCLIP, a simple yet effective approach that transforms CLIP into strong zero-shot video classifiers that can recognize unseen actions and events at test time. Our framework extends CLIP with minimal modifications to model spatial-temporal relationships in videos, making it a specialized video classifier, while striving for generalization. We formally show that training an Open-VCLIP is equivalent to continual learning with zero historical data. To address this problem, we propose Interpolated Weight Optimization, which utilizes the benefit of weight interpolation in both training and test time. We evaluate our method on three popular and challenging action recognition datasets following various zero-shot evaluation protocols and we demonstrate our approach outperforms state-of-the-art methods by clear margins. In particular, we achieve 87.9%, 58.3%, 81.1% zero-shot accuracy on UCF, HMDB and Kinetics-600 respectively, outperforming state-of-the-art methods by 8.3%, 7.8% and 12.2%. | 翻訳日:2023-02-02 16:59:34 公開日:2023-02-01 |
| # 合成プロンプト:大規模言語モデルのための連鎖デモの生成 Synthetic Prompting: Generating Chain-of-Thought Demonstrations for Large Language Models ( http://arxiv.org/abs/2302.00618v1 ) ライセンス: Link先を確認 | Zhihong Shao, Yeyun Gong, Yelong Shen, Minlie Huang, Nan Duan, Weizhu Chen | (参考訳) 大規模言語モデルはチェーン・オブ・ソート・プロンプトを使用して様々な推論タスクを実行できる。
しかし、プロンプトの品質はモデルに与えられたデモによって異なり、手作業で多くのプロンプトを作成するのはコストがかかる。
これは,手作りの例をいくつか活用して,モデル自身でより多くの例を生成させる手法であり,より優れた推論を導出するための効果的なデモンストレーションを選択する。
提案手法は, 後方プロセスと前方プロセスの交互に新しい例を生成する。
逆過程は、サンプルの推論連鎖に一致する質問を生成するので、質問は解決可能でクリアである。
フォワードプロセスは、質問に対するより詳細な推論チェーンを生成し、サンプルの品質を改善します。
数値的,記号的,アルゴリズム的推論タスクの手法を評価し,既存のプロンプト手法よりも優れていることを示す。 Large language models can perform various reasoning tasks by using chain-of-thought prompting, which guides them to find answers through step-by-step demonstrations. However, the quality of the prompts depends on the demonstrations given to the models, and creating many of them by hand is costly. We introduce Synthetic prompting, a method that leverages a few handcrafted examples to prompt the model to generate more examples by itself, and selects effective demonstrations to elicit better reasoning. Our method alternates between a backward and forward process to generate new examples. The backward process generates a question that match a sampled reasoning chain, so that the question is solvable and clear. The forward process produces a more detailed reasoning chain for the question, improving the quality of the example. We evaluate our method on numerical, symbolic, and algorithmic reasoning tasks, and show that it outperforms existing prompting techniques. | 翻訳日:2023-02-02 16:59:07 公開日:2023-02-01 |
| # AI駆動科学発見のためのGFlowNets GFlowNets for AI-Driven Scientific Discovery ( http://arxiv.org/abs/2302.00615v1 ) ライセンス: Link先を確認 | Moksh Jain, Tristan Deleu, Jason Hartford, Cheng-Hao Liu, Alex Hernandez-Garcia, Yoshua Bengio | (参考訳) 気候危機や世界的なパンデミックの脅威など、人類にとって最も差し迫った問題に取り組むためには、科学的発見のペースを早める必要がある。
科学は伝統的に試行錯誤やセレンディピティーに依存してきたが、過去数十年はデータ駆動の科学的発見が急増している。
しかし、大規模なデータセットと高スループットの実験的なセットアップを真に活用するためには、機械学習手法をさらに改良し、科学的発見パイプラインに統合する必要がある。
この文脈における現在の機械学習手法の重要な課題は、非常に大きな探索空間の効率的な探索である。
これはGFlowNetsと呼ばれる新しい確率論的機械学習フレームワークを動機付け、実験科学ループのモデリング、仮説生成、実験的な設計段階に適用することができる。
gflownetsは、非正規化確率に対応する報奨関数によって間接的に与えられた分布からサンプルを学習する。
GFlowNetsは、既に取得した実験データに条件付けされた因果モデルに対して、効率的で償却されたベイズ後部推定器を形成するためにも使用できる。
このような後続モデルを持つことで、認識の不確実性と情報ゲインの推定者が実験的な設計方針を推し進めることができる。
ここでは、GFlowNetsがAIによる科学的発見のための貴重なツールになり得る、と論じる。特に、安価だが不正確な測定や、高価で正確な測定にアクセスできる非常に大きな候補空間のシナリオでは。
これは薬物や物質の発見の文脈において一般的な設定であり、論文全体の例として使用しています。 Tackling the most pressing problems for humanity, such as the climate crisis and the threat of global pandemics, requires accelerating the pace of scientific discovery. While science has traditionally relied on trial and error and even serendipity to a large extent, the last few decades have seen a surge of data-driven scientific discoveries. However, in order to truly leverage large-scale data sets and high-throughput experimental setups, machine learning methods will need to be further improved and better integrated in the scientific discovery pipeline. A key challenge for current machine learning methods in this context is the efficient exploration of very large search spaces, which requires techniques for estimating reducible (epistemic) uncertainty and generating sets of diverse and informative experiments to perform. This motivated a new probabilistic machine learning framework called GFlowNets, which can be applied in the modeling, hypotheses generation and experimental design stages of the experimental science loop. GFlowNets learn to sample from a distribution given indirectly by a reward function corresponding to an unnormalized probability, which enables sampling diverse, high-reward candidates. GFlowNets can also be used to form efficient and amortized Bayesian posterior estimators for causal models conditioned on the already acquired experimental data. Having such posterior models can then provide estimators of epistemic uncertainty and information gain that can drive an experimental design policy. Altogether, here we will argue that GFlowNets can become a valuable tool for AI-driven scientific discovery, especially in scenarios of very large candidate spaces where we have access to cheap but inaccurate measurements or to expensive but accurate measurements. This is a common setting in the context of drug and material discovery, which we use as examples throughout the paper. | 翻訳日:2023-02-02 16:58:50 公開日:2023-02-01 |
| # 臨床的決定変換器 : ゴールプロンプトによる治療勧告 Clinical Decision Transformer: Intended Treatment Recommendation through Goal Prompting ( http://arxiv.org/abs/2302.00612v1 ) ライセンス: Link先を確認 | Seunghyun Lee, Da Young Lee, Sujeong Im, Nan Hee Kim, Sung-Min Park | (参考訳) 近年,電子健康記録(EHR)システムからの大規模データを扱うために,コンテキスト認識を必要とするタスクにおいて,基礎モデルが採用されている。
しかし, 基礎モデルに基づく従来の臨床レコメンデータシステムは, 臨床医の行動を模倣する目的に限られており, 問題点を直接考慮していない。
本稿では,ゴールプロンプトとして与えられた臨床状態の望ましい範囲に達する薬の系列を生成するレコメンダシステムであるクリニカル・ディシデント・トランスフォーマ(cdt)を提案する。
そこで本研究では,今後の目標状態と治療履歴のサブシーケンスを生成し,cdtを訓練し,目標状態に達するために必要な逐次薬のモデル化を行った。
アドミッション内およびアドミッション間におけるコンテキスト埋め込みのために,入場方向のアテンションマスクとコラム埋め込みを備えたgptベースのアーキテクチャを採用した。
実験では, 4788例の治療履歴を含むEHRシステムから糖尿病データセットを抽出した。
本研究は,CDTが目的のプロンプト範囲(ノルマルA1c,ローワーA1c,ハイアーA1c)に応じて意図した治療効果を達成したことを観察した。
私たちの知識を最大限に活用するために、ゴールプロンプトの観点から臨床推奨を探求する最初の研究です。
コードと追加情報については、https://clinical-decision-transformer.github.ioを参照。 With recent achievements in tasks requiring context awareness, foundation models have been adopted to treat large-scale data from electronic health record (EHR) systems. However, previous clinical recommender systems based on foundation models have a limited purpose of imitating clinicians' behavior and do not directly consider a problem of missing values. In this paper, we propose Clinical Decision Transformer (CDT), a recommender system that generates a sequence of medications to reach a desired range of clinical states given as goal prompts. For this, we conducted goal-conditioned sequencing, which generated a subsequence of treatment history with prepended future goal state, and trained the CDT to model sequential medications required to reach that goal state. For contextual embedding over intra-admission and inter-admissions, we adopted a GPT-based architecture with an admission-wise attention mask and column embedding. In an experiment, we extracted a diabetes dataset from an EHR system, which contained treatment histories of 4788 patients. We observed that the CDT achieved the intended treatment effect according to goal prompt ranges (e.g., NormalA1c, LowerA1c, and HigherA1c), contrary to the case with behavior cloning. To the best of our knowledge, this is the first study to explore clinical recommendations from the perspective of goal prompting. See https://clinical-decision-transformer.github.io for code and additional information. | 翻訳日:2023-02-02 16:58:20 公開日:2023-02-01 |
| # Uniswap Liquidity Provision: オンライン学習アプローチ Uniswap Liquidity Provision: An Online Learning Approach ( http://arxiv.org/abs/2302.00610v1 ) ライセンス: Link先を確認 | Yogev Bar-On and Yishay Mansour | (参考訳) 分散取引所(DEX)はブロックチェーン技術を活用した新しいタイプのマーケットプレイスである。
ユーザーは、流動性提供者が提供する資金を使ってAutomatic Market Makers (AMM)と資産を交換でき、注文書の必要性をなくすことができる。
そのようなデックスの1つであるuniswap v3は、流動性プロバイダが資金のアクティブな価格間隔を指定することで、より効率的に資金を割り当てることができる。
これは価格間隔を選択するための最適な戦略を見つけるという問題を導入する。
非確率的な報酬を伴うオンライン学習問題としてこの問題を形式化する。
我々は,報酬の上限を低くする流動性提供戦略を示すために,後悔最小化手法を用いる。
これは、資産価格の非確率的な変更にも当てはまり、取引量の観点からこれを表現します。 Decentralized Exchanges (DEXs) are new types of marketplaces leveraging Blockchain technology. They allow users to trade assets with Automatic Market Makers (AMM), using funds provided by liquidity providers, removing the need for order books. One such DEX, Uniswap v3, allows liquidity providers to allocate funds more efficiently by specifying an active price interval for their funds. This introduces the problem of finding an optimal strategy for choosing price intervals. We formalize this problem as an online learning problem with non-stochastic rewards. We use regret-minimization methods to show a liquidity provision strategy that guarantees a lower bound on the reward. This is true even for non-stochastic changes to asset pricing, and we express this bound in terms of the trading volume. | 翻訳日:2023-02-02 16:57:46 公開日:2023-02-01 |
| # 欧州人権裁判所における法律判断予測のゼロショット移転 Zero Shot Transfer of Legal Judgement Prediction as Article-aware Entailment for the European Court of Human Rights ( http://arxiv.org/abs/2302.00609v1 ) ライセンス: Link先を確認 | Santosh T.Y.S.S, Oana Ichim, Matthias Grabmair | (参考訳) 本稿では,欧州人権裁判所の判例テキストから法的判断予測(ljp)を補足タスクとして採用し,判例の結果を判例事実と条約記事の複合入力から分類した。
この構成は、記事テキストを特定の事実テキストにマッピングする際の、モデル学習の法的推論能力を促進する。
また、トレーニング中に見えない記事に対してケース結果の分類を依頼したときに、モデルをゼロショット設定に一般化する能力を評価する機会も提供する。
ゼロショットljp実験を考案し,ドメイン識別器とwasserstein距離に基づくドメイン適応法を適用した。
その結果,包含アーキテクチャは直接的な事実分類よりも優れていることがわかった。
また、ドメイン適応手法は、記事の関連性やエンコーダによる事前学習によってゼロショット転送性能を向上させる。 In this paper, we cast Legal Judgment Prediction (LJP) from text on European Court of Human Rights cases as an entailment task, where the case outcome is classified from a combined input of case facts and convention articles. This configuration facilitates the model learning legal reasoning ability in mapping article text to specific fact text. It also provides the opportunity to evaluate the model's ability to generalize to zero-shot settings when asked to classify the case outcome with respect to articles not seen during training. We devise zero-shot LJP experiments and apply domain adaptation methods based on domain discriminator and Wasserstein distance. Our results demonstrate that the entailment architecture outperforms straightforward fact classification. We also find that domain adaptation methods improve zero-shot transfer performance, with article relatedness and encoder pre-training influencing the effect. | 翻訳日:2023-02-02 16:57:34 公開日:2023-02-01 |
| # 2対1:拡散モデルと粗粒分子動力学のための力場 Two for One: Diffusion Models and Force Fields for Coarse-Grained Molecular Dynamics ( http://arxiv.org/abs/2302.00600v1 ) ライセンス: Link先を確認 | Marloes Arts, Victor Garcia Satorras, Chin-Wei Huang, Daniel Zuegner, Marco Federici, Cecilia Clementi, Frank No\'e, Robert Pinsler, Rianne van den Berg | (参考訳) 粗粒分子動力学(CG)は、時間的および空間的なスケールでの生物学的過程の研究を可能にする。
しかし,cg力場を正確に学習することは課題である。
本研究では, スコアベース生成モデル, 力場, 分子動力学の接続を利用して, トレーニング中の力入力を必要とせずにCG力場を学習する。
具体的には、分子動力学シミュレーションからタンパク質構造の拡散生成モデルを訓練し、そのスコア関数がCG分子動力学をシミュレートするために直接使用できる力場に近似することを示した。
本研究は, 従来の研究に比べて極めて簡易なトレーニング設定を持つ一方で, 小規模から中規模のタンパク質シミュレーションにおける性能向上, CG平衡分布の再現, タンパク質折り畳み現象などの全原子シミュレーションのダイナミクスの保存等を図っている。 Coarse-grained (CG) molecular dynamics enables the study of biological processes at temporal and spatial scales that would be intractable at an atomistic resolution. However, accurately learning a CG force field remains a challenge. In this work, we leverage connections between score-based generative models, force fields and molecular dynamics to learn a CG force field without requiring any force inputs during training. Specifically, we train a diffusion generative model on protein structures from molecular dynamics simulations, and we show that its score function approximates a force field that can directly be used to simulate CG molecular dynamics. While having a vastly simplified training setup compared to previous work, we demonstrate that our approach leads to improved performance across several small- to medium-sized protein simulations, reproducing the CG equilibrium distribution, and preserving dynamics of all-atom simulations such as protein folding events. | 翻訳日:2023-02-02 16:57:20 公開日:2023-02-01 |
| # MB-DECTNet:正確な3次元DECT再構成のためのモデルベースアンロールネットワーク MB-DECTNet: A Model-Based Unrolled Network for Accurate 3D DECT Reconstruction ( http://arxiv.org/abs/2302.00577v1 ) ライセンス: Link先を確認 | Tao Ge, Maria Medrano, Rui Liao, David G. Politte, Jeffrey F. Williamson, Bruce R. Whiting, and Joseph A. O'Sullivan | (参考訳) 過去数十年間,多数のデュアルエネルギーCT(DECT)技術が開発されてきた。
デュアルエネルギーCT(DECT)統計反復再建法(SIR)はノイズ低減と精度向上の可能性を実証している。
実験室では,電力推定を停止するための共同統計DECTアルゴリズムを提案し,競合する画像ベース物質分解法より優れていることを示した。
しかし, 3次元DECT SIRは, 収束が遅く, 投射の計算コストが高いため, 臨床的には許容されないことが多い。
そこで,その収束性を向上させるために,学習モデルに基づく3次元dect再構成(mb-dectnet)のためのunrolled networkにdect sirを組み込んだ。
本手法は,モデルベースアルゴリズムの非バイアス推定特性を保ちながら,初期条件と反復アルゴリズムの定常点との間のショートカットを学習するために訓練される。
MB-DECTNetは、複数の更新ブロックを積み重ねて形成され、それぞれがデータ一貫性層(DC)と空間ミキサー層で構成され、空間ミキサー層は収縮したU-Netであり、DC層は任意の伝統的な反復法のワンステップ更新である。
提案するネットワークは、多数の反復DECTアルゴリズムと組み合わせることができるが、その性能を2エネルギー交互最小化(DEAM)で実証する。
DEAMを用いたMB-DECTNetは,テスト画像の分解能を高めながらノイズを著しく低減することを示す。
定量的結果から,MB-DECTNetは従来の統計アルゴリズムよりも精度良く減衰係数を推定できるが,計算コストははるかに低い可能性が示唆された。 Numerous dual-energy CT (DECT) techniques have been developed in the past few decades. Dual-energy CT (DECT) statistical iterative reconstruction (SIR) has demonstrated its potential for reducing noise and increasing accuracy. Our lab proposed a joint statistical DECT algorithm for stopping power estimation and showed that it outperforms competing image-based material-decomposition methods. However, due to its slow convergence and the high computational cost of projections, the elapsed time of 3D DECT SIR is often not clinically acceptable. Therefore, to improve its convergence, we have embedded DECT SIR into a deep learning model-based unrolled network for 3D DECT reconstruction (MB-DECTNet) that can be trained in an end-to-end fashion. This deep learning-based method is trained to learn the shortcuts between the initial conditions and the stationary points of iterative algorithms while preserving the unbiased estimation property of model-based algorithms. MB-DECTNet is formed by stacking multiple update blocks, each of which consists of a data consistency layer (DC) and a spatial mixer layer, where the spatial mixer layer is the shrunken U-Net, and the DC layer is a one-step update of an arbitrary traditional iterative method. Although the proposed network can be combined with numerous iterative DECT algorithms, we demonstrate its performance with the dual-energy alternating minimization (DEAM). The qualitative result shows that MB-DECTNet with DEAM significantly reduces noise while increasing the resolution of the test image. The quantitative result shows that MB-DECTNet has the potential to estimate attenuation coefficients accurately as traditional statistical algorithms but with a much lower computational cost. | 翻訳日:2023-02-02 16:57:04 公開日:2023-02-01 |
| # 海馬の厚さ解析のための幾何学的自動解析法 An automated, geometry-based method for the analysis of hippocampal thickness ( http://arxiv.org/abs/2302.00573v1 ) ライセンス: Link先を確認 | Kersten Diers and Hannah Baumeister and Frank Jessen and Emrah D\"uzel and David Berron and Martin Reuter | (参考訳) 海馬は、注意、学習、記憶への関与、老化、神経学的、精神疾患における萎縮などにより、最も研究された神経解剖学的構造の1つである。
しかし、海馬形状の変化は複雑であり、MRI画像から判断した海馬容積のような単一の要約指標で完全には特徴づけられない。
本研究では,海馬の厚みや曲率などの形状特徴の展開,ポイントワイド対応,局所解析のための自動幾何学的アプローチを提案する。
海馬サブフィールドの自動セグメンテーションから始まり、3次元四面体メッシュモデルと海馬本体の3次元内在座標系を作成する。
この座標系から局所曲率と厚さの推定値と海馬展開用2次元シートを導出した。
軽度認知障害とアルツハイマー病認知症の神経変性変化を定量化する一連の実験により,本アルゴリズムの性能を評価する。
海馬の厚さ推定は臨床群間の既知の差異を検知し,海馬シート上のこれらの効果の位置を推定できる。
さらに、厚み推定は、追加の予測器として追加されると、臨床グループの分類と認知障害のコントロールを改善する。
比較の結果は、異なるデータセットとセグメンテーションアルゴリズムで得られる。
そこで本研究では,海馬の容積・形状変化に関する標準的知見を再現し,海馬シート上の空間的局在を把握し,それらを拡張し,従来の尺度を超えた追加的補完的情報を提供する。
画像登録や手作業による介入を必要とせず,研究間での比較を可能にする海馬の形状解析のための,新たなセンシティブな処理および解析ツールを提供する。 The hippocampus is one of the most studied neuroanatomical structures due to its involvement in attention, learning, and memory as well as its atrophy in ageing, neurological, and psychiatric diseases. Hippocampal shape changes, however, are complex and cannot be fully characterized by a single summary metric such as hippocampal volume as determined from MR images. In this work, we propose an automated, geometry-based approach for the unfolding, point-wise correspondence, and local analysis of hippocampal shape features such as thickness and curvature. Starting from an automated segmentation of hippocampal subfields, we create a 3D tetrahedral mesh model as well as a 3D intrinsic coordinate system of the hippocampal body. From this coordinate system, we derive local curvature and thickness estimates as well as a 2D sheet for hippocampal unfolding. We evaluate the performance of our algorithm with a series of experiments to quantify neurodegenerative changes in Mild Cognitive Impairment and Alzheimer's disease dementia. We find that hippocampal thickness estimates detect known differences between clinical groups and can determine the location of these effects on the hippocampal sheet. Further, thickness estimates improve classification of clinical groups and cognitively unimpaired controls when added as an additional predictor. Comparable results are obtained with different datasets and segmentation algorithms. Taken together, we replicate canonical findings on hippocampal volume/shape changes in dementia, extend them by gaining insight into their spatial localization on the hippocampal sheet, and provide additional, complementary information beyond traditional measures. We provide a new set of sensitive processing and analysis tools for the analysis of hippocampal geometry that allows comparisons across studies without relying on image registration or requiring manual intervention. | 翻訳日:2023-02-02 16:56:33 公開日:2023-02-01 |
| # adapt: アクションアウェアな運転キャプショントランスフォーマー ADAPT: Action-aware Driving Caption Transformer ( http://arxiv.org/abs/2302.00673v1 ) ライセンス: Link先を確認 | Bu Jin, Xinyu Liu, Yupeng Zheng, Pengfei Li, Hao Zhao, Tong Zhang, Yuhang Zheng, Guyue Zhou and Jingjing Liu | (参考訳) エンドツーエンドの自動運転は交通業界に大きな可能性を秘めている。
しかし、自動意思決定プロセスの透明性と解釈可能性の欠如は、実際に産業採用を妨げる。
注意マップやコストボリュームをモデル説明性の向上に利用しようとする試みは、一般の乗客にとって理解しづらいものだった。
このギャップを埋めるために,ユーザフレンドリーな自然言語ナレーションと,自律車体制御と行動の各決定ステップに対する推論を提供する,エンド・ツー・エンドのトランスフォーマーベースのアーキテクチャであるADAPTを提案する。
ADAPTは、共有ビデオ表現を通じて、駆動キャプションタスクと車両制御予測タスクを共同で訓練する。
BDD-X(Berkeley DeepDrive eXplanation)データセットの実験は、自動メトリクスと人的評価の両方でADAPTフレームワークの最先端のパフォーマンスを示している。
実世界のアプリケーションで提案するフレームワークの実現可能性を説明するために,実車用ビデオの入力を取り入れ,アクションナレーションと推論をリアルタイムで出力する,新しい展開可能なシステムを構築した。
コード、モデル、データはhttps://github.com/jxbbb/adaptで入手できる。 End-to-end autonomous driving has great potential in the transportation industry. However, the lack of transparency and interpretability of the automatic decision-making process hinders its industrial adoption in practice. There have been some early attempts to use attention maps or cost volume for better model explainability which is difficult for ordinary passengers to understand. To bridge the gap, we propose an end-to-end transformer-based architecture, ADAPT (Action-aware Driving cAPtion Transformer), which provides user-friendly natural language narrations and reasoning for each decision making step of autonomous vehicular control and action. ADAPT jointly trains both the driving caption task and the vehicular control prediction task, through a shared video representation. Experiments on BDD-X (Berkeley DeepDrive eXplanation) dataset demonstrate state-of-the-art performance of the ADAPT framework on both automatic metrics and human evaluation. To illustrate the feasibility of the proposed framework in real-world applications, we build a novel deployable system that takes raw car videos as input and outputs the action narrations and reasoning in real time. The code, models and data are available at https://github.com/jxbbb/ADAPT. | 翻訳日:2023-02-02 16:50:35 公開日:2023-02-01 |
| # 集団応答システムによる「世代CI」 'Generative CI' through Collective Response Systems ( http://arxiv.org/abs/2302.00672v1 ) ライセンス: Link先を確認 | Aviv Ovadya | (参考訳) 質問に答えたり、決断を下すために、何人(同意しないかもしれない)が集まってもらおうか?
集団応答システム」は、この課題に対処するための生成的集団知能(CI)ファシリテーションプロセスの一種である。
彼らは「世代投票(generative voting)」の形式を可能にし、投票と投票の選択肢の両方がグループによって提供される。
このようなシステムは、投票、市役所、標準投票、住民投票などの伝統的な制限を克服している。
集団応答システムの生成CI出力は、ある種の生成AIと類似した反復的な「協調対話」にチェーンすることもできる。
推薦システム、言語モデル、人間とコンピュータの相互作用を含むドメイン間の技術的進歩は、革新的でスケーラブルな集団応答システムの開発につながった。
例えば、polisは各国の政府レベルで政策立案を支援するために世界中で使われており、国連は戦争に苦しんだ国々の一般市民の課題やニーズを理解するためにremeshを使っている。
本稿では,そのようなシステムの構造,プロセス,特性,原則を定義し,共通言語を開発することを目的とする。
集団応答システムは、分断問題に対する非会議的探索を可能にし、共通点の特定を助け、問題に最も近いものからの洞察を導き出す。
結果として、対立やガバナンスの課題に対するグリッドロックの克服、信頼の向上、義務の展開を支援することができる。
彼らの開発と採用に向けた継続的な進歩は、民主主義を活性化し、企業のガバナンスを再定義し、コンフリクトを変革し、強力なAIシステムを統治する上で役立ちます。 How can many people (who may disagree) come together to answer a question or make a decision? "Collective response systems" are a type of generative collective intelligence (CI) facilitation process meant to address this challenge. They enable a form of "generative voting", where both the votes, and the choices of what to vote on, are provided by the group. Such systems overcome the traditional limitations of polling, town halls, standard voting, referendums, etc. The generative CI outputs of collective response systems can also be chained together into iterative "collective dialogues", analogously to some kinds of generative AI. Technical advances across domains including recommender systems, language models, and human-computer interaction have led to the development of innovative and scalable collective response systems. For example, Polis has been used around the world to support policy-making at different levels of government, and Remesh has been used by the UN to understand the challenges and needs of ordinary people across war-torn countries. This paper aims to develop a shared language by defining the structure, processes, properties, and principles of such systems. Collective response systems allow non-confrontational exploration of divisive issues, help identify common ground, and elicit insights from those closest to the issues. As a result, they can help overcome gridlock around conflict and governance challenges, increase trust, and develop mandates. Continued progress toward their development and adoption could help revitalize democracies, reimagine corporate governance, transform conflict, and govern powerful AI systems -- both as a complement to deeper deliberative democratic processes and as an option where deeper processes are not applicable or possible. | 翻訳日:2023-02-02 16:50:15 公開日:2023-02-01 |
| # 予後関連組織型グリオーマ領域の検出 Detecting Histologic Glioblastoma Regions of Prognostic Relevance ( http://arxiv.org/abs/2302.00669v1 ) ライセンス: Link先を確認 | Bhakti Baheti, Shubham Innani, Garv Mehdiratta, MacLean P. Nasrallah, and Spyridon Bakas | (参考訳) グリオ芽腫は中枢神経系で最も一般的で攻撃的な悪性成人腫瘍であり、グリム予後と異種形態および分子的特徴がある。
18年前の現在の治療基準が採用されて以来、実質的な予後改善は認められていない。
臨床病理組織学的全体像(WSI)からの患者総合生存率(OS)の正確な予測は,臨床意思決定と患者管理の最適化に寄与すると考えられた。
そこで本研究では,H&E染色WSIにおける予後関連グリオ芽腫の形態パターンの同定に焦点をあてる。
正確なアプローチは、見かけのアーティファクトコンテンツの包括的wsiキュレーションと、探索空間を制約するためにクラスタリングをさらに活用する、弱い教師付き注意に基づく複数インスタンス学習アルゴリズムによる解釈可能性メカニズムに基く。
診断値の高い自動識別パターンは、wsiを短命または長生きの代表として分類するために使用される。
短くて長いosに関連する腫瘍形態学的パターンを同定することで、臨床神経病理学者は、顕微鏡的評価中に得られた追加の予後情報を治療チームに提供し、またグリオブラスト腫の理解と治療のための生物学的研究の道筋を示唆することができる。 Glioblastoma is the most common and aggressive malignant adult tumor of the central nervous system, with grim prognosis and heterogeneous morphologic and molecular profiles. Since the adoption of the current standard of care treatment, 18 years ago, there are no substantial prognostic improvements noticed. Accurate prediction of patient overall survival (OS) from clinical histopathology whole slide images (WSI) using advanced computational methods could contribute to optimization of clinical decision making and patient management. Here, we focus on identifying prognostically relevant glioblastoma morphologic patterns on H&E stained WSI. The exact approach capitalizes on the comprehensive WSI curation of apparent artifactual content and on an interpretability mechanism via a weakly supervised attention based multiple instance learning algorithm that further utilizes clustering to constrain the search space. The automatically identified patterns of high diagnostic value are used to classify the WSI as representative of a short or a long survivor. Identifying tumor morphologic patterns associated with short and long OS will allow the clinical neuropathologist to provide additional prognostic information gleaned during microscopic assessment to the treating team, as well as suggest avenues of biological investigation for understanding and potentially treating glioblastoma. | 翻訳日:2023-02-02 16:49:48 公開日:2023-02-01 |
| # 視覚はニューラルネットワーク学習者の階層的一般化を促進するか? Does Vision Accelerate Hierarchical Generalization of Neural Language Learners? ( http://arxiv.org/abs/2302.00667v1 ) ライセンス: Link先を確認 | Tatsuki Kuribayashi | (参考訳) ニューラルネットワークモデル(LM)は、人間よりも間違いなくデータ効率が低い - なぜこのギャップが生じるのか?
本研究では,このギャップは,テキスト,特に視覚以外のモダリティへの学習者のアクセシビリティに起因していると仮定する。
LMの統語的一般化における視覚の利点を活かした2つの相補的な実験(ノイズ、現実的データ、単純化された人工的な実験)を行った。
その結果、視覚は単純で人工的な設定で適切な言語一般化を加速したが、lmsはノイズの多い現実的な設定に苦しんだ。
これらの混合結果は、例えば視覚によって言語習得が促進される可能性を示すが、学習者の視覚的・言語的事前知識の追加は、効率的な言語獲得のために生画像を堅牢に利用するために必要である。 Neural language models (LMs) are arguably less data-efficient than humans -- why does this gap occur? In this study, we hypothesize that this gap stems from the learners' accessibility to modalities other than text, specifically, vision. We conducted two complementary experiments (using noisy, realistic data and a simplified, artificial one) toward the advantage of vision in the syntactic generalization of LMs. Our results showed that vision accelerated a proper linguistic generalization in the simplified, artificial setting, but LMs struggled with the noisy, realistic setting. These mixed results indicate several possibilities, e.g., vision can potentially boost language acquisition, but learners' additional visual/linguistic prior knowledge should be needed to robustly make use of raw images for efficient language acquisition. | 翻訳日:2023-02-02 16:49:05 公開日:2023-02-01 |
| # 相関マイナーノルムによる多成分絡み合い検出 Multipartite Entanglement Detection via Correlation Minor Norm ( http://arxiv.org/abs/2302.00650v1 ) ライセンス: Link先を確認 | Rain Lenny, Amit Te'eni, Bar Y. Peled, Avishy Carmi, and Eliahu Cohen | (参考訳) 絡み合いは、多くの量子技術を生み出すユニークな量子資源である。
したがって、絡み合った状態を検出して特徴付けることは重要であるが、特に多成分混合状態においては、難しい課題であることが知られている。
相関マイナーノルム (CMN) は近年, 量子相関行列上のバウンドを用いた二部交絡検出器として提案されている。
本稿では,相関テンソルの多元化に基づくcmnの多元系への一般化について検討する。
CMNは多部交絡状態のクラスを検出・区別できることが示されている。
さらに, 縮密度行列内の相関関係を解析し, 絡み検出の意義を示す。
最後に、大域量子不協和の尺度を導入するために相関テンソルの行列化を用いる。 Entanglement is a uniquely quantum resource giving rise to many quantum technologies. It is therefore important to detect and characterize entangled states, but this is known to be a challenging task, especially for multipartite mixed states. The correlation minor norm (CMN) was recently suggested as a bipartite entanglement detector employing bounds on the quantum correlation matrix. In this paper we explore generalizations of the CMN to multipartite systems based on matricizations of the correlation tensor. It is shown that the CMN is able to detect and differentiate classes of multipartite entangled states. We further analyze the correlations within the reduced density matrices and show their significance for entanglement detection. Finally, we employ matricizations of the correlation tensor for introducing a measure of global quantum discord. | 翻訳日:2023-02-02 16:48:50 公開日:2023-02-01 |
| # 教師付き学習パラダイムと自己監督学習パラダイムの相乗化による画像ベース車両分類 Image-Based Vehicle Classification by Synergizing Features from Supervised and Self-Supervised Learning Paradigms ( http://arxiv.org/abs/2302.00648v1 ) ライセンス: Link先を確認 | Shihan Ma and Jidong J. Yang | (参考訳) 本稿では,車両分類における画像分類タスクを改善するために,教師付きパラダイムと自己監督型パラダイムの両方から学んだ特徴を活用する新しいアプローチを提案する。
車両画像の表現学習において,DINOとData2vecの2つの最先端自己教師型学習手法を評価し,比較した。
前者はローカルとグローバルのビューを対比し、後者は多層表現のマスク付き予測を使用する。
後者の場合、教師付き学習を用いて、事前訓練されたヨーラー物体検出装置を微調整し、車両の車輪位置特徴を検索する。
これらの自己教師付き学習方法から得られた表現と車両分類タスクの車輪位置特徴を組み合わせる。
特に無作為な車輪マスキング戦略を用いて,事前学習した表現を,分類器の訓練中に車輪の位置特徴と調和させて微調整した。
実験の結果,車輪マスキング戦略と整合したデータ2vec蒸留表現はDINOよりも優れており,連邦高速道路局が定義する13種類の車両の分類において,Top-1分類精度が97.2%であった。 This paper introduces a novel approach to leverage features learned from both supervised and self-supervised paradigms, to improve image classification tasks, specifically for vehicle classification. Two state-of-the-art self-supervised learning methods, DINO and data2vec, were evaluated and compared for their representation learning of vehicle images. The former contrasts local and global views while the latter uses masked prediction on multi-layered representations. In the latter case, supervised learning is employed to finetune a pretrained YOLOR object detector for detecting vehicle wheels, from which definitive wheel positional features are retrieved. The representations learned from these self-supervised learning methods were combined with the wheel positional features for the vehicle classification task. Particularly, a random wheel masking strategy was utilized to finetune the previously learned representations in harmony with the wheel positional features during the training of the classifier. Our experiments show that the data2vec-distilled representations, which are consistent with our wheel masking strategy, outperformed the DINO counterpart, resulting in a celebrated Top-1 classification accuracy of 97.2% for classifying the 13 vehicle classes defined by the Federal Highway Administration. | 翻訳日:2023-02-02 16:48:41 公開日:2023-02-01 |
| # 多体系における量子相関の探索:スケーラブルな方法のレビュー Probing quantum correlations in many-body systems: a review of scalable methods ( http://arxiv.org/abs/2302.00640v1 ) ライセンス: Link先を確認 | Ir\'en\'ee Fr\'erot, Matteo Fadel, Maciej Lewenstein | (参考訳) 本稿では,多体系における量子相関の検出と特徴付けを可能にする手法について検討し,スケーラブルな手法に着目した。
すなわち、システムサイズと指数関数的にスケールするデータを解析するために、多くの測定や計算資源を必要とすることなく、多くの自由度を持つシステムに適用できる。
まず、量子エンタングルメント、アインシュタイン-ポドルスキー-ローゼンステアリング、ベル非局所性の概念を二成分シナリオに導入し、それらの多成分一般化を提示する。
本稿では,データ駆動型手法や目撃者といったシステム状態の部分的情報から,集合観測の低次モーメントに基づく量子相関を特徴付ける最近の進歩を概観する。
次に,高度に絡み合った多体システムの構築,操作,検出を実証する最先端実験をレビューした。
各プラットフォーム(例えば原子、イオン、光子、超伝導回路)に対して、状態の準備と測定のための利用可能なツールボックスを説明し、各システムがもたらす課題を強調する。
結論として、この分野における時間的にオープンな問題の一覧を示す。 We review methods that allow one to detect and characterise quantum correlations in many-body systems, with a special focus on approaches which are scalable. Namely, those applicable to systems with many degrees of freedom, without requiring a number of measurements or computational resources to analyze the data that scale exponentially with the system size. We begin with introducing the concepts of quantum entanglement, Einstein-Podolsky-Rosen steering, and Bell nonlocality in the bipartite scenario, to then present their multipartite generalisation. We review recent progress on characterizing these quantum correlations from partial information on the system state, such as through data-driven methods or witnesses based on low-order moments of collective observables. We then review state-of-the-art experiments that demonstrated the preparation, manipulation and detection of highly-entangled many-body systems. For each platform (e.g. atoms, ions, photons, superconducting circuits) we illustrate the available toolbox for state preparation and measurement, emphasizing the challenges that each system poses. To conclude, we present a list of timely open problems in the field. | 翻訳日:2023-02-02 16:48:19 公開日:2023-02-01 |
| # Q-score Max-Clique:マルチ計算パラダイムにおける最初の量子メトリック評価 Q-score Max-Clique: The First Quantum Metric Evaluation on Multiple Computational Paradigms ( http://arxiv.org/abs/2302.00639v1 ) ライセンス: Link先を確認 | Ward van der Schoot, Robert Wezeman, Niels M. P. Neumann, Frank Phillipson, Rob Kooij | (参考訳) 量子デバイスの性能評価は、量子デバイスをスケールし、最終的にそれを実際に使用するための重要なステップである。
利用可能な量子メトリックや量子コンピュータの開発に使われる様々なハードウェア技術は、この評価を複雑にしている。
さらに、異なる計算パラダイムは、異なる方法で量子演算を実装する。
我々は、Atos の Q-スコア計量を Q-スコア Max-Clique に拡張することで、量子メトリクスのランドスケープに追加する。
我々の知る限り、これは量子コンピューティングの異なるパラダイムの比較を可能にする最初のアプリケーションレベルの計量となる。
この計量は、量子アニーリング、ゲートベース量子コンピューティング、フォトニック量子コンピューティングの3つの異なる量子パラダイムで評価され、古典的な解法によって得られるものと比較される。 Evaluating the performance of quantum devices is an important step towards scaling quantum devices and eventually using them in practice. The great number of available quantum metrics and the different hardware technologies used to develop quantum computers complicate this evaluation. In addition, different computational paradigms implement quantum operations in different ways. We add to the landscape of quantum metrics by extending the Q-score metric of Atos to the Q-score Max-Clique. To our knowledge, this yields the first application-level metric which allows comparison of different paradigms of quantum computing. This metric is evaluated on three different computational quantum paradigms - quantum annealing, gate-based quantum computing, and photonic quantum computing - and the results are compared to those obtained by classical solvers. | 翻訳日:2023-02-02 16:47:57 公開日:2023-02-01 |
| # UDツリーバンクはより一貫性があるか?
英語UDのためのレポートカード Are UD Treebanks Getting More Consistent? A Report Card for English UD ( http://arxiv.org/abs/2302.00636v1 ) ライセンス: Link先を確認 | Amir Zeldes and Nathan Schneider | (参考訳) ユニバーサル依存プロジェクトにおけるガイドラインとツリーバンクの統合に向けた最近の取り組みは、複数のコーパスを持つ英語などの高リソース言語において、共同トレーニングとデータセット比較がますます可能になることを期待している。
udイングリッシュ・ツリーバンクは2つの大きなudイングリッシュ・ツリーバンクに焦点を当て、データ統合の進展を調べ、いくつかの質問に答える。
彼らはお互いに、どんな程度に似ていますか?
共同トレーニングは良いアイデアなのでしょうか?
コンソリデーションが進展したにもかかわらず、ジョイントモデルはいまだに不整合に悩まされ、より大きなトレーニングデータのプールを活用する能力が損なわれる可能性が示唆された。 Recent efforts to consolidate guidelines and treebanks in the Universal Dependencies project raise the expectation that joint training and dataset comparison is increasingly possible for high-resource languages such as English, which have multiple corpora. Focusing on the two largest UD English treebanks, we examine progress in data consolidation and answer several questions: Are UD English treebanks becoming more internally consistent? Are they becoming more like each other and to what extent? Is joint training a good idea, and if so, since which UD version? Our results indicate that while consolidation has made progress, joint models may still suffer from inconsistencies, which hamper their ability to leverage a larger pool of training data. | 翻訳日:2023-02-02 16:47:46 公開日:2023-02-01 |
| # 連続u-net: より速く、より大きく、ノイズなし Continuous U-Net: Faster, Greater and Noiseless ( http://arxiv.org/abs/2302.00626v1 ) ライセンス: Link先を確認 | Chun-Wun Cheng, Christina Runkel, Lihao Liu, Raymond H Chan, Carola-Bibiane Sch\"onlieb, Angelica I Aviles-Rivero | (参考訳) 画像分割は画像解析と臨床における基本的な課題である。
現在の最先端技術は、U-Netと呼ばれるスキップ接続を持つU-shape型エンコーダデコーダネットワークに基づいている。
既存のU-Netタイプネットワークによって報告された強力なパフォーマンスにもかかわらず、いくつかの大きな制限に悩まされている。
問題には、受信フィールドサイズのハードコーディング、パフォーマンスと計算コストの妥協、データ固有のノイズを考慮しないという事実などが含まれる。
それらは離散層に関連する問題があり、理論的基盤を提供しない。
本研究では,イメージセグメンテーションのための新しいネットワークファミリーである連続U-Netを紹介する。
まず、連続U-Netは2次常微分方程式でモデル化された新しい動的ブロックを導入する連続的なディープニューラルネットワークである。
第2に,より高速な収束,高ロバスト性,ノイズに対する感度の低下を示すネットワークに対する理論的保証を提供する。
第3に,セグメンテーションタスクを調整するための質的尺度を導出する。
本研究では, 医用画像セグメンテーションベンチマークデータセットにおいて, 既存のU-Netブロックよりも優れていることを示す。 Image segmentation is a fundamental task in image analysis and clinical practice. The current state-of-the-art techniques are based on U-shape type encoder-decoder networks with skip connections, called U-Net. Despite the powerful performance reported by existing U-Net type networks, they suffer from several major limitations. Issues include the hard coding of the receptive field size, compromising the performance and computational cost, as well as the fact that they do not account for inherent noise in the data. They have problems associated with discrete layers, and do not offer any theoretical underpinning. In this work we introduce continuous U-Net, a novel family of networks for image segmentation. Firstly, continuous U-Net is a continuous deep neural network that introduces new dynamic blocks modelled by second order ordinary differential equations. Secondly, we provide theoretical guarantees for our network demonstrating faster convergence, higher robustness and less sensitivity to noise. Thirdly, we derive qualitative measures to tailor-made segmentation tasks. We demonstrate, through extensive numerical and visual results, that our model outperforms existing U-Net blocks for several medical image segmentation benchmarking datasets. | 翻訳日:2023-02-02 16:47:33 公開日:2023-02-01 |
| # オフポリティ評価のための変分枝モデル Variational Latent Branching Model for Off-Policy Evaluation ( http://arxiv.org/abs/2301.12056v3 ) ライセンス: Link先を確認 | Qitong Gao, Ge Gao, Min Chi, Miroslav Pajic | (参考訳) モデルに基づく手法は、最近、オフ政治評価(OPE)に大きな可能性を示しており、行動政策によって誘導されるオフライン軌道は、シミュレーションされた軌道のロールアウトとポリシーの性能評価に使用されるマルコフ決定過程(MDP)の遷移に適合している。
モデルベースのOPE手法には2つの課題がある。
まず、オフライントラジェクタは通常固定されるため、状態とアクションスペースが制限される傾向がある。
第二に、モデルに基づく手法の性能はパラメータの初期化に敏感である。
本研究では, 環境力学をコンパクトな潜在空間として定式化し, 次の状態と報酬をサンプリングすることにより, MDPの遷移関数を学習するための変動潜在分岐モデル(VLBM)を提案する。
具体的には、VLBMの変分(符号化)部と生成(復号)部の間の情報の流れを円滑にすることで、限られたトレーニングデータの基礎となる情報を取り出すために設計された、リカレント状態アライメント(RSA)を用いて、変分推論フレームワークを活用して拡張する。
さらに,ランダムに初期化されたモデル重みに対するモデルのロバスト性を改善するために,分岐アーキテクチャを導入する。
VLBMの有効性は、Dep OPE(DOPE)ベンチマークで評価され、トレーニング軌道は状態-作用空間の様々なカバレッジをもたらすように設計されている。
VLBM は既存の OPE 手法よりも高い性能を示す。 Model-based methods have recently shown great potential for off-policy evaluation (OPE); offline trajectories induced by behavioral policies are fitted to transitions of Markov decision processes (MDPs), which are used to rollout simulated trajectories and estimate the performance of policies. Model-based OPE methods face two key challenges. First, as offline trajectories are usually fixed, they tend to cover limited state and action space. Second, the performance of model-based methods can be sensitive to the initialization of their parameters. In this work, we propose the variational latent branching model (VLBM) to learn the transition function of MDPs by formulating the environmental dynamics as a compact latent space, from which the next states and rewards are then sampled. Specifically, VLBM leverages and extends the variational inference framework with the recurrent state alignment (RSA), which is designed to capture as much information underlying the limited training data, by smoothing out the information flow between the variational (encoding) and generative (decoding) part of VLBM. Moreover, we also introduce the branching architecture to improve the model's robustness against randomly initialized model weights. The effectiveness of the VLBM is evaluated on the deep OPE (DOPE) benchmark, from which the training trajectories are designed to result in varied coverage of the state-action space. We show that the VLBM outperforms existing state-of-the-art OPE methods in general. | 翻訳日:2023-02-02 14:12:46 公開日:2023-02-01 |
| # 学習、高速、遅い:動的環境のための目標指向メモリベースアプローチ Learning, Fast and Slow: A Goal-Directed Memory-Based Approach for Dynamic Environments ( http://arxiv.org/abs/2301.13758v2 ) ライセンス: Link先を確認 | John Chong Min Tan, Mehul Motani | (参考訳) モデルベースの次の状態予測と状態値予測は収束が遅い。
これらの課題に対処するために、私たちは以下のことをします。
一 ニューラルネットワークの代わりに、並列メモリ検索システム(スロー機構と呼ぶ。)を用いて、モデルベースの計画を行う。
二 状態値の学習に代えて、ニューラルネットワークを用いて現在の状態及び目標状態(高速機構という。)に基づいて次の動作を選択することにより、目標指向探索を用いてエージェントの動作を誘導する。
目標指向の探索は、訪問状態と将来の想像状態の海馬リプレイを使用してオンラインでトレーニングされ、迅速かつ効率的なトレーニングに繋がる。
実験により,提案手法は動的に変化するグリッド世界において,100エピソードにわたる92%の解答率を示し,PPO (54%), TRPO (50%), A2C (24%) などの最先端のアクター批判機構を著しく上回った。
アブレーションの研究は両方のメカニズムが重要であることを示している。
強化学習(RL)の未来は、様々なタスクの目標とサブゴールをモデル化し、目標指向のメモリベースのアプローチで計画することだと仮定する。 Model-based next state prediction and state value prediction are slow to converge. To address these challenges, we do the following: i) Instead of a neural network, we do model-based planning using a parallel memory retrieval system (which we term the slow mechanism); ii) Instead of learning state values, we guide the agent's actions using goal-directed exploration, by using a neural network to choose the next action given the current state and the goal state (which we term the fast mechanism). The goal-directed exploration is trained online using hippocampal replay of visited states and future imagined states every single time step, leading to fast and efficient training. Empirical studies show that our proposed method has a 92% solve rate across 100 episodes in a dynamically changing grid world, significantly outperforming state-of-the-art actor critic mechanisms such as PPO (54%), TRPO (50%) and A2C (24%). Ablation studies demonstrate that both mechanisms are crucial. We posit that the future of Reinforcement Learning (RL) will be to model goals and sub-goals for various tasks, and plan it out in a goal-directed memory-based approach. | 翻訳日:2023-02-02 14:01:21 公開日:2023-02-01 |
| # 深層強化学習によるv2nサービススケーリング V2N Service Scaling with Deep Reinforcement Learning ( http://arxiv.org/abs/2301.13324v2 ) ライセンス: Link先を確認 | Cyril Shih-Huan Hsu, Jorge Mart\'in-P\'erez, Chrysa Papagianni, Paola Grosso | (参考訳) 無線ネットワークの第5世代(5G)は、車両用ユースケースの厳しい要件を満たすように設定される。
エッジコンピューティングリソースは、処理をエンドユーザに近づけることで、レイテンシを低減できる。
しかしながら、トラフィック負荷の確率的性質と物理リソースの可用性を考えると、コスト効率とパフォーマンスのよいサービスをサポートするために適切な自動スケーリングメカニズムが採用される必要がある。
この目的のために、エッジコンピューティングの垂直スケーリングにDeep Reinforcement Learning (DRL) を用いて、車両間通信をサポートする。
本稿では,Deep Deterministic Policy Gradient (DDPG) を用いてこの問題に対処する。
DDPGは連続的なアクションを学習するためのモデルなしのオフポリシーアルゴリズムであるため、離散的なスケーリングアクションをサポートするための離散化アプローチを導入する。
したがって、高次元離散作用空間に固有のスケーラビリティ問題に対処する。
実世界の車両トレースデータセットを用いて,ddpgが既存のソリューションを上回り,アクティブcpuの平均数を23%削減し,長期報酬を24%増加させることを示した。 The fifth generation (5G) of wireless networks is set out to meet the stringent requirements of vehicular use cases. Edge computing resources can aid in this direction by moving processing closer to end-users, reducing latency. However, given the stochastic nature of traffic loads and availability of physical resources, appropriate auto-scaling mechanisms need to be employed to support cost-efficient and performant services. To this end, we employ Deep Reinforcement Learning (DRL) for vertical scaling in Edge computing to support vehicular-to-network communications. We address the problem using Deep Deterministic Policy Gradient (DDPG). As DDPG is a model-free off-policy algorithm for learning continuous actions, we introduce a discretization approach to support discrete scaling actions. Thus we address scalability problems inherent to high-dimensional discrete action spaces. Employing a real-world vehicular trace data set, we show that DDPG outperforms existing solutions, reducing (at minimum) the average number of active CPUs by 23% while increasing the long-term reward by 24%. | 翻訳日:2023-02-02 14:01:00 公開日:2023-02-01 |
| # replug: 検索型ブラックボックス言語モデル REPLUG: Retrieval-Augmented Black-Box Language Models ( http://arxiv.org/abs/2301.12652v2 ) ライセンス: Link先を確認 | Weijia Shi, Sewon Min, Michihiro Yasunaga, Minjoon Seo, Rich James, Mike Lewis, Luke Zettlemoyer, Wen-tau Yih | (参考訳) 本稿では,言語モデル(LM)をブラックボックスとして扱い,調整可能な検索モデルで拡張する検索拡張言語モデリングフレームワークREPLUGを紹介する。
検索されたテキストをエンコードするために特別なクロスアテンション機構を持つ言語モデルを訓練する以前の検索拡張LMとは異なり、REPLUGは検索した文書を凍結したブラックボックスLMの入力に単純にプリペンドする。
このシンプルな設計は、既存の検索モデルや言語モデルにも容易に適用できる。
さらに,LMを用いて検索モデルを監督し,LMがより良い予測を行うのに役立つ文書を見つけることができることを示す。
実験の結果, 調整したレトリバーを用いたREPLUGでは, GPT-3 (175B) の言語モデルの性能が6.3%向上し, 5ショットMMLUでのコーデックスの性能が5.1%向上した。 We introduce REPLUG, a retrieval-augmented language modeling framework that treats the language model (LM) as a black box and augments it with a tuneable retrieval model. Unlike prior retrieval-augmented LMs that train language models with special cross attention mechanisms to encode the retrieved text, REPLUG simply prepends retrieved documents to the input for the frozen black-box LM. This simple design can be easily applied to any existing retrieval and language models. Furthermore, we show that the LM can be used to supervise the retrieval model, which can then find documents that help the LM make better predictions. Our experiments demonstrate that REPLUG with the tuned retriever significantly improves the performance of GPT-3 (175B) on language modeling by 6.3%, as well as the performance of Codex on five-shot MMLU by 5.1%. | 翻訳日:2023-02-02 14:00:41 公開日:2023-02-01 |
| # EvoX: スケーラブル進化計算のための分散GPUアクセラレーションライブラリ EvoX: A Distributed GPU-accelerated Library towards Scalable Evolutionary Computation ( http://arxiv.org/abs/2301.12457v2 ) ライセンス: Link先を確認 | Beichen Huang, Ran Cheng, Yaochu Jin, Kay Chen Tan | (参考訳) 過去数十年間、進化計算(EC)は比較的小さなスケールで様々な複雑な最適化問題を解く可能性を実証してきた。
しかし、現代科学とエンジニアリングの継続的な発展は、スケーラビリティの観点から従来のECパラダイムにますます重大な課題をもたらしています。
問題の規模が大きくなるにつれて、符号化空間(すなわち決定ベクトルの次元)は本質的に大きくなり、一方ecアルゴリズムは機能評価の数が増加する(おそらく人口も大きくなる)ことがしばしば必要となる。
このような課題に対処するためには、繊細なアルゴリズム設計を必要とするだけでなく、より重要なことに、高性能なコンピューティングフレームワークが不可欠である。
そこで我々は分散gpuアクセラレーションアルゴリズムライブラリevoxを開発した。
まず,汎用ECアルゴリズムの実装のための汎用ワークフローを提案する。
次に、分散GPUデバイス上でECアルゴリズムを実行するためのスケーラブルなコンピューティングフレームワークを設計する。
第3に、ベンチマーク研究と拡張実世界のアプリケーションのために、研究者と実践者の両方にユーザフレンドリーなインターフェースを提供します。
実験的に,問題次元/人口規模を最大数百万とする一連のベンチマーク実験により,EvoXの有望なスケーラビリティを評価する。
さらに,OpenAI Gym上での強化学習タスクに応用することで,EvoXの使いやすさを実証する。
私たちの知る限りでは、これはEC文献における分散GPUコンピューティングをサポートする最初のライブラリです。
EvoXのコードはhttps://github.com/EMI-Group/EvoXで公開されている。 During the past decades, evolutionary computation (EC) has demonstrated promising potential in solving various complex optimization problems of relatively small scales. Nowadays, however, ongoing developments in modern science and engineering are bringing increasingly grave challenges to the conventional EC paradigm in terms of scalability. As problem scales increase, on the one hand, the encoding spaces (i.e., dimensions of the decision vectors) are intrinsically larger; on the other hand, EC algorithms often require growing numbers of function evaluations (and probably larger population sizes as well) to work properly. To meet such emerging challenges, not only does it require delicate algorithm designs, but more importantly, a high-performance computing framework is indispensable. Hence, we develop a distributed GPU-accelerated algorithm library -- EvoX. First, we propose a generalized workflow for implementing general EC algorithms. Second, we design a scalable computing framework for running EC algorithms on distributed GPU devices. Third, we provide user-friendly interfaces to both researchers and practitioners for benchmark studies as well as extended real-world applications. Empirically, we assess the promising scalability of EvoX via a series of benchmark experiments with problem dimensions/population sizes up to millions. Moreover, we demonstrate the easy usability of EvoX by applying it to solving reinforcement learning tasks on OpenAI Gym. To the best of our knowledge, this is the first library supporting distributed GPU computing in the EC literature. The code of EvoX is available at https://github.com/EMI-Group/EvoX. | 翻訳日:2023-02-02 14:00:24 公開日:2023-02-01 |
| # 多レベルモンテカルロアクター・クリティカルを用いた平均逆強化学習における指数的高速混合 Beyond Exponentially Fast Mixing in Average-Reward Reinforcement Learning via Multi-Level Monte Carlo Actor-Critic ( http://arxiv.org/abs/2301.12083v2 ) ライセンス: Link先を確認 | Wesley A. Suttle, Amrit Singh Bedi, Bhrij Patel, Brian M. Sadler, Alec Koppel, Dinesh Manocha | (参考訳) 既存の強化学習(RL)法の多くは、データ生成プロセスがステップサイズ選択に現れるレートパラメータと指数関数的に高速に混在するという仮説に基づいて、後端の確率勾配反復を用いている。
残念ながら、この仮定は大きな状態空間やスパース報酬を持つ設定に違反しており、混合時間は不明であり、ステップサイズが動作不能である。
本研究では,批評家,俳優,およびacアルゴリズムに埋め込まれた報酬の平均値に対してマルチレベルモンテカルロ推定器を用いることにより,混合時間に応じたrl手法を提案する。
このメソッドは \textbf{m}ulti-level \textbf{a}ctor-\textbf{c}ritic (mac) と呼ばれ、特に無限ホリゾン平均リワード設定のために開発されており、パラメータ選択におけるoracleの混合時間に関する知識や指数的減衰を前提としないため、混合時間が遅いアプリケーションにも容易に適用できる。
それでも、最先端のACアルゴリズムに匹敵する収束率を達成する。
不安定な報酬を伴うRL問題において, 安定に必要な技術的条件の緩和は, 性能的に優れていることを示す。 Many existing reinforcement learning (RL) methods employ stochastic gradient iteration on the back end, whose stability hinges upon a hypothesis that the data-generating process mixes exponentially fast with a rate parameter that appears in the step-size selection. Unfortunately, this assumption is violated for large state spaces or settings with sparse rewards, and the mixing time is unknown, making the step size inoperable. In this work, we propose an RL methodology attuned to the mixing time by employing a multi-level Monte Carlo estimator for the critic, the actor, and the average reward embedded within an actor-critic (AC) algorithm. This method, which we call \textbf{M}ulti-level \textbf{A}ctor-\textbf{C}ritic (MAC), is developed especially for infinite-horizon average-reward settings and neither relies on oracle knowledge of the mixing time in its parameter selection nor assumes its exponential decay; it, therefore, is readily applicable to applications with slower mixing times. Nonetheless, it achieves a convergence rate comparable to the state-of-the-art AC algorithms. We experimentally show that these alleviated restrictions on the technical conditions required for stability translate to superior performance in practice for RL problems with sparse rewards. | 翻訳日:2023-02-02 14:00:04 公開日:2023-02-01 |
| # 壁面を有する持続可能・経済的・軽量・耐震補強コンクリートカンチレバー同定のためのファジィ適応型メタヒューリスティックアルゴリズム A fuzzy adaptive metaheuristic algorithm for identifying sustainable, economical, lightweight, and earthquake-resistant reinforced concrete cantilever retaining walls ( http://arxiv.org/abs/2302.00198v1 ) ライセンス: Link先を確認 | Farshid Keivanian, Raymond Chiong, Ali R. Kashani, and Amir H. Gandomi | (参考訳) 耐震性が高い地域では, 鉄筋コンクリート製カンチレバー (rcc) の耐震性能が顕著である。
本研究では,水平および垂直の擬静電係数を用いて地震探査を行った。
これらの土圧によるRCCの重量と力に対処するため、構造強度とジオテクニカル安定性に関する26の制約と12の幾何学的変数がそれぞれの設計に関連付けられている。
これらの制約と設計変数は、12次元の解空間を持つ制約最適化問題を形成する。
耐震性に優れた持続的・経済的・軽量RCC設計を効果的に行うために, 適応ファジィに基づくメタヒューリスティックアルゴリズムを適用した。
提案手法は,探索空間をサブリージョンに分割し,探索,情報共有,エクスプロイト検索機能を確立する。
さらに、パラメータ化と計算コスト評価の問題に対処するためにファジィ推論システムを用いた。
提案手法は,9つの耐震条件下での低コスト・低重量・低CO2排出型RCC設計を,古典的かつ高性能な設計オプティマイザと比較できることがわかった。 In earthquake-prone zones, the seismic performance of reinforced concrete cantilever (RCC) retaining walls is significant. In this study, the seismic performance was investigated using horizontal and vertical pseudo-static coefficients. To tackle RCC weights and forces resulting from these earth pressures, 26 constraints for structural strengths and geotechnical stability along with 12 geometric variables are associated with each design. These constraints and design variables form a constraint optimization problem with a twelve-dimensional solution space. To conduct effective search and produce sustainable, economical, lightweight RCC designs robust against earthquake hazards, a novel adaptive fuzzy-based metaheuristic algorithm is applied. The proposed method divides the search space to sub-regions and establishes exploration, information sharing, and exploitation search capabilities based on its novel search components. Further, fuzzy inference systems were employed to address parameterization and computational cost evaluation issues. It was found that the proposed algorithm can achieve low-cost, low-weight, and low CO2 emission RCC designs under nine seismic conditions in comparison with several classical and best-performing design optimizers. | 翻訳日:2023-02-02 13:44:38 公開日:2023-02-01 |
| # テンソルネットワークを用いた密度ピーククラスタリング Density peak clustering using tensor network ( http://arxiv.org/abs/2302.00192v1 ) ライセンス: Link先を確認 | Xiao Shi, Yun Shang | (参考訳) 伝統的に多体物理学をシミュレートするために用いられてきたテンソルネットワークは、その強力な表現能力によって機械学習の分野で注目されている。
本研究ではテンソルネットワークにインスパイアされた密度に基づくクラスタリングアルゴリズムを提案する。
古典的データを拡張ヒルベルト空間上のテンソルネットワーク状態にエンコードし、テンソルネットワーク状態のトレーニングを行い、クラスタの特徴を捉える。
ここでは、古典的距離測度ではなく、忠実度の観点から密度と関連する概念を定義する。
我々は,6つの合成データセット,4つの実世界データセット,および3つのコンピュータビジョンデータセットに対して,アルゴリズムの性能を評価する。
本手法は,クラスタ数不明であっても,複数の合成データセットと実世界のデータセットにおいて最先端のパフォーマンスを提供することを示す。
さらに,本アルゴリズムは,MNIST,USPS,Fashion-MNISTの画像データセット上で,最先端のアルゴリズムと競合する。
これらの結果は、機械学習アプリケーションのためのテンソルネットワークの大きな可能性を示している。 Tensor networks, which have been traditionally used to simulate many-body physics, have recently gained significant attention in the field of machine learning due to their powerful representation capabilities. In this work, we propose a density-based clustering algorithm inspired by tensor networks. We encode classical data into tensor network states on an extended Hilbert space and train the tensor network states to capture the features of the clusters. Here, we define density and related concepts in terms of fidelity, rather than using a classical distance measure. We evaluate the performance of our algorithm on six synthetic data sets, four real world data sets, and three commonly used computer vision data sets. The results demonstrate that our method provides state-of-the-art performance on several synthetic data sets and real world data sets, even when the number of clusters is unknown. Additionally, our algorithm performs competitively with state-of-the-art algorithms on the MNIST, USPS, and Fashion-MNIST image data sets. These findings reveal the great potential of tensor networks for machine learning applications. | 翻訳日:2023-02-02 13:44:17 公開日:2023-02-01 |
| # 多言語単語リストにおける支配言語からの語彙借用の検出 Detecting Lexical Borrowings from Dominant Languages in Multilingual Wordlists ( http://arxiv.org/abs/2302.00189v1 ) ライセンス: Link先を確認 | John E. Miller and Johann-Mattis List | (参考訳) 言語接触(Language contact)は、ドナーから受取言語への言葉の借入に反映される広汎な現象である。
検出を借用するほとんどの計算手法は、研究中の全ての言語を同様に重要視しているが、支配的な言語は、その逆よりも遺産言語に強い影響を与える。
2つの古典的シーケンス比較法と1つの機械学習法を、スペイン語から広く借用された7つのラテンアメリカ言語のサンプルに適用し、支配的言語が重要な役割を果たす接触状況における語彙借用検出の新しい手法を検証した。
教師付き機械学習システムは古典的システムよりも優れており、全ての手法がうまく機能する。
検出誤りのレビューでは、受信語から異なる意味を持つドナー語を考慮し、借用検出を大幅に改善できることが示されている。 Language contact is a pervasive phenomenon reflected in the borrowing of words from donor to recipient languages. Most computational approaches to borrowing detection treat all languages under study as equally important, even though dominant languages have a stronger impact on heritage languages than vice versa. We test new methods for lexical borrowing detection in contact situations where dominant languages play an important role, applying two classical sequence comparison methods and one machine learning method to a sample of seven Latin American languages which have all borrowed extensively from Spanish. All methods perform well, with the supervised machine learning system outperforming the classical systems. A review of detection errors shows that borrowing detection could be substantially improved by taking into account donor words with divergent meanings from recipient words. | 翻訳日:2023-02-02 13:44:00 公開日:2023-02-01 |
| # モヤモヤ病の出血予測のための深層学習アプローチ Deep Learning Approach to Predict Hemorrhage in Moyamoya Disease ( http://arxiv.org/abs/2302.00188v1 ) ライセンス: Link先を確認 | Meng Zhao, Yonggang Ma, Qian Zhang, Jizong Zhao | (参考訳) 目的: モヤモヤ病(mmd)患者の出血リスクを予測するための信頼できるツールが有用である。
本研究の目的はモヤモヤ病の出血を予測する3つの機械学習分類アルゴリズムの開発である。
方法:2009年から2015年の間に当院に入院したMDD患者の臨床データについて検討した。
人口統計,臨床データ,放射線データを分析し,ニューラルネットワーク(ann),サポートベクターマシン(svm),ランダムフォレストモデルを開発した。
結果: モデル開発のための入力として, 人口統計学的特徴を含む33のパラメータを抽出した。
比較した分類結果の中で、annは75.7% (95% ci, 68.6%-82.8%)、svmは69.2% (95% ci, 56.9%-81.5%)、ランダム森林は70.0% (95% ci, 57.0%-83.0%) であった。
結論: ANN フレームワークは,成人MDD 患者の臨床情報と放射線学的特徴に基づいて出血の可能性を予測するための有効なツールとして有用である。 Objective: Reliable tools to predict moyamoya disease (MMD) patients at risk for hemorrhage could have significant value. The aim of this paper is to develop three machine learning classification algorithms to predict hemorrhage in moyamoya disease. Methods: Clinical data of consecutive MMD patients who were admitted to our hospital between 2009 and 2015 were reviewed. Demographics, clinical, radiographic data were analyzed to develop artificial neural network (ANN), support vector machine (SVM), and random forest models. Results: We extracted 33 parameters, including 11 demographic and 22 radiographic features as input for model development. Of all compared classification results, ANN achieved the highest overall accuracy of 75.7% (95% CI, 68.6%-82.8%), followed by SVM with 69.2% (95% CI, 56.9%-81.5%) and random forest with 70.0% (95% CI, 57.0%-83.0%). Conclusions: The proposed ANN framework can be a potential effective tool to predict the possibility of hemorrhage among adult MMD patients based on clinical information and radiographic features. | 翻訳日:2023-02-02 13:43:46 公開日:2023-02-01 |
| # 多様なビデオデモからのプログラム生成 Program Generation from Diverse Video Demonstrations ( http://arxiv.org/abs/2302.00178v1 ) ライセンス: Link先を確認 | Anthony Manchin, Jamie Sherrah, Qi Wu, Anton van den Hengel | (参考訳) インダクティブ推論を用いて複数の観測から一般的な規則を抽出する能力は、インテリジェンスの重要な指標である。
人間として、私たちはこの能力を使って周りの世界を解釈するだけでなく、私たちが経験する様々な相互作用の結果を予測する。
複数の観察を総合することは、特にコンピュータビジョンを必要とする場合、マシンが把握し難いタスクである。
本稿では,要約と翻訳を同時に行うことで,ビデオデモから一般的なルールを抽出できるモデルを提案する。
提案手法は,モデルの要約を学習するマルチシーケンス・ツー・シーケンスタスクとして問題をフレーミングすることによる先行研究とは異なる。
これにより,従来の要約手法によって抑制あるいは破棄されるようなエッジケースを,モデルで利用することが可能になります。
さらに,提案手法では追加のフィルタリング手法を必要とせず,ノイズの多い仕様を処理できることを示す。
我々は,vizdoom環境における実演映像からプログラムを合成し,先行研究における11.75%のプログラム精度を相対的に向上させて評価する。 The ability to use inductive reasoning to extract general rules from multiple observations is a vital indicator of intelligence. As humans, we use this ability to not only interpret the world around us, but also to predict the outcomes of the various interactions we experience. Generalising over multiple observations is a task that has historically presented difficulties for machines to grasp, especially when requiring computer vision. In this paper, we propose a model that can extract general rules from video demonstrations by simultaneously performing summarisation and translation. Our approach differs from prior works by framing the problem as a multi-sequence-to-sequence task, wherein summarisation is learnt by the model. This allows our model to utilise edge cases that would otherwise be suppressed or discarded by traditional summarisation techniques. Additionally, we show that our approach can handle noisy specifications without the need for additional filtering methods. We evaluate our model by synthesising programs from video demonstrations in the Vizdoom environment achieving state-of-the-art results with a relative increase of 11.75% program accuracy on prior works | 翻訳日:2023-02-02 13:43:23 公開日:2023-02-01 |
| # Yolov3-tinyを用いたトマト熟成期の検出 Detection of Tomato Ripening Stages using Yolov3-tiny ( http://arxiv.org/abs/2302.00164v1 ) ライセンス: Link先を確認 | Gerardo Antonio Alvarez Hern\'andez, Juan Carlos Olguin, Juan Irving Vasquez, Abril Valeria Uriarte, Maria Claudia Villica\~na Torres | (参考訳) メキシコで最も重要な農産物の1つはトマト(Solanum lycopersicum)であり、国内第4位である。
そのため、生産の改善が必要であり、果実の保存タックを検知、分類する自動検出システムを構築することは、それをアーカイブする一つの方法である。
そこで本稿では,異なる熟成段階におけるトマト検出のためのコンピュータビジョンシステムの設計について述べる。
そこで我々は,トマトの分類と検出にニューラルネットワークを用いたモデルを用いた。
特に、yolov3-tinyモデルを使っているのは、最も軽い現在のディープニューラルネットワークの1つであるからです。
トレーニングには,複数のハイパーパラメータの組み合わせをテストする2つのグリッドサーチを実行する。
実験の結果, カスタムデータセットにおける熟成段階の局在と分類において, f1スコアは90.0%であった。 One of the most important agricultural products in Mexico is the tomato (Solanum lycopersicum), which occupies the 4th place national most produced product . Therefore, it is necessary to improve its production, building automatic detection system that detect, classify an keep tacks of the fruits is one way to archieve it. So, in this paper, we address the design of a computer vision system to detect tomatoes at different ripening stages. To solve the problem, we use a neural network-based model for tomato classification and detection. Specifically, we use the YOLOv3-tiny model because it is one of the lightest current deep neural networks. To train it, we perform two grid searches testing several combinations of hyperparameters. Our experiments showed an f1-score of 90.0% in the localization and classification of ripening stages in a custom dataset. | 翻訳日:2023-02-02 13:43:06 公開日:2023-02-01 |
| # あるデータ空間から別のデータ空間への局所転送学習 Local transfer learning from one data space to another ( http://arxiv.org/abs/2302.00160v1 ) ライセンス: Link先を確認 | H. N. Mhaskar and Ryan O'Dowd | (参考訳) 多様体学習の基本的な問題は、高次元ユークリッド空間の低次元部分多様体上で支持される確率分布からランダムに選択されたデータの関数関係を近似することである。
多様体は本質的にデータセット自身で定義され、典型的には、データがある意味で多様体に密着するように設計される。
データ空間の概念は、関数近似を可能にする本質的性質をカプセル化した多様体の抽象である。
転送学習(meta-learning)の問題は、あるデータセット上の関数の学習を使用して、新しいデータセットで同様の関数を学習することだ。
関数近似の観点では、これはあるデータ空間(ベースデータ空間)から別のデータ空間(対象データ空間)へ関数を持ち上げることを意味する。
この観点から、応用数学における逆問題(逆ラドン変換など)と転移学習を結びつけることができる。
本稿では,データをベースデータ空間の一部でのみ知っていると仮定した場合に,そのようなリフティングの問題を考察する。
我々は、リフトが定義できる対象データ空間のサブセットを決定することに興味を持ち、関数の局所的滑らかさとそのリフトの関連性について述べる。 A fundamental problem in manifold learning is to approximate a functional relationship in a data chosen randomly from a probability distribution supported on a low dimensional sub-manifold of a high dimensional ambient Euclidean space. The manifold is essentially defined by the data set itself and, typically, designed so that the data is dense on the manifold in some sense. The notion of a data space is an abstraction of a manifold encapsulating the essential properties that allow for function approximation. The problem of transfer learning (meta-learning) is to use the learning of a function on one data set to learn a similar function on a new data set. In terms of function approximation, this means lifting a function on one data space (the base data space) to another (the target data space). This viewpoint enables us to connect some inverse problems in applied mathematics (such as inverse Radon transform) with transfer learning. In this paper we examine the question of such lifting when the data is assumed to be known only on a part of the base data space. We are interested in determining subsets of the target data space on which the lifting can be defined, and how the local smoothness of the function and its lifting are related. | 翻訳日:2023-02-02 13:42:54 公開日:2023-02-01 |
| # 粒子群最適化のためのハイパーパラメータの最適化値の証明法 How to Prove the Optimized Values of Hyperparameters for Particle Swarm Optimization? ( http://arxiv.org/abs/2302.00155v1 ) ライセンス: Link先を確認 | Abel C. H. Chen | (参考訳) 近年,様々な最適化問題を解くために,いくつかのSwarmインテリジェンス最適化アルゴリズムが提案されている。
しかし、いくつかのハイパーパラメータの値を決定する必要がある。
例えば、Particle Swarm Optimization (PSO) は高い最適化性能を持ついくつかのアプリケーションに適用されているが、慣性速度の重み、粒子の最もよく知られた位置、そして、Swarmの最もよく知られた位置を決定する必要がある。
そこで本研究では,適合度関数の数学的モデルに基づく最適化平均適合度関数値(affv)の分析手法を提案する。
さらに、最適化されたハイパーパラメータ値は最小の場合、低いAFFVで決定できる。
実験の結果,提案手法のハイパーパラメータ値は高効率収束と低AFFVが得られることがわかった。 In recent years, several swarm intelligence optimization algorithms have been proposed to be applied for solving a variety of optimization problems. However, the values of several hyperparameters should be determined. For instance, although Particle Swarm Optimization (PSO) has been applied for several applications with higher optimization performance, the weights of inertial velocity, the particle's best known position and the swarm's best known position should be determined. Therefore, this study proposes an analytic framework to analyze the optimized average-fitness-function-value (AFFV) based on mathematical models for a variety of fitness functions. Furthermore, the optimized hyperparameter values could be determined with a lower AFFV for minimum cases. Experimental results show that the hyperparameter values from the proposed method can obtain higher efficiency convergences and lower AFFVs. | 翻訳日:2023-02-02 13:42:38 公開日:2023-02-01 |
| # TwinExplainer: 自動車用デジタルツインの予測を解説 TwinExplainer: Explaining Predictions of an Automotive Digital Twin ( http://arxiv.org/abs/2302.00152v1 ) ライセンス: Link先を確認 | Subash Neupane, Ivan A. Fernandez, Wilson Patterson, Sudip Mittal, Milan Parmar, Shahram Rahimi | (参考訳) 車両は様々な環境で運用される複雑なサイバー物理システム(CPS)であり、エンジン、トランスミッション、ブレーキ、燃料などの1つ以上のサブシステムの故障の可能性は、予定外のダウンタイムと高いメンテナンスや修理コストをもたらす可能性がある。
これらの問題を防ぐためには、様々なサブシステムの状態を継続的に監視し、異常なセンサーチャネルの挙動を特定することが重要である。
データ駆動デジタルツイン(dt)システムはこのようなタスクを行うことができる。
現在のDT技術は、それらの予測に対する正当化や説明の欠如によって制約される様々なディープラーニング(DL)技術を利用している。
このような不透明なシステムの欠如は意思決定に影響を与え、ユーザの信頼を喚起する。
本稿では,twinexplainerシステムとその3層構造パイプラインを用いて,自動車用dtの予測について述べる。
このようなシステムは、センサーチャネルのグローバルスケールと一般的なDT予測への貢献方法を理解するために、自動車の利害関係者を支援することができる。
twinexplainerはdtによって計算される正常な局所予測と異常な局所予測の両方について説明を可視化することもできる。 Vehicles are complex Cyber Physical Systems (CPS) that operate in a variety of environments, and the likelihood of failure of one or more subsystems, such as the engine, transmission, brakes, and fuel, can result in unscheduled downtime and incur high maintenance or repair costs. In order to prevent these issues, it is crucial to continuously monitor the health of various subsystems and identify abnormal sensor channel behavior. Data-driven Digital Twin (DT) systems are capable of such a task. Current DT technologies utilize various Deep Learning (DL) techniques that are constrained by the lack of justification or explanation for their predictions. This inability of these opaque systems can influence decision-making and raises user trust concerns. This paper presents a solution to this issue, where the TwinExplainer system, with its three-layered architectural pipeline, explains the predictions of an automotive DT. Such a system can assist automotive stakeholders in understanding the global scale of the sensor channels and how they contribute towards generic DT predictions. TwinExplainer can also visualize explanations for both normal and abnormal local predictions computed by the DT. | 翻訳日:2023-02-02 13:42:25 公開日:2023-02-01 |
| # 球状ガウス混合系のパラメトリック安定性 The Parametric Stability of Well-separated Spherical Gaussian Mixtures ( http://arxiv.org/abs/2302.00242v1 ) ライセンス: Link先を確認 | Hanyu Zhang, Marina Meila | (参考訳) 分布空間における小さな摂動下での球状ガウス混合モデル(sgmm)のパラメータ安定性を定量化する。
すなわち、事前定義されたモデルクラスにおける球状ガウス$P$(sGMM)の混合に対して、全変動距離におけるこのモデルクラスの他のすべてのsGMMは、$P$に小さなパラメータ距離を持つことを示す最初の明示的境界を導出する。
さらに、この上限は$p$にのみ依存する。
この研究の動機は、ガウス混合を適合させる保証を提供することにある。この目的を念頭に置いて、すべての定数は十分に定義され、球面ガウス混合を適合させる自由条件が分布する。
我々の結果は既存の計算可能境界をかなり厳しくし、この問題の既知の鋭いしきい値に漸近的に一致する。 We quantify the parameter stability of a spherical Gaussian Mixture Model (sGMM) under small perturbations in distribution space. Namely, we derive the first explicit bound to show that for a mixture of spherical Gaussian $P$ (sGMM) in a pre-defined model class, all other sGMM close to $P$ in this model class in total variation distance has a small parameter distance to $P$. Further, this upper bound only depends on $P$. The motivation for this work lies in providing guarantees for fitting Gaussian mixtures; with this aim in mind, all the constants involved are well defined and distribution free conditions for fitting mixtures of spherical Gaussians. Our results tighten considerably the existing computable bounds, and asymptotically match the known sharp thresholds for this problem. | 翻訳日:2023-02-02 13:36:15 公開日:2023-02-01 |
| # 政治イデオロギー予測における空白化と選択バイアスのフィルタリング Filtering Context Mitigates Scarcity and Selection Bias in Political Ideology Prediction ( http://arxiv.org/abs/2302.00239v1 ) ライセンス: Link先を確認 | Chen Chen, Dylan Walker, Venkatesh Saligrama | (参考訳) 本稿では,分布外入力を予測可能な政治イデオロギー予測(pip)のための教師あり学習手法を提案する。
この問題は、手動データラベルが高価であるという事実に動機づけられているが、自己報告ラベルはしばしば不足し、重大な選択バイアスを示す。
そこで本研究では,イデオロギーとは無関係な潜在性中性なemph{context}ベクトルとイデオロギーに沿った潜在性emph{position}ベクトルという2つのベクトルの線形重ね合わせに埋め込みを分解する新しい統計モデルを提案する。
中間文脈ベクトルと位置ベクトルを出力とするエンドツーエンドモデルを訓練する。
配置時には,予測位置ベクトルのみを利用して,入力文書のラベルを予測する。
2つのベンチマークデータセットで、我々のモデルは5\%のバイアスデータでトレーニングしても予測を出力でき、最先端のモデルよりもはるかに正確であることを示す。
クラウドソーシングを通じてコンテキストベクトルの中立性を検証し、コンテキストフィルタリングがイデオロギー集中をもたらすことを示し、分散例の予測を可能にする。 We propose a novel supervised learning approach for political ideology prediction (PIP) that is capable of predicting out-of-distribution inputs. This problem is motivated by the fact that manual data-labeling is expensive, while self-reported labels are often scarce and exhibit significant selection bias. We propose a novel statistical model that decomposes the document embeddings into a linear superposition of two vectors; a latent neutral \emph{context} vector independent of ideology, and a latent \emph{position} vector aligned with ideology. We train an end-to-end model that has intermediate contextual and positional vectors as outputs. At deployment time, our model predicts labels for input documents by exclusively leveraging the predicted positional vectors. On two benchmark datasets we show that our model is capable of outputting predictions even when trained with as little as 5\% biased data, and is significantly more accurate than the state-of-the-art. Through crowd-sourcing we validate the neutrality of contextual vectors, and show that context filtering results in ideological concentration, allowing for prediction on out-of-distribution examples. | 翻訳日:2023-02-02 13:35:59 公開日:2023-02-01 |
| # 強化学習を用いたブリッジング物理情報ニューラルネットワーク:ハミルトン・ヤコビ・ベルマン近似政策最適化(HJBPPO) Bridging Physics-Informed Neural Networks with Reinforcement Learning: Hamilton-Jacobi-Bellman Proximal Policy Optimization (HJBPPO) ( http://arxiv.org/abs/2302.00237v1 ) ライセンス: Link先を確認 | Amartya Mukherjee and Jun Liu | (参考訳) 本稿では,ハミルトン・ヤコビ・ベルマン近似政策最適化(HJBPPO)アルゴリズムを強化学習に適用する。
ハミルトン・ヤコビ・ベルマン方程式(HJB)は、値関数の最適性を評価するために制御理論において用いられる。
我々の研究は,HJB方程式と連続状態における強化学習と行動空間を組み合わせることで,価値ネットワークのトレーニングを改善する。
我々は,この値ネットワークを物理インフォームドニューラルネットワーク (PINN) として扱い,その入力を正確に計算することでHJB方程式を解く。
ppo(proximal policy optimization)-clippedアルゴリズムは、そのポリシーネットワークの目的関数を計算するためにバリューネットワークを使用するため、この実装で即興で実現されている。
HJBPPO アルゴリズムは MuJoCo 環境の PPO と比較して性能が向上した。 This paper introduces the Hamilton-Jacobi-Bellman Proximal Policy Optimization (HJBPPO) algorithm into reinforcement learning. The Hamilton-Jacobi-Bellman (HJB) equation is used in control theory to evaluate the optimality of the value function. Our work combines the HJB equation with reinforcement learning in continuous state and action spaces to improve the training of the value network. We treat the value network as a Physics-Informed Neural Network (PINN) to solve for the HJB equation by computing its derivatives with respect to its inputs exactly. The Proximal Policy Optimization (PPO)-Clipped algorithm is improvised with this implementation as it uses a value network to compute the objective function for its policy network. The HJBPPO algorithm shows an improved performance compared to PPO on the MuJoCo environments. | 翻訳日:2023-02-02 13:35:35 公開日:2023-02-01 |
| # spide: フィードバックスパイクニューラルネットワークのトレーニングのための純粋スパイクベース手法 SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks ( http://arxiv.org/abs/2302.00232v1 ) ライセンス: Link先を確認 | Mingqing Xiao, Qingyan Meng, Zongpeng Zhang, Yisen Wang, Zhouchen Lin | (参考訳) イベントベースの計算を伴うスパイキングニューラルネットワーク(snn)は、ニューロモルフィックハードウェア上のエネルギー効率の高いアプリケーションのための、脳にインスパイアされたモデルである。
しかしながら、ニューラルネットワークからの変換や代理勾配による直接訓練など、ほとんどの教師付きSNNトレーニング方法は、トレーニング中にスパイクベースのスパイク操作よりも複雑な計算を必要とする。
本稿では,最近提案する,snsのエネルギー効率向上の可能性を示す,純粋スパイクに基づく計算による教師付き学習のための,均衡状態の暗黙的微分(spike-based implicit differentiation on the equilibrium state, spide)について検討する。
具体的には、三元スパイクニューロン対を導入し、この設計に基づいて暗黙的な分化をスパイクによって解決できることを証明し、前方と後方の両方のパスを含むトレーニング手順全体をイベント駆動スパイク計算として行い、重みを2段階の平均発火率でローカルに更新する。
次に, スパイクの近似誤差を低減するために, リセット膜電位を変更することを提案する。
これらの重要な構成要素により、少数の時間ステップで柔軟な構造を持つSNNを訓練し、訓練中に発火間隔を訓練でき、エネルギーコストの理論的な推定は高効率の可能性を示す。
一方,これらの制約を伴っても,MNIST,CIFAR-10,CIFAR-100,CIFAR10-DVSの競争結果が得られることを示す。
私たちのコードはhttps://github.com/pkuxmq/SPIDE-FSNNで公開されています。 Spiking neural networks (SNNs) with event-based computation are promising brain-inspired models for energy-efficient applications on neuromorphic hardware. However, most supervised SNN training methods, such as conversion from artificial neural networks or direct training with surrogate gradients, require complex computation rather than spike-based operations of spiking neurons during training. In this paper, we study spike-based implicit differentiation on the equilibrium state (SPIDE) that extends the recently proposed training method, implicit differentiation on the equilibrium state (IDE), for supervised learning with purely spike-based computation, which demonstrates the potential for energy-efficient training of SNNs. Specifically, we introduce ternary spiking neuron couples and prove that implicit differentiation can be solved by spikes based on this design, so the whole training procedure, including both forward and backward passes, is made as event-driven spike computation, and weights are updated locally with two-stage average firing rates. Then we propose to modify the reset membrane potential to reduce the approximation error of spikes. With these key components, we can train SNNs with flexible structures in a small number of time steps and with firing sparsity during training, and the theoretical estimation of energy costs demonstrates the potential for high efficiency. Meanwhile, experiments show that even with these constraints, our trained models can still achieve competitive results on MNIST, CIFAR-10, CIFAR-100, and CIFAR10-DVS. Our code is available at https://github.com/pkuxmq/SPIDE-FSNN. | 翻訳日:2023-02-02 13:35:20 公開日:2023-02-01 |
| # 人工知能を用いた新生児集中治療ユニットの過去・現在・未来 The Past, Current, and Future of Neonatal Intensive Care Units with Artificial Intelligence ( http://arxiv.org/abs/2302.00225v1 ) ライセンス: Link先を確認 | Elif Keles and Ulas Bagci | (参考訳) 人工知能(AI)、特にディープラーニング(DL)と呼ばれるAIの分野は、コンピュータビジョンから健康科学まで、ほぼすべての分野で革命的な発展を証明しており、医療におけるその影響は臨床応用を大きく変えている。
小児科のような一部の医学分野は、AIの重要な利益を受けるのに比較的遅いが、小児科の関連研究もかなりのレベルに蓄積され始めた。
そこで,本稿では,最近開発された新生児用機械学習システムと深層学習システムについて概説する。
ニューナトロジー応用におけるAIの役割を体系的に評価し、アルゴリズム開発を含む方法論を定義し、新生児疾患における残りの課題について述べる。
これまで、生存分析、神経画像化、脳波、バイタルパラメーターのパターン解析、およびaiによる未熟診断の網膜症は、新生児科で主に注目されてきた。
1996年から2022年にかけて96の論文を分類し,それぞれ長所と短所について論じた。
また、新生児集中治療ユニットへのAI統合のロードマップを提案するとともに、新たなAIモデルの可能性や、AIのパワー向上による新生生物学の将来についても論じる。 Artificial intelligence (AI), specifically a branch of AI called deep learning (DL), has proven revolutionary developments in almost all fields, from computer vision to health sciences, and its effects in medicine have changed clinical applications significantly. Although some sub-fields of medicine such as pediatrics have been relatively slow in receiving critical benefits of AI, related research in pediatrics started to be accumulated to a significant level too. Hence, in this paper, we review recently developed machine learning and deep learning based systems for neonatology applications. We systematically evaluate the role of AI in neonatology applications, define the methodologies, including algorithmic developments, and describe the remaining challenges in neonatal diseases. To date, survival analysis, neuroimaging, EEG, pattern analysis of vital parameters, and retinopathy of prematurity diagnosis with AI have been the main focus in neonatology. We have categorically summarized 96 research articles, from 1996 to 2022, and discussed their pros and cons, respectively. We also discuss possible directions for new AI models and the future of neonatology with the rising power of AI, suggesting roadmaps for integration of AI into neonatal intensive care units. | 翻訳日:2023-02-02 13:34:54 公開日:2023-02-01 |
| # 落下検出-マルチモダリティアプローチ Human Fall Detection- Multimodality Approach ( http://arxiv.org/abs/2302.00224v1 ) ライセンス: Link先を確認 | Xi Wang, Ramya Penta, Bhavya Sehgal, Dale Chen-Song | (参考訳) 近年,高齢者に有害な転倒が頻発し,転倒検出が重要となり,転倒検出に関連するデータセットや機械学習モデルが紹介されている。
本報告では,マルチモータリティ手法を用いて人間の転倒検出手法を提案する。
さまざまなセンサと2台のカメラを使って数十人のボランティアが収集したアップフォール検出データセットを使用した。
我々は,2進分類にラベルを保持するアクセラメータデータを有する手首センサ,すなわち,データセットからの落下・落下を検知し,カメラとセンサデータの融合を用いて性能向上を行った。
その結果,二分分類のためのマルチセンサと比較して手首データのみを使用することは,転倒検出のモデル予測性能に影響を与えなかった。 Falls have become more frequent in recent years, which has been harmful for senior citizens.Therefore detecting falls have become important and several data sets and machine learning model have been introduced related to fall detection. In this project report, a human fall detection method is proposed using a multi modality approach. We used the UP-FALL detection data set which is collected by dozens of volunteers using different sensors and two cameras. We use wrist sensor with acclerometer data keeping labels to binary classification, namely fall and no fall from the data set.We used fusion of camera and sensor data to increase performance. The experimental results shows that using only wrist data as compared to multi sensor for binary classification did not impact the model prediction performance for fall detection. | 翻訳日:2023-02-02 13:34:33 公開日:2023-02-01 |
| # 効率的なスコープフォーマ:頭蓋内出血検出のためのスケーラブルでリッチな特徴抽出に向けて Efficient Scopeformer: Towards Scalable and Rich Feature Extraction for Intracranial Hemorrhage Detection ( http://arxiv.org/abs/2302.00220v1 ) ライセンス: Link先を確認 | Yassine Barhoumi, Nidhal C. Bouaynaya, Ghulam Rasool | (参考訳) 畳み込みニューラルネットワーク(CNN)と視覚変換器(ViT)によって抽出された特徴マップの品質と豊かさは、ロバストモデルの性能に直接関係する。
医療コンピュータビジョンにおいて、これらの情報豊富な特徴は、大規模なデータセット内で稀なケースを検出するために不可欠である。
本研究では,CT画像における頭蓋内出血分類のための新しいマルチCNN-ViTモデルであるScopeformerを提案する。
Scopeformerアーキテクチャはスケーラブルでモジュール化されており、多様な出力機能と事前学習戦略を備えたバックボーンとして様々なCNNアーキテクチャを利用することができる。
提案手法は,CNN生成した特徴間の冗長性を低減し,ViTの入力サイズを制御する。
様々なScopeformerモデルによる大規模な実験により、モデルの性能は特徴抽出器で使用される畳み込みブロックの数に比例することが示された。
CNNの事前学習パラダイム、異なる事前学習データセット、スタイル転送テクニックの多様化など、複数の戦略を用いて、様々な計算予算におけるモデル性能の全体的な改善を実証する。
その後、3種類の入力と出力のViT構成を持つより小さな計算効率のScopeformerバージョンを提案する。
効率的なスコープフォーマは4つの異なる事前学習されたcnnアーキテクチャを特徴抽出器として使用し、機能の豊かさを高めている。
最も効率的なスコープフォーマーモデルは、ベーススコープフォーマーと比較してトレーニング可能なパラメータ数を8倍削減し、96.94\%の精度と重み付き対数損失0.083を達成した。
効率の良いスコープフォーマーモデルの別のバージョンでは、性能を損なうことなくパラメータ空間を17倍近く削減した。
ハイブリッドCNNとViTは、正確な医療用コンピュータビジョンモデルの開発に望ましい機能を提供するかもしれない The quality and richness of feature maps extracted by convolution neural networks (CNNs) and vision Transformers (ViTs) directly relate to the robust model performance. In medical computer vision, these information-rich features are crucial for detecting rare cases within large datasets. This work presents the "Scopeformer," a novel multi-CNN-ViT model for intracranial hemorrhage classification in computed tomography (CT) images. The Scopeformer architecture is scalable and modular, which allows utilizing various CNN architectures as the backbone with diversified output features and pre-training strategies. We propose effective feature projection methods to reduce redundancies among CNN-generated features and to control the input size of ViTs. Extensive experiments with various Scopeformer models show that the model performance is proportional to the number of convolutional blocks employed in the feature extractor. Using multiple strategies, including diversifying the pre-training paradigms for CNNs, different pre-training datasets, and style transfer techniques, we demonstrate an overall improvement in the model performance at various computational budgets. Later, we propose smaller compute-efficient Scopeformer versions with three different types of input and output ViT configurations. Efficient Scopeformers use four different pre-trained CNN architectures as feature extractors to increase feature richness. Our best Efficient Scopeformer model achieved an accuracy of 96.94\% and a weighted logarithmic loss of 0.083 with an eight times reduction in the number of trainable parameters compared to the base Scopeformer. Another version of the Efficient Scopeformer model further reduced the parameter space by almost 17 times with negligible performance reduction. Hybrid CNNs and ViTs might provide the desired feature richness for developing accurate medical computer vision models | 翻訳日:2023-02-02 13:34:21 公開日:2023-02-01 |
| # QCRS:準凸最適化によるランダム化平滑化の改善 QCRS: Improve Randomized Smoothing using Quasi-Concave Optimization ( http://arxiv.org/abs/2302.00209v1 ) ライセンス: Link先を確認 | Bo-Han Kung and Shang-Tse Chen | (参考訳) ランダム化平滑化は現在、ディープニューラルネットワークの堅牢性を保証する最先端の方法である。
しかし、現実世界のデータセット上で適切な認定領域を達成できない場合が多い。
より大きな認定領域を得る一つの方法は、すべてのデータポイントに対して固定ガウスフィルタを使用する代わりに、入力固有のアルゴリズムを使用することである。
このアイデアに基づくいくつかの手法が提案されているが、高い計算コストに苦しむか、認定半径の限界改善を得るかのどちらかである。
本研究では,疑似凸問題構造を生かして,計算オーバーヘッドの少ないほとんどのデータポイントに対して最適なradiiを求めることができることを示す。
この観測により、効率的で効果的な入力固有ランダム化平滑化アルゴリズムが導かれる。
我々はcifar10とimagenetの広範な実験と実験分析を行っている。
その結果,提案手法は計算オーバーヘッドの少ない認定radiiを著しく向上させることがわかった。 Randomized smoothing is currently the state-of-the-art method that provides certified robustness for deep neural networks. However, it often cannot achieve an adequate certified region on real-world datasets. One way to obtain a larger certified region is to use an input-specific algorithm instead of using a fixed Gaussian filter for all data points. Several methods based on this idea have been proposed, but they either suffer from high computational costs or gain marginal improvement in certified radius. In this work, we show that by exploiting the quasiconvex problem structure, we can find the optimal certified radii for most data points with slight computational overhead. This observation leads to an efficient and effective input-specific randomized smoothing algorithm. We conduct extensive experiments and empirical analysis on Cifar10 and ImageNet. The results show that the proposed method significantly enhances the certified radii with low computational overhead. | 翻訳日:2023-02-02 13:33:55 公開日:2023-02-01 |
| # RKBSにおける逐次学習としてのニューラルネットワークのグラディエントDescent Gradient Descent in Neural Networks as Sequential Learning in RKBS ( http://arxiv.org/abs/2302.00205v1 ) ライセンス: Link先を確認 | Alistair Shilton, Sunil Gupta, Santu Rana, Svetha Venkatesh | (参考訳) ニューラル・タンジェント・カーネル(ntks)の研究は、ニューラルネットワークの初期化値の近傍の重みに対して一階テイラー展開を用いてネットワークを近似することにより、超パラメータ(全体)限界におけるニューラルネットワークの収束と一般化特性に関する多くの知見を提供した。
これにより、ニューラルネットワークのトレーニングを、過剰にパラメータ化された状態において有益であるカーネルヒルベルト空間(英語版)(rkhs)の再現の観点から分析することができるが、トレーニング中に重みがより変化するにつれて、狭められたネットワークの近似は不十分である。
我々の目標はNTKの限界を超えて、より一般的な理論へと拡張することである。
データと重みステップ空間から特徴空間への2つの特徴写像の内積として、初期重みの有限近傍におけるニューラルネットワークの正確なパワーシリーズ表現を構築し、ニューラルネットワークのトレーニングを再生カーネル・バナッハ空間(英語版)(rkbs)の観点から解析する。
我々は,RKBSにおける正規化シーケンシャル学習により,勾配降下によるトレーニングシーケンスを正確に再現できることを証明した。
そこで本研究では,反復数と学習率を中心的役割とする一様収束のバウンドを示し,ニューラルネットワーク学習に対する新たな理論的洞察を与える。 The study of Neural Tangent Kernels (NTKs) has provided much needed insight into convergence and generalization properties of neural networks in the over-parametrized (wide) limit by approximating the network using a first-order Taylor expansion with respect to its weights in the neighborhood of their initialization values. This allows neural network training to be analyzed from the perspective of reproducing kernel Hilbert spaces (RKHS), which is informative in the over-parametrized regime, but a poor approximation for narrower networks as the weights change more during training. Our goal is to extend beyond the limits of NTK toward a more general theory. We construct an exact power-series representation of the neural network in a finite neighborhood of the initial weights as an inner product of two feature maps, respectively from data and weight-step space, to feature space, allowing neural network training to be analyzed from the perspective of reproducing kernel {\em Banach} space (RKBS). We prove that, regardless of width, the training sequence produced by gradient descent can be exactly replicated by regularized sequential learning in RKBS. Using this, we present novel bound on uniform convergence where the iterations count and learning rate play a central role, giving new theoretical insight into neural network training. | 翻訳日:2023-02-02 13:33:42 公開日:2023-02-01 |
| # 重み付き有限状態トランスデューサで表されるトランザクション A Transaction Represented with Weighted Finite-State Transducers ( http://arxiv.org/abs/2302.00200v1 ) ライセンス: Link先を確認 | J. Nathaniel Holmes and Homayoon Beigi | (参考訳) すべての契約は良いわけではないが、すべての良い契約は有限状態遷移システムとして表現できる("State-Transition Contracts")。
国家移行契約(State-Transition Contracts)として表される契約は、肥大したリスクを予測可能かつ管理可能なリスクに識別し、関係によって統治される関連する事象の境界を定義し、矛盾する契約条項の可能性を排除している。
さらに、国家移行契約は計算理論の科学を統括する規則の下で分析できるという実質的な利益を享受している。
単純な状態遷移契約は離散有限オートマトンとして表現できる; より複雑な状態遷移契約(例えば、他の契約や演奏の複雑な経路に下流効果を持つもの)、重み付き有限状態トランスデューサとしての表現の恩恵を受け、費用、罰則、遷移の確率に割り当てられる。
この研究論文(ResearchまたはPaper)は、重み付き有限状態トランスデューサとして表される複雑な法的トランザクションを示す。
さらに、重み付き有限状態トランスデューサの代数構造によって許される数学やアルゴリズムが、トランザクションに対して実行可能な法的洞察を与えることを示す。 Not all contracts are good, but all good contracts can be expressed as a finite-state transition system ("State-Transition Contracts"). Contracts that can be represented as State-Transition Contracts discretize fat-tailed risk to foreseeable, managed risk, define the boundary of relevant events governed by the relationship, and eliminate the potential of inconsistent contractual provisions. Additionally, State-Transition Contracts reap the substantial benefit of being able to be analyzed under the rules governing the science of the theory of computation. Simple State-Transition Contracts can be represented as discrete finite automata; more complicated State-Transition Contracts, such as those that have downstream effects on other agreements or complicated pathways of performance, benefit from representation as weighted finite-state transducers, with weights assigned as costs, penalties, or probabilities of transitions. This research paper (the "Research" or "Paper") presents a complex legal transaction represented as weighted finite-state transducers. Furthermore, we show that the mathematics/algorithms permitted by the algebraic structure of weighted finite-state transducers provides actionable, legal insight into the transaction. | 翻訳日:2023-02-02 13:33:21 公開日:2023-02-01 |
| # 大規模変圧器モデルの隠れ表現の幾何学 The geometry of hidden representations of large transformer models ( http://arxiv.org/abs/2302.00294v1 ) ライセンス: Link先を確認 | Lucrezia Valeriani, Diego Doimo, Francesca Cuturello, Alessandro Laio, Alessio Ansuini, Alberto Cazzaniga | (参考訳) 大きなトランスフォーマーは、タンパク質配列からテキスト、画像まで、様々な性質のデータの自己教師あり分析のための強力なアーキテクチャである。
これらのモデルでは、隠れた層内のデータ表現は同じ空間に存在し、データセットのセマンティック構造は、1つの表現と次の表現の間で機能的に同一な変換のシーケンスによって現れる。
ここでは、これらの表現の幾何学的および統計的性質を特徴付け、層をまたいだそのようなプロパティの進化に焦点を当てる。
内在次元(ID)や周辺組成などの幾何学的性質を解析することにより、タンパク質言語タスクや画像再構成タスクで訓練されたトランスフォーマーにおいて、表現が著しく類似した方法で進化することが分かる。
最初の層では、データ多様体は拡大し、高次元となり、その後中間層で大幅に収縮する。
モデルの最後の部分では、idはほぼ一定か、あるいは第2の浅いピークを形成する。
データセットの意味的複雑性は、最初のピークの終わりに現れる。
この現象は、多様なデータセットで訓練された多くのモデルで観測できる。
これらの観測に基づいて、下流学習タスクに適したレイヤを特定するために、IDプロファイルを教師なしプロキシとして使用することを提案する。 Large transformers are powerful architectures for self-supervised analysis of data of various nature, ranging from protein sequences to text to images. In these models, the data representation in the hidden layers live in the same space, and the semantic structure of the dataset emerges by a sequence of functionally identical transformations between one representation and the next. We here characterize the geometric and statistical properties of these representations, focusing on the evolution of such proprieties across the layers. By analyzing geometric properties such as the intrinsic dimension (ID) and the neighbor composition we find that the representations evolve in a strikingly similar manner in transformers trained on protein language tasks and image reconstruction tasks. In the first layers, the data manifold expands, becoming high-dimensional, and then it contracts significantly in the intermediate layers. In the last part of the model, the ID remains approximately constant or forms a second shallow peak. We show that the semantic complexity of the dataset emerges at the end of the first peak. This phenomenon can be observed across many models trained on diverse datasets. Based on these observations, we suggest using the ID profile as an unsupervised proxy to identify the layers which are more suitable for downstream learning tasks. | 翻訳日:2023-02-02 13:27:59 公開日:2023-02-01 |
| # ジョイントリスト:ジョイントトレーニングによるマルチインストラクト転写と音源分離の同時改善 Jointist: Simultaneous Improvement of Multi-instrument Transcription and Music Source Separation via Joint Training ( http://arxiv.org/abs/2302.00286v1 ) ライセンス: Link先を確認 | Kin Wai Cheuk, Keunwoo Choi, Qiuqiang Kong, Bochen Li, Minz Won, Ju-Chiang Wang, Yun-Ning Hung Dorien Herremans | (参考訳) 本稿では,複数の楽器を音声クリップから書き起こし,認識し,分離することのできる,楽器を意識したマルチインストラクトフレームワークであるJointistを紹介する。
ジョイントリストは、他の2つのモジュールを条件とする楽器認識モジュールと、楽器固有のピアノロールを出力する転写モジュールと、楽器情報と転写結果を利用するソース分離モジュールで構成されている。
転写およびソース分離モジュールの共同トレーニングは、両方のタスクのパフォーマンスを向上させるのに役立つ。
instrumentモジュールはオプションで、人間によって直接制御できる。
これによってjointistはフレキシブルなユーザコントロール可能なフレームワークになる。
我々の挑戦的な問題定式化は、現代ポピュラー音楽が一般的に複数の楽器で構成されていることを考えると、実世界では非常に有用である。
しかし、その新しさは、そのようなモデルを評価する新しい視点を必要としている。
実験では,提案手法を様々な側面から評価し,多構成転写の新たな評価視点を提供する。
主観的な聞き取り調査により,mt3のような既存のマルチインストゥルメント転写モデルと比較して,ジョイントストはポピュラー音楽において最先端のパフォーマンスを達成していることが示された。
また,他の音楽分析タスクのプリプロセッシングモジュールとして,転写モデルを用いることもできる。
その結果,提案手法では1パーセンテージ(ppt)以上,ソース分離(5sdr),ダウンビート検出(1.8ppt)が改善した。
1.4pptでコード認識を行う。
1.4pptであった。
は、Jointistから得られた転写結果を利用する場合。 In this paper, we introduce Jointist, an instrument-aware multi-instrument framework that is capable of transcribing, recognizing, and separating multiple musical instruments from an audio clip. Jointist consists of an instrument recognition module that conditions the other two modules: a transcription module that outputs instrument-specific piano rolls, and a source separation module that utilizes instrument information and transcription results. The joint training of the transcription and source separation modules serves to improve the performance of both tasks. The instrument module is optional and can be directly controlled by human users. This makes Jointist a flexible user-controllable framework. Our challenging problem formulation makes the model highly useful in the real world given that modern popular music typically consists of multiple instruments. Its novelty, however, necessitates a new perspective on how to evaluate such a model. In our experiments, we assess the proposed model from various aspects, providing a new evaluation perspective for multi-instrument transcription. Our subjective listening study shows that Jointist achieves state-of-the-art performance on popular music, outperforming existing multi-instrument transcription models such as MT3. %We also argue that transcription models can be used as a preprocessing module for other music analysis tasks. We conducted experiments on several downstream tasks and found that the proposed method improved transcription by more than 1 percentage points (ppt.), source separation by 5 SDR, downbeat detection by 1.8 ppt., chord recognition by 1.4 ppt., and key estimation by 1.4 ppt., when utilizing transcription results obtained from Jointist. | 翻訳日:2023-02-02 13:27:39 公開日:2023-02-01 |
| # オフラインRLにおける選択的不確かさ伝播 Selective Uncertainty Propagation in Offline RL ( http://arxiv.org/abs/2302.00284v1 ) ライセンス: Link先を確認 | Sanath Kumar Krishnamurthy, Tanmay Gangwani, Sumeet Katariya, Branislav Kveton, Anshuka Rangi | (参考訳) 有限水平オフライン強化学習(RL)問題について検討する。
任意の状態における行動は次の状態分布に影響を与える可能性があるため、関連する分布シフト問題により、この問題は確率的文脈帯域環境の有限列に対するオフラインポリシー学習よりもはるかに統計的に複雑になる。
オフラインRLインスタンスの統計的硬度は、次の状態分布に対するアクションの影響の大きさを推定することで測定できることを示し、この知見を形式化する。
さらに、この推定された影響により、モデル悪用を避けるために将来のステップから十分な値関数の不確実性を伝播することができ、統計的に単純なインスタンス上でのオフラインRLに対する従来の悲観的アプローチを改善するアルゴリズムを開発することができる。
我々のアプローチは理論とシミュレーションによって支えられている。 We study the finite-horizon offline reinforcement learning (RL) problem. Since actions at any state can affect next-state distributions, the related distributional shift challenges can make this problem far more statistically complex than offline policy learning for a finite sequence of stochastic contextual bandit environments. We formalize this insight by showing that the statistical hardness of offline RL instances can be measured by estimating the size of actions' impact on next-state distributions. Furthermore, this estimated impact allows us to propagate just enough value function uncertainty from future steps to avoid model exploitation, enabling us to develop algorithms that improve upon traditional pessimistic approaches for offline RL on statistically simple instances. Our approach is supported by theory and simulations. | 翻訳日:2023-02-02 13:27:11 公開日:2023-02-01 |
| # オープンドメイン画像ジオローカライズのための一般ゼロショット学習者 Learning Generalized Zero-Shot Learners for Open-Domain Image Geolocalization ( http://arxiv.org/abs/2302.00275v1 ) ライセンス: Link先を確認 | Lukas Haas, Silas Alberti, Michal Skreta | (参考訳) 画像の局所化は、与えられた写真の原点の地理的座標を予測する難しいタスクである。
これは、視覚的な手がかりと世界の一般的な知識を組み合わせて、地理的に正確な予測を行う能力に依存する未解決の問題である。
我々は、複数のオープンドメイン画像ジオローカライゼーションベンチマークで最先端のパフォーマンスを達成するだけでなく、ゼロショット設定で、400万以上の画像でトレーニングされた教師付きモデルを上回るパフォーマンスで、堅牢で公開可能な基盤モデルである、$\href{https://huggingface.co/geolocal/StreetCLIP}{\text{StreetCLIP}}を提示する。
提案手法では,合成キャプションからCLIPを事前学習し,選択領域にCLIPを接地することで,ゼロショット学習を一般化するためのメタラーニング手法を提案する。
提案手法は,CLIPの一般化ゼロショット能力を画像ジオローカライズ領域に効果的に転送し,固定されたクラスのStreetCLIPを微調整することなく,領域内一般化ゼロショット性能を向上させる。 Image geolocalization is the challenging task of predicting the geographic coordinates of origin for a given photo. It is an unsolved problem relying on the ability to combine visual clues with general knowledge about the world to make accurate predictions across geographies. We present $\href{https://huggingface.co/geolocal/StreetCLIP}{\text{StreetCLIP}}$, a robust, publicly available foundation model not only achieving state-of-the-art performance on multiple open-domain image geolocalization benchmarks but also doing so in a zero-shot setting, outperforming supervised models trained on more than 4 million images. Our method introduces a meta-learning approach for generalized zero-shot learning by pretraining CLIP from synthetic captions, grounding CLIP in a domain of choice. We show that our method effectively transfers CLIP's generalized zero-shot capabilities to the domain of image geolocalization, improving in-domain generalized zero-shot performance without finetuning StreetCLIP on a fixed set of classes. | 翻訳日:2023-02-02 13:26:58 公開日:2023-02-01 |
| # W2SAT: 軽量リテラルインシデンスグラフからSATインスタンスを生成する学習 W2SAT: Learning to generate SAT instances from Weighted Literal Incidence Graphs ( http://arxiv.org/abs/2302.00272v1 ) ライセンス: Link先を確認 | Weihuang Wen, Tianshu Yu | (参考訳) ブール満足度(SAT)問題は理論計算機科学において魅力的なNP完全問題であり、幅広いコンピューティング関連アプリケーションにおいて中心的な役割を果たす。
多くのシナリオ下でSATソルバの爆発とチューニングを行うには、非常に高品質なSATインスタンスが必要である。
本稿では,データ不足問題に対処するため,実世界の実例や産業事例から本質的な構造や特性を暗黙的に学習し,SAT式を生成するフレームワークであるW2SATを提案する。
この目的のために我々は,既存の表現能力と一般化性を示す新たなSAT表現であるWeighted Literal Incidence Graph (WLIG)を導入し,特殊学習に基づくグラフ生成モデルを用いて効率的に生成することができる。
WLIGからSAT問題へのデコーディングは、新しい丘登り最適化手法であるOWC(Optimal Weight Coverage)で重なり合う斜めを見つけるようにモデル化される。
実験では,従来の手法と比較して,グラフメトリクス,効率,スケーラビリティの観点からWLIGによるアプローチが優れていることを示す。
さらに、実世界のアプリケーションにおけるグラフベースのSAT生成の限界、特にSATソルバパラメータチューニングのために生成されたインスタンスを利用する場合について論じ、潜在的な方向を示す。 The Boolean Satisfiability (SAT) problem stands out as an attractive NP-complete problem in theoretic computer science and plays a central role in a broad spectrum of computing-related applications. Exploiting and tuning SAT solvers under numerous scenarios require massive high-quality industry-level SAT instances, which unfortunately are quite limited in the real world. To address the data insufficiency issue, in this paper, we propose W2SAT, a framework to generate SAT formulas by learning intrinsic structures and properties from given real-world/industrial instances in an implicit fashion. To this end, we introduce a novel SAT representation called Weighted Literal Incidence Graph (WLIG), which exhibits strong representation ability and generalizability against existing counterparts, and can be efficiently generated via a specialized learning-based graph generative model. Decoding from WLIGs into SAT problems is then modeled as finding overlapping cliques with a novel hill-climbing optimization method termed Optimal Weight Coverage (OWC). Experiments demonstrate the superiority of our WLIG-induced approach in terms of graph metrics, efficiency, and scalability in comparison to previous methods. Additionally, we discuss the limitations of graph-based SAT generation for real-world applications, especially when utilizing generated instances for SAT solver parameter-tuning, and pose some potential directions. | 翻訳日:2023-02-02 13:26:33 公開日:2023-02-01 |
| # 内部リワード強化学習 Internally Rewarded Reinforcement Learning ( http://arxiv.org/abs/2302.00270v1 ) ライセンス: Link先を確認 | Mengdi Li, Xufeng Zhao, Jae Hee Lee, Cornelius Weber, Stefan Wermter | (参考訳) 本研究では,政策に依存し,協調的に最適化された判別器によって,政策学習の報奨信号を生成する強化学習問題のクラスについて検討する。
この方針と差別者間の相互依存は、未熟な差別者からの報酬信号が騒々しく、政策学習を妨げ、逆に、未学習の政策が差別者学習を妨げるため、不安定な学習プロセスにつながる。
私たちはこの学習設定を$\textit{Internally Rewarded Reinforcement Learning}$ (IRRL)と呼びます。
本稿では、IRRLを公式に定式化し、IRRLに属する問題のクラスを示す。
本稿では,irrlにおける報酬関数の効果を理論的に導出し,経験的に解析し,これらの解析からクリップ型報酬関数を提案する。
実験結果から,提案する報酬関数は,報奨ノイズの影響を低減し,様々なタスクのベースラインと比較して,より高速に収束し,高いパフォーマンスが得られることを示した。 We study a class of reinforcement learning problems where the reward signals for policy learning are generated by a discriminator that is dependent on and jointly optimized with the policy. This interdependence between the policy and the discriminator leads to an unstable learning process because reward signals from an immature discriminator are noisy and impede policy learning, and conversely, an untrained policy impedes discriminator learning. We call this learning setting $\textit{Internally Rewarded Reinforcement Learning}$ (IRRL) as the reward is not provided directly by the environment but $\textit{internally}$ by the discriminator. In this paper, we formally formulate IRRL and present a class of problems that belong to IRRL. We theoretically derive and empirically analyze the effect of the reward function in IRRL and based on these analyses propose the clipped linear reward function. Experimental results show that the proposed reward function can consistently stabilize the training process by reducing the impact of reward noise, which leads to faster convergence and higher performance compared with baselines in diverse tasks. | 翻訳日:2023-02-02 13:26:10 公開日:2023-02-01 |
| # 暗黙の正規化はスパース線形回帰の良性過剰をもたらす Implicit Regularization Leads to Benign Overfitting for Sparse Linear Regression ( http://arxiv.org/abs/2302.00257v1 ) ライセンス: Link先を確認 | Mo Zhou, Rong Ge | (参考訳) ディープラーニングでは、しばしばトレーニングプロセスは補間子(トレーニング損失0のソリューション)を見つけるが、テスト損失は依然として低い。
この現象は良心過剰とよばれるもので、近年多くの注目を集めた大きな謎である。
良性オーバーフィッティングの一般的なメカニズムは暗黙の正則化であり、そこでは、トレーニングプロセスが補間器のさらなる性質につながり、しばしば特定のノルムを最小化する。
しかし、単純なスパース線型回帰問題 $y = \beta^{*\top} x +\xi$ with sparse $\beta^*$, both minimum $\ell_1$ or $\ell_2$ norm interpolator は最適なテスト損失を与える。
この研究では、モデルの異なるパラメータ化を行い、$\ell_1$ と $\ell_2$ の補間器の利点を組み合わせた新しい暗黙的正規化効果をもたらす。
勾配降下による新しいモデルの訓練は, ほぼ最適試験損失を伴う補間器につながることを示す。
この結果はトレーニング力学を慎重に分析し,ノルム最小化を超える暗黙の正規化効果の別の例を提供する。 In deep learning, often the training process finds an interpolator (a solution with 0 training loss), but the test loss is still low. This phenomenon, known as benign overfitting, is a major mystery that received a lot of recent attention. One common mechanism for benign overfitting is implicit regularization, where the training process leads to additional properties for the interpolator, often characterized by minimizing certain norms. However, even for a simple sparse linear regression problem $y = \beta^{*\top} x +\xi$ with sparse $\beta^*$, neither minimum $\ell_1$ or $\ell_2$ norm interpolator gives the optimal test loss. In this work, we give a different parametrization of the model which leads to a new implicit regularization effect that combines the benefit of $\ell_1$ and $\ell_2$ interpolators. We show that training our new model via gradient descent leads to an interpolator with near-optimal test loss. Our result is based on careful analysis of the training dynamics and provides another example of implicit regularization effect that goes beyond norm minimization. | 翻訳日:2023-02-02 13:25:50 公開日:2023-02-01 |
| # 非正規化統計モデルの高速変化検出 Quickest Change Detection for Unnormalized Statistical Models ( http://arxiv.org/abs/2302.00250v1 ) ライセンス: Link先を確認 | Suya Wu, Enmao Diao, Taposh Banerjee, Jie Ding, and Vahid Tarokh | (参考訳) 古典的な最も早い変更検出アルゴリズムは、変更前および変更後分布のモデル化を必要とする。
このようなアプローチは、明示的な分布の計算の複雑さのため、さまざまな機械学習モデルでは実現できないかもしれない。
さらに、これらの手法はミスマッチやノイズをモデル化するための堅牢性の欠如に悩まされる可能性がある。
本稿では,最も高速な変化検出のための古典的累積和(CUSUM)アルゴリズムの新たな変種を開発する。
この変種は Fisher divergence と Hyv\"arinen のスコアに基づいており、Score-based CUSUM (SCUSUM) アルゴリズムと呼ばれる。
SCUSUMアルゴリズムは、非正規化統計モデル、すなわち確率密度関数が未知の正規化定数を含むモデルに対する変更検出の応用を可能にする。
提案アルゴリズムの漸近的最適性は,平均検出遅延と平均実行時間を表す式を誤報に導出することにより検討した。
提案アルゴリズムの性能を示す数値計算結果を提供する。 Classical quickest change detection algorithms require modeling pre-change and post-change distributions. Such an approach may not be feasible for various machine learning models because of the complexity of computing the explicit distributions. Additionally, these methods may suffer from a lack of robustness to model mismatch and noise. This paper develops a new variant of the classical Cumulative Sum (CUSUM) algorithm for the quickest change detection. This variant is based on Fisher divergence and the Hyv\"arinen score and is called the Score-based CUSUM (SCUSUM) algorithm. The SCUSUM algorithm allows the applications of change detection for unnormalized statistical models, i.e., models for which the probability density function contains an unknown normalization constant. The asymptotic optimality of the proposed algorithm is investigated by deriving expressions for average detection delay and the mean running time to a false alarm. Numerical results are provided to demonstrate the performance of the proposed algorithm. | 翻訳日:2023-02-02 13:25:29 公開日:2023-02-01 |
| # $\ell_\infty$ 保証付き高速回帰に対する最適に近いバウンド A Nearly-Optimal Bound for Fast Regression with $\ell_\infty$ Guarantee ( http://arxiv.org/abs/2302.00248v1 ) ライセンス: Link先を確認 | Zhao Song and Mingquan Ye and Junze Yin and Lichen Zhang | (参考訳) 行列 $A\in \mathbb{R}^{n\times d}$ とベクトル $b\in \mathbb{R}^n$ が与えられたとき、この回帰問題を $\ell_\infty$ で保証する: ベクトル $x'-x^*\|_\infty \leq \frac {\epsilon}{\sqrt{d}}\cdot \|Ax^*-b\|_2\cdot \|Ax^*-b\|_2\cdot \|A^\dagger\|$ ここで $x^*=\arg\min_{x\in \mathbb{R}^d}\|Ax-b\|$ を求める。
構造化ランダム行列 $S\in \mathbb{R}^{m\times n}$ を$m\ll n$ で、$SA$ を素早く計算し、 `sketched'' の回帰問題 $\arg\min_{x\in \mathbb{R}^d} \|SAx-Sb\|_2$ を解く。
本稿では,そのような$\ell_\infty$を$\ell_2$レグレッションで得るためには,密度の高いスケッチ行列を用いる必要があることを示す。
私たちの知る限りでは、これは密集したスケッチ行列を必要とする最初のユーザーケースです。
アルゴリズム側では、スケッチされた回帰問題を解くために、$m=\epsilon^{-2}d\log^3(n/\delta)$ の密なスケッチ行列の分布があることを証明し、少なくとも 1-\delta$ の確率で$\ell_\infty$ の保証を与える。
さらに、行列 $sa$ は時間 $o(nd\log n)$ で計算できる。
Price, Song and Woodruff, ICALP'17] では$d$ rows, $m=\Omega(\epsilon^{-2}d^{1+\gamma})$ for $\gamma=\Theta(\sqrt{\frac{\log n}{\log d}})$が要求される。
また,[Song and Yu, ICML'21] で導入された OCE 特性を利用した $\ell_\infty$ guarantee regression の新たな解析フレームワークも開発している。
我々の解析は[Price, Song and Woodruff, ICALP'17] よりもはるかに単純で一般的であり、ベクトルのテンソル積に対する濃密なスケッチにまで拡張される。 Given a matrix $A\in \mathbb{R}^{n\times d}$ and a vector $b\in \mathbb{R}^n$, we consider the regression problem with $\ell_\infty$ guarantees: finding a vector $x'\in \mathbb{R}^d$ such that $ \|x'-x^*\|_\infty \leq \frac{\epsilon}{\sqrt{d}}\cdot \|Ax^*-b\|_2\cdot \|A^\dagger\|$ where $x^*=\arg\min_{x\in \mathbb{R}^d}\|Ax-b\|_2$. One popular approach for solving such $\ell_2$ regression problem is via sketching: picking a structured random matrix $S\in \mathbb{R}^{m\times n}$ with $m\ll n$ and $SA$ can be quickly computed, solve the ``sketched'' regression problem $\arg\min_{x\in \mathbb{R}^d} \|SAx-Sb\|_2$. In this paper, we show that in order to obtain such $\ell_\infty$ guarantee for $\ell_2$ regression, one has to use sketching matrices that are dense. To the best of our knowledge, this is the first user case in which dense sketching matrices are necessary. On the algorithmic side, we prove that there exists a distribution of dense sketching matrices with $m=\epsilon^{-2}d\log^3(n/\delta)$ such that solving the sketched regression problem gives the $\ell_\infty$ guarantee, with probability at least $1-\delta$. Moreover, the matrix $SA$ can be computed in time $O(nd\log n)$. Our row count is nearly-optimal up to logarithmic factors, and significantly improves the result in [Price, Song and Woodruff, ICALP'17], in which a super-linear in $d$ rows, $m=\Omega(\epsilon^{-2}d^{1+\gamma})$ for $\gamma=\Theta(\sqrt{\frac{\log\log n}{\log d}})$ is required. We also develop a novel analytical framework for $\ell_\infty$ guarantee regression that utilizes the Oblivious Coordinate-wise Embedding (OCE) property introduced in [Song and Yu, ICML'21]. Our analysis is arguably much simpler and more general than [Price, Song and Woodruff, ICALP'17], and it extends to dense sketches for tensor product of vectors. | 翻訳日:2023-02-02 13:25:15 公開日:2023-02-01 |
| # TAP: テンソル自動並列化による大規模DNNトレーニングの高速化 TAP: Accelerating Large-Scale DNN Training Through Tensor Automatic Parallelisation ( http://arxiv.org/abs/2302.00247v1 ) ライセンス: Link先を確認 | Ziji Shi, Le Jiang, Ang Wang, Jie Zhang, Xianyan Jia, Yong Li, Chencan Wu, Jialin Li, Wei Lin | (参考訳) 大規模ニューラルネットワークのトレーニングにはモデル並列化が必要である。
しかしながら、任意のニューラルネットワークに対して適切なモデル並列スケジュールを見つけることは、探索空間の爆発による非自明な作業である。
本研究では,最適なデータとテンソル並列スケジュールを自動的に検索するモデル並列化フレームワークTAPを提案する。
ニューラルネットワークを有向非巡回グラフとして表現できるという重要な洞察を利用して,探索空間を効率的に折り畳むためのグラフプルーニングアルゴリズムを設計した。
TAPは、ニューラルネットワークサイズに関するサブ線形複雑度で実行される。
実験によると、tapは最先端の自動並列処理フレームワークよりも20\times-160\times$高速であり、検出されたスケジュールのパフォーマンスはエキスパートエンジニアリングのものと競合する。 Model parallelism has become necessary to train large neural networks. However, finding a suitable model parallel schedule for an arbitrary neural network is a non-trivial task due to the exploding search space. In this work, we present a model parallelism framework TAP that automatically searches for the best data and tensor parallel schedules. Leveraging the key insight that a neural network can be represented as a directed acyclic graph, within which may only exist a limited set of frequent subgraphs, we design a graph pruning algorithm to fold the search space efficiently. TAP runs at sub-linear complexity concerning the neural network size. Experiments show that TAP is $20\times- 160\times$ faster than the state-of-the-art automatic parallelism framework, and the performance of its discovered schedules is competitive with the expert-engineered ones. | 翻訳日:2023-02-02 13:24:04 公開日:2023-02-01 |
| # ラベル効率の高いインクリメンタル学習に向けて:調査 Towards Label-Efficient Incremental Learning: A Survey ( http://arxiv.org/abs/2302.00353v1 ) ライセンス: Link先を確認 | Mert Kilickaya, Joost van de Weijer and Yuki M. Asano | (参考訳) 機械学習モデルを構築する際の現在の支配的なパラダイムは、収束するまでデータセットを何度も繰り返すことです。
このようなアプローチは非規範的であり、すべてのカテゴリの画像へのアクセスを一度に想定している。
しかし、多くのアプリケーションにとって、非増分学習は非現実的である。
そこで研究者たちは、学習者が過去の知識の忘れを防ぎながら、様々な分布を持つ入力データストリームに適応する必要があるインクリメンタルラーニングを研究する。
しかし、多くの作品が完全に監督された設定に焦点を合わせており、これらのアルゴリズムをラベル・ハングリーにすることで実際の展開を制限している。
そこで本稿では,ラベル効率の高いインクリメンタル・ラーニングに対する関心が高まっている最近の調査を初めて実施する。
ラベル付け作業を減らすために, セミショット, 数ショット, 自己教師型学習の3つの区分を同定した。
最後に,ラベル効率をさらに向上させ,インクリメンタル・ラーニング・スケーラビリティを向上させるための新しい方向を特定する。
プロジェクトウェブサイト: {https://github.com/kilickaya/label-efficient-il The current dominant paradigm when building a machine learning model is to iterate over a dataset over and over until convergence. Such an approach is non-incremental, as it assumes access to all images of all categories at once. However, for many applications, non-incremental learning is unrealistic. To that end, researchers study incremental learning, where a learner is required to adapt to an incoming stream of data with a varying distribution while preventing forgetting of past knowledge. Significant progress has been made, however, the vast majority of works focus on the fully supervised setting, making these algorithms label-hungry thus limiting their real-life deployment. To that end, in this paper, we make the first attempt to survey recently growing interest in label-efficient incremental learning. We identify three subdivisions, namely semi-, few-shot- and self-supervised learning to reduce labeling efforts. Finally, we identify novel directions that can further enhance label-efficiency and improve incremental learning scalability. Project website: {https://github.com/kilickaya/label-efficient-il. | 翻訳日:2023-02-02 13:17:46 公開日:2023-02-01 |
| # バイオインフォマティクスに基づく機械学習のためのアンダーソン加速度 Anderson Acceleration For Bioinformatics-Based Machine Learning ( http://arxiv.org/abs/2302.00347v1 ) ライセンス: Link先を確認 | Sarwan Ali, Prakash Chourasia, and Murray Patterson | (参考訳) andersonaccelerate (aa) は反復アルゴリズムの収束を加速するよく知られた手法であり、ディープラーニングや最適化など様々な分野の応用がある。
これらの分野での人気にもかかわらず、古典的な機械学習分類器におけるAAの有効性は十分に研究されていない。
特にタブラルデータは、ディープラーニングモデルに特有の課題を示しており、古典的な機械学習モデルは、これらのシナリオでよりよく機能することが知られている。
しかし、これらのモデルの収束解析は限定的な注目を集めている。
このギャップに対処するため,AAを組み込んだサポートベクトルマシン(SVM)分類器を実装,収束を高速化する。
生物学領域からのいくつかのデータセットに対するアンダーソン加速度とアンダーソン加速度によるSVMの性能評価を行い、AAの使用が収束を著しく改善し、反復数が増えるにつれてトレーニング損失を減少させることを示した。
以上の知見は,単純な機械学習分類器の学習におけるアンダーソン加速の可能性について有望な視点を示し,この分野におけるさらなる研究の重要性を裏付けるものである。
この環境でのAAの有効性を示すことにより、古典的な機械学習におけるAAの応用を探求する研究をさらに進めることを目指している。 Anderson acceleration (AA) is a well-known method for accelerating the convergence of iterative algorithms, with applications in various fields including deep learning and optimization. Despite its popularity in these areas, the effectiveness of AA in classical machine learning classifiers has not been thoroughly studied. Tabular data, in particular, presents a unique challenge for deep learning models, and classical machine learning models are known to perform better in these scenarios. However, the convergence analysis of these models has received limited attention. To address this gap in research, we implement a support vector machine (SVM) classifier variant that incorporates AA to speed up convergence. We evaluate the performance of our SVM with and without Anderson acceleration on several datasets from the biology domain and demonstrate that the use of AA significantly improves convergence and reduces the training loss as the number of iterations increases. Our findings provide a promising perspective on the potential of Anderson acceleration in the training of simple machine learning classifiers and underscore the importance of further research in this area. By showing the effectiveness of AA in this setting, we aim to inspire more studies that explore the applications of AA in classical machine learning. | 翻訳日:2023-02-02 13:17:29 公開日:2023-02-01 |
| # 注意型ニューラルネットワークによるcsi系列の予測 Predicting CSI Sequences With Attention-Based Neural Networks ( http://arxiv.org/abs/2302.00341v1 ) ライセンス: Link先を確認 | Valentina Rizzello, Benedikt B\"ock, Michael Joham, Wolfgang Utschick | (参考訳) 本稿では,無線通信システムにおけるマルチステップチャネル予測の問題点について考察する。
既存の研究では、自己回帰(AR)モデルはフィードフォワードニューラルネットワーク(NN)に置き換えられるか、あるいは、リカレントニューラルネットワーク(RNN)と組み合わせられる。
本稿では、チャネル状態情報(CSI)予測にSeq2SeqとTransformer Neural Network(TNN)モデルを用いることの可能性を検討する。
シミュレーションの結果, seq2seq と tnn はともに csi 予測の文脈において rnn とフィードフォワード nn の代替として魅力的であることがわかった。
さらに、いくつかの適応を持つTNNは、トレーニング中にモデルが見たものよりも短いか長いCSIシーケンスに、他のモデルよりもうまく外挿することができる。 In this work, we consider the problem of multi-step channel prediction in wireless communication systems. In existing works, autoregressive (AR) models are either replaced or combined with feed-forward neural networks(NNs) or, alternatively, with recurrent neural networks (RNNs). This paper explores the possibility of using sequence-to-sequence (Seq2Seq) and transformer neural network (TNN) models for channel state information (CSI) prediction. Simulation results show that both, Seq2Seq and TNNs, represent an appealing alternative to RNNs and feed-forward NNs in the context of CSI prediction. Additionally, the TNN with a few adaptations can extrapolate better than other models to CSI sequences that are either shorter or longer than the ones the model saw during training. | 翻訳日:2023-02-02 13:17:09 公開日:2023-02-01 |
| # 注意リンク: 効率的な注意に基づく低リソース機械翻訳アーキテクチャ Attention Link: An Efficient Attention-Based Low Resource Machine Translation Architecture ( http://arxiv.org/abs/2302.00340v1 ) ライセンス: Link先を確認 | Zeping Min | (参考訳) トランスフォーマーは機械翻訳において大きな成功を収めてきたが、トランスフォーマーベースのNMTモデルはトレーニングに数百万のバイリンガル並列コーパスを必要とすることが多い。
本稿では,特に低訓練環境においてトランスフォーマーモデルの性能を向上させるために,アテンションリンク (al) と呼ばれる新しいアーキテクチャを提案する。
低トレーニングリソースにおける注意リンクアーキテクチャの優位性を理論的に実証する。
さらに、IWSLT14データセット上の en-de, de-en, en-fr, en-it, it-en, en-ro 変換タスク、CVIT PIBデータセット上の bn-gu および gu-ta 変換タスクの実際の低リソースシーンなど、多数の実験を行った。
実験結果はすべて、私たちの注意リンクが強力で、大幅な改善につながることを示している。
さらに,アテンションリンクと他の高度な手法を組み合わせることで,iwslt14デエンタスク上で37.9 bleuスコア,新たなsotaを実現する。 Transformers have achieved great success in machine translation, but transformer-based NMT models often require millions of bilingual parallel corpus for training. In this paper, we propose a novel architecture named as attention link (AL) to help improve transformer models' performance, especially in low training resources. We theoretically demonstrate the superiority of our attention link architecture in low training resources. Besides, we have done a large number of experiments, including en-de, de-en, en-fr, en-it, it-en, en-ro translation tasks on the IWSLT14 dataset as well as real low resources scene on bn-gu and gu-ta translation tasks on the CVIT PIB dataset. All the experiment results show our attention link is powerful and can lead to a significant improvement. In addition, we achieve a 37.9 BLEU score, a new sota, on the IWSLT14 de-en task by combining our attention link and other advanced methods. | 翻訳日:2023-02-02 13:16:55 公開日:2023-02-01 |
| # $\psi$-weakly依存プロセスのためのディープラーニング Deep learning for $\psi$-weakly dependent processes ( http://arxiv.org/abs/2302.00333v1 ) ライセンス: Link先を確認 | William Kengne, Wade Modou | (参考訳) 本稿では,深層ニューラルネットワークを用いて$\psi$-weakly依存プロセスの学習を行う。
このような弱依存性特性には、混合、アソシエーション、$\cdots$などの弱い依存条件のクラスが含まれており、ここで考慮される設定は、回帰推定、時系列予測、時系列分類、$\cdots$ 深層ニューラルネットワーク予測器のクラスにおける経験的リスク最小化アルゴリズムの整合性など、よく使われる多くの状況をカバーする。
一般化を達成し、すべての$\alpha > 2 $ に対して $\mathcal{O}(n^{-1/\alpha})$ 未満の学習率を得る。
共変量を持つアフィン因果モデルにおけるバイナリ時系列分類と予測への応用について述べる。
いくつかのシミュレーション結果と米国景気後退データへの適用が提供される。 In this paper, we perform deep neural networks for learning $\psi$-weakly dependent processes. Such weak-dependence property includes a class of weak dependence conditions such as mixing, association,$\cdots$ and the setting considered here covers many commonly used situations such as: regression estimation, time series prediction, time series classification,$\cdots$ The consistency of the empirical risk minimization algorithm in the class of deep neural networks predictors is established. We achieve the generalization bound and obtain a learning rate, which is less than $\mathcal{O}(n^{-1/\alpha})$, for all $\alpha > 2 $. Applications to binary time series classification and prediction in affine causal models with exogenous covariates are carried out. Some simulation results are provided, as well as an application to the US recession data. | 翻訳日:2023-02-02 13:16:35 公開日:2023-02-01 |
| # iPAL:注意欠陥/多動性障害(ADHD)の自動診断のための機械学習ベースのスマートヘルスケアフレームワーク iPAL: A Machine Learning Based Smart Healthcare Framework For Automatic Diagnosis Of Attention Deficit/Hyperactivity Disorder (ADHD) ( http://arxiv.org/abs/2302.00332v1 ) ライセンス: Link先を確認 | Abhishek Sharma, Arpit Jain, Shubhangi Sharma, Ashutosh Gupta, Prateek Jain, Saraju P. Mohanty | (参考訳) ADHDは若年層で広く見られる疾患である。
標準評価技術は現在、評価フォーム、患者へのインタビューなどを使用している。
しかし、その症状はうつ病、伝導性障害、対向性欠乏性障害などの他の多くの疾患と類似しており、これらの診断技術はあまり効果がない。
したがって、洗練された計算モデルは、この問題に対する有望な診断ソリューションを提供する可能性を秘めている。
この研究は、ADHD200データセット上のニューラルネットワークやSVMモデルといった複数の確立された機械学習技術を組み合わせて、ADHDの診断方法を模索し、神経科学の分野を探索する。
本研究では,SVMモデルを用いた表現型データに対してマルチクラス分類を行う。
表現型データについて、ロジスティック回帰、KNN、AdaBoostなどの他の教師あり学習手法と比較して、より良い結果が得られた。
さらに、ニューラルネットワークは、神経科学の事前知識なしで高い精度を達成するために提供された40人の被験者のMRIデータから機能的な接続に実装されている。
これは二項分類器を得るためにアンサンブル技術を用いて表現型分類器と組み合わせられる。
ADHD200データセットから824人の被験者のうち400人のトレーニングとテストが行われ、バイナリ分類の精度は92.5%に達した トレーニングとテストの精度は、アンサンブル分類器を使用して99%まで向上した。 ADHD is a prevalent disorder among the younger population. Standard evaluation techniques currently use evaluation forms, interviews with the patient, and more. However, its symptoms are similar to those of many other disorders like depression, conduct disorder, and oppositional defiant disorder, and these current diagnosis techniques are not very effective. Thus, a sophisticated computing model holds the potential to provide a promising diagnosis solution to this problem. This work attempts to explore methods to diagnose ADHD using combinations of multiple established machine learning techniques like neural networks and SVM models on the ADHD200 dataset and explore the field of neuroscience. In this work, multiclass classification is performed on phenotypic data using an SVM model. The better results have been analyzed on the phenotypic data compared to other supervised learning techniques like Logistic regression, KNN, AdaBoost, etc. In addition, neural networks have been implemented on functional connectivity from the MRI data of a sample of 40 subjects provided to achieve high accuracy without prior knowledge of neuroscience. It is combined with the phenotypic classifier using the ensemble technique to get a binary classifier. It is further trained and tested on 400 out of 824 subjects from the ADHD200 data set and achieved an accuracy of 92.5% for binary classification The training and testing accuracy has been achieved upto 99% using ensemble classifier. | 翻訳日:2023-02-02 13:16:20 公開日:2023-02-01 |
| # 関数変換の学習 Learning Functional Transduction ( http://arxiv.org/abs/2302.00328v1 ) ライセンス: Link先を確認 | Mathieu Chalvidal, Thomas Serre and Rufin VanRullen | (参考訳) 機械学習の研究は、次の2つの一般的な回帰アプローチに偏った。 トランスダクティブメソッドは、利用可能なデータから直接見積を導出するが、通常は問題なしである。
帰納的手法はより特別であるが、一般にソリューションのチューニングと計算集約的な検索が必要である。
本稿では, カーネルバナッハ空間 (RKBS) の再現理論を応用し, 過渡的原理が勾配降下によって誘導され, 効率的な 'textit{in-context} 神経近似器を形成することを示す。
この手法を関数値演算子のRKBSに適用することにより、トレーニングが完了すれば、無限次元の入力関数と出力関数のオンザフライ関係をキャプチャし、いくつかの例を挙げて新しい関数推定値を返すことができることを示す。
偏微分方程式や気候モデリングアプリケーションのための通常の深層学習計算計算コストのごく一部で,データ量が少ない外部要因が影響する複雑な物理系をモデル化するトランスダクティブ・アプローチの利点を実証する。 Research in Machine Learning has polarized into two general regression approaches: Transductive methods derive estimates directly from available data but are usually problem unspecific. Inductive methods can be much more particular, but generally require tuning and compute-intensive searches for solutions. In this work, we adopt a hybrid approach: We leverage the theory of Reproducing Kernel Banach Spaces (RKBS) and show that transductive principles can be induced through gradient descent to form efficient \textit{in-context} neural approximators. We apply this approach to RKBS of function-valued operators and show that once trained, our \textit{Transducer} model can capture on-the-fly relationships between infinite-dimensional input and output functions, given a few example pairs, and return new function estimates. We demonstrate the benefit of our transductive approach to model complex physical systems influenced by varying external factors with little data at a fraction of the usual deep learning training computation cost for partial differential equations and climate modeling applications. | 翻訳日:2023-02-02 13:15:57 公開日:2023-02-01 |
| # トランスフォーマーを用いたペルシア英語機械翻訳データセットの評価 An Evaluation of Persian-English Machine Translation Datasets with Transformers ( http://arxiv.org/abs/2302.00321v1 ) ライセンス: Link先を確認 | Amir Sartipi, Meghdad Dehghan, Afsaneh Fatemi | (参考訳) 現在、多くの研究者が機械翻訳(mt)の主題に注目している。
しかし、ペルシア語の機械翻訳は、英語などの高い資源を持つ言語で大量の研究が行われているにもかかわらず、まだ探索されていない。
さらに、ペルシアのいくつかのデータセットの統計機械翻訳においてかなりの研究が行われているが、現在各コーパスにトランスフォーマーベースのtext2textモデルの標準ベースラインは存在しない。
この研究はペルシア語と英語の翻訳に使われた最もポピュラーで価値のある平行コーパスを収集し分析した。
さらに,各データセットについて,最先端の注意に基づく2つのseq2seqモデルを個別に微調整し,評価した(48。
この論文は、ペルシア語と英語を比較し、機械翻訳の結果を標準ベースラインにすることを支援することを願っている。 Nowadays, many researchers are focusing their attention on the subject of machine translation (MT). However, Persian machine translation has remained unexplored despite a vast amount of research being conducted in languages with high resources, such as English. Moreover, while a substantial amount of research has been undertaken in statistical machine translation for some datasets in Persian, there is currently no standard baseline for transformer-based text2text models on each corpus. This study collected and analysed the most popular and valuable parallel corpora, which were used for Persian-English translation. Furthermore, we fine-tuned and evaluated two state-of-the-art attention-based seq2seq models on each dataset separately (48 results). We hope this paper will assist researchers in comparing their Persian to English and vice versa machine translation results to a standard baseline. | 翻訳日:2023-02-02 13:15:39 公開日:2023-02-01 |
| # 教師なし・半教師なしの深層学習アプローチに基づく形態と死亡を意識した深層生物年代の開発 Development of deep biological ages aware of morbidity and mortality based on unsupervised and semi-supervised deep learning approaches ( http://arxiv.org/abs/2302.00319v1 ) ライセンス: Link先を確認 | Seong-Eun Moon, Ji Won Yoon, Shinyoung Joo, Yoohyung Kim, Jae Hyun Bae, Seokho Yoon, Haanju Yoo, and Young Min Cho | (参考訳) 背景: 大規模データに基づく潜在表現を得る能力を持つ深層学習技術は, 新たな老化バイオマーカーの発見の潜在的な解決策となりうるが, 既存の生物年齢推定の深層学習手法は, 老化の最も重要な結果である死亡率, 死亡率, 死亡率の考慮の欠如に通常依存する。
方法: 本論文は, 被検者の死亡率と死亡率に関して, 生物学的老化の潜伏表現を学習するための新しい深層学習モデルを提案する。
本モデルは老化と測定された臨床属性の複雑な関係を知るために, 健康診断データに加えて, 死亡情報も活用する。
Findings: 提案モデルは,KDMや他の学習ベースモデルと比較して,一般集団の大規模なデータセットで評価される。
その結果, 本モデルにより得られた生物学的年齢は, 被験者の死亡率と死亡率の識別性に優れていた。 Background: While deep learning technology, which has the capability of obtaining latent representations based on large-scale data, can be a potential solution for the discovery of a novel aging biomarker, existing deep learning methods for biological age estimation usually depend on chronological ages and lack of consideration of mortality and morbidity that are the most significant outcomes of aging. Methods: This paper proposes a novel deep learning model to learn latent representations of biological aging in regard to subjects' morbidity and mortality. The model utilizes health check-up data in addition to morbidity and mortality information to learn the complex relationships between aging and measured clinical attributes. Findings: The proposed model is evaluated on a large dataset of general populations compared with KDM and other learning-based models. Results demonstrate that biological ages obtained by the proposed model have superior discriminability of subjects' morbidity and mortality. | 翻訳日:2023-02-02 13:15:27 公開日:2023-02-01 |
| # 非線形制約下での高速化一階最適化 Accelerated First-Order Optimization under Nonlinear Constraints ( http://arxiv.org/abs/2302.00316v1 ) ライセンス: Link先を確認 | Michael Muehlebach and Michael I. Jordan | (参考訳) 制約付き最適化のための一階アルゴリズムと非スムース力学系との類似性を生かして、制約付き最適化のための新しい加速一階アルゴリズムのクラスを設計する。
フランクウルフや投影勾配とは異なり、これらのアルゴリズムは各イテレーションで実現可能な集合全体の最適化を避ける。
非凸設定においても定常点への収束を証明し、凸設定のレートを導出する。
これらのアルゴリズムの重要な性質は、制約が位置ではなく速度で表現されることであり、これは自然に実現可能な集合のスパース、局所、凸近似をもたらす(実現可能な集合が非凸であっても)。
したがって、複雑性は決定変数の数や制約の数で緩やかに増大する傾向にあり、機械学習アプリケーションに適したアルゴリズムとなっている。
圧縮センシングとスパース回帰問題に適用し,非凸$\ell^p$制約(p<1$)を効率的に扱えるとともに,最先端性能を$p=1$で回復できることを示す。 We exploit analogies between first-order algorithms for constrained optimization and non-smooth dynamical systems to design a new class of accelerated first-order algorithms for constrained optimization. Unlike Frank-Wolfe or projected gradients, these algorithms avoid optimization over the entire feasible set at each iteration. We prove convergence to stationary points even in a nonconvex setting and we derive rates for the convex setting. An important property of these algorithms is that constraints are expressed in terms of velocities instead of positions, which naturally leads to sparse, local and convex approximations of the feasible set (even if the feasible set is nonconvex). Thus, the complexity tends to grow mildly in the number of decision variables and in the number of constraints, which makes the algorithms suitable for machine learning applications. We apply our algorithms to a compressed sensing and a sparse regression problem, showing that we can treat nonconvex $\ell^p$ constraints ($p<1$) efficiently, while recovering state-of-the-art performance for $p=1$. | 翻訳日:2023-02-02 13:15:09 公開日:2023-02-01 |
| # 文脈記述における形態情報の役割について On the Role of Morphological Information for Contextual Lemmatization ( http://arxiv.org/abs/2302.00407v1 ) ライセンス: Link先を確認 | Olia Toporkov, Rodrigo Agerri | (参考訳) レンマティゼーション(lemmatization)は自然言語処理(nlp)のタスクで、与えられた屈折語から、その標準形または補題を生成する。
Lemmatizationは、下流のNLPアプリケーションを容易にする基本的なタスクの1つであり、高機能言語において特に重要である。
文脈的レンマタイザーを訓練するための細粒度形態素合成情報を含むその形態素合成カテゴリーを,下流性能の観点で最適かどうかを解析することなく解析することにより,屈折語から補題を得る方法が一般的である。
そこで本稿では,バスク語,トルコ語,ロシア語,チェコ語,スペイン語,英語の6言語における文脈的レンマタイザーの開発における形態的情報の役割を実証的に検討する。
さらに、以前の作業の大部分がそうであるように、私たちは、ドメイン外の設定において、最も一般的なアプリケーション利用を構成するレンマタイザの評価も行っています。
私たちの研究結果はかなり驚きます。
一 訓練中、微粒な形態的特徴を有する補綴器を提供することは、不可解な言語であっても有益ではない。
(ii)事実,現代の文脈語表現は,明示的な形態素信号を見ることなく,良好な文脈的補間子を得るのに十分な形態素情報を暗黙的に符号化しているように思われる。
三 ドメイン外の最高の補綴器は、単純なPOSタグを使用するもの、又は形態学なしで訓練するもの
(iv)現行の補間評価手法では,モデル間を明確に判別するには不十分である。 Lemmatization is a Natural Language Processing (NLP) task which consists of producing, from a given inflected word, its canonical form or lemma. Lemmatization is one of the basic tasks that facilitate downstream NLP applications, and is of particular importance for high-inflected languages. Given that the process to obtain a lemma from an inflected word can be explained by looking at its morphosyntactic category, including fine-grained morphosyntactic information to train contextual lemmatizers has become common practice, without analyzing whether that is the optimum in terms of downstream performance. Thus, in this paper we empirically investigate the role of morphological information to develop contextual lemmatizers in six languages within a varied spectrum of morphological complexity: Basque, Turkish, Russian, Czech, Spanish and English. Furthermore, and unlike the vast majority of previous work, we also evaluate lemmatizers in out-of-domain settings, which constitutes, after all, their most common application use. The results of our study are rather surprising: (i) providing lemmatizers with fine-grained morphological features during training is not that beneficial, not even for agglutinative languages; (ii) in fact, modern contextual word representations seem to implicitly encode enough morphological information to obtain good contextual lemmatizers without seeing any explicit morphological signal; (iii) the best lemmatizers out-of-domain are those using simple UPOS tags or those trained without morphology; (iv) current evaluation practices for lemmatization are not adequate to clearly discriminate between models. | 翻訳日:2023-02-02 13:09:11 公開日:2023-02-01 |
| # mPLUG-2: テキスト, 画像, ビデオ間のモジュール化マルチモーダルファンデーションモデル mPLUG-2: A Modularized Multi-modal Foundation Model Across Text, Image and Video ( http://arxiv.org/abs/2302.00402v1 ) ライセンス: Link先を確認 | Haiyang Xu, Qinghao Ye, Ming Yan, Yaya Shi, Jiabo Ye, Yuanhong Xu, Chenliang Li, Bin Bi, Qi Qian, Wei Wang, Guohai Xu, Ji Zhang, Songfang Huang, Fei Huang, Jingren Zhou | (参考訳) 近年、言語、ビジョン、マルチモーダル・プレトレーニングの大きな収束が見られた。
本研究では,モダリティの絡み合い問題に対処しつつモダリティ協調のメリットを享受できるマルチモーダルプリトレーニングのためのモジュール化設計を備えた,新しい統一パラダイムであるmplug-2を提案する。
シーケンスツーシーケンス生成やエンコーダベースのインスタンス識別のみに依存する主流パラダイムとは対照的に、mplug-2では、モダリティ協調のための共通普遍モジュールを共有し、モダリティの絡み合いに対処するために異なるモダリティモジュールを分離することで、マルチモジュール合成ネットワークを導入している。
テキスト、画像、ビデオを含むすべてのモダリティの異なる理解と生成タスクのために、異なるモジュールを選択することは柔軟である。
実証研究では、mplug-2は30以上のダウンストリームタスクにおいて最先端または競争的な結果を達成し、画像テキストとビデオテキストの理解と生成のマルチモーダルタスクと、テキストのみ、画像のみ、ビデオのみの理解のユニモーダルタスクにまたがる。
特に、mPLUG-2は、MSRVTTビデオQAおよびビデオキャプションタスクにおいて、48.0のトップ-1精度と80.3CIDErの新たな最先端結果を示し、モデルサイズとデータスケールがはるかに小さい。
また、視覚言語およびビデオ言語タスクに強いゼロショット転送性を示す。
コードとモデルはhttps://github.com/alibaba/alicemindでリリースされる。 Recent years have witnessed a big convergence of language, vision, and multi-modal pretraining. In this work, we present mPLUG-2, a new unified paradigm with modularized design for multi-modal pretraining, which can benefit from modality collaboration while addressing the problem of modality entanglement. In contrast to predominant paradigms of solely relying on sequence-to-sequence generation or encoder-based instance discrimination, mPLUG-2 introduces a multi-module composition network by sharing common universal modules for modality collaboration and disentangling different modality modules to deal with modality entanglement. It is flexible to select different modules for different understanding and generation tasks across all modalities including text, image, and video. Empirical study shows that mPLUG-2 achieves state-of-the-art or competitive results on a broad range of over 30 downstream tasks, spanning multi-modal tasks of image-text and video-text understanding and generation, and uni-modal tasks of text-only, image-only, and video-only understanding. Notably, mPLUG-2 shows new state-of-the-art results of 48.0 top-1 accuracy and 80.3 CIDEr on the challenging MSRVTT video QA and video caption tasks with a far smaller model size and data scale. It also demonstrates strong zero-shot transferability on vision-language and video-language tasks. Code and models will be released in https://github.com/alibaba/AliceMind. | 翻訳日:2023-02-02 13:08:44 公開日:2023-02-01 |
| # 深層ランダム特徴学習における決定論的等価性と誤差普遍性 Deterministic equivalent and error universality of deep random features learning ( http://arxiv.org/abs/2302.00401v1 ) ライセンス: Link先を確認 | Dominik Schr\"oder, Hugo Cui, Daniil Dmitriev, Bruno Loureiro | (参考訳) 本書では, 凍結中間層と学習可能な読み出し層を備えた完全連結ネットワークを用いて, ランダムガウスネットワーク関数を学習する問題を考察する。
この問題は、広く研究されているランダム特徴モデルのより深いアーキテクチャへの自然な一般化と見なすことができる。
まず,学習者と対象ネットワークが同一の中間層を共有するリッジ回帰設定において,テストエラーのガウス的普遍性を証明し,それに対する鋭い漸近式を提供する。
この結果を確立するためには、独立な興味を持つことのできるサンプル共分散行列の深いランダムな特徴のトレースに対する決定論的等価性を証明する必要がある。
第二に、任意の凸損失と一般的な学習/ターゲットアーキテクチャのより一般的な設定において、テストエラーの漸近的ガウス普遍性を予想する。
この予想に対する広範な数値的な証拠を提供するが、これは階層的なポストアクティベーション集団の共分散に対する閉形式表現の導出を必要とする。
その結果,アーキテクチャ設計と暗黙の正規化の相互作用について検討した。 This manuscript considers the problem of learning a random Gaussian network function using a fully connected network with frozen intermediate layers and trainable readout layer. This problem can be seen as a natural generalization of the widely studied random features model to deeper architectures. First, we prove Gaussian universality of the test error in a ridge regression setting where the learner and target networks share the same intermediate layers, and provide a sharp asymptotic formula for it. Establishing this result requires proving a deterministic equivalent for traces of the deep random features sample covariance matrices which can be of independent interest. Second, we conjecture the asymptotic Gaussian universality of the test error in the more general setting of arbitrary convex losses and generic learner/target architectures. We provide extensive numerical evidence for this conjecture, which requires the derivation of closed-form expressions for the layer-wise post-activation population covariances. In light of our results, we investigate the interplay between architecture design and implicit regularization. | 翻訳日:2023-02-02 13:08:16 公開日:2023-02-01 |
| # カーネルバンドにおける遅延フィードバック Delayed Feedback in Kernel Bandits ( http://arxiv.org/abs/2302.00392v1 ) ライセンス: Link先を確認 | Sattar Vakili, Danyal Ahmed, Alberto Bernacchia, Ciara Pike-Burke | (参考訳) 高価でノイズの多い評価から未知の機能のブラックボックス最適化は、機械学習、学術研究、工業生産においてユビキタスな問題である。
問題の抽象化はカーネルベースの帯域幅問題(ベイズ最適化(Bayesian optimization)とも呼ばれる)として定式化することができる。
既存の研究は主にフィードバックがすぐに利用可能であると仮定しており、レコメンデーションシステム、臨床試験、ハイパーパラメータチューニングを含む多くの現実の状況で失敗する仮定である。
我々は、確率的に遅延したフィードバックの下でカーネルバンディットの問題を考え、$\tilde{\mathcal{O}}(\sqrt{\Gamma_k(T)T}+\mathbb{E}[\tau])$ regret, where $T$ is the number of time steps, $\Gamma_k(T)$ is the maximum information gain of the kernel with $T$ observed, $\tau$ is the delay random variable。
これは、Verma et al. (2022) で報告された $\tilde{\mathcal{O}}(\Gamma_k(T)\sqrt{T}+\mathbb{E}[\tau]\Gamma_k(T))$ のアート後悔の状態を著しく改善したことを意味する。
特に、非常に滑らかでないカーネルでは、情報ゲインはほぼ線形に成長し、既存の結果を自明にする。
また,シミュレーションにより理論結果を検証した。 Black box optimisation of an unknown function from expensive and noisy evaluations is a ubiquitous problem in machine learning, academic research and industrial production. An abstraction of the problem can be formulated as a kernel based bandit problem (also known as Bayesian optimisation), where a learner aims at optimising a kernelized function through sequential noisy observations. The existing work predominantly assumes feedback is immediately available; an assumption which fails in many real world situations, including recommendation systems, clinical trials and hyperparameter tuning. We consider a kernel bandit problem under stochastically delayed feedback, and propose an algorithm with $\tilde{\mathcal{O}}(\sqrt{\Gamma_k(T)T}+\mathbb{E}[\tau])$ regret, where $T$ is the number of time steps, $\Gamma_k(T)$ is the maximum information gain of the kernel with $T$ observations, and $\tau$ is the delay random variable. This represents a significant improvement over the state of the art regret bound of $\tilde{\mathcal{O}}(\Gamma_k(T)\sqrt{T}+\mathbb{E}[\tau]\Gamma_k(T))$ reported in Verma et al. (2022). In particular, for very non-smooth kernels, the information gain grows almost linearly in time, trivializing the existing results. We also validate our theoretical results with simulations. | 翻訳日:2023-02-02 13:08:00 公開日:2023-02-01 |
| # PresSim:物理に基づく3次元シミュレーションによる単眼映像からの動的地圧プロファイル生成のためのエンドツーエンドフレームワーク PresSim: An End-to-end Framework for Dynamic Ground Pressure Profile Generation from Monocular Videos Using Physics-based 3D Simulation ( http://arxiv.org/abs/2302.00391v1 ) ライセンス: Link先を確認 | Lala Shakti Swarup Ray, Bo Zhou, Sungho Suh, Paul Lukowicz | (参考訳) 人体に作用する地圧は、人間の活動認識(HAR)が広範に知覚される際の貴重な情報源である。
圧力センサからのデータ収集とHARソリューションの開発には多大なリソースと労力が必要であるが,人間の活動のビデオからセンサデータを合成し,その労力を大幅に削減する,新たなエンドツーエンドフレームワークPresSimを提案する。
PresSimはまず、コンピュータビジョンアーキテクチャでビデオから3Dアクティビティ情報を抽出し、3Dアクティビティ情報と重力を含む物理シミュレーションに基づいてフロアメッシュの変形プロファイルをシミュレートし、最後に、ディープラーニングモデルでシミュレーションされた圧力センサデータを生成する。
本研究では,メッシュ再ターゲティングを伴う逆運動学と体積的ポーズと形状推定の2つの3次元活動情報について検討した。
入力と圧力感知型フィットネスマット(80x28空間分解能)を提供するために単眼カメラを用いてプレシムを実験的に検証し、9人の参加者が事前定義されたヨガシーケンスを実行した。 Ground pressure exerted by the human body is a valuable source of information for human activity recognition (HAR) in unobtrusive pervasive sensing. While data collection from pressure sensors to develop HAR solutions requires significant resources and effort, we present a novel end-to-end framework, PresSim, to synthesize sensor data from videos of human activities to reduce such effort significantly. PresSim adopts a 3-stage process: first, extract the 3D activity information from videos with computer vision architectures; then simulate the floor mesh deformation profiles based on the 3D activity information and gravity-included physics simulation; lastly, generate the simulated pressure sensor data with deep learning models. We explored two approaches for the 3D activity information: inverse kinematics with mesh re-targeting, and volumetric pose and shape estimation. We validated PresSim with an experimental setup with a monocular camera to provide input and a pressure-sensing fitness mat (80x28 spatial resolution) to provide the sensor ground truth, where nine participants performed a set of predefined yoga sequences. | 翻訳日:2023-02-02 13:07:31 公開日:2023-02-01 |
| # 深層学習を用いた「科学ウェブ」における研究分野の階層的分類 Hierarchical Classification of Research Fields in the "Web of Science" Using Deep Learning ( http://arxiv.org/abs/2302.00390v1 ) ライセンス: Link先を確認 | Susie Xi Rao, Peter H. Egger, Ce Zhang | (参考訳) 学術出版分野は、数だけでなく、研究分野の内外からの個人同士の協力による複雑さも着実に成長している。
本稿では,その抽象概念を用いて学術出版物を3階層の分野(学際フィールド・サブフィールド)に分類する階層分類システムを提案する。
本システムでは,上記の階層層における研究活動の相互依存性を,記事を通じての知識生産と引用による影響の観点から総合的に捉えることができる。
分類システム(44の規律 - 738のフィールド - 1,501のサブフィールド)は、Microsoft Academic Graph(Version 2018-05-17)の1億6000万の抽象スニペットを、モジュール化された分散された方法でバッチトレーニングを使用して、学際性と分野間分類に対処し、評価することができる。
さらに,シングルラベル設定とマルチラベル設定の両方において,マルチクラス分類について検討した。
全モデル(畳み込みニューラルネットワーク、リカレントニューラルネットワーク、トランスフォーマー)において、分類精度は77.84%で90%以上、単一ラベルと複数ラベルの分類で78.83%以上である。
本分類の利点は,研究テキストとアウトプットを規律に合致させ,それらを適切に自動分類する能力と,分野間学際性などの下流分析を可能にする出版物における学際性の程度を把握できることにある。
このシステム(事前訓練されたモデルの集合)は、科学論文をインデクシングするインタラクティブシステムのバックボーンとして機能することができる。 The scholarly publication space is growing steadily not just in numbers but also in complexity due to collaboration between individuals from within and across fields of research. This paper presents a hierarchical classification system that automatically categorizes a scholarly publication using its abstract into a three-tier hierarchical label set of fields (discipline-field-subfield). This system enables a holistic view about the interdependence of research activities in the mentioned hierarchical tiers in terms of knowledge production through articles and impact through citations. The classification system (44 disciplines - 738 fields - 1,501 subfields) utilizes and is able to cope with 160 million abstract snippets in Microsoft Academic Graph (Version 2018-05-17) using batch training in a modularized and distributed fashion to address and assess interdisciplinarity and inter-field classifications. In addition, we have explored multi-class classifications in both the single-label and multi-label settings. In total, we have conducted 3,140 experiments, in all models (Convolutional Neural Networks, Recurrent Neural Networks, Transformers), the classification accuracy is > 90% in 77.84% and 78.83% of the single-label and multi-label classifications, respectively. We examine the advantages of our classification by its ability to better align research texts and output with disciplines, to adequately classify them in an automated way, as well as to capture the degree of interdisciplinarity in a publication which enables downstream analytics such as field interdisciplinarity. This system (a set of pretrained models) can serve as a backbone to an interactive system of indexing scientific publications. | 翻訳日:2023-02-02 13:07:09 公開日:2023-02-01 |
| # パラメータ効率の良い微調整における変圧器モジュールの伝達性に関する実証的研究 An Empirical Study on the Transferability of Transformer Modules in Parameter-Efficient Fine-Tuning ( http://arxiv.org/abs/2302.00378v1 ) ライセンス: Link先を確認 | Mohammad AkbarTajari, Sara Rajaee, Mohammad Taher Pilehvar | (参考訳) パラメータ効率のよい微調整アプローチが最近注目を集めている。
トレーニング可能な重量がかなり少ないため、これらの方法はスケーラビリティと計算効率をもたらす可能性がある。
本稿では,最適サブネットワークを探索し,事前学習したモデルから下流タスクへの知識の伝達におけるトランスフォーマーモジュールの能力について検討する。
BERTのトランスフォーマーモジュールは、各モジュールを細調整し、残りのネットワークを凍結したままにしておくことで、完全な微調整に匹敵するパフォーマンスが得られる。
異なるモジュールのうち、層ノルムは限られた訓練可能な重みで知識伝達に最適な能力を示し、層分析で全てのパラメータの0.0003%しか持たず、様々な対象タスクで許容できる性能を示す。
それらの効果の背景にある理由から,それらの顕著な性能は,事前訓練されたBERTの他のモジュールと比較して,その高次重みに起因する可能性があると論じる。 Parameter-efficient fine-tuning approaches have recently garnered a lot of attention. Having considerably lower number of trainable weights, these methods can bring about scalability and computational effectiveness. In this paper, we look for optimal sub-networks and investigate the capability of different transformer modules in transferring knowledge from a pre-trained model to a downstream task. Our empirical results suggest that every transformer module in BERT can act as a winning ticket: fine-tuning each specific module while keeping the rest of the network frozen can lead to comparable performance to the full fine-tuning. Among different modules, LayerNorms exhibit the best capacity for knowledge transfer with limited trainable weights, to the extent that, with only 0.003% of all parameters in the layer-wise analysis, they show acceptable performance on various target tasks. On the reasons behind their effectiveness, we argue that their notable performance could be attributed to their high-magnitude weights compared to that of the other modules in the pre-trained BERT. | 翻訳日:2023-02-02 13:06:43 公開日:2023-02-01 |
| # 広帯域深部ランダムネットワークの最適学習 Optimal Learning of Deep Random Networks of Extensive-width ( http://arxiv.org/abs/2302.00375v1 ) ライセンス: Link先を確認 | Hugo Cui, Florent Krzakala, Lenka Zdeborov\'a | (参考訳) 本研究では,ランダムなガウス重みを持つ広帯域非線形ニューラルネットワークに対応する対象関数を学習する問題を考察する。
サンプル数,入力寸法,ネットワーク幅が比例的に大きい漸近限界を考える。
ベイズ最適テスト誤差に対して回帰および分類タスクのための閉形式式を導出する。
これらのベイズ最適誤差は、リッジ回帰、カーネル、ランダム特徴回帰のテスト誤差と対比する。
特に、最適化されたリッジ回帰とカーネル回帰がベイズ最適性能を達成するのに対して、ロジスティック損失は分類のほぼ最適誤差をもたらす。
さらに,標本数の増加が次元よりも早くなるとリッジ法とカーネル法が最適となり,一方,ニューラルネットワークでは2倍数のサンプルからゼロに近いテスト誤差が得られることを示した。 We consider the problem of learning a target function corresponding to a deep, extensive-width, non-linear neural network with random Gaussian weights. We consider the asymptotic limit where the number of samples, the input dimension and the network width are proportionally large. We derive a closed-form expression for the Bayes-optimal test error, for regression and classification tasks. We contrast these Bayes-optimal errors with the test errors of ridge regression, kernel and random features regression. We find, in particular, that optimally regularized ridge regression, as well as kernel regression, achieve Bayes-optimal performances, while the logistic loss yields a near-optimal test error for classification. We further show numerically that when the number of samples grows faster than the dimension, ridge and kernel methods become suboptimal, while neural networks achieve test error close to zero from quadratically many samples. | 翻訳日:2023-02-02 13:06:26 公開日:2023-02-01 |
| # 因果推論のための予測モデルの選択法 How to select predictive models for causal inference? ( http://arxiv.org/abs/2302.00370v1 ) ライセンス: Link先を確認 | Doutreligne Matthieu and Varoquaux Ga\"el | (参考訳) 予測モデル -- マシンラーニングと同様に -- は因果推論の基盤となり、人口や個人レベルでの介入の効果を見積もることができる。
これは、健康データの複雑さの増加に対応するのに有用な、多数のモデルへの扉を開くだけでなく、モデル選択のPandoraボックスにも役立ちます。
古典的な機械学習のクロスバリデーション手順は直接適用できない。
実際、因果推論の適切な選択手順は、各個人の結果エラーを等しく重み付けるべきであり、一方、1つの結果がサブ人口に対して観察されることは滅多にない。
より精巧なリスクが因果モデル選択にどう役立つかを研究する。
単純リスクは, 治療対象と非治療対象との重複が弱く, 集団間の不均質な誤差も弱まることが理論的に示されている。
より精巧な計量ではなく、Rリスクは、重なり合う再重み付けのコストで観測可能な因果推定におけるオラクル誤差のプロキシとして現れる。
r-リスクはモデル予測だけでなく条件付き平均結果と治療確率を用いて定義されるため、モデル選択にはクロス検証を適用する必要がある。
大規模な実験により、結果の手順が最良の因果モデル選択を与えることが示された。 Predictive models -- as with machine learning -- can underpin causal inference, to estimate the effects of an intervention at the population or individual level. This opens the door to a plethora of models, useful to match the increasing complexity of health data, but also the Pandora box of model selection: which of these models yield the most valid causal estimates? Classic machine-learning cross-validation procedures are not directly applicable. Indeed, an appropriate selection procedure for causal inference should equally weight both outcome errors for each individual, treated or not treated, whereas one outcome may be seldom observed for a sub-population. We study how more elaborate risks benefit causal model selection. We show theoretically that simple risks are brittle to weak overlap between treated and non-treated individuals as well as to heterogeneous errors between populations. Rather a more elaborate metric, the R-risk appears as a proxy of the oracle error on causal estimates, observable at the cost of an overlap re-weighting. As the R-risk is defined not only from model predictions but also by using the conditional mean outcome and the treatment probability, using it for model selection requires adapting cross validation. Extensive experiments show that the resulting procedure gives the best causal model selection. | 翻訳日:2023-02-02 13:06:13 公開日:2023-02-01 |
| # きめ細かい分類のための粗分類器によるテスト時間修正 Test-Time Amendment with a Coarse Classifier for Fine-Grained Classification ( http://arxiv.org/abs/2302.00368v1 ) ライセンス: Link先を確認 | Kanishk Jain, Shyamgopal Karthik, Vineet Gandhi | (参考訳) 細粒度分類における誤り重大度低減の問題について検討する。
きめ細かい分類は、主に正確なアノテーションのための知識やドメインの専門知識を必要とするため困難である。
しかしながら、人間は比較的低いレベルの専門知識を必要とするため、特に粗い分類を行うのに適している。
そこで本研究では,ラベル階層を用いた階層的アンサンブル(hie)と呼ばれるポストホック補正手法を提案する。
葉ノードの親のみを必要とすることにより,avgを有意に減少させる。
iNaturalist-19とタイトされたImageNet-HデータセットのTop-1精度を改善し、両方のベンチマークで新たな最先端を達成した。
また,本手法の有効性についても検討した。
提案手法は,細粒度クラスにおいてトレーニングデータが減少するにつれて,誤りの重大度が著しく低下する一方で,トップ1の精度において顕著な向上をもたらす。
hieのシンプルさとポストホックな性質は、その予測をさらに改善するために、市販のトレーニングモデルでの使用を実用的にします。 We investigate the problem of reducing mistake severity for fine-grained classification. Fine-grained classification can be challenging, mainly due to the requirement of knowledge or domain expertise for accurate annotation. However, humans are particularly adept at performing coarse classification as it requires relatively low levels of expertise. To this end, we present a novel approach for Post-Hoc Correction called Hierarchical Ensembles (HiE) that utilizes label hierarchy to improve the performance of fine-grained classification at test-time using the coarse-grained predictions. By only requiring the parents of leaf nodes, our method significantly reduces avg. mistake severity while improving top-1 accuracy on the iNaturalist-19 and tieredImageNet-H datasets, achieving a new state-of-the-art on both benchmarks. We also investigate the efficacy of our approach in the semi-supervised setting. Our approach brings notable gains in top-1 accuracy while significantly decreasing the severity of mistakes as training data decreases for the fine-grained classes. The simplicity and post-hoc nature of HiE render it practical to be used with any off-the-shelf trained model to improve its predictions further. | 翻訳日:2023-02-02 13:05:53 公開日:2023-02-01 |
| # 長期音声認識のための学習プロトタイプ分類器 Learning Prototype Classifiers for Long-Tailed Recognition ( http://arxiv.org/abs/2302.00491v1 ) ライセンス: Link先を確認 | Saurabh Sharma, Yongqin Xian, Ning Yu, Ambuj Singh | (参考訳) ロングテール認識(ltr、long-tailed recognition)の問題は、現実の世界における物体の基本的なパワーロー分布のために近年注目を集めている。
LTRの最近の研究は、あるクラスに対するトレーニングデータの量と分類器ノルムを関連付ける傾向にあるソフトマックス分類器を使用している。
一方、プロトタイプ分類器は、この欠点に悩まされず、プロトタイプが経験的なセントロイドである特別なケースであるNearest-Class-Mean (NCM)を用いて、有望な結果を提供できる。
しかし、LTRにおけるソフトマックスの代替としてプロトタイプ分類器のポテンシャルは比較的過小評価されている。
本研究では,距離からプロトタイプまでの確率スコアに基づいて,平均エントロピー損失を最小化するプロトタイプを共同学習するプロトタイプ分類器を提案する。
ユークリッド距離に基づくプロトタイプ分類器の特性を理論的に解析し、安定な勾配に基づく最適化を実現する。
さらに,チャネルに依存した温度パラメータを学習することにより,各チャネルに沿った独立した距離スケールを実現する。
本分析は,プロトタイプ分類器で学習したプロトタイプが経験的セントロイドよりも分離されていることを示す。
4つの長尾認識ベンチマークの結果、プロトタイプ分類器は最先端の手法に匹敵する性能を示した。 The problem of long-tailed recognition (LTR) has received attention in recent years due to the fundamental power-law distribution of objects in the real-world. Most recent works in LTR use softmax classifiers that have a tendency to correlate classifier norm with the amount of training data for a given class. On the other hand, Prototype classifiers do not suffer from this shortcoming and can deliver promising results simply using Nearest-Class-Mean (NCM), a special case where prototypes are empirical centroids. However, the potential of Prototype classifiers as an alternative to softmax in LTR is relatively underexplored. In this work, we propose Prototype classifiers, which jointly learn prototypes that minimize average cross-entropy loss based on probability scores from distances to prototypes. We theoretically analyze the properties of Euclidean distance based prototype classifiers that leads to stable gradient-based optimization which is robust to outliers. We further enhance Prototype classifiers by learning channel-dependent temperature parameters to enable independent distance scales along each channel. Our analysis shows that prototypes learned by Prototype classifiers are better separated than empirical centroids. Results on four long-tailed recognition benchmarks show that Prototype classifier outperforms or is comparable to the state-of-the-art methods. | 翻訳日:2023-02-02 12:59:44 公開日:2023-02-01 |
| # 不確実な品質多様性:不確実な領域における品質多様性の評価手法と新しい手法 Uncertain Quality-Diversity: Evaluation methodology and new methods for Quality-Diversity in Uncertain Domains ( http://arxiv.org/abs/2302.00463v1 ) ライセンス: Link先を確認 | Manon Flageat and Antoine Cully | (参考訳) 品質多様性最適化(QD)は、幅広いアプリケーションにわたって有望な結果をもたらすことが証明されている。
しかし、QDアプローチは、ソリューションの真のパフォーマンスとノベルティを定量化する能力に影響を与えるため、環境における不確実性の存在に苦慮する。
この問題は以前の文献で独立して何度も強調されている。
本稿では,4つの主要な貢献を通じて,この問題に対する視点を統一することを提案する。
まず、不確実な領域に対する共通フレームワークを定式化する: 不確実なQD設定、すなわち、各解に対する適合性および記述子がもはや固定値ではなく、可能な値を越えて分布する特別なQDの場合。
第2に、新しい世代ごとのサンプリング予算と、不確実QDに特化して設計された既存のメトリクスのセットを頼りに、不確実QDアプローチを評価するための新しい方法論を提案する。
第3に,アーカイブサンプリング,並列適応サンプリング,ディープグリッドサンプリングの3つの新しいQDアルゴリズムを提案する。
本稿では,QDコミュニティにおけるハードウェアアクセラレーションの最近の進歩を考慮し,多数の並列評価を可能にし,不確実性に対する安価なアプローチをサンプリングする手法を提案する。
最終および第4のコントリビューションは、この新しいフレームワークと関連する比較手法を使用して、既存のアプローチと新しいアプローチをベンチマークすることです。
我々は、不確実領域におけるMAP-Elitesの制限を再び示し、既存のDeep-Gridアプローチと新しいアルゴリズムの性能を強調した。
このフレームワークとメソッドの目標は、不確実性QDを考慮した将来の作業のためのインスツルメンタルベンチマークになることである。 Quality-Diversity optimisation (QD) has proven to yield promising results across a broad set of applications. However, QD approaches struggle in the presence of uncertainty in the environment, as it impacts their ability to quantify the true performance and novelty of solutions. This problem has been highlighted multiple times independently in previous literature. In this work, we propose to uniformise the view on this problem through four main contributions. First, we formalise a common framework for uncertain domains: the Uncertain QD setting, a special case of QD in which fitness and descriptors for each solution are no longer fixed values but distribution over possible values. Second, we propose a new methodology to evaluate Uncertain QD approaches, relying on a new per-generation sampling budget and a set of existing and new metrics specifically designed for Uncertain QD. Third, we propose three new Uncertain QD algorithms: Archive-sampling, Parallel-Adaptive-sampling and Deep-Grid-sampling. We propose these approaches taking into account recent advances in the QD community toward the use of hardware acceleration that enable large numbers of parallel evaluations and make sampling an affordable approach to uncertainty. Our final and fourth contribution is to use this new framework and the associated comparison methods to benchmark existing and novel approaches. We demonstrate once again the limitation of MAP-Elites in uncertain domains and highlight the performance of the existing Deep-Grid approach, and of our new algorithms. The goal of this framework and methods is to become an instrumental benchmark for future works considering Uncertain QD. | 翻訳日:2023-02-02 12:58:58 公開日:2023-02-01 |
| # 1重層ニューラルネットワークにおける単純性バイアス Simplicity Bias in 1-Hidden Layer Neural Networks ( http://arxiv.org/abs/2302.00457v1 ) ライセンス: Link先を確認 | Depen Morwani, Jatin Batra, Prateek Jain, Praneeth Netrapalli | (参考訳) 近年の研究では、ニューラルネットワークが極端に単純バイアス(SB)を示すことが示されている。
つまり、他のより堅牢だがより複雑な機能があっても、手元にあるタスクを解決するのに最も簡単な機能しか学ばないということです。
汎用的で厳密な特徴定義が欠如しているため、これらの研究は、機能定義が比較的容易なColor-MNIST、MNIST-CIFARといった半合成データセット上でSBを示す。
本研究では,1つの隠蔽層ニューラルネットワークに対して,SBを徹底的に確立すると同時に,厳密に定義する。
もっと具体的に
i) 入力の低次元射影の関数であるネットワークとしてSBを定義する。
(ii)理論的には、データが線形に分離可能である場合、ネットワークは、任意に多数存在する他のより複雑な特徴の存在下でも、線形に分離可能な($$-dimensional)部分空間のみに依存する。
(iii)imagenetteやwaterbirds-landbirdsのような実データセットでトレーニングされたモデルが入力の低次元投影に依存していることを実証的に示す。
iv) 最終的に,従来のモデルでは使用されなかった特徴について連続したモデルを訓練することにより,モデルの多様性を促進する自然なアンサンブル手法を提案する。 Recent works have demonstrated that neural networks exhibit extreme simplicity bias(SB). That is, they learn only the simplest features to solve a task at hand, even in the presence of other, more robust but more complex features. Due to the lack of a general and rigorous definition of features, these works showcase SB on semi-synthetic datasets such as Color-MNIST, MNIST-CIFAR where defining features is relatively easier. In this work, we rigorously define as well as thoroughly establish SB for one hidden layer neural networks. More concretely, (i) we define SB as the network essentially being a function of a low dimensional projection of the inputs (ii) theoretically, we show that when the data is linearly separable, the network primarily depends on only the linearly separable ($1$-dimensional) subspace even in the presence of an arbitrarily large number of other, more complex features which could have led to a significantly more robust classifier, (iii) empirically, we show that models trained on real datasets such as Imagenette and Waterbirds-Landbirds indeed depend on a low dimensional projection of the inputs, thereby demonstrating SB on these datasets, iv) finally, we present a natural ensemble approach that encourages diversity in models by training successive models on features not used by earlier models, and demonstrate that it yields models that are significantly more robust to Gaussian noise. | 翻訳日:2023-02-02 12:58:31 公開日:2023-02-01 |
| # マスキング言語モデルにおけるフィードフォワード制御の文脈化 Feed-Forward Blocks Control Contextualization in Masked Language Models ( http://arxiv.org/abs/2302.00456v1 ) ライセンス: Link先を確認 | Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, Kentaro Inui | (参考訳) ニューラルネットワークモデルの内部動作を理解することは、その出力を合理化し、アーキテクチャを洗練するための重要なステップである。
トランスフォーマーベースのモデルは最近の自然言語処理の中核であり、その画期的な特徴として、アテンションメカニズムを通じて入力語を取り巻くコンテキスト化があるため、アテンションパターンで分析されている。
本研究では,フィードフォワードブロック(フィードフォワード層とその周辺残留層および正規化層)を含むすべての構成要素を考慮し,その内的コンテクスト化を分析し,注意を喚起する。
マスク付き言語モデルを用いた実験により,従来見過ごされていた各コンポーネントが,特別な単語対(名前付きエンティティなど)を処理する場合の文脈化の程度を変更したことが示された。
さらに、一部のコンポーネントはお互いの効果をキャンセルしている。
私たちの結果は、Transformer層における各コンポーネントの役割(例えば、注意がコンテキスト化を行い、他のコンポーネントが異なる役割を果たす)に関する典型的なビューを更新します。 Understanding the inner workings of neural network models is a crucial step for rationalizing their output and refining their architecture. Transformer-based models are the core of recent natural language processing and have been analyzed typically with attention patterns as their epoch-making feature is contextualizing surrounding input words via attention mechanisms. In this study, we analyze their inner contextualization by considering all the components, including the feed-forward block (i.e., a feed-forward layer and its surrounding residual and normalization layers) as well as the attention. Our experiments with masked language models show that each of the previously overlooked components did modify the degree of the contextualization in case of processing special word-word pairs (e.g., consisting of named entities). Furthermore, we find that some components cancel each other's effects. Our results could update the typical view about each component's roles (e.g., attention performs contextualization, and the other components serve different roles) in the Transformer layer. | 翻訳日:2023-02-02 12:58:09 公開日:2023-02-01 |
| # HunSum-1:ハンガリーの抽象的な要約データセット HunSum-1: an Abstractive Summarization Dataset for Hungarian ( http://arxiv.org/abs/2302.00455v1 ) ライセンス: Link先を確認 | Botond Barta, Dorina Lakatos, Attila Nagy, Mil\'an Konor Nyist, Judit \'Acs | (参考訳) 本稿では,114万のニュース記事からなるハンガリーの抽象要約データセットHunSum-1を紹介する。
データセットは、CmonCrawlを通じて、9つの主要なハンガリーのニュースサイトからデータを収集、クリーニング、分離することで構築される。
このデータセットを用いて、huBERTとmT5に基づいて抽象的な要約モデルを構築する。
モデルの結果を定量的に定性的に分析することにより,生成したデータセットの価値を実証する。
HunSum-1データセット、実験で使用されるすべてのモデルとコードはオープンソースで利用可能です。 We introduce HunSum-1: a dataset for Hungarian abstractive summarization, consisting of 1.14M news articles. The dataset is built by collecting, cleaning and deduplicating data from 9 major Hungarian news sites through CommonCrawl. Using this dataset, we build abstractive summarizer models based on huBERT and mT5. We demonstrate the value of the created dataset by performing a quantitative and qualitative analysis on the models' results. The HunSum-1 dataset, all models used in our experiments and our code are available open source. | 翻訳日:2023-02-02 12:57:50 公開日:2023-02-01 |
| # 残留ネットワークにおける幅と深さ制限 Width and Depth Limits Commute in Residual Networks ( http://arxiv.org/abs/2302.00453v1 ) ライセンス: Link先を確認 | Soufiane Hayou, Greg Yang | (参考訳) 枝が1/\sqrt{depth}$(1/\sqrt{depth}$(唯一の非自明なスケーリング)にスケールされると、その制限がどう取られても、同じ共分散構造が得られることを示す。
これは、標準の無限幅深さアプローチが、幅と同じ深さのネットワークに対しても実用的な洞察を提供する理由を説明する。
また,この場合,事前活性化はガウス分布を持ち,ベイズ深層学習に直接応用できることを示した。
理論的な結果と良好な一致を示す広範囲なシミュレーションを行う。 We show that taking the width and depth to infinity in a deep neural network with skip connections, when branches are scaled by $1/\sqrt{depth}$ (the only nontrivial scaling), result in the same covariance structure no matter how that limit is taken. This explains why the standard infinite-width-then-depth approach provides practical insights even for networks with depth of the same order as width. We also demonstrate that the pre-activations, in this case, have Gaussian distributions which has direct applications in Bayesian deep learning. We conduct extensive simulations that show an excellent match with our theoretical findings. | 翻訳日:2023-02-02 12:57:43 公開日:2023-02-01 |
| # 知識選択による事前学習言語モデルの知識蒸留の改善 Improved Knowledge Distillation for Pre-trained Language Models via Knowledge Selection ( http://arxiv.org/abs/2302.00444v1 ) ライセンス: Link先を確認 | Chenglong Wang, Yi Lu, Yongyu Mu, Yimin Hu, Tong Xiao and Jingbo Zhu | (参考訳) 知識蒸留は、教師モデルから生徒モデルへの知識伝達の問題に対処する。
このプロセスでは、教師モデルから抽出された複数の種類の知識が典型的に得られます。
問題は、学生モデルをトレーニングするためにそれらを完全に利用することです。
予備研究では,(1)よい学習モデルを学ぶためにはすべての知識が必要ではないこと,(2)知識蒸留は異なる訓練ステップで特定の知識の恩恵を受けること,などが示されている。
これに対応するために,我々は,知識蒸留の過程で伝達する適切な知識を選択するアクター批判的手法を提案する。
さらに,計算負担を軽減するためのトレーニングアルゴリズムの改良も提供する。
GLUEデータセットによる実験結果から,本手法はいくつかの強い知識蒸留基準を著しく上回ることがわかった。 Knowledge distillation addresses the problem of transferring knowledge from a teacher model to a student model. In this process, we typically have multiple types of knowledge extracted from the teacher model. The problem is to make full use of them to train the student model. Our preliminary study shows that: (1) not all of the knowledge is necessary for learning a good student model, and (2) knowledge distillation can benefit from certain knowledge at different training steps. In response to these, we propose an actor-critic approach to selecting appropriate knowledge to transfer during the process of knowledge distillation. In addition, we offer a refinement of the training algorithm to ease the computational burden. Experimental results on the GLUE datasets show that our method outperforms several strong knowledge distillation baselines significantly. | 翻訳日:2023-02-02 12:57:32 公開日:2023-02-01 |
| # ロバストなオンラインアクティブラーニング Robust online active learning ( http://arxiv.org/abs/2302.00422v1 ) ライセンス: Link先を確認 | Davide Cacciarelli, Murat Kulahci, John S{\o}lve Tyssedal | (参考訳) 多くの産業アプリケーションでは、人間の専門家の介入や高価なテスト機器の使用を必要とするため、ラベル付き観測を得ることは容易ではない。
このような状況下では、モデルに合わせる際に最も有用なデータポイントを提案する上で、アクティブな学習は極めて有益である。
モデル開発に必要な観測回数を減らすことで、トレーニングに必要な計算負担とラベリングに関連する運用コストが軽減される。
特にオンラインアクティブラーニングは、データポイントに対するラベルの取得に関する決定が極めて短い時間枠内で行われなければならない、大量生産プロセスにおいて有用である。
しかし,近年のオンラインアクティブラーニング戦略の展開にも拘わらず,アウトレーヤの存在下でのこれらの手法の行動は十分に検討されていない。
本研究では,汚染データストリームにおけるオンラインアクティブ線形回帰の性能について検討する。
我々の研究は、現在利用可能なクエリ戦略が外れやすいことを示し、トレーニングセットに含めると、最終的にモデルの予測性能が低下することを示している。
この問題に対処するため,条件付きD-最適アルゴリズムの探索領域を限定し,ロバストな推定器を用いた解を提案する。
我々の手法は、入力空間の見えない領域を探索することと、外れ値から保護することのバランスをとる。
数値シミュレーションにより,提案手法は,アウトレーヤの存在下でのオンライン能動学習の性能向上に有効であることを示す。 In many industrial applications, obtaining labeled observations is not straightforward as it often requires the intervention of human experts or the use of expensive testing equipment. In these circumstances, active learning can be highly beneficial in suggesting the most informative data points to be used when fitting a model. Reducing the number of observations needed for model development alleviates both the computational burden required for training and the operational expenses related to labeling. Online active learning, in particular, is useful in high-volume production processes where the decision about the acquisition of the label for a data point needs to be taken within an extremely short time frame. However, despite the recent efforts to develop online active learning strategies, the behavior of these methods in the presence of outliers has not been thoroughly examined. In this work, we investigate the performance of online active linear regression in contaminated data streams. Our study shows that the currently available query strategies are prone to sample outliers, whose inclusion in the training set eventually degrades the predictive performance of the models. To address this issue, we propose a solution that bounds the search area of a conditional D-optimal algorithm and uses a robust estimator. Our approach strikes a balance between exploring unseen regions of the input space and protecting against outliers. Through numerical simulations, we show that the proposed method is effective in improving the performance of online active learning in the presence of outliers, thus expanding the potential applications of this powerful tool. | 翻訳日:2023-02-02 12:57:19 公開日:2023-02-01 |
| # レーティング予測のための意味的符号化のKNN KNNs of Semantic Encodings for Rating Prediction ( http://arxiv.org/abs/2302.00412v1 ) ライセンス: Link先を確認 | L\'eo Laugier, Thomas Bonald, Lucas Dixon, Raghuram Vadapalli | (参考訳) 本稿では,テキストのセマンティックな類似性を利用した評価予測手法を提案する。
このアプローチは、エッジが意味的類似性によって定義されるレビューテキストからのテキストスニペットのグラフとして、ユーザの好みを表す。
このテキストによるメモリベースの評価予測アプローチは、レコメンデーションのためのレビューベースの説明を可能にする。
この手法は定量的に評価され、この方法でテキストを活用すると、強いメモリベースとモデルベースの協調フィルタリングベースラインの両方で性能が向上する。 This paper explores a novel application of textual semantic similarity to user-preference representation for rating prediction. The approach represents a user's preferences as a graph of textual snippets from review text, where the edges are defined by semantic similarity. This textual, memory-based approach to rating prediction enables review-based explanations for recommendations. The method is evaluated quantitatively, highlighting that leveraging text in this way outperforms both strong memory-based and model-based collaborative filtering baselines. | 翻訳日:2023-02-02 12:56:55 公開日:2023-02-01 |
| # 確率計画におけるMCMCの自動マージ Automatically Marginalized MCMC in Probabilistic Programming ( http://arxiv.org/abs/2302.00564v1 ) ライセンス: Link先を確認 | Jinlin Lai, Javier Burroni, Hui Guan, Daniel Sheldon | (参考訳) Hamiltonian Monte Carlo (HMC) はベイズモデルから潜伏変数をサンプリングする強力なアルゴリズムである。
確率型プログラミング言語(PPL)の出現により、ユーザーは推論アルゴリズムを書くことができなくなり、モデリングに集中することができる。
しかし、HMCが直接解決するのは難しいモデルが多く、しばしばモデル再パラメータ化のようなトリックを必要とする。
私たちは、これらのモデルの多くがマージン化によって単純化できるという事実に動機づけられています。
本稿では,実世界の階層モデルからのサンプリングを大幅に改善するPPLから抽出したグラフィカルモデルにおいて,HMCを用いたサンプリングプロセスの一部として自動残差化を提案する。 Hamiltonian Monte Carlo (HMC) is a powerful algorithm to sample latent variables from Bayesian models. The advent of probabilistic programming languages (PPLs) frees users from writing inference algorithms and lets users focus on modeling. However, many models are difficult for HMC to solve directly, which often require tricks like model reparameterization. We are motivated by the fact that many of those models could be simplified by marginalization. We propose to use automatic marginalization as part of the sampling process using HMC in a graphical model extracted from a PPL, which substantially improves sampling from real-world hierarchical models. | 翻訳日:2023-02-02 12:50:20 公開日:2023-02-01 |
| # Opinionated Language Modelsとの共著はユーザの視点に影響を及ぼす Co-Writing with Opinionated Language Models Affects Users' Views ( http://arxiv.org/abs/2302.00560v1 ) ライセンス: Link先を確認 | Maurice Jakesch, Advait Bhat, Daniel Buschek, Lior Zalmanson, Mor Naaman | (参考訳) GPT-3のような大きな言語モデルが好ましくは、特定の視点を生み出すと、未知のスケールでの人々の意見に影響を与える可能性がある。
本研究では,より頻繁に意見を生成する言語モデル駆動の文字アシスタントが,ユーザの書き方や思考に影響を与えるかどうかについて検討する。
オンライン実験では、参加者(N=1,506)に、ソーシャルメディアが社会に良いかどうかを議論する記事を書いてもらいました。
治療グループ参加者は、ソーシャルメディアが社会にとって良いか悪いかを議論するために、言語モデルを利用した筆記アシスタントを使用した。
参加者はその後ソーシャルメディアの態度調査を完了し、独立審査員(N=500)は自分の文章で表現された意見を評価した。
意見言語モデルの使用は、参加者の執筆に表される意見に影響し、その後の態度調査で意見をシフトさせた。
結果のより広範な影響について議論し、AI言語技術に組み込まれた意見はより注意深く監視し、エンジニアリングする必要があると論じる。 If large language models like GPT-3 preferably produce a particular point of view, they may influence people's opinions on an unknown scale. This study investigates whether a language-model-powered writing assistant that generates some opinions more often than others impacts what users write - and what they think. In an online experiment, we asked participants (N=1,506) to write a post discussing whether social media is good for society. Treatment group participants used a language-model-powered writing assistant configured to argue that social media is good or bad for society. Participants then completed a social media attitude survey, and independent judges (N=500) evaluated the opinions expressed in their writing. Using the opinionated language model affected the opinions expressed in participants' writing and shifted their opinions in the subsequent attitude survey. We discuss the wider implications of our results and argue that the opinions built into AI language technologies need to be monitored and engineered more carefully. | 翻訳日:2023-02-02 12:50:08 公開日:2023-02-01 |
| # 進化論に触発された構造的変異は個体群のパフォーマンスと多様性を高める Structured mutation inspired by evolutionary theory enriches population performance and diversity ( http://arxiv.org/abs/2302.00559v1 ) ライセンス: Link先を確認 | Stefano Tiso, Pedro Carvalho, Nuno Louren\c{c}o, Penousal Machado | (参考訳) グラマー誘導遺伝的プログラミング(GGGP)は、進化論から与えられたタスクに対して自律的に解決策を設計するまで、様々な知見を取り入れている。
進化生物学の最近の知見は、GGGPアルゴリズムのさらなる改良につながる可能性がある。
本稿では,不均一変異率および変異効果に関する簡便な変異と知識の理論を応用し,変異操作性を改善する。
我々は、この新しい変分ファシリテート変異法(FM)と呼ぶ。
我々は、画像分類のためのニューラルネットワークオプティマイザの進化に関するFM性能をテストする。
FMとFMをクロスオーバー(FMX)と組み合わせて比較し,本手法の利点を評価する。
特にFMXは重要な指標を統計的に改善し、全体として優れたオプティマイザ(平均テスト精度+0.48\%)を作成し、ソリューションの平均品質(平均集団適合度+50\%)を改善し、より多様な高品質な振る舞い(平均で400の高品質なソリューション)を発見した。
さらに、FMとFMXは、進化的な実行における適合度評価の回数を減らすことができ、いくつかのシナリオにおける計算コストを低減することができる。 Grammar-Guided Genetic Programming (GGGP) employs a variety of insights from evolutionary theory to autonomously design solutions for a given task. Recent insights from evolutionary biology can lead to further improvements in GGGP algorithms. In this paper, we apply principles from the theory of Facilitated Variation and knowledge about heterogeneous mutation rates and mutation effects to improve the variation operators. We term this new method of variation Facilitated Mutation (FM). We test FM performance on the evolution of neural network optimizers for image classification, a relevant task in evolutionary computation, with important implications for the field of machine learning. We compare FM and FM combined with crossover (FMX) against a typical mutation regime to assess the benefits of the approach. We find that FMX in particular provides statistical improvements in key metrics, creating a superior optimizer overall (+0.48\% average test accuracy), improving the average quality of solutions (+50\% average population fitness), and discovering more diverse high-quality behaviors (+400 high-quality solutions discovered per run on average). Additionally, FM and FMX can reduce the number of fitness evaluations in an evolutionary run, reducing computational costs in some scenarios. | 翻訳日:2023-02-02 12:49:50 公開日:2023-02-01 |
| # $\texttt{DoCoFL}$: クロスデバイスフェデレーション学習のためのダウンリンク圧縮 $\texttt{DoCoFL}$: Downlink Compression for Cross-Device Federated Learning ( http://arxiv.org/abs/2302.00543v1 ) ライセンス: Link先を確認 | Ron Dorfman, Shay Vargaftik, Yaniv Ben-Itzhak, Kfir Y. Levy | (参考訳) フェデレートラーニング訓練の通信オーバーヘッドを軽減するため,多くの圧縮技術が提案されている。
しかし、これらは典型的にはモデル更新の圧縮のために設計されており、トレーニング中に減衰することが期待されている。
結果として、このようなメソッドは、トレーニング中に$\textit{mayが1回だけ現れるので、モデルパラメータをダウンロードしなければならないクロスデバイス設定におけるダウンリンク(パラメータサーバからクライアントへの圧縮)には適用できない。
本稿では,クロスデバイスフェデレーション学習環境におけるダウンリンク圧縮のための新しいフレームワーク (\texttt{docofl}$) を提案する。
重要なことに、$\texttt{docofl}$は多くのアップリンク圧縮スキームとシームレスに組み合わせることができ、双方向圧縮に適している。
広汎な評価により、$\textt{DoCoFL}$は、圧縮なしで$\textt{FedAvg}$と競合する精度を保ちながら、大きな双方向帯域幅削減を提供することを示した。 Many compression techniques have been proposed to reduce the communication overhead of Federated Learning training procedures. However, these are typically designed for compressing model updates, which are expected to decay throughout training. As a result, such methods are inapplicable to downlink (i.e., from the parameter server to clients) compression in the cross-device setting, where heterogeneous clients $\textit{may appear only once}$ during training and thus must download the model parameters. In this paper, we propose a new framework ($\texttt{DoCoFL}$) for downlink compression in the cross-device federated learning setting. Importantly, $\texttt{DoCoFL}$ can be seamlessly combined with many uplink compression schemes, rendering it suitable for bi-directional compression. Through extensive evaluation, we demonstrate that $\texttt{DoCoFL}$ offers significant bi-directional bandwidth reduction while achieving competitive accuracy to that of $\texttt{FedAvg}$ without compression. | 翻訳日:2023-02-02 12:49:26 公開日:2023-02-01 |
| # 蒸留政策最適化 Distillation Policy Optimization ( http://arxiv.org/abs/2302.00533v1 ) ライセンス: Link先を確認 | Jianfei Ma | (参考訳) しかし、オン・ポリシーのアルゴリズムはまだ安定しているはずだ。
過去の経験を利用したオフポリシーアルゴリズムは、一般的にはサンプル効率だが不安定であると考えられている。
法外データを活用するアルゴリズムを設計できる一方で、法外通路に沿って航行することで安定した学習を活用できるだろうか?
本稿では,関心の分布的視点を借用して評価し,高速な学習を可能にし,幅広いアルゴリズムに適用可能な,政策改善のための2つのデータソースを交互に交配する,アクタ-批判学習フレームワークを提案する。
そのバックボーンにおいて、一般化された優位推定器(GAE)を任意の状態依存ベースラインに適用するように拡張する統一的優位推定器(UAE)や、政策勾配の安定化に長けた学習ベースラインなどの分散低減機構を第一に、単にアクション値関数へのブリッジであるだけでなく、有利な学習信号を蒸留する。
最後に,本手法がサンプル効率を向上し,異なるレベルを補間できることが実証的に示される。
有機的な全体であり、その混合はアルゴリズム設計により多くのインスピレーションを与える。 On-policy algorithms are supposed to be stable, however, sample-intensive yet. Off-policy algorithms utilizing past experiences are deemed to be sample-efficient, nevertheless, unstable in general. Can we design an algorithm that can employ the off-policy data, while exploit the stable learning by sailing along the course of the on-policy walkway? In this paper, we present an actor-critic learning framework that borrows the distributional perspective of interest to evaluate, and cross-breeds two sources of the data for policy improvement, which enables fast learning and can be applied to a wide class of algorithms. In its backbone, the variance reduction mechanisms, such as unified advantage estimator (UAE), that extends generalized advantage estimator (GAE) to be applicable on any state-dependent baseline, and a learned baseline, that is competent to stabilize the policy gradient, are firstly put forward to not merely be a bridge to the action-value function but also distill the advantageous learning signal. Lastly, it is empirically shown that our method improves sample efficiency and interpolates different levels well. Being of an organic whole, its mixture places more inspiration to the algorithm design. | 翻訳日:2023-02-02 12:49:06 公開日:2023-02-01 |
| # Off-the-Grid MARL: 協調オフラインマルチエージェント強化学習のためのベースライン付きデータセット生成フレームワーク Off-the-Grid MARL: a Framework for Dataset Generation with Baselines for Cooperative Offline Multi-Agent Reinforcement Learning ( http://arxiv.org/abs/2302.00521v1 ) ライセンス: Link先を確認 | Claude Formanek, Asad Jeewa, Jonathan Shock, Arnu Pretorius | (参考訳) 自律的なマルチエージェントシステムを開発するために、大規模で静的なデータセットのパワーを活用できることは、現実世界のアプリケーションにとって巨大な価値を解き放つ可能性がある。
多くの重要な産業システムは、本質的にマルチエージェントであり、bespokeシミュレータを用いたモデリングは困難である。
しかし、産業においては、分散システムプロセスは運用中に記録され、大量の実証データを格納することができる。
オフラインマルチエージェント強化学習(MARL)は、静的データセットから効果的なオンラインコントローラを構築するための有望なパラダイムを提供する。
しかし、オフラインMARLはまだ初期段階であり、RLのより成熟したサブフィールドで一般的に見られる標準ベンチマーク、ベースライン、評価プロトコルが欠けている。
この不足は、コミュニティがセンシティブに進捗を測定するのを難しくする。
本研究では,オフラインMARLデータセットとアルゴリズムを生成するフレームワークである \emph{off-the-grid MARL (OG-MARL)} をリリースすることによって,このギャップを埋めることを目指している。
我々は,このフレームワークを用いて作成した協調オフラインMARLのためのデータセットとベースラインの初期セットと,標準化された評価プロトコルをリリースする。
私たちのデータセットは、複雑なダイナミクス、非定常性、部分的可観測性、サブオプティリティ、スパース報酬など、現実世界のシステム特有の設定を提供し、人気のあるオンラインmarlベンチマークから生成します。
我々は、OG-MARLがコミュニティに役立ち、オフラインMARLの進歩を後押しし、また、研究者がこの分野に新たに参入するための簡単なエントリポイントを提供することを期待している。 Being able to harness the power of large, static datasets for developing autonomous multi-agent systems could unlock enormous value for real-world applications. Many important industrial systems are multi-agent in nature and are difficult to model using bespoke simulators. However, in industry, distributed system processes can often be recorded during operation, and large quantities of demonstrative data can be stored. Offline multi-agent reinforcement learning (MARL) provides a promising paradigm for building effective online controllers from static datasets. However, offline MARL is still in its infancy, and, therefore, lacks standardised benchmarks, baselines and evaluation protocols typically found in more mature subfields of RL. This deficiency makes it difficult for the community to sensibly measure progress. In this work, we aim to fill this gap by releasing \emph{off-the-grid MARL (OG-MARL)}: a framework for generating offline MARL datasets and algorithms. We release an initial set of datasets and baselines for cooperative offline MARL, created using the framework, along with a standardised evaluation protocol. Our datasets provide settings that are characteristic of real-world systems, including complex dynamics, non-stationarity, partial observability, suboptimality and sparse rewards, and are generated from popular online MARL benchmarks. We hope that OG-MARL will serve the community and help steer progress in offline MARL, while also providing an easy entry point for researchers new to the field. | 翻訳日:2023-02-02 12:48:46 公開日:2023-02-01 |
| # モバイルプラットフォーム上でのスマートヘルスアプリケーションのためのエネルギ対応データ駆動インテリジェンスの実現に向けて Towards Implementing Energy-aware Data-driven Intelligence for Smart Health Applications on Mobile Platforms ( http://arxiv.org/abs/2302.00514v1 ) ライセンス: Link先を確認 | G. Dumindu Samaraweera, Hung Nguyen, Hadi Zanddizari, Behnam Zeinali, and J. Morris Chang | (参考訳) ローコストのモバイルgpuのような強力なモバイルコンピューティングリソースと最先端のオープンソースソフトウェアアーキテクチャの技術的進歩により、モバイルプラットフォームでのハイパフォーマンスなディープラーニングが可能になった。
これらの進歩は、特にスマートヘルスアプリケーションにおいて、ローカルでデータ駆動型インテリジェンスを実行するために、今日のモバイルアプリケーションのさまざまな次元の能力に革命をもたらした。
従来の機械学習(ML)アーキテクチャとは異なり、現代のデバイス上でのディープラーニングフレームワークは、推論時間の短縮という観点から、モバイルプラットフォームのコンピューティングリソースをシームレスに活用するのに熟練している。
しかし、反対にモバイルデバイスのエネルギー資源は一般的に限られている。
したがって、複雑なDeep Neural Network(DNN)アーキテクチャがデバイス上でのディープラーニングフレームワークに入力されるたびに、高い予測精度(とパフォーマンス)を達成すると同時に、実行時に巨大なエネルギー要求も促される。
したがって、これらのリソースを性能とエネルギー効率の範囲内で効率的に管理することは、実験的な評価を超えたデータ駆動インテリジェンスを備えたモバイルアプリケーションにとって、最新の課題である。
本稿では、まず、現在最先端のMLアーキテクチャと従来のMLアプローチのパフォーマンス指標を、スマートヘルスアプリケーションにデプロイすることでエネルギー特性に重点を置いて実証的に評価しながら、デバイス上でのディープラーニングの最近の進歩をタイムリーにレビューする。
そこで我々は,エネルギ・アダプティブ・モデル理解・実現(EAMCR)アプローチを通じて新たなフレームワークを導入し,実行中にモバイルデバイスで利用可能なコンピューティング/エネルギーリソースに基づいて,より堅牢で効率的な推論決定を行う。 Recent breakthrough technological progressions of powerful mobile computing resources such as low-cost mobile GPUs along with cutting-edge, open-source software architectures have enabled high-performance deep learning on mobile platforms. These advancements have revolutionized the capabilities of today's mobile applications in different dimensions to perform data-driven intelligence locally, particularly for smart health applications. Unlike traditional machine learning (ML) architectures, modern on-device deep learning frameworks are proficient in utilizing computing resources in mobile platforms seamlessly, in terms of producing highly accurate results in less inference time. However, on the flip side, energy resources in a mobile device are typically limited. Hence, whenever a complex Deep Neural Network (DNN) architecture is fed into the on-device deep learning framework, while it achieves high prediction accuracy (and performance), it also urges huge energy demands during the runtime. Therefore, managing these resources efficiently within the spectrum of performance and energy efficiency is the newest challenge for any mobile application featuring data-driven intelligence beyond experimental evaluations. In this paper, first, we provide a timely review of recent advancements in on-device deep learning while empirically evaluating the performance metrics of current state-of-the-art ML architectures and conventional ML approaches with the emphasis given on energy characteristics by deploying them on a smart health application. With that, we are introducing a new framework through an energy-aware, adaptive model comprehension and realization (EAMCR) approach that can be utilized to make more robust and efficient inference decisions based on the available computing/energy resources in the mobile device during the runtime. | 翻訳日:2023-02-02 12:48:21 公開日:2023-02-01 |
| # 反復深化ハイパーバンド Iterative Deepening Hyperband ( http://arxiv.org/abs/2302.00511v1 ) ライセンス: Link先を確認 | Jasmin Brandt, Marcel Wever, Dimitrios Iliadis, Viktor Bengs, Eyke H\"ullermeier | (参考訳) ハイパーパラメータ最適化(HPO)は、パラメータ化機械学習アルゴリズムの最も適切なハイパーパラメータ構成(HPC)の自動探索に関するものである。
最先端のHPO法はHyperbandであり、その性能に影響を与える独自のパラメータを持つ。
これらのパラメータの1つ、最大予算は特に問題である: もし選択が小さすぎると、予算は後から増加し、Hyperbandは設計上インクリメンタルではないため、アルゴリズム全体が再実行されなければならない。
これはコストのかかるだけでなく、すでに蓄積された貴重な知識の喪失も伴う。
本稿では,これらの欠点を解消するハイパーバンドの漸進的変種を提案するとともに,これらの変種が「右」予算を持つオリジナルのハイパーバンドと定性的に類似した理論的保証を満たすことを示す。
さらに,ベンチマークデータセットを用いた実験において,実用性を示す。 Hyperparameter optimization (HPO) is concerned with the automated search for the most appropriate hyperparameter configuration (HPC) of a parameterized machine learning algorithm. A state-of-the-art HPO method is Hyperband, which, however, has its own parameters that influence its performance. One of these parameters, the maximal budget, is especially problematic: If chosen too small, the budget needs to be increased in hindsight and, as Hyperband is not incremental by design, the entire algorithm must be re-run. This is not only costly but also comes with a loss of valuable knowledge already accumulated. In this paper, we propose incremental variants of Hyperband that eliminate these drawbacks, and show that these variants satisfy theoretical guarantees qualitatively similar to those for the original Hyperband with the "right" budget. Moreover, we demonstrate their practical utility in experiments with benchmark data sets. | 翻訳日:2023-02-02 12:47:53 公開日:2023-02-01 |
| # グローバーのセマンティック摂動探査 Exploring Semantic Perturbations on Grover ( http://arxiv.org/abs/2302.00509v1 ) ライセンス: Link先を確認 | Pranav Kulkarni, Ziqing Ji, Yan Xu, Marko Neskovic, Kevin Nolan | (参考訳) ニュースや情報は、現在のように簡単にアクセスできるため、人々が読むものを誤解しないようにすることが、これまで以上に重要です。
近年、ニューラルフェイクニュース(AI生成フェイクニュース)の台頭と、人間を騙す効果が証明され、それを検出するモデルの開発が進められている。
このようなモデルのひとつがGroverモデルで、ニューラルフェイクニュースを検出してそれを防止し、それを生成して、モデルが人間の読者を騙すためにどのように悪用されるかを示す。
本研究では,入力ニュース記事の摂動を通じてターゲット攻撃を行うことで,グローバーモデルの偽ニュース検出機能を検討する。
これにより、Groverのこのような敵攻撃に対するレジリエンスをテストし、さらなるイテレーションで対処すべき潜在的な脆弱性を明らかにし、あらゆる種類の偽ニュースを正確に検出できるようにします。 With news and information being as easy to access as they currently are, it is more important than ever to ensure that people are not mislead by what they read. Recently, the rise of neural fake news (AI-generated fake news) and its demonstrated effectiveness at fooling humans has prompted the development of models to detect it. One such model is the Grover model, which can both detect neural fake news to prevent it, and generate it to demonstrate how a model could be misused to fool human readers. In this work we explore the Grover model's fake news detection capabilities by performing targeted attacks through perturbations on input news articles. Through this we test Grover's resilience to these adversarial attacks and expose some potential vulnerabilities which should be addressed in further iterations to ensure it can detect all types of fake news accurately. | 翻訳日:2023-02-02 12:47:38 公開日:2023-02-01 |
| # あなたが話しているのは、人格分析のための評価的トピックの誘発です You Are What You Talk About: Inducing Evaluative Topics for Personality Analysis ( http://arxiv.org/abs/2302.00493v1 ) ライセンス: Link先を確認 | Josip Juki\'c, Iva Vukojevi\'c, Jan \v{S}najder | (参考訳) 実体や概念に対する態度や態度を表現することは、人間の行動や個性の不可欠な部分である。
近年,ソーシャルメディアの急速な成長により評価言語データがアクセスしやすくなり,大規模な意見分析が可能になった。
しかし、人格と評価言語との関係を調査する研究はほとんどない。
このギャップを埋めるために、ソーシャルメディアから事前フィルタリングされた評価テキストにトピックモデルを適用した評価トピックの概念を導入する。
次に評価トピックを個々のテキスト作者にリンクして評価プロファイルを構築する。
パーソナリティスコアをラベル付けしたRedditコメントに評価プロファイリングを適用し,評価トピックとビッグファイブ・パーソナリティ・ファセットの関係について探索的研究を行い,より解釈可能な顔レベルの分析を目指す。
最後に,パーソナリティ心理学における先行研究と一致する相関関係を観察することで,このアプローチを検証する。 Expressing attitude or stance toward entities and concepts is an integral part of human behavior and personality. Recently, evaluative language data has become more accessible with social media's rapid growth, enabling large-scale opinion analysis. However, surprisingly little research examines the relationship between personality and evaluative language. To bridge this gap, we introduce the notion of evaluative topics, obtained by applying topic models to pre-filtered evaluative text from social media. We then link evaluative topics to individual text authors to build their evaluative profiles. We apply evaluative profiling to Reddit comments labeled with personality scores and conduct an exploratory study on the relationship between evaluative topics and Big Five personality facets, aiming for a more interpretable, facet-level analysis. Finally, we validate our approach by observing correlations consistent with prior research in personality psychology. | 翻訳日:2023-02-02 12:47:22 公開日:2023-02-01 |
| # 補助データの探索と活用による少数ショット一般化の改善 Improving Few-Shot Generalization by Exploring and Exploiting Auxiliary Data ( http://arxiv.org/abs/2302.00674v1 ) ライセンス: Link先を確認 | Alon Albalak, Colin Raffel, William Yang Wang | (参考訳) 少数のラベル付きデータポイントから効果的なモデルを学習する、ショット学習はほとんどない。
小さなトレーニングセットを使用することで、過剰フィッティングを避けるのが難しくなりますが、多くの重要な現実世界の設定に適用可能な、わずかなショット学習も必要です。
本研究では,補足データ(flad: few-shot learning with auxiliary data)に着目し,補足データへのアクセスを想定した学習パラダイムを提案する。
数発の学習で補助データを導入することは、手書きのヒューリスティックが準最適性能をもたらすような設計選択に繋がる。
本研究では,fladの自動サンプリング戦略に着目し,マルチアームのバンディット設定の中心となる探索的展開ジレンマに関連付ける。
この接続に基づいて、EXP3-FLAD と UCB1-FLAD という2つのアルゴリズムを提案し、それらを探索または悪用する手法と比較し、探索と悪用の組み合わせが不可欠であることを確かめる。
提案アルゴリズムを用いてT5をトレーニングすると、11データセットにわたるマルチタスク事前訓練T0モデルに対して、9%の絶対的な改善が得られる。 Few-shot learning involves learning an effective model from only a few labeled datapoints. The use of a small training set makes it difficult to avoid overfitting but also makes few-shot learning applicable to many important real-world settings. In this work, we focus on Few-shot Learning with Auxiliary Data (FLAD), a training paradigm that assumes access to auxiliary data during few-shot learning in hopes of improving generalization. Introducing auxiliary data during few-shot learning leads to essential design choices where hand-designed heuristics can lead to sub-optimal performance. In this work, we focus on automated sampling strategies for FLAD and relate them to the explore-exploit dilemma that is central in multi-armed bandit settings. Based on this connection we propose two algorithms -- EXP3-FLAD and UCB1-FLAD -- and compare them with methods that either explore or exploit, finding that the combination of exploration and exploitation is crucial. Using our proposed algorithms to train T5 yields a 9% absolute improvement over the explicitly multi-task pre-trained T0 model across 11 datasets. | 翻訳日:2023-02-02 12:41:24 公開日:2023-02-01 |
| # 選択行動共有による効率的なマルチタスク強化学習 Efficient Multi-Task Reinforcement Learning via Selective Behavior Sharing ( http://arxiv.org/abs/2302.00671v1 ) ライセンス: Link先を確認 | Grace Zhang, Ayush Jain, Injune Hwang, Shao-Hua Sun, Joseph J. Lim | (参考訳) タスク間の共有行動を活用する能力は、サンプル効率のよいマルチタスク強化学習(MTRL)において重要である。
従来の手法は主にパラメータとデータ共有を探索してきたが、直接的な行動共有は同様の振る舞いを必要とするタスクファミリーに限られていた。
私たちのゴールは、行動共有の効果を、共有可能な行動と矛盾する行動の混合を必要とする、より一般的なタスクファミリーに拡張することです。
我々の重要な洞察は、エージェントのタスクにわたる振る舞いは、相互に有益な探索に使用できることである。
この目的のために,タスク上の共有可能な振る舞いを識別し,探索のガイドとして組み込むためのシンプルなMTRLフレームワークを提案する。
動作共有がMTRLタスクの操作およびナビゲーションにおけるサンプル効率と最終性能をどのように改善するかを実証的に実証し,パラメータ共有を補完する。
結果ビデオはhttps://sites.google.com/view/qmp-mtrl.comで閲覧できる。 The ability to leverage shared behaviors between tasks is critical for sample-efficient multi-task reinforcement learning (MTRL). While prior methods have primarily explored parameter and data sharing, direct behavior-sharing has been limited to task families requiring similar behaviors. Our goal is to extend the efficacy of behavior-sharing to more general task families that could require a mix of shareable and conflicting behaviors. Our key insight is an agent's behavior across tasks can be used for mutually beneficial exploration. To this end, we propose a simple MTRL framework for identifying shareable behaviors over tasks and incorporating them to guide exploration. We empirically demonstrate how behavior sharing improves sample efficiency and final performance on manipulation and navigation MTRL tasks and is even complementary to parameter sharing. Result videos are available at https://sites.google.com/view/qmp-mtrl. | 翻訳日:2023-02-02 12:41:06 公開日:2023-02-01 |
| # 拡散モデルにおける変動スコア推定のための安定目標場 Stable Target Field for Reduced Variance Score Estimation in Diffusion Models ( http://arxiv.org/abs/2302.00670v1 ) ライセンス: Link先を確認 | Yilun Xu, Shangyuan Tong, Tommi Jaakkola | (参考訳) 拡散モデルは、固定された前方拡散過程を反転させてサンプルを生成する。
すでに印象的な実験結果を提供しているにもかかわらず、これらの拡散モデルアルゴリズムは、学習目標の分散を減らし、さらに改善することができる。
このような分散の源泉は、データ内の複数のモードが逆経路の方向に影響を与える中間ノイズ分散スケールのハンドリングにあると主張する。
重み付き条件付スコアをより安定したトレーニング目標として計算するために使用する参照バッチを組み込むことにより,この問題を改善することを提案する。
トレーニング対象の共分散を低減(トレース)することで、この手順が、挑戦的な中間体制において本当に役立つことを示す。
新たな安定ターゲットは、参照バッチサイズの増加とともにバイアスが消滅する分散を減らすためのトレーディングバイアスと見なすことができる。
実験により,新しい目的により,一般のODEおよびSDEソルバを用いたデータセット間の拡散モデルの画質,安定性,トレーニング速度が向上することを示す。
EDMと組み合わせて用いると、無条件CIFAR-10生成タスクにおける現在のSOTA FID 1.90と35のネットワーク評価が得られる。
コードはhttps://github.com/newbeeer/stfで入手できる。 Diffusion models generate samples by reversing a fixed forward diffusion process. Despite already providing impressive empirical results, these diffusion models algorithms can be further improved by reducing the variance of the training targets in their denoising score-matching objective. We argue that the source of such variance lies in the handling of intermediate noise-variance scales, where multiple modes in the data affect the direction of reverse paths. We propose to remedy the problem by incorporating a reference batch which we use to calculate weighted conditional scores as more stable training targets. We show that the procedure indeed helps in the challenging intermediate regime by reducing (the trace of) the covariance of training targets. The new stable targets can be seen as trading bias for reduced variance, where the bias vanishes with increasing reference batch size. Empirically, we show that the new objective improves the image quality, stability, and training speed of various popular diffusion models across datasets with both general ODE and SDE solvers. When used in combination with EDM, our method yields a current SOTA FID of 1.90 with 35 network evaluations on the unconditional CIFAR-10 generation task. The code is available at https://github.com/Newbeeer/stf | 翻訳日:2023-02-02 12:40:52 公開日:2023-02-01 |
| # 連続的外因性無観測共同設立者のロバスト適合Q-評価と反復 Robust Fitted-Q-Evaluation and Iteration under Sequentially Exogenous Unobserved Confounders ( http://arxiv.org/abs/2302.00662v1 ) ライセンス: Link先を確認 | David Bruns-Smith and Angela Zhou | (参考訳) オフライン強化学習は、オンライン実験が費用がかかり、危険または非倫理的であり、真のモデルが不明な領域において重要な分野である。
しかし、ほとんどの手法は行動方針の行動決定に使用される全ての共変体が観察されていると仮定する。
この証明不可能な仮定は誤りかもしれない。
未確認の共同設立者の存在下で、ロバストな政策評価と政策最適化について検討する。
観測不能なコンファウンディングの範囲は、感度モデルによって境界化され、観測不能なコンファウンダリは順次外在的であると仮定する。
我々はロバストなベルマン作用素の閉形式解を用いてロバストq関数の損失最小化問題を導出する(オルトゴナル化)ロバストなq-イテレーションを提案し,解析する。
本アルゴリズムは直交化による適合q文の計算容易性と統計的改善(量子量推定誤差依存性の低減)を享受する。
サンプルの複雑性境界、洞察を提供し、シミュレーションの有効性を示します。 Offline reinforcement learning is important in domains such as medicine, economics, and e-commerce where online experimentation is costly, dangerous or unethical, and where the true model is unknown. However, most methods assume all covariates used in the behavior policy's action decisions are observed. This untestable assumption may be incorrect. We study robust policy evaluation and policy optimization in the presence of unobserved confounders. We assume the extent of possible unobserved confounding can be bounded by a sensitivity model, and that the unobserved confounders are sequentially exogenous. We propose and analyze an (orthogonalized) robust fitted-Q-iteration that uses closed-form solutions of the robust Bellman operator to derive a loss minimization problem for the robust Q function. Our algorithm enjoys the computational ease of fitted-Q-iteration and statistical improvements (reduced dependence on quantile estimation error) from orthogonalization. We provide sample complexity bounds, insights, and show effectiveness in simulations. | 翻訳日:2023-02-02 12:40:34 公開日:2023-02-01 |
| # 空間トランスクリプトミクスデータの分類のためのグラフニューラルネットワーク Graph Neural Operators for Classification of Spatial Transcriptomics Data ( http://arxiv.org/abs/2302.00658v1 ) ライセンス: Link先を確認 | Junaid Ahmed and Alhassan S. Yasin | (参考訳) 空間的転写学の開始により、組織構造の理解が改善され、その位置的文脈を通じて、複雑な生物学的、生理学的、病理学的過程が分離された。
近年、これらの文脈と分野の拡張により、グラフ学習アプローチの適用により、多くの期待と解明がなされている。
特に、無限次元関数空間間の写像の学習に関して、神経作用素が上昇している。
基本から深層ニューラルネットワークアーキテクチャはデータ駆動であり、予測のための品質データに依存するため、低品質データにもかかわらず、異なる解像度間で一般化を提供することにより、ニューラルネットワークオペレータは堅牢性を提供する。
グラフニューラル演算子は、関数空間間のマッピングを学ぶためにグラフネットワークを利用する変種である。
本研究の目的は,組織型を予測するために空間情報を統合する堅牢な機械学習アーキテクチャを同定することである。
そこで本研究では,種々のグラフニューラルネットワークを用いて,マウス脳組織標本の脳領域の予測にニューラルネットワークを応用し,その効果を検証する手法を提案する。
グラフニューラルネットワークのアプローチでは,F1スコアが72%近く向上し,すべてのベースラインやグラフネットワークのアプローチを上回った。 The inception of spatial transcriptomics has allowed improved comprehension of tissue architectures and the disentanglement of complex underlying biological, physiological, and pathological processes through their positional contexts. Recently, these contexts, and by extension the field, have seen much promise and elucidation with the application of graph learning approaches. In particular, neural operators have risen in regards to learning the mapping between infinite-dimensional function spaces. With basic to deep neural network architectures being data-driven, i.e. dependent on quality data for prediction, neural operators provide robustness by offering generalization among different resolutions despite low quality data. Graph neural operators are a variant that utilize graph networks to learn this mapping between function spaces. The aim of this research is to identify robust machine learning architectures that integrate spatial information to predict tissue types. Under this notion, we propose a study incorporating various graph neural network approaches to validate the efficacy of applying neural operators towards prediction of brain regions in mouse brain tissue samples as a proof of concept towards our purpose. We were able to achieve an F1 score of nearly 72% for the graph neural operator approach which outperformed all baseline and other graph network approaches. | 翻訳日:2023-02-02 12:40:16 公開日:2023-02-01 |
| # epic-sounds: アクションの大規模なデータセット Epic-Sounds: A Large-scale Dataset of Actions That Sound ( http://arxiv.org/abs/2302.00646v1 ) ライセンス: Link先を確認 | Jaesung Huh, Jacob Chalk, Evangelos Kazakos, Dima Damen, Andrew Zisserman | (参考訳) EPIC-SOUNDSは,エゴセントリックビデオの音声ストリーム内で時間的範囲とクラスラベルをキャプチャする大規模なオーディオアノテーションデータセットである。
本稿では,アノテータが時間的に識別可能な音声セグメントをラベル付けするアノテーションパイプラインを提案する。
これらの自由形式の音声記述をクラスにグループ化することで、純粋にオーディオと区別できるアクションを識別する。
物体が衝突する行為については、これらの物体の材料(例えば、木面に置かれているガラス物体)の人間の注釈を収集し、視覚ラベルから確認し、曖昧さを破棄する。
全体としてEPIC-SOUNDSは78.4kの分類された音声イベントとアクションのセグメントを含み、44のクラスにまたがる。
2つの最先端オーディオ認識モデルをデータセット上でトレーニングし,評価し,音声のみのラベルの重要性と,その動作を認識するための現在のモデルの限界を強調した。 We introduce EPIC-SOUNDS, a large-scale dataset of audio annotations capturing temporal extents and class labels within the audio stream of the egocentric videos. We propose an annotation pipeline where annotators temporally label distinguishable audio segments and describe the action that could have caused this sound. We identify actions that can be discriminated purely from audio, through grouping these free-form descriptions of audio into classes. For actions that involve objects colliding, we collect human annotations of the materials of these objects (e.g. a glass object being placed on a wooden surface), which we verify from visual labels, discarding ambiguities. Overall, EPIC-SOUNDS includes 78.4k categorised segments of audible events and actions, distributed across 44 classes as well as 39.2k non-categorised segments. We train and evaluate two state-of-the-art audio recognition models on our dataset, highlighting the importance of audio-only labels and the limitations of current models to recognise actions that sound. | 翻訳日:2023-02-02 12:39:57 公開日:2023-02-01 |
| # マルチラベル分類のためのDeep Dependency Networks Deep Dependency Networks for Multi-Label Classification ( http://arxiv.org/abs/2302.00633v1 ) ライセンス: Link先を確認 | Shivvrat Arya, Yu Xiang and Vibhav Gogate | (参考訳) 本稿では,多ラベル分類課題を解決するために,確率的グラフィカルモデルとディープラーニングアーキテクチャの強みを組み合わせた簡単なアプローチを提案する。
まず,反復結合グラフの伝播,整数線形計画,$\ell_1$正規化に基づく構造学習といったより強力な手法を活用し,マルコフ確率場とニューラルネットワークを結合した従来の手法の性能を緩やかに改善できることを示す。
次に、ニューラルネットワークの出力層に対して、トレーニングが容易で、より正確な依存関係を学習するが、推論のためのGibbsサンプリングに限られる、依存性ネットワークを拡張した、DeepDepend Networkと呼ばれる新しいモデリングフレームワークを提案する。
その単純さにもかかわらず、この新しいアーキテクチャを共同学習することで、ベースラインニューラルネットワークよりもパフォーマンスが大幅に向上することを示す。
特に,3つのビデオアクティビティ分類データセット:Charades, Textually Annotated Cooking Scenes (TACoS), and Wetlab, そして3つのマルチラベル画像分類データセット: MS-COCO, PASCAL VOC, NUS-WIDEの実験的評価は,依存性ネットワークを使用しない純粋なニューラルネットワークに比べて,深い依存性ネットワークが常に優れていることを示している。 We propose a simple approach which combines the strengths of probabilistic graphical models and deep learning architectures for solving the multi-label classification task, focusing specifically on image and video data. First, we show that the performance of previous approaches that combine Markov Random Fields with neural networks can be modestly improved by leveraging more powerful methods such as iterative join graph propagation, integer linear programming, and $\ell_1$ regularization-based structure learning. Then we propose a new modeling framework called deep dependency networks, which augments a dependency network, a model that is easy to train and learns more accurate dependencies but is limited to Gibbs sampling for inference, to the output layer of a neural network. We show that despite its simplicity, jointly learning this new architecture yields significant improvements in performance over the baseline neural network. In particular, our experimental evaluation on three video activity classification datasets: Charades, Textually Annotated Cooking Scenes (TACoS), and Wetlab, and three multi-label image classification datasets: MS-COCO, PASCAL VOC, and NUS-WIDE show that deep dependency networks are almost always superior to pure neural architectures that do not use dependency networks. | 翻訳日:2023-02-02 12:39:39 公開日:2023-02-01 |
| # 高精度リコールダイバージェンスを用いた正規化フローの訓練 Training Normalizing Flows with the Precision-Recall Divergence ( http://arxiv.org/abs/2302.00628v1 ) ライセンス: Link先を確認 | Alexandre Verine, Benjamin Negrevergne, Muni Sreenivas Pydi, Yann Chevaleyre | (参考訳) 生成モデルは、モードドロップや低品質のサンプルのような異なる障害モードを持つことができ、単一のスカラーメトリックではキャプチャできない。
そこで本研究では, 試料の質を高精度に測定し, 目標分布のカバレッジを評価するため, 精度とリコールを用いた生成モデルの評価を提案する。
生成モデルの訓練には,目標と推定分布の相違点が多岐にわたって使用されているが,その相違点の選択によって,どの程度の精度・リコールトレードオフが達成されるのかは明らかでない。
本稿では,特定精度リコールトレードオフを達成することは,我々が「.em PR-divergences }」と呼ぶ家族からの発散を最小化することに相当することを示す。
逆に、任意の-divergence は pr-divergences の線形結合として書くことができ、したがって重み付き精度-リコールトレードオフの最小化に対応する。
さらに,正規化フローを訓練し,任意の-divergenceを最小化し,特に与えられた精度-リコールトレードオフを達成する新しい生成モデルを提案する。 Generative models can have distinct mode of failures like mode dropping and low quality samples, which cannot be captured by a single scalar metric. To address this, recent works propose evaluating generative models using precision and recall, where precision measures quality of samples and recall measures the coverage of the target distribution. Although a variety of discrepancy measures between the target and estimated distribution are used to train generative models, it is unclear what precision-recall trade-offs are achieved by various choices of the discrepancy measures. In this paper, we show that achieving a specified precision-recall trade-off corresponds to minimising -divergences from a family we call the {\em PR-divergences }. Conversely, any -divergence can be written as a linear combination of PR-divergences and therefore correspond to minimising a weighted precision-recall trade-off. Further, we propose a novel generative model that is able to train a normalizing flow to minimise any -divergence, and in particular, achieve a given precision-recall trade-off. | 翻訳日:2023-02-02 12:39:15 公開日:2023-02-01 |
| # 帰納的ニューラル表現のための誤りに基づくコンテキストプルーニングによるメタラーニング Efficient Meta-Learning via Error-based Context Pruning for Implicit Neural Representations ( http://arxiv.org/abs/2302.00617v1 ) ライセンス: Link先を確認 | Jihoon Tack, Subin Kim, Sihyun Yu, Jaeho Lee, Jinwoo Shin, Jonathan Richard Schwarz | (参考訳) 大規模暗黙的神経表現(inrs)を学習するための効率的な最適化に基づくメタラーニング手法を提案する。
私たちの主なアイデアは、任意の確立された環境でのメタラーニングのメモリ要件を大幅に削減できる、コンテキストポイントのオンライン選択を設計することです。
これによって、(所定のメモリ予算で)信号毎の適応性が長くなり、ミオピアを減らしてメタ初期化が改善され、さらに重要なことに、高次元の信号で学習できるようになる。
このようなコンテキストプルーニングを実装するために、私たちの技術的斬新さは3倍です。
まず、予測誤差に基づいて各適応ステップのサブセットを適応的に選択し、初期ステップにおける信号のグローバルな構造をモデル化し、後段のステップがその高周波の詳細をキャプチャできるようにする選択方式を提案する。
第2に、フルコンテキストセットでトレーニングされたブートストラップ対象モデルに対するパラメータ距離を最小化することにより、コンテクストプルーニングからの任意の情報損失を対策する。
最後に、テスト時に勾配スケーリングスキームを備えたフルコンテキストセットの使用を提案する。
この手法はモデル非依存で直感的で、実装が容易で、幅広い信号に対する大幅な再構成改善を示す。
コードはhttps://github.com/jihoontack/ECoPで入手できる。 We introduce an efficient optimization-based meta-learning technique for learning large-scale implicit neural representations (INRs). Our main idea is designing an online selection of context points, which can significantly reduce memory requirements for meta-learning in any established setting. By doing so, we expect additional memory savings which allows longer per-signal adaptation horizons (at a given memory budget), leading to better meta-initializations by reducing myopia and, more crucially, enabling learning on high-dimensional signals. To implement such context pruning, our technical novelty is three-fold. First, we propose a selection scheme that adaptively chooses a subset at each adaptation step based on the predictive error, leading to the modeling of the global structure of the signal in early steps and enabling the later steps to capture its high-frequency details. Second, we counteract any possible information loss from context pruning by minimizing the parameter distance to a bootstrapped target model trained on a full context set. Finally, we suggest using the full context set with a gradient scaling scheme at test-time. Our technique is model-agnostic, intuitive, and straightforward to implement, showing significant reconstruction improvements for a wide range of signals. Code is available at https://github.com/jihoontack/ECoP | 翻訳日:2023-02-02 12:38:55 公開日:2023-02-01 |
| # RW3D:パンデミックの心理的影響を理解するためのマルチモーダルパネルデータセット The RW3D: A multi-modal panel dataset to understand the psychological impact of the pandemic ( http://arxiv.org/abs/2302.00606v1 ) ライセンス: Link先を確認 | Isabelle van der Vegt and Bennett Kleinberg | (参考訳) 新型コロナウイルス(COVID-19)のパンデミックは、公衆衛生の悪化に加え、世界中の人々に大きな心理的影響をもたらした。
この問題についてさらなる知見を得るため、Real World Worry Waves Dataset (RW3D)を紹介します。
このデータセットは、リッチなオープンエンドのフリーテキスト応答と感情、重要な人生の出来事、心理的ストレスに関する調査データを3年間にわたってイギリスで繰り返し測定した(2020年: n=2441, 2021: n=1716, 2022: n=1152)。
本稿では,データ収集手順,記録された変数,参加者の人口統計,データから出現した高次心理学的およびテキストに基づく派生変数について背景情報を提供する。
rw3dは、パンデミックの心理的影響、特に時間とともにモダリティ(テキストデータ、心理的調査変数、人口統計)をつなぐものに関する、新たな研究疑問を喚起する、ユニークなプライマリデータリソースである。 Besides far-reaching public health consequences, the COVID-19 pandemic had a significant psychological impact on people around the world. To gain further insight into this matter, we introduce the Real World Worry Waves Dataset (RW3D). The dataset combines rich open-ended free-text responses with survey data on emotions, significant life events, and psychological stressors in a repeated-measures design in the UK over three years (2020: n=2441, 2021: n=1716 and 2022: n=1152). This paper provides background information on the data collection procedure, the recorded variables, participants' demographics, and higher-order psychological and text-based derived variables that emerged from the data. The RW3D is a unique primary data resource that could inspire new research questions on the psychological impact of the pandemic, especially those that connect modalities (here: text data, psychological survey variables and demographics) over time. | 翻訳日:2023-02-02 12:38:33 公開日:2023-02-01 |